JP2018025611A - 像ブレ補正装置及びその制御方法、プログラム、記憶媒体 - Google Patents

Abstract

【課題】流し撮りを行う場合に、主被写体の移動量を正確に検出できる像ブレ補正装置を提供する。
【解決手段】焦点検出用画素を有する撮像素子から、表示するための画像と、焦点検出用の画像とを同時に取得する取得部と、動きベクトルを検出する枠を設定する設定部と、フレームの画像間の動きベクトルを枠ごとに検出するベクトル検出部と、動きベクトルに基づいて被写体の動き量の度数分布を作成する作成部と、度数分布に基づいて主被写体に対応する動きベクトルを判定する判定部と、主被写体に対応する動きベクトルと、撮像装置のパンニング速度とに基づいて、主被写体の角速度を算出する算出部と、主被写体の角速度とパンニング速度とに基づいて、像ブレ補正部の駆動量を算出する駆動量算出部とを備え、判定部が主被写体に対応する動きベクトルを特定できないと判定した場合に、取得部は撮像素子から焦点検出用の画像を切り出す場合のパラメータを変更する。
【選択図】図１２Ａ

Description

本発明は、像ブレ補正機能を有する撮像装置における、流し撮りをアシストする技術に関するものである。

カメラの撮影手法の一つとして、流し撮りと呼ばれる方法が知られている。これは動いている被写体を撮影するときに、被写体を追いながら通常よりも遅いシャッター速度で撮影する手法であり、背景が流れ、被写体は静止している画像が得られる。そのため、流し撮りを行うことでスピード感あふれる写真を撮影することができる。しかし流し撮りでは露光時間の長い撮影を行うため、露光期間中に被写体のスピードとカメラを振る速度を合わせることが難しく、失敗する可能性も高い。そのため難しい撮影技術のひとつとなっている。

そこで、流し撮り撮影を簡単に実現するために、被写体の速度と、カメラを振る速度の差分を検出し、速度の差分に相当するズレ量を、シフトレンズの移動を用いて補正することで、流し撮りを成功させる方法が知られている。このような方法は、流し撮りアシストと呼ばれている。この方法では、撮影直前に、カメラ内の角速度センサで被写体を追っているカメラのパンニングの角速度を検出し、同時に撮像面上の主被写体の移動量を検出する。そして、検出したパンニング角速度と像面上の主被写体の移動量とから主被写体の角速度を算出する。そして露光中は、算出した主被写体の角速度と、カメラ内の角速度センサの出力との差分量に従ってレンズをシフトさせることで、主被写体とカメラのパンニング速度の差を補正し、流し撮り対象である主被写体のブレを止める。

ここで、重要になるのが、主被写体の角速度をより正確に求めることである。この値に誤差が生じると、シフトレンズによる補正に誤差が発生し、その誤差分がブレ残りとして画像に表れてしまう。このような像ブレを防ぐ技術として、特許文献１には、２枚の撮影画像から撮像画面内の被写体の移動量を取得し、撮像光学系を光軸と異なる方向に移動させて被写体の移動量を抑制する技術が開示されている。

特開２０１５−０８９１０８号公報

ここで、主被写体の画面内の移動量を検出する方法について、図２１を用いて説明する。図２１（ａ）は、連続して撮影された画像からブロック毎の移動量を検出する方法を示している。（Ｎ−１）番目のフレームの参照ブロック９０１の座標を（ｘ，ｙ）とする。Ｎ番目のフレームの候補ブロックを（Ｎ−１）番目のフレームの参照ブロック９０１の座標に対して１画素ずつずらしながらブロック内の画素値の差分を足し合わせたものを相関値とする。相関値が０に最も近くなる座標を（ｘ−ａ，ｙ−ｂ）とすると、被写体の移動量αは（ａ，ｂ）と表わされる。

図２１（ｂ）は、参照ブロック９０１の配置例を示している。ここでは、８×８＝６４個のブロックを画像全体に配置した場合の配置例を示している。図２１（ｃ）は、図２１（ｂ）の参照ブロック９０１のうち、点線で囲まれた４×３のブロックについて、検出された移動量を矢印で示している。図２１（ｃ）の移動量を示す矢印のうち、信頼性の低い移動量を点線で示している。例えば、参照ブロック９０１と候補ブロックがエッジなどの特徴のある画素値を含まなければ、どの座標で相関値を算出しても同じような値となる。このようなときは、主被写体の移動量を求めることができないか、もしくは信頼性の低い値となる。

また、図２２（ａ）のように、参照ブロック９０１内に主被写体であるエリア１と背景であるエリア２が存在し、且つエリア２が均一面である場合には、エリア１が特徴ある画素として移動量が検出される。しかし、図２２（ｂ）のように、エリア１の主被写体とエリア２の背景の双方に特徴ある画素が含まれる場合、参照ブロック９０１の一枠内に占める割合が大きい方を特徴ある画素と判定する。そのため、この場合には、エリア２が特徴ある画素として移動量が算出されてしまう。この場合、背景を主被写体として誤検知するため、流し撮り対象である主被写体を止めることができなくなってしまう。特に、小さい被写体では、参照ブロック９０１内の特徴ある画素とならず、正しく被写体の移動量を算出することができない。

本発明は上述した課題に鑑みてなされたものであり、その目的は、流し撮りアシストを行う場合に、撮像面上での主被写体の移動量を正確に検出できる像ブレ補正装置を提供することである。

本発明に係わる像ブレ補正装置は、焦点検出用画素を有する撮像素子から、表示するための画像と、焦点検出領域を含む領域を部分的に切り出した焦点検出用の画像とを同時に一つの画像として取得する取得手段と、前記取得手段により取得された画像に対して、動きベクトルを検出する枠を設定する設定手段と、連続するフレームの画像間の動きベクトルを前記枠ごとに検出するベクトル検出手段と、前記動きベクトルに基づいて被写体の撮像面上での動き量の度数分布を作成する作成手段と、前記度数分布に基づいて主被写体に対応する動きベクトルを判定する判定手段と、前記主被写体に対応する動きベクトルと、撮像装置のパンニング速度を検出する検出手段により検出されたパンニング速度とに基づいて、主被写体の角速度を算出する算出手段と、前記主被写体の角速度と前記パンニング速度とに基づいて、主被写体の像ブレを補正する像ブレ補正手段の駆動量を算出する駆動量算出手段と、を備え、前記判定手段が、前記主被写体に対応する動きベクトルを特定できないと判定した場合に、前記取得手段は、前記撮像素子から前記焦点検出用の画像を切り出す場合のパラメータを変更することを特徴とする。

本発明によれば、流し撮りアシストを行う場合に、撮像面上での主被写体の移動量を正確に検出できる像ブレ補正装置を提供することが可能となる。

本発明の実施形態に共通する撮像装置のブロック構成図。 本発明の実施形態に共通する撮像素子の回路図。 本発明の実施形態に共通する撮像素子の単位画素の回路図。 本発明の実施形態に共通する撮像素子の平面図。 本発明の実施形態に共通する撮像素子の読み出し方法を説明するための模式図。 本発明の実施形態に共通する焦点検出領域と読み出し領域の関係を示す図。 本発明の実施形態に共通する間引き読み出しの設定の説明図。 本発明の実施形態に共通する焦点検出時の蓄積、読み出し動作を説明する図。 第１の実施形態における参照ブロックの配置図。 第１の実施形態における焦点検出領域と読み出し領域と参照ブロックの関係を示す図。 本発明の実施形態に共通する流し撮りアシスト処理のフローチャート。 第１の実施形態における主被写体角速度算出処理のフローチャート。 第１の実施形態における主被写体角速度算出処理のフローチャート。 第１の実施形態における主被写体角速度算出処理のフローチャート。 第１の実施形態における角速度信号算出を示す図。 第１の実施形態における移動量の度数分布を示す図。 第１の実施形態におけるＡＦ読み出し領域変更の動作を説明する図。 第１の実施形態におけるＡＦ読み出し領域変更の動作を説明する図。 第１の実施形態におけるＡＦ読み出し領域変更の動作を説明する図。 第２の実施形態における主被写体角速度算出処理のフローチャート。 第２の実施形態における参照ブロックの配置図。 第３の実施形態における参照ブロックの配置図。 第３の実施形態における主被写体角速度算出処理のフローチャート。 第３の実施形態における参照ブロックの移動を示した図。 第３の実施形態における参照ブロックの移動を示した図。 被写体の移動量検出を示す図。 被写体の移動量検出に関する課題を示す模式図。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態に係わる撮像装置１００の構成を示すブロック図である。撮像装置１００は、デジタルカメラ、デジタルビデオカメラのようなカメラはもとより、カメラ機能付き携帯電話、カメラ付きコンピュータなど、カメラ機能を備える任意の電子機器であってもよい。光学系１０１は、レンズ（シフトレンズを含む）、シャッター、絞りから構成されており、中央演算装置（以下、ＣＰＵ）１０３の制御によって被写体からの光を撮像素子１０２に結像させる。なお、シフトレンズ（像ブレ補正レンズ）とは、光学系１０１の光軸とは異なる方向に移動することにより、撮像素子１０２に入射する光束の向きを変えるレンズである。ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサなどの撮像素子１０２は、光学系１０１を通って結像した光を画像信号に変換する。

ジャイロセンサなどの角速度センサ１０５は、撮像装置１００の移動量を表す角速度を検出し、電気信号に変換してＣＰＵ１０３へ出力する。ＣＰＵ１０３は、入力された信号や予め記憶されたプログラムに従い、撮像装置１００を構成する各部を制御することで、撮像装置１００の機能を実現させる。一次記憶装置１０４は、例えばＲＡＭのような揮発性の記憶装置であり、一時的にデータを記憶し、ＣＰＵ１０３の作業領域として使われる。また、一次記憶装置１０４に記憶されている情報は、画像処理装置１０６で利用されたり、記録媒体１０７へ記録されたりもする。二次記憶装置１０８は、例えばＥＥＰＲＯＭのような不揮発性の記憶装置であり、撮像装置１００を制御するためのプログラム（ファームウェア）や各種の設定情報を記憶しており、ＣＰＵ１０３によって利用される。

記録媒体１０７は、一次記憶装置１０４に記憶されているところの、撮影により得られた画像データなどを記録する。なお、記録媒体１０７は、例えば半導体メモリカードのように撮像装置１００から取り外し可能である。また、記録されたデータは、記録媒体１０７をパーソナルコンピュータなどに装着することにより読み出すことが可能である。つまり、撮像装置１００は、記録媒体１０７の着脱機構及び読み書き機能を有する。

表示部１０９は、撮影時のビューファインダー画像の表示、撮影した画像の表示、対話的な操作のためのＧＵＩ画像などの表示を行う。操作部１１０は、ユーザの操作を受け付けてＣＰＵ１０３へ入力情報を伝達する入力デバイス群であり、例えばボタン、レバー、タッチパネル等でもよいし、音声や視線などを用いた入力機器であってもよい。動きベクトル検出部１１１は、撮影により得られた画像を用いて主被写体の移動量を検出するための動きベクトルを出力する。

次に、本実施形態における撮像素子１０２について、図２〜図４を用いて説明する。図２は本実施形態における撮像素子１０２の構成の一例を示す等価回路図である。画素領域には複数の光電変換部を含む単位画素が、水平及び垂直方向に等間隔で行列状に配列されている。

まず、ここで単位画素の構成について説明する。図３は撮像素子１０２の第ｎ行目の単位画素の構成を説明するための等価回路図、図４は単位画素の平面図である。図２、図３及び図４において、光電変換部５０１及び光電変換部５０２はフォトダイオードにより構成される。光電変換部５０１及び５０２は単位画素上部に配置された一つのマイクロレンズ６０１に対応する領域内に２つ配置されており、便宜的に光電変換部５０１をＡ画素、光電変換部５０２をＢ画素と呼ぶこととする。マイクロレンズ６０１は点線で示した画素ピッチに接するように形成されている。

マイクロレンズ６０１に対してオフセットして配置されていることから、Ａ画素とＢ画素は分割された瞳領域を透過した被写体像を光電変換することとなり、Ａ画素出力、Ｂ画素出力を読み出すことで位相差検出が可能となり、焦点検出動作が可能となる。即ち、Ａ画素及びＢ画素が位相差検出用画素（焦点検出用画素）である。

光電変換部５０１，５０２で発生した電荷は、それぞれ転送トランジスタ５０７，５０８を介してフローティングディフュージョン（ＦＤ）部５０３に転送される。ＦＤ部５０３は増幅トランジスタ５０４のゲートに接続され、画素アンプを構成すると共に、電荷電圧変換部としても機能する。

各転送トランジスタ５０７，５０８は垂直走査回路５２０から制御線５１２に出力される制御信号φＴＸＡ＿ｎ、及び、制御線５１３に出力される制御信号φＴＸＢ＿ｎにより制御される。転送トランジスタ５０７，５０８は、制御信号φＴＸＡ＿ｎ、φＴＸＢ＿ｎがハイ（Ｈ）のときオン、ロー（Ｌ）のときオフとなる。なお、各制御信号におけるｎは行を示しており、例えば、制御信号φＴＸＡ＿ｎは、第ｎ行目の単位画素に対して出力する制御信号φＴＸＡであることを表している。

また、垂直走査回路５２０から制御線５１１に出力される制御信号φＲＥＳ＿ｎをＨとすることで、リセットトランジスタ５０５がオンとなり、ＦＤ部５０３をリセットすることができる。また、制御信号φＴＸＡ＿ｎ及びφＴＸＢ＿ｎがＨの期間の光電変換部５０１，５０２の電荷をリセットすることができる。

垂直走査回路５２０から制御線５１０に出力される制御信号φＳＥＬ＿ｎがＨになると、選択トランジスタ５０６がオンとなり、増幅トランジスタ５０４の出力が垂直出力線５０９に現れる。垂直出力線５０９には不図示の定電流源が接続され、この垂直出力線５０９に接続された列ごとの増幅トランジスタ５０４とともにソースフォロワ回路を構成する。

図２は、上述した単位画素が水平方向に４画素、垂直方向に２画素配置された場合を示す模式図である。なお、実際の撮像素子では、このような画素が数十万から数千万画素程度、配置されている。図２では各単位画素のマイクロレンズ６０１と、その下のＡ画素、Ｂ画素を模式的に示している。各単位画素は列毎に垂直出力線５０９に接続されている。

垂直出力線５０９は各列に用意された列アンプ４０１に接続されている。この列アンプ４０１は各垂直出力線５０９の出力に入力容量Ｃ０と帰還容量Ｃｆにより定まる所定のゲインを乗じて、後段のフォロワ４０４に出力する。フォロワ４０４はこの出力をアナログスイッチ４０５または４０６を介して、ノイズ成分保持容量ＣＴｋＮまたは信号成分保持容量ＣＴｋＳに出力する。なお、ｋは、図２に示す例では列を表し、ｋ＝１〜４である。アナログスイッチ４０５，４０６は制御信号φＴＳ４０９またはφＴＮ４１０により制御される。

列毎に第ｎ行目の画素のノイズ成分と信号成分を保持した保持容量ＣＴｋＮ，ＣＴｋＳは、不図示の水平走査回路によって出力アンプ４１１の入力に順次接続される。例えば保持容量ＣＴ１Ｎ，ＣＴ１Ｓが出力アンプ４１１に接続されると、出力アンプ４１１は１列目の電圧の差分に対して所定ゲインを乗じて撮像素子１０２の外部へ出力する。水平走査回路により次の時刻に保持容量ＣＴ３Ｎ、ＣＴ３Ｓが出力アンプ４１１に接続され、これを１行の列数分だけ繰り返し一行分の水平走査動作を終える。この動作を撮像素子１０２の特定行の選択動作を順次垂直方向に進めることで、撮像素子１０２の所定の画素の出力を得ることが可能となる。また、このときに各単位画素のＡ画素とＢ画素の両方の出力を同時に転送すると、画像生成に好適な同一マイクロレンズ６０１の下部に配置された画素全体に生じる電荷信号を出力することができる。

撮像素子１０２の画素部を図５（ａ）に示す。図中の斜め斜線部は遮光されたオプティカルブラック部（ＯＢ部）を示している。本実施形態においては、撮像装置１００の撮影動作では、画素部を構成する全ての画素から、Ａ画素＋Ｂ画素の信号（合成信号）を読み出す。

また、撮像素子１０２は、後述の流し撮り撮影前は、垂直方向に所定行数（複数行）ずつ間引きながら、Ａ画素＋Ｂ画素の信号（合成信号）を読み出す。そして、全面を垂直方向に走査したのち、再度垂直走査を垂直方向の上部の行に戻し、今度は先に読み出さなかった行の内、所定行数ずつ間引きながら再度走査する垂直方向走査を行う。１度目の走査時は対象行の画素から合成信号を読み出し、２度目の走査時には、全画面から部分的に、対象行の画素のＡ画素及びＢ画素の信号（位相差検出用信号）を読み出す。そして、読み出した位相差検出用信号を用いて位相差検出を行う。

垂直方向の間引き読み出しを行う場合の読み出し行の模式図を図５（ｂ）に示す。図５（ｂ）において、太枠で囲まれた行が読み出し対象行であり、太枠になっていない部分は読み出し時に間引かれる行である。図５（ｂ）に示す例では、Ｖ０行目のＡ画素及びＢ画素から合成信号を読み出した後、垂直走査回路５２０は３行後のＶ１行目から合成信号を読み出す。引き続き同じ間引き率でＶ２からＶ７行から合成信号を読み出す。ここまでの読み出しを、以下、第１の走査方法と呼ぶ。第１の走査方法により読み出される行は、画像生成に好適な同一マイクロレンズ６０１の下部に配置された画素全体に生じる電荷信号を出力することとなり、同じ間引き率で読み出したＶ０〜Ｖ７行目の合成信号から、画像データを生成することが可能となる。

Ｖ７行目まで第１の走査方法で読み出した後、垂直走査回路５２０はＶ８行目まで戻り、Ｖ８行目に含まれる画素のうち、まず、Ａ画素から位相差検出用信号を読み出す。続けて、同一行のＶ８行目に含まれる画素のうち、Ｂ画素から位相差検出用信号を読み出す。その後、Ｖ８行の次の行であるＶ９行目に含まれる画素のうち、Ａ画素から位相差検出用信号を読み出す。続けて、同一行のＶ９行目に含まれる画素のうち、Ｂ画素から位相差検出用信号を読み出す。その後、既に第１の走査方法で読み出されているＶ４行目をスキップし、Ｖ１０行目のＡ画素及びＢ画素、次のＶ１１行目のＡ画素及びＢ画素を読み出す。同様に既に第１の走査方法で読み出されているＶ５行目をスキップし、Ｖ１２行目及び次のＶ１３行目を読み出す。Ｖ８行目以降の駆動方法をここでは第２の走査方法と呼ぶ。このように、第２の走査方法では、同一行に対して、Ａ画素及びＢ画素の信号を読み出す。なお、第２の走査方法で読み出す領域は、焦点状態を検出するために予め設定された焦点検出領域を含み、第１の走査方法で読み出す領域よりも狭い領域である。

こうして読み出した順序に従って画素配置を並べ替えると、図５（ｃ）に示す模式図のようになる。先に説明したように、Ｖ１〜Ｖ７行目は第１の走査方法によりＡ画素及びＢ画素から合成信号を読み出しているため、この出力を用いて通常の画像生成が可能である。Ｖ８〜Ｖ１３行目は第２の走査方法によりＡ画素及びＢ画素から焦点検出用信号を読み出しているため、同一行毎に得られるペアのＡ画素出力とＢ画素出力を用いて位相差検出が可能である。なお、以降第１の走査方法により読みだされた信号を撮影画像、第２の走査方法により読みだされた信号をＡＦ画像と呼ぶ。

次に、図６にＡＦを行う焦点検出領域と第２の走査方法で読み出しを行う行の関係を示す。図６（ａ）は、焦点検出領域として１点の焦点検出枠が設定された場合、図６（ｂ）は、焦点検出領域として５×５分割の焦点検出枠が設定された場合をそれぞれ示している。ＣＰＵ１０３は、共に焦点検出領域を含む範囲に第２の走査方法で読み出す範囲を設定している。ＣＰＵ１０３は、ユーザによって設定される不図示の焦点検出モードに応じて、焦点検出領域を設定する。例えば、焦点検出モードが任意１点モードの場合は、図６（ａ）のように焦点検出領域を設定し、焦点検出モードが自動選択モードの場合は、図６（ｂ）のように焦点検出領域を設定する。また、ＡＦの動作状態に応じて、焦点検出領域を設定してもよい。

また、ＣＰＵ１０３は、第２の走査方法で読み出しを行う対象行の間引き周期を撮像素子１０２に指示することで読み出される位相差検出用信号の密度の切り替えを行う。図７に第２の走査方法で読み出しを行う対象行の間引き周期の設定例を示す。図７（ａ）〜図７（ｃ）では、いずれも第１の走査方法で読み出される合成信号の対象行（白枠）は、３画素周期である。

図７（ａ）では、第１の走査方法で読み出されていない行の全てが第２の走査方法で読み出される対象行（格子枠）として設定されているため、高密度に位相差検出用信号を得ることが可能である。図７（ｂ）では、第１の走査方法で読み出されていない行の半分の行が第２の走査方法で読み出される対象行（格子枠）として設定されているため、図７（ａ）に対して読み出し行数を減少させることで、より高速な読み出しを可能としている。

図７（ｃ）では、第２の走査方法で読み出す対象行がさらに間引かれ、より高速な読み出しが可能となる。ＣＰＵ１０３は、焦点検出モードや被写体の明るさなどにより、第２の走査方法で読み出しを行う対象行の間引き周期を切り替える。そして、図７（ｂ）により、読み出し行数を減少させることで読み出し時間を短縮し、高フレームレート化することで、ＡＦ速度を改善させることが可能である。また、ＡＦを行う被写体位置が特定されていない場合に、図６（ｂ）のような広範囲な焦点検出領域を設定した上で、図７（ｃ）により、高速な読み出しを行う。これにより、フレームレートを維持したまま広範囲な焦点検出を行うことが可能となる。この場合、読み出される位相差検出信号は低密度となり、焦点検出性能の劣化を招く可能性がある。しかし、ＡＦを行う被写体位置の特定（焦点検出点選択）を行う上で必要な焦点検出性能が満たされていればよく、被写体の特定を行った後の合焦動作では、図７（ａ）または図７（ｂ）の動作に切り替えることで、高精度な焦点検出を可能とする。

次に、図８は、本実施形態における、間引き動作時の蓄積、読み出しを模式的に示した図である。横軸は経過時間、上下は垂直方向に走査される行を表している。まず、図５（ｂ）のＶ０〜Ｖ７行目を垂直走査部回路５２０により走査する。その後、Ｖ８行目からＶ１３行目を垂直走査することで、蓄積および読み出し制御を行う。図中の斜めの実線は、ローリング読み出し動作を表わしており、垂直出力線が、各行で共用されているため、垂直方向に走査して、行ごとに順次読み出しを実行する必要がある。図中の斜めの破線は、読み出しに先立って実行されるローリングリセット動作を表わしており、リセットトランジスタ、転送トランジスタは行ごとに存在するため、第１の走査方法で読み出される行と第２の走査方法で読み出される行でパラレル制御可能である。したがって、第１の走査方法で読み出される行、第２の走査方法で読み出される行で、図中のように、別々に独立してローリングリセットをかけることが可能である。また、第１の走査方法で読み出される行と第２の走査方法で読み出される行のリセットタイミングを異ならせることで蓄積時間を異ならせることができる。そのため、両者を同時に適正露出に蓄積制御することが可能である。

以下、図９、図１０を参照して、第１の実施形態における、撮像素子１０２から読み出される画像に対する、主被写体の移動量を算出するための参照ブロック９０１の配置について説明する。

図９は、撮像素子１０２から読み出される画像に対する参照ブロック９０１の配置を示している。撮像素子１０２から読み出される画像全体に対して、参照ブロック９０１を配置している。そして、焦点検出領域の垂直方向サイズをβ［ｐｉｘｅｌ］、参照ブロック９０１の垂直方向サイズをγ［ｐｉｘｅｌ］、第２の走査方法で読み出す垂直方向範囲をα［ｐｉｘｅｌ］としたときに、α＞β≧γの関係が成り立つようにする。また、第２の走査方法で読み出す範囲は、必ずＡＦ枠の中心が第２の走査方法で読み出す範囲の中心になるように設定する。

図１０（ａ）は焦点検出領域と第２の走査方法で読み出す範囲を示した図で、図１０（ｂ）は、図１０（ａ）の設定で、撮像素子１０２から読み出される画像と参照ブロック９０１の位置関係を模式的に示した図である。

なお、本実施形態では、第１の走査方法で読み出される撮影画像のサイズを（Ｘ，Ｙ）＝（６００，３９０）とする。そして、焦点検出領域のサイズβ＝８０［ｐｉｘｅｌ］を基準として、参照ブロック９０１のサイズγ［ｐｉｘｅｌ］をγ＝β／２＝４０［ｐｉｘｅｌ］とする。また、第２の走査方法で読み出す範囲α［ｐｉｘｅｌ］をα＝２β＝１６０［ｐｉｘｅｌ］とする。参照ブロック数（Ｂｘ，Ｂｙ）は、式（１）に基づいて（１５，１３）と求められ、全部で１５×１３＝１９５個として、以下説明する。

（Ｂｘ，Ｂｙ）＝（Ｘ／γ，（Ｙ＋α）／γ） …（１）
なお、式（１）において、参照ブロック数（Ｂｘ，Ｂｙ）は割り切れなかった場合は、図９のように右端／下端に余分領域φ［ｐｉｘｅｌ］を設けるが、余剰分を分割して参照ブロック９０１の間に隙間をあけ、均等に割り振る構成にしてもよい。なお、本実施形態では、上記のサイズに限定されるものではなく、α＞β≧γの関係が成り立てばよい。

次に、図１１を参照して、第１の実施形態における流し撮りアシストモードにおける撮影シーケンスについて説明する。

まずステップＳ２０１において、ＣＰＵ１０３は撮像画像から被写体の移動量を算出する。なお、この動作は、動きベクトル検出部１１１により連続するフレームの撮像画像間から得た動きベクトルを用いて行われる。

動きベクトルは、図９に示した参照ブロック９０１の配置に基づいて求めるが、既に説明したように、参照ブロック９０１および候補ブロックがエッジなどの特徴のある画素値を含まなければ、どの座標で相関値を算出しても同じような値となる。このようなときは、主被写体の移動量を求めることができないか、もしくは信頼性の低い値となる。

そこで、算出された移動量の信頼性を判定する手段を有してもよい。本実施形態における移動量の算出では、次の２つの場合に、算出された移動量の信頼性が低いと判断する。一つは、コントラストが低いために相関値を得られなかった場合である。もう一つは、ブロックが高周波な信号を多く含む画像であるために相関値を得られなかった場合である。

次に、ＣＰＵ１０３は、ステップＳ２０２において角速度センサ１０５で検出された撮像装置１００の角速度情報を取得し、ステップＳ２０３に進む。ステップＳ２０３においてＣＰＵ１０３は、主被写体の角速度の算出を行う。本実施形態においては、撮像装置１００の角速度（以下、パンニング角速度と表記）と被写体の画面上での移動量データから、主被写体の角速度を算出する。主被写体の角速度算出の詳細は後述する。

ＣＰＵ１０３は、ステップＳ２０４において露光動作を行うか否かの判定を行う。ここでは操作部１１０に含まれるシャッターボタンの全押し（以下、Ｓ２のＯＮと表記）がなされたか否かの判定を行う。Ｓ２のＯＮが行われていない場合、ＣＰＵ１０３はステップＳ２０１からステップＳ２０３までの動作を、フレーム毎に繰り返し行う。ステップＳ２０４でＳ２のＯＮが行われていた場合、ＣＰＵ１０３はステップＳ２０５へと進む。

ステップＳ２０５では、ＣＰＵ１０３は、光学系１０１に含まれるシャッターを制御し、シャッターの走行を開始させる。次に、ＣＰＵ１０３は、ステップＳ２０６において、ステップＳ２０３で求めた主被写体の角速度に基づいて光学系１０１のシフトレンズを駆動する駆動量を算出（駆動量算出）し、シフトレンズを動作させる。次に、ステップＳ２０７において、設定された露光時間が経過したか否かを判定し、経過するまで、ステップＳ２０６からステップＳ２０７を繰り返し、流し撮り撮影のアシストを実現する。

次に、図１１のステップＳ２０３における主被写体の角速度の算出方法について、図１２Ａ〜１２Ｃを用いて説明する。

まず、ＣＰＵ１０３は、ステップＳ４０１において、ステップＳ２０２で取得したパンニング角速度を像面上の移動量に換算する。算出方法について、図１３を用いて説明する。図１３は被写体がｔ秒の間に点Ａから点Ｂへ移動し、それに応じて撮像素子１０２上に結像した被写体像が点Ｃから点Ｄへと移動したことを示した図である。ここで、点Ｃと点Ｄとの距離をｖ［ｐｉｘｅｌ］、焦点距離をｆ［ｍｍ］、撮像素子１０２の画素ピッチをｐ［μｍ／ｐｉｘｅｌ］とした場合、像面上の被写体の角速度ω［ｒａｄ／ｓｅｃ］は以下の式で表わされる。

ｔａｎ（ω／２）[rad/sec]＝（ｖ／２）[pixel]×（ｐ／１０００）[mm/pixel]
÷ｔ[sec]÷ｆ[mm]
＝ｖｐ／２０００ｔｆ …（２）
この式（２）と、カメラのパンニング角速度ωｐ［ｒａｄ／ｓｅｃ］から、パンニングによる被写体の像面上の移動量ｖｐ［ｐｉｘｅｌ］を算出することができる。

ｖｐ＝２０００ｔｆ×ｔａｎ（ωｐ／２）／ｐ [pixel] …（３）
この式（３）と、本実施形態では動きベクトル検出に用いる画像が撮像素子１０２の画素部に対して間引かれていることから、間引き率をＳとして、像面上の移動量 ｖｐ’［ｐｉｘｅｌ］を算出することができる
ｖｐ’＝ｖｐ／Ｓ [pixel] …（４）
なお、本実施形態では、ωｐの値は撮像装置１００の角速度のうち最新の値を用いる。ただし、複数フレーム分の撮像装置１００の角速度を一次記憶装置１０４に記憶しておき、その中から任意の値を選んでもよいし、ｎフレーム分の撮像装置１００の角速度から平均値を算出してそれを用いてもよい。

次に、ＣＰＵ１０３は、ステップＳ４０２において、移動量の度数分布を作成する。これは、ステップＳ２０１で取得したブロック毎の移動量に応じて度数を算出し、作成する。例えば、本実施形態では、１４３個のブロックを配置しているため、１フレームにおいて全ての移動量に対応する度数を合計すると１４３となる。

そして、ステップＳ４０３において、ステップＳ４０２で作成した度数分布から主被写体の移動量を判定する。度数分布には背景の移動量に対するピークと主となる被写体の移動量に対するピークの二つが現れる。この場合、背景の移動量は式（３）を用いて像面上の角速度に変換すると、パンニング角速度ωｐと一致する。この関係から度数分布に表れる二つのピークのうち撮像装置１００の角速度に一致する方を背景の移動量であると判定する。そして、残った方のピークが主被写体の移動量と判定する。

ここで、図１４（ａ）および図１４（ｂ）に、１フレーム分のデータに対する度数分布の例を示す。度数分布の横軸は移動量、縦軸は移動量の頻度を表している。なお、点線は検出閾値を表している。度数分布からピークを読み取る際にノイズを拾わないように一般的にある閾値を設定して検出を行う。この場合、背景の移動量と主被写体の移動量の出現頻度が検出閾値を超えているため、度数分布に背景の移動量に対するピークと主被写体の移動量に対するピークが現れる。

なお、図９や図１０（ｂ）のように、撮像素子１０２から読み出される撮影画像とＡＦ画像を一つとした画像に対して参照ブロック９０１を配置することで、ＡＦ画像に主被写体が含まれていれば、主被写体の移動量が増加する。これにより主被写体の頻度分布が増加し、主被写体を検出しやすくすることができる。

なお、本実施形態において、作成した度数分布や、判定した主被写体の移動量は、一次記憶装置１０４に記憶しておく構成とする。その際、複数フレーム分を、一次記憶装置１０４に記録しておいてもよいし、最新フレームのみ記憶する構成にしてもよい。

次に、ＣＰＵ１０３は、ステップＳ４０４において、主被写体が存在すると判定できたか否かを判定する。図１４（ａ）のように、閾値を超えた背景と主被写体の２つのピークが現れている場合に、主被写体が存在すると判定され、ステップＳ４０５へ進む。

ＣＰＵ１０３は、ステップＳ４０５において、ステップＳ４０３で判定した主被写体の移動量から、像面上の主被写体の角速度を算出する。主被写体の角速度を図１３のように、主点を中心とした角速度として算出する。

像面上の被写体の角速度ω［ｒａｄ／ｓｅｃ］は、式（２）から逆算して、以下の式で表わされる。

ω＝２ｔａｎ^-1（ｖｐ／２０００ｔｆ） [rad/sec] …（５）
ここで、撮像装置をパンニングしていた場合、像面上の被写体の角速度ωは、式（６）で示すように、主被写体自身の角速度（以下主被写体角速度と表記）ωｓからパンニング角速度ωｐを減算したものとなる。

ω＝ωｓ−ωｐ …（６）
そこで、主被写体角速度を求めるにあたり、角速度センサ１０５で検出された撮像装置１００のパンニング角速度ωｐから、以下の式により被写体角速度ωｓが算出される。

ωｓ＝ω＋ωｐ …（７）
なお、主被写体の角速度は上述したような計算方法の他に、あらかじめ操作部１１０により指定された値を使用したりすることも可能である。

図１２Ａに戻って、ステップＳ４０４において、図１４（ｂ）のように閾値を超えるピークが一つしか現れない場合、主被写体が存在すると判定できないため、ステップＳ４０６へ進む。

ＣＰＵ１０３は、ステップＳ４０６において、前述した第２の走査方法による走査位置（第２の走査方法によるパラメータ）を変更する。これは、ステップＳ４０４において、主被写体が存在しないと判定されるケースとして、図１５Ａのように、参照ブロック９０１の交点に主被写体が来てしまった場合が考えられる。この場合、参照ブロック９０１を配置した時点で、ＡＦ画像のＡＦ枠の中心位置が、参照ブロック９０１の何番目のブロックに含まれるかがわかる。そのため、参照ブロック９０１の中心にＡＦ枠の中心位置が来るように、図１５ＢのようにＡＦ画像の第２の走査方法による走査位置を変更する。例えば、図１５Ａの場合、撮影画像の垂直サイズをＹ［ｐｉｘｅｌ］、焦点検出領域のサイズをβ［ｐｉｘｅｌ］、参照ブロック９０１のサイズをγ［ｐｉｘｅｌ］とし、第２の走査方法で読み出す範囲をα［ｐｉｘｅｌ］とする。この場合、ずらし量μ［ｐｉｘｅｌ］は、
μ＝γ−（ＭＯＤ（Ｙ＋α／２，γ）） （０＜μ＜（α−β）） …（８）
となる。本実施形態においては、
μ＝４０−（ＭＯＤ（３９０＋１６０／２，４０））＝１０ [pixel]
となるので、第２の走査方法で読み出す範囲の読み出し開始位置を、上下方向のどちらかに１０［ｐｉｘｅｌ］ずらす。なお、ずらし量μ［ｐｉｘｅｌ］が０［ｐｉｘｅｌ］の場合は、参照ブロック９０１のサイズγ［ｐｉｘｅｌ］を１／Ｎ（Ｎ＝１，２，３，４，…）したサイズ分上下方向にずらして読み出す。また、ずらし量μ［ｐｉｘｅｌ］だけずらしても主被写体が存在しないと判定される場合は、ずらし量μ’［ｐｉｘｅｌ］を、
μ’＝μ＋γ／Ｎ （Ｎ＝１，２，３，４，…） （０＜μ＜（α−β）） …（９）
として、ずらし量を変えていく。なお、ずらし量μおよびずらし量μ’は、ＡＦ枠位置が必ず第２の走査方法で読み出す範囲に含まれる必要があるため、取りうる範囲は０＜μ＜（α−β）となる。

これにより、図１５Ｃのように、参照ブロック９０１に対して、主被写体の位置を変えることで、参照ブロック９０１に、主被写体にあたる特徴のある画素値が含まれるようになる（図１５Ｃの網掛け部）。よって、主被写体の移動量を算出することが可能となり、また焦点検出領域も読み出せているため、焦点検出も可能となる。

このように、ステップＳ２０４でＳ２がＯＮされるまでの間、第２の走査方法による走査位置を変更することで、ずらし量を変化させて主被写体の移動量が検出できるように上下方向に探索を行うことができる。

なお、上下方向への移動は、ＡＦ枠の中心位置によって決める。例えば、撮影画像の中央より上側にＡＦ枠の中心位置がある場合には下方向へ、下側にある場合は上方向へ移動する。本実施形態において、図１０（ａ）のように、ＡＦ枠の中心位置（Ｃｘ，Ｃｙ）が撮影画像上の（２４０，８０）にある場合、撮影画像サイズが（Ｘ，Ｙ）＝（６００，３９０）であるので、中央より上側にＡＦ枠の中心位置があるため、下方向へ移動する。

なお、上下方法への移動は、上記の方法に限るものではなく、固定的に下から上への順としてもよいし、パンニング方向や角速度センサ１０５の垂直成分の角速度によって決定してもよい。また、上下方向のずらし量は上記に限らず、パンニング角速度から、例えばカメラの姿勢に対して垂直方向成分を抽出し、垂直方向へのパンニング速度を考慮して、ずらし量を決定してもよい。

さらに、本実施形態では、主被写体を判定するために、垂直方向に第２の走査方法で読み出す範囲を変更した。しかし、例えば、撮像素子１０２とＣＰＵ１０３の間に不図示のフロントエンドデバイスを経由する構成をとる場合には垂直方向だけでなく、水平方向にもずらすことが可能となる。例えば、フロントエンドデバイスにより、第２の走査方法で読み出す範囲が始まるタイミング以降、毎行の先頭にダミー画素を出力させることで、ダミー画素数分、水平方向にずらすことが可能となる。ずらし量および方向に関しては、上述の垂直方向の場合と同じ処理により決定する。

また、図１２Ｂのように、ステップＳ４０４の代わりにステップＳ４０７において、第２の走査方法で読み出される領域の蓄積時間を変更してもよい。蓄積時間が長い場合、主被写体が像ぶれを起こしてしまうため、移動量を正しく求められない場合がある。そこで、蓄積時間を短くし、像ぶれを防ぐことで、移動量を正確に求めることが可能となる。また、第２の走査方法で読み出される領域のみ蓄積時間を変更するため、表示される画像に影響がなく、主被写体の検出精度を向上させることが可能となる。なお、蓄積時間は、パンニング速度や、設定されている露光時間、被写体までの距離などの条件によって変更する構成としてもよい。

また、図１２Ｃのように、ステップＳ４０４の代わりにステップＳ４０８において、第２の走査方法で読み出される領域の間引き率を変更する構成としてもよい。この場合、式（４）において、変更後の間引き率を用いて移動量を算出する。これにより、例えば間引き率を大きくすると、第２の走査方法で読み出されるＡＦ画像が小さくなり、主被写体も小さくなるため、参照ブロックの枠内に収まることで、移動量の検出ができるようになる。また、間引き率を小さくすると、ＡＦ画像が大きくなり、ＡＦ画像の解像度が上がり、主被写体の特徴量が検出しやすくなる。これにより、移動量の検出ができるようになる。

これら図１２Ａ〜１２Ｃは、ステップＳ２０１からステップＳ２０３が繰り返されている間、露光時間などの撮影条件やパンニング速度などの条件に応じて切り替えて実行する構成とする。また、図１２Ａ〜１２Ｃを組み合わせて実行する構成としてもよいし、図１２Ａから図１２Ｃへ順番に切り替えて実行する構成としてもよい。さらに、表示部１０９を用いて、ユーザにＧＵＩ上であらかじめ選択させる構成としてもよい。

なお、被写体の抽出ができなかった場合、被写体角速度の算出が行えないことにより流し撮りアシストが機能しない。この場合、ステップＳ２０７においてシフトレンズを駆動しない通常の撮影方法に切り替えることが可能である。

なお、本実施形態では、任意の１点の焦点検出枠が設定された場合を例に説明したが、本発明を図６（ｂ）のように５×５分割された焦点検出枠に対して適用してもよいことは言うまでもない。

以上説明したように、主被写体の判定ができない場合に、撮像素子１０２から第２の走査方法で読み出される領域を用いて動きベクトルの検出精度を上げることができる。これにより、主被写体の検出精度を向上させることが可能となる。特に、複数の参照ブロック９０１にまたがってしまうような被写体で、１ブロック当たりに占める特徴量が少ない場合においても、動きベクトルを検出することが可能となる。

（第２の実施形態）
以下、図１６を参照して、第２の実施形態における主被写体の角速度の算出方法について説明する。ステップＳ４０１〜ステップＳ４０５までは、図１２で説明した処理と同様の処理を行うため、説明を省略する。

ＣＰＵ１０３は、ステップＳ４０４において、図１４（ｂ）のように閾値を超えるピークが一つしか現れない場合、主被写体が存在すると判定できず、ステップＳ４０９へ進む。ＣＰＵ１０３は、ステップＳ４０９において、第２の走査方法による走査領域に該当する参照ブロック９０１のサイズを変更する。

これは、図１７のように、第２の走査方法で読み出す範囲にある参照ブロック９０１のサイズγ2［ｐｉｘｅｌ］をγより小さくして、配置される参照ブロック９０１の配置密度を上げる。これにより、小さな主被写体であっても、参照ブロック９０１に占める、主被写体にあたる特徴のある画素値の割合が増えるため、主被写体の移動量を算出することが可能となる。例えば、γ2［ｐｉｘｅｌ］は、以下の式によって求められる。

γ2＝γ／Ｎ （Ｎ＝１，２，３，４，…） …（１０）
そして、ステップＳ２０４でＳ２がＯＮされるまでの間で、ステップＳ２０１からステップＳ２０３が繰り返されているときに、Ｎを大きくして参照ブロック９０１のサイズを小さくし密度を上げていく。これにより、参照ブロックと被写体が適正な大きさの関係になり、動きベクトルを検出することが可能となる。

以上説明したように、主被写体の判定ができない場合に、撮像素子１０２から第２の走査方法で読み出される領域に配置される参照ブロック９０１の一枠のサイズを小さくしていく。これにより、小さい被写体に対する動きベクトルの検出精度をより向上させることができ、主被写体の検出精度を向上させることが可能となる。

（第３の実施形態）
以下、図１８を参照して、第３の実施形態における参照ブロック９０１の配置方法について説明する。

図１８は、撮像素子１０２から読み出される画像に対する参照ブロック９０１の初期配置を示している。本実施形態では、撮像素子１０２から読み出される画像全体に対して、１３×１１＝１４３個の参照ブロック９０１を配置している。なお、焦点検出領域のサイズをβ［ｐｉｘｅｌ］、参照ブロック９０１のサイズをγ［ｐｉｘｅｌ］、第２の走査方法で読み出す範囲をα［ｐｉｘｅｌ］としたときに、α＞β≧γの関係が成り立つようにする。さらに、画素部と参照ブロック９０１の間に余分領域φ［ｐｉｘｅｌ］を、φ≧γの関係が成り立つように配置する。なお、本実施形態では、焦点検出領域のサイズβ＝８０［ｐｉｘｅｌ］を基準として、参照ブロック９０１のサイズγ［ｐｉｘｅｌ］をγ＝β／２＝４０とし、第２の走査方法で読み出す範囲α［ｐｉｘｅｌ］をα＝２β＝１６０、余分領域φ［ｐｉｘｅｌ］を（φU，φD，φL，φR）＝（４０，７０，４０，４０）、参照ブロック数（Ｂｘ，Ｂｙ）＝（１３，１１）として、以下説明する。

次に、図１９を参照して、第３の実施形態における主被写体の角速度の算出方法について説明する。ステップＳ４０１〜ステップＳ４０５までは、図１２で説明した処理と同様の処理を行うため、説明を省略する。

ＣＰＵ１０３は、ステップＳ４０４において、図１４（ｂ）のように閾値を超えるピークが一つしか現れない場合、主被写体が存在すると判定できず、ステップＳ４１０へ進む。ＣＰＵ１０３は、ステップＳ４１０において、参照ブロック９０１の位置を、上下左右方向に所定量シフトさせて配置する。これには、図１８に記した余分領域φ［ｐｉｘｅｌ］を利用する。

まず、枠シフト量εは、ＡＦ枠位置とＡＦ画像上の参照ブロック９０１の配置位置より求める。ＡＦ枠位置の中心位置と、ＡＦ画像領域の参照ブロック９０１のある１枠の中心位置が一致するように枠シフト量εを算出する。

以下、枠シフト量εの算出方法について説明する。まず、各参照ブロックの中心位置（ＣＳｘ，ＣＳｙ）を、以下の式で求める。

（ＣＳｘ，ＣＳｙ）＝（φL＋γ×Ｎ＋γ／２，φU＋γ×Ｍ＋γ／２）
（Ｎ＝０，１，２，…，Ｂｘ−１）
（Ｍ＝０，１，２，…，Ｂｘ−１） …（１１）
式（１１）より、ＡＦ画像上のＡＦ枠の中心位置（Ｃｘ，Ｃｙ）と、最も近い位置にある参照ブロック９０１の中心位置（ＣＳｘ，ＣＳｙ）を算出する。例えば、図２０Ａのように、撮像画像上のＡＦ枠の中心位置を（ＣＩｘ，ＣＩｙ)とすると、ＡＦ画像上のＡＦ枠の中心位置は（Ｃｘ，Ｃｙ）＝（２４０，４９０）となる。これに最も近い位置にある参照ブロック９０１の中心位置（ＣＳｘ，ＣＳｙ）を求めると、
（ＣＳｘ，Ｃｓｙ)＝（２２０，４６０） （Ｎ，Ｍ）＝（４，１０）
となる。なお、各参照ブロックの中心位置を本実施形態では演算して求めたが、あらかじめ計算しておき、二次記憶装置１０８に記録しておく構成としてもよい。そして、求めた最も近い参照ブロック９０１の中心位置（ＣＳｘ，ＣＳｙ）からＡＦ画像上のＡＦ枠の中心位置への差分が枠シフト量（εｘ，εｙ）となる。

（εｘ，εｙ）＝（Ｃｘ−ＣＳｘ，Ｃｙ−ＣＳｙ）＝（２０，３０）
このように、算出された枠シフト量（εｘ，εｙ）に応じて、参照ブロック９０１をシフトさせることで、主被写体の中心が常に参照ブロックの中央にくるようになる。そのため、図２０Ｂのように、参照ブロック内に特徴ある画素値が含まれるようになり、主被写体の移動量を算出することが可能となる。

そして、ステップＳ２０４でＳ２がＯＮされるまでの間で、ステップＳ２０１からステップＳ２０３が繰り返される時に、ＡＦ枠位置に応じて枠シフト量を変更する。これにより、例えば、顔検知機能や物体追尾機能が働いている場合や、焦点検出モードが自動選択モードの場合などでも、ＡＦ領域の中心位置と参照ブロックの中心位置を合わせることができる。結果として、ＡＦ制御と連動して主被写体の移動量を算出することが可能となる。

以上説明したように、主被写体の判定ができない場合に、参照ブロックの配置位置をＡＦ領域に合わせてシフトさせる。これにより、焦点検出モードが、一度ＡＦした箇所を常にＡＦし続けるサーボＡＦモードの場合や、自動選択モードの場合でも、ＡＦ領域の中心位置に参照ブロックの中心位置を合わせることができる。結果として、ＡＦと連動して主被写体の移動量算出ができ、主被写体の検出精度をより向上させることが可能となる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：撮像装置、１０１：光学系、１０２：撮像素子、１０３：中央演算装置（ＣＰＵ）、１０４：一次記憶装置、１０５：角速度センサ、１０６：画像処理装置、１０７：記録媒体、１０８：二次記憶装置、１０９：表示部、１１０：操作部、９０１：参照ブロック

Claims (13)

1. 焦点検出用画素を有する撮像素子から、表示するための画像と、焦点検出領域を含む領域を部分的に切り出した焦点検出用の画像とを同時に一つの画像として取得する取得手段と、
   前記取得手段により取得された画像に対して、動きベクトルを検出する枠を設定する設定手段と、
   連続するフレームの画像間の動きベクトルを前記枠ごとに検出するベクトル検出手段と、
   前記動きベクトルに基づいて被写体の撮像面上での動き量の度数分布を作成する作成手段と、
   前記度数分布に基づいて主被写体に対応する動きベクトルを判定する判定手段と、
   前記主被写体に対応する動きベクトルと、撮像装置のパンニング速度を検出する検出手段により検出されたパンニング速度とに基づいて、主被写体の角速度を算出する算出手段と、
   前記主被写体の角速度と前記パンニング速度とに基づいて、主被写体の像ブレを補正する像ブレ補正手段の駆動量を算出する駆動量算出手段と、を備え、
   前記判定手段が、前記主被写体に対応する動きベクトルを特定できないと判定した場合に、前記取得手段は、前記撮像素子から前記焦点検出用の画像を切り出す場合のパラメータを変更することを特徴とする像ブレ補正装置。
2. 前記判定手段は、前記度数分布の前記主被写体に対応するピークが所定の閾値を超えない場合に、前記主被写体に対応する動きベクトルを特定できないと判定することを特徴とする請求項１に記載の像ブレ補正装置。
3. 前記撮像素子から前記焦点検出用の画像を切り出す場合のパラメータとは、前記撮像素子から前記焦点検出用の画像を切り出す位置であることを特徴とする請求項１又は２に記載の像ブレ補正装置。
4. 前記判定手段が前記主被写体に対応する動きベクトルを特定できないと判定した場合に、前記取得手段は、前記撮像素子から前記焦点検出用の画像を切り出す位置を垂直方向に変更することを特徴とする請求項３に記載の像ブレ補正装置。
5. 前記判定手段が前記主被写体に対応する動きベクトルを特定できないと判定した場合に、前記取得手段は、前記撮像素子から前記焦点検出用の画像を切り出す位置を水平方向に変更することを特徴とする請求項４に記載の像ブレ補正装置。
6. 前記撮像素子から前記焦点検出用の画像を切り出す場合のパラメータとは、前記焦点検出用の画像の蓄積時間であり、前記取得手段は、前記判定手段が前記主被写体に対応する動きベクトルを特定できないと判定した場合に、前記焦点検出用の画像の蓄積時間を設定することを特徴とする請求項１に記載の像ブレ補正装置。
7. 前記取得手段は、前記判定手段が前記主被写体に対応する動きベクトルを特定できないと判定した場合に、前記焦点検出用の画像の蓄積時間を短くすることを特徴とする請求項６に記載の像ブレ補正装置。
8. 前記撮像素子から前記焦点検出用の画像を切り出す場合のパラメータとは、前記焦点検出用の画像を切り出す領域における前記枠のサイズであり、前記判定手段が前記主被写体に対応する動きベクトルを特定できないと判定した場合に、前記取得手段は、前記撮像素子から前記焦点検出用の画像を切り出す領域における前記枠のサイズを変更することを特徴とする請求項１に記載の像ブレ補正装置。
9. 前記撮像素子から前記焦点検出用の画像を切り出す場合のパラメータとは、前記焦点検出用の画像を切り出す領域における前記枠の位置であり、前記判定手段が前記主被写体に対応する動きベクトルを特定できないと判定した場合に、前記取得手段は、前記撮像素子から前記焦点検出用の画像を切り出す領域における前記枠の位置を変更することを特徴とする請求項１に記載の像ブレ補正装置。
10. 前記撮像素子から前記焦点検出用の画像を切り出す場合のパラメータとは、前記焦点検出用の画像を切り出す場合の間引き率であり、前記判定手段が前記主被写体に対応する動きベクトルを特定できないと判定した場合に、前記取得手段は、前記撮像素子から前記焦点検出用の画像を切り出す場合の間引き率を変更することを特徴とする請求項１に記載の像ブレ補正装置。
11. 焦点検出用画素を有する撮像素子から、表示するための画像と、焦点検出領域を含む領域を部分的に切り出した焦点検出用の画像とを同時に一つの画像として取得する取得工程と、
    前記取得工程において取得された画像に対して、動きベクトルを検出する枠を設定する設定工程と、
    連続するフレームの画像間の動きベクトルを前記枠ごとに検出するベクトル検出工程と、
    前記動きベクトルに基づいて被写体の撮像面上での動き量の度数分布を作成する作成工程と、
    前記度数分布に基づいて主被写体に対応する動きベクトルを判定する判定工程と、
    前記主被写体に対応する動きベクトルと、撮像装置のパンニング速度を検出する検出手段により検出されたパンニング速度とに基づいて、主被写体の角速度を算出する算出工程と、
    前記主被写体の角速度と前記パンニング速度とに基づいて、主被写体の像ブレを補正する像ブレ補正手段の駆動量を算出する駆動量算出工程と、を備え、
    前記判定工程において、前記主被写体に対応する動きベクトルを特定できないと判定された場合に、前記取得工程では、前記撮像素子から前記焦点検出用の画像を切り出す場合のパラメータを変更することを特徴とする像ブレ補正装置の制御方法。
12. 請求項１１に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
13. 請求項１１に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。