JP2008060892A - 動き検出装置及び方法並びに撮像装置 - Google Patents

Abstract

【課題】画像の輝度が比較的低い場合などにおける、画像間の動きの検出精度を向上させる。
【解決手段】代表点マッチング法により異なる評価画像間で算出した複数の累積相関値に基づき、前記異なる評価画像間の動きを検出する動き検出装置において、前記複数の累積相関値の中から、最小の累積相関値、又は、最小の累積相関値を所定の規則に従って増加させた値以下の累積相関値を、候補相関値として特定する。そして、前記候補相関値が複数ある場合、前記候補相関値ごとに、前記候補相関値と近傍の累積相関値との平均値を算出し、最小の平均値に対応する候補相関値の位置をマッチング位置として検出して前記異なる評価画像間の動きを検出する。
【選択図】図９

Description

本発明は、画像間の動きを検出する動き検出装置及び動き検出方法に関する。また、本発明は、そのような動き検出装置又は動き検出方法を採用した撮像装置に関する。

手ぶれ補正技術は、カメラ撮影における手ぶれを軽減する技術であり、近年において盛んに研究されている。手ぶれ補正技術は、補正対象が静止画像であるか動画像であるかに関わらず、手ぶれを検出する要素技術と、その検出結果に基づいて画像を補正する要素技術と、に分けて考えることができる。

手ぶれを検出する方法には、センサ（角速度センサ）を用いる方法と、画像を解析して検出する電子式の方法とがある。画像の補正には、光学系の駆動により補正を行う光学式手ぶれ補正と、画像処理により補正を行う電子式手ぶれ補正とがある。

静止画像又は動画像に対して手ぶれ補正を行う方法として、センサで手ぶれを検出しその検出結果に基づいて光学式手ぶれ補正を行う方法と、センサで手ぶれを検出しその検出結果に基づいて電子式手ぶれ補正を行う方法と、画像を解析して手ぶれを検出しその検出結果に基づいて電子式手ぶれ補正を行う方法と、がある。

画像を解析して手ぶれを検出しその検出結果に基づいて電子式手ぶれ補正を行う方法は、完全電子式の手ぶれ補正と呼ばれている。完全電子式の手ぶれ補正で実用化されている方式として、静止画像用、動画像用に関わらず、隣接する画像間の動きを画像処理で検出し、画像間の動きがキャンセルされるように画像の位置補正（幾何変換）を行う方式がある。

動画像用としては、隣接するフレーム画像間の動きがキャンセルされるようにフレームの切り出し枠を変えることでフレーム間のぶれを低減する方式が知られている（図１７参照）。静止画像用としては、通常の露光時間Ｔ１を分割して得られる露光時間がＴ２の複数の分割露光画像（短時間露光画像）Ｇ１〜Ｇ４を、各分割露光画像間の動きがキャンセルされるように位置合わせした上で加算合成することで、手ぶれの少ない１枚の静止画像を生成する方式（加算式手ぶれ補正）が知られている（図１８参照）。

画像処理による画像間の動きを検出するための手法として、代表点マッチング法、特徴点マッチング法、勾配法などがある。代表点マッチング法は、ハードウェアによる実装が容易であり且つ実用的な検出精度を得ることができることから、デジタルビデオカメラ等の撮像装置において広く用いられている。

代表点マッチング法では、複数の検出ブロック（小領域）の夫々にて第１画像の代表点（固定座標点）の画素値と第２画像のサンプリング点の画素値の差が算出され、その差の総和が累積相関値（マッチング誤差とも呼ばれる）とされる。そして、第１画像と第２画像の相対位置をずらしながら複数の累積相関値（マッチング誤差）を計算し、最小の累積相関値を与える相対位置のずれを両画像間の動きとして検出する。

尚、下記特許文献１には、代表点マッチング法による画像間の動きベクトル検出において、累積相関値の最小値が代表点の周囲に３個以上存在するか或いは隣り合わない同一の最小値が１つ以上存在する場合は、動き検出を無効にする手法が開示されている。また、下記特許文献２には、撮像装置がパン又はチルトしている状態にあるかを判定する手法が開示されている。また、下記非特許文献１には、代表点マッチング法の基本的な原理とビデオカメラにおける電子式手ぶれ補正に関する説明が記載されている。

特開平６−１２１２１８号公報 特開２００６−７４２６１号公報 魚森，他２名，「ビデオカメラの自動電子手ゆれ補正方式」，１９８９年第２０回画像工学コンファレンス，ｐ．１７７−１８０

代表点マッチング法を用いて画像間の動き検出を行う場合において、累積相関値の最小値が複数存在することがある。この場合、どちらの最小値が正しい動きに対応するものであるかが不明であるため、従来は、動き検出を無効として動きの誤検出を抑制していた。

累積相関値の最小値が複数存在するという状況は、画像内に互いに類似した模様が複数存在する場合に特によく発生するが、画像の輝度（平均輝度）が低い場合は、類似模様が存在していなくても比較的頻繁に発生することが本出願人らの研究にて判明した。これは、画像の輝度が低い場合、ノイズの影響が比較的大きくなることに由来する。

第１画像と第２画像の間で、ノイズに由来して累積相関値の最小値が複数存在してしまう状況を、図１９及び図２０を用いて説明する。画像は２次元配列された各画素にて構成されるが、説明の簡略化上、１次元で並んだ（例えば、水平方向に１次元配列された）画素にのみ着目する。

図１９において、グラフ２０１は第１画像の輝度分布を表し、グラフ２０２は第２画像の輝度分布を表す。グラフ２０１及び２０２の夫々において、横軸は一次元配列された画素の位置を表し、縦軸は輝度値を表す。また、第１画像と第２画像の撮影間に手ぶれは存在しなかったものとする。

今、第１画像と第２画像の双方において、画素位置Ｐ₁で最大の輝度値Ｙ₁を有する特徴部２０３が表れていたとする。また、第１画像に、画素位置Ｐ₂を中心としてピークの輝度値をＹ₁とする３つのスパイク状ノイズが乗ったとする。そして、第２画像には、画素位置Ｐ₂よりも画素位置Ｐ₁に近い画素位置Ｐ₃を中心として上記と同一の３つのスパイク状ノイズが乗ったとする。

このような第１画像と第２画像の間で算出された累積相関値の分布を、図２０に示す。図２０において、横軸は第１画像と第２画像との間の偏移（相対的な位置のずれ）を表し、縦軸は累積相関値を表す。図２０に示す如く、特徴部２０３の存在に由来する偏移０に対応する累積相関値と、ノイズの存在に由来する偏移（Ｐ₂−Ｐ₃）に対応する累積相関値は、略同じ値となり、共に累積相関値の最小値となりうる。

このような状況は画像の輝度（平均輝度）が低いほど頻発し、その度に動き検出を無効としていたのでは手ぶれ補正が効きにくくなってしまう。仮に、複数存在する累積相関値の最小値の何れか１つを何ら根拠無く選択して動き検出を行うと、動き検出の精度が劣化し、手ぶれ補正の特性劣化を招く。特に、加算式手ぶれ補正を用いる場合においては、分割露光が実施されるため、分割露光数が多いほど画像の輝度が低下してノイズの影響を受けやすくなり、この問題が顕著に表れる。

そこで本発明は、特に画像の輝度が比較的低い場合などにおいて、画像間の動きの検出精度の向上に寄与する動き検出装置及び動き検出方法を提供することを目的とする。また本発明は、そのような動き検出装置を備えた撮像装置を提供することを目的とする。

上記目的を達成するために本発明に係る動き検出装置は、代表点マッチング法により互いに異なる評価画像間で算出した複数の累積相関値に基づき、前記異なる評価画像間の動きを検出する動き検出装置において、前記複数の累積相関値の中から、最小の累積相関値、又は、最小の累積相関値を所定の規則に従って増加させた値以下の累積相関値を、候補相関値として特定する候補相関値特定手段と、前記候補相関値が複数ある場合、前記候補相関値ごとに、前記候補相関値に対応する画素を基準とし、その基準の画素の近傍画素に対応する累積相関値を近傍累積相関値として特定して前記近傍累積相関値に応じた評価値を算出し、前記候補相関値ごとに算出された前記評価値に基づいて複数の候補相関値の内の１つを採用相関値として選択する選択手段と、を備え、前記採用相関値に対応する画素の画像上の位置情報に基づいて、前記異なる評価画像間の動きを検出することを特徴とする。

候補相関値の近傍累積相関値を参照することにより、累積相関値の最小値が複数存在する場合などであっても、画像間の動きを精度良く検出することが可能となる。ノイズ等に由来して偶発的に候補相関値が生じても、近傍累積相関値を参照することにより、ノイズ等に由来する候補相関値が採用相関値として選択されにくくなり、動きの誤検出が抑制される。

このため、例えば、当該動き検出装置の検出結果を手ぶれ補正に利用する場合においては、暗い場面でも手ぶれ補正を有効に機能させることが可能となる。更に、当該動き検出装置の検出結果を利用して加算式手ぶれ補正を行う場合においては、動き検出の精度が確保される露光分割数の増加が見込めるため、加算合成された画像における手ぶれ量の低減が期待できる。

尚、「前記採用相関値に対応する画素の画像上の位置情報」とは、代表点マッチング法における代表点を基準とした、その画素の画像上の位置を特定する情報である。該位置情報は、後述の実施例における、画像上の位置Ｐ_A等を特定する情報（画素位置（ｉ_A，ｊ_A）等を特定する情報）に対応する。

具体的には例えば、各評価値は、その評価値に対応する前記候補相関値と前記近傍累積相関値の、総和、平均値若しくは加重平均値、または、その評価値に対応する前記近傍累積相関値の、総和、平均値若しくは加重平均値に応じた値であり、前記選択手段は、前記複数の候補相関値について算出された複数の評価値の内、最小の評価値に対応する候補相関値を前記採用相関値として選択する。

そして例えば、前記選択手段は、前記最小の評価値と他の評価値との差が全て所定の差分閾値以下の場合は、前記近傍画素の位置及び個数の少なくとも一方を変化させてから改めて各評価値を算出し、改めて算出した各評価値に基づいて前記採用相関値を選択するようにするとよい。

また例えば、前記選択手段は、前記最小の評価値と他の評価値との差が全て所定の差分閾値以下の場合は、前記近傍画素の個数を増加させることにより各評価値の算出に参照する前記近傍累積相関値の個数を増加させてから改めて各評価値を算出し、改めて算出した各評価値に基づいて前記採用相関値を選択するようにしてもよい。

また例えば、前記異なる評価画像を第１評価画像及び第２評価画像とした場合、各累積相関値は、前記第１評価画像と前記第２評価画像との間の偏移に対する、両評価画像内に設けられた検出領域の画像の相関を表し、各累積相関値は、その相関が高くなるに従って小さくなる。

そして、本発明に係る撮像装置は、撮影によって得られた画像データを順次出力する撮像手段と、互いに異なる前記画像データによって表される、互いに異なる評価画像間の動きを検出する上記動き検出装置と、備えたことを特徴とする。

また上記目的を達成するために本発明に係る動き検出方法は、代表点マッチング法により互いに異なる評価画像間で算出した複数の累積相関値に基づき、前記異なる評価画像間の動きを検出する動き検出方法において、前記複数の累積相関値の中から、最小の累積相関値、又は、最小の累積相関値を所定の規則に従って増加させた値以下の累積相関値を、候補相関値として特定する候補相関値特定ステップと、前記候補相関値が複数ある場合、前記候補相関値ごとに、前記候補相関値を基準とし、その基準の画素の近傍画素に対応する累積相関値を近傍累積相関値として特定して前記近傍累積相関値に応じた評価値を算出し、前記候補相関値ごとに算出された前記評価値に基づいて複数の候補相関値の内の１つを採用相関値として選択する選択ステップと、を有し、前記採用相関値に対応する画素の画像上の位置情報に基づいて、前記異なる評価画像間の動きを検出することを特徴とする。

本発明は、特に画像の輝度が比較的低い場合などにおいて、画像間の動きの検出精度の向上に寄与する。

以下、図面を参照して、本発明の実施形態について説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。

本発明を撮像装置に適用した場合の実施例を説明する。図１は、本発明の実施例に係る撮像装置の全体的構成図である。図１の撮像装置は、デジタルスチルカメラ又はデジタルビデオカメラなどであり、少なくとも静止画像を撮影可能となっている。図１の撮像装置は、符号１〜１２、２１及び２２、３０が付された各部位を備えて構成される。符号３０が付された手ぶれ補正回路は、輝度調節回路３１、動き検出回路３２、座標変換回路３３、画像加算回路３４及び画像メモリ３５を備えている。座標変換回路３３と画像加算回路３４と画像メモリ３５は画像合成回路３６を形成している。以下、単に「撮像装置」といった場合、それは、図１に示す撮像装置を指すものとする。

ＣＣＤ（Charge Coupled Devices）或いはＣ−ＭＯＳイメージセンサ（Complementary Metal Oxide Semiconductor）等から成る撮像素子２は、レンズ１を通して入射した光学像を光電変換し、該光学像を電気信号として出力する。撮像素子２の出力信号は、例えばＲＧＢ信号によって表され、該出力信号はＣＤＳ（Correlated Double Sampling）回路とＡＧＣ(Auto Gain Control)回路とを備えたカメラ回路３に送られる。カメラ回路３において、撮像素子２の出力信号は、ＣＤＳ回路で相関二重サンプリング処理された後、ＡＧＣ回路で最適な振幅にゲイン調整される。カメラ回路３の出力信号は、Ａ／Ｄ変換器４によってデジタル映像信号としての画像データに変換される。Ａ／Ｄ変換器４からの画像データは、画像メモリ５に書き込まれる。撮影制御回路１１は、被写体の明るさを測定する測光回路（不図示）から得られた明るさの情報に基づいて、撮像素子２の最適な露光時間を設定する。

尚、画像メモリ５は、メモリ制御回路１２を介してマイコン（マイクロコンピュータ）１０によって制御される。また、撮影制御回路１１は、マイコン１０によって制御される。マイコン１０には、シャッタボタン２１及び手ぶれ補正ＯＮ／ＯＦＦスイッチ２２に対する操作を特定する操作情報が送られる。撮像装置の撮影時の動作モードには、「通常撮影モード」と「手ぶれ補正撮影モード」とが含まれる。手ぶれ補正ＯＮ／ＯＦＦスイッチ２２に対する操作に応じて、「通常撮影モード」と「手ぶれ補正撮影モード」の切替え設定が行われる。

まず、通常撮影モードが設定されている場合における、撮像装置の動作について説明する。シャッタボタン２１が押下げられていない場合には、一定間隔（例えば１／６０秒）の撮影によって得られた画像データが、画像メモリ５に書き込まれた後、ＮＴＳＣ（National Television Standards Committee）エンコーダ６によりＮＴＳＣ信号に変換されて、液晶ディスプレイ等から成るモニタ７に送られる。これにより、各画像データによって表される画像がモニタ７に表示される。このような、画像メモリ５に書き込まれた画像データをそのままＮＴＳＣエンコーダ６に送ることによる表示を、「スルー表示」という。

シャッタボタン２１が押下げられると、静止画像の撮影を開始し、そのタイミングの撮影によって得られた画像データが画像メモリ５に書き込まれる。その後、該画像データにて表される画像がモニタ７に表示されると共に、該画像データは画像圧縮回路８によってＪＰＥＧ（Joint Photographic Experts Group）などの所定の圧縮データ形式にエンコードされ、画像ファイルとしてメモリカード９に保存される。

次に、手ぶれ補正撮影モードが設定されている場合における、撮像装置の動作について説明する。以下の説明は、特に記述しない限り、手ぶれ補正撮影モードにおける動作の説明である。

手ぶれ補正撮影モードが設定されている場合においては、画像メモリ５に書き込まれた画像データは、手ぶれ補正回路３０に転送される。

シャッタボタン２１が押下げられていない場合には、一定間隔（例えば１／６０秒）の撮影によって得られた画像データが、画像メモリ５に書き込まれた後、手ぶれ補正回路３０に転送される。シャッタボタン２１が押下げられていない場合において手ぶれ補正回路３０に転送された画像データは、ＮＴＳＣエンコーダ６を介してモニタ７に送られてスルー表示がなされると共に、輝度調節回路３１に送られる。輝度調節回路３１は、後述する分割露光画像を模擬するべく、入力された画像（画像データ）の輝度が分割露光画像の輝度と同程度となるように入力された画像データの輝度レベルを低下させ、輝度レベル低下後の画像データを動き検出回路３２に出力する。

動き検出回路３２は、入力された、異なる画像間の動きベクトルの算出等を行う。シャッタボタン２１が押下げられていない場合には、動き検出回路３２は、前回に入力された画像データにて表される画像と今回に入力された画像データにて表される画像との間に関する、動きベクトルの算出等を行う。尚、シャッタボタン２１が押下されていない時において順次算出される動きベクトルは、後に示す図１０のステップＳ４８の処理（パン・チルト状態判定処理）などに利用される。

シャッタボタン２１が押下げられた場合、マイコン１０は、撮影制御装置１１に対して、上記の最適な露光時間を複数個（例えば、４個や８個）に分割して露光するように指示する。これにより、最適な露光時間をＴ１且つ露光分割数をＮとした場合、Ｔ１／Ｎの露光時間で次々と連続的にＮ回撮影が行われる。以下、このＴ１／Ｎの露光時間の撮影によって得られた画像を「分割露光画像」といい、分割露光画像を表す画像データを「分割露光画像データ」という。

分割露光によって得られた複数の分割露光画像データは、それぞれ画像メモリ５に記憶され、順次、手ぶれ補正回路３０に転送される。具体的には、各分割露光画像データは、順次、手ぶれ補正回路３０内の動き検出回路３２および座標変換回路３３に送られる。

動き検出回路３２では、分割露光によって得られた複数の分割露光画像の内の、最初に入力された１番目の分割露光画像と、それ以降に入力される各分割露光画像との間の動きベクトルが順次算出されるとともに、算出された動きベクトルが有効か無効かも順次判定される。詳細は後述するが、画像間の動きを表すベクトルとしてある程度信頼できると判断された動きベクトルは有効とされ、信頼できないと判断された動きベクトルは無効とされる。

尚、ここで議論する動きベクトルは、画像の全体の動きベクトル（後述する「全体動きベクトル」）に対応している。また、動き検出回路３２は、マイコン１０によって制御され、動き検出回路３２にて算出された各値は必要に応じてマイコン１０に送られる。

動きベクトル（全体動きベクトル）が有効と判定された場合、２番目以降に手ぶれ補正回路３０に入力された各分割露光画像は、１番目の分割露光画像との間の動きベクトルに基づいて、１番目の分割露光画像とのずれがなくなるように、座標変換回路３３で１番目の分割露光画像の座標に座標変換される（即ち、１番目の分割露光画像を基準として位置合わせされる）。そして、画像加算回路３４において、座標変換された各分割露光画像の各画素値は、１番目の分割露光画像又はそれまでに合成された画像の各画素値に対して加算され、その加算結果が画像メモリ３５に記憶される。つまり、分割露光画像間の位置ずれを補正した上で加算合成することにより得られる合成画像が画像メモリ３５に格納される。

各分割露光画像は、露光時間が通常露光の１／Ｎと短いため、手ぶれ量も通常露光の１／Ｎとなる。そして、分割露光画像間の位置ずれが補正された後に分割露光画像が加算合成されるので、合成画像の手ぶれ量は、通常露光の１／Ｎに低減される。この合成画像は、シャッタボタン２１の押下に応じて撮影された静止画像を表しており、合成画像としての該静止画像は、ＮＴＳＣエンコーダ６を介してモニタ７に表示されると共に画像圧縮回路８を介してメモリカード９に保存される。

一方、動きベクトル（全体動きベクトル）が無効と判定された場合、２番目以降に手ぶれ補正回路３０に入力された各分割露光画像に対して、座標変換回路３３での位置ずれ補正は行われない。そして、位置ずれ補正が施されていない各分割露光画像は、画像加算回路３４で１番目の分割露光画像またはそれまでに合成された画像に加算合成される。このように加算合成することで、信頼性のない動きベクトルで位置合わせしたことに由来する画像のぶれの増加を抑制することが可能となる。

尚、或る画像に関し、画素値とは、その画像を形成する画素に対する映像信号の値（例えば、輝度信号の値、色差信号の値）を表す。

［動き検出回路の説明］
次に、図１の動き検出回路３２について詳細に説明する。図２は、動き検出回路３２の内部ブロック図である。動き検出回路３２は、代表点マッチング回路４１と、領域動きベクトル算出回路４２と、検出領域有効性判定回路４３と、全体動きベクトル算出回路４４と、を有して構成される。符号４２〜４４で表される部位の機能については後に示す図９及び図１０のフローチャートの説明の中で行うとして、まず、代表点マッチング回路４１について詳細に説明する。図３は、代表点マッチング回路４１の内部ブロック図である。代表点マッチング回路４１は、フィルタ５１と、代表点メモリ５２と、減算回路５３と、累積加算回路５４と、演算回路５５と、を有して構成される。

動き検出回路３２は、周知の代表点マッチング法に基づいて、動きベクトル等を検出する。動き検出回路３２には次々と画像（画像データ）が入力されるが、基準画像と現画像（今回入力された画像）との間の動きベクトル等を検出する場合を例にとって、代表点マッチング法について説明する。典型的には例えば、基準画像は、前回に（直前に）入力された画像である。

図４に、動き検出回路３２に与えられる画像データによって表される画像１００を示す。画像１００は、例えば上述の分割露光画像であり、上記の基準画像又は現画像を表す。画像１００内に、複数の動きベクトル検出領域が設けられる。以下、動きベクトル検出領域を、単に、「検出領域」と略記する。説明の具体化のため、９つの検出領域Ｅ₁〜Ｅ₉が設けられている場合を考える。各検出領域Ｅ₁〜Ｅ₉の大きさは同じである。

検出領域Ｅ₁〜Ｅ₉の夫々は、更に、複数の小領域（検出ブロック）ｅに分割されている。図４に示す例では、各検出領域が、４８個の小領域ｅに分割されている（垂直方向に６分割され且つ水平方向に８分割されている）。各小領域ｅは、例えば、３２×３２の画素（垂直方向に３２画素且つ水平方向に３２画素の二次元配列された画素）で構成される。そして、図５に示すように、各小領域ｅに、複数のサンプリング点Ｓと１つの代表点Ｒが設定される。或る１つの小領域ｅに関し、複数のサンプリング点Ｓは、例えば当該小領域ｅを構成する画素の全てに対応する（但し、代表点Ｒを除く）。

現画像における小領域ｅ内の各サンプリング点Ｓの輝度値と、基準画像における対応する小領域ｅ内の代表点Ｒの輝度値との差の絶対値（各サンプリング点Ｓにおける相関値）が、各検出領域Ｅ₁〜Ｅ₉ごとに、全ての小領域ｅに対して求められる。そして、各検出領域Ｅ₁ 〜Ｅ₉ ごとに、検出領域内の全ての小領域ｅ間において、代表点Ｒに対する偏移が同じサンプリング点Ｓ同士の相関値が累積加算される（本実施例では、４８個の相関値が累積加算される）。換言すれば、各検出領域Ｅ₁ 〜Ｅ₉ において、各小領域ｅ内の同じ位置（小領域内座標における同じ位置）の画素について求めた輝度差の絶対値が４８個の小領域ｅ分、累積加算される。この累積加算によって得られる値を、「累積相関値」とよぶ。累積相関値は、一般に、マッチング誤差とも呼ばれる。各検出領域Ｅ₁ 〜Ｅ₉ ごとに、１つの小領域ｅ内のサンプリング点Ｓの個数と同じ個数の累積相関値が求められることになる。

そして、各検出領域Ｅ₁ 〜Ｅ₉ 内において、代表点Ｒと累積相関値が最小となるサンプリング点Ｓとの偏移、すなわち相関性が最も高い偏移が検出される（一般的には、その偏移が当該検出領域の動きベクトルとして抽出される）。このように、或る検出領域に関し、代表点マッチング法に基づいて算出される累積相関値は、基準画像に対して現画像に所定の偏移（基準画像と現画像との相対的な位置のずれ）を加えた時の、基準画像内の検出領域の画像と現画像内の検出領域の画像との相関（類似性）を表し、その値は該相関が高くなるに従って小さくなる。

図３を参照して、代表点マッチング回路４１の動作をより具体的に説明する。フィルタ５１には、図１の画像メモリ５から転送されてきた画像データが順次入力され、各画像データはフィルタ５１を介して代表点メモリ５２と減算回路５３に与えられる。フィルタ５１は、ローパスフィルタであり、Ｓ／Ｎ比を改善して少ない代表点で十分な動きベクトル検出精度を確保するために用いられる。代表点メモリ５２は、各検出領域Ｅ₁ 〜Ｅ₉ の小領域ｅごとに、代表点Ｒの画像上の位置を特定する位置データと代表点Ｒの輝度値を特定する輝度データとを記憶する。

尚、代表点メモリ５２の記憶内容の更新タイミングは任意である。代表点メモリ５２に画像が入力される度に該記憶内容を更新することもできるし、基準画像を定めて該基準画像が入力されたときにのみ該記憶内容を更新するようにしてもよい。また、或る画素（代表点Ｒ又はサンプリング点Ｓ）に関し、輝度値は、その画素の輝度を表し、輝度値が増加するに従って該輝度は増加するものとする。また、輝度値は、８ビット（０〜２５５）のデジタル値として表現されるとする。勿論、輝度値を８ビットと異なるビット数で表現しても良い。

減算回路５３は、代表点メモリ５２から与えられる基準画像の代表点Ｒの輝度値と現画像の各サンプリング点Ｓの輝度値との減算を行い、その減算結果の絶対値を出力する。減算回路５３の出力値は、各サンプリング点Ｓにおける相関値を表し、該出力値は、順次、累積加算回路５４に与えられる。累積加算回路５４は、減算回路５３から出力される相関値を累積加算することにより上述の累積相関値を算出及び出力する。

演算回路５５は、累積加算回路５４から与えられる累積相関値を受け、図８に示すようなデータを算出及び出力する。基準画像と現画像との対比に関し、各検出領域Ｅ₁ 〜Ｅ₉ ごとに、１つの小領域ｅ内のサンプリング点Ｓの個数に応じた複数の累積相関値（以下、この複数の累積相関値を「演算対象累積相関値群」という）が演算回路５５に与えられるが、演算回路５５は、各検出領域Ｅ₁ 〜Ｅ₉ ごとに、
「演算対象累積相関値群を形成する全ての累積相関値の平均値Ｖａｖｅと、
演算対象累積相関値群を形成する全ての累積相関値の内の最小値（最小の累積相関値）と、
その最小値を示す画素の位置Ｐ_Aと、
位置Ｐ_Aの画素の近傍画素に対応する累積相関値（以下、近傍累積相関値と呼ぶことがある）」を算出する。

各小領域ｅに着目し、以下のように画素位置等を定義する。各小領域ｅにおいて、代表点Ｒの画素位置を（０，０）にて表す。位置Ｐ_Aは、代表点Ｒの画素位置（０，０）を基準とした、上記最小値を与えるサンプリング点Ｓの画素位置であり、これを、（ｉ_A，ｊ_A）にて表す（図６参照）。位置Ｐ_Aの画素の近傍画素とは、位置Ｐ_Aの画素に隣接する画素を含む位置Ｐ_Aの画素の周辺画素であり、本実施例では、位置Ｐ_Aの画素を中心とする２４個の近傍画素を想定する。図７に示す如く、位置Ｐ_Aの画素と該２４個の近傍画素は５×５の行列配列された画素群を形成する。その画素群の各画素の画素位置を、（ｉ_A＋ｐ，ｊ_A＋ｑ）にて表す。該画素群の中心に、位置Ｐ_Aの画素が存在する。ｐ及びｑは整数であり、−２≦ｐ≦２且つ−２≦ｑ≦２、が成立する。ｐが−２から２に増加するにつれて画素位置は位置Ｐ_Aを中心として上から下へと向かい、ｑが−２から２に増加するにつれて画素位置は位置Ｐ_Aを中心として左から右へと向かう。そして、画素位置（ｉ_A＋ｐ，ｊ_A＋ｑ）に対応する累積相関値を、Ｖ（ｉ_A＋ｐ，ｊ_A＋ｑ）にて表すものとする。

一般的には、最小の累積相関値の位置Ｐ_Aが真のマッチング位置に対応するものとして動きベクトルが算出されるが、本実施例では、最小の累積相関値は、真のマッチング位置に対応する累積相関値の候補として捉えられる。位置Ｐ_Aにて得られる最小の累積相関値をＶ_Aにて表し、それを「候補最小相関値Ｖ_A」とよぶ。従って、Ｖ（ｉ_A，ｊ_A）＝Ｖ_Aである。

他の候補を特定すべく、演算回路５５は、各検出領域Ｅ₁ 〜Ｅ₉ ごとに、最小の累積相関値Ｖ_Aに近い累積相関値が演算対象累積相関値群に含まれているかを検索し、検索されたＶ_Aに近い累積相関値も候補最小相関値として特定する。「最小の累積相関値Ｖ_Aに近い累積相関値」とは、Ｖ_Aを所定の規則に従って増加させた値以下の累積相関値であり、例えば、Ｖ_Aに所定の候補閾値（例えば２）を加えた値以下の累積相関値、或いは、Ｖ_Aに１より大きい係数を乗じて得られる値以下の累積相関値である。候補最小相関値は、上記の候補最小相関値Ｖ_Aを含めて、例えば最大４つ特定される。

以下、説明の便宜上、検出領域Ｅ₁ 〜Ｅ₉ の夫々について、候補最小相関値Ｖ_Aの他に候補最小相関値Ｖ_B、Ｖ_C及びＶ_Dが特定された場合を考えるものとする。尚、最小の累積相関値Ｖ_Aに近い累積相関値を検索することによって他の候補最小相関値を特定すると述べたが、Ｖ_B、Ｖ_C及びＶ_Dの何れか又は全部は、Ｖ_Aと等しい場合もある。この場合、或る検出領域に関し、演算対象累積相関値群に最小の累積相関値が２以上含まれることになる。

演算回路５５は、候補最小相関値Ｖ_Aと同様、各検出領域Ｅ₁ 〜Ｅ₉ ごとに、
「候補最小相関値Ｖ_Bを示す画素の位置Ｐ_Bと位置Ｐ_Bの画素の２４個の近傍画素に対応する合計２４個の累積相関値（以下、近傍累積相関値と呼ぶことがある）、
候補最小相関値Ｖ_Cを示す画素の位置Ｐ_Cと位置Ｐ_Cの画素の２４個の近傍画素に対応する合計２４個の累積相関値（以下、近傍累積相関値と呼ぶことがある）、及び
候補最小相関値Ｖ_Dを示す画素の位置Ｐ_Dと位置Ｐ_Dの画素の２４個の近傍画素に対応する合計２４個の累積相関値（以下、近傍累積相関値と呼ぶことがある）」を検出する（図８参照）。

各小領域ｅに着目し、以下のように画素位置等を定義する。位置Ｐ_B、Ｐ_C及びＰ_Dは、それぞれ、位置Ｐ_Aと同様、代表点Ｒの画素位置（０，０）を基準とした、候補最小相関値Ｖ_B、Ｖ_C及びＶ_Dを与えるサンプリング点Ｓの画素位置であり、これを、（ｉ_B，ｊ_B）、（ｉ_C，ｊ_C）及び（ｉ_D，ｊ_D）にて表す。
位置Ｐ_Aと同様、位置Ｐ_Bの画素とそれの近傍画素は５×５の行列配列された画素群を形成し、その画素群の各画素の画素位置を（ｉ_B＋ｐ，ｊ_B＋ｑ）にて表す。
位置Ｐ_Aと同様、位置Ｐ_Cの画素とそれの近傍画素は５×５の行列配列された画素群を形成し、その画素群の各画素の画素位置を（ｉ_C＋ｐ，ｊ_C＋ｑ）にて表す。
位置Ｐ_Aと同様、位置Ｐ_Dの画素とそれの近傍画素は５×５の行列配列された画素群を形成し、その画素群の各画素の画素位置を（ｉ_D＋ｐ，ｊ_D＋ｑ）にて表す。
ここで、位置Ｐ_Aと同様、ｐ及びｑは整数であり、−２≦ｐ≦２且つ−２≦ｑ≦２、が成立する。ｐが−２から２に増加するにつれて画素位置は位置Ｐ_B（又はＰ_C又はＰ_D）を中心として上から下へと向かい、ｑが−２から２に増加するにつれて画素位置は位置Ｐ_B（又はＰ_C又はＰ_D）を中心として左から右へと向かう。そして、画素位置（ｉ_B＋ｐ，ｊ_B＋ｑ）、（ｉ_C＋ｐ，ｊ_C＋ｑ）及び（ｉ_D＋ｐ，ｊ_D＋ｑ）に対応する累積相関値を、夫々、Ｖ（ｉ_B＋ｐ，ｊ_B＋ｑ）、Ｖ（ｉ_C＋ｐ，ｊ_C＋ｑ）及びＶ（ｉ_D＋ｐ，ｊ_D＋ｑ）にて表す。

演算回路５５は、更に、各検出領域Ｅ₁ 〜Ｅ₉ ごとに、候補最小相関値の個数Ｎｆを算出及び出力する。今の例の場合、検出領域Ｅ₁ 〜Ｅ₉ の夫々について、Ｎｆは４である。以下、各検出領域Ｅ₁ 〜Ｅ₉ ごとに、演算回路５５にて算出され且つ出力される、
「候補最小相関値Ｖ_A、位置Ｐ_A及び近傍累積相関値Ｖ（ｉ_A＋ｐ，ｊ_A＋ｑ）」を特定するデータを総称して「第１の候補データ」と呼び、
「候補最小相関値Ｖ_B、位置Ｐ_B及び近傍累積相関値Ｖ（ｉ_B＋ｐ，ｊ_B＋ｑ）」を特定するデータを総称して「第２の候補データ」と呼び、
「候補最小相関値Ｖ_C、位置Ｐ_C及び近傍累積相関値Ｖ（ｉ_C＋ｐ，ｊ_C＋ｑ）」を特定するデータを総称して「第３の候補データ」と呼び、
「候補最小相関値Ｖ_D、位置Ｐ_D及び近傍累積相関値Ｖ（ｉ_D＋ｐ，ｊ_D＋ｑ）」を特定するデータを総称して「第４の候補データ」と呼ぶ。

［動き検出回路の動作フロー］
次に、図９及び図１０のフローチャートを参照して、動き検出回路３２の処理手順を説明する。また、図１３に、動き検出回路３２内部の各データの流れをも表した、動き検出回路３２の詳細内部ブロック図を示す。図１３に示す如く、検出領域有効性判定回路４３は、コントラスト判定部６１と、複数動き有無判定部６２と、類似模様有無判定部６３を含み、全体動きベクトル算出回路４４は、全体動きベクトル有効性判定部７０を含む。全体動きベクトル有効性判定部７０は、更に、パン・チルト判定部７１、領域動きベクトル類似性判定部７２及び検出領域有効数算出部７３を含む。

概略的に動作を説明すると、動き検出回路３２は、検出領域ごとに、候補最小相関値の中から真のマッチング位置に対応する相関値を採用最小相関値Ｐｍｉｎとして特定し、代表点Ｒの位置から採用最小相関値Ｖｍｉｎを示す位置（Ｐ_A、Ｐ_B、Ｐ_C又はＰ_D）に向かう偏移を当該検出領域の動きベクトル（検出領域の動きベクトルを、以下、「領域動きベクトル」という）とする。そして、各領域動きベクトルの平均を画像全体の動きベクトル（以下、「全体動きベクトル」という）として出力する。

但し、平均化によって全体動きベクトルを算出する際、各検出領域の有効又は無効を評価し、無効な検出領域に対応する領域動きベクトルを無効として除外する。そして、有効な領域動きベクトルの平均ベクトルを（原則として）全体動きベクトルとして算出すると共に、算出した全体動きベクトルが有効であるか或いは無効であるかを評価する。

尚、図９に示されるステップＳ１２〜Ｓ１８の処理は、図２の代表点マッチング回路４１にて実施される。ステップＳ２４の処理は、図２の領域動きベクトル算出回路４２によって実施される。ステップＳ２１〜Ｓ２３並びにＳ２５及びＳ２６の処理は、図２の検出領域有効性判定回路４３によって実施される。図１０に示されるステップＳ４１〜Ｓ４９の処理は、図２の全体動きベクトル算出回路４４によって実施される。

図９及び図１０は、或る１つの基準画像と或る１つの非基準画像（例えば現画像）との間における処理手順を示している。動き検出回路３２は、手ぶれ補正撮影モードにおいてシャッタボタン２１が押下げられた際、１番目の分割露光画像を基準画像、２番目以降の各分割露光画像を非基準画像として、図９及び図１０に示す各ステップの処理を実施する（但し、２番目以降の何れかの分割露光画像を基準画像とすることも可能である）。また、手ぶれ補正撮影モードでは、シャッタボタン２１が押下されたか否かに関わらず、動き検出回路３２に対して前回に入力された画像（画像データ）を基準画像とし且つ今回に入力された画像を非基準画像として、図９及び図１０に示す各ステップの処理が実施される。

まず、ステップＳ１１において、９つある検出領域Ｅ₁〜Ｅ₉の何れか１つを特定するための変数ｋを１とする。ｋ＝１、２、・・・９の場合、それぞれ、検出領域Ｅ₁、Ｅ₂、・・・Ｅ₉についての処理が行われる。

ステップＳ１１に続くステップＳ１２において、検出領域Ｅ_kについての累積相関値が算出され、更に、ステップＳ１３において、検出領域Ｅ_kについての累積相関値の平均値Ｖａｖｅが算出される。そして、真のマッチング位置に対応する累積相関値の候補として候補最小相関値が特定される（ステップＳ１４）。今、上述したように、候補最小相関値として４つの候補最小相関値Ｖ_A、Ｖ_B、Ｖ_C又はＶ_Dが特定されたとする。続くステップＳ１５では、ステップＳ１４にて特定された各候補最小相関値に対応する「位置と近傍累積相関値」が検出される。更にステップＳ１６で、ステップＳ１４にて特定された候補最小相関値の個数Ｎｆが算出される。ステップＳ１１〜Ｓ１６の処理により、図８に示す、検出領域Ｅ_kについての「平均値Ｖａｖｅ、第１〜第４候補データ及び個数Ｎｆ」が算出される。

ステップＳ１６に続くステップＳ１７では、検出領域Ｅ_kについての候補最小相関値の中から、真のマッチング位置に対応する相関値が採用最小相関値Ｖｍｉｎとして選択される。

このステップＳ１７の処理は、本実施例の特徴的な処理であり、図１１及び図１２を参照して詳細に説明する。図１１（ａ）〜（ｅ）では、ステップＳ１７の処理にて参照される累積相関値の対応画素を斜線を用いて表している。図１２は、ステップＳ１７の処理を細分化したフローチャートである。ステップＳ１７は、ステップＳ１０１〜Ｓ１１２から形成される。

ステップＳ１７に移行すると、まず、図１２のステップＳ１０１において、第１〜第４の候補データの夫々について（即ち、候補最小相関値ごとに）、図１１（ａ）のパターンに対応するような「候補最小相関値と４個の近傍累積相関値」の平均値（選択用評価値）を計算する。即ち、（ｐ，ｑ）＝（０，−１）、（−１，０）、（０，１）、（１，０）、（０，０）である場合における、
「累積相関値Ｖ（ｉ_A＋ｐ，ｊ_A＋ｑ）の平均値Ｖ_A_aveと、累積相関値Ｖ（ｉ_B＋ｐ，ｊ_B＋ｑ）の平均値Ｖ_B_aveと、累積相関値Ｖ（ｉ_C＋ｐ，ｊ_C＋ｑ）の平均値Ｖ_C_aveと、累積相関値Ｖ（ｉ_D＋ｐ，ｊ_D＋ｑ）の平均値Ｖ_D_ave」を算出する。

そして、ステップＳ１０２において、ステップＳ１０１で算出された平均値に基づいて採用最小相関値Ｖｍｉｎを選択可能であるかを判定する。具体的には、ステップＳ１０１で算出された４つの平均値の内、最小の平均値と他の平均値との差が全て所定の差分閾値（例えば２）以下の場合は、選択不可（選択の信頼性がない）と判定してステップＳ１０３に移行し、そうでない場合はステップＳ１１２に移行して、ステップＳ１０１で算出された４つの平均値の内、最小の平均値に対応する候補最小相関値を採用最小相関値Ｖｍｉｎとして選択する。例えば、Ｖ_A_ave＜Ｖ_B_ave＜Ｖ_C_ave＜Ｖ_D_ave、が成立する場合、候補最小相関値Ｖ_Aが採用最小相関値Ｖｍｉｎとして選択される。

以後、採用最小相関値Ｖｍｉｎを選択するに当たって参照される累積相関値の位置及び個数を変化させつつ、ステップＳ１０１及びＳ１０２と同様の処理が実施される。

即ち、ステップＳ１０３では、第１〜第４の候補データの夫々について（即ち、候補最小相関値ごとに）、図１１（ｂ）のパターンに対応するような「候補最小相関値と８個の近傍累積相関値」の平均値を計算する。即ち、（ｐ，ｑ）＝（−１，−１）、（−１，０）、（−１，１）、（０，−１）、（０，０）、（０，１）、（１，−１）、（１，０）、（１，１）である場合における、
「累積相関値Ｖ（ｉ_A＋ｐ，ｊ_A＋ｑ）の平均値Ｖ_A_aveと、累積相関値Ｖ（ｉ_B＋ｐ，ｊ_B＋ｑ）の平均値Ｖ_B_aveと、累積相関値Ｖ（ｉ_C＋ｐ，ｊ_C＋ｑ）の平均値Ｖ_C_aveと、累積相関値Ｖ（ｉ_D＋ｐ，ｊ_D＋ｑ）の平均値Ｖ_D_ave」を算出する。

そして、ステップＳ１０４において、ステップＳ１０３で算出された平均値に基づいて採用最小相関値Ｖｍｉｎを選択可能であるかを判定する。具体的には、ステップＳ１０３で算出された４つの平均値の内、最小の平均値と他の平均値との差が全て所定の差分閾値（例えば２）以下の場合は、選択不可（選択の信頼性がない）と判定してステップＳ１０５に移行し、そうでない場合はステップＳ１１２に移行して、ステップＳ１０３で算出された４つの平均値の内、最小の平均値に対応する候補最小相関値を採用最小相関値Ｖｍｉｎとして選択する。

ステップＳ１０５では、第１〜第４の候補データの夫々について（即ち、候補最小相関値ごとに）、図１１（ｃ）のパターンに対応するような「候補最小相関値と１２個の近傍累積相関値」の平均値を計算する。即ち、（ｐ，ｑ）＝（−１，−１）、（−１，０）、（−１，１）、（０，−１）、（０，０）、（０，１）、（１，−１）、（１，０）、（１，１）、（−２，０）、（２，０）、（０，２）、（０，−２）である場合における、
「累積相関値Ｖ（ｉ_A＋ｐ，ｊ_A＋ｑ）の平均値Ｖ_A_aveと、累積相関値Ｖ（ｉ_B＋ｐ，ｊ_B＋ｑ）の平均値Ｖ_B_aveと、累積相関値Ｖ（ｉ_C＋ｐ，ｊ_C＋ｑ）の平均値Ｖ_C_aveと、累積相関値Ｖ（ｉ_D＋ｐ，ｊ_D＋ｑ）の平均値Ｖ_D_ave」を算出する。

そして、ステップＳ１０６において、ステップＳ１０５で算出された平均値に基づいて採用最小相関値Ｖｍｉｎを選択可能であるかを判定する。具体的には、ステップＳ１０５で算出された４つの平均値の内、最小の平均値と他の平均値との差が全て所定の差分閾値（例えば２）以下の場合は、選択不可（選択の信頼性がない）と判定してステップＳ１０７に移行し、そうでない場合はステップＳ１１２に移行して、ステップＳ１０５で算出された４つの平均値の内、最小の平均値に対応する候補最小相関値を採用最小相関値Ｖｍｉｎとして選択する。

ステップＳ１０７では、第１〜第４の候補データの夫々について（即ち、候補最小相関値ごとに）、図１１（ｄ）のパターンに対応するような「候補最小相関値と２０個の近傍累積相関値」の平均値を計算する。即ち、（ｐ，ｑ）＝（−２，−１）、（−２，０）、（−２，１）、（−１，−２）、（−１，−１）、（−１，０）、（−１，１）、（−１，２）、（０，−２）、（０，−１）、（０，０）、（０，１）、（０，２）、（１，−２）、（１，−１）、（１，０）、（１，１）、（１，２）、（２，−１）、（２，０）、（２，１）である場合における、
「累積相関値Ｖ（ｉ_A＋ｐ，ｊ_A＋ｑ）の平均値Ｖ_A_aveと、累積相関値Ｖ（ｉ_B＋ｐ，ｊ_B＋ｑ）の平均値Ｖ_B_aveと、累積相関値Ｖ（ｉ_C＋ｐ，ｊ_C＋ｑ）の平均値Ｖ_C_aveと、累積相関値Ｖ（ｉ_D＋ｐ，ｊ_D＋ｑ）の平均値Ｖ_D_ave」を算出する。

そして、ステップＳ１０８において、ステップＳ１０７で算出された平均値に基づいて採用最小相関値Ｖｍｉｎを選択可能であるかを判定する。具体的には、ステップＳ１０７で算出された４つの平均値の内、最小の平均値と他の平均値との差が全て所定の差分閾値（例えば２）以下の場合は、選択不可（選択の信頼性がない）と判定してステップＳ１０９に移行し、そうでない場合はステップＳ１１２に移行して、ステップＳ１０７で算出された４つの平均値の内、最小の平均値に対応する候補最小相関値を採用最小相関値Ｖｍｉｎとして選択する。

ステップＳ１０９では、第１〜第４の候補データの夫々について（即ち、候補最小相関値ごとに）、図１１（ｅ）のパターンに対応するような「候補最小相関値と２４個の近傍累積相関値」の平均値を計算する。即ち、（ｐ，ｑ）＝（−２，−２）、（−２，−１）、（−２，０）、（−２，１）、（−２，２）、（−１，−２）、（−１，−１）、（−１，０）、（−１，１）、（−１，２）、（０，−２）、（０，−１）、（０，０）、（０，１）、（０，２）、（１，−２）、（１，−１）、（１，０）、（１，１）、（１，２）、（２，−２）、（２，−１）、（２，０）、（２，１）、（２，２）である場合における、
「累積相関値Ｖ（ｉ_A＋ｐ，ｊ_A＋ｑ）の平均値Ｖ_A_aveと、累積相関値Ｖ（ｉ_B＋ｐ，ｊ_B＋ｑ）の平均値Ｖ_B_aveと、累積相関値Ｖ（ｉ_C＋ｐ，ｊ_C＋ｑ）の平均値Ｖ_C_aveと、累積相関値Ｖ（ｉ_D＋ｐ，ｊ_D＋ｑ）の平均値Ｖ_D_ave」を算出する。

そして、ステップＳ１１０において、ステップＳ１０９で算出された平均値に基づいて採用最小相関値Ｖｍｉｎを選択可能であるかを判定する。具体的には、ステップＳ１０９で算出された４つの平均値の内、最小の平均値と他の平均値との差が全て所定の差分閾値（例えば２）以下の場合は、選択不可（選択の信頼性がない）と判定してステップＳ１１１に移行し、そうでない場合はステップＳ１１２に移行して、ステップＳ１０９で算出された４つの平均値の内、最小の平均値に対応する候補最小相関値を採用最小相関値Ｖｍｉｎとして選択する。

ステップＳ１１１に移行した場合は、最終的に、採用最小相関値Ｖｍｉｎを選択不可と判断する。即ち、マッチング位置を検出不可と判断する。尚、候補最小相関値が複数ある場合の処理について説明したが、候補最小相関値が１つしかない場合は、その１つの候補最小相関値がそのまま採用最小相関値Ｖｍｉｎとされる。

ステップＳ１７にて採用最小相関値Ｖｍｉｎが選択されると、ステップＳ１８にて採用最小相関値Ｖｍｉｎを示す画素の位置Ｐｍｉｎが特定される。例えば、採用最小相関値Ｖｍｉｎとして候補最小相関値Ｖ_Aが選択された場合は、位置Ｐ_Aが位置Ｐｍｉｎとなる。

ステップＳ１７及びＳ１８で採用最小相関値Ｖｍｉｎ及び位置Ｐｍｉｎが特定されると、ステップＳ２１に移行する。ステップＳ２１〜Ｓ２６では、検出領域Ｅ_kの有効又は無効が判定されると共に検出領域Ｅ_kの領域動きベクトルＭ_kが算出される。各ステップの処理内容を詳細に説明する。

ステップＳ２１では、類似模様有無判定部６３（図１３参照）が、検出領域Ｅ_k内に類似した模様が存在していないかを判定する。類似模様が存在している場合は、当該検出領域Ｅ_kについて算出される領域動きベクトルの信頼性は低い（即ち、領域動きベクトルＭ_kは検出領域Ｅ_k内の画像の動きを精度良く表していない）。従って、この場合は、検出領域Ｅ_kを無効とする（ステップＳ２６）。ステップＳ２１の判定は、ステップＳ１７の処理結果に基づいて実施される。即ち、図１２のステップＳ１１２に至って採用最小相関値Ｖｍｉｎが選択された場合は、類似模様は存在していないと判断してステップＳ２１からステップＳ２２に移行する。一方、図１２のステップＳ１１１に至って採用最小相関値Ｖｍｉｎが選択されなかった場合は、類似模様が存在していると判断してステップＳ２１からステップＳ２６に移行し、検出領域Ｅ_kを無効とする。

ステップＳ２２では、コントラスト判定部６１（図１３参照）が、検出領域Ｅ_k内の画像のコントラストが低いか否かを判定する。コントラストが低い場合は、正確な領域動きベクトルの検出は困難であるため、検出領域Ｅ_kを無効とする。具体的には、累積相関値の平均値Ｖａｖｅが所定の閾値ＴＨ１以下であるかを判断する。そして、不等式「Ｖａｖｅ≦ＴＨ１」が成立する場合はコントラストが低いと判断してステップＳ２６に移行し検出領域Ｅ_kを無効とする。この判断は、画像のコントラストが低い場合（例えば、画像全体が白い場合）には、輝度差が小さいので累積相関値が全体的に小さくなるという原理に基づいている。一方、不等式「Ｖａｖｅ≦ＴＨ１」が成立しない場合は、コントラストは低くないと判断してステップＳ２３に移行する。尚、閾値ＴＨ１は、実験を介して適切な値に設定される。

ステップＳ２３では、複数動き有無判定部６２（図１３参照）が、検出領域Ｅ_k内に複数の動きがあるか否かを判定する。検出領域Ｅ_k内に手ぶれとは関係のない動く物体等が存在する場合は、検出領域Ｅ_k内に複数の動きがあると判断されることになる。複数の動きがある場合は、正確な領域動きベクトルの検出は困難であるため、検出領域Ｅ_kを無効とする。具体的には、不等式「Ｖａｖｅ／Ｖｍｉｎ≦ＴＨ２」が成立するか否かを判断し、該不等式が成立する場合は複数の動きがあると判断してステップＳ２６に移行し検出領域Ｅ_kを無効とする。この判断は、複数の動きがある場合には完全なマッチング位置がないため、累積相関値の最小値が大きくなるという原理に基づいている。また、平均値Ｖａｖｅを除算することによって、この判断が被写体のコントラストに依存しないようにしている。一方、不等式「Ｖａｖｅ／Ｖｍｉｎ≦ＴＨ２」が成立しない場合は、複数の動きがないと判断してステップＳ２４に移行する。尚、閾値ＴＨ２は、実験を介して適切な値に設定される。

ステップＳ２４では、図２（図１３）に示す領域動きベクトル算出回路４２が、真のマッチング位置を表す位置Ｐｍｉｎに基づいて、領域動きベクトルＭ_kを算出する。例えば、位置Ｐ_Aが位置Ｐｍｉｎである場合は、画像上の位置Ｐ_Aを特定する位置情報（画素位置（ｉ_A，ｊ_A）を特定する情報）に基づいて領域動きベクトルＭ_kを算出する。より具体的には、検出領域Ｅ_kの任意の小領域ｅにおいて、代表点Ｒの位置から採用最小相関値Ｖｍｉｎを示す位置Ｐｍｉｎ（Ｐ_A、Ｐ_B、Ｐ_C又はＰ_D）に向かう偏移の向き及び大きさを、領域動きベクトルＭ_kの向き及び大きさとする。

そして、ステップＳ２４に続くステップＳ２５では、検出領域Ｅ_kを有効とし、ステップＳ３１に移行する。他方、ステップＳ２１等から移行しうるステップＳ２６では、上述の如く検出領域Ｅ_kを無効とし、ステップＳ３１に移行する。ステップＳ３１では、変数ｋに１が加算され、続いてステップＳ３２で変数ｋが９より大きくなっているかが判断される。「ｋ＞９」が成立しない場合はステップＳ１２に移行し、他の検出領域に関してステップＳ１２等の処理が繰り返される。「ｋ＞９」が成立する場合は、検出領域Ｅ₁〜Ｅ₉の全てに関してステップＳ１２等の処理が実施されたことになるため、図１０のステップＳ４１に移行する。

図１０のステップＳ４１〜Ｓ４９では、領域動きベクトルＭ_k（１≦ｋ≦９）に基づく全体動きベクトルＭを算出処理及び全体動きベクトルＭの有効性判定処理が行われる。

ステップＳ４１では、図９のステップＳ２５及びＳ２６の処理結果に基づき、有効とされた検出領域（以下、「有効領域」という）の数が０であるか否かを判定する。有領領域が１以上存在する場合にはステップＳ４２に移行して、有効領域の領域動きベクトルＭ_kを抽出し、更にステップＳ４３にて、有効領域の領域動きベクトルＭ_kを平均化することにより、それらの平均ベクトルＭａｖｅを算出する。

ステップＳ４３に続くステップＳ４４では、領域動きベクトル類似性判定部７２（図１３参照）が、有効領域の領域動きベクトルＭ_kの類似性を判定する。換言すれば、有効領域間での領域動きベクトルＭ_kのばらつきＡを評価することにより、有効領域間で動きの異なる物体が存在していないかを判定する。具体的には、下式（１）に基づいて、ばらつきＡを算出する。

Ａ＝［｛｜Ｍ_k−Ｍａｖｅ｜／（Ｍａｖｅのノルム）｝の総和］／（有効領域の数）
・・・（１）

そして、ばらつきＡが閾値ＴＨ３以上であるか否かを判定する。ばらつきＡが閾値ＴＨ３未満であればステップＳ４５に移行し、画像全体の動きベクトル（全体動きベクトル）ＭをステップＳ４３で算出された平均ベクトルＭａｖｅとしてステップＳ４７に移行する。

尚、式（１）において、［｛｜Ｍ_k−Ｍａｖｅ｜／（Ｍａｖｅのノルム）｝の総和］は、有効領域ごとに算出された｛｜Ｍ_k−Ｍａｖｅ｜／（Ｍａｖｅのノルム）｝を、全ての有効領域について合算した値に相当する。また、図１３に示す検出領域有効数算出部７３は、有効領域の数を算出する。

ばらつきＡが閾値ＴＨ３以上の場合は、有効領域の領域動きベクトルＭ_kの類似性が低く、それに基づいて算出される全体動きベクトルの信頼性は低いと考えられる。このため、ばらつきＡが閾値ＴＨ３以上の場合は（ステップＳ４４のＮ）、ステップＳ４６に移行し、全体動きベクトルＭを０としてステップＳ４７に移行する。また、ステップＳ４１において有効領域の数が０であると判定された場合もステップＳ４６にて全体動きベクトルＭが０とされ、ステップＳ４７に移行する。

ステップＳ４７では、全体動きベクトルの履歴データＭｎに今回得られた全体動きベクトルＭを追加する。上述したように、図９及び図１０に示す各処理は、シャッタボタン２１が押下されたか否かに関わらず、手ぶれ補正撮影モードにおいて逐次行われており、ステップＳ４５又はＳ４６にて得られた全体動きベクトルＭは、順次、全体動きベクトルの履歴データＭｎに格納されていく。尚、シャッタボタン２１の１回の押下に対して、複数の分割露光画像と複数の全体動きベクトルＭが得られるが、後述のパン・チルト判定処理の便宜上、履歴データＭｎに追加されるのは、その複数の全体動きベクトルＭの内の１つだけとする（但し、その複数の動きベクトルＭの全てを履歴データＭｎに追加することも可能である）。

ステップＳ４７に続くステップＳ４８では、パン・チルト判定部７３（図１３参照）が、履歴データＭｎに基づいて撮像装置がパン・チルト状態にあるかを判定する。「パン・チルト状態」とは、撮像装置がパン又はチルトしている状態、を意味する。パン（パンニング）とは、撮像装置の筐体（不図示）を左右方向に振ることを意味し、チルト（チルティング）とは、撮像装置の筐体を上下方向に振ることを意味する。撮像装置がパン又はチルトしている状態にあるかを判定する手法としては、例えば、上記特許文献２に記載の手法又は本出願人が提案する特願２００６−９１２８５号に記載の手法を用いればよい。

例えば、次の第１条件又は第２条件を満たした場合に、「手ぶれ状態」から「パン・チルト状態」へ遷移したと判断する（「手ぶれ状態」は、「パン・チルト状態」に含まれない）。
第１条件は、「全体動きベクトルＭが垂直方向（上下方向）又は水平方向（左右方向）の同一方向に連続している回数が所定回数以上である」という条件である。
第２条件は、「上記同一方向に連続している全体動きベクトルＭの大きさの積分値が撮像装置の画角の一定割合以上である」という条件である。

そして例えば、次の第３条件又は第４条件を満たした場合に、「パン・チルト状態」から「手ぶれ状態」へ遷移したと判断する。
第３条件は、「全体動きベクトルの大きさが０．５画素以下である状態が連続して所定回数（例えば１０回）以上継続した」という条件である
第４条件は、「「手ぶれ状態」から「パン・チルト状態」へ遷移したときの全体動きベクトルＭに対して方向が反対の全体動きベクトルＭが所定回数（例えば１０回）以上連続して得られた」という条件である。

第１〜第４条件の成立／不成立は、履歴データＭｎに含まれる今回得られた全体動きベクトルＭと過去の全体動きベクトルＭと、に基づいて判断される。「パン・チルト状態」にあるか否かの判定結果は、図１のマイコン１０に伝達される。

ステップＳ４８の判定処理を終えると、ステップＳ４９に移行する。ステップＳ４９では、全体動きベクトル有効性判定部７０（図１３参照）が、ステップＳ４１〜Ｓ４８の処理結果に基づいて、今回得られた全体動きベクトルＭが有効であるか否かを判定する。

具体的には、「ステップＳ４１で有効領域の数が０であると判定されてステップＳ４６に至った場合」、或いは、「ステップＳ４４で有効領域の領域動きベクトルＭ_kの類似性が低いと判定されてステップＳ４６に至った場合」、或いは、「ステップＳ４８でパン・チルト状態にあると判定された場合」は、今回得られた全体動きベクトルＭは無効とされ、そうでない場合は、今回得られた全体動きベクトルＭは有効とされる。

パン又はチルト操作時には、手ぶれ量が大きく対比する画像間の偏移が小領域ｅのサイズに応じた動き検出範囲を超えてしまうため、正確な動きベクトルを検出することができない。このため、パン・チルト状態にあると判定された場合には全体動きベクトルＭを無効とする。

上述のようにして求められた全体動きベクトルＭ及び該全体動きベクトルＭが有効であるか或いは無効であるかを特定する情報は、図１の座標変換回路３３に与えられる。

手ぶれ補正撮影モードにおいてシャッタボタン２１が押下げられた際においては、図９及び図１０の処理を繰り返すことにより、各分割露光画像について全体動きベクトルＭが検出されると共に各全体動きベクトルＭの有効／無効が評価され、その有効／無効の評価に従って、上述の如く各分割露光画像が加算合成される。

［近傍累積相関値を用いた選択処理の意義について］
本実施例では、累積相関値の最小値が複数存在する場合、或いは、累積相関値の最小値に近い累積相関値がある場合は、それらを複数の候補最小相関値として特定し、その複数の候補最小相関値の中から真のマッチング位置に対応する採用最小相関値Ｖｍｉｎを近傍累積相関値に基づいて選択する。図１９及び図２０を用いて従来技術の問題を説明したが、この図１９及び図２０を用いて示した状況を例にとり、近傍累積相関値に基づいて選択を行うことの意義について考察する。

候補最小相関値Ｖ_AとＶ_Bにのみ着目する。今、Ｖ_Aが真のマッチング位置に対応し、Ｖ_Bがノイズに由来して候補となった累積相関値であるとする。図１４を参照する。図１４は、図２０と同様の図に、候補最小相関値Ｖ_A及びＶ_Bに対応するプロットと、それらの近傍累積相関値に対応するプロットを追加した図である。上述の如く、図２０は、１次元で並んだ（例えば、水平方向に１次元配列された）画素にのみ着目しており、図１４も同様である。図１１（ａ）に対応する４近傍画素に着目した場合、１次元では、近傍累積相関値は各候補最小相関値について２つずつとなる。

ノイズは、通常、極めて狭い画像領域にスパイク状に発生し、その輝度勾配は、高輝度被写体などに応じた特徴部２０３（図１９参照）に比べて急峻である。従って、ノイズの影響による偽のマッチング位置に対応する累積相関値（Ｖ_B）の近傍累積相関値は、その累積相関値（Ｖ_B）を中心として急激に大きくなる。このため、候補最小相関値ごとに、候補最小相関値と近傍累積相関値の平均値を算出した場合、ノイズに対応する平均値は真のマッチング位置に対応する平均値よりも大きくなるという傾向がある。図１５に、各累積相関値を隣接する２つの近傍累積相関値で平均化した場合における、平均化後の累積相関値の分布を示す。

図９のステップＳ１７等は、この特性を考慮して実施されるものであり、これにより、従来のように動き検出を無効とすることなく、真のマッチング位置を検出することが可能となる。従って、Ｓ／Ｎ比が低い画像でも高精度に画像間の動き検出が可能となり、暗い場面でも手ぶれ補正を有効に機能させることが可能となる。また、本実施例の如く加算式手ぶれ補正（加算式静止画手ぶれ補正）を行う場合にあっては、動き検出の精度が確保される露光分割数を増加させることができるようになるため、加算合成された静止画像における手ぶれ量を低減することが可能である。

また、画像の平均輝度が十分に大きく且つノイズの影響も軽微である場合、通常、最小の累積相関値は１つのサンプリング点Ｓ（１つの画素）にて得られ、その場合は、近傍累積相関値を参照する必要はない。逆に、そのような場合に近傍累積相関値を過度に考慮すると、真のマッチング位置の検出の正確性が損なわれる（動き検出の精度が劣化する）惧れがある。このような事情を考慮し、本実施例では、図１１及び図１２を参照して説明したように、真のマッチング位置を定めきれない場合に参照する近傍累積相関値の個数を段階的に増加させるようにしている。これにより、近傍累積相関値を参照したことに由来する動き検出の精度の劣化が抑制される。

＜＜変形等＞＞
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。

上述の撮像装置は本発明の実施例に過ぎず、本発明は、様々な変形例（又は他の実施例）を含む。以下に、本発明に含まれる変形例（又は他の実施例）として、変形例１〜変形例８を例示する。各変形例に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。

［変形例１］
真のマッチング位置を定めきれない場合、参照する近傍累積相関値のパターンを、図１１（ａ）から同図（ｂ）、（ｃ）、（ｄ）、（ｅ）に示すパターンへと順次変更していく実施例を上述したが、何れかのパターンを用いた処理を省略するようにしても構わない。

例えば、図１１（ａ）→（ｃ）→（ｅ）でもよい。即ち、図１２のステップＳ１０２にて選択不可と判定した場合は（ステップＳ１０２のＮ）、ステップＳ１０３及びＳ１０４の処理を省略して直接ステップＳ１０５に移行し、且つ、図１２のステップＳ１０６にて選択不可と判定した場合は（ステップＳ１０６のＮ）、ステップＳ１０７及びＳ１０８の処理を省略して直接ステップＳ１０９に移行するようにしてもよい。同様に例えば、図１１（ｂ）→（ｅ）でもよい。

［変形例２］
真のマッチング位置を定めきれない場合に参照する近傍累積相関値の個数を段階的に増加させるようにする実施例を上述したが（図１１及び図１２参照）、そのような場合における個数の増加は必須ではない。

例えば、ステップＳ１０１で算出された４つの平均値の内、最小の平均値と他の平均値との差が全て所定の差分閾値（例えば２）以下の場合、ステップＳ１０２からステップＳ１０３に移行する前に以下の第１ステップ及び第２ステップの処理を行うようにしてもよい。

第１ステップでは、第１〜第４の候補データの夫々について（即ち、候補最小相関値ごとに）、図１６のパターンに対応するような「候補最小相関値と４個の近傍累積相関値」の平均値（選択用評価値）を計算する。即ち、（ｐ，ｑ）＝（−１，−１）、（−１，１）、（１，−１）、（１，１）、（０，０）である場合における、
「累積相関値Ｖ（ｉ_A＋ｐ，ｊ_A＋ｑ）の平均値Ｖ_A_aveと、累積相関値Ｖ（ｉ_B＋ｐ，ｊ_B＋ｑ）の平均値Ｖ_B_aveと、累積相関値Ｖ（ｉ_C＋ｐ，ｊ_C＋ｑ）の平均値Ｖ_C_aveと、累積相関値Ｖ（ｉ_D＋ｐ，ｊ_D＋ｑ）の平均値Ｖ_D_ave」を算出する。

そして、第２ステップにおいて、第１ステップで算出された４つの平均値を比較し、その４つの平均値の内、最小の平均値と他の平均値との差が全て所定の差分閾値（例えば２）以下の場合はステップＳ１０３に移行し、そうでない場合はステップＳ１１２に移行して、第１ステップで算出された４つの平均値の内、最小の平均値に対応する候補最小相関値を採用最小相関値Ｖｍｉｎとして選択するようにする。

図１１（ａ）に対応する４つの近傍累積相関値を参照して真のマッチング位置を定めきれなかったとしても、図１６に対応する４つの近傍累積相関値を参照すれば、真のマッチング位置を検出することができる場合がある。これを考慮して、上述の如く処理する。

［変形例３］
候補最小相関値（Ｖ_A等）を示す位置（Ｐ_A等）を中心とした、最大（５×５）画素の領域内の近傍累積相関値を参照する例を示したが（図１１及び図１２参照）、これは単なる一例であり、これを様々に変形することが可能である。例えば、採用最小相関値Ｖｍｉｎを選択するために、候補最小相関値（Ｖ_A等）を示す位置（Ｐ_A等）を中心とした、最大（７×７）画素の領域内の近傍累積相関値を参照するようにしてもよい。

［変形例４］
また、第１〜第４の候補データの夫々について（即ち、候補最小相関値ごとに）、「候補最小相関値と近傍累積相関値」の平均値を選択用評価値として算出し、算出された各選択用評価値の比較を介して採用最小相関値Ｖｍｉｎを選択する例を図１２を示して上述したが、選択用評価値として算出される平均値を、総和（合算値）又は加重平均値に変更しても良い。

即ち、例えば、図１２のステップＳ１０１において、（ｐ，ｑ）＝（０，−１）、（−１，０）、（０，１）、（１，０）、(０，０)である場合における、合計５個の累積相関値Ｖ（ｉ_A＋ｐ，ｊ_A＋ｑ）の総和を選択用評価値として算出しても構わない。

また、選択用評価値を加重平均値とする場合、例えば、図１２のステップＳ１０１において、
Ｖ_A_ave＝ｋ₁・Ｖ（ｉ_A，ｊ_A−１）＋ｋ₂・Ｖ（ｉ_A−１，ｊ_A）＋
ｋ₃・Ｖ（ｉ_A，ｊ_A＋１）＋ｋ₄・Ｖ（ｉ_A＋１，ｊ_A）＋
ｋ₀・Ｖ（ｉ_A，ｊ_A）
、を算出すればよい。ここで、ｋ₀〜ｋ₄は、加重平均値を算出するための係数であり、例えば、ｋ₁＝ｋ₂＝ｋ₃＝ｋ₄＜ｋ₀、が成立する。

［変形例５］
また、第１〜第４の候補データの夫々について、「候補最小相関値と近傍累積相関値」の平均値（又は総和又は加重平均値）を選択用評価値として算出し、算出された各選択用評価値の比較を介して採用最小相関値Ｖｍｉｎを選択する例を示したが、各選択用評価値を、候補最小相関値を除外して算出するようにしても構わない。

即ち、例えば、図１２のステップＳ１０３において、（ｐ，ｑ）＝（−１，−１）、（−１，０）、（−１，１）、（０，−１）、（０，１）、（１，−１）、（１，０）、（１，１）である場合における、合計８個の累積相関値Ｖ（ｉ_A＋ｐ，ｊ_A＋ｑ）の平均値（又は総和又は加重平均値）をＶ_A_aveとするようにしても構わない。

［変形例６］
各画像（各分割露光画像など）に検出領域（Ｅ₁〜Ｅ₉）が９つある場合を例示したが、各画像に設けられる検出領域の個数は任意である。各画像に設ける検出領域の個数は、１つであってもよい。

［変形例７］
加算式手ぶれ補正を行う場合に特に着目して上述の実施例を説明したが、動き検出回路３２は、動画像撮影時にも有効に機能する。動画像撮影時には、図１の輝度調節回路３１を介することなく、画像メモリ５からの画像データを動き検出回路３２に直接入力するようにしてもよい。手ぶれ補正撮影モードにて動画像を撮影する場合、動き検出回路３２は、所定のフレーム周期（例えば１／６０秒）で順次入力される画像データに基づき、図９及び図１０を参照して説明した動作に従って、隣接するフレーム画像（前回に得られた画像と今回に得られた画像）間の全体動きベクトルを検出する。そして、検出された全体動きベクトルに基づき、図１の手ぶれ補正回路３０は、隣接するフレーム画像間の動きがキャンセルされるように、各フレーム画像に必要な画像処理を施す。

［変形例８］
また、図１の撮像装置は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。特に、図１の手ぶれ補正回路３０の機能、それに含まれる動き検出回路３２、座標変換回路３３、画像加算回路３４の各機能は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能である。

ソフトウェアを用いて動き検出回路３２の機能を実現する場合、図２、図３及び図１３は、動き検出回路３２の一部又は全部の機能ブロック図を表すことになる。また、動き検出回路３２（又は手ぶれ補正回路３０）にて実現される機能の全部または一部を、プログラムとして記述し、該プログラムをコンピュータ上で実行することによって、その機能の全部または一部を実現するようにしてもよい。

＜＜注記＞＞
尚、図３において、代表点マッチング回路４１は、累積加算回路５４によって算出された複数の累積相関値の中から候補最小相関値（候補相関値）を特定する候補相関値特定手段としての機能と、候補最小相関値が複数個ある場合、複数の候補最小相関値の内の１つを採用最小相関値（採用相関値）として選択する選択手段としての機能と、を実現する。上述の実施例では、候補相関値特定手段の機能は、図３の演算回路５５によって実現される。

本発明の実施例に係る撮像装置の全体的構成図である。 図１の動き検出回路の内部ブロック図である。 図２の代表点マッチング回路の内部ブロック図である。 図３の代表点マッチング回路にて定義される、各動きベクトル検出領域と各小領域を示す図である。 図４に示す各領域における、代表点とサンプリング点を示す図である。 図４に示す各領域における、代表点と最小の累積相関値に対応するサンプリング点の画素位置を表す図である。 最小の累積相関値に対応する画素とその近傍画素の各画素位置を表す図である。 図３の演算回路の出力データを表としてまとめた図である。 図１の動き検出回路の動作手順を表すフローチャートである。 図１の動き検出回路の動作手順を表すフローチャートである。 図９のステップＳ１７における採用最小相関値の選択処理に参照される累積相関値のパターンを表す図である。 図９のステップＳ１７における採用最小相関値の選択処理を詳細に表したフローチャートである。 図１の動き検出回路の詳細内部ブロック図である。 図９のステップＳ１７等の処理の意義を説明するための図である。 図９のステップＳ１７等の処理の意義を説明するための図である。 図１１（ａ）等に示すパターンの変形例を示す図である。 従来技術に係る、動画像用の手ぶれ補正の原理を表す図である。 従来技術に係る、静止画用の加算式手ぶれ補正の原理を表す図である。 従来技術の問題点を説明するための図である。 従来技術の問題点を説明するための図である。

符号の説明

３０ 手ぶれ補正回路
３２ 動き検出回路
４１ 代表点マッチング回路
４２ 領域動きベクトル算出回路
４３ 検出領域有効性判定回路
４４ 全体動きベクトル算出回路

Claims (6)

1. 代表点マッチング法により互いに異なる評価画像間で算出した複数の累積相関値に基づき、前記異なる評価画像間の動きを検出する動き検出装置において、
   前記複数の累積相関値の中から、最小の累積相関値、又は、最小の累積相関値を所定の規則に従って増加させた値以下の累積相関値を、候補相関値として特定する候補相関値特定手段と、
   前記候補相関値が複数ある場合、前記候補相関値ごとに、
   前記候補相関値に対応する画素を基準とし、その基準の画素の近傍画素に対応する累積相関値を近傍累積相関値として特定して前記近傍累積相関値に応じた評価値を算出し、
   前記候補相関値ごとに算出された前記評価値に基づいて複数の候補相関値の内の１つを採用相関値として選択する選択手段と、を備え、
   前記採用相関値に対応する画素の画像上の位置情報に基づいて、前記異なる評価画像間の動きを検出する
   ことを特徴とする動き検出装置。
2. 各評価値は、
   その評価値に対応する前記候補相関値と前記近傍累積相関値の、総和、平均値若しくは加重平均値、または、
   その評価値に対応する前記近傍累積相関値の、総和、平均値若しくは加重平均値
   に応じた値であり、
   前記選択手段は、前記複数の候補相関値について算出された複数の評価値の内、最小の評価値に対応する候補相関値を前記採用相関値として選択する
   ことを特徴とする請求項１に記載の動き検出装置。
3. 前記選択手段は、
   前記最小の評価値と他の評価値との差が全て所定の差分閾値以下の場合は、
   前記近傍画素の位置及び個数の少なくとも一方を変化させてから改めて各評価値を算出し、改めて算出した各評価値に基づいて前記採用相関値を選択する
   ことを特徴とする請求項２に記載の動き検出装置。
4. 前記選択手段は、
   前記最小の評価値と他の評価値との差が全て所定の差分閾値以下の場合は、
   前記近傍画素の個数を増加させることにより各評価値の算出に参照する前記近傍累積相関値の個数を増加させてから改めて各評価値を算出し、改めて算出した各評価値に基づいて前記採用相関値を選択する
   ことを特徴とする請求項２に記載の動き検出装置。
5. 撮影によって得られた画像データを順次出力する撮像手段と、
   互いに異なる前記画像データによって表される、互いに異なる評価画像間の動きを検出する請求項１〜請求項４の何れかに記載の動き検出装置と、備えた
   ことを特徴とする撮像装置。
6. 代表点マッチング法により互いに異なる評価画像間で算出した複数の累積相関値に基づき、前記異なる評価画像間の動きを検出する動き検出方法において、
   前記複数の累積相関値の中から、最小の累積相関値、又は、最小の累積相関値を所定の規則に従って増加させた値以下の累積相関値を、候補相関値として特定する候補相関値特定ステップと、
   前記候補相関値が複数ある場合、前記候補相関値ごとに、
   前記候補相関値を基準とし、その基準の画素の近傍画素に対応する累積相関値を近傍累積相関値として特定して前記近傍累積相関値に応じた評価値を算出し、
   前記候補相関値ごとに算出された前記評価値に基づいて複数の候補相関値の内の１つを採用相関値として選択する選択ステップと、を有し、
   前記採用相関値に対応する画素の画像上の位置情報に基づいて、前記異なる評価画像間の動きを検出する
   ことを特徴とする動き検出方法。

Images