JP2016010014A - 撮像装置及びその制御方法、プログラム、記憶媒体 - Google Patents

Abstract

【課題】回路規模の増大を抑制しつつ、動きベクトル検出精度の向上を図る。
【解決手段】被写体像を撮像して画像信号を出力する撮像部と、撮像部から出力される画像信号を用いて動きベクトルの検出を行う動きベクトル検出部と、動きベクトルの検出結果に関する情報をメタデータとして生成する生成部と、画像信号とメタデータとを関連付けて記録媒体に記録する記録部と、撮影中は、動きベクトル検出部に、撮像部から出力される画像信号に対して縮小処理または間引き処理を行った画像信号を用いて動きベクトルの検出を行わせるとともに、生成部にメタデータを生成させ、記録画像の再生中は、動きベクトル検出部に、動きベクトルの検出を行う画像領域をメタデータに基づいて決定させるとともに、記録媒体から出力される画像信号に対して、縮小処理または間引き処理を行わない画像信号、あるいは撮影中よりも縮小率が小さい縮小処理または間引き率が小さい間引き処理を行った画像信号を用いて動きベクトルの検出を行わせる制御部とを備える。
【選択図】 図１

Description

本発明は、撮像装置における画像振れを機械的、あるいは電子的に補正する技術に関するものである。

近年、動画撮影が可能な撮像装置の多画素化が急速に進んでいる。ＦｕｌｌＨＤサイズの動画を撮影する撮像装置は既に広く普及し、４Ｋ動画撮影が可能な撮像装置も徐々に市場に出始めている。更に、将来予定されている８Ｋスーパーハイビジョンの放送に向けて、技術開発も進んでいる。

このような動画像の高精細化によって、撮像装置の振れを補正する技術に対しても、より微細な映像のブレを補正するための高精度な技術が求められるようになってきている。撮像画像の振れを補正する像振れ補正機能については、従来から種々の提案が行われている。例えば特許文献１では、撮像装置にて検出された映像の動きベクトル情報を、映像信号と共に記録し、再生時に像振れ補正処理を行う技術が開示されている。

特開２００９−１５２８０２号公報

しかしながら、映像信号の画像サイズが大きくなると、上記従来例において映像の振れを検出するために用いている動きベクトル検出回路において、以下のような問題が生じる。

動きベクトルは、画像にエッジ等の特徴的な形状がある場合に、現在のフレーム画像と過去のフレーム画像で、その特徴的な形状同士の画像上での位置変化を演算することにより検出する。そのため、動きベクトルを検出するための画像上での検出エリアは、上記画像の特徴的な形状を含むことができる程度の大きさが必要となる。上記検出エリアが小さいと、動きベクトル検出精度の劣化を招く。画像サイズが大きい動画の場合、画像サイズが小さい動画と比較して、同じ大きさの被写体を含む画像エリア内の画素数が大きくなる。例えば、ＦｕｌｌＨＤ（１９２０×１０８０画素）サイズの動画と比較すると、４Ｋ（３８４０×２１６０画素）動画では４倍、８Ｋ（７６８０×４３２０画素）動画では１６倍の画素数となり、回路規模の増大とそれに付随して生じる消費電力の増加が避けられない。

本発明は上述した課題に鑑みてなされたものであり、その目的は、回路規模の増大を抑制しつつ、動きベクトル検出精度の向上を図ることである。

本発明に係わる撮像装置は、被写体像を撮像して画像信号を出力する撮像手段と、前記撮像手段から出力される画像信号を用いて動きベクトルの検出を行う動きベクトル検出手段と、前記動きベクトルの検出結果に関する情報をメタデータとして生成する生成手段と、前記画像信号と前記メタデータとを関連付けて記録媒体に記録する記録手段と、撮影中は、前記動きベクトル検出手段に、前記撮像手段から出力される画像信号に対して縮小処理または間引き処理を行った画像信号を用いて動きベクトルの検出を行わせるとともに、前記生成手段に前記メタデータを生成させ、記録画像の再生中は、前記動きベクトル検出手段に、動きベクトルの検出を行う画像領域を前記メタデータに基づいて決定させるとともに、前記記録媒体から出力される画像信号に対して、縮小処理または間引き処理を行わない画像信号、あるいは撮影中よりも縮小率が小さい縮小処理または間引き率が小さい間引き処理を行った画像信号を用いて動きベクトルの検出を行わせる制御手段と、を備えることを特徴とする。

本発明によれば、回路規模の増大を抑制しつつ、動きベクトル検出精度の向上を実現することが可能となる。

本発明の撮像装置の第１の実施形態であるビデオカメラの構成を示すブロック図。 動きベクトル検出部１１２の動作を説明するための図。 撮像画像サイズの差異による動きベクトル検出ブロックの大きさの差異を説明するための図。 動画撮影時の動きベクトル検出部１１２の動きベクトル検出結果を説明するための図。 記録動画再生時の動きベクトル検出部１１２におけるテンプレート画像とサーチ画像の配置の例を示した図。 動きベクトル検出の信頼性について説明するための図。 記録動画再生時の動きベクトル検出部１１２におけるテンプレート画像とサーチ画像の配置の他の例を示した図。 画面上に移動被写体が存在するときの、動きベクトル検出部１１２における動きベクトル検出結果を説明するための図。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。

（第１の実施形態）
図１（ａ）、図１（ｂ）は、本発明の撮像装置の第１の実施形態であるビデオカメラの構成を示すブロック図である。図１（ａ）は、動画撮影時に使用する撮像装置の各ブロックを示しており、図１（ｂ）は、動画再生時に使用する撮像装置の各ブロックを示している。なお、図１に示される各ブロックは、撮像装置に設けられた不図示の制御部により制御される。

まず、図１（ａ）を用いて、撮像装置１００の動画撮影時における各構成部とその動作について具体的に説明する。撮像装置に入力される被写体像は、ズーミング、フォーカシング等の動作を行う撮影光学系１０１及び補正光学系１０２を介して、撮像素子１０３に結像される。補正光学系１０２は、例えばシフトレンズであり、光軸と垂直な方向に移動されることにより光軸の向きを偏向する、光学的に振れ補正可能な補正系である。補正光学系１０２によって、装置の振れ等により生じる撮像面上の被写体像の移動が補正され、撮像素子１０３に結像される。

撮像素子１０３は、撮影光学系１０１によって結像された被写体像を撮像画像信号としての電気信号に変換し、信号処理部１０４に供給する。信号処理部１０４は、撮像素子１０３から入力された画像を２系統に分配する。

信号処理部１０４は、メタデータ生成部１０８に対しては、撮像素子１０３から出力されるベイヤ配列のＲＡＷ画像をそのまま出力する。メタデータ生成部１０８では、動きベクトル検出部１１２からの情報に基づいて所定のメタデータを生成し、ＲＡＷ画像と共に記録媒体１０９に記録する。メタデータ生成部１０８の動作の詳細については後述する。

また、信号処理部１０４は、撮像素子１０３から出力されるベイヤ配列のＲＡＷ画像に対して、間引き処理あるいは加算処理（縮小処理）などを行って、撮像素子１０３から出力される画像よりも小さな画像サイズにした後に現像部１０５と輝度生成部１１０に供給する。

輝度生成部１１０では、信号処理部１０４より供給された画像信号から輝度信号を生成し、画像メモリ１１１及び動きベクトル検出部１１２に供給する。動きベクトル検出部１１２は、輝度生成部１１０で生成された現在のフレームの画像の輝度信号と、画像メモリ１１１に一時保存された１フレーム前の画像の輝度信号に基づいて画像の動きベクトルを検出する。動きベクトル検出部１１２によって検出された動きベクトル出力は、画像処理補正量演算部１１３及び光学補正量演算部１１５に供給される。

光学補正量演算部１１５には、動きベクトル検出部１１２からの出力と角速度センサ１１４からの出力が供給される。角速度センサ１１４は、撮像装置１００に加わる振れを角速度信号として検出し、その角速度信号を光学補正量演算部１１５に供給する。光学補正量演算部１１５においては、角速度センサ１１４及び動きベクトル検出部１１２の出力に基づいて、撮像素子１０３の撮像面上で生じる画像の振れを補正するために必要な、補正光学系１０２の駆動量を算出し、モータ駆動部１１６に指示を送る。モータ１１７は、補正光学系１０２の駆動用のボイス・コイル型モータであり、モータ駆動部１１６で駆動されることにより、補正光学系１０２が光軸と垂直な方向に移動される。これによって画像振れ補正が行われる。

現像部１０５は、表示デバイス１０７に現在撮像されている画像を表示するため、信号処理部１０４から供給されるベイヤ配列の画像データを、ＹＵＶ形式等の表示デバイスに適したデータ形式に変換して、画像処理部１０６に供給する。画像処理部１０６は、画像処理補正量演算部１１３の指示に基づいて、現像部１０５から出力される画像に対して電子式の像振れ補正処理等の所定の画像処理を行い、表示デバイス１０７に画像を出力する。画像処理補正量演算部１１３は、動きベクトル検出部１１２の出力から画像処理部１０６に供給する出力を決定する。画像処理部１０６及び画像処理補正量演算部１１３の処理については後述する。

次に、図１（ｂ）を用いて、撮像装置１００の記録動画再生部分における各構成とその動作について具体的に説明する。なお、図１（ｂ）において、図１（ａ）と同じブロックには同じ符号を付し、詳細な説明は省略する。

撮像装置１００に対して、ユーザーから操作部材（不図示）によって、記録動画の再生が指示されると、記録媒体１０９から動画撮影時に記録されたデータが読み出される。読み出されたデータのうち、ＲＡＷ画像データは現像部１２０及び輝度生成部１１０に供給され、メタデータ生成部１０８によって生成されたメタデータは、メタデータ解析部１２３に供給される。

動きベクトル検出部１１２は、メタデータ解析部１２３によって供給される、動画撮影時の情報に基づいて、動画撮影時よりも高精度な動きベクトル検出を行う。画像処理補正量演算部１２２は、動きベクトル検出部１１２の出力から画像処理部１２１に供給する出力を決定する。この動画再生時の動作の詳細については後述する。

現像部１２０は、外部モニタ２００や外部記録媒体２０１に現在再生されている画像を出力するため、記録媒体１０９から供給されるベイヤ配列の画像データを、ＹＵＶ形式等の表示デバイスに適したデータ形式に変換して、画像処理部１２１に供給する。画像処理部１２１は、画像処理補正量演算部１２２の指示に基づいて、現像部１２０から出力される画像に対して所定の画像処理を行い、外部モニタ２００及び外部記録媒体２０１に出力するための映像データを出力する。外部モニタ２００や外部記録媒体２０１とは、例えば撮像装置１００の外部端子を介してケーブルで接続され、画像処理部１２１からは、ＳＤＩ（Serial Digital Interface）規格等に準拠した形式の映像信号が出力される。

次に、本実施形態の特徴となるブロックについて、詳細に説明する。動きベクトル検出部１１２は、輝度生成部１１０によって生成された現在の画像の輝度データと、画像メモリ１１１に一時的に保持された過去の画像の輝度データを比較して、画像の動き量を算出する。算出方法としては、画像のエッジ等の特徴点をサーチして、特徴点周辺の画像同士を比較する特徴点抽出法や、画像を複数ブロックに分割し、各ブロック毎（検出領域毎）に画像の動き量を演算するブロックマッチング法等、いずれの方法を用いてもよい。本実施形態においては、ブロックマッチング法を用いて説明を行う。

図２（ａ）は、上記複数ブロックへの分割例を示した図である。図２（ａ）は、点線で示すように、動きベクトル検出に用いる画像を横８×縦５個のブロックに分割した例を示している。図２（ｂ）は、図２（ａ）の次（未来）の画像を示しており、図２（ｂ）の被写体の位置は、図２（ａ）の被写体の位置よりも、撮像装置に加えられた振れの影響で、上方向に動いた画像となっている。

図２（ｃ）及び図２（ｄ）は、図２（ａ）に示したブロックＡにおける画像の動き量の算出方法を説明するための図である。ブロックＡにおける画像の動き量を算出するには、まずブロックＡに対応する図２（ｂ）の画像のブロックＡ’内部の、ブロックＡ’よりも小さく中心位置は一致している画像を、テンプレート画像Ｂとして設定する。なお、ブロックＡ、テンプレート画像Ｂは正方形の画像データとし、図２（ｃ）及び図２（ｄ）に示すように、一辺の長さをそれぞれＮ、Ｍ（Ｎ＞Ｍ）とする。また、説明を分かりやすくするため、ブロックＡの画像の左上隅を原点（０，０）として、横方向をＸ軸、縦方向をＹ軸として、画像の座標を定義する。

画像の動き量の算出は、以下の手順で行う。まず、図２（ｃ）の原点（０，０）と図２（ｄ）の点Ｐの位置を一致させて画像を重ね、全画素での輝度値の差分の総和（差分絶対値和＝ＳＡＤ）を算出する。次に、テンプレート画像Ｂの位置を、ブロックＡの画像の中でＸ方向、Ｙ方向に１画素ずつ動かしながら、図２（ｄ）の点Ｐ’と図２（ｃ）の座標（Ｎ，Ｎ）とが一致するまで、各位置でＳＡＤを演算していく。ＳＡＤは、画像の一致率が高いほど小さな値となるため、ＳＡＤが最小値となる位置を求めれば、画像の動き量を算出することができる。図２（ｅ）はＳＡＤが最小値となるときのブロックＡとテンプレート画像Ｂとの位置関係を示し、図２（ｅ）におけるブロックＡの中心座標（Ｎ／２，Ｎ／２）とテンプレート画像Ｂの中心座標Ｏの位置の差分が、ブロックＡにおける画像の動き量となる（図２（ｅ）の矢印）。なお、テンプレート画像をブロックＡの画像の範囲で移動させて、ＳＡＤが最小になる位置をサーチすることから、ブロックＡの画像をサーチ画像と呼ぶ。

動きベクトル検出部１１２の回路規模は、上記サーチ画像及びテンプレート画像の画素数が大きいほど大きくなる。そのため、各ブロックの画素数はできるだけ小さい方が回路規模の観点からは望ましい。一方、動きベクトルの検出を精度良く行うためには、各ブロックの中に、被写体のエッジ等の特徴的な絵柄が含まれている必要がある。そのため、各ブロックの画像全体の中で占める割合は、ある程度の大きさがある方が望ましい。

動きベクトルを検出するための画像の画素数が大きくなった場合、動きベクトル検出を行うための各ブロックの画素数を同じにすると、画像全体の中で各ブロックが占める割合は小さくなってしまう。例えば、ＦｕｌｌＨＤサイズの画像と８Ｋサイズの画像において、動きベクトル検出ブロックの画素数を同じにすると、画像全体の中で各ブロックが占める割合は１／１６となる。図３（ａ）の画像をＦｕｌｌＨＤサイズ、図３（ｂ）の画像を８Ｋサイズとして図示すると、画素数を同じとした場合の８Ｋ画像における各ブロックの大きさは、図３（ｂ）の小さい正方形で示した大きさとなる。図３（ｂ）から明らかなように、動きベクトル検出に用いる各ブロックの画像全体の中で占める割合が小さくなると、各ブロックの中に被写体のエッジ等の特徴的な絵柄が含まれる確率が小さくなり、動きベクトル検出の精度劣化を免れない。逆に、動きベクトル検出の検出精度劣化を防ぐために、各動きベクトル検出ブロックに含まれる画素数を増やすと、動きベクトル検出を行うための回路規模が増大し、消費電力の増加や演算時間の増加など様々な問題が生じる。

本実施形態においては、上述したように、信号処理部１０４において、撮像素子１０３から出力される画像を、間引きあるいは加算などを行って、撮像素子１０３から出力される画像よりも小さな画像サイズにした後に現像部１０５と輝度生成部１１０に供給する構成とした。例えば、撮像素子１０３から出力される画像が８Ｋデータである場合、ＦｕｌｌＨＤサイズ等に縮小する。

表示デバイス１０７は、撮像装置１００に搭載されるＬＣＤ等の小型の表示デバイスを想定しており、撮像素子１０３から出力される全画素を用いた映像を供給する必要はなく、縮小画像でも十分な画質を確保することができる。また、輝度生成部１１０を介して動きベクトル検出部１１２に供給される画像についても、画素数を小さくすることで、回路規模の増大を招くことなく、図３（ａ）に示すような広範囲での動きベクトル検出が可能となる。

画像処理部１０６では、現像部１２０から供給された映像信号に対して、動きベクトルを使って実現することのできる画像処理を実行した後に、表示デバイス１０７に映像信号を供給する。例えば、補正光学系１０２で補正しきれなかった画像振れは、動きベクトル検出部１１２で検出することができる。このとき、画像処理補正量演算部１１３では、動きベクトル検出部１１２で演算された、各動きベクトル検出ブロックにおける動きベクトルに基づいて、画像の動き補正量を演算する。そして、それに従って画像処理部１０６において、画像の表示範囲を変更する画像処理を行う。また例えば、画像処理部１０６において、ＨＤＲ（High dynamic range）合成等の画像合成を行う場合も、画像処理補正量演算部１１３では、動きベクトル検出部１１２で演算された動きベクトルに基づいて、画像合成時の画像ずらし量を演算する。そして、画像処理部１０６でその結果を用いてＨＤＲ合成等の画像合成処理を実行する。

表示デバイス１０７に表示される縮小画像に適用する画像処理においては、縮小画像を用いた動きベクトルの検出精度で十分である。しかし、記録媒体１０９に記録される原画像に適用する画像処理においては、縮小画像を用いた動きベクトル検出では検出精度が不十分である。そこで、本実施形態においては以下に示すような処理を行うことによって、検出精度を確保する。なお以下の説明においては、説明の簡略化のため、動画撮影時に輝度生成部１１０に供給される画像サイズは、ＦｕｌｌＨＤであり、記録媒体１０９に記録される画像サイズは８Ｋであるものとする。

図４（ａ）は、信号処理部１０４から輝度生成部１１０に供給される縮小画像を用いて、各動きベクトル検出ブロックにて、動きベクトル演算を行った結果を矢印で示した図である。図４（ａ）において、画像の左上隅の座標を原点（０，０）として、横方向をＸ軸、縦方向をＹ軸として、画像の座標を定義する。図４（ｂ）は、図４（ａ）に示したブロックＣを拡大した図であり、ブロックＣの中心座標を（ａ，ｂ）とする。また、座標（ａ，ｂ）を中心として設定したテンプレート画像を、サーチ画像上で移動したときのＳＡＤが最小になる座標を（ｃ，ｄ）とする。

メタデータ生成部１０８では、各ブロックの中心座標とＳＡＤが最小になる座標を、信号処理部１０４からメタデータ生成部１０８に供給される画像サイズの座標に変換して、メタデータとして画像と関連付けて記録媒体１０９に記録する。輝度生成部１１０に供給される画像がＦｕｌｌＨＤサイズ、メタデータ生成部１０８に供給される画像が８Ｋサイズの場合は、上記各ブロックの中心座標とＳＡＤが最小になる座標を４倍することで、座標の変換を行うことができる。

記録画像再生時は、メタデータ生成部１０８で生成されたメタデータを利用して、より高精度な動きベクトル検出を行う。図１（ｂ）において、上記メタデータは、記録媒体１０９からメタデータ解析部１２３によって読み込まれる。メタデータ解析部１２３は、上記動きベクトル検出を行うための各ブロックの中心座標と、ＳＡＤが最小になる座標を動きベクトル検出部１１２に供給する。

動きベクトル検出部１１２では、メタデータ解析部１２３からの情報を用いて、画像メモリ１１１及び輝度生成部１１０から供給される画像に設定する、サーチ画像範囲とテンプレート画像範囲を決定する。図５は、記録媒体１０９に記録された縮小なしの画像の中の、図４（ａ）のブロックＣに対応した位置の画像を示している。図５の画像の画素数は、図４（ｂ）の画素数の１６倍であり、図４（ｂ）でＳＡＤが最小になる座標（ｃ，ｄ）と対応する座標は（Ｃ，Ｄ）＝（４ｃ，４ｄ）、中心座標は（Ａ，Ｂ）＝（４ａ，４ｂ）となる。これらの座標情報は、メタデータ解析部１２３から供給される。テンプレート画像は、図５の座標（Ａ，Ｂ）を中心として、動画撮影中に設定されるテンプレート画像と同じ画像サイズの範囲に設定する。一方サーチ画像は、図５の座標（Ｃ，Ｄ）を中心として、動画撮影中に設定されるサーチ画像、すなわち図４（ｂ）の画像と同じか、あるいはより小さい画素数の範囲に設定する。このとき、テンプレート画像の画面全体で占める割合は小さくなるため、テンプレート画像内に特徴的な絵柄が含まれなくなるリスクはある。しかし、サーチする範囲を、動画記録時に検出された動きベクトルが示す範囲を超えない範囲に限定すれば（例えば、８Ｋの画像をＦｕｌｌＨＤに縮小していた場合は±４画素）、動きベクトル検出の誤検出を防ぐことができる。

これによって、動画撮影中に縮小画像で検出したＳＡＤが最小となるエリア近辺を、縮小なしの画像でさらに高精度にサーチすることが可能となる。また、記録動画再生時のベクトル検出において、サーチ画像とテンプレート画像の画素数を動画撮影時よりも大きくしないため、回路規模が大幅に増加することを防ぐことができる。

記録動画再生時の画像処理補正量演算部１２２の演算は、動画撮影時の画像処理補正量演算部１１３とほぼ同様の演算を行う。ただし画像処理部１０６と画像処理部１２１では、処理する画像サイズが異なるため、動きベクトル検出部１１２から画像処理補正量演算部１２２へ供給される動きベクトル検出結果も、画像処理補正量演算部１２２から画像処理部１２１へ供給されるデータも画像サイズに合わせた分解能の出力とする。

画像処理部１２１では、現像部１２０からの映像信号に対して、画像処理部１０６と同様の画像処理を実行した後に、外部モニタ２００及び外部記録媒体２０１に出力するための映像データを出力する。上記のように、画像処理補正量演算部１２２からのデータの分解能を画像処理補正量演算部１１３よりも高くしたため、画像処理部１２１は画像サイズの大きさに適した高精度な画像処理を行うことができる。一方、画像処理補正量演算部１１３と画像処理補正量演算部１２２との出力の差異は、画像サイズに合わせた分解能の違いだけである。そのため、動画撮影中に表示デバイス１０７に表示される画像と、記録動画再生中に外部モニタ２００等に表示される画像も、画素数の違いだけとなる。

以上説明してきたように、本実施形態においては、動画撮影時は動きベクトル検出や表示デバイス出力用に用いる画像サイズを小さくすることにより、回路規模の増加を抑えて必要十分な精度での動きベクトル検出のみを行うようにした。一方、記録動画再生時は、動画撮影中の動きベクトル検出に関するメタデータを利用して、回路規模の増加を招くことなく、再生動画サイズに適した高精度な動きベクトル検出ができるようにした。これによって、動画撮影時・記録動画再生時それぞれに最適な、ブレ補正や画像合成等の画像処理を行うことができる。

なお、図１（ａ）のブロック図では、補正光学系１０２によって、光学的にブレ補正を行った後のブレ残りを、動きベクトル検出部で検出する構成としたが、補正光学系１０２がない構成であっても構わない。また動きベクトルの検出方法やメタデータの生成方法はあくまでも一例にすぎず、メタデータについては、動きベクトル検出を行うための画像エリアの情報と、動きベクトル検出結果に関する情報が付与されていれば、如何なるデータ形式であっても構わない。

また、本実施形態においては、記録動画再生時の動きベクトル検出部１１２による動きベクトル検出処理について、記録媒体１０９に記録された画像を縮小せずにそのまま用いることとしたが、これに限定されるものではない。動画撮影中よりも縮小率が小さい範囲で縮小あるいは間引き処理等を行う構成にしてもよい。例えば、動画撮影中は８Ｋ画像をＦｕｌｌＨＤサイズに縮小した画像を用いて動きベクトル検出を行い、記録動画再生中は８Ｋ画像を４Ｋサイズに縮小した画像を用いて動きベクトル検出を行うようにしてもよい。

（第２の実施形態）
ここまでに説明してきた内容は、本発明における基本的な実施形態である。この基本的な実施形態に対してメタデータに更に情報を付与することにより、処理の効率化やベクトル検出精度の向上を実現することができるため、以下説明する。

動きベクトル検出部１１２による動きベクトルの検出においては、動きベクトル検出ブロック内の絵柄によって、動きベクトル検出結果の精度が低い、あるいは動きベクトル検出結果が正しくない、などの信頼性が存在する。以下、その動きベクトルの信頼性について説明する。

図６（ａ）乃至図６（ｃ）は、図２（ａ）乃至図２（ｅ）で説明した、縮小した画像を用いた動きベクトル検出について、Ｘ方向のＳＡＤの変化の例を示した図である。なお、本来ＳＡＤはＸＹの二次元マップになるが、説明を分かりやすくするためにＸ軸方向のみのＳＡＤで説明を行う。図６（ａ）乃至図６（ｃ）のグラフは、テンプレート画像の中心位置のＸ座標が、サーチ画像の中心位置のＸ座標と一致しているときの移動量を０として、横軸をテンプレート画像の移動画素、縦軸をＳＡＤの演算結果としたグラフである。テンプレート画像の最大移動量は、サーチ画像の大きさとテンプレート画像の大きさで決まり、図２（ｃ）と図２（ｄ）に示した画像においては、±（Ｎ−Ｍ）／２となる。

テンプレート画像の移動に応じたＳＡＤの変化の仕方は、撮影した画像に応じて変わる。例えば、コントラストのはっきりした被写体が撮像されているブロックにおいては、サーチ画像とテンプレート画像の絵柄が一致したときの輝度値の差分が０に近くなる。そのため、図６（ａ）に示すように、ＳＡＤの最大値と最小値の差がはっきりと現れ、画像の動き量の演算結果の精度は高くなる。

しかし、例えばタイル状の模様等、同じ絵柄が繰り返される被写体が撮像されているブロックにおいては、サーチ画像とテンプレート画像の絵柄が一致する箇所が複数存在することとなる。そのため、図６（ｂ）に示すように、ＳＡＤが最小値近傍となる箇所が複数現れ、画像の動き量の演算結果の精度は低くなる。ＳＡＤのピークが複数個所現れたことを判断するには、例えばＳＡＤの最小値（ＳＡＤ_ＭＩＮ）から、所定の閾値（ＳＡＤ_ＴＨ）以内のＳＡＤの極小値（ピーク）が、２か所以上存在するかどうかの判定を行う。

また、例えば空などのコントラストが低い被写体が撮像されているブロックにおいては、サーチ画像とテンプレート画像の一致度合いが低い。そのため、図６（ｃ）に示すように、ＳＡＤの最大値と最小値の差異が小さくなり、画像の動き量の演算結果の精度は低くなる。信頼性の判断としては、ＳＡＤの最大値（ＳＡＤ_ＭＡＸ）とＳＡＤの最小値（ＳＡＤ_ＭＩＮ）の差分の大きさで定量的に判断することができる。

本実施形態においては、メタデータ生成部１０８では、既に説明した各ブロックの中心座標とＳＡＤが最小になる座標に加えて、上記信頼性の判定結果をメタデータとして画像と関連付けて記録媒体１０９に記録する。記録画像再生時は、上述したように、上記メタデータを利用してより高精度な動きベクトル検出を行うが、本実施形態においては上記信頼性の判定結果を示すメタデータを用いて、以下に説明するような処理を行う。

第１の例としては、上記信頼性の判定結果として、信頼性が低いと判定された動きベクトル検出ブロックでは、縮小なしの画像を用いた記録画像再生時の動きベクトル検出は行わず、信頼性が高いと判断されたブロックの動きベクトル検出のみを行う。例えば、上記ＳＡＤのピークが複数個所現れたというメタデータが記録されている場合や、ＳＡＤの最大値と最小値の差分が所定値以下の場合には、信頼性が低いと判断する。または、記録画像再生時の動きベクトル検出の個数を予め指定し、上記ＳＡＤの最大値と最小値の差分が大きいブロックから順に、即ち、動きベクトル検出の信頼性が高い方から順に動きベクトル検出を行うようにしてもよい。これによって、信頼性の高い動きベクトル検出ブロックを中心に動きベクトル検出を行うため、高精度な動きベクトル検出を行うことができるとともに、無駄な消費電力を削減することができる。

第２の例は、図７（ａ）、図７（ｂ）を用いて説明する。図７（ａ）、図７（ｂ）は、図５を用いて説明した、記録画像再生時の動きベクトル検出時のサーチ画像とテンプレート画像の配置の別の例を示した図である。本例においては、まず記録画像再生時の動きベクトル検出ブロックの個数を、動画撮影中に設定される動きベクトル検出ブロックの個数の８分の１に設定する。そして、第１の例で説明したのと同様に、動きベクトル検出の信頼性が高い方から優先的に動きベクトル検出を行うブロックを割り当て、それらのブロックに対してテンプレート画像とサーチ画像を設定する。

図７（ａ）は、テンプレート画像の設定例を示しており、図７（ｂ）は、サーチ画像の設定例を示している。図５においては、座標（Ａ，Ｂ）を中心座標としたテンプレート画像の設定を行っていた。それに対し図７（ａ）においては、動画撮影中に設定されていたテンプレート画像領域内の８か所（ｂ１〜ｂ８）に、できるだけ広い範囲でテンプレート画像が配置されるようにした。また図７（ｂ）においてサーチ画像は、上記ｂ１〜ｂ８の位置から、動画撮影中に検出された動きベクトル検出結果分だけシフトした位置に配置するようにした（Ｂ１〜Ｂ８）。

このように本例においては、元々動きベクトル検出の信頼性が高い動きベクトル検出ブロックに対して、動画撮影中に設定されていたテンプレート画像領域内の範囲でテンプレート画像を複数配置するようにした。これによって、いずれかのテンプレート画像内に被写体のエッジ等の特徴的な絵柄が含まれる確率が高くなり、動きベクトル検出の高精度化を実現することができる。また、動きベクトル検出を行うブロックの数を減らした分、動きベクトル検出の信頼性が高いブロックの内部の複数個所で動きベクトル検出を行うようにしたため、動きベクトル検出を行うための処理負荷が大きくなることによる消費電力の増加も防ぐことができる。

（第３の実施形態）
動きベクトル検出部１１２による動きベクトルの検出においては、上述した動きベクトル検出自体の信頼性の他に、画面内に移動被写体が存在するかどうかにも注意する必要がある。図８（ａ）、図８（ｂ）は、画面内に移動被写体が存在する場合の動きベクトル検出結果について説明するための図である。

図８（ａ）は、画面中央に移動中の被写体が存在している場合の画像を示している。図８（ｂ）は、各動きベクトル検出ブロックにおける動きベクトル検出の結果を、矢印の方向と大きさで示している。太線枠内の動きベクトルは、移動被写体の動きベクトルを示し、太線枠外の動きベクトルは、それ以外の背景領域の動きベクトルを示している。図８（ｂ）から分かるように、画面内に移動被写体が１つ以上存在する場合は、動きベクトルの大きさが異なる領域が２種類以上存在することとなる。画像処理補正量演算部１１３では、上記大きさが異なる複数の動きベクトルについて、どの領域の動きベクトルを採用するかを決定する。この決定方法については、既に種々の提案がなされており、公知の方法を用いればよい。例えば、手振れなどによる画像振れの補正を行う場合には、背景領域の動きベクトルの大きさを採用する。

本実施形態においては、メタデータ生成部１０８では、既に説明した各ブロックの中心座標とＳＡＤが最小になる座標に加えて、動きベクトルの大きさの分類種別情報をメタデータとして画像と関連付けて記録媒体１０９に記録する。

記録画像再生時は上記分類種別情報を示すメタデータを用いて、画像処理補正量演算部１２２の処理を決定する。記録動画再生時の画像処理補正量演算部１２２の演算は、動画撮影時の画像処理補正量演算部１１３と、分解能の差異以外は同様の演算を行う必要がある。そのため本実施形態においては、メタデータとして記録された上記動きベクトルの大きさの分類種別情報を用いることにより、どの領域の動きベクトル検出結果を採用するべきかを決める。これによって、画像処理補正量演算部１１３と画像処理補正量演算部１２２で、相反する処理を行うことを防止することができる。なお、画像処理補正量演算部１１３と画像処理補正量演算部１２２で、複数の領域の動きベクトル検出結果のうち、１つの領域のデータしか用いない場合は、記録画像再生時に詳細な動きベクトル検出を行う領域を、動きベクトルの大きさの分類種別情報に従って、画像処理補正量演算部１２２で使う領域のみにするようにすればよい。これによって、無駄な消費電力を削減することができる。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。また、上述の実施形態の一部を適宜組み合わせてもよい。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１００：撮像装置、１０１：撮影光学系、１０３：撮像素子、１０４：信号処理部、１０６，１２１：画像処理部、１０８：メタデータ生成部、１０９：記録媒体、１１２：動きベクトル検出部、１１３，１２２：画像処理補正量演算部、１２３：メタデータ解析部

Claims (11)

1. 被写体像を撮像して画像信号を出力する撮像手段と、
   前記撮像手段から出力される画像信号を用いて動きベクトルの検出を行う動きベクトル検出手段と、
   前記動きベクトルの検出結果に関する情報をメタデータとして生成する生成手段と、
   前記画像信号と前記メタデータとを関連付けて記録媒体に記録する記録手段と、
   撮影中は、前記動きベクトル検出手段に、前記撮像手段から出力される画像信号に対して縮小処理または間引き処理を行った画像信号を用いて動きベクトルの検出を行わせるとともに、前記生成手段に前記メタデータを生成させ、記録画像の再生中は、前記動きベクトル検出手段に、動きベクトルの検出を行う画像領域を前記メタデータに基づいて決定させるとともに、前記記録媒体から出力される画像信号に対して、縮小処理または間引き処理を行わない画像信号、あるいは撮影中よりも縮小率が小さい縮小処理または間引き率が小さい間引き処理を行った画像信号を用いて動きベクトルの検出を行わせる制御手段と、
   を備えることを特徴とする撮像装置。
2. 撮影中の前記動きベクトルの検出結果を用いて画像処理を行う第１の画像処理手段と、記録画像の再生中の前記動きベクトルの検出結果を用いて画像処理を行う第２の画像処理手段とを更に備え、
   前記第１の画像処理手段による画像処理よりも前記第２の画像処理手段による画像処理の方が分解能が高いことを特徴とする請求項１に記載の撮像装置。
3. 前記第１の画像処理手段および前記第２の画像処理手段における画像処理は、電子式の像振れ補正処理あるいは画像合成処理であることを特徴とする請求項２に記載の撮像装置。
4. 前記生成手段は、撮影中に前記動きベクトル検出手段が動きベクトル検出を行う画像上での位置と、動きベクトルの検出結果とを含む情報をメタデータとして生成することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記生成手段は、撮影中に前記動きベクトル検出手段により得られたそれぞれの動きベクトルの検出領域の信頼性に関する情報をメタデータとして生成し、前記動きベクトル検出手段は、記録画像の再生中に、前記メタデータにより信頼性が低いと判定された領域の動きベクトルの検出を行わないことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記生成手段は、撮影中に前記動きベクトル検出手段により得られたそれぞれの動きベクトルの検出領域の信頼性に関する情報をメタデータとして生成し、前記動きベクトル検出手段は、記録画像の再生中は、前記動きベクトルの検出領域の数を撮影中よりも少ない数とし、前記メタデータにより信頼性が高いと判定された領域の動きベクトルの検出を優先的に行うことを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記生成手段は、撮影中に前記動きベクトル検出手段により得られたそれぞれの動きベクトルの検出領域の信頼性に関する情報をメタデータとして生成し、前記動きベクトル検出手段は、記録画像の再生中は、前記動きベクトルの検出領域の数を撮影中よりも少ない数とし、前記メタデータにより信頼性が高いと判定された領域を更に小さく分割した複数の領域について動きベクトルの検出を行うことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記生成手段は、撮影中に前記動きベクトル検出手段により得られた移動被写体が存在するか否かを示す情報をメタデータとして生成し、前記第２の画像処理手段は、記録画像の再生中に前記メタデータに基づいて決定された領域の動きベクトルの検出結果を用いて画像処理を行うことを特徴とする請求項２に記載の撮像装置。
9. 被写体像を撮像して画像信号を出力する撮像手段と、前記撮像手段から出力される画像信号を用いて動きベクトルの検出を行う動きベクトル検出手段と、前記動きベクトルの検出結果に関する情報をメタデータとして生成する生成手段とを備える撮像装置を制御する方法であって、
   前記画像信号と前記メタデータとを関連付けて記録媒体に記録する記録工程と、
   撮影中は、前記動きベクトル検出手段に、前記撮像手段から出力される画像信号に対して縮小処理または間引き処理を行った画像信号を用いて動きベクトルの検出を行わせるとともに、前記生成手段に前記メタデータを生成させ、記録画像の再生中は、前記動きベクトル検出手段に、動きベクトルの検出を行う画像領域を前記メタデータに基づいて決定させるとともに、前記記録媒体から出力される画像信号に対して、縮小処理または間引き処理を行わない画像信号、あるいは撮影中よりも縮小率が小さい縮小処理または間引き率が小さい間引き処理を行った画像信号を用いて動きベクトルの検出を行わせる制御工程と、
   を有することを特徴とする撮像装置の制御方法。
10. 請求項９に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
11. 請求項９に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images