JP2012160780A

JP2012160780A - 撮像装置、画像処理装置、画像処理プログラム

Info

Publication number: JP2012160780A
Application number: JP2011017065A
Authority: JP
Inventors: Keiichi Nitta; 啓一新田
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2011-01-28
Filing date: 2011-01-28
Publication date: 2012-08-23
Anticipated expiration: 2031-01-28
Also published as: JP5703788B2

Abstract

【課題】撮像された画像から主要被写体領域を適切に推定する画像処理装置を提供する。
【解決手段】撮像装置は、被写体を撮像する撮像部と、振れ量を検出する振れ検出部と、前記撮像部により時系列に撮像された複数のフレーム画像において、前記フレーム画像を複数の画像領域に分割するフレーム画像分割部と、前記画像領域毎に当該画像領域の動きベクトルを検出する動きベクトル検出部と、前記複数のフレーム画像が撮像される際に、前記振れ検出部により検出される前記撮像装置の振れ量が所定量以上の場合、前記動きベクトル検出部により検出される前記画像領域の動きベクトルに基づいて、前記複数の画像領域のうち当該動きベクトルが小さい画像領域を、主要被写体が含まれる領域であると推定する主要被写体推定部と、を備える。
【選択図】図１

Description

本発明は、撮像装置、画像処理装置、画像処理プログラムに関する。

撮像された画像から動きのある領域を主要被写体領域として推定する技術が、提案されている（特許文献１参照）。

特開２００２−２３２７７７号公報

しかしながら、主要被写体に動きがある場合、撮影者が主要被写体の動きに合わせて撮像装置を移動させながら撮像する（パンニングやチルティング等）ことがある。撮像装置を移動させながら撮像した場合、撮像された画像では、動きのある主要被写体は動きが少ない画像となり、主要被写体領域以外の背景領域は動きが多い画像となる。そのため、動きのある画像領域を主要被写体として検出する方法では、主要被写体領域を適切に推定することができないという問題がある。

本発明は、このような事情に鑑みてなされたもので、その目的は、撮像された画像から主要被写体領域を適切に推定する撮像装置、画像処理装置、画像処理プログラムを提供することにある。

この発明は上述した課題を解決するためになされたもので、本発明は、被写体を撮像する撮像部と、振れ量を検出する振れ検出部と、前記撮像部により時系列に撮像された複数のフレーム画像において、前記フレーム画像を複数の画像領域に分割するフレーム画像分割部と、前記画像領域毎に当該画像領域の動きベクトルを検出する動きベクトル検出部と、前記複数のフレーム画像が撮像される際に、前記振れ検出部により検出される前記撮像装置の振れ量が所定量以上の場合、前記動きベクトル検出部により検出される前記画像領域の動きベクトルに基づいて、前記複数の画像領域のうち当該動きベクトルが小さい画像領域を、主要被写体が含まれる領域であると推定する主要被写体推定部と、を備えることを特徴とする撮像装置である。

また、この発明は、撮像装置の振れ情報が入力される振れ情報入力部と、前記撮像装置により時系列に撮像された複数のフレーム画像が入力されるフレーム画像入力部と、前記フレーム画像を複数の画像領域に分割するフレーム画像分割部と、前記画像領域毎に当該画像領域の動きベクトルを検出する動きベクトル検出部と、前記振れ情報入力部から入力される前記複数のフレーム画像が撮像される際の前記撮像装置の振れ量が所定量以上の場合、前記動きベクトル検出部により検出される前記画像領域の動きベクトルに基づいて、前記複数の画像領域のうち当該動きベクトルが小さい画像領域を、主要被写体が含まれる領域であると推定する主要被写体推定部と、を備えることを特徴とする画像処理装置である。

また、この発明は、画像処理装置としてのコンピュータに、撮像装置の振れ情報を入力する振れ情報入力手順と、前記撮像装置により時系列に撮像された複数のフレーム画像を入力するフレーム画像入手順と、前記フレーム画像を複数の画像領域に分割するフレーム画像分割手順と、前記画像領域毎に当該画像領域の動きベクトルを検出する動きベクトル検出手順と、前記複数のフレーム画像が撮像される際の前記撮像装置の振れ量が所定量以上の場合、前記動きベクトル検出手順により検出される前記画像領域の動きベクトルに基づいて、前記複数の画像領域のうち当該動きベクトルが小さい画像領域を、主要被写体が含まれる領域であると推定する主要被写体推定手順と、を実行させるための画像処理プログラムである。

この発明によれば、主要被写体に動きがある場合でも、撮像装置は、撮像された画像から主要被写体領域を適切に推定することができる。

第１実施形態による撮像装置の構成を示す概略ブロック図である。フレーム画像における動きベクトルの一例を示す説明図である。第１実施形態における主要被写体推定処理を示すフローチャートである。第２実施形態における主要被写体推定処理を示すフローチャートである。第３実施形態における主要被写体推定処理を示すフローチャートである。第４実施形態における主要被写体推定処理を示すフローチャートである。第５実施形態における位置補正処理を示すフローチャートである。

以下、図面を参照して、本発明の実施の形態について説明する。
＜第１実施形態＞
図１は、この発明の第１実施形態による撮像装置１００の構成を示す概略ブロック図である。図１に示す撮像装置１００は、撮像部２、制御部３、画像処理部（画像処理装置）４、記憶部５、バッファメモリ部６、表示部７、振れ検出センサ８（振れ検出部）、振れ補正部９、操作部１１、カードコネクタ１２、及びバス１５を有している。

撮像部２は、レンズ部２１、撮像素子２２、及びＡ/Ｄ変換部２３を有しており、被写体を撮像して画像データを生成する。この撮像部２は設定された撮像条件（例えば絞り値、露出等）に基づいて制御部３により制御され、レンズ部２１を介して入射した被写体光束が撮像素子２２の撮像面上に被写体像を結像させる。また、撮像部２は、撮像素子２２から出力されたアナログ信号をＡ/Ｄ変換部２３においてデジタル信号に変換し、画像データを生成する。
なお、上述したレンズ部２１は、撮像装置１００に取り付けられて一体とされていてもよいし、撮像装置１００に着脱可能に取り付けられてもよい。

例えば、撮像部２は、操作部１１による動画撮像操作に応じて、動画の画像データを出力する。また、撮像部２は、操作部１１による静止画撮像操作に応じて、静止画の画像データを出力する。そして、撮像部２によって撮像された動画の画像データ及び静止画の画像データは、制御部３により、バッファメモリ部６や画像処理部４を介してメモリカード２００に記録される。また、撮像部２は、静止画撮像を行うための待機状態中、スルー画の画像データを出力する。

制御部３は、撮像装置１００が有している各部の制御および各種演算処理を行う。画像処理部４は、記憶部５に記憶されている画像処理条件に基づいて、バッファメモリ部６に記憶されている画像データに対して画像処理を実行する。ここで、バッファメモリ部６に記憶されている画像データとは、例えば、撮像部２によって撮像された動画の画像データ、静止画の画像データ、もしくはスルー画の画像データ、またはメモリカード２００から読み出された画像データである。また、画像処理部４は、撮像された画像を予め定められた複数の画像領域に分割し、分割された画像領域毎に画像領域の動きベクトルを検出する。そして、画像処理部４は、検出した動きベクトルに基づいて、撮像された画像から主要被写体を推定する。画像処理部４の構成と、主要被写体を推定する処理とについては後述する。

記憶部５には、撮像装置１００を制御するための、予め定められた撮像制御条件、画像処理条件、再生制御条件、表示制御条件、記録制御条件、及び出力制御条件などが記憶されている。例えば、記憶部５は、ＲＯＭ（Read Only Memory）である。なお、記憶部５は、画像処理部４に備えられていてもよい。そして、画像処理部４が有している記憶部５には、画像処理部４において画像処理に用いる予め定められた画像処理条件が記憶されていてもよい。また、記憶部５には、撮像された動画の画像データ及び静止画の画像データが記録されてもよい。この場合、例えば、記憶部５は、フラッシュメモリ等であってもよい。

バッファメモリ部６は、制御部３が撮像装置１００を制御する際の作業領域として利用される。撮像部２によって撮像された動画の画像データ、スルー画の画像データ、もしくは静止画の画像データ、またメモリカード２００から読み出された画像データは、制御部３の制御による画像処理の過程においてバッファメモリ部６に一時的に記憶される。バッファメモリ部６は、例えばＲＡＭ（Random Access Memory）である。なお、バッファメモリ部６は、画像処理部４に備えられ、画像処理部４の制御による画像処理の過程において作業領域として利用されてもよい。

表示部７は、例えば、液晶ディスプレイであり、撮像部２によって撮像された画像データに基づく画像、もしくはメモリカード２００から読み出された画像データに基づく画像、またはメニュー画面、もしくは撮像装置１００の動作状態や設定に関する情報等を表示する。

振れ検出センサ８は、撮像装置１００の筐体の動きとして、撮像装置１００の振れ量及び振れ方向を検出する。振れ検出センサ８は、例えば２軸の角度と２軸の角速度とを検出する角速度センサであって、撮像装置１００の互いに直交する水平方向と垂直（鉛直）方向との２方向の動き（振れ量及び振れ方向）を検出する。そして、振れ検出センサ８の検出結果に基づいて制御部３は、画像処理部４および振れ補正部９を制御する。

振れ補正部９は、レンズ部２１が有している振れ補正レンズを動かして光軸を変化させる。振れ補正部９は、振れ検出センサ８により検出された撮像装置１００の振れ量及び振れ方向を打ち消す方向に、レンズ部２１が有している振れ補正レンズを動かすことにより光軸と撮像面との相対位置を補正し、振れの影響を軽減させる。これにより、振れ補正部９は、例えば操作者が撮像装置１００を手持ちして撮像した際に生じる手振れに対して、振れ検出センサ８により検出された結果に基づいて光軸と撮像面との相対位置を補正する。

操作部１１は、撮像装置１００に対して操作者が操作入力するための操作スイッチを有している。例えば、操作部１１は、電源スイッチ、レリーズスイッチ、モードスイッチ、メニュースイッチ、上下左右選択スイッチ、確定スイッチ、取消スイッチ、及びその他の操作スイッチを有している。

カードコネクタ１２には、カードメモリ等の着脱可能なメモリカード（記憶媒体）２００が挿入される。カードコネクタ１２を介して、このメモリカード２００に画像データの書込み、読み出し、または消去が実行される。メモリカード２００は、撮像装置１００に対して着脱可能に接続される記憶部であり、例えば、撮像部２により撮像された画像データが記録される。

バス１５は、撮像部２、制御部３、画像処理部４、記憶部５、バッファメモリ部６、表示部７、振れ検出センサ８、振れ補正部９、操作部１１、及びカードコネクタ１２と接続され、各部から出力された画像データや制御信号等を転送する。

次に、画像処理部４の構成について詳しく説明する。画像処理部４は、フレーム画像分割部４０と、動きベクトル検出部４１、主要被写体推定部４２、及び位置補正制御部４３を有している。フレーム画像分割部４０は、撮像装置１００により時系列に撮像された複数のフレーム画像の画像データ（以下、単にフレーム画像とも呼ぶ）それぞれを、予め定められた複数の画像領域に分割する。動きベクトル検出部４１は、フレーム画像分割部４０によって分割された画像領域毎に当該画像領域の動きベクトルを検出する。
以下の実施形態において、時系列に撮像された複数のフレーム画像が動画である場合を例にして説明する。例えば、動きベクトル検出部４１は、撮像装置１００により撮像された動画の複数のフレーム画像それぞれを、フレーム画像分割部４０によって分割された各画像領域毎に動きベクトルを検出する。

主要被写体推定部４２は、複数のフレーム画像が撮像される期間に振れ検出センサ８によって検出された撮像装置１００の振れ量が所定の振れ量以上の場合、動きベクトル検出部４１により検出された画像領域の動きベクトルに基づいて、フレーム画像の複数の画像領域のうち動きベクトルが小さい画像領域を主要被写体領域であると推定する。例えば、主要被写体推定部４２は、例えば、動画が撮像される期間の撮像装置１００の動き振れ量が所定の振れ量以上の場合、当該動画のフレーム画像において動きベクトル検出部４１により検出された動きベクトルに基づいて、フレーム画像内の複数の画像領域のうち動きベクトルが小さい画像領域を主要被写体領域であると推定する。

ここで、撮像装置１００の振れ量が所定の振れ量以上の場合とは、撮像装置１００をパンニングさせる等、撮影者が意図して撮像装置を移動させた場合である。一方、撮像装置１００を手持ちして撮像した際に生じる手振れによる振れ量は、撮像装置１００の振れ量が所定の振れ量より小さい場合である。また、所定の振れ量以上とは、振れ量の大きさが所定の大きさ以上の場合であってもよいし、撮像装置１００の振れ方向と所定の画像領域における動きベクトルの方向とが、所定のフレーム数以上継続して一致している場合であってもよい。

図２は、フレーム画像における動きベクトルの一例を示す説明図である。
図２を用いて、動きベクトル検出部４１が検出した動きベクトルに基づいて、主要被写体推定部４２が主要被写体領域を推定する処理について説明する。図２の（ａ）は、動きのある主要被写体Ａの動きに合わせて、撮影者が撮像装置１００をパンニングさせながら動画を撮像している場合を示している。図２の（ａ）において、主要被写体Ａが位置A(1)から位置A(2)まで水平に右から左へ移動する動きに合わせて、撮影者は、撮像装置１００の撮像方向を位置B(1)から位置B(2)まで水平に右から左へ移動させている。ここでは、撮影者が主要被写体Ａを画角の中央になるように撮像装置１００をパンニングさせて撮像している場合として説明する。この場合、撮像された動画のフレーム画像内の動きベクトルは、画角の中央付近すなわち主要被写体Ａが撮像された領域では小さくなり、画角の端付近すなわち主要被写体Ａ以外の背景が撮像された背景領域では大きくなる。

図２の（ｂ）は、図２（ａ）により撮像された動画のフレーム画像の１つを、フレーム画像分割部４０によって予め定められた複数の画像領域に分割し、動きベクトル検出部４１によって画像領域毎にフレーム画像内の動きベクトルを画像の動きとして検出した一例を示している。図２の（ｂ）において、フレーム画像分割部４０は、撮像された動画のフレーム画像を予め定められた「５（水平方向）×４（垂直方向）」のブロック（画像領域）に分割する。動きベクトル検出部４１は、ブロック毎にフレーム画像内の動きベクトルを検出する。例えば、動きベクトル検出部４１が「Ｎ番目」のフレーム画像のブロック（1）における動きベクトルを検出するときは、「Ｎ−１番目」のフレーム画像のブロック（1）の画像データと「Ｎ番目」のフレーム画像のブロック（1）の画像データとを比較することで動きベクトルを検出する（Ｎは、整数）。

図２（ｂ）において、撮影者が主要被写体Ａの動きに合わせて撮像装置１００をパンニングして撮像しているため、主要被写体Ａが撮像された画像領域の動きベクトル、すなわち画角の中央付近のブロック(15)〜(20)の動きベクトルは、小さい動きベクトルとなる。一方、主要被写体Ａ以外の背景が撮像された背景領域の動きベクトル、すなわち画角の端付近のブロック(1)〜(14)の動きベクトルは、パンニング方向と逆方向の動きが生じるため、中央付近の動きベクトルと比較して大きい動きベクトルとなる。

そして、主要被写体推定部４２は、小さい動きベクトルである画像領域、すなわち図２（ｂ）において画角の中央付近のブロック(15)〜(20)を、主要被写体領域であると推定する。例えば、主要被写体推定部４２は、動きベクトル検出部４１によりブロック毎に検出された動きベクトルの大きさを予め定められた閾値ＭＶ_th1と比較し、閾値ＭＶ_th1より大きい動きベクトルのブロックと閾値ＭＶ_th1以下の動きベクトルのブロックとにクラスタリングする。そして、主要被写体推定部４２は、閾値ＭＶ_th1以下の動きベクトルのブロックによる画像領域を主要被写体領域であると推定する。ここで、予め定められた閾値ＭＶ_th1は、小さい動きベクトルの領域を主要被写体領域と推定するために予め定められた動きベクトルの大きさの閾値である。閾値ＭＶ_th1は、振れ検出センサ８により決定されるものであってもよい。例えば、振れ検出センサ８の出力する検出値が大きいほど、閾値ＭＶ_th1は大きい値に設定される構成としてもよい。

なお、図２を用いて、撮影者が主要被写体の動きに合わせて撮像装置１００をパンニングする場合について説明したが、これに限られるものではない。例えば、撮影者は、主要被写体の動きに合わせて撮像装置１００をチルティングさせる場合であってもよいし、また、主要被写体の動きに合わせて撮像装置１００を斜め方向に移動させる場合であってもよい。

また、フレーム画像分割部４０により、撮像された複数のフレーム画像のそれぞれを予め定められた「５（水平方向）×４（垂直方向）」のブロック（画像領域）に分割する例を説明したが、分割するブロックは「５（水平方向）×４（垂直方向）」に限られるものではない。フレーム画像分割部４０は、「５（水平方向）×４（垂直方向）」以外の水平方向及び垂直方向のブロック数に分割してもよい。

また、動きベクトル検出部４１により検出された動きベクトルを、予め定められた１つの閾値ＭＶ_th1によりクラスタリングする例を説明したが、クラスタリングする閾値は１つの閾値に限らず複数の閾値によりクラスタリングしてもよい。

次に、本第１実施形態における主要被写体推定処理の動作を説明する。
図３は、本第１実施形態における主要被写体推定処理を示すフローチャートである。

画像処理部４のフレーム画像分割部４０は、撮像された動画のフレーム画像を、予め定められた「５（水平方向）×４（垂直方向）」のブロック（画像領域）に分割する（ステップＳ１）。次に、動きベクトル検出部４１は、分割したブロック毎にフレーム画像内の動きベクトルを検出する（ステップＳ２）。

振れ検出センサ８が撮像装置１００の筐体の動き（振れ量及び振れ方向）を検出する（ステップＳ３）。そして、制御部３は、振れ検出センサ８による検出結果に基づいて、動画が撮像される際（期間）の撮像装置１００の振れ量が所定の振れ量以上であるか否かを判定する（ステップＳ５）。

ステップＳ５において、制御部３により、動画が撮像される期間の撮像装置１００の振れ量が所定の振れ量以上であると判定された場合、主要被写体推定部４２は、動きベクトル検出部４１により検出された動きベクトルの大きさが予め定められた閾値ＭＶ_th1以下の動きベクトルであるブロックを、主要被写体領域であると推定する（ステップＳ６）。

一方、ステップＳ５において、制御部３により、動画が撮像される期間の撮像装置１００の振れ量が所定の振れ量以上でないと判定された場合、画像処理部４は、主要被写体推定部４２による主要被写体領域を推定する処理を実行せずに処理を終了する。

以上のように、本第１実施形態によれば、動画が撮像される期間に、撮像装置１００の振れ量が所定の振れ量以上の場合、画像処理部４は、当該動画のフレーム画像において検出したフレーム画像内の動きベクトルに基づいて、フレーム画像内の画像領域のうち動きベクトルが小さい画像領域を主要被写体領域であると推定する。よって、撮影者が主要被写体の動きに合わせて撮像装置１００を移動させながら撮像した場合であっても、撮像装置１００は撮像された画像から主要被写体領域を適切に推定することができる。

なお、図３を用いて、制御部３が、振れ検出センサ８により検出された撮像装置１００の振れ量及び振れ方向に基づいて、動画が撮像される期間の撮像装置１００の振れ量が所定の振れ量以上であるか否かを判定する例について説明したが、画像処理部４の動きベクトル検出部４１により検出されたフレーム画像内における画像領域の動きベクトルに基づいて、撮像装置１００の振れ量が所定の振れ量以上であるか否かを判定してもよい。

例えば、制御部３は、動きベクトル検出部４１により検出された複数のフレーム画像内における所定の画像領域の動きベクトルに基づいて、撮像装置１００の振れ量が所定の振れ量以上であるか否かを判定する。ここで、所定の画像領域は、主要被写体以外の背景が撮像される背景領域となる可能性が高い画角（画面）の端付近の予め定められた画像領域である。つまり、制御部３は、画角の端付近の領域の動きベクトルが所定の大きさ以上の動きベクトルである場合、動画が撮像される期間の撮像装置１００の振れ量が所定の振れ量以上であると判定する。なお、制御部３は、複数のフレーム画像内における所定の画像領域の動きベクトルが、所定のフレーム数以上継続して同一方向の動きベクトルであると判定した場合、動画が撮像される期間の撮像装置１００の振れ量が所定の振れ量以上であると判定してもよい。これにより、振れ検出センサ８を用いなくても、撮像装置１００の動きを検出することができる。

＜第２実施形態＞
本第２実施形態において、制御部３は、振れ検出センサ８により検出された撮像装置１００の振れ量及び振れ方向と、動きベクトル検出部４１により検出された画像の動きベクトルとの両方の検出結果に基づいて、動画が撮像される期間の撮像装置１００の振れ量が所定の振れ量以上であるか否かを判定する。本第２実施形態の撮像装置１００の他の構成は、図１を用いて説明した第１実施形態の構成と同様であり、その説明を省略する。

制御部３は、複数のフレーム画像内における所定の画像領域の動きベクトルの方向と、当該複数のフレーム画像が撮像される期間の撮像装置１００の振れ方向とが、所定のフレーム数以上継続して一致しているか否かを判定する。そして、所定のフレーム数以上継続して一致していると判定された場合、主要被写体推定部４２が、動きベクトル検出部４１により検出されたフレーム画像内の画像領域の動きベクトルに基づいて、複数の画像領域のうち動きベクトルが小さい画像領域を主要被写体領域であると推定する。

例えば、上述の複数のフレーム画像内における所定の画像領域は、フレーム画像内における複数の画像領域のうちの所定の画像領域群からなる画像領域である。制御部３は、所定の画像領域群の動きベクトルの方向を、当該所定の画像領域群内の複数の画像領域のうち動きベクトルが最大となる画像領域（最大の動きベクトルを持つ画像領域）の動きベクトルの方向と判定する。

動きベクトル検出部４１は、所定の画像領域群の動きベクトルの方向として、図２に示す画角の端付近のブロック(1)〜(14)の動きベクトルを検出する。所定の画像領域群は、主要被写体以外の背景が撮像される背景領域となる可能性が高い、予め設定された画像領域群である。動きベクトル検出部４１は、背景領域の動きベクトルとして画角の端付近のブロック(1)〜(14)の動きベクトルを検出する。そして、ブロック(1)〜(14)のうち、動きベクトルが最大となるブロックにおける動きベクトルの方向を、所定の画像領域群すなわち背景領域における動きベクトルの方向とする。

例えば、図２に示す画角の端付近のブロック(1)〜(14)において、画角の端付近のブロック(6)〜(7)に人物が位置したとする。当該人物がブロック(15)〜(20)に位置する主要被写体を追いかけている場合、ブロック(6)〜(7)における動きベクトルは、ブロック(15)〜(20)における動きベクトルと近似した動きベクトルになる。また、ブロック(15)〜(20)及びブロック(6)〜(7)を合わせた領域に主要被写体、例えば電車が位置したとすると、ブロック(6)〜(7)における動きベクトルは、ブロック(15)〜(20)における動きベクトルと近似した動きベクトルになる。したがって、画角の端付近のブロック(1)〜(14)の全てのブロックにおける動きベクトルが、ブロック(15)〜(20)における動きベクトルと近似した動きベクトルになるわけではない。そのため、動きベクトル検出部４１は、ブロック(1)〜(14)のうち、動きベクトルの大きさが最大となるブロックにおける動きベクトルの方向を、背景領域における動きベクトルの方向として検出する。

また、制御部３は、振れ検出センサ８により検出された結果に基づいて、撮像装置１００の振れの方向とその振れ量が所定の振れ量以上であるか否かを判定する。制御部３は、背景領域の動きベクトルの方向と、振れ検出センサ８により検出された撮像装置１００の振れ方向とが所定のフレーム数以上継続して一致していることを判定した場合、撮像装置１００の振れ量が所定の振れ量以上である、すなわち、撮影者がパンニング等により撮像装置１００を移動させながら撮像していると認識する。この場合、第１実施形態と同様に、主要被写体推定部４２は、当該動画のフレーム画像において動きベクトル検出部４１により検出されたフレーム画像内の動きベクトルに基づいて、フレーム画像における複数の画像領域のうち動きベクトルが小さい画像領域を主要被写体領域であると推定する。

ここで、制御部３は、動きベクトルの方向を、予め定められた閾値と比較することにより判定する。例えば、制御部３は、４つの角度の閾値（４５度、１３５度、２２５度、及び３１５度）と動きベクトルの角度とを比較することにより、動きベクトルの方向が、水平方向の右もしくは左、または垂直方向の上もしくは下の４方向のうち何れの方向であるかを判定する。

具体的には、制御部３は、例えば、以下のように４つの角度の閾値と動きベクトルの角度とを比較することにより、動きベクトルの方向を４方向のうち何れの方向であるかを判定する。
水平方向の右：動きベクトルの角度が、０度以上４５度未満、または３１５度以上３６０度未満の場合。
水平方向の左：動きベクトルの角度が、４５度以上１３５度未満。
垂直方向の上：動きベクトルの角度が、１３５度以上２２５度未満。
垂直方向の下：動きベクトルの角度が、２２５度以上３１５度未満。

また、制御部３は、振れ検出センサ８により検出された撮像装置１００の振れ方向についても、同様に４方向のうち何れの方向であるかを判定する。そして、制御部３は、検出した方向に基づいて、背景領域における動きベクトルの方向と、振れ検出センサ８により検出された撮像装置１００の振れ方向とが所定のフレーム数以上継続して一致しているか否かを検出判定する。

なお、制御部３が、動きベクトル検出部４１により検出された背景領域における動きベクトルの方向と、振れ検出センサ８により検出された撮像装置１００の振れ方向とが４方向のうち何れの方向であるかを判定する方法は、４つの角度の閾値と比較することにより上下左右の４方向の何れであるかを検出する方法に限られるものではない。例えば、８つの角度の閾値と比較することにより上下左右に斜め方向を加えた８方向の何れであるかを検出する方法としてもよい。また、その他の複数の閾値に基づいて、その他の複数の方向を検出してもよい。

図４は、本第２実施形態における主要被写体推定処理を示すフローチャートである。
以下、図４が示すフローチャートを用いて、本第２実施形態における撮像装置１００の主要被写体推定処理を説明する。ここで、図４のステップＳ１１〜ステップＳ１２は、図３のステップＳ１〜ステップＳ２と対応しており、その説明を省略する。

動きベクトル検出部４１は、画角の端付近の複数ブロック（所定の画像領域群、すなわち背景領域における複数ブロック）の動きベクトルを検出する。そして、当該複数ブロックのうち、動きベクトルが最大となるブロックにおける動きベクトルの方向を、背景領域における動きベクトルの方向として検出する（ステップＳ１３）。

振れ検出センサ８が、動画が撮像される期間の撮像装置１００の振れ方向を検出する（ステップＳ１４）。そして、制御部３は、振れ検出センサ８により検出された撮像装置１００の振れ方向と、動きベクトル検出部４１により検出された背景領域における動きベクトルの方向とが所定のフレーム数以上継続して一致しているか否かを判定する（ステップＳ１５）。

ステップＳ１５において、撮像装置１００の振れ方向と背景領域における動きベクトルの方向とが所定のフレーム数以上継続して一致していると判定された場合、主要被写体推定部４２は、動きベクトル検出部４１により検出された動きベクトルの大きさが予め定められた閾値ＭＶ_th1以下の動きベクトルであるブロックを主要被写体領域であると推定する（ステップＳ１６）。

一方、ステップＳ１５において、撮像装置１００の振れ方向と背景領域における動きベクトルの方向とが所定のフレーム数以上継続して一致していないと判定された場合、画像処理部４は、主要被写体推定部４２による主要被写体領域を推定する処理を実行せずに処理を終了する。

以上のように、本第２実施形態によれば、制御部３は、振れ検出センサ８により検出された撮像装置１００の振れ方向と、動きベクトル検出部４１により検出された所定の画像領域群（背景領域）の動きベクトルの方向とが所定のフレーム数以上継続して一致している場合、動画が撮像される期間の撮像装置１００の振れ量が所定の振れ量以上であると判定する。そして、画像処理部４は、当該動画のフレーム画像において検出したフレーム画像内の動きベクトルに基づいて、当該動画のフレーム画像の画像領域のうち動きベクトルが小さい画像領域を、主要被写体領域であると推定する。撮影者による手振れの場合、振れの方向は、長時間継続して同方向になる可能性は少ないと考えられる。上記構成によれば、ステップＳ１５の処理により、手振れを、例えばパンニングと誤って判断してしまう虞を軽減することができる。よって、撮影者が主要被写体の動きに合わせて撮像装置１００の撮像領域を移動させながら撮像した場合であっても、撮像装置１００は撮像された画像から主要被写体領域を適切に推定することができる。

また、画像処理部４は、背景領域の動きベクトルの方向を、背景領域における複数の画像領域のうち、動きベクトルが最大となる画像領域における動きベクトルの方向とする。そのため、背景領域の一部に、主要被写体の一部、または主要被写体の動きに近似した動きの被写体が含まれる場合であっても、画像処理部４は、背景領域の動きベクトルの方向を適切に検出することができる。

＜第３実施形態＞
本第３実施形態においては、本第２実施形態と同様に、制御部３は、振れ検出センサ８により検出された撮像装置１００の振れ量及び振れ方向と、動きベクトル検出部４１により検出された画像の動きベクトルとの両方の検出結果に基づいて、時系列画像が撮像される期間の撮像装置１００の振れ量が所定の振れ量以上であるか否かを判定する。本第３実施形態においては、背景領域（所定の画像領域群）における画像の動きベクトルの方向の検出方法が第２実施形態と相違する。本第３実施形態の撮像装置１００の他の構成は、図１を用いて説明した第１実施形態の構成と同様であり、その説明を省略する。

第２実施形態では、所定の画像領域群のうち、動きベクトルが最大となる画像領域の動きベクトルの方向に基づいて撮像装置１００の動きベクトルの方向を判定する。本第３実施形態においては、画像処理部４は、複数の画像領域毎の動きベクトルの方向のうち、最も多い動きベクトルの方向を撮像装置１００の動きベクトルの方向とする。例えば、動きベクトル検出部４１は、背景領域の動きベクトルとして図２に示す撮像領域の端付近のブロック(1)〜(14)の動きベクトルを検出する。そして、ブロック(1)〜(14)における動きベクトルのうち、最も多い動きベクトルの方向を撮像装置１００の方向とする。

図２に示す画角の端付近のブロック(1)〜(14)において、画角の端付近のブロック(6)〜(7)に人物が位置し、当該人物がブロック(15)〜(20)に位置する主要被写体を追いかけているとする。または主要被写体、例えば電車がブロック(15)〜(20)及びブロック(6)〜(7)を合わせた領域に位置したとする。この場合、ブロック(6)〜(7)における動きベクトルの方向が、ブロック(15)〜(20)における動きベクトルの方向と同じ方向になる。したがって、画角の端付近のブロック(1)〜(14)の全てのブロックにおける動きベクトルの方向が、ブロック(15)〜(20)における動きベクトルの方向と同じになるわけではない。そのため、動きベクトル検出部４１は、ブロック(1)〜(14)のうち、最も多い動きベクトルの方向を背景領域における動きベクトルの方向とすることで、主要被写体以外の背景が撮像される背景領域の動きベクトルを検出する。なお、動きベクトル検出部４１が動きベクトルの方向を検出する方法については、第２実施形態において説明した例と同様でありその説明を省略する。

そして、制御部３が、動きベクトル検出部４１により検出された背景領域における動きベクトルの方向と、振れ検出センサ８により検出された撮像装置１００の振れ方向とが所定のフレーム数以上継続して一致していると判定した場合、撮像装置１００の振れ量が所定の振れ量以上である、すなわち、撮影者がパンニング等により撮像装置１００を移動させながら撮像していると判断する。この場合、第２実施形態と同様に、主要被写体推定部４２は、当該動画のフレーム画像において動きベクトル検出部４１により検出されたフレーム画像内の動きベクトルに基づいて、当該動画のフレーム画像における複数の画像領域のうち動きベクトルが小さい画像領域を主要被写体領域であると推定する。

図５は、本第３実施形態における主要被写体推定処理を示すフローチャートである。
以下、図５が示すフローチャートを用いて、本第３実施形態における撮像装置１００の主要被写体推定処理を説明する。ここで、図５のステップＳ２１〜Ｓ２２及びステップＳ２４〜Ｓ２６は、図４のステップＳ１１〜Ｓ１２及びステップＳ１４〜Ｓ１６と対応しておりその説明を省略し、ステップＳ２３についてのみ説明する。

動きベクトル検出部４１は、画角の端付近の複数のブロック（所定の画像領域群、すなわち背景領域における複数ブロック）の動きベクトルを検出する。そして、当該複数のブロックの動きベクトルのうち、最も多い動きベクトルの方向を所定の画像領域群における動きベクトルの方向として検出する（ステップＳ２３）。

以上のように、本第３実施形態によれば、第２実施形態と同様に、制御部３は、振れ検出センサ８により検出された撮像装置１００の振れ方向と、動きベクトル検出部４１により検出された所定の画像領域（背景領域）の動きベクトルの方向とが所定のフレーム数以上継続して一致している場合、動画が撮像される期間の撮像装置１００の振れ量が所定の動振れ量以上であると判定する。そして、画像処理部４は、当該動画のフレーム画像において検出したフレーム画像内の動きベクトルに基づいて、当該動画のフレーム画像の画像領域のうち動きベクトルが小さい画像領域を主要被写体領域であると推定する。よって、撮影者が主要被写体の動きに合わせて撮像装置１００の撮像領域を移動させながら撮像した場合であっても、撮像装置１００は、撮像された画像から主要被写体領域を適切に推定することができる。

また、動きベクトル検出部４１は、背景領域の動きベクトルの方向を、背景領域における複数の画像領域の動きベクトルの方向のうち、最も多い動きベクトルの方向とする。そのため、背景領域の一部に、主要被写体の一部、主要被写体の動きに近似した動きの被写体、または背景領域の動きと異なる動きの被写体が含まれる場合であっても、動きベクトル検出部４１は、背景領域の動きベクトルの方向を適切に検出することができる。

＜第４実施形態＞
本第４実施形態においては、複数のフレーム画像が撮像される期間に、撮像装置１００の振れ量が所定の振れ量以上であるか否かによって、主要被写体を推定する処理を切替える例を示す。本第４実施形態の撮像装置１００の他の構成は、図１を用いて説明した第１実施形態の構成と同様であり、その説明を省略する。

主要被写体推定部４２は、複数のフレーム画像が撮像される期間に、撮像装置１００の振れ量が所定の振れ量以上である場合、動きベクトル検出部４１により検出されたフレーム画像内の動きベクトルに基づいて、フレーム画像において予め定められた複数の画像領域のうち動きベクトルが小さい画像領域を主要被写体領域であると推定する。例えば、主要被写体推定部４２は、動画が撮像される期間に、撮像装置１００の振れ量が所定の振れ量以上である場合、当該動画のフレーム画像において動きベクトル検出部４１により検出された動きベクトルに基づいて、当該動画のフレーム画像における複数の画像領域のうち画像の動きベクトルが小さい画像領域を主要被写体領域であると推定する。

一方、主要被写体推定部４２は、複数のフレーム画像が撮像される期間に、撮像装置１００の振れ量が所定の振れ量以上でない場合、動きベクトル検出部４１により検出されたフレーム画像内の動きベクトルに基づいて、フレーム画像において予め定められた複数の画像領域のうち動きベクトルが大きい画像領域を主要被写体領域であると推定する。例えば、主要被写体推定部４２は、動画が撮像される期間に、撮像装置１００の振れ量が所定の振れ量以上でない場合、当該動画のフレーム画像において動きベクトル検出部４１により検出された動きベクトルに基づいて、当該動画のフレーム画像における複数の画像領域のうち画像の動きベクトルが大きい画像領域を主要被写体領域であると推定する。

このように、主要被写体推定部４２は、撮像装置１００の動きに基づいて主要被写体を推定する処理を切替える。そして、例えば、主要被写体推定部４２は、撮像装置１００の振れ量が所定の振れ量以上の場合、動きベクトル検出部４１により検出された動きベクトルを予め定められた閾値ＭＶ_th1によりクラスタリングして、閾値ＭＶ_th1以下の動きベクトルであるブロックによる画像領域を主要被写体領域であると推定する。一方、主要被写体推定部４２は、撮像装置１００の振れ量が所定の振れ量以上でない場合、動きベクトル検出部４１により検出された動きベクトルを予め定められた閾値ＭＶ_th2によりクラスタリングして、閾値ＭＶ_th2より大きい動きベクトルであるブロックによる画像領域を主要被写体領域であると推定する。ここで、予め定められた閾値ＭＶ_th2は、大きい動きベクトルの領域を主要被写体領域と推定するために予め定められた動きベクトルの閾値である。当該閾値ＭＶ_th1、ＭＶ_th2は、同じ値であっても構わない。

図６は、本第４実施形態における主要被写体推定処理を示すフローチャートである。
以下、図６が示すフローチャートを用いて、本第４実施形態における撮像装置１００の主要被写体推定処理を説明する。ここで、図６のステップＳ１〜ステップＳ６は、図３のステップＳ１〜ステップＳ６と同様の処理である。

図３と同様に、ステップＳ５において、制御部３が、動きベクトル検出部４１の検出結果に基づいて、動画が撮像される期間の撮像装置１００の振れ量が所定の振れ量以上であると判定した場合、主要被写体推定部４２は、動きベクトル検出部４１により検出された動きベクトルの大きさが予め定められた閾値ＭＶ_th1以下の動きベクトルであるブロックを主要被写体領域であると推定する（ステップＳ６）。

一方、ステップＳ５において、制御部３が、動画が撮像される期間の撮像装置１００の振れ量が所定の振れ量以上でないと判定した場合、主要被写体推定部４２は、動きベクトル検出部４１により検出された動きベクトルの大きさが予め定められた閾値ＭＶ_th2より大きい動きベクトルであるブロックを主要被写体領域であると推定する（ステップＳ７）。そして、画像処理部４は処理を終了する。

以上のように、本第４実施形態によれば、動画が撮像される期間に、撮像装置１００の振れ量が所定の振れ量以上の場合、画像処理部４は、撮像されたフレーム画像のうち動きベクトルが小さい画像領域を主要被写体領域であると推定する。一方、動画が撮像される期間に、撮像装置１００の振れ量が所定の振れ量以上でない場合、画像処理部４は、撮像されたフレーム画像のうち動きベクトルが大きい画像領域を主要被写体領域であると推定する。よって、主要被写体に動きがある場合において、撮影者が主要被写体の動きに合わせて撮像装置１００を移動させながら撮像した場合と、撮像装置１００を移動させずに撮像した場合との何れであっても、撮像装置１００は撮像された画像から主要被写体領域を適切に推定することができる。また、上記構成におけるステップＳ５の処理を、振れ検出センサ８と画面端領域群の動きベクトルの方向（大きさが最大である動きベクトルの方向、あるいは画面端領域群の動きベクトルの方向の中で最も多い方向）とが、所定フレーム数の間、継続して一致しているかを判断する構成としてもよい。

＜第５実施形態＞
本第５実施形態においては、画像処理部４が推定した主要被写体領域に基づいて、撮像装置１００において主要被写体領域の撮像される位置を補正する処理について説明する。本第５実施形態の撮像装置１００の他の構成は、図１を用いて説明した第１実施形態の構成と同様であり、その説明を省略する。

制御部３は、画像処理部４の位置補正制御部４３を介して、主要被写体推定部４２により推定された主要被写体領域がフレーム画像内の予め定められた位置に位置するように、当該フレーム画像内の主要被写体領域の位置を補正する。ここでは、予め定められた位置が、フレーム画像内の中央位置である場合について説明する。

例えば、位置補正制御部４３は、主要被写体推定部４２により推定された主要被写体領域の重心位置と、フレーム画像内の中央位置との差分を算出する。そして、位置補正制御部４３は、当該差分が０になる、または減少するように撮像光学系の振れ補正値を算出する。制御部３は、振れ補正部９を介して位置補正制御部４３から入力された振れ補正値に基づいて、レンズ部２１が有している振れ補正レンズを動かして光軸を補正する。これにより、撮像される主要被写体領域の位置をフレーム画像内の中央に補正される。

図７は、本第５実施形態における位置補正処理を示すフローチャートである。
以下、図７が示すフローチャートを用いて、本第５実施形態における撮像装置１００の主要被写体推定処理を説明する。

画像処理部４は、図３、図４、図５、または図６の主要被写体領域を推定する処理を実行する（ステップＳ３１）。画像処理部４の位置補正制御部４３は、主要被写体推定部４２により推定された主要被写体領域の重心位置を算出する（ステップＳ３２）。

次に、位置補正制御部４３は、算出した主要被写体領域の重心位置と、フレーム画像内の中央位置との差分を算出する（ステップＳ３３）。そして、制御部３が、位置補正制御部４３の算出結果に基づいて、主要被写体領域の重心位置と、フレーム画像内の中央位置とに差分あるか否かを判定する（ステップＳ３４）。

ステップＳ３４において、主要被写体領域の重心位置と、フレーム画像内の中央位置とに差分があると判定された場合、位置補正制御部４３は、当該差分が０になる、または減少するように撮像光学系の振れ補正値を算出する。（ステップＳ３５）。一方、ステップＳ３４において、主要被写体領域の重心位置と、フレーム画像内の中央位置とに差分がないと判定された場合、画像処理部４は、処理を終了する。

なお、制御部３は、ステップＳ３５において位置補正制御部４３から入力された振れ補正値に基づいて、振れ補正部９を介してレンズ部２１が有している振れ補正レンズを動かして光軸を補正する。これにより、撮像される主要被写体領域の位置が、フレーム画像内の中央に補正される。

以上のように、本第５実施形態によれば、位置補正制御部４３の出力結果に基づいて、主要被写体推定部４２により推定された主要被写体領域がフレーム画像内の中央に位置するよう主要被写体の位置を補正させる。例えば、撮影者が主要被写体の動きに合わせて撮像装置１００を移動させながら撮像しようとしても、動いている主要被写体をフレーム画像の中央の位置に継続して一致させることは困難である。本第５実施形態によれば、撮像装置１００は、推定した主要被写体領域の位置とフレーム画像の中央の位置との差分から、主要被写体領域の位置をフレーム画像の中央の位置に補正することができる。

なお、第５実施形態において、予め定められた位置が、撮像装置１００により撮像されるフレーム画像内の中央位置である場合について説明したが、これに限られるものではない。予め定められた位置は、撮像されるフレーム画像内の中央位置以外の位置に予め定められていてもよい。また、予め定められた位置は、撮影者によって、撮像されるフレーム画像内の任意の位置に設定されてもよい。

なお、位置補正制御部４３は、主要被写体推定部４２により推定された主要被写体領域におけるフレーム画像間の画像の動きが小さくなる方向に、フレーム画像内における主要被写体領域の位置を補正してもよい。すなわち、位置補正制御部４３は、主要被写体推定部４２により推定された主要被写体領域におけるフレーム画像内の動きベクトルが小さくなる方向に、フレーム画像内における主要被写体領域の位置を補正してもよい。

例えば、位置補正制御部４３は、主要被写体推定部４２により推定された「Ｎ−１番目」のフレーム画像における主要被写体領域の位置に対して、「Ｎ番目」のフレーム画像における主要被写体領域の位置の動きベクトルを算出する。そして、位置補正制御部４３は、当該動きベクトルが小さくなるように撮像光学系の振れ補正値を算出する。制御部３は、位置補正制御部４３の振れ補正値に基づいて、振れ補正部９を介してレンズ部２１が有している振れ補正レンズを動かして光軸と撮像面との相対位置を補正する。これにより、フレーム画像内に撮像される主要被写体領域の位置が補正される。

これによれば、位置補正制御部４３は、主要被写体推定部４２により推定された主要被写体領域の動きベクトルが小さくなるように主要被写体の位置を補正させる。例えば、撮影者が主要被写体の動きに合わせて撮像装置１００を移動させながら撮像しようとしても、動いている主要被写体をフレーム画像内における一定の位置に継続して位置させることは困難であり、手持ちして撮像する場合に生じる手振れと同様に主要被写体領域の位置には振れが生じる。しかし、撮像装置１００を意図して動かした場合は、撮像装置１００の振れ量が手振れによる振れ量を超えるため、撮像装置１００の手振れ補正制御は停止される。この場合、撮像装置１００は、推定した主要被写体領域の動きベクトルが小さくなるように主要被写体の位置を補正させる。これにより、撮影者が主要被写体の動きに合わせて撮像装置１００を移動させながら撮像した場合、撮像装置１００は推定した主要被写体領域の位置の振れを補正することができる。

なお、振れ補正部９を介してレンズ部２１が有している振れ補正レンズを動かして光軸を補正する光学式の振れ補正を例に説明したが、振れ補正部９を介して撮像素子２２の位置を動かしてレンズ部２１の光軸に対する撮像素子２２の撮像面の相対位置を補正する振れ補正をしもよい。

なお、振れ補正部９を介して光軸を補正する光学式の振れ補正を例に説明したが、電子式の振れ補正をしてもよい。ここで電子式の振れ補正とは、撮像素子２２の撮像可能領域よりも小さい領域を撮像領域とし、振れに応じてその振れを打ち消すように、当該撮像領域を撮像可能領域内で移動させることにより振れを補正する振れ補正である。

なお、本第５実施形態において、画像処理部４が推定した主要被写体領域に基づいて、主要被写体領域の撮像される位置を補正する処理について説明したが、推定した主要被写体領域を以下の制御に利用してもよい。
（１）撮像装置１００は、推定した主要被写体領域における特徴から主要被写体の種類（例えば、人物、動物、車、または建物等）を推定してもよい。また、撮像装置１００は、推定した主要被写体の種類の情報を各フレーム画像に関連付けて記録してもよい。また、撮像装置１００は、主要被写体の種類の情報を関連付けて記録する場合、画像データファイルに記録してもよいし、画像データファイルと関連付けられた別のデータファイルに記録してもよい。
（２）撮像装置１００は、推定した主要被写体領域に基づいて、当該領域に着目したＡＦ（Auto Focus）、ＡＥ（Auto Exposure）、またはＡＷＢ（Auto White Balance）等のＡＵＴＯ制御を実行してもよい。例えば、撮像装置１００は、推定した主要被写体領域に優先してフォーカスが合うようにＡＦを制御してもよい。また、撮像装置１００は、逆光シーン等のように背景領域が明るく主要被写体領域が暗く撮像されてしまう場合があるようなシーンにおいて、推定した主要被写体領域の明るさが適正になるようにＡＥを制御してもよい。また、撮像装置１００は、異なる色味の複数光源（例えば、電球、タングステン光、及び蛍光灯等）があるシーン等のように、撮像領域内においてホワイトバランスの基準が複数あるようなシーンにおいて、推定した主要被写体領域に優先してＡＷＢを制御してもよい。
（３）撮像装置１００は、推定した主要被写体領域の位置が、予め設定されたフレーム画像内の位置になることに応じて「静止画を撮像する、または動画の撮像を開始すること」を許容する、あるいは自動的に当該動作を行うといった制御を実行してもよい。
（４）撮像装置１００は、撮像されたフレーム画像の中から推定した主要被写体領域が存在しないフレーム画像を抽出してもよい。そして、抽出した画像を削除する、または、主要被写体領域が存在するフレーム画像に置き換えるといった制御をしてもよい。
（５）撮像装置１００は、推定した主要被写体領域の大きさが小さい場合、主要被写体領域を予め定められた（撮像に適した）大きさになるようにズームを望遠側に制御してもよい。これらは、撮像装置１００において、推定した主要被写体領域を利用した制御の一例であって、推定した主要被写体領域をその他の制御に利用してもよい。

以上説明してきたように、上述の実施形態における撮像装置１００は、撮像された画像から主要被写体領域を適切に推定することができる。また、撮像装置１００は、推定した主要被写体領域に基づいて、位置補正、振れ補正、及びその他の撮像装置１００における各種の制御が可能である。

なお、主要被写体推定部４２は、主要被写体を推定する際に、動きベクトルの情報に加えてフレーム画像内のＡＦ情報を利用してもよい。また、位相差ＡＦのデフォーカス情報により至近の被写体領域を検出し、検出結果を利用して主要被写体領域を推定してもよい。例えば、２台の走っている車等複数の被写体が同じ方向にほぼ同じ速度で移動している様子を撮像する場合等において、主要被写体推定部４２は、ＡＦの情報を加えて主要被写体を推定することにより精度よく推定することができる。

なお、動きベクトルを検出する方法として、フレーム画像間における画像のパターンマッチングを用いて検出する方法としてもよい。また、画像の特徴点を抽出し、フレーム画像間における画像の特徴点の移動量及び移動方向から検出する方法としてもよい。

なお、本実施形態第１〜５の少なくとも２つを組み合わせる構成にしてもよい。

なお、本実施形態において撮像された動画から主要被写体を推定する例を説明したが、時系列に撮像された画像は、動画に限られものではない。例えば、時系列に撮像された画像は、スルー画像や、撮像された時間が異なる同じ主要被写体が撮像された複数の静止画であってもよい。

なお、本実施形態全てにおいて図１に示す撮像装置１００を例に説明してきたが、画像処理部４は、撮像装置１００に備えられている構成に限られるものではない。例えば、画像処理部４は、時系列に撮像された複数のフレーム画像が入力され、入力されたフレーム画像に対して動きベクトルを検出して主要被写体を推定する画像処理装置であってもよい。この場合、画像処理装置は、画像が入力される画像入力部（フレーム画像入力部）を有し、当該画像入力部から、時系列に撮像された複数のフレーム画像が入力されてもよい。また、画像処理装置は、メモリカード２００等の記憶媒体から、時系列に撮像された複数のフレーム画像が入力されてもよい。なお、画像処理装置は、記憶媒体から画像データを読み込む場合、着脱可能な記憶媒体が挿入されるカードコネクタ１２を備えている構成であってもよいし、外部装置としての記憶媒体の読み取り装置と接続する構成であってもよい。また、画像処理装置は、表示部７を備えている構成であってもよいし、外部の表示装置と接続可能な構成であってもよい。これにより、画像処理装置は、本実施形態の撮像装置１００以外の撮像装置で撮像された画像に対しても、同様に主要被写体推定処理を実行することができる。

また、撮像される期間の撮像装置の振れに関する情報が、時系列に撮像された複数のフレーム画像に関連付けられて記録されている画像が、画像処理装置に入力されてもよい。これにより、画像処理装置は、入力された画像に関連付けられている情報から、撮像装置において撮像される期間に検出された当該撮像装置の動きを検出することができる。また、画像処理装置は、撮像装置の振れ情報が入力される振れ情報入力部を有し、時系列に撮像された複数のフレーム画像が撮像される期間における撮像装置の振れに関する情報が入力されてもよい。

なお、図１における画像処理部４における動きベクトル検出部４１、主要被写体推定部４２、及び位置補正制御部４３は専用のハードウェアにより実現されるものであってもよく、また、メモリおよびＣＰＵ（中央演算装置）により構成され、上述の各部の機能を実現するためのプログラムをメモリにロードして実行することによりその機能を実現させるものであってもよい。

また、図１における上述の各部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより上述の各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

２撮像部、４画像処理部（画像処理装置）、８振れ検出センサ（振れ検出部）、４０フレーム画像分割部、４１動きベクトル検出部、４２主要被写体推定部、４３位置補正制御部、１００撮像装置

Claims

被写体を撮像する撮像部と、
振れ量を検出する振れ検出部と、
前記撮像部により時系列に撮像された複数のフレーム画像において、前記フレーム画像を複数の画像領域に分割するフレーム画像分割部と、
前記画像領域毎に当該画像領域の動きベクトルを検出する動きベクトル検出部と、
前記複数のフレーム画像が撮像される際に、前記振れ検出部により検出される前記撮像装置の振れ量が所定量以上の場合、前記動きベクトル検出部により検出される前記画像領域の動きベクトルに基づいて、前記複数の画像領域のうち当該動きベクトルが小さい画像領域を、主要被写体が含まれる領域であると推定する主要被写体推定部と、
を備えることを特徴とする撮像装置。
前記動きベクトル検出部により検出される前記複数のフレーム画像内における所定の画像領域の動きベクトルの方向と、前記複数のフレーム画像が撮像される際の前記振れ検出部により検出される前記撮像装置の振れ方向とが、所定のフレーム数以上継続して同じ方向である場合、
前記主要被写体推定部は、
前記動きベクトル検出部により検出される前記画像領域の動きベクトルに基づいて、前記複数の画像領域のうち当該動きベクトルが小さい画像領域を、主要被写体領域であると推定する、
ことを特徴とする請求項１に記載の撮像装置。
前記所定の画像領域は、前記複数の画像領域のうちの所定の画像領域群であり、
前記動きベクトル検出部は、
前記所定の画像領域群における動きベクトルの方向を、前記所定の画像領域群内の複数の画像領域のうち最大の動きベクトルを持つ画像領域における動きベクトルの方向とする、
ことを特徴とする請求項２に記載の撮像装置。
前記所定の画像領域は、前記複数の画像領域のうちの所定の画像領域群であり、
前記動きベクトル検出部は、
前記所定の画像領域群における動きベクトルの方向を、前記所定の画像領域群内の複数の画像領域のうち画像領域毎における動きベクトルの方向が最も多い動きベクトルの方向とする、
ことを特徴とする請求項２に記載の撮像装置。
前記主要被写体推定部により推定された前記主要被写体領域における動きベクトルが小さくなる方向に、前記撮像部により撮像される前記フレーム画像内における前記主要被写体領域の位置を補正する位置補正制御部、
を備えることを特徴とする請求項１から請求項４の何れか１項に記載の撮像装置。
前記位置補正制御部は、
前記主要被写体推定部により推定された前記主要被写体領域が、前記フレーム画像内の予め定められた位置に位置するように、前記撮像部により撮像される前記フレーム画像内における前記主要被写体領域の位置を補正する、
ことを特徴とする請求項５に記載の撮像装置。
撮像装置の振れ情報が入力される振れ情報入力部と、
前記撮像装置により時系列に撮像された複数のフレーム画像が入力されるフレーム画像入力部と、
前記フレーム画像を複数の画像領域に分割するフレーム画像分割部と、
前記画像領域毎に当該画像領域の動きベクトルを検出する動きベクトル検出部と、
前記振れ情報入力部から入力される前記複数のフレーム画像が撮像される際の前記撮像装置の振れ量が所定量以上の場合、前記動きベクトル検出部により検出される前記画像領域の動きベクトルに基づいて、前記複数の画像領域のうち当該動きベクトルが小さい画像領域を、主要被写体が含まれる領域であると推定する主要被写体推定部と、
を備えることを特徴とする画像処理装置。
前記動きベクトル検出部により検出される前記複数のフレーム画像内における所定の画像領域の動きベクトルの方向と、前記振れ情報入力部から入力される前記複数のフレーム画像が撮像される際の前記撮像装置の振れ方向とが、所定のフレーム数以上継続して同じ方向である場合、
前記主要被写体推定部は、
前記動きベクトル検出部により検出される前記画像領域の動きベクトルに基づいて、前記複数の画像領域のうち当該動きベクトルが小さい画像領域を、主要被写体領域であると推定する、
ことを特徴とする請求項７に記載の画像処理装置。
前記所定の画像領域は、前記複数の画像領域のうちの所定の画像領域群であり、
前記動きベクトル検出部は、
前記所定の画像領域群における動きベクトルの方向を、前記所定の画像領域群内の複数の画像領域のうち最大の動きベクトルを持つ画像領域における動きベクトルの方向とする、
ことを特徴とする請求項８に記載の画像処理装置。
前記所定の画像領域は、前記複数の画像領域のうちの所定の画像領域群であり、
前記動きベクトル検出部は、
前記所定の画像領域群における動きベクトルの方向を、前記所定の画像領域群内の複数の画像領域のうち画像領域毎における動きベクトルの方向が最も多い動きベクトルの方向とする、
ことを特徴とする請求項８に記載の画像処理装置。
画像処理装置としてのコンピュータに、
撮像装置の振れ情報を入力する振れ情報入力手順と、
前記撮像装置により時系列に撮像された複数のフレーム画像を入力するフレーム画像入手順と、
前記フレーム画像を複数の画像領域に分割するフレーム画像分割手順と、
前記画像領域毎に当該画像領域の動きベクトルを検出する動きベクトル検出手順と、
前記複数のフレーム画像が撮像される際の前記撮像装置の振れ量が所定量以上の場合、前記動きベクトル検出手順により検出される前記画像領域の動きベクトルに基づいて、前記複数の画像領域のうち当該動きベクトルが小さい画像領域を、主要被写体が含まれる領域であると推定する主要被写体推定手順と、
を実行させるための画像処理プログラム。