JP2012160780A - 撮像装置、画像処理装置、画像処理プログラム - Google Patents

撮像装置、画像処理装置、画像処理プログラム Download PDF

Info

Publication number
JP2012160780A
JP2012160780A JP2011017065A JP2011017065A JP2012160780A JP 2012160780 A JP2012160780 A JP 2012160780A JP 2011017065 A JP2011017065 A JP 2011017065A JP 2011017065 A JP2011017065 A JP 2011017065A JP 2012160780 A JP2012160780 A JP 2012160780A
Authority
JP
Japan
Prior art keywords
image
motion vector
main subject
unit
shake
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011017065A
Other languages
English (en)
Other versions
JP5703788B2 (ja
Inventor
Keiichi Nitta
啓一 新田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2011017065A priority Critical patent/JP5703788B2/ja
Publication of JP2012160780A publication Critical patent/JP2012160780A/ja
Application granted granted Critical
Publication of JP5703788B2 publication Critical patent/JP5703788B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)

Abstract

【課題】撮像された画像から主要被写体領域を適切に推定する画像処理装置を提供する。
【解決手段】撮像装置は、被写体を撮像する撮像部と、振れ量を検出する振れ検出部と、前記撮像部により時系列に撮像された複数のフレーム画像において、前記フレーム画像を複数の画像領域に分割するフレーム画像分割部と、前記画像領域毎に当該画像領域の動きベクトルを検出する動きベクトル検出部と、前記複数のフレーム画像が撮像される際に、前記振れ検出部により検出される前記撮像装置の振れ量が所定量以上の場合、前記動きベクトル検出部により検出される前記画像領域の動きベクトルに基づいて、前記複数の画像領域のうち当該動きベクトルが小さい画像領域を、主要被写体が含まれる領域であると推定する主要被写体推定部と、を備える。
【選択図】図1

Description

本発明は、撮像装置、画像処理装置、画像処理プログラムに関する。
撮像された画像から動きのある領域を主要被写体領域として推定する技術が、提案されている(特許文献1参照)。
特開2002−232777号公報
しかしながら、主要被写体に動きがある場合、撮影者が主要被写体の動きに合わせて撮像装置を移動させながら撮像する(パンニングやチルティング等)ことがある。撮像装置を移動させながら撮像した場合、撮像された画像では、動きのある主要被写体は動きが少ない画像となり、主要被写体領域以外の背景領域は動きが多い画像となる。そのため、動きのある画像領域を主要被写体として検出する方法では、主要被写体領域を適切に推定することができないという問題がある。
本発明は、このような事情に鑑みてなされたもので、その目的は、撮像された画像から主要被写体領域を適切に推定する撮像装置、画像処理装置、画像処理プログラムを提供することにある。
この発明は上述した課題を解決するためになされたもので、本発明は、被写体を撮像する撮像部と、振れ量を検出する振れ検出部と、前記撮像部により時系列に撮像された複数のフレーム画像において、前記フレーム画像を複数の画像領域に分割するフレーム画像分割部と、前記画像領域毎に当該画像領域の動きベクトルを検出する動きベクトル検出部と、前記複数のフレーム画像が撮像される際に、前記振れ検出部により検出される前記撮像装置の振れ量が所定量以上の場合、前記動きベクトル検出部により検出される前記画像領域の動きベクトルに基づいて、前記複数の画像領域のうち当該動きベクトルが小さい画像領域を、主要被写体が含まれる領域であると推定する主要被写体推定部と、を備えることを特徴とする撮像装置である。
また、この発明は、撮像装置の振れ情報が入力される振れ情報入力部と、前記撮像装置により時系列に撮像された複数のフレーム画像が入力されるフレーム画像入力部と、前記フレーム画像を複数の画像領域に分割するフレーム画像分割部と、前記画像領域毎に当該画像領域の動きベクトルを検出する動きベクトル検出部と、前記振れ情報入力部から入力される前記複数のフレーム画像が撮像される際の前記撮像装置の振れ量が所定量以上の場合、前記動きベクトル検出部により検出される前記画像領域の動きベクトルに基づいて、前記複数の画像領域のうち当該動きベクトルが小さい画像領域を、主要被写体が含まれる領域であると推定する主要被写体推定部と、を備えることを特徴とする画像処理装置である。
また、この発明は、画像処理装置としてのコンピュータに、撮像装置の振れ情報を入力する振れ情報入力手順と、前記撮像装置により時系列に撮像された複数のフレーム画像を入力するフレーム画像入手順と、前記フレーム画像を複数の画像領域に分割するフレーム画像分割手順と、前記画像領域毎に当該画像領域の動きベクトルを検出する動きベクトル検出手順と、前記複数のフレーム画像が撮像される際の前記撮像装置の振れ量が所定量以上の場合、前記動きベクトル検出手順により検出される前記画像領域の動きベクトルに基づいて、前記複数の画像領域のうち当該動きベクトルが小さい画像領域を、主要被写体が含まれる領域であると推定する主要被写体推定手順と、を実行させるための画像処理プログラムである。
この発明によれば、主要被写体に動きがある場合でも、撮像装置は、撮像された画像から主要被写体領域を適切に推定することができる。
第1実施形態による撮像装置の構成を示す概略ブロック図である。 フレーム画像における動きベクトルの一例を示す説明図である。 第1実施形態における主要被写体推定処理を示すフローチャートである。 第2実施形態における主要被写体推定処理を示すフローチャートである。 第3実施形態における主要被写体推定処理を示すフローチャートである。 第4実施形態における主要被写体推定処理を示すフローチャートである。 第5実施形態における位置補正処理を示すフローチャートである。
以下、図面を参照して、本発明の実施の形態について説明する。
<第1実施形態>
図1は、この発明の第1実施形態による撮像装置100の構成を示す概略ブロック図である。図1に示す撮像装置100は、撮像部2、制御部3、画像処理部(画像処理装置)4、記憶部5、バッファメモリ部6、表示部7、振れ検出センサ8(振れ検出部)、振れ補正部9、操作部11、カードコネクタ12、及びバス15を有している。
撮像部2は、レンズ部21、撮像素子22、及びA/D変換部23を有しており、被写体を撮像して画像データを生成する。この撮像部2は設定された撮像条件(例えば絞り値、露出等)に基づいて制御部3により制御され、レンズ部21を介して入射した被写体光束が撮像素子22の撮像面上に被写体像を結像させる。また、撮像部2は、撮像素子22から出力されたアナログ信号をA/D変換部23においてデジタル信号に変換し、画像データを生成する。
なお、上述したレンズ部21は、撮像装置100に取り付けられて一体とされていてもよいし、撮像装置100に着脱可能に取り付けられてもよい。
例えば、撮像部2は、操作部11による動画撮像操作に応じて、動画の画像データを出力する。また、撮像部2は、操作部11による静止画撮像操作に応じて、静止画の画像データを出力する。そして、撮像部2によって撮像された動画の画像データ及び静止画の画像データは、制御部3により、バッファメモリ部6や画像処理部4を介してメモリカード200に記録される。また、撮像部2は、静止画撮像を行うための待機状態中、スルー画の画像データを出力する。
制御部3は、撮像装置100が有している各部の制御および各種演算処理を行う。画像処理部4は、記憶部5に記憶されている画像処理条件に基づいて、バッファメモリ部6に記憶されている画像データに対して画像処理を実行する。ここで、バッファメモリ部6に記憶されている画像データとは、例えば、撮像部2によって撮像された動画の画像データ、静止画の画像データ、もしくはスルー画の画像データ、またはメモリカード200から読み出された画像データである。また、画像処理部4は、撮像された画像を予め定められた複数の画像領域に分割し、分割された画像領域毎に画像領域の動きベクトルを検出する。そして、画像処理部4は、検出した動きベクトルに基づいて、撮像された画像から主要被写体を推定する。画像処理部4の構成と、主要被写体を推定する処理とについては後述する。
記憶部5には、撮像装置100を制御するための、予め定められた撮像制御条件、画像処理条件、再生制御条件、表示制御条件、記録制御条件、及び出力制御条件などが記憶されている。例えば、記憶部5は、ROM(Read Only Memory)である。なお、記憶部5は、画像処理部4に備えられていてもよい。そして、画像処理部4が有している記憶部5には、画像処理部4において画像処理に用いる予め定められた画像処理条件が記憶されていてもよい。また、記憶部5には、撮像された動画の画像データ及び静止画の画像データが記録されてもよい。この場合、例えば、記憶部5は、フラッシュメモリ等であってもよい。
バッファメモリ部6は、制御部3が撮像装置100を制御する際の作業領域として利用される。撮像部2によって撮像された動画の画像データ、スルー画の画像データ、もしくは静止画の画像データ、またメモリカード200から読み出された画像データは、制御部3の制御による画像処理の過程においてバッファメモリ部6に一時的に記憶される。バッファメモリ部6は、例えばRAM(Random Access Memory)である。なお、バッファメモリ部6は、画像処理部4に備えられ、画像処理部4の制御による画像処理の過程において作業領域として利用されてもよい。
表示部7は、例えば、液晶ディスプレイであり、撮像部2によって撮像された画像データに基づく画像、もしくはメモリカード200から読み出された画像データに基づく画像、またはメニュー画面、もしくは撮像装置100の動作状態や設定に関する情報等を表示する。
振れ検出センサ8は、撮像装置100の筐体の動きとして、撮像装置100の振れ量及び振れ方向を検出する。振れ検出センサ8は、例えば2軸の角度と2軸の角速度とを検出する角速度センサであって、撮像装置100の互いに直交する水平方向と垂直(鉛直)方向との2方向の動き(振れ量及び振れ方向)を検出する。そして、振れ検出センサ8の検出結果に基づいて制御部3は、画像処理部4および振れ補正部9を制御する。
振れ補正部9は、レンズ部21が有している振れ補正レンズを動かして光軸を変化させる。振れ補正部9は、振れ検出センサ8により検出された撮像装置100の振れ量及び振れ方向を打ち消す方向に、レンズ部21が有している振れ補正レンズを動かすことにより光軸と撮像面との相対位置を補正し、振れの影響を軽減させる。これにより、振れ補正部9は、例えば操作者が撮像装置100を手持ちして撮像した際に生じる手振れに対して、振れ検出センサ8により検出された結果に基づいて光軸と撮像面との相対位置を補正する。
操作部11は、撮像装置100に対して操作者が操作入力するための操作スイッチを有している。例えば、操作部11は、電源スイッチ、レリーズスイッチ、モードスイッチ、メニュースイッチ、上下左右選択スイッチ、確定スイッチ、取消スイッチ、及びその他の操作スイッチを有している。
カードコネクタ12には、カードメモリ等の着脱可能なメモリカード(記憶媒体)200が挿入される。カードコネクタ12を介して、このメモリカード200に画像データの書込み、読み出し、または消去が実行される。メモリカード200は、撮像装置100に対して着脱可能に接続される記憶部であり、例えば、撮像部2により撮像された画像データが記録される。
バス15は、撮像部2、制御部3、画像処理部4、記憶部5、バッファメモリ部6、表示部7、振れ検出センサ8、振れ補正部9、操作部11、及びカードコネクタ12と接続され、各部から出力された画像データや制御信号等を転送する。
次に、画像処理部4の構成について詳しく説明する。画像処理部4は、フレーム画像分割部40と、動きベクトル検出部41、主要被写体推定部42、及び位置補正制御部43を有している。フレーム画像分割部40は、撮像装置100により時系列に撮像された複数のフレーム画像の画像データ(以下、単にフレーム画像とも呼ぶ)それぞれを、予め定められた複数の画像領域に分割する。動きベクトル検出部41は、フレーム画像分割部40によって分割された画像領域毎に当該画像領域の動きベクトルを検出する。
以下の実施形態において、時系列に撮像された複数のフレーム画像が動画である場合を例にして説明する。例えば、動きベクトル検出部41は、撮像装置100により撮像された動画の複数のフレーム画像それぞれを、フレーム画像分割部40によって分割された各画像領域毎に動きベクトルを検出する。
主要被写体推定部42は、複数のフレーム画像が撮像される期間に振れ検出センサ8によって検出された撮像装置100の振れ量が所定の振れ量以上の場合、動きベクトル検出部41により検出された画像領域の動きベクトルに基づいて、フレーム画像の複数の画像領域のうち動きベクトルが小さい画像領域を主要被写体領域であると推定する。例えば、主要被写体推定部42は、例えば、動画が撮像される期間の撮像装置100の動き振れ量が所定の振れ量以上の場合、当該動画のフレーム画像において動きベクトル検出部41により検出された動きベクトルに基づいて、フレーム画像内の複数の画像領域のうち動きベクトルが小さい画像領域を主要被写体領域であると推定する。
ここで、撮像装置100の振れ量が所定の振れ量以上の場合とは、撮像装置100をパンニングさせる等、撮影者が意図して撮像装置を移動させた場合である。一方、撮像装置100を手持ちして撮像した際に生じる手振れによる振れ量は、撮像装置100の振れ量が所定の振れ量より小さい場合である。また、所定の振れ量以上とは、振れ量の大きさが所定の大きさ以上の場合であってもよいし、撮像装置100の振れ方向と所定の画像領域における動きベクトルの方向とが、所定のフレーム数以上継続して一致している場合であってもよい。
図2は、フレーム画像における動きベクトルの一例を示す説明図である。
図2を用いて、動きベクトル検出部41が検出した動きベクトルに基づいて、主要被写体推定部42が主要被写体領域を推定する処理について説明する。図2の(a)は、動きのある主要被写体Aの動きに合わせて、撮影者が撮像装置100をパンニングさせながら動画を撮像している場合を示している。図2の(a)において、主要被写体Aが位置A(1)から位置A(2)まで水平に右から左へ移動する動きに合わせて、撮影者は、撮像装置100の撮像方向を位置B(1)から位置B(2)まで水平に右から左へ移動させている。ここでは、撮影者が主要被写体Aを画角の中央になるように撮像装置100をパンニングさせて撮像している場合として説明する。この場合、撮像された動画のフレーム画像内の動きベクトルは、画角の中央付近すなわち主要被写体Aが撮像された領域では小さくなり、画角の端付近すなわち主要被写体A以外の背景が撮像された背景領域では大きくなる。
図2の(b)は、図2(a)により撮像された動画のフレーム画像の1つを、フレーム画像分割部40によって予め定められた複数の画像領域に分割し、動きベクトル検出部41によって画像領域毎にフレーム画像内の動きベクトルを画像の動きとして検出した一例を示している。図2の(b)において、フレーム画像分割部40は、撮像された動画のフレーム画像を予め定められた「5(水平方向)×4(垂直方向)」のブロック(画像領域)に分割する。動きベクトル検出部41は、ブロック毎にフレーム画像内の動きベクトルを検出する。例えば、動きベクトル検出部41が「N番目」のフレーム画像のブロック(1)における動きベクトルを検出するときは、「N−1番目」のフレーム画像のブロック(1)の画像データと「N番目」のフレーム画像のブロック(1)の画像データとを比較することで動きベクトルを検出する(Nは、整数)。
図2(b)において、撮影者が主要被写体Aの動きに合わせて撮像装置100をパンニングして撮像しているため、主要被写体Aが撮像された画像領域の動きベクトル、すなわち画角の中央付近のブロック(15)〜(20)の動きベクトルは、小さい動きベクトルとなる。一方、主要被写体A以外の背景が撮像された背景領域の動きベクトル、すなわち画角の端付近のブロック(1)〜(14)の動きベクトルは、パンニング方向と逆方向の動きが生じるため、中央付近の動きベクトルと比較して大きい動きベクトルとなる。
そして、主要被写体推定部42は、小さい動きベクトルである画像領域、すなわち図2(b)において画角の中央付近のブロック(15)〜(20)を、主要被写体領域であると推定する。例えば、主要被写体推定部42は、動きベクトル検出部41によりブロック毎に検出された動きベクトルの大きさを予め定められた閾値MVth1と比較し、閾値MVth1より大きい動きベクトルのブロックと閾値MVth1以下の動きベクトルのブロックとにクラスタリングする。そして、主要被写体推定部42は、閾値MVth1以下の動きベクトルのブロックによる画像領域を主要被写体領域であると推定する。ここで、予め定められた閾値MVth1は、小さい動きベクトルの領域を主要被写体領域と推定するために予め定められた動きベクトルの大きさの閾値である。閾値MVth1は、振れ検出センサ8により決定されるものであってもよい。例えば、振れ検出センサ8の出力する検出値が大きいほど、閾値MVth1は大きい値に設定される構成としてもよい。
なお、図2を用いて、撮影者が主要被写体の動きに合わせて撮像装置100をパンニングする場合について説明したが、これに限られるものではない。例えば、撮影者は、主要被写体の動きに合わせて撮像装置100をチルティングさせる場合であってもよいし、また、主要被写体の動きに合わせて撮像装置100を斜め方向に移動させる場合であってもよい。
また、フレーム画像分割部40により、撮像された複数のフレーム画像のそれぞれを予め定められた「5(水平方向)×4(垂直方向)」のブロック(画像領域)に分割する例を説明したが、分割するブロックは「5(水平方向)×4(垂直方向)」に限られるものではない。フレーム画像分割部40は、「5(水平方向)×4(垂直方向)」以外の水平方向及び垂直方向のブロック数に分割してもよい。
また、動きベクトル検出部41により検出された動きベクトルを、予め定められた1つの閾値MVth1によりクラスタリングする例を説明したが、クラスタリングする閾値は1つの閾値に限らず複数の閾値によりクラスタリングしてもよい。
次に、本第1実施形態における主要被写体推定処理の動作を説明する。
図3は、本第1実施形態における主要被写体推定処理を示すフローチャートである。
画像処理部4のフレーム画像分割部40は、撮像された動画のフレーム画像を、予め定められた「5(水平方向)×4(垂直方向)」のブロック(画像領域)に分割する(ステップS1)。次に、動きベクトル検出部41は、分割したブロック毎にフレーム画像内の動きベクトルを検出する(ステップS2)。
振れ検出センサ8が撮像装置100の筐体の動き(振れ量及び振れ方向)を検出する(ステップS3)。そして、制御部3は、振れ検出センサ8による検出結果に基づいて、動画が撮像される際(期間)の撮像装置100の振れ量が所定の振れ量以上であるか否かを判定する(ステップS5)。
ステップS5において、制御部3により、動画が撮像される期間の撮像装置100の振れ量が所定の振れ量以上であると判定された場合、主要被写体推定部42は、動きベクトル検出部41により検出された動きベクトルの大きさが予め定められた閾値MVth1以下の動きベクトルであるブロックを、主要被写体領域であると推定する(ステップS6)。
一方、ステップS5において、制御部3により、動画が撮像される期間の撮像装置100の振れ量が所定の振れ量以上でないと判定された場合、画像処理部4は、主要被写体推定部42による主要被写体領域を推定する処理を実行せずに処理を終了する。
以上のように、本第1実施形態によれば、動画が撮像される期間に、撮像装置100の振れ量が所定の振れ量以上の場合、画像処理部4は、当該動画のフレーム画像において検出したフレーム画像内の動きベクトルに基づいて、フレーム画像内の画像領域のうち動きベクトルが小さい画像領域を主要被写体領域であると推定する。よって、撮影者が主要被写体の動きに合わせて撮像装置100を移動させながら撮像した場合であっても、撮像装置100は撮像された画像から主要被写体領域を適切に推定することができる。
なお、図3を用いて、制御部3が、振れ検出センサ8により検出された撮像装置100の振れ量及び振れ方向に基づいて、動画が撮像される期間の撮像装置100の振れ量が所定の振れ量以上であるか否かを判定する例について説明したが、画像処理部4の動きベクトル検出部41により検出されたフレーム画像内における画像領域の動きベクトルに基づいて、撮像装置100の振れ量が所定の振れ量以上であるか否かを判定してもよい。
例えば、制御部3は、動きベクトル検出部41により検出された複数のフレーム画像内における所定の画像領域の動きベクトルに基づいて、撮像装置100の振れ量が所定の振れ量以上であるか否かを判定する。ここで、所定の画像領域は、主要被写体以外の背景が撮像される背景領域となる可能性が高い画角(画面)の端付近の予め定められた画像領域である。つまり、制御部3は、画角の端付近の領域の動きベクトルが所定の大きさ以上の動きベクトルである場合、動画が撮像される期間の撮像装置100の振れ量が所定の振れ量以上であると判定する。なお、制御部3は、複数のフレーム画像内における所定の画像領域の動きベクトルが、所定のフレーム数以上継続して同一方向の動きベクトルであると判定した場合、動画が撮像される期間の撮像装置100の振れ量が所定の振れ量以上であると判定してもよい。これにより、振れ検出センサ8を用いなくても、撮像装置100の動きを検出することができる。
<第2実施形態>
本第2実施形態において、制御部3は、振れ検出センサ8により検出された撮像装置100の振れ量及び振れ方向と、動きベクトル検出部41により検出された画像の動きベクトルとの両方の検出結果に基づいて、動画が撮像される期間の撮像装置100の振れ量が所定の振れ量以上であるか否かを判定する。本第2実施形態の撮像装置100の他の構成は、図1を用いて説明した第1実施形態の構成と同様であり、その説明を省略する。
制御部3は、複数のフレーム画像内における所定の画像領域の動きベクトルの方向と、当該複数のフレーム画像が撮像される期間の撮像装置100の振れ方向とが、所定のフレーム数以上継続して一致しているか否かを判定する。そして、所定のフレーム数以上継続して一致していると判定された場合、主要被写体推定部42が、動きベクトル検出部41により検出されたフレーム画像内の画像領域の動きベクトルに基づいて、複数の画像領域のうち動きベクトルが小さい画像領域を主要被写体領域であると推定する。
例えば、上述の複数のフレーム画像内における所定の画像領域は、フレーム画像内における複数の画像領域のうちの所定の画像領域群からなる画像領域である。制御部3は、所定の画像領域群の動きベクトルの方向を、当該所定の画像領域群内の複数の画像領域のうち動きベクトルが最大となる画像領域(最大の動きベクトルを持つ画像領域)の動きベクトルの方向と判定する。
動きベクトル検出部41は、所定の画像領域群の動きベクトルの方向として、図2に示す画角の端付近のブロック(1)〜(14)の動きベクトルを検出する。所定の画像領域群は、主要被写体以外の背景が撮像される背景領域となる可能性が高い、予め設定された画像領域群である。動きベクトル検出部41は、背景領域の動きベクトルとして画角の端付近のブロック(1)〜(14)の動きベクトルを検出する。そして、ブロック(1)〜(14)のうち、動きベクトルが最大となるブロックにおける動きベクトルの方向を、所定の画像領域群すなわち背景領域における動きベクトルの方向とする。
例えば、図2に示す画角の端付近のブロック(1)〜(14)において、画角の端付近のブロック(6)〜(7)に人物が位置したとする。当該人物がブロック(15)〜(20)に位置する主要被写体を追いかけている場合、ブロック(6)〜(7)における動きベクトルは、ブロック(15)〜(20)における動きベクトルと近似した動きベクトルになる。また、ブロック(15)〜(20)及びブロック(6)〜(7)を合わせた領域に主要被写体、例えば電車が位置したとすると、ブロック(6)〜(7)における動きベクトルは、ブロック(15)〜(20)における動きベクトルと近似した動きベクトルになる。したがって、画角の端付近のブロック(1)〜(14)の全てのブロックにおける動きベクトルが、ブロック(15)〜(20)における動きベクトルと近似した動きベクトルになるわけではない。そのため、動きベクトル検出部41は、ブロック(1)〜(14)のうち、動きベクトルの大きさが最大となるブロックにおける動きベクトルの方向を、背景領域における動きベクトルの方向として検出する。
また、制御部3は、振れ検出センサ8により検出された結果に基づいて、撮像装置100の振れの方向とその振れ量が所定の振れ量以上であるか否かを判定する。制御部3は、背景領域の動きベクトルの方向と、振れ検出センサ8により検出された撮像装置100の振れ方向とが所定のフレーム数以上継続して一致していることを判定した場合、撮像装置100の振れ量が所定の振れ量以上である、すなわち、撮影者がパンニング等により撮像装置100を移動させながら撮像していると認識する。この場合、第1実施形態と同様に、主要被写体推定部42は、当該動画のフレーム画像において動きベクトル検出部41により検出されたフレーム画像内の動きベクトルに基づいて、フレーム画像における複数の画像領域のうち動きベクトルが小さい画像領域を主要被写体領域であると推定する。
ここで、制御部3は、動きベクトルの方向を、予め定められた閾値と比較することにより判定する。例えば、制御部3は、4つの角度の閾値(45度、135度、225度、及び315度)と動きベクトルの角度とを比較することにより、動きベクトルの方向が、水平方向の右もしくは左、または垂直方向の上もしくは下の4方向のうち何れの方向であるかを判定する。
具体的には、制御部3は、例えば、以下のように4つの角度の閾値と動きベクトルの角度とを比較することにより、動きベクトルの方向を4方向のうち何れの方向であるかを判定する。
水平方向の右:動きベクトルの角度が、0度以上45度未満、または315度以上360度未満の場合。
水平方向の左:動きベクトルの角度が、45度以上135度未満。
垂直方向の上:動きベクトルの角度が、135度以上225度未満。
垂直方向の下:動きベクトルの角度が、225度以上315度未満。
また、制御部3は、振れ検出センサ8により検出された撮像装置100の振れ方向についても、同様に4方向のうち何れの方向であるかを判定する。そして、制御部3は、検出した方向に基づいて、背景領域における動きベクトルの方向と、振れ検出センサ8により検出された撮像装置100の振れ方向とが所定のフレーム数以上継続して一致しているか否かを検出判定する。
なお、制御部3が、動きベクトル検出部41により検出された背景領域における動きベクトルの方向と、振れ検出センサ8により検出された撮像装置100の振れ方向とが4方向のうち何れの方向であるかを判定する方法は、4つの角度の閾値と比較することにより上下左右の4方向の何れであるかを検出する方法に限られるものではない。例えば、8つの角度の閾値と比較することにより上下左右に斜め方向を加えた8方向の何れであるかを検出する方法としてもよい。また、その他の複数の閾値に基づいて、その他の複数の方向を検出してもよい。
図4は、本第2実施形態における主要被写体推定処理を示すフローチャートである。
以下、図4が示すフローチャートを用いて、本第2実施形態における撮像装置100の主要被写体推定処理を説明する。ここで、図4のステップS11〜ステップS12は、図3のステップS1〜ステップS2と対応しており、その説明を省略する。
動きベクトル検出部41は、画角の端付近の複数ブロック(所定の画像領域群、すなわち背景領域における複数ブロック)の動きベクトルを検出する。そして、当該複数ブロックのうち、動きベクトルが最大となるブロックにおける動きベクトルの方向を、背景領域における動きベクトルの方向として検出する(ステップS13)。
振れ検出センサ8が、動画が撮像される期間の撮像装置100の振れ方向を検出する(ステップS14)。そして、制御部3は、振れ検出センサ8により検出された撮像装置100の振れ方向と、動きベクトル検出部41により検出された背景領域における動きベクトルの方向とが所定のフレーム数以上継続して一致しているか否かを判定する(ステップS15)。
ステップS15において、撮像装置100の振れ方向と背景領域における動きベクトルの方向とが所定のフレーム数以上継続して一致していると判定された場合、主要被写体推定部42は、動きベクトル検出部41により検出された動きベクトルの大きさが予め定められた閾値MVth1以下の動きベクトルであるブロックを主要被写体領域であると推定する(ステップS16)。
一方、ステップS15において、撮像装置100の振れ方向と背景領域における動きベクトルの方向とが所定のフレーム数以上継続して一致していないと判定された場合、画像処理部4は、主要被写体推定部42による主要被写体領域を推定する処理を実行せずに処理を終了する。
以上のように、本第2実施形態によれば、制御部3は、振れ検出センサ8により検出された撮像装置100の振れ方向と、動きベクトル検出部41により検出された所定の画像領域群(背景領域)の動きベクトルの方向とが所定のフレーム数以上継続して一致している場合、動画が撮像される期間の撮像装置100の振れ量が所定の振れ量以上であると判定する。そして、画像処理部4は、当該動画のフレーム画像において検出したフレーム画像内の動きベクトルに基づいて、当該動画のフレーム画像の画像領域のうち動きベクトルが小さい画像領域を、主要被写体領域であると推定する。撮影者による手振れの場合、振れの方向は、長時間継続して同方向になる可能性は少ないと考えられる。上記構成によれば、ステップS15の処理により、手振れを、例えばパンニングと誤って判断してしまう虞を軽減することができる。よって、撮影者が主要被写体の動きに合わせて撮像装置100の撮像領域を移動させながら撮像した場合であっても、撮像装置100は撮像された画像から主要被写体領域を適切に推定することができる。
また、画像処理部4は、背景領域の動きベクトルの方向を、背景領域における複数の画像領域のうち、動きベクトルが最大となる画像領域における動きベクトルの方向とする。そのため、背景領域の一部に、主要被写体の一部、または主要被写体の動きに近似した動きの被写体が含まれる場合であっても、画像処理部4は、背景領域の動きベクトルの方向を適切に検出することができる。
<第3実施形態>
本第3実施形態においては、本第2実施形態と同様に、制御部3は、振れ検出センサ8により検出された撮像装置100の振れ量及び振れ方向と、動きベクトル検出部41により検出された画像の動きベクトルとの両方の検出結果に基づいて、時系列画像が撮像される期間の撮像装置100の振れ量が所定の振れ量以上であるか否かを判定する。本第3実施形態においては、背景領域(所定の画像領域群)における画像の動きベクトルの方向の検出方法が第2実施形態と相違する。本第3実施形態の撮像装置100の他の構成は、図1を用いて説明した第1実施形態の構成と同様であり、その説明を省略する。
第2実施形態では、所定の画像領域群のうち、動きベクトルが最大となる画像領域の動きベクトルの方向に基づいて撮像装置100の動きベクトルの方向を判定する。本第3実施形態においては、画像処理部4は、複数の画像領域毎の動きベクトルの方向のうち、最も多い動きベクトルの方向を撮像装置100の動きベクトルの方向とする。例えば、動きベクトル検出部41は、背景領域の動きベクトルとして図2に示す撮像領域の端付近のブロック(1)〜(14)の動きベクトルを検出する。そして、ブロック(1)〜(14)における動きベクトルのうち、最も多い動きベクトルの方向を撮像装置100の方向とする。
図2に示す画角の端付近のブロック(1)〜(14)において、画角の端付近のブロック(6)〜(7)に人物が位置し、当該人物がブロック(15)〜(20)に位置する主要被写体を追いかけているとする。または主要被写体、例えば電車がブロック(15)〜(20)及びブロック(6)〜(7)を合わせた領域に位置したとする。この場合、ブロック(6)〜(7)における動きベクトルの方向が、ブロック(15)〜(20)における動きベクトルの方向と同じ方向になる。したがって、画角の端付近のブロック(1)〜(14)の全てのブロックにおける動きベクトルの方向が、ブロック(15)〜(20)における動きベクトルの方向と同じになるわけではない。そのため、動きベクトル検出部41は、ブロック(1)〜(14)のうち、最も多い動きベクトルの方向を背景領域における動きベクトルの方向とすることで、主要被写体以外の背景が撮像される背景領域の動きベクトルを検出する。なお、動きベクトル検出部41が動きベクトルの方向を検出する方法については、第2実施形態において説明した例と同様でありその説明を省略する。
そして、制御部3が、動きベクトル検出部41により検出された背景領域における動きベクトルの方向と、振れ検出センサ8により検出された撮像装置100の振れ方向とが所定のフレーム数以上継続して一致していると判定した場合、撮像装置100の振れ量が所定の振れ量以上である、すなわち、撮影者がパンニング等により撮像装置100を移動させながら撮像していると判断する。この場合、第2実施形態と同様に、主要被写体推定部42は、当該動画のフレーム画像において動きベクトル検出部41により検出されたフレーム画像内の動きベクトルに基づいて、当該動画のフレーム画像における複数の画像領域のうち動きベクトルが小さい画像領域を主要被写体領域であると推定する。
図5は、本第3実施形態における主要被写体推定処理を示すフローチャートである。
以下、図5が示すフローチャートを用いて、本第3実施形態における撮像装置100の主要被写体推定処理を説明する。ここで、図5のステップS21〜S22及びステップS24〜S26は、図4のステップS11〜S12及びステップS14〜S16と対応しておりその説明を省略し、ステップS23についてのみ説明する。
動きベクトル検出部41は、画角の端付近の複数のブロック(所定の画像領域群、すなわち背景領域における複数ブロック)の動きベクトルを検出する。そして、当該複数のブロックの動きベクトルのうち、最も多い動きベクトルの方向を所定の画像領域群における動きベクトルの方向として検出する(ステップS23)。
以上のように、本第3実施形態によれば、第2実施形態と同様に、制御部3は、振れ検出センサ8により検出された撮像装置100の振れ方向と、動きベクトル検出部41により検出された所定の画像領域(背景領域)の動きベクトルの方向とが所定のフレーム数以上継続して一致している場合、動画が撮像される期間の撮像装置100の振れ量が所定の動振れ量以上であると判定する。そして、画像処理部4は、当該動画のフレーム画像において検出したフレーム画像内の動きベクトルに基づいて、当該動画のフレーム画像の画像領域のうち動きベクトルが小さい画像領域を主要被写体領域であると推定する。よって、撮影者が主要被写体の動きに合わせて撮像装置100の撮像領域を移動させながら撮像した場合であっても、撮像装置100は、撮像された画像から主要被写体領域を適切に推定することができる。
また、動きベクトル検出部41は、背景領域の動きベクトルの方向を、背景領域における複数の画像領域の動きベクトルの方向のうち、最も多い動きベクトルの方向とする。そのため、背景領域の一部に、主要被写体の一部、主要被写体の動きに近似した動きの被写体、または背景領域の動きと異なる動きの被写体が含まれる場合であっても、動きベクトル検出部41は、背景領域の動きベクトルの方向を適切に検出することができる。
<第4実施形態>
本第4実施形態においては、複数のフレーム画像が撮像される期間に、撮像装置100の振れ量が所定の振れ量以上であるか否かによって、主要被写体を推定する処理を切替える例を示す。本第4実施形態の撮像装置100の他の構成は、図1を用いて説明した第1実施形態の構成と同様であり、その説明を省略する。
主要被写体推定部42は、複数のフレーム画像が撮像される期間に、撮像装置100の振れ量が所定の振れ量以上である場合、動きベクトル検出部41により検出されたフレーム画像内の動きベクトルに基づいて、フレーム画像において予め定められた複数の画像領域のうち動きベクトルが小さい画像領域を主要被写体領域であると推定する。例えば、主要被写体推定部42は、動画が撮像される期間に、撮像装置100の振れ量が所定の振れ量以上である場合、当該動画のフレーム画像において動きベクトル検出部41により検出された動きベクトルに基づいて、当該動画のフレーム画像における複数の画像領域のうち画像の動きベクトルが小さい画像領域を主要被写体領域であると推定する。
一方、主要被写体推定部42は、複数のフレーム画像が撮像される期間に、撮像装置100の振れ量が所定の振れ量以上でない場合、動きベクトル検出部41により検出されたフレーム画像内の動きベクトルに基づいて、フレーム画像において予め定められた複数の画像領域のうち動きベクトルが大きい画像領域を主要被写体領域であると推定する。例えば、主要被写体推定部42は、動画が撮像される期間に、撮像装置100の振れ量が所定の振れ量以上でない場合、当該動画のフレーム画像において動きベクトル検出部41により検出された動きベクトルに基づいて、当該動画のフレーム画像における複数の画像領域のうち画像の動きベクトルが大きい画像領域を主要被写体領域であると推定する。
このように、主要被写体推定部42は、撮像装置100の動きに基づいて主要被写体を推定する処理を切替える。そして、例えば、主要被写体推定部42は、撮像装置100の振れ量が所定の振れ量以上の場合、動きベクトル検出部41により検出された動きベクトルを予め定められた閾値MVth1によりクラスタリングして、閾値MVth1以下の動きベクトルであるブロックによる画像領域を主要被写体領域であると推定する。一方、主要被写体推定部42は、撮像装置100の振れ量が所定の振れ量以上でない場合、動きベクトル検出部41により検出された動きベクトルを予め定められた閾値MVth2によりクラスタリングして、閾値MVth2より大きい動きベクトルであるブロックによる画像領域を主要被写体領域であると推定する。ここで、予め定められた閾値MVth2は、大きい動きベクトルの領域を主要被写体領域と推定するために予め定められた動きベクトルの閾値である。当該閾値MVth1、MVth2は、同じ値であっても構わない。
図6は、本第4実施形態における主要被写体推定処理を示すフローチャートである。
以下、図6が示すフローチャートを用いて、本第4実施形態における撮像装置100の主要被写体推定処理を説明する。ここで、図6のステップS1〜ステップS6は、図3のステップS1〜ステップS6と同様の処理である。
図3と同様に、ステップS5において、制御部3が、動きベクトル検出部41の検出結果に基づいて、動画が撮像される期間の撮像装置100の振れ量が所定の振れ量以上であると判定した場合、主要被写体推定部42は、動きベクトル検出部41により検出された動きベクトルの大きさが予め定められた閾値MVth1以下の動きベクトルであるブロックを主要被写体領域であると推定する(ステップS6)。
一方、ステップS5において、制御部3が、動画が撮像される期間の撮像装置100の振れ量が所定の振れ量以上でないと判定した場合、主要被写体推定部42は、動きベクトル検出部41により検出された動きベクトルの大きさが予め定められた閾値MVth2より大きい動きベクトルであるブロックを主要被写体領域であると推定する(ステップS7)。そして、画像処理部4は処理を終了する。
以上のように、本第4実施形態によれば、動画が撮像される期間に、撮像装置100の振れ量が所定の振れ量以上の場合、画像処理部4は、撮像されたフレーム画像のうち動きベクトルが小さい画像領域を主要被写体領域であると推定する。一方、動画が撮像される期間に、撮像装置100の振れ量が所定の振れ量以上でない場合、画像処理部4は、撮像されたフレーム画像のうち動きベクトルが大きい画像領域を主要被写体領域であると推定する。よって、主要被写体に動きがある場合において、撮影者が主要被写体の動きに合わせて撮像装置100を移動させながら撮像した場合と、撮像装置100を移動させずに撮像した場合との何れであっても、撮像装置100は撮像された画像から主要被写体領域を適切に推定することができる。また、上記構成におけるステップS5の処理を、振れ検出センサ8と画面端領域群の動きベクトルの方向(大きさが最大である動きベクトルの方向、あるいは画面端領域群の動きベクトルの方向の中で最も多い方向)とが、所定フレーム数の間、継続して一致しているかを判断する構成としてもよい。
<第5実施形態>
本第5実施形態においては、画像処理部4が推定した主要被写体領域に基づいて、撮像装置100において主要被写体領域の撮像される位置を補正する処理について説明する。本第5実施形態の撮像装置100の他の構成は、図1を用いて説明した第1実施形態の構成と同様であり、その説明を省略する。
制御部3は、画像処理部4の位置補正制御部43を介して、主要被写体推定部42により推定された主要被写体領域がフレーム画像内の予め定められた位置に位置するように、当該フレーム画像内の主要被写体領域の位置を補正する。ここでは、予め定められた位置が、フレーム画像内の中央位置である場合について説明する。
例えば、位置補正制御部43は、主要被写体推定部42により推定された主要被写体領域の重心位置と、フレーム画像内の中央位置との差分を算出する。そして、位置補正制御部43は、当該差分が0になる、または減少するように撮像光学系の振れ補正値を算出する。制御部3は、振れ補正部9を介して位置補正制御部43から入力された振れ補正値に基づいて、レンズ部21が有している振れ補正レンズを動かして光軸を補正する。これにより、撮像される主要被写体領域の位置をフレーム画像内の中央に補正される。
図7は、本第5実施形態における位置補正処理を示すフローチャートである。
以下、図7が示すフローチャートを用いて、本第5実施形態における撮像装置100の主要被写体推定処理を説明する。
画像処理部4は、図3、図4、図5、または図6の主要被写体領域を推定する処理を実行する(ステップS31)。画像処理部4の位置補正制御部43は、主要被写体推定部42により推定された主要被写体領域の重心位置を算出する(ステップS32)。
次に、位置補正制御部43は、算出した主要被写体領域の重心位置と、フレーム画像内の中央位置との差分を算出する(ステップS33)。そして、制御部3が、位置補正制御部43の算出結果に基づいて、主要被写体領域の重心位置と、フレーム画像内の中央位置とに差分あるか否かを判定する(ステップS34)。
ステップS34において、主要被写体領域の重心位置と、フレーム画像内の中央位置とに差分があると判定された場合、位置補正制御部43は、当該差分が0になる、または減少するように撮像光学系の振れ補正値を算出する。(ステップS35)。一方、ステップS34において、主要被写体領域の重心位置と、フレーム画像内の中央位置とに差分がないと判定された場合、画像処理部4は、処理を終了する。
なお、制御部3は、ステップS35において位置補正制御部43から入力された振れ補正値に基づいて、振れ補正部9を介してレンズ部21が有している振れ補正レンズを動かして光軸を補正する。これにより、撮像される主要被写体領域の位置が、フレーム画像内の中央に補正される。
以上のように、本第5実施形態によれば、位置補正制御部43の出力結果に基づいて、主要被写体推定部42により推定された主要被写体領域がフレーム画像内の中央に位置するよう主要被写体の位置を補正させる。例えば、撮影者が主要被写体の動きに合わせて撮像装置100を移動させながら撮像しようとしても、動いている主要被写体をフレーム画像の中央の位置に継続して一致させることは困難である。本第5実施形態によれば、撮像装置100は、推定した主要被写体領域の位置とフレーム画像の中央の位置との差分から、主要被写体領域の位置をフレーム画像の中央の位置に補正することができる。
なお、第5実施形態において、予め定められた位置が、撮像装置100により撮像されるフレーム画像内の中央位置である場合について説明したが、これに限られるものではない。予め定められた位置は、撮像されるフレーム画像内の中央位置以外の位置に予め定められていてもよい。また、予め定められた位置は、撮影者によって、撮像されるフレーム画像内の任意の位置に設定されてもよい。
なお、位置補正制御部43は、主要被写体推定部42により推定された主要被写体領域におけるフレーム画像間の画像の動きが小さくなる方向に、フレーム画像内における主要被写体領域の位置を補正してもよい。すなわち、位置補正制御部43は、主要被写体推定部42により推定された主要被写体領域におけるフレーム画像内の動きベクトルが小さくなる方向に、フレーム画像内における主要被写体領域の位置を補正してもよい。
例えば、位置補正制御部43は、主要被写体推定部42により推定された「N−1番目」のフレーム画像における主要被写体領域の位置に対して、「N番目」のフレーム画像における主要被写体領域の位置の動きベクトルを算出する。そして、位置補正制御部43は、当該動きベクトルが小さくなるように撮像光学系の振れ補正値を算出する。制御部3は、位置補正制御部43の振れ補正値に基づいて、振れ補正部9を介してレンズ部21が有している振れ補正レンズを動かして光軸と撮像面との相対位置を補正する。これにより、フレーム画像内に撮像される主要被写体領域の位置が補正される。
これによれば、位置補正制御部43は、主要被写体推定部42により推定された主要被写体領域の動きベクトルが小さくなるように主要被写体の位置を補正させる。例えば、撮影者が主要被写体の動きに合わせて撮像装置100を移動させながら撮像しようとしても、動いている主要被写体をフレーム画像内における一定の位置に継続して位置させることは困難であり、手持ちして撮像する場合に生じる手振れと同様に主要被写体領域の位置には振れが生じる。しかし、撮像装置100を意図して動かした場合は、撮像装置100の振れ量が手振れによる振れ量を超えるため、撮像装置100の手振れ補正制御は停止される。この場合、撮像装置100は、推定した主要被写体領域の動きベクトルが小さくなるように主要被写体の位置を補正させる。これにより、撮影者が主要被写体の動きに合わせて撮像装置100を移動させながら撮像した場合、撮像装置100は推定した主要被写体領域の位置の振れを補正することができる。
なお、振れ補正部9を介してレンズ部21が有している振れ補正レンズを動かして光軸を補正する光学式の振れ補正を例に説明したが、振れ補正部9を介して撮像素子22の位置を動かしてレンズ部21の光軸に対する撮像素子22の撮像面の相対位置を補正する振れ補正をしもよい。
なお、振れ補正部9を介して光軸を補正する光学式の振れ補正を例に説明したが、電子式の振れ補正をしてもよい。ここで電子式の振れ補正とは、撮像素子22の撮像可能領域よりも小さい領域を撮像領域とし、振れに応じてその振れを打ち消すように、当該撮像領域を撮像可能領域内で移動させることにより振れを補正する振れ補正である。
なお、本第5実施形態において、画像処理部4が推定した主要被写体領域に基づいて、主要被写体領域の撮像される位置を補正する処理について説明したが、推定した主要被写体領域を以下の制御に利用してもよい。
(1)撮像装置100は、推定した主要被写体領域における特徴から主要被写体の種類(例えば、人物、動物、車、または建物等)を推定してもよい。また、撮像装置100は、推定した主要被写体の種類の情報を各フレーム画像に関連付けて記録してもよい。また、撮像装置100は、主要被写体の種類の情報を関連付けて記録する場合、画像データファイルに記録してもよいし、画像データファイルと関連付けられた別のデータファイルに記録してもよい。
(2)撮像装置100は、推定した主要被写体領域に基づいて、当該領域に着目したAF(Auto Focus)、AE(Auto Exposure)、またはAWB(Auto White Balance)等のAUTO制御を実行してもよい。例えば、撮像装置100は、推定した主要被写体領域に優先してフォーカスが合うようにAFを制御してもよい。また、撮像装置100は、逆光シーン等のように背景領域が明るく主要被写体領域が暗く撮像されてしまう場合があるようなシーンにおいて、推定した主要被写体領域の明るさが適正になるようにAEを制御してもよい。また、撮像装置100は、異なる色味の複数光源(例えば、電球、タングステン光、及び蛍光灯等)があるシーン等のように、撮像領域内においてホワイトバランスの基準が複数あるようなシーンにおいて、推定した主要被写体領域に優先してAWBを制御してもよい。
(3)撮像装置100は、推定した主要被写体領域の位置が、予め設定されたフレーム画像内の位置になることに応じて「静止画を撮像する、または動画の撮像を開始すること」を許容する、あるいは自動的に当該動作を行うといった制御を実行してもよい。
(4)撮像装置100は、撮像されたフレーム画像の中から推定した主要被写体領域が存在しないフレーム画像を抽出してもよい。そして、抽出した画像を削除する、または、主要被写体領域が存在するフレーム画像に置き換えるといった制御をしてもよい。
(5)撮像装置100は、推定した主要被写体領域の大きさが小さい場合、主要被写体領域を予め定められた(撮像に適した)大きさになるようにズームを望遠側に制御してもよい。これらは、撮像装置100において、推定した主要被写体領域を利用した制御の一例であって、推定した主要被写体領域をその他の制御に利用してもよい。
以上説明してきたように、上述の実施形態における撮像装置100は、撮像された画像から主要被写体領域を適切に推定することができる。また、撮像装置100は、推定した主要被写体領域に基づいて、位置補正、振れ補正、及びその他の撮像装置100における各種の制御が可能である。
なお、主要被写体推定部42は、主要被写体を推定する際に、動きベクトルの情報に加えてフレーム画像内のAF情報を利用してもよい。また、位相差AFのデフォーカス情報により至近の被写体領域を検出し、検出結果を利用して主要被写体領域を推定してもよい。例えば、2台の走っている車等複数の被写体が同じ方向にほぼ同じ速度で移動している様子を撮像する場合等において、主要被写体推定部42は、AFの情報を加えて主要被写体を推定することにより精度よく推定することができる。
なお、動きベクトルを検出する方法として、フレーム画像間における画像のパターンマッチングを用いて検出する方法としてもよい。また、画像の特徴点を抽出し、フレーム画像間における画像の特徴点の移動量及び移動方向から検出する方法としてもよい。
なお、本実施形態第1〜5の少なくとも2つを組み合わせる構成にしてもよい。
なお、本実施形態において撮像された動画から主要被写体を推定する例を説明したが、時系列に撮像された画像は、動画に限られものではない。例えば、時系列に撮像された画像は、スルー画像や、撮像された時間が異なる同じ主要被写体が撮像された複数の静止画であってもよい。
なお、本実施形態全てにおいて図1に示す撮像装置100を例に説明してきたが、画像処理部4は、撮像装置100に備えられている構成に限られるものではない。例えば、画像処理部4は、時系列に撮像された複数のフレーム画像が入力され、入力されたフレーム画像に対して動きベクトルを検出して主要被写体を推定する画像処理装置であってもよい。この場合、画像処理装置は、画像が入力される画像入力部(フレーム画像入力部)を有し、当該画像入力部から、時系列に撮像された複数のフレーム画像が入力されてもよい。また、画像処理装置は、メモリカード200等の記憶媒体から、時系列に撮像された複数のフレーム画像が入力されてもよい。なお、画像処理装置は、記憶媒体から画像データを読み込む場合、着脱可能な記憶媒体が挿入されるカードコネクタ12を備えている構成であってもよいし、外部装置としての記憶媒体の読み取り装置と接続する構成であってもよい。また、画像処理装置は、表示部7を備えている構成であってもよいし、外部の表示装置と接続可能な構成であってもよい。これにより、画像処理装置は、本実施形態の撮像装置100以外の撮像装置で撮像された画像に対しても、同様に主要被写体推定処理を実行することができる。
また、撮像される期間の撮像装置の振れに関する情報が、時系列に撮像された複数のフレーム画像に関連付けられて記録されている画像が、画像処理装置に入力されてもよい。これにより、画像処理装置は、入力された画像に関連付けられている情報から、撮像装置において撮像される期間に検出された当該撮像装置の動きを検出することができる。また、画像処理装置は、撮像装置の振れ情報が入力される振れ情報入力部を有し、時系列に撮像された複数のフレーム画像が撮像される期間における撮像装置の振れに関する情報が入力されてもよい。
なお、図1における画像処理部4における動きベクトル検出部41、主要被写体推定部42、及び位置補正制御部43は専用のハードウェアにより実現されるものであってもよく、また、メモリおよびCPU(中央演算装置)により構成され、上述の各部の機能を実現するためのプログラムをメモリにロードして実行することによりその機能を実現させるものであってもよい。
また、図1における上述の各部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより上述の各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
2 撮像部、4 画像処理部(画像処理装置)、8 振れ検出センサ(振れ検出部)、40 フレーム画像分割部、41 動きベクトル検出部、42 主要被写体推定部、43 位置補正制御部、100 撮像装置

Claims (11)

  1. 被写体を撮像する撮像部と、
    振れ量を検出する振れ検出部と、
    前記撮像部により時系列に撮像された複数のフレーム画像において、前記フレーム画像を複数の画像領域に分割するフレーム画像分割部と、
    前記画像領域毎に当該画像領域の動きベクトルを検出する動きベクトル検出部と、
    前記複数のフレーム画像が撮像される際に、前記振れ検出部により検出される前記撮像装置の振れ量が所定量以上の場合、前記動きベクトル検出部により検出される前記画像領域の動きベクトルに基づいて、前記複数の画像領域のうち当該動きベクトルが小さい画像領域を、主要被写体が含まれる領域であると推定する主要被写体推定部と、
    を備えることを特徴とする撮像装置。
  2. 前記動きベクトル検出部により検出される前記複数のフレーム画像内における所定の画像領域の動きベクトルの方向と、前記複数のフレーム画像が撮像される際の前記振れ検出部により検出される前記撮像装置の振れ方向とが、所定のフレーム数以上継続して同じ方向である場合、
    前記主要被写体推定部は、
    前記動きベクトル検出部により検出される前記画像領域の動きベクトルに基づいて、前記複数の画像領域のうち当該動きベクトルが小さい画像領域を、主要被写体領域であると推定する、
    ことを特徴とする請求項1に記載の撮像装置。
  3. 前記所定の画像領域は、前記複数の画像領域のうちの所定の画像領域群であり、
    前記動きベクトル検出部は、
    前記所定の画像領域群における動きベクトルの方向を、前記所定の画像領域群内の複数の画像領域のうち最大の動きベクトルを持つ画像領域における動きベクトルの方向とする、
    ことを特徴とする請求項2に記載の撮像装置。
  4. 前記所定の画像領域は、前記複数の画像領域のうちの所定の画像領域群であり、
    前記動きベクトル検出部は、
    前記所定の画像領域群における動きベクトルの方向を、前記所定の画像領域群内の複数の画像領域のうち画像領域毎における動きベクトルの方向が最も多い動きベクトルの方向とする、
    ことを特徴とする請求項2に記載の撮像装置。
  5. 前記主要被写体推定部により推定された前記主要被写体領域における動きベクトルが小さくなる方向に、前記撮像部により撮像される前記フレーム画像内における前記主要被写体領域の位置を補正する位置補正制御部、
    を備えることを特徴とする請求項1から請求項4の何れか1項に記載の撮像装置。
  6. 前記位置補正制御部は、
    前記主要被写体推定部により推定された前記主要被写体領域が、前記フレーム画像内の予め定められた位置に位置するように、前記撮像部により撮像される前記フレーム画像内における前記主要被写体領域の位置を補正する、
    ことを特徴とする請求項5に記載の撮像装置。
  7. 撮像装置の振れ情報が入力される振れ情報入力部と、
    前記撮像装置により時系列に撮像された複数のフレーム画像が入力されるフレーム画像入力部と、
    前記フレーム画像を複数の画像領域に分割するフレーム画像分割部と、
    前記画像領域毎に当該画像領域の動きベクトルを検出する動きベクトル検出部と、
    前記振れ情報入力部から入力される前記複数のフレーム画像が撮像される際の前記撮像装置の振れ量が所定量以上の場合、前記動きベクトル検出部により検出される前記画像領域の動きベクトルに基づいて、前記複数の画像領域のうち当該動きベクトルが小さい画像領域を、主要被写体が含まれる領域であると推定する主要被写体推定部と、
    を備えることを特徴とする画像処理装置。
  8. 前記動きベクトル検出部により検出される前記複数のフレーム画像内における所定の画像領域の動きベクトルの方向と、前記振れ情報入力部から入力される前記複数のフレーム画像が撮像される際の前記撮像装置の振れ方向とが、所定のフレーム数以上継続して同じ方向である場合、
    前記主要被写体推定部は、
    前記動きベクトル検出部により検出される前記画像領域の動きベクトルに基づいて、前記複数の画像領域のうち当該動きベクトルが小さい画像領域を、主要被写体領域であると推定する、
    ことを特徴とする請求項7に記載の画像処理装置。
  9. 前記所定の画像領域は、前記複数の画像領域のうちの所定の画像領域群であり、
    前記動きベクトル検出部は、
    前記所定の画像領域群における動きベクトルの方向を、前記所定の画像領域群内の複数の画像領域のうち最大の動きベクトルを持つ画像領域における動きベクトルの方向とする、
    ことを特徴とする請求項8に記載の画像処理装置。
  10. 前記所定の画像領域は、前記複数の画像領域のうちの所定の画像領域群であり、
    前記動きベクトル検出部は、
    前記所定の画像領域群における動きベクトルの方向を、前記所定の画像領域群内の複数の画像領域のうち画像領域毎における動きベクトルの方向が最も多い動きベクトルの方向とする、
    ことを特徴とする請求項8に記載の画像処理装置。
  11. 画像処理装置としてのコンピュータに、
    撮像装置の振れ情報を入力する振れ情報入力手順と、
    前記撮像装置により時系列に撮像された複数のフレーム画像を入力するフレーム画像入手順と、
    前記フレーム画像を複数の画像領域に分割するフレーム画像分割手順と、
    前記画像領域毎に当該画像領域の動きベクトルを検出する動きベクトル検出手順と、
    前記複数のフレーム画像が撮像される際の前記撮像装置の振れ量が所定量以上の場合、前記動きベクトル検出手順により検出される前記画像領域の動きベクトルに基づいて、前記複数の画像領域のうち当該動きベクトルが小さい画像領域を、主要被写体が含まれる領域であると推定する主要被写体推定手順と、
    を実行させるための画像処理プログラム。
JP2011017065A 2011-01-28 2011-01-28 撮像装置、画像処理装置、画像処理プログラム Active JP5703788B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011017065A JP5703788B2 (ja) 2011-01-28 2011-01-28 撮像装置、画像処理装置、画像処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011017065A JP5703788B2 (ja) 2011-01-28 2011-01-28 撮像装置、画像処理装置、画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2012160780A true JP2012160780A (ja) 2012-08-23
JP5703788B2 JP5703788B2 (ja) 2015-04-22

Family

ID=46840992

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011017065A Active JP5703788B2 (ja) 2011-01-28 2011-01-28 撮像装置、画像処理装置、画像処理プログラム

Country Status (1)

Country Link
JP (1) JP5703788B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014052934A (ja) * 2012-09-10 2014-03-20 Mega Chips Corp 携帯端末装置、プログラムおよび入力方法
JP2015012480A (ja) * 2013-06-28 2015-01-19 キヤノン株式会社 画像処理装置及び画像処理方法
JP2017097297A (ja) * 2015-11-27 2017-06-01 キヤノン株式会社 像ブレ補正装置及びその制御方法、プログラム、記憶媒体
JP2018206142A (ja) * 2017-06-06 2018-12-27 日本放送協会 カメラワーク判定装置及びプログラム
CN109787498A (zh) * 2019-03-06 2019-05-21 山东大学 全功率因数范围三电平变流器中点平衡控制方法及系统
JP2020095673A (ja) * 2018-07-27 2020-06-18 キヤノン株式会社 画像処理装置およびその制御方法、ならびに撮像装置
JP7483352B2 (ja) 2019-11-19 2024-05-15 キヤノン株式会社 撮影装置及びその制御方法並びにプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06350895A (ja) * 1993-06-10 1994-12-22 Fujitsu General Ltd ビデオカメラの手振れ補正方法
JP2006317848A (ja) * 2005-05-16 2006-11-24 Canon Inc 静止画撮像装置
JP2009171220A (ja) * 2008-01-16 2009-07-30 Canon Inc 撮像装置及びその制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06350895A (ja) * 1993-06-10 1994-12-22 Fujitsu General Ltd ビデオカメラの手振れ補正方法
JP2006317848A (ja) * 2005-05-16 2006-11-24 Canon Inc 静止画撮像装置
JP2009171220A (ja) * 2008-01-16 2009-07-30 Canon Inc 撮像装置及びその制御方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014052934A (ja) * 2012-09-10 2014-03-20 Mega Chips Corp 携帯端末装置、プログラムおよび入力方法
JP2015012480A (ja) * 2013-06-28 2015-01-19 キヤノン株式会社 画像処理装置及び画像処理方法
JP2017097297A (ja) * 2015-11-27 2017-06-01 キヤノン株式会社 像ブレ補正装置及びその制御方法、プログラム、記憶媒体
JP2018206142A (ja) * 2017-06-06 2018-12-27 日本放送協会 カメラワーク判定装置及びプログラム
JP6990998B2 (ja) 2017-06-06 2022-02-03 日本放送協会 カメラワーク判定装置及びプログラム
JP2020095673A (ja) * 2018-07-27 2020-06-18 キヤノン株式会社 画像処理装置およびその制御方法、ならびに撮像装置
JP7324066B2 (ja) 2018-07-27 2023-08-09 キヤノン株式会社 画像処理装置およびその制御方法、ならびに撮像装置
CN109787498A (zh) * 2019-03-06 2019-05-21 山东大学 全功率因数范围三电平变流器中点平衡控制方法及系统
CN109787498B (zh) * 2019-03-06 2019-10-18 山东大学 全功率因数范围三电平变流器中点平衡控制方法及系统
JP7483352B2 (ja) 2019-11-19 2024-05-15 キヤノン株式会社 撮影装置及びその制御方法並びにプログラム

Also Published As

Publication number Publication date
JP5703788B2 (ja) 2015-04-22

Similar Documents

Publication Publication Date Title
US10462374B2 (en) Zooming control apparatus, image capturing apparatus and control methods thereof
TWI419552B (zh) 攝影裝置、被攝體追蹤方法及記錄媒體
US10270978B2 (en) Zoom control device with scene composition selection, and imaging apparatus, control method of zoom control device, and recording medium therewith
JP6486656B2 (ja) 撮像装置
JP5409189B2 (ja) 撮像装置及びその制御方法
US10021307B2 (en) Processing apparatus for camera shake correction
JP5703788B2 (ja) 撮像装置、画像処理装置、画像処理プログラム
US10277823B2 (en) Zoom control device, imaging apparatus, control method of zoom control device, and recording medium
US10015406B2 (en) Zoom control device, imaging apparatus, control method of zoom control device, and recording medium
US10367990B2 (en) Photographing apparatus, photographing method and recording medium on which photographing/display program is recorded
JP2013165485A (ja) 画像処理装置、撮像装置およびコンピュータブログラム
US9451149B2 (en) Processing apparatus, processing method, and program
JP2009130577A (ja) 撮像装置及びそのプログラム
JP2012119875A (ja) 撮像装置及びその制御方法
JP6188474B2 (ja) ズーム制御装置、ズーム制御装置の制御方法、ズーム制御装置の制御プログラムおよび記憶媒体
JP2019121860A (ja) 画像処理装置及びその制御方法
JP2015106116A (ja) 撮像装置
JP2015014672A (ja) カメラ制御装置、カメラシステム、カメラ制御方法、及びプログラム
JP5153021B2 (ja) 撮影装置、撮影方法及びプログラム
JP5832618B2 (ja) 撮像装置、その制御方法及びプログラム
JP6089232B2 (ja) 撮像装置
JP6234103B2 (ja) ズーム制御装置、ズーム制御装置の制御方法、ズーム制御装置の制御プログラムおよび記憶媒体
JP5251600B2 (ja) 電子カメラ
US20230076396A1 (en) Shutter speed determination device and imaging device
JP2016201636A (ja) 画像追尾装置及び画像追尾方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131227

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140904

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140916

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141117

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150127

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150209

R150 Certificate of patent or registration of utility model

Ref document number: 5703788

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250