JP2016178608A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】動画像から被写体に対応する領域を適正に切り出すことができる。【解決手段】画像処理装置１００であって、動画像内で被写体を検出する被写体検出部５ｂと、動画像を構成する各フレーム画像から被写体検出部により検出された被写体に対応する被写体切出領域を切り出す画像切出部５ｅと、既に切り出された被写体切出領域の位置及びサイズのうちの少なくとも一方に基づいて、新たに切り出される切出予定領域を設定する領域設定部５ｄと、を備えている。【選択図】図１

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

従来、動画像から追尾対象である被写体を切り出して記録する画像処理装置が知られている（例えば、特許文献１参照）。

特開２０１２−２０５０３７号公報

しかしながら、上記特許文献１の場合、被写体の特徴点の動きが検出された領域に応じて画像の切り出し領域を設定しており、被写体の動きによっては切り出された領域がフレーム画像間で大きく移動してしまい、非常に見難い動画像となる虞がある。

本発明は、このような問題に鑑みてなされたものであり、本発明の課題は、動画像から被写体に対応する領域を適正に切り出すことができる画像処理装置、画像処理方法及びプログラムを提供することである。

上記課題を解決するため、本発明に係る画像処理装置は、
動画像内で被写体を検出する検出手段と、
前記動画像を構成する各フレーム画像から前記検出手段により検出された前記被写体に対応する領域を切り出す切り出し手段と、
前記切り出し手段により既に切り出された前記被写体に対応する領域の位置及びサイズのうちの少なくとも一方に基づいて、当該切り出し手段により新たに切り出される切出予定領域を設定する設定手段と、
を備えたことを特徴としている。

また、本発明に係る画像処理方法は、
画像処理装置を用いた画像処理方法であって、
動画像内で被写体を検出するステップと、
前記動画像を構成する各フレーム画像から検出された前記被写体に対応する領域を切り出すステップと、
既に切り出された前記被写体に対応する領域の位置及びサイズのうちの少なくとも一方に基づいて、新たに切り出される切出予定領域を設定するステップと、
を含むことを特徴としている。

また、本発明に係るプログラムは、
画像処理装置のコンピュータを、
動画像内で被写体を検出する検出手段、
前記動画像を構成する各フレーム画像から前記検出手段により検出された前記被写体に対応する領域を切り出す切り出し手段、
前記切り出し手段により既に切り出された前記被写体に対応する領域の位置及びサイズのうちの少なくとも一方に基づいて、当該切り出し手段により新たに切り出される切出予定領域を設定する設定手段、
として機能させることを特徴としている。

本発明によれば、動画像から被写体に対応する領域を適正に切り出すことができる。

本発明を適用した一実施形態の撮像装置の概略構成を示すブロック図である。 図１の撮像装置による画像切り出し処理に係る動作の一例を示すフローチャートである。 図２の画像切り出し処理の続きを示すフローチャートである。 図３の画像切り出し処理の続きを示すフローチャートである。 図２の画像切り出し処理に係るフレーム画像と被写体領域と被写体切出領域との対応関係の一例を模式的に示す図である。 図２の画像切り出し処理に係るフレーム画像と被写体領域と被写体切出領域との対応関係の一例を模式的に示す図である。

以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。

図１は、本発明を適用した一実施形態の撮像装置１００の概略構成を示すブロック図である。
図１に示すように、本実施形態の撮像装置１００は、中央制御部１と、メモリ２と、撮像部３と、画像データ生成部４と、画像処理部５と、画像記録部６と、表示部７と、操作入力部８とを備えている。
また、中央制御部１、メモリ２、撮像部３、画像データ生成部４、画像処理部５、画像記録部６及び表示部７は、バスライン９を介して接続されている。

中央制御部１は、撮像装置１００の各部を制御するものである。具体的には、中央制御部１は、図示は省略するが、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）を備え、撮像装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行う。

メモリ２は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）等により構成され、中央制御部１や画像処理部５等の各部によって処理されるデータ等を一時的に記憶するものである。

撮像部３は、例えば、ヒト等の被写体Ｓ（図５（ａ）等参照）を撮像する。具体的には、撮像部３は、レンズ部３ａと、電子撮像部３ｂと、撮像制御部３ｃとを備えている。

レンズ部３ａは、例えば、ズームレンズやフォーカスレンズ等の複数のレンズから構成されている。
電子撮像部３ｂは、例えば、ＣＭＯＳ（Complementary Metal-oxide Semiconductor）やＣＣＤ（Charge Coupled Device）等のイメージセンサから構成され、レンズ部３ａの各種レンズを通過した光学像を二次元の画像信号に変換する。
なお、図示は省略するが、撮像部３は、レンズ部３ａを通過する光の量を調整する絞りを備えていても良い。

撮像制御部３ｃは、撮像部３による被写体Ｓの撮像を制御する。即ち、撮像制御部３ｃは、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部３ｃは、タイミング発生器、ドライバにより電子撮像部３ｂを走査駆動して、所定周期毎に光学像を電子撮像部３ｂにより二次元の画像信号に変換させ、当該電子撮像部３ｂの撮像領域から１画面分ずつフレーム画像Ｆを読み出して画像データ生成部４に出力させる。

画像データ生成部４は、電子撮像部３ｂから転送されたフレーム画像Ｆのアナログ値の信号に対してＲＧＢの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路（図示略）でサンプルホールドしてＡ／Ｄ変換器（図示略）でデジタルデータに変換し、カラープロセス回路（図示略）で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶデータ）を生成する。また、画像データ生成部４は、動画像を構成する複数のフレーム画像Ｆ、…の各々を所定形式（例えば、ＭＰＥＧ形式やモーションＪＰＥＧ形式等）で符号化して、動画像の画像データを生成する。
また、画像データ生成部４は、生成した画像データをバッファメモリとして使用されるメモリ２に転送する。

画像処理部５は、画像取得部５ａと、被写体検出部５ｂと、判定部５ｃと、領域設定部５ｄと、画像切出部５ｅとを具備している。
なお、画像処理部５の各部は、例えば、所定のロジック回路から構成されているが、当該構成は一例であってこれに限られるものではない。

画像取得部５ａは、画像切り出し処理の処理対象となる動画像を取得する。
すなわち、画像取得部５ａは、例えば、被写体Ｓが撮像部３により撮像されて画像データ生成部４により生成された複数のフレーム画像Ｆ、…からなる動画像の画像データを、メモリ２から取得する。
なお、画像取得部５ａは、撮像部３や外部機器（図示略）による被写体Ｓの撮像後に画像記録部６に記録されている動画像の画像データを読み出して、画像切り出し処理の処理対象として取得しても良い。

被写体検出部（検出手段）５ｂは、動画像内で被写体Ｓを検出する。
すなわち、被写体検出部５ｂは、画像取得部５ａにより取得された複数のフレーム画像Ｆ、…からなる動画像の画像データに対して、所定の被写体検出処理を行って各フレーム画像Ｆから被写体Ｓを検出する。具体的には、例えば、被写体Ｓ（例えば、ヒト等）に可視光（波長が380〜780nmの領域の光）を発光する光タグ（図示略）が取り付けられている場合、被写体検出部５ｂは、動画像内で所定の規則性（例えば、発色パターンや発光パターン等）で発光する光タグを検出し、その検出位置を特定する。そして、被写体検出部５ｂは、特定された光タグの検出位置を基準として、各フレーム画像Ｆに対して所定の被写体検出処理（例えば、顔検出処理等）を行い、各フレーム画像Ｆから被写体Ｓの位置や当該被写体Ｓが含まれる領域を検出する。また、被写体検出部５ｂは、動画像を構成する複数のフレーム画像Ｆ、…のうち、一のフレーム画像Ｆから検出された被写体Ｓの位置情報、被写体Ｓが含まれる領域の輝度情報や色情報等の画像情報などを追尾対象として、他のフレーム画像Ｆ内で被写体Ｓを検出するようにしても良い。
また、被写体検出部５ｂは、各フレーム画像Ｆから複数の被写体Ｓ、…や複数の被写体Ｓ、…が含まれる領域を検出しても良い。

なお、顔検出処理は、公知の技術であるので、ここでは詳細な説明を省略する。また、被写体検出処理として、顔検出処理を例示したが、一例であってこれに限られるものではなく、例えば、エッジ検出処理、特徴抽出処理等の所定の画像認識技術を利用するものであれば適宜任意に変更可能である。

判定部５ｃは、被写体検出部５ｂにより被写体Ｓが検出されたか否かを判定する。
すなわち、判定部（判定手段）５ｃは、動画像を構成する一のフレーム画像Ｆから被写体検出部５ｂにより被写体Ｓが検出されたか否かを判定する。具体的には、判定部５ｃは、例えば、被写体検出部５ｂにより各フレーム画像Ｆから被写体Ｓに取り付けられている光タグが検出されたか否かや被写体Ｓが含まれる領域が検出されたか否かに応じて、被写体Ｓが検出されたか否かを判定する。

領域設定部５ｄは、動画像を構成する各フレーム画像Ｆから画像切出部５ｅにより切り出される切出予定領域Ａ０（図５（ａ）参照）を設定する。
すなわち、領域設定部（設定手段）５ｄは、画像切出部５ｅにより既に切り出された被写体切出領域Ａ（図５（ａ）参照）の位置及びサイズのうちの少なくとも一方に基づいて、当該画像切出部５ｅにより新たに切り出される切出予定領域Ａ０を設定する。具体的には、領域設定部５ｄは、画像切出部５ｅにより既に切り出された被写体切出領域Ａの位置の経時的な変化に基づいて、新たな切出予定領域Ａ０の位置を補間して設定する。また、領域設定部５ｄは、画像切出部５ｅにより既に切り出された被写体切出領域Ａのサイズの経時的な変化に基づいて、新たな切出予定領域Ａ０のサイズを補間して設定する。

例えば、領域設定部５ｄは、画像切出部５ｅにより既に切り出された複数の被写体切出領域Ａの位置（例えば、左上画素等の基準位置）の座標をメモリ２から取得し、時間軸で隣り合う被写体切出領域Ａどうしの位置座標間の距離の代表値（例えば、平均値等）を算出する。そして、領域設定部５ｄは、算出された代表値に基づいて所定の演算を行って、例えば、線形補間により新たな切出予定領域Ａ０の位置やサイズを補間して設定するための線形補間条件を算出する。
ここで、複数の被写体切出領域Ａのサイズが変位すると当該被写体切出領域Ａの位置も変位することから、領域設定部５ｄは、時間軸で隣り合う被写体切出領域Ａどうしの位置座標間の距離の代表値を利用して線形補間条件を算出しているが、例えば、複数の被写体切出領域Ａのサイズの代表値を所定のサイズと比較した結果も利用して線形補間条件を算出しても良い。
なお、線形補間は、公知の技術であるので、ここでは詳細な説明を省略する。

また、判定部５ｃにより処理対象となる一のフレーム画像Ｆから被写体Ｓが検出されたと判定された場合、領域設定部５ｄは、被写体検出部５ｂにより検出された被写体Ｓの位置座標を取得して、動画像を構成する一のフレーム画像Ｆよりも前の他のフレーム画像Ｆから画像切出部５ｅにより切り出された被写体切出領域Ａの位置及びサイズの経時的な変化に基づいて、画像切出部５ｅにより一のフレーム画像Ｆから新たに切り出される切出予定領域Ａ０を設定する。このとき、例えば、被写体検出部５ｂにより一のフレーム画像Ｆから一の被写体Ｓが検出された場合、領域設定部５ｄは、一の被写体Ｓの位置座標のｘ座標及びｙ座標の最大値及び最小値の差、つまり、ｘ軸方向及びｙ軸方向の画素数０を被写体サイズとして算出する。そして、領域設定部５ｄは、被写体Ｓの位置座標の最小値と算出された被写体サイズから被写体領域Ａｓを特定する。また、例えば、被写体検出部５ｂにより一のフレーム画像Ｆから複数の被写体Ｓ、…が検出された場合、領域設定部５ｄは、複数の被写体Ｓ、…の各々の位置座標をそれぞれ取得し、ｘ座標及びｙ座標の最大値及び最小値の差を被写体サイズとして算出する。例えば、３つの被写体Ｓ、…が検出された場合、仮に、第１の被写体Ｓの位置座標（30,390）、第２の被写体Ｓの位置座標（100,50）、第３の被写体Ｓの位置座標（600,200）とすると、ｘ座標の最大値が600、最小値が30となり、ｙ座標の最大値が390、最小値が50となる。被写体サイズは、ｘ軸方向の画素数が最大値600から最小値30を減算した570、ｙ軸方向の画素数が最大値390から最小値50を減算した340となる。そして、領域設定部５ｄは、複数の被写体Ｓ、…の位置座標の最小値と算出された被写体サイズから被写体領域Ａｓを特定する。
このとき、領域設定部５ｄは、撮像部３により被写体Ｓを撮像する際のブレを考慮して、重心を中心として外側にあそび領域を付加して被写体領域Ａｓを設定しても良い。なお、付加されるあそび領域のサイズは、例えば、被写体領域Ａｓの位置やサイズに応じて変化させても良いし、経験的に求められる一定のサイズであっても良い。

そして、領域設定部５ｄは、特定された被写体領域Ａｓ内に、一のフレーム画像Ｆ（例えば、二番目のフレーム画像N=2；図５（ｂ）参照）よりも一つ前のフレーム画像Ｆ（例えば、最初のフレーム画像N=1；図５（ａ）参照）から切り出された被写体切出領域Ａの重心（ｘ軸方向及びｙ軸方向の中心）が存するか否かを判定する。ここで、被写体領域Ａｓ内に、一つ前のフレーム画像Ｆから切り出された被写体切出領域Ａの重心が存すると判定された場合には、領域設定部５ｄは、一つ前のフレーム画像Ｆから切り出された被写体切出領域Ａの重心を、一のフレーム画像Ｆから新たに切り出される切出予定領域Ａ０の重心として設定する。その一方で、被写体領域Ａｓ内に、一つ前のフレーム画像Ｆから切り出された被写体切出領域Ａの重心が存しないと判定された場合には、領域設定部５ｄは、線形補間条件に基づいて一のフレーム画像Ｆから新たに切り出される切出予定領域Ａ０の重心を設定する。
なお、被写体領域Ａｓにあそび領域が付加されている場合、領域設定部５ｄは、特定された被写体領域Ａｓのあそび領域内に、一つ前のフレーム画像Ｆから切り出された被写体切出領域Ａの重心が存するか否かを判定するようにしても良い。
また、上記の判定手法以外にも、領域設定部５ｄは、特定された被写体領域Ａｓ内に、一つ前のフレーム画像Ｆから切り出された被写体切出領域Ａ全体が存するか否かを判定するようにしても良い。

また、領域設定部５ｄは、特定された被写体領域Ａｓのサイズが一つ前のフレーム画像Ｆから切り出された被写体切出領域Ａのサイズよりも大きいか否かを判定する。ここで、被写体領域Ａｓのサイズが一つ前のフレーム画像Ｆから切り出された被写体切出領域Ａのサイズよりも大きいと判定されると、領域設定部５ｄは、線形補間条件に基づいて、一のフレーム画像Ｆから新たに切り出される切出予定領域Ａ０のサイズが一つ前のフレーム画像Ｆから切り出された被写体切出領域Ａのサイズよりも大きくなるように設定する。その一方で、被写体領域Ａｓのサイズが一つ前のフレーム画像Ｆから切り出された被写体切出領域Ａのサイズよりも大きくないと判定されると、領域設定部５ｄは、線形補間条件に基づいて、一のフレーム画像Ｆから新たに切り出される切出予定領域Ａ０のサイズが一つ前のフレーム画像Ｆから切り出された被写体切出領域Ａのサイズ以下となるように設定する。
なお、被写体領域Ａｓのサイズが一つ前のフレーム画像Ｆから切り出された被写体切出領域Ａのサイズと同じと判定された場合には、領域設定部５ｄは、一のフレーム画像Ｆから新たに切り出される切出予定領域Ａ０のサイズが一つ前のフレーム画像Ｆから切り出された被写体切出領域Ａのサイズと同一となるように設定しても良い。

一方、判定部５ｃにより処理対象となる一のフレーム画像Ｆから被写体Ｓが検出されなかったと判定された場合、領域設定部５ｄは、動画像を構成する一のフレーム画像Ｆよりも前の他のフレーム画像Ｆから画像切出部５ｅにより切り出された被写体切出領域Ａの位置及びサイズの経時的な変化に基づいて、画像切出部５ｅにより一のフレーム画像Ｆから新たに切り出される切出予定領域Ａ０を設定する。このとき、領域設定部５ｄは、予め指定された条件（例えば、ズームアウトの有無、ズーム倍率等）に従って設定される仮の切出予定領域Ａ０のサイズに応じて、一のフレーム画像Ｆから切り出される新たな切出予定領域Ａ０の重心やサイズを設定しても良い。

なお、領域設定部５ｄは、動画像を構成する各フレーム画像Ｆから切り出される被写体切出領域Ａの縦横比（アスペクト比）が一定となるように切出予定領域Ａ０を設定しても良い。例えば、縦横比が９：１６の場合、領域設定部５ｄは、ｙ軸方向の画素数を９で除算し、切り上げ用の定数（例えば、０．５等）を加算して四捨五入した値に９を乗算し、同様に、ｘ軸方向の画素数を１６で除算し、切り上げ用の定数（例えば、０．５等）を加算して四捨五入した値に１６を乗算する。
また、設定される切出予定領域Ａ０の重心がフレーム画像Ｆの端部（例えば、左端部等）に近いために、当該端部よりも外側に切出予定領域Ａ０が設定されてしまう場合には、領域設定部５ｄは、切出予定領域Ａ０の縦横比を保持したまま、切出予定領域Ａ０をフレーム画像Ｆの端部から離れる方向に移動させて設定しても良い。

また、領域設定部５ｄは、切出予定領域Ａ０の設定に線形補間を用いるようにしたが、一例であってこれに限られるものではなく、たとえば、三次曲線補間などの他の補間手法を用いても良い。

画像切出部（切り出し手段）５ｅは、動画像を構成する各フレーム画像Ｆから被写体検出部５ｂにより検出された被写体Ｓに対応する領域（被写体切出領域Ａ）を切り出す。
すなわち、画像切出部５ｅは、処理対象となる一のフレーム画像Ｆから領域設定部５ｄにより設定された切出予定領域Ａ０を被写体切出領域Ａとして切り出す。
なお、被写体切出領域Ａは、被写体検出部５ｂにより被写体Ｓが検出されなかった場合にも、領域設定部５ｄにより切出予定領域Ａ０が設定されて切り出されるため、当該領域内に被写体Ｓが含まれている場合も含まれていない場合もある。

画像記録部６は、例えば、不揮発性メモリ（フラッシュメモリ）等により構成されている。また、画像記録部６は、画像データ生成部４の符号化部（図示略）により所定の符号化方式で符号化された各種の画像の画像データを記録する。
具体的には、画像記録部６は、例えば、撮像部３により撮像された被写体Ｓの動画像の画像データや、当該動画像から切り出された被写体切出領域Ａのトリミング動画像の画像データ等を記録する。

なお、画像記録部６は、例えば、記録媒体（図示略）が着脱自在に構成され、装着された記録媒体からのデータの読み出しや記録媒体に対するデータの書き込みを制御する構成であっても良い。

表示部７は、静止画像や動画像を表示する。具体的には、表示部７は、表示パネル７ａと、表示制御部７ｂとを具備している。

表示パネル７ａは、表示領域内に画像を表示する。具体的には、表示部７は、静止画撮像モードや動画撮像モードにて、撮像部３による被写体Ｓの撮像により生成された複数のフレーム画像Ｆ、…を所定の再生フレームレートで逐次更新しながら表示する。
なお、表示パネル７ａとしては、例えば、液晶表示パネルや有機ＥＬ表示パネルなどが挙げられるが、一例であってこれらに限られるものではない。

表示制御部７ｂは、画像記録部６から読み出され画像処理部５により復号された所定サイズの画像データに基づいて、所定の画像を表示パネル７ａの表示画面に表示させる制御を行う。具体的には、表示制御部７ｂは、ＶＲＡＭ（Video Random Access Memory）、ＶＲＡＭコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、画像処理部５により復号されてＶＲＡＭ（図示略）に記憶されている輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから読み出して、これらのデータを元にビデオ信号を発生して表示パネル７ａに出力する。

操作入力部８は、装置本体に対して各種指示を入力するためのものである。
具体的には、操作入力部８は、例えば、モードや機能等の選択指示に係る上下左右のカーソルボタンや決定ボタン等を具備する操作部（図示略）を備えている。
そして、ユーザにより操作部の各種ボタンが操作されると、操作入力部８は、操作されたボタンに応じた操作指示を中央制御部１に出力する。中央制御部１は、操作入力部８から出力され入力された操作指示に従って所定の動作（例えば、被写体Ｓの撮像等）を各部に実行させる。
なお、操作入力部８は、表示部７の表示パネル７ａと一体となって設けられたタッチパネル（図示略）を有して構成されていても良い。

＜画像切り出し処理＞
次に、画像切り出し処理について、図２〜図６を参照して説明する。
図２〜図４は、画像切り出し処理に係る動作の一例を示すフローチャートである。また、図５（ａ）〜図５（ｃ）並びに図６（ａ）及び図６（ｂ）は、フレーム番号N=1〜5のフレーム画像Ｆと被写体領域Ａｓと被写体切出領域Ａとの対応関係の一例を模式的に示す図である。
なお、図５（ａ）〜図５（ｃ）並びに図６（ａ）及び図６（ｂ）にあっては、切出予定領域Ａ０及び被写体切出領域Ａを一点鎖線で表し、被写体領域Ａｓを二点鎖線で表すものとする。

以下に説明する画像切り出し処理は、ユーザによる操作入力部８の所定操作に基づいて、メニュー画面（図示略）に表示された複数の動作モードの中から画像切り出しモードが選択指示された場合に実行される処理である。また、画像記録部６には、撮像部３により撮像された被写体Ｓの動画像の画像データが記録されているものとする。

図２に示すように、先ず、画像処理部５の画像取得部５ａは、画像記録部６から複数のフレーム画像Ｆ、…からなる動画像の画像データを取得する（ステップＳ１）。
次に、画像処理部５は、前回の被写体切出領域Ａがあるか否かを判定する（ステップＳ２）。例えば、画像処理部５は、例えば、メモリ２の所定の格納領域に当該画像切り出し処理にて前回切り出された被写体切出領域Ａの位置、サイズ、重心等の情報が格納されているか否かを判定する。
ここで、画像処理部５は、動画像の複数のフレーム画像Ｆ、…のうち、フレーム番号が最初（N=1）のフレーム画像Ｆ（図５（ａ）参照）を処理対象とする場合、未だ被写体切出領域Ａの切り出しが行われていないため、前回の被写体切出領域Ａはないと判定する。

ステップＳ２にて、前回の被写体切出領域Ａがないと判定されると（ステップＳ２；ＮＯ）、画像処理部５は、動画像の複数のフレーム画像Ｆ、…のうち、何れか一のフレーム画像Ｆ（例えば、最初のフレーム画像Ｆ等）を処理対象として指定する（ステップＳ３）。
続けて、被写体検出部５ｂは、処理対象として指定された一のフレーム画像Ｆの画像データに対して所定の被写体検出処理を行う（ステップＳ４）。この被写体検出処理では、例えば、被写体Ｓに取り付けられている光タグを利用して、フレーム画像Ｆ内から被写体Ｓを検出しても良い。

次に、判定部５ｃは、処理対象のフレーム画像Ｆ内から被写体検出部５ｂにより被写体Ｓが検出されたか否かを判定する（ステップＳ５）。
ここで、被写体検出部５ｂにより被写体Ｓが検出されたと判定されると（ステップＳ５；ＹＥＳ）、領域設定部５ｄは、被写体検出部５ｂにより検出された被写体Ｓの位置、サイズに基づいて、例えば、被写体Ｓを中心として当該被写体Ｓを包含する程度のサイズで切出予定領域Ａ０を設定する（ステップＳ６）。
一方、被写体検出部５ｂにより被写体Ｓが検出されていないと判定されると（ステップＳ５；ＮＯ）、領域設定部５ｄは、フレーム画像Ｆ全体を切出予定領域Ａ０として設定する（ステップＳ７）。

次に、画像切出部５ｅは、一のフレーム画像Ｆから領域設定部５ｄにより設定された切出予定領域Ａ０を被写体切出領域Ａとして切り出す（ステップＳ８）。そして、画像切出部５ｅは、切り出された被写体切出領域Ａの位置、サイズ、重心等の情報をメモリ２に出力する。メモリ２の所定の格納領域には、フレーム画像Ｆのフレーム番号（N=1）と対応付けて、被写体切出領域Ａの位置、サイズ、重心等の情報が格納される。

次に、画像処理部５は、処理対象のフレーム画像Ｆが動画像を構成する複数のフレーム画像Ｆ、…のうち、最後のフレーム画像Ｆであるか否かを判定する（ステップＳ９）。
ここで、処理対象のフレーム画像Ｆが最後のフレーム画像Ｆでないと判定されると（ステップＳ９；ＮＯ）、画像処理部５は、処理をステップＳ２に戻し、上記と同様に、前回の被写体切出領域Ａがあるか否かを判定する（ステップＳ２）。

ステップＳ２にて、前回の被写体切出領域Ａがあると判定されると（ステップＳ２；ＹＥＳ）、図３に示すように、画像処理部５は、メモリ２から前回切り出された被写体切出領域Ａの位置、サイズ、重心等の情報を取得し（ステップＳ１０）、動画像の複数のフレーム画像Ｆ、…のうち、次のフレーム番号のフレーム画像Ｆ（例えば、フレーム番号が二番目（N=2）のフレーム画像Ｆ；図５（ｂ）参照等）を処理対象として指定する（ステップＳ１１）。

続けて、被写体検出部５ｂは、処理対象として指定された次のフレーム画像Ｆの画像データに対して所定の被写体検出処理を行う（ステップＳ１２）。この被写体検出処理は、上記したステップＳ４における被写体検出処理と略同様である。
次に、判定部５ｃは、処理対象のフレーム画像Ｆ内から被写体検出部５ｂにより被写体Ｓが検出されたか否かを判定する（ステップＳ１３）。

ステップＳ１３にて、被写体検出部５ｂにより被写体Ｓが検出されたと判定されると（ステップＳ１３；ＹＥＳ）、領域設定部５ｄは、メモリ２に格納されている所定期間分の時間軸で隣り合う被写体切出領域Ａどうしの位置座標間の距離の代表値（例えば、平均値等）を算出する（ステップＳ１４）。なお、例えば、二番目のフレーム画像Ｆを処理対象とする場合、最初のフレーム画像Ｆから切り出された被写体切出領域Ａの位置しかメモリ２に格納されていないため、当該最初のフレーム画像Ｆの被写体切出領域Ａの位置と、被写体検出部５ｂにより処理対象のフレーム画像Ｆから検出された被写体Ｓの位置とを利用しても良い。
そして、領域設定部５ｄは、算出された被写体切出領域Ａどうしの距離の代表値に基づいて所定の演算を行って、新たな切出予定領域Ａ０の位置やサイズを補間して設定するための線形補間条件を算出する（ステップＳ１５）。

次に、領域設定部５ｄは、被写体検出部５ｂにより検出された被写体Ｓの位置座標のｘ座標及びｙ座標の最大値及び最小値に基づいて、被写体サイズを算出する（ステップＳ１６）。例えば、領域設定部５ｄは、被写体検出部５ｂにより一の被写体Ｓが検出された場合には、当該一の被写体Ｓの位置座標のｘ座標及びｙ座標の最大値及び最小値の差を被写体サイズとして算出し、一方、複数の被写体Ｓ、…が検出された場合、複数の被写体Ｓ、…の位置座標をそれぞれ取得し、ｘ座標及びｙ座標の最大値及び最小値の差を被写体サイズとして算出する。

続けて、領域設定部５ｄは、算出された被写体サイズと被写体Ｓの位置座標の最小値とから被写体領域Ａｓの重心を特定し、その重心を中心としたあそび領域を付加して被写体領域Ａｓを特定する（ステップＳ１７）。
次に、領域設定部５ｄは、特定された被写体領域Ａｓのあそび領域内に前回の被写体切出領域Ａの重心が存するか否かを判定する（ステップＳ１８）。

ステップＳ１８にて、あそび領域内に前回の被写体切出領域Ａの重心が存すると判定されると（ステップＳ１８；ＹＥＳ）、領域設定部５ｄは、前回の被写体切出領域Ａの重心を処理対象のフレーム画像Ｆから新たに切り出される切出予定領域Ａ０の重心として設定する（ステップＳ１９）。
一方、あそび領域内に前回の被写体切出領域Ａの重心が存しないと判定されると（ステップＳ１８；ＮＯ）、領域設定部５ｄは、ステップＳ１５にて算出された線形補間条件に基づいて、処理対象のフレーム画像Ｆから新たに切り出される切出予定領域Ａ０の重心を設定する（ステップＳ２０）。

その後、領域設定部５ｄは、被写体検出部５ｂにより検出された被写体Ｓの数に応じて、例えば、被写体Ｓの数が多いほど大きくなるように被写体領域Ａｓのサイズを調整する（ステップＳ２１）。
そして、領域設定部５ｄは、サイズ調整後の被写体領域Ａｓのサイズが前回の被写体切出領域Ａのサイズよりも大きいか否かを判定する（ステップＳ２２）。

ステップＳ２２にて、被写体領域Ａｓのサイズが前回の被写体切出領域Ａのサイズよりも大きいと判定されると（ステップＳ２２；ＹＥＳ）、領域設定部５ｄは、ステップＳ１５にて算出された線形補間条件に基づいて、処理対象のフレーム画像Ｆから新たに切り出される切出予定領域Ａ０のサイズが前回の被写体切出領域Ａのサイズよりも大きくなるように設定する（ステップＳ２３）。
一方、被写体領域Ａｓのサイズが前回の被写体切出領域Ａのサイズよりも大きくないと判定されると（ステップＳ２２；ＮＯ）、領域設定部５ｄは、ステップＳ１５にて算出された線形補間条件に基づいて、処理対象のフレーム画像Ｆから新たに切り出される切出予定領域Ａ０のサイズが前回の被写体切出領域Ａのサイズ以下となるように設定する（ステップＳ２４）。

次に、領域設定部５ｄは、設定された切出予定領域Ａ０の重心及びサイズから当該切出予定領域Ａ０の位置（例えば、左上画素等の基準位置）を特定する（ステップＳ２５）。
画像切出部５ｅは、処理対象のフレーム画像Ｆから領域設定部５ｄにより設定された切出予定領域Ａ０を被写体切出領域Ａとして切り出す（ステップＳ２６）。そして、画像切出部５ｅは、上記ステップＳ８と同様に、切り出された被写体切出領域Ａの位置、サイズ、重心等の情報をメモリ２に出力する。メモリ２の所定の格納領域には、フレーム画像Ｆのフレーム番号（N=2）と対応付けて、被写体切出領域Ａの位置、サイズ、重心等の情報が格納される。

その後、図２に示すように、画像処理部５は、処理をステップＳ９に戻し、上記と同様に、処理対象のフレーム画像Ｆが動画像を構成する複数のフレーム画像Ｆ、…のうち、最後のフレーム画像Ｆであるか否かを判定する（ステップＳ９）。
ここで、処理対象のフレーム画像Ｆが最後のフレーム画像Ｆでないと判定されると（ステップＳ９；ＮＯ）、画像処理部５は、処理をステップＳ２に戻し、上記と同様に、前回の被写体切出領域Ａがあるか否かを判定する（ステップＳ２）。

上記の各処理は、ステップＳ９にて、処理対象のフレーム画像Ｆが動画像を構成する複数のフレーム画像Ｆ、…のうち、最後のフレーム画像Ｆであると判定（ステップＳ９；ＹＥＳ）されるまで繰り返し実行される。
例えば、図５（ａ）〜図５（ｃ）並びに図６（ａ）及び図６（ｂ）に示すように、フレーム番号N=1の最初のフレーム画像Ｆ及び次のフレーム番号N=2のフレーム画像Ｆで一の被写体Ｓが検出され、三番目のフレーム番号N=3のフレーム画像Ｆで二つの被写体Ｓ、Ｓが検出された場合であっても、被写体切出領域Ａ（切出予定領域Ａ０）の位置及びサイズは、三番目のフレーム番号N=3のフレーム画像Ｆで急激に変化するのではなく、既に切り出された被写体切出領域Ａの位置及びサイズの経時的な変化を考慮して補間して設定される（図５（ｃ）参照）。つまり、処理対象のフレーム画像Ｆで被写体領域Ａｓの位置やサイズが急激に変化しても、当該フレーム画像Ｆから実際に切り出される被写体切出領域Ａの位置やサイズは隣り合うフレーム画像Ｆ間で緩やかに変化していくこととなる（図５（ｂ）〜図６（ｂ）参照）。

一方、ステップＳ１３にて、被写体検出部５ｂにより被写体Ｓが検出されていないと判定されると（ステップＳ１３；ＮＯ）、画像処理部５は、予め指定された条件に従ってズームアウトするか否かを判定する（ステップＳ２７）。
ここで、ズームアウトしないと判定されると（ステップＳ２７；ＮＯ）、領域設定部５ｄは、前回設定された切出予定領域Ａ０の位置、サイズを処理対象のフレーム画像Ｆから新たに切り出される切出予定領域Ａ０の位置、サイズとして設定する（ステップＳ２８）。
その後、画像処理部５は、処理をステップＳ２６に移行して、それ以降の各処理を実行する。すなわち、ステップＳ２６にて、画像切出部５ｅは、処理対象のフレーム画像Ｆから領域設定部５ｄにより設定された切出予定領域Ａ０を被写体切出領域Ａとして切り出す。

一方、ステップＳ２７にて、ズームアウトすると判定されると（ステップＳ２７；ＹＥＳ）、画像処理部５は、前回切り出された被写体切出領域Ａのサイズが縦横それぞれを２倍となるようにズームした２倍ズームサイズ（面積比で１／４）以上であるか否かを判定する（ステップＳ２９）。

ステップＳ２９にて、前回切り出された被写体切出領域Ａのサイズが２倍ズームサイズ以上であると判定されると（ステップＳ２９；ＹＥＳ）、領域設定部５ｄは、処理対象のフレーム画像Ｆから新たに切り出される切出予定領域Ａ０の目標サイズとして、２倍ズームサイズを設定する（ステップＳ３０）。続けて、領域設定部５ｄは、前回の被写体切出領域Ａの重心を処理対象のフレーム画像Ｆから新たに切り出される切出予定領域Ａ０の重心として設定する（ステップＳ３１）。
その後、画像処理部５は、処理をステップＳ２３に移行して、それ以降の各処理を実行する。すなわち、ステップＳ２３にて、領域設定部５ｄは、ステップＳ１５にて算出された線形補間条件に基づいて、処理対象のフレーム画像Ｆから新たに切り出される切出予定領域Ａ０のサイズが前回の被写体切出領域Ａのサイズよりも大きくなるように設定し、ステップＳ２５にて、設定された切出予定領域Ａ０の重心及びサイズから当該切出予定領域Ａ０の位置を特定する。
そして、ステップＳ２６にて、画像切出部５ｅは、処理対象のフレーム画像Ｆから領域設定部５ｄにより設定された切出予定領域Ａ０を被写体切出領域Ａとして切り出す。

一方、ステップＳ２９にて、前回切り出された被写体切出領域Ａのサイズが２倍ズームサイズ以上でないと判定されると（ステップＳ２９；ＮＯ）、画像処理部５は、予め指定された条件に従ってフレーム画像Ｆ全体までズームアウトするか否かを判定する（ステップＳ３２）。
ここで、フレーム画像Ｆ全体までズームアウトすると判定されると（ステップＳ３２；ＹＥＳ）、画像処理部５は、前回切り出された被写体切出領域Ａのサイズがフレーム画像Ｆ全体のサイズよりも小さいか否かを判定する（ステップＳ３３）。

ステップＳ３３にて、前回切り出された被写体切出領域Ａのサイズがフレーム画像Ｆ全体のサイズよりも小さいと判定されると（ステップＳ３３；ＹＥＳ）、領域設定部５ｄは、処理対象のフレーム画像Ｆから新たに切り出される切出予定領域Ａ０の目標サイズとして、フレーム画像Ｆ全体のサイズを設定する（ステップＳ３４）。続けて、領域設定部５ｄは、フレーム画像Ｆ全体の重心を新たに切り出される切出予定領域Ａ０の目標重心とし、ステップＳ１５にて算出された線形補間条件に基づいて、処理対象のフレーム画像Ｆから新たに切り出される切出予定領域Ａ０の重心を設定する（ステップＳ３５）。
その後、画像処理部５は、処理をステップＳ２３に移行して、それ以降の各処理を実行する。すなわち、ステップＳ２３にて、領域設定部５ｄは、ステップＳ１５にて算出された線形補間条件に基づいて、処理対象のフレーム画像Ｆから新たに切り出される切出予定領域Ａ０のサイズが前回の被写体切出領域Ａのサイズよりも大きくなるように設定し、ステップＳ２５にて、設定された切出予定領域Ａ０の重心及びサイズから当該切出予定領域Ａ０の位置を特定する。
そして、ステップＳ２６にて、画像切出部５ｅは、処理対象のフレーム画像Ｆから領域設定部５ｄにより設定された切出予定領域Ａ０を被写体切出領域Ａとして切り出す。

一方、ステップＳ３２にて、フレーム画像Ｆ全体までズームアウトしないと判定されるか（ステップＳ３２；ＮＯ）、或いは、ステップＳ３３にて、前回切り出された被写体切出領域Ａのサイズがフレーム画像Ｆ全体のサイズよりも小さくないと判定されると（ステップＳ３３；ＮＯ）、画像処理部５は、処理をステップＳ２８に移行して、それ以降の各処理を実行する。すなわち、ステップＳ２８にて、領域設定部５ｄは、前回設定された切出予定領域Ａ０の位置、サイズを処理対象のフレーム画像Ｆから新たに切り出される切出予定領域Ａ０の位置、サイズとして設定する。
その後、画像処理部５は、処理をステップＳ２６に移行して、それ以降の各処理を実行する。すなわち、ステップＳ２６にて、画像切出部５ｅは、処理対象のフレーム画像Ｆから領域設定部５ｄにより設定された切出予定領域Ａ０を被写体切出領域Ａとして切り出す。

各フレーム画像Ｆから切り出された被写体切出領域Ａの画像データは、処理対象のフレーム画像Ｆのフレーム番号と対応付けて画像記録部６に出力され、当該動画像から切り出された被写体切出領域Ａのトリミング動画像の画像データとして記録される。

以上のように、本実施形態の撮像装置１００によれば、既に切り出された被写体切出領域Ａの位置及びサイズに基づいて、処理対象のフレーム画像Ｆから新たに切り出される切出予定領域Ａ０を設定するので、処理対象のフレーム画像Ｆよりも前のフレーム画像Ｆから切り出された被写体切出領域Ａの位置及びサイズを考慮して処理対象のフレーム画像Ｆから被写体切出領域Ａを切り出すことができる。すなわち、例えば、動画像内から検出される被写体Ｓの数、位置、サイズ等が急激に変化した場合であっても、既に切り出された被写体切出領域Ａの位置やサイズの経時的な変化を考慮して切出予定領域Ａ０の位置やサイズを補間して設定することができ、実際に切り出される被写体切出領域Ａの位置やサイズを隣り合うフレーム画像Ｆ間で緩やかに変化させることができる。特に、動画像内から検出される被写体Ｓを追尾対象として被写体切出領域Ａを切り出す場合に、当該被写体Ｓをより自然な構図で捉えた動画像を生成することができる。
このように、動画像から被写体Ｓに対応する被写体切出領域Ａを適正に切り出すことができる。

また、処理対象のフレーム画像Ｆから被写体Ｓが検出された場合には、検出された被写体Ｓの位置及びサイズと、処理対象のフレーム画像Ｆよりも前の他のフレーム画像Ｆから切り出された被写体切出領域Ａの位置及びサイズとに基づいて、処理対象のフレーム画像Ｆから新たに切り出される切出予定領域Ａ０を設定するので、処理対象のフレーム画像Ｆよりも前のフレーム画像Ｆから切り出された被写体切出領域Ａの位置及びサイズだけでなく、処理対象のフレーム画像Ｆから検出された被写体Ｓの位置及びサイズも考慮して、切出予定領域Ａ０を設定することができ、当該処理対象のフレーム画像Ｆから被写体切出領域Ａを適正に切り出すことができる。
特に、処理対象のフレーム画像Ｆから被写体Ｓが複数検出された場合に、検出された複数の被写体Ｓ、…の位置及びサイズを考慮することで、動画像内から検出される被写体Ｓの数が急激に変化しても、実際に切り出される被写体切出領域Ａの位置やサイズを隣り合うフレーム画像Ｆ間で緩やかに変化させることができる。
さらに、処理対象となるフレーム画像Ｆから被写体Ｓが検出されなかった場合であっても処理対象のフレーム画像Ｆよりも前の他のフレーム画像Ｆから切り出された被写体切出領域Ａの位置及びサイズに基づいて、処理対象のフレーム画像Ｆから新たに切り出される切出予定領域Ａ０を設定するので、被写体Ｓが含まれていない被写体切出領域Ａを切り出す場合にも、当該被写体切出領域Ａの位置やサイズを隣り合うフレーム画像Ｆ間で緩やかに変化させることができる。

また、動画像内で被写体Ｓの可視光の発光（例えば、光タグの発光等）を検出するので、当該発光を利用して被写体Ｓの検出を適正に行うことができる。これにより、動画像内での被写体Ｓの追尾をより適正に行うことができる。

なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態では、既に切り出された被写体切出領域Ａの位置及びサイズに基づいて、新たに切り出される切出予定領域Ａ０を設定するようにしたが、一例であってこれに限られるものではなく、例えば、被写体切出領域Ａの位置及びサイズの何れか一方を考慮して切出予定領域Ａ０を設定しても良い。

さらに、撮像装置１００の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。さらに、画像処理装置として、撮像装置１００を例示したが、これに限られるものではない。

加えて、上記実施形態にあっては、検出手段、切り出し手段、設定手段としての機能を、中央制御部１の制御下にて、被写体検出部５ｂ、画像切出部５ｅ、領域設定部５ｄが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部１のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ（図示略）に、検出処理ルーチン、切り出し処理ルーチン、設定処理ルーチンを含むプログラムを記憶しておく。そして、検出処理ルーチンにより中央制御部１のＣＰＵを、動画像内で被写体Ｓを検出する手段として機能させるようにしても良い。また、切り出し処理ルーチンにより中央制御部１のＣＰＵを、動画像を構成する各フレーム画像Ｆから検出された被写体Ｓに対応する被写体切出領域Ａを切り出す手段として機能させるようにしても良い。また、設定処理ルーチンにより中央制御部１のＣＰＵを、既に切り出された被写体切出領域Ａの位置及びサイズのうちの少なくとも一方に基づいて、新たに切り出される切出予定領域Ａ０を設定する手段として機能させるようにしても良い。

同様に、判定手段についても、中央制御部１のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。

さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。

本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
動画像内で被写体を検出する検出手段と、
前記動画像を構成する各フレーム画像から前記検出手段により検出された前記被写体に対応する領域を切り出す切り出し手段と、
前記切り出し手段により既に切り出された前記被写体に対応する領域の位置及びサイズのうちの少なくとも一方に基づいて、当該切り出し手段により新たに切り出される切出予定領域を設定する設定手段と、
を備えたことを特徴とする画像処理装置。
＜請求項２＞
前記設定手段は、
前記切り出し手段により既に切り出された前記被写体に対応する領域の位置の経時的な変化に基づいて、前記切出予定領域の位置を補間して設定することを特徴とする請求項１に記載の画像処理装置。
＜請求項３＞
前記設定手段は、
前記切り出し手段により既に切り出された前記被写体に対応する領域のサイズの経時的な変化に基づいて、前記切出予定領域のサイズを補間して設定することを特徴とする請求項１に記載の画像処理装置。
＜請求項４＞
前記設定手段は、
前記検出手段により検出された前記被写体に対応する領域と、前記切り出し手段により既に切り出された前記被写体に対応する領域の位置及びサイズの経時的な変化に基づいて、前記切出予定領域を設定することを特徴とする請求項１〜３の何れか一項に記載の画像処理装置。
＜請求項５＞
前記動画像を構成する一のフレーム画像から前記検出手段により前記被写体が検出されたか否かを判定する判定手段を更に備え、
前記設定手段は、
前記判定手段により前記被写体が検出されたと判定された場合に、前記一のフレーム画像から前記検出手段により検出された前記被写体の位置及びサイズと、前記動画像を構成する前記一のフレーム画像よりも前の他のフレーム画像から前記切り出し手段により切り出された前記被写体に対応する領域の位置及びサイズとに基づいて、当該切り出し手段により前記一のフレーム画像から新たに切り出される切出予定領域を設定することを特徴とする請求項１〜４の何れか一項に記載の画像処理装置。
＜請求項６＞
前記設定手段は、
前記検出手段により前記被写体が複数検出された場合に、前記一のフレーム画像から前記検出手段により検出された前記複数の被写体の位置及びサイズと、前記他のフレーム画像から前記切り出し手段により切り出された前記被写体に対応する領域の位置及びサイズとに基づいて、前記切出予定領域を設定することを特徴とする請求項５に記載の画像処理装置。
＜請求項７＞
前記設定手段は、更に、
前記判定手段により前記被写体が検出されなかったと判定された場合に、前記他のフレーム画像から前記切り出し手段により切り出された前記被写体に対応する領域の位置及びサイズに基づいて、前記切出予定領域を設定することを特徴とする請求項５又は６に記載の画像処理装置。
＜請求項８＞
前記被写体は、前記動画像内で追尾対象の被写体を含むことを特徴とする請求項１〜７の何れか一項に記載の画像処理装置。
＜請求項９＞
前記検出手段は、更に、前記動画像内で前記被写体の可視光の発光を検出することを特徴とする請求項１〜８の何れか一項に記載の画像処理装置。
＜請求項１０＞
画像処理装置を用いた画像処理方法であって、
動画像内で被写体を検出するステップと、
前記動画像を構成する各フレーム画像から検出された前記被写体に対応する領域を切り出すステップと、
既に切り出された前記被写体に対応する領域の位置及びサイズのうちの少なくとも一方に基づいて、新たに切り出される切出予定領域を設定するステップと、
を含むことを特徴とする画像処理方法。
＜請求項１１＞
画像処理装置のコンピュータを、
動画像内で被写体を検出する検出手段、
前記動画像を構成する各フレーム画像から前記検出手段により検出された前記被写体に対応する領域を切り出す切り出し手段、
前記切り出し手段により既に切り出された前記被写体に対応する領域の位置及びサイズのうちの少なくとも一方に基づいて、当該切り出し手段により新たに切り出される切出予定領域を設定する設定手段、
として機能させることを特徴とするプログラム。

１００ 撮像装置
１ 中央制御部
５ｂ 被写体検出部
５ｃ 判定部
５ｄ 領域設定部
５ｅ 画像切出部
Ｆ フレーム画像
Ａｓ 被写体領域
Ａ０ 切出予定領域
Ａ 被写体切出領域

Claims (11)

1. 動画像内で被写体を検出する検出手段と、
   前記動画像を構成する各フレーム画像から前記検出手段により検出された前記被写体に対応する領域を切り出す切り出し手段と、
   前記切り出し手段により既に切り出された前記被写体に対応する領域の位置及びサイズのうちの少なくとも一方に基づいて、当該切り出し手段により新たに切り出される切出予定領域を設定する設定手段と、
   を備えたことを特徴とする画像処理装置。
2. 前記設定手段は、
   前記切り出し手段により既に切り出された前記被写体に対応する領域の位置の経時的な変化に基づいて、前記切出予定領域の位置を補間して設定することを特徴とする請求項１に記載の画像処理装置。
3. 前記設定手段は、
   前記切り出し手段により既に切り出された前記被写体に対応する領域のサイズの経時的な変化に基づいて、前記切出予定領域のサイズを補間して設定することを特徴とする請求項１に記載の画像処理装置。
4. 前記設定手段は、
   前記検出手段により検出された前記被写体に対応する領域と、前記切り出し手段により既に切り出された前記被写体に対応する領域の位置及びサイズの経時的な変化に基づいて、前記切出予定領域を設定することを特徴とする請求項１〜３の何れか一項に記載の画像処理装置。
5. 前記動画像を構成する一のフレーム画像から前記検出手段により前記被写体が検出されたか否かを判定する判定手段を更に備え、
   前記設定手段は、
   前記判定手段により前記被写体が検出されたと判定された場合に、前記一のフレーム画像から前記検出手段により検出された前記被写体の位置及びサイズと、前記動画像を構成する前記一のフレーム画像よりも前の他のフレーム画像から前記切り出し手段により切り出された前記被写体に対応する領域の位置及びサイズとに基づいて、当該切り出し手段により前記一のフレーム画像から新たに切り出される切出予定領域を設定することを特徴とする請求項１〜４の何れか一項に記載の画像処理装置。
6. 前記設定手段は、
   前記検出手段により前記被写体が複数検出された場合に、前記一のフレーム画像から前記検出手段により検出された前記複数の被写体の位置及びサイズと、前記他のフレーム画像から前記切り出し手段により切り出された前記被写体に対応する領域の位置及びサイズとに基づいて、前記切出予定領域を設定することを特徴とする請求項５に記載の画像処理装置。
7. 前記設定手段は、更に、
   前記判定手段により前記被写体が検出されなかったと判定された場合に、前記他のフレーム画像から前記切り出し手段により切り出された前記被写体に対応する領域の位置及びサイズに基づいて、前記切出予定領域を設定することを特徴とする請求項５又は６に記載の画像処理装置。
8. 前記被写体は、前記動画像内で追尾対象の被写体を含むことを特徴とする請求項１〜７の何れか一項に記載の画像処理装置。
9. 前記検出手段は、更に、前記動画像内で前記被写体の可視光の発光を検出することを特徴とする請求項１〜８の何れか一項に記載の画像処理装置。
10. 画像処理装置を用いた画像処理方法であって、
    動画像内で被写体を検出するステップと、
    前記動画像を構成する各フレーム画像から検出された前記被写体に対応する領域を切り出すステップと、
    既に切り出された前記被写体に対応する領域の位置及びサイズのうちの少なくとも一方に基づいて、新たに切り出される切出予定領域を設定するステップと、
    を含むことを特徴とする画像処理方法。
11. 画像処理装置のコンピュータを、
    動画像内で被写体を検出する検出手段、
    前記動画像を構成する各フレーム画像から前記検出手段により検出された前記被写体に対応する領域を切り出す切り出し手段、
    前記切り出し手段により既に切り出された前記被写体に対応する領域の位置及びサイズのうちの少なくとも一方に基づいて、当該切り出し手段により新たに切り出される切出予定領域を設定する設定手段、
    として機能させることを特徴とするプログラム。

Images