JP2018007272A - 画像処理装置、撮像装置およびプログラム - Google Patents

Abstract

【課題】 時系列の撮像画像の情報から適切な追尾対象を指定する。
【解決手段】 画像処理装置は、取得部と、指定部と、被写体追尾部とを備える。取得部は、時間軸方向に連続する複数の撮像画像を取得する。指定部は、撮像画像上の基準点を中心として設定された第１領域に含まれる被写体のうちから、追尾対象を指定する。被写体追尾部は、追尾対象を複数の撮像画像から継続的に検出する。また、指定部は、追尾対象が第１領域の領域外に移動したときに、所定の維持条件を満たすときは追尾対象の指定を維持する。また、指定部は、上記の維持条件を満たさないときには第１領域に含まれる被写体のうちから新たな追尾対象を指定する。
【選択図】 図１

Description

本発明は、画像処理装置、撮像装置およびプログラムに関する。

従来から、特定の被写体を追尾する技術が種々提案されている。一例として、特許文献１には、撮像装置の操作の履歴に基づいて、追尾対象を別の被写体を変更しようとする撮影意図を推定する装置が開示されている。

特開2011-223174号公報

従来の技術は、撮像装置の操作の履歴を用いて追尾対象を変更するか否かの判断を行う。そのため、例えば、パンニングやチルティングの途中の場合や、操作履歴が残されていない場合などでは、時系列の撮像画像の情報から適切な追尾対象を指定することがなお困難であった。

本発明の一例の画像処理装置は、取得部と、指定部と、被写体追尾部とを備える。取得部は、時間軸方向に連続する複数の撮像画像を取得する。指定部は、撮像画像上の基準点を中心として設定された第１領域に含まれる被写体のうちから、追尾対象を指定する。被写体追尾部は、追尾対象を複数の撮像画像から継続的に検出する。また、指定部は、追尾対象が第１領域の領域外に移動したときに、所定の維持条件を満たすときは追尾対象の指定を維持する。また、指定部は、上記の維持条件を満たさないときには第１領域に含まれる被写体のうちから新たな追尾対象を指定する。

本発明によれば、時系列の撮像画像の情報から適切な追尾対象を指定できる。

一の実施形態における電子カメラの構成例を示す図 電子カメラの被写体追尾モードの動作例を示す流れ図 第１領域および第２領域の例を示す図 被写体追尾の一例を示す図 被写体追尾の一例を示す図 被写体追尾の一例を示す図 被写体追尾の一例を示す図 他の実施形態における画像処理装置の構成例を示す図 他の実施形態における画像処理装置の動作例を示す流れ図

＜一の実施形態の説明＞
図１は、一の実施形態における、撮像装置の一例としての電子カメラの構成例を示す図である。一の実施形態の電子カメラは、撮影モードの一つとして被写体追尾モードを有している。なお、被写体追尾モードでは、時系列に取得される複数の画像から追尾対象の被写体を電子カメラが継続的に検出することができる。なお、上記の被写体追尾モードは、例えば、子供の撮影に適したキッズモードなどの一機能として電子カメラに実装されてもよい。

一の実施形態の電子カメラ１１は、撮影光学系１２と、光学系駆動部１３と、撮像部１４と、焦点調節部１５と、画像処理装置の一例としてのカメラマイコン１６と、第１メモリ１７および第２メモリ１８と、表示部１９と、メディアＩ／Ｆ２０と、ユーザからの操作を受け付ける操作部２１とを備える。ここで、光学系駆動部１３、撮像部１４、焦点調節部１５、第１メモリ１７および第２メモリ１８、表示部１９、メディアＩ／Ｆ２０、操作部２１は、それぞれカメラマイコン１６に接続されている。

撮影光学系１２は、例えばズームレンズやフォーカスレンズを含む複数のレンズで構成されている。撮像光学系に含まれるズームレンズやフォーカスレンズのレンズ位置は、光学系駆動部１３によって光軸方向に調整される。

なお、光学系駆動部１３は、ズームレンズやフォーカスレンズのレンズ位置を検出するエンコーダ（不図示）を有している。そして、光学系駆動部１３のエンコーダは、カメラマイコン１６にレンズ位置の情報を出力する。これにより、カメラマイコン１６は、ズームレンズの焦点距離の情報を取得できる。

撮像部１４は、撮影光学系１２を介して入射された光束による被写体の結像を撮像（撮影）するモジュールである。例えば、撮像部１４は、光電変換を行う撮像素子と、撮像素子の出力にアナログ信号処理やＡ／Ｄ変換処理などを施す信号処理回路とを含んでいる。

ここで、撮像部１４は、操作部２１からの撮像指示に応じて、不揮発性の記憶媒体（２５）への記録を伴う記録用の静止画像を撮影する。このとき、撮像部１４は、静止画像を連写撮影することもできる。また、撮像部１４は、撮影待機時において所定の時間間隔ごとに観測用の画像（スルー画像）を撮影する。時系列に取得されたスルー画像のデータは、表示部１９での動画表示（ライブビュー表示）やカメラマイコン１６による各種の演算処理に使用される。なお、撮像部１４で撮像された画像を、撮像画像と称することもある。

焦点調節部１５は、撮像部１４の撮像範囲内に設定された焦点検出エリアの情報を用いて、フォーカスレンズの自動焦点調節（Auto Focus）を実行する。

例えば、焦点調節部１５は、スルー画像を用いて公知のコントラスト検出によりＡＦを実行するものであってもよい。あるいは、焦点調節部１５は、公知の位相差検出方式により、瞳分割された被写体像の像ズレ量からＡＦを実行するものであってもよい。位相差検出方式による場合、焦点調節部１５は撮影光学系１２から入射する光束の一部を用いて、撮像部１４から独立して焦点検出を行うモジュール（例えば、一眼レフ形式で採用される焦点検出モジュール）であってもよい。あるいは、撮像部１４の受光面に焦点検出用の受光素子を配置し、焦点調節部１５が撮像面で位相差検出ＡＦを行うようにしてもよい。

カメラマイコン１６は、電子カメラ１１の動作を統括的に制御するプロセッサである。例えば、カメラマイコン１６は、撮像部１４での撮像画像の撮影制御、表示部１９での撮像画像の表示制御、第１メモリ１７およびメディアＩ／Ｆ２０での撮像画像の記録制御を行う。また、一の実施形態でのカメラマイコン１６は、画像処理部２２、指定部２３、被写体追尾部２４を有している。

画像処理部２２は、撮像画像のデータに対して、色補間、階調変換、ホワイトバランス補正、輪郭強調、ノイズ除去などの画像処理を施す。

指定部２３は、所定のアルゴリズムに従って、撮像画像に含まれる被写体のうちから追尾対象となる被写体を指定する。

被写体追尾部２４は、指定部２３によって指定された追尾対象を、時系列の撮像画像から継続的に検出する。

なお、図１に示すカメラマイコン１６の各機能ブロックは、ハードウェア的には任意のプロセッサ、メモリ、その他のＬＳＩで実現でき、ソフトウェア的にはメモリにロードされたプログラムによって実現される。例えば、画像処理部２２、指定部２３、被写体追尾部２４は、ＡＳＩＣ(Application Specific Integrated Circuit)であってもよく、また
はカメラマイコン１６によって処理されるプログラムモジュールであってもよい。

第１メモリ１７は、画像処理の前工程や後工程で撮像画像のデータを一時的に記憶するバッファメモリである。例えば、第１メモリ１７は、ＳＤＲＡＭ等の揮発性メモリで構成される。また、第１メモリ１７には、被写体追尾処理で用いる各種の情報（追尾対象の特徴情報など）が記憶される。

第２メモリ１８は、カメラマイコン１６で実行するプログラムや、このプログラムで使用される各種データを記憶するメモリである。例えば、第２メモリ１８は、フラッシュメモリ等の不揮発性メモリで構成される。

表示部１９は、各種の画像を表示する表示デバイスであって、例えば、液晶モニタや有機ＥＬモニタなどである。ここで、表示部１９は、カメラマイコン１６の制御により、スルー画像による動画表示（ライブビュー表示）を行う。また、表示部１９は、カメラマイコン１６の制御により、各種の撮影情報をスルー画像に重畳させて表示することもできる。

メディアＩ／Ｆ２０は、不揮発性の記憶媒体２５（ハードディスク、メモリカード等）を接続するためのコネクタを有している。そして、メディアＩ／Ｆ２０は、コネクタに接続された記憶媒体２５に対してデータ（記録用画像）の書き込み／読み込みを実行する。上記の記憶媒体２５は、例えば、ハードディスクや、半導体メモリを内蔵したメモリカードである。なお、図１では記憶媒体２５の一例としてメモリカードを図示する。

次に、図２の流れ図を参照しつつ、一の実施形態の電子カメラにおける被写体追尾モードの動作例を説明する。図２の処理は、被写体追尾モードで電子カメラを起動させたときに、カメラマイコン１６がプログラムを実行することによって開始される。

ステップ＃１０１：カメラマイコン１６は、撮像部１４を駆動させてスルー画像の撮像を開始する。これにより、カメラマイコン１６は、スルー画像を撮像部１４から取得する。また、被写体追尾モードでのカメラマイコン１６は、スルー画像を表示部１９に動画表示させる。したがって、ユーザは、表示部１９のスルー画像を参照して、撮影構図を決定するためのフレーミングを行うことができる。

ステップ＃１０２：画像処理部２２は、入力された撮像画像（スルー画像）に公知の被写体抽出処理を施す。

例えば、＃１０２での画像処理部２２は、輪郭抽出処理や、色情報等による２値化処理などで画像の領域分割を行うとともに、分割した領域を画像の特徴に基づいて統合することで画像から被写体を抽出する。また、画像処理部２２は、公知の被写体検出（顔検出など）によって被写体を抽出してもよい。また、画像処理部２２は、複数枚の撮像画像を用いて、フレーム間差分や動きベクトルのクラスタリングにより被写体を抽出してもよい。その他にも、被写体抽出処理には、線形判別分析、弾性バンチグラフマッチング、隠れマルコフモデルなどの種々の手法を適用できる。

ステップ＃１０３：指定部２３は、抽出された被写体（＃１０２）のうち、追尾対象となる被写体を１つ指定する。

ここで、＃１０３において、指定部２３は、撮像画像の撮像範囲内に設定された追尾対象の選択領域（第１領域とも称する）から追尾対象の被写体を指定する（図３参照）。上記の第１領域は、撮像画像上の基準点を中心として設定される。したがって、＃１０３では、撮像範囲内の被写体のうち、基準点から所定範囲内に位置する被写体のうちから追尾対象の被写体が指定されることとなる。上記の基準点の位置は撮影の構図などに応じてユーザが撮像範囲内で適宜変更できるが、本明細書では撮像範囲の中央に基準点を設定する例を説明する。また、追尾対象に対してＡＦを可能とするため、第１領域は、撮像範囲内で焦点調節部１５が焦点検出できる範囲よりも狭い範囲に設定されている。

また、＃１０３において、指定部２３は、第１領域内に複数の被写体が存在する場合、画像上で基準点との距離がより短い被写体を追尾対象に指定する。

なお、追尾対象の被写体が指定された場合、被写体追尾部２４は、被写体追尾の実行状態を示す表示（被写体追尾マーク）を表示部１９のスルー画像に重畳表示させる。例えば、被写体追尾部２４は、追尾対象を囲む矩形枠をスルー画像に重畳させる。これにより、ユーザは電子カメラ１１がどの被写体を追尾しているかを表示部１９で確認できる。

ステップ＃１０４：指定部２３は、＃１０３で指定した追尾対象の画像の特徴量を示す特徴情報を第１メモリ１７に記録する。なお、追尾対象の特徴情報は、例えば、エッジのコーナーや色成分のヒストグラム等であって、異なる撮像画像から追尾対象を検出するためのマッチング処理で使用される。

ステップ＃１０５：焦点調節部１５は、現在の追尾対象の位置に対応する焦点検出エリアの情報を用いて、フォーカスレンズの焦点調節を実行する。

ステップ＃１０６：カメラマイコン１６は、静止画像の撮像指示（例えば、レリーズ釦の全押し操作）を受け付けたか否かを判定する。上記要件を満たす場合（ＹＥＳ側）には＃１０７に処理が移行する。一方、上記要件を満たさない場合（ＮＯ側）には＃１０８に処理が移行する。

ステップ＃１０７：カメラマイコン１６は、記録用の静止画の撮像処理を実行する。撮像部１４は、カメラマイコン１６の指示に応じて、記録用の静止画を撮像する。記録用の静止画のデータは、画像処理部２２で所定の処理が施された後に、カメラマイコン１６の制御によって、メディアＩ／Ｆ２０に接続された記憶媒体２５に記録される。その後、カメラマイコン１６は、図２の流れ図の処理を終了する。

ステップ＃１０８：カメラマイコン１６は、被写体追尾モードの終了指示（例えば、動作モードの切り替えや、電源オフ操作など）を受け付けたか否かを判定する。上記要件を満たす場合（ＹＥＳ側）には、カメラマイコン１６は図２の流れ図の処理を終了する。一方、上記要件を満たさない場合（ＮＯ側）には＃１０９に処理が移行する。

ステップ＃１０９：カメラマイコン１６は、時系列に取得されるスルー画像のうち、被写体追尾の処理を行う判定フレームが撮像されたか否かを判定する。上記要件を満たす場合（ＹＥＳ側）には、＃１１０に処理が移行する。一方、上記要件を満たさない場合（ＮＯ側）には、＃１０６に戻って、カメラマイコン１６は上記動作を繰り返す。なお、スルー画像のうち被写体追尾の処理を行う間隔（判定フレームのフレームレート）は、ユーザの設定操作などに応じてカメラマイコン１６が適宜調整できる。

ステップ＃１１０：画像処理部２２は、判定フレームに公知の被写体抽出処理を施す。＃１１０の処理は＃１０２と共通するため、重複説明は省略する。

ステップ＃１１１：被写体追尾部２４は、追尾対象の特徴情報（＃１０４）と、判定フレームの被写体の特徴情報とを対比して被写体のマッチング処理を実行する。上記のマッチング処理により、被写体追尾部２４は、判定フレームから追尾対象を継続的に検出する。

ステップ＃１１２：指定部２３は、判定フレームにおいて追尾対象が第１領域の領域外に移動しているか否かを判定する。

上記要件を満たす場合（ＹＥＳ側）には＃１１３に処理が移行する。なお、＃１１２のＹＥＳ側の場合、後述のいずれかの維持条件を満たすときには現在の追尾対象の指定がそのまま維持され、維持条件をいずれも満たさないときには新たな追尾対象が指定される。

一方、上記要件を満たさない場合（ＮＯ側）には＃１１５に処理が移行する。なお、＃１１２のＮＯ側の場合には、現在の追尾対象の指定がそのまま維持される。

ステップ＃１１３：指定部２３は、維持条件の１つとして、追尾対象が第１領域の領域外に移動した時点から所定時間が経過しているか否かを判定する。例えば、追尾対象が第１領域の領域外に移動して２〜３秒経過したときに、指定部２３は、上記の所定時間が経過したと判定する。

上記要件を満たす場合（ＹＥＳ側）には＃１１４に処理が移行する。なお、＃１１３のＹＥＳ側の場合、他の維持条件を満たすときには現在の追尾対象の指定がそのまま維持され、他の維持条件を満たさないときには新たな追尾対象が指定される。

一方、上記要件を満たさない場合（ＮＯ側）には＃１１５に処理が移行する。なお、＃１１３のＮＯ側の場合には、現在の追尾対象の指定がそのまま維持される。

ステップ＃１１４：指定部２３は、維持条件の１つとして、撮像画像の撮像範囲内に設定された追尾対象の非変更領域（第２領域とも称する）に、追尾対象が位置するか否かを判定する。

ここで、一の実施形態での第２領域は、第１領域よりも広い矩形状に形成されている（図３参照）。第２領域は、撮像画像上の基準点を中心として第１領域と同心状に配置され、撮像画像の撮像範囲において第２領域が第１領域を内包する。上記の第２領域は、追尾対象の変更の必要性を判定するための領域であって、第１領域よりも広く設定されている。追尾対象が第２領域の領域外に位置する場合、指定部２３は追尾対象を変更する。しかし、追尾対象が第２領域内に位置する場合、指定部２３は追尾対象を変更しない。なお、追尾対象に対してＡＦを可能とするため、第２領域は、撮像範囲内で焦点調節部１５が焦点検出できる範囲と同じ範囲か、または撮像範囲内で焦点調節部１５が焦点検出できる範囲よりも狭い範囲に設定されている。

＃１１４の上記要件を満たす場合（ＹＥＳ側）には＃１１５に処理が移行する。一方、上記要件を満たさない場合（ＮＯ側）には＃１１６に処理が移行する。

ステップ＃１１５：被写体追尾部２４は、マッチング処理で求めた追尾対象の位置に応じて、追尾対象を変更せずに、焦点検出エリアの位置と、表示部１９の被写体追尾マークの位置とをそれぞれ更新する。

その後、カメラマイコン１６は＃１０５に戻って上記動作を繰り返す。＃１１０、＃１１１、＃１１２、＃１１５から＃１０５へのループにより、追尾対象の動きに合わせて焦点検出エリアの位置が変化することで、被写体追尾ＡＦが行われる。

ステップ＃１１６：指定部２３は、第１領域に含まれる被写体のうちから新たな追尾対象を１つ指定する。これにより、追尾対象の被写体が変更される。なお、＃１１６での指定部２３は、＃１０３の処理と同様に、第１領域内に複数の被写体が存在する場合、基準点との距離がより短い被写体を追尾対象に指定する。

＃１１６は、現在の追尾対象が第２領域の領域外に移動してからある程度の時間が経過したケースに相当する。すなわち、＃１１６のケースでは、追尾対象の位置が基準点から大きく離れた状態が継続しており、追尾対象の設定が適切ではない可能性が高い。そのため、＃１１６での指定部２３は追尾対象を変更することで、ユーザの撮影意図に沿った被写体追尾ＡＦが実現される。

なお、＃１１６のケースにおいて第１領域内に他の被写体が存在しない場合、指定部２３は、以下の（１）〜（４）のいずれかの処理を実行すればよい。

（１）指定部２３は、追尾対象を変更せず、現在の追尾対象をそのまま維持する。

（２）指定部２３は、第１領域の領域外に位置する被写体のうち、画像上で基準点からの距離が最も短い被写体を新たな追尾対象として指定する。

（３）指定部２３は、「追尾対象の被写体なし」と判定する。

（４）指定部２３は、撮像範囲に含まれる被写体のうち、顕著度が最も高い被写体を新たな追尾対象として指定する。例えば、指定部２３は、判定フレームの顕著性マップを生成し、被写体の顕著度を求めればよい。ここで、顕著性マップは、人の知識や経験に寄らない汎用的な注視点を算出する手法である。顕著性マップでは、原画像にガウシアンフィルタを階層的に施し、階層間の差を取ることで周辺領域と性質の異なる領域を「顕著性が高い（注意を引く）領域」として抽出する。一例として、指定部２３は、輝度、色、方位の各特徴から求められるマップを平均し、最終的な顕著性マップを算出してもよい。

ステップ＃１１７：指定部２３は、＃１１６で新たに指定した追尾対象の画像の特徴量を示す特徴情報を第１メモリ１７に記録する。＃１１７の処理は＃１０４と共通するため、重複説明は省略する。

ステップ＃１１８：被写体追尾部２４は、＃１１６で指定した新たな追尾対象の位置に応じて、焦点検出エリアの位置と、表示部１９の被写体追尾マークの位置とをそれぞれ設定する。

その後、カメラマイコン１６は＃１０５に戻って上記動作を繰り返す。＃１１６〜＃１１８から＃１０５へのループにより、維持条件を満たさない追尾対象の代わりに、より基準点に近い被写体を新たな追尾対象として被写体追尾ＡＦが行われる。以上で、図２の説明を終了する。

以下、一の実施形態の被写体追尾モードでの作用効果を説明する。

一の実施形態の電子カメラ１１は、基準点を中心として設定された第１領域内の被写体から追尾対象を指定する（＃１０３）とともに、時系列に取得されるスルー画像から追尾対象の位置を継続的に検出して被写体追尾ＡＦを実行する（＃１０５、＃１１０、＃１１１、＃１１２、＃１１５）。そして、一の実施形態の電子カメラ１１は、追尾対象が第１領域の領域外に移動したときでも、（ａ）所定時間が経過していない場合、または（ｂ）第２領域内に追尾対象が位置する場合、には追尾対象の指定をそのまま維持する（＃１１３、＃１１４）。また、一の実施形態の電子カメラ１１は、現在の追尾対象が上記（ａ）および（ｂ）の維持条件を満たさないときに、新たな追尾対象を指定する（＃１１６）。

例えば、図４〜図７を参照しつつ、それぞれ画面左側から画面右側に移動する被写体Ａ，Ｂをフレーミングする場合を考える。時刻Ｔにおいて、先行する被写体Ａが第１領域内に移動すると、被写体Ａが追尾対象として指定される（図４）。その後、時刻Ｔ＋１、Ｔ＋２と時間が経過するにつれて、被写体Ｂは基準点に接近し、被写体Ａは基準点から遠ざかる。しかし、時刻Ｔ＋１、Ｔ＋２では被写体Ａが第２領域内にあるため、被写体Ｂと基準点との距離が被写体Ａと基準点との距離よりも短くなっても、被写体Ａが追尾対象としてそのまま維持される（図５，図６）。そして、時刻Ｔ＋ｎにおいて、被写体Ａが第２領域の領域外に移動して所定時間が経過した場合には、ユーザが被写体Ａに注目していないと推定できるので、第１領域内の被写体Ｂが新たに追尾対象として指定される（図７）。

また、別例として、ユーザが被写体Ａに注目して撮影をしている途中で一瞬の手ぶれが生じたときを考える。上記の別例において、被写体Ａが第２領域内に位置していれば追尾対象は被写体Ａのままである。また、上記の別例で被写体Ａが第２領域の領域外に移動した場合でも、所定時間内は被写体Ａが追尾対象として維持される。

以上のように、一の実施形態の電子カメラ１１では、追尾対象が指定されると基準点との位置関係に拘わらず、維持条件を満たす場合には追尾対象が維持される。そのため、ユーザが注目する可能性の高い追尾対象を安定して追尾することができる。

また、一の実施形態の電子カメラ１１は、装置の操作履歴（例えばジャイロセンサの出力等）を用いずに、撮像画像の情報だけで適切に追尾対象を設定できる。そのため、多様な電子カメラへ容易に実装することができる。また、一の実施形態の電子カメラ１１は、例えば競馬中継などにおいてパンニングの途中で追尾対象を変更してフォーカスを合わせるというユーザの要望にも対応できる。

＜一の実施形態の変形例１＞
例えば、追尾対象の被写体が他の被写体と交錯する場合などで、追尾対象の被写体が一時的にロストする場合がある。かかる場合には、新たな追尾対象をすぐに指定すると、ユーザの意図しない被写体が追尾される可能性が高くなる。そのため、指定部２３は、第２領域内で追尾対象が検出されず、所定時間内に第２領域内で追尾対象を再検出できたときには、追尾対象の指定を維持することが好ましい。これにより、ユーザの撮影意図により近い被写体追尾を実現できる。

＜一の実施形態の変形例２＞
上記の＃１１３の処理において、指定部２３は、追尾対象が第２領域の領域外に移動した時点から所定時間が経過しているか否かを判定してもよい。かかる場合には、例えば被写体の急な移動や手ぶれなどで、追尾対象が一時的に第２領域の外側に移動した状況においても追尾対象の指定をそのまま維持することができる。

＜一の実施形態の変形例３＞
ズームレンズの焦点距離が大きいほど、手ぶれしたときの撮像範囲内での被写体の移動量（ぶれ幅）は相対的に大きくなる。かかる影響を考慮して、指定部２３は、撮影光学系１２（ズームレンズ）の焦点距離に応じて、第１領域および第２領域のサイズを可変させてもよい。例えば、指定部２３は、撮像時のズームレンズの焦点距離が長いほど、第１領域および第２領域の大きさを大きくする。これにより、ズームレンズの焦点距離の違いによる手ぶれの振る舞いの影響を抑制できる。

また、指定部２３は、撮影光学系１２（ズームレンズ）の焦点距離に応じて、維持条件の所定時間（第１領域または第２領域の領域外に移動してからの経過時間）を可変させてもよい。例えば、指定部２３は、撮像時のズームレンズの焦点距離が長いほど、維持条件の所定時間を長く設定する。これにより、ズームレンズの焦点距離の違いによる手ぶれの振る舞いの影響を抑制できる。

＜他の実施形態の説明＞
図８は、他の実施形態での画像処理装置の構成例を示す図である。他の実施形態での画像処理装置は、撮像装置で撮像された動画像を取り込んで、被写体追尾処理を実行するプログラムがインストールされたコンピュータである。なお、他の実施形態では、動画編集時に追尾対象にあわせて画像のトリミングを行う例を説明する。

図８に示すコンピュータ３１は、データ読込部３２、記憶装置３３、ＣＰＵ３４、メモリ３５および入出力Ｉ／Ｆ３６、バス３７を有している。データ読込部３２、記憶装置３３、ＣＰＵ３４、メモリ３５および入出力Ｉ／Ｆ３６は、バス３７を介して相互に接続されている。さらに、コンピュータ３１には、入出力Ｉ／Ｆ３６を介して、入力デバイス３８（キーボード、ポインティングデバイスなど）とモニタ３９とがそれぞれ接続されている。なお、入出力Ｉ／Ｆ３６は、入力デバイス３８からの各種入力を受け付けるとともに、モニタ３９に対して表示用のデータを出力する。

データ読込部３２は、処理対象の画像のデータや、プログラムを外部から読み込むときに用いられる。データ読込部３２は、例えば、着脱可能な記憶媒体からデータを取得する読込デバイス（光ディスク、磁気ディスク、光磁気ディスクの読込装置など）や、公知の通信規格に準拠して外部の装置と通信を行う通信デバイス（ＵＳＢインターフェース、ＬＡＮモジュール、無線ＬＡＮモジュールなど）である。

記憶装置３３は、例えば、不揮発性の半導体メモリや、ハードディスクなどの記憶媒体である。この記憶装置３３には、上記のプログラムや、プログラムの実行に必要となる各種データが記憶されている。なお、記憶装置３３には、データ読込部３２から読み込んだ画像のデータなどを記憶しておくこともできる。

ＣＰＵ３４は、コンピュータ３１の各部を統括的に制御するプロセッサである。このＣＰＵ３４は、プログラムの実行によって、一の実施形態のカメラマイコン１６、画像処理部２２、指定部２３、被写体追尾部２４として機能する。

メモリ３５は、プログラムでの各種演算結果を一時的に記憶する。このメモリ３５は、例えば揮発性のＳＤＲＡＭである。

次に、図９の流れ図を参照しつつ、他の実施形態の画像処理装置の動作例を説明する。図９の処理は、プログラムの実行指示に応じて開始される。

ステップ＃２０１：ＣＰＵ３４は、撮像装置で撮像された処理対象の動画像を、データ読込部３２から取得する。＃２０１で取得された動画像のデータは、ＣＰＵ３４の制御によって、記憶装置３３またはメモリ３５に記録される。なお、動画像のデータが予め記憶装置３３に記憶されている場合には、ＣＰＵ３４は＃２０１の処理を省略してもよい。

ステップ＃２０２：ＣＰＵ３４は、最初に処理される動画像のフレームに公知の被写体抽出処理を施す。＃２０２の処理は、＃１０２の処理に対応するため重複説明は省略する。

ステップ＃２０３：ＣＰＵ３４は、抽出された被写体（＃２０２）のうち、追尾対象となる被写体を１つ指定する。＃２０３の処理は、＃１０３の処理に対応するため重複説明は省略する。

ステップ＃２０４：ＣＰＵ３４は、＃２０３で指定した追尾対象の画像の特徴量を示す特徴情報をメモリ３５に記録する。＃２０４の処理は、＃１０４の処理に対応するため重複説明は省略する。

ステップ＃２０５：ＣＰＵ３４は、追尾対象の位置を基準として画像をトリミングする。例えば、ＣＰＵ３４は、トリミングする画像の重心が追尾対象の位置と一致するように、画像を矩形に切り出す。

ステップ＃２０６：ＣＰＵ３４は、動画像の編集を終了するか否かを判定する。例えば、ＣＰＵ３４は、動画像の最終フレームまでトリミングが終了したか、あるいは動画像の編集終了指示を受け付けたときに、動画像の編集を終了すると判定する。上記要件を満たす場合（ＹＥＳ側）には、ＣＰＵ３４は図９の流れ図の処理を終了する。一方、上記要件を満たさない場合（ＮＯ側）には＃２０７に処理が移行する。

ステップ＃２０７：ＣＰＵ３４は、処理対象となる次のフレームを読み込むとともに、読み込んだフレームに被写体抽出処理（＃２０２）を施す。

ステップ＃２０８：ＣＰＵ３４は、追尾対象の特徴情報（＃２０４）と、処理対象のフレームの被写体の特徴情報とを対比して被写体のマッチング処理を実行する。上記のマッチング処理により、ＣＰＵ３４は、処理対象のフレームから追尾対象を継続的に検出する。

ステップ＃２０９：ＣＰＵ３４は、処理対象のフレームにおいて追尾対象が第１領域の領域外に移動しているか否かを判定する。

上記要件を満たす場合（ＹＥＳ側）には＃２１０に処理が移行する。一方、上記要件を満たさない場合（ＮＯ側）には＃２１２に処理が移行する。

ステップ＃２１０：ＣＰＵ３４は、維持条件の１つとして、追尾対象が第１領域の領域外に移動した時点から所定時間が経過しているか否かを判定する。

上記要件を満たす場合（ＹＥＳ側）には＃２１１に処理が移行する。一方、上記要件を満たさない場合（ＮＯ側）には＃２１２に処理が移行する。

ステップ＃２１１：ＣＰＵ３４は、維持条件の１つとして、第２領域に追尾対象が位置するか否かを判定する。＃２１１の判定は、＃１１４に対応するため重複説明を省略する。

上記要件を満たす場合（ＹＥＳ側）には＃２１２に処理が移行する。一方、上記要件を満たさない場合（ＮＯ側）には＃２１３に処理が移行する。

ステップ＃２１２：ＣＰＵ３４は、マッチング処理の結果に基づいて、追尾対象は変更せずに、追尾対象の位置を更新する。その後、ＣＰＵ３４は＃２０５に戻って上記動作を繰り返す。＃２０７、＃２０８、＃２０９、＃２１２から＃２０５へのループにより、追尾対象の動きに合わせて画像をトリミングする位置が変化することとなる。

ステップ＃２１３：ＣＰＵ３４は、第１領域に含まれる被写体のうちから新たな追尾対象を１つ指定する。これにより、被写体追尾処理の追尾対象が変更される。＃２１３の処理は、＃１１６の処理に対応するため重複説明は省略する。

ステップ＃２１４：ＣＰＵ３４は、＃２１３で新たに指定した追尾対象の画像の特徴量を示す特徴情報をメモリ３５に記録する。＃２１４の処理は、＃１０４と共通するため、重複説明は省略する。

ステップ＃２１５：ＣＰＵ３４は、＃２１４の指定により、新たな追尾対象の位置を登録する。その後、ＣＰＵ３４は＃２０５に戻って上記動作を繰り返す。＃２１３〜＃２１５から＃２０５へのループにより、維持条件を満たさない追尾対象の代わりに、より基準点に近い被写体を新たな追尾対象として画像のトリミングが行われる。以上で、図９の説明を終了する。

かかる他の実施形態の被写体追尾処理においても、上記の一の実施形態で説明した被写体追尾の処理とほぼ同様の作用効果を得ることができる。

＜実施形態の補足事項＞
（補足１）：上記実施形態では、第１領域および第２領域が矩形である場合を説明した。しかし、本発明において、第１領域および第２領域は、基準点を中心とする円形または楕円形などであってもよい。

（補足２）：上記実施形態では、追尾対象の指定を維持する維持条件として、（ａ）所定時間が経過していない場合、または（ｂ）第２領域内に追尾対象が位置する場合、の２つを併用する場合を説明した。しかし、いずれか一方の維持条件のみを適用するようにしてもよい。また、上記実施形態において、＃１１３の処理と＃１１４の処理、あるいは＃２１０の処理と＃２１１の処理の順序を入れ替えてもよい。この場合、＃１１３あるいは＃２１０の処理においては、追尾対象が第１領域、あるいは第２領域外に移動した時点から所定時間が経過しているか否かを判定することができる。

（補足３）：上記の一の実施形態では、スルー画像を用いて被写体追尾処理を行う例を説明した。しかし、本発明の撮像装置は、動画撮影時において、記録用の動画像のデータを用いて被写体追尾処理を行うものでもよい。

（補足４）：上記の一の実施形態では、被写体追尾ＡＦを行う電子カメラの例を説明した。しかし、本発明の撮像装置は、追尾対象の位置でスポットＡＥ（自動露出）を行うものであってもよい。

（補足５）：一の実施形態では、レンズ一体型の電子カメラの構成例を説明したが、本発明はレンズ交換式の電子カメラにも適用することができる。また、本発明の撮像装置は、スマートフォンなどの携帯型電子機器に実装されるカメラモジュールであってもよい。

（補足６）上記の他の実施形態では、画像処理装置がパーソナルコンピュータである場合を説明した。しかし、本発明の画像処理装置は、例えば、フォトビューアーなどの電子機器であってもよい。

以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。

１１…電子カメラ、１２…撮影光学系、１３…光学系駆動部、１４…撮像部、１５…焦点調節部、１６…カメラマイコン、１７…第１メモリ、１８…第２メモリ、１９…表示部、２０…メディアＩ／Ｆ、２１…操作部、２２…画像処理部、２３…指定部、２４…被写体追尾部、２５…記憶媒体、３１…コンピュータ、３２…データ読込部、３３…記憶装置、３４…ＣＰＵ、３５…メモリ、３６…入出力Ｉ／Ｆ、３７…バス、３８…入力デバイス、３９…モニタ

Claims (1)

1. 時間軸方向に連続する複数の撮像画像を取得する取得部と、
   前記撮像画像上の基準点を中心として設定された第１領域に含まれる被写体のうちから、追尾対象を指定する指定部と
   前記追尾対象を前記複数の撮像画像から継続的に検出する被写体追尾部と、を備え、
   前記指定部は、前記追尾対象が前記第１領域の領域外に移動したときに、所定の維持条件を満たすときは前記追尾対象の指定を維持し、前記維持条件を満たさないときには前記第１領域に含まれる被写体のうちから新たな追尾対象を指定する画像処理装置。

Images