JP2022099120A - 被写体追尾装置およびその制御方法 - Google Patents

Abstract

【課題】 被写体が複数の動きで構成されている場合でも、リアルタイムに高精度な被写体追尾を行うことを可能とする。【解決手段】 画像間の動きベクトルを算出する動きベクトル算出手段と、画像から特徴量領域を決定する特徴量領域決定手段と、前記動きベクトル及び前記特徴量領域を基に、前記動きベクトルが算出された領域ごとの重みの分布である重みマップを作成する重みマップ作成手段と、前記重みマップを基に、被写体の追尾を行う被写体追尾手段と、を備えることを特徴とする被写体追尾装置。【選択図】 図２

Description

本発明は撮像された画像内の被写体を検出および追尾する機能を有する被写体追尾装置およびその制御方法に関する。

デジタルカメラにおいて、得られた画像データから画像の特定の領域の特徴量についてテンプレートを作成し、テンプレートマッチングを行うことで被写体を追尾し、その被写体に対してピント、明るさ、色を好適な状態に合わせて撮影する手法が知られている。

特許文献１では、追尾に利用する特徴量を持った領域をテンプレートとし、追尾対象とする領域に変化があった場合でも、テンプレートに重みを付けることで、精度よく追尾を行うことができる。

特開２０１２－６９０８４号公報

しかし、この手法は変化が多く発生する部分を事前に把握しておく必要があり、例えば、走っている人のような複数の動きから構成され、変化部分を事前に把握できない被写体を精度よく追尾するのは困難という問題がある。

上記課題に鑑み、本発明は、複数の動きから構成される被写体の追尾であっても高精度で行うことができる被写体追尾装置およびその制御方法を提供することを目的とする。

上記課題を解決するために、本発明の被写体追尾装置は、画像間の動きベクトルを算出する動きベクトル算出手段と、画像から特徴量領域を決定する特徴量領域決定手段と、前記動きベクトル及び前記特徴量領域を基に、前記動きベクトルが算出された領域ごとの重みの分布である重みマップを作成する重みマップ作成手段と、前記重みマップを基に、被写体の追尾を行う被写体追尾手段と、を備えることを特徴とする。

また、本発明の被写体追尾装置の制御方法は、画像間から動きベクトルを算出する動きベクトル算出ステップと、画像から特徴量領域を決定する特徴量領域決定ステップと、前記動きベクトル及び前記特徴量領域を基に、前記動きベクトルが算出された領域ごとの重みの分布である重みマップを作成する重みマップ作成ステップと、前記重みマップを基に、被写体の追尾を行う被写体追尾ステップと、を有することを特徴とする。

本発明によれば、被写体が複数の動きから構成されている場合でも高精度な被写体追尾を行うことが可能となる。

第１の実施形態の撮像装置の構成を示すブロック図 第１の実施形態の被写体追尾部の構成を示すブロック図 第１の実施形態の全体の処理のフローチャート 第１の実施形態の被写体追尾のフローチャート 第１の実施形態の重みマップ作成に関する図 第１の実施形態におけるテンプレートマッチングに関する図

以下、添付画像を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴のすべてが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付画像においては、同一もしくは同様に構成に同一の参照番号を付し、重複した説明は省略する。

［第１の実施形態］
（撮像装置の構成）
図１は、本実施形態における被写体追尾装置の一例である撮像装置１００の機能構成例を示すブロック図である。撮像装置１００は動画および静止画の撮影ならびに記録が可能である。撮像装置１００内の各機能ブロックは、バス１６０を介して互いに通信可能に接続されている。撮像装置１００の動作は、ＣＰＵ１５１（中央演算処理装置）がプログラムを実行して各機能ブロックを制御することにより実現される。

本実施形態の撮像装置１００は、撮像された画像から特定の被写体を検出し、検出した被写体を継続して複数の画像で追尾する被写体追尾部１６１を有する。被写体追尾部１６１では、撮像対象の被写体の位置やサイズを検出する被写体検出機能、検出された領域と類似した領域の探索を継続的に実行することにより追尾する被写体追尾機能、画像間の動きベクトルを求める動きベクトル検出機能を備える。被写体追尾部１６１の構成及び動作の詳細については後述する。

撮影レンズ１０１（レンズユニット）は、固定１群レンズ１０２、ズームレンズ１１１、絞り１０３、固定３群レンズ１２１、フォーカスレンズ１３１、ズームモータ１１２、絞りモータ１０４、およびフォーカスモータ１３２を有する。固定１群レンズ１０２、ズームレンズ１１１、絞り１０３、固定３群レンズ１２１、フォーカスレンズ１３１は撮像光学系を構成する。なお、便宜上レンズ１０２、１１１、１２１、１３１を１枚のレンズとして図示しているが、それぞれ複数のレンズで構成されてもよい。また、撮影レンズ１０１は撮像装置１００に着脱可能な交換レンズとして構成されてもよい。

絞り制御部１０５は絞り１０３を駆動する絞りモータ１０４の動作を制御し、絞り１０３の開口径を変更する。ズーム制御部１１３は、ズームレンズ１１１を駆動するズームモータ１１２の動作を制御し、撮影レンズ１０１の焦点距離（画角）を変更する。

フォーカス制御部１３３は、撮像素子１４１から得られる１対の焦点検出用信号（Ａ像およびＢ像）の位相差に基づいて撮影レンズ１０１のデフォーカス量およびデフォーカス方向を算出する。そしてフォーカス制御部１３３は、デフォーカス量およびデフォーカス方向をフォーカスモータ１３２の駆動量および駆動方向に変換する。この駆動量および駆動方向に基づいてフォーカス制御部１３３はフォーカスモータ１３２の動作を制御し、フォーカスレンズ１３１を駆動することにより、撮影レンズ１０１の焦点状態を制御する。このように、フォーカス制御部１３３は位相差検出方式の自動焦点検出（ＡＦ）を実施する。なお、フォーカス制御部１３３は撮像素子１４１から得られる画像信号から得られるコントラスト評価値に基づくコントラスト検出方式のＡＦを実行してもよい。

撮影レンズ１０１によって撮像素子１４１の結像面に形成される被写体像は、撮像素子１４１に配置された複数の画素のそれぞれが有する光電変換素子により電気信号（画像信号）に変換される。本実施形態では、撮像素子１４１に、水平方向にｍ、垂直方向にｎ（ｎ，ｍは複数）の画素が行列状に配置されており、各画素には２つの光電変換素子（光電変換領域）が設けられている。撮像素子１４１からの信号読み出しは、ＣＰＵ１５１からの指示に従って撮像制御部１４３が制御する。

撮像素子１４１から読み出された画像信号は撮像信号処理部１４２に供給される。撮像信号処理部１４２は、ノイズ低減処理、Ａ／Ｄ変換処理、自動利得制御処理などの信号処理を画像信号に適用し、撮像制御部１４３に出力する。撮像制御部１４３は撮像信号処理部１４２から受信した画像信号をＲＡＭ（ランダム・アクセス・メモリ）１５４に蓄積する。

変化取得部１６２は、例えばジャイロや加速度センサ、電子コンパス等の位置姿勢センサにより構成され、撮像装置の撮影シーンに対する位置姿勢変化を計測する。取得した位置姿勢変化はＲＡＭ１５４に保存され、被写体追尾部１６１から参照される。

画像処理部１５２は、ＲＡＭ１５４に蓄積された画像データに対して予め定められた画像処理を適用する。画像処理部１５２が適用する画像処理には、ホワイトバランス調整処理、色補間（デモザイク）処理、ガンマ補正処理といった所謂現像処理のほか、信号形式変換処理、スケーリング処理などがあるが、これらに限定されない。また、自動露出制御（ＡＥ）に用いるための、被写体輝度に関する情報なども画像処理部１５２で生成することができる。特定の被写体領域に関する情報は、被写体追尾部１６１より供給され、例えばホワイトバランス調整処理に利用してもよい。なお、コントラスト検出方式のＡＦを行う場合、ＡＦ評価値を画像処理部１５２が生成してもよい。画像処理部１５２は、処理した画像データをＲＡＭ１５４に保存する。

ＲＡＭ１５４に保存された画像データを記録する場合、ＣＰＵ１５１は画像処理データに例えば所定のヘッダを追加するなどして、記録形式に応じたデータファイルを生成する。この際、ＣＰＵ１５１は必要に応じて圧縮解凍部１５３で画像データを符号化して情報量を圧縮する。ＣＰＵ１５１は、生成したデータファイルを例えばメモリカードのような記録媒体１５７に記録する。

また、ＲＡＭ１５４に保存された画像データを表示する場合、ＣＰＵ１５１は表示部１５０での表示サイズに適合するように画像データを画像処理部１５２でスケーリングした後、ＲＡＭ１５４のうちビデオメモリとして用いる領域（ＶＲＡＭ領域）に書き込む。表示部１５０は、ＲＡＭ１５４のＶＲＡＭ領域から表示用の画像データを読み出し、例えばＬＣＤや有機ＥＬディスプレイなどの表示装置に表示する。

本実施形態の撮像装置１００は、動画撮影時（撮影スタンバイ状態や動画記録中）に、撮影された動画を表示部１５０に即時表示することにより、表示部１５０を電子ビューファインダー（ＥＶＦ）として機能させる。表示部１５０をＥＶＦとして機能させる際に表示する動画像およびそのフレーム画像を、ライブビュー画像もしくはスルー画像と呼ぶ。また、撮像装置１００は、静止画撮影を行った場合、撮影結果をユーザが確認できるように、直前に撮影した静止画を一定時間表示部１５０に表示する。これらの表示動作についても、ＣＰＵ１５１の制御によって実現される。

操作部１５６は、ユーザが撮像装置１００に指示を入力するためのスイッチ、ボタン、キー、タッチパネルなどである。操作部１５６を通じた入力はバス１６０を通じてＣＰＵ１５１が検知し、ＣＰＵ１５１は入力に応じた動作を実現するために各部を制御する。

ＣＰＵ１５１は例えばＣＰＵやＭＰＵなどのプログラマブルプロセッサを１つ以上有し、例えば記憶部１５５に記憶されたプログラムをＲＡＭ１５４に読み込んで実行することにより各部を制御し、撮像装置１００の機能を実現する。ＣＰＵ１５１はまた、被写体輝度の情報に基づいて露出条件（シャッタースピードもしくは蓄積時間、絞り値、感度）を自動的に決定するＡＥ処理を実行する。被写体輝度の情報は例えば画像処理部１５２から取得することができる。ＣＰＵ１５１は、例えば人物の顔など、特定被写体の領域を基準として露出条件を決定することもできる。

ＣＰＵ１５１は、動画撮影時には絞りは固定とし、電子シャッタスピード（蓄積時間）とゲインの大きさで露出を制御する。ＣＰＵ１５１は決定した蓄積時感とゲインの大きさを撮像制御部１４３に通知する。撮像制御部１４３は通知された露出条件に従った撮影が行われるように撮像素子１４１の動作を制御する。

被写体追尾部１６１の結果は、例えば焦点検出領域の自動設定に用いることができる。この結果、特定の被写体領域に対する追尾ＡＦ機能を実現できる。また、焦点検出領域の輝度情報に基づいてＡＥ処理を行ったり、焦点検出領域の画素値に基づいて画像処理（例えばガンマ補正処理やホワイトバランス調整処理など）を行ったりすることもできる。ほかにも、被写体追尾部１６１にて算出された画像間の動きベクトルを利用して、像ブレの補正を行うこともできる。具体的には、被写体追尾部１６１にて算出された画像間の動きベクトルを画像処理部１５２が参照し、撮像装置のブレによる成分を算出する。そのブレを補正するように撮影レンズ１０１中のレンズを駆動することで像ブレの補正を行うことが可能である。また、不図示ではあるが、撮像素子１４１に駆動素子を設け、撮像装置のブレを補正するように撮像素子１４１の位置を制御することも可能である。

なお、ＣＰＵ１５１は、現在の被写体領域の位置を表す指標（例えば領域を囲む矩形枠）を表示画像に重畳表示させてもよい。

バッテリ１５９は、電源管理部１５８により管理され、撮像装置１００の全体に電源を供給する。記憶部１５５は、ＣＰＵ１５１が実行するプログラム、プログラムの実行に必要な設定値、ＧＵＩデータ、ユーザ設定値などを記憶する。例えば操作部１５６の操作により電源ＯＦＦ状態から電源ＯＮ状態への移行が指示されると、記憶部１５５に格納されたプログラムがＲＡＭ１５４の一部に読み込まれ、ＣＰＵ１５１がプログラムを実行する。

（被写体追尾部の構成）
図２は、被写体追尾部１６１の機能構成例を示すブロック図である。

被写体検出部２０１は、画像処理部１５２から時系列に画像信号が順次供給され、各画像に含まれる撮像対象の特定の被写体を検出し、検出した被写体が含まれる被写体領域を特定する。被写体検出部２０１は、被写体検出結果として、画像内における被写体領域の位置情報、検出精度の信頼性などの情報を出力する。

特徴量登録部２０２は、被写体検出部２０１によって検出された被写体領域の画像データを特徴量領域として登録する。

動きベクトル算出部２０３は、逐次供給される画像から、画像間の動きベクトルを算出する。

被写体動きベクトル算出部２０４は、特徴量登録部２０２によって登録された特徴量領域の全体の動きベクトルを算出する。

被写体の局所領域の動きベクトル算出部２０５は、特徴量登録部２０２によって登録された特徴量領域の局所領域の動きベクトルを算出する。

信頼度算出部２０６は、動きベクトル算出部２０３によって算出された動きベクトルの信頼度を算出する。

重みマップ作成部２０７は、被写体の局所領域の動きベクトル算出部２０５によって算出された特徴量領域の局所領域の動きベクトルと、信頼度算出部２０６によって算出された信頼度を使用し、登録された特徴量領域の重みマップの作成を行う。

追尾部２０８では、重みマップ作成部２０７に作成された重みマップを使用し、逐次供給される画像から特徴量登録部２０２によって登録された特徴量領域との類似度の高い領域を被写体領域として探索する。探索結果は、画像内における被写体領域、信頼性、被写体の動きベクトルなどの情報を備え、ＣＰＵ１５１など各種処理ブロックで利用される。

（撮像装置の処理の流れ）
図３のフローチャートを参照して、本実施形態の撮像装置１００による、被写体検出、被写体追尾、画像間の動きベクトルを検出する動きベクトル検出処理を伴う動画撮影動作に関して説明する。本フローチャートの各フローは、ＣＰＵ１５１あるいはＣＰＵ１５１の指示により各部が実行する。動画撮影動作は、撮影スタンバイ時や動画記録時に実行される。なお、撮影スタンバイ時と動画記録時とでは取り扱う画像（フレーム）の解像度など、細部において異なる。一方で、被写体検出、被写体追尾、被写体及び背景の動きベクトルを検出する動きベクトル検出処理に係る処理の内容は基本的に同様であるため、以下では特に区別せずに説明する。

Ｓ３０１でＣＰＵ１５１は撮像装置１００の電源がＯＮかどうか判定し、ＯＮと判定されなければ処理を終了し、ＯＮと判定されれば処理をＳ３０２に進める。

Ｓ３０２でＣＰＵ１５１は各部を制御し、１フレーム分の撮像処理を実行して処理をＳ３０３に進める。ここでは１対の視差画像と、１画面分の撮像画像が生成され、ＲＡＭ１５４に格納される。

Ｓ３０３でＣＰＵ１５１は、被写体追尾部１６１に被写体検出、被写体追尾、画像間の動きベクトルを検出する動きベクトル検出処理を実行させる。処理の詳細については後述する。被写体追尾部１６１から被写体領域の位置、大きさ、動きベクトルがＣＰＵ１５１に通知され、ＲＡＭ１５４に格納される。ＣＰＵ１５１は通知された被写体領域に基づいて焦点検出領域を設定する。

Ｓ３０４でＣＰＵ１５１は、フォーカス制御部１３３に焦点検出処理を実行させる。フォーカス制御部１３３は、１対の視差画像のうち焦点検出領域に含まれる複数の画素のうち、同一行に配置された複数の画素から得られる複数のＡ信号をつなぎ合わせてＡ像（信号）を、複数のＢ信号をつなぎ合わせてＢ像（信号）を生成する。そして、フォーカス制御部１３３は、Ａ像とＢ像との相対的な位置をずらしながらＡ像とＢ像の相関量を演算し、Ａ像とＢ像との類似度が最も高くなる相対位置をＡ像とＢ像との位相差（ずれ量）として求める。さらに、フォーカス制御部１３３は位相差をデフォーカス量およびデフォーカス方向に変換する。

Ｓ３０５でフォーカス制御部１３３はＳ３０４で求めたデフォーカス量およびデフォーカス方向に対応するレンズ駆動量および駆動方向に従ってフォーカスモータ１３２を駆動し、フォーカスレンズ１３１を移動させる。レンズ駆動処理が終了すると、処理をＳ３０１に戻す。

以後、Ｓ３０１で電源スイッチがＯＮであると判定されなくなるまで、Ｓ３０２～Ｓ３０５の処理を繰り返し実行する。これにより、時系列的な複数の画像に対して被写体領域の探索が行われ、被写体追尾機能が実現される。なお、図３では被写体追尾処理を毎フレーム実行するものとしているが、処理負荷や消費電力の軽減を目的として数フレームごとに行うようにしてもよい。

（被写体追尾処理の流れ）
図４のフローチャートを参照して被写体追尾部１６１の処理の流れについて説明する。本フローチャートの各フローは、ＣＰＵ１５１あるいはＣＰＵ１５１の指示により各部が実行する。

まずＳ４０１において、撮像制御部１４３から被写体追尾部１６１へ入力画像が供給される。

Ｓ４０２において、被写体検出部２０１は、撮像制御部１４３から入力された画像に対して、中心位置とサイズが異なる複数の評価領域を設定し各々の評価領域から被写体を検出する。被写体検出の手法は任意の公知の手法を用いてよい。例えば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｎａｌ Ｎｅｕｔｒａｌ Ｎｅｔｗｏｒｋｓ）による特定被写体の特徴抽出処理を用いて自動で検出しても良いし、操作部１５６からのタッチ操作の信号を入力とし、ユーザが指定しても良い。

Ｓ４０３において、特徴量登録部２０２は、被写体検出部２０１によって検出された被写体領域もしくは、後述する追尾部２０６によって検出され、ＲＡＭ１５４に格納されている、前フレームの被写体領域を特徴量領域として登録する。本実施形態では特徴量領域の登録方法は、１フレーム目は被写体検出部２０１の結果を採用し、以降のフレームでは前フレームの追尾部２０６の結果を採用する。

Ｓ４０４において、動きベクトル算出部２０３は、Ｓ４０１によって逐次供給される画像から、現フレームと１フレーム前の画像を使用し、各画素の動きベクトル（第１の動きベクトル）を算出する。第１の動きベクトル算出方法は、任意の公知の手法を用いて良く、本実施例では、ＬｕｃａｓＫａｎａｄｅ法を用いる。時刻ｔのフレームにおける、座標（ｘ，ｙ）の輝度Ｙ（ｘ，ｙ，ｔ）とし、Δｔ後のフレームにおける、移動後の画素の輝度をＹ（ｘ＋Δｘ，ｙ＋Δｙ，ｔ＋Δｔ）とし、数式１を解くことで、ΔｘとΔｙを各画素の動きベクトルとして算出する。
［数式１］
Ｙ（ｘ，ｙ，ｔ）＝Ｙ（ｘ＋Δｘ，ｙ＋Δｙ，ｔ＋Δｔ）

なお、ここで算出される第１の動きベクトルは、連続した撮像画像の単位時間当たりの移動量、すなわち撮像装置の移動量を示すものである。この第１の動きベクトルの値を画像処理部１５２が参照し、レンズの駆動を行うことで、像ブレの補正の制御を行うことが可能である。

Ｓ４０５において、被写体全体の動きベクトル（第２の動きベクトル）を算出する被写体動きベクトル算出部２０４は、Ｓ４０４において算出された第１の動きベクトルと、Ｓ４０３において登録された特徴量領域から、被写体の動きベクトルを１本算出する。第２の動きベクトル算出方法は、Ｓ４０４において算出した複数ベクトルを、特徴量領域内において、ヒストグラム処理をし、最大個数のビンを被写体の動きベクトルとして１本算出する。

Ｓ４０６において、被写体の局所領域の動きベクトル（第３のベクトル）を算出する被写体の局所領域の動きベクトル算出部２０５は、Ｓ４０４によって算出された第１の動きベクトルと、Ｓ４０５において算出された第２の動きベクトルから、Ｓ４０３において登録された特徴量領域の局所領域の動きベクトルを第３の動きベクトルとして算出する。第３の動きベクトル算出方法は、Ｓ４０４によって算出された第１の動きベクトルと、Ｓ４０５において算出された第２の動きベクトルの差分値を第３の動きベクトルとして算出する。

Ｓ４０７において、信頼度算出部２０６は、Ｓ４０４において算出された第１の動きベクトルにおいて信頼度を算出する。Ｌｕｃａｓ Ｋａｎａｄｅ法では、数式１を解くことで第１の動きベクトルと同時に信頼度を取得することができるため、これを使用しても良い。他にもエッジ抽出処理を行い、低コントラスト領域を判定し、低コントラスト領域の信頼度を低くする手法や、オクルージョン判定を行い、オクルージョン領域の信頼度を低くする手法としても良く、その手法は問わない。

Ｓ４０８において、重みマップ作成部２０７は、Ｓ４０６によって算出された第３の動きベクトルと、Ｓ４０７において算出した信頼度に基づき、Ｓ４０３において登録された特徴量領域の重みマップの作成を行う。図５に動きベクトルを使用した重みマップ作成の概要図を示す。図５（ａ）が１フレーム前画像、図５（ｂ）を現フレームとしたとき、Ｓ４０４によって図５（ｃ）のような動きベクトルが算出される。

図５（ｄ）はＳ４０７によって算出された信頼度マップである。５０１の黒い領域は、各画素が１フレーム前の画像の位置から現フレームの画像のどの位置に移動したかについて判定した際に、各画素の移動結果の信頼度が高いと評価された領域を示している。一方、５０２の白い領域は各画素が１フレーム前の画像の位置から現フレームの画像のどの位置に移動したかについて判定した際に、各画素の移動結果の信頼度が低いと評価された領域を示している。

図５（ｅ）がＳ４０３によって登録された特徴量領域であるとき、図５（ｆ）は信頼度と、第１の動きベクトルと、第２の動きベクトルから作成された重みマップとなる。このとき使用する動きベクトルの大きさは、Ｓ４０６において、Ｓ４０４において算出された第１の動きベクトルから、Ｓ４０５において算出された第２の動きベクトルを打ち消した第３の動きベクトルを使用する。５０３の黒い領域は、信頼度が高く、かつ第３の動きベクトルが少ない領域であり、重みを１とする。５０４の斜線の領域は、信頼度が高く、第３の動きベクトルが大きい領域であり、重みを０．５とする。５０５の白い領域は、第３の動きベクトルに関わらず信頼度が低い領域であり、重みを０とする。本実施例では、第３の動きベクトルの大きさを大小の２値で表したが、多値で表現し、第３の動きベクトルが大きくなるにつれ、重みを０に近づけ、第３の動きベクトルが小さくなるにつれ重みを１に近づけても良い。同様に本実施例では、信頼度を高低の２値で表現したが、多値で表現し、信頼度が上がるにつれ、重みを１に近づけ、信頼度が下がるにつれ重みを０に近づけても良い。すなわち、重みマップは動きベクトルが算出された領域ごとの重みの分布を示したマップとなっている。

Ｓ４０９において、追尾部２０８では、逐次供給される画像から、Ｓ４０３によって登録された特徴量領域と、Ｓ４０８において作成した重みマップを使用して被写体の追尾を行う。被写体追尾の詳細な処理については後述する。

（被写体追尾処理の詳細）
図６を参照して、図４のＳ４０８における追尾処理について説明する。

ステップＳ４０３において登録した特徴量領域を用いて被写体領域を探索する。探索結果が追尾部２０８の出力情報となる。本実施例では、特徴量領域をテンプレートとした、テンプレートマッチングによる探索方法を適用するものとし、図６を用いて説明する。テンプレートマッチングは、画素パターンをテンプレートとして設定し、テンプレートとの類似度が最も高い領域を画像内で探索する技術である。テンプレートと画像領域との類似度として、対応画素間の差分絶対値和のような相関量を用いることができる。

図６（ａ）は、テンプレート６０１とその構成例６０２を模式的に示す。テンプレートマッチングを行う場合、テンプレートとして用いる画素パターンが特徴量領域６０４として予め設定されている。ここでは、テンプレート６０１が水平画素数Ｗ、垂直画素数Ｈの大きさであり、テンプレート６０１に含まれる画素の輝度値を用いて、追尾部６０５においてパターンマッチングを行う。

パターンマッチングに用いるテンプレート６０１の特徴量Ｔ（ｉ，ｊ）は、テンプレート６０１内の座標を図６（ａ）に示すような座標系で表すと、以下の数式２で表現できる。
［数式２］
Ｔ（ｉ，ｊ）＝｛Ｔ（０，０），Ｔ（１，０），・・・，Ｔ（Ｗ－１，Ｈ－１）｝

図６（ｂ）は、被写体領域の探索領域６０３とその構成６０５の例を示す。探索領域６０３は画像内でパターンマッチングを行う範囲であり、画像の全体もしくは一部であってよい。探索領域６０３内の座標は（ｘ，ｙ）で表すものとする。領域６０４はテンプレート６０１と同じ大きさ（水平画素数Ｗ、垂直画素数Ｈ）を有し、テンプレート６０１との類似度を算出する対象である。追尾部２０８は領域６０４に含まれる画素の輝度値と、テンプレート６０１に含まれる輝度値との類似度を算出する。

従って、パターンマッチングに用いる領域６０４の特徴量Ｓ（ｉ，ｊ）は、テンプレート６０１内の座標を図６（ｂ）に示すような座標系で表すと、以下の数式３で表現できる。
［数式３］
Ｓ（ｉ，ｊ）＝｛Ｓ（０，０），Ｓ（１，０），・・・，Ｓ（Ｗ－１，Ｈ－１）｝

図６（ｃ）は、重みマップ６０６とその構成例６０７を模式的に示す。ここでは、領域６０７はテンプレート６０１と同じ大きさ（水平画素数Ｗ、垂直画素数Ｈ）を有し、テンプレート６０１と探索領域６０３との類似度に対して重みをかける対象である。
従って、パターンマッチングに用いる重みマップ６０６の重みＡ（ｉ，ｊ）は、テンプレート６０１内の座標を図６（ｃ）に示すような座標系で表すと、以下の数式４で表現できる。
［数式４］
Ａ（ｉ，ｊ）＝｛Ａ（０，０），Ａ（１，０），・・・，Ａ（Ｗ－１，Ｈ－１）｝

テンプレート６０１と領域６０４との類似性を、重みマップ６０６によって重みをかけた評価値をＶ（ｘ，ｙ）として、以下の数式５に示す差分絶対和（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）値を算出する。

ここで、Ｖ（ｘ，ｙ）は、領域６０４の左上頂点の座標（ｘ，ｙ）における評価値を表す。追尾部２０８は、領域６０４を探索領域６０３の左上から右方向に１画素ずつ、またｘ＝（Ｘ－１）（Ｗ－１）に達すると次にＸ＝０として下方向に１画素ずつ、それぞれずらしながら、各位置で評価値Ｖ（ｘ，ｙ）を算出する。算出された評価値Ｖ（ｘ，ｙ）が最小値を示す座標（ｘ，ｙ）がテンプレート６０１と最も類似した画素パターンを有する領域６０４の位置を示す。評価値Ｖ（ｘ，ｙ）が最小値を示す領域６０４を、探索領域内に存在する被写体領域として検出する。なお、探索結果の信頼性が低い場合（例えば評価値Ｖ（ｘ，ｙ）の最小値が閾値を超える場合）には、被写体領域が見つからなかったと判定してもよい。

ここではパターンマッチングに輝度値の特徴量を用いる例を示したが、複数の値（例えば明度、色相、彩度）を有する特徴量を用いてもよい。また、類似度の評価値としてＳＡＤを用いる例を示したが、他の評価値、例えば正規化相互相関（ＮＣＣ：Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ－Ｃｏｒｒｅｌａｔｉｏｎ）やＺＮＣＣなどを用いてもよい。

（効果）
以上説明したように本実施形態によれば、特徴量領域を動きベクトルに基づき重みをかけることで、被写体が複数の動きを持つような場合でも、被写体追尾の性能を向上させることができる。

（他の実施形態）
また本発明は、上述の実施形態の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処置でも実現できる。

１００ 撮像装置
１０１ レンズユニット
１０２ 固定１群レンズ
１０３ 絞り
１０４ 絞りモータ
１０５ 絞り制御部
１１１ ズームレンズ
１１２ ズームモータ
１１３ ズーム制御部
１２１ 固定３群レンズ
１３１ フォーカスレンズ
１３２ フォーカスモータ
１３３ フォーカス制御部
１４１ 撮像素子
１４２ 撮像信号処理部
１４３ 撮像制御部
１５０ モニタディスプレイ
１５１ ＣＰＵ
１５２ 画像処理部
１５３ 圧縮解凍部
１５４ ＲＡＭ
１５５ フラッシュメモリ
１５６ 操作スイッチ
１５７ 画像記録媒体
１５８ 電源管理部
１５９ バッテリ
１６０ バス
１６１ 被写体追尾部
１６２ 変化取得部

Claims (12)

1. 画像間の動きベクトルを算出する動きベクトル算出手段と、
   画像から特徴量領域を決定する特徴量領域決定手段と、
   前記動きベクトル及び前記特徴量領域を基に、前記動きベクトルが算出された領域ごとの重みの分布である重みマップを作成する重みマップ作成手段と、
   前記重みマップを基に、被写体の追尾を行う被写体追尾手段と、
   を備えることを特徴とする被写体追尾装置。
2. 前記重みマップ作成手段は、
   前記画像間の動きベクトルと、前記特徴量領域の動きベクトルの差分を基に、
   前記特徴量領域の動きベクトルにおける局所領域の動きベクトルを算出し、
   前記局所領域の動きベクトルを用いて重みマップを作成することを特徴とする、
   請求項１に記載の被写体追尾装置。
3. 前記特徴量領域の動きベクトルは、前記画像間の動きベクトルを前記特徴量領域内においてヒストグラム処理し、最大個数のビンとして算出されたものであることを特徴とする、請求項１か２に記載の被写体追尾装置。
4. 前記画像間の動きベクトルおよび、前記特徴量領域の動きベクトルの信頼度を評価する動きベクトル信頼度評価手段を有し、
   前記重みマップ作成手段は、前記信頼度と前記局所領域の動きベクトルを基に、前記重みマップを作成することを特徴とする、請求項１乃至３のいずれか１項に記載の被写体追尾装置。
5. 前記重みマップ作成手段は、
   前記局所領域の動きベクトルが大きい領域の重みを低くすることを特徴とする、請求項１乃至４のいずれか１項に記載の被写体追尾装置。
6. 前記重みマップ作成手段は、
   前記信頼度が低い領域の重みを低くすることを特徴とする、請求項１乃至５のいずれか１項に記載の被写体追尾装置。
7. 撮像光学系を介して結像した被写体像の撮像画像を得る撮像手段と、
   請求項１乃至６のいずれか１項に記載の被写体追尾装置と、
   を有することを特徴とする撮像装置。
8. 画像間の動きベクトルを画像処理部が参照し、
   前記撮像光学系に備えられたレンズを移動することで像ブレの補正を行うことを特徴とする請求項７に記載の撮像装置。
9. 前記画像間の動きベクトルを画像処理部が参照し、
   前記撮像装置に備えられた撮像素子の位置を制御することで像ブレの補正を行うことを特徴とする請求項７か８に記載の撮像装置。
10. 画像間から動きベクトルを算出する動きベクトル算出ステップと、
    画像から特徴量領域を決定する特徴量領域決定ステップと、
    前記動きベクトル及び前記特徴量領域を基に、前記動きベクトルが算出された領域ごとの重みの分布である重みマップを作成する重みマップ作成ステップと、
    前記重みマップを基に、被写体の追尾を行う被写体追尾ステップと、
    を有することを特徴とする被写体追尾装置の制御方法。
11. コンピュータを、請求項１乃至６のいずれか１項に記載の被写体追尾装置の各手段として機能させるためのプログラム。
12. コンピュータを、請求項１乃至６のいずれか１項に記載の被写体追尾装置の各手段として機能させるためのプログラムを格納したコンピュータが読取り可能な記憶媒体。

Images