JP2021190922A - 撮像装置及びその制御方法、並びにプログラム - Google Patents

Abstract

【課題】 被写体の局所領域の動きに応じて、特徴量抽出領域の変形を行うことで、被写体の形が画像間で変化している場合でも、高精度な被写体追尾を行う。【解決手段】 撮像部により得た撮像画像から被写体を追尾する撮像装置であって、撮像部により連続して撮像される撮像画像間で、画素単位の動きベクトルを算出する動きベクトル算出部と、前撮像画像から特定領域を決定する決定部と、動きベクトルを基に、特定領域を変形する変形部と、変形した特定領域と、現撮像画像との間の類似度を評価する評価部と、該評価部による評価の結果に基づき、現撮像画像における追尾対象の被写体を決定し、追尾する追尾部とを備える。【選択図】 図１

Description

本発明はビデオカメラ、デジタルスチルカメラに代表される撮像装置及びその制御方法、並びにプログラムに関するものである。

デジタルカメラにおいて、得られた画像データから画像の特定領域の特徴量をもとに、被写体を追尾し、その被写体に対してピント、明るさ、色を好適な状態に合わせて撮影することが一般的になっている。特許文献１は、特徴量の抽出領域の大きさを、追尾している被写体サイズの変化に合わせて変化させることで、追尾性能を向上させる技術を開示している。

特開2010-050527号公報

しかし、特許文献１の手法では、被写体が走っている人のような画像間で形が変化している場合には、特徴量領域と評価対象の領域で差分が発生してしまい、追尾性能が低下してしまう。

この課題を解決するため、例えば本発明の撮像装置は以下の構成を備える。すなわち、
撮像手段により得た撮像画像から被写体を追尾する撮像装置であって、
前記撮像手段により連続して撮像される撮像画像間で、画素単位の動きベクトルを算出する動きベクトル算出手段と、
前撮像画像から特定領域を決定する決定手段と、
前記動きベクトルを基に、前記特定領域を変形する変形手段と、
前記変形した特定領域と、現撮像画像との間の類似度を評価する評価手段と、
該評価手段による評価の結果に基づき、前記現撮像画像における追尾対象の被写体を決定し、追尾する追尾手段とを備える。

本発明によれば、被写体の局所領域の動きに応じて、特徴量抽出領域の変形を行うことで、被写体の形が画像間で変化している場合でも、高精度な被写体追尾を行うことが可能となる。

本実施形態の撮像装置のブロック構成図。 本実施形態の被写体追尾部の構成を示す図。 本実施形態の全体の処理のフローチャート。 本実施形態の被写体追尾のフローチャート。 本実施形態の追尾特徴量更新処理のフローチャート。 本実施形態の追尾特徴量領域の変形を説明するための図。 本実施形態の矩形領域の設定を説明するための図。 本実施形態の追尾特徴量更新の具体例を説明するための図。 本実施形態におけるテンプレートマッチングに係る処理を説明するための図。 第２の実施形態の追尾特徴量更新処理のフローチャート。 第２の実施形態の追尾特徴量領域の変形を説明するための図。 第２の実施形態の追尾特徴量更新の具体例を説明するための図。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［撮像装置の構成］
図１は、本実施形態における撮像装置１００のブロック構成図である。実施形態の撮像装置１００は、動画および静止画の撮影ならびに記録が可能である。撮像装置１００内の各機能ブロックは、バス１６０を介して互いに通信可能に接続されている。撮像装置１００の動作は、主制御部１５１（中央演算処理装置）がプログラムを実行して各機能ブロックを制御することにより実現される。

本実施形態の撮像装置１００は、被写体追尾部１６１を有する。この被写体追尾部１６は、撮像した画像中の特定の被写体領域の検出、並びに、複数の画像に基づき、検出した被写体を継続して追尾を行う。このため、被写体追尾部１６１は、撮像対象の被写体の領域（被写体に外接する矩形領域の位置及びサイズ）を検出する被写体検出機能、検出された領域と類似した領域の探索を継続的に実行することにより追尾する被写体追尾機能、並びに、撮像画像間の画素単位の動きベクトルを求める動きベクトル検出機能を備える。被写体追尾部１６１の構成及び動作の詳細については後述する。

以下、実施形態における撮像装置１００の構成要素を説明する。撮影レンズ１０１（レンズユニット）は、固定１群レンズ１０２、ズームレンズ１１１、絞り１０３、固定３群レンズ１２１、フォーカスレンズ１３１、ズームモータ１１２、絞りモータ１０４、およびフォーカスモータ１３２を有する。固定１群レンズ１０２、ズームレンズ１１１、絞り１０３、固定３群レンズ１２１、フォーカスレンズ１３１は撮影光学系を構成する。なお、便宜上レンズ１０２、１１１、１２１、１３１を１枚のレンズとして図示しているが、それぞれ複数のレンズで構成されてもよい。また、撮影レンズ１０１は着脱可能な交換レンズとして構成されてもよい。

絞り制御部１０５は、絞り１０３を駆動する絞りモータ１０４の動作を制御し、絞り１０３の開口径を変更する。ズーム制御部１１３は、ズームレンズ１１１を駆動するズームモータ１１２の動作を制御し、撮影レンズ１０１の焦点距離（画角）を変更する。

フォーカス制御部１３３は、撮像素子１４１から得られる１対の焦点検出用信号（Ａ像およびＢ像）の位相差に基づいて撮影レンズ１０１のデフォーカス量およびデフォーカス方向を算出する。そしてフォーカス制御部１３３は、デフォーカス量およびデフォーカス方向をフォーカスモータ１３２の駆動量および駆動方向に変換する。この駆動量および駆動方向に基づいてフォーカス制御部１３３はフォーカスモータ１３２の動作を制御し、フォーカスレンズ１３１を駆動することにより、撮影レンズ１０１の焦点状態を制御する。このように、フォーカス制御部１３３は位相差検出方式の自動焦点検出（ＡＦ）を実施する。なお、フォーカス制御部１３３は撮像素子１４１から得られる画像信号から得られるコントラスト評価値に基づくコントラスト検出方式のＡＦを実行してもよい。

撮影レンズ１０１によって撮像素子１４１の結像面に形成される被写体像は、撮像素子１４１に配置された複数の画素のそれぞれが有する光電変換素子により電気信号（画像信号）に変換される。本実施形態における撮像素子１４１は、水平方向にｍ個、垂直方向にｎ個（ｎ，ｍは複数）の画素が行列状に配置されており、各画素には２つの光電変換素子（光電変換領域）が設けられている。撮像素子１４１からの信号読み出しは、主制御部１５１からの指示に従って撮像制御部１４３が制御する。

撮像素子１４１から読み出された画像信号は信号処理部１４２に供給される。信号処理部１４２は、ノイズ低減処理、Ａ／Ｄ変換処理、自動利得制御処理などの信号処理を画像信号に適用する。そして、信号処理部１４２は、これらの処理を適用して得た画像データを撮像制御部１４３に出力する。撮像制御部１４３は信号処理部１４２から受信した画像データをＲＡＭ（ランダム・アクセス・メモリ）１５４に蓄積する。なお、実施形態における撮像素子１４１は、３０フレーム／秒のフレームレートで撮像するものとして説明する。

画像処理部１５２は、ＲＡＭ１５４に蓄積された画像データに対して、予め定められた画像処理を適用する。画像処理部１５２が適用する画像処理には、ホワイトバランス調整処理、色補間（デモザイク）処理、ガンマ補正処理といった所謂現像処理のほか、信号形式変換処理、スケーリング処理などがあるが、これらに限定されない。また、自動露出制御（ＡＥ）に用いるための、被写体輝度に関する情報なども画像処理部１５２で生成することができる。特定の被写体領域に関する情報は、被写体追尾部１６１より供給され、例えばホワイトバランス調整処理に利用してもよい。なお、コントラスト検出方式のＡＦを行う場合、ＡＦ評価値を画像処理部１５２が生成してもよい。画像処理部１５２は、処理した画像データをＲＡＭ１５４に保存する。

主制御部１５１は、ＲＡＭ１５４に保存された画像データを記録する場合には、画像処理データに例えば所定のヘッダを追加するなどして、記録形式に応じたデータファイルを生成する。この際、主制御部１５１は、必要に応じて圧縮解凍部１５３を用いて、画像データを符号化して情報量を圧縮する。そして、主制御部１５１は、生成したデータファイルを例えばメモリカードのような記録媒体１５７に記録する。

また、主制御部１５１は、ＲＡＭ１５４に保存された画像データを表示する場合には、その画像データを、画像処理部１５２を用いて、表示部１５０での表示サイズに適合するようにスケーリングし、ＲＡＭ１５４のうちビデオメモリとして用いる領域（ＶＲＡＭ領域）に書き込む。表示部１５０は、ＲＡＭ１５４のＶＲＡＭ領域から表示用の画像データを読み出し、例えばＬＣＤや有機ＥＬディスプレイなどの表示装置に表示する。

本実施形態の撮像装置１００は、動画撮影時（撮影スタンバイ状態や動画記録中）に、撮影された動画を表示部１５０に即時表示することにより、表示部１５０を電子ビューファインダー（ＥＶＦ）として機能させる。表示部１５０をＥＶＦとして機能させる際に表示する動画像およびそのフレーム画像を、ライブビュー画像もしくはスルー画像と呼ぶ。また、撮像装置１００は、静止画撮影を行った場合、撮影結果をユーザが確認できるように、直前に撮影した静止画を一定時間表示部１５０に表示する。これらの表示動作についても、主制御部１５１の制御によって実現される。

操作部１５６は、ユーザが撮像装置１００に指示を入力するためのスイッチ、ボタン、キー、タッチパネルなどを含む。操作部１５６を通じた入力はバス１６０を通じて主制御部１５１が検知され、主制御部１５１は入力に応じた動作を実現するために各部を制御する。

主制御部１５１は、例えばＣＰＵやＭＰＵなどのプログラマブルプロセッサを１つ以上有し、例えば記憶部１５５に記憶されたプログラムをＲＡＭ１５４に読み込んで実行することにより各部を制御し、撮像装置１００の機能を実現する。この記憶部１５５は、フラッシュメモリ等の電気的に書き込み可能な不揮発性メモリで構成される。主制御部１５１はまた、被写体輝度の情報に基づいて露出条件（シャッタースピードもしくは蓄積時間、絞り値、感度）を自動的に決定するＡＥ処理を実行する。被写体輝度の情報は例えば画像処理部１５２から取得することができる。主制御部１５１は、例えば人物の顔など、特定被写体の領域を基準として露出条件を決定することもできる。

主制御部１５１は、動画撮影時には絞りを固定とし、電子シャッタスピード（蓄積時間）とゲインの大きさで露出を制御する。主制御部１５１は、決定した蓄積時感とゲインの大きさを撮像制御部１４３に通知する。撮像制御部１４３は通知された露出条件に従った撮影が行われるように撮像素子１４１の動作を制御する。

被写体追尾部１６１による被写体の追尾結果は、例えば焦点検出領域の自動設定に用いることができる。この結果、特定の被写体領域に対する追尾ＡＦ機能を実現できる。また、焦点検出領域の輝度情報に基づいてＡＥ処理を行ったり、焦点検出領域の画素値に基づいて画像処理（例えばガンマ補正処理やホワイトバランス調整処理など）を行ったりすることもできる。なお、主制御部１５１は、現在の被写体領域の位置を表す指標（例えば領域を囲む矩形枠）を表示画像に重畳表示させてもよい。

バッテリ１５９は、電源管理部１５８により管理され、撮像装置１００の全体に電力を供給する。記憶部１５５は、主制御部１５１が実行するプログラム、プログラムの実行に必要な設定値、ＧＵＩデータ、ユーザ設定値などを記憶する。例えば操作部１５６の操作により電源ＯＦＦ状態から電源ＯＮ状態への移行が指示されると、記憶部１５５に格納されたプログラムがＲＡＭ１５４の一部に読み込まれ、主制御部１５１がプログラムを実行する。

［被写体追尾部］
図２は、被写体追尾部１６１の機能構成を示すブロック図である。被写体検出部２０１は、画像処理部１５２から、時系列に連続する画像を入力し、各画像に含まれる撮像対象の被写体を検出する。被写体追尾部１６１による被写体の検出結果には、画像内における被写体領域を特定する情報、信頼性などの情報が含まれる。

追尾特徴量登録部２０２は、被写体検出部２０１によって検出された被写体領域に関する情報を追尾特徴量として登録する。動きベクトル算出部２０３は、逐次供給される画像から、連続する撮像画像間の画素単位の動きベクトルを算出する。

追尾特徴量更新部２０４は、動きベクトル算出部２０３によって算出された動きベクトルを元に、登録された追尾特徴量を変形し、領域毎に特徴量の更新を行う。

追尾部２０５では、逐次供給される画像（現画像）から、追尾特徴量制御部２０４によって更新された追尾特徴量との類似度の高い領域を被写体領域として探索する。探索結果は、画像内における被写体領域、信頼性、被写体の動きベクトルなどの情報を備え、主制御部１５１など各種処理ブロックで利用される。

［撮像装置の処理］
図３のフローチャートを参照して、本実施形態の撮像装置１００による、被写体検出、被写体追尾、画像間の動きベクトルを検出する動きベクトル検出処理を伴う動画撮影動作に関して説明する。動画撮影動作は、撮影スタンバイ時や動画記録時に実行される。なお、撮影スタンバイ時と動画記録時とでは取り扱う画像（フレーム）の解像度など、細部において異なるが、被写体検出、被写体追尾、被写体及び背景の動きベクトルを検出する動きベクトル検出処理に係る処理の内容は基本的に同様であるため、以下では特に区別せずに説明する。

Ｓ３０１にて、主制御部１５１は撮像装置１００の電源がＯＮかどうか判定し、ＯＮと判定されなければ処理を終了し、ＯＮと判定されれば処理をＳ３０２に進める。

Ｓ３０２にて、主制御部１５１は各部を制御し、１フレーム分の撮像処理を実行し、処理をＳ３０３に進める。ここでは１対の視差画像と、１画面分の撮像画像が生成され、ＲＡＭ１５４に格納される。先に説明したように、実施の形態における撮像素子１４１は、１つの画素に２つの光電変換素子（光電変換領域）が設けられている。この２つの光電変換素子の一方による画像と、他方による画像から、視差画像を得ることができる。

Ｓ３０３にて、主制御部１５１は、被写体追尾部１６１に被写体検出、被写体追尾、画像間の動きベクトルを検出する動きベクトル検出処理を実行させる。処理の詳細については後述する。被写体追尾部１６１から被写体領域の位置、大きさ、動きベクトルが主制御部１５１に通知され、これらの情報がＲＡＭ１５４に格納される。主制御部１５１は通知された被写体領域に基づいて焦点検出領域を設定する。

Ｓ３０４にて、主制御部１５１は、フォーカス制御部１３３に焦点検出処理を実行させる。フォーカス制御部１３３は、１対の視差画像のうち焦点検出領域に含まれる複数の画素のうち、同一行に配置された複数の画素から得られる複数のＡ信号をつなぎ合わせてＡ像、複数のＢ信号をつなぎ合わせてＢ像を生成する。そして、フォーカス制御部１３３は、Ａ像とＢ像との相対的な位置をずらしながらＡ像とＢ像の相関量を演算し、Ａ像とＢ像との類似度が最も高くなる相対位置をＡ像とＢ像との位相差（ずれ量）として求める。さらに、フォーカス制御部１３３は位相差をデフォーカス量およびデフォーカス方向に変換する。

Ｓ３０５にて、主制御部１５１の制御の下で、フォーカス制御部１３３はＳ３０４で求めたデフォーカス量およびデフォーカス方向に対応するレンズ駆動量および駆動方向に従ってフォーカスモータ１３２を駆動し、フォーカスレンズ１３１を移動させる。レンズ駆動処理が終了すると、処理をＳ３０１に戻す。

以後、Ｓ３０１で電源スイッチがＯＮである限りに、Ｓ３０２〜Ｓ３０５の処理を繰り返し実行する。これにより、時系列的な複数の画像に対して被写体領域の探索が行われ、被写体追跡機能が実現される。なお、図３では被写体追跡処理を毎フレーム実行するものとしているが、処理負荷や消費電力の軽減を目的として数フレームごとに行うようにしてもよい。

［被写体追尾処理]
次に、図４のフローチャートを参照して被写体追尾部１６１の処理の流れについて説明する。

まずＳ４０１において、被写体追尾部１６１は、撮像制御部１４３から画像を入力する。

Ｓ４０２にて、被写体検出部２０１は、撮像制御部１４３から入力した画像に対して、中心位置とサイズが異なる複数の評価領域を設定し、各々の評価領域から被写体を検出する。被写体検出の手法は任意の公知の手法を用いてよく、例えば、ＣＮＮ（Convolutional Neural Networks）による特定被写体の特徴抽出処理を用いて自動で検出しても良いし、操作部１５６からのタッチ操作の信号を入力とし、ユーザが指定しても良い。

Ｓ４０３にて、追尾特徴量登録部２０２は、被写体検出部２０１によって検出された被写体領域もしくは、後述する追尾部２０５によって検出され、ＲＡＭ１５４に格納されている前フレームの被写体領域を、追尾特徴量として登録する。本実施形態では追尾特徴量の登録方法は、１フレーム目は被写体検出部２０１の結果を採用し、以降のフレームでは前フレームの追尾部２０５の結果を採用する。

Ｓ４０４において、動きベクトル算出部２０３は、Ｓ４０１によって逐次供給される画像から、現フレームと１フレーム前の画像を使用し、動きベクトルとして各画素の動きベクトルを算出する。動きベクトル算出方法は、任意の公知の手法を用いることができる。本実施形態では、動きベクトル算出方法としてLucasKanade法を用いる。時刻ｔのフレームにおける、座標（ｘ、ｙ）の輝度Y（ｘ、ｙ、ｔ）とし、Δｔ後のフレームにおける、移動後の画素の輝度をY（ｘ＋Δｘ,ｙ＋Δｙ,ｔ＋Δt）とし、次式（１）を解くことで、（Δｘ，Δｙ）を各画素の動きベクトルとして算出する。
Ｙ（ｘ，ｙ，ｔ）＝Ｙ(ｘ + Δｘ， ｙ + Δｙ，ｔ + Δｔ） …（１）

Ｓ４０５にて、追尾特徴量更新部２０４は、Ｓ４０４によって算出された動きベクトルから追尾特徴量の更新を行う。追尾特徴量の更新の詳細な処理については後述する。

Ｓ４０６にて、追尾部２０５は、逐次供給される画像から、Ｓ４０５によって更新された追尾特徴量を使用して被写体の追尾を行う。被写体追尾の詳細な処理については後述する。

［追尾特徴量の更新処理］
図５のフローチャート、図６、図７を参照して、図４のＳ４０５の追尾特徴量の更新処理について説明する。

Ｓ５０１にて、追尾特徴量更新部２０４は、Ｓ４０３によって登録された追尾特徴量領域の位置ずれを予測する。位置ずれの予測方法は、各画素の動きベクトルを、画素における位置ずれ量とする。

Ｓ５０２にて、追尾特徴量更新部２０４は、Ｓ５０１で予測された位置ずれ量に基づき、座標変換情報を算出する。本実施形態では、座標変換情報を射影変換係数とし、射影変換係数は被写体像の変形を示す係数である。なお本実施形態において、座標変換情報として射影変換係数が用いられるが、これに限定されるわけではない。射影変換係数に代えて、アフィン変換係数など他の種類の座標変換情報を算出してもよい。

Ｓ５０３に、追尾特徴量更新部２０４は、Ｓ５０２において算出された座標変換情報を用いて、Ｓ４０３によって登録された追尾特徴量領域の四隅（四頂点）に対して次式（２）、（３）を用いて変形を行う。
[数式２]
ｘ’＝（ａｘ＋ｂｙ＋ｃ）／（ｄｘ＋ｅｙ＋１） …（２）
ｙ’＝（ｆｘ＋ｇｙ＋ｈ）／（ｄｘ＋ｅｙ＋１） …（３）
式（２）、（３）において、係数ａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｇ、ｈは、Ｓ５０２において算出された射影変換係数である。ｘ、ｙは、それぞれ、追尾特徴量領域の四隅（四頂点）のうちの１つの角のｘ座標およびｙ座標である。ｘ’、ｙ’は、それぞれ、変形後の追尾特徴量領域の四隅のうちの１つの角のｘ座標およびｙ座標であり、追尾特徴量領域の１つの角に対応する変形後の追尾特徴量領域の１つの角の位置である。

図６に変形の概要図を示す。図示の参照符号６０１は追尾特徴量領域を示し、参照符号６０２は変形後の追尾特徴量領域を示している。図示の波線矢印は、追尾特徴量領域６０１の四隅が前述の方法により波線矢印で示される位置に座標変換されたことを表している。このように、追尾特徴量領域６０１の各頂点に対して座標変換情報を用いて得られた点を各頂点とする領域を、変形後の追尾特徴量領域６０２として設定する。

本実施形態では、変形の方法について四角形の領域で説明しているが、これに限定されるものではない。例えば、追尾特徴量領域６０１を多角形に設定し、多角形の頂点毎に座標変換を行ってもよい。

Ｓ５０４にて、追尾特徴量更新部２０４は、Ｓ５０３によって変形された追尾特徴量領域が、矩形領域でない場合、矩形領域を設定する。図７に矩形領域の設定の概要図を示す。変形後の追尾特徴量領域７０１の内部から、矩形領域７０２を設定する。矩形領域７０２の設定方法は、追尾特徴量領域７０１の内部の中で、面積が最大となる矩形領域を計算し設定しても良いし、追尾特徴量領域７０１の内部の中で、Ｓ４０２において検出された被写体面積が最大になる矩形を設定しても良く、その設定法は特に問わない。

Ｓ５０４にて、追尾特徴量更新部２０４は、設定された矩形領域をＳ４０５における更新された追尾特徴量として出力する。

図８に変形の具体例を示す。図８（ａ）が１フレーム前画像、図８（ｂ）を現フレームとする。図８（ｃ）が、上記のＳ４０３によって登録された追尾特徴量領域であるとき、図８（ｄ）がＳ４０５において変形された追尾特徴量領域を示している。そして、図８（ｅ）がＳ５０４において設定された矩形領域となる。

［被写体追尾処理］
次に、図９を参照して、図４のＳ４０６における追尾処理について説明する。

追尾部２０５は、Ｓ４０５において更新した追尾特徴量を用いて被写体領域を探索し、その探索結果が追尾部２０５の出力情報となる。本実施形態では、追尾特徴量領域をテンプレートとした、テンプレートマッチングによる探索方法を適用するものとし、図９を用いて説明する。テンプレートマッチングは、画素パターンをテンプレートとして設定し、テンプレートとの類似度が最も高い領域を画像内で探索する技術である。テンプレートと画像領域との類似度として、対応画素間の差分絶対値和のような相関量を用いることができる。

図９（ａ）は、テンプレート９０１とその構成例９０２を模式的に示している。テンプレートマッチングを行う場合、テンプレートとして用いる画素パターンが追尾特徴量９０４として予め設定されている。ここでは、テンプレート９０１が水平画素数Ｗ、垂直画素数Ｈの大きさであり、テンプレート９０１に含まれる画素の輝度値を用いて、追尾部２０５がパターンマッチングを行う。

パターンマッチングに用いるテンプレート９０１の特徴量T(i,j)は、テンプレート９０１内の座標を図９（ａ）に示すような座標系で表すと、次式（４）に示すように表現できる。
Ｔ（ｉ，ｊ）＝｛Ｔ（０，０）、Ｔ（１，０）、…、Ｔ（Ｗ−１，Ｈ−１）｝…（４）

図９（ｂ）は、被写体領域の探索領域９０３とその構成９０５の例を示している。探索領域９０３は、画像内でパターンマッチングを行う範囲であり、画像の全体もしくは一部であってよい。探索領域９０３内の座標は、「（ｘ，ｙ）」と表すものとする。領域９０４はテンプレート９０１と同じ大きさ（水平画素数Ｗ、垂直画素数Ｈ）を有し、テンプレート９０１との類似度を算出する対象である。追尾部２０５は、領域９０４に含まれる画素の輝度値と、テンプレート９０１に含まれる輝度値との類似度を算出する。

従って、パターンマッチングに用いる領域９０４の特徴量Ｓ（ｉ，ｊ）は、テンプレート９０１内の座標を図９（ｂ）に示すような座標系で表すと、次式（５）のように表現できる。
Ｓ（ｉ，ｊ）＝｛Ｓ（０，０）、Ｓ（１，０）、…、Ｓ（Ｗ−１，Ｈ−１）｝…（５）

テンプレート９０１と領域９０４との類似性を表す評価値Ｖ(x, y)は、例えば次式（６に示す、差分絶対和(SAD: Sum of Absolute Difference)値である。
Ｖ（ｘ，ｙ）＝ΣΣ｜Ｔ（ｉ，ｊ）−Ｓ（ｉ，ｊ）｜ …（６）
ここで、一方のΣΣは、ｉ＝０、…、Ｗ−１、且つ、ｊ＝０、…、Ｈ−１における合算を表している。また、｜ａ｜は、実数ａの絶対値を表している。

また、V(x, y)は、領域９０４の左上頂点の座標(x, y)における評価値を表す。ここで、探索領域９０３の水平方向のサイズを大文字Ｘ，垂直方向のサイズを大文字Ｙとして場合、追尾部２０５は、領域９０４を探索領域９０３の左上から右方向に１画素ずつ、またｘ=(X-1)-(W-1)に達すると、次にx=0として下方向に１画素ずつ、それぞれずらしながら、各位置で評価値V(x, y)を算出する。そして、「ｙ≦（Ｙ−１）−（Ｈ−１）」を満たす限り、この処理を行う。

算出された評価値V(x, y)が最小値を示す座標(x, y)が、テンプレート９０１と最も類似した画素パターンを有する領域９０４の位置を示すことになる。追尾部２０５は、評価値V(x, y)が最小値を示す領域９０４を、探索領域内に存在する被写体領域として検出する。なお、探索結果の信頼性が低い場合（例えば評価値V(x, y)の最小値が閾値を超える場合）には、被写体領域が見つからなかったと判定してもよい。

ここではパターンマッチングに輝度値の特徴量を用いる例を示したが、複数の値（例えば明度、色相、彩度）を有する特徴量を用いてもよい。また、類似度の評価値としてＳＡＤを用いる例を示したが、他の評価値、例えば正規化相互相関（ＮＣＣ: Normalized Cross-Correlation）やＺＮＣＣなどを用いてもよい。

［効果］
以上説明したように本実施形態によれば、追尾特徴量領域を、動きベクトルを基に変形させることで、画像間で被写体の形が変化するような場合でも、被写体追尾の性能を向上させることができる。

［第２の実施形態］
第２の実施形態を説明する。本第２の実施形態の装置構成は、上記第１の実施形態と同じである。以下、図１０のフローチャート、及び、図１０を参照して、図４のＳ４０５における、追尾特徴量更新部２０４の処理を説明する。

Ｓ１００１にて、追尾特徴量更新部２０４は、Ｓ４０３によって登録された追尾特徴量領域を分割する。例えば、追尾特徴量更新部２０４は、Ｓ４０４によって算出した動きベクトルをクラスタリングし、クラスタリング結果に従い領域を分割しても良い。動きベクトルクラスタリングの手法は任意の公知の手法を用いて良く、例えば、K-meansを使用し、動きベクトルを任意のクラスタ数でクラスタリングを行う。

ここでは動きベクトルクラスタリングに基づく領域分割を例にあげたが、追尾特徴量領域を分割できれば手法は問わない。例えば追尾特徴量領域からエッジの交点である特徴点を算出し、各特徴点の動きベクトルを比較し、類似の動きベクトルを持つ特徴点を頂点とした領域を複数作成することで領域分割としても良い。

Ｓ１００２にて、追尾特徴量更新部２０４は、Ｓ１００１で分割した領域毎の位置ずれを予測する。位置ずれの予測方法は、各画素の動きベクトルを、画素における位置ずれ量とする。

Ｓ１００３にて、追尾特徴量更新部２０４は、Ｓ１００２で予測された領域毎の位置ずれ量に基づき、座標変換情報を領域毎に算出する。本実施形態では、座標変換情報を射影変換係数とし、射影変換係数は被写体像の変形を示す係数である。なお本実施形態において、座標変換情報として射影変換係数が用いられるが、これに限定されるわけではない。射影変換係数に代えて、アフィン変換係数など他の種類の座標変換情報を算出してもよい。

Ｓ１００４にて、追尾特徴量更新部２０４は、Ｓ１００３において算出された領域ごとの座標変換情報を用いて、Ｓ１００１によって分割された領域毎の四隅（四頂点）に対して式（２）、（３）を用いて変形を行う。図１１に変形の概要図を示す。図１１（ａ）は動きベクトルによって分割された特徴量領域１１０１、参照符号１１０２は分割された各領域を示す。図１１（ｂ）が領域毎に変形した追尾特徴量領域１１０３を示し、参照符号１１０４が分割された各領域をそれぞれ変形した領域を示す。図１１（ｂ）に示される波線矢印は、領域１１０２の各領域の四隅が前述の方法により波線矢印で示される位置に座標変換されたことを表している。このように、領域１１０２の各領域の各頂点に対して座標変換情報を用いて得られた点を各頂点とする領域１１０３を含む、追尾特徴量領域１１０３を、領域毎の追尾特徴量を変形した領域として設定する。図１１（ｂ）において斜線領域は、領域毎の追尾特徴量を変形した結果、追尾特徴量領域１１０３に穴が開いた領域となる。Ｓ４０６のテンプレートマッチングにおいて、穴領域を使用して計算してしまうと、評価値V(x, y)の結果が悪くなってしまう。したがって、式（６）において穴領域の座標を(i’,j’)としたとき、追尾特徴量更新部２０４は、次式（７）のようにすて、穴領域はテンプレートマッチングの結果に影響がでないようにする。
Ｔ（ｉ’，ｊ’）−Ｓ（ｉ’，ｊ’）＝０ …（７）

Ｓ１００４にて、追尾特徴量更新部２０４は、変形された追尾特徴量領域をＳ４０５における更新された追尾特徴量として出力する。

図１２（ａ）乃至（ｂ）を参照して、本第２の実施形態における変形の具体例を説明する。図１２（ａ）が１フレーム前の画像（前撮像画像）、図１２（ｂ）を現フレームの画像（現撮像画像）とする。図１２（ｃ）がＳ４０３によって登録された追尾特徴量領域であるとき、図１２（ｄ）がＳ１００１において分割された領域を示している。そして、図１２（ｅ）がＳ１００４において、変形された追尾特徴量領域となり、黒で塗りつぶされた領域が穴領域となる。

［効果］
以上説明したように本第２の実施形態によれば、追尾特徴量領域を、動きベクトルを基に分割し、分割領域毎に変形させることで、画像間で局所的に被写体の形が変化するような場合に追尾の性能を第１の実施形態よりも向上させることができる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００…撮像装置、１０１…撮影レンズ、１４１…撮像素子、１４２…撮像信号処理部、１４３…撮像制御部、１５１…主制御部、１５２…画像処理部、１５３…圧縮解凍部、１５４…ＲＡＭ、１６１…被写体追尾部、２０１…被写体検出部、２０２…追尾特徴量登録部、２０３…動き算出部、２０４…追尾特徴更新部、２０５…追尾部

Claims (7)

1. 撮像手段により得た撮像画像から被写体を追尾する撮像装置であって、
   前記撮像手段により連続して撮像される撮像画像間で、画素単位の動きベクトルを算出する動きベクトル算出手段と、
   前撮像画像から特定領域を決定する決定手段と、
   前記動きベクトルを基に、前記特定領域を変形する変形手段と、
   前記変形した特定領域と、現撮像画像との間の類似度を評価する評価手段と、
   該評価手段による評価の結果に基づき、前記現撮像画像における追尾対象の被写体を決定し、追尾する追尾手段と、
   を備えることを特徴とする撮像装置。
2. 前記動きベクトルから座標変換情報を算出する算出手段と、
   前記変形手段は、前記座標変換情報に基づき、前記特定領域を変形する
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記座標変換情報は、被写体像の変形を示す変換係数である
   ことを特徴とする請求項２に記載の撮像装置。
4. 前記変形手段は、前記特定領域を少なくとも２つの領域に分割する分割手段を含み、
   前記算出手段は、前記分割領域毎に前記座標変換情報を算出し、
   前記変換手段は、前記分割領域毎に前記特定領域を変形させる
   ことを特徴とする請求項２又は３に記載の撮像装置。
5. 前記分割手段は、
   前記画像間の動きベクトルを、動きの大きさ、向きを元に、クラスタリングを行う動きベクトルクラスタリング手段を含み、
   該動きベクトルクラスタリング手段によってクラスタリングされた動きベクトルに合わせて、前記特定領域を分割する
   ことを特徴とする請求項４に記載の撮像装置。
6. 撮像手段により得た撮像画像から被写体を追尾する撮像装置の制御方法であって、
   前記撮像手段により連続して撮像される撮像画像間で、画素単位の動きベクトルを算出する動きベクトル算出工程と、
   前撮像画像から特定領域を決定する決定工程と、
   前記動きベクトルを基に、前記特定領域を変形する変形工程と、
   前記変形した特定領域と、現撮像画像との間の類似度を評価する評価工程と、
   該評価工程による評価の結果に基づき、前記現撮像画像における追尾対象の被写体を決定し、追尾する追尾工程と、
   を備えることを特徴とする撮像装置の制御方法。
7. コンピュータが読み取り実行することで、前記コンピュータに、請求項６に記載の方法の各工程を実行させるためのプログラム。

Images