JP2021176243A - 画像処理装置およびその制御方法、ならびに撮像装置 - Google Patents

Abstract

【課題】精度の良い領域追跡が可能な画像処理装置およびその制御方法を提供すること。【解決手段】指定された位置に基づいて、領域追跡に用いる特徴量を抽出するための画像領域を、指定された位置を含む領域について信頼性の条件を満たす距離情報が得られていれば距離情報を用いて、得られていなければ距離情報を用いずに特定する。【選択図】図９

Description

本発明は、画像処理装置およびその制御方法、ならびに撮像装置に関し、特には画像間で特定の領域を追跡する技術に関する。

ある時刻ｔに撮影された画像内の領域と類似した領域を、時刻ｔより後に撮影された１つ以上の画像内で探索することで、領域の経時的な動きを検出することができる。例えば動画撮影において特定の被写体の領域（顔領域）の動きを検出することにより、特定の被写体にピントを合わせ続けたり、特定の被写体の露出が適正になるように露出条件を動的に変更したりすることが可能になる（特許文献１）。

特開２００５−３１８５５４号公報

特定の画像領域と類似した領域を探索する場合、マッチングと呼ばれる手法が一般的に用いられる。例えばテンプレートマッチングでは、ある画像領域の画素パターンを特徴量（テンプレート）として設定し、別の画像の探索領域内でテンプレートの位置を相対的に変えながら位置ごとに類似度（例えば相関量）を算出し、類似度の最も高い位置を検出する。そして、検出された位置での類似度が十分に高いと判定されれば、その位置にテンプレートと同じパターンの画像領域が存在すると推定する。

マッチングによる探索精度は、マッチングに用いる特徴量をどのように設定するかに大きく依存する。例えば、ある特定の人物の顔領域を追跡する場合、顔領域の一部しか含まない領域の画素パターンを特徴量に設定すると、顔の特徴量が少ないために誤検出が起こりやすくなる。また逆に顔領域全体を含むが、顔領域の周辺領域（例えば背景領域）の割合が多い画素パターンを特徴量に設定すると、背景の類似度の寄与が大きくなり、やはり誤検出が起こりやすくなる。

本発明はこのような従来技術の課題に鑑みてなされたものであり、精度の良い領域追跡が可能な画像処理装置およびその制御方法の提供を目的とする。

上述の目的は、指定された位置に基づいて、特徴量を抽出するための画像領域を画像内で特定する特定手段と、画像領域から特徴量を抽出する抽出手段と、特徴量を用いて、画像領域と類似する領域を時系列的な複数の画像内で探索する探索手段と、を有し、特定手段は、指定された位置を含む領域について信頼性の条件を満たす距離情報が得られていれば距離情報を用いて、得られていなければ距離情報を用いずに、画像領域を特定する、ことを特徴とする画像処理装置によって達成される。

本発明によれば、精度の良い領域追跡が可能な画像処理装置およびその制御方法を提供できる。

実施形態に係るデジタルカメラの機能構成例を示すブロック図 図１の撮像素子の画素配列例を示す図 図１の追跡部の機能構成例を示すブロック図 第１の実施形態におけるテンプレートマッチングに関する図 第１の実施形態におけるヒストグラムマッチングに関する図 第１の実施形態における被写体距離の取得方法に関する図 第１の実施形態における被写体領域の特定方法を模式的に示す図 第１の実施形態における撮像処理のフローチャート 第１の実施形態における被写体追跡処理のフローチャート 第２の実施形態における撮像処理のフローチャート 第２の実施形態における被写体追跡処理のフローチャート 第２の実施形態における特徴量の更新判定方法を模式的に示す図

以下、添付図面を参照して本発明の実施形態に係る画像処理装置の一例としてのデジタルカメラについて詳細に説明する。しかしながら、本発明は撮影機能を有さない電子機器においても実施可能である。本発明を実施可能な電子機器には例えば、デジタルカメラ、携帯電話機、タブレット端末、ゲーム機、パーソナルコンピュータ、ナビゲーションシステム、家電製品、ロボットなどが含まれるが、これらに限定されない。

●＜第１の実施形態＞
（撮像装置の構成）
図１は、本発明の第１の実施形態に係るデジタルカメラ１００の機能構成例を示すブロック図である。デジタルカメラ１００は動画および静止画の撮影ならびに記録が可能である。デジタルカメラ１００内の各機能ブロックは、バス１６０を介して互いに通信可能に接続されている。デジタルカメラ１００の動作は、主制御部１５１（中央演算処理装置）がプログラムを実行して各機能ブロックを制御することにより実現される。

本実施形態のデジタルカメラ１００は撮影した被写体の距離情報を取得可能である。距離情報は例えば画素値が対応する被写体の距離を表す距離画像であってよい。距離情報はどのような方法で取得してもよいが、本実施形態では視差画像に基づいて距離情報を取得するものとする。視差画像の取得方法にも制限は無いが、本実施形態では１つのマイクロレンズを共有する複数の光電変換素子を備えた撮像素子１４１を用いて視差画像を取得するものとする。なお、デジタルカメラ１００をステレオカメラのような多眼カメラとして視差画像を取得してもよいし、任意の方法で撮影された視差画像のデータを記憶媒体や外部装置から取得してもよい。

また、デジタルカメラ１００は指定された被写体領域と類似した領域の探索を継続的に実行することにより被写体追跡機能を実現する追跡部１６１を有する。追跡部１６１は視差画像から距離情報を生成し、被写体領域の探索に用いる。追跡部１６１の構成及び動作の詳細については後述する。

撮影レンズ１０１（レンズユニット）は、固定１群レンズ１０２、ズームレンズ１１１、絞り１０３、固定３群レンズ１２１、フォーカスレンズ１３１、ズームモータ１１２、絞りモータ１０４、およびフォーカスモータ１３２を有する。固定１群レンズ１０２、ズームレンズ１１１、絞り１０３、固定３群レンズ１２１、フォーカスレンズ１３１は撮影光学系を構成する。なお、便宜上レンズ１０２、１１１、１２１、１３１を１枚のレンズとして図示しているが、それぞれ複数のレンズで構成されてもよい。また、撮影レンズ１０１は着脱可能な交換レンズとして構成されてもよい。

絞り制御部１０５は絞り１０３を駆動する絞りモータ１０４の動作を制御し、絞り１０３の開口径を変更する。
ズーム制御部１１３は、ズームレンズ１１１を駆動するズームモータ１１２の動作を制御し、撮影レンズ１０１の焦点距離（画角）を変更する。

フォーカス制御部１３３は、撮像素子１４１から得られる１対の焦点検出用信号（Ａ像およびＢ像）の位相差に基づいて撮影レンズ１０１のデフォーカス量およびデフォーカス方向を算出する。そしてフォーカス制御部１３３は、デフォーカス量およびデフォーカス方向をフォーカスモータ１３２の駆動量および駆動方向に変換する。この駆動量および駆動方向に基づいてフォーカス制御部１３３はフォーカスモータ１３２の動作を制御し、フォーカスレンズ１３１を駆動することにより、撮影レンズ１０１の焦点状態を制御する。このように、フォーカス制御部１３３は位相差検出方式の自動焦点検出（ＡＦ）を実施する。なお、フォーカス制御部１３３は撮像素子１４１から得られる画像信号から得られるコントラスト評価値に基づくコントラスト検出方式のＡＦを実行してもよい。

撮影レンズ１０１によって撮像素子１４１の結像面に形成される被写体像は、撮像素子１４１に配置された複数の画素のそれぞれが有する光電変換素子により電気信号（画像信号）に変換される。本実施形態では、撮像素子１４１に、水平方向にｍ、垂直方向にｎ（ｎ，ｍは複数）の画素が行列状に配置されており、各画素には２つの光電変換素子（光電変換領域）が設けられている。撮像素子１４１からの信号読み出しは、主制御部１５１からの指示に従ってセンサ制御部１４３が制御する。

（撮像素子１４１の画素配列）
図２は、撮像素子１４１における画素の配置例を模式的に示す図であり、水平方向に４画素、垂直方向に４画素の１６画素からなる領域を代表的に示している。撮像素子１４１の各画素には１つのマイクロレンズ２１０と、マイクロレンズ２１０を介して受光する２つの光電変換素子２０１、２０２とが設けられている。図２の例では水平方向に２つの光電変換素子２０１、２０２が配置されているため、各画素は撮影レンズ１０１の瞳領域を水平方向に分割する機能を有する。

また、撮像素子１４１には、水平方向２画素×垂直方向２画素の４画素を繰り返し単位とする原色ベイヤー配列のカラーフィルタが設けられている。カラーフィルタはＲ（赤）およびＧ（緑）が水平方向に繰り返し配置される行と、ＧおよびＢ（青）が水平方向に繰り返し配置される行とが交互に配置された構成を有する。赤フィルタが設けられた画素２００Ｒを赤画素、Ｇ（緑）フィルタが設けられた画素２００Ｇを緑画素、Ｂ（青）フィルタが設けられた画素２００Ｂを青画素と呼ぶ。

以下の説明では、第１の光電変換素子２０１をＡ画素、第２の光電変換素子２０２をＢ画素、Ａ画素から読み出される信号をＡ信号、Ｂ画素から読み出される信号をＢ信号と呼ぶことがある。ある領域に含まれる複数の画素から得られるＡ信号で構成される画像と、Ｂ信号で構成される画像とは１組の視差画像を構成する。したがって、デジタルカメラ１００は１回の撮影によって２つの視差画像を生成することができる。また、画素ごとにＡ信号とＢ信号とを加算すると、瞳分割機能を持たない一般的な画素と同様の信号を得ることができる。以下ではこの加算信号をＡ＋Ｂ信号、Ａ＋Ｂ信号から構成される画像を撮像画像と呼ぶことがある。

このように、１つの画素から、第１の光電変換素子２０１の出力（Ａ信号）、第２の光電変換素子２０２の出力（Ｂ信号）、および第１の光電変換素子２０１と第２の光電変換素子２０２の加算出力（Ａ＋Ｂ信号）という３種類の信号を読み出すことができる。なお、Ａ信号（Ｂ信号）は、読み出す代わりにＡ＋Ｂ信号からＢ信号（Ａ信号）を減じて求めてもよい。

なお、光電変換素子は垂直方向に分割配置されてもよいし、光電変換素子の分割方向が異なる画素が混在していてもよい。また、光電変換素子は垂直および水平の両方向に分割されていてもよい。また、同一方向で３つ以上に分割されていてもよい。

図１に戻って、撮像素子１４１から読み出された画像信号は信号処理部１４２に供給される。信号処理部１４２は、ノイズ低減処理、Ａ／Ｄ変換処理、自動利得制御処理などの信号処理を画像信号に適用し、センサ制御部１４３に出力する。センサ制御部１４３は信号処理部１４２から受信した画像信号をＲＡＭ（ランダム・アクセス・メモリ）１５４に蓄積する。

画像処理部１５２は、ＲＡＭ１５４に蓄積された画像データに対して予め定められた画像処理を適用する。画像処理部１５２が適用する画像処理には、ホワイトバランス調整処理、色補間（デモザイク）処理、ガンマ補正処理といった所謂現像処理のほか、信号形式変換処理、スケーリング処理、被写体検出処理、被写体認識処理などがあるが、これらに限定されない。また、自動露出制御（ＡＥ）に用いるための、被写体輝度に関する情報なども画像処理部１５２で生成することができる。被写体検出処理や被写体認識処理の結果を他の画像処理（例えばホワイトバランス調整処理）に利用してもよい。なお、コントラスト検出方式のＡＦを行う場合、ＡＦ評価値を画像処理部１５２が生成してもよい。画像処理部１５２は、処理した画像データをＲＡＭ１５４に保存する。

ＲＡＭ１５４に保存された画像データを記録する場合、主制御部１５１は画像処理データに例えば所定のヘッダを追加するなどして、記録形式に応じたデータファイルを生成する。この際、主制御部１５１は必要に応じて圧縮解凍部１５３で画像データを符号化して情報量を圧縮する。主制御部１５１は、生成したデータファイルを例えばメモリカードのような記録媒体１５７に記録する。

また、ＲＡＭ１５４に保存された画像データを表示する場合、主制御部１５１は表示部１５０での表示サイズに適合するように画像データを画像処理部１５２でスケーリングした後、ＲＡＭ１５４のうちビデオメモリとして用いる領域（ＶＲＡＭ領域）に書き込む。
表示部１５０は、ＲＡＭ１５４のＶＲＡＭ領域から表示用の画像データを読み出し、例えばＬＣＤや有機ＥＬディスプレイなどの表示装置に表示する。

本実施形態のデジタルカメラ１００は、動画撮影時（撮影スタンバイ状態や動画記録中）に、撮影された動画を表示部１５０に即時表示することにより、表示部１５０を電子ビューファインダー（ＥＶＦ）として機能させる。表示部１５０をＥＶＦとして機能させる際に表示する動画像およびそのフレーム画像を、ライブビュー画像もしくはスルー画像と呼ぶ。
また、デジタルカメラ１００は、静止画撮影を行った場合、撮影結果をユーザが確認できるように、直前に撮影した静止画を一定時間表示部１５０に表示する。これらの表示動作についても、主制御部１５１の制御によって実現される。

操作部１５６は、ユーザがデジタルカメラ１００に指示を入力するためのスイッチ、ボタン、キー、タッチパネルなどである。操作部１５６を通じた入力はバス１６０を通じて主制御部１５１が検知し、主制御部１５１は入力に応じた動作を実現するために各部を制御する。

主制御部１５１は例えばＣＰＵやＭＰＵなどのプログラマブルプロセッサを１つ以上有し、例えば記憶部１５５に記憶されたプログラムをＲＡＭ１５４に読み込んで実行することにより各部を制御し、デジタルカメラ１００の機能を実現する。主制御部１５１はまた、被写体輝度の情報に基づいて露出条件（シャッタースピードもしくは蓄積時間、絞り値、感度）を自動的に決定するＡＥ処理を実行する。被写体輝度の情報は例えば画像処理部１５２から取得することができる。主制御部１５１は、例えば人物の顔など、特定被写体の領域を基準として露出条件を決定することもできる。

主制御部１５１は、動画撮影時には絞りは固定とし、電子シャッタスピード（蓄積時間）とゲインの大きさで露出を制御する。主制御部１５１は決定した蓄積時感とゲインの大きさをセンサ制御部１４３に通知する。センサ制御部１４３は通知された露出条件に従った撮影が行われるように撮像素子１４１の動作を制御する。

なお、本実施形態では、１回の撮影で１組の視差画像と、撮像画像との計３つの画像が取得可能であり、個々の画像について画像処理部１５２が処理を行ってＲＡＭ１５４に書き込む。追跡部１６１は、１組の視差画像から被写体の距離情報を求め、撮像画像を対象とした被写体追跡処理に利用する。被写体追跡に成功した場合、追跡部１６１は撮像画像内の被写体領域の位置についての情報と、信頼度に関する情報を出力する。

被写体追跡の結果は、例えば焦点検出領域の自動設定に用いることができる。この結果、特定の被写体領域に対する追跡ＡＦ機能を実現できる。また、焦点検出領域の輝度情報に基づいてＡＥ処理を行ったり、焦点検出領域の画素値に基づいて画像処理（例えばガンマ補正処理やホワイトバランス調整処理など）を行ったりすることもできる。なお、主制御部１５１は、現在の被写体領域の位置を表す指標（例えば領域を囲む矩形枠）を表示画像に重畳表示させてもよい。

バッテリ１５９は、電源管理部１５８により管理され、デジタルカメラ１００の全体に電源を供給する。
記憶部１５５は、主制御部１５１が実行するプログラム、プログラムの実行に必要な設定値、ＧＵＩデータ、ユーザ設定値などを記憶する。例えば操作部１５６の操作により電源ＯＦＦ状態から電源ＯＮ状態への移行が指示されると、記憶部１５５に格納されたプログラムがＲＡＭ１５４の一部に読み込まれ、主制御部１５１がプログラムを実行する。

（追跡部の構成および動作）
図３は、追跡部１６１の機能構成例を示すブロック図である。追跡部１６１は照合部１６１０と、特徴抽出部１６２０と、距離マップ生成部１６３０とを有する。追跡部１６１は、指定された位置から追跡を行う画像領域（被写体領域）を特定し、被写体領域から特徴量を抽出する。そして、供給される個々の撮像画像内で、抽出した特徴量を用いて、前フレームの被写体領域と類似度の高い領域を被写体領域として探索する。また、追跡部１６１は１対の視差画像から距離情報を取得し、被写体領域の特定に利用する。

照合部１６１０では、特徴抽出部１６２０から供給される被写体領域の特徴量を用いて、供給される画像内の被写体領域を探索する。画像の特徴量に基づいて領域を探索する方法に特に制限は無いが、照合部１６１０はテンプレートマッチングおよびヒストグラムマッチングの少なくとも一方を用いる。

以下、テンプレートマッチングおよびヒストグラムマッチングについて説明する。
テンプレートマッチングは、画素パターンをテンプレートとして設定し、テンプレートとの類似度が最も高い領域を画像内で探索する技術である。テンプレートと画像領域との類似度として、対応画素間の差分絶対値和のような相関量を用いることができる。

図４（ａ）は、テンプレート３０１とその構成例３０２を模式的に示す。テンプレートマッチングを行う場合、特徴抽出部１６２０からはテンプレートに利用する色（色相）の情報が特徴量として照合部１６１０に供給される。ここでは、テンプレート３０１が水平画素数Ｗ、垂直画素数Ｈの大きさであり、特徴量と一致する画素と一致しない画素とを、それぞれ別の固定値に置換する２値化が行われている。照合部１６１０は２値化されたテンプレート３０１を用いてパターンマッチングを行う。

従って、パターンマッチングに用いるテンプレート３０１の特徴量T(i,j)は、テンプレート３０１内の座標を図４（ａ）に示すような座標系で表すと、以下の式（１）で表現できる。
T(i, j) = {T(0, 0), T(1, 0), ..., T(W-1, H-1)} （１）

図４（ｂ）は、被写体領域の探索領域３０３とその構成３０５の例を示す。探索領域３０３は画像内でパターンマッチングを行う範囲であり、画像の全体もしくは一部であってよい。探索領域３０３内の座標は（x, y）で表すものとする。探索領域３０３においても、特徴量と一致する画素と一致しない画素とを、それぞれ別の固定値に置換する２値化が行われている。領域３０４はテンプレート３０１と同じ大きさ（水平画素数Ｗ、垂直画素数Ｈ）を有し、テンプレート３０１との類似度を算出する対象である。

パターンマッチングに用いる領域３０４の特徴量S(i,j)は、テンプレート３０１内の座標を図４（ｂ）に示すような座標系で表すと、以下の式（２）で表現できる。
S(i, j) = {S(0, 0), S(1, 0), ..., S(W-1, H-1)} （２）

照合部１６１０は、テンプレート３０１と領域３０４との類似性を表す評価値V(x, y)として、以下の式（３）に示す差分絶対和(SAD: Sum of Absolute Difference)値を算出する。

ここで、V(x, y)は、領域３０４の左上頂点の座標(x, y)における評価値を表す。

照合部１６１０は、領域３０４を探索領域３０３の左上から右方向に１画素ずつ、またx=(X-1)-(W-1)に達すると次にx=0として下方向に１画素ずつ、それぞれずらしながら、各位置で評価値V(x, y)を算出する。算出された評価値V(x, y)が最小値を示す座標(x, y)がテンプレート３０１と最も類似した画素パターンを有する領域３０４の位置を示す。照合部１６１０は、評価値V(x, y)が最小値を示す領域３０４を、探索領域内に存在する被写体領域として検出する。なお、探索結果の信頼性が低い場合（例えば評価値V(x, y)の最小値が閾値を超える場合）には、被写体領域が見つからなかったと判定してもよい。

ここではパターンマッチングに、特徴量に対応するいずれかの色であるか否かに応じて２値化したテンプレートを用いる例を示したが、特徴量に含まれる複数の色のそれぞれに応じて多値化したテンプレートを用いても良い。また、色の特徴量の代わりに明度や彩度に基づく特徴量を用いてもよい。また、類似度の評価値としてＳＡＤを用いる例を示したが、他の評価値、例えば正規化相互相関（ＮＣＣ: Normalized Cross-Correlation）やＺＮＣＣなどを用いてもよい。

次に、ヒストグラムマッチングの詳細に関して説明する。
図５（ａ）は被写体領域４０１とそのヒストグラム４０２の例を示す。ヒストグラムマッチングを行う場合、特徴抽出部１６２０からは色ヒストグラムに利用する色（色相）の情報が特徴量として照合部１６１０に供給される。色ヒストグラムのビン数をＭ（Ｍは２以上の整数）とすると、照合部１６２０が生成する色ヒストグラムｐ（ｍ）４０２は以下の式（４）で表現できる。
p(m) = {p(0), p(1), ..., p(M-1)} （４）
なお、ｐ（ｍ）は正規化ヒストグラムであるものとする。この色ヒストグラムｐ（ｍ）は、特徴量に含まれる色に対応するビンのみを有する。つまりビン数がＭであるならば、特徴量として供給された色の数もＭである。

図５（ｂ）は、被写体領域の探索領域４０３と色ヒストグラム４０５の例を示す。領域４０４の色ヒストグラムｑ（ｍ）４０５はビン数がＭとすると、以下の式（５）で表現される。
q(m) = {q(0), q(1), ..., q(M-1)} （５）
なお、ｑ（ｍ）は正規化ヒストグラムであるものとする。また、この色ヒストグラムｑ（ｍ）も、特徴量に含まれる色に対応するビンのみを有するヒストグラムである。

追跡部１６１は、被写体領域４０１の色ヒストグラムｐ（ｍ）と領域４０４の色ヒストグラムｑ（ｍ）との類似性の評価値D(x, y)として以下の式（６）に示すBhattacharyya係数を算出することができる。

ここで、D(x, y)は、領域４０４の左上頂点の座標(x, y)における評価値を表す。

照合部１６１０はテンプレートマッチングと同様に、領域４０４を探索領域４０３内でずらしながら、評価値D(x, y)を算出する。算出された評価値D(x, y)が最大値を示す座標(x, y)が被写体領域４０１と最も類似する領域４０４の位置を示す。照合部１６１０は、評価値D(x, y)が最大値を示す領域４０４を、探索領域内に存在する被写体領域として検出する。

ここではヒストグラムマッチングに色の特徴量を用いる例を示したが、色相や彩度の特徴量を用いてもよい。また、類似度の評価値としてBhattacharyya係数を用いる例を示したが、他の評価値、例えばヒストグラムインタセクションなどを用いてもよい。

距離マップ生成部１６３０では、１組の視差画像から被写体距離を算出し、距離マップを生成する。距離マップは画素のそれぞれが被写体距離を表す距離情報の１つであり、デプスマップ、奥行き画像、距離画像と呼ばれることもある。なお、距離マップは視差画像を用いずに生成してもよい。例えば、コントラスト評価値が極大となるフォーカスレンズ１３１の位置を画素ごとに求めることで、画素ごとの被写体距離を取得し、距離画像を生成してもよい。

図６を用いて被写体距離の算出方法について説明する。図６において、Ａ像１１５１ａとＢ像１１５１ｂが得られているとすると、撮影レンズ１０１の焦点距離および、フォーカスレンズ１３１と撮像素子１４１との距離情報から、実線のように光束が屈折されることがわかる。従って、ピントの合う被写体は１１５２ａの位置にあることがわかる。同様にして、Ａ像１１５１ａに対してＢ像１１５１ｃが得られた場合には位置１１５２ｂ、Ｂ像１１５１ｄが得られた場合には位置１１５２ｃにピントの合う被写体があることがわかる。以上のように、各画素において、その画素を含むＡ像と、対応するＢ像との相対位置から、その画素位置における被写体の距離情報を算出することができる。

例えば図６においてＡ像１１５１ａとＢ像１１５１ｄが得られているとする。この場合、像のずれ量の半分に相当する中間点の画素１１５４から被写体位置１１５２ｃまでの距離１１５３または距離１１５３に相当するデフォーカス量を、画素１１５４の画素値として記憶する。このようにして、各画素について被写体の距離情報を算出し、距離マップを生成することができる。

なお、画像を微小領域に分割し、微小領域ごとにデフォーカス量を算出することによって距離マップを生成してもよい。微小領域に含まれる画素からＡ像およびＢ像を生成し、その位相差（像ずれ量）を相関演算によって検出し、デフォーカス量に変換すればよい。この場合においても生成される距離マップは各画素が被写体距離を示すが、微小領域に含まれる画素は同じ被写体距離を示す。距離マップ生成部１６３０は、生成した距離マップを特徴抽出部１６２０に供給する。

なお、距離マップは画像全体に対して生成してもよいが、特徴量を抽出するために指定された部分領域に対してだけ生成してもよい。

特徴抽出部１６２０は、被写体領域から、被写体領域を追跡（探索）するために用いる特徴量を抽出する。
被写体追跡を実行する場合、一般には追跡の実行開始前に、ユーザに追跡対象となる画像中の位置を指定させる。例えば、撮影スタンバイ状態において、表示部１５０に表示されている画像内の位置を操作部１５６を通じてユーザに指定させることができる。例えば主制御部１５１は、表示部１５０がタッチディスプレイであればタップ操作された座標や、操作部１５６の操作を通じて画像上を移動可能なカーソルによって指定された位置の座標を取得する。特徴抽出部１６２０には主制御部１５１から指定位置の情報が入力される。

特徴抽出部１６２０が特徴量を抽出する被写体領域を特定する方法について、図７を参照して説明する。図７（ａ）は撮像画像を示し、指定位置５０３は人物の顔５０１内の座標を示すものとする。また、背景としての家５０２は、人物の顔５０１と類似した色情報を有しているとする。

特徴抽出部１６２０は、指定位置５０３を含んだ所定領域、例えば指定位置５０３を中心とした所定の矩形領域を仮の被写体領域として、被写体領域内の色ヒストグラムH_inを生成する。また、特徴抽出部１６２０は仮の被写体領域以外の全ての領域を参照領域とし、この参照領域に関する色ヒストグラムH_Outを生成する。色ヒストグラムは、画像に含まれる色の頻度を表し、ここでは一例として画素値をＲＧＢ色空間からＨＳＶ色空間に変換し、色相（Ｈ）についての色ヒストグラムを生成するものとする。しかし、他の型式の色ヒストグラムを生成してもよい。

そして、特徴抽出部１６２０は、以下の式（７）で表わされる情報量Ｉ（ａ）を算出する。
I(a) = -log₂（H_in(a) / H_out(a)） （７）
ここでａはビンの番号を示す整数である。情報量Ｉ（ａ）の絶対値は、参照領域に含まれるそのビンに対応する色の画素数に対する、仮の被写体領域に含まれるそのビンに対応する色の画素数の割合が大きいほど小さくなる。すなわち、この情報量Ｉ（ａ）の値が小さいほど、この情報量Ｉ（ａ）に対応する色は、参照領域に含まれる割合よりも、仮の被写体領域に含まれる割合が大きく、仮の被写体領域の特徴的な色である可能性が高いと考えられる。特徴抽出部１６２０は全てのビンについて情報量Ｉ（ａ）を算出する。

特徴抽出部１６２０は、算出した情報量Ｉ（ａ）のそれぞれを、特定の範囲（例えば８ビット値（０〜２５５）の範囲）内のいずれかの値に置換する。この際、特徴抽出部１６２０は、情報量Ｉ（ａ）の値が小さいほど大きい値に置換する。そして、特徴抽出部１６２０は、撮像画像に含まれる各画素の値を、その画素の色に対応する情報量Ｉ（ａ）が置換された値に置き換える。

このような処理により、特徴抽出部１６２０は、色情報に基づく被写体マップを生成する。図７（ｂ）は被写体マップの例を示し、白に近い画素は被写体の画素である確からしさが高く、黒に近い画素は被写体の画素である確からしさが低いことを示す。なお、便宜上、図７（ｂ）では被写体マップを二値画像として示しているが、実際には多階調画像である。撮像画像の背景としての家５０２の一部が人物の顔５０１と類似した色を有するため、色情報に基づく被写体マップでは人物の顔５０１の識別が十分ではない。図７（ｃ）に示す矩形領域５０４は、例えば、被写体マップで画素値が所定の閾値以上の領域に基づいて最終的に設定した（更新した）被写体領域の例を示す。

このような被写体領域から抽出した特徴量を用いた場合、人物の顔５０１を精度良く追跡できる可能性は低くなる。そのため本実施形態では、色情報に基づいて設定した被写体領域の精度を向上させるために、距離マップ生成部１６３０が生成した距離マップを利用する。図７（ｄ）に、図７（ａ）に示した撮像画像について生成された距離マップを、指定位置５０３に対応する被写体距離を基準として、被写体距離の差が小さいほど白く、大きいほど黒く表されるように変換した例を示す。なお、便宜上、図７（ｄ）では距離マップを二値画像として示しているが、実際には多階調画像である。

特徴抽出部１６２０は、距離情報を加味した被写体マップを、例えば、距離マップと色情報に基づく被写体マップの対応画素の値を乗じることによって生成する。図７（ｅ）に、距離情報を加味した（すなわち、色情報と距離情報の両方に基づく）被写体マップの例を示す。図７（ｅ）に示す被写体マップでは、人物の顔５０１と背景としての家５０２とを精度良く区別できている。図７（ｆ）に示す矩形領域５０５は、例えば図７（ｅ）に示す被写体マップで画素値が所定の閾値以上の領域に基づいて設定した被写体領域の例を示す。矩形領域５０５は人物の顔５０１に外接した矩形領域であり、領域内に含まれる背景の画素が非常に少ない。このような被写体領域で抽出した特徴量を用いた場合、人物の顔５０１を精度良く追跡できる可能性は高くなる。

このように、指定位置を含んだ所定範囲に関する色情報に加え、距離情報を参照することにより、より精度の高い被写体領域を設定でき、精度の良い追跡に適した特徴量を抽出することが可能になる。

なお、追跡対象の位置が指定された時点において、指定位置およびその近傍領域に関し、有効な（参照するに足りる信頼性を有する）距離情報が得られていない場合もある。例えば、距離マップの生成が特定の領域（例えば焦点検出領域）についてしか実行されず、指定位置が特定領域外である場合や、指定位置のピントが合っておらず、距離情報の信頼性が低い場合などが考えられる。

そのため、特徴抽出部１６２０は、指定位置近傍（仮の被写体領域）について参照するに足りる信頼性を有する距離情報が得られていれば、色情報に加えて距離情報を参照して被写体領域を設定する。一方、指定位置近傍（仮の被写体領域）について参照するに足りる信頼性を有する距離情報が得られていない場合、特徴抽出部１６２０は、距離情報を参照せずに色情報に基づいて被写体領域を設定する。なお、参照するに足りる信頼性を有する距離情報とは、例えば、仮の被写体領域が合焦状態もしくは合焦に近い状態（すなわちデフォーカス量が所定の閾値以下である状態）で得られた距離情報であってよいが、これに限定されない。

（撮像装置の処理の流れ）
図８および図９のフローチャートを用いて、本実施形態のデジタルカメラ１００による、被写体追跡処理を伴う動画撮影動作に関して説明する。動画撮影動作は、撮影スタンバイ時や動画記録時に実行される。なお、撮影スタンバイ時と動画記録時とでは取り扱う画像（フレーム）の解像度など、細部において異なるが、被写体追跡に係る処理の内容は基本的に同様であるため、以下では特に区別せずに説明する。

Ｓ８０１で主制御部１５１はデジタルカメラ１００の電源がＯＮかどうか判定し、ＯＮと判定されなければ処理を終了し、ＯＮと判定されれば処理をＳ８０２に進める。
Ｓ８０２で主制御部１５１は各部を制御し、１フレーム分の撮像処理を実行して処理をＳ８０３に進める。なお、ここでは１組の視差画像と、１画面分の撮像画像とが生成され、ＲＡＭ１５４に格納される。

Ｓ８０３で主制御部１５１は、追跡部１６１に被写体追跡処理を実行させる。処理の詳細については後述する。なお、被写体追跡処理により、追跡部１６１から被写体領域の位置や大きさが主制御部１５１に通知される。主制御部１５１は通知された被写体領域に基づいて焦点検出領域を設定する。

Ｓ８０４で主制御部１５１は、フォーカス制御部１３３に焦点検出処理を実行させる。フォーカス制御部１３３は、１対の視差画像のうち焦点検出領域に含まれる複数の画素のうち、同一行に配置された複数の画素から得られる複数のＡ信号をつなぎ合わせてＡ像を、複数のＢ信号をつなぎ合わせてＢ像を生成する。そして、フォーカス制御部１３３は、Ａ像とＢ像との相対的な位置をずらしながらＡ像とＢ像の相関量を演算し、Ａ像とＢ像との類似度が最も高くなる相対位置をＡ像とＢ像との位相差（ずれ量）として求める。さらに、フォーカス制御部１３３は位相差をデフォーカス量およびデフォーカス方向に変換する。

Ｓ８０５でフォーカス制御部１３３はＳ８０４で求めたデフォーカス量およびデフォーカス方向に対応するレンズ駆動量および駆動方向に従ってフォーカスモータ１３２を駆動し、フォーカスレンズ１３１を移動させ、処理をＳ８０１に戻す。

以後、Ｓ８０１で電源スイッチがＯＮであると判定されなくなるまで、Ｓ８０２〜Ｓ８０５の処理を繰り返し実行する。これにより、時系列的な複数の画像に対して被写体領域の探索が行われ、被写体追跡機能が実現される。なお、図８では被写体追跡処理を毎フレーム実行するものとしているが、処理負荷や消費電力の軽減を目的として数フレームごとに行うようにしてもよい。

（被写体追跡処理）
次に、図９のフローチャートを用いて、Ｓ８０３における被写体追跡処理の詳細について説明する。
Ｓ９０１で追跡部１６１は、被写体追跡の開始指示が検出されたか否かを判定し、開始指示があったと判定されればＳ９０２へ、判定されなければＳ９０６へ、処理を進める。なお、開始指示は例えば操作部１５６からの追跡位置の指定入力であってよい。指定された位置の情報は主制御部１５１から通知される。この時点では、指定された位置の距離情報が得られていなかったり、指定された位置が非合焦のため距離情報の信頼性が低かったりする可能性が高い。そのため、指定された位置について焦点検出処理が行われた後とは処理内容を異ならせている。

Ｓ９０２で追跡部１６１（特徴抽出部１６２０）は指定位置およびその近傍について有効な（信頼性の高い）距離情報が得られているか否かを判定し、得られていると判定されればＳ９０４へ、得られていると判定されなければＳ９０３へ、処理を進める。

Ｓ９０３で追跡部１６１（特徴抽出部１６２０）は上述したように色情報のみを用いて指定位置から被写体領域を特定し、被写体領域の特徴量を抽出して処理をＳ９０５に進める。

Ｓ９０４で追跡部１６１（特徴抽出部１６２０）は上述したように色情報と距離情報の両方を用いて指定位置から被写体領域を特定し、被写体領域の特徴量（画素パターンまたはヒストグラム）を抽出して処理をＳ９０５に進める。

Ｓ９０５で追跡部１６１（照合部１６１０）は、Ｓ９０３またはＳ９０４で抽出された特徴量を用いて撮像画像の探索領域に対してマッチング処理を実行し、特徴量の類似度が最も高い領域を探索する。追跡部１６１は、探索された領域の位置および大きさに関する情報を追跡結果として主制御部１５１に通知し、追跡処理を終了する。

一方、Ｓ９０６で追跡部１６１（特徴抽出部１６２０）は、直近に抽出した特徴量が、色情報と距離情報の両方を用いて特定された被写体領域から抽出されたものか否かを判定する。そして、追跡部１６１（特徴抽出部１６２０）は、直近に抽出した特徴量が、色情報と距離情報の両方を用いて特定された被写体領域から抽出されたものと判定されればＳ９０５へ、判定されなければＳ９０７へ、処理を進める。

Ｓ９０７で追跡部１６１（特徴抽出部１６２０）は、前回の照合により検出された被写体領域について有効な距離情報が得られているか否かを判定し、得られていると判定されればＳ９０８へ、得られていると判定されなければＳ９０５へ、処理を進める。

Ｓ９０８で追跡部１６１（特徴抽出部１６２０）はＳ９０４と同様に色情報と距離情報の両方を用いて指定位置から被写体領域を改めて特定（更新）し、更新した被写体領域の特徴量を抽出して処理をＳ９０５に進める。なお、Ｓ９０８で抽出した特徴量に、過去に抽出した（例えば直前のＳ９０３の処理で抽出した）特徴量を加味するようにしてもよい。

継続処理中にＳ９０５で実行される照合処理では、Ｓ９０８で特徴量が更新されていれば更新された特徴量を用い、Ｓ９０８で特徴量が更新されていなければ直近に抽出した特徴量を継続して用いる。

例えば前回の照合により検出された被写体領域についての焦点検出処理は開始されていても、デフォーカス量が所定の閾値以下になっていなければ、距離情報の信頼性が高いとは言えない。このような場合は、Ｓ９０１、Ｓ９０６、Ｓ９０７、Ｓ９０５の手順で処理される。
追跡された被写体領域のデフォーカス量が所定の閾値以下になれば、被写体領域について信頼性の高い距離情報が取得できる。このような場合は、Ｓ９０１、Ｓ９０６、Ｓ９０７、Ｓ９０８、Ｓ９０５の手順で処理される。
色情報だけでなく、信頼性の高い距離情報も用いて被写体領域が特定されるようになったら被写体領域および特徴量を更新し、以後の追跡処理においては更新した特徴量を用いる。この場合は、Ｓ９０１、Ｓ９０６、Ｓ９０５の手順で処理される。

以上説明したように本実施形態によれば、画像中の指定位置に基づいて追跡を行う画像領域（被写体領域）を特定する際、画像の色情報に加え、距離情報を用いることにより、被写体領域の精度を向上させることができる。そのため、被写体領域から抽出される特徴量を用いる追跡処理の精度を向上させることができる。

また、距離情報の信頼性が高くない場合には、信頼性が高くなるまでは色情報に基づいて被写体領域を特定し、信頼性が高い距離情報が得られるようになった時点で距離情報をさらに用いて被写体領域を特定し直す（更新する）。そのため、距離情報が得られていない位置や距離情報の信頼性が低い位置が追跡対象として指定された場合であっても、時間の経過と共に追跡処理の精度を向上させることができる。

●＜第２の実施形態＞
第１の実施形態では、信頼性が高い距離情報と色情報に基づいて特定した被写体領域から特徴量を抽出できた場合、特徴量を更新しない。これにより、ドリフトの蓄積を回避できたり、オクルージョンに強い被写体追跡が実現できる。一方で、例えば、被写体の存在する環境が変化した場合など、被写体の輝度や色相が特徴量を抽出したときから変化した場合に被写体の追跡精度が低下することがある。

そこで、本実施形態では、被写体領域とその周辺領域の距離情報の差異が所定の条件を満たす場合には、信頼性が高い距離情報を用いて抽出した特徴量についても更新することを特徴としている。なお、本実施形態は第１の実施形態と同様に図１の構成を有するデジタルカメラ１００で実施可能であるため、以下では主に第１の実施形態との動作上の差異について説明する。

図１０のフローチャートを用いて、本実施形態のデジタルカメラ１００による、被写体追跡処理を伴う動画撮影動作に関して説明する。
図１０の、Ｓ１００１〜Ｓ１００３およびＳ１００５〜Ｓ１００６は、図８のＳ８０１〜Ｓ８０５と同じである。本実施形態では、Ｓ１００３で被写体追跡処理を行った後、Ｓ１００４で特徴量更新処理を行う点が第１の実施形態と異なる。

次に、図１１のフローチャートを用いて、図１０のＳ１００４で実施する特徴量更新処理の詳細について説明する。
Ｓ１１０１で、追跡部１６１（特徴抽出部１６２０）は、照合処理（Ｓ９０５）で探索された被写体領域と、得られている距離情報とから、被写体領域とその周辺領域の距離情報の差異が大きいか否かを判定する。

図１２（ａ）と図１２（ｃ）はそれぞれ別の撮像画像を、図１２（ｂ）と図１２（ｄ）はそれぞれ図１２（ａ）と図１２（ｃ）の撮像画像に対して生成された距離マップを模式的に示す。図１２（ａ）では、人物１２０１の後ろに距離をあけて背景としての家１２０２が存在し、図１２（ｃ）では、人物１２０５の手前に別の人物１２０６が存在している。

図１２（ｂ）の距離マップは、各画素の距離情報を、追跡処理の対象である人物１２０１に対応する距離情報を基準とした差が小さいほど白く、大きいほど黒く示している。同様に、図１２（ｂ）の距離マップは、各画素の距離情報を、追跡処理の対象である人物１２０５に対応する距離情報を基準とした差が小さいほど白く、大きいほど黒く示している。なお、作図上、図１２（ｂ）および（ｄ）は距離マップを二値画像として示しているが、実際には多値のグレースケール画像である。なお、基準とする距離情報は、被写体領域に対応する距離情報は、距離情報の平均値もしくは最も頻度の高い距離情報などであってよい。

図１２（ｂ）の領域１２０３および図１２（ｄ）の領域１２０７は、Ｓ１００３の被写体追跡処理によって特定された被写体領域であり、領域１２０４および領域１２０８はそれぞれ領域１２０３および領域１２０７の周辺領域である。ここでは、被写体領域の周辺領域を、被写体領域を上下および左右方向に等量拡大し、水平方向および垂直方向のサイズがそれぞれ被写体領域の３倍の領域から、被写体領域を除外した、中心が空いた中空の領域と規定する。ただし、これは一例であり、他の方法で規定してもよい。

追跡部１６１（特徴抽出部１６２０）は、周辺領域から、主被写体領域における距離情報と類似する（差が所定の範囲内である）距離情報を有する領域を抽出し、この抽出された領域が周辺領域において占める割合が、所定の閾値以上であるか否かを判定する。追跡部１６１（特徴抽出部１６２０）は、この割合が閾値以上と判定されれば特徴量更新処理を終了し、割合が閾値以上と判定されなければ処理をＳ１１０２に進める。

Ｓ１１０１での判定に関して説明する。周辺領域のうち、主被写体領域における距離情報と類似する距離情報を有する部分の割合が少なければ（例えば閾値未満であれば）、追跡対象である被写体領域と背景領域とが明確に区別できる状況であると考えられる。そのため、この条件を満たす撮像画像に基づいて特徴量を更新しても、更新後の特徴量における背景の影響は少ないと考えられる。

反対に、周辺領域のうち、主被写体領域における距離情報と類似する距離情報を有する部分の割合が多ければ（例えば閾値以上であれば）、追跡対象である被写体領域と背景領域との区別が難しい状況であると考えられる。

図１２（ｂ）および（ｄ）の例では、白く示された領域が、主被写体領域に対応する距離情報と類似する距離情報を有する領域である。Ｓ１１０１で用いる閾値は例えば実験的に定めることができる。ここでは、主被写体領域における距離情報と類似する（差が所定の範囲内である）距離情報を有する領域が周辺領域において占める割合が、図１２（ｂ）に示す例では所定の閾値未満、図１２（ｄ）に示す例では所定の閾値以上であると判定される。

Ｓ１１０２で、追跡部１６１（特徴抽出部１６２０）は、照合処理で算出した評価値（式（３））に基づいて、照合処理で探索された被写体領域から抽出した新たな特徴量と、照合処理で被写体領域の探索に用いた特徴量との類似度が低いか否かを判定する。具体的には、特徴抽出部１６２０は、照合部１６１０が算出した新たな評価値が更新閾値よりも高いか否か、あるいは、Bhattacharyya係数に基づく評価値（式（６））が、別の更新閾値より低いか否かを判定する。

探索された被写体領域から、探索に用いられた特徴量と類似度が低い特徴量が抽出された場合、被写体領域の探索はできたが、被写体領域の見た目に変化が生じており、特徴量を更新する必要性が高いと考えられる。一方で、探索された被写体領域から、探索に用いられた特徴量と類似度が高い特徴量が抽出された場合には、被写体領域の見た目の変化が小さく、特徴量を更新する必要性は低いと考えられる。

したがって、追跡部１６１（特徴抽出部１６２０）は、Ｓ１１０２で類似度が低いと判定されれば処理をＳ１１０３の処理に進め、類似度が低いと判定されなければ特徴量更新処理を終了する。

Ｓ１１０３で追跡部１６１（特徴抽出部１６２０）は、Ｓ９０８と同様に、探索された被写体領域から抽出された新たな特徴量で、照合処理に用いる特徴量を更新する。更新の方法に特に制限はない。例えば、それまで照合処理に用いていた特徴量を新たな特徴量で完全に置き換えてもよいし、それまで照合処理に用いていた特徴量と新たな特徴量とを用いて更新後の特徴量を算出してもよい。たとえば、差分絶対和に基づく評価値（式（３））であれば、式（８）にしたがって更新後の特徴量を求めることができる。
T(i, j) = Tpre(i, j)×α + Tnow(i, j)×(1-α) , 0 ≦α≦1 （８）
ここで、Tpre (i,j)が照合処理に用いた特徴量、Tnow (i,j)が新たな特徴量、T(i, j)が更新後の特徴量である。

また、Bhattacharyya係数に基づく評価値（式（６））であれば、式（９）にしたがって更新後の特徴量を求めることができる。
p(m) = ppre(m)×α + pnow(m)×(1-α) , 0 ≦α≦1 （９）
ここで、ppre (m)が照合処理に用いた特徴量、pnow (m)が新たな特徴量、p(m)が更新後の特徴量を示す。

式（８）および式（９）のいずれにおいても、α＝0が新たな抽出した特徴量で完全に置換する更新を示し、α＝１が特徴量が更新されないことを示す。更新の度合いαは、例えば、Ｓ１１０１で判定された距離情報の差異の大きさと、Ｓ１１０２で判定された類似度との少なくとも一方に応じて適応的に決定することができる。

例えば、Ｓ１１０１およびＳ１１０２での判定条件を満たした上で、距離情報の差異が大きいほど、また類似度が低いほど、更新の度合いαの値を小さく（新たな特徴量の寄与を大きく）して更新後の特徴量を算出することができる。また、Ｓ１１０１およびＳ１１０２での判定条件を満たした上で、距離情報の差異が小さいほど、また類似度が高いほど、更新の度合いαの値を大きく（新たな特徴量の寄与を小さく）して更新後の特徴量を算出することができる。

さらに、合焦距離や露出を確定する操作（例えば、撮影準備指示または撮影開始指示に相当する操作であり、操作部１５６に含まれるシャッタボタンの操作）が検出された場合、その時点で被写体の追跡処理が成功している可能性が高いと考えられる。したがって、合焦距離や露出を確定する操作が検出された場合には、その時点で検出されている被写体領域から抽出された新たな特徴量で更新されやすくなるようにＳ１１０１およびＳ１１０２での判定に用いる閾値を変更するようにしてもよい。

以上説明したように本実施形態によれば、距離情報を用い、被写体領域から精度良く特徴量を抽出できる場合には特徴量を更新できるようにした。そのため、追跡対象の被写体領域の見えが変化する場合であっても、追跡精度を低下させることなく、特徴量を更新することが可能となり、被写体追跡の性能をさらに向上させることができる。

（その他の実施形態）
なお、上述の実施形態では撮影時に被写体追跡を行う場合について説明したが、距離情報が取得可能であれば、動画像の再生時においても同様の被写体追跡を行うことが可能である。この場合、動画像のフレームに記録されている距離情報を取得してもよいし、各フレームが１組の視差画像の形式で記録されていれば、視差画像から距離情報を生成し、視差画像を合成して再生用の動画フレームを生成すればよい。もちろん、他の方法で距離情報を取得してもよい。

再生時に被写体追跡を実行する場合、追跡結果は例えば動画の表示方法の制御に用いることができる。例えば、追跡中の被写体領域が画面の中心に表示されるように制御したり、追跡中の被写体領域の大きさが一定になるようにスケーリングして表示されるように制御したりすることができる。また、追跡中の被写体領域を特定する指標（例えば被写体領域の外接矩形枠）を重畳表示するようにしてもよい。なお、これらは単なる例にすぎず、追跡結果を他の用途で用いてもよい。

追跡中の被写体領域を特定する指標の重畳表示を、被写体領域が距離情報を参照して特定されている場合と、色情報のみを用いて特定されている場合とで異なる形態としてもよい。例えば、被写体領域が色情報のみを用いて特定されている場合には、被写体領域の精度が低い可能性があるため、固定位置および大きさの指標を表示する。また、被写体領域が距離情報を参照して特定されている場合には、被写体領域の位置や大きさに応じて指標の位置や大きさを動的に変更する。

また、動画に限らず、連写やインターバル撮影のような時系列的な複数の画像の撮影および再生時にも本発明は適用可能である。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

また、上述の実施形態は本発明の理解を助けることを目的とした具体例に過ぎず、いかなる意味においても本発明を上述の実施形態に限定する意図はない。特許請求の範囲に規定される範囲に含まれる全ての実施形態は本発明に包含される。

１００…デジタルカメラ、１０１…撮影レンズ、１３１…フォーカスレンズ、１３２…フォーカスモータ、１３３…フォーカス制御部、１４１…撮像素子、１５１…主制御部、１５２…画像処理部、１６１…追跡部

上述の目的は、画像領域から特徴量を抽出する抽出手段と、特徴量を用いて、画像領域と類似する領域を時系列的な複数の画像内で探索する探索手段と、を有し、抽出手段は、画像領域と類似する領域における距離情報と、画像領域と類似する領域の周辺領域における距離情報に基づいて、探索手段が探索に用いる特徴量を更新することを特徴とする画像処理装置によって達成される。

Claims (21)

1. 指定された位置に基づいて、特徴量を抽出するための画像領域を画像内で特定する特定手段と、
   前記画像領域から特徴量を抽出する抽出手段と、
   前記特徴量を用いて、前記画像領域に対応する領域を時系列的な複数の画像内で探索する探索手段と、を有し、
   前記特定手段は、前記指定された位置を含む領域について信頼性の条件を満たす距離情報が得られていれば前記距離情報を用いて、得られていなければ前記距離情報を用いずに、前記画像領域を特定する、
   ことを特徴とする画像処理装置。
2. 前記信頼性の条件は、前記指定された位置を含む領域のデフォーカス量が閾値以下となることであることを特徴とする請求項１に記載の画像処理装置。
3. 指定された位置に基づいて、特徴量を抽出するための画像領域を画像内で特定する特定手段と、
   前記画像領域から特徴量を抽出する抽出手段と、
   前記特徴量を用いて、前記画像領域に対応する領域を時系列的な複数の画像内で探索する探索手段と、を有し、
   前記特定手段は、前記指定された位置を含む領域について信頼性の条件を満たす距離情報が得られる前は前記距離情報を用いずに前記画像領域を特定し、得られた後は前記距離情報を用いて前記画像領域を特定する、
   ことを特徴とする画像処理装置。
4. 前記信頼性の条件は、前記指定された位置を含む領域に対するデフォーカス量が閾値以下となることである、
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記画像領域が前記距離情報を用いずに特定された状態から、前記距離情報を用いて特定される状態になった場合、前記抽出手段は前記特徴量を更新する、
   ことを特徴とする請求項１から請求項４のいずれか１項に記載の画像処理装置。
6. 前記抽出手段は、前記特徴量を更新する場合、前記距離情報を用いて特定される画像領域から抽出される特徴量と、過去に抽出した特徴量とから更新後の特徴量を生成することを特徴とする請求項５に記載の画像処理装置。
7. 前記特定手段は、前記距離情報を用いない場合、前記画像内の色情報を用いて前記画像領域を特定することを特徴とする請求項１から請求項６のいずれか１項に記載の画像処理装置。
8. 前記特定手段は、色情報に基づいて生成される、前記指定された位置の被写体の画素である確からしさを示すマップに基づいて前記画像領域を特定することを特徴とする請求項７に記載の画像処理装置。
9. 前記特定手段は、前記距離情報を用いる場合、前記画像内の色情報と、前記距離情報とを用いて前記画像領域を特定することを特徴とする請求項１から請求項７のいずれか１項に記載の画像処理装置。
10. 前記特定手段は、色情報に基づいて生成される、前記指定された位置の被写体の画素である確からしさを示すマップと、前記距離情報に基づいて生成される、前記指定された位置の被写体の画素である確からしさを示すマップとから、前記画像領域を特定することを特徴とする請求項９に記載の画像処理装置。
11. 前記特徴量が、前記画像領域の画素パターンまたはヒストグラムであることを特徴とする請求項１から請求項１０のいずれか１項に記載の画像処理装置。
12. 画像領域から特徴量を抽出する抽出手段と、
    前記特徴量を用いて、前記画像領域と類似する領域を時系列的な複数の画像内で探索する探索手段と、を有し、
    前記抽出手段は、前記画像領域と類似する領域における距離情報と、前記画像領域と類似する領域の周辺領域における距離情報に基づいて、前記探索手段が探索に用いる前記特徴量を更新することを特徴とする画像処理装置。
13. 前記抽出手段は、前記周辺領域における、前記画像領域と類似する領域における距離情報との差が所定の範囲内である距離情報を有する領域の割合に基づいて、前記探索手段が探索に用いる前記特徴量を更新するか否かを判定することを特徴とする請求項１２に記載の画像処理装置。
14. 前記抽出手段は、前記周辺領域における、前記画像領域と類似する領域における距離情報との差が所定の範囲内である距離情報を有する領域の割合が閾値以上である場合に、前記探索手段が探索に用いる前記特徴量を更新することを特徴とする請求項１３に記載の画像処理装置。
15. 前記抽出手段は、前記周辺領域における、前記画像領域と類似する領域における距離情報との差が所定の範囲内である距離情報を有する領域の割合に応じて、前記探索手段が探索に用いる前記特徴量を更新する度合いを変更することを特徴とする請求項１４に記載の画像処理装置。
16. 請求項１から請求項１５のいずれか１項に記載の画像処理装置と、
    前記探索手段が探索した、前記画像領域と類似する領域を含んだ領域について焦点検出を行う焦点検出手段と、
    を有することを特徴とする撮像装置。
17. 撮影レンズの瞳領域を分割する機能を有する撮像素子と、
    前記撮像素子から得られる視差画像から、前記距離情報を生成する生成手段と、
    をさらに有することを特徴とする請求項１６に記載の撮像装置。
18. 特定手段が、指定された位置に基づいて、特徴量を抽出するための画像領域を画像内で特定する特定工程と、
    抽出手段が、前記画像領域から特徴量を抽出する抽出工程と、
    探索手段が、前記特徴量を用いて、前記画像領域と類似する領域を時系列的な複数の画像内で探索する探索工程と、を有し、
    前記特定工程において前記特定手段は、前記指定された位置を含む領域について信頼性の条件を満たす距離情報が得られていれば前記距離情報を用いて、得られていなければ前記距離情報を用いずに、前記画像領域を特定する、
    ことを特徴とする画像処理装置の制御方法。
19. 特定手段が、指定された位置に基づいて、特徴量を抽出するための画像領域を画像内で特定する特定工程と、
    抽出手段が、前記画像領域から特徴量を抽出する抽出工程と、
    探索手段が、前記特徴量を用いて、前記画像領域と類似する領域を時系列的な複数の画像内で探索する探索工程と、を有し、
    前記特定工程において前記特定手段は、前記指定された位置を含む領域について信頼性の条件を満たす距離情報が得られる前は前記距離情報を用いずに前記画像領域を特定し、得られた後は前記距離情報を用いて前記画像領域を特定する、
    ことを特徴とする画像処理装置の制御方法。
20. 抽出手段が、画像領域から特徴量を抽出する抽出工程と、
    探索手段が、前記特徴量を用いて、前記画像領域と類似する領域を時系列的な複数の画像内で探索する探索工程と、を有し、
    前記抽出工程において、前記画像領域と類似する領域における距離情報と、前記画像領域と類似する領域の周辺領域における距離情報に基づいて、前記探索工程での探索に用いる前記特徴量を更新することを特徴とする画像処理装置の制御方法。
21. コンピュータを、請求項１から請求項１５のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images