JP2014038164A - 画像処理装置 - Google Patents

Abstract

【課題】焦点検出用画素を有する撮像素子を用いた追尾処理における精度低下を抑制可能な画像処理装置を提供すること。
【解決手段】焦点検出用画素を有する撮像素子１１４を用いた追尾処理において、評価画像データと参照画像データとの画像相関度を算出するに際し、評価画像データ又は参照画像データに焦点検出用画素の画素データが含まれている場合には、焦点検出用画素の画素データに１よりも小さい重み付けを行ってから画像相関度を算出するか又は画像相関度を算出してから算出した画像相関度に１よりも小さい重み付けを行って画像相関度を算出し、算出した画像相関度を用いて追尾対象を追尾する。
【選択図】図１

Description

本発明は、被写体を追尾するための追尾処理を行う画像処理装置に関する。

従来、動体を撮影する際や動画像を撮影する際に、特定の被写体に追従するように自動合焦制御（ＡＦ）や自動露光制御（ＡＥ）を行う技術が知られている。このような特定の被写体を追従するために追尾処理が用いられている（例えば、特許文献１参照）。

また、近年、撮像素子の一部の画素を位相差ＡＦ用の焦点検出素子として利用して焦点状態を検出する撮像装置が例えば特許文献２において提案されている。特許文献２は、撮像素子の一部の画素を焦点検出用画素に設定し、この焦点検出用画素に入射した光の位相差を検出することによって焦点状態を検出している。

特開平９−６５１９３号公報 特開２００９−００３１２２号公報

ここで、焦点検出用画素では追尾処理に用いることできる画素データを得ることができないので、焦点検出用画素の位置に追尾対象の被写体が存在していると、追尾処理の精度低下につながる可能性がある。

本発明は、前記の事情に鑑みてなされたもので、焦点検出用画素を有する撮像素子を用いた追尾処理における精度低下を抑制可能な画像処理装置を提供することを目的とする。

前記の目的を達成するために、本発明の一態様の画像処理装置は、画素の一部に焦点検出を行うための焦点検出用画素が設けられた撮像素子を有し、該撮像素子により、前記それぞれの画素に対応した画素データからなる画像データを複数取得する撮像部と、前記撮像部で取得された複数の画像データから参照画像と評価画像とを記憶する画像記憶部と、前記参照画像と前記評価画像とに追尾対象とする領域を設定する領域設定部と、前記参照画像と前記評価画像とのそれぞれに設定された領域内の画素データ同士のフレーム間の画像相関度を算出する相関算出部と、前記画像相関度に従って前記追尾対象を追尾する追尾処理部と、を具備し、前記相関算出部は、前記参照画像又は前記評価画像に設定された前記領域に前記焦点検出用画素の画素データが含まれる場合は、該焦点検出用画素の画素データに重み付けを行ってから画像相関度を算出するか又は前記焦点検出用画素の画素データを用いて算出した画像相関度に重み付けを行って最終的な画像相関度を算出することを特徴とする。

本発明によれば、焦点検出用画素を有する撮像素子を用いた追尾処理における精度低下を抑制可能な画像処理装置を提供することができる。

本発明の一実施形態に係る画像処理装置を備えた撮像装置の一例としての構成を示す図である。 焦点検出用画素について示した図である。 焦点検出用画素を用いた位相差検出の原理について説明するための図である。 位相差について示す図である。 輝度情報を用いた追尾処理について説明するための図である。 色情報を用いた追尾処理について説明するための図である。 顔検出処理を用いた追尾処理について説明するための図である。 撮像装置の撮影動作を示すフローチャートである。 輝度情報を用いた追尾処理について示すフローチャートである。 焦点検出画素を含む評価画像データの例を示す図である。 評価画像データ及び参照画像データが焦点検出用画素を含む場合の輝度情報を用いた追尾処理について説明するための図である。 色情報を用いた追尾処理について示すフローチャートである。 類似色エリアの探索処理について示すフローチャートである。 参照画像データが焦点検出用画素を含む場合の色情報を用いた追尾処理について説明するための図である。 顔検出を用いた追尾処理について示すフローチャートである。 顔検出位置の探索処理について示すフローチャートである。 参照画像データが焦点検出用画素を含む場合の顔検出を用いた追尾処理について説明するための図である。

以下、図面を参照して本発明の実施形態を説明する。
図１は、本発明の一実施形態に係る画像処理装置を備えた撮像装置の一例としての構成を示す図である。図１に示す撮像装置１００は、撮影光学系１０２と、焦点調整機構１０４と、絞り１０６と、絞り駆動機構１０８と、シャッタ１１０と、シャッタ駆動機構１１２と、撮像素子１１４と、撮像素子インターフェイス（ＩＦ）回路１１６と、ＲＡＭ１１８と、表示素子１２０と、表示素子駆動回路１２２と、タッチパネル１２４と、タッチパネル駆動回路１２６と、記録メディア１２８と、システムコントローラ１３０と、操作部１３２と、ＲＯＭ１３４と、を有している。

撮影光学系１０２は、図示しない被写体からの撮影光束Ｆを、撮像素子１１４の受光面上に導くための光学系である。この撮影光学系１０２は、フォーカスレンズ等の複数のレンズを有している。焦点調整機構１０４は、モータ及びその駆動回路等を有している。この焦点調整機構１０４は、システムコントローラ１３０内のＣＰＵ１３０１の制御に従って、撮影光学系１０２内のフォーカスレンズをその光軸方向（図示一点鎖線方向）に駆動させる。

絞り１０６は、開閉自在に構成され、撮影光学系１０２を介して撮像素子１１４に入射する撮影光束Ｆの量を調整する。絞り駆動機構１０８は、絞り１０６を駆動するための駆動機構を有している。この絞り駆動機構１０８は、システムコントローラ１３０内のＣＰＵ１３０１の制御に従って、絞り１０６を駆動させる。

シャッタ１１０は、撮像素子１１４の受光面を遮光状態又は露光状態とするように構成されている。このシャッタ１１０により、撮像素子１１４の露光時間が調整される。シャッタ駆動機構１１２は、シャッタ１１０を駆動させるための駆動機構を有し、システムコントローラ１３０内のＣＰＵ１３０１の制御に従って、シャッタ１１０を駆動させる。

撮像素子１１４は、撮影光学系１０２を介して集光された被写体からの撮影光束Ｆが結像される受光面を有している。撮像素子１１４の受光面は、複数の画素が２次元状に配置されて構成されており、また、受光面の光入射側には、カラーフィルタが設けられている。このような撮像素子１１４は、受光面に結像された撮影光束Ｆに対応した像（被写体像）を、その光量に応じた電気信号（以下、画像信号という）に変換する。

ここで、本実施形態における撮像素子１１４は、画素の一部に焦点検出用画素が設けられている。図２は、焦点検出用画素について示した図である。なお、図２は、撮像素子１１３のカラーフィルタ配列がベイヤ配列である例を示している。

ベイヤ配列のカラーフィルタの場合、「Ｒ」、「Ｇｒ」、「Ｇｂ」、「Ｂ」の水平２画素×垂直２画素が、水平方向及び水平方向に配列されている。図２の例では、焦点検出用画素をＧｂ画素に配置している。Ｇｂ画素とは、Ｇ、Ｂ、Ｇ、Ｂ…と交互に配置されている行のＧ画素のことである。

図２に示すように、撮像素子１１４は、撮像用画素１１４１と、焦点検出用画素としての、左側瞳検出画素１１４２Ｌ、右側瞳検出画素１１４２Ｒ、上側瞳検出画素１１４２Ｕ、及び下側瞳検出画素１１４２Ｄと、を備えている。左側瞳検出画素１１４２Ｌは、右半面の領域が遮光されている。また、右側瞳検出画素１１４２Ｒは、左半面の領域が遮光されている。上側瞳検出画素１１４２Ｕは、下半面の領域が遮光されている。さらに、下側瞳検出画素１１４２Ｄは、上半面の領域が遮光されている。図２では、実際の焦点検出用画素の画素構成毎に、対応する画素を同じように塗りつぶして示している。

図３は、焦点検出用画素を用いた位相差検出の原理について説明するための図である。図３において、焦点検出用画素は、参照符号４ａ、４ｂで示している。焦点検出用画素は、左側瞳検出画素１１４２Ｌと右側瞳検出画素１１４２Ｒとで１つの組をなし、上側瞳検出画素１１４２Ｕと下側瞳検出画素１１４２Ｄとで１つの組をなしている。焦点検出用画素４ａは、焦点検出用画素の組の一方であり、焦点検出用画素４ｂは、焦点検出用画素の組の他方である。図３は、焦点検出用画素４ａが焦点検出用画素４ａ１、４ａ２、４ａ３の３画素を含み、焦点検出用画素４ｂが焦点検出用画素４ｂ１、４ｂ２、４ｂ３の３画素を含む例を示している。焦点検出用画素４ａと焦点検出用画素４ｂを構成する画素の数は同数である必要があるが、３画素とする必要はない。また、図２において示したように、焦点検出用画素の間には撮像用画素が配置されているが、図３では図示を省略している。

組をなす焦点検出用画素は、撮影レンズ１０２の対をなす異なる瞳領域２ａ、２ｂから出射された光束１ａ、１ｂを受光できるよう、受光部の異なる領域が遮光部３ａ、３ｂによって遮光されている。例えば、図３の例では、焦点検出用画素４ａは、受光部の上側領域が遮光され、下側領域が露出している。一方、焦点検出用画素４ｂは、受光部の下側領域が遮光され、上側領域が露出している。

さらに、それぞれの画素の受光側には、マイクロレンズ５ａ、５ｂが配置されている。マイクロレンズ５ａは、撮影レンズ１０２の瞳領域２ａからの光束１ａを、遮光部３ａによって形成される開口を介して焦点検出用画素４ａに結像させる。また、マイクロレンズ５ｂは、撮影レンズ１０２の瞳領域２ｂからの光束１ｂを、遮光部３ｂによって形成される開口を介して焦点検出用画素４ｂに結像させる。

ここで、以下の説明のために、焦点検出用画素４ａからの画素出力をａ画素出力、焦点検出用画素４ｂからの画素出力をｂ画素出力とする。図４は、焦点検出用画素からの画素出力の例を示している。図４では、画素４ａ１〜４ａ３の出力であるａ画素出力をＤａで示し、画素４ｂ１〜４ｂ３の出力であるｂ画素出力はＤｂで示している。図４に示すように、ａ画素出力Ｄａとｂ画素出力Ｄｂとの間には、画素の配列方向に対して位相差ｆが生ずる。この位相差ｆが撮影レンズ１０２のフォーカスずれ量（デフォーカス量）に対応するものであり、デフォーカス量を算出することによって撮影レンズ１０２を合焦させることが可能である。ここで、位相差ｆの算出手法は、ａ画素出力Ｄａとｂ画素出力Ｄｂとの相関を求める手法が適用できる。この手法については、公知の技術であるので説明を省略する。

ここで、図２の撮像素子１１４は、カラーフィルタの配列がベイヤ配列の例を示しているが、カラーフィルタの配列は種々のものを用いることが可能である。

撮影光学系１０２及び撮像素子１１４とともに撮像部として機能する撮像素子ＩＦ回路１１６は、システムコントローラ１３０内のＣＰＵ１３０１の制御に従って、撮像素子１１４を駆動させる。また、撮像素子ＩＦ回路１１６は、システムコントローラ１３０内のＣＰＵ１３０１の制御に従って、撮像素子１１４で得られた画像信号を読み出し、読み出した画像信号に対してＣＤＳ（相関二重サンプリング）処理やＡＧＣ（自動利得制御）処理等のアナログ処理を施す。さらに、撮像素子ＩＦ回路１１６は、アナログ処理した画像信号をデジタル信号（以下、画像データという）に変換する。

ＲＡＭ１１８は、例えばＳＤＲＡＭであり、ワークエリア、追尾画像エリア、追尾色ログエリア、追尾データログエリア、焦点検出用画素位置データログエリアを記憶エリアとして有している。
ワークエリアは、撮像素子ＩＦ回路１１６で得られた画像データ等の、撮像装置１００の各部で発生したデータを一時記憶しておくためにＲＡＭ１１８に設けられた記憶エリアである。
追尾画像エリアは、追尾処理に必要な画像データを一時記憶しておくためにＲＡＭ１１８に設けられた記憶エリアである。追尾処理に必要な画像データは、評価画像データと参照画像データとがある。

追尾色ログエリアは、追尾色ログを一時記憶しておくためにＲＡＭ１１８に設けられた記憶エリアである。追尾色ログは、追尾処理の結果として得られた追尾位置の色情報を記録したログである。

追尾データログエリアは、追尾データログを一時記憶しておくためにＲＡＭ１１８に設けられた記憶エリアである。追尾データログは、追尾処理の結果として得られた追尾位置の位置データを記録したログである。

焦点検出用画素位置データログエリアは、焦点検出用画素位置データログを一時記憶しておくためにＲＡＭ１１８に設けられた記録エリアである。焦点検出用画素位置データログは、撮像素子１１４上の焦点検出用画素の位置データを記録したログである。

表示素子１２０は、例えば液晶ディスプレイ（ＬＣＤ）であり、ライブビュー用の画像及び記録メディア１２８に記録された画像等の各種の画像を表示する。表示素子駆動回路１２２は、システムコントローラ１３０のＣＰＵ１３０１から入力された画像データに基づいて表示素子１２０を駆動させ、表示素子１２０に画像を表示させる。

タッチパネル１２４は、表示素子１２０の表示画面上に一体的に形成されており、表示画面上へのユーザの指等の接触位置等を検出する。タッチパネル駆動回路１２６は、タッチパネル１２４を駆動するとともに、タッチパネル１２４からの接触検出信号をシステムコントローラ１３０のＣＰＵ１３０１に出力する。ＣＰＵ１３０１は、接触検出信号から、ユーザの表示画面上への接触操作を検出し、その接触操作に応じた処理を実行する。

記録メディア１２８は、例えばメモリカードであり、撮影動作によって得られた画像ファイルが記録される。画像ファイルは、画像データに所定のヘッダを付与して構成されるファイルである。ヘッダには、撮影条件を示すデータ及び追尾位置を示すデータ等が、タグデータとして記録される。

システムコントローラ１３０は、撮像装置１００の動作を制御するための制御回路として、ＣＰＵ１３０１と、ＡＦ制御回路１３０２と、ＡＥ制御回路１３０３と、画像処理回路１３０４と、追尾処理回路１３０５、１３０６と、顔検出回路１３０７と、焦点検出情報取得回路１３０８と、メモリ制御回路１３０９と、を有している。

ＣＰＵ１３０１は、焦点調整機構１０４、絞り駆動機構１０８、シャッタ駆動機構１１２、表示素子駆動回路１２２、タッチパネル駆動回路１２６等のシステムコントローラ１３０の外部の各ブロック、及びシステムコントローラ１３０の内部の各制御回路の動作を制御する制御部である。

ＡＦ制御回路１３０２は、位相差ＡＦ処理を制御する。具体的には、ＡＦ制御回路１３０２は、焦点検出情報取得回路１３０８で得られた焦点検出情報としてのデフォーカス量に従って焦点調整機構１０４を制御してフォーカスレンズを合焦状態とする。また、ＡＦ制御回路１３０２は、コントラストＡＦ処理を制御する。具体的には、ＡＦ制御回路１３０２は、撮像素子ＩＦ回路１１６で得られた画像データの高周波成分を抽出し、この抽出した高周波成分を積算することにより、ＡＦ用の合焦評価値をＡＦエリア毎に取得する。ＣＰＵ１３０１は、この合焦評価値に従って画像データのコントラストを評価しつつ、焦点調整機構１０４を制御してフォーカスレンズを合焦状態とする。

ＡＥ制御回路１３０３は、ＡＥ動作を制御する。具体的には、ＡＥ制御回路１３０３は、撮像素子ＩＦ回路１１６で得られた画像データを用いて被写体輝度を算出する。ＣＰＵ１３０１は、この被写体輝度に従って、露光時の絞り１０６の開口量（絞り値）、シャッタ１１０の開放時間（シャッタ速度値）、撮像素子感度やＩＳＯ感度等を算出する。

画像処理回路１３０４は、画像データに対する各種の画像処理を行う。この画像処理としては、色補正処理、ガンマ（γ）補正処理、圧縮処理等が含まれる。また、画像処理回路１３０４は、圧縮されている画像データに対する伸張処理も施す。

追尾処理回路１３０５は、画像データの輝度情報を用いた追尾処理を行う。また、追尾処理回路１３０５は、領域設定部及び相関算出部としても機能する。

輝度情報を用いた追尾処理について簡単に説明する。輝度情報を用いた追尾処理では、例えば、図５（ａ）に示す（Ｎ−１）フレームにおいて追尾対象が設定された場合、この（Ｎ−１）フレームの中の追尾対象を含む所定領域２０２の画像データを、評価画像データとしてＲＡＭ１１８の追尾画像エリアに記憶する。この後の追尾処理では、参照画像データにおける評価画像データ２０２と対応する部分を探索する。
Ｎフレームの追尾処理を例に示すと、まず、Ｎフレームの画像データを、参照画像データとしてＲＡＭ１１８の追尾画像エリアに記憶する。この参照画像データのうちの所定の追尾エリア２０４の画像データと評価画像データ２０２との画像相関度を求めることにより、参照画像データの評価画像データ２０２と対応する部分を探索する。画像相関度は、例えば評価画像データと参照画像データとの差分絶対値和（画素毎に輝度差の絶対値を求めてそれを積算したもの）から判定する。例えば、図５（ｂ）に示す参照画像データのエリア２０６の参照画像データと評価画像データ２０２との差分絶対値和を求めたとすると、参照画像データのエリア２０６と評価画像データ２０２とは明らかに異なる画像データであり、差分絶対値和が大きくなる。これに対し、参照画像データのエリア２０８と評価画像データ２０２との差分絶対値和を求めたとすると、差分絶対値和が小さくなる。このように、評価画像データ２０２との画像相関度が大きくなるに従って差分絶対値和が小さくなる。輝度情報を用いた追尾処理では、画像相関度が最大の、即ち差分絶対値和が最小のエリアを参照画像データから探索する。図５（ｂ）の例では、エリア２０８となる。なお、追尾データログエリアには、エリア２０８の中で最も一致度の高い位置を追尾位置として記録する。このような位置が複数ある場合には、例えば、エリア２０８の中心に近い位置を追尾位置とする。次回の追尾処理時には、この追尾位置を追尾処理の開始位置とすることが望ましい。これにより、追尾処理にかかる時間を軽減することが可能である。

追尾処理回路１３０６は、画像データの色情報を用いた追尾処理を行う。また、追尾処理回路１３０６は、領域設定部及び相関算出部としても機能する。

色情報を用いた追尾処理について簡単に説明する。色情報を用いた追尾処理では、評価画像データ内で設定された色と同色であると判定できるエリアである類似色エリアを探索する。図６（ａ）に示すように、（Ｎ−１）フレームにおいて、被写体のある位置３０２が指定された場合、この位置３０２を含む画像データを評価画像データとし、この評価画像データの位置３０２の色情報を取得する。そして、参照画像データ中で、評価画像データから取得した色情報と最も類似の色情報を有する位置３０２を追尾処理の開始位置として、位置３０２と同じ色情報を有するエリアを探索する。具体的には、位置３０２を開始位置から周辺に向かうように順次色情報を取得し、取得した色情報が位置３０２の色情報と同一であると判定できる場合にはエリアに含め、取得した色情報が位置３０２の色情報と同一であると判定できない場合にはエリアに含めない。このようにして類似色エリアを探索すると、例えば、図６（ａ）に示すような単色の被写体の場合、被写体に内接する矩形エリア３０４が類似色エリアとなる。また、追尾位置ログエリアに記録する追尾位置は、例えば類似色エリア３０４の重心位置（図６（ａ）の例では、位置３０２と同じ）とする。次回の追尾処理においては、この追尾位置を追尾処理の開始位置とする。

Ｎフレームの追尾処理を例に示すと、図６（ｂ）に示す参照画像データとして記憶したＮフレームの画像データの所定の追尾エリアの中で、（Ｎ−１）フレームの追尾位置３０２を追尾処理の開始位置とし、追尾位置３０２の周辺から順次、類似色エリア３０４の色と同色であると判定できるエリアを類似色エリアとして探索する。図６（ｂ）の例では、エリア３０６が類似色エリアとなる。

顔検出回路１３０７は、画像データにおける被写体（人物）の顔を検出する。また、顔検出回路１３０７は、領域設定部及び相関算出部としても機能する。

顔検出処理を用いた追尾処理について簡単に説明する。顔検出処理においては、各フレームで得られる画像データと、図７（ａ）に示すような顔パーツ４０２、４０４、４０６との画像相関度を求める。顔パーツ４０２は、人物の鼻部周辺の陰影のパターンに対応した画像データであり、顔パーツ４０４は、人物の目部周辺の陰影のパターンに対応した画像データであり、顔パーツ４０６は、人物の口部周辺の陰影のパターンに対応した画像データである。画像データと顔パーツ４０２、４０４、４０６との画像相関度は、図７（ｂ）に示すような、人物の顔を示す所定の配置となったときに最大となる。このとき、顔パーツ４０２、４０４、４０６を含むエリア４０８に顔が存在しているとする。なお、顔パーツ４０２、４０４、４０６は予め設定した検索顔の大きさに応じて、大きさを変えても良い。ここで、図７（ｂ）では、顔エリアを矩形エリアとしているが、円形エリアとしても良い。

焦点検出情報取得回路１３０８は、焦点検出用画素からの画素出力を用いて焦点検出情報としてのデフォーカス量を算出する。デフォーカス量の算出手法については図３及び図４を参照して説明した手法を用いる。

メモリ制御回路１３０９は、ＣＰＵ１３０１等が、ＲＡＭ１１８、記録メディア１２８、ＲＯＭ１３４にアクセスするための制御を行うインターフェイスである。

操作部１３２は、ユーザによって操作される各種の操作部材である。操作部１３２としては、例えば、レリーズ釦、動画釦、モードダイヤル、選択キー、電源釦等が含まれる。
レリーズボタン釦は、１ｓｔレリーズスイッチと、２ｎｄレリーズスイッチと、を有している。１ｓｔレリーズスイッチは、ユーザがレリーズ釦を半押しするとオンするスイッチである。１ｓｔレリーズスイッチがオンすることにより、ＡＦ処理等の撮影準備動作が行われる。また、２ｎｄレリーズスイッチは、ユーザがレリーズ釦を全押しするとオンするスイッチである。２ｎｄレリーズスイッチがオンすることにより、静止画撮影用の露光動作が行われる。
動画釦は、動画撮影の開始又は終了を指示するための操作部材である。ユーザによって動画釦が押されると動画撮影処理が開始される。また、動画撮影処理の実行中に動画釦が押されると、動画撮影処理が終了される。
モードダイヤルは、撮像装置の撮影設定を選択するための操作部材である。本実施形態では、撮像装置の撮影設定として、例えば、静止画撮影モードと動画撮影モードを選択できる。静止画撮影モードは、静止画像を撮影するための撮影設定である。また、動画撮影モードは、動画像を撮影するための撮影設定である。
選択キーは、例えばメニュー画面上での項目の選択や決定をするための操作部材である。ユーザによって選択キーが操作されるとメニュー画面上での項目の選択や決定が行われる。
電源釦は、撮像装置の電源をオン又はオフするための操作部材である。ユーザによって電源釦が操作されると、撮像装置１００が起動して動作可能な状態となる。撮像装置が起動している間に電源釦が操作されると、撮像装置１００が省電力待機状態となる。

ＲＯＭ１３４は、ＣＰＵ１３０１が種々の処理を実行するためのプログラムコードを記憶している。また、ＲＯＭ１３４は、撮影光学系１０２、絞り１０６、及び撮像素子１１４等の動作に必要な制御パラメータ、並びに画像処理回路１３０４での画像処理に必要な制御パラメータ等の、各種の制御パラメータを記憶している。さらには、ＲＯＭ１３４は、顔検出回路１３０７における顔検出に用いられる顔パーツのデータや追尾枠を表示するためのデータ等も記憶している。

次に、本実施形態に係る撮像装置の動作について説明する。図８は、撮像装置１００の撮影動作を示すフローチャートである。ＣＰＵ１３０１は、ＲＯＭ１３４から必要なプログラムコードを読み込んで図８の動作を制御する。

Ｓ１００において、ＣＰＵ１３０１は、現在の撮像装置１００の撮影設定が静止画撮影モードであるかを判定する。前述したように、撮影設定は、モードダイヤルによって設定される。

Ｓ１００において、撮影設定が静止画撮影モードであると判定した場合に、Ｓ１０２において、ＣＰＵ１３０１は、ライブビュー動作を開始させる。ライブビュー動作として、ＣＰＵ１３０１は、シャッタ駆動機構１１２を制御してシャッタ１１０を開放した後、ＣＰＵ１３０１は、撮像素子ＩＦ回路１１６を制御して撮像素子１１４による撮像を開始させる。その後、ＣＰＵ１３０１は、撮像素子１１４による撮像の結果としてＲＡＭ１１８のワークエリアに記憶された画像データを画像処理回路１３０４に入力してライブビュー表示用の画像処理を施す。続いて、ＣＰＵ１３０１は、ライブビュー表示用の画像処理がされた画像データを表示素子駆動回路１２２に入力し、表示素子１２０に画像を表示させる。このような表示動作を繰り返し実行することにより、被写体の画像を動画表示する。この動画表示により、ユーザは、被写体を観察することが可能である。

Ｓ１０４において、ＣＰＵ１３０１は、１ｓｔレリーズスイッチがオンされたかを判定する。Ｓ１０４において、１ｓｔレリーズスイッチがオンされたと判定するまでは、ＣＰＵ１３０１は、ライブビュー動作を継続する。

また、Ｓ１０４において、１ｓｔレリーズスイッチがオンされたと判定した場合に、Ｓ１０６において、ＣＰＵ１３０１は、レリーズＡＦ処理を行う。レリーズＡＦにおいては、スキャン駆動によって、フォーカスレンズを合焦位置まで駆動させる。スキャン駆動では、ＣＰＵ１３０１は、焦点調整機構１０４を制御して、フォーカスレンズを所定のスキャン範囲内で一方向に駆動させつつ、ＡＦ制御回路１３０２で順次算出される合焦評価値を評価する。そして、ＣＰＵ１３０１は、合焦評価値の評価の結果、コントラストが最大となるレンズ位置において、フォーカスレンズの駆動を停止させる。このようなスキャン駆動は、ＡＦ前のフォーカスレンズの位置と合焦位置との差が大きい場合に行われる。なお、Ｓ１０６において、レリーズＡＦ処理の代わりに位相差ＡＦ処理を行うようにしても良い。

Ｓ１０８において、ＣＰＵ１３０１は、表示素子駆動回路１２２を制御して、表示素子１２０に追尾枠を表示させる。ここで、追尾枠は、表示素子１２０の画面上の追尾対象の位置に表示させる。例えば、レリーズＡＦで合焦した被写体を追尾対象とし、その被写体に追尾枠を表示させるようにしても良いし、顔検出回路１３０７によって顔が検出された場合には、その顔に追尾枠を表示させるようにしても良い。さらに、タッチパネル１２４により、表示素子１２０の画面上に表示された被写体が指定された場合には、その被写体上に追尾枠を表示させるようにしても良い。

Ｓ１１０において、ＣＰＵ１３０１は、追尾処理を行う。輝度情報を用いた追尾処理を行うのか、色情報を用いた追尾処理を行うのか、顔検出を用いた追尾処理を行うのかは予め設定されているものである。複数の追尾処理を併用しても良い。それぞれの追尾処理の詳細については後で詳しく説明する。
Ｓ１１２において、ＣＰＵ１３０１は、追尾位置の被写体に合焦するようにＡＦ処理を行うとともに、追尾位置の被写体の露光が適正となるようにＡＥ処理を行う。
追尾処理後のＡＦ処理においては、スキャン駆動又はウォブリング駆動によって、フォーカスレンズを合焦位置まで駆動させる。ウォブリング駆動では、ＣＰＵ１３０１は、フォーカスレンズを駆動したときにＡＦ制御回路１３０２で算出された合焦評価値が、前回のレンズ位置での合焦評価値に対して増加したかを判定する。そして、ＣＰＵ１３０１は、合焦評価値が増加した場合には前回と同方向にフォーカスレンズを微小駆動させ、合焦評価値が減少した場合には前回と逆方向にフォーカスレンズを微小駆動させる。このような動作を高速で繰り返してフォーカスレンズを徐々に合焦位置まで駆動させる。なお、Ｓ１１２において、コントラストＡＦ処理の代わりに位相差ＡＦ処理を行うようにしても良い。

また、ＡＥ処理において、ＣＰＵ１３０１は、ＡＥ制御回路１３０３で算出された追尾位置の被写体の輝度を予め定められた適正な量（適正露光量）とする、本露光時の絞り１０６の開口量（絞り値）、シャッタ１１０の開放時間（シャッタ速度値）を算出する。

Ｓ１１４において、ＣＰＵ１３０１は、２ｎｄレリーズスイッチがオンされたかを判定する。Ｓ１１４において、２ｎｄレリーズスイッチがオンされていないと判定した場合に、ＣＰＵ１３０１は、Ｓ１１０の追尾処理以後の処理を実行する。このように、静止画撮影モード時には、２ｎｄレリーズスイッチがオンされるまでは、追尾処理が継続される。

また、Ｓ１１４において、２ｎｄレリーズスイッチがオンされたと判定した場合に、Ｓ１１６において、ＣＰＵ１３０１は、表示素子駆動回路１２２を制御して、追尾枠を非表示とする。

Ｓ１１８において、ＣＰＵ１３０１は、静止画像データを記録メディア１２８に記録する処理を行う。この際、ＣＰＵ１３０１は、シャッタ駆動機構１１２を制御して、シャッタ１１０を閉じる。その後、ＣＰＵ１３０１は、絞り駆動機構１０８を制御して、絞り１０６を先に算出した絞り値まで絞り込む。続いて、ＣＰＵ１３０１は、シャッタ駆動機構１１２を制御して、シャッタ１１０を先に算出した開放時間だけ開放しつつ、撮像素子１１４による撮像（露光）を行う。その後、ＣＰＵ１３０１は、撮像素子１１４を介して得られた静止画像データを画像処理回路１３０４において処理する。そして、ＣＰＵ１３０１は、画像処理回路１３０４において処理された静止画像データにヘッダを付与して静止画像ファイルを生成し、生成した静止画像ファイルを記録メディア１２８に記録する。
Ｓ１２０において、ＣＰＵ１３０１は、Ｓ１１０の追尾処理の結果として得られた追尾位置を示すデータを、先に記録メディア１２８に記録した静止画像ファイルに追記する。その後に、ＣＰＵ１３０１は、図８に示す動作を終了させる。

また、Ｓ１００において、撮影設定が動画撮影モードであると判定した場合に、Ｓ１２２において、ＣＰＵ１３０１は、ライブビュー動作を開始させる。

Ｓ１２４において、ＣＰＵ１３０１は、動画釦がオンされたかを判定する。Ｓ１２４において、動画釦がオンされたと判定するまでは、ＣＰＵ１３０１は、ライブビュー動作を継続する。

また、Ｓ１２４において、動画釦がオンされたと判定した場合に、Ｓ１２６において、ＣＰＵ１３０１は、表示素子駆動回路１２２を制御して、表示素子１２０に追尾枠を表示させる。

Ｓ１２８において、ＣＰＵ１３０１は、追尾処理を行う。この追尾処理の詳細については、後述する。

Ｓ１３０において、ＣＰＵ１３０１は、追尾位置の被写体に合焦するようにＡＦ処理を行うともに、追尾位置の被写体の露光が適正となるようにＡＥ処理を行う。

Ｓ１３２において、ＣＰＵ１３０１は、動画像データを記録メディア１２８に記録する処理を行う。この際、ＣＰＵ１３０１は、絞り駆動機構１０８を制御して、絞り１０６をＡＥ処理において算出した絞り値まで絞り込む。続いて、ＣＰＵ１３０１は、ＡＥ処理において算出したシャッタ速度値に対応した時間だけ撮像素子１１４による撮像（露光）を実行させる。露光の終了後、ＣＰＵ１３０１は、動画像ファイルを生成して記録メディア１２８に記録する。また、ＣＰＵ１３０１は、撮像素子１１４を介して得られた動画像データを画像処理回路１３０４において処理し、画像処理回路１３０４において処理された動画像データを動画像ファイルに記録する。

Ｓ１３４において、ＣＰＵ１３０１は、Ｓ１２８の追尾処理の結果として得られた追尾位置を示すデータを、先に記録メディア１２８に記録した動画像ファイルと同時記録する。

Ｓ１３６において、ＣＰＵ１３０１は、動画釦がオフされたかを判定する。Ｓ１３６において、動画釦がオフされていないと判定した場合に、ＣＰＵ１３０１は、Ｓ１２８の追尾処理以後の処理を実行する。このように、動画撮影モード時では、動画釦がオフされるまでは、追尾処理と動画像データの記録が継続される。

また、Ｓ１３６において、動画釦がオフされたと判定した場合に、Ｓ１３８において、ＣＰＵ１３０１は、表示素子駆動回路１２２を制御して、追尾枠を非表示とする。その後、ＣＰＵ１３０１は、図８に示す動作を終了させる。

次に、本実施形態における追尾処理について説明する。図９は、輝度情報を利用した追尾処理について示すフローチャートである。図９の処理は、追尾処理回路１３０５が主体となって行われる。ここで、輝度情報を利用した追尾処理においては、評価画像データを取得しておく必要がある。評価画像データは、追尾枠の表示時において取得されて画像記憶部としての追尾画像エリアに記録されている。また、追尾エリアの大きさは、追尾処理回路１３０５により予め設定されている。

Ｓ２００において、追尾処理回路１３０５は、撮像素子ＩＦ回路１１６を制御して撮像素子１１４による撮像を実行する。Ｓ２０２において、追尾処理回路１３０５は、撮像素子１１４による撮像により、撮像素子ＩＦ回路１１６において得られた画像データをＲＡＭ１１８に取り込む。

Ｓ２０４において、追尾処理回路１３０５は、撮像素子１１４上の焦点検出用画素の位置（座標）を示すデータをＲＡＭ１１８の焦点検出用画素位置データログエリアに記録する。通常は焦点検出用画素の位置は変化しないものである。したがって、Ｓ２０４の処理を省略し、焦点検出用画素の位置データを固定値として予め記録しておいても良い。

Ｓ２０６において、追尾処理回路１３０５は、画像相関度を算出する際の参照画像データの画素毎の重み付けデータを更新する。本実施形態においては、参照画像データと評価画像データとにそれぞれ重み付けを行った上で画像相関度を算出する。Ｓ２０６は、参照画像データの重み付け量を更新する処理である。初回の追尾処理の重み付け係数は、固定値としておく。例えば、焦点検出用画素の位置の重み付け係数を０．５とし、撮像用画素の位置の重み付け係数を１．０としておく。

重み付け量の更新の考え方を、図２を参照して説明する。本実施形態においては、追尾対象の存在する領域における焦点検出用画素の影響度に応じて重み付け量を更新する。焦点検出用画素の画素データは、撮像用画素の画素データと同じようには追尾処理に用いることができない。このため、後述のＳ２０８において補間処理を行う。しかしながら、補間処理を行ったとしても追尾処理の精度低下は生じてしまう。したがって、焦点検出用画素の画素データを多く含む場合には重み付け量を小さくして、焦点検出用画素の影響を小さくする。例えば、ある追尾処理における追尾エリアが図２の範囲１１４３であり、別の追尾処理における追尾エリアが図２の範囲１１４４であるとする。追尾エリア１１４３は、焦点検出用画素の画素データを６個含んでいる。一方、追尾エリア１１４４は、焦点検出用画素の画素データを２個含んでいる。この場合、追尾エリア１１４３内で追尾処理を行うほうが、追尾エリア１１４４内で追尾処理をよりも焦点検出用画素の画素データの影響が大きくなる。したがって、追尾エリア１１４３における焦点検出用画素の画素データに対する重み付け量を、追尾エリア１１４４における焦点検出画素の画素データに対する重み付け量よりも小さくすることで焦点検出用画素の画素データの影響を小さくする。

このように、追尾エリアに含まれる焦点検出用画素の数に応じて、焦点検出用画素の画素データに重み付けすることにより、追尾精度を向上させることができる。

なお、追尾エリアの全体の画素数に対して焦点検出用画素の数が十分に小さい場合には、重み付け量を変更する必要はない。

また、追尾エリアに焦点検出用画素の数が同数であっても、追尾エリアの画素数（大きさ）に応じて、重み付けの設定を変更することも有効である。具体的には、追尾エリアの画素数が少ない場合は、焦点検出用画素の画素データの影響はより大きいので、重み付け量をより小さくする。これにより、追尾精度を向上させることができる。

Ｓ２０８において、追尾処理回路１３０５は、焦点検出用画素位置データログエリアに記録された焦点検出用画素の位置（座標）データから、参照画像データと評価画像データとにおける焦点検出用画素の画素データを、その周辺の撮像用画素の画素データを用いて補間する。補間の手法は特に限定されるものではない。例えば、焦点検出用画素の周辺の撮像用画素の画素データを加算平均したものを補間後の画素データとする。この他、周辺の撮像用画素の画素データを重み付け加算平均しても良いし、積算処理しても良い。

Ｓ２１０において、追尾処理回路１３０５は、参照画像データと評価画像データとの画像相関度としてのＳＡＤ（Sum of Absolute Difference：差分絶対値和）を算出する。本実施形態における輝度情報を用いた追尾処理においては、以下の（式１）に従ってＳＡＤを算出する。

ここで、（式１）のＭは、評価画像データの水平方向のサイズ（画素数）を示し、Ｎは、評価画像データの垂直方向のサイズ（画素数）を示している。α（ｉ，ｊ）は、評価画像データにおける座標（ｉ，ｊ）の画素データに対する重み付けデータを示している。β（ｉ，ｊ）は、参照画像データにおける座標（ｉ，ｊ）の画素データに対する重み付けデータを示している。α及びβは、０≦α≦１及び０≦β≦１の範囲を取り得るものであって、０の場合にはその位置の画素データを全く用いないことを示し、１の場合にはその位置の画素データをそのまま用いることを示す。また、Ｉ（ｉ，ｊ）は、評価画像データにおける座標（ｉ，ｊ）の画素データを示している。さらに、Ｔ（ｉ，ｊ）は、参照画像データにおける座標（ｉ，ｊ）の画素データを示している。

Ｓ２１２において、追尾処理回路１３０５は、ＳＡＤが最も小さくなる参照画像データ内の座標（ｉ，ｊ）を検出し、この座標（ｉ，ｊ）を追尾位置とする。

Ｓ２１４において、追尾処理回路１３０５は、追尾位置の信頼性を判断する。追尾位置の信頼性は、例えば参照画像データの各画素のデータから判断する。具体的には、参照画像データに設定された追尾エリアの隣接画素間の差分和が所定値以下である場合には、信頼性があると判断する。

Ｓ２１６において、追尾処理回路１３０５は、追尾位置に応じて評価画像データを更新する。更新後の評価画像データは、Ｓ２１２で決定された追尾位置を含む所定領域の画像データとする。ただし、Ｓ２１４において信頼性が低いと判断された場合には、評価画像データを更新しなくとも良い。

Ｓ２１８において、追尾処理回路１３０５は、画像相関度を算出する際の評価画像データの画素毎の重み付けデータを更新する。評価画像データの重み付けデータの更新も参照画像データと同様にして行うことができる。参照画像データの場合と異なる点は、焦点検出用画素の数を判断する範囲が、追尾エリア内でなく評価画像データの全体となるだけである。

Ｓ２２０において、追尾処理回路１３０５は、追尾位置を、ＲＡＭ１１８の追尾位置ログエリアに記録する。次回（次フレーム）の追尾処理においては、この追尾位置を追尾処理の開始位置とする。ただし、Ｓ２１４の信頼性判断において信頼性がないと判断された場合には、追尾位置を記録しないようにしても良い。

Ｓ２２２において、追尾処理回路１３０５は、表示素子駆動回路１２２を制御して、追尾枠の表示位置をＳ２２０で記録した追尾位置に対応した位置に更新する。その後、追尾処理回路１３０５は、図９の追尾処理を終了させる。

例えば、図１０に示すような９個の焦点検出用画素Ｂを有する評価画像データＡを用いて、図１１に示す参照画像データＣ内で輝度情報を用いた追尾処理を行うとする。参照画像データＣには、７２個の焦点検出画素Ｄが含まれている。前述したように、輝度情報を用いた追尾処理では、評価画像データＡと参照画像データＣとのＳＡＤを求め、ＳＡＤが最も小さい位置を追尾位置とする。

一般に、焦点検出用画素の画素データは、撮像用画素の画素データよりも低輝度の画素データとなる。このような撮像用画素と焦点検出用画素との違いを補正するために、Ｓ２０８において画素補間を行う。しかしながら、画素補間を行ったとしても、画素補間による誤差のため、補間後の焦点検出用画素の画素データをそのまま追尾処理に用いてしまうと追尾位置の精度低下に繋がる。

本実施形態では、焦点検出用画素の追尾処理の精度に与える影響度を鑑み、焦点検出用画素の画素データの重み付け量を撮像用画素の画素データの重み付け量よりも小さくしてＳＡＤを求めることにより、焦点検出用画素の追尾処理の精度に与える影響度を小さくする。即ち、図１１の焦点検出画素Ｄの位置のＳＡＤを求める際には、重み付け量を１．０よりも小さくする。

ここで、図９の例では、画素データに重み付けを行ってからＳＡＤを算出するようにしているが、ＳＡＤを算出してから算出したＳＡＤに対して重み付けを行うようにしても良い。

図１２は、色情報を利用した追尾処理について示すフローチャートである。図１２の処理は、追尾処理回路１３０６が主体となって行われる。ここで、輝度情報を利用した追尾処理と同様、色情報を利用した追尾処理においても、評価画像データを追尾画像エリアに記憶させておく必要がある。また、追尾エリアの大きさも、追尾処理回路１３０６により予め設定されている。

Ｓ３００において、追尾処理回路１３０６は、撮像素子ＩＦ回路１１６を制御して撮像素子１１４による撮像を実行する。Ｓ３０２において、追尾処理回路１３０６は、撮像素子１１４による撮像により、撮像素子ＩＦ回路１１６において得られた画像データをＲＡＭ１１８に取り込む。

Ｓ３０４において、追尾処理回路１３０６は、撮像素子１１４上の焦点検出用画素の位置（座標）を示すデータをＲＡＭ１１８の焦点検出用画素位置データログエリアに記録する。通常は焦点検出用画素の位置は変化しないものである。したがって、Ｓ３０４の処理を省略し、焦点検出用画素の位置データを固定値として予め記録しておいても良い。

Ｓ３０６において、追尾処理回路１３０６は、画像相関度を算出する際の参照画像データの画素毎の重み付けデータを更新する。Ｓ３０６の具体的な処理はＳ２０６と同様で良い。

Ｓ３０８において、追尾処理回路１３０６は、焦点検出用画素位置データログエリアに記録された焦点検出用画素の位置（座標）データから、参照画像データと評価画像データとにおける焦点検出用画素の画素データを、その周辺の撮像用画素の画素データを用いて補間する。補間の手法はＳ２０８と同様で良い。

Ｓ３１０において、追尾処理回路１３０６は、追尾色の色情報と最類似の色情報を有する画素の位置（座標）を、参照画像データの中から探索する。なお、初回の探索時には、評価画像データから取得した色情報を追尾色の色情報とする。次回以降の探索時には、Ｓ３１８で更新された色情報を用いる。なお、色情報は、ＲＧＢデータ又はＳＵＶデータ等、特に限定されるものではない。

Ｓ３１２において、追尾処理回路１３０６は、最類似色の画素を含み且つ最類似色の画素と類似する色情報を有するエリアを類似色エリアとして探索する。類似色エリアの探索処理の詳細については後で詳しく説明する。

Ｓ３１４において、追尾処理回路１３０６は、類似色エリアの重心位置を追尾位置とする。

Ｓ３１６において、追尾処理回路１３０６は、追尾位置の信頼性を判断する。追尾位置の信頼性は、例えば参照画像データの各画素の彩度から判断する。具体的には、参照画像データの追尾位置の彩度が所定値以上である場合には、信頼性があると判断する。

Ｓ３１８において、追尾処理回路１３０６は、追尾色情報を更新する。更新後の追尾色データは、新たな追尾位置の色情報とする。ただし、Ｓ３１６において信頼性が低いと判断された場合には、追尾色情報を更新しなくとも良い。

Ｓ３２０において、追尾処理回路１３０６は、追尾位置を、ＲＡＭ１１８の追尾位置ログエリアに記録する。次回（次フレーム）の追尾処理においては、この追尾位置を追尾処理の開始位置とする。ただし、Ｓ３１６の信頼性判断において信頼性がないと判断された場合には、追尾位置を記録しないようにしても良い。

Ｓ３２２において、追尾処理回路１３０６は、表示素子駆動回路１２２を制御して、追尾枠の表示位置をＳ３２０で記録した追尾位置に対応した位置に更新する。その後、追尾処理回路１３０６は、図１２の追尾処理を終了させる。

図１３は、類似色エリアの探索処理について示すフローチャートである。Ｓ４００において、追尾処理回路１３０６は、類似色エリアを参照画像データの上下左右斜め方向に１画素拡大する。最初は、最類似色を有する画素から上下左右斜め方向に１画素拡大し、次回以降は、拡大後の類似色エリアをさらに上下左右斜め方向に拡大していく。

Ｓ４０２において、追尾処理回路１３０６は、最類似色を有する画素の色情報と拡大後の画素の色情報との画像相関度としての類似度を算出する。類似度は、以下の（式２）で表される。

ここで、（式２）のＭは、拡大後の類似色エリアの水平方向のサイズ（画素数）を示し、Ｎは、拡大後の類似色エリアの垂直方向のサイズ（画素数）を示している。α（ｉ，ｊ）は、参照画像データにおける座標（ｉ，ｊ）の画素データに対する重み付けデータを示している。αは、０≦α≦１の範囲を取り得るものであって、０の場合にはその位置の画素データを全く用いないことを示し、１の場合にはその位置の画素データをそのまま用いることを示す。また、Ｉは、追尾色の色情報を示している。さらに、Ｔ（ｉ，ｊ）は、参照画像データにおける座標（ｉ，ｊ）の色情報を示している。

Ｓ４０４において、追尾処理回路１３０６は、Ｓ４０２において算出した類似度が所定の閾値を超えているか否かを判定する。

ステップＳ４０４において、類似度が閾値を超えていない場合には、拡大後の類似色エリアの色情報が最類似色と類似していることを示す。この場合、追尾処理回路１３０６は、処理をＳ４００に戻して類似色エリアをさらに拡大する。

Ｓ４０４において、類似度が閾値を超えている場合には、拡大後の類似色エリアの色情報が最類似色と類似していないことを示す。この場合には、拡大後の画素を類似色エリアには含めないようにする。この場合、追尾処理回路１３０６は、図１３の処理を終了して類似色エリアの探索を終了する。

例えば、図１０に示す評価画像データＡを用いて、図１４に示す参照画像データＥ内で色情報を用いた追尾処理を行うとする。前述したように、色情報を用いた追尾処理では、最類似色の画素を含み且つ最類似色の画素と類似する色情報を有するエリアを参照画像データＥから探索する。例えば追尾色の画素が画素Ｆであるとすると、この画素Ｆを中心にして上下左右斜め方向に１画素ずつ類似色エリアを拡大しながら拡大後の画素と画素Ｆとの色情報の類似度を算出する。

ここで、前述したように、焦点検出用画素の画素データは、撮像用画素の画素データよりも低輝度の画素データとなる。また、焦点検出用画素にはカラーフィルタを配置しない場合が多く、色情報が得られない場合がある。このような撮像用画素と焦点検出用画素との違いを補正するために、Ｓ３０８において画素補間を行う。しかしながら、画素補間を行ったとしても、画素補間による誤差のため、補間後の焦点検出用画素の画素データをそのまま追尾処理に用いてしまうと追尾位置の精度低下に繋がる。

本実施形態では、焦点検出用画素の追尾処理の精度に与える影響度を鑑み、焦点検出用画素の画素データの重み付け量を撮像用画素の画素データの重み付け量よりも小さくして類似色エリアを探索することにより、焦点検出用画素の追尾処理の精度に与える影響度を小さくする。即ち、図１４の拡大後の類似色エリアに焦点検出画素Ｇが含まれる場合には、画素データの重み付け量を１．０よりも小さくする。

ここで、図１３の例では、画素データに重み付けを行ってから類似度を算出するようにしているが、類似度に対して重み付けを行うようにしても良い。

図１５は、顔検出を利用した追尾処理について示すフローチャートである。図１５の処理は、顔検出回路１３０７が主体となって行われる。ここで、顔情報を利用した追尾処理においては、必ずしも評価画像データを取得しておく必要はない。ただし、追尾エリアの大きさは、顔検出回路１３０７により予め設定されている。

Ｓ５００において、顔検出回路１３０７は、撮像素子ＩＦ回路１１６を制御して撮像素子１１４による撮像を実行する。Ｓ５０２において、顔検出回路１３０７は、撮像素子１１４による撮像により、撮像素子ＩＦ回路１１６において得られた画像データをＲＡＭ１１８に取り込む。

Ｓ５０４において、顔検出回路１３０７は、撮像素子１１４上の焦点検出用画素の位置（座標）を示すデータをＲＡＭ１１８の焦点検出用画素位置データログエリアに記録する。通常は焦点検出用画素の位置は変化しないものである。したがって、Ｓ５０４の処理を省略し、焦点検出用画素の位置データを固定値として予め記録しておいても良い。

Ｓ５０６において、顔検出回路１３０７は、顔パーツとの類似度を算出する際の参照画像データの画素毎の重み付けデータを更新する。Ｓ５０６の具体的な処理はＳ２０６と同様で良い。

Ｓ５０８において、顔検出回路１３０７は、焦点検出用画素位置データログエリアに記録された焦点検出用画素の位置（座標）データから、参照画像データと評価画像データとにおける焦点検出用画素の画素データを、その周辺の撮像用画素の画素データを用いて補間する。補間の手法はＳ２０８と同様で良い。

Ｓ５１０において、顔検出回路１３０７は、参照画像データに対して顔検出を行い、顔検出位置を参照画像データの中から探索する。顔検出位置の探索処理の詳細については後で詳しく説明する。

Ｓ５１２において、顔検出回路１３０７は、最大のサイズを有する顔検出位置を追尾位置とする。

Ｓ５１４において、顔検出回路１３０７は、追尾位置の信頼性を判断する。追尾位置の信頼性は、例えば輝度情報の追尾処理と同様、参照画像データ中の顔検出位置の隣接画素間の差分和が所定値以下である場合には、信頼性があると判断する。

Ｓ５１６において、顔検出回路１３０７は、追尾位置を、ＲＡＭ１１８の追尾位置ログエリアに記録する。次回（次フレーム）の追尾処理においては、この追尾位置を追尾処理の開始位置とする。ただし、Ｓ５１４の信頼性判断において信頼性がないと判断された場合には、追尾位置を記録しないようにしても良い。

Ｓ５１８において、顔検出回路１３０７は、表示素子駆動回路１２２を制御して、追尾枠の表示位置をＳ５１６で記録した追尾位置に対応した位置に更新する。その後、顔検出回路１３０７は、図１５の追尾処理を終了させる。

図１６は、顔検出位置の探索処理について示すフローチャートである。Ｓ６００において、顔検出回路１３０７は、参照画像データと顔パーツとの画像相関度としての類似度を算出する。類似度は、例えば参照画像データの各画素の画素データと顔パーツの画素データとのＳＡＤである。

Ｓ６０２において、顔検出回路１３０７は、焦点検出用画素位置データログから、顔パーツとの類似度が高い（ＳＡＤが小さい）と判定したエリアに焦点検出画素が含まれているか否かを判定する。

Ｓ６０２において、焦点検出画素が含まれていると判定した場合に、顔検出回路１３０７は、Ｓ６０４において、Ｓ６００において算出した類似度に、焦点検出用画素が含まれている場合の重み付け量α（０≦α＜１）を乗じる。Ｓ６０２において、焦点検出画素が含まれていないと判定した場合に、顔検出回路１３０７は、Ｓ６０４の処理をスキップする。

Ｓ６０６において、顔検出回路１３０７は、類似度が所定の閾値未満であるか否かを判定する。

Ｓ６０６において、類似度が閾値未満の場合、即ち該当のエリアが顔パーツと類似している場合、顔検出回路１３０７は、Ｓ６０８において、そのエリアを顔検出位置と識別する。また、Ｓ６０６において、類似度が閾値以上の場合に、顔検出回路１３０７は、Ｓ６１０において、そのエリアを顔検出位置でないと識別する。その後、顔検出回路１３０７は、図１６の処理を終了させる。

例えば、図１７（ａ）に示す顔パーツのデータを用いて、図１７（ｂ）に示す参照画像データＨ内で顔検出を用いた追尾処理を行うとする。前述したように、顔検出を用いた追尾処理では、顔パーツとの類似度が高いエリアを参照画像データＨから探索する。

ここで、前述したように、焦点検出用画素の画素データは、撮像用画素の画素データよりも低輝度の画素データとなる。このような撮像用画素と焦点検出用画素との違いを補正するために、Ｓ５０８において画素補間を行う。しかしながら、画素補間を行ったとしても、画素補間による誤差のため、補間後の焦点検出用画素の画素データをそのまま追尾処理に用いてしまうと追尾位置の精度低下に繋がる。

本実施形態では、焦点検出用画素の追尾処理の精度に与える影響度を鑑み、類似度が高いとして探索されたエリア内に焦点検出用画素の画素データが含まれている場合には、類似度を小さくすることにより、焦点検出用画素の追尾処理の精度に与える影響度を小さくする。即ち、探索されたエリアに焦点検出画素Ｉが含まれる場合には、類似度に重み付けをする。

ここで、図１６の例では、類似度に対して重み付けを行っているが、画素データに重み付けを行ってから類似度を算出するようにしても良い。

以上説明したように、本実施形態によれば、追尾処理を行うに際し、画像データに焦点検出用画素の画素データが含まれている場合には、その影響を考慮して焦点検出用画素の画素データに対して１よりも小さい重み付けを行ってから画像相関度を算出するか又は画像相関度に対して１よりも小さい重み付けを行って最終的な画像相関度を算出している。これにより、焦点検出用画素の追尾処理に与える影響を低減させて追尾処理の精度を向上させることが可能である。

以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。

さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、前述したような課題を解決でき、前述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

１００…撮像装置、１０２…撮影光学系、１０４…焦点調整機構、１０６…絞り、１０８…絞り駆動機構、１１０…シャッタ、１１２…シャッタ駆動機構、１１４…撮像素子、１１６…撮像素子インターフェイス（ＩＦ）回路、１１８…ＲＡＭ、１２０…表示素子、１２２…表示素子駆動回路、１２４…タッチパネル、１２６…タッチパネル駆動回路、１２８…記録メディア、１３０…システムコントローラ、１３２…操作部、１３４…ＲＯＭ、１３０１…ＣＰＵ、１３０２…ＡＦ制御回路、１３０３…ＡＥ制御回路、１３０４…画像処理回路、１３０５，１３０６…追尾処理回路、１３０７…顔検出回路、１３０８…焦点検出情報取得回路、１３０９…メモリ制御回路

Claims (7)

1. 画素の一部に焦点検出を行うための焦点検出用画素が設けられた撮像素子を有し、該撮像素子により、前記それぞれの画素に対応した画素データからなる画像データを複数取得する撮像部と、
   前記撮像部で取得された複数の画像データから参照画像と評価画像とを記憶する画像記憶部と、
   前記参照画像と前記評価画像とに追尾対象とする領域を設定する領域設定部と、
   前記参照画像と前記評価画像とのそれぞれに設定された領域内の画素データ同士のフレーム間の画像相関度を算出する相関算出部と、
   前記画像相関度に従って前記追尾対象を追尾する追尾処理部と、
   を具備し、
   前記相関算出部は、前記参照画像又は前記評価画像に設定された前記領域に前記焦点検出用画素の画素データが含まれる場合は、該焦点検出用画素の画素データに重み付けを行ってから画像相関度を算出するか又は前記焦点検出用画素の画素データを用いて算出した画像相関度に重み付けを行って最終的な画像相関度を算出することを特徴とする画像処理装置。
2. 前記焦点検出用画素の周辺の画素の画素データに基づいて、前記焦点検出用画素の位置に対応する画素データを補間する画素補間部をさらに具備し、
   前記相関算出部は、前記補間された画素データに重み付けを行ってから画像相関度を算出するか又は前記補間された画素データを用いて算出された画像相関度に重み付けを行って最終的な画像相関度を算出することを特徴とする請求項１に記載の画像処理装置。
3. 前記相関算出部は、前記参照画像と前記評価画像のそれぞれの輝度情報に基づいて画像相関度を算出することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記相関算出部は、前記参照画像と前記評価画像のそれぞれの色情報に基づいて画像相関度を算出することを特徴とする請求項１又は２に記載の画像処理装置。
5. 前記相関算出部は、前記参照画像と前記評価画像のそれぞれの顔検出情報に基づいて画像相関度を算出することを特徴とする請求項１又は２に記載の画像処理装置。
6. 前記相関算出部は、前記設定された領域の大きさに応じて、前記重み付けの量を変化させることを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
7. 前記相関算出部は、前記設定された領域に含まれる前記焦点検出用画素の数に応じて、前記重み付けの量を変化させることを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。

Images