JP2013157812A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】追尾対象の顔の近傍に別の顔が存在するようなシーンにおいても高い追尾性能の画像処理装置及び画像処理方法を提供すること。
【解決手段】追尾対象の顔部を、顔検出回路１３０６を用いた追尾処理によって追尾する。顔検出回路１３０６によって顔部が検出された場合に、顔部の位置から顔周辺部の位置を推定し、推定した顔周辺部の色情報を色情報取得回路１３０７によって取得する。ＲＡＭ１１８の追尾色ログに記憶されている色情報と色情報取得回路１３０７によって取得された色情報とが一致しているか否かが判断され、一致している場合には顔検出回路１３０６によって探索された顔部の位置が最終的な追尾位置に決定され、一致していない場合には追尾位置の更新が行われない。
【選択図】図５

Description

本発明は、被写体を追尾する機能を有する画像処理装置及び画像処理方法に関する。

従来、動体を撮影する際や動画像を撮影する際に、特定の被写体に追従するように自動合焦制御（ＡＦ）や自動露光制御（ＡＥ）を行う技術が知られている。このような特定の被写体を追従するために追尾処理が用いられている。追尾処理には、輝度情報を利用するものや、色情報を利用するもの、顔検出を利用するもの等、種々のものがある。

ここで、１種類のみの追尾処理を用いた場合、追尾処理に失敗してしまうと、それ以降は正しい追尾処理が不能となる可能性がある。これに対し、特許文献１においては、各フレームの顔検出の結果に応じて顔画像が検出状態か非検出状態かを判定し、顔画像が非検出状態のときは、その顔画像が非検出状態となったフレームに隣接するフレーム間で例えばマッチング処理を行うことにより、顔画像が非検出状態となったフレームにおける顔画像対応部を検出している。

特許第４５０６７７９号公報

特許文献１の技術は、顔検出が検出状態のときには顔検出の結果を用いて追尾を行っている。ここで、特許文献１等の従来の顔検出の場合、本来の検出対象の顔の近傍に別の顔が存在すると、追尾対象が当該別の顔に乗り移ってしまう可能性がある。このような乗り移りが発生すると、ユーザは、追尾対象の再設定を行う必要が生じる。

本発明は、前記の事情に鑑みてなされたもので、追尾対象の顔の近傍に別の顔が存在するようなシーンにおいても高い追尾性能の画像処理装置及び画像処理方法を提供することを目的とする。

前記の目的を達成するために、本発明の第１の態様の画像処理装置は、撮像により取得された被写体の画像デ―タの中から前記被写体の顔部を検出する顔検出部と、前記顔検出部により検出された前記顔部を追尾する顔部追尾部と、前記被写体の中の前記顔部以外の周辺部位の色情報を検出する周辺部位検出部と、前記周辺部位検出部により検出された色情報を記憶する記憶部と、前記周辺部位検出部により検出された色情報が、前記記憶部に記憶されている色情報と一致するか否かを判定する判定部と、を具備し、前記顔部追尾部は、前記判定部により色情報が一致すると判定された場合に前記顔検出部により検出された前記顔部を追尾することを特徴とする。

また、前記の目的を達成するために、本発明の第２の態様の画像処理装置は、撮像により取得された被写体の画像デ―タ中から前記被写体の顔部を検出する顔検出部と、前記顔検出部により検出された前記顔部を追尾する顔部追尾部と、前記被写体の中の前記顔部以外の周辺部位の色情報を検出する周辺部位検出部と、前記周辺部位検出部により検出された前記周辺部位を追尾する周辺部位追尾部と、前記顔検出部により検出された顔部の位置より推定される周辺部位の色情報と前記周辺部位検出部により検出された色情報とが一致するか否かを判定する判定部と、を具備し、前記顔部追尾部は、前記判定部により色情報が一致すると判定された場合に前記顔検出部により前記顔部を追尾することを特徴とする。

また、前記の目的を達成するために、本発明の第３の態様の画像処理方法は、撮像により取得された被写体の画像デ―タの中から前記被写体の顔部を検出し、検出された前記顔部に基づいて追尾し、前記被写体の中の前記顔部以外の周辺部位の色情報を検出し、検出された色情報を記憶し、前記検出された前記周辺部位の色情報が、前記記憶された色情報と一致するか否かを判定し、色情報が一致すると判定された場合に前記検出された前記顔部を追尾する、ことを特徴とする。

また、前記の目的を達成するために、本発明の第４の態様の画像処理方法は、撮像により取得された被写体の画像デ―タの中から前記被写体の顔部を検出し、検出された前記顔部に基づいて追尾し、前記被写体の中の前記顔部以外の周辺部位の色情報を検出し、検出された前記周辺部位を追尾し、前記検出された前記顔部の位置より推定される周辺部位の色情報と前記検出された前記周辺部位の色情報とが一致するか否かを判定し、色情報が一致すると判定された場合に前記検出された前記顔部に基づいて追尾する、ことを特徴とする。

本発明によれば、追尾対象の顔の近傍に別の顔が存在するようなシーンにおいても高い追尾性能の画像処理装置及び画像処理方法を提供することができる。

本発明の各実施形態に係る画像処理装置を備えた撮像装置の一例としての構成を示す図である。 色情報を用いた追尾処理について説明するための図である。 顔検出処理について説明するための図である。 撮像装置の撮影動作を示すフローチャートである。 本発明の第１の実施形態に係る画像処理方法としての追尾処理について示すフローチャートである。 周辺位置推定処理について示すフローチャートである。 色情報一致判断処理について示すフローチャートである。 本発明の第１の実施形態における追尾処理を行った場合の効果について説明するための第１の図である。 本発明の第１の実施形態における追尾処理を行った場合の効果について説明するための第２の図である。 本発明の第２の実施形態に係る画像処理方法としての追尾処理について示すフローチャートである。 本発明の第２の実施形態における追尾処理を行った場合の効果について説明するための図である。

以下、図面を参照して本発明の実施形態を説明する。
［第１の実施形態］
図１は、本発明の各実施形態に係る追尾装置を備えた撮像装置の一例としての構成を示す図である。図１に示す撮像装置１００は、撮影光学系１０２と、焦点調整機構１０４と、絞り１０６と、絞り駆動機構１０８と、シャッタ１１０と、シャッタ駆動機構１１２と、撮像素子１１４と、撮像素子インターフェイス（ＩＦ）回路１１６と、ＲＡＭ１１８と、表示素子１２０と、表示素子駆動回路１２２と、タッチパネル１２４と、タッチパネル駆動回路１２６と、記録メディア１２８と、システムコントローラ１３０と、操作部１３２と、ＲＯＭ１３４と、を有している。

撮影光学系１０２は、図示しない被写体からの光束Ｆを、撮像素子１１４の受光面上に集光するための光学系である。この撮影光学系１０２は、フォーカスレンズ等の複数のレンズを有している。焦点調整機構１０４は、モータ及びその駆動回路等を有している。この焦点調整機構１０４は、システムコントローラ１３０内のＣＰＵ１３０１の制御に従って、撮影光学系１０２内のフォーカスレンズをその光軸方向（図示一点鎖線方向）に駆動させる。

絞り１０６は、開閉自在に構成され、撮影光学系１０２を介して撮像素子１１４に入射する光束Ｆの量を調整する。絞り駆動機構１０８は、絞り１０６を駆動するための駆動機構を有している。この絞り駆動機構１０８は、システムコントローラ１３０内のＣＰＵ１３０１の制御に従って、絞り１０６を駆動させる。

シャッタ１１０は、撮像素子１１４の受光面を遮光状態又は露光状態とするように構成されている。このシャッタ１１０により、撮像素子１１４の露光時間が調整される。シャッタ駆動機構１１２は、シャッタ１１０を駆動させるための駆動機構を有し、システムコントローラ１３０内のＣＰＵ１３０１の制御に従って、シャッタ１１０を駆動させる。

撮像素子１１４は、撮影光学系１０２を介して集光された被写体からの光束Ｆが結像される受光面を有している。撮像素子１１４の受光面は、複数の画素が２次元状に配置されて構成されており、また、受光面の光入射側には、カラーフィルタが設けられている。このような撮像素子１１４は、受光面に結像された光束Ｆに対応した像（被写体像）を、その光量に応じた電気信号（以下、画像信号という）に変換する。ここで、撮像素子１１４は、ＣＣＤ方式やＣＭＯＳ方式等の種々の構成の撮像素子が知られている。また、カラーフィルタの色配列もベイヤ配列等の種々の配列が知られている。本実施形態は、撮像素子１１４の構成が特定の構成に限定されるものではなく、種々の構成の撮像素子を用いることが可能である。

撮像素子ＩＦ回路１１６は、システムコントローラ１３０内のＣＰＵ１３０１の制御に従って、撮像素子１１４を駆動させる。また、撮像素子ＩＦ回路１１６は、システムコントローラ１３０内のＣＰＵ１３０１の制御に従って、撮像素子１１４で得られた画像信号を読み出し、読み出した画像信号に対してＣＤＳ（相関二重サンプリング）処理やＡＧＣ（自動利得制御）処理等のアナログ処理を施す。さらに、撮像素子ＩＦ回路１１６は、アナログ処理した画像信号をデジタル信号（以下、画像データという）に変換する。

記憶部としてのＲＡＭ１１８は、例えばＳＤＲＡＭであり、ワークエリア、追尾画像エリア、追尾色ログエリア及び追尾データログエリアを記憶エリアとして有している。ワークエリアは、撮像素子ＩＦ回路１１６で得られた画像データ等の、撮像装置１００の各部で発生したデータを一時記憶しておくためにＲＡＭ１１８に設けられた記憶エリアである。追尾画像エリアは、追尾画像データを一時記憶しておくためにＲＡＭ１１８に設けられた記憶エリアである。追尾画像データは、追尾処理における追尾被写体を含む画像のデータである。追尾処理においては、この追尾画像データが用いられる。追尾色ログエリアは、追尾処理において、追尾位置の色情報である追尾色を一時記憶しておくためにＲＡＭ１１８に設けられた記憶エリアである。追尾位置ログエリアは、追尾位置ログを一時記憶しておくためにＲＡＭ１１８に設けられた記憶エリアである。追尾位置ログは、追尾処理の結果として得られた追尾位置を記録したログである。

表示素子１２０は、例えば液晶ディスプレイ（ＬＣＤ）であり、ライブビュー用の画像及び記録メディア１２８に記録された画像等の各種の画像を表示する。表示素子駆動回路１２２は、システムコントローラ１３０のＣＰＵ１３０１から入力された画像データに基づいて表示素子１２０を駆動させ、表示素子１２０に画像を表示させる。

タッチパネル１２４は、表示素子１２０の表示画面上に一体的に形成されており、表示画面上へのユーザの指等の接触位置等を検出する。タッチパネル駆動回路１２６は、タッチパネル１２４を駆動するとともに、タッチパネル１２４からの接触検出信号をシステムコントローラ１３０のＣＰＵ１３０１に出力する。ＣＰＵ１３０１は、接触検出信号から、ユーザの表示画面上への接触操作を検出し、その接触操作に応じた処理を実行する。

記録メディア１２８は、例えばメモリカードであり、撮影動作によって得られた画像ファイルが記録される。画像ファイルは、画像データに所定のヘッダを付与して構成されるファイルである。ヘッダには、撮影条件を示すデータ及び追尾位置を示すデータ等が、タグデータとして記録される。

システムコントローラ１３０は、撮像装置１００の動作を制御するための制御回路として、ＣＰＵ１３０１と、ＡＦ制御回路１３０２と、ＡＥ制御回路１３０３と、画像処理回路１３０４と、追尾処理回路１３０５と、顔検出回路１３０６と、色情報取得回路１３０７と、メモリ制御回路１３０８と、を有している。

ＣＰＵ１３０１は、制御部としての機能を有し、焦点調整機構１０４、絞り駆動機構１０８、シャッタ駆動機構１１２、表示素子駆動回路１２２、タッチパネル駆動回路１２６等のシステムコントローラ１３０の外部の各ブロック、及びシステムコントローラ１３０の内部の各制御回路の動作を制御する。また、ＣＰＵ１３０１は、判定部としての機能も有し、顔検出回路１３０６で検出された追尾対象の顔部の位置から顔周辺部の位置を推定すること、及び推定した位置の色情報を追尾色ログエリアに記憶された色情報と一致しているか否か判定することも行う。

ＡＦ制御回路１３０２は、コントラストＡＦ処理を制御する。具体的には、ＡＦ制御回路１３０２は、撮像素子ＩＦ回路１１６で得られた画像データの高周波成分を抽出し、この抽出した高周波成分を積算することにより、ＡＦ用の合焦評価値を取得する。ＣＰＵ１３０１は、この合焦評価値に従って画像データのコントラストを評価しつつ、焦点調整機構１０４を制御してフォーカスレンズを合焦状態とする。

ＡＥ制御回路１３０３は、ＡＥ動作を制御する。具体的には、ＡＥ制御回路１３０３は、撮像素子ＩＦ回路１１６で得られた画像データを用いて被写体輝度を算出する。ＣＰＵ１３０１は、この被写体輝度に従って、露光時の絞り１０６の開口量（絞り値）、シャッタ１１０の開放時間（シャッタ速度値）、撮像素子感度やＩＳＯ感度等を算出する。

画像処理回路１３０４は、画像データに対する各種の画像処理を行う。この画像処理としては、色補正処理、ガンマ（γ）補正処理、圧縮処理等が含まれる。また、画像処理回路１３０４は、圧縮されている画像データに対する伸張処理も施す。

追尾処理回路１３０５は、色情報を用いて追尾対象を追尾する。色情報を用いた追尾処理について簡単に説明する。図２（ａ）に示すように、追尾被写体２０２に追尾位置２０４が設定されている。色情報を用いた追尾処理においては、追尾位置２０４の色情報を取得しておく。次のフレーム、即ち図２（ｂ）に示すように追尾被写体２０２が移動したフレームにおいて、前のフレームの追尾位置２０４の位置に基づいて決定されたサーチエリア２０６内で例えばラスタースキャンをし、前のフレームの追尾位置２０４と同じ色情報を有する領域を探索する。そして、図２（ｃ）に示すように同じ色情報を有する領域の例えば重心位置が新たな追尾位置２０８となる。この追尾処理回路１３０５が周辺部位追尾部として機能する。

顔検出回路１３０６は、画像データにおける被写体（人物）の顔部を検出する。ここで、顔検出処理について簡単に説明する。顔検出処理においては、各フレームで得られる画像データと、図３（ａ）に示すような顔パーツ３０２、３０４、３０６との相関量を求める。顔パーツ３０２は、人物の鼻部周辺の陰影のパターンに対応した画像データであり、顔パーツ３０４は、人物の目部周辺の陰影のパターンに対応した画像データであり、顔パーツ４０６は、人物の口部周辺の陰影のパターンに対応した画像データである。画像データと顔パーツ３０２、３０４、３０６との相関量は、図３（ｂ）に示すような、人物の顔を示す所定の配置となったときに最大となる。このとき、顔パーツ３０２、３０４、３０６を含む領域３０８に顔部が存在しているとする。なお、顔パーツ３０２、３０４、３０６は予め設定した検索顔の大きさに応じて、大きさを変えても良い。ここで、図３（ｂ）では、顔部領域を矩形領域としているが、円形領域としても良い。なお、顔検出回路１３０６は顏部追尾部としても機能する。

周辺部位検出部としての機能を有する色情報取得回路１３０７は、追尾処理回路１３０５で得られた追尾位置の色情報を取得する。
メモリ制御回路１３０８は、ＣＰＵ１３０１等が、ＲＡＭ１１８、記録メディア１２８、ＲＯＭ１３４にアクセスするための制御を行うインターフェイスである。

操作部１３２は、ユーザによって操作される各種の操作部材である。操作部１３２としては、例えば、レリーズ釦、動画釦、モードダイヤル、選択キー、電源釦等が含まれる。
レリーズボタン釦は、１ｓｔレリーズスイッチと、２ｎｄレリーズスイッチと、を有している。１ｓｔレリーズスイッチは、ユーザがレリーズ釦を半押しするとオンするスイッチである。１ｓｔレリーズスイッチがオンすることにより、ＡＦ処理等の撮影準備動作が行われる。また、２ｎｄレリーズスイッチは、ユーザがレリーズ釦を全押しするとオンするスイッチである。２ｎｄレリーズスイッチがオンすることにより、静止画撮影用の露光動作が行われる。
動画釦は、動画撮影の開始又は終了を指示するための操作部材である。ユーザによって動画釦が押されると動画撮影処理が開始される。また、動画撮影処理の実行中に動画釦が押されると、動画撮影処理が終了される。
モードダイヤルは、撮像装置の撮影設定を選択するための操作部材である。本実施形態では、撮像装置の撮影設定として、例えば、静止画撮影モードと動画撮影モードを選択できる。静止画撮影モードは、静止画像を撮影するための撮影設定である。また、動画撮影モードは、動画像を撮影するための撮影設定である。
選択キーは、例えばメニュー画面上での項目の選択や決定をするための操作部材である。ユーザによって選択キーが操作されるとメニュー画面上での項目の選択や決定が行われる。
電源釦は、撮像装置の電源をオン又はオフするための操作部材である。ユーザによって電源釦が操作されると、撮像装置１００が起動して動作可能な状態となる。撮像装置が起動している間に電源釦が操作されると、撮像装置１００が省電力待機状態となる。

ＲＯＭ１３４は、ＣＰＵ１３０１が種々の処理を実行するためのプログラムコードを記憶している。また、ＲＯＭ１３４は、撮影光学系１０２、絞り１０６、及び撮像素子１１４等の動作に必要な制御パラメータ、並びに画像処理回路１３０４での画像処理に必要な制御パラメータ等の、各種の制御パラメータを記憶している。さらには、ＲＯＭ１３４は、顔検出回路１３０６における顔検出に用いられる顔パーツのデータや追尾枠を表示するためのデータ等も記憶している。また、ＲＯＭ１３４は、後述の周辺位置推定処理において用いる、画像データ上での顔位置から顔周辺位置までの距離を示す統計データも記憶している。

次に、本実施形態に係る撮像装置の動作について説明する。図４は、撮像装置１００の撮影動作を示すフローチャートである。ＣＰＵ１３０１は、ＲＯＭ１３４から必要なプログラムコードを読み込んで図４の動作を制御する。

Ｓ１００において、ＣＰＵ１３０１は、現在の撮像装置１００の撮影設定が静止画撮影モードであるかを判定する。前述したように、撮影設定は、モードダイヤルによって設定される。

Ｓ１００において、撮影設定が静止画撮影モードであると判定した場合に、Ｓ１０２において、ＣＰＵ１３０１は、ライブビュー動作を開始させる。ライブビュー動作として、ＣＰＵ１３０１は、シャッタ駆動機構１１２を制御してシャッタ１１０を開放した後、ＣＰＵ１３０１は、撮像素子ＩＦ回路１１６を制御して撮像素子１１４による撮像を開始させる。その後、ＣＰＵ１３０１は、撮像素子１１４による撮像の結果としてＲＡＭ１１８のワークエリアに記憶された画像データを画像処理回路１３０４に入力してライブビュー表示用の画像処理を施す。続いて、ＣＰＵ１３０１は、ライブビュー表示用の画像処理がされた画像データを表示素子駆動回路１２２に入力し、表示素子１２０に画像を表示させる。このような表示動作を繰り返し実行することにより、被写体の画像を動画表示する。この動画表示により、ユーザは、被写体を観察することが可能である。

Ｓ１０４において、ＣＰＵ１３０１は、１ｓｔレリーズスイッチがオンされたかを判定する。Ｓ１０４において、１ｓｔレリーズスイッチがオンされたと判定するまでは、ＣＰＵ１３０１は、ライブビュー動作を継続する。

また、Ｓ１０４において、１ｓｔレリーズスイッチがオンされたと判定した場合に、Ｓ１０６において、ＣＰＵ１３０１は、レリーズＡＦ処理を行う。レリーズＡＦにおいては、スキャン駆動によって、フォーカスレンズを合焦位置まで駆動させる。スキャン駆動では、ＣＰＵ１３０１は、焦点調整機構１０４を制御して、フォーカスレンズを所定のスキャン範囲内で一方向に駆動させつつ、ＡＦ制御回路１３０２で順次算出される合焦評価値を評価する。そして、ＣＰＵ１３０１は、合焦評価値の評価の結果、コントラストが最大となるレンズ位置において、フォーカスレンズの駆動を停止させる。このようなスキャン駆動は、ＡＦ前のフォーカスレンズの位置と合焦位置との差が大きい場合に行われる。

Ｓ１０８において、ＣＰＵ１３０１は、表示素子駆動回路１２２を制御して、表示素子１２０に追尾枠を表示させる。ここで、追尾枠は、表示素子１２０の画面上の追尾対象の位置に表示させる。例えば、レリーズＡＦで合焦した被写体を追尾対象とし、その被写体に追尾枠を表示させるようにしても良いし、顔検出回路１３０６によって顔部が検出された場合には、その顔に追尾枠を表示させるようにしても良い。さらに、タッチパネル１２４により、表示素子１２０の画面上に表示された被写体が指定された場合には、その被写体上に追尾枠を表示させるようにしても良い。このように、本実施形態においては、ＣＰＵ１３０１、ＡＦ制御回路１３０２、顔検出回路１３０６、タッチパネル１２４等が追尾対象設定部の一例として機能する。

Ｓ１１０において、ＣＰＵ１３０１は、追尾処理を行う。この追尾処理の詳細については後述する。
Ｓ１１２において、ＣＰＵ１３０１は、追尾位置の被写体に合焦するようにＡＦ処理を行うとともに、追尾位置の被写体の露光が適正となるようにＡＥ処理を行う。
追尾処理後のＡＦ処理においては、スキャン駆動、またはウォブリング駆動によって、フォーカスレンズを合焦位置まで駆動させる。ウォブリング駆動では、ＣＰＵ１３０１は、フォーカスレンズを駆動したときにＡＦ制御回路１３０２で算出された合焦評価値が、前回のレンズ位置での合焦評価値に対して増加したかを判定する。そして、ＣＰＵ１３０１は、合焦評価値が増加した場合には前回と同方向にフォーカスレンズを移動させながら微小駆動させ、合焦評価値が減少した場合には前回と逆方向にフォーカスレンズを移動させながら微小駆動させる。このようなウォブリング動作を高速で繰り返しながら移動させてフォーカスレンズを徐々に合焦位置まで駆動させる。

また、ＡＥ処理において、ＣＰＵ１３０１は、ＡＥ制御回路１３０３で算出された追尾位置の被写体の輝度を予め定められた適正な量（適正露光量）とする、本露光時の絞り１０６の開口量（絞り値）、シャッタ１１０の開放時間（シャッタ速度値）を算出する。

Ｓ１１４において、ＣＰＵ１３０１は、２ｎｄレリーズスイッチがオンされたかを判定する。Ｓ１１４において、２ｎｄレリーズスイッチがオンされていないと判定した場合に、ＣＰＵ１３０１は、Ｓ１１０の追尾処理以後の処理を実行する。このように、静止画撮影モード時には、２ｎｄレリーズスイッチがオンされるまでは、追尾処理が継続される。

また、Ｓ１１４において、２ｎｄレリーズスイッチがオンされたと判定した場合に、Ｓ１１６において、ＣＰＵ１３０１は、表示素子駆動回路１２２を制御して、追尾枠を非表示とする。

Ｓ１１８において、ＣＰＵ１３０１は、静止画像データを記録メディア１２８に記録する処理を行う。この際、ＣＰＵ１３０１は、シャッタ駆動機構１１２を制御して、シャッタ１１０を閉じる。その後、ＣＰＵ１３０１は、絞り駆動機構１０８を制御して、絞り１０６を先に算出した絞り値まで絞り込む。続いて、ＣＰＵ１３０１は、シャッタ駆動機構１１２を制御して、シャッタ１１０を先に算出した開放時間だけ開放しつつ、撮像素子１１４による撮像（露光）を行う。その後、ＣＰＵ１３０１は、撮像素子１１４を介して得られた静止画像データを画像処理回路１３０４において処理する。そして、ＣＰＵ１３０１は、画像処理回路１３０４において処理された静止画像データにヘッダを付与して静止画像ファイルを生成し、生成した静止画像ファイルを記録メディア１２８に記録する。
Ｓ１２０において、ＣＰＵ１３０１は、Ｓ１１０の追尾処理の結果として得られた追尾位置を示すデータを、先に記録メディア１２８に記録した静止画像ファイルに追記する。その後に、ＣＰＵ１３０１は、図４に示す動作を終了させる。

また、Ｓ１００において、撮影設定が動画撮影モードであると判定した場合に、Ｓ１２２において、ＣＰＵ１３０１は、ライブビュー動作を開始させる。

Ｓ１２４において、ＣＰＵ１３０１は、動画釦がオンされたかを判定する。Ｓ１２４において、動画釦がオンされたと判定するまでは、ＣＰＵ１３０１は、ライブビュー動作を継続する。

また、Ｓ１２４において、動画釦がオンされたと判定した場合に、Ｓ１２６において、ＣＰＵ１３０１は、表示素子駆動回路１２２を制御して、表示素子１２０に追尾枠を表示させる。

Ｓ１２８において、ＣＰＵ１３０１は、追尾処理を行う。この追尾処理の詳細については、後述する。

Ｓ１３０において、ＣＰＵ１３０１は、追尾位置の被写体に合焦するようにＡＦ処理を行うともに、追尾位置の被写体の露光が適正となるようにＡＥ処理を行う。Ｓ１３０におけるＡＦ処理おいては、ウォブリング駆動によって、フォーカスレンズを合焦位置まで駆動させる。

Ｓ１３２において、ＣＰＵ１３０１は、動画像データを記録メディア１２８に記録する処理を行う。この際、ＣＰＵ１３０１は、絞り駆動機構１０８を制御して、絞り１０６をＡＥ処理において算出した絞り値まで絞り込む。続いて、ＣＰＵ１３０１は、ＡＥ処理において算出したシャッタ速度値に対応した時間だけ撮像素子１１４による撮像（露光）を実行させる。露光の終了後、ＣＰＵ１３０１は、動画像ファイルを生成して記録メディア１２８に記録する。また、ＣＰＵ１３０１は、撮像素子１１４を介して得られた動画像データを画像処理回路１３０４において処理し、画像処理回路１３０４において処理された動画像データを動画像ファイルに記録する。

Ｓ１３４において、ＣＰＵ１３０１は、Ｓ１２８の追尾処理の結果として得られた追尾位置を示すデータを、先に記録メディア１２８に記録した動画像ファイルと同時記録する。

Ｓ１３６において、ＣＰＵ１３０１は、動画釦がオフされたかを判定する。Ｓ１３６において、動画釦がオフされていないと判定した場合に、ＣＰＵ１３０１は、Ｓ１２８の追尾処理以後の処理を実行する。このように、動画撮影モード時では、動画釦がオフされるまでは、追尾処理と動画像データの記録が継続される。

また、Ｓ１３６において、動画釦がオフされたと判定した場合に、Ｓ１３８において、ＣＰＵ１３０１は、表示素子駆動回路１２２を制御して、追尾枠を非表示とする。その後、ＣＰＵ１３０１は、図４に示す動作を終了させる。

次に、第１の実施形態に係る画像処理方法としての追尾処理について図５を参照して説明する。
Ｓ２００において、ＣＰＵ１３０１は、撮像素子ＩＦ回路１１６を制御して撮像素子１１４による撮像を実行する。Ｓ２０２において、ＣＰＵ１３０１は、撮像素子１１４による撮像により、撮像素子ＩＦ回路１１６において得られた画像データをＲＡＭ１１８の追尾画像エリアに取り込む。

Ｓ２０４において、ＣＰＵ１３０１は、顔検出回路１３０６により、顔検出を用いた追尾処理を行う。顔検出を用いた追尾処理については、前述したので説明を省略する。

Ｓ２０６において、ＣＰＵ１３０１は、顔検出状態であるか否か、即ち顔検出回路１３０６により顔部が検出されたか否かを判定する。

Ｓ２０６において、顔検出状態であると判定した場合に、Ｓ２０８においてＣＰＵ１３０１は、顔検出回路１３０６により検出された顔部の位置から、顔周辺部の位置を推定する。ここで、顔周辺部とは、追尾対象の被写体の顔部以外の部分（胴体、手足等）である。以下の説明においては、顔周辺部の例として、追尾対象の胸部の位置を推定することとする。周辺位置推定処理の詳細については後述する。

Ｓ２１０において、ＣＰＵ１３０１は、色情報取得回路１３０７により、Ｓ２０８で推定された顔周辺部の色情報を取得する。

Ｓ２１２において、ＣＰＵ１３０１は、色情報一致判断処理を行う。この色情報一致判断処理は、顔検出回路１３０６により検出された顔部から推定された顔周辺部の色情報と追尾色ログエリアに記憶されている色情報（追尾色）とが一致しているかを判断する処理である。Ｓ２１２の色情報一致判断処理の詳細については後述する。

Ｓ２１４において、ＣＰＵ１３０１は、色情報一致判断処理の結果、顔検出回路１３０６により検出された顔部から推定された顔周辺部の色情報と追尾色とが一致しているか否かを判定する。

Ｓ２１４において、顔検出回路１３０６により検出された顔部から推定された顔周辺部の色情報と追尾色とが一致していると判定した場合に、Ｓ２１６において、ＣＰＵ１３０１は、顔検出回路１３０６により検出された顔部の位置を最終的な追尾位置に決定する。

Ｓ２１８において、ＣＰＵ１３０１は、Ｓ２１４において追尾位置と決定した顔部の位置から推定される顔周辺部の色情報を、新たな追尾色としてＲＡＭ１１８の追尾色ログエリアに記録する。

Ｓ２２０において、ＣＰＵ１３０１は、追尾位置の信頼性を判断する。追尾位置の信頼性は、例えば過去の複数フレームの顔検出の結果から信頼性を判断する。具体的には、過去の複数フレームに亘って顔が検出されている場合には信頼性があると判断する。

Ｓ２２２において、ＣＰＵ１３０１は、最終的な追尾位置を、ＲＡＭ１１８の追尾ログエリアに記録する。ここで、Ｓ２２０における信頼性判断の結果、顔部の追尾位置の検出結果が無効である、即ち顔検出回路１３０６における顔検出の信頼性がない場合には、追尾位置を記録しないようにしても良い。

Ｓ２２４において、ＣＰＵ１３０１は、表示素子駆動回路１２２を制御して、追尾枠の表示位置をＳ２２２で記録した追尾位置に対応した位置に更新する。その後、ＣＰＵ１３０１は、図５の追尾処理を終了させる。

また、Ｓ２０６において顔検出状態でないと判定した場合又はＳ２１４において色情報が一致していないと判定した場合に、Ｓ２２６においてＣＰＵ１３０１は、追尾位置を更新しないと決定する。その後、ＣＰＵ１３０１は、処理をＳ２２０に移行させる。

次に、周辺位置推定処理について図６を参照して説明する。周辺位置推定処理においては、顔検出処理において検出された顔部の位置から追尾対象の顔周辺部（胸部）の位置を推定する。
Ｓ３００において、ＣＰＵ１３０１は、顔検出回路１３０６によって検出された顔部の位置（例えば、顔部領域の重心位置）の情報を取得する。Ｓ３０２において、ＣＰＵ１３０１は、顔検出回路１３０６によって検出された顔部のサイズ（例えば、顔部領域の大きさ）の情報を取得する。Ｓ３０４において、ＣＰＵ１３０１は、顔部の位置から顔周辺部（胸部）の位置までの距離を示す統計データをＲＯＭ１３４から取得する。

Ｓ３０６において、ＣＰＵ１３０１は、取得した統計データから、画像データ上での顔周辺部の位置を算出する。具体的には、顔部の位置を基準とし、この基準の位置から統計データに応じて得られた距離分だけ下方の位置を顔周辺部の位置とする。ここで、ＲＯＭ１３４に記憶されている統計データは、ある固定の距離で測定した顔部の位置から顔周辺部の位置までの統計データである。したがって、撮像装置から追尾対象までの距離が統計データを得たときの距離と異なる場合には、その距離差に応じて顔周辺部の位置を補正する。撮像装置から追尾対象までの距離は、例えば顔部のサイズ（画面上に占める顔部のサイズの割合）から算出する。そして、この距離に応じて統計データの値を補正して実際の画像データ上での顔周辺部の位置を算出する。顔周辺部の位置を算出した後、ＣＰＵ１３０１は、図６の処理を終了させる。

ここで、図６の例では、説明を簡単にするために、顔部の位置の下方の位置を顔周辺部の位置としている。この場合、追尾対象としての人物が直立しているときには正しい結果が得られるが、例えば追尾対象としての人物が寝そべっている場合等においては正しい結果を得ることができない。これに対し、顔部の各器官（目、鼻、口等）をそれぞれ検出し、各器官が画面に対してどの方向に並んでいるかを判別することによって、追尾対象としての人物が直立しているか又は寝ているかを判別し、この判別結果に従って顔周辺部の位置を算出するようにしても良い。例えば、目、鼻、口が、画面の左から右に向かって並んでいる場合には、顔部の位置に対して右方向の位置に顔周辺部があると推定する。

次に、色情報一致判断処理について図７を参照して説明する。
Ｓ３００において、ＣＰＵ１３０１は、追尾色ログエリアに記憶されている色情報（追尾色）と顔検出回路１３０６により検出された顔部から推定された顔周辺部の色情報との差分絶対値が閾値よりも小さいか否かを判断する。ここで、初回の追尾処理時には、例えばユーザによって指定された追尾被写体の顔部から、前述の周辺位置推定処理によって推定された顔周辺部の色情報を追尾色ログエリアに記憶させておく。

Ｓ３００において両者の差分絶対値が閾値よりも小さいと判定した場合に、Ｓ３０２において、ＣＰＵ１３０１は、両者の色情報が一致していると判断する。また、Ｓ３００において両者の差分絶対値が閾値以上であると判定した場合に、Ｓ３０４において、ＣＰＵ１３０１は、両者の色情報が一致していないと判断する。このような判断の後、ＣＰＵ１３０１は、図７の処理を終了させる。

以上説明したように、本実施形態においては、図８に示すような追尾被写体Ａ１を顔検出によって追尾する。顔部Ｂ１が検出できた場合にはその顔部Ｂ１から顔周辺部Ｃ１の位置が推定される。この顔周辺部Ｃ１の色情報が、追尾色ログエリアに記憶に記憶されている色情報と一致している場合には、顔検出による追尾処理の結果が正しいとして顔部Ｂ１の位置に追尾枠Ｄ１が表示される。これは、顔検出状態で且つ顔周辺部Ｃ１の色情報が追尾色ログエリアに記憶されている色情報と一致している場合には、同一の対象を追尾していると考えることができるためである。

ここで、従来の顔検出の場合、図９に示すように追尾被写体Ａ１の近くに別の被写体Ａ２が存在していると、例えば追尾被写体Ａ１が後ろを向く等して追尾対象Ａ１の顔検出が不能となって且つ顔部Ｂ２が検出されると、追尾対象が被写体Ａ２乗り換わってしまう可能性がある。この場合、誤った対象に追尾枠Ｄ２が表示されてしまう。

これに対し、本実施形態では、顔部Ｂ２から推定される顔周辺部Ｃ２の色情報が、追尾色ログエリアに記憶されている追尾位置と一致しているか否かの判断がなされる。追尾被写体Ａ１と被写体Ａ２とが異なる服を着ていれば、この判断の結果、両色情報が一致しないと判断されて追尾位置が更新されない。このように、本実施形態では、顔検出の乗り換わりが発生したと判断される状況においては顔検出の結果を無効化することにより、追尾処理を継続することが可能である。

［第２の実施形態］
次に、本発明の第２の実施形態について説明する。第１の実施形態においては、追尾色ログエリアに記憶されている色情報（追尾色）を、顔検出の結果から推定された顔周辺部の色情報と比較して色情報一致判断処理を行うようにしている。これに対し、第２の実施形態は、顔周辺部の位置を、顔検出とは異なる追尾処理によって探索し、この探索した位置の色情報を、顔検出の結果から推定された顔周辺部の色情報と比較して色情報一致判断処理を行うものである。

以下、第１の実施形態で説明したのと同一の部分については説明を省略する。第２の実施形態は、追尾処理の内容が第１の実施形態と異なる。図１０は、第２の実施形態における追尾処理について示したフローチャートである。ここで、図１０において、図５と同様の処理については図５と同一の符号を付している。

図１０において、Ｓ２００、Ｓ２０２の処理は、第１の実施形態と同様である。ステップＳ２０２において、画像データの取り込みが終了した後、Ｓ２０３において、ＣＰＵ１３０１は、追尾処理回路１３０５により、色情報を用いた追尾処理を行う。ここでの追尾対象は、顔周辺部である。初回の追尾処理においては、例えばユーザによって指定された顔から、前述した周辺位置推定処理によって推定された顔周辺部を追尾することとする。なお、色情報を用いた追尾処理については、前述したので説明を省略する。

Ｓ２０４、Ｓ２０６、Ｓ２０８の処理は、第１の実施形態と同様である。Ｓ２０６において、顔検出状態であると判定した場合に、Ｓ２１０において、ＣＰＵ１３０１は、色情報取得回路１３０７によって色情報を取得する。第２の実施形態においては、周辺位置推定処理によって推定された顔周辺部の色情報に加えて、Ｓ２０３の追尾処理により探索された顔周辺部の色情報も取得する。

Ｓ２１２において、ＣＰＵ１３０１は、色情報一致判断処理を行う。色情報一致判断処理も基本的には第１の実施形態と同様である。ただし、第２の実施形態においては、追尾色ログエリアに記憶されている色情報（追尾色）ではなく、Ｓ２０３における追尾処理により探索された顔周辺部の色情報と顔検出回路１３０６により検出された顔部から推定された顔周辺部の色情報との差分絶対値が閾値よりも小さいか否かを判断する。

Ｓ２１４において、ＣＰＵ１３０１は、色情報一致判断処理の結果、顔検出回路１３０６により検出された顔部から推定された顔周辺部の色情報とＳ２０３における追尾処理により探索された顔周辺部の色情報とが一致しているか否かを判定する。

Ｓ２１４において、顔検出回路１３０６により検出された顔部から推定された顔周辺部の色情報とＳ２０３における追尾処理により探索された顔周辺部の色情報とが一致していると判定した場合に、Ｓ２１６において、ＣＰＵ１３０１は、顔検出回路１３０６により検出された顔部の位置を最終的な追尾位置に決定する。その後のＳ２２０、Ｓ２２２、Ｓ２２４の処理は、第１の実施形態と同様である。

また、Ｓ２０６において顔検出状態でないと判定した場合又はＳ２１４において色情報が一致していないと判定した場合に、Ｓ２２７においてＣＰＵ１３０１は、Ｓ２０３における追尾処理により探索された顔周辺部の位置を最終的な追尾位置に決定する。その後のＳ２２０、Ｓ２２２、Ｓ２２４の処理は、第１の実施形態と同様である。

以上説明したように、本実施形態においては、顔検出を用いた追尾処理と色情報を用いた追尾処理とによって追尾被写体Ａ１を追尾する。前述したように、従来の顔検出の場合、図１１（ａ）に示すようにして追尾被写体Ａ１の近くに別の被写体Ａ２が存在していると、例えば追尾被写体Ａ１が後ろを向く等して追尾対象Ａ１の顔検出が不能となった場合に、追尾対象が被写体Ａ２に乗り換わってしまう可能性がある。このような場合であっても、本実施形態の場合には、顔検出によって探索された顔部Ｂ２から推定される顔周辺部Ｃ２の色情報が、色情報を用いた追尾処理によって探索された顔周辺部Ｅ１の色情報と一致しているか否かの判断がなされる。追尾被写体Ａ１と被写体Ａ２とが異なる服を着ていれば、この判断の結果、両色情報が一致しないと判断されて最終的な追尾位置が追尾対象Ａ１の顔周辺部Ｅ１の位置となり、顔周辺部Ｅ１に対して追尾枠Ｄ１１が表示される。

その後、図１１（ｂ）に示すようにして追尾被写体Ａ１が前を向く等して追尾対象Ａ１の顔検出が可能となった場合には、顔検出の結果によって探索された顔部Ｂ１から推定される顔周辺部Ｃ１の色情報が、色情報を用いた追尾処理によって探索された顔周辺部Ｅ１の色情報と一致しているか否かの判断がなされる。この場合には、両色情報が一致すると判断されて最終的な追尾位置が追尾対象Ａ１の顔部Ｂ１の位置となり、顔部Ｂ１に対して追尾枠Ｄ１が表示される。このように、本実施形態では、複数の追尾処理を併用することによって精度良く追尾対象を追尾することが可能である。

以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。また、前述の動作の説明において、便宜上「まず」、「次に」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。

さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

１００…撮像装置、１０２…撮影光学系、１０４…焦点調整機構、１０６…絞り、１０８…絞り駆動機構、１１０…シャッタ、１１２…シャッタ駆動機構、１１４…撮像素子、１１６…撮像素子インターフェイス（ＩＦ）回路、１１８…ＲＡＭ、１２０…表示素子、１２２…表示素子駆動回路、１２４…タッチパネル、１２６…タッチパネル駆動回路、１２８…記録メディア、１３０…システムコントローラ、１３２…操作部、１３４…ＲＯＭ、１３０１…ＣＰＵ、１３０２…ＡＦ制御回路、１３０３…ＡＥ制御回路、１３０４…画像処理回路、１３０５…追尾処理回路、１３０６…顔検出回路、１３０７…色情報取得回路、１３０８…メモリ制御回路

Claims (9)

1. 撮像により取得された被写体の画像デ―タの中から前記被写体の顔部を検出する顔検出部と、
   前記顔検出部により検出された前記顔部を追尾する顔部追尾部と、
   前記被写体の中の前記顔部以外の周辺部位の色情報を検出する周辺部位検出部と、
   前記周辺部位検出部により検出された色情報を記憶する記憶部と、
   前記周辺部位検出部により検出された色情報が、前記記憶部に記憶されている色情報と一致するか否かを判定する判定部と、
   を具備し、
   前記顔部追尾部は、前記判定部により色情報が一致すると判定された場合に前記顔検出部により検出された前記顔部を追尾することを特徴とする画像処理装置。
2. 前記顔部追尾部は、前記判定部により色情報が不一致と判定された場合に、前記顔検出部により検出された前記顔部の追尾の結果を無効にすることを特徴とする請求項１の画像処理装置。
3. 撮像により取得された被写体の画像デ―タ中から前記被写体の顔部を検出する顔検出部と、
   前記顔検出部により検出された前記顔部を追尾する顔部追尾部と、
   前記被写体の中の前記顔部以外の周辺部位の色情報を検出する周辺部位検出部と、
   前記周辺部位検出部により検出された前記周辺部位を追尾する周辺部位追尾部と、
   前記顔検出部により検出された顔部の位置より推定される周辺部位の色情報と前記周辺部位検出部により検出された色情報とが一致するか否かを判定する判定部と、
   を具備し、
   前記顔部追尾部は、前記判定部により色情報が一致すると判定された場合に前記顔検出部により前記顔部を追尾することを特徴とする画像処理装置。
4. 前記周辺部位追尾部は、前記判定部により色情報が不一致と判定された場合に前記周辺部位検出部により検出された前記周辺部位の色情報に基づいて前記周辺部位を追尾することを特徴とする請求項３の画像処理装置。
5. 前記顔検出部は、前記周辺部位追尾部により前記顔部以外の周辺部位を追尾した場合に、前記周辺部位の位置から推定される顔部の位置で顔部を検出し、前記顔検出部により顔部が検出されると、前記顔部追尾部は前記顔検出部により検出された前記顔部を追尾することを特徴とする請求項４の画像処理装置。
6. 前記顔検出部は、前記周辺部位追尾部により前記顔部以外の周辺部位を追尾した場合に、前記顔検出部により顔部が検出され、前記顔検出部により検出された顔部の位置より推定される周辺部位の色情報と前記周辺部位追尾部にて検出された色情報が一致と判定されたとき、前記顔部追尾部は前記顔検出部により検出された前記顔部を追尾することを特徴とする請求項４の画像処理装置。
7. 前記撮像により取得された画像データに対応した画像を表示する表示部を有し、
   前記表示部は、前記周辺部位追尾部により前記周辺部位を追尾する場合に、前記周辺部位に対応する前記画像の位置に追尾を示す表示を行うことを特徴とする請求項４の画像処理装置。
8. 撮像により取得された被写体の画像デ―タの中から前記被写体の顔部を検出し、検出された前記顔部に基づいて追尾し、
   前記被写体の中の前記顔部以外の周辺部位の色情報を検出し、検出された色情報を記憶し、
   前記検出された前記周辺部位の色情報が、前記記憶された色情報と一致するか否かを判定し、
   色情報が一致すると判定された場合に前記検出された前記顔部を追尾する、
   ことを特徴とする画像処理方法。
9. 撮像により取得された被写体の画像デ―タの中から前記被写体の顔部を検出し、検出された前記顔部に基づいて追尾し、
   前記被写体の中の前記顔部以外の周辺部位の色情報を検出し、検出された前記周辺部位を追尾し、
   前記検出された前記顔部の位置より推定される周辺部位の色情報と前記検出された前記周辺部位の色情報とが一致するか否かを判定し、
   色情報が一致すると判定された場合に前記検出された前記顔部に基づいて追尾する、
   ことを特徴とする画像処理方法。

Images