JP2010263550A - 画像処理装置 - Google Patents

Abstract

【課題】 従来の画像処理装置は、ユーザが撮影対象としていない人物に対し、画像解析、または、画像処理結果の表示が行われてしまうという問題点があった。
【解決手段】 画像データから検出した顔の中から主被写体と関連被写体を選択し、これら主被写体、及び、関連被写体に対してのみ、所定の画像処理を行うか、あるいは、所定の画像処理の結果の表示を行う。この関連被写体は、主被写体の相関値に基づいて、複数の顔の中から選択される。
【選択図】 図２

Description

本発明は顔検出が可能な画像処理装置に関するものである。

顔検出機能を持つデジタルカメラにおいて、被写体が目をつむっていたことに起因する失敗画像を低減するための技術として目つむり検出機能が知られている。

目つむり検出機能の手順は以下のようである。まず撮像された画像に対して、顔検出機能により顔領域の検出を行う。顔検出機能によって顔領域が決定すると、各顔に対して目つむり検出機能により目をつむっているかどうかの検出を行う。目つむりが発見された場合、失敗画像を防ぐ手段として、以下の二つの方法が一般的である。

被写体が目をつむっていると検出した場合、自動的に連写撮影を行い、目をつむっていない状態の画像を取得する（特許文献１を参照）。

被写体が目をつむっていると検出した場合、目をつむっている旨の警告表示をユーザに対して行い、再撮影を促す（特許文献２を参照）。

このようにすると、目つむりしていない画像を撮影できるように、カメラが補助することが可能となる。

特開２００３−２８７７８４ 特開２００７−４９６３１

しかしながらどちらの方式においても、ユーザが撮影したい対象とは別の被写体が画像内に存在する場合、図１０（Ａ）のようにユーザが所望する被写体とは別の人物の目つむりが検出され、連写や目つむり警告の表示を行ってしまうという問題があった。これは、ユーザにとっては煩わしい表示となってしまう。また、余計な人物に対しても目つむりの検出処理をしているため、必要以上の処理時間を取られることとなる。

これに対して、図１０（Ｂ）のように、被写界の中央部一定範囲内に存在する顔や、ある一定以上の顔サイズを持つ顔のみを被写体として取り扱うことにより、前記問題を解決する方法が考えられる。しかし、このように目つむり検出を行う領域を限定したとしても、図１０（Ｃ）のような集合写真の撮影の際においては、一定範囲外の人物や画像中における顔サイズの小さい人物に目つむり検出機能が働かなくなるという課題があった。

これは目つむり検出を行う場合だけでなく、赤目補正を行う場合でも同様の課題と言える。

また、検出した顔を解析して、その顔が誰であるかを特定する個人認証は、その処理が複雑であるため処理時間を有する。そこで、処理時間を効率化するために、予め関係のなさそうな人物は個人認証の対象から外すことが考えられる。この場合も、上述した目つむり検出や赤目補正と同様に、検出された複数の顔の中から、ユーザが撮影したい対象のみを抽出することが求められる。

本発明は、ユーザが撮影対象としていない人物に対し、画像解析、または、画像処理結果の表示が行われてしまうという問題点を解決し、ユーザにとって使い勝手のよい画像処理装置を提供することを課題とする。

本発明のその他の課題は、ユーザが任意の被写体を主被写体に変更した場合であっても、ユーザが新たに選択した主被写体を基準として、余計な被写体がどれであるかを判定可能となる。したがって、ユーザが撮影対象として意図する被写体に対してのみ画像解析、または、画像処理結果の表示を行える確率を向上させることである。

上記課題を解決するために、本発明は、画像データから顔を検出する顔検出手段と、前記顔検出手段から複数の顔が検出された場合に、いずれかの顔を主被写体として選択する主被写体選択手段と、前記主被写体選択手段により主被写体として選択されなかった顔の中から、前記主被写体として選択された顔との相関に基づいて、関連被写体としての顔を選択する関連被写体選択手段と、前記顔検出手段により検出された顔に対して所定の画像処理を行う画像処理手段とを有し、前記画像処理手段は、前記主被写体選択手段、及び、前記関連被写体選択手段により選択された顔に対して前記所定の画像処理を行い、それ以外の顔に対しては前記所定の画像処理を行わないことを特徴とする。

本発明により、画像処理装置の利便性を向上させることが可能となった。

本発明のその他の効果は、余計な被写体に対しては目つむりの警告表示が行われないため、ユーザにとって煩わしい表示となることを抑止することが可能となった。

本発明のその他の効果は、ユーザが被写体として意図していない人物に対しては個人認証などの時間を要する画像解析を行わないため、被写体を区別しない処理に比べ、処理時間を短縮することが可能となった。

本発明の実施形態に係る撮像装置の構成を示すブロック図 本発明の実施形態に係る画像処理部の機能を示すブロック図 本発明の実施形態１に係る撮像装置の全体的な動作を示すフローチャート 本発明の実施形態に係る顔検出のアルゴリズムを示すフローチャート 本発明の実施形態に係る主被写体選択のアルゴリズムを示すフローチャート 本発明の実施形態に係る関連被写体選択のアルゴリズムを示すフローチャート 本発明の実施形態に係る目つむり検出のアルゴリズムを示すフローチャート 本発明の実施形態２に係る撮像装置の全体的な動作を示すフローチャート 本発明の実施形態３に係る撮像装置の全体的な動作を示すフローチャート 本発明が解決する従来技術の課題に関する説明図

（実施形態１）
本実施形態では、主被写体、及び、関連被写体に対しては目つむり検出を行い、それ以外の顔に対しては目つむり検出を行わない実施形態について説明する。

〔撮像装置の構成について〕
図１は本発明の実施形態における画像処理装置の構成を示すものである。

本実施形態においては画像処理装置の一例として、デジタルカメラを例に挙げ説明する。

１０１は撮影レンズや絞り装置を含み、被写体から反射された光学像の光量や焦点の位置を調整するため光学系である。

１０２は光学像を電気信号に変換するＣＣＤやＣＭＯＳセンサ等で構成される撮像素子である。

１０３は撮像素子１０２から出力されたアナログ信号の画像データをデジタル信号の画像データに変換するＡ／Ｄ（アナログデジタル）変換部である。１０３のＡ／Ｄ変換部から出力された画像データは、画像処理部１０４、及び、メモリ制御部１０５を介して、或いは、直接、メモリ制御部１０５を介してメモリ１０６に書き込まれる。

１０４はＡ／Ｄ変換部から出力された画像データに対して、顔検出、画像解析を行う顔の選択、目つむり検出、赤目補正、個人認証などの画像解析処理や画像処理を行う画像処理部である。

１０５はメモリ１０６への書き込み、または、メモリ１０６からの読み込みを制御するメモリ制御部である。

メモリ１０６には、撮像素子１０２とＡ／Ｄ変換部１０３から得られた画像データや、画像処理部１０４で画像処理を施された画像データや、画像データのサムネイルを含んだ情報や、撮影した画像データの枚数、顔検出数などが書き込まれる。

１０７はシステム制御部であり、このデジタルカメラのシステム全体を制御する。システム制御部１０７は、画像処理部１０４に対しての画像解析処理や画像処理の制御を行う他、メモリ１０６に書き込まれた画像データをファイル化し、Ｉ／Ｆ（インターフェース）部１０８を介して記録媒体に記録する。Ｉ／Ｆ部１０８はメモリーカードや記録媒体とのインターフェースである。

１０９はＤ／Ａ（デジタルアナログ）変換部であり、メモリ１０６に書き込まれた画像データをアナログ信号の画像データに変換する。

１１０はＤ／Ａ変換部１０９により変換された画像データを表示する、または、撮像素子１０２で生成された画像データをスルー表示する表示部である。スルー表示とは、連続的に撮像素子１０２にて画像データが生成され、表示部１１０に被写体の様子が動画としてリアルタイムで表示されることである。この表示部１１０は、画像処理部１０４で処理された画像データや、メモリ１０６、記録媒体に記録された画像データを表示したり、画像解析処理や画像処理の処理結果を表示したりする。

操作部１１１はシステム制御部１０７に各種の動作指示を入力する。なお、操作部の一例としては撮像を指示するレリーズボタン１１２や、カーソルやメニューを操作するための方向指示ボタン１１３やタッチパネル１１４等がある。

操作部１１１に含まれるレリーズボタン１１２は半押しで第１シャッタースイッチ信号ＳＷ１を発生する。システム制御部１０７は、第１シャッタースイッチ信号ＳＷ１を検知することにより、ＡＦ（オートフォーカス）処理、ＡＥ（自動露光）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理、及び、顔検出処理等の動作を開始する。ＡＦ処理とは、光学系１０１が、光学像の焦点の位置を調整することである。

レリーズボタン１１２は全押しで第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部１０７は、第２シャッタースイッチ信号ＳＷ２を検知することにより、撮像素子１０２から読み出した画像データを記録媒体に書き込んで保存する撮影処理の動作を開始する。

〔画像処理部の構成について〕
図２は画像処理部１０４の構成を示すブロック図である。

本実施形態の画像処理部１０４は顔検出部２０１、主被写体選択部２０２、関連被写体選択部２０３、目つむり検出部２０４を有している。各処理部はシステム制御部１０７の制御下において、画像解析処理や画像処理を実行する。

顔検出部２０１は画像処理部１０４に入力された画像データに対して顔領域の検出を行う。顔検出部２０１によって検出された顔の画像データや、各顔の目の位置や口の位置といった顔検出情報はメモリ１０６に書き込まれる。顔検出のアルゴリズムについては後述する。

主被写体選択部２０２は顔検出部２０１によって複数の顔が検出された場合、顔検出情報に基づいて、画像データに存在する複数の顔のうち主被写体となる顔を選択する。顔がひとつしか検出されなければ、その顔が主被写体となる。

主被写体を選択する方法としては、個人認証アルゴリズムなどを用いて予め登録された個人別の優先順位にしたがって選択する方法や、検出された顔領域の位置や、顔のサイズに応じて選択する方法などが一般的である。例えば、特開２００８−００５４３８には、画面中央に近いほど、サイズが大きいほど、顔としての条件を満たす程度が高いほど、その顔の重み値を大きく、最も重み値の大きい顔を主被写体とする方法が記載されている。ここでいう、信頼性係数とはその顔が、顔としての条件を満たす程度を示す値である。すなわち、両目、鼻、口の全ての形状が検出されたうえで顔領域であると判定された顔の信頼性係数は、両目と口の形状しか検出されなかったうえで顔領域であると判定された顔の信頼性係数よりも大きな値となる。

あるいは、複数検出された顔の中から、ユーザに操作部１１１に含まれる方向指示ボタン１１３やタッチパネル１１４を操作させて、主被写体を選択させるようにしてもよい。主被写体として選択された顔は、主被写体として識別可能な情報を付加した顔検出情報としてメモリ１０６に書き込まれる。

関連被写体選択部２０３は顔検出情報を元に、ユーザにとって画像解析処理、あるいは、画像処理を行うに値する被写体であるか否かを、主被写体として選択された顔との相関に基づいて判定する。画像解析処理、あるいは、画像処理を行うに値する被写体であるならば、その被写体を主被写体に関連する関連被写体として選択する。関連被写体として選択された顔は、関連被写体として識別可能な情報を不可した顔検出情報としてメモリ１０６に書き込まれる。以下、画像解析処理として目つむり検出を例に説明を行う。

目つむり検出部２０４は、主被写体選択部２０２、及び、関連被写体選択部２０３で選択された顔に対して、顔検出部２０１で得られた顔検出情報を元に目つむり検出を行う。目つむり検出の方法として、例えば、顔から目周辺と推定される領域を抽出する。その抽出された領域の画像データと予めメモリ内に保存された目画像とのテンプレートマッチングにより目が充分に開いているかどうかを判別する方法などが知られている（特開２００６−０８７０８３を参照）。本発明の目つむり検出のアルゴリズムについては後述する。

なお、図２では、顔検出部２０１、主被写体選択部２０２、関連被写体選択部２０３、及び、目つむり検出部２０４が、別々の回路にて構成されるものとして説明を行ったが、これらは、全ての機能を有する単一の回路で構成されていても構わない。

以上の構成からなる実施例の動作説明を行う。

〔デジタルカメラの全体的な動作〕
図３は本発明に係る撮像装置の全体的な動作を示すフローチャートである。

システム制御部１０７は、静止画を記録する静止画撮影モードが設定されると、ステップＳ３０１において、撮像素子１０２が生成した画像データを表示するスルー表示を開始する。

システム制御部１０７は、ステップＳ３０２において、スルー表示された画像データに人の顔が存在するか否かを検出する顔検出を顔検出部２０１に行わせる。システム制御部１０７は、人の顔が検出された場合、画像データにおいて、検出した顔のサイズ（幅や高さや顔の占める画素数など）、位置情報、検出個数、信頼性係数などを顔検出情報としてメモリ１０６に記憶する。

続いてステップＳ３０３において、システム制御部１０７は、第１シャッタースイッチ信号ＳＷ１がＯＮしているか否かを判定する。第１シャッタースイッチ信号がＯＦＦの場合は、処理ステップはＳ３０２に戻る。第１シャッタースイッチ信号がＯＮの場合は、ステップＳ３０４に進む。

次に、ステップＳ３０４において、システム制御部１０７は、主被写体選択部２０２に、顔検出処理によって検出された顔の中から主被写体を選択させ、それをメモリ１０６に記憶させる。この主被写体の選択方法の詳細については後述する。

主被写体選択部２０２によって主被写体が選択されると、表示部１１０は、どの顔が主被写体として選択されたのかがわかるように、主被写体として選択された顔にその旨を示す枠を重畳して表示部１１０に表示する。顔検出部２０１にて検出された複数の顔に対して既に枠が表示されているのであれば、主被写体として選択された顔に表示される枠だけ色を変えて表示し、ユーザが一目で主被写体としての顔を認識できるようにする。ユーザはこの表示を見て、もし意図した顔と異なる顔が主被写体として選択されているのであれば、一度、第１シャッタースイッチ信号ＳＷ１をＯＦＦにしてから、再びＯＮすることで、再度主被写体の選択をやり直すことができる。あるいは、ユーザが操作部１１１に含まれるタッチパネル１１４や方向指示ボタン１１３を操作して、別の顔を主被写体として選択しなおすようにしてもよい。

ステップＳ３０５において、システム制御部１０７はＡＦ処理を行って光学系１０１の焦点をステップＳ３０４で選択された主被写体に合わせるとともに、ＡＥ処理を行って絞り値、及び、シャッター時間（シャッタースピード）を決定し、メモリ１０６に記憶する。

次に、ステップＳ３０６、Ｓ３０７において、システム制御部１０７は、第１シャッタースイッチ信号ＳＷ１と第２シャッタースイッチ信号ＳＷ２がＯＮしているか否かを判定する。第１シャッタースイッチ信号ＳＷがＯＮした状態で第２シャッタースイッチ信号ＳＷ２がＯＮになると、処理はステップＳ３０６からステップＳ３０８へと進む。第１シャッタースイッチ信号ＳＷ１がＯＦＦになった場合、Ｓ３０２へと戻る。また、第１シャッタースイッチ信号ＳＷ１がＯＮ、第２シャッタースイッチ信号ＳＷ２がＯＦＦの場合は、ステップＳ３０６、Ｓ３０７の処理が繰り返される。

ステップＳ３０８において、システム制御部１０７は、第２シャッタースイッチ信号ＳＷ２を検知したタイミングに応じて、それまでに得られた画像データから求められた露光量に応じて撮像素子１０２への露光処理を開始する。露光処理により生成された画像データに対して現像処理を施す撮影処理を実行し、その結果をメモリ１０６に記憶する。

ステップＳ３０９において、システム制御部１０７は、顔検出部２０１に、ステップＳ３０８にて生成された画像データに対し再び顔検出を行わせる。そして、主被写体選択部２０２は、検出された複数の顔の中から、ステップＳ３０４で主被写体として選択された顔の位置情報及び、サイズとの相関が最も近い顔を、主被写体として選択し、メモリ１０６に記憶する。

ステップＳ３１０において、システム制御部１０７は、メモリ１０６に記憶した主被写体として選択された顔とそれ以外の顔との顔の位置情報、顔サイズ、信頼性係数等の相関に基づいて、主被写体と関連性が高いとみなされる顔を関連被写体として選択する。そして、メモリ１０６にその結果を記憶する。もちろん、顔の位置情報、サイズ、信頼性係数のいずれかの相関のみを用いて関連被写体を選択してもよいし、これら以外の色信号や輝度信号の相関も加味して関連被写体を選択してもよい。

次に、ステップＳ３１１において、システム制御部１０７は、ステップＳ３０８にて撮影された画像データのうち、主被写体、及び、関連被写体の顔に対して目をつむっているか否かを判定する目つむり検出を行う。目つむり検出の詳細については後述する。

次に、ステップＳ３１２において、システム制御部１０７は、表示部１１０にステップＳ３０８の撮影処理で得られた画像データのレックレビュー表示を表示部１１０に表示して行う。レックレビューとは、撮影画像の確認のために、被写体の撮影後記録媒体への記録前に、予め決められた時間だけ画像データを表示部１１０に表示する処理である。このとき、ステップＳ３１１にて目つむりが検出された被写体がいれば、その被写体が目をつむっていることがわかる旨の表示を表示部１１０で行う。例えば、目をつむっている被写体の目を囲うように枠を画像データに重ねて表示することで目つむりであることをアピールしたり、目をつむっている旨のコメントや画像を画像データに重ねて表示したりする。ユーザはこの表示を見ることで、撮影した画像データ中の被写体が目をつむっていることを認識し、必要であれば撮影をやり直すことが可能となる。

レックレビュー表示後、ステップＳ３１３において、システム制御部１０７は、撮影処理で得られた画像データを画像ファイルとして記録媒体に対して書き込む記録処理を実行する。

ステップＳ３１３の記録処理が終了すると、ステップＳ３１４において、システム制御部１０７は、第２シャッタースイッチ信号ＳＷ２のＯＮまたはＯＦＦ状態を判定する。第２シャッタースイッチ信号ＳＷ２がＯＮの場合は、ステップＳ３１４の判定を繰り返し、第２シャッタースイッチ信号ＳＷ２がＯＦＦになるのを待つ。この間、上記レックレビュー表示を継続させる。即ち、ステップＳ３１２の記録処理が終了した際に、第２シャッタースイッチ信号ＳＷ２が放されるまで表示部１１０におけるレックレビュー表示を継続させる。このように構成することにより、ユーザは、例えばレリーズボタンの全押し状態を継続することで、レックレビューを用いた撮影画像データの目つむりの確認を入念に行うことが可能となる。

次にユーザが例えばレリーズボタン１１２を全押し状態にして撮影を行った後、レリーズボタンから手を放して全押し状態が解除されると、処理はステップＳ３１４からステップＳ３１５へ進む。ステップＳ３１４において、システム制御部１０７は、表示部１１０の表示状態をレックレビュー表示からスルー表示状態に戻す。この処理により、レックレビュー表示によって撮影画像データを確認した後、表示部１１０の表示状態は次の撮影のために撮像素子１０２からの画像データを逐次表示するスルー表示状態に自動的に切り替わることになる。

そして、ステップＳ３１６において、システム制御部１０７は、第１シャッタースイッチ信号ＳＷ１のＯＮ、または、ＯＦＦを判定し、第１シャッタースイッチ信号ＳＷ１がＯＮの場合はステップＳ３０６へ、ＯＦＦの場合はステップＳ３０２へ処理を戻す。即ち、レリーズボタン１１２の半押し状態が継続している（第１シャッタースイッチ信号ＳＷ１がＯＮ）場合は、システム制御部１０７は次の撮影に備える（ステップＳ３０２）。一方、レリーズボタンが放された状態（第１シャッタースイッチ信号ＳＷ１がＯＦＦ）であったならば、システム制御部１０７は、一連の撮影動作を終えて撮影待機状態に戻る（ステップＳ３０６）。

〔顔検出アルゴリズム〕
次に、前述した顔検出を行う際のアルゴリズムについて図４を用いて詳細に説明する。

顔検出部２０１はシステム制御部１０７の制御下で、これから説明する各処理を実行する。

まずステップＳ４０１において、システム制御部１０７は、顔検出対象の画像データを画像処理部１０４内の顔検出部２０１に送る。

次にステップＳ４０２において、顔検出部２０１は、送られた当該画像データに水平方向のバンドパスフィルタを演算する。

ステップＳ４０３において、顔検出部２０１は、ステップＳ４０２で処理された画像データに垂直方向のバンドパスフィルタを演算する。これらの演算処理により、画像データより顔のエッジ成分が検出される。

次にステップＳ４０４において、顔検出部２０１は、検出されたエッジ成分に関してパターンマッチングを行い、目、鼻、口、及び、耳の顔を構成するパーツの候補群を抽出する。

そして、ステップＳ４０５において、顔検出部２０１は、ステップＳ４０４で絞り込まれた目、鼻、口、及び、耳の候補群の距離や配置された位置から顔の候補領域を推定する。これらの顔候補領域に対して予め設定した条件フィルタを演算することで、最終的に顔を検出する。ここでは、目、鼻、口、及び、耳の候補群の全てがそろっていなくとも、これらの相関距離や配置が顔としての条件を満たしていれば、その領域が顔領域であると判定する。

ステップＳ４０６において、顔検出部２０１は、ステップＳ４０５による顔の検出結果に応じて上記顔検出情報を出力し、顔検出処理を終了する。この際、システム制御部１０７は、出力された顔検出情報ある顔の検出数や顔の位置情報、顔サイズ、顔としての条件を満たす程度を示す信頼性係数、検出された顔を識別するためのＩＤ等を、メモリ１０６に記憶する。ここでいう信頼性係数とは例えば、目が２つあるか否か、２つの目の距離はどれくらいか、２つの目の間に鼻が存在するか否か等に基づき決定される。

尚、上記説明した顔検出アルゴリズム以外の顔検出方法として、顔検出領域を予め設定しておいて、その領域内の顔を検出する方法、顔の色相から顔を検出する方法等がある。

〔主被写体選択アルゴリズム〕
次に、前述した主被写体選択アルゴリズムについて図５を用いて詳細に説明する。

主被写体選択部２０２は、システム制御部１０７の制御下で、これから説明する各処理を実行する。その際、顔検出処理の過程でメモリ１０６に記憶された顔検出情報を用いる。

ステップＳ５０１において、主被写体選択部２０２は、ステップＳ３０２で検出された顔の検出数をメモリ１０６に記憶させておくとともに、主被写体選択処理の対象となる顔をカウントするメモリ１０６のカウンタＮを０（ゼロ）に初期化する。

次にステップＳ５０２において、主被写体選択部２０２は、顔検出処理で得られた信頼性係数、顔サイズ、顔の位置情報等の顔検出結果をメモリ１０６から読み出す。

次にステップＳ５０３において、主被写体選択部２０２は、顔検出処理によって検出された顔の検出数が０か否かを判定する。顔検出数が０である場合には、人物と思われる被写体は存在しないので主被写体処理を終了する。ステップＳ５０３において、ひとつ以上の顔が検出された場合には、ステップＳ５０４に進む。

次にステップＳ５０４において、主被写体選択部２０２はカウンタＮの値を１増やす。

ステップＳ５０５において、主被写体選択部２０２は、顔検出処理によって検出された顔検出数がひとつであるか否かを判定する。検出された顔がひとつである場合は、主被写体と思われる人物は顔検出された人物に特定されるので、検出された顔を主被写体として選択し（ステップＳ５１２）、主被写体選択処理を終了する。この際、主被写体選択部２０２は、メモリ１０６に選択された顔が主被写体であることが判別可能な情報を付加して顔検出情報を書き込む。

ステップＳ５０５において、顔検出数がひとつではない、つまり、検出された顔が複数の場合には、ステップＳ５０６に進む。

ステップＳ５０６において、主被写体選択部２０２は、顔の信頼性係数に基づいて算出される重み１を算出する。ステップＳ５０７において、主被写体選択部２０２は、検出された顔サイズに基づいて算出される重み２を算出する。ステップＳ５０８において、主被写体選択部２０２は、検出された顔の位置情報に基づいて重み３を算出する。ここでいう重みとは、主被写体を選択するための最終重みを計算する際の係数のことである。例えば、顔サイズが０（ピクセル）のときには重みを０、顔サイズが２０（ピクセル）のとき重みを０．２、顔サイズが３０（ピクセル）のときには重みが０．８になるように設定する。

また、被写界の中心座標と、顔検出された顔の位置との距離から重みを計算する例を説明する。本実施形態におけるデジタルカメラの表示用画像データのサイズは３２０（ピクセル）×２４０（ピクセル）である。そのため三平方の定理を利用して、被写界の中心座標（１６０，１２０）と、メモリ１０６から読み込んだ顔の位置情報（Ｘ、Ｙ）とから距離を算出する。距離が１０（ピクセル）までは、重み１．０、８０（ピクセル）になると重み０．８、距離８０（ピクセル）以上離れていたときは重み０．６になるように設定する。

また顔の信頼性係数に関しては、目が対で存在し、かつ、鼻、口のパーツが顔検出処理によって抽出された場合は、重みを１．０、目が片方だけ抽出された場合は重みを０．９、鼻と口だけ抽出された場合は０．８というように設定する。

次に、ステップＳ５０９において、算出された重み１から重み３の総和を計算して得られる値をメモリ１０６に書き込み、ステップＳ５１０に進む。尚、ここで算出する最終重みは各重みの乗算であってもよい。

ステップＳ５１０において、主被写体選択部２０２は、最終重み値が最も大きい顔を主被写体として選択する。この際、メモリ１０６に選択された顔が主被写体であることが判別可能な情報を付加して、顔検出情報を書き込み、ステップＳ５１１へ進む。

ステップＳ５１１において、主被写体選択部２０２は、カウンタＮの値と予めメモリ１０６に書き込まれている顔検出数とを比較する。カウンタＮの値が顔検出数と同じ場合、顔検出された全ての顔に対して主被写体選択処理が実行されたことになるので、主被写体選択処理を終了する。

カウンタＮの値が顔検出数と同じではない場合、ステップＳ５０２に戻り処理を繰り返す。

以上、顔サイズ、顔の位置情報、顔としての条件を満たす程度を示す信頼性係数を用いた主被写体の検出方法について説明したが、個人認証を用いて予め登録された人物と推定された顔を主被写体として選択するようにしても良い。

個人認証とは、予め不図示のメモリに登録された個人ごとの顔の特徴点と、顔検出処理によって検出された顔から抽出された特徴点を比較して、画像データにおける顔が誰であるかを特定する処理である。具体的には、顔検出により抽出された目や鼻や口など、各特徴点の互いの配置情報と、予めメモリに登録されている顔の特徴点の配置情報とのマッチングを行い、類似度を計算する。そして、類似度が最も高く、かつ、その類似度が閾値を超えている被写体が存在すれば、その被写体が予め登録された個人と同一人物であると判定する（特開平０９−２５１５３４を参照）。この個人の優先順位を、特徴点の配置情報に対応させて予めメモリ１０６に記憶させておくことで、複数の顔が検出された場合には、個人認証に成功した顔であって、かつ、メモリに記憶されたその個人の優先順位が最も高い顔を主被写体として選択することができる。

〔関連被写体選択アルゴリズム〕
次に、前述した関連被写体選択アルゴリズムについて図６（Ａ）、図６（Ｂ）を用いて詳細に説明する。

関連被写体選択部２０３は、システム制御部１０７の制御下で、これから説明する各処理を実行する。その際、顔検出処理の過程でメモリ１０６に記憶された顔検出情報を用いる。

図６（Ａ）のステップＳ６０１において、関連被写体選択部２０３は、主被写体選択処理の対象となる顔をカウントするカウンタＮを０（ゼロ）に初期化する。

ステップＳ６０２において、関連被写体選択部２０３は、メモリ１０６に保存された顔サイズ、顔の位置情報の顔検出結果と、主被写体の選択結果を読み込み、ステップＳ６０３へ進む。

ステップＳ６０３において、関連被写体選択部２０３はカウンタＮの値を１増し、読み込んだ複数の顔検出結果の中からいずれかの顔の顔検出結果を選択する。

ステップＳ６０４において、関連被写体選択部２０３は、ステップＳ６０３で選択した顔の顔検出結果が主被写体選択部２０２において、選択された顔であるか否かを判定する。参照している顔が主被写体でない場合は、ステップＳ６０５に進む。参照している顔が主被写体である場合は、ステップＳ６０９へ進む。

ステップＳ６０５において、関連被写体選択部２０３は、顔検出部２０１によって検出された主被写体の顔検出情報と、参照している顔の顔検出情報との相関値Ｒを算出する。相関値Ｒとは例えば、主被写体の顔サイズＡと参照している顔サイズＢの比率Ａ／ＢまたはＢ／Ａのうち、大きな方の値で定義される。相関値Ｒは、主被写体と参照している顔サイズの差分Ａ−Ｂの絶対値で定義されてもよい。いずれの場合であっても、相関値Ｒは顔サイズＡと顔サイズＢの値が近いほど小さな値となる。ここで言う顔サイズの一例として、顔の縦または横の長さ、または、顔が占める画素数がある。

ステップＳ６０６において、関連被写体選択部２０３は、相関値Ｒと予め設定された閾値ＴＨとの比較を行う。比較の結果、相関値Ｒが閾値ＴＨよりも小さい場合は、参照している顔は、主被写体の顔に近いサイズであると判定し、ステップＳ６０７に進む。相関値Ｒが閾値ＴＨよりも大きい場合は、ステップＳ６０９に進む。この閾値ＴＨは実験的に好適な値を求めるようにすればよい。

ステップＳ６０７において、関連被写体選択部２０３は、主被写体の顔とサイズが近いと判定された顔の位置情報（Ｘ，Ｙ）を元に、この参照している顔が予め設定された被写界内の所定領域Ｄの内部に存在するかどうかを判定する。ここで、予め設定された所定領域Ｄとは、例えば撮影被写界内の縦、及び、横八割、面積比６４％の領域など、任意に設定することができる。所定領域Ｄの内部に存在すると判定された場合は、ステップＳ６０８へ進み関連被写体として選択する。ステップＳ６０７において、参照している顔が、所定領域Ｄの内部には存在しないと判定された場合は、ステップＳ６０９へ進む。

ステップＳ６０９において、関連被写体選択部２０３は、カウンタＮの値と予めメモリ１０６に書き込まれている顔検出数とを比較する。カウンタＮの値が顔検出数に達していなければ、ステップＳ６０３に戻り、別の顔の顔検出結果を選択して同様の処理を繰り返す。カウンタＮの値が顔検出数に達した場合、顔検出された全ての顔に対して関連被写体選択処理が実行されたことになるので、関連被写体選択処理を終了する。

このように、図６（Ａ）に示す関連被写体選択アルゴリズムでは、関連被写体選択部２０３は、顔検出部２０１によって検出された主被写体以外の顔のうち、主被写体の顔とサイズが近く、かつ、被写界内の中央部付近に位置する顔を関連被写体として選択している。

次に、図６（Ｂ）を用いて、関連被写体選択アルゴリズムの別の例について説明を行う。図６（Ｂ）に示す関連被写体選択アルゴリズムは、図６（Ａ）のステップＳ６０７の処理を、ステップＳ６２１、Ｓ６２２の処理に置き換えたものであるので、この処理を中心に説明を行う。

図６（Ｂ）のステップＳ６０６において、主被写体の顔検出情報と、参照している顔の顔検出情報との相関値Ｒが閾値ＴＨよりも小さい場合は、この参照している顔は主被写体の顔に近いサイズであると判定し、ステップＳ６２１に進む。

ステップＳ６２１において、関連被写体選択部２０３は、主被写体の顔の大きさに応じて第２閾値を設定する。そして、ステップＳ６２２において、関連被写体選択部２０３は、主被写体の顔に近いサイズであると判定された顔の中心位置と、主被写体の顔の中心位置との距離が、ステップＳ６２１で設定した第２閾値以内であるかを判定する。そして、この距離が第２閾値以内であれば、ステップＳ６０８へ進む。ステップＳ６０８では、関連被写体選択部２０３は、その参照している顔を関連被写体として選択する。このように図６（Ｂ）に示す関連被写体選択アルゴリズムでは関連被写体選択部２０３は、顔検出部２０１によって検出された主被写体以外の顔のうち、主被写体の顔とサイズが近く、かつ、主被写体の顔と距離が近い顔を関連被写体として選択している。すなわち、図６（Ａ）と異なり、参照している顔が被写界の端部に位置していたとしても、主被写体の顔からの距離が近ければ関連被写体として選択されることがある。

このステップＳ６２１で設定される第２閾値は、主被写体の顔が大きくなるほど、大きな値となるように設定される。これは２人の人物の距離が同じであっても、それらの人物が撮像装置からどの程度離れているかによって、画像データ中における２人の距離が変化してくるためである。ただし、顔が大きくなるほど、無制限に第２閾値を大きくしても良いというわけではなく、この第２閾値に上限を設けるようにしても構わない。これは、顔がある程度大きくなると、ポートレートのような構図を意図した撮影である可能性が高く、このような場合は、関連する被写体であるならば、その距離がむしろ近くなることが予想されるためである。

なお、ここでは図６（Ａ）、図６（Ｂ）のいずれの例でも、顔サイズを判定基準に用いていたが、これに限られるものではない。主被写体の顔と参照している顔の距離だけで関連被写体を選択しても構わない。それぞれの顔について連続して検出できている時間を計測し、検出できている時間が主被写体の顔と同程度である顔を関連被写体として選択しても構わない。それぞれの顔について移動軌跡を蓄積し、検出した移動軌跡が主被写体の顔と類似する顔を関連被写体として選択しても構わない。あるいは、個人認証を用いて、主被写体選択部２０２によって主被写体であると判定された被写体と関連性の高い被写体を選択するようにしても構わない。例えば、個人の優先順位を予めメモリに記憶させておくことで、検出された顔に対して認証処理を行い、主被写体として選択された人物の優先順位と近い優先順位を備える人物のみを、関連被写体として選択することも可能である。

〔目つむり検出アルゴリズム〕
次に、前述した目つむり検出アルゴリズムについて図７を用いて詳細に説明する。

目つむり検出部２０４は、システム制御部１０７の制御下において、これから説明する各処理を実行する。その際、顔検出処理の過程でメモリ１０６に記憶された顔検出情報を用いる。

ステップＳ７０１において、目つむり検出部２０４は、顔検出処理で得られた顔領域から目と推定される領域の画像を読み込む。

ステップＳ７０２において、目つむり検出部２０４は、目画像のテンプレートデータをメモリ１０６から読み込む。

ステップＳ７０３において、目つむり検出部２０４は、顔検出処理で得られた目領域の画像と、テンプレートデータとを比較して目の開き具合が充分か否かを判定する。開き具合が充分であると判定された場合には、ステップＳ７０５へ進み目つむりが検出された旨の表示を行う対象とはしない。

ステップＳ７０４において、目の開き具合が充分でないと判定された場合には、ステップＳ７０６へ進み、表示部１１０に目つむり警告を行う対象として通知する。表示部１１０は、この通知を受けて、ステップ３１２にてレックレビュー表示をする際に、被写体が目つむりしている旨を画像データに重畳して表示する。

なお、目つむり警告として画面上に文字やアイコンを合成して表示する方法のほかに、音声や、ＬＥＤ等を点滅または点灯させることも可能である。

以上説明したように、本実施形態によれば、選択された主被写体と相関の高い被写体を関連被写体として選択し、選択された主被写体、及び、関連被写体に対してのみ目つむり検出を行う。こうすることで、ユーザが撮影対象として意図する被写体に対してのみ目つむり検出を行う確率を向上させることが可能となる。

特に、デジタルカメラでは、ＡＦ処理の対象としての主被写体を選択するタイミングと、実際に目つむり検出を行うタイミングには開きがあることが多いため、主被写体を選択した後に、別の被写体が被写界内に登場するような状況も考えられる。仮に、目つむり検出の対象を、予め選択された主被写体と相関の高い被写体ではなく、単に顔サイズや位置などから求めた重みが大きい被写体を選択するように構成したとする。この場合、撮影直前にカメラの近くに人が登場した場合には、この顔に目つむり検出の対象として選択される確率が高くなってしまう。

これに対し、本実施形態では、主被写体として相関の高い被写体を目つむり検出の対象として選択している。そのため、主被写体を選択する第１の操作（レリーズボタンの半押し）と関連被写体を選択する第２の操作（レリーズボタンの全押し）の間に意図しない人物が被写界に登場しても、その人物が目つむり検出の対象として選択される確率を低くすることが可能となる。

さらに、ユーザが方向指示ボタンで任意の被写体を主被写体として選択したような場合には、必ずしもその主被写体が他の被写体よりも大きく写っている、あるいは、画面の中央よりに位置しているとは限らない。このような状況下では、単に顔サイズや位置などから求めた重みが大きい被写体を目つむり検出の対象として選択してしまうと、ユーザが意図している被写体に対して目つむり検出を行える可能性は低い。これに対し、本実施形態では、ユーザが方向指示ボタン１１３で任意の被写体を主被写体に変更した場合であっても、ユーザが新たに選択した主被写体を基準として、余計な被写体がどれであるかを判定する。そのため、ユーザが撮影対象として意図する被写体に対してのみ目つむり検出を行える確率を向上させることが可能となる。

また、本実施形態では、ステップＳ３１０にて関連被写体を選択してから、ステップＳ３１１にて主被写体と関連被写体に対して目つむりの検出を行ったが、この処理の順を逆にしても構わない。すなわち、ステップＳ３０９にて検出されたすべての顔に対して目つむりの検出を行い、目つむりであると判定された顔から、主被写体と関連被写体に該当するものを選択して、ステップＳ３１２のレックレビューでその旨を表示する。このようにすることで、目つむりの処理時間は短縮されないが、余計な被写体に対しては目つむりの警告表示が行われないため、ユーザにとって煩わしい表示となることを抑止することができる。

（実施形態２）
本実施形態は主被写体、及び、関連被写体を選択し、選択された顔に対して個人認証を行い、それ以外の顔に対しては個人認証を行わない実施形態に関して説明する。本実施形態に係る撮像装置の構成は実施形態１に加え、メモリ１０６は、カレンダー情報や日付に関する情報を有している。なお、本実施形態におけるデジタルカメラの画像処理部１０４は、目つむり検出部２０４に代えて、個人認証部を有しているものとする。

〔デジタルカメラの全体的な動作〕
図８は実施形態２に係るデジタルカメラの全体の動作をフローチャートに示したものである。尚、実施形態１で説明した処理と同じ処理を行うステップは、図３と同じ符号を付けている。

ステップＳ３０１からステップＳ３１０までとステップＳ３１２からステップＳ３１６までは、実施形態１の図３で示した各ステップの処理と同じであるので説明は割愛する。

ステップＳ８０１において、画像処理部１０４は、主被写体、及び、関連被写体として選択された顔に対して上述した方法にて個人認証を行い、それ以外の顔に対しては個人認証を行わずステップＳ８０２へと進む。

ステップＳ８０２において、画像処理部１０４は、個人認証された人物に対して、撮影履歴の記録をメモリ１０６に対して行う。画像処理部１０４は、デジタルカメラ内部に搭載されたカレンダーに従い、同じ日に撮影された画像データにおける個人認証結果をメモリ１０６に蓄積している。すなわち、同じ日であれば、撮影した画像データから個人が認証されるたびに、その個人の撮影回数を表すカウンタを増加させる。そして、次のステップＳ３１２において、システム制御部１０７が、撮影した画像とともに、どの人物がその日に何回撮影されたのかを示す数字を表示部１１０に表示させる。このように構成することにより、ユーザが仲間を均等に撮影することを手助けすることが可能となる。もちろん、カウントする期間はユーザが任意に設定することが可能であり、ユーザが指定した期間の間だけカウントを継続したり、電源のオンとオフをトリガーとしてカウント期間を設定したりすることも可能である。

以上の構成により、主被写体との相関に基づいて関連被写体を選択し、主被写体及び関連被写体と選択された被写体に対してのみ個人認証を行うことで、被写体を区別せずに個人認証を行った場合に比べ、個人認証に必要とする時間を短縮することが可能となった。なお、本実施形態によれば、主被写体、及び、関連被写体と選択された被写体に対してのみ個人認証を行うため、目立ちにくい構図で撮影されてしまった人物は撮影回数のカウント対象となりにくくなる。そのため、たまたま被写界に入ってしまったような人物は、個人認証可能な人物であったとしてもカウントされず、その人物にとって好適な構図である画像に絞って、撮影回数をカウントすることが可能となる。

（実施形態３）
本実施形態は主被写体、及び、関連被写体を選択し、該選択された主被写体と関連被写体に対して赤目補正を行う実施形態である。本実施形態に係る撮像装置の構成は実施形態１と同じである。なお、本実施形態におけるデジタルカメラの画像処理部１０４は、目つむり検出部２０４に代えて、赤目検出部、赤目補正部を有しているものとする。

〔デジタルカメラの全体的な動作〕
図９は実施形態３にかかる撮像装置全体の動作を示すフローチャートである。実施形態１の図３と同じ処理を行う部分に対しては同じ符号を付けている。

ステップＳ３０４からステップＳ３１０において、主被写体と関連被写体を選択後、ステップＳ９０１において、システム制御部１０７は、主被写体、及び、関連被写体が赤目になっているか否かの赤目検出行う。赤目検出の方法は、まず顔検出処理によって検出された目領域の色相を調べ、目の領域の平均色相を検出し赤色成分が設定された閾値以上の場合に赤目が生じていると判定する。

赤目が検出された場合はステップＳ９０２へと進み、赤目補正を行う。赤目補正とは赤目が検出された領域の彩度を低くする補正を行うことである。

このような構成とすることで、ユーザが撮影対象としていると推定される被写体以外には、赤目補正を行わないので、処理時間が短縮されより使い勝手の良い撮像装置を提供することが可能となった。

また、実施形態１と同様に、関連被写体の選択処理と赤目の検出処理の順を逆にしても構わない。すなわち、ステップＳ３０９にて検出されたすべての顔に対して赤目検出を行い、赤目であると判定された顔から、主被写体と関連被写体に該当するものを選択して、ステップＳ３１２のレックレビューでその旨を表示する。このようにすることで、余計な被写体に対しては赤目検出結果の表示が行われないため、ユーザにとって煩わしい表示となることを抑止することができる。

なお、本発明が主被写体、及び、関連被写体に対して行う画像解析は、目つむり検出、赤目補正、個人認証に限られるものではなく、肌色処理や笑顔検出など、被写体の顔に対して何らかの検出処理や補正処理が行えるものであればよい。

また、実施形態１、実施形態２、及び、実施形態３は画像処理装置としてデジタルカメラを例に挙げて説明を行ったが、これに限られるものではない。カメラと情報処理装置の間で画像データの通信を行い、カメラで撮影した画像データに対して、情報処理装置側で画像解析を行うようなシステムからなる画像処理装置にも適用することが可能である。また、目つむり検出、赤目補正、あるいは、個人認証を、必要とされる人物に対してのみ行うという目的であれば、ネットワークを介して受け取った画像データに対して情報処理装置がこれらの画像解析を行うことも可能である。

つまり、上記の実施形態１、実施形態２、及び、実施形態３、いずれかと同等の処理を、プログラムでも実現できる。この場合、図２をはじめとする構成要素の各々は、情報処理装置内部のＣＰＵが実行するサブルーチンで機能させれば良い。

２０１ 顔検出部
２０２ 主被写体選択部
２０３ 関連被写体選択部
２０４ 目つむり検出部

Claims (10)

1. 画像データから顔を検出する顔検出手段と、
   前記顔検出手段から複数の顔が検出された場合に、いずれかの顔を主被写体として選択する主被写体選択手段と、
   前記主被写体選択手段により主被写体として選択されなかった顔の中から、前記主被写体として選択された顔との相関に基づいて、関連被写体としての顔を選択する関連被写体選択手段と、
   前記顔検出手段により検出された顔に対して所定の画像処理を行う画像処理手段とを有し、
   前記画像処理手段は、前記主被写体選択手段、及び、前記関連被写体選択手段により選択された顔に対して前記所定の画像処理を行い、それ以外の顔に対しては前記所定の画像処理を行わないことを特徴とする画像処理装置。
2. 画像データから顔を検出する顔検出手段と、
   前記顔検出手段から複数の顔が検出された場合に、いずれかの顔を主被写体として選択する主被写体選択手段と、
   前記主被写体選択手段により主被写体として選択されなかった顔の中から、前記主被写体として選択された顔との相関に基づいて、関連被写体としての顔を選択する関連被写体選択手段と、
   前記顔検出手段により検出された顔に対して所定の画像処理を行う画像処理手段とを有し、
   前記画像処理手段は、前記主被写体選択手段、及び、前記関連被写体選択手段により選択された顔に対して前記所定の画像処理の結果の表示を行い、それ以外の顔に対しては前記所定の画像処理の結果の表示を行わないことを特徴とする画像処理装置。
3. 操作部を有し、
   前記主被写体選択手段は、前記操作部における第１の操作に応じて前記主被写体としての顔を選択し、前記関連被写体選択手段は、前記第１の操作よりも後の前記操作部における第２の操作に応じて前記関連被写体としての顔を選択することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記関連被写体選択手段は、前記主被写体選択手段により選択された顔と選択されなかった顔の、位置、サイズ、検出された時間、及び、位置の移動軌跡の少なくともいずれかを比較することにより、前記関連被写体を選択することを特徴とする請求項１乃至３いずれか１項に記載の画像処理装置。
5. 前記所定の画像処理は目つむり検出、赤目補正、及び、個人認証のうち少なくともいずれかであることを特徴とする請求項１乃至４いずれか１項に記載の画像処理装置。
6. 前記画像処理装置は、光学像を電気信号に変換する撮像素子、及び、前記光学像の焦点の位置を調整する光学系を有することを特徴とする請求項３に記載の画像処理装置。
7. 前記操作部における前記第１の操作に応じて、前記主被写体選択手段が前記主被写体としての顔を選択するとともに、前記光学系が前記主被写体としての顔に焦点の位置をあわせ、前記操作部における前記第２の操作に応じて、前記撮像素子で生成された画像データを記録媒体に記録させることを特徴とする請求項６に記載の画像処理装置。
8. 画像データから顔を検出する顔検出工程と、
   前記顔検出工程から複数の顔が検出された場合に、いずれかの顔を主被写体として選択する主被写体選択工程と、
   前記主被写体選択工程により主被写体として選択されなかった顔の中から、前記主被写体として選択された顔との相関に基づいて、関連被写体としての顔を選択する関連被写体選択工程と、
   前記顔検出工程により検出された顔に対して所定の画像処理を行う画像処理工程とを有し、
   前記画像処理工程は、前記主被写体選択工程、及び、前記関連被写体選択工程により選択された顔に対して前記所定の画像処理を行い、それ以外の顔に対しては前記所定の画像処理を行わないことを特徴とする画像処理方法。
9. 画像データから顔を検出する顔検出工程と、
   前記顔検出工程から複数の顔が検出された場合に、いずれかの顔を主被写体として選択する主被写体選択工程と、
   前記主被写体選択工程により主被写体として選択されなかった顔の中から、前記主被写体として選択された顔との相関に基づいて、関連被写体としての顔を選択する関連被写体選択工程と、
   前記顔検出工程により検出された顔に対して所定の画像処理を行う画像処理工程とを有し、
   前記画像処理工程は、前記主被写体選択工程、及び、前記関連被写体選択工程により選択された顔に対して前記所定の画像処理の結果の表示を行い、それ以外の顔に対しては前記所定の画像処理の結果の表示を行わないことを特徴とする画像処理方法。
10. 請求項８または請求項９に記載の方法を情報処理装置に実行させるためのプログラム。