JP2014036321A - 電子カメラ - Google Patents

Abstract

【構成】顔検出回路３６は、ＹＵＶ画像エリア２６ｂに格納された画像データを参照して撮像シーンに現れた顔を探索するとともに、探知された顔の角度を判別する。器官検出回路３８は、顔検出回路３６によって探知された顔を形成する１または２以上の器官を上述の画像データを参照して探索するとともに、探知された器官を有する顔の角度を判別する。ＣＰＵ４０は、顔探索回路３６によって探知された顔および器官探索回路３８によって探知された１または２以上の器官の中から指定された調整対象に注目して露光量およびフォーカスを調整する。ＣＰＵ４０はまた、顔検出回路３６および器官検出回路３８によって判別された２つの角度を参照して調整対象を決定する。
【効果】顔の角度の誤判別に起因する撮像性能の低下が抑制される。
【選択図】図２

Description

この発明は、電子カメラに関し、特に顔検出機能と顔器官検出機能とを有する、電子カメラに関する。

この種のカメラの一例が、特許文献１に開示されている。この背景技術によれば、被写体の笑顔を検出したときに自動的に撮影を行う撮像装置において、検出手段と制御手段とが備えられる。検出手段は、笑顔の被写体が写った笑顔画像の撮影枚数が基準枚数に到達した場合、それ以降は、被写体の横顔を検出する。制御手段は、検出手段により横顔が検出されたときに、自動的に撮影を実行する。

特開２０１０−２７３２８１号公報

しかし、横顔については笑顔以上に誤検出が発生する可能性が高いところ、背景技術では横顔の誤検出を回避するための対策が講じられることはなく、誤検出に起因して撮像性能が低下するおそれがある。

それゆえに、この発明の主たる目的は、撮像性能の低下を抑制することができる、電子カメラを提供することである。

この発明に従う電子カメラ(10：実施例で相当する参照符号。以下同じ)は、撮像手段(18)から出力された電子画像を参照して撮像シーンに現れた顔を探索する第１探索手段(36c)、第１探索手段によって探知された顔を形成する１または２以上の器官を撮像手段(18)から出力された電子画像を参照して探索する第２探索手段(38c)、第１探索手段によって探知された顔および第２探索手段によって探知された１または２以上の器官の中から指定された調整対象に注目して撮像条件を調整する調整手段(S5~S7)、第１探索手段によって探知された顔の角度を第１探索手段の処理に関連して判別する第１判別手段(S49)、第２探索手段によって探知された１または２以上の器官を有する顔の角度を第２探索手段の処理に関連して判別する第２判別手段(S51)、および第１判別手段によって判別された角度と第２判別手段によって判別された角度とを参照して調整対象を決定する決定手段(S53~S89)を備える。

好ましくは、決定手段は、第１判別手段によって判別された角度と第２判別手段によって判別された角度との相違を算出する算出手段(S53)、および算出手段によって算出された相違が第１基準以上のとき第１探索手段によって探知された顔を調整対象として決定する第１調整対象決定手段(S55, S75~S77)を含む。

さらに好ましくは、決定手段は算出手段によって算出された相違が第１基準を下回るとき第２探索手段によって探知された１または２以上の器官のうち第１判別手段または第２判別手段によって判別された顔の角度に応じて異なる器官を調整対象として決定する第２調整対象決定手段(S63~S67, S79~S87)をさらに含む。

より好ましくは、決定手段は第２探索手段によって探知された１または２以上の器官の信頼度が第２基準を上回るとき第２調整対象決定手段を起動する起動手段(S59~S61)をさらに含む。

好ましくは、決定手段は第２基準の大きさを第１判別手段または第２判別手段によって判別された角度を参照して調整する基準調整手段(S57)をさらに含む。

この発明に従う撮像制御プログラムは、撮像手段(18)から出力された電子画像を参照して撮像シーンに現れた顔を探索する第１探索手段(36c)、および第１探索手段によって探知された顔を形成する１または２以上の器官を探索する第２探索手段(38c)を備える電子カメラ(10)のプロセッサ(40)に、第１探索手段によって探知された顔および第２探索手段によって探知された１または２以上の器官の中から指定された調整対象に注目して撮像条件を調整する調整ステップ(S5~S7)、第１探索手段によって探知された顔の角度を第１探索手段の処理に関連して判別する第１判別ステップ(S49)、第２探索手段によって探知された１または２以上の器官を有する顔の角度を第２探索手段の処理に関連して判別する第２判別ステップ(S51)、および第１判別ステップによって判別された角度と第２判別ステップによって判別された角度とを参照して調整対象を決定する決定ステップ(S53~S89)を実行させるための、撮像制御プログラムである。

この発明に従う撮像制御方法は、撮像手段(18)から出力された電子画像を参照して撮像シーンに現れた顔を探索する第１探索手段(36c)、および第１探索手段によって探知された顔を形成する１または２以上の器官を探索する第２探索手段(38c)を備える電子カメラ(10)によって実行される撮像制御方法であって、第１探索手段によって探知された顔および第２探索手段によって探知された１または２以上の器官の中から指定された調整対象に注目して撮像条件を調整する調整ステップ(S5~S7)、第１探索手段によって探知された顔の角度を第１探索手段の処理に関連して判別する第１判別ステップ(S49)、第２探索手段によって探知された１または２以上の器官を有する顔の角度を第２探索手段の処理に関連して判別する第２判別ステップ(S51)、および第１判別ステップによって判別された角度と第２判別ステップによって判別された角度とを参照して調整対象を決定する決定ステップ(S53~S89)を備える。

この発明に従う外部制御プログラムは、撮像手段(18)から出力された電子画像を参照して撮像シーンに現れた顔を探索する第１探索手段(36c)、第１探索手段によって探知された顔を形成する１または２以上の器官を探索する第２探索手段(38c)、およびメモリ(50)に保存された内部制御プログラムに従う処理を実行するプロセッサ(40)を備える電子カメラ(10)に供給される外部制御プログラムであって、第１探索手段によって探知された顔および第２探索手段によって探知された１または２以上の器官の中から指定された調整対象に注目して撮像条件を調整する調整ステップ(S5~S7)、第１探索手段によって探知された顔の角度を第１探索手段の処理に関連して判別する第１判別ステップ(S49)、第２探索手段によって探知された１または２以上の器官を有する顔の角度を第２探索手段の処理に関連して判別する第２判別ステップ(S51)、および第１判別ステップによって判別された角度と第２判別ステップによって判別された角度とを参照して調整対象を決定する決定ステップ(S53~S89)を内部制御プログラムと協働してプロセッサに実行させるための、外部制御プログラムである。

この発明に従う電子カメラ(10)は、撮像手段(18)から出力された電子画像を参照して撮像シーンに現れた顔を探索する第１探索手段(36c)、第１探索手段によって探知された顔を形成する１または２以上の器官を探索する第２探索手段(38c)、外部制御プログラムを取り込む取り込み手段(52)、および取り込み手段によって取り込まれた外部制御プログラムとメモリ(50)に保存された内部制御プログラムとに従う処理を実行するプロセッサ(40)を備える電子カメラであって、外部制御プログラムは、第１探索手段によって探知された顔および第２探索手段によって探知された１または２以上の器官の中から指定された調整対象に注目して撮像条件を調整する調整ステップ(S5~S7)、第１探索手段によって探知された顔の角度を第１探索手段の処理に関連して判別する第１判別ステップ(S49)、第２探索手段によって探知された１または２以上の器官を有する顔の角度を第２探索手段の処理に関連して判別する第２判別ステップ(S51)、および第１判別ステップによって判別された角度と第２判別ステップによって判別された角度とを参照して調整対象を決定する決定ステップ(S53~S89)を内部制御プログラムと協働して実行するプログラムに相当する。

この発明によれば、撮像条件は、撮像シーンから探知された顔および１または２以上の器官の中から指定された調整対象に注目して調整される。ここで、調整対象は、顔の探索に関連して判別された顔の角度と器官の探索に関連して判別された顔の角度とを参照して決定される。これによって、顔の角度の誤判別に起因する撮像性能の低下が抑制される。

この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

この発明の基本的構成を示すブロック図である。 この発明の一実施例の構成を示すブロック図である。 撮像面における評価エリアの割り当て状態の一例を示す図解図である。 図２実施例に適用される顔検出回路の構成の一例を示すブロック図である。 図４に示す顔検出回路に適用される辞書の構成の一例を示す図解図である。 図４に示す顔検出回路に適用されるレジスタの構成の一例を示す図解図である。 図２実施例に適用される器官検出回路の構成の一例を示すブロック図である。 図７に示す器官検出回路に適用される辞書の構成の一例を示す図解図である。 図７に示す器官検出回路に適用されるレジスタの構成の一例を示す図解図である。 （Ａ）は撮像面で捉えられたシーンの一例を示す図解図であり、（Ｂ）は撮像面で捉えられたシーンの他の一例を示す図解図である。 図２実施例の動作の一部を示す図解図である。 （Ａ）は撮像面で捉えられたシーンのその他の一例を示す図解図であり、（Ｂ）は撮像面で捉えられたシーンのさらに他の一例を示す図解図である。 図２実施例に適用されるＣＰＵの動作の一部を示すフロー図である。 図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。 図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。 図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。 図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。 この発明の他の実施例の構成を示すブロック図である。

以下、この発明の実施の形態を図面を参照しながら説明する。
［基本的構成］

図１を参照して、この発明の電子カメラは、基本的に次のように構成される。第１探索手段１は、撮像手段７から出力された電子画像を参照して撮像シーンに現れた顔を探索する。第２探索手段２は、第１探索手段１によって探知された顔を形成する１または２以上の器官を撮像手段１から出力された電子画像を参照して探索する。調整手段３は、第１探索手段１によって探知された顔および第２探索手段２によって探知された１または２以上の器官の中から指定された調整対象に注目して撮像条件を調整する。第１判別手段４は、第１探索手段１によって探知された顔の角度を第１探索手段１の処理に関連して判別する。第２判別手段５は、第２探索手段２によって探知された１または２以上の器官を有する顔の角度を第２探索手段２の処理に関連して判別する。決定手段６は、第１判別手段４によって判別された角度と第２判別手段５によって判別された角度とを参照して調整対象を決定する。

撮像条件は、撮像シーンから探知された顔および１または２以上の器官の中から指定された調整対象に注目して調整される。ここで、調整対象は、顔の探索に関連して判別された顔の角度と器官の探索に関連して判別された顔の角度とを参照して決定される。これによって、顔の角度の誤判別に起因する撮像性能の低下が抑制される。
［実施例］

図２を参照して、この実施例のディジタルカメラ１０は、ドライバ２０ａ〜２０ｃによってそれぞれ駆動されるズームレンズ１２，フォーカスレンズ１４および絞りユニット１６を含む。これらの部材を経た光学像は、イメージャ１８の撮像面に照射され、光電変換を施される。これによって、光学像に対応する電荷が生成される。

電源が投入されると、ＣＰＵ４０は、撮像タスクの下で動画取り込み処理を実行するべく、露光動作および電荷読み出し動作の繰り返しをドライバ２０ｄに命令する。ドライバ２０ｄは、図示しないＳＧ(Signal Generator)から１／３０秒毎に発生する垂直同期信号Ｖｓｙｎｃに応答して、撮像面を露光し、かつ撮像面で生成された電荷をラスタ走査態様で読み出す。イメージャ１８からは、読み出された電荷に基づく生画像データが３０ｆｐｓのフレームレートで出力される。

前処理回路２２は、イメージャ１８から出力された生画像データにディジタルクランプ，画素欠陥補正，ゲイン制御などの処理を施す。これらの処理を施された生画像データは、メモリ制御回路２４を通してＳＤＲＡＭ２６の生画像エリア２６ａに書き込まれる。

後処理回路２８は、生画像エリア２６ａに格納された生画像データをメモリ制御回路２４を通して読み出し、読み出された生画像データに色分離処理，白バランス調整処理およびＹＵＶ変換処理を施す。これによって生成されたＹＵＶ形式の画像データは、メモリ制御回路２４によってＳＤＲＡＭ２６のＹＵＶ画像エリア２６ｂに書き込まれる。

ＬＣＤドライバ３０は、ＹＵＶ画像エリア２６ｂに格納された画像データをメモリ制御回路２４を通して繰り返し読み出し、読み出された画像データに基づいてＬＣＤモニタ３２を駆動する。この結果、撮像面で捉えられたシーンを表すリアルタイム動画像（スルー画像）がモニタ画面に表示される。

キー入力装置４８に設けられたズームボタン４８ｚｍが操作されると、ＣＰＵ４０は、ドライバ２０ａを通してズームレンズ１２を光軸方向に移動させる。この結果、スルー画像の倍率が変化する。

図３を参照して、撮像面には評価エリアＥＶＡが割り当てられる。評価エリアＥＶＡは水平方向および垂直方向の各々において３２分割され、１０２４個の分割エリアによって評価エリアＥＶＡが形成される。また、図２に示す前処理回路２２は、上述した処理に加えて、生画像データを簡易的にＹデータに変換する簡易Ｙ変換処理を実行する。

ＡＥ／ＡＦ評価回路３４は、前処理回路２２によって生成されたＹデータのうち評価エリアＥＶＡに属するＹデータを、垂直同期信号Ｖｓｙｎｃが発生する毎に積分する。これによって、１０２４個の積分値つまり１０２４個のＡＥ評価値が、垂直同期信号Ｖｓｙｎｃに応答してＡＥ／ＡＦ評価回路３４から出力される。

ＡＥ／ＡＦ評価回路３４はまた、前処理回路２２によって生成されたＹデータのうち評価エリアＥＶＡに属するＹデータの高周波成分を、垂直同期信号Ｖｓｙｎｃが発生する毎に積分する。これによって、１０２４個の積分値つまり１０２４個のＡＦ評価値が、垂直同期信号Ｖｓｙｎｃに応答してＡＥ／ＡＦ評価回路３４から出力される。

シャッタボタン４８ｓｈが非操作状態にあるとき、ＣＰＵ４０は、撮像面に固定的に設定された簡易ＡＥ／ＡＦエリアに属する一部のＡＥ評価値をＡＥ／ＡＦ評価回路３４から出力された１０２４個のＡＥ評価値の中から抽出し、抽出されたＡＥ評価値に基づいて簡易ＡＥ処理を実行する。これによって算出された適正ＥＶ値を定義する絞り量および露光時間は、ドライバ２０ｃおよび２０ｄに設定される。これによって、スルー画像の明るさが大まかに調整される。

ＣＰＵ４０はまた、ＡＥ／ＡＦ評価回路３４から出力された１０２４個のＡＦ評価値のうち簡易ＡＥ／ＡＦエリアに属する一部のＡＦ評価値に基づいて、簡易ＡＦ処理（＝コンティニュアスＡＦ）を実行する。フォーカスレンズ１４は、合焦点を追尾するべく、ドライバ２０ｂによって光軸方向に移動する。この結果、スルー画像の鮮鋭度が、大まかに調整される。

ＣＰＵ４０はさらに、人物の顔部を探索する顔探索処理と人物の顔部を形成する複数の器官（左眼，右眼，鼻および口）を探索する器官探索処理とを撮像タスクと並列する撮像支援タスクの下で繰り返し実行し、厳格ＡＥ／ＡＦエリアの配置を適応的に調整する。顔探索処理にあたっては、垂直同期信号Ｖｓｙｎｃがたとえば１０回発生する毎に、顔探索要求が顔検出回路３６に向けて発行される。

顔検出回路３６は、図４に示すように構成される。コントローラ３６ａは、ＹＵＶ画像エリア２６ｂに矩形の顔照合枠を割り当て、顔照合枠に属する一部の画像データをメモリ制御回路２４を通して読み出す。読み出された画像データは、ＳＲＡＭ３６ｂを経て照合回路３６ｃに与えられる。

図５を参照して、辞書３６ｄには、互いに異なる方向を向く人物の顔部を表す５つの辞書画像が収められる。識別番号ＦＣは、正面を向く顔部に対応して“１”を示し、左斜め前を向く顔部に対応して“２”を示し、左を向く顔部に対応して“３”を示し、右斜め前を向く顔部に対応して“４”を示し、右を向く顔部に対応して“５”を示す。

照合回路３６ｃは、ＳＲＡＭ３６ｂから与えられた画像データをこれらの辞書画像と照合する。いずれかの辞書画像と符合する画像データが探知されると、照合回路３６ｃは、顔画像が探知されたとみなし、現時点の顔照合枠の位置およびサイズを図６に示すレジスタ３６ｆに登録する。角度判別回路３６ｅは、探知された顔画像の角度を照合回路３６ｃの照合結果に基づいて判別し、判別された角度を“ＡＧＬ１”としてレジスタ３６ｆに登録する。

顔照合枠は、ＹＵＶ画像エリア２６ｂの先頭位置（左上位置）から末尾位置（右下位置）に向けて、ラスタ走査態様で既定量ずつ移動する。また、顔照合枠のサイズは、顔照合枠が末尾位置に到達する毎に更新される。顔画像が探知されるか、或いは既定回数のラスタ走査が完了すると、顔探索終了通知が照合回路３６ｃからＣＰＵ４０に返送される。

ＣＰＵ４０は、顔検出回路３６から返送された顔探索終了通知に応答して、人物の顔画像が探知されたか否かを判別する。レジスタ３６ｆに登録が存在しなければ、ＣＰＵ４０は、顔画像が探知されなかったとみなし、厳格ＡＥ／ＡＦエリアを撮像面の中央に割り当てるとともに、キャラクタ非表示命令をキャラクタジェネレータ４２に与える。キャラクタジェネレータ４２はキャラクタデータの出力を停止し、これによって後述する矩形枠ＫＦがＬＣＤモニタ３２から消滅する。したがって、図１０（Ａ）に示すシーンが捉えられたときは、厳格ＡＥ／ＡＦエリアは撮像面の中心に割り当てられ、矩形枠ＫＦが非表示とされる。

これに対して、レジスタ３６ｆに登録が存在すれば、ＣＰＵ４０は、器官探索範囲をＹＵＶ画像エリア２６ｂに割り当てる。器官探索範囲は、レジスタ３６ｆに記述されたサイズおよび位置によって定義される顔画像領域を限定的に覆うように設定される。器官探索範囲の設定が完了すると、器官探索要求がＣＰＵ４０から器官検出回路３８に向けて発行される。

器官検出回路３８は、図７に示すように構成される。コントローラ３８ａは、ＹＵＶ画像エリア２６ｂ上で定義された器官探索範囲に矩形の器官照合枠を割り当て、器官照合枠に属する一部の画像データをメモリ制御回路２４を通して読み出す。読み出された画像データは、ＳＲＡＭ３８ｂを経て照合回路３８ｃに与えられる。

図８を参照して、辞書３８ｄには、互いに異なる方向を向く顔部の左眼を表す５つの辞書画像と、互いに異なる方向を向く顔部の右眼を表す５つの辞書画像と、互いに異なる方向を向く顔部の鼻を表す５つの辞書画像と、互いに異なる方向を向く顔部の口を表す５つの辞書画像とが収められる。

識別番号ＥＹ＿Ｌは、正面を向く顔部の左眼に対応して“１”を示し、左斜め前を向く顔部の左眼に対応して“２”を示し、右斜め前を向く顔部の左眼に対応して“４”を示し、右を向く顔部の左眼に対応して“５”を示す。識別番号ＥＹ＿Ｒは、正面を向く顔部の右眼に対応して“１”を示し、左斜め前を向く顔部の右眼に対応して“２”を示し、左を向く顔部の右眼に対応して“３”を示し、右斜め前を向く顔部の右眼に対応して“４”を示す。

識別番号ＮＳは、正面を向く顔部の鼻に対応して“１”を示し、左斜め前を向く顔部の鼻に対応して“２”を示し、左を向く顔部の鼻に対応して“３”を示し、右斜め前を向く顔部の鼻に対応して“４”を示し、右を向く顔部の鼻に対応して“５”を示す。識別番号ＭＴは、正面を向く顔部の口に対応して“１”を示し、左斜め前を向く顔部の口に対応して“２”を示し、左を向く顔部の口に対応して“３”を示し、右斜め前を向く顔部の口に対応して“４”を示し、右を向く顔部の口に対応して“５”を示す。

照合回路３８ｃは、ＳＲＡＭ３８ｂから与えられた画像データをこれらの辞書画像と照合する。いずれかの辞書画像と符合する画像データが探知されると、照合回路３６ｃは、器官画像が探知されたとみなし、現時点の器官照合枠の位置およびサイズと探知された器官画像の信頼度（＝辞書画像との符合度）とを図９に示すレジスタ３８ｆに登録する。位置，サイズおよび信頼度は、探知された器官画像に対応するカラムに記述される。

角度判別回路３８ｅは、探知された器官画像によって形成される顔画像の角度を照合回路３８ｃの照合結果に基づいて判別し、判別された角度を“ＡＧＬ２”としてレジスタ３８ｆに登録する。

器官照合枠は、ＹＵＶ画像エリア２６ｂの先頭位置（左上位置）から末尾位置（右下位置）に向けて、ラスタ走査態様で既定量ずつ移動する。また、器官照合枠のサイズないし形状は、器官照合枠が末尾位置に到達する毎に更新される。既定回数のラスタ走査が完了すると、器官探索終了通知が照合回路３８ｃからＣＰＵ４０に返送される。

ＣＰＵ４０は、器官探索終了通知に応答してレジスタ３６ｆおよび３８ｆから角度ＡＧＬ１およびＡＧＬ２を取得し、取得された角度ＡＧＬ１およびＡＧＬ２の差分絶対値を算出し、そして算出された差分絶対値を閾値ＴＨ１と比較する。

差分絶対値が閾値ＴＨ１以上であれば、ＣＰＵ４０は、顔検出回路３６で検出された顔画像の向きと器官検出回路３８で注目された顔画像の向きとの相違が過大であり、顔を形成する器官の探索に失敗したとみなす。このとき、厳格ＡＥ／ＡＦエリアは、レジスタ３６ｆに登録されたサイズおよび位置に従う領域つまり探知された顔画像の領域に設定される。

厳格ＡＥ／ＡＦエリアが設定されると、ＣＰＵ４０は、キャラクタ表示命令をキャラクタジェネレータ４２に与える。発行されるキャラクタ表示命令には、厳格ＡＥ／ＡＦエリアのサイズおよび位置が記述される。キャラクタジェネレータ４２は、キャラクタ表示命令の記述を参照して矩形枠ＫＦのキャラクタデータを作成し、作成されたキャラクタデータをＬＣＤドライバ３０に与える。ＬＣＤドライバ３０は与えられたキャラクタデータに基づいてＬＣＤモニタ３２を駆動し、この結果、矩形枠ＫＦがＯＳＤ態様でＬＣＤモニタ３２に表示される。

したがって、図１１の上段に示すように、真横を向く顔部が顔検出回路３６によって探知されかつ探知された顔部の角度が右９０°と判別される一方、探知された顔部の近傍に存在する汚れＧＲが器官検出回路３８によって左眼として探知され、顔部の角度が正面と判別された場合、器官の探索に失敗したとみなされる。厳格ＡＥ／ＡＦエリアは、図１１の下段に示す要領で、探知された顔画像の領域に設定される。

角度ＡＧＬ１およびＡＧＬ２の差分絶対値が閾値ＴＨ１を下回れば、ＣＰＵ４０は、顔検出回路３６で検出された顔画像の向きと器官検出回路３８で注目された顔画像の向きとの相違が許容範囲内であるとみなし、角度ＡＧＬ１（または角度ＡＧＬ２）を参照して閾値ＴＨ２を設定する。閾値ＴＨ２は、角度ＡＧＬ１（または角度ＡＧＬ２）の絶対値が小さいほど大きい値を示すように調整される。

ＣＰＵ４０はまた、レジスタ３８ｆに登録された信頼度を合算して信頼度係数ＣＲＴｏｒｇを算出し、算出された信頼度係数ＣＲＴｏｒｇを閾値ＴＨ２と比較する。信頼度係数ＣＲＴｏｒｇが閾値ＴＨ２以下であれば、ＣＰＵ４０は、探知された器官の信頼度は低いとみなし、顔検出回路３６によって探知された顔画像の領域に厳格ＡＥ／ＡＦエリアを設定するとともに、厳格ＡＥ／ＡＦエリアのサイズおよび位置が記述されたキャラクタ表示命令をキャラクタジェネレータ４２に与える。

したがって、図１０（Ｂ）に示すシーンが捉えられ、人物の顔部が顔検出回路３６によって探知されたものの、探知された顔部から探知された器官の信頼度が低い場合は、顔画像の領域が厳格ＡＥ／ＡＦエリアとして設定され、かつ顔画像を囲うように矩形枠ＫＦが表示される。

信頼度係数ＣＲＴｏｒｇが閾値ＴＨ２を上回れば、ＣＰＵ４０は、角度ＡＧＬ１の絶対値を閾値ＴＨ３と比較する。絶対値が閾値ＴＨ３を下回れば、全ての器官の探知に成功したとみなされる。ＣＰＵ４０は、レジスタ３８ｆの左眼および右眼に相当するカラムに登録されたサイズおよび位置に従う領域つまり探知された両眼画像の領域に厳格ＡＥ／ＡＦエリアを設定し、厳格ＡＥ／ＡＦエリアのサイズおよび位置が記述されたキャラクタ表示命令をキャラクタジェネレータ４２に与える。

したがって、図１２（Ａ）に示すシーンが捉えられたときは、両眼画像の領域が厳格ＡＥ／ＡＦエリアとして設定され、両眼画像をそれぞれ囲う２つの矩形枠ＫＦ，ＫＦが表示される。

これに対して、絶対値ＴＨ３が閾値ＴＨ３以上であれば、一部の器官の探知にのみ成功したとみなし、探知された顔画像が右向きおよび左向きのいずれであるかを角度ＡＧＬ１（または角度ＡＧＬ２）を参照して判別する。顔画像が右向きであれば、ＣＰＵ４０は、レジスタ３８ｆの左眼に相当するカラムに登録されたサイズおよび位置に従う領域つまり左眼画像の領域に厳格ＡＥ／ＡＦエリアを設定する。一方、顔画像が左向きであれば、ＣＰＵ４０は、レジスタ３８ｆの右眼に相当するカラムに登録されたサイズおよび位置に従う領域つまり右眼画像の領域に厳格ＡＥ／ＡＦエリアを設定する。

したがって、図１２（Ｂ）に示すシーンが捉えられたときは、左眼画像の領域が厳格ＡＥ／ＡＦエリアとして設定され、左眼画像を囲う矩形枠ＫＦが表示される。

撮像タスクに戻って、シャッタボタン４８ｓｈが半押しされると、ＣＰＵ４０は、上述の要領で設定された厳格ＡＥ／ＡＦエリアに属する一部のＡＥ評価値を参照した厳格ＡＥ処理を実行し、最適ＥＶ値を算出する。算出された最適ＥＶ値を定義する絞り量および露光時間もまたドライバ２０ｃおよび２０ｄに設定され、これによってスルー画像の明るさが厳格に調整される。

ＣＰＵ４０はまた、厳格ＡＥ／ＡＦエリアに属する一部のＡＦ評価値を参照した厳格ＡＦ処理を実行する。フォーカスレンズ１４は合焦点の探索のためにドライバ２０ｂによって光軸方向に移動し、これによって発見された合焦点に配置される。この結果、スルー画像の鮮鋭度が厳格に調整される。

シャッタボタン４８ｓｈが全押しされると、ＣＰＵ４０は、自ら静止画取り込み処理を実行し、記録処理の実行をメモリＩ／Ｆ４４に命令する。シャッタボタン４８ｓｈが全押しされた時点のシーンを表す１フレームの画像データは、静止画取り込み処理によってＹＵＶ画像エリア２６ｂから静止画像エリア２６ｃに退避される。記録処理の実行を命令されたメモリＩ／Ｆ４４は、静止画像エリア２６ｃに退避された１フレームの画像データをメモリ制御回路２４を通して読み出し、読み出された画像データをファイル形式で記録媒体４４に記録する。

ＣＰＵ４０は、図１３〜図１４に示す撮像タスクおよび図１５〜図１７に示す撮像支援タスクを含む複数のタスクを並列的に実行する。なお、これらのタスクに対応する制御プログラムは、フラッシュメモリ５０に記憶される。

図１３を参照して、ステップＳ１では動画取込み処理を実行する。この結果、撮像面で捉えられたシーンを表すスルー画像がＬＣＤモニタ３２に表示される。ステップＳ３ではシャッタボタン４８ｓｈが半押しされたか否かを判別し、ステップＳ１７ではズームボタン４８ｚｍが操作状態であるか否かを判別する。

ステップＳ３の判別結果がＮＯである一方、ステップＳ１７の判別結果がＹＥＳであれば、ステップＳ１９でズームレンズ１２を光軸方向に１ステップ移動させてからステップＳ２１に進む。ステップＳ１９の処理の結果、スルー画像の倍率が変化する。ステップＳ３の判別結果およびステップＳ１７の判別結果のいずれもＮＯであれば、そのままステップＳ２１に進む。

ステップＳ２１では簡易ＡＥ処理を実行し、ステップＳ２３では簡易ＡＦ処理（コンティニュアスＡＦ処理）を実行する。簡易ＡＥ処理および簡易ＡＦ処理のいずれも、撮像面の中央に固定的に割り当てられた簡易ＡＥ／ＡＦエリアに属するＡＥ評価位置およびＡＦ評価値に基づいて実行される。簡易ＡＥ処理の結果、スルー画像の明るさが大まかに調整される。また、簡易ＡＦ処理の結果、フォーカスレンズ１４が合焦方向に１ステップ移動し、これによってスルー画像の鮮鋭度が改善される。ステップＳ２３の処理が完了すると、ステップＳ３に戻る。

ステップＳ３の判別結果がＮＯからＹＥＳに更新されると、ステップＳ５で厳格ＡＥ処理を実行し、ステップＳ７で厳格ＡＦ処理を実行する。厳格ＡＥ処理および厳格ＡＦ処理のいずれも、撮像支援タスクによって設定された厳格ＡＥ／ＡＦエリアに属するＡＥ評価位置およびＡＦ評価値に基づいて実行される。厳格ＡＥ処理の結果、スルー画像の明るさが厳格に調整される。また、厳格ＡＦ処理の結果、スルー画像の鮮鋭度が厳格に調整される。

ステップＳ９ではシャッタボタン４８ｓｈが全押しされたか否かを判別し、ステップＳ１１ではシャッタボタン４８ｓｈの操作が解除されたか否かを判別する。ステップＳ１１の判別結果がＹＥＳであればそのままステップＳ３に戻り、ステップＳ９の判別結果がＹＥＳであればステップＳ１３〜Ｓ１５の処理を経てステップＳ３に戻る。

ステップＳ１３では、静止画取り込み処理を実行する。この結果、シャッタボタン４８ｓｈが全押しされた時点のシーンを表す１フレームの画像データがＹＵＶ画像エリア２６ｂから静止画像エリア２６ｃに退避される。ステップＳ１５では、記録処理の実行をメモリＩ／Ｆ４４に命令する。メモリＩ／Ｆ４４は、静止画像エリア２６ｃに格納された１フレームの画像データをメモリ制御回路２４を通して読み出し、読み出された画像データをファイル形式で記録媒体４６に記録する。

図１５を参照して、ステップＳ３１では、フラグＦＬＧｆａｃｅを“０”に設定し、変数ＤＥＴｏｒｇを“０”に設定する。ステップＳ３３では、垂直同期信号ＶｓｙｎｃがＮ回（Ｎ：たとえば１０）発生したか否かを判別する。判別結果がＮＯからＹＥＳに更新されるとステップＳ３５に進み、顔探索処理のために顔探索要求を顔検出回路３６に向けて発行する。

顔検出回路３６は、レジスタ３６ｅの初期化を経て、ＹＵＶ画像エリア２６ｂ上の顔照合枠をラスタ走査態様で既定量ずつ移動させる。顔検出回路３６はまた、顔照合枠に属する一部の画像データを辞書３６ｄに収められた複数の辞書画像と照合する。いずれかの辞書画像と符合する画像データが探知されると、顔検出回路３６は、顔画像が探知されたとみなし、現時点の顔照合枠の位置およびサイズと顔画像の角度（＝ＡＧＬ１）とをレジスタ３６ｆに登録する。顔探索終了通知は、顔画像が探知されるか、或いは既定回数のラスタ走査が完了したときに、顔検出回路３６からＣＰＵ４０に返送される。

顔検出回路３６から顔探索終了通知が返送されると、顔画像が探知されたか否かをステップＳ３７で判別する。レジスタ３６ｆに登録が存在しなければ、顔画像が探知されなかったとみなし、ステップＳ３９でフラグＦＬＧｆａｃｅを“０”に設定してからステップＳ３３に戻る。

これに対して、レジスタ３６ｆに登録が存在すれば、顔画像が探知されたとみなしてステップＳ４１に進む。ステップＳ４１ではフラグＦＬＧｆａｃｅを“１”に設定し、ステップＳ４３では、ＹＵＶ画像エリア２６ｂに器官探索範囲を割り当てる。器官探索範囲は、レジスタ３６ｆに記述されたサイズおよび位置によって定義される顔画像領域を覆うように設定される。ステップＳ４５では、器官探索処理のために器官探索要求を器官検出回路３８に向けて発行する。

器官検出回路３８は、レジスタ３８ｆの初期化を経て、器官探索範囲上の器官照合枠をラスタ走査態様で既定量ずつ移動させる。器官検出回路３８はまた、器官照合枠に属する一部の画像データを辞書３８ｄに収められた複数の辞書画像と照合する。いずれかの辞書画像と符合する画像データが探知されると、器官検出回路３６は、器官画像が探知されたとみなし、現時点の器官照合枠の位置およびサイズと器官画像の信頼度とをレジスタ３６ｆに登録する。位置，サイズおよび信頼度は、探知された器官画像に対応するカラムに記述される。

器官探索回路３８はさらに、探知された器官画像によって形成される顔画像の角度を探知された器官画像を参照して判別し、判別された角度を“ＡＧＬ２”としてレジスタ３８ｆに登録する。器官探索終了通知は、既定回数のラスタ走査が完了したときに、器官検出回路３８からＣＰＵ４０に返送される。

ステップＳ４７では、器官検出回路３８から器官探索終了通知が返送されたか否かを繰り返し判別する。判別結果がＮＯからＹＥＳに更新されると、ステップＳ４９でレジスタ３６ｆから角度ＡＧＬ１を取得し、ステップＳ５１でレジスタ３８ｆから角度ＡＧＬ２を取得する。ステップＳ５３では、取得された角度ＡＧＬ１およびＡＧＬ２の差分絶対値を算出し、算出された差分絶対値が閾値ＴＨ１を下回るか否かを判別する。

判別結果がＮＯであれば、つまり顔検出回路３６で判別された顔画像の向きと器官検出回路３８で判別された顔画像の向きとの相違が過大であれば、顔を形成する器官の探索に失敗したとみなし、ステップＳ５５で変数ＤＥＴｏｒｇを“０”に設定する。

これに対して、判別結果がＹＥＳであれば、つまり顔検出回路３６で判別された顔画像の向きと器官検出回路３８で判別された顔画像の向きとの相違が許容範囲に収まれば、ステップＳ５７に進み、角度ＡＧＬ１（または角度ＡＧＬ２）を参照して閾値ＴＨ２を設定する。閾値ＴＨ２は、角度ＡＧＬ１（または角度ＡＧＬ２）の絶対値が小さいほど大きい値を示すように調整される。

ステップＳ５９ではレジスタ３８ｆに登録された信頼度を合算して信頼度係数ＣＲＴｏｒｇを算出し、ステップＳ６１では算出された信頼度係数ＣＲＴｏｒｇが閾値ＴＨ２を上回るか否かを判別する。判別結果がＮＯであれば、探知された器官の信頼度は低いとみなし、ステップＳ５５で変数ＤＥＴｏｒｇを“０”に設定する。

ステップＳ６１の判別結果がＹＥＳであれば、角度ＡＧＬ１（またはＡＧＬ２）の絶対値が閾値ＴＨ３を下回るか否かをステップＳ６３で判別する。判別結果がＹＥＳであれば、全ての器官の探知に成功したとみなし、ステップＳ６７で変数ＤＥＴｏｒｇを“２”に設定する。これに対して、判別結果がＮＯであれば、一部の器官の探知にのみ成功したとみなし、ステップＳ６９で変数ＤＥＴｏｒｇを“１”に設定する。

ステップＳ５５，Ｓ６５またはＳ６７の処理が完了すると、フラグＦＬＧｆａｃｅが“０”であるか否かをステップＳ６９で判別する。判別結果がＹＥＳであればステップＳ７１に進み、厳格ＡＥ／ＡＦエリアを撮像面の中央に設定する。ステップＳ７３では、キャラクタ非表示命令をキャラクタジェネレータ４２に与える。キャラクタジェネレータ４２はキャラクタデータの出力を停止し、この結果、矩形枠ＫＦがＬＣＤモニタ３２から消滅する。ステップＳ７３の処理が完了すると、ステップＳ３３に戻る。

ステップＳ６９の判別結果がＮＯであれば、変数ＤＥＴｏｒｇの値をステップＳ７５およびＳ７９の各々で判別する。変数ＤＥＴｏｒｇが“０”であればステップＳ７５からステップＳ７７に進み、レジスタ３６ｆに登録されたサイズおよび位置に従う領域つまり探知された顔画像の領域に厳格ＡＥ／ＡＦエリアを設定する。

変数ＤＥＴｏｒｇが“２”であればステップＳ７９からステップＳ８１に進み、レジスタ３８ｆの左眼および右眼に相当するカラムに登録されたサイズおよび位置に従う領域つまり探知された両眼画像の領域に厳格ＡＥ／ＡＦエリアを設定する。

変数ＤＥＴｏｒｇが“１”であればステップＳ７９からステップＳ８３に進み、探知された顔が右向きおよび左向きのいずれであるかを角度ＡＧＬ１（またはＡＧＬ２）を参照して判別する。顔が右向きであればステップＳ８５に進み、レジスタ３８ｆの左眼に相当するカラムに登録されたサイズおよび位置に従う領域つまり左眼画像の領域に厳格ＡＥ／ＡＦエリアを設定する。一方、顔が左向きであればステップＳ８７に進み、レジスタ３８ｆの右眼に相当するカラムに登録されたサイズおよび位置に従う領域つまり右眼画像の領域に厳格ＡＥ／ＡＦエリアを設定する。

ステップＳ７７，Ｓ８１，Ｓ８５またはＳ８７の処理が完了すると、ステップＳ８９でキャラクタ表示命令をキャラクタジェネレータ４２に与える。発行されるキャラクタ表示命令には、厳格ＡＥ／ＡＦエリアのサイズおよび位置が記述される。矩形枠ＫＦは、厳格ＡＥ／ＡＦエリアを囲う態様でＬＣＤモニタ３２に表示される。表示が完了すると、ステップＳ３３に戻る。

以上の説明から分かるように、顔検出回路３６は、ＹＵＶ画像エリア２６ｂに格納された画像データを参照して撮像シーンに現れた顔を探索するとともに、探知された顔の角度を判別する。器官検出回路３８は、顔検出回路３６によって探知された顔を形成する１または２以上の器官を上述の画像データを参照して探索するとともに、探知された器官を有する顔の角度を判別する。ＣＰＵ４０は、顔探索回路３６によって探知された顔および器官探索回路３８によって探知された１または２以上の器官の中から指定された調整対象に注目して露光量およびフォーカスを調整する(S5~S7)。ＣＰＵ４０はまた、顔検出回路３６および器官検出回路３８によって判別された２つの角度を参照して調整対象を決定する(S53~S89)。

このように、露光量およびフォーカスは、撮像シーンから探知された顔および１または２以上の器官の中から指定された調整対象に注目して調整される。ここで、調整対象は、顔の探索に関連して判別された顔の角度と器官の探索に関連して判別された顔の角度とを参照して決定される。これによって、顔の角度の誤判別に起因する撮像性能の低下が抑制される。

なお、この実施例では、人物の顔部を探索するようにしているが、探索の対象は動物の顔部であってもよく、さらには顔部以外の物体であってもよい。また、この実施例では、調整すべき撮像条件として露光量およびフォーカスを想定しているが、これに白バランスを追加するようにしてもよい。

また、この実施例では、変数ＤＥＴｏｒｇが“２”を示すときに両眼画像の領域に厳格ＡＥ／ＡＦエリアを設定するようにしているが、厳格ＡＥ処理および厳格ＡＦ処理を行う際に撮像面に近い方の眼を表す画像を重視するようにしてもよく、さらには撮像面に近い方の眼を覆う領域のみを厳格ＡＥ／ＡＦエリアとして設定するようにしてもよい。

さらに、この実施例では、マルチタスクＯＳおよびこれによって実行される複数のタスクに相当する制御プログラムは、フラッシュメモリ５０に予め記憶される。しかし、図１８に示すように通信Ｉ／Ｆ５２をディジタルカメラ１０に設け、一部の制御プログラムを内部制御プログラムとしてフラッシュメモリ５０に当初から準備する一方、他の一部の制御プログラムを外部制御プログラムとして外部サーバから取得するようにしてもよい。この場合、上述の動作は、内部制御プログラムおよび外部制御プログラムの協働によって実現される。

また、この実施例では、ＣＰＵ４０によって実行される処理を上述の要領で複数のタスクに区分するようにしている。しかし、各々のタスクをさらに複数の小タスクに区分してもよく、さらには区分された複数の小タスクの一部を他のタスクに統合するようにしてもよい。また、各々のタスクを複数の小タスクに区分する場合、その全部または一部を外部サーバから取得するようにしてもよい。

１０ …ディジタルカメラ
１８ …イメージャ
２２ …前処理回路
３４ …ＡＥ／ＡＦ評価回路
３６ …顔検出回路
３８ …器官検出回路
４０ …ＣＰＵ

Claims (9)

1. 撮像手段から出力された電子画像を参照して撮像シーンに現れた顔を探索する第１探索手段、
   前記第１探索手段によって探知された顔を形成する１または２以上の器官を前記撮像手段から出力された電子画像を参照して探索する第２探索手段、
   前記第１探索手段によって探知された顔および前記第２探索手段によって探知された１または２以上の器官の中から指定された調整対象に注目して撮像条件を調整する調整手段、
   前記第１探索手段によって探知された顔の角度を前記第１探索手段の処理に関連して判別する第１判別手段、
   前記第２探索手段によって探知された１または２以上の器官を有する顔の角度を前記第２探索手段の処理に関連して判別する第２判別手段、および
   前記第１判別手段によって判別された角度と前記第２判別手段によって判別された角度とを参照して前記調整対象を決定する決定手段を備える、電子カメラ。
2. 前記決定手段は、前記第１判別手段によって判別された角度と前記第２判別手段によって判別された角度との相違を算出する算出手段、および前記算出手段によって算出された相違が第１基準以上のとき前記第１探索手段によって探知された顔を前記調整対象として決定する第１調整対象決定手段を含む、請求項１記載の電子カメラ。
3. 前記決定手段は前記算出手段によって算出された相違が前記第１基準を下回るとき前記第２探索手段によって探知された１または２以上の器官のうち前記第１判別手段または前記第２判別手段によって判別された顔の角度に応じて異なる器官を前記調整対象として決定する第２調整対象決定手段をさらに含む、請求項２記載の電子カメラ。
4. 前記決定手段は前記第２探索手段によって探知された１または２以上の器官の信頼度が第２基準を上回るとき前記第２調整対象決定手段を起動する起動手段をさらに含む、請求項３記載の電子カメラ。
5. 前記決定手段は前記第２基準の大きさを前記第１判別手段または前記第２判別手段によって判別された角度を参照して調整する基準調整手段をさらに含む、請求項４記載の電子カメラ。
6. 撮像手段から出力された電子画像を参照して撮像シーンに現れた顔を探索する第１探索手段、および前記第１探索手段によって探知された顔を形成する１または２以上の器官を探索する第２探索手段を備える電子カメラのプロセッサに、
   前記第１探索手段によって探知された顔および前記第２探索手段によって探知された１または２以上の器官の中から指定された調整対象に注目して撮像条件を調整する調整ステップ、
   前記第１探索手段によって探知された顔の角度を前記第１探索手段の処理に関連して判別する第１判別ステップ、
   前記第２探索手段によって探知された１または２以上の器官を有する顔の角度を前記第２探索手段の処理に関連して判別する第２判別ステップ、および
   前記第１判別ステップによって判別された角度と前記第２判別ステップによって判別された角度とを参照して前記調整対象を決定する決定ステップを実行させるための、撮像制御プログラム。
7. 撮像手段から出力された電子画像を参照して撮像シーンに現れた顔を探索する第１探索手段、および前記第１探索手段によって探知された顔を形成する１または２以上の器官を探索する第２探索手段を備える電子カメラによって実行される撮像制御方法であって、
   前記第１探索手段によって探知された顔および前記第２探索手段によって探知された１または２以上の器官の中から指定された調整対象に注目して撮像条件を調整する調整ステップ、
   前記第１探索手段によって探知された顔の角度を前記第１探索手段の処理に関連して判別する第１判別ステップ、
   前記第２探索手段によって探知された１または２以上の器官を有する顔の角度を前記第２探索手段の処理に関連して判別する第２判別ステップ、および
   前記第１判別ステップによって判別された角度と前記第２判別ステップによって判別された角度とを参照して前記調整対象を決定する決定ステップを備える、撮像制御方法。
8. 撮像手段から出力された電子画像を参照して撮像シーンに現れた顔を探索する第１探索手段、
   前記第１探索手段によって探知された顔を形成する１または２以上の器官を探索する第２探索手段、および
   メモリに保存された内部制御プログラムに従う処理を実行するプロセッサを備える電子カメラに供給される外部制御プログラムであって、
   前記第１探索手段によって探知された顔および前記第２探索手段によって探知された１または２以上の器官の中から指定された調整対象に注目して撮像条件を調整する調整ステップ、
   前記第１探索手段によって探知された顔の角度を前記第１探索手段の処理に関連して判別する第１判別ステップ、
   前記第２探索手段によって探知された１または２以上の器官を有する顔の角度を前記第２探索手段の処理に関連して判別する第２判別ステップ、および
   前記第１判別ステップによって判別された角度と前記第２判別ステップによって判別された角度とを参照して前記調整対象を決定する決定ステップを前記内部制御プログラムと協働して前記プロセッサに実行させるための、外部制御プログラム。
9. 撮像手段から出力された電子画像を参照して撮像シーンに現れた顔を探索する第１探索手段、
   前記第１探索手段によって探知された顔を形成する１または２以上の器官を探索する第２探索手段、
   外部制御プログラムを取り込む取り込み手段、および
   前記取り込み手段によって取り込まれた外部制御プログラムとメモリに保存された内部制御プログラムとに従う処理を実行するプロセッサを備える電子カメラであって、
   前記外部制御プログラムは、
   前記第１探索手段によって探知された顔および前記第２探索手段によって探知された１または２以上の器官の中から指定された調整対象に注目して撮像条件を調整する調整ステップ、
   前記第１探索手段によって探知された顔の角度を前記第１探索手段の処理に関連して判別する第１判別ステップ、
   前記第２探索手段によって探知された１または２以上の器官を有する顔の角度を前記第２探索手段の処理に関連して判別する第２判別ステップ、および
   前記第１判別ステップによって判別された角度と前記第２判別ステップによって判別された角度とを参照して前記調整対象を決定する決定ステップを前記内部制御プログラムと協働して実行するプログラムに相当する、電子カメラ。

Images