JP2006174106A

JP2006174106A - 画像入力装置

Info

Publication number: JP2006174106A
Application number: JP2004364033A
Authority: JP
Inventors: Kotaro Yano; 光太郎矢野
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2004-12-16
Filing date: 2004-12-16
Publication date: 2006-06-29

Abstract

【課題】逆光など露出制御の難しいシーンにおいても精度よく被写体パターンを検出し、検出結果にもとづいて露出制御を好適に行う。
【解決手段】撮像手段から出力された画像中から所定の被写体パターンを検出する手段と、前記撮像手段の露出を制御する手段とを備えた画像入力装置において、前記被写体パターンが検出されなかった場合には、前記露出の条件を能動的に制御することにより前記被写体パターンを検出し、前記被写体パターンが検出された場合には、検出結果に応じて前記撮像手段の露出制御対象とする画像領域を決定し、前記撮像手段の露出を制御する。
【選択図】図２

Description

本発明は、画像中から被写体パターンを自動的に検出して、検出結果にもとづいて露出制御を好適に行う画像入力装置に関するものである。

デジタルスチルカメラの露出制御は画面内での被写体の輝度分布に応じて予め決められたプログラム線図に沿って撮像素子の感度、絞り値、シャッター速度の設定が行われていた。しかしながら、画面内での被写体の位置、大きさ、数などが判らないため、撮影したい被写体に最適な露出制御を行うことは正確にはできなかった。例えば、逆光シーンなど背景と被写体に明るさの差がある場合には、被写体に好適に露出を合わせることができず、露出アンダーに撮影されてしまう場合があった。

このような問題点に鑑み、本出願人は被写体認識機能を搭載したカメラを提案した。（特許文献１）この従来例では、画像中から顔を検出することによりカメラの露出や焦点合わせの精度を向上する提案がなされている。

しかしながら、逆光など露出制御の難しいシーンにおいては画像中から顔などの被写体パターンを検出することが難しくなり、十分な検出性能を得ることができず、したがって好適に露出の制御を行うことができない場合がある。すなわち、画像の明るさを補正することで検出する顔の明るさの範囲を無理に拡張しようとすると画像データのノイズやダイナミックレンジの制限による飽和のため検出精度が低下する。
特開２００１−３３０８８２号公報

本発明は以上の点に鑑みて成されたものであり、逆光など露出制御の難しいシーンにおいても精度よく被写体パターンを検出し、検出結果にもとづいて露出制御を好適に行う画像入力装置を提供することを目的とする。

本発明は上記目的を達成するために、撮像手段から出力された画像中から所定の被写体パターンを検出する手段と、前記撮像手段の露出を制御する手段とを備えた画像入力装置において、前記被写体パターンが検出されなかった場合には、前記露出の条件を能動的に制御することにより前記被写体パターンを検出し、前記被写体パターンが検出された場合には、検出結果に応じて前記撮像手段の露出制御対象とする画像領域を決定し、前記撮像手段の露出を制御することを特徴とする。

本発明の構成により、逆光など露出制御の難しいシーンにおいても精度よく被写体パターンを検出することができ、露出制御を好適に行うことができる。

以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。

図１に本発明の実施例の構成を示す。

１０は撮像手段であり、撮像レンズ、ＣＣＤ等の撮像素子、撮像素子の出力信号のゲインを調整するゲイン調整回路、ゲイン調整後の撮像素子の出力信号をデジタル信号に変換するＡ／Ｄ変換回路より構成され、撮像素子からの信号をデジタル画像データとして出力する。

２０は画像メモリであり、撮像手段１０から出力された画像データを一時的に記憶する。

３０は焦点制御手段であり、画像データの所定領域のコントラストに基づき、画像データのコントラストが最大になるように撮影レンズの合焦レンズの位置を制御する。

４０は露出制御手段であり、画像データの所定領域の輝度に基づき、画像データが所定の明るさになるように所定のプログラム線図に従いシャッター速度と絞り値を決定し、撮像手段１０の撮像素子の露光時間と撮影レンズの絞りを制御する。

５０は顔検出手段であり、画像メモリ２０に記憶されている画像データから顔のパターンを検出し、その画像中の位置を出力する。

６０は領域設定手段であり、顔検出手段５０の出力に応じて焦点制御手段３０および露出制御手段４０で制御する対象の画像領域を設定する。

また、以上の各ブロックは不図示のカメラ全体の制御を行う制御手段により動作を制御される。

次に、本実施例の動作を図２に従って説明する。

ユーザが被写体を撮影するために不図示の電源をＯＮにし、撮影準備の状態に入ると、撮像手段１０は画像データを出力し、出力された画像データが画像メモリ２０に記憶される。（Ｓ１０１）すなわち、露出の状態を決める撮像レンズの絞り値、シャッター速度、撮像素子のゲインおよびフォーカス状態を決める撮影レンズの合焦レンズが初期状態にセットされ、撮像素子から出力された信号がデジタル信号に変換されてＡ／Ｄ変換回路から画像データとして出力される。

次に、焦点制御手段３０は画像メモリ２０に記憶された画像データの所定領域のコントラストに基づき、画像データのコントラストが最大になるように撮影レンズの合焦レンズの位置を制御する。（Ｓ１０２）すなわち、撮影レンズの合焦レンズを移動させながら撮像手段１０から出力された画像データの中央部付近の所定領域における輝度コントラストを繰り返し評価し、合焦レンズを移動させた場合の輝度コントラストの変化量をもとに、輝度コントラストの最も高い位置に合焦レンズが来るように合焦レンズの位置を制御する。

次に、露出制御手段４０は画像データの所定領域の輝度に基づき、画像データが所定の明るさになるように所定のプログラム線図に従いシャッター速度と絞り値を決定し、撮像手段１０の撮像素子の露光時間と撮影レンズの絞りを制御する。（Ｓ１０３）
次に、顔検出手段５０は画像メモリ２０に記憶されている画像データから顔のパターンを検出し、その画像中の位置を出力する。（Ｓ１０４）図３に顔検出手段５０の構成図、図４に処理の流れを示す。以下、図３および図４に沿って顔検出手段の処理詳細を説明する。

まず、画像データから輝度分布生成手段５１において輝度画像データを生成する。（Ｓ５０１）例えば、入力画像データがＲＧＢ画像データの場合には、所定のマトリクス変換によりＹＵＶ画像データとし、Ｙ成分を輝度値として輝度画像データを生成する。ＲＧＢからＹＵＶへの変換は例えば特開２００３−１０２０２５に示されているような方法により行う。

次に、画像データから肌色マスク生成手段５２において肌色マスクを生成する。（Ｓ５０２）例えば、入力画像データがＲＧＢ画像データの場合には、所定のマトリクス変換によりＹＵＶ画像データとし、ＵＶ成分が所定の範囲を満たす場合に肌色画素とし、肌色画素を１、その他の画素を０とした２値画像データを肌色マスクとして出力する。肌色画素の判定を行う範囲はあらかじめ多数の人物画像データの肌領域に対してＹＵＶの座標値の分布を調査しておき、その範囲を肌色画素判定のパラメータとして記憶しておく。

次に、検出サイズ設定手段５３において画像中から検出する顔のサイズを設定する。（Ｓ５０３）画像データには被写体の撮影倍率に依存して様々なサイズの顔が撮影されている可能性があるので、予め定めた所定のサイズの顔を検出するようにここでサイズの設定を行う。後述するが、本実施例では複数サイズの顔を検出するため、検出する顔のサイズの設定と画像中からの設定されたサイズの顔の検出を繰り返し行う。

次に、探索範囲設定手段５４において顔のサイズに応じて輝度画像データと肌色マスクを用いて画像中の顔を検出する範囲を設定する。（Ｓ５０４）すなわち、所定のサイズの顔の検出を行う際、画像のすべての領域から検出するようにしてもよいが検出回数が膨大なものになるため、あらかじめ輝度画像データと肌色マスクを用いて顔が存在しないまたは検出する可能性のない領域を削除するために探索する範囲をマスクとして記憶しておく。ここでは検出するサイズの顔領域での輝度画像データの平均値が所定の領域内にあるかおよび肌色画素の割合が所定の範囲にあるかで探索すべきかどうかを判定するようにする。

次に、顔と照合するパターンを切り出す画像中の位置を設定する。（Ｓ５０５）すなわち、ここでの設定および後段の検出処理の繰り返しにより、検出対象である顔のパターンを照合する位置を画像全域から順次走査していく。なお、このとき探索範囲設定手段５４に記憶された探索範囲の結果に応じて探索すべき位置のみ探索を行うように設定する。

次に、照合パターン抽出手段５５ではＳ５０３で設定されたサイズとＳ５０５で設定された切り出し位置にもとづき輝度画像データおよび肌色マスクから照合パターンを切り出す。（Ｓ５０６）
次に、照合パターン抽出手段５５はＳ５０６で切り出した輝度画像データおよび肌色マスクの照合パターンを参照パターン記憶手段５７に記憶されている参照パターンと同じサイズに正規化する。（Ｓ５０７）また、輝度画像データにおいては参照パターンと同じ平均輝度、輝度分散値になるように輝度分布を正規化する。

次に、パターン照合手段５６において照合パターン抽出手段５５で出力された照合パターンと参照パターン記憶手段５７に記憶されている参照パターンとを照合して類似度を求める。（Ｓ５０８）例えば、照合パターンの輝度分布と参照パターンの輝度分布の差分絶対値の和の逆数を第１の類似度、照合パターンの肌色分布と参照パターンの肌色分布の差分絶対値の和の逆数を第２の類似度とし、第１および第２の類似度の所定の重み付き和として類似度を求める。なお、参照パターンの輝度分布および肌色分布はあらかじめ多数の人物画像データの顔に対してその分布を調査しておき、その分布を参照パターンとして記憶しておく。

次に、照合するパターンの類似度が所定の閾値以上かどうかを判断し、所定の閾値以上のパターンについてはその位置座標と類似度を記憶する。（Ｓ５０９）
次に、Ｓ５０５からＳ５０９の処理を探索範囲設定手段５４に記憶された探索範囲に応じて画像の全領域を走査するように繰り返す。また、Ｓ５０３からＳ５０９の処理を所定の検出サイズ分だけ繰り返す。

次に、画像全域に対して所定サイズの範囲の顔の探索が終わった段階で顔領域判定手段５８は顔が検出され、その位置座標が記憶された顔の候補領域のうち、領域が重複している候補に対しては類似度の低い顔の候補を削除する。（Ｓ５１０）さらに、顔領域判定手段５８は顔が検出された領域について照合パターン抽出手段５５で抽出された画像の輝度分布をもとに参照パターン記憶手段５７に記憶されている参照パターンを参照し、顔パターンか否かの最終的な判定を行い、偽の顔パターンを削除し、顔検出の最終結果が画像の領域を示す位置座標として出力される。（Ｓ５１１）なお、顔領域判定手段５８では最終的な顔判定を行うためパターン照合手段５６より高い精度の判定が必要であるため、ここで用いる参照パターンはパターン照合手段５６で用いる参照パターンより精度の高いパターンを利用することが望ましい。参照パターンは画像の輝度パターンのようなものでもよいし、例えば、IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL.20 , NO.1, JANUARY 1998に“Neural network-based face detection”と題するＲｏｗｌｅｙらの方式を用いるような場合には、ニューラルネットワークに適用する重み係数であってもよい。

そして、顔検出手段５０の結果にもとづき、顔が検出された場合には領域設定手段６０は露出および焦点制御の対象領域を変更する。（Ｓ１０５）すなわち、画像中で一つの顔が検出された場合には、検出された顔の領域を制御対象領域とし、焦点制御手段３０および露出制御手段４０に出力する。以下、図１に示すように焦点制御手段３０による焦点制御（Ｓ１０６）、露出制御手段４０による露出制御（Ｓ１０７）、撮像（Ｓ１０８）が行われ、主被写体である人物に制御対象を絞った好適な焦点および露出制御にもとづく撮像が行われる。なお、Ｓ１０６、Ｓ１０７、Ｓ１０８の処理はそれぞれＳ１０２、Ｓ１０３、Ｓ１０１と同様の処理であることはいうまでもない。また、画像中で複数の顔が検出された場合には、領域設定手段６０は検出された顔のそれぞれの参照パターンに対する類似度を参考にして最も類似度の高い顔領域を制御対象領域とし、焦点制御手段３０および露出制御手段４０に出力するようにする。以降の処理は一つの顔が検出された場合と同じである。また、このとき、領域設定手段６０は複数の領域を焦点制御手段３０および露出制御手段４０に出力するようにしてもよい。例えば、焦点制御手段３０は複数の顔領域が焦点深度内に入るよう深度優先の焦点制御を行うことができる。また、領域設定手段６０が露出制御手段４０に検出された顔の各領域の類似度を出力するようにすることで露出制御手段４０は類似度にもとづいて各顔領域の重みを決定し、重み付きの評価測光にもとづく露出制御を行うことができる。

また、顔検出手段５０の結果、顔が検出されなかった場合には露出の条件を能動的に制御することにより、これまでの顔検出処理では検出できなかった明るさの顔を検出するように動作する。例えば、Ｓ１０３で初期露出条件として定められた適正露出に対して、＋１段、＋２段、＋３段、−１段、−２段、−３段というように露出を制御してＳ１０４の顔の検出処理をそれぞれの条件で撮像された画像に対して行うようにする。すなわち、まず所定の範囲の露出の条件での顔検出の処理が全て実行されたかを確認する。（Ｓ１０９）そして、全ての露出条件での顔検出が行われていない場合には予め定められた露出変更順序に沿って露出の条件を変更する。（Ｓ１１０）そして、Ｓ１１０で定められた条件でＳ１０３で露出を制御するようにする。このように露出条件を能動的に制御することで、例えば、逆光で暗すぎて検出できなかった顔を露出オーバーの条件では検出することができる。また、Ｓ１０９で所定の範囲の露出の条件での顔検出の処理が全て実行された場合には、全ての露出条件で顔が検出されなかったことになるので、撮影した画像中に人物が存在しないと判断し、Ｓ１０２、Ｓ１０３で初期状態で行った通常の画像の所定領域に合わせた焦点制御、露出制御の状態に戻して、撮像を行う。（Ｓ１１１）
以上、本実施例では逆光など露出制御の難しいシーンにおいても精度よく顔を検出し、検出結果にもとづいて焦点制御および露出制御を好適に行うことができる。また、本実施例では検出対象とする顔の明るさの範囲を限定して顔検出手段を構成することができるので、顔検出の精度の劣化を招くことがない。また、予め所定の明るさの範囲に限定して顔の検出を行うようにしたので、画像データのノイズやダイナミックレンジの制限による飽和の悪影響が生じるレンジにまで画像の明るさ補正を行うことがなく顔検出の精度の劣化を招くことがない。

本実施例では顔の検出結果にもとづいて焦点制御および露出制御を行うようにしたが、ストロボ制御などの制御にも応用できる。また、検出された顔の領域に処理対象を絞って白バランス処理や色補正、ガンマ補正処理を好適に行うようにしてもよい。

また、本実施例では被写体パターンとして人物の顔を検出するようにしたが、シーンごとに重要とされるその他の被写体のパターンであってもよい。

本実施形態に係るカメラの構成を示すブロック図。本実施例の動作を示す図。本実施例の顔検出手段の構成を示す図。本実施例の顔検出処理の動作を示す図。

Claims

撮像手段から出力された画像中から所定の被写体パターンを検出する手段と、前記撮像手段の露出を制御する手段とを備えた画像入力装置において、前記被写体パターンが検出されなかった場合には、前記露出の条件を能動的に制御することにより前記被写体パターンを検出し、前記被写体パターンが検出された場合には、検出結果に応じて前記撮像手段の露出制御対象とする画像領域を決定し、前記撮像手段の露出を制御することを特徴とする画像入力装置。
前記被写体パターンは顔であることを特徴とする請求項１の画像入力装置。