JP2008263320A

JP2008263320A - 撮像装置及び制御方法

Info

Publication number: JP2008263320A
Application number: JP2007103303A
Authority: JP
Inventors: Takaaki Fukui; 貴明福井
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2007-04-10
Filing date: 2007-04-10
Publication date: 2008-10-30
Anticipated expiration: 2027-04-10
Also published as: JP4819737B2

Abstract

【課題】撮影して得られた画像に画像処理を行う場合に画像処理の精度が落ちることを抑制すること。
【解決手段】被写体を撮影して電気的な画像信号を出力する撮像部（１０２）と、画像信号から所定の対象物を検出する検出手段（１２０、１２１）と、前記所定の対象物の検出結果を用いて、撮影に用いる撮影条件を決定する決定手段（１１２）と、決定された撮影条件を用いて撮像部により撮影して得られた画像信号に対して、前記検出手段による前記所定の対象物の検出結果を用いて、画像処理を行う信号処理回路（１０４）と、前記画像処理回路が前記所定の対象物の検出結果を用いるための前記所定の対象物の検出のタイミングを、前記決定手段が前記所定の対象物の検出結果を用いるための前記所定の対象物の検出のタイミングよりも後になるように制御する制御手段とを有する。
【選択図】図１

Description

本発明は、撮像装置及びその制御方法に関し、更に詳しくは、顔検出を行い、その検出結果を用いた処理を行う撮像装置及びその制御方法に関する。

近年、デジタルカメラでは、撮影時に顔検出を行い、検出された顔の大きさや明るさ等に応じて、撮影や画像処理に最適な設定を行うものがある。

例えば顔の検出結果を利用するデジタルカメラとして、特許文献１に、人の顔を検出し、検出された顔領域に焦点と露出を合わせるものが開示されている。

また、特許文献２には、顔領域の色を抽出して、その肌色領域の色相の補正を行うものが開示されている。

また、特許文献３には、顔が検出された場合に顔領域以外の領域でホワイトバランス（ＷＢ）の補正値を取得することで、顔領域の色が「白」と誤判別されることを防ぎ、ホワイトバランスの性能を向上させる技術が開示されている。

このように従来、顔検出の機能を利用して、顔領域の露出が適正になるように自動露出制御処理（ＡＥ）やフラッシュの調光の制御を行ったり、顔領域に合焦するように自動焦点調節処理（ＡＦ）するものが提案されている。更に、顔領域の色が所望の色になるようにホワイトバランスや色再現の調整を行うことより、より好ましい画像を得ることが可能となる。

顔検出方法としては、例えば、ニュートラルネットワークに代表される学習を用いた方法や、目や鼻と言った物理的形状に特徴のある部位を画像領域からテンプレートマッチングで抽出する手法が知られている。他にも、肌の色や目の形といった画像特徴量を検出し、統計的手法を用いて解析する手法が挙げられる（例えば、特許文献４及び５を参照）。また、現在製品として提案されているものとしては、ウェーブレット変換と画像特徴量を利用して顔を検出する方法等や、テンプレートマッチング等を組み合わせた方法などがある。他にも多数の顔検出方法が提案されている。

ここで、顔検出方法の一例について、図９乃至図１２を参照して説明する。なお、図１０（ａ）は顔検出を行う対象画像を示している。

ステップＳ５０１では顔検出の対象画像から肌色の領域を抽出する。図１１はＣＩＥＬＡＢのLa*b*色空間における代表色を示した色度図であり、図中、楕円２００は肌色である可能性が高い領域（以下、「肌色領域」と呼ぶ。）を示している。図１０（ｂ）は、図１０（ａ）に示す顔検出の対象画像から、肌色領域２００内の画素値を有する画像領域を抽出したものを示した図である。ステップＳ５０２で、抽出した画像に対してハイパスフィルタをかける。図１２は２次元ハイパスフィルタの一例を示す係数であり、図１０（ｃ）は抽出された図１０（ｂ）の画像にハイパスフィルタ処理を施した概念を示す画像である。

ステップＳ５０３では、テンプレートマッチングを行って画像中における目の検出を行い、ステップＳ５０４では、検出した目の領域の位置関係から顔認識を行い、方向・大きさ等の特徴量の抽出を行う。図１０（ｄ）は上述したようにして行われた顔検出結果として、顔検出枠を表示した場合を示す図である。

このようにして得た顔検出結果をＡＦ、ＡＥ、ＷＢ等に利用することによって、人を撮影する場合には、より顔に適したＡＦ、ＡＥ、ＷＢ等を行うことができる。

撮影動作において顔検出結果をＡＦに利用する場合、大まかな顔の領域の判別ができていればよい。これは、検出すべき領域に顔領域が含まれていれば、その領域のコントラスト値が最大になるようにレンズの制御ができるため、ＡＦの精度としては問題無いからである。従って、ＡＦの制御を行うための顔検出は、顔検出されるべき領域が厳密に特定されている必要はない。

ＡＥにおいても同様に、露出値を計算する際に、大まかな顔領域の判別がなされていれば、顔領域を含む領域における露出値を合わせることで、露出を最適に制御することが可能である。

一方、ホワイトバランスの計算において顔検出結果を利用する手法は、例えば、顔領域以外の領域を用いてホワイトバランスの計算を行う手法（特許文献３）と、顔領域を積極的に検出し、その領域の顔色を最適にするような手法（特許文献２）がある。

特開２００５−８６６８号公報特開２００４−１８０１１４号公報特開２００３−１８９３２５号公報特開平１０−２３２９３４号公報特開２０００−４８１８４号公報

しかしながら、顔検出結果を利用するＷＢでは、顔検出されるべき領域が厳密に特定されていないと、ＷＢ精度に悪影響を及ぼす。

例えば、顔領域以外の領域を用いてホワイトバランスの計算を行う手法の場合では、顔領域以外と判別されている部分に誤って顔の肌色が含まれている場合に、肌色の部分を白色と誤判定してしまうことがあり、正しいＷＢの評価値が得られないことがある。

また、例えば、顔領域の顔色を最適にするような手法では、顔以外の領域が顔領域と誤判断され、肌色以外の色（例えば、背景の芝生や青空等）が混ざってしまうと、正しい顔色の評価が行われず、適切なＷＢを行うことができなくなってしまう。

つまり、ＡＥやＡＦで必要な顔検出領域の精度とＷＢで必要となる顔検出領域の精度は異なる。

本発明は上記問題点を鑑みてなされたものであり、本発明の撮像装置は、被写体を撮影して電気的な画像信号を出力する撮像手段と、前記撮像手段から出力された画像信号から所定の対象を検出する検出手段と、前記検出手段による前記所定の対象の検出結果を用いて、撮影に用いる撮影条件を決定する決定手段と、前記決定手段により決定された撮影条件を用いて前記撮像手段により撮影して得られた画像信号に対して、前記検出手段による前記所定の対象の検出結果を用いて、画像処理を行う画像処理手段と、前記画像処理手段が前記所定の対象の検出結果を用いるための前記所定の対象の検出のタイミングを、前記決定手段が前記所定の対象の検出結果を用いるための前記所定の対象の検出のタイミングよりも後になるように制御する制御手段とを有する。

被写体を撮影して電気的な画像信号を出力する撮像手段を有する撮像装置の制御方法であって、前記撮像手段により撮影を行う撮像工程と、前記撮像手段から出力された画像信号から所定の対象を検出する検出工程と、前記検出工程による前記所定の対象の検出結果を用いて、撮影に用いる撮影条件を決定する決定工程と、前記決定工程により決定された撮影条件を用いて前記撮像手段により撮影して得られた画像信号に対して、前記検出工程による前記所定の対象の検出結果を用いて、画像処理を行う画像処理工程と、前記画像処理工程で前記所定の対象の検出結果を用いるための前記所定の対象の検出のタイミングを、前記決定工程で前記所定の対象の検出結果を用いるための前記所定の対象の検出のタイミングよりも後になるように制御する制御工程とを有する。

本発明によれば、撮影して得られた画像に画像処理を行う場合に画像処理の精度が落ちることを抑制することが可能となる。

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。

図１は顔検出を行う回路を有する装置の一例として、撮像装置の構成を示したブロック図である。

図１において、１０１は、フォーカスレンズ、ズームレンズ、絞り等を含む鏡筒である。１０２は、メカシャッターや、ＣＣＤやＣＭＯＳセンサ等に代表される、光電変換により被写体光学像を電気的な画像信号に変換して出力する撮像素子や、撮像素子から出力されるアナログ画像信号をデジタル画像信号に変換するＡ／Ｄ変換器等を含む撮像部である。１１２は撮像装置全体を制御するシステムコントローラである。

１１１はシステムコントローラ１１２に対して、操作者が各種の動作指示を入力するためのユーザインタフェースであり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。ユーザインタフェース１１１はシャッターボタンを含み、シャッターボタンの第１ストローク（例えば半押し）によりＳＷ１がＯＮとなり、自動焦点調節（ＡＦ）処理、自動露出制御（ＡＥ）処理、フラッシュプリ発光（ＥＦ）処理等の動作開始が指示される。更に、ＳＷ１のＯＮを経て、シャッターボタンの第２ストローク（例えば全押し）によりＳＷ２がＯＮとなり、露光処理、現像処理、及び記録処理からなる一連の本撮影の開始が指示される。

ユーザによりユーザインタフェース１１１に含まれるシャッターボタンを介して撮影が指示されると、システムコントローラ１１２は、鏡筒１０１のレンズ位置や絞りを制御する。更に、撮像部１０２のメカシャッター及び撮像素子、さらにフラッシュ撮影を行う際には発光部１０５を制御して、撮影を行う。撮影が行われると、撮像部１０２から画像信号が出力され、バッファメモリ１０３に一旦蓄えられる。その後、信号処理回路１０４によって画像生成用の信号処理（画像処理）がなされてＹＵＶ画像データが生成され、再びバッファメモリ１０３に記憶される。信号処理回路１０４は、信号処理（画像処理）の１つとして、ホワイトバランス（ＷＢ）補正も行う。

上述したようにして生成されたＹＵＶ画像データは、バッファメモリ１０３から読み出され、圧縮・伸長回路１０６に送られて、例えば、ＪＰＥＧファイルに画像圧縮される。そして、記録・読み出し回路１０７によって記録媒体１０８に記録される。

更に、バッファメモリ１０３に蓄えられたＹＵＶ画像データは、不図示のＤ／Ａ変換器によりアナログ信号に変換され、ＬＣＤ等の表示器１０９に表示される。予め決められた周期で撮像部１０２により撮像し、バッファメモリ１０３に一時記憶された画像データを、表示器１０９に逐次表示することで、電子ビューファインダー（ＥＶＦ）機能を実現することができる。

また、顔検出を行う場合には、顔検出領域決定部１２２は、システムコントローラ１１２より撮像装置の動作状態がＥＶＦ動作中であるか、ＳＷ１がＯＮの状態であるか、ＳＷ２がＯＮされた後か、の情報を受け取る。そして、顔検出の精度と顔検出の対象領域を判断して顔検出領域を決定し、画像リサイズ処理部１２０に出力する。バッファメモリ１０３に蓄えられたＹＵＶ画像データは、画像リサイズ処理部１２０によって顔位置検出部１２１で顔検出が可能なサイズに合わせてリサイズされる。本実施の形態においてはＱＶＧＡサイズにリサイズを行い、顔位置検出部１２１によって顔検出が行われる。

顔位置検出部１２１によって顔領域が検出されると、検出された顔領域の画像における座標位置や大きさ、さらには目の位置や目の大きさを算出し、座標値を出力する。１２３は、顔検出パラメータを決定する顔検出設定決定部である。顔検出パラメータとしては、例えば、肌色領域を検出する際の色相・輝度の範囲、目などの特徴点のパターンマッチングをさせる際の大きさの範囲や形状の類似度の閾値がある。他にも、目・口・鼻など、特徴点間の位置関係や距離などの閾値、基準パターンを切り替えるために用いられる画像解像度などがあげられる。

なお、上述した各構成の内、なお顔位置検出部１２１は検出手段の一例であり、人の顔を検出の対象とした場合の構成である。また、顔検出領域決定部１２２、顔検出設定決定部１２３が、システムコントローラと共に制御手段を構成する。画像リサイズ処理部１２０は、顔検出領域決定部１２２の制御に基づいてＹＶＦ画像データを顔検出用のリサイズするため、検出手段の一部を構成することになる。

＜第１の実施形態＞
次に、上記構成を有する撮像装置における第１の実施形態の処理について説明する。

図２は、本第１の実施形態におけるＥＶＦ動作中の顔検出処理を示すフローチャートである。なお、ＥＶＦ動作は、ユーザインタフェース１１１により撮像モードが設定されると共に、ＥＶＦ動作を行うように設定されている場合に実施される。

ＥＶＦ用の画像（以下、ＥＶＦ画像）は、一般的に、撮像装置に備え付けられた表示器１０９に表示可能なサイズ程度の画像であり、ここではＱＶＧＡサイズ（３２０ｘ２４０画素）の画像とする。

ＥＶＦ動作中、ステップＳ１０１において、撮像装置の操作者により、例えば再生モード等の他のモードへの移行やＳＷ１のＯＮ操作（第１の操作）が行われたかどうかを判断する。ＳＷ１のＯＮ操作または他のモードへの切り替えが検出されると、ＳＷ１のＯＮ操作であれば後述する図３の処理に進み、他のモードへの切り替えであれば、ステップＳ１０７で切り替えられたモードに移行し、ＥＶＦ動作中の顔検出処理を終了する。一方、ステップＳ１０１の判断でＮＯであればステップＳ１０２に進み、撮像部１０２から取得され、バッファメモリ１０３に蓄積されているＥＶＦ用の画像（ＥＶＦ画像）を取得する。

ステップＳ１０３において、ＥＶＦ用の顔検出領域（第１の領域）を顔検出領域決定部１２２より、また、顔検出パラメータを顔検出設定決定部１２３より取得し、ステップＳ１０４にて顔位置検出部１２１を用いて顔検出を行う。ここで、顔検出領域のサイズをＥＶＦ画像のサイズと同じＱＶＧＡサイズとすることで、リサイズ処理の必要を無くすることができる。なお、サイズが異なる場合には、リサイズ処理が必要となることはいうまでもない。

ステップＳ１０４では、顔検出パラメータを用いて顔検出領域に相当する画像信号について顔検出処理を行う。顔が検出されなかった場合には（ステップＳ１０５でＮＯ）ステップＳ１０１に戻り、上述した処理を繰り返す。顔が検出された場合は（ステップＳ１０５でＹＥＳ）、ステップＳ１０６で、検出された顔の位置、大きさ、画素値等の情報を含む顔検出結果をシステムコントローラ１１２に通知してから、ステップＳ１０１に戻る。システムコントローラ１１２では、新たに顔検出結果が通知される度に、顔検出結果の更新を行う。なお、顔検出処理は、周期的に取得されたＥＶＦ画像全てに対して行う必要はなく、例えば、予め設定された時間間隔で行うようにしたり、ステップＳ１０５までの処理が終了する毎に新たに取得したＥＶＦ画像に対して行うようにしても良い。

ＥＶＦ画像のサイズ（例えば、ＱＶＧＡサイズ）で顔検出を行う場合、解像度が低いために顔検出処理の速度を速くすることが可能となるが、精度は下がる。

図３は本第１の実施形態におけるＳＷ１がＯＮされた場合の撮影シーケンスを示すフローチャートである。なお、図３に示す処理はＳＷ１またはＳＷ１を介してＳＷ２がＯＮされている場合に実行され、ＳＷ１がＯＦＦされると、図２に示すＥＶＦ動作に戻る。

ＳＷ１のＯＮ後は、ＥＶＦ動作時よりも高解像度で画像の取得を行うことで、ＥＶＦ動作時と比較してより高精細な画像を基に顔検出を行う。本実施の形態ではＳＷ１のＯＮ後の画像は、ＶＧＡサイズ（６４０×４８０画素）で取得されるものとする。

ＳＷ１がＯＮされると、ステップＳ２０１で、ＥＶＦ動作時に顔が検出されているかどうかを判断する。検出されている場合、ステップＳ２０２においてシステムコントローラ１１２に記憶されている顔領域に対して重点的にＡＦを行う。例えば、フォーカスレンズを動作させながら顔領域のみのコントラストが最大になるフォーカスレンズ位置の検出を行う。更に、ステップＳ２０３において、検出された顔領域に対して重点的にＡＥ動作を行い、露出を決定する。

また顔が検出されていない場合には、ステップＳ２０４において一般的なＡＦ動作、例えば、フォーカスレンズを動作させながら画像全域におけるコントラスト値が最も高くなるフォーカスレンズ位置を検出する動作を行う。更に、ステップＳ２０５において通常のＡＥ動作（例えば、中央重点評価測光によるＡＥ動作）を行う。

図４（ａ）は中央重点評価測光時の測光領域（太枠で示す）及びその際にＡＥ計算で用いられる重みの例を示し、図４（ｂ）は顔評価測光時の測光領域（太枠で示す）及びその際にＡＥ計算で用いられる重みの例を示す図である。

ステップＳ２０６では、ＥＶＦ動作時または、ＳＷ１のＯＮ後で且つ以前に行った顔検出結果から、顔検出を行う対象となる顔検出領域（第２の領域）およびパラメータを決定する。そして、ステップＳ２０７で、決定されたパラメータを用いて、顔検出領域に相当する画像信号に対して顔検出処理を行う。

上述したように、本実施の形態では顔検出はＱＶＧＡサイズで行う。ここで、ＳＷ１のＯＮ後の画像サイズはＶＧＡサイズであるため、取得した画像に対して画像リサイズ処理部１２０でリサイズ処理およびトリミング（抽出）処理を行ってから顔位置検出部１２１に入力する。その際、ＳＷ１のＯＮ後の画像をそのまま３２０×２４０画像に低解像度化するのではなく、前回検出した顔位置情報をもとにトリミングを行って、より詳細な位置での顔検出を行うようにする。

また顔検出パラメータも同様に、トリミング位置およびリサイズ処理と画像入力解像度に合わせて設定することで、より高精度な顔検出を行うことが可能となる。本第１の実施形態では２倍の解像度の顔検出が可能となり、顔検出の位置精度も２倍程度の向上が見込まれる。例えば、目を探す顔検出方法の場合は、テンプレートのサイズを２倍の大きさにして類似度を検出することで精度向上が可能である。

ステップＳ２０７における顔検出結果はシステムコントローラ１１２に通知され、システムコントローラ１１２は、新たに顔検出結果が通知される度に、顔検出結果を更新する。このように、顔検出結果を更新することで、ＳＷ１のＯＮ後においても最新の顔検出結果を次の顔検出処理に利用することが可能となる。これにより、ＳＷ１のＯＮ時間が長い場合や、ＳＷ１のＯＮ時に大きく画角が変更された場合にも、より正確に顔領域を検出することが可能となる。

ステップＳ２０８では、撮像装置の操作者により、ＳＷ２がＯＮ操作（第２の操作）されたかどうかを判断し、ＯＦＦの場合にはステップＳ２０６に戻る。ＳＷ２がＯＮ操作されるとステップＳ２０９に進んで、静止画の本撮影を行う。本撮影後はステップＳ２１０において最新の顔検出結果を利用して、顔領域が検出されていれば、顔領域の色が最適になるようなホワイトバランス係数を演算する。なお、ステップＳ２１０におけるホワイトバランス係数の演算方法については、図５のフローチャートを参照して詳細に後述する。

ステップＳ２１１では、ステップＳ２１０で演算したホワイトバランス係数や、その他の画像処理パラメータを用いて信号処理を行い、ステップＳ２１２で処理した画像を記録し、図２のステップＳ１０１に戻る。

ステップＳ２１１で行うホワイトバランス処理としては、顔領域を用いて、例えば、特開平１１−２６２０２９号公報や、特開２００３−３３３６１６号公報等に記載されているホワイトバランス補正方法を用いることができる。勿論、ホワイトバランス補正方法はこれらに限るものではなく、他の公知の方法を用いても良いことは言うまでもない。

次に、ステップＳ２０７で行われるホワイトバランス係数の演算処理の一例について図５のフローチャートを参照して説明する。

ステップＳ３０１では、ステップＳ２０９における本撮影で得られた画像から、顔領域を利用しない通常の手法を用いてホワイトバランス係数（以下、「通常ＷＢ係数」と呼ぶ。）を算出する。この手法については、例えば、特開平１１−２６２０２９号公報に記載された方法を用いることができるため、詳細な説明は省略する。

ステップＳ３０２では、システムコントローラ１１２に記憶された顔検出結果から顔が検出されたかどうか判別を行い、顔が検出されなかった場合には、ステップＳ３０８にてステップＳ３０１で算出した通常ＷＢ係数を出力し、処理を終了する。一方、顔が検出がされている場合には、ステップＳ３０３において顔検出領域の画像信号の平均値を求めることにより、色評価値を取得する。更に、ステップＳ３０４で通常ＷＢ係数をステップＳ３０３で求めた色評価値に乗じて、ＷＢ係数乗算後の顔領域の色評価値を算出する（以下、「肌色評価値」と呼ぶ。）。

次に、ステップＳ３０５で、ステップＳ３０４で出力された肌色評価値と、あらかじめ取得してある基準肌色領域との比較を行う。基準肌色領域は、予め様々な人種や光源において肌色分布を取得し、統計的な処理を行うことで求めることが可能である。

ステップＳ３０６では、ステップＳ３０５での比較結果に基づいて通常ＷＢ係数の補正量を算出し、この求めた補正量に基づき、ステップＳ３０７において補正後のＷＢ係数を算出する。

以下、顔領域のホワイトバランス係数を演算する手法について、数式および具体的な例により詳細に説明を行う。

撮像部１０２の撮像素子が図６に示すベイヤー配列のカラーフィルタにより覆われている場合に、撮像素子の各画素から出力されるカラーフィルタの各色に対応した値をＲ、Ｇ１、Ｇ２、Ｂとする。このときに、カラーフィルタの色に対応した顔領域からの平均値をＲave、Ｇ１ave、Ｇ２ave、Ｂaveとし、また、各色の通常ＷＢ係数をＷＢＲ、ＷＢＧ１、ＷＢＧ２、ＷＢＢとする。

また、ステップＳ３０１で求めた通常ＷＢ係数をステップＳ３０３で取得した顔領域の色評価値に乗算した後の値である肌色評価値を（Ｄｘ，Ｄｙ）とすると（ステップＳ３０４）、下記の通り表すことができる。

先ず、Ｇ１’、Ｒ’、Ｂ’、Ｇ２’を
Ｇ１’=Ｇ１ave ×ＷＢＧ１
Ｒ’=Ｒave ×ＷＢＲ
Ｂ’=Ｂave ×ＷＢＢ
Ｇ２’=Ｇ２ave ×ＷＢＧ２

とすると、Ｄｘ、Ｄｙは
Ｄｘ=（Ｒ’−Ｂ’）／Ｙ
Ｄｙ=（Ｒ’−Ｂ’−２Ｇ’）／Ｙ
Ｙ=(Ｒ’+Ｇ１’+Ｇ２’+Ｂ’）／4
となる。
あらかじめ、様々な人種や光源について肌色評価値（Ｄｘ，Ｄｙ）を取得し、肌色分布を取得し、統計的な処理を行うことで、基準肌色領域を求めることができる。

図７は、基準肌色領域とそれ以外の領域との領域境界を示す模式図である。図７において、TH＿SK1〜TH＿SK4は基準肌色領域の領域境界値で、
TH_SK1は基準肌色領域の下限境界値、
TH_SK2は基準肌色領域の上限境界値、
TH_SK3は基準肌色領域の上限境界値、
TH_SK4は基準肌色領域の下限境界値

である。算出された肌色評価値Ｄｘ，Ｄｙが図７に示す位置にある場合、基準肌色領域との比較結果は下記のとおり表現できる（ステップＳ３０５）。
ΔＤｘ＝Ｄｘ−TH_SK1
ΔＤｙ＝Ｄｙ−TH_SK4
つまり、ΔＤｘおよびΔＤｙの値が補正すべき顔色領域からの補正値となる（ステップＳ３０６）。もちろん、肌色評価値が基準肌色領域内にあるときには、補正は行わない。

またＷＢ係数は、下式で示すようにＷＢ係数自体の評価値として２つの値として表現できる。
R_s =（1024 / ＷＢＲ）×1024
G1_s =（1024 / ＷＢＧ１）×1024
G2_s =（1024 / ＷＢＧ２）×1024
B_s =（1024 / ＷＢＢ０×1024

とすると、
Ｃｘ= {(R_s − B_s) ／Y1}×1024
Ｃｙ= {(R_s+B_s−G1_s−G2_s) ／Y1}×1024
ただし、Y1=(R_s +G1_s +G2_s +B_s) ／4
次に、上述したようにして算出されたΔＤｘとΔＤｙの値から、新たに算出するＷＢ係数に対応した評価値Ｃｘ’，Ｃｙ’は、下記のとおり算出される。
Ｃｘ’=Ｃｘ+ΔＤｘ
Ｃｙ’=Ｃｙ+ΔＤｙ

補正後のＷＢ係数評価値Ｃｘ’、Ｃｙ’から、顔領域をＷＢ補正するためのＷＢ係数（ＷＢＲ_f，ＷＢＧ１_f，ＷＢＧ２_f，ＷＢＢ_f）は、下記のようにして算出方法することができる（ステップＳ３０７）。
A = (1024 − Cy'/4) /1024
B = (1024 + Cx'/2 +Cy/4) /1024
C = (1024 − Cx'/2 +Cy/4) /1024
D = (1024 − Cy'/4) /1024
Y2 = (A +B +C +D) /4

とし、
G1_c = Y2 × 1024 /A
R_c = Y2 × 1024 /B
B_c = Y2 × 1024 /C
G2_c = Y2 × 1024 /D
Y3_c = (G1+R+B+G2) /4
とすると、
ＷＢＲ_f = 1024 × R_c /Y3
ＷＢＧ１_f = 1024 × G1_c /Y3
ＷＢＧ２_f = 1024 × G2_c /Y3
ＷＢＢ_f = 1024 × B_c /Y3
以上のようにすることで、顔領域のＷＢ補正用のＷＢ係数を求めることができる。

上記の通り本第１の実施形態によれば、ＡＦ処理とＡＥ処理のような、撮影条件を決定する処理と、本撮影で得られた画像に対するＷＢ処理とで、異なるタイミングで別々に処理を行う。これにより、それぞれの処理に適した精度および速度で顔検出を行うことが可能となる。

なお、上記第１の実施形態においては、撮影条件としてＡＦ処理とＡＥ処理の両方を行うものとして説明したが、必ずしも両方行う必要はない。また、検出精度の高い顔処理結果を利用する処理はＷＢ処理に限るものではなく、例えば、個人を特定する処理など、他の処理に利用しても良いことは言うまでもない。

＜第２の実施形態＞
上記第１の実施形態においては、図３に示すＳＷ１のＯＮ後の処理において、本撮影時に顔検出を行わない場合について説明したが、本撮影時にも顔検出を行うようにしても構わない。

図８は、本第２の実施形態における、本撮影時にも顔検出を行う場合の処理を示すフローチャートである。なお、図８に示す処理において、図３と同じ処理には同じステップ番号を付して説明を省略する。

図３に示す処理と異なるのは、ＳＷ２がＯＮされた後においても顔検出を行う点である。この場合においても、ＳＷ１のＯＮ時と同様に、ステップＳ２２１において、システムコントローラ１１２に記憶された直近の顔検出結果をもとに、顔領域のトリミング及びリサイズ処理位置と顔検出パラメータを変更する。そして、ステップＳ２２２において、本撮影により得られた画像のうち、変更したパラメータなどを用いて、トリミングされた顔領域に対して顔検出処理を行う。このようにすることで、より高精細に顔検出を行うことが可能となる。

特に本撮影で得られる画像はＥＶＦ時やＳＷ１のＯＮ時に得られる画像と比較して高精細であるため、顔検出を行う顔領域がある程度特定されていることは、処理速度と顔検出位置精度を高める上で非常に有効である。

なお、本撮影で得られた画像に対して顔検出を行う場合には、ステップＳ２０６及びステップＳ２０７の処理を省略することも可能である。

なお、上記第１及び第２の実施形態では、顔領域を検出する場合について説明したが、本発明は顔に限るものではなく、所定の対象を検出するように構成しても構わない。

更に、上記第１及び第２の実施形態では、撮像モードにおいてＥＶＦ動作を行っている場合について説明したが、ＥＶＦ動作を行わず、不図示の光学ファインダを利用してしている場合には、ＳＷ１がＯＮされた後、以下の処理を行う様にすればよい。即ち、図３または図８の処理において、ＳＷ１のＯＮ後、先ず、ＥＶＦ動作時と同程度の解像度の画像を撮像し、ＥＶＦ動作時と同様にして顔検出を行う。そして、顔が検出されれば、ステップＳ２０２に進み、検出されなければ、ステップＳ２０４に進む。このようにすることで、光学ファインダを利用する場合にも、本発明を適用することができる。

本発明の実施の形態における撮像装置の概略構成を示すブロック図である。本発明の第１の実施形態におけるＥＶＦ動作時の顔検出手順を示すフローチャートである。本発明の第１の実施形態におけるＳＷ１のＯＮ後の顔検出を含む撮影手順を示すフローチャートである。本発明の第１の実施形態におけるＡＥ動作の差異を説明するための図である。本発明の第１の実施形態におけるホワイトバランス係数の演算処理を示すフローチャートである。本発明の第１の実施形態におけるカラーフィルタの配列を示す模式図である。本発明の第１の実施形態における顔領域に用いるホワイトバランス係数の演算方法を説明するための図である。本発明の第２の実施形態におけるＳＷ１のＯＮ後の顔検出を含む撮影手順を示すフローチャートである。従来の顔検出方法を説明するためのフローチャートである。従来の顔認識方法を説明する図である。 CIELab色空間における代表的な色度図である。従来の顔検出で用いられるハイパスフィルタの例を示す図である。

符号の説明

１０１鏡筒
１０２撮像部
１０３バッファメモリ
１０４信号処理回路
１０５発光部
１０６圧縮・伸長回路
１０７記録・読み出し回路
１０８記録媒体
１０９表示器
１１１ユーザインターフェース
１１２システムコントローラ
１２０画像リサイズ処理手部
１２１顔位置検出部
１２２顔検出領域決定部
１２３顔検出設定決定部

Claims

被写体を撮影して電気的な画像信号を出力する撮像手段と、
前記撮像手段から出力された画像信号から所定の対象を検出する検出手段と、
前記検出手段による前記所定の対象の検出結果を用いて、撮影に用いる撮影条件を決定する決定手段と、
前記決定手段により決定された撮影条件を用いて前記撮像手段により撮影して得られた画像信号に対して、前記検出手段による前記所定の対象の検出結果を用いて、画像処理を行う画像処理手段と、
前記画像処理手段が前記所定の対象の検出結果を用いるための前記所定の対象の検出のタイミングを、前記決定手段が前記所定の対象の検出結果を用いるための前記所定の対象の検出のタイミングよりも後になるように制御する制御手段と
を有することを特徴とする撮像装置。
前記制御手段は、前記所定の対象の検出結果を前記決定手段で用いる場合に、前記画像処理手段で用いる場合よりも、解像度の低い前記画像信号を用いて前記所定の対象を検出するように前記検出手段を制御することを特徴とする請求項１に記載の撮像装置。
前記制御手段は、前記所定の対象の検出結果を前記画像処理手段で用いる場合に、前記決定手段で用いる場合よりも、解像度の高い前記画像信号を用いて前記所定の対象を検出するように前記検出手段を制御することを特徴とする請求項１に記載の撮像装置。
前記制御手段は、前記所定の対象の検出結果を前記画像処理手段で用いる場合に、直近の前記所定の対象の検出結果を利用して、前記画像信号の内、前記検出手段が検出処理を行う検出の対象領域の画像信号を抽出し、
前記検出手段は前記抽出された検出の対象領域の画像信号について検出を行うことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
前記制御手段は、前記所定の対象の検出結果を前記画像処理手段で用いる場合に、前記決定手段で用いる場合よりも検出精度が高くなる検出パラメータを前記検出手段に設定することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
前記決定手段は、操作者による第１の操作に応じて、前記所定の対象の検出結果を用いて撮影に用いる撮影条件を決定し、前記画像処理手段は、前記第１の操作の後の前記操作者による第２の操作に応じて、前記決定手段により決定された撮影条件を用いて前記撮像手段により撮影して得られた画像信号に対して、前記第１の操作から前記第２の操作の間に得られた前記検出手段による前記所定の対象の検出結果を用いて画像処理を行うことを特徴とする請求項１に記載の撮像装置。
前記決定手段は、操作者による第１の操作に応じて、前記所定の対象の検出結果を用いて撮影に用いる撮影条件を決定し、前記画像処理手段は、前記第１の操作の後の前記操作者による第２の操作に応じて、前記決定手段により決定された撮影条件を用いて前記撮像手段により撮影して得られた画像信号に対して、前記第２の操作の後に得られた前記検出手段による前記所定の対象の検出結果を用いて画像処理を行うことを特徴とする請求項１に記載の撮像装置。
前記決定手段は、前記撮像手段の第１の領域に相当する画像信号から前記所定の対象を検出した検出結果を用い、前記画像処理手段は、前記撮像手段の第１の領域に相当する画像信号から前記所定の対象を検出した検出結果に基づき、前記撮像手段の前記第１の領域よりも小さい第２の領域に相当する画像信号から前記所定の対象を検出した検出結果を用いることを特徴とする請求項１に記載の撮像装置。
前記撮影条件を決定する処理は、焦点調節処理及び露出制御処理の少なくとも一方を含み、前記画像処理は、ホワイトバランス補正を含むことを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
前記所定の対象は、人の顔であることを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
被写体を撮影して電気的な画像信号を出力する撮像手段を有する撮像装置の制御方法であって、
前記撮像手段により撮影を行う撮像工程と、
前記撮像手段から出力された画像信号から所定の対象を検出する検出工程と、
前記検出工程による前記所定の対象の検出結果を用いて、撮影に用いる撮影条件を決定する決定工程と、
前記決定工程により決定された撮影条件を用いて前記撮像手段により撮影して得られた画像信号に対して、前記検出工程による前記所定の対象の検出結果を用いて、画像処理を行う画像処理工程と、
前記画像処理工程で前記所定の対象の検出結果を用いるための前記所定の対象の検出のタイミングを、前記決定工程で前記所定の対象の検出結果を用いるための前記所定の対象の検出のタイミングよりも後になるように制御する制御工程と
を有することを特徴とする撮像装置の制御方法。
前記撮影条件を決定する処理は、焦点調節処理及び露出制御処理の少なくとも一方を含み、前記画像処理は、ホワイトバランス補正を含むことを特徴とする請求項１１に記載の撮像装置の制御方法。