JP2009059326A - 撮像装置 - Google Patents

Abstract

【課題】被写体認識をより確実に行うことができる撮像装置の提供。
【解決手段】被写体像を結像する光学系と、被写体像を撮像する撮像素子１０と、撮像素子１０の画素毎の色相情報を生成する生成手段１０２３と、色相情報に基づいて、所定被写体の画像と推定される被写体画像領域を撮像画像領域から抽出する被写体抽出手段１０２３と、色相情報に基づいて被写体画像領域の色相を含む所定色相範囲の画素から成る類似色相画像領域を抽出し、抽出された該類似色相画像領の数に基づいて被写体抽出手段１０２３による抽出結果の信頼度を算出する信頼度演算手段１０２３とを備える。
【選択図】図２

Description

本発明は、カメラ等の撮像装置に関する。

従来、撮像素子により得られた画像から顔認識手段により顔を検出し、その顔情報に基づいて眼を検出し、その眼にあわせて焦点情報を得る撮像装置が知られている（例えば、特許文献１参照）。顔認識においては、撮像素子の撮像画像から目や鼻の特徴点を抽出し、高精度に顔検出を行っている。

特開２００１−２１５４０３号公報

しかしながら、画素数の少ない撮像素子で撮像された画像を用いた場合、目や鼻の特徴点を抽出するのが難しく、顔認識における検出精度が不十分となり誤検出のおそれがあった。

請求項１の発明による撮像装置は、被写体像を結像する光学系と、被写体像を撮像する撮像素子と、撮像素子の出力信号に基づいて形成される画像の各画素の色相情報を生成する生成手段と、色相情報に基づいて、所定被写体の画像と推定される被写体画像領域を撮像画像領域から抽出する被写体抽出手段と、被写体画像領域の色相を含む所定色相範囲の画素から成る類似色相画像領域を色相情報に基づいて抽出し、被写体抽出手段による抽出結果の信頼度を、抽出された類似色相画像領域の数に基づいて算出する信頼度演算手段とを備えたことを特徴とする。
請求項２の発明は、請求項１に記載の撮像装置において、被写体画像領域の数と類似色相画像領域の数との比の大小により信頼度の高低を設定するようにしたものである。
請求項３の発明は、請求項１または２に記載の撮像装置において、撮像画像領域内における低輝度領域と高輝度領域との輝度差が大きいほど信頼度を低く設定するようにしたものである。
請求項４の発明は、請求項１〜３のいずれか一項に記載の撮像装置において、光学系の像倍率に基づいて、所定被写体の像の大きさを推定する像領域算出手段をさらに備え、像領域算出手段によって推定された所定被写体の像の大きさが大きいほど信頼度を高く設定するようにしたものである。
請求項５の発明は、請求項１〜４のいずれか一項に記載の撮像装置において、被写界の輝度が低いほど信頼度を低く設定するようにしたものである。
請求項６の発明は、請求項１〜５のいずれか一項に記載の撮像装置において、閃光照明撮影の場合の信頼度を、非閃光照明撮影の場合の信頼度よりも低く設定するようにしたものである。
請求項７の発明は、請求項１〜６のいずれか一項に記載の撮像装置において、撮像素子の出力信号に基づいて形成される画像の各画素の輝度を算出する輝度算出手段と、輝度と色相情報とに基づいて背景と推定される画像領域を抽出する背景領域抽出手段とをさらに備え、背景と推定される画像領域を除く撮像画像領域から被写体画像領域を抽出するようにしたものである。
請求項８の発明は、請求項１〜７のいずれか一項に記載の撮像装置において、被写界の複数の焦点検出エリアに対して光学系の焦点調節状態を検出する焦点検出手段と、焦点検出手段の検出結果、被写体抽出手段による抽出結果および信頼度演算手段による信頼度に基づいて複数の焦点検出エリアのいずれか一つを選択し、該選択された焦点検出エリアの被写体に対して光学系の焦点調節状態を調節する焦点調節手段とを備えたものである。

本発明によれば、被写体抽出手段による抽出結果と信頼度とを用いることにより、被写体認識をより確実に行うことができる。

以下、図を参照して本発明を実施するための最良の形態について説明する。図１は、本発明による撮像装置の一実施の形態を示す図であり、デジタルスチルカメラの概略構成を示す図である。本実施の形態の撮像装置では、測光素子の出力を利用して撮影シーンの認識、例えば顔位置の検出を行うようにしている。

レンズ光学系１および絞り２を通った光は、クイックリターンミラー３に導かれる。クイックリターンミラー３を透過した光はサブミラー４により測距素子５に導かれ、測距素子５においてレンズ光学系１の焦点調節状態が算出される。カメラがレリーズされると、クイックリターンミラー３は実線で示すミラーアップ位置に跳ね上がりシャッタ１４を介して撮像素子１５に被写体光が導かれる。非露光時には、クイックリターンミラー３およびサブミラー４は、破線で示すミラーダウン位置に配置される。クイックリターンミラー３で反射された光は拡散スクリーン６に投影され、コンデンサレンズ７を通りペンタプリズム８に導かれファインダーである接眼レンズ９に向かう。

また、拡散スクリーン６を出射した光の一部は測光光学系を介して測光センサ１０に結像される。測光光学系はプリズム１１，分光光学素子１２，測光レンズ１３を備えており、ペンタプリズム８からの光はプリズム１１により進行方向を図示上方に変更されて分光光学素子１２に入射する。拡散スクリーン６と測光センサ１０とは光学的に共役関係にあり、測光センサ１０上には後述するように分光光学素子１２で分光された光が結像される。

図２は、測光センサ１０の出力に基づく制御を説明する制御ブロック図である。測光光学系１００により被写体像が測光センサ１０上に結像されると、測光センサ１０は、結像された像に応じたセンサ出力をＡ／Ｄ変換器１０１に出力する。Ａ／Ｄ変換器１０１は、アナログ信号のセンサ出力をデジタル信号に変換する。Ａ／Ｄ変換器１０１によりデジタル値に変換されたセンサ出力はＣＰＵ１０２に取り込まれる。

測光センサ制御部１０２１は、センサ出力が適切な値になるように測光センサ１０を制御する。例えば、測光処理、ＡＷＢ（オートホワイトバランス）に関する光源判定パラメ−タ演算処理および背景領域抽出処理の各処理を行う場合には、測光センサ１０の最大出力が目標出力レベルとなるように蓄積時間とアンプゲインを設定するピークＡＧＣ制御を行う。また、後述するシーン解析処理（後述する人物検出処理）が行われる場合には、測光センサ出力の平均レベルが目標出力レベルとなるように制御する平均ＡＧＣ制御を行う。

ピークＡＧＣ制御によるセンサ出力は、測光演算処理部１０２２およびＡＷＢパラメータ算出部１０２６に送られる。測光演算処理部１０２２では、測光センサ１０の出力に基づいて測光演算が行われ、適切な露出が算出される。その露出演算結果は露出制御部１０２４へ送られ、露出制御部１０２４により適正な絞り値やシャッタ速度に設定される。また、ＡＷＢパラメータ算出部１０２６では、ＡＷＢパラメータ算出１０２６では、測光センサ出力から本撮影における光源判定などに使用されるＡＷＢパラメータを算出する。撮像素子１５で撮像された画像を画像処理する際には、このＡＷＢパラメータに基づいて適切なホワイトバランス処理が行われる。

一方、平均ＡＧＣ制御によって得られたセンサ出力は、人物検出処理部１０２３に入力される。人物検出処理部１０２３では、センサ出力に基づいて人物または顔に特有な色相を有する画素を抽出し、その画素の連結状態等から人物または顔がある位置を検出する。例えば、人の色相は色相環の０度〜３０度の範囲に相当するので、そのような色相の画素を検出するようにする。ＡＦ制御部１０２５では、人物検出処理部１０２３で得られた人物または顔の位置を参考にしてオートフォーカス処理が行われる。

なお、フラッシュ撮影を行う場合には、フラッシュ１０４を発光させる。フラッシュ１０４は、カメラ本体に一体に設けられていても良いし、カメラ本体とは別に設けられたフラッシュ装置をカメラ本体に装着するものでも良い。

図３は上述したピークＡＧＣ制御と平均ＡＧＣ制御とを説明する模式図であり、（ａ）測光時のピークＡＧＣ制御による出力レベルを示し、（ｂ）はシーン解析時の平均ＡＧＣ制御による出力レベルを示す。いずれの場合も、左側は調整前、右側は調整後を示す。図３において、横軸は画素位置、縦軸は各画素の出力（輝度値）をそれぞれ表しており、３つの出力Ｐ１，Ｐ２，Ｐ３が図示されている。出力Ｐ１は最大輝度を与えるものであり、ピークＡＧＣ制御時（測光時）には、調整後の出力Ｐ１のレベルが殆ど飽和に近い目標レベルＳ１となるように、蓄積時間およびアンプゲインを設定する。

一方、平均ＡＧＣ制御時には、図３（ｂ）に示すように、破線で示す被写界の平均的輝度が目標レベルＳ２の出力となるように蓄積時間とアンプゲインを設定し、測光センサ１０をフィードバック制御する。ＡＦ制御時において人物検出処理部１０２３でシーン解析を行う場合には、逆光や輝度差が大きいシーンにおいては被写体の色情報が黒つぶれする場合がある。しかし、このような平均ＡＧＣ制御を行うことで、図３（ｂ）のように出力レベルが低い出力Ｐ２，Ｐ３も調整後には十分大きな出力レベルとなり、色情報を取得することができる。

図４は、分光光学素子１２による分光を説明する図である。図４（ａ）に示すように、測光センサ１０には、光電変換素子がマトリックス状に配列された２次元イメージセンサが用いられる。各光電変換素子には、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色フィルタがオンチップフィルタとして形成されている。本実施の形態の測光センサ１０では、Ｒ、Ｇ、ＢフィルタがＲ，Ｂ，Ｇ，Ｒ，Ｂ，Ｇ，Ｒ，…のように周期的に配置された、ストライプタイプの色フィルタが設けられている。Ｒフィルタが設けられた光電変換素子、Ｇフィルタが設けられた光電変換素子およびＢフィルタが設けられた光電変換素子の三つ一組で、一つの画素が構成されている。

分光光学素子１２には、ブレーズド回折格子が用いられている。本実施の形態では１次の回折光を結像光として利用するため、分光光学素子１２は１次光の強度が大きくなるように設定されている。分光光学素子１２に白色光Ｗが入射すると、白色光Ｗは赤（Ｒ）成分光L1R，緑（Ｇ）成分光L1G，青（Ｂ）成分光L1Bに分光される。なお、Ｒ成分光L1R，Ｇ成分光L1G，Ｂ成分光L1Bは、いずれも１次の回折光である。そして、Ｒフィルタが設けられた光電変換素子にＲ成分光L1Rが入射するときには、Ｇ成分光L1Gは同一画素のＧフィルタが設けられた光電変換素子に入射し、Ｂ成分光L1Bは同一画素のＢフィルタが設けられた光電変換素子にそれぞれ入射するように設定されている。

分光光学素子１２は１次の回折光が効率よく生じるように設計されているが、１次光以外の次数の回折光の発生を全くゼロにするのは難しく、図４（ｂ）に示すように０次光や２次光も発生する。図４（ｂ）に示す例では、１次光L1R，L1G，L1Bが入射する画素を０番目の画素とすると、右側の２番目の画素に０次光L0R，L0Bが入射しており、左側の２番目の画素（−２と表記する）には２次光L2Bが入射している。Ｒ成分の０次光L0Rの強度は、Ｂ成分の０次光L0Bに比べて数倍の大きさになっている。このような回折光の分離状態は分光光学素子１２の分光特性によってそれぞれ異なる。

図４（ｂ）に示す０次光および２次光は、フレアー成分となる不要光である。フレアー成分となるＲ，Ｇ，Ｂ成分は、分光光学系や測光センサの分光感度特性により、差を持って出力されることとなる。また、これらのフレアー成分は、１次光の出力レベルに比例して大きくなる。結像光である１次光に対する不要光（０次光および２次光）の発生する位置や、１次光に対する０次光および２次光の相対強度は分光光学系の設計によって決まるので、分光光学素子１２の分光特性と測光センサ１０の出力とに基づいて従来と同様のデジタルフィルタ処理を行うことにより、０次光成分、２次光成分の影響を低減するように補正することが可能である。

例えば、測光を行う場合には、図３（ａ）に示したように最大輝度が所定目標レベルとなるように測光センサ１０の蓄積時間およびアンプゲインを制御するため、最大輝度となる出力が飽和するようなことはない。そのため、この場合には、従来のデジタルフィルタ処理による補正を有効に行うことができる。

しかし、シーン解析を行う場合には、色情報を取得するために図３（ｂ）で示すような蓄積時間およびアンプゲインの設定が行われる。そのため、輝度値の大きな画素に関しては出力Ｐ１のように画素の出力値が飽和することになり、その画素に入射している１次光の値を推定することができず、その一次光に対する０次光および２次光も算出できないことになる。

例えば、被写界に図３（ｂ）の出力Ｐ１で示すような高輝度な被写体があると、出力Ｐ１が１次光であるならば、調整後の出力Ｐ１の場合と同様に、その出力Ｐ１に関するフレアー成分（０次光、２次光）も調整後には大きくなる。特に、フレアー成分が入射する画素の輝度が比較的低い場合には、その画素における結像光（１次光）の強度に対してフレアー成分の強度が無視できなくなり、その画素の色相に大きく影響するようになる。

図５は、そのような場合の一例を示したものであり、画素領域２０１は高輝度被写体である照明が撮像されている領域である。人物２００の顔が含まれる９（＝３×３）つの画素から成る画素領域２０３では、色相環の０〜３０度の範囲の色相が色情報として取得される。照明が撮像されている画素領域２０１の右側の画素領域２０２においては、Ｒ成分のフレアー成分（０次光）が検出されている。

そして、画素領域２０１，２０２間の輝度差が大きいと、画素領域２０２で検出される光はＲ成分の割合が大きくなり、画素領域２０２を顔領域として誤検出するおそれがある。そのため、後述するように、本実施の形態では、マスク処理によって図５の画素領域２０２を除き、画素領域２０２を除いた残りの領域において顔検出を行うようにした。

図６は撮像処理の流れを説明するフローチャートである。ＣＰＵ１０２は、レリーズボタンが半押しされると図６のフローチャートで示すプログラムを起動する。ステップＳ１１ではレリーズボタンが半押し状態か否かを判定し、ＹＥＳと判定されるとステップＳ１２へ進み、ＮＯと判定されるとステップＳ２１へ進む。ステップＳ１１でＮＯと判定されてステップＳ２１へ進んだ場合には、ステップＳ２１において、レリーズボタンの半押し操作で計時スタートした半押しタイマがタイムアップしたか否かを判定する。タイムアップしたと判定されると撮像動作を終了し、そうでない場合にはステップＳ１１へ戻る。

一方、ステップＳ１１でＹＥＳと判定されてステップＳ１２に進んだ場合には、図７に示すような測光処理を行う。

（測光処理の説明）
図７のステップＳ１０１では、測光センサ制御部１０２１によるセンサ出力の制御を行う。ここでは、上述したように測光処理、ＡＷＢに関する光源判定パラメ−タ演算処理および背景領域抽出処理の各処理を行う場合にはピークＡＧＣ制御を行い、シーン解析処理（後述する人物検出処理）を行う場合には平均ＡＧＣ制御を行う。

図６のステップＳ１１からステップＳ１４までの処理は、レリーズボタンが全押しされてステップＳ１４でＹＥＳと判定されるまで繰り返し実行され、その度に、パラメータ演算、測光演算、被写体判別演算のいずれかがステップＳ１２の測光処理において行われる。例えば、カメラのＡＦ設定状態が人物の顔に焦点を合わせるような設定になっている場合には、パラメータ演算→測光演算→被写体判別演算→測光演算→被写体判別演算→パラメータ演算→…のように繰り返され、ステップＳ１０１では、それぞれの演算処理に応じて測光センサ制御を行う。以下の説明では、このような設定が選択されているとして説明する。

ステップＳ１０２では本撮影時に使用されるＡＷＢパラメータの算出を行うか否かの判定が行われ、ＹＥＳと判定されるとステップＳ１０３に進んでＡＷＢパラメータの演算が行われる。ＡＷＢパラメータ演算の場合には、ピークＡＧＣ制御により得られた測光センサ出力に基づいて演算が行われ、その後、図６のステップＳ１３へ進む。

一方、ステップＳ１０２でＮＯと判定されると、ステップＳ１０４へ進んで測光処理が行われるタイミング（ＹＥＳ）かシーン認識処理が行われるタイミング（ＮＯ）かを判定する。ステップＳ１０４でＹＥＳと判定されると、ステップＳ１０５へ進んで測光演算処理が実行される。ステップＳ１０５の測光演算処理では、ＡＷＢパラメータ演算の場合と同様に、ピークＡＧＣ制御により得られた測光センサ出力に基づいて演算が行われ、その後、図６のステップＳ１３へ進む。

ステップＳ１０４でＮＯと判定された場合には、ステップＳ１０６へ進んで人物検出処理部１０２３による被写体判別演算を実行し、その後ステップＳ１３へと進む。詳細は後述するが、ステップＳ１０６の被写体判別演算では、人物領域の抽出と、その人物領域抽出結果の信頼度算出とが行われる。なお、ステップＳ１０６の被写体判別演算の詳細は後述する。

図７に示すステップＳ１２の測光処理が終了したならば、図６のステップＳ１３へ進む。ステップＳ１３では、ステップＳ１２で取得された人物領域抽出結果と人物抽出信頼度情報とに基づいて人物の顔位置にＡＦエリアを決定し、人物に顔にピントが合うようなＡＦ処理を行う。ステップＳ１４では、レリーズボタンの全押し操作が行われたか否かを判定する。ステップＳ１４でＹＥＳと判定されるとステップＳ１５へ進み、一方、ＮＯと判定されるとステップＳ１１へ戻る。

ステップＳ１５からステップＳ２０までの一連の処理は、デジタルカメラにおける通常の露光動作である。すなわち、ステップＳ１５で、クイックリターンミラー３およびサブミラー４を図１の実線で示す位置まで移動するミラーアップ動作を行い、ステップＳ１６において撮像素子１５の初期化（電荷排出等）を行う。ステップＳ１７では撮像素子１５に撮影用の電荷蓄積および蓄積電荷の掃き出しを行わせ、ステップＳ１８ではクイックリターンミラー３およびサブミラー４を図１の破線の位置へ戻すミラーダウン動作を行う。ステップＳ１９では、撮像素子１５の出力信号に所定の画像処理を行う。そして、ステップＳ２０において画像データを不図示の記憶媒体に記録し、一連の撮像処理を終了する。

［被写体判別演算処理の説明］
次に、図７のステップＳ１０６における被写体判別演算処理について詳細に説明する。図８は、被写体判別演算処理の詳細を示すフローチャートである。ステップＳ２０１では、測光センサ１０の出力をピークＡＧＣ制御して測光データを取得する。ステップＳ２０２では、測光センサ１０のホワイトバランスを合わせるためのＡＷＢパラメータが算出される。ステップＳ２０３では、被写界の輝度と色相に基づいて背景と思われる領域の抽出を行い、続くステップＳ２０４において背景領域抽出の信頼度を算出する。

背景領域抽出の目的は、後述する人物抽出において背景領域を排除するためであるのと、背景と思われる領域にＡＦしないようにするためである。そして、ステップ２０４で算出される背景抽出信頼度に応じて背景領域情報に対する重み付けを変えるようにする。

背景と思われる領域の抽出結果に関する信頼度は以下のようにして算出される。背景信頼度には、背景領域の平均輝度で表される背景信頼度１と、背景領域の面積で表される背景信頼度２と、背景領域と非背景領域との平均輝度差で表される背景信頼度３と、光学系の周辺光量落ちに関する背景信頼度４とがある。そして、総合的な背景信頼度は、次式（１）に示すようにこれらの積で表される。
背景信頼度＝背景信頼度１×背景信頼度２×背景信頼度３×背景信頼度４ …（１）

例えば、背景と思われる領域に「空」が多く含まれていれば平均輝度が大きく、また面積が大きい場合には背景の可能性が高い。そのため、そのような場合には、背景信頼度１，２は大きくなる。また、輝度差が大きい場合には背景領域に「空」が含まれている可能性が大きくなるので、背景信頼度３も大きくなる。また、ワイドレンズのように周辺光量落ちが大きい場合には、輝度差が大きく出てきてしまうので、レンズの情報から光量落ちが大きいものは背景信頼度４を下げるようにする。

次いで、ステップＳ２０５では、シーン認識を行うための測光センサ制御、すなわち平均ＡＧＣ制御により蓄積時間およびアンプゲインを制御して測光データを取得する。上述したように、ステップＳ２０５の平均ＡＧＣ制御では、図３（ｂ）に示すように蓄積時間及びアンプゲインが設定されるため、高輝度領域に関するフレアー成分が顕著になって人物検出における誤検出の要因となる。そのため、ステップＳ２０６では、フレアー領域を除去するためのフレアーマスクを生成する。

図１０は、測光センサ上におけるフレアー成分の影響と、それに対するフレアーマスクの一例を示したものである。図１０の矩形枠は測光センサ１０の撮像領域を示しており、測光領域には画素がマトリックス状に配列されている。矩形枠の左上端から右方向に１，２，３，…と列番号ｉを設定し、左上端から下方向に１，２，３，…と行番号ｊを設定する。各画素の位置は［ｉ、ｊ］のように表和される。

図１０（ａ）は高輝度被写体（例えば、蛍光灯照明）３０１〜３０４が被写界にある場合を示し、図１０（ｂ）のハッチングを施した画素領域３１０においてフレアー成分の影響を受ける。図１０（ｃ）は生成されたフレアーマスクＦＭの一例を示す図である。なお、フレアーマスク生成処理の詳細については後述する。

ところで、１次光が飽和していない場合には、その出力値を利用してフレアー成分である０次光および２次光を除去することができる。そこで、図８のステップＳ２０７では、飽和していない１次光に関するフレアー成分の除去を、従来と同様のデジタルフィルタ処理にて行う。図１０（ａ）に示す画像の場合、高輝度領域３０１〜３０４では図３（ｂ）の右側の出力Ｐ１のように出力が飽和しているので、これらに関するフレアー成分はデジタルフィルタ処理で除去することができず、図１０（ｂ）のようにフレアー成分が残った画像となる。ステップＳ２０８では、ステップＳ２０２で算出したＡＷＢパラメータを用いて測光センサ出力に対するオートホワイトバランス処理を行う。

次いで、ステップＳ２０９では、各画素の色情報に基づいて人物領域の抽出演算を行う。人物領域抽出演算においては、まず、ＲＧＢ画像から色相に変換を行い、画素毎に色情報（色相）を取得する。次に、ステップＳ２０６で生成したフレアーマスクＦＭおよびステップＳ２０３の背景領域抽出演算結果に基づき、背景領域および図１０（ｃ）のマスク＝１の領域を除外した残りの領域内において人物グループの抽出を行う。具体的には、色相が人物と思われる約０〜３０度の範囲の領域の抽出を行い、さらに、抽出された領域を人物と思われる色相の形状や連結成分ごとに分類しグループ化する。

図１１はグループ化の一例を示す図であり、背後に立木が存在する人物画像の例である。なお、図１１では、グループ化された領域と被写体との対応が分かりやすいように、人物および立木の輪郭を太線で示した。斜線を施した領域４００は背景領域であり、人物領域の抽出は背景領域４００を除いた画素領域において行われる。図１１に示す例では、人物（肌色）と類似の色相を有する画素領域として５つの画素領域４０１〜４０５が抽出されている。

このようにして肌色の画素領域が抽出されたならば、レンズ光学系１からの距離情報（ズーム位置、フォーカスレンズ位置）に基づいて撮像素子１５上の顔像の幅および面積を算出し、その幅および面積に相当する肌色領域を人物領域として抽出する。図１１では、画素領域４０１が人物領域と判定され、その他の画素領域４０２〜４０５は非人物領域と判定されている。

このようにして人物領域が抽出されたならば、ステップＳ２１０に進んで人物抽出結果の信頼度（人物信頼度）を算出する。人物信頼度は、次式（２）に示すように５種類の人物信頼度１〜５の積で表される。もちろん、必ずしも５種類全てを用いなくても良く、５種類の人物信頼度からいくつかを選んで、それらの積を総合的な人物信頼度としても良い。なお、人物信頼度の詳細については後述する。
人物信頼度＝人物信頼度１×人物信頼度２×人物信頼度３
×人物信頼度４×人物信頼度５ …（２）

このようにしてステップＳ２１０の人物抽出信頼度の演算が終了すると、図７のステップＳ１０６における被写体判別演算が終了したことになる。

［フレアーマスク生成処理］
図９はステップＳ２０６におけるフレアーマスク生成処理の一例を示すフローチャートであり、図９および１０を参照してフレアーマスク生成処理を説明する。

例えば、図１０（ａ）に示すような高輝度被写体（例えば、蛍光灯照明）３０１〜３０４が被写界にある場合、図１０（ｂ）のハッチングを施した画素領域３１０においてフレアー成分の影響を受ける。フレアー成分の影響は、高輝度領域３０１〜３０４とフレアー成分が入射する領域との間の輝度差が大きいほど大きくなる。画素領域３１０は、高輝度領域３０１〜３０４との輝度差が大きく、フレアー成分の影響が顕著となる領域である。

図９に示すフレアーマスク生成処理では、この画素領域３１０を除去するマスクを生成する。フレアー成分の発生の仕方は分光光学素子１２の分光特性により異なるが、ここでは、図４（ｂ）に示すような分光特性を仮定し、図１０（ｂ）に示すように高輝度領域３０１〜３０４の右側にＲ成分のフレアーが発生する場合を例に説明する。

図９のステップＳ３０１では、行番号ｊを１に設定し、続くステップＳ３０２において列番号ｉを１に設定する。ステップＳ３０３では、注目している画素［i，j］とその左側の画素［i-1，j］との出力差（＝左側−右側）を算出し、その値が所定値ＳＴｒよりも大きいか否かを判定する。ここでは、出力差として輝度値の差（輝度差）を用い、所定値には誤検出が問題となる場合の輝度差（＝Ｙ(i-1，j)−Y(i，j)）を使用する。なお、ここではフレアーの内のＲ成分の影響を取り除こうとしているので、輝度差に代えてＲ成分（Ｒ画素の出力）の差を算出するようにしても良い。

ステップ３０３において「輝度差＞ＳＴｒ」と判定されるとステップＳ３０４に進み、ステップＳ３０４において、注目している画素［i，j］のマスク［i，j］を１とするとともに、その右側に位置する画素［i+1，j］，画素［i+2，j］のマスク［i+1，j］および［i+2，j］も１に設定する。これは、高輝度画素の右側３画素までフレアー成分の影響が出るものとして、３画素分のマスクを１に設定するようにしている。

一方、ステップ３０３において「輝度差≦ＳＴｒ」と判定されてステップＳ３０５に進んだ場合には、ステップＳ３０５において注目している画素［i，j］のマスク［i，j］が「≠１」か「＝１」かを判定する。ステップＳ３０５で「マスク［i，j］＝１」と判定されるとステップＳ３０７へ進み、「マスク［i，j］≠１」と判定されるとステップＳ３０６に進んで「マスク［i，j］＝０」と設定する。ステップＳ３０６の処理が終了したら、ステップＳ３０７へ進む。

ステップＳ３０７では、列番号ｉが右端の列番号Ｈであるか否かを判定する。ステップＳ３０７でＹＥＳと判定されるとステップＳ３０９へ進み、ＮＯと判定された場合にはステップＳ３０８へ進んで列番号ｉをインクリメントした後にステップＳ３０３へ戻る。ステップＳ３０９では、行番号ｊが下端の行番号であるか否かを判定する。ステップＳ３０９でＮＯと判定された場合には、ステップＳ３１０へ進んで行番号ｊをインクリメントした後にステップＳ３０２へ戻る。一方、全ての画素領域に関してマスク生成が終了するとステップＳ３０９でＹＥＳと判定され、フレアーマスク生成処理を終了する。その結果、図１０（ｃ）に示すようなフレアーマスクＦＭが生成される。

［人物信頼度の説明］
人物信頼度１は、人物と同一色相を有するグループの数と人物と判断された領域の数とに基づいて算出される。例えば、人物信頼度１を次式（３）のように設定する。式（３）で係数＝１とした場合、図１１に示す例では「人物信頼度１＝１／５」となる。この場合、同一色相グループが全て人物領域グループであれば人物信頼度１＝１となり、同一色相グループ数に比べて人物領域グループ数が少なくなるほど、人物信頼度１はより小さくなる。すなわち、人物領域の抽出の際に、人物でない同一色相グループを人物と誤認する確率が高くなる。
人物信頼度１＝（人物領域グル−プ数÷人物同一色相グループ数）×係数 …（３）

次（３）の係数は、「人物領域グル−プ数÷人物同一色相グループ数」の比率に対して人物信頼度１の大きさを調整するために設けたものである。例えば、図１２に示すように比率２／２，３／４，１／２，１／４に対して係数を１，ｋ１，ｋ２，ｋ３のように設定すれば太線Ｌ１で示すような人物信頼度１となる。実際には、比率に対する人物信頼度１の値をテーブルとして予め記憶しておき、比率が得られたらテーブルを参照して人物信頼度１を決定する。

人物信頼度２は、カメラに装着されたレンズ光学系１による測光センサ出カの周辺光量落ちや輝度差によるフレアー成分の影響を考慮した信頼度であり、次式（４）によって与えられる。図１に示す測光センサ１０の場合、ファインダー光学系の上部に位置し、角度を持って被写体を捕らえるような構成となっており、レンズ光学系１がワイドレンズであったりレンズのズーム位置が至近側にあったりした場合には、周辺光量落ちが発生しやすくなる。

本実施の形態では測光センサ１０の画面を図１３（ｂ）のように複数に分割し、それぞれの領域の平均度を算出し、次式（４）により人物信頼度２を算出する。式（４）において、最大平均輝度とは分割領域毎に求められた平均輝度のうちで最大のものであり、最小平均輝度とは分割領域毎に求められた平均輝度のうちで最小のものである。
人物信頼度２＝（最大平均輝度−最小平均輝度）×係数１ …（４）

図１３（ａ）は、レンズによる周辺光量落ちがある場合の測光センサ出力の一例を示したものである。測光センサ１０の下辺領域と上辺領域とでは光量の落ち方が異なり、下辺領域の方が暗くなっている。このような場合には輝度差は大きく、周辺光量落ちをしていると判断して人物信頼度２を下げるようにする。輝度差が大きい場合、フレアー成分の影響で肌色領域が発生するおそれがある。

また、画面の下辺領域に顔があった場合、暗い画像においては色相環における色相の位置がずれやすく、肌色でないものも肌色と誤判定されて人物誤検出の原因となる。このようなことから、輝度差が大きい場合には人物信頼度２を下げるようにしている。なお、画面を複数の領域に分割して平均化しているのは、測光センサ１０の画素欠陥や構図によって出力の小さい領域が発生するのを回避するためである。

人物信頼度３は人物領域の面積に基づいた信頼度である。レンズ光学系１による被写体の像倍率が小さい場合は、人物であるか同一色相の非人物であるかの判断が難しくなる。例えば、像倍率が小さく、さらに点光源が複数あった場合、点光源のフレアー成分は人の顔と類似色相で大きさも同程度となりやすい。しかし、像倍率が大きければ顔の面積も大きくなり、フレアー成分の類似色相と比べて面積が顕著に異なり面積による判別が容易となる。この場合、信頼度は高くなる。人物信頼度３は、例えば式（５）のように表される。係数１，２は顔面積に対する人物信頼度３の変化の仕方を調整する係数である。
人物信頼度３＝推定顔面積×係数１＋係数２ …（５）

人物信頼度４は、被写界の輝度に基づいて設定される信頼度である。測光の結果、被写界の平均的な輝度がＢｖ(Brightness Value）値が１以下となるような場合、例えば、夜景シーンにおいて人物撮影を行う場合について考える。このようなシーンにおいては、上述したように暗い背景が結像されている画素に照明光のフレアー成分が入射すると、その画素においてはフレアー成分の割合が相対的に大きくなる。その結果、そのような画素領域が顔領域として誤検出される可能性が高くなる。

特に、色温度が低い照明の場合には、人物の肌色と非常に類似した色相となり、誤検出の可能性が高くなる。また、低輝度の場合には人物の色情報が低下するので、その分だけ誤検出の可能性が高まる。逆に、日中撮影のように測光値が高い場合には、人物の色情報が大きくなるので、判別が容易となる。このようなことから、人物信頼度４は被写界輝度が低輝度であるほど小さくなるような信頼度であり、例えば、式（６）のように設定される。測光値には、例えば上述したＢｖ値が用いられる。
人物信頼度４＝測光値×係数１＋係数２ …（６）

式（６）における係数１，２は、式（５）における係数１，２の場合と同じように、測光値の変化に対して人物信頼度４の変化の仕方を調整する係数である。なお、測光値としては、ステップＳ１０５の測光演算で得られた値を用いても良いし、ステップＳ２０１で取得された測光データを用いて被写界の平均輝度を算出し、それを測光値として用いても良い。

人物信頼度５は、フラッシュ発光撮影に関係する信頼度である。例えば、夜景ポートレート撮影などにおいてフラッシュ発光が必要とされる場合を考える。夜景ポートレート撮影の場合、背景に照明やイルミネーション等の明るい被写体があって背景輝度が高いため、マルチパターン測光や中央重点測光による測光値としては明るめの値となりやすい。そのため、上述した測光値に基づく人物信頼度４は大きめの値となる。しかし、このような場合には人物の測光出力値が背景に比べて小さな値となり、検出が難しくなる。さらに、背景に低色温度の照明があった場合には、人物を誤検出する可能性がより高くなる。

このような場合、例えば、図１４に示すような不都合が生じる。図１４（ａ）は、夜間ポートレート撮影により人物１４０を撮影した場合を示す。領域１４１〜１４３はいずれも人物領域と判定された領域であるが、領域１４２，１４３は背景の照明光によって生じる肌色と類似色相の領域である。このようなシーンでは、領域１４２や１４３を人物領域と誤検出しやすく、そこにＡＦしてしまう場合がある。図１４は、符号１４４で示す領域にＡＦした場合を示している。

このような場合、合焦エリアが適正な露出となるように領域１４４の輝度に基づいて露出制御が行われ、図１４（ｂ）の背景領域１４５が適正露出となるようにフラッシュ発光が行われる。そのため、人物１４０が露出オーバーとなってしまう可能性が高い。そこで、人物信頼度５を導入し、フラッシュ発光が行われる撮影状況においては人物信頼度を低くし、このような不具合が発生しないようにした。人物信頼度５の設定方法としては、例えば、フラッシュ発光が行われない場合には（人物信頼度５）＝１とし、フラッシュ発光が行われる場合には（人物信頼度５）＝０とする。すなわち、フラッシュ撮影時には、人物領域抽出結果をＡＦに全く反映させずに合焦動作を行う。

また、人物信頼度１〜４がいずれも高くて人物誤検出の可能性が低い撮影条件においては、人物領域抽出結果をある程度反映してＡＦを行ってフラッシュ撮影した場合でも、図１４に示すような不具合は生じにくい。そこで、フラッシュ発光時の人物信頼度５の値をゼロとするのではなく、（人物信頼度５）≪１のような値に設定しても良い。なお、ここでは、夜景ポートレート撮影においてフラッシュ発光を行う場合を例に説明したが、ユーザにより強制発光が設定された場合も同様の動作が適用できる。

［実施の形態の作用効果］
図６に示すステップＳ１３のＡＦ処理においては、取得された人物領域抽出結果とその人物信頼度とに基づいて、人物の顔にピントが合うようにＡＦ制御を行う。例えば、図１１に示すように、３つのＡＦエリア４１１Ａ〜４１１Ｃが被写界に設定されていた場合を考える。

ピント状態が背後の立木付近に合っている場合、その時の推定顔面積は画素領域４０１よりも小さくなるので、画素領域４０１は非人物領域と判定される可能性が高い。その結果、人物領域グループ数＝０と認識され、人物信頼度１は０（＝０／５×係数）となり、そのときの人物領域抽出結果に対する人物信頼度は小さくなる。この場合には、ＡＦエリア選択にあたって人物領域抽出結果は採用されず、人物と同一色相領域４０３を人物と誤検出してピント合わせをしてしまうのを防止することができる。

ＡＦ制御部１０２５は、ＡＦエリア４１０Ａのデフォーカス量に基づいてピント位置を至近側へと移動する。ピント位置が至近側に移動されると、それに応じて推定顔面積も大きくなり、画素領域４０１が人物領域と判定されるようになる。その結果、人物信頼度１は「１／５×係数」となり、トータルの人物信頼度が上昇する。そして、人物信頼度が上昇したので人物領域抽出結果も加味してＡＦエリアが選択される。ここでは、ＡＦエリア４１０Ａが選択され、ＡＦエリア４１０Ａの画像に合焦するようにＡＦ制御される。

このように、本実施の形態では、人物領域抽出結果だけではなく、それに対する人物信頼度も算出するようにしている。そのため、ＡＦエリア選択にあたっての人物領域抽出結果の重み付けを人物信頼度に応じて変えることで、顔認識をより確実に行うことができ、人物誤検出を低減させることができる。例えば、人物信頼度に閾値を設定し、算出された人物信頼度がその閾値以上の場合には、人物と判定された領域のＡＦエリアを優先してピント合わせを行う。さらに、人物抽出の際に背景領域を除くようにしているので、算出処理のスピード向上および人物検出精度の向上を図ることができる。

なお、上述した実施の形態では人物の顔を検出対象とし、その検出結果（人物領域抽出結果）を、顔にピントを合わせる際のエリア選択に利用しているが、検出対象は人物でなくても構わない。例えば、追尾撮影の際の追尾する対象を検出対象としても良い。

また、高輝度被写体に対してフレアー成分の発生する位置は分光光学素子１２の分光方向に依存しているので、フレアーマスクを生成する際のスキャン方向は分光方向に応じて異なる。例えば、分光方向が測光センサ１０の下側方向である場合には、上下にスキャンしてマスクを生成すれば良い。

さらにまた、測光センサ１０の出力により人物検出を行ったが、専用の撮像素子を設けて人物検出を行っても良いし、レンズ一体型のデジタルカメラのように非撮影時にも撮像出力が得られるカメラであれば、撮影用撮像素子の出力を用いて人物検出を行うようにしても良い。なお、以上の説明はあくまでも一例であり、本発明の特徴を損なわない限り、本発明は上記実施の形態に何ら限定されるものではない。

本発明による撮像装置の一実施の形態を示す図であり、デジタルスチルカメラの概略構成を示す図である。 測光センサ１０の出力に基づく制御を説明する制御ブロック図である。 レベル設定を説明するための模式図であり、（ａ）は測光時を示し、（ｂ）はシーン解析時を示す。 分光光学素子１２による分光を説明する図であり、（ａ）は測光センサ１０に入射する１次光を示す図であり、（ｂ）は１次光に対する０次光および２次光の位置を説明する図である。 照明によるフレアー成分の発生する画素領域２０２を示す図である。 撮像処理を説明するフローチャートである。 測光処理の詳細を示すフローチャートである。 被写体判別演算処理の詳細を示すフローチャートである。 フレアーマスク生成処理の詳細を示すフローチャートである。 フレアーマスク生成処理を説明する図であり、（ａ）は高輝度被写体３０１〜３０４を示す図、（ｂ）はフレアー成分の影響を受ける画素領域３１０を示す図、（ｃ）はフレアーマスクＦＭを示す図である。 グループ化の一例を示す図である。 人物信頼度１の係数を説明する図である。 人物信頼度２を説明する図であり、（ａ）は周辺光量落ちがある場合のセンサ出力を示し、（ｂ）は分割領域の例を示す。 人物信頼度５を説明する図である。

符号の説明

１：レンズ光学系、２：絞り、３：クイックリターンミラー、５：測距素子、１２：分光光学素子、１０：測光センサ、１５：撮像素子、１００：測光光学系、１０２：ＣＰＵ、１０４：フラッシュ、１０２１：測光センサ制御部、１０２２：測光演算処理部、１０２３：人物検出処理部、１０２４：露出処理部、１０２５：ＡＦ制御部、２０２：フレアー成分が入射する画素領域、４００：背景領域、４０１〜４０５：類似色相の画素領域、４１０Ａ〜４１０Ｃ：ＡＦエリア、ＦＭ：フレアーマスク

Claims (8)

1. 被写体像を結像する光学系と、
   前記被写体像を撮像する撮像素子と、
   前記撮像素子の出力信号に基づいて形成される画像の各画素の色相情報を生成する生成手段と、
   前記色相情報に基づいて、所定被写体の画像と推定される被写体画像領域を撮像画像領域から抽出する被写体抽出手段と、
   前記被写体画像領域の色相を含む所定色相範囲の画素から成る類似色相画像領域を前記色相情報に基づいて抽出し、前記被写体抽出手段による抽出結果の信頼度を、前記抽出された類似色相画像領域の数に基づいて算出する信頼度演算手段とを備えたことを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記信頼度演算手段は、前記被写体画像領域の数と前記類似色相画像領域の数との比の大小により前記信頼度の高低を設定することを特徴とする撮像装置。
3. 請求項１または２に記載の撮像装置において、
   前記信頼度演算手段は、前記撮像画像領域内における低輝度領域と高輝度領域との輝度差が大きいほど前記信頼度を低く設定することを特徴とする撮像装置。
4. 請求項１〜３のいずれか一項に記載の撮像装置において、
   前記光学系の像倍率に基づいて、前記所定被写体の像の大きさを推定する像領域算出手段をさらに備え、
   前記信頼度演算手段は、前記像領域算出手段によって推定された前記所定被写体の像の大きさが大きいほど前記信頼度を高く設定することを特徴とする撮像装置。
5. 請求項１〜４のいずれか一項に記載の撮像装置において、
   前記信頼度演算手段は、被写界の輝度が低いほど前記信頼度を低く設定することを特徴とする撮像装置。
6. 請求項１〜５のいずれか一項に記載の撮像装置において、
   前記信頼度演算手段は、閃光照明撮影の場合の前記信頼度を、非閃光照明撮影の場合の信頼度よりも低く設定することを特徴とする撮像装置。
7. 請求項１〜６のいずれか一項に記載の撮像装置において、
   前記撮像素子の出力信号に基づいて形成される画像の各画素の輝度を算出する輝度算出手段と、
   前記輝度と前記色相情報とに基づいて背景と推定される画像領域を抽出する背景領域抽出手段とをさらに備え、
   前記被写体抽出手段は、前記背景と推定される画像領域を除く撮像画像領域から前記被写体画像領域を抽出することを特徴とする撮像装置。
8. 請求項１〜７のいずれか一項に記載の撮像装置において、
   被写界の複数の焦点検出エリアに対して前記光学系の焦点調節状態を検出する焦点検出手段と、
   前記焦点検出手段の検出結果、前記被写体抽出手段による抽出結果および前記信頼度演算手段による信頼度に基づいて前記複数の焦点検出エリアのいずれか一つを選択し、該選択された焦点検出エリアの被写体に対して前記光学系の焦点調節状態を調節する焦点調節手段とを備えたことを特徴とする撮像装置。

Images