JP2004201228A - 顔領域抽出方法及び装置 - Google Patents
顔領域抽出方法及び装置 Download PDFInfo
- Publication number
- JP2004201228A JP2004201228A JP2002370396A JP2002370396A JP2004201228A JP 2004201228 A JP2004201228 A JP 2004201228A JP 2002370396 A JP2002370396 A JP 2002370396A JP 2002370396 A JP2002370396 A JP 2002370396A JP 2004201228 A JP2004201228 A JP 2004201228A
- Authority
- JP
- Japan
- Prior art keywords
- image
- face
- skin color
- area
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
【課題】逆光や過順光のような露出変動時にも確度よく顔領域を抽出できる顔領域抽出方法及び装置を提供する。
【解決手段】デジタルカメラのＡＥ処理では、広いダイナミックレンジを精度よく測光するために、条件を変えて複数回の測光を行う（ステップＳ１１０〜Ｓ１１２）。複数回の測光で得られた複数枚の画像の中から肌色領域の彩度が最も高い画像を選択し（ステップＳ１１８）、その画像について画像内における肌色の色相を有する領域を検出し（ステップＳ１２０）、得られた肌色エリアを彩度によって領域分割する（ステップＳ１２２）。彩度分割された各肌色領域について形状認識を行い（ステップＳ１２４）、最終的な顔領域を抽出する。測光情報の利用に代えて、同一シーンを異なる露出条件（適正露出／アンダー／オーバー）で連続撮影するブラケティング撮影の情報を利用してもよい。
【選択図】 図５
【解決手段】デジタルカメラのＡＥ処理では、広いダイナミックレンジを精度よく測光するために、条件を変えて複数回の測光を行う（ステップＳ１１０〜Ｓ１１２）。複数回の測光で得られた複数枚の画像の中から肌色領域の彩度が最も高い画像を選択し（ステップＳ１１８）、その画像について画像内における肌色の色相を有する領域を検出し（ステップＳ１２０）、得られた肌色エリアを彩度によって領域分割する（ステップＳ１２２）。彩度分割された各肌色領域について形状認識を行い（ステップＳ１２４）、最終的な顔領域を抽出する。測光情報の利用に代えて、同一シーンを異なる露出条件（適正露出／アンダー／オーバー）で連続撮影するブラケティング撮影の情報を利用してもよい。
【選択図】 図５
Description
【０００１】
【発明の属する技術分野】
本発明は顔領域抽出方法及び装置に係り、特にデジタルカメラ等において取得したカラー画像中に存在する人物の顔に相当する領域を抽出するための方法及び装置に関する。
【０００２】
【従来の技術】
人物写真を鑑賞するときに最も注目される部位は人物の顔である。人物の顔が適正な明るさ及び色で再現されるように、画像内の人物の顔に相当する領域を自動的に検出する技術が提案されている（特許文献１）。特許文献１に開示された方法によれば、原画像から肌色領域を抽出するとともに、画像中のエッジを検出し、エッジで囲まれる肌色領域を顔領域として抽出している。
【０００３】
【特許文献１】
特開平９−１０１５７９号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、特許文献１に開示された方法では、撮影時の光の加減によって、顔のエッジが閉曲線にならないケースも存在し、顔領域を誤検出することがある。また、画像内から肌色を検出する際に露光のアンダー／オーバーによって肌色（色相、彩度）がばらつくという問題がある。特に、逆光のようなシーンは露光アンダーとなる一方、近接ストロボなどは露光オーバーとなり、肌色検出すら困難である。
【０００５】
本発明はこのような事情に鑑みてなされたもので、逆光や過順光のような露出変動時にも確度よく顔抽出することができる顔領域抽出方法及び装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
前記目的を達成するために本発明に係る顔領域抽出方法は、画像内から人物の顔に相当する領域を抽出する方法であって、露出条件の異なる複数枚の画像を取得する画像取得工程と、前記画像取得工程で入手した複数枚の画像のうち顔抽出に適した露出条件の画像を選択する画像選択工程と、前記画像選択工程で選択された画像に対して顔抽出の処理を行う処理工程と、を含むことを特徴とする。
【０００７】
本発明によれば、露出条件を変えて複数回の露光を行い、これら複数枚の画像の中から露出条件のよい画像を判別して、その画像に対して顔抽出の処理を行うようにしたので、露光アンダーや露光オーバーなシーンにおいても確度よく顔領域を抽出できる。
【０００８】
本発明の一態様によれば、前記画像取得工程は、露出条件を変えて複数回の測光を行う測光工程を含み、前記画像選択工程は、前記測光工程により得られた測光情報に基づいて被写体の明るさが適正になる画像を選択することを特徴とする。
【０００９】
自動露出調整（ＡＥ）制御において、広いダイナミックレンジを精度よく測光するために、露出条件を変えて複数回の測光を行い、被写体の輝度を正しく認識する。このときの測光情報を利用して、被写体（主として人物の顔）の明るさが適正になる画像を決定し、その画像で顔抽出の処理を行う。これにより、露光アンダー又はオーバーなシーンにおいても確度よく顔領域を抽出できる。
【００１０】
本発明の他の態様によれば、前記画像取得工程は、露出条件を変えて複数回の撮影を行うブラケティング撮影工程を含み、前記画像選択工程は、前記ブラケティング撮影工程により得られた複数枚の画像データに基づいて露出条件のよい１つの画像を選択することを特徴とする。
【００１１】
露出条件の異なる複数の画像を入手するには、測光処理を利用する態様に限らず、ブラケティング撮影を利用する態様がある。
【００１２】
同じ画像を異なる露出で撮影したいという撮影者の要求に対応して、設定値のきざみ（露出補正値）で自動的に露出を変えて連続撮影を行うオートブラケティング機能を搭載しているカメラにおいて、ブラケティング撮影された複数枚の画像データから条件のよい１枚を決定し、その画像で顔抽出の処理を行う。これにより、確度よく顔領域を抽出できる。
【００１３】
複数枚の画像の中から条件のよい画像を決定するには、例えば、画像内における肌色の色相領域の彩度に注目する。すなわち、前記画像選択工程は、前記画像取得工程で入手した複数枚の画像について各画像内から肌色の色相を有する領域を検出する肌色領域検出工程と、前記複数枚の画像のうち前記肌色領域検出工程で検出された肌色領域の彩度が最も高い画像を顔抽出用の画像として選択する自動選択工程と、を含むことを特徴とする。
【００１４】
複数枚の画像の中から肌色領域の彩度の一番高いものを顔抽出用の画像として選択することにより、確度のよい顔抽出が可能となる。
【００１５】
本発明の更に他の態様によれば、前記処理工程は、前記画像選択工程により選択された画像について当該画像内から肌色の色相を有する領域を検出する肌色検出工程と、前記肌色検出工程で検出される肌色部分を更に彩度によって分割する彩度分割工程と、前記彩度分割工程で分割された彩度別の肌色領域の形状に基づいて顔領域を決定する顔領域決定工程と、を含むことを特徴とする。
【００１６】
画像内で肌色の色相を有する領域（肌色領域）を更に彩度によって細かく領域分けして、その形状や大きさを認識することにより顔領域の候補を絞り込むことができる。例えば、人物の顔はおよそ円形或いは楕円形に近いものと考えられ、顔領域か否かを判別するための縦横比を定めておくことができる。顔領域の各候補について規定の縦横比から極端に外れるもの（極端に細長いものなど）は、顔でないものとして排除され、規定の縦横比に近いものについて顔であると判断される。
【００１７】
上記方法発明を具現化する装置を提供するため、本発明に係る顔領域抽出装置は、画像内から人物の顔に相当する領域を抽出する装置であって、露出条件の異なる複数枚の画像を取得する画像取得手段と、前記画像取得手段で入手した複数枚の画像のうち最良の露出条件で撮影された画像を選択する画像選択手段と、前記画像選択手段で選択された画像に対して顔抽出の処理を行う処理手段と、を備えたことを特徴とする。
【００１８】
本発明の顔領域抽出装置は、デジタルカメラやビデオカメラなどの電子撮影装置（電子カメラ）の信号処理部に組み込むことが可能である。
【００１９】
【発明の実施の形態】
以下添付図面に従って本発明に係る顔領域抽出方法及び装置の好ましい実施の形態について詳説する。
【００２０】
図１は本発明の実施形態に係る電子カメラの構成を示すブロック図である。このカメラ１０は、被写体の光学像をデジタル画像データに変換して記録メディア１２に記録するデジタルカメラであり、撮影により得られた画像信号を処理する信号処理手段の一部に本発明の顔領域抽出装置が用いられている。
【００２１】
カメラ１０全体の動作は、カメラ内蔵の中央処理装置（ＣＰＵ）１４によって統括制御される。 ＣＰＵ１４は、所定のプログラムに従って本カメラシステムを制御する制御手段として機能するとともに、自動露出（ＡＥ）演算、自動焦点調節（ＡＦ）演算、及びオートホワイトバランス（ＡＷＢ）制御、顔領域抽出演算など各種演算を実施する演算手段として機能する。
【００２２】
ＣＰＵ１４はバス１６を介してＲＯＭ２０及びメモリ（ＲＡＭ）２２と接続されている。ＲＯＭ２０にはＣＰＵ１４が実行するプログラム及び制御に必要な各種データ等が格納されている。メモリ２２はプログラムの展開領域及びＣＰＵ１４の演算作業用領域として利用されるとともに、画像データの一時記憶領域として利用される。
【００２３】
また、ＣＰＵ１４にはＥＥＰＲＯＭ２４が接続されている。ＥＥＰＲＯＭ２４は、顔領域抽出処理に必要な肌色判定用テーブル（肌色テーブル）、ＡＥ、ＡＦ及びＡＷＢ等の制御に必要なデータ或いはユーザが設定したカスタマイズ情報などを記憶している不揮発性の記憶手段であり、電源ＯＦＦ時においても記憶内容が保持される。ＣＰＵ１４は必要に応じてＥＥＰＲＯＭ２４のデータを参照して演算等を行う。なお、ＲＯＭ２０は書換不能なものであってもよいし、ＥＥＰＲＯＭのように書換可能なものでもよい。
【００２４】
カメラ１０にはユーザが各種の指令を入力するための操作部３０が設けられている。操作部３０は、マクロボタン３１、シャッターボタン３２、ズームスイッチ３３など各種操作部を含む。
【００２５】
マクロボタン３１は、近距離撮影に適したマクロモードの設定（ＯＮ）／解除（ＯＦＦ）を行う操作手段である。マクロモードは、被写界深度を比較的浅くして背景を美しくぼかしたクローズアップ写真を撮影できる。マクロボタン３１の押下によってカメラ１０がマクロモードに設定されると、近距離撮影に適したフォーカス制御が行われ、被写体距離が約２０cm〜８０cmの範囲で撮影が可能となる。
【００２６】
シャッターボタン３２は、撮影開始の指示を入力する操作手段であり、半押し時にＯＮするＳ1 スイッチと、全押し時にＯＮするＳ2 スイッチとを有する二段ストローク式のスイッチで構成されている。Ｓ1 オンにより、ＡＥ及びＡＦ処理が行われ、Ｓ2 オンによって記録用の露光が行われる。ズームスイッチ３３は、撮影倍率や再生倍率を変更するための操作手段である。
【００２７】
また、図示しないが、操作部３０には、撮影モードと再生モードとを切り換えるためのモード選択手段、撮影目的に応じて最適な動作モード（連写／ブラケティングモード、オート撮影モード、マニュアル撮影モード、人物モード、風景モード、夜景モードなど）を設定する撮影モード設定手段、液晶モニタ４０にメニュー画面を表示させるメニューボタン、メニュー画面から所望の項目を選択する十字ボタン（カーソル移動操作手段）、選択項目の確定や処理の実行を指令するＯＫボタン、選択項目など所望の対象の消去や指示内容の取消し、或いは１つ前の操作状態に戻らせる指令を入力するキャンセルボタンなどの操作手段も含まれる。なお、操作部３０の中には、プッシュ式のスイッチ部材、ダイヤル部材、レバースイッチなどの構成によるものに限らず、メニュー画面から所望の項目を選択するようなユーザインターフェースによって実現されるものも含まれている。
【００２８】
操作部３０からの信号はＣＰＵ１４に入力される。ＣＰＵ１４は操作部３０からの入力信号に基づいてカメラ１０の各回路を制御し、例えば、レンズ駆動制御、撮影動作制御、画像処理制御、画像データの記録／再生制御、液晶モニタ４０の表示制御などを行う。
【００２９】
液晶モニタ４０は、撮影時に画角確認用の電子ファインダーとして使用できるとともに、記録済み画像を再生表示する手段として利用される。また、液晶モニタ４０は、ユーザインターフェース用表示画面としても利用され、必要に応じてメニュー情報や選択項目、設定内容などの情報が表示される。なお、液晶ディスプレイに代えて、有機ＥＬなど他の方式の表示装置（表示手段）を用いることも可能である。
【００３０】
次に、カメラ１０の撮影機能について説明する。
【００３１】
カメラ１０は撮影光学系としての撮影レンズ４２とＣＣＤ固体撮像素子（以下、ＣＣＤという。）４４とを備えている。なお、ＣＣＤ４４に代えて、ＭＯＳ型固体撮像素子など他の方式の撮像素子を用いることも可能である。撮影レンズ４２は、電動式のズームレンズで構成されており、詳細な光学構成については図示しないが、主として倍率変更（焦点距離可変）作用をもたらす変倍レンズ群及び補正レンズ群と、フォーカス調整に寄与するフォーカスレンズとを含む。
【００３２】
撮影者によってズームスイッチ３３が操作されると、そのスイッチ操作に応じてＣＰＵ１４からズーム駆動部４６に対して制御信号が出力される。ズーム駆動部４６は、動力源となるモータ（ズームモータ）とその駆動回路とを含む電動駆動手段である。ズーム駆動部４６のモータ駆動回路は、ＣＰＵ１４からの制御信号に基づいてレンズ駆動用の信号を生成し、ズームモータに与える。こうして、モータ駆動回路から出力されるモータ駆動電圧によってズームモータが作動し、撮影レンズ４２内の変倍レンズ群及び補正レンズ群が光軸に沿って前後移動することにより、撮影レンズ４２の焦点距離（光学ズーム倍率）が変更される。
【００３３】
本例では、ワイド（広角）端からテレ（望遠）端までのズーム動作範囲内において撮影レンズ４２の焦点距離を１０段階で可変できるものとする。撮影者は撮影目的に応じて所望の焦点距離を選択して撮影を行うことができる。
【００３４】
撮影レンズ４２のズーム位置（焦点距離に相当）は、ズーム位置検出センサ４８によって検出され、その検出信号はＣＰＵ１４に通知される。ＣＰＵ１４はズーム位置検出センサ４８からの信号によって現在のズーム位置（すなわち、焦点距離）を把握できる。ズーム位置検出センサ４８は、ズームモータ等の回転によりパルスを発生する回路であってもよいし、レンズ鏡胴の外周に位置検出エンコード板を配置した構成などであってもよく、本発明の実施に際しては、特に限定されるものではない。
【００３５】
撮影レンズ４２を通過した光は、図示せぬ絞り機構を介して光量が調節された後、ＣＣＤ４４に入射する。ＣＣＤ４４の受光面には多数のフォトセンサ（受光素子）が平面的に配列され、各フォトセンサに対応して赤（Ｒ）、緑（Ｇ）、青（Ｂ）の原色カラーフィルタが所定の配列構造（ベイヤー、Ｇストライプなど）で配置されている。
【００３６】
ＣＣＤ４４の受光面に結像された被写体像は、各フォトセンサによって入射光量に応じた量の信号電荷に変換される。ＣＣＤ４４は、シャッターゲートパルスのタイミングによって各フォトセンサの電荷蓄積時間（シャッタースピード）を制御する電子シャッター機能を有している。
【００３７】
ＣＣＤ４４の各フォトセンサに蓄積された信号電荷は、ＣＣＤドライバ５０から与えられるパルスに基づいて信号電荷に応じた電圧信号（画像信号）として順次読み出される。ＣＣＤ４４から出力された画像信号は、アナログ処理部５２に送られる。アナログ処理部５２は、ＣＤＳ（相関二重サンプリング）回路及びゲイン調整回路を含む先行処理部であり、このアナログ処理部５２において、サンプリング処理並びにＲ，Ｇ，Ｂの各色信号に色分離処理され、各色信号の信号レベルの調整（プリホワイトバランス処理）が行われる。
【００３８】
アナログ処理部５２から出力された画像信号はＡ／Ｄ変換器５４によってデジタル信号に変換された後、信号処理部５６を介してメモリ２２に格納される。このときメモリ２２に記憶される画像データは、ＣＣＤ４４から出力された画像信号のＡ／Ｄ変換出力をそのまま（未加工のまま）記録したものであり、ガンマ変換や同時化などの信号処理が行われていない画像データである（以下、CCDRAWデータという）。ただし、「未加工のデータ」といっても、一切の信号処理を排除するものではなく、例えば、撮像素子の欠陥画素（キズ）のデータを補間する欠陥画素補正処理を行って得られた画像データなどについては汎用フォーマットに展開されていないという点でCCDRAWデータの概念に含まれるものとする。
【００３９】
タイミングジェネレータ（ＴＧ）５８は、ＣＰＵ１４の指令に従ってＣＣＤドライバ５０、アナログ処理部５２及びＡ／Ｄ変換器５４に対してタイミング信号を与えており、このタイミング信号によって各回路の同期がとられている。
【００４０】
信号処理部５６は、メモリ２２の読み書きを制御するメモリコントローラを兼ねたデジタル信号処理ブロックである。信号処理部５６は、ＡＥ／ＡＦ／ＡＷＢ処理を行うオート演算部と、同時化回路（単板ＣＣＤのカラーフィルタ配列に伴う色信号の空間的なズレを補間して各点の色を計算する処理回路）、ホワイトバランス回路、ガンマ変換回路、輝度・色差信号生成回路、輪郭補正回路、コントラスト補正回路等を含む画像処理手段であり、ＣＰＵ１４からのコマンドに従ってメモリ２２を活用しながら画像信号を処理する。
【００４１】
メモリ２２に格納されたCCDRAWデータは、バス１６を介して信号処理部５６に送られる。信号処理部５６に入力された画像データは、ホワイトバランス調整処理、ガンマ変換処理、輝度信号（Ｙ信号）及び色差信号（Ｃr,Ｃb 信号）への変換処理（ＹＣ処理）など、所定の信号処理が施された後、メモリ２２に格納される。
【００４２】
撮影画像をモニタ出力する場合、メモリ２２から画像データが読み出され、表示回路６０に転送される。表示回路６０に送られた画像データは表示用の所定方式の信号（例えば、ＮＴＳＣ方式のカラー複合映像信号）に変換された後、液晶モニタ４０に出力される。ＣＣＤ４４から出力される画像信号によってメモリ２２内の画像データが定期的に書き換えられ、その画像データから生成される映像信号が液晶モニタ４０に供給されることにより、撮像中の映像（スルー画）がリアルタイムに液晶モニタ４０に表示される。撮影者は液晶モニタ４０に表示される映像（いわゆるスルームービー）によって画角（構図）を確認できる。
【００４３】
撮影者が画角を決めてシャッターボタン３２を押下すると、ＣＰＵ１４はこれを検知し、シャッターボタン３２の半押し（Ｓ1 ＯＮ）に応動してＡＥ処理及びＡＦ処理を行い、シャッターボタン３２の全押し（Ｓ２＝ＯＮ）に応動して記録用の画像を取り込むためのＣＣＤ露光及び読み出し制御を開始する。
【００４４】
本カメラ１０におけるＡＦ制御は、例えば映像信号のＧ信号の高周波成分が極大になるようにフォーカスレンズ（撮影レンズ４２を構成するレンズ光学系のうちフォーカス調整に寄与する移動レンズ）を移動させるコントラストＡＦが適用される。すなわち、ＡＦ演算部は、Ｇ信号の高周波成分のみを通過させるハイパスフィルタ、絶対値化処理部、画面内（例えば、画面中央部）に予め設定されているフォーカス対象エリア内の信号を切り出すＡＦエリア抽出部、及びＡＦエリア内の絶対値データを積算する積算部から構成される。
【００４５】
ＡＦ演算部で求めた積算値のデータはＣＰＵ１４に通知される。ＣＰＵ１４は、ＡＦモータを含むフォーカス駆動部６２を制御してフォーカスレンズを移動させながら、複数のＡＦ検出ポイントで焦点評価値（ＡＦ評価値）の演算を行い、各ＡＦ検出ポイントで算出されたＡＦ評価値からその値が極大となるレンズ位置を合焦位置として決定する。そして、求めた合焦位置にフォーカスレンズを移動させるようにフォーカス駆動部６２を制御する。
【００４６】
また、ＡＥ制御に関連して、ＡＥ演算部は１画面を複数のエリア（例えば、８×８）に分割し、分割エリアごとにＲＧＢ信号を積算する回路を含み、その積算値をＣＰＵ１４に提供する。ＣＰＵ１４は、ＡＥ演算部から得た積算値に基づいて重み付け加算を行い、被写体の明るさ（被写体輝度）を検出し、撮影に適した露出値（撮影ＥＶ値）を算出する。
【００４７】
カメラ１０のＡＥは、広いダイナミックレンジを精度よく測光するために、複数回の測光を行い、被写体の輝度を正しく認識する。例えば、図２のように５〜１７ＥＶの範囲を測光するのに、１回の測光で３ＥＶの範囲を測定できるものとすると、予め決められた露出条件▲１▼〜▲４▼によって最大で４回の測光が必要になる。
【００４８】
ある露出条件で測光を行い、各分割エリアの積算値を監視する。画像内に飽和しているエリアが存在していれば露出条件を変えて測光を行う。その一方、画像内に飽和しているエリアがなければ、その露出条件で正しく測光できるため、更なる露出条件の変更は行わない。
【００４９】
こうして、複数回に分けて測光を実行することで広いレンジ（５〜１７ＥＶ）を測光する。このような複数回の測光によって得られた測光情報を利用することにより、逆光などで暗い場合であっても、４回の測光処理のうち何れかの露出条件で良好な情報が得られる。なお、１回の測光で測定できる範囲や、測光すべき範囲については、図２の例に限定されず、カメラごとに適宜設計可能である。
【００５０】
次に、撮影ＥＶ値の算出方法について説明する。
【００５１】
撮影画像の１画面を複数のエリア（例えば８×８の６４ブロック）に分割し、分割エリアごとにＲ、Ｇ、Ｂ信号から得た積算値に基づいて各分割エリアのＥＶ値（ＥＶｉ）を求める。続いて、図３に示すように撮影モードに対応して各分割エリアのＥＶ値に重み付けを行い、画面全体のＥＶ′値を次式によって算出する。
【００５２】
【数１】ＥＶ′＝log2｛Σ（Ｗi ×２EVi ）／ΣＷi ｝
ただし、ｉ：０〜６３（８×８の分割エリアを示す添え字）
Ｗi ：撮影モードに応じた各分割エリアごとの重み係数
すなわち、撮影モードがオート／人物モードの場合には、図３（Ａ）の重み付け係数に示すように中央重点測光方式となり、風景モードの場合には、図３（Ｂ）に示すように最外周に位置する分割エリアの重み付けを減じた測光方式となり、夜景モードの場合には、図３（Ｃ）に示すように平均測光方式となる。
【００５３】
上記のように算出したＥＶ′値に対し、更に、次式に示すように撮影モードに応じた露出補正ΔＥＶを行って撮影ＥＶ値を求める。
【００５４】
【数２】ＥＶ＝ＥＶ′−ΔＥＶ
なお、ΔＥＶは、例えば、人物モードの場合にはΔＥＶ＝０、風景モード、夜景モードの場合にはΔＥＶ＝０．３とする。
【００５５】
上記のようにして求めた撮影ＥＶ値に基づいて撮影時の絞り値とシャッタースピードを決定する。
【００５６】
そして、シャッターボタン３２の全押し時に前記決定した絞り値になるように絞り駆動部（不図示）を介して絞り機構を駆動し、また、決定したシャッタースピードとなるように電子シャッターによって電荷の蓄積時間を制御する。
【００５７】
シャッターボタン３２の全押し（Ｓ2 ＝ＯＮ）に応動して取り込まれた画像データは、図１に示した信号処理部５６においてＹＣ処理その他の所定の信号処理を経た後、圧縮伸張回路６４において所定の圧縮フォーマット（例えば、JPEG方式) に従って圧縮される。圧縮された画像データは、メディアインターフェース部６６を介して記録メディア１２に記録される。圧縮形式はJPEGに限定されず、MPEGその他の方式を採用してもよい。
【００５８】
画像データを保存する手段は、スマートメディア（商標）、コンパクトフラッシュ（商標）などで代表される半導体メモリカード、磁気ディスク、光ディスク、光磁気ディスクなど、種々の媒体を用いることができる。また、リムーバブルメディアに限らず、カメラ１０に内蔵された記録媒体（内部メモリ）であってもよい。
【００５９】
モード選択手段によって再生モードが選択されると、記録メディア１２に記録されている最終の画像ファイル（最後に記録したファイル）が読み出される。記録メディア１２から読み出された画像ファイルのデータは、圧縮伸張回路６４によって伸張処理され、表示回路６０を介して液晶モニタ４０に出力される。
【００６０】
再生モードの一コマ再生時に十字ボタンを操作することにより、順方向又は逆方向にコマ送りすることができ、コマ送りされた次のファイルが記録メディア１２から読み出され、上記と同様にして画像が再生される。
【００６１】
図４は、本例のカメラ１０における顔抽出処理に関係する要部ブロック図である。図４中図１で説明した構成と共通する部分には同一の符号を付し、その説明は省略する。
【００６２】
図４において、上段の積算回路７０とホワイトバランス回路７２は、通常のオートホワイトバランス処理に使用している処理系である。また、その下段に示した積算回路７４、ホワイトバランス回路７６及び同時化回路７８は、顔抽出アルゴリズムの前処理を実施するための処理部（以下、前処理系という。）である。
【００６３】
シャッターボタン３２の半押し時又は全押し時にＡ／Ｄ変換器１８から出力されたCCDRAWデータはメモリ２２に格納され、メモリ２２から積算回路７０に送られる。積算回路７０は、１画面内を複数のエリア（例えば、８×８の６４ブロック）に分割し、エリアごとにＲＧＢ信号の色別の平均積算値を算出する回路を含み、その算出結果は基準光源（デーライト）を想定したホワイトバランス回路７２に送られる。ホワイトバランス回路７２でゲイン調整された信号はＣＰＵ１４に提供される。
【００６４】
ＣＰＵ１４は、Ｒの積算値、Ｂの積算値、Ｇの積算値を得て、Ｒ／Ｇ、Ｂ／Ｇの比を求め、これらＲ／Ｇ、Ｂ／Ｇの値と、ＡＥ演算による撮影ＥＶ値の情報（被写体輝度ＬＶ値＝ＥＶ値）に基づいてシーン判別（光源種の判別）を行い、シーンに適した所定のホワイトバランス調整値（光源の雰囲気を残すような設定）に従って、信号処理部５６内のホワイトバランス回路８０及び前処理系のホワイトバランス回路７６のアンプゲインを制御し、各色チャンネルの信号に補正をかける。光源種の判別方法及び光源の雰囲気を残すホワイトバランス制御方法については、特開２０００−２２４６０８号公報等に開示された手法を用いることができる。
【００６５】
また、Ｓ1 ＝ＯＮ又はＳ2 ＝ＯＮに応じて取得されたCCDRAWデータはメモリ２２から信号処理部５６及び顔抽出用の前処理系の積算回路７４に送られる。前処理系の積算回路７４は、１画面を例えば、１３０×１９０のエリアに分割し、エリアごとに積算値を算出する。積算回路７４の算出結果は、ホワイトバランス回路７６に送られ、ここでＡＷＢを反映させたホワイトバランス処理が行われる。ＡＷＢを効かせたデータは、同時化回路７８に送られ、ここでＲ，Ｇ，Ｂについてそれぞれ同画素数のデータ（３面データ）が生成される。
【００６６】
ＣＰＵ１４は、同時化回路７８で生成されたＲＧＢの３面データに基づいて、肌色検出、彩度分割、顔候補抽出、並びに顔候補の領域の形状に基づく顔領域の特定の処理を実行する。顔抽出のアルゴリズムについて詳細は後述する。
【００６７】
その一方、メモリ２２から信号処理部５６に送られたCCDRAWデータは、ホワイトバランス回路８０によりＡＷＢを反映させた処理が行われた後、ガンマ変換回路８２に送られる。ガンマ変換回路８２は、ホワイトバランス調整されたＲＧＢ信号が所望のガンマ特性となるように入出力特性を変更し、輝度／色差信号生成回路８４に出力する。
【００６８】
輝度／色差信号生成回路８４は、ガンマ補正されたＲ、Ｇ、Ｂ信号から輝度信号Ｙとクロマ信号Ｃｒ、Ｃｂとを作成する。これらの輝度信号Ｙとクロマ信号Ｃｒ、Ｃｂ（ＹＣ信号）は、圧縮伸張回路６４によってJPEGその他の所定のフォーマットで圧縮され、記録メディア１２に記録される。
【００６９】
次に、本実施形態に係るカメラ１０に搭載されている顔抽出機能について説明する。
【００７０】
図５は、測光情報を利用する顔抽出のシーケンスを示したフローチャートである。まず、Ｓ1 ＝ＯＮに応動してＡＥの測光を行うために、測光時の露出条件（測光値）を決定し（ステップＳ１１０）、その露出条件に従い測光用の生データ（ＲＧＢ積算値）を入手する（ステップＳ１１２）。
【００７１】
例えば、本例のカメラ１０は、図６のように複数の露出条件（条件０〜４）で測光を行うことができる。各条件０〜４の絞りとシャッタースピードは図６に示す通りである。逆光のシーンでは、０→１→３の順に露出条件を変えて最大３回の測光を行う。それぞれの露出条件で得られた画像から画面内の各分割エリアについて積算値を求め、飽和しているか否かを判断している。飽和しているエリアが存在していれば、露出条件を変更して測光を行う。
【００７２】
その一方、画像内に飽和しているエリアが存在していなければ、その露出条件で正しく測光できるため、更なる露出条件の変更は行わない。
【００７３】
こうして、ＡＥの測光処理を行った後、オートホワイトバランス処理及びガンマ補正の処理を行う（図５のステップＳ１１４）。続いて、ＲＧＢのデータから明度、色相、彩度のデータに変換する処理を行う（ステップＳ１１６）。本例ではＬａｂ空間のデータに変換するが、表色空間はこれらに限らずＹＣr Ｃb 空間など他の表色系を用いてもよい。
【００７４】
次いで、ＣＰＵ１４は、測光処理で得られた複数枚の画像の中から顔抽出の処理に適した１枚の画像を選択する処理を行う（ステップＳ１１８）。この処理は、ＥＥＰＲＯＭ２４の肌色テーブル（肌色検出エリア）を参照し、肌色検出エリア内で彩度の平均が一番高いコマを選択する。
【００７５】
肌色テーブルは、所定の色空間（本例ではＬａｂ空間）において「肌色」として認識される色相の範囲を定めたデータである。図７は、肌色として抽出されるべき色相の範囲（肌色抽出エリア）を例示した図である。
【００７６】
例えば、図７の符号１００で示した太線の矩形枠で囲まれた範囲が肌色抽出エリア（肌色テーブルに相当）として設定された場合、この範囲内に入ったものを肌色として判定する。
【００７７】
ＣＰＵ１４は、前処理系の同時化回路７８から取得したＲＧＢの３面データ（リニアな系のデータ）から生成したＬａｂデータに基づいて、画像内から肌色検出エリア１００内の色相を有する画素を検出する（図５のステップＳ１１８）。そして、肌色検出エリア１００内で彩度の平均値を求め、その値が最も高いコマを最適な露出条件の画像として選択する。なお、彩度Ｃ* は次式によって求められる。
【００７８】
【数３】Ｃ* ＝（ａ* 2 ＋ｂ*2）1/2
図８に露光量のばらつき量と明度( Ｌ*)及び彩度( Ｃ*)の関係を示す。同図におけるＣ* のグラフに注目すると、適正露光（ばらつき量＝０）のときに彩度が最も高くなっていることが分かる。このような傾向から、彩度の平均値が最も高い画像が適正に露光されているものであると判断できる。
【００７９】
このようにして、ＡＥの測光により取得した複数枚の画像の中から最適な１枚を自動選択し（図５のステップＳ１１８）、その画像について顔抽出の処理を行うものとする。
【００８０】
すなわち、ステップＳ１１８で選択された画像について、肌色検出エリア１００内の色相を検出する（図５のステップＳ１２０）。アンダー露光やオーバー露光の画像までも考慮して肌色検出を行うときには、肌色検出エリア１００を比較的大きく設定する必要があるが、本実施形態のように、露出条件のよい画像を選択してその画像について顔抽出を行うことにより、肌色検出エリア１００を比較的小さく設定することができ、これにより、肌以外のもの（木や地面など）の誤検出を回避できる。
【００８１】
また、図７に示したように、肌色検出エリア１００は、彩度によって複数のエリアに分割されている。「彩度」は原点Ｏからの距離によって表され、原点Ｏから離れるほど彩度が高くなる。同図の例では、原点を中心とする同心円状の境界線（破線により図示）によって肌色検出エリア１００が６つの領域に区分けされている。
【００８２】
ＣＰＵ１４は、図５のステップＳ１２０で肌色領域を検出した後、更に、当該肌色検出された部分を彩度を基準に領域分割する（ステップＳ１２２）。
【００８３】
図９に、肌色検出された領域を更に彩度によって区分けした例を示す。画像内で対象物が異なるとその彩度も異なり、一般に人物の顔の肌色は、タングステン光源下の白色物や机などの木よりも彩度が高い傾向がある。したがって、肌色検出された領域を彩度によって細かく分けてその領域形状を把握することにより顔領域であるか、顔以外の領域であるかを判別することが容易になる。
【００８４】
図５のステップＳ１２２において彩度による領域分割を行った後は、ステップＳ１２４に進む。ステップＳ１２４では、彩度によって領域分割されたもの（顔領域候補）の中から、更に各領域について形状検出を行い、形状から顔領域を特定する処理を行う。
【００８５】
すなわち、顔として妥当なモデル形状（楕円や円）から定められた縦横比の規定値と、顔領域候補の形状とを対比し、検出された形状の縦横比が規定値から大きく外れるものについては、顔以外の領域であると判断する。
【００８６】
顔領域候補の縦横比は、例えば、図１０のように、顔領域候補１０２について垂直方向及び水平方向のヒストグラムからＨ（縦方向値）とＷ（水平方向値）を求め、これらの比Ｈ／Ｗを算出する。縦横比の値（Ｈ／Ｗ）がある一定の範囲のもの（楕円や円に近い形状）である場合に顔形状と判断する。
【００８７】
このような形状認識によって顔候補が最終的に絞り込まれ、所定の縦横比を有する形状の領域部分が「顔」として抽出される。
【００８８】
顔領域の抽出結果は、明るさ補正、ホワイトバランス補正、肌色をベストの色（目標値）に近づける色補正、赤目補正などに利用される。
【００８９】
上記のように測光情報を用いて、複数枚の画像の中から肌色領域の彩度が最も高いものを顔抽出用の画像として選択するようにしたので、従来肌色検出が不可能であったシーンにおいても正しく顔抽出できる。また、シャッターボタン３２のＳ1 オンで取得した測光情報から顔抽出を行うので、近接ストロボ時に露光オーバーとなるようなシーンについても、白飛びの問題がなく、顔の位置を正しく検出できるという利点がある。
【００９０】
上記説明では、測光情報を利用したが、ブラケティング情報を利用する態様も可能である。
【００９１】
カメラ１０は、適正な露出値、該適正な露出値よりも露出アンダーとなる露出値、及び／又は露出オーバーとなる露出値を含む複数の露出値でそれぞれ被写体を連続的に撮影するブラケティング撮影機能を有している。
【００９２】
撮影者がモードダイヤル等の撮影モード設定を操作して撮影モードを連写／ブラケティングモードに設定し、続いてメニューボタンを押すと、カメラ１０の液晶モニタ４０上に図１１のような露出の振れ幅を選択するためのメニュー画面が表示される。ここで、十字ボタンの上下キーを操作することにより、ブラケティング撮影時の露出の振れ幅を設定する。
【００９３】
例えば、振れ幅を±２／３ＥＶに設定すると、適正露出（撮影ＥＶ値）での撮影の他に、撮影ＥＶ値よりも２／３ＥＶだけアンダー露出、及び２／３ＥＶだけオーバー露出の３枚のブラケティング撮影が行われる。なお、オートブラケティング「ＯＦＦ」を選択した場合には連写モードとなる。
【００９４】
ブラケティング撮影によって取得された３枚の画像（アンダー露出、適正露出及びオーバー露出の各画像）は液晶モニタ４０にプレビュー表示される。撮影者は液晶モニタ４０上で画像を確認してこれら画像の記録の要否を選択することができる。画像を記録メディア１２に記録する場合にはＯＫボタンを押し、記録しない場合にはキャンセルボタンを押す。ＯＫボタンが押されるとメモリ２２に格納された３枚の画像データが所定のフォーマットに従って圧縮されて記録メディア１２に記録される。また、記録画像を選択することも可能であり、不要な画像（記録しない画像）を指定してからＯＫボタンを押すと、それ以外の画像が記録メディア１２に記録される。
【００９５】
図１２は、ブラケティング情報を利用する顔抽出のシーケンスを示すフローチャートである。
【００９６】
上記のようにブラケティングモードが設定され、シャッターボタン３２が半押し（Ｓ１＝ＯＮ）されると、ＡＥ処理によって撮影ＥＶ値が取得され、ブラケティングにおける露出条件が決定される（ステップＳ２１０）。すなわち、撮影ＥＶ値に基づいて適正露出となる絞り値とシャッタースピードを決定するとともに、前記適正露出よりも予め設定した露出の振れ幅分だけアンダー露出及びオーバー露出となる絞り値とシャッタースピードを決定する。
【００９７】
その後、シャッターボタン２が全押し（Ｓ２＝ＯＮ）されると、ブラケティング撮影が行われ、露出条件の異なる複数枚の画像が取得される（ステップＳ２１２）。カメラ１０は、アンダー露出、適正露出及びオーバー露出の順で順次連続的に撮影し、これらの３回の撮影で得た生のＲ、Ｇ、Ｂ信号（CCDRAW）を一旦メモリ２２に格納する
次に、メモリ２２に格納された３枚分のＲ、Ｇ、Ｂ信号に基づいて図４で説明した前処理系（７４、７６、７８）による処理を行い、記録したCCDRAWデータに対してオートホワイトバランスによるゲイン補正の処理、ガンマ補正、及び同時化処理などを行う（図１２のステップＳ２１４）。こうして、３枚の画像についてそれぞれＲＧＢの３面データが生成される。
【００９８】
その後は、ＲＧＢのデータから明度、色相、彩度の情報に変換する処理を行い（ステップＳ２１６）、３枚の画像の中から顔抽出の処理に適した条件の画像を選択し（ステップＳ２１８）、その画像について顔抽出処理を行う（ステップＳ２２０〜Ｓ２２４）。ステップＳ２１６〜ステップＳ２２４の処理は、図５で説明したフローチャートのステップＳ１１６〜Ｓ１２４処理と同様であるため、説明を省略する。
【００９９】
ブラケティングデータを基に各画像の肌色領域の彩度を検出し、彩度が最も高い画像に対して顔抽出を行うことにより、逆光や過順光のような露出変動時にも確度よく顔抽出できる。
【０１００】
上述の実施形態では、デジタルカメラを例示したが、本発明の適用範囲はこれに限定されず、カメラ付き携帯電話機、カメラ付きＰＤＡ、カメラ付きモバイルパソコンなど、電子撮像機能を備えた他の情報機器についても本発明を適用できる。この場合、撮像部は携帯電話機等の本体から分離可能な着脱式（外付けタイプ）のものであってもよい。
【０１０１】
【発明の効果】
本発明によれば、測光情報やブラケティングデータを利用して最適な条件の画像を選択し、その画像に対して顔抽出を行うようにしたので、精度のよい顔抽出が可能となる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る電子カメラの構成を示すブロック図
【図２】撮影ＥＶ値の求め方を説明するために用いた図
【図３】撮影モード別の測光方式を説明するために用いた図
【図４】本例のカメラにおける顔抽出処理に関係する要部ブロック図
【図５】測光情報を利用した顔抽出処理のシーケンスを示すフローチャート
【図６】測光時の露出条件を例示した図
【図７】肌色として抽出する色相の範囲（肌色抽出エリア）と彩度分割の例を示す図
【図８】露光量のばらつき量と明度( Ｌ*)及び彩度( Ｃ*)の関係を示すグラフ
【図９】肌色検出された領域を更に彩度によって区分けした例を示す図
【図１０】顔領域候補の形状から縦横比を求める方法を説明するために用いた図
【図１１】オートブラケティングの設定画面の例を示す図
【図１２】ブラケティング情報を利用した顔抽出処理のシーケンスを示すフローチャート
【符号の説明】
１０…カメラ、１２…記録メディア、１４…ＣＰＵ、２４…ＥＥＰＲＯＭ、４０…液晶モニタ、４２…撮影レンズ、４４…ＣＣＤ、５６…信号処理部、７４…積算回路、７６…ホワイトバランス回路、７８…同時化回路、１００…肌色抽出エリア
【発明の属する技術分野】
本発明は顔領域抽出方法及び装置に係り、特にデジタルカメラ等において取得したカラー画像中に存在する人物の顔に相当する領域を抽出するための方法及び装置に関する。
【０００２】
【従来の技術】
人物写真を鑑賞するときに最も注目される部位は人物の顔である。人物の顔が適正な明るさ及び色で再現されるように、画像内の人物の顔に相当する領域を自動的に検出する技術が提案されている（特許文献１）。特許文献１に開示された方法によれば、原画像から肌色領域を抽出するとともに、画像中のエッジを検出し、エッジで囲まれる肌色領域を顔領域として抽出している。
【０００３】
【特許文献１】
特開平９−１０１５７９号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、特許文献１に開示された方法では、撮影時の光の加減によって、顔のエッジが閉曲線にならないケースも存在し、顔領域を誤検出することがある。また、画像内から肌色を検出する際に露光のアンダー／オーバーによって肌色（色相、彩度）がばらつくという問題がある。特に、逆光のようなシーンは露光アンダーとなる一方、近接ストロボなどは露光オーバーとなり、肌色検出すら困難である。
【０００５】
本発明はこのような事情に鑑みてなされたもので、逆光や過順光のような露出変動時にも確度よく顔抽出することができる顔領域抽出方法及び装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
前記目的を達成するために本発明に係る顔領域抽出方法は、画像内から人物の顔に相当する領域を抽出する方法であって、露出条件の異なる複数枚の画像を取得する画像取得工程と、前記画像取得工程で入手した複数枚の画像のうち顔抽出に適した露出条件の画像を選択する画像選択工程と、前記画像選択工程で選択された画像に対して顔抽出の処理を行う処理工程と、を含むことを特徴とする。
【０００７】
本発明によれば、露出条件を変えて複数回の露光を行い、これら複数枚の画像の中から露出条件のよい画像を判別して、その画像に対して顔抽出の処理を行うようにしたので、露光アンダーや露光オーバーなシーンにおいても確度よく顔領域を抽出できる。
【０００８】
本発明の一態様によれば、前記画像取得工程は、露出条件を変えて複数回の測光を行う測光工程を含み、前記画像選択工程は、前記測光工程により得られた測光情報に基づいて被写体の明るさが適正になる画像を選択することを特徴とする。
【０００９】
自動露出調整（ＡＥ）制御において、広いダイナミックレンジを精度よく測光するために、露出条件を変えて複数回の測光を行い、被写体の輝度を正しく認識する。このときの測光情報を利用して、被写体（主として人物の顔）の明るさが適正になる画像を決定し、その画像で顔抽出の処理を行う。これにより、露光アンダー又はオーバーなシーンにおいても確度よく顔領域を抽出できる。
【００１０】
本発明の他の態様によれば、前記画像取得工程は、露出条件を変えて複数回の撮影を行うブラケティング撮影工程を含み、前記画像選択工程は、前記ブラケティング撮影工程により得られた複数枚の画像データに基づいて露出条件のよい１つの画像を選択することを特徴とする。
【００１１】
露出条件の異なる複数の画像を入手するには、測光処理を利用する態様に限らず、ブラケティング撮影を利用する態様がある。
【００１２】
同じ画像を異なる露出で撮影したいという撮影者の要求に対応して、設定値のきざみ（露出補正値）で自動的に露出を変えて連続撮影を行うオートブラケティング機能を搭載しているカメラにおいて、ブラケティング撮影された複数枚の画像データから条件のよい１枚を決定し、その画像で顔抽出の処理を行う。これにより、確度よく顔領域を抽出できる。
【００１３】
複数枚の画像の中から条件のよい画像を決定するには、例えば、画像内における肌色の色相領域の彩度に注目する。すなわち、前記画像選択工程は、前記画像取得工程で入手した複数枚の画像について各画像内から肌色の色相を有する領域を検出する肌色領域検出工程と、前記複数枚の画像のうち前記肌色領域検出工程で検出された肌色領域の彩度が最も高い画像を顔抽出用の画像として選択する自動選択工程と、を含むことを特徴とする。
【００１４】
複数枚の画像の中から肌色領域の彩度の一番高いものを顔抽出用の画像として選択することにより、確度のよい顔抽出が可能となる。
【００１５】
本発明の更に他の態様によれば、前記処理工程は、前記画像選択工程により選択された画像について当該画像内から肌色の色相を有する領域を検出する肌色検出工程と、前記肌色検出工程で検出される肌色部分を更に彩度によって分割する彩度分割工程と、前記彩度分割工程で分割された彩度別の肌色領域の形状に基づいて顔領域を決定する顔領域決定工程と、を含むことを特徴とする。
【００１６】
画像内で肌色の色相を有する領域（肌色領域）を更に彩度によって細かく領域分けして、その形状や大きさを認識することにより顔領域の候補を絞り込むことができる。例えば、人物の顔はおよそ円形或いは楕円形に近いものと考えられ、顔領域か否かを判別するための縦横比を定めておくことができる。顔領域の各候補について規定の縦横比から極端に外れるもの（極端に細長いものなど）は、顔でないものとして排除され、規定の縦横比に近いものについて顔であると判断される。
【００１７】
上記方法発明を具現化する装置を提供するため、本発明に係る顔領域抽出装置は、画像内から人物の顔に相当する領域を抽出する装置であって、露出条件の異なる複数枚の画像を取得する画像取得手段と、前記画像取得手段で入手した複数枚の画像のうち最良の露出条件で撮影された画像を選択する画像選択手段と、前記画像選択手段で選択された画像に対して顔抽出の処理を行う処理手段と、を備えたことを特徴とする。
【００１８】
本発明の顔領域抽出装置は、デジタルカメラやビデオカメラなどの電子撮影装置（電子カメラ）の信号処理部に組み込むことが可能である。
【００１９】
【発明の実施の形態】
以下添付図面に従って本発明に係る顔領域抽出方法及び装置の好ましい実施の形態について詳説する。
【００２０】
図１は本発明の実施形態に係る電子カメラの構成を示すブロック図である。このカメラ１０は、被写体の光学像をデジタル画像データに変換して記録メディア１２に記録するデジタルカメラであり、撮影により得られた画像信号を処理する信号処理手段の一部に本発明の顔領域抽出装置が用いられている。
【００２１】
カメラ１０全体の動作は、カメラ内蔵の中央処理装置（ＣＰＵ）１４によって統括制御される。 ＣＰＵ１４は、所定のプログラムに従って本カメラシステムを制御する制御手段として機能するとともに、自動露出（ＡＥ）演算、自動焦点調節（ＡＦ）演算、及びオートホワイトバランス（ＡＷＢ）制御、顔領域抽出演算など各種演算を実施する演算手段として機能する。
【００２２】
ＣＰＵ１４はバス１６を介してＲＯＭ２０及びメモリ（ＲＡＭ）２２と接続されている。ＲＯＭ２０にはＣＰＵ１４が実行するプログラム及び制御に必要な各種データ等が格納されている。メモリ２２はプログラムの展開領域及びＣＰＵ１４の演算作業用領域として利用されるとともに、画像データの一時記憶領域として利用される。
【００２３】
また、ＣＰＵ１４にはＥＥＰＲＯＭ２４が接続されている。ＥＥＰＲＯＭ２４は、顔領域抽出処理に必要な肌色判定用テーブル（肌色テーブル）、ＡＥ、ＡＦ及びＡＷＢ等の制御に必要なデータ或いはユーザが設定したカスタマイズ情報などを記憶している不揮発性の記憶手段であり、電源ＯＦＦ時においても記憶内容が保持される。ＣＰＵ１４は必要に応じてＥＥＰＲＯＭ２４のデータを参照して演算等を行う。なお、ＲＯＭ２０は書換不能なものであってもよいし、ＥＥＰＲＯＭのように書換可能なものでもよい。
【００２４】
カメラ１０にはユーザが各種の指令を入力するための操作部３０が設けられている。操作部３０は、マクロボタン３１、シャッターボタン３２、ズームスイッチ３３など各種操作部を含む。
【００２５】
マクロボタン３１は、近距離撮影に適したマクロモードの設定（ＯＮ）／解除（ＯＦＦ）を行う操作手段である。マクロモードは、被写界深度を比較的浅くして背景を美しくぼかしたクローズアップ写真を撮影できる。マクロボタン３１の押下によってカメラ１０がマクロモードに設定されると、近距離撮影に適したフォーカス制御が行われ、被写体距離が約２０cm〜８０cmの範囲で撮影が可能となる。
【００２６】
シャッターボタン３２は、撮影開始の指示を入力する操作手段であり、半押し時にＯＮするＳ1 スイッチと、全押し時にＯＮするＳ2 スイッチとを有する二段ストローク式のスイッチで構成されている。Ｓ1 オンにより、ＡＥ及びＡＦ処理が行われ、Ｓ2 オンによって記録用の露光が行われる。ズームスイッチ３３は、撮影倍率や再生倍率を変更するための操作手段である。
【００２７】
また、図示しないが、操作部３０には、撮影モードと再生モードとを切り換えるためのモード選択手段、撮影目的に応じて最適な動作モード（連写／ブラケティングモード、オート撮影モード、マニュアル撮影モード、人物モード、風景モード、夜景モードなど）を設定する撮影モード設定手段、液晶モニタ４０にメニュー画面を表示させるメニューボタン、メニュー画面から所望の項目を選択する十字ボタン（カーソル移動操作手段）、選択項目の確定や処理の実行を指令するＯＫボタン、選択項目など所望の対象の消去や指示内容の取消し、或いは１つ前の操作状態に戻らせる指令を入力するキャンセルボタンなどの操作手段も含まれる。なお、操作部３０の中には、プッシュ式のスイッチ部材、ダイヤル部材、レバースイッチなどの構成によるものに限らず、メニュー画面から所望の項目を選択するようなユーザインターフェースによって実現されるものも含まれている。
【００２８】
操作部３０からの信号はＣＰＵ１４に入力される。ＣＰＵ１４は操作部３０からの入力信号に基づいてカメラ１０の各回路を制御し、例えば、レンズ駆動制御、撮影動作制御、画像処理制御、画像データの記録／再生制御、液晶モニタ４０の表示制御などを行う。
【００２９】
液晶モニタ４０は、撮影時に画角確認用の電子ファインダーとして使用できるとともに、記録済み画像を再生表示する手段として利用される。また、液晶モニタ４０は、ユーザインターフェース用表示画面としても利用され、必要に応じてメニュー情報や選択項目、設定内容などの情報が表示される。なお、液晶ディスプレイに代えて、有機ＥＬなど他の方式の表示装置（表示手段）を用いることも可能である。
【００３０】
次に、カメラ１０の撮影機能について説明する。
【００３１】
カメラ１０は撮影光学系としての撮影レンズ４２とＣＣＤ固体撮像素子（以下、ＣＣＤという。）４４とを備えている。なお、ＣＣＤ４４に代えて、ＭＯＳ型固体撮像素子など他の方式の撮像素子を用いることも可能である。撮影レンズ４２は、電動式のズームレンズで構成されており、詳細な光学構成については図示しないが、主として倍率変更（焦点距離可変）作用をもたらす変倍レンズ群及び補正レンズ群と、フォーカス調整に寄与するフォーカスレンズとを含む。
【００３２】
撮影者によってズームスイッチ３３が操作されると、そのスイッチ操作に応じてＣＰＵ１４からズーム駆動部４６に対して制御信号が出力される。ズーム駆動部４６は、動力源となるモータ（ズームモータ）とその駆動回路とを含む電動駆動手段である。ズーム駆動部４６のモータ駆動回路は、ＣＰＵ１４からの制御信号に基づいてレンズ駆動用の信号を生成し、ズームモータに与える。こうして、モータ駆動回路から出力されるモータ駆動電圧によってズームモータが作動し、撮影レンズ４２内の変倍レンズ群及び補正レンズ群が光軸に沿って前後移動することにより、撮影レンズ４２の焦点距離（光学ズーム倍率）が変更される。
【００３３】
本例では、ワイド（広角）端からテレ（望遠）端までのズーム動作範囲内において撮影レンズ４２の焦点距離を１０段階で可変できるものとする。撮影者は撮影目的に応じて所望の焦点距離を選択して撮影を行うことができる。
【００３４】
撮影レンズ４２のズーム位置（焦点距離に相当）は、ズーム位置検出センサ４８によって検出され、その検出信号はＣＰＵ１４に通知される。ＣＰＵ１４はズーム位置検出センサ４８からの信号によって現在のズーム位置（すなわち、焦点距離）を把握できる。ズーム位置検出センサ４８は、ズームモータ等の回転によりパルスを発生する回路であってもよいし、レンズ鏡胴の外周に位置検出エンコード板を配置した構成などであってもよく、本発明の実施に際しては、特に限定されるものではない。
【００３５】
撮影レンズ４２を通過した光は、図示せぬ絞り機構を介して光量が調節された後、ＣＣＤ４４に入射する。ＣＣＤ４４の受光面には多数のフォトセンサ（受光素子）が平面的に配列され、各フォトセンサに対応して赤（Ｒ）、緑（Ｇ）、青（Ｂ）の原色カラーフィルタが所定の配列構造（ベイヤー、Ｇストライプなど）で配置されている。
【００３６】
ＣＣＤ４４の受光面に結像された被写体像は、各フォトセンサによって入射光量に応じた量の信号電荷に変換される。ＣＣＤ４４は、シャッターゲートパルスのタイミングによって各フォトセンサの電荷蓄積時間（シャッタースピード）を制御する電子シャッター機能を有している。
【００３７】
ＣＣＤ４４の各フォトセンサに蓄積された信号電荷は、ＣＣＤドライバ５０から与えられるパルスに基づいて信号電荷に応じた電圧信号（画像信号）として順次読み出される。ＣＣＤ４４から出力された画像信号は、アナログ処理部５２に送られる。アナログ処理部５２は、ＣＤＳ（相関二重サンプリング）回路及びゲイン調整回路を含む先行処理部であり、このアナログ処理部５２において、サンプリング処理並びにＲ，Ｇ，Ｂの各色信号に色分離処理され、各色信号の信号レベルの調整（プリホワイトバランス処理）が行われる。
【００３８】
アナログ処理部５２から出力された画像信号はＡ／Ｄ変換器５４によってデジタル信号に変換された後、信号処理部５６を介してメモリ２２に格納される。このときメモリ２２に記憶される画像データは、ＣＣＤ４４から出力された画像信号のＡ／Ｄ変換出力をそのまま（未加工のまま）記録したものであり、ガンマ変換や同時化などの信号処理が行われていない画像データである（以下、CCDRAWデータという）。ただし、「未加工のデータ」といっても、一切の信号処理を排除するものではなく、例えば、撮像素子の欠陥画素（キズ）のデータを補間する欠陥画素補正処理を行って得られた画像データなどについては汎用フォーマットに展開されていないという点でCCDRAWデータの概念に含まれるものとする。
【００３９】
タイミングジェネレータ（ＴＧ）５８は、ＣＰＵ１４の指令に従ってＣＣＤドライバ５０、アナログ処理部５２及びＡ／Ｄ変換器５４に対してタイミング信号を与えており、このタイミング信号によって各回路の同期がとられている。
【００４０】
信号処理部５６は、メモリ２２の読み書きを制御するメモリコントローラを兼ねたデジタル信号処理ブロックである。信号処理部５６は、ＡＥ／ＡＦ／ＡＷＢ処理を行うオート演算部と、同時化回路（単板ＣＣＤのカラーフィルタ配列に伴う色信号の空間的なズレを補間して各点の色を計算する処理回路）、ホワイトバランス回路、ガンマ変換回路、輝度・色差信号生成回路、輪郭補正回路、コントラスト補正回路等を含む画像処理手段であり、ＣＰＵ１４からのコマンドに従ってメモリ２２を活用しながら画像信号を処理する。
【００４１】
メモリ２２に格納されたCCDRAWデータは、バス１６を介して信号処理部５６に送られる。信号処理部５６に入力された画像データは、ホワイトバランス調整処理、ガンマ変換処理、輝度信号（Ｙ信号）及び色差信号（Ｃr,Ｃb 信号）への変換処理（ＹＣ処理）など、所定の信号処理が施された後、メモリ２２に格納される。
【００４２】
撮影画像をモニタ出力する場合、メモリ２２から画像データが読み出され、表示回路６０に転送される。表示回路６０に送られた画像データは表示用の所定方式の信号（例えば、ＮＴＳＣ方式のカラー複合映像信号）に変換された後、液晶モニタ４０に出力される。ＣＣＤ４４から出力される画像信号によってメモリ２２内の画像データが定期的に書き換えられ、その画像データから生成される映像信号が液晶モニタ４０に供給されることにより、撮像中の映像（スルー画）がリアルタイムに液晶モニタ４０に表示される。撮影者は液晶モニタ４０に表示される映像（いわゆるスルームービー）によって画角（構図）を確認できる。
【００４３】
撮影者が画角を決めてシャッターボタン３２を押下すると、ＣＰＵ１４はこれを検知し、シャッターボタン３２の半押し（Ｓ1 ＯＮ）に応動してＡＥ処理及びＡＦ処理を行い、シャッターボタン３２の全押し（Ｓ２＝ＯＮ）に応動して記録用の画像を取り込むためのＣＣＤ露光及び読み出し制御を開始する。
【００４４】
本カメラ１０におけるＡＦ制御は、例えば映像信号のＧ信号の高周波成分が極大になるようにフォーカスレンズ（撮影レンズ４２を構成するレンズ光学系のうちフォーカス調整に寄与する移動レンズ）を移動させるコントラストＡＦが適用される。すなわち、ＡＦ演算部は、Ｇ信号の高周波成分のみを通過させるハイパスフィルタ、絶対値化処理部、画面内（例えば、画面中央部）に予め設定されているフォーカス対象エリア内の信号を切り出すＡＦエリア抽出部、及びＡＦエリア内の絶対値データを積算する積算部から構成される。
【００４５】
ＡＦ演算部で求めた積算値のデータはＣＰＵ１４に通知される。ＣＰＵ１４は、ＡＦモータを含むフォーカス駆動部６２を制御してフォーカスレンズを移動させながら、複数のＡＦ検出ポイントで焦点評価値（ＡＦ評価値）の演算を行い、各ＡＦ検出ポイントで算出されたＡＦ評価値からその値が極大となるレンズ位置を合焦位置として決定する。そして、求めた合焦位置にフォーカスレンズを移動させるようにフォーカス駆動部６２を制御する。
【００４６】
また、ＡＥ制御に関連して、ＡＥ演算部は１画面を複数のエリア（例えば、８×８）に分割し、分割エリアごとにＲＧＢ信号を積算する回路を含み、その積算値をＣＰＵ１４に提供する。ＣＰＵ１４は、ＡＥ演算部から得た積算値に基づいて重み付け加算を行い、被写体の明るさ（被写体輝度）を検出し、撮影に適した露出値（撮影ＥＶ値）を算出する。
【００４７】
カメラ１０のＡＥは、広いダイナミックレンジを精度よく測光するために、複数回の測光を行い、被写体の輝度を正しく認識する。例えば、図２のように５〜１７ＥＶの範囲を測光するのに、１回の測光で３ＥＶの範囲を測定できるものとすると、予め決められた露出条件▲１▼〜▲４▼によって最大で４回の測光が必要になる。
【００４８】
ある露出条件で測光を行い、各分割エリアの積算値を監視する。画像内に飽和しているエリアが存在していれば露出条件を変えて測光を行う。その一方、画像内に飽和しているエリアがなければ、その露出条件で正しく測光できるため、更なる露出条件の変更は行わない。
【００４９】
こうして、複数回に分けて測光を実行することで広いレンジ（５〜１７ＥＶ）を測光する。このような複数回の測光によって得られた測光情報を利用することにより、逆光などで暗い場合であっても、４回の測光処理のうち何れかの露出条件で良好な情報が得られる。なお、１回の測光で測定できる範囲や、測光すべき範囲については、図２の例に限定されず、カメラごとに適宜設計可能である。
【００５０】
次に、撮影ＥＶ値の算出方法について説明する。
【００５１】
撮影画像の１画面を複数のエリア（例えば８×８の６４ブロック）に分割し、分割エリアごとにＲ、Ｇ、Ｂ信号から得た積算値に基づいて各分割エリアのＥＶ値（ＥＶｉ）を求める。続いて、図３に示すように撮影モードに対応して各分割エリアのＥＶ値に重み付けを行い、画面全体のＥＶ′値を次式によって算出する。
【００５２】
【数１】ＥＶ′＝log2｛Σ（Ｗi ×２EVi ）／ΣＷi ｝
ただし、ｉ：０〜６３（８×８の分割エリアを示す添え字）
Ｗi ：撮影モードに応じた各分割エリアごとの重み係数
すなわち、撮影モードがオート／人物モードの場合には、図３（Ａ）の重み付け係数に示すように中央重点測光方式となり、風景モードの場合には、図３（Ｂ）に示すように最外周に位置する分割エリアの重み付けを減じた測光方式となり、夜景モードの場合には、図３（Ｃ）に示すように平均測光方式となる。
【００５３】
上記のように算出したＥＶ′値に対し、更に、次式に示すように撮影モードに応じた露出補正ΔＥＶを行って撮影ＥＶ値を求める。
【００５４】
【数２】ＥＶ＝ＥＶ′−ΔＥＶ
なお、ΔＥＶは、例えば、人物モードの場合にはΔＥＶ＝０、風景モード、夜景モードの場合にはΔＥＶ＝０．３とする。
【００５５】
上記のようにして求めた撮影ＥＶ値に基づいて撮影時の絞り値とシャッタースピードを決定する。
【００５６】
そして、シャッターボタン３２の全押し時に前記決定した絞り値になるように絞り駆動部（不図示）を介して絞り機構を駆動し、また、決定したシャッタースピードとなるように電子シャッターによって電荷の蓄積時間を制御する。
【００５７】
シャッターボタン３２の全押し（Ｓ2 ＝ＯＮ）に応動して取り込まれた画像データは、図１に示した信号処理部５６においてＹＣ処理その他の所定の信号処理を経た後、圧縮伸張回路６４において所定の圧縮フォーマット（例えば、JPEG方式) に従って圧縮される。圧縮された画像データは、メディアインターフェース部６６を介して記録メディア１２に記録される。圧縮形式はJPEGに限定されず、MPEGその他の方式を採用してもよい。
【００５８】
画像データを保存する手段は、スマートメディア（商標）、コンパクトフラッシュ（商標）などで代表される半導体メモリカード、磁気ディスク、光ディスク、光磁気ディスクなど、種々の媒体を用いることができる。また、リムーバブルメディアに限らず、カメラ１０に内蔵された記録媒体（内部メモリ）であってもよい。
【００５９】
モード選択手段によって再生モードが選択されると、記録メディア１２に記録されている最終の画像ファイル（最後に記録したファイル）が読み出される。記録メディア１２から読み出された画像ファイルのデータは、圧縮伸張回路６４によって伸張処理され、表示回路６０を介して液晶モニタ４０に出力される。
【００６０】
再生モードの一コマ再生時に十字ボタンを操作することにより、順方向又は逆方向にコマ送りすることができ、コマ送りされた次のファイルが記録メディア１２から読み出され、上記と同様にして画像が再生される。
【００６１】
図４は、本例のカメラ１０における顔抽出処理に関係する要部ブロック図である。図４中図１で説明した構成と共通する部分には同一の符号を付し、その説明は省略する。
【００６２】
図４において、上段の積算回路７０とホワイトバランス回路７２は、通常のオートホワイトバランス処理に使用している処理系である。また、その下段に示した積算回路７４、ホワイトバランス回路７６及び同時化回路７８は、顔抽出アルゴリズムの前処理を実施するための処理部（以下、前処理系という。）である。
【００６３】
シャッターボタン３２の半押し時又は全押し時にＡ／Ｄ変換器１８から出力されたCCDRAWデータはメモリ２２に格納され、メモリ２２から積算回路７０に送られる。積算回路７０は、１画面内を複数のエリア（例えば、８×８の６４ブロック）に分割し、エリアごとにＲＧＢ信号の色別の平均積算値を算出する回路を含み、その算出結果は基準光源（デーライト）を想定したホワイトバランス回路７２に送られる。ホワイトバランス回路７２でゲイン調整された信号はＣＰＵ１４に提供される。
【００６４】
ＣＰＵ１４は、Ｒの積算値、Ｂの積算値、Ｇの積算値を得て、Ｒ／Ｇ、Ｂ／Ｇの比を求め、これらＲ／Ｇ、Ｂ／Ｇの値と、ＡＥ演算による撮影ＥＶ値の情報（被写体輝度ＬＶ値＝ＥＶ値）に基づいてシーン判別（光源種の判別）を行い、シーンに適した所定のホワイトバランス調整値（光源の雰囲気を残すような設定）に従って、信号処理部５６内のホワイトバランス回路８０及び前処理系のホワイトバランス回路７６のアンプゲインを制御し、各色チャンネルの信号に補正をかける。光源種の判別方法及び光源の雰囲気を残すホワイトバランス制御方法については、特開２０００−２２４６０８号公報等に開示された手法を用いることができる。
【００６５】
また、Ｓ1 ＝ＯＮ又はＳ2 ＝ＯＮに応じて取得されたCCDRAWデータはメモリ２２から信号処理部５６及び顔抽出用の前処理系の積算回路７４に送られる。前処理系の積算回路７４は、１画面を例えば、１３０×１９０のエリアに分割し、エリアごとに積算値を算出する。積算回路７４の算出結果は、ホワイトバランス回路７６に送られ、ここでＡＷＢを反映させたホワイトバランス処理が行われる。ＡＷＢを効かせたデータは、同時化回路７８に送られ、ここでＲ，Ｇ，Ｂについてそれぞれ同画素数のデータ（３面データ）が生成される。
【００６６】
ＣＰＵ１４は、同時化回路７８で生成されたＲＧＢの３面データに基づいて、肌色検出、彩度分割、顔候補抽出、並びに顔候補の領域の形状に基づく顔領域の特定の処理を実行する。顔抽出のアルゴリズムについて詳細は後述する。
【００６７】
その一方、メモリ２２から信号処理部５６に送られたCCDRAWデータは、ホワイトバランス回路８０によりＡＷＢを反映させた処理が行われた後、ガンマ変換回路８２に送られる。ガンマ変換回路８２は、ホワイトバランス調整されたＲＧＢ信号が所望のガンマ特性となるように入出力特性を変更し、輝度／色差信号生成回路８４に出力する。
【００６８】
輝度／色差信号生成回路８４は、ガンマ補正されたＲ、Ｇ、Ｂ信号から輝度信号Ｙとクロマ信号Ｃｒ、Ｃｂとを作成する。これらの輝度信号Ｙとクロマ信号Ｃｒ、Ｃｂ（ＹＣ信号）は、圧縮伸張回路６４によってJPEGその他の所定のフォーマットで圧縮され、記録メディア１２に記録される。
【００６９】
次に、本実施形態に係るカメラ１０に搭載されている顔抽出機能について説明する。
【００７０】
図５は、測光情報を利用する顔抽出のシーケンスを示したフローチャートである。まず、Ｓ1 ＝ＯＮに応動してＡＥの測光を行うために、測光時の露出条件（測光値）を決定し（ステップＳ１１０）、その露出条件に従い測光用の生データ（ＲＧＢ積算値）を入手する（ステップＳ１１２）。
【００７１】
例えば、本例のカメラ１０は、図６のように複数の露出条件（条件０〜４）で測光を行うことができる。各条件０〜４の絞りとシャッタースピードは図６に示す通りである。逆光のシーンでは、０→１→３の順に露出条件を変えて最大３回の測光を行う。それぞれの露出条件で得られた画像から画面内の各分割エリアについて積算値を求め、飽和しているか否かを判断している。飽和しているエリアが存在していれば、露出条件を変更して測光を行う。
【００７２】
その一方、画像内に飽和しているエリアが存在していなければ、その露出条件で正しく測光できるため、更なる露出条件の変更は行わない。
【００７３】
こうして、ＡＥの測光処理を行った後、オートホワイトバランス処理及びガンマ補正の処理を行う（図５のステップＳ１１４）。続いて、ＲＧＢのデータから明度、色相、彩度のデータに変換する処理を行う（ステップＳ１１６）。本例ではＬａｂ空間のデータに変換するが、表色空間はこれらに限らずＹＣr Ｃb 空間など他の表色系を用いてもよい。
【００７４】
次いで、ＣＰＵ１４は、測光処理で得られた複数枚の画像の中から顔抽出の処理に適した１枚の画像を選択する処理を行う（ステップＳ１１８）。この処理は、ＥＥＰＲＯＭ２４の肌色テーブル（肌色検出エリア）を参照し、肌色検出エリア内で彩度の平均が一番高いコマを選択する。
【００７５】
肌色テーブルは、所定の色空間（本例ではＬａｂ空間）において「肌色」として認識される色相の範囲を定めたデータである。図７は、肌色として抽出されるべき色相の範囲（肌色抽出エリア）を例示した図である。
【００７６】
例えば、図７の符号１００で示した太線の矩形枠で囲まれた範囲が肌色抽出エリア（肌色テーブルに相当）として設定された場合、この範囲内に入ったものを肌色として判定する。
【００７７】
ＣＰＵ１４は、前処理系の同時化回路７８から取得したＲＧＢの３面データ（リニアな系のデータ）から生成したＬａｂデータに基づいて、画像内から肌色検出エリア１００内の色相を有する画素を検出する（図５のステップＳ１１８）。そして、肌色検出エリア１００内で彩度の平均値を求め、その値が最も高いコマを最適な露出条件の画像として選択する。なお、彩度Ｃ* は次式によって求められる。
【００７８】
【数３】Ｃ* ＝（ａ* 2 ＋ｂ*2）1/2
図８に露光量のばらつき量と明度( Ｌ*)及び彩度( Ｃ*)の関係を示す。同図におけるＣ* のグラフに注目すると、適正露光（ばらつき量＝０）のときに彩度が最も高くなっていることが分かる。このような傾向から、彩度の平均値が最も高い画像が適正に露光されているものであると判断できる。
【００７９】
このようにして、ＡＥの測光により取得した複数枚の画像の中から最適な１枚を自動選択し（図５のステップＳ１１８）、その画像について顔抽出の処理を行うものとする。
【００８０】
すなわち、ステップＳ１１８で選択された画像について、肌色検出エリア１００内の色相を検出する（図５のステップＳ１２０）。アンダー露光やオーバー露光の画像までも考慮して肌色検出を行うときには、肌色検出エリア１００を比較的大きく設定する必要があるが、本実施形態のように、露出条件のよい画像を選択してその画像について顔抽出を行うことにより、肌色検出エリア１００を比較的小さく設定することができ、これにより、肌以外のもの（木や地面など）の誤検出を回避できる。
【００８１】
また、図７に示したように、肌色検出エリア１００は、彩度によって複数のエリアに分割されている。「彩度」は原点Ｏからの距離によって表され、原点Ｏから離れるほど彩度が高くなる。同図の例では、原点を中心とする同心円状の境界線（破線により図示）によって肌色検出エリア１００が６つの領域に区分けされている。
【００８２】
ＣＰＵ１４は、図５のステップＳ１２０で肌色領域を検出した後、更に、当該肌色検出された部分を彩度を基準に領域分割する（ステップＳ１２２）。
【００８３】
図９に、肌色検出された領域を更に彩度によって区分けした例を示す。画像内で対象物が異なるとその彩度も異なり、一般に人物の顔の肌色は、タングステン光源下の白色物や机などの木よりも彩度が高い傾向がある。したがって、肌色検出された領域を彩度によって細かく分けてその領域形状を把握することにより顔領域であるか、顔以外の領域であるかを判別することが容易になる。
【００８４】
図５のステップＳ１２２において彩度による領域分割を行った後は、ステップＳ１２４に進む。ステップＳ１２４では、彩度によって領域分割されたもの（顔領域候補）の中から、更に各領域について形状検出を行い、形状から顔領域を特定する処理を行う。
【００８５】
すなわち、顔として妥当なモデル形状（楕円や円）から定められた縦横比の規定値と、顔領域候補の形状とを対比し、検出された形状の縦横比が規定値から大きく外れるものについては、顔以外の領域であると判断する。
【００８６】
顔領域候補の縦横比は、例えば、図１０のように、顔領域候補１０２について垂直方向及び水平方向のヒストグラムからＨ（縦方向値）とＷ（水平方向値）を求め、これらの比Ｈ／Ｗを算出する。縦横比の値（Ｈ／Ｗ）がある一定の範囲のもの（楕円や円に近い形状）である場合に顔形状と判断する。
【００８７】
このような形状認識によって顔候補が最終的に絞り込まれ、所定の縦横比を有する形状の領域部分が「顔」として抽出される。
【００８８】
顔領域の抽出結果は、明るさ補正、ホワイトバランス補正、肌色をベストの色（目標値）に近づける色補正、赤目補正などに利用される。
【００８９】
上記のように測光情報を用いて、複数枚の画像の中から肌色領域の彩度が最も高いものを顔抽出用の画像として選択するようにしたので、従来肌色検出が不可能であったシーンにおいても正しく顔抽出できる。また、シャッターボタン３２のＳ1 オンで取得した測光情報から顔抽出を行うので、近接ストロボ時に露光オーバーとなるようなシーンについても、白飛びの問題がなく、顔の位置を正しく検出できるという利点がある。
【００９０】
上記説明では、測光情報を利用したが、ブラケティング情報を利用する態様も可能である。
【００９１】
カメラ１０は、適正な露出値、該適正な露出値よりも露出アンダーとなる露出値、及び／又は露出オーバーとなる露出値を含む複数の露出値でそれぞれ被写体を連続的に撮影するブラケティング撮影機能を有している。
【００９２】
撮影者がモードダイヤル等の撮影モード設定を操作して撮影モードを連写／ブラケティングモードに設定し、続いてメニューボタンを押すと、カメラ１０の液晶モニタ４０上に図１１のような露出の振れ幅を選択するためのメニュー画面が表示される。ここで、十字ボタンの上下キーを操作することにより、ブラケティング撮影時の露出の振れ幅を設定する。
【００９３】
例えば、振れ幅を±２／３ＥＶに設定すると、適正露出（撮影ＥＶ値）での撮影の他に、撮影ＥＶ値よりも２／３ＥＶだけアンダー露出、及び２／３ＥＶだけオーバー露出の３枚のブラケティング撮影が行われる。なお、オートブラケティング「ＯＦＦ」を選択した場合には連写モードとなる。
【００９４】
ブラケティング撮影によって取得された３枚の画像（アンダー露出、適正露出及びオーバー露出の各画像）は液晶モニタ４０にプレビュー表示される。撮影者は液晶モニタ４０上で画像を確認してこれら画像の記録の要否を選択することができる。画像を記録メディア１２に記録する場合にはＯＫボタンを押し、記録しない場合にはキャンセルボタンを押す。ＯＫボタンが押されるとメモリ２２に格納された３枚の画像データが所定のフォーマットに従って圧縮されて記録メディア１２に記録される。また、記録画像を選択することも可能であり、不要な画像（記録しない画像）を指定してからＯＫボタンを押すと、それ以外の画像が記録メディア１２に記録される。
【００９５】
図１２は、ブラケティング情報を利用する顔抽出のシーケンスを示すフローチャートである。
【００９６】
上記のようにブラケティングモードが設定され、シャッターボタン３２が半押し（Ｓ１＝ＯＮ）されると、ＡＥ処理によって撮影ＥＶ値が取得され、ブラケティングにおける露出条件が決定される（ステップＳ２１０）。すなわち、撮影ＥＶ値に基づいて適正露出となる絞り値とシャッタースピードを決定するとともに、前記適正露出よりも予め設定した露出の振れ幅分だけアンダー露出及びオーバー露出となる絞り値とシャッタースピードを決定する。
【００９７】
その後、シャッターボタン２が全押し（Ｓ２＝ＯＮ）されると、ブラケティング撮影が行われ、露出条件の異なる複数枚の画像が取得される（ステップＳ２１２）。カメラ１０は、アンダー露出、適正露出及びオーバー露出の順で順次連続的に撮影し、これらの３回の撮影で得た生のＲ、Ｇ、Ｂ信号（CCDRAW）を一旦メモリ２２に格納する
次に、メモリ２２に格納された３枚分のＲ、Ｇ、Ｂ信号に基づいて図４で説明した前処理系（７４、７６、７８）による処理を行い、記録したCCDRAWデータに対してオートホワイトバランスによるゲイン補正の処理、ガンマ補正、及び同時化処理などを行う（図１２のステップＳ２１４）。こうして、３枚の画像についてそれぞれＲＧＢの３面データが生成される。
【００９８】
その後は、ＲＧＢのデータから明度、色相、彩度の情報に変換する処理を行い（ステップＳ２１６）、３枚の画像の中から顔抽出の処理に適した条件の画像を選択し（ステップＳ２１８）、その画像について顔抽出処理を行う（ステップＳ２２０〜Ｓ２２４）。ステップＳ２１６〜ステップＳ２２４の処理は、図５で説明したフローチャートのステップＳ１１６〜Ｓ１２４処理と同様であるため、説明を省略する。
【００９９】
ブラケティングデータを基に各画像の肌色領域の彩度を検出し、彩度が最も高い画像に対して顔抽出を行うことにより、逆光や過順光のような露出変動時にも確度よく顔抽出できる。
【０１００】
上述の実施形態では、デジタルカメラを例示したが、本発明の適用範囲はこれに限定されず、カメラ付き携帯電話機、カメラ付きＰＤＡ、カメラ付きモバイルパソコンなど、電子撮像機能を備えた他の情報機器についても本発明を適用できる。この場合、撮像部は携帯電話機等の本体から分離可能な着脱式（外付けタイプ）のものであってもよい。
【０１０１】
【発明の効果】
本発明によれば、測光情報やブラケティングデータを利用して最適な条件の画像を選択し、その画像に対して顔抽出を行うようにしたので、精度のよい顔抽出が可能となる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る電子カメラの構成を示すブロック図
【図２】撮影ＥＶ値の求め方を説明するために用いた図
【図３】撮影モード別の測光方式を説明するために用いた図
【図４】本例のカメラにおける顔抽出処理に関係する要部ブロック図
【図５】測光情報を利用した顔抽出処理のシーケンスを示すフローチャート
【図６】測光時の露出条件を例示した図
【図７】肌色として抽出する色相の範囲（肌色抽出エリア）と彩度分割の例を示す図
【図８】露光量のばらつき量と明度( Ｌ*)及び彩度( Ｃ*)の関係を示すグラフ
【図９】肌色検出された領域を更に彩度によって区分けした例を示す図
【図１０】顔領域候補の形状から縦横比を求める方法を説明するために用いた図
【図１１】オートブラケティングの設定画面の例を示す図
【図１２】ブラケティング情報を利用した顔抽出処理のシーケンスを示すフローチャート
【符号の説明】
１０…カメラ、１２…記録メディア、１４…ＣＰＵ、２４…ＥＥＰＲＯＭ、４０…液晶モニタ、４２…撮影レンズ、４４…ＣＣＤ、５６…信号処理部、７４…積算回路、７６…ホワイトバランス回路、７８…同時化回路、１００…肌色抽出エリア
Claims (6)
- 画像内から人物の顔に相当する領域を抽出する方法であって、
露出条件の異なる複数枚の画像を取得する画像取得工程と、
前記画像取得工程で入手した複数枚の画像のうち顔抽出に適した露出条件の画像を選択する画像選択工程と、
前記画像選択工程で選択された画像に対して顔抽出の処理を行う処理工程と、
を含むことを特徴とする顔領域抽出方法。 - 前記画像取得工程は、露出条件を変えて複数回の測光を行う測光工程を含み、
前記画像選択工程は、前記測光工程により得られた測光情報に基づいて被写体の明るさが適正になる画像を選択することを特徴とする請求項１記載の顔領域抽出方法。 - 前記画像取得工程は、露出条件を変えて複数回の撮影を行うブラケティング撮影工程を含み、前記画像選択工程は、前記ブラケティング撮影工程により得られた複数枚の画像データに基づいて露出条件のよい１つの画像を選択することを特徴とする請求項１記載の顔領域抽出方法。
- 前記画像選択工程は、前記画像取得工程で入手した複数枚の画像について各画像内から肌色の色相を有する領域を検出する肌色領域検出工程と、
前記複数枚の画像のうち前記肌色領域検出工程で検出された肌色領域の彩度が最も高い画像を顔抽出用の画像として選択する自動選択工程と、
を含むことを特徴とする請求項１又は２記載の顔領域抽出方法。 - 前記処理工程は、前記画像選択工程により選択された画像について当該画像内から肌色の色相を有する領域を検出する肌色検出工程と、
前記肌色検出工程で検出される肌色部分を更に彩度によって分割する彩度分割工程と、
前記彩度分割工程で分割された彩度別の肌色領域の形状に基づいて顔領域を決定する顔領域決定工程と、
を含むことを特徴とする請求項１乃至４の何れか１項記載の顔領域抽出方法。 - 画像内から人物の顔に相当する領域を抽出する装置であって、
露出条件の異なる複数枚の画像を取得する画像取得手段と、
前記画像取得手段で入手した複数枚の画像のうち最良の露出条件で撮影された画像を選択する画像選択手段と、
前記画像選択手段で選択された画像に対して顔抽出の処理を行う処理手段と、
を備えたことを特徴とする顔領域抽出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002370396A JP2004201228A (ja) | 2002-12-20 | 2002-12-20 | 顔領域抽出方法及び装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002370396A JP2004201228A (ja) | 2002-12-20 | 2002-12-20 | 顔領域抽出方法及び装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004201228A true JP2004201228A (ja) | 2004-07-15 |
Family
ID=32766331
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002370396A Pending JP2004201228A (ja) | 2002-12-20 | 2002-12-20 | 顔領域抽出方法及び装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004201228A (ja) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008047976A (ja) * | 2006-08-10 | 2008-02-28 | Sony Corp | 撮像装置及び撮像方法 |
| JP2009060443A (ja) * | 2007-08-31 | 2009-03-19 | Canon Inc | 撮像装置及びその制御方法 |
| JP2010050933A (ja) * | 2008-08-25 | 2010-03-04 | Canon Inc | 撮像装置及び赤目補正方法 |
| JP2010154529A (ja) * | 2008-12-12 | 2010-07-08 | Tektronix Inc | ビデオ内のオブジェクト自動検出方法及びシステム |
| KR20110008587A (ko) * | 2009-07-20 | 2011-01-27 | 엘지이노텍 주식회사 | 인물 촬영 방법 |
| US7961228B2 (en) | 2007-03-14 | 2011-06-14 | Ricoh Company, Ltd. | Imaging apparatus and method for controlling exposure by determining backlight situations and detecting a face |
| US7986808B2 (en) | 2004-09-30 | 2011-07-26 | Canon Kabushiki Kaisha | Image-capturing device, image-processing device, method for controlling image-capturing device, and program for causing computer to execute the method |
| US8144944B2 (en) | 2007-08-14 | 2012-03-27 | Olympus Corporation | Image sharing system and method |
| JP2013003298A (ja) * | 2011-06-15 | 2013-01-07 | Canon Inc | 撮像装置、その制御方法及びプログラム |
| US8755600B2 (en) | 2009-12-02 | 2014-06-17 | Samsung Electronics Co., Ltd. | Method and apparatus for determining the light direction |
| KR101448537B1 (ko) | 2008-03-31 | 2014-10-13 | 삼성전자주식회사 | 디지털 영상 처리기에서 얼굴인식을 기반으로 한 브라케팅촬영 장치 및 방법 |
| US10136079B2 (en) | 2013-10-31 | 2018-11-20 | Ricoh Imaging Company, Ltd. | Method and apparatus for imaging an object |
| JP2019109776A (ja) * | 2017-12-19 | 2019-07-04 | 株式会社ダイヘン | 移動体 |
-
2002
- 2002-12-20 JP JP2002370396A patent/JP2004201228A/ja active Pending
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7986808B2 (en) | 2004-09-30 | 2011-07-26 | Canon Kabushiki Kaisha | Image-capturing device, image-processing device, method for controlling image-capturing device, and program for causing computer to execute the method |
| JP2008047976A (ja) * | 2006-08-10 | 2008-02-28 | Sony Corp | 撮像装置及び撮像方法 |
| JP4702220B2 (ja) * | 2006-08-10 | 2011-06-15 | ソニー株式会社 | 撮像装置及び撮像方法 |
| US7961228B2 (en) | 2007-03-14 | 2011-06-14 | Ricoh Company, Ltd. | Imaging apparatus and method for controlling exposure by determining backlight situations and detecting a face |
| US8144944B2 (en) | 2007-08-14 | 2012-03-27 | Olympus Corporation | Image sharing system and method |
| JP2009060443A (ja) * | 2007-08-31 | 2009-03-19 | Canon Inc | 撮像装置及びその制御方法 |
| KR101448537B1 (ko) | 2008-03-31 | 2014-10-13 | 삼성전자주식회사 | 디지털 영상 처리기에서 얼굴인식을 기반으로 한 브라케팅촬영 장치 및 방법 |
| JP2010050933A (ja) * | 2008-08-25 | 2010-03-04 | Canon Inc | 撮像装置及び赤目補正方法 |
| JP2010154529A (ja) * | 2008-12-12 | 2010-07-08 | Tektronix Inc | ビデオ内のオブジェクト自動検出方法及びシステム |
| KR20110008587A (ko) * | 2009-07-20 | 2011-01-27 | 엘지이노텍 주식회사 | 인물 촬영 방법 |
| KR101593502B1 (ko) | 2009-07-20 | 2016-02-18 | 엘지이노텍 주식회사 | 인물 촬영 방법 |
| US8755600B2 (en) | 2009-12-02 | 2014-06-17 | Samsung Electronics Co., Ltd. | Method and apparatus for determining the light direction |
| JP2013003298A (ja) * | 2011-06-15 | 2013-01-07 | Canon Inc | 撮像装置、その制御方法及びプログラム |
| US10136079B2 (en) | 2013-10-31 | 2018-11-20 | Ricoh Imaging Company, Ltd. | Method and apparatus for imaging an object |
| US10419694B2 (en) | 2013-10-31 | 2019-09-17 | Ricoh Imaging Company, Ltd. | Method and apparatus for imaging an object |
| JP2019109776A (ja) * | 2017-12-19 | 2019-07-04 | 株式会社ダイヘン | 移動体 |
| JP7153443B2 (ja) | 2017-12-19 | 2022-10-14 | 株式会社ダイヘン | 移動体 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4126721B2 (ja) | 顔領域抽出方法及び装置 | |
| US8346073B2 (en) | Image taking apparatus | |
| JP4284448B2 (ja) | 画像処理装置及び方法 | |
| JP4679685B2 (ja) | デジタルカメラの構図補助フレーム選択方法及びデジタルカメラ | |
| JP6521776B2 (ja) | 画像処理装置、画像処理方法 | |
| JP4200428B2 (ja) | 顔領域抽出方法及び装置 | |
| KR100942634B1 (ko) | 화상보정장치 및 화상보정방법과 컴퓨터 판독 가능한 매체 | |
| JP2006259688A (ja) | 撮像装置及びプログラム | |
| JP2009060195A (ja) | 撮像装置および方法並びにプログラム | |
| JP2004201228A (ja) | 顔領域抽出方法及び装置 | |
| JP2012194568A (ja) | 撮像装置及びプログラム | |
| JP5048599B2 (ja) | 撮像装置 | |
| JP4178017B2 (ja) | 画像処理方法及びデジタルカメラ | |
| US8760527B2 (en) | Extending a digital camera focus range | |
| JP2008298847A (ja) | 撮影方法及びデジタルカメラ | |
| JP2005033255A (ja) | デジタル画像の画像処理方法、デジタルカメラ及びプリントシステム | |
| JP2004120225A (ja) | デジタルカメラ | |
| JP4081609B2 (ja) | 撮像装置 | |
| US8041206B2 (en) | Imaging apparatus and method for controlling flash emission | |
| JP2008005248A (ja) | 撮像装置 | |
| JP4178548B2 (ja) | 撮像装置 | |
| US8754953B2 (en) | Digital camera providing an extended focus range | |
| JP2003333381A (ja) | 画像評価機能付き撮像装置 | |
| JP2005260738A (ja) | 撮像装置及びその露出制御方法 | |
| JP4578157B2 (ja) | カメラ |