JP2004185555A - 顔領域抽出方法及び装置 - Google Patents
顔領域抽出方法及び装置 Download PDFInfo
- Publication number
- JP2004185555A JP2004185555A JP2002355017A JP2002355017A JP2004185555A JP 2004185555 A JP2004185555 A JP 2004185555A JP 2002355017 A JP2002355017 A JP 2002355017A JP 2002355017 A JP2002355017 A JP 2002355017A JP 2004185555 A JP2004185555 A JP 2004185555A
- Authority
- JP
- Japan
- Prior art keywords
- area
- face
- skin color
- region
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
- Studio Devices (AREA)
Abstract
【課題】人物の顔と類似色相の物体を排除して、正しく顔領域を抽出することができる顔領域抽出方法及び装置を提供する。
【解決手段】画像データを解析して肌色の色相を有する領域（肌色エリア）を検出し（ステップＳ１１８）、得られた肌色エリアを彩度によって領域分割して各領域の大きさを認識する（ステップＳ１２０）。その一方、撮影光学系の焦点距離情報を取得し、その焦点距離で実際に撮影される顔の最大サイズを予測する（ステップＳ１２２）。彩度分割された各肌色領域のうち、予測された最大サイズよりも大きな領域については顔領域ではないと判断して顔領域の候補から排除する（ステップＳ１２４）。残った領域から形状認識を行い、最終的な顔領域を判定する（ステップＳ１２６）。
【選択図】 図４
【解決手段】画像データを解析して肌色の色相を有する領域（肌色エリア）を検出し（ステップＳ１１８）、得られた肌色エリアを彩度によって領域分割して各領域の大きさを認識する（ステップＳ１２０）。その一方、撮影光学系の焦点距離情報を取得し、その焦点距離で実際に撮影される顔の最大サイズを予測する（ステップＳ１２２）。彩度分割された各肌色領域のうち、予測された最大サイズよりも大きな領域については顔領域ではないと判断して顔領域の候補から排除する（ステップＳ１２４）。残った領域から形状認識を行い、最終的な顔領域を判定する（ステップＳ１２６）。
【選択図】 図４
Description
【０００１】
【発明の属する技術分野】
本発明は顔領域抽出方法及び装置に係り、特にデジタルカメラ等により取得したカラー画像中に存在する人物の顔に相当する領域を抽出するための方法及び装置に関する。
【０００２】
【従来の技術】
人物写真を鑑賞するときに最も注目される部位は人物の顔である。人物の顔が適正な明るさ及び色で再現されるように、画像内の人物の顔に相当する領域を自動的に検出する技術が提案されている（特許文献１）。特許文献１に開示された方法によれば、原画像から肌色領域を抽出するとともに、画像中のエッジを検出し、エッジで囲まれる肌色領域を顔領域として抽出している。
【０００３】
【特許文献１】
特開平９−１０１５７９号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、特許文献１に開示された方法では、撮影時の光の加減によって、顔のエッジが閉曲線にならないケースも存在し、顔領域を誤検出することがある。また、顔抽出の処理において問題になるのは、肌色と類似した色相の物体（例えば、砂、地面、木、レンガなど）である。更に、タングステン光源下で撮影を行った場合には、オートホワイトバランス（ＡＷＢ）のロバスト性から完全にはホワイトバランスがとれず、光源色が残る（完全に補正せずに、電球特有の光源の雰囲気を残すような設定となっている）。したがって、タングステン光源下で白い物体を撮影すると、肌色に類似の赤黄色となり、顔領域検出の障害となる。
【０００５】
本発明はこのような事情に鑑みてなされたもので、上述のような撮影状況下においても顔と類似色相の物体を排除して、正しく顔領域を抽出することができる顔領域抽出方法及び装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
前記目的を達成するために本発明に係る顔領域抽出方法は、画像内から人物の顔に相当する領域を抽出する方法であって、撮影時の焦点距離情報を取得する情報取得工程と、前記情報取得工程で取得した焦点距離情報に基づき画像内における顔領域として想定される最大値を求める最大値予測工程と、画像データを解析して当該画像内から肌色の色相を有する領域を検出する肌色領域検出工程と、前記肌色領域検出工程で検出された肌色領域のうち、前記最大値予測工程で見積られた最大値から設定される判定基準値よりも大きい領域について顔領域である可能性が低いものとして取り扱う処理を行う処理工程と、を含むことを特徴としている。
【０００７】
本発明によれば、撮影光学系の焦点距離を示す情報を取得し、その焦点距離で実際に撮影して得られる人物の顔の最大サイズを見積る。その一方、画像データを解析して画像内の肌色領域を検出する。検出された肌色領域は顔領域の候補となり得るが、本発明では焦点距離情報を基に見積られた最大値から定められた判定基準値よりも大きな肌色領域については顔領域である可能性が低いものとして取り扱う。例えば、判定基準値よりも大きな領域については顔領域でないとして顔領域の候補から排除する態様、或いは、顔領域である可能性の低い領域について演算上の重み付け係数を変更するなどの態様がある。
【０００８】
このように、撮影時の焦点距離情報から顔領域として妥当な大きさを見積り、極端に大きな領域部分については顔領域である確度が低いと判断するようにしたので、より高い確度で顔領域を判定することが可能になる。
【０００９】
なお、焦点距離情報は、撮影に使用するカメラから取得してもよいし、画像データに付加された付属情報（タグ情報）などから読み込んでもよい。
【００１０】
本発明の一態様によれば、前記処理工程は、前記肌色領域検出工程で検出された肌色領域のうち、前記最大値予測工程で見積られた最大値から設定される判定基準値よりも大きい領域を顔領域の候補から排除し、前記判定基準値よりも小さい領域の中から顔領域を決定する顔領域決定工程と、を含むことを特徴としている。
【００１１】
かかる態様においては、判定基準値よりも大きな肌色領域については顔領域ではないものとして顔領域の候補から排除し、判定基準値よりも小さな肌色領域の中から顔領域を決定している。このようなアルゴリズム構成にしたことにより、タングステン光源下の背景や地面など肌色の色相に類似する対象の影響を排除でき、より確度ある顔領域の抽出が可能となる。
【００１２】
本発明の他の態様によれば、前記肌色領域検出工程は、肌色の色相を検出する肌色検出工程と、前記肌色検出工程で検出される肌色部分を更に彩度によって分割する彩度分割工程と、を含み、前記顔領域決定工程は、前記彩度分割工程で分割された彩度別の肌色領域の中から顔領域を決定することを特徴とする。
【００１３】
画像内で肌色の色相を有する領域（肌色領域）を更に彩度によって細かく領域分けして、その形状や大きさを認識することにより、顔領域の判定が容易になる。
【００１４】
また、判定基準値よりも小さい領域とされた顔領域候補の中から真の顔領域を特定するには、その領域の形状に基づいて顔領域を絞り込むことが好ましい。例えば、人物の顔はおよそ円形或いは楕円形に近いものと考えられ、顔領域か否かを判別するための縦横比を定めておくことができる。顔領域の各候補について規定の縦横比から極端に外れるもの（極端に細長いものなど）は、顔でないものとして排除され、規定の縦横比に近いものについて顔であると判断される。
【００１５】
本発明の顔領域抽出方法において、更に、被写体の距離情報を取得する距離情報取得工程と、前記距離情報取得工程で取得した距離情報に基づき画像内における顔領域として想定される大きさを求める顔サイズ予測工程と、付加する態様もある。
【００１６】
焦点距離の情報に加えて被写体距離の情報が得られると、実際に撮影される人物の顔の大きさをより正確に見積ることができるため、その予測値に基づいて顔領域の候補を絞り込むことができ、顔抽出の精度を上げることができる。
【００１７】
上記方法発明を具現化する装置を提供するため、本発明にかかる顔領域抽出装置は、画像内から人物の顔に相当する領域を抽出する装置であって、撮影時の焦点距離情報を取得する情報取得手段と、前記情報取得手段を介して取得した焦点距離情報に基づき画像内における顔領域として想定される最大値を求める最大値予測手段と、画像データを解析して当該画像内から肌色の色相を有する領域を検出する肌色領域検出手段と、前記肌色領域検出手段で検出された肌色領域のうち、前記最大値予測手段で見積られた最大値から設定される判定基準値よりも大きい領域について顔領域の候補から削除し、前記判定基準値よりも小さい領域の中から顔領域を決定する顔領域決定手段と、を備えたことを特徴とする。
【００１８】
本発明の顔領域抽出装置は、デジタルカメラやビデオカメラなどの電子撮影装置（電子カメラ）の信号処理部に組み込むことが可能であるとともに、電子カメラで記録した画像データを再生表示又はプリント出力する画像処理装置などに組み込むことが可能である。
【００１９】
また、本発明の顔領域抽出装置は、コンピュータによって実現することが可能であり、上述した顔領域抽出方法の各工程をコンピュータによって実現させるためのプログラムをＣＤ−ＲＯＭや磁気ディスクその他の記録媒体に記録し、記録媒体を通じて当該プログラムを第三者に提供したり、インターネットなどの通信回線を通じて当該プログラムのダウンロードサービスを提供することも可能である。
【００２０】
【発明の実施の形態】
以下添付図面に従って本発明に係る顔領域抽出方法及び装置の好ましい実施の形態について詳説する。
【００２１】
図１は本発明の実施形態に係る電子カメラの構成を示すブロック図である。このカメラ１０は、被写体の光学像をデジタル画像データに変換して記録メディア１２に記録するデジタルカメラであり、撮影により得られた画像信号を処理する信号処理手段の一部に本発明の顔領域抽出装置が用いられている。
【００２２】
カメラ１０全体の動作は、カメラ内蔵の中央処理装置（ＣＰＵ）１４によって統括制御される。 ＣＰＵ１４は、所定のプログラムに従って本カメラシステムを制御する制御手段として機能するとともに、自動露出（ＡＥ）演算、自動焦点調節（ＡＦ）演算、及びオートホワイトバランス（ＡＷＢ）制御、顔領域抽出演算など各種演算を実施する演算手段として機能する。
【００２３】
ＣＰＵ１４はバス１６を介してＲＯＭ２０及びメモリ（ＲＡＭ）２２と接続されている。ＲＯＭ２０にはＣＰＵ１４が実行するプログラム及び制御に必要な各種データ等が格納されている。メモリ２２はプログラムの展開領域及びＣＰＵ１４の演算作業用領域として利用されるとともに、画像データの一時記憶領域として利用される。
【００２４】
また、ＣＰＵ１４にはＥＥＰＲＯＭ２４が接続されている。ＥＥＰＲＯＭ２４は、顔領域抽出処理に必要なテーブルデータ（肌色データや顔サイズの最大値データなどテーブル）、ＡＥ、ＡＦ及びＡＷＢ等の制御に必要なデータ或いはユーザが設定したカスタマイズ情報などを記憶している不揮発性の記憶手段であり、電源ＯＦＦ時においても記憶内容が保持される。ＣＰＵ１４は必要に応じてＥＥＰＲＯＭ２４のデータを参照して演算等を行う。なお、ＲＯＭ２０は書換不能なものであってもよいし、ＥＥＰＲＯＭのように書換可能なものでもよい。
【００２５】
カメラ１０にはユーザが各種の指令を入力するための操作部３０が設けられている。操作部３０は、マクロボタン３１、シャッターボタン３２、ズームスイッチ３３など各種操作部を含む。
【００２６】
マクロボタン３１は、近距離撮影に適したマクロモードの設定（ＯＮ）／解除（ＯＦＦ）を行う操作手段である。マクロモードは、被写界深度を比較的浅くして背景を美しくぼかしたクローズアップ写真を撮影できる。マクロボタン３１の押下によってカメラ１０がマクロモードに設定されると、近距離撮影に適したフォーカス制御が行われ、被写体距離が約２０ｃｍ〜８０ｃｍの範囲で撮影が可能となる。
【００２７】
シャッターボタン３２は、撮影開始の指示を入力する操作手段であり、半押し時にＯＮするＳ１ スイッチと、全押し時にＯＮするＳ２ スイッチとを有する二段ストローク式のスイッチで構成されている。Ｓ１ オンにより、ＡＥ及びＡＦ処理が行われ、Ｓ２ オンによって記録用の露光が行われる。ズームスイッチ３３は、撮影倍率や再生倍率を変更するための操作手段である。
【００２８】
また、図示しないが、操作部３０には、撮影モードと再生モードとを切り換えるためのモード選択手段、液晶モニタ４０にメニュー画面を表示させるメニューボタン、メニュー画面から所望の項目を選択する十字ボタン（カーソル移動操作手段）、選択項目の確定や処理の実行を指令するＯＫボタン、選択項目など所望の対象の消去や指示内容の取消し、或いは１つ前の操作状態に戻らせる指令を入力するキャンセルボタンなどの操作手段も含まれる。なお、操作部３０の中には、プッシュ式のスイッチ部材、ダイヤル部材、レバースイッチなどの構成によるものに限らず、メニュー画面から所望の項目を選択するようなユーザインターフェースによって実現されるものも含まれている。
【００２９】
操作部３０からの信号はＣＰＵ１４に入力される。ＣＰＵ１４は操作部３０からの入力信号に基づいてカメラ１０の各回路を制御し、例えば、レンズ駆動制御、撮影動作制御、画像処理制御、画像データの記録／再生制御、液晶モニタ４０の表示制御などを行う。
【００３０】
液晶モニタ４０は、撮影時に画角確認用の電子ファインダーとして使用できるとともに、記録済み画像を再生表示する手段として利用される。また、液晶モニタ４０は、ユーザインターフェース用表示画面としても利用され、必要に応じてメニュー情報や選択項目、設定内容などの情報が表示される。なお、液晶ディスプレイに代えて、有機ＥＬなど他の方式の表示装置（表示手段）を用いることも可能である。
【００３１】
次に、カメラ１０の撮影機能について説明する。
【００３２】
カメラ１０は撮影光学系としての撮影レンズ４２とＣＣＤ固体撮像素子（以下、ＣＣＤという。）４４とを備えている。なお、ＣＣＤ４４に代えて、ＭＯＳ型固体撮像素子など他の方式の撮像素子を用いることも可能である。撮影レンズ４２は、電動式のズームレンズで構成されており、詳細な光学構成については図示しないが、主として倍率変更（焦点距離可変）作用をもたらす変倍レンズ群及び補正レンズ群と、フォーカス調整に寄与するフォーカスレンズとを含む。
【００３３】
撮影者によってズームスイッチ３３が操作されると、そのスイッチ操作に応じてＣＰＵ１４からズーム駆動部４６に対して制御信号が出力される。ズーム駆動部４６は、動力源となるモータ（ズームモータ）とその駆動回路とを含む電動駆動手段である。ズーム駆動部４６のモータ駆動回路は、ＣＰＵ１４からの制御信号に基づいてレンズ駆動用の信号を生成し、ズームモータに与える。こうして、モータ駆動回路から出力されるモータ駆動電圧によってズームモータが作動し、撮影レンズ４２内の変倍レンズ群及び補正レンズ群が光軸に沿って前後移動することにより、撮影レンズ４２の焦点距離（光学ズーム倍率）が変更される。
【００３４】
本例では、ワイド（広角）端からテレ（望遠）端までのズーム動作範囲内において撮影レンズ４２の焦点距離を１０段階で可変できるものとする。撮影者は撮影目的に応じて所望の焦点距離を選択して撮影を行うことができる。
【００３５】
撮影レンズ４２のズーム位置（焦点距離に相当）は、ズーム位置検出センサ４８によって検出され、その検出信号はＣＰＵ１４に通知される。ＣＰＵ１４はズーム位置検出センサ４８からの信号によって現在のズーム位置（すなわち、焦点距離）を把握できる。ズーム位置検出センサ４８は、ズームモータ等の回転によりパルスを発生する回路であってもよいし、レンズ鏡胴の外周に位置検出エンコード板を配置した構成などであってもよく、本発明の実施に際しては、特に限定されるものではない。
【００３６】
撮影レンズ４２を通過した光は、図示せぬ絞り機構を介して光量が調節された後、ＣＣＤ４４に入射する。ＣＣＤ４４の受光面には多数のフォトセンサ（受光素子）が平面的に配列され、各フォトセンサに対応して赤（Ｒ）、緑（Ｇ）、青（Ｂ）の原色カラーフィルタが所定の配列構造（ベイヤー、Ｇストライプなど）で配置されている。
【００３７】
ＣＣＤ４４の受光面に結像された被写体像は、各フォトセンサによって入射光量に応じた量の信号電荷に変換される。ＣＣＤ４４は、シャッターゲートパルスのタイミングによって各フォトセンサの電荷蓄積時間（シャッタースピード）を制御する電子シャッター機能を有している。
【００３８】
ＣＣＤ４４の各フォトセンサに蓄積された信号電荷は、ＣＣＤドライバ５０から与えられるパルスに基づいて信号電荷に応じた電圧信号（画像信号）として順次読み出される。ＣＣＤ４４から出力された画像信号は、アナログ処理部５２に送られる。アナログ処理部５２は、ＣＤＳ（相関二重サンプリング）回路及びゲイン調整回路を含む先行処理部であり、このアナログ処理部５２において、サンプリング処理並びにＲ，Ｇ，Ｂの各色信号に色分離処理され、各色信号の信号レベルの調整（プリホワイトバランス処理）が行われる。
【００３９】
アナログ処理部５２から出力された画像信号はＡ／Ｄ変換器５４によってデジタル信号に変換された後、信号処理部５６を介してメモリ２２に格納される。このときメモリ２２に記憶される画像データは、ＣＣＤ４４から出力された画像信号のＡ／Ｄ変換出力をそのまま（未加工のまま）記録したものであり、ガンマ変換や同時化などの信号処理が行われていない画像データである。（以下、ＣＣＤＲＡＷデータという。）ただし、「未加工のデータ」といっても、一切の信号処理を排除するものではなく、例えば、撮像素子の欠陥画素（キズ）のデータを補間する欠陥画素補正処理を行って得られた画像データなどについては汎用フォーマットに展開されていないという点でＣＣＤＲＡＷデータの概念に含まれるものとする。
【００４０】
タイミングジェネレータ（ＴＧ）５８は、ＣＰＵ１４の指令に従ってＣＣＤドライバ５０、アナログ処理部５２及びＡ／Ｄ変換器５４に対してタイミング信号を与えており、このタイミング信号によって各回路の同期がとられている。
【００４１】
信号処理部５６は、メモリ２２の読み書きを制御するメモリコントローラを兼ねたデジタル信号処理ブロックである。信号処理部５６は、ＡＥ／ＡＦ／ＡＷＢ処理を行うオート演算部と、同時化回路（単板ＣＣＤのカラーフィルタ配列に伴う色信号の空間的なズレを補間して各点の色を計算する処理回路）、ホワイトバランス回路、ガンマ変換回路、輝度・色差信号生成回路、輪郭補正回路、コントラスト補正回路等を含む画像処理手段であり、ＣＰＵ１４からのコマンドに従ってメモリ２２を活用しながら画像信号を処理する。
【００４２】
メモリ２２に格納されたＣＣＤＲＡＷデータは、バス１６を介して信号処理部５６に送られる。信号処理部５６に入力された画像データは、ホワイトバランス調整処理、ガンマ変換処理、輝度信号（Ｙ信号）及び色差信号（Ｃｒ，Ｃｂ 信号）への変換処理（ＹＣ処理）など、所定の信号処理が施された後、メモリ２２に格納される。
【００４３】
撮影画像をモニタ出力する場合、メモリ２２から画像データが読み出され、表示回路６０に転送される。表示回路６０に送られた画像データは表示用の所定方式の信号（例えば、ＮＴＳＣ方式のカラー複合映像信号）に変換された後、液晶モニタ４０に出力される。ＣＣＤ４４から出力される画像信号によってメモリ２２内の画像データが定期的に書き換えられ、その画像データから生成される映像信号が液晶モニタ４０に供給されることにより、撮像中の映像（スルー画）がリアルタイムに液晶モニタ４０に表示される。撮影者は液晶モニタ４０に表示される映像（いわゆるスルームービー）によって画角（構図）を確認できる。
【００４４】
撮影者が画角を決めてシャッターボタン３２を押下すると、ＣＰＵ１４はこれを検知し、シャッターボタン３２の半押し（Ｓ１ ＯＮ）に応動してＡＥ処理及びＡＦ処理を行い、シャッターボタン３２の全押し（Ｓ２＝ＯＮ）に応動して記録用の画像を取り込むためのＣＣＤ露光及び読み出し制御を開始する。
【００４５】
本カメラ１０におけるＡＦ制御は、例えば映像信号のＧ信号の高周波成分が極大になるようにフォーカスレンズ（撮影レンズ４２を構成するレンズ光学系のうちフォーカス調整に寄与する移動レンズ）を移動させるコントラストＡＦが適用される。すなわち、ＡＦ演算部は、Ｇ信号の高周波成分のみを通過させるハイパスフィルタ、絶対値化処理部、画面内（例えば、画面中央部）に予め設定されているフォーカス対象エリア内の信号を切り出すＡＦエリア抽出部、及びＡＦエリア内の絶対値データを積算する積算部から構成される。
【００４６】
ＡＦ演算部で求めた積算値のデータはＣＰＵ１４に通知される。ＣＰＵ１４は、ＡＦモータを含むフォーカス駆動部６２を制御してフォーカスレンズを移動させながら、複数のＡＦ検出ポイントで焦点評価値（ＡＦ評価値）の演算を行い、各ＡＦ検出ポイントで算出されたＡＦ評価値からその値が極大となるレンズ位置を合焦位置として決定する。そして、求めた合焦位置にフォーカスレンズを移動させるようにフォーカス駆動部６２を制御する。
【００４７】
また、ＡＥ制御に関連して、ＡＥ演算部は１画面を複数のエリア（例えば、８×８）に分割し、分割エリアごとにＲＧＢ信号を積算する回路を含み、その積算値をＣＰＵ１４に提供する。ＣＰＵ１４は、ＡＥ演算部から得た積算値に基づいて被写体の明るさ（被写体輝度）を検出し、撮影に適した露出値（撮影ＥＶ値）を算出する。求めた露出値と所定のプログラム線図に従い、絞り値とシャッタースピードが決定される。そして、アイリスモータを含む不図示の駆動部及びＣＣＤ４４の電子シャッターを制御して最適な露光量を得る。
【００４８】
シャッターボタン３２の全押し（Ｓ２ ＝ＯＮ）に応動して取り込まれた画像データは、信号処理部５６においてＹＣ処理その他の所定の信号処理を経た後、圧縮伸張回路６４において所定の圧縮フォーマット（例えば、ＪＰＥＧ方式） に従って圧縮される。圧縮された画像データは、メディアインターフェース部６６を介して記録メディア１２に記録される。圧縮形式はＪＰＥＧに限定されず、ＭＰＥＧその他の方式を採用してもよい。
【００４９】
画像データを保存する手段は、スマートメディア（商標）、コンパクトフラッシュ（商標）などで代表される半導体メモリカード、磁気ディスク、光ディスク、光磁気ディスクなど、種々の媒体を用いることができる。また、リムーバブルメディアに限らず、カメラ１０に内蔵された記録媒体（内部メモリ）であってもよい。
【００５０】
モード選択手段によって再生モードが選択されると、記録メディア１２に記録されている最終の画像ファイル（最後に記録したファイル）が読み出される。記録メディア１２から読み出された画像ファイルのデータは、圧縮伸張回路６４によって伸張処理され、表示回路６０を介して液晶モニタ３８に出力される。
【００５１】
再生モードの一コマ再生時に十字ボタンを操作することにより、順方向又は逆方向にコマ送りすることができ、コマ送りされた次のファイルが記録メディア１２から読み出され、上記と同様にして画像が再生される。
【００５２】
図２は、本例のカメラ１０における顔抽出処理に関係する要部ブロック図である。図２中図１で説明した構成と共通する部分には同一の符号を付し、その説明は省略する。
【００５３】
図２において、上段の積算回路７０とホワイトバランス回路７２は、通常のオートホワイトバランス処理に使用している処理系である。また、その下段に示した、積算回路７４、ホワイトバランス回路７６及び同時化回路７８は、顔抽出アルゴリズムの前処理を実施するための処理部（以下、前処理系という。）である。
【００５４】
Ａ／Ｄ変換器５４にてデジタル信号に変換されたＣＣＤＲＡＷデータはメモリ２２に格納され、メモリ２２から積算回路７０に送られる。積算回路７０は、１画面内を複数のエリア（例えば、８×８の６４ブロック）に分割し、エリアごとにＲＧＢ信号の色別の平均積算値を算出する回路を含み、その算出結果は基準光源（デイライト）を想定したホワイトバランス回路７２に送られる。ホワイトバランス回路７２でゲイン調整された信号はＣＰＵ１４に提供される。
【００５５】
ＣＰＵ１４は、Ｒの積算値、Ｂの積算値、Ｇの積算値を得て、Ｒ／Ｇ、Ｂ／Ｇの比を求め、これらＲ／Ｇ、Ｂ／Ｇの値と、ＡＥ演算による撮影ＥＶ値の情報に基づいてシーン判別（光源種の判別）を行い、シーンに適した所定のホワイトバランス調整値（光源の雰囲気を残すような設定）に従って、信号処理部５６内のホワイトバランス回路８０及び前処理系のホワイトバランス回路７６のアンプゲインを制御し、各色チャンネルの信号に補正をかける。光源種の判別方法及び光源の雰囲気を残すホワイトバランス制御については、特開２０００−２２４６０８号公報等に開示された手法を用いることができる。なお、シーン判別においては、Ｒ／Ｇ、Ｂ／Ｇの値を利用するのに代えて、Ｒ−Ｙ、Ｂ−Ｙなど色温度情報を用いてもよい。
【００５６】
その後、シャッターボタン３２の全押し（Ｓ２ ＯＮ）に応動して記録用の画像を取り込む。Ｓ２ ＯＮに応じて取得されたＣＣＤＲＡＷデータは一旦メモリ２２に格納され、その後、信号処理部５６及び顔抽出用の前処理系の積算回路７４に送られる。
【００５７】
前処理系の積算回路７４は、１画面を例えば、１３０×１９０のエリアに分割し、エリアごとに積算値を算出する。積算回路７４の算出結果は、ホワイトバランス回路７６に送られ、ここでＡＷＢを反映させたホワイトバランス処理が行われる。ＡＷＢを効かせたデータは、同時化回路７８に送られ、ここでＲ，Ｇ，Ｂについてそれぞれ同画素数のデータ（３面データ）が生成される。
【００５８】
ＣＰＵ１４は、同時化回路７８で生成されたＲＧＢの３面データに基づいて、肌色検出、彩度分割、顔候補抽出、並びに顔候補の領域の形状に基づく顔領域の特定の処理を実行する。顔抽出のアルゴリズムについて詳細は後述する。
【００５９】
その一方、メモリ２２から信号処理部５６に送られたＣＣＤＲＡＷデータは、ホワイトバランス回路８０によりＡＷＢを反映させた処理が行われた後、ガンマ変換回路８２に送られる。ガンマ変換回路８２は、ホワイトバランス調整されたＲＧＢ信号が所望のガンマ特性となるように入出力特性を変更し、輝度／色差信号生成回路８４に出力する。
【００６０】
輝度／色差信号生成回路８４は、ガンマ補正されたＲ、Ｇ、Ｂ信号から輝度信号Ｙとクロマ信号Ｃｒ、Ｃｂとを作成する。これらの輝度信号Ｙとクロマ信号Ｃｒ、Ｃｂ（ＹＣ信号）は、圧縮伸張回路６４によってＪＰＥＧその他の所定のフォーマットで圧縮され、記録メディア１２に記録される。
【００６１】
次に、本実施形態に係るカメラ１０に搭載されている顔抽出機能について説明する。
【００６２】
図３は、撮影光学系における被写体とその像の関係を示した図である。同図に示したように、撮影距離Ｄと視野角Ｌ（この焦点距離で撮影できる全範囲）の比は、撮影レンズ４２の焦点距離ＤＦとＣＣＤサイズＨの比に等しい。
【００６３】
【数１】撮影距離Ｄ：視野角Ｌ＝焦点距離ＤＦ：ＣＣＤサイズＨ …（１）
すなわち、視野角Ｌ内に包含される人物の顔の実サイズＡとＣＣＤ受光面上における像サイズａとの間には、次式の関係が成り立つ。
【００６４】
【数２】撮影距離Ｄ：実サイズＡ＝焦点距離ＤＦ：像サイズａ …（２）
撮影距離Ｄは、カメラ１０によって撮影可能な最短距離（最至近距離）とする。マクロモードＯＦＦの場合ならば、カメラ１０までの最短距離は６０ｃｍ程度である。なお、マクロモードＯＮの場合、最短距離は２０ｃｍ程度であるが、マクロモードＯＮのときには、人物を写す可能性が低いため、顔抽出の処理は行わないものとする。
【００６５】
人物の顔の実サイズＡは、多少のばらつきがあるにせよ、およそ顔の大きさというものは、ある大きさの範囲にあるとして規定値を設定できる。
【００６６】
したがって、上記の式（２）の関係からＣＣＤ４４面上での像サイズ（人物の顔がＣＣＤ４４面に結像するときの画素数）を割り出すことができる。こうして、各焦点距離における顔のサイズを求めることができる。
【００６７】
本例のカメラ１０は、ワイド端からテレ端までの間で１０段階の焦点距離を選択できる構成になっているため、各焦点距離についてＣＣＤ４４面上での顔サイズの最大値がテーブルデータとしてカメラ１０内のＥＥＰＲＯＭ２４（データ格納手段）に記憶されている。
【００６８】
図４は、顔抽出におけるシーケンスを示すフローチャートである。
【００６９】
まず、シャッターボタン３２のＳ１ ＝ＯＮ及びＳ２ ＝ＯＮを経て、ＣＣＤＲＡＷデータをメモリ２２に記録する（ステップＳ１１０）。その後、ＣＰＵ１４は、撮影時の焦点距離情報及びマクロのＯＮ／ＯＦＦ情報を入手する（ステップＳ１１２）。マクロモードがＯＮのときには、顔抽出処理を実施しないものとする。
【００７０】
その一方、マクロモードがＯＦＦのときには、図２で説明した前処理系（７４、７６、７８）による処理を行い、記録したＣＣＤＲＡＷデータから積算処理、ホワイトバランス処理及び同時化処理を行う（図４のステップＳ１１４）。
【００７１】
次いで、ＣＰＵ１４は、ＥＥＰＲＯＭ２４から肌色テーブルを取得する（ステップＳ１１６）。肌色テーブルは、所定の色空間において「肌色」として認識される色相の範囲を定めたデータである。ＣＰＵ１４は、前処理系の同時化回路７８から取得したＲＧＢの３面データ（リニアな系のデータ）を基に、肌色テーブル内の色相を検出する（ステップＳ１１８）。
【００７２】
図５は、肌色として抽出されるべき色相の範囲（肌色抽出エリア）を例示した図である。図示した色空間はガンマをかける前のリニアな系であり、横軸をＲ／Ｇ、縦軸をＢ／Ｇとした座標系である。
【００７３】
図５において、符号８８の矩形枠で囲まれた範囲が肌色抽出エリアとして設定されている。すなわち、Ｇに対してＲが少し多く、また、ＢはＧに対して少し低い値を示す範囲を「肌色」と定めておき、この範囲内に入ったものを肌色として判定する。
【００７４】
更に、肌色抽出エリア８８は、彩度によって更に複数のエリアに分割されている。図５において、「彩度」は原点Ｏ（１，１）からの距離によって表され、原点Ｏから離れるほど彩度が高くなる。同図の例では、原点を中心とする同心円状の境界線（破線により図示）によって肌色検出エリア８８が６つの領域に区分けされている。
【００７５】
ＣＰＵ１４は、前処理系の同時化回路７８から取得したＲＧＢの三面データから肌色領域を検出した後、更に、当該肌色検出された部分を彩度を基準に領域分割する（図４のステップＳ１１８）。
【００７６】
図６に、肌色検出された領域を更に彩度によって区分けした例を示す。画像内で対象物が異なるとその彩度も異なり、一般に人物の顔の肌色は、タングステン光源下の白色物や机などの木よりも彩度が高い傾向がある。したがって、肌色検出された領域を彩度によって細かく分けてその領域形状を把握することにより顔領域であるか、顔以外の領域であるかを判別することが容易になる。
【００７７】
図４のステップＳ１２０において彩度による領域分割を行った後は、ステップＳ１２２に進む。ステップＳ１２２では、ステップＳ１１２で入手した焦点距離情報に従い、ＥＥＰＲＯＭ２４から顔領域の最大値テーブルを入手し、当該焦点距離における顔領域の予測最大値を求め、この最大値を顔領域判定の判定基準値として設定する。もちろん、カメラ１０で撮影可能な最短撮影距離よりも近くで撮影される可能性等にも配慮して予測最大値に所定のマージンを付加して判定基準値を設定するか、或いは、判定にマージンをもたせることが好ましい。
【００７８】
そして、彩度によって分割された肌色領域と予測した最大値とを比較し、最大値よりも極端に大きい領域は顔ではないと判断して顔領域の候補から排除し、残りの領域を顔領域の候補として抽出する（ステップＳ１２４）。これにより、実際に「顔」であり得ない大きいサイズの領域が排除される。
【００７９】
ステップＳ１２４で絞り込まれた顔領域候補の中から、更に各領域について形状検出を行い、形状から顔領域を特定する（ステップＳ１２６）。すなわち、顔として妥当なモデル形状（楕円や円）から定められた縦横比の規定値と、顔候補の形状とを対比し、検出された形状の縦横比が規定値から大きく外れるものについては、顔以外の領域であると判断する。この形状判定によって顔候補が更に絞り込まれ、所定の縦横比を有する形状の領域部分が「顔」として判定される。
【００８０】
こうして、顔領域が抽出され、その抽出結果は明るさ補正、ホワイトバランス補正、肌色をベストの色（目標値）に近づける色補正、赤目補正などに利用される。
【００８１】
上述した実施形態によれば、カメラ情報である焦点距離情報を利用して顔領域の大きさを見積る一方、画像内を肌色検出して得られた肌色エリアを彩度によって領域分割して各エリアの大きさを認識し、見積もった最大値と比較して極端に大きなエリアは顔領域の候補から排除する構成にしたので、顔領域の候補を絞り込むことができる。そして、残ったエリアについて形状認識を行い、最終的な顔を判定するようにしたので、高い確度で正しい顔領域を抽出できる。
【００８２】
例えば、図７に示したシーンは、電球９０の照明下で白い布９２を背景に人物９４を撮影したものであるが、背景の布９２や木の机９６など、肌色と類似の色相を有する物体を排除して、人物９４の顔を正確に抽出することができる。
【００８３】
〔変形例１〕
上述の実施形態では、撮影画像の中から顔領域を完全に特定する例を述べたが、本発明の実施に際しては、最終的に顔領域を特定しない態様も可能である。
【００８４】
例えば、人物の顔を重視した明るさ補正を行う場合などについては、肌色検出によって抽出された肌色エリアについて、顔領域の候補を絞りこむ代わりに、又はこれと併用して、明るさ演算における重みを付け係数を焦点距離情報に可変する態様がある。
【００８５】
図８のように、肌色検出によって画面内に複数の肌色エリアが検出された場合に、焦点距離情報に基づき実際に顔である可能性の高低に応じた重み付けｗｉ（ｉ ＝１，２，３ …） を設定して、次式（３）に従い明るさＹを計算する。
【００８６】
【数３】Ｙ＝Σ （ｗｉ ×Ｙｉ）／Σｗｉ …（３）
ただし、Ｙｉ は各顔領域の明るさを示す。
【００８７】
重み付けｗｉ については、顔である可能性の低いエリアの重み付けを軽くする（「０」又は「０」に近い値にする）ことにより、顔である可能性の高いエリアの情報が強く反映された値となる。こうして求めた明るさＹを所定の目標値に近づけるように補正処理を行う。
【００８８】
〔変形例２〕
図１で説明した焦点距離情報を利用する態様に代えて、又はこれと併用して被写体の距離情報を利用する態様がある。
【００８９】
図９に本発明の他の実施形態に係る電子カメラのブロック図を示す。図９中図１と同一又は類似の部分には同一の符号を付し、その説明は省略する。
【００９０】
図９に示したカメラ１０は、被写体距離（撮影距離）を測定する手段としての測距センサ１０２を備えている。測距センサ１０２から得られる信号はＣＰＵ１４に入力され、ＣＰＵ１４は被写体の距離情報を取得する。
【００９１】
なお、被写体距離を検出する手段は、三角測量の原理を利用したアクティブ方式やパッシブ方式で代表される測距方式のＡＦ機構や位相法によるＡＦ機構など、周知のＡＦ機構を利用することが可能である。また、測距センサ１０２を省略したカメラ（図１の構成）においても、コントラストＡＦなどによりフォーカスレンズを合焦位置に移動させたときに、フォーカス位置検出手段からフォーカスレンズの位置情報（フォーカス位置情報）を取得し、この情報に基づいてカメラ１０と被写体の距離（被写体距離）を計算することも可能である。
【００９２】
こうして、被写体の距離情報を取得することにより、その距離で実際に撮影される顔の大きさを見積ることができる。顔サイズの算出に際しては、被写体距離に対応した顔の大きさを示すテーブルデータをＥＥＰＲＯＭ２４内に格納しておいてもよいし、演算式を利用して計算してよい。
【００９３】
被写体の距離情報に基づいて算出された顔サイズよりも極端に大きい肌色エリア又は極端に小さい肌色エリアについては顔候補から除外することにより、より正確に顔領域を抽出できる。
【００９４】
図１０に距離情報を利用する顔抽出のシーケンスを示す。同図中、図４のフローチャートと同一又は類似の工程には同一の符号を付してある。
【００９５】
図１０に示したフローチャートではステップＳ１１２において、測距センサ１０２の情報を読み込み、被写体の距離情報を入手する処理が追加されている。
【００９６】
焦点距離情報に加えて被写体距離情報を得ることにより、顔サイズを一層正確に予測できるため、その予測に基づいて顔領域として許容される妥当な数値範囲を設定することが可能となり、顔領域の抽出精度が向上する。
【００９７】
具体的には、図１０のステップＳ１２２において、焦点距離に基づいて最大値テーブルを入手するとともに、被写体距離に基づいて顔領域の最小値テーブルを入手し、これらのテーブルで規定される数値範囲を基に顔領域の候補を絞り込む（ステップＳ１２４）。或いは、ステップＳ１２２において、焦点距離と被写体距離とに基づいて顔領域の最大値と最小値とを考慮した判定基準値（又は判定基準範囲）を定め、この判定基準値にしたがって、顔領域の候補を絞り込む（ステップＳ１２４）などの態様がある。
【００９８】
図９及び図１０では、測距センサ１０２から被写体距離情報を取得したが、被写体の距離情報は、撮影に使用するカメラから取得する態様に限らず、画像データに付加された付属情報（タグ情報）などから読み込むことも可能である。
【００９９】
上述の実施形態では、光学ズーム機能を有するデジタルカメラを説明したが、単焦点レンズを用いるカメラについては、そのレンズの焦点距離の値を利用して顔サイズを判定すればよい。また、画像信号を電子的に処理して拡大画像を得る電子ズーム（デジタルズーム）機能を備えたカメラについても、画角全体の画像を撮影して、電子ズーム処理前の全体の画像データから顔領域を検出することにより、上述の実施形態と同様の手法を適用できる。
【０１００】
上述の実施形態では、デジタルカメラを例示したが、本発明の適用範囲はこれに限定されず、カメラ付き携帯電話機、カメラ付きＰＤＡ、カメラ付きモバイルパソコンなど、電子撮像機能を備えた他の情報機器についても本発明を適用できる。この場合、撮像部は携帯電話機等の本体から分離可能な着脱式（外付けタイプ）のものであってもよい。
【０１０１】
また、上述のような電子撮像機能付き機器で記録した画像データを再生表示する画像再生装置、或いはプリント出力するプリント装置などについても本発明を適用することが可能である。
【０１０２】
【発明の効果】
本発明によれば、撮影光学系の焦点距離情報から人物の顔の最大値を予測し、その最大値から設定される判定基準値よりも大きな肌色領域については顔領域である可能性が低いものとして取り扱う構成にしたので、より高い確度で顔領域を判定することが可能である。
【０１０３】
また、焦点距離の情報に加えて被写体距離の情報を取得することにより、実際に撮影される人物の顔の大きさをより正確に見積ることができ、顔抽出の精度を上げることができる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る電子カメラの構成を示すブロック図
【図２】本例のカメラにおける顔抽出処理に関係する要部ブロック図
【図３】撮影光学系における被写体とその像の関係を示した図
【図４】顔抽出処理のシーケンスを示すフローチャート
【図５】肌色として抽出する色相の範囲（肌色抽出エリア）と彩度分割の例を示す図
【図６】肌色検出された領域を更に彩度によって区分けした例を示す図
【図７】撮影シーンの一例を示す図
【図８】画面内に複数の肌色エリアが存在する場合の明るさ演算の例を示す図
【図９】本発明の他の実施形態に係る電子カメラのブロック図
【図１０】被写体距離情報を利用した顔抽出処理のシーケンスを示すフローチャート
【符号の説明】
１０…カメラ、１４…ＣＰＵ、２４…ＥＥＰＲＯＭ、４２…撮影レンズ、４４…ＣＣＤ、４８…ズーム位置検出センサ、７４…積算回路、７６…ホワイトバランス回路、７８…同時化回路、８８…肌色抽出エリア、１０２…測距センサ
【発明の属する技術分野】
本発明は顔領域抽出方法及び装置に係り、特にデジタルカメラ等により取得したカラー画像中に存在する人物の顔に相当する領域を抽出するための方法及び装置に関する。
【０００２】
【従来の技術】
人物写真を鑑賞するときに最も注目される部位は人物の顔である。人物の顔が適正な明るさ及び色で再現されるように、画像内の人物の顔に相当する領域を自動的に検出する技術が提案されている（特許文献１）。特許文献１に開示された方法によれば、原画像から肌色領域を抽出するとともに、画像中のエッジを検出し、エッジで囲まれる肌色領域を顔領域として抽出している。
【０００３】
【特許文献１】
特開平９−１０１５７９号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、特許文献１に開示された方法では、撮影時の光の加減によって、顔のエッジが閉曲線にならないケースも存在し、顔領域を誤検出することがある。また、顔抽出の処理において問題になるのは、肌色と類似した色相の物体（例えば、砂、地面、木、レンガなど）である。更に、タングステン光源下で撮影を行った場合には、オートホワイトバランス（ＡＷＢ）のロバスト性から完全にはホワイトバランスがとれず、光源色が残る（完全に補正せずに、電球特有の光源の雰囲気を残すような設定となっている）。したがって、タングステン光源下で白い物体を撮影すると、肌色に類似の赤黄色となり、顔領域検出の障害となる。
【０００５】
本発明はこのような事情に鑑みてなされたもので、上述のような撮影状況下においても顔と類似色相の物体を排除して、正しく顔領域を抽出することができる顔領域抽出方法及び装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
前記目的を達成するために本発明に係る顔領域抽出方法は、画像内から人物の顔に相当する領域を抽出する方法であって、撮影時の焦点距離情報を取得する情報取得工程と、前記情報取得工程で取得した焦点距離情報に基づき画像内における顔領域として想定される最大値を求める最大値予測工程と、画像データを解析して当該画像内から肌色の色相を有する領域を検出する肌色領域検出工程と、前記肌色領域検出工程で検出された肌色領域のうち、前記最大値予測工程で見積られた最大値から設定される判定基準値よりも大きい領域について顔領域である可能性が低いものとして取り扱う処理を行う処理工程と、を含むことを特徴としている。
【０００７】
本発明によれば、撮影光学系の焦点距離を示す情報を取得し、その焦点距離で実際に撮影して得られる人物の顔の最大サイズを見積る。その一方、画像データを解析して画像内の肌色領域を検出する。検出された肌色領域は顔領域の候補となり得るが、本発明では焦点距離情報を基に見積られた最大値から定められた判定基準値よりも大きな肌色領域については顔領域である可能性が低いものとして取り扱う。例えば、判定基準値よりも大きな領域については顔領域でないとして顔領域の候補から排除する態様、或いは、顔領域である可能性の低い領域について演算上の重み付け係数を変更するなどの態様がある。
【０００８】
このように、撮影時の焦点距離情報から顔領域として妥当な大きさを見積り、極端に大きな領域部分については顔領域である確度が低いと判断するようにしたので、より高い確度で顔領域を判定することが可能になる。
【０００９】
なお、焦点距離情報は、撮影に使用するカメラから取得してもよいし、画像データに付加された付属情報（タグ情報）などから読み込んでもよい。
【００１０】
本発明の一態様によれば、前記処理工程は、前記肌色領域検出工程で検出された肌色領域のうち、前記最大値予測工程で見積られた最大値から設定される判定基準値よりも大きい領域を顔領域の候補から排除し、前記判定基準値よりも小さい領域の中から顔領域を決定する顔領域決定工程と、を含むことを特徴としている。
【００１１】
かかる態様においては、判定基準値よりも大きな肌色領域については顔領域ではないものとして顔領域の候補から排除し、判定基準値よりも小さな肌色領域の中から顔領域を決定している。このようなアルゴリズム構成にしたことにより、タングステン光源下の背景や地面など肌色の色相に類似する対象の影響を排除でき、より確度ある顔領域の抽出が可能となる。
【００１２】
本発明の他の態様によれば、前記肌色領域検出工程は、肌色の色相を検出する肌色検出工程と、前記肌色検出工程で検出される肌色部分を更に彩度によって分割する彩度分割工程と、を含み、前記顔領域決定工程は、前記彩度分割工程で分割された彩度別の肌色領域の中から顔領域を決定することを特徴とする。
【００１３】
画像内で肌色の色相を有する領域（肌色領域）を更に彩度によって細かく領域分けして、その形状や大きさを認識することにより、顔領域の判定が容易になる。
【００１４】
また、判定基準値よりも小さい領域とされた顔領域候補の中から真の顔領域を特定するには、その領域の形状に基づいて顔領域を絞り込むことが好ましい。例えば、人物の顔はおよそ円形或いは楕円形に近いものと考えられ、顔領域か否かを判別するための縦横比を定めておくことができる。顔領域の各候補について規定の縦横比から極端に外れるもの（極端に細長いものなど）は、顔でないものとして排除され、規定の縦横比に近いものについて顔であると判断される。
【００１５】
本発明の顔領域抽出方法において、更に、被写体の距離情報を取得する距離情報取得工程と、前記距離情報取得工程で取得した距離情報に基づき画像内における顔領域として想定される大きさを求める顔サイズ予測工程と、付加する態様もある。
【００１６】
焦点距離の情報に加えて被写体距離の情報が得られると、実際に撮影される人物の顔の大きさをより正確に見積ることができるため、その予測値に基づいて顔領域の候補を絞り込むことができ、顔抽出の精度を上げることができる。
【００１７】
上記方法発明を具現化する装置を提供するため、本発明にかかる顔領域抽出装置は、画像内から人物の顔に相当する領域を抽出する装置であって、撮影時の焦点距離情報を取得する情報取得手段と、前記情報取得手段を介して取得した焦点距離情報に基づき画像内における顔領域として想定される最大値を求める最大値予測手段と、画像データを解析して当該画像内から肌色の色相を有する領域を検出する肌色領域検出手段と、前記肌色領域検出手段で検出された肌色領域のうち、前記最大値予測手段で見積られた最大値から設定される判定基準値よりも大きい領域について顔領域の候補から削除し、前記判定基準値よりも小さい領域の中から顔領域を決定する顔領域決定手段と、を備えたことを特徴とする。
【００１８】
本発明の顔領域抽出装置は、デジタルカメラやビデオカメラなどの電子撮影装置（電子カメラ）の信号処理部に組み込むことが可能であるとともに、電子カメラで記録した画像データを再生表示又はプリント出力する画像処理装置などに組み込むことが可能である。
【００１９】
また、本発明の顔領域抽出装置は、コンピュータによって実現することが可能であり、上述した顔領域抽出方法の各工程をコンピュータによって実現させるためのプログラムをＣＤ−ＲＯＭや磁気ディスクその他の記録媒体に記録し、記録媒体を通じて当該プログラムを第三者に提供したり、インターネットなどの通信回線を通じて当該プログラムのダウンロードサービスを提供することも可能である。
【００２０】
【発明の実施の形態】
以下添付図面に従って本発明に係る顔領域抽出方法及び装置の好ましい実施の形態について詳説する。
【００２１】
図１は本発明の実施形態に係る電子カメラの構成を示すブロック図である。このカメラ１０は、被写体の光学像をデジタル画像データに変換して記録メディア１２に記録するデジタルカメラであり、撮影により得られた画像信号を処理する信号処理手段の一部に本発明の顔領域抽出装置が用いられている。
【００２２】
カメラ１０全体の動作は、カメラ内蔵の中央処理装置（ＣＰＵ）１４によって統括制御される。 ＣＰＵ１４は、所定のプログラムに従って本カメラシステムを制御する制御手段として機能するとともに、自動露出（ＡＥ）演算、自動焦点調節（ＡＦ）演算、及びオートホワイトバランス（ＡＷＢ）制御、顔領域抽出演算など各種演算を実施する演算手段として機能する。
【００２３】
ＣＰＵ１４はバス１６を介してＲＯＭ２０及びメモリ（ＲＡＭ）２２と接続されている。ＲＯＭ２０にはＣＰＵ１４が実行するプログラム及び制御に必要な各種データ等が格納されている。メモリ２２はプログラムの展開領域及びＣＰＵ１４の演算作業用領域として利用されるとともに、画像データの一時記憶領域として利用される。
【００２４】
また、ＣＰＵ１４にはＥＥＰＲＯＭ２４が接続されている。ＥＥＰＲＯＭ２４は、顔領域抽出処理に必要なテーブルデータ（肌色データや顔サイズの最大値データなどテーブル）、ＡＥ、ＡＦ及びＡＷＢ等の制御に必要なデータ或いはユーザが設定したカスタマイズ情報などを記憶している不揮発性の記憶手段であり、電源ＯＦＦ時においても記憶内容が保持される。ＣＰＵ１４は必要に応じてＥＥＰＲＯＭ２４のデータを参照して演算等を行う。なお、ＲＯＭ２０は書換不能なものであってもよいし、ＥＥＰＲＯＭのように書換可能なものでもよい。
【００２５】
カメラ１０にはユーザが各種の指令を入力するための操作部３０が設けられている。操作部３０は、マクロボタン３１、シャッターボタン３２、ズームスイッチ３３など各種操作部を含む。
【００２６】
マクロボタン３１は、近距離撮影に適したマクロモードの設定（ＯＮ）／解除（ＯＦＦ）を行う操作手段である。マクロモードは、被写界深度を比較的浅くして背景を美しくぼかしたクローズアップ写真を撮影できる。マクロボタン３１の押下によってカメラ１０がマクロモードに設定されると、近距離撮影に適したフォーカス制御が行われ、被写体距離が約２０ｃｍ〜８０ｃｍの範囲で撮影が可能となる。
【００２７】
シャッターボタン３２は、撮影開始の指示を入力する操作手段であり、半押し時にＯＮするＳ１ スイッチと、全押し時にＯＮするＳ２ スイッチとを有する二段ストローク式のスイッチで構成されている。Ｓ１ オンにより、ＡＥ及びＡＦ処理が行われ、Ｓ２ オンによって記録用の露光が行われる。ズームスイッチ３３は、撮影倍率や再生倍率を変更するための操作手段である。
【００２８】
また、図示しないが、操作部３０には、撮影モードと再生モードとを切り換えるためのモード選択手段、液晶モニタ４０にメニュー画面を表示させるメニューボタン、メニュー画面から所望の項目を選択する十字ボタン（カーソル移動操作手段）、選択項目の確定や処理の実行を指令するＯＫボタン、選択項目など所望の対象の消去や指示内容の取消し、或いは１つ前の操作状態に戻らせる指令を入力するキャンセルボタンなどの操作手段も含まれる。なお、操作部３０の中には、プッシュ式のスイッチ部材、ダイヤル部材、レバースイッチなどの構成によるものに限らず、メニュー画面から所望の項目を選択するようなユーザインターフェースによって実現されるものも含まれている。
【００２９】
操作部３０からの信号はＣＰＵ１４に入力される。ＣＰＵ１４は操作部３０からの入力信号に基づいてカメラ１０の各回路を制御し、例えば、レンズ駆動制御、撮影動作制御、画像処理制御、画像データの記録／再生制御、液晶モニタ４０の表示制御などを行う。
【００３０】
液晶モニタ４０は、撮影時に画角確認用の電子ファインダーとして使用できるとともに、記録済み画像を再生表示する手段として利用される。また、液晶モニタ４０は、ユーザインターフェース用表示画面としても利用され、必要に応じてメニュー情報や選択項目、設定内容などの情報が表示される。なお、液晶ディスプレイに代えて、有機ＥＬなど他の方式の表示装置（表示手段）を用いることも可能である。
【００３１】
次に、カメラ１０の撮影機能について説明する。
【００３２】
カメラ１０は撮影光学系としての撮影レンズ４２とＣＣＤ固体撮像素子（以下、ＣＣＤという。）４４とを備えている。なお、ＣＣＤ４４に代えて、ＭＯＳ型固体撮像素子など他の方式の撮像素子を用いることも可能である。撮影レンズ４２は、電動式のズームレンズで構成されており、詳細な光学構成については図示しないが、主として倍率変更（焦点距離可変）作用をもたらす変倍レンズ群及び補正レンズ群と、フォーカス調整に寄与するフォーカスレンズとを含む。
【００３３】
撮影者によってズームスイッチ３３が操作されると、そのスイッチ操作に応じてＣＰＵ１４からズーム駆動部４６に対して制御信号が出力される。ズーム駆動部４６は、動力源となるモータ（ズームモータ）とその駆動回路とを含む電動駆動手段である。ズーム駆動部４６のモータ駆動回路は、ＣＰＵ１４からの制御信号に基づいてレンズ駆動用の信号を生成し、ズームモータに与える。こうして、モータ駆動回路から出力されるモータ駆動電圧によってズームモータが作動し、撮影レンズ４２内の変倍レンズ群及び補正レンズ群が光軸に沿って前後移動することにより、撮影レンズ４２の焦点距離（光学ズーム倍率）が変更される。
【００３４】
本例では、ワイド（広角）端からテレ（望遠）端までのズーム動作範囲内において撮影レンズ４２の焦点距離を１０段階で可変できるものとする。撮影者は撮影目的に応じて所望の焦点距離を選択して撮影を行うことができる。
【００３５】
撮影レンズ４２のズーム位置（焦点距離に相当）は、ズーム位置検出センサ４８によって検出され、その検出信号はＣＰＵ１４に通知される。ＣＰＵ１４はズーム位置検出センサ４８からの信号によって現在のズーム位置（すなわち、焦点距離）を把握できる。ズーム位置検出センサ４８は、ズームモータ等の回転によりパルスを発生する回路であってもよいし、レンズ鏡胴の外周に位置検出エンコード板を配置した構成などであってもよく、本発明の実施に際しては、特に限定されるものではない。
【００３６】
撮影レンズ４２を通過した光は、図示せぬ絞り機構を介して光量が調節された後、ＣＣＤ４４に入射する。ＣＣＤ４４の受光面には多数のフォトセンサ（受光素子）が平面的に配列され、各フォトセンサに対応して赤（Ｒ）、緑（Ｇ）、青（Ｂ）の原色カラーフィルタが所定の配列構造（ベイヤー、Ｇストライプなど）で配置されている。
【００３７】
ＣＣＤ４４の受光面に結像された被写体像は、各フォトセンサによって入射光量に応じた量の信号電荷に変換される。ＣＣＤ４４は、シャッターゲートパルスのタイミングによって各フォトセンサの電荷蓄積時間（シャッタースピード）を制御する電子シャッター機能を有している。
【００３８】
ＣＣＤ４４の各フォトセンサに蓄積された信号電荷は、ＣＣＤドライバ５０から与えられるパルスに基づいて信号電荷に応じた電圧信号（画像信号）として順次読み出される。ＣＣＤ４４から出力された画像信号は、アナログ処理部５２に送られる。アナログ処理部５２は、ＣＤＳ（相関二重サンプリング）回路及びゲイン調整回路を含む先行処理部であり、このアナログ処理部５２において、サンプリング処理並びにＲ，Ｇ，Ｂの各色信号に色分離処理され、各色信号の信号レベルの調整（プリホワイトバランス処理）が行われる。
【００３９】
アナログ処理部５２から出力された画像信号はＡ／Ｄ変換器５４によってデジタル信号に変換された後、信号処理部５６を介してメモリ２２に格納される。このときメモリ２２に記憶される画像データは、ＣＣＤ４４から出力された画像信号のＡ／Ｄ変換出力をそのまま（未加工のまま）記録したものであり、ガンマ変換や同時化などの信号処理が行われていない画像データである。（以下、ＣＣＤＲＡＷデータという。）ただし、「未加工のデータ」といっても、一切の信号処理を排除するものではなく、例えば、撮像素子の欠陥画素（キズ）のデータを補間する欠陥画素補正処理を行って得られた画像データなどについては汎用フォーマットに展開されていないという点でＣＣＤＲＡＷデータの概念に含まれるものとする。
【００４０】
タイミングジェネレータ（ＴＧ）５８は、ＣＰＵ１４の指令に従ってＣＣＤドライバ５０、アナログ処理部５２及びＡ／Ｄ変換器５４に対してタイミング信号を与えており、このタイミング信号によって各回路の同期がとられている。
【００４１】
信号処理部５６は、メモリ２２の読み書きを制御するメモリコントローラを兼ねたデジタル信号処理ブロックである。信号処理部５６は、ＡＥ／ＡＦ／ＡＷＢ処理を行うオート演算部と、同時化回路（単板ＣＣＤのカラーフィルタ配列に伴う色信号の空間的なズレを補間して各点の色を計算する処理回路）、ホワイトバランス回路、ガンマ変換回路、輝度・色差信号生成回路、輪郭補正回路、コントラスト補正回路等を含む画像処理手段であり、ＣＰＵ１４からのコマンドに従ってメモリ２２を活用しながら画像信号を処理する。
【００４２】
メモリ２２に格納されたＣＣＤＲＡＷデータは、バス１６を介して信号処理部５６に送られる。信号処理部５６に入力された画像データは、ホワイトバランス調整処理、ガンマ変換処理、輝度信号（Ｙ信号）及び色差信号（Ｃｒ，Ｃｂ 信号）への変換処理（ＹＣ処理）など、所定の信号処理が施された後、メモリ２２に格納される。
【００４３】
撮影画像をモニタ出力する場合、メモリ２２から画像データが読み出され、表示回路６０に転送される。表示回路６０に送られた画像データは表示用の所定方式の信号（例えば、ＮＴＳＣ方式のカラー複合映像信号）に変換された後、液晶モニタ４０に出力される。ＣＣＤ４４から出力される画像信号によってメモリ２２内の画像データが定期的に書き換えられ、その画像データから生成される映像信号が液晶モニタ４０に供給されることにより、撮像中の映像（スルー画）がリアルタイムに液晶モニタ４０に表示される。撮影者は液晶モニタ４０に表示される映像（いわゆるスルームービー）によって画角（構図）を確認できる。
【００４４】
撮影者が画角を決めてシャッターボタン３２を押下すると、ＣＰＵ１４はこれを検知し、シャッターボタン３２の半押し（Ｓ１ ＯＮ）に応動してＡＥ処理及びＡＦ処理を行い、シャッターボタン３２の全押し（Ｓ２＝ＯＮ）に応動して記録用の画像を取り込むためのＣＣＤ露光及び読み出し制御を開始する。
【００４５】
本カメラ１０におけるＡＦ制御は、例えば映像信号のＧ信号の高周波成分が極大になるようにフォーカスレンズ（撮影レンズ４２を構成するレンズ光学系のうちフォーカス調整に寄与する移動レンズ）を移動させるコントラストＡＦが適用される。すなわち、ＡＦ演算部は、Ｇ信号の高周波成分のみを通過させるハイパスフィルタ、絶対値化処理部、画面内（例えば、画面中央部）に予め設定されているフォーカス対象エリア内の信号を切り出すＡＦエリア抽出部、及びＡＦエリア内の絶対値データを積算する積算部から構成される。
【００４６】
ＡＦ演算部で求めた積算値のデータはＣＰＵ１４に通知される。ＣＰＵ１４は、ＡＦモータを含むフォーカス駆動部６２を制御してフォーカスレンズを移動させながら、複数のＡＦ検出ポイントで焦点評価値（ＡＦ評価値）の演算を行い、各ＡＦ検出ポイントで算出されたＡＦ評価値からその値が極大となるレンズ位置を合焦位置として決定する。そして、求めた合焦位置にフォーカスレンズを移動させるようにフォーカス駆動部６２を制御する。
【００４７】
また、ＡＥ制御に関連して、ＡＥ演算部は１画面を複数のエリア（例えば、８×８）に分割し、分割エリアごとにＲＧＢ信号を積算する回路を含み、その積算値をＣＰＵ１４に提供する。ＣＰＵ１４は、ＡＥ演算部から得た積算値に基づいて被写体の明るさ（被写体輝度）を検出し、撮影に適した露出値（撮影ＥＶ値）を算出する。求めた露出値と所定のプログラム線図に従い、絞り値とシャッタースピードが決定される。そして、アイリスモータを含む不図示の駆動部及びＣＣＤ４４の電子シャッターを制御して最適な露光量を得る。
【００４８】
シャッターボタン３２の全押し（Ｓ２ ＝ＯＮ）に応動して取り込まれた画像データは、信号処理部５６においてＹＣ処理その他の所定の信号処理を経た後、圧縮伸張回路６４において所定の圧縮フォーマット（例えば、ＪＰＥＧ方式） に従って圧縮される。圧縮された画像データは、メディアインターフェース部６６を介して記録メディア１２に記録される。圧縮形式はＪＰＥＧに限定されず、ＭＰＥＧその他の方式を採用してもよい。
【００４９】
画像データを保存する手段は、スマートメディア（商標）、コンパクトフラッシュ（商標）などで代表される半導体メモリカード、磁気ディスク、光ディスク、光磁気ディスクなど、種々の媒体を用いることができる。また、リムーバブルメディアに限らず、カメラ１０に内蔵された記録媒体（内部メモリ）であってもよい。
【００５０】
モード選択手段によって再生モードが選択されると、記録メディア１２に記録されている最終の画像ファイル（最後に記録したファイル）が読み出される。記録メディア１２から読み出された画像ファイルのデータは、圧縮伸張回路６４によって伸張処理され、表示回路６０を介して液晶モニタ３８に出力される。
【００５１】
再生モードの一コマ再生時に十字ボタンを操作することにより、順方向又は逆方向にコマ送りすることができ、コマ送りされた次のファイルが記録メディア１２から読み出され、上記と同様にして画像が再生される。
【００５２】
図２は、本例のカメラ１０における顔抽出処理に関係する要部ブロック図である。図２中図１で説明した構成と共通する部分には同一の符号を付し、その説明は省略する。
【００５３】
図２において、上段の積算回路７０とホワイトバランス回路７２は、通常のオートホワイトバランス処理に使用している処理系である。また、その下段に示した、積算回路７４、ホワイトバランス回路７６及び同時化回路７８は、顔抽出アルゴリズムの前処理を実施するための処理部（以下、前処理系という。）である。
【００５４】
Ａ／Ｄ変換器５４にてデジタル信号に変換されたＣＣＤＲＡＷデータはメモリ２２に格納され、メモリ２２から積算回路７０に送られる。積算回路７０は、１画面内を複数のエリア（例えば、８×８の６４ブロック）に分割し、エリアごとにＲＧＢ信号の色別の平均積算値を算出する回路を含み、その算出結果は基準光源（デイライト）を想定したホワイトバランス回路７２に送られる。ホワイトバランス回路７２でゲイン調整された信号はＣＰＵ１４に提供される。
【００５５】
ＣＰＵ１４は、Ｒの積算値、Ｂの積算値、Ｇの積算値を得て、Ｒ／Ｇ、Ｂ／Ｇの比を求め、これらＲ／Ｇ、Ｂ／Ｇの値と、ＡＥ演算による撮影ＥＶ値の情報に基づいてシーン判別（光源種の判別）を行い、シーンに適した所定のホワイトバランス調整値（光源の雰囲気を残すような設定）に従って、信号処理部５６内のホワイトバランス回路８０及び前処理系のホワイトバランス回路７６のアンプゲインを制御し、各色チャンネルの信号に補正をかける。光源種の判別方法及び光源の雰囲気を残すホワイトバランス制御については、特開２０００−２２４６０８号公報等に開示された手法を用いることができる。なお、シーン判別においては、Ｒ／Ｇ、Ｂ／Ｇの値を利用するのに代えて、Ｒ−Ｙ、Ｂ−Ｙなど色温度情報を用いてもよい。
【００５６】
その後、シャッターボタン３２の全押し（Ｓ２ ＯＮ）に応動して記録用の画像を取り込む。Ｓ２ ＯＮに応じて取得されたＣＣＤＲＡＷデータは一旦メモリ２２に格納され、その後、信号処理部５６及び顔抽出用の前処理系の積算回路７４に送られる。
【００５７】
前処理系の積算回路７４は、１画面を例えば、１３０×１９０のエリアに分割し、エリアごとに積算値を算出する。積算回路７４の算出結果は、ホワイトバランス回路７６に送られ、ここでＡＷＢを反映させたホワイトバランス処理が行われる。ＡＷＢを効かせたデータは、同時化回路７８に送られ、ここでＲ，Ｇ，Ｂについてそれぞれ同画素数のデータ（３面データ）が生成される。
【００５８】
ＣＰＵ１４は、同時化回路７８で生成されたＲＧＢの３面データに基づいて、肌色検出、彩度分割、顔候補抽出、並びに顔候補の領域の形状に基づく顔領域の特定の処理を実行する。顔抽出のアルゴリズムについて詳細は後述する。
【００５９】
その一方、メモリ２２から信号処理部５６に送られたＣＣＤＲＡＷデータは、ホワイトバランス回路８０によりＡＷＢを反映させた処理が行われた後、ガンマ変換回路８２に送られる。ガンマ変換回路８２は、ホワイトバランス調整されたＲＧＢ信号が所望のガンマ特性となるように入出力特性を変更し、輝度／色差信号生成回路８４に出力する。
【００６０】
輝度／色差信号生成回路８４は、ガンマ補正されたＲ、Ｇ、Ｂ信号から輝度信号Ｙとクロマ信号Ｃｒ、Ｃｂとを作成する。これらの輝度信号Ｙとクロマ信号Ｃｒ、Ｃｂ（ＹＣ信号）は、圧縮伸張回路６４によってＪＰＥＧその他の所定のフォーマットで圧縮され、記録メディア１２に記録される。
【００６１】
次に、本実施形態に係るカメラ１０に搭載されている顔抽出機能について説明する。
【００６２】
図３は、撮影光学系における被写体とその像の関係を示した図である。同図に示したように、撮影距離Ｄと視野角Ｌ（この焦点距離で撮影できる全範囲）の比は、撮影レンズ４２の焦点距離ＤＦとＣＣＤサイズＨの比に等しい。
【００６３】
【数１】撮影距離Ｄ：視野角Ｌ＝焦点距離ＤＦ：ＣＣＤサイズＨ …（１）
すなわち、視野角Ｌ内に包含される人物の顔の実サイズＡとＣＣＤ受光面上における像サイズａとの間には、次式の関係が成り立つ。
【００６４】
【数２】撮影距離Ｄ：実サイズＡ＝焦点距離ＤＦ：像サイズａ …（２）
撮影距離Ｄは、カメラ１０によって撮影可能な最短距離（最至近距離）とする。マクロモードＯＦＦの場合ならば、カメラ１０までの最短距離は６０ｃｍ程度である。なお、マクロモードＯＮの場合、最短距離は２０ｃｍ程度であるが、マクロモードＯＮのときには、人物を写す可能性が低いため、顔抽出の処理は行わないものとする。
【００６５】
人物の顔の実サイズＡは、多少のばらつきがあるにせよ、およそ顔の大きさというものは、ある大きさの範囲にあるとして規定値を設定できる。
【００６６】
したがって、上記の式（２）の関係からＣＣＤ４４面上での像サイズ（人物の顔がＣＣＤ４４面に結像するときの画素数）を割り出すことができる。こうして、各焦点距離における顔のサイズを求めることができる。
【００６７】
本例のカメラ１０は、ワイド端からテレ端までの間で１０段階の焦点距離を選択できる構成になっているため、各焦点距離についてＣＣＤ４４面上での顔サイズの最大値がテーブルデータとしてカメラ１０内のＥＥＰＲＯＭ２４（データ格納手段）に記憶されている。
【００６８】
図４は、顔抽出におけるシーケンスを示すフローチャートである。
【００６９】
まず、シャッターボタン３２のＳ１ ＝ＯＮ及びＳ２ ＝ＯＮを経て、ＣＣＤＲＡＷデータをメモリ２２に記録する（ステップＳ１１０）。その後、ＣＰＵ１４は、撮影時の焦点距離情報及びマクロのＯＮ／ＯＦＦ情報を入手する（ステップＳ１１２）。マクロモードがＯＮのときには、顔抽出処理を実施しないものとする。
【００７０】
その一方、マクロモードがＯＦＦのときには、図２で説明した前処理系（７４、７６、７８）による処理を行い、記録したＣＣＤＲＡＷデータから積算処理、ホワイトバランス処理及び同時化処理を行う（図４のステップＳ１１４）。
【００７１】
次いで、ＣＰＵ１４は、ＥＥＰＲＯＭ２４から肌色テーブルを取得する（ステップＳ１１６）。肌色テーブルは、所定の色空間において「肌色」として認識される色相の範囲を定めたデータである。ＣＰＵ１４は、前処理系の同時化回路７８から取得したＲＧＢの３面データ（リニアな系のデータ）を基に、肌色テーブル内の色相を検出する（ステップＳ１１８）。
【００７２】
図５は、肌色として抽出されるべき色相の範囲（肌色抽出エリア）を例示した図である。図示した色空間はガンマをかける前のリニアな系であり、横軸をＲ／Ｇ、縦軸をＢ／Ｇとした座標系である。
【００７３】
図５において、符号８８の矩形枠で囲まれた範囲が肌色抽出エリアとして設定されている。すなわち、Ｇに対してＲが少し多く、また、ＢはＧに対して少し低い値を示す範囲を「肌色」と定めておき、この範囲内に入ったものを肌色として判定する。
【００７４】
更に、肌色抽出エリア８８は、彩度によって更に複数のエリアに分割されている。図５において、「彩度」は原点Ｏ（１，１）からの距離によって表され、原点Ｏから離れるほど彩度が高くなる。同図の例では、原点を中心とする同心円状の境界線（破線により図示）によって肌色検出エリア８８が６つの領域に区分けされている。
【００７５】
ＣＰＵ１４は、前処理系の同時化回路７８から取得したＲＧＢの三面データから肌色領域を検出した後、更に、当該肌色検出された部分を彩度を基準に領域分割する（図４のステップＳ１１８）。
【００７６】
図６に、肌色検出された領域を更に彩度によって区分けした例を示す。画像内で対象物が異なるとその彩度も異なり、一般に人物の顔の肌色は、タングステン光源下の白色物や机などの木よりも彩度が高い傾向がある。したがって、肌色検出された領域を彩度によって細かく分けてその領域形状を把握することにより顔領域であるか、顔以外の領域であるかを判別することが容易になる。
【００７７】
図４のステップＳ１２０において彩度による領域分割を行った後は、ステップＳ１２２に進む。ステップＳ１２２では、ステップＳ１１２で入手した焦点距離情報に従い、ＥＥＰＲＯＭ２４から顔領域の最大値テーブルを入手し、当該焦点距離における顔領域の予測最大値を求め、この最大値を顔領域判定の判定基準値として設定する。もちろん、カメラ１０で撮影可能な最短撮影距離よりも近くで撮影される可能性等にも配慮して予測最大値に所定のマージンを付加して判定基準値を設定するか、或いは、判定にマージンをもたせることが好ましい。
【００７８】
そして、彩度によって分割された肌色領域と予測した最大値とを比較し、最大値よりも極端に大きい領域は顔ではないと判断して顔領域の候補から排除し、残りの領域を顔領域の候補として抽出する（ステップＳ１２４）。これにより、実際に「顔」であり得ない大きいサイズの領域が排除される。
【００７９】
ステップＳ１２４で絞り込まれた顔領域候補の中から、更に各領域について形状検出を行い、形状から顔領域を特定する（ステップＳ１２６）。すなわち、顔として妥当なモデル形状（楕円や円）から定められた縦横比の規定値と、顔候補の形状とを対比し、検出された形状の縦横比が規定値から大きく外れるものについては、顔以外の領域であると判断する。この形状判定によって顔候補が更に絞り込まれ、所定の縦横比を有する形状の領域部分が「顔」として判定される。
【００８０】
こうして、顔領域が抽出され、その抽出結果は明るさ補正、ホワイトバランス補正、肌色をベストの色（目標値）に近づける色補正、赤目補正などに利用される。
【００８１】
上述した実施形態によれば、カメラ情報である焦点距離情報を利用して顔領域の大きさを見積る一方、画像内を肌色検出して得られた肌色エリアを彩度によって領域分割して各エリアの大きさを認識し、見積もった最大値と比較して極端に大きなエリアは顔領域の候補から排除する構成にしたので、顔領域の候補を絞り込むことができる。そして、残ったエリアについて形状認識を行い、最終的な顔を判定するようにしたので、高い確度で正しい顔領域を抽出できる。
【００８２】
例えば、図７に示したシーンは、電球９０の照明下で白い布９２を背景に人物９４を撮影したものであるが、背景の布９２や木の机９６など、肌色と類似の色相を有する物体を排除して、人物９４の顔を正確に抽出することができる。
【００８３】
〔変形例１〕
上述の実施形態では、撮影画像の中から顔領域を完全に特定する例を述べたが、本発明の実施に際しては、最終的に顔領域を特定しない態様も可能である。
【００８４】
例えば、人物の顔を重視した明るさ補正を行う場合などについては、肌色検出によって抽出された肌色エリアについて、顔領域の候補を絞りこむ代わりに、又はこれと併用して、明るさ演算における重みを付け係数を焦点距離情報に可変する態様がある。
【００８５】
図８のように、肌色検出によって画面内に複数の肌色エリアが検出された場合に、焦点距離情報に基づき実際に顔である可能性の高低に応じた重み付けｗｉ（ｉ ＝１，２，３ …） を設定して、次式（３）に従い明るさＹを計算する。
【００８６】
【数３】Ｙ＝Σ （ｗｉ ×Ｙｉ）／Σｗｉ …（３）
ただし、Ｙｉ は各顔領域の明るさを示す。
【００８７】
重み付けｗｉ については、顔である可能性の低いエリアの重み付けを軽くする（「０」又は「０」に近い値にする）ことにより、顔である可能性の高いエリアの情報が強く反映された値となる。こうして求めた明るさＹを所定の目標値に近づけるように補正処理を行う。
【００８８】
〔変形例２〕
図１で説明した焦点距離情報を利用する態様に代えて、又はこれと併用して被写体の距離情報を利用する態様がある。
【００８９】
図９に本発明の他の実施形態に係る電子カメラのブロック図を示す。図９中図１と同一又は類似の部分には同一の符号を付し、その説明は省略する。
【００９０】
図９に示したカメラ１０は、被写体距離（撮影距離）を測定する手段としての測距センサ１０２を備えている。測距センサ１０２から得られる信号はＣＰＵ１４に入力され、ＣＰＵ１４は被写体の距離情報を取得する。
【００９１】
なお、被写体距離を検出する手段は、三角測量の原理を利用したアクティブ方式やパッシブ方式で代表される測距方式のＡＦ機構や位相法によるＡＦ機構など、周知のＡＦ機構を利用することが可能である。また、測距センサ１０２を省略したカメラ（図１の構成）においても、コントラストＡＦなどによりフォーカスレンズを合焦位置に移動させたときに、フォーカス位置検出手段からフォーカスレンズの位置情報（フォーカス位置情報）を取得し、この情報に基づいてカメラ１０と被写体の距離（被写体距離）を計算することも可能である。
【００９２】
こうして、被写体の距離情報を取得することにより、その距離で実際に撮影される顔の大きさを見積ることができる。顔サイズの算出に際しては、被写体距離に対応した顔の大きさを示すテーブルデータをＥＥＰＲＯＭ２４内に格納しておいてもよいし、演算式を利用して計算してよい。
【００９３】
被写体の距離情報に基づいて算出された顔サイズよりも極端に大きい肌色エリア又は極端に小さい肌色エリアについては顔候補から除外することにより、より正確に顔領域を抽出できる。
【００９４】
図１０に距離情報を利用する顔抽出のシーケンスを示す。同図中、図４のフローチャートと同一又は類似の工程には同一の符号を付してある。
【００９５】
図１０に示したフローチャートではステップＳ１１２において、測距センサ１０２の情報を読み込み、被写体の距離情報を入手する処理が追加されている。
【００９６】
焦点距離情報に加えて被写体距離情報を得ることにより、顔サイズを一層正確に予測できるため、その予測に基づいて顔領域として許容される妥当な数値範囲を設定することが可能となり、顔領域の抽出精度が向上する。
【００９７】
具体的には、図１０のステップＳ１２２において、焦点距離に基づいて最大値テーブルを入手するとともに、被写体距離に基づいて顔領域の最小値テーブルを入手し、これらのテーブルで規定される数値範囲を基に顔領域の候補を絞り込む（ステップＳ１２４）。或いは、ステップＳ１２２において、焦点距離と被写体距離とに基づいて顔領域の最大値と最小値とを考慮した判定基準値（又は判定基準範囲）を定め、この判定基準値にしたがって、顔領域の候補を絞り込む（ステップＳ１２４）などの態様がある。
【００９８】
図９及び図１０では、測距センサ１０２から被写体距離情報を取得したが、被写体の距離情報は、撮影に使用するカメラから取得する態様に限らず、画像データに付加された付属情報（タグ情報）などから読み込むことも可能である。
【００９９】
上述の実施形態では、光学ズーム機能を有するデジタルカメラを説明したが、単焦点レンズを用いるカメラについては、そのレンズの焦点距離の値を利用して顔サイズを判定すればよい。また、画像信号を電子的に処理して拡大画像を得る電子ズーム（デジタルズーム）機能を備えたカメラについても、画角全体の画像を撮影して、電子ズーム処理前の全体の画像データから顔領域を検出することにより、上述の実施形態と同様の手法を適用できる。
【０１００】
上述の実施形態では、デジタルカメラを例示したが、本発明の適用範囲はこれに限定されず、カメラ付き携帯電話機、カメラ付きＰＤＡ、カメラ付きモバイルパソコンなど、電子撮像機能を備えた他の情報機器についても本発明を適用できる。この場合、撮像部は携帯電話機等の本体から分離可能な着脱式（外付けタイプ）のものであってもよい。
【０１０１】
また、上述のような電子撮像機能付き機器で記録した画像データを再生表示する画像再生装置、或いはプリント出力するプリント装置などについても本発明を適用することが可能である。
【０１０２】
【発明の効果】
本発明によれば、撮影光学系の焦点距離情報から人物の顔の最大値を予測し、その最大値から設定される判定基準値よりも大きな肌色領域については顔領域である可能性が低いものとして取り扱う構成にしたので、より高い確度で顔領域を判定することが可能である。
【０１０３】
また、焦点距離の情報に加えて被写体距離の情報を取得することにより、実際に撮影される人物の顔の大きさをより正確に見積ることができ、顔抽出の精度を上げることができる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る電子カメラの構成を示すブロック図
【図２】本例のカメラにおける顔抽出処理に関係する要部ブロック図
【図３】撮影光学系における被写体とその像の関係を示した図
【図４】顔抽出処理のシーケンスを示すフローチャート
【図５】肌色として抽出する色相の範囲（肌色抽出エリア）と彩度分割の例を示す図
【図６】肌色検出された領域を更に彩度によって区分けした例を示す図
【図７】撮影シーンの一例を示す図
【図８】画面内に複数の肌色エリアが存在する場合の明るさ演算の例を示す図
【図９】本発明の他の実施形態に係る電子カメラのブロック図
【図１０】被写体距離情報を利用した顔抽出処理のシーケンスを示すフローチャート
【符号の説明】
１０…カメラ、１４…ＣＰＵ、２４…ＥＥＰＲＯＭ、４２…撮影レンズ、４４…ＣＣＤ、４８…ズーム位置検出センサ、７４…積算回路、７６…ホワイトバランス回路、７８…同時化回路、８８…肌色抽出エリア、１０２…測距センサ
Claims (6)
- 画像内から人物の顔に相当する領域を抽出する方法であって、
撮影時の焦点距離情報を取得する情報取得工程と、
前記情報取得工程で取得した焦点距離情報に基づき画像内における顔領域として想定される最大値を求める最大値予測工程と、
画像データを解析して当該画像内から肌色の色相を有する領域を検出する肌色領域検出工程と、
前記肌色領域検出工程で検出された肌色領域のうち、前記最大値予測工程で見積られた最大値から設定される判定基準値よりも大きい領域について顔領域である可能性が低いものとして取り扱う処理を行う処理工程と、
を含むことを特徴とする顔領域抽出方法。 - 前記処理工程は、前記肌色領域検出工程で検出された肌色領域のうち、前記最大値予測工程で見積られた最大値から設定される判定基準値よりも大きい領域を顔領域の候補から排除し、前記判定基準値よりも小さい領域の中から顔領域を決定する顔領域決定工程と、を含むことを特徴とする請求項１記載の顔領域抽出方法。
- 前記肌色領域検出工程は、肌色の色相を検出する肌色検出工程と、前記肌色検出工程で検出される肌色部分を更に彩度によって分割する彩度分割工程と、を含み、
前記処理工程は、前記彩度分割工程で分割された彩度別の肌色領域について前記判定基準値と比較することを特徴とする請求項１又は２記載の顔領域抽出方法。 - 前記顔領域決定工程は、顔領域の候補とされる肌色領域の形状に基づいて顔領域を決定することを特徴とする請求項２又は３記載の顔領域抽出方法。
- 被写体の距離情報を取得する距離情報取得工程と、
前記距離情報取得工程で取得した距離情報に基づき画像内における顔領域として想定される大きさを求める顔サイズ予測工程と、
を含むことを特徴とする請求項１乃至４の何れか１項記載の顔領域抽出方法。 - 画像内から人物の顔に相当する領域を抽出する装置であって、
撮影時の焦点距離情報を取得する情報取得手段と、
前記情報取得手段を介して取得した焦点距離情報に基づき画像内における顔領域として想定される最大値を求める最大値予測手段と、
画像データを解析して当該画像内から肌色の色相を有する領域を検出する肌色領域検出手段と、
前記肌色領域検出手段で検出された肌色領域のうち、前記最大値予測手段で見積られた最大値から設定される判定基準値よりも大きい領域について顔領域の候補から削除し、前記判定基準値よりも小さい領域の中から顔領域を決定する顔領域決定手段と、
を備えたことを特徴とする顔領域抽出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002355017A JP4126721B2 (ja) | 2002-12-06 | 2002-12-06 | 顔領域抽出方法及び装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002355017A JP4126721B2 (ja) | 2002-12-06 | 2002-12-06 | 顔領域抽出方法及び装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004185555A true JP2004185555A (ja) | 2004-07-02 |
| JP4126721B2 JP4126721B2 (ja) | 2008-07-30 |
Family
ID=32755830
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002355017A Expired - Fee Related JP4126721B2 (ja) | 2002-12-06 | 2002-12-06 | 顔領域抽出方法及び装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4126721B2 (ja) |
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005348181A (ja) * | 2004-06-03 | 2005-12-15 | Canon Inc | 撮影装置及びその制御方法並びに制御用プログラム |
| JP2006229367A (ja) * | 2005-02-15 | 2006-08-31 | Nikon Corp | デジタルカメラ |
| JP2006343953A (ja) * | 2005-06-08 | 2006-12-21 | Canon Inc | 画像処理方法、画像処理装置 |
| JP2008167280A (ja) * | 2006-12-28 | 2008-07-17 | Canon Inc | 画像処理装置及び方法、及び撮像装置 |
| JP2008167295A (ja) * | 2006-12-28 | 2008-07-17 | Samsung Techwin Co Ltd | 撮像装置及び撮像方法 |
| JP2009017591A (ja) * | 2008-09-18 | 2009-01-22 | Canon Inc | 撮像装置及び画像処理方法 |
| JP2009109838A (ja) * | 2007-10-31 | 2009-05-21 | Nikon Corp | 焦点検出装置、カメラ |
| JP2009198951A (ja) * | 2008-02-25 | 2009-09-03 | Nikon Corp | 撮像装置および対象物の検出方法 |
| JP2009223523A (ja) * | 2008-03-14 | 2009-10-01 | Seiko Epson Corp | 画像処理装置、画像処理方法、画像処理のためのコンピュータプログラム |
| JP2009223524A (ja) * | 2008-03-14 | 2009-10-01 | Seiko Epson Corp | 画像処理装置、画像処理方法、画像処理のためのコンピュータプログラム |
| JP2009239368A (ja) * | 2008-03-25 | 2009-10-15 | Seiko Epson Corp | 画像処理方法、画像処理装置、画像処理プログラムおよび印刷装置 |
| JP2010055468A (ja) * | 2008-08-29 | 2010-03-11 | Nikon Corp | 画像処理装置、およびカメラ |
| JP2010072559A (ja) * | 2008-09-22 | 2010-04-02 | Nikon Corp | 撮像装置および対象物領域抽出方法 |
| US7778481B2 (en) | 2005-01-28 | 2010-08-17 | Fujifilm Corporation | Apparatus and method for image processing including photometry and colorimetry |
| JP2011008716A (ja) * | 2009-06-29 | 2011-01-13 | Noritsu Koki Co Ltd | 画像処理装置、画像処理方法及び画像処理プログラム |
| US7881601B2 (en) | 2005-02-15 | 2011-02-01 | Nikon Corporation | Electronic camera |
| US8013906B2 (en) | 2005-06-20 | 2011-09-06 | Canon Kabushiki Kaisha | Image sensing apparatus and image processing method |
| US8542941B2 (en) | 2007-07-24 | 2013-09-24 | Nikon Corporation | Imaging device, image detecting method and focus adjusting method |
| KR101347573B1 (ko) * | 2006-02-14 | 2014-01-03 | 삼성전자주식회사 | 디지털 이미지 상에서의 얼굴 검출 방법 및 장치 |
| CN104011628A (zh) * | 2011-12-05 | 2014-08-27 | 阿尔卡特朗讯 | 用于识别姿势的方法和姿势检测器 |
| JP2015191268A (ja) * | 2014-03-27 | 2015-11-02 | 株式会社リコー | 人物頭部検知装置及び姿勢推定装置 |
| CN113592592A (zh) * | 2021-07-28 | 2021-11-02 | 严沛熙 | 生成眼镜框试戴效果图的方法及眼镜框虚拟试戴系统 |
| US11599993B2 (en) | 2019-03-27 | 2023-03-07 | Canon Kabushiki Kaisha | Image processing apparatus, method of processing image, and program |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102360424B1 (ko) | 2014-12-24 | 2022-02-09 | 삼성전자주식회사 | 얼굴 검출 방법, 영상 처리 방법, 얼굴 검출 장치 및 이를 포함하는 전자 시스템 |
-
2002
- 2002-12-06 JP JP2002355017A patent/JP4126721B2/ja not_active Expired - Fee Related
Cited By (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005348181A (ja) * | 2004-06-03 | 2005-12-15 | Canon Inc | 撮影装置及びその制御方法並びに制御用プログラム |
| US7778481B2 (en) | 2005-01-28 | 2010-08-17 | Fujifilm Corporation | Apparatus and method for image processing including photometry and colorimetry |
| JP2006229367A (ja) * | 2005-02-15 | 2006-08-31 | Nikon Corp | デジタルカメラ |
| US7881601B2 (en) | 2005-02-15 | 2011-02-01 | Nikon Corporation | Electronic camera |
| JP4581730B2 (ja) * | 2005-02-15 | 2010-11-17 | 株式会社ニコン | デジタルカメラ |
| JP2006343953A (ja) * | 2005-06-08 | 2006-12-21 | Canon Inc | 画像処理方法、画像処理装置 |
| US8013906B2 (en) | 2005-06-20 | 2011-09-06 | Canon Kabushiki Kaisha | Image sensing apparatus and image processing method |
| KR101347573B1 (ko) * | 2006-02-14 | 2014-01-03 | 삼성전자주식회사 | 디지털 이미지 상에서의 얼굴 검출 방법 및 장치 |
| US7844175B2 (en) | 2006-12-28 | 2010-11-30 | Samsung Electronics Co., Ltd. | Photographing apparatus and method |
| JP2008167280A (ja) * | 2006-12-28 | 2008-07-17 | Canon Inc | 画像処理装置及び方法、及び撮像装置 |
| KR101278241B1 (ko) | 2006-12-28 | 2013-06-24 | 삼성전자주식회사 | 촬상 장치 및 촬상 방법 |
| JP2008167295A (ja) * | 2006-12-28 | 2008-07-17 | Samsung Techwin Co Ltd | 撮像装置及び撮像方法 |
| JP4571617B2 (ja) * | 2006-12-28 | 2010-10-27 | 三星デジタルイメージング株式会社 | 撮像装置及び撮像方法 |
| US8542941B2 (en) | 2007-07-24 | 2013-09-24 | Nikon Corporation | Imaging device, image detecting method and focus adjusting method |
| JP2009109838A (ja) * | 2007-10-31 | 2009-05-21 | Nikon Corp | 焦点検出装置、カメラ |
| JP2009198951A (ja) * | 2008-02-25 | 2009-09-03 | Nikon Corp | 撮像装置および対象物の検出方法 |
| US8488052B2 (en) | 2008-02-25 | 2013-07-16 | Nikon Corporation | Imaging system and method for detecting target object |
| JP2009223523A (ja) * | 2008-03-14 | 2009-10-01 | Seiko Epson Corp | 画像処理装置、画像処理方法、画像処理のためのコンピュータプログラム |
| JP2009223524A (ja) * | 2008-03-14 | 2009-10-01 | Seiko Epson Corp | 画像処理装置、画像処理方法、画像処理のためのコンピュータプログラム |
| JP2009239368A (ja) * | 2008-03-25 | 2009-10-15 | Seiko Epson Corp | 画像処理方法、画像処理装置、画像処理プログラムおよび印刷装置 |
| JP2010055468A (ja) * | 2008-08-29 | 2010-03-11 | Nikon Corp | 画像処理装置、およびカメラ |
| JP4726251B2 (ja) * | 2008-09-18 | 2011-07-20 | キヤノン株式会社 | 撮像装置及び画像処理方法 |
| JP2009017591A (ja) * | 2008-09-18 | 2009-01-22 | Canon Inc | 撮像装置及び画像処理方法 |
| JP2010072559A (ja) * | 2008-09-22 | 2010-04-02 | Nikon Corp | 撮像装置および対象物領域抽出方法 |
| JP2011008716A (ja) * | 2009-06-29 | 2011-01-13 | Noritsu Koki Co Ltd | 画像処理装置、画像処理方法及び画像処理プログラム |
| JP2015507391A (ja) * | 2011-12-05 | 2015-03-05 | アルカテル−ルーセント | ジェスチャを認識するための方法およびジェスチャ検出器 |
| CN104011628A (zh) * | 2011-12-05 | 2014-08-27 | 阿尔卡特朗讯 | 用于识别姿势的方法和姿势检测器 |
| US9348422B2 (en) | 2011-12-05 | 2016-05-24 | Alcatel Lucent | Method for recognizing gestures and gesture detector |
| CN104011628B (zh) * | 2011-12-05 | 2017-03-01 | 阿尔卡特朗讯 | 用于识别姿势的方法和姿势检测器 |
| JP2015191268A (ja) * | 2014-03-27 | 2015-11-02 | 株式会社リコー | 人物頭部検知装置及び姿勢推定装置 |
| US11599993B2 (en) | 2019-03-27 | 2023-03-07 | Canon Kabushiki Kaisha | Image processing apparatus, method of processing image, and program |
| CN113592592A (zh) * | 2021-07-28 | 2021-11-02 | 严沛熙 | 生成眼镜框试戴效果图的方法及眼镜框虚拟试戴系统 |
| CN113592592B (zh) * | 2021-07-28 | 2023-11-07 | 严沛熙 | 生成眼镜框试戴效果图的方法及眼镜框虚拟试戴系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4126721B2 (ja) | 2008-07-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4126721B2 (ja) | 顔領域抽出方法及び装置 | |
| US7796831B2 (en) | Digital camera with face detection function for facilitating exposure compensation | |
| JP4284448B2 (ja) | 画像処理装置及び方法 | |
| JP2006259688A (ja) | 撮像装置及びプログラム | |
| US8441542B2 (en) | Self-timer photographing apparatus and method involving checking the number of persons | |
| JP4200428B2 (ja) | 顔領域抽出方法及び装置 | |
| JP2009060195A (ja) | 撮像装置および方法並びにプログラム | |
| US20090002518A1 (en) | Image processing apparatus, method, and computer program product | |
| US9055212B2 (en) | Imaging system, image processing method, and image processing program recording medium using framing information to capture image actually intended by user | |
| JP2008028960A (ja) | 撮影装置及び露出制御方法 | |
| JP4796007B2 (ja) | 撮像装置 | |
| JP2009048136A (ja) | 焦点調節装置及び焦点調節方法 | |
| JP2012194568A (ja) | 撮像装置及びプログラム | |
| JP2004201228A (ja) | 顔領域抽出方法及び装置 | |
| JP4683337B2 (ja) | 画像表示装置及び画像表示方法 | |
| JP4178017B2 (ja) | 画像処理方法及びデジタルカメラ | |
| US8760527B2 (en) | Extending a digital camera focus range | |
| US20070086765A1 (en) | Digital camera | |
| KR101613617B1 (ko) | 디지털 영상 촬영 장치 및 그 제어 방법 | |
| JP2010141609A (ja) | 撮像装置 | |
| JP2008172395A (ja) | 撮像装置、画像処理装置、方法およびプログラム | |
| JP2005033255A (ja) | デジタル画像の画像処理方法、デジタルカメラ及びプリントシステム | |
| JP4081609B2 (ja) | 撮像装置 | |
| JP2009252069A (ja) | 画像処理装置、撮像装置、画像処理方法及びプログラム | |
| JP2008005248A (ja) | 撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050318 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061211 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080128 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080327 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080421 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080504 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110523 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110523 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120523 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130523 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140523 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |