JP2004297269A - 撮像装置 - Google Patents

Abstract

【課題】逆光シーンやハイコントラストシーンにおいて好ましい画像を得ることができる撮像装置を提供する。
【解決手段】露出補正の際に、人物の顔に相当する領域を抽出し、抽出された顔領域から得られた情報に基づいてアシスト情報を提供する。撮影者は前記アシスト情報より露出補正の適否と補正量を判断でき、逆光シーンの黒つぶれやハイコントラストシーンの白飛び、黄変などの画像劣化が少なく、主要被写体が適正な明るさや色で再現される良好な画像を得ることができる。アシスト情報は顔領域の色相のヒストグラムを表示すると黒つぶれや白飛び等の判断が容易である。黄変が生じると判断されたときには警告を発するので、露出補正を行ったにも関わらず劣化した画像が生成されたり、補正過剰による再現画像劣化を避けることができる。
【選択図】 図５

Description

【０００１】
【発明の属する技術分野】
本発明は撮像装置に係り、特に露出補正機能を備えたデジタルスチルカメラにおいて露出補正を容易に行う技術に関する。
【０００２】
【従来の技術】
一般的にダイナミックレンジの狭いＣＣＤを撮像素子とするデジタルスチルカメラでは高精度オート露出機能を備えることで失敗写真を減少させてきた。しかし、逆光シーンなど、主要被写体が暗くなりがちなシーンと、主要被写体が明るくなるハイコントラストシーンとの切り分けは容易でなく、現在は、アンダーめの露出（暗めにする露出）とすることで白飛びを防いでいることが多い。
【０００３】
逆光シーン等では、撮影された画像データの階調上で変化させ、人物を適正な明るさにするような後処理を行っている。上述した後処理を施すと、Ｓ／Ｎ比の劣化を招くことがあり、本来好ましくない処理である。
【０００４】
特許文献１に開示された撮像装置は、露出補正実行キーが押下されると、露出状態を検出し適正露出になるような制御が行われ、また、現在の露出状態と、適正な露出状態との差を電子ビューファインダー表示させている。また、現在の露出状態と、適正な露出状態との差が所定の大きさを越えたときには警告を発するよう構成されている。
【０００５】
【特許文献１】
特開平９−３７１４６号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、一般撮影者にとって、撮影時に黒つぶれや白飛びを警戒しながら露出補正を加えることは高度なテクニックであり、中でもＲ信号が先に飽和し易いために、黄変などのさらに好ましくない画像の劣化を生むことがある。
【０００７】
特許文献１に撮像装置では、設定された測光エリアから得られる測光結果によって露出を制御しているので、非常に明るい光が測光エリアに存在する場合、即ち、ＣＣＤの出力が飽和してしまう光量に対しては正確な測光ができないために適正な露出を設定することができない。
【０００８】
本発明はこのような事情を鑑みてなされたもので、露出補正操作を容易にし逆光シーンやハイコントラストシーンなどにおいて好ましい画像を得ることができる撮像装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
前記目的を達成するために本発明に係る撮像装置は、被写体の光学像を電気信号に変換する撮像手段と、前記被写体の明るさに応じて前記撮像手段の露出を制御する自動露出制御手段と、前記自動露出制御手段によって決定される露出の補正を行う露出補正手段と、前記撮像手段を介して取得された画像内の人物の顔に相当する領域を抽出する顔抽出手段と、前記顔抽出手段により抽出された顔領域から得られる情報を撮影者に対して提供するアシスト情報提供手段と、を備えたことを特徴としている。
【００１０】
本発明によれば、被写体から人物の顔に相当する領域を抽出し、抽出された顔領域から得られた情報に基づいて露出補正のアシスト情報が提供されるので、提供されたアシスト情報により露出補正の適否と補正量を判断することができる。したがって、逆光シーンにおける黒つぶれやハイコントラストシーンにおける白飛びや黄変等による画像劣化が少なく、主要被写体が適正な明るさや色で再現される良好な画像を得ることができる。
【００１１】
撮像手段には、ＣＣＤイメージセンサやＭＯＳ型イメージセンサ等の固体撮像素子がよく用いられる。
【００１２】
被写体の明るさに応じて露出制御を行うために被写体の明るさを検出する手段が必要である。被写体の明るさを検出する手段は、撮像手段に内蔵してもよいし、別に設けた測光手段でもよい。
【００１３】
自動露出制御では絞りおよびシャッタースピードの少なくとも一方が自動決定される。また自動露出調整には、シャッタースピード優先、絞り優先、フルオート等の制御があり、これらの制御のうち何れの制御を適用してもよい。
【００１４】
アシスト情報には、ヒストグラムや、数値、文字、記号による情報がある。さらに、アシスト情報には音声出力手段による提供も含まれる。
【００１５】
アシスト情報は撮影者が知覚できればよく、視覚でもよいし聴覚でもよい。またはこれらの組み合わせでもよい。
【００１６】
本発明の一態様に係る撮像装置は、前記アシスト情報提供手段は前記顔領域から得られる情報を表示する表示手段を備えたことを特徴としている。
【００１７】
表示手段には、液晶モニタ、有機ＬＥ、小型ＣＲＴ、ＬＥＤ表示装置などの表示装置やＬＥＤやランプ等の点灯／消灯による表示でもよい。また、液晶モニタにはカラー液晶モニタやドットマトリクス液晶モニタ等がある。また、表示手段はカラー表示でもよいしモノクロ表示でもよい。
【００１８】
一般的にはＬＥＤやランプ等の色は赤や緑がよく用いられるが、ＬＥＤやランプ等の色がこれらに限定されない。また、複数の色を組み合わせてもよい。
【００１９】
表示手段を電子ビューファインダーと兼用させると、撮像装置の小型化に寄与することができる。電子ビューファインダー等の表示装置の一部に前記表示手段を設けてもよい。
【００２０】
本発明の他の態様に係る撮像装置は、前記表示手段は前記顔抽出手段により抽出された顔領域の色相のヒストグラムが表示されることを特徴としている。
【００２１】
かかる態様によれば、表示装置に表示された主要被写体から黒つぶれや白飛び等の画質劣化を撮影者が判断することは難しく、アシスト情報として顔領域の色相のヒストグラムを表示すれば、黒つぶれや白飛び等の画質劣化の判断を撮影者が容易に行うことができる。
【００２２】
撮像手段に備えられたカラーフィルタに対応した色相のヒストグラムを表示することができる。撮像手段にＲ、Ｇ、Ｂカラーフィルタが備えられている場合には、Ｒ信号、Ｇ信号、Ｂ信号のヒストグラムを表示することができる。
【００２３】
色相のヒストグラムはＲ、Ｇ、Ｂの３色すべてを表示してもよいし、何れか１色または２色を選択して表示してもよい。複数のヒストグラムを表示するときには、２色または３色同時に表示してもよいし、１色ずつ表示し一定時間毎に表示する色相を切り換えてもよい。
【００２４】
Ｒ信号がＧ信号およびＢ信号より先に飽和すると、肌色が黄色みがかった色に変色する現象（黄変）があるので、少なくともＲ信号のヒストグラムを表示するとよい。
【００２５】
本発明のさらに他の態様に係る撮像装置は、前記露出補正手段は、露出補正の状況を監視する露出補正監視手段と、前記露出補正手段により指定された露出補正によって前記顔領域の色劣化が発生するか否かを判定する劣化判定手段と、前記劣化判定手段により前記顔領域の色劣化が発生すると判定されたときに警告を発する警告手段と、を備えたことを特徴としている。
【００２６】
かかる態様によれば、露出補正を監視し、露出補正によって顔領域の色劣化が発生すると判断されたときには警告を発するようにしたので、露出補正を行ったにも関わらず劣化した画像が生成されたり、補正過剰のために再現画像が劣化したりすることを避けることができる。
【００２７】
【発明の実施の形態】
以下、添付図面に従って本発明に係る撮像装置の好ましい実施の形態について説明する。
【００２８】
図１は本発明の実施形態に係るデジタルカメラの構成を示すブロック図である。このカメラ１０は、被写体の光学像をデジタル画像データに変換して記録メディア１２に記録するデジタルカメラである。
【００２９】
カメラ１０全体の動作は、カメラ内蔵の中央処理装置（ＣＰＵ）１４によって統括制御される。 ＣＰＵ１４は、所定のプログラムに従って本カメラシステムを制御する制御手段として機能するとともに、自動露出（以下ＡＥと記載）演算、自動焦点調節（以下ＡＦと記載）演算、およびオートホワイトバランス（以下ＡＷＢと記載）制御、顔領域抽出演算など各種演算を実施する演算手段として機能する。
【００３０】
ＣＰＵ１４はバス１６を介してＲＯＭ２０およびメモリ（ＲＡＭ）２２と接続されている。ＲＯＭ２０にはＣＰＵ１４が実行するプログラムおよび制御に必要な各種データ等が格納されている。メモリ２２はプログラムの展開領域およびＣＰＵ１４の演算作業用領域として利用されるとともに、画像データの一時記憶領域として利用される。
【００３１】
また、ＣＰＵ１４にはＥＥＰＲＯＭ２４が接続されている。ＥＥＰＲＯＭ２４は、ＡＥ、ＡＦおよびＡＷＢ等の制御に必要なデータあるいはユーザが設定したカスタマイズ情報などを記憶している不揮発性の記憶手段であり、電源ＯＦＦ時においても記憶内容が保持される。ＣＰＵ１４は必要に応じてＥＥＰＲＯＭ２４のデータを参照して演算等を行う。なお、ＲＯＭ２０は書き換え不能なものであってもよいし、ＥＥＰＲＯＭ（フラッシュメモリ）のように書き換え可能なものでもよい。
【００３２】
カメラ１０にはユーザが各種の指令を入力するための操作部３０が設けられている。操作部３０は、露出補正ダイヤル３１、レリーズボタン３２、ズームスイッチ３３など各種操作部を含む。
【００３３】
露出補正ダイヤル３１は、オート露出機能によって設定された露出に撮影者が補正を加える操作手段である。主要被写体の黒つぶれや白飛びを避けるために露出補正が行われる。本実施形態では、露出補正ダイヤル３１の回動操作によって１／２ＥＶ毎に±３ＥＶの範囲で露出補正ができるものとする。露出補正範囲および露出補正の分解能はカメラの設計によって自由に設定可能である。
【００３４】
また、露出補正ダイヤル３１は押しボタンスイッチとすることもできる。露出補正操作機構を押しボタンスイッチで構成したときの一例を示す。前記押しボタンスイッチを１回押下すると１ステップずつ前述した露出値が変わり、露出手段補正範囲の上端で前記押しボタンが押下されると露出値は１ステップずつ減少し、下端で前記押しボタンが押下されると露出値は１ステップずつ増加する。
【００３５】
シャッターボタン３２は撮影開始の指示を入力する操作手段であり、半押し時にＯＮするＳ１ スイッチと、全押し時にＯＮするＳ２スイッチとを有する二段ストローク式のスイッチで構成されている。Ｓ１オンにより、ＡＥおよびＡＦ処理が行われ、Ｓ２オンによって記録用の露光が行われる。ズームスイッチ３３は、撮影倍率や再生倍率を変更するための操作手段である。
【００３６】
また、図示しないが、操作部３０には、撮影モードと再生モードとを切り換えるためのモード選択手段、液晶モニタ４０にメニュー画面を表示させるメニューボタン、メニュー画面から所望の項目を選択する十字ボタン（カーソル移動操作手段）、選択項目の確定や処理の実行を指令するＯＫボタン、選択項目など所望の対象の消去や指示内容の取消し、あるいは１つ前の操作状態に戻らせる指令を入力するキャンセルボタンなどの操作手段も含まれる。なお、操作部３０の中には、プッシュ式のスイッチ部材、ダイヤル部材、レバースイッチなどの構成によるものに限らず、メニュー画面から所望の項目を選択するようなユーザインターフェースによって実現されるものも含まれている。
【００３７】
操作部３０からの信号はＣＰＵ１４に入力される。ＣＰＵ１４は操作部３０からの入力信号に基づいてカメラ１０の各回路を制御し、例えば、レンズ駆動制御、撮影動作制御、画像処理制御、画像データの記録／再生制御、液晶モニタ４０の表示制御などを行う。
【００３８】
液晶モニタ４０は、撮影時に画角確認用の電子ファインダーとして使用できるとともに、記録済み画像を再生表示する手段として利用される。また、液晶モニタ４０は、ユーザインターフェース用表示画面としても利用され、必要に応じてメニュー情報や選択項目、設定内容などの情報が表示される。なお、液晶ディスプレイに代えて、有機ＥＬなど他の方式の表示装置（表示手段）を用いることも可能である。
【００３９】
次に、カメラ１０の撮影機能について説明する。
【００４０】
カメラ１０は撮影光学系としての撮影レンズ４２、絞り機構４３およびＣＣＤ固体撮像素子（以下ＣＣＤと記載）４４とを備えている。なお、ＣＣＤ４４に代えて、ＭＯＳ型固体撮像素子など他の方式の撮像素子を用いることも可能である。撮影レンズ４２は、電動式のズームレンズで構成されており、詳細な光学構成については図示しないが、主として倍率変更（焦点距離可変）作用をもたらす変倍レンズ群および補正レンズ群と、フォーカス調整に寄与するフォーカスレンズとを含む。
【００４１】
撮影者によってズームスイッチ３３が操作されると、そのスイッチ操作に応じてＣＰＵ１４からズーム駆動部４６に対して制御信号が出力される。ズーム駆動部４６は、動力源となるモータ（ズームモータ）とその駆動回路とを含む電動駆動手段である。ズーム駆動部４６のモータ駆動回路は、ＣＰＵ１４からの制御信号に基づいてレンズ駆動用の信号を生成し、ズームモータに与える。こうして、モータ駆動回路から出力されるモータ駆動電圧によってズームモータが作動し、撮影レンズ４２内の変倍レンズ群および補正レンズ群が光軸に沿って前後移動することにより、撮影レンズ４２の焦点距離（光学ズーム倍率）が変更される。
【００４２】
本実施形態では、ワイド（広角）端からテレ（望遠）端までのズーム動作範囲内において撮影レンズ４２の焦点距離を１０段階で可変できるものとする。撮影者は撮影目的に応じて所望の焦点距離を選択して撮影を行うことができる。
【００４３】
撮影レンズ４２のズーム位置（焦点距離に相当）は、ズーム位置検出センサ４８によって検出され、その検出信号はＣＰＵ１４に通知される。ＣＰＵ１４はズーム位置検出センサ４８からの信号によって現在のズーム位置（すなわち、焦点距離）を把握できる。ズーム位置検出センサ４８は、ズームモータ等の回転によりパルスを発生する回路であってもよいし、レンズ鏡胴の外周に位置検出エンコード板を配置した構成などであってもよく、本発明の実施に際しては、特に限定されるものではない。
【００４４】
撮影レンズ４２を通過した光は、絞り機構４３を介して光量が調節された後、ＣＣＤ４４に入射する。ＣＣＤ４４の受光面には多数のフォトセンサ（受光素子）が平面的に配列され、各フォトセンサに対応して赤（Ｒ）、緑（Ｇ）、青（Ｂ）の原色カラーフィルタが所定の配列構造（ベイヤー、Ｇストライプなど）で配置されている。
【００４５】
ＣＣＤ４４の受光面に結像された被写体像は、各フォトセンサによって入射光量に応じた量の信号電荷に変換される。ＣＣＤ４４は、シャッターゲートパルスのタイミングによって各フォトセンサの電荷蓄積時間（シャッタースピード）を制御する電子シャッター機能を有している。
【００４６】
ＣＣＤ４４の各フォトセンサに蓄積された信号電荷は、ＣＣＤドライバ５０から与えられるパルスに基づいて信号電荷に応じた電圧信号（画像信号）として順次読み出される。ＣＣＤ４４から出力された画像信号は、アナログ処理部５２に送られる。アナログ処理部５２は、ＣＤＳ（相関二重サンプリング）回路およびゲイン調整回路を含む先行処理部であり、このアナログ処理部５２において、サンプリング処理並びにＲ，Ｇ，Ｂの各色信号に色分離処理され、各色信号の信号レベルの調整（プリホワイトバランス処理）が行われる。
【００４７】
アナログ処理部５２から出力された画像信号はＡ／Ｄ変換器５４によってデジタル信号に変換された後、信号処理部５６を介してメモリ２２に格納される。このときメモリ２２に記憶される画像データは、ＣＣＤ４４から出力された画像信号のＡ／Ｄ変換出力をそのまま（未加工のまま）記録したものであり、ガンマ変換や同時化などの信号処理が行われていない画像データであり、以下、ＣＣＤＲＡＷデータという。ただし、「未加工のデータ」といっても、一切の信号処理を排除するものではなく、例えば、撮像素子の欠陥画素（キズ）のデータを補間する欠陥画素補正処理を行って得られた画像データなどについては汎用フォーマットに展開されていないという点でＣＣＤＲＡＷデータの概念に含まれるものとする。
【００４８】
タイミングジェネレータ（ＴＧ）５８は、ＣＰＵ１４の指令に従ってＣＣＤドライバ５０、アナログ処理部５２およびＡ／Ｄ変換器５４に対してタイミング信号を与えており、このタイミング信号によって各回路の同期がとられている。
【００４９】
信号処理部５６は、メモリ２２の読み書きを制御するメモリコントローラを兼ねたデジタル信号処理ブロックである。信号処理部５６は、ＡＥ／ＡＦ／ＡＷＢ処理を行うオート演算部と、同時化回路（単板ＣＣＤのカラーフィルタ配列に伴う色信号の空間的なズレを補間して各点の色を計算する処理回路）、ホワイトバランス回路、ガンマ変換回路、輝度・色差信号生成回路、輪郭補正回路、コントラスト補正回路等を含む画像処理手段であり、ＣＰＵ１４からのコマンドに従ってメモリ２２を活用しながら画像信号を処理する。
【００５０】
メモリ２２に格納されたＣＣＤＲＡＷデータは、バス１６を介して信号処理部５６に送られる。信号処理部５６に入力された画像データは、ホワイトバランス調整処理、ガンマ変換処理、輝度信号（Ｙ信号）および色差信号（Ｃｒ，Ｃｂ 信号）への変換処理（ＹＣ処理）など、所定の信号処理が施された後、メモリ２２に格納される。
【００５１】
撮影画像をモニタ出力する場合、メモリ２２から画像データが読み出され、表示回路６０に転送される。表示回路６０に送られた画像データは表示用の所定方式の信号（例えば、ＮＴＳＣ方式のカラー複合映像信号）に変換された後、液晶モニタ４０に出力される。ＣＣＤ４４から出力される画像信号によってメモリ２２内の画像データが定期的に書き換えられ、その画像データから生成される映像信号が液晶モニタ４０に供給されることにより、撮像中の映像（スルー画）がリアルタイムに液晶モニタ４０に表示される。撮影者は液晶モニタ４０に表示される映像（いわゆるスルームービー）によって画角（構図）を確認できる。
【００５２】
撮影者が画角を決めてシャッターボタン３２を押下すると、ＣＰＵ１４はこれを検知し、シャッターボタン３２の半押し（Ｓ１オン）に応動してＡＥ処理およびＡＦ処理を行い、シャッターボタン３２の全押し（Ｓ２オン）に応動して記録用の画像を取り込むためのＣＣＤ露光および読み出し制御を開始する。
【００５３】
本カメラ１０におけるＡＥ制御は、ＡＥ演算部は１画面を複数のエリア（例えば、８×８）に分割し、分割エリアごとにＲＧＢ信号を積算する回路を含み、その積算値をＣＰＵ１４に提供する。ＣＰＵ１４は、ＡＥ演算部から得た積算値に基づいて被写体の明るさ（被写体輝度）を検出し、撮影に適した露出値（撮影ＥＶ値）を算出する。求めた露出値と所定のプログラム線図に従い、絞り値とシャッタースピードが決定される。そして、アイリスモータを含む絞り機構駆動部６２およびＣＣＤ４４の電子シャッターを制御して最適な露光量を得る。
【００５４】
シャッターボタン３２の全押し（Ｓ２オン）に応動して取り込まれた画像データは、信号処理部５６においてＡＷＢ、γ処理、ＹＣ処理その他の所定の信号処理を経た後、圧縮伸張回路６４において所定の圧縮フォーマット（例えば、ＪＰＥＧ方式） に従って圧縮される。圧縮された画像データは、メディアインターフェース部６６を介して記録メディア１２に記録される。圧縮形式はＪＰＥＧに限定されず、ＭＰＥＧその他の方式を採用してもよい。
【００５５】
画像データを保存する手段は、ｘＤ−Ｐｉｃｔｕｅｒ Ｃａｒｄ 、スマートメディア（商標）、コンパクトフラッシュ（商標）などで代表される半導体メモリカード、磁気ディスク、光ディスク、光磁気ディスクなど、種々の媒体を用いることができる。また、リムーバブルメディアに限らず、カメラ１０に内蔵された記録媒体（内部メモリ）であってもよい。
【００５６】
モード選択手段によって再生モードが選択されると、記録メディア１２に記録されている最終の画像ファイル（最後に記録したファイル）が読み出される。記録メディア１２から読み出された画像ファイルのデータは、圧縮伸張回路６４によって伸張処理され、表示回路６０を介して液晶モニタ３８に出力される。
【００５７】
再生モードの一コマ再生時に十字ボタンを操作することにより、順方向又は逆方向にコマ送りすることができ、コマ送りされた次のファイルが記録メディア１２から読み出され、上記と同様にして画像が再生される。
【００５８】
主要被写体が暗い場合に起こる黒つぶれやハイコントラストシーンで起こる白飛び等のように、ＡＥによって得られた露光量で撮影を行うと再現画像が劣化してしまうことがある。上述したような再現画像の劣化を防ぐために、カメラ１０は露出補正機能を有している。
【００５９】
カメラ１０が有している露出補正機能は、人物の顔や人物の顔に相当する部分（以下、人物の顔および人物の顔に相当する部分を合わせて顔領域と記載）を抽出し、抽出された顔領域のヒストグラムを液晶モニタ４０に表示させる。撮影者は、液晶モニタ４０に表示された顔領域のヒストグラムによって露出補正の状況を判断することができる。
【００６０】
撮影者は、露出補正ダイヤル３１を回動操作してＡＥによって得られた露出に補正を加えることができる。
【００６１】
次に、上述した露出補正における顔領域の抽出（以下顔抽出と記載）について詳述する。まず、顔抽出処理における信号処理を説明すると、積算回路７０とホワイトバランス回路７２は、通常のオートホワイトバランス処理に使用している処理系である。また、その下段に示した、積算回路７４、ホワイトバランス回路７６および同時化回路７８は、顔抽出アルゴリズムの前処理を実施するための処理部（以下、前処理系という。）である。
【００６２】
Ａ／Ｄ変換器５４にてデジタル信号に変換されたＣＣＤＲＡＷデータはメモリ２２に格納され、メモリ２２から積算回路７０に送られる。積算回路７０は、１画面内を複数のエリア（例えば、８×８の６４ブロック）に分割し、エリアごとにＲＧＢ信号の色別の平均積算値を算出する回路を含み、その算出結果は基準光源（デイライト）を想定したホワイトバランス回路７２に送られる。ホワイトバランス回路７２でゲイン調整された信号はＣＰＵ１４に提供される。
【００６３】
ＣＰＵ１４は、Ｒの積算値、Ｂの積算値、Ｇの積算値を得て、Ｒ／Ｇ、Ｂ／Ｇの比を求め、これらＲ／Ｇ、Ｂ／Ｇの値と、ＡＥ演算による撮影ＥＶ値の情報に基づいてシーン判別（光源種の判別）を行い、シーンに適した所定のホワイトバランス調整値（光源の雰囲気を残すような設定）に従って、信号処理部５６内のホワイトバランス回路８０および前処理系のホワイトバランス回路７６のアンプゲインを制御し、各色チャンネルの信号に補正をかける。なお、シーン判別においては、Ｒ／Ｇ、Ｂ／Ｇの値を利用するのに代えて、Ｒ−Ｙ、Ｂ−Ｙなど色温度情報を用いてもよい。
【００６４】
その後、シャッターボタン３２の全押し（Ｓ２オン）に応動して記録用の画像を取り込む。Ｓ２オンに応じて取得されたＣＣＤＲＡＷデータは一旦メモリ２２に格納され、その後、信号処理部５６および顔抽出用の前処理系の積算回路７４に送られる。
【００６５】
図２は顔抽出の一例を示すイメージ図である。本実施形態に示す顔抽出は、原画像（Ａ）から肌色領域の抽出を行い（Ｂ）、同時にエッジの抽出を行う（Ｃ）。（Ａ）と（Ｂ）から顔候補領域を抽出し（Ｄ）、形状、大きさから顔として妥当なモデル形状をもとに顔領域を抽出する（Ｅ）。
【００６６】
図３は、顔抽出におけるシーケンスを示すフローチャートである。
【００６７】
まず、シャッターボタン３２のＳ１オンを経て、ＣＣＤＲＡＷデータをメモリ２２に記録する（ステップＳ１１０）。図１で説明した前処理系（７４、７６、７８）による処理を行い、記録したＣＣＤＲＡＷデータから積算処理、ホワイトバランス処理および同時化処理を行う（図３のステップＳ１１４）。
【００６８】
ＣＰＵ１４は、ＥＥＰＲＯＭ２４に記録されている肌色テーブルを取得する（ステップＳ１１６）。肌色テーブルは、所定の色空間において「肌色」として認識される色相の範囲を定めたデータである。ＣＰＵ１４は、前処理系の同時化回路７８から取得したＲＧＢの３面データ（リニアな系のデータ）をもとに、肌色テーブル内の色相を検出する（ステップＳ１１８）。
【００６９】
図４は、肌色として抽出されるべき色相の範囲（肌色抽出エリア）を例示した図である。図示した色空間はガンマをかける前のリニアな系であり、横軸をＲ／Ｇ、縦軸をＢ／Ｇとした座標系である。
【００７０】
図４において、符号８８の矩形枠で囲まれた範囲が肌色抽出エリアとして設定されている。すなわち、Ｇに対してＲが少し多く、また、ＢはＧに対して少し低い値を示す範囲を「肌色」と定めておき、この範囲内に入ったものを肌色として判定する。
【００７１】
更に、肌色抽出エリア８８は、彩度によって更に複数のエリアに分割されている。図４において、「彩度」は原点Ｏ（１，１）からの距離によって表され、原点Ｏから離れるほど彩度が高くなる。同図の例では、原点を中心とする同心円状の境界線（破線により図示）によって肌色検出エリア８８が６つの領域に区分けされている。
【００７２】
ＣＰＵ１４は、前処理系の同時化回路７８から取得したＲＧＢの三面データから肌色領域を検出した後、更に、当該肌色検出された部分を、彩度を基準に領域分割する（図３のステップＳ１１８）。
【００７３】
画像内で対象物が異なるとその彩度も異なり、一般に人物の顔の肌色は、タングステン光源下の白色物や机などの木よりも彩度が高い傾向がある。したがって、肌色検出された領域を彩度によって細かく分けてその領域形状を把握することにより顔領域であるか、顔以外の領域であるかを判別することが容易になる。
【００７４】
ステップＳ１２０において彩度による領域分割を行った後は、ステップＳ１２２に進む。ステップＳ１２２では、ステップＳ１１０で入手した画像データの高周波成分を検出して、エッジ抽出を行う。
【００７５】
そして、彩度によって分割された肌色領域とステップＳ１２２で抽出したエッジを合成し、顔領域の候補を抽出する（ステップＳ１２４）。
【００７６】
ステップＳ１２４で絞り込まれた顔領域候補の中から、更に各領域について形状検出を行い、形状から顔領域を特定する（ステップＳ１２６）。すなわち、顔として妥当なモデル形状（楕円や円）から定められた縦横比の規定値と、顔候補の形状とを対比し、検出された形状の縦横比が規定値から大きく外れるものについては、顔以外の領域であると判断する。この形状判定によって顔候補が更に絞り込まれ、所定の縦横比を有する形状の領域部分が「顔」として判定される。
【００７７】
こうして、顔領域が抽出され、その抽出結果は露出補正に利用される。また、顔抽出は露出補正以外に、ホワイトバランス補正、肌色をベストの色（目標値）に近づける色補正、赤目補正などに利用される。
【００７８】
また、上述した顔抽出に顔の大きさを判断し、明らかに顔の大きさでない領域を除外し、顔抽出の精度を上げることが可能である。
【００７９】
撮影距離、視野角（焦点距離、ＣＣＤサイズ）と焦点距離とから、当該焦点距離におけるＣＣＤ４４上での顔のサイズを求めることができる。ワイド端からテレ端までのいくつかの焦点距離についてＣＣＤ４４上での顔サイズの最大値をデータテーブルとして、カメラ１０内のＥＥＰＲＯＭ２４に記憶させておく。
【００８０】
図３のステップ１２０における彩度による領域分割後に、焦点距離情報に従いＥＥＰＲＯＭ２４から顔領域の最大値テーブルを入手し、当該焦点距離における顔領域の予測最大値を求め、この最大値を顔領域の判断基準に設定する。この最大値より極端に大きい領域は顔でないと判断して顔領域の候補から排除することができる。
【００８１】
顔抽出には他の形態を適用することが可能であり、主要被写体である顔領域を精度よく抽出できればよい。
【００８２】
図５は、本実施形態における露出補正の制御の流れを示すフローチャートである。
【００８３】
撮影スタンバイ状態（ステップＳ２００）ではレリーズボタン３２半押し（以下Ｓ１オンと記載）を監視し（ステップＳ２０２）、Ｓ１オンにならない場合には（ＮＯ判定）Ｓ１オンの監視を継続し、Ｓ１オンになると（ＹＥＳ判定）、取得した画像にはＡＥ、ＡＦ、ＡＷＢ等の所定の信号処理が行われる（ステップＳ２０４）。
【００８４】
ステップＳ２０４において所定の信号処理が終了すると、液晶モニタ４０にＡＥの結果求められた撮影条件が表示される（ステップＳ２０６）。液晶モニタ４０に表示される撮影条件には絞り値、シャッタースピード、露出値が含まれている。
【００８５】
撮影者は液晶モニタ４０に表示された撮影条件から露出補正を行うか否かを判断し（ステップＳ２０８）、露出補正の必要があれば露出補正ダイヤル３１を回動操作して露出補正を行うことができる。
【００８６】
ステップＳ２０８において、露出補正ダイヤル３１が操作されない場合には（ＮＯ判定）、カメラ１０の制御はレリーズボタン３２全押し（以下Ｓ２オンと記載）待ちに遷移し（ステップＳ２２２）、露出補正ダイヤル３１が操作されると（ＹＥＳ判定）、図２乃至４に示した顔抽出を実行する（ステップＳ２１０）。
【００８７】
ステップＳ２１０において、顔領域が抽出されると、抽出された顔領域の色相のヒストグラムが液晶モニタ４０に表示される。液晶モニタ４０に表示される再現画像からは、主要被写体に黒つぶれや白飛びが起こっているかを判断することは難しく、撮影者が黒つぶれや白飛びを確認する情報としてヒストグラムは便利である。図６はヒストグラムの表示例を示している。
【００８８】
液晶モニタ４０には、Ｓ１オン時に取得した画像が表示されている。符号１００は主要被写体である人物であり、符号１０２は図５のステップＳ２１０において抽出された顔領域を示している。
【００８９】
図６において、液晶モニタ４０の右端には図５のステップＳ２１２に示した顔領域の色相のヒストグラムが表示されている。上からＲ信号のヒストグラム１０４、Ｂ信号のヒストグラム１０６、Ｇ信号のヒストグラム１０８である。
【００９０】
図６には、再現画像の表示領域とヒストグラムの表示領域を分けて表示する形態を示したが、ヒストグラムの表示形態はこれに限定されない。画像とヒストグラムとを重ねて表示する形態（オーバーレイ表示）でもよい。
【００９１】
また、図６ではヒストグラムを画面右端に表示したが、ヒストグラムの表示位置は画面内の何れの領域でもよい。さらに、ヒストグラム等の情報表示装置を液晶モニタ４０と別に備えてもよい。
【００９２】
本実施形態におけるカメラ１０では、顔領域の色相のヒストグラムは、Ｒ信号、Ｇ信号、Ｂ信号のヒストグラムを表示させる。
【００９３】
顔領域の色相のヒストグラムは３種類をすべて表示させてもよいし、１種類または２種類を選択して表示させてもよい。また、本実施形態では３種類をすべて表示させる形態としたが、３種類同時に表示させてもよいし、１種類ずつ切り換えながら表示させてもよい。
【００９４】
表示させるヒストグラムは、色相のヒストグラムに限定されず、顔領域の輝度信号やその他の信号のヒストグラムを表示してもよい。
【００９５】
図５のステップＳ２１２にて、顔領域のヒストグラムが液晶モニタ４０に表示されると、カメラ１０の撮影条件が変更される（ステップＳ２１４）。ステップＳ２１４においてカメラ１０の撮影条件が変更されると、新たに設定された撮影条件にて顔領域の黄変が起こるか否かを判断する（ステップＳ２１６）。
【００９６】
黄変とは、Ｒ信号がＧ信号およびＢ信号より先に飽和してしまい、本来肌色である顔領域が再現画像では黄色がかった色に変色してしまう再生画像の劣化のことである。黄変が起こるか否かはＲ信号から判断することができる。
【００９７】
ステップＳ２１６において、顔領域の黄変が起こらないと判断された場合には（ＮＯ判定）、カメラ１０の制御はＳ２オン待ちに遷移し（ステップＳ２２２）、顔領域の黄変が起こると判断された場合には（ＹＥＳ判定）、カメラ１０は再現画像に黄変が起こる旨の警告を発し（ステップＳ２１８）、ステップＳ２２０に進む。
【００９８】
ステップＳ２２０では、露出補正ダイヤル３１が操作されるか否かを監視し、露出補正ダイヤル３１が操作されないと（ＮＯ判定）、カメラ１０の制御はＳ２オン待ちに遷移し（ステップＳ２２２）、露出補正ダイヤル３１が操作されると（ＹＥＳ判定）、露出補正ダイヤル３１の操作に合わせてカメラ１０の撮影条件が変更される（ステップＳ２１４）。
【００９９】
ステップＳ２２２において、Ｓ２オンとならない場合には（ＮＯ判定）、ステップＳ２２４に進み、ステップＳ２２４ではＳ１オンの解除を監視する。Ｓ１オンが解除されないと（ＮＯ判定）、カメラ１０の制御はＳ２オン待ちに遷移し（ステップＳ２２２）、Ｓ１オンが解除されるとカメラ１０の制御はスタンバイに遷移する（ステップＳ２００）。
【０１００】
ステップＳ２２２において、Ｓ２オンとなると（ＹＥＳ判定）、撮影画像が記録され（ステップＳ２２６）、カメラ１０の制御はスタンバイに戻る（ステップＳ２００）。
【０１０１】
ステップＳ２１０の顔抽出およびステップＳ２１２のヒストグラム表示では、Ｓ１オンが保持されることが必要であり、Ｓ１オンの状態が保持される機構や制御があることが好ましい。Ｓ１オンを保持する形態はレリーズボタン３２を半押ししながら露出補正ダイヤル３１を操作する形態でもよい。
【０１０２】
露出補正を行った結果を反映させたヒストグラムや再現画像をリアルタイムに表示させ、露出補正によるヒストグラムや再現画像の変化を撮影者が確認できることが好ましい。
【０１０３】
また、露出補正の際にヒストグラムを表示したが、Ｓ１オンでは常にヒストグラムを表示させてもよいし、ヒストグラム表示ボタンを設けてヒストグラムの表示／非表示を撮影者が切り換えてもよい。
【０１０４】
主要被写体の黒つぶれや白飛びを容易に判断できる情報形態には、レベルメータ表示や数値表示、記号を含む文字表示等の可視情報や、可聴領域の伝播信号を含む音声情報がある。また、上述した可視情報と可聴情報を組み合わせて撮影者に提供してもよい。
【０１０５】
本実施形態では、Ｓ１オンにより信号処理を施された画像を露出補正の対象画像としたが、露出補正の対象画像はスルー画でもよい。
【０１０６】
上記の如く構成されたカメラ１０は、ＡＥによって設定された露出値（撮影条件）をもとに露出補正ダイヤル３１を操作して露出補正を行うことができ、露出補正を行うときには顔抽出を行い抽出された顔領域の色相のヒストグラムを液晶モニタ４０に表示させる。さらに、補正された撮影条件によって顔領域に黄変が起こるときには警告を発するように構成したので、取得した画像に適した露出補正を行うことができ、良好な再現画像を得ることができる。また主要被写体の不自然さから露出補正に関する警告が行われる。
【０１０７】
本実施形態ではデジタルカメラによる静止画撮影について開示したが、本発明は動画撮影にも適用可能である。
【０１０８】
【発明の効果】
本発明によれば、露出補正の際に、被写体から人物の顔に相当する領域を抽出し、抽出された顔領域から得られた情報に基づいて露出補正のアシスト情報が提供されるので、提供されたアシスト情報により露出補正の適否と補正量を判断し易い。これにより適切な露出補正が可能になり、逆光シーンにおける黒つぶれやハイコントラストシーンにおける白飛びや黄変等による画像劣化が少なく、主要被写体が適正な明るさや色で再現される良好な画像を得ることができる。
【０１０９】
アシスト情報としてヒストグラムを表示すれば、黒つぶれや白飛び等の画質劣化の判断を撮影者が容易に行うことができる。さらに、撮像手段に備えられたカラーフィルタに対応した色相のヒストグラムを表示することができ、撮像手段にＲ、Ｇ、Ｂカラーフィルタが備えられている場合には、Ｒ信号、Ｇ信号、Ｂ信号のうち少なくとも１つのヒストグラムを表示することができる。
【０１１０】
特に、Ｒ信号がＧ信号およびＢ信号より先に飽和すると、再現画像に黄変が発生するので、少なくともＲ信号のヒストグラムを表示することが好ましい。
【０１１１】
露出補正を監視し、露出補正が適正でないと判断されたときには警告を発するようにしたので、露出補正を行ったにも関わらず劣化した画像が生成されたり、補正過剰のために再現画像が劣化したりすることを避けることができる。
【図面の簡単な説明】
【図１】本発明の実施形態に係るデジタルカメラのブロック図
【図２】本発明の実施形態に係るデジタルカメラの顔抽出の概念図
【図３】本発明の実施形態に係るデジタルカメラの顔抽出制御の流れを示したフローチャート図
【図４】顔抽出において肌色として抽出されるべき色相の範囲（肌色抽出エリア）を例示した図
【図５】本実施形態に係るデジタルカメラの露出補正制御の流れを示したフローチャート
【図６】ヒストグラムの表示例
【符号の説明】
１０…デジタルカメラ、１４…ＣＰＵ、３１…露出補正ダイヤル、４０…液晶モニタ、４３…絞り機構、５６…信号処理部、６２…絞り機構駆動部、１０２…顔領域、１０４…Ｒ信号のヒストグラム、１０６…Ｇ信号のヒストグラム、１０８…Ｂ信号のヒストグラム

Claims (4)

1. 被写体の光学像を電気信号に変換する撮像手段と、
   前記被写体の明るさに応じて前記撮像手段の露出を制御する自動露出制御手段と、
   前記自動露出制御手段によって決定される露出の補正を行う露出補正手段と、
   前記撮像手段を介して取得された画像内の人物の顔に相当する領域を抽出する顔抽出手段と、
   前記顔抽出手段により抽出された顔領域から得られる情報を撮影者に対して提供するアシスト情報提供手段と、
   を備えたことを特徴とする撮像装置。
2. 前記アシスト情報提供手段は前記顔領域から得られる情報を表示する表示手段を備えたことを特徴とする請求項１記載の撮像装置。
3. 前記表示手段は前記顔抽出手段により抽出された顔領域の色相のヒストグラムが表示されることを特徴とする請求項１または２記載の撮像装置。
4. 前記露出補正手段は、露出補正の状況を監視する露出補正監視手段と、
   前記露出補正手段により指定された露出補正によって前記顔領域の色劣化が発生するか否かを判定する劣化判定手段と、
   前記劣化判定手段により前記顔領域の色劣化が発生すると判定されたときに警告を発する警告手段と、
   を備えたことを特徴とする請求項１乃至３のうちいずれか１項に記載の撮像装置。

Images