JP2008236101A - 撮像装置および撮像方法 - Google Patents

Abstract

【課題】人肌が極端に青白くまたは赤っぽくなるようなカラーフェイリアを軽減する。
【解決手段】特定部分または画像全体のＲ，Ｇ，Ｂ信号それぞれの積算値を読み出す（Ｓ１）。Ｒ，Ｇ，Ｂ信号の積算値を読み出しＷＢ評価値（Ｒ／Ｇゲイン、Ｂ／Ｇゲイン）の算出を行う（Ｓ２）。 求めた積算値の比（ＷＢ評価値）を、Ｒ／Ｇ，Ｂ／Ｇを軸とした色空間にプロットして白検出を行う（Ｓ３）。白検出で光源の種類を判別し求めたＷＢ補正値の平均によって、１画面のＡＷＢ補正値（ＡＷＢ算出ゲイン）を算出し決定する（Ｓ４）。検出した顔領域の色空間上のＷＢ評価値を取得する（Ｓ５）。顔領域において取得したＷＢ評価値から求めた算出値の顔算出ゲインで、処理Ｓ４のＡＷＢ算出ゲインを変更して補正（顔検出補正）する（Ｓ６）。顔のみ適切なＷＢで、他の被写体のＷＢは極端にずれることがなく、カラーフェイリアを軽減することができる。
【選択図】図３

Description

本発明は、デジタルカメラ等の撮像装置に係り、特に、オートホワイトバランス制御を行う撮像装置および撮像方法に関するものである。

従来、ビデオカメラ、ＶＴＲ一体型カメラ、電子スチルカメラ等の撮像装置や、携帯端末装置に付属する撮像装置では、カラー撮像時に安定した色再現を得るため、被写体において、人間が白く見える部分を記録画像でも白く再現するためにオートホワイトバランス（以下、ＡＷＢという）処理が行われている。

一般的にＡＷＢを実現する制御方法としては、被写体から白色（無彩色）部分を抽出し、抽出された領域の色情報からＷＢ補正値を計算する。例えば、１画面が１６×１６に分割された２５６個の領域ごとに、Ｒ，Ｇ，Ｂ信号それぞれの積算値を算出し、その分割された領域ごとにＧ信号の積算値に対するＲ，Ｂ信号の積算値の比（Ｒ／Ｇ，Ｂ／Ｇ）を求める。

次に、求められた２５６個の積算値の比を、Ｒ／Ｇ，Ｂ／Ｇを軸とした色空間（ホワイトバランス色空間）にプロットし、それらの分布から白検出を行う。白検出を行うためには予め色空間上に光源（昼光やタングステン光）の色温度を変化させた場合における黒体輻射の軌跡をリファレンスゲインとして用意しておき、プロットされた２５６個の制御値とマッチングをとることにより、各種光源下における白検出が実現できる。

この白検出により被写体における光源の種類を判別し、判別された光源に対して、Ｒ，Ｇ，Ｂ信号の積算比がＲ：Ｇ：Ｂ＝１：１：１となるようなホワイトバランスゲイン（ＷＢ補正値）をそれぞれの画素に乗算することでホワイトバランス（ＷＢ）の補正が実現できる。これは人間の色順応のメカニズムに基づいており、人間は異なる照明下においても白いものが白く見えるように色順応が働くという仮説に基づいている。

したがって、ＡＷＢとは、画面全体が白色となる基準被写体を撮影している状態で、撮影信号としてのＲ信号、Ｇ信号、Ｂ信号の出力レベルを等しくする調整動作ということができる。Ｒ信号、Ｇ信号、Ｂ信号の出力レベルを等しくするために、入力Ｒ信号、入力Ｇ信号、入力Ｂ信号のそれぞれに対して乗算される係数がホワイトバランス係数（ホワイトバランスゲイン）となる。

ところで、このような方式では、被写体に無彩色の部分がない場合や、被写体のほとんどを有彩色（物体色）が占める場合には、白検出ができないか、もしくは白検出の精度が低下し、結果的に誤ったホワイトバランス制御を行ってしまうという欠点がある。具体的な例を示すと、高色温度の光源下において人肌がアップのシーンで、人肌の肌色を低色温度光源下の白色（無彩色）と誤って判別し、人肌を青白く補正してしまうという問題が指摘されている。また森林のように緑が占める割合が大きい場合にも光源が蛍光灯であると誤判別してしまうことがある。

このような誤ったホワイトバランス制御はカラーフェイリアと呼ばれており、これを軽減するホワイトバランス制御として次のものが挙げられている。

特許文献１には、電子ズームでの撮像時においても、ホワイトバランスを適正に制御することを意図し、撮像手段により撮像素子上に撮像された領域と、ズーム領域の選択手段により選択されたズーム表示される領域とに基づいてホワイトバランス制御用の特徴抽出を行う撮像装置が開示されている。

また、特許文献２には、高色温度下において撮影された肌色を低色温度下の白色と誤判別し、人の肌を白くしてしまうという問題を解決することを意図した撮像装置が開示されている。特許文献２に開示された撮像装置は、撮影画面内で操作者が人肌（肌色）を選択し、選択された検出枠内で色評価を行い、ホワイトバランスを設定する。よって、この特許文献２によれば、白検出ができない場合（ＡＷＢの信頼性が低い場合）においても、例えば選択された検出枠が肌色であることが分かっていれば、その検出領域内の色情報を利用することで、肌色をターゲットとした（肌色の再現性を考慮した）ホワイトバランスの設定が可能となり、人肌が青白くなるのを防ぐことができる効果がある。

また、特許文献４には、人物などの主要被写体の形状や位置に適した重み付けを行った測光や測色を実現することができ、より適切な露出補正やホワイトバランス補正を行うこと、特許文献５には、安定したホワイトバランス調整を行うもので、画面内の各ブロック内に有彩色のものが存在するときや，ブロック内のＲＧＢの値が一様でない場合であっても、ホワイトバランス調整を行うことが記載されている。
特開２００４−６４６７６号公報 特開２００４−３１２１３９号公報 特開２００５−１７６２７２号公報 特開２００６−２１１４１６号公報 特開２００６−２０３３９３号公報

しかしながら、前述の特許文献１で開示されている従来の撮像装置にあっては、画面全体に白色（無彩色）が存在していない場合には前述の白抽出を行うことができないので、適切なホワイトバランスが設定できないという問題点が残っている。また、例えばポートレートモードなど人物が主要被写体となり、特に電子ズーム等を行って画面全体に人肌が存在するような場合、この人肌を低色温度側の白色であると誤認識して、人肌の色を白くして撮像するので、その結果、人肌が青白くなってしまうようなカラーフェイリアが発生するという問題も残っている。

特許文献２においては、操作者が肌色部分を何らかの方法で指定しなければならず、撮影の度にこのようなことをしているとシャッターチャンスを逃してしまうことになる。

また、ホワイトバランスによる肌色のカラーフェイリアを軽減するという点では、本発明の目的と類似するが、本発明では顔を検出した両領域の色情報を用いることで、肌色の判別，誤判別という概念とは関係なく、人肌を赤くしすぎたり、青くしすぎたりするカラーフェイリアを軽減することができるという点で構成や方法が相違している。

さらに、特許文献３には、画像データの記憶方式を撮像状態に応じて選択する撮像方法およびその装置が開示されており、例えば、ホワイトバランス処理の信頼性に基づいて、画像データの記憶方式を選択することが示されている。つまりは、ＡＷＢの信頼性が低い場合には、ＲＡＷデータの他に、ＲＡＷデータとは異なる形式のデータ（例えばＪＰＥＧ（Joint Photographic Experts Group）形式）を記録することを選択できるようにしている。

また、特許文献４は、人物などの主要被写体の形状を抽出して主要被写体部の領域を測光／測色のための領域とすることと、分割領域ごとに算出された測定値に対してそれぞれ重み付け係数を決定することを行っており、例えば、１６×１６の分割領域に対し、顔などの主要被写体の形状（位置)情報を利用することにより、各分割領域に対し重み付け領域を決定する。

さらに、各重み付け領域に対して重み付け係数を決定し、ＡＥ・ＡＷＢの計算に利用する評価値として、重み付け係数を加味した評価値を計算する。これにより、主要被写体部の評価値を重点的に加味したＡＥ／ＡＷＢ制御を行う。

このように主要被写体に対し、重み付けを行うこと、また検出した主要被写体に対し、重み付け領域（頭髪領域、肌色領域、周辺領域等）を考慮することが必要である。

特許文献５には、光源を特定するための白検出において、画面を１６×１６などに分割した各ブロックに対し、１ブロックを構成する画素群の中から特徴的な画素を検出して、この特徴的な画素から得られる色差と、ブロックを代表する色差を比較することにより、ブロックを代表する色差が、入力された画像の光源を反映しているか否かをチェックして、カラーフェイリアを低減するというものである。

ブロック内に無彩色と、有彩色のものが存在するときは、カラーフェイリアを軽減する手段として有効であると思われるが、ブロック内に有彩色しかない場合は代表値の色差と、特徴的な画素の色差を比較することが困難と思われ、また、光源の影響により有彩色を、無彩色と誤判別することで生じるカラーフェイリアの問題を解決することはできない。

また、操作者の意思で意図的にずらしたホワイトバランスを設定することで芸術的効果を狙ったりすることもあり、このような場合には、ホワイトバランス処理等の画像処理を加える前のＲＡＷデータ（ＣＣＤからの信号出力をＡ／Ｄ変換した生データ）に対し、最低限の画像処理を加えたものを記録しておき、ＰＣ等でＲＡＷデータを自分好みの画像処理パラメータ（ホワイトバランスを含む）により現像するという技術がある。

しかしながら、ＲＡＷデータを保存するという方法には、以下に示す幾つかの問題点が挙げられる。
１）ＲＡＷデータは、ＪＰＥＧデータと比べると、そのサイズが大きく、よって大容量のストレージを必要とする。
２）ＲＡＷデータを現像する手段を備えなければならない（そもそもＲＡＷデータは、操作者好みの詳細な画質設定を実現することが目的であり、この目的を果たすことが可能なＲＡＷデータの現像機能をカメラでサポートしているものはないものと推測される。基本的には、ＰＣアプリケーション等の専用現像ソフトを用いて操作者の要望に応じたきめ細かな画質パラメータを設定した上で現像処理を行う必要がある）。
３）現像に伴う高度な知識が必要となる。

したがって、気軽に楽しむライトユーザや、ＰＣ等の操作に不慣れな操作者にとっては敷居の高い機能である。

本発明は、前記従来技術の問題を解決することに指向するものであり、従来の技術では人肌を青白く、または赤っぽくしてしまうような光源下であっても、人肌が極端に青白くまたは赤っぽくなるようなカラーフェイリアを軽減することが可能なホワイトバランス制御を行う撮像装置および撮像方法を提供することを目的とする。

前記の目的を達成するために、本発明に係る撮像装置は、光学像を電気的な画像信号に変換する撮像手段と、画像信号の色情報に基づいてホワイトバランス制御用の色信号抽出を行い色空間上に展開する色信号抽出手段と、色空間上から色信号を選択する色空間選択手段と、色空間上の色信号に基づき算出した補正値を用いてホワイトバランス制御を行うホワイトバランス制御手段とを有する撮像装置において、画像信号から人物の顔領域の位置を検出する顔検出手段を備え、検出した顔領域に対応して抽出した色空間上の色信号を選択し、選択した色信号から算出した算出値に基づいて、ホワイトバランス制御を行うため算出した補正値を変更することによって、顔色が青白くなったり、赤っぽくなったりするカラーフェイリアを軽減することができる。

また、請求項２〜４に記載した撮像装置は、請求項１の撮像装置であって、色信号抽出手段は色信号を抽出する１画面を分割した領域において、色情報のＲ，Ｇ，Ｂ信号からそれぞれの積算値を求めて、領域ごとのＲ／Ｇ比，Ｂ／Ｇ比を算出すること、また、色信号抽出手段の抽出した色信号が展開されるＲ／Ｇ，Ｂ／Ｇ軸の色空間上において、ホワイトバランス制御を行うため算出した補正値と、検出した顔領域に対応し選択した色信号から算出した算出値との距離が所定範囲に収まるように補正値を変更すること、または、色信号抽出手段の抽出した色信号が展開されるＲ／Ｇ，Ｂ／Ｇ軸の色空間上において、ホワイトバランス制御を行うため算出した補正値と、検出した顔領域に対応し選択した色信号から算出した算出値とを直線で結ぶ距離が所定の比率で外分または内分とする位置に補正値を変更することによって、色空間上での補正値と算出値との距離を、所定範囲に収まるようにしたことで、顔領域の色味をある程度保存することができ、また、補正値と算出値を直線で結ぶ距離が所定の比率で外分または内分とすることで、２次元空間において簡単に求められ、この算出値による補正値の変更でホワイトバランスが大きくずれることも少なく、かつ顔色が青白くなったり、赤っぽくなったりするカラーフェイリアを軽減することができる。

また、請求項５〜８に記載した撮像装置は、請求項１〜４の撮像装置であって、顔検出手段は所定の大きさより大きな顔領域を検出すること、また、顔検出手段が複数の顔領域を検出した場合、それぞれの顔領域に対応し選択した色信号から算出した算出値の平均を求めて、平均を求めた算出値によりホワイトバランス制御を行うため算出した補正値を変更すること、または、顔検出手段が検出した複数の顔領域の中から主要被写体を決定する主要被写体決定手段を有し、決定された主要被写体の顔領域に対応し選択した色信号から算出した算出値によりホワイトバランス制御を行うため算出した補正値を変更すること、さらに、主要被写体決定手段は、予め撮像装置に登録されている顔領域のデータに基づき主要被写体として決定することによって、画像全体に対し、顔領域が小さい場合は顔よりも画像全体の補正値を優先でき、検出した複数の顔領域それぞれの算出値の平均を用いることで、すべての顔領域に対して、ある程度好ましい補正値を設定でき、さらに、主要被写体を選択して、優先する被写体に好ましい補正値を設定でき、これに付随して、顔領域のデータ（人物の顔を認識）により、識別可能な場合に主要被写体として、好ましい補正値を設定することができる。

また、請求項９に記載した撮像方法は、光学像を電気的な画像信号に変換する工程と、画像信号の色情報に基づいてホワイトバランス制御用の色信号の抽出を行い色空間上に展開する工程と、色空間上から色信号を選択する工程と、ホワイトバランス制御を行うため色空間上の色信号に基づき算出した補正値を求める工程とからなる撮像方法において、画像信号から人物の顔領域の位置を検出する工程を有し、検出した顔領域に対応して抽出した色空間上の色信号を選択し、選択した色信号から算出した算出値に基づいて、ホワイトバランス制御を行うため算出した補正値を変更し、変更した補正値によりホワイトバランス制御を行うことによって、顔色が青白くなったり、赤っぽくなったりするカラーフェイリアを軽減することができる。

本発明によれば、顔領域の色信号を利用することで、人肌を青白く、または赤っぽくしてしまうような光源下であっても、顔色が青白くなったり、赤っぽくなったりするカラーフェイリアを軽減するホワイトバランス制御を行うことができるという効果を奏する。

以下、図面を参照して本発明における実施の形態を詳細に説明する。図１（ａ），（ｂ），（ｃ）は本発明の実施形態における撮像システムであるデジタルカメラの外観を示す（ａ）は平面図、（ｂ）は正面図、（ｃ）は背面図である。図１（ａ），（ｂ），（ｃ）において、カメラボディの上面部分には、レリーズスイッチ（いわゆるシャッターボタン）ＳＷ１、モードダイヤルＳＷ２およびサブＬＣＤ（液晶ディスプレイ）１が配置されている。カメラボディの正面部分には、ストロボ発光部３、測距ユニット５およびリモコン（リモートコントローラ）受光部６が設けられている。光学ファインダ４は、対物面がこのカメラボディの正面部分に位置しており、鏡胴ユニット７も対物面を正面側に向けて設けられている。鏡胴ユニット７は、撮影レンズを内包している。

カメラボディの背面部分には、電源スイッチＳＷ１３、ＬＣＤモニタ１０、ＡＦ（オートフォーカス）ＬＥＤ（発光ダイオード）８、ストロボＬＥＤ９、広角方向ズームスイッチＳＷ３、望遠方向ズームスイッチＳＷ４、セルフタイマ／削除スイッチＳＷ５、メニュースイッチＳＷ６、上移動・ストロボスイッチＳＷ７、右移動スイッチＳＷ８、ディスプレイスイッチＳＷ９、下／マクロスイッチＳＷ１０、左移動・画像確認スイッチＳＷ１１およびＯＫスイッチＳＷ１２が設けられている。

光学ファインダ４は、主要部分はカメラボディ内に収容されているが、その接眼面を背面部分に配置している。カメラボディの側面部分には、メモリカード／電池装填室の蓋２が設けられている。これらの各部の一般的な機能および作用は、良く知られているので、その詳細な説明は省略する。

また、本発明に係る撮像装置の外観は、必ずしも図１（ａ），（ｂ），（ｃ）に示す外観に限定されるものではなく、他の外観を備えていても構わない。また、本実施形態では、画像入力装置を、デジタルスチルカメラの撮影モジュールとした撮像システムとしているが、このような撮像システムに限るものではなく、ハンドスキャナ＋ＰＤＡなどの、画像入力装置と画像処理装置と表示装置とを備えた画像処理システムであっても良い。

また、図２は本発明の実施形態に係るデジタルカメラ内部における機能ブロックの構成を示した概略構成図である。図２において、前述の図１に示した機械的要素を動作させる回路要素については、同じ符号を付し示している。本実施形態に係る撮像装置は、被写体の光学画像を集光するレンズユニット７１と、レンズユニット７１により集光された光束を集束する絞り部７２と、図示しない複数のレンズを移動させて焦点を合わせたり、絞り部７２を駆動したり、図示しないメカニカルシャッターを駆動したりするモータドライバ７５と、レンズユニット７１と絞り部７２とを通過した光学画像を入力してアナログの画像信号に変換するＣＣＤ（Charge Coupled Device：電荷結合素子）１０１とを備える。

ＣＣＤ１０１は、被写体像を画像信号に変換してＦ／Ｅ−ＩＣ（フロントエンド集積回路）１０２に画像信号を出力する。Ｆ／Ｅ−ＩＣ１０２は、ＣＣＤ１０１からの画像信号をサンプリングして雑音を低減するＣＤＳ（Correlated Double Sampling：相関二重サンプリング）１０２１と、ＣＤＳ１０２１の出力ゲインを調整するＡＧＣ１０２２と、ＡＧＣ（自動利得制御）１０２２から出力されるアナログの画像信号をデジタルの画像信号に変換するＡ／Ｄ変換器１０２３と、タイミングを発生してＡ／Ｄ変換器１０２３の動作タイミングを指示するＴＧ（タイミング発生器）１０２４とを備える。

さらに、撮像画像の記録と画像処理された画像（ＪＰＥＧ圧縮データ、表示用データ等）の記憶とを行うＳＤＲＡＭ１０３（画像記録手段）と、入力された画像信号および画像パラメータに従って画像処理を行う信号処理ＩＣ１０４と、操作者が本装置（図１参照）を操作するためのレリーズスイッチＳＷ１用の押しボタン等を備えた操作部１０５と、後述するＣＰＵ１０４３を制御する制御プログラムやデータを格納したＲＯＭ１０６と、後述する圧縮伸張部１０４５により圧縮された画像データを格納するメモリカード１０７とを備える。また、後述する表示出力制御部１０４６を介して画像データが表示されるＬＣＤモニタ１０（図１（ｃ）参照）を備える。

信号処理ＩＣ１０４は、ＣＣＤ１０１への同期信号を出力すると共に、同期信号に合わせた画像データの取り込みを行うＣＣＤインターフェース部（Ｉ／Ｆ）１０４１と、ＳＤＲＡＭ１０３への画像データの伝達を行うメモリコントローラ１０４２と、ＲＯＭ１０６に格納された制御プログラムに基づいて本装置全体を制御や色情報の抽出などを行っているＣＰＵ１０４３と、入力された画像データを表示可能なデータ形式や記録が可能なＹＵＶのデータ形式に変換するＹＵＶ変換部１０４４（データ形式変換手段）と、信号処理ＩＣ１０４で処理した画像データを圧縮、もしくは原画像データに伸張する圧縮伸張部１０４５とを備える。

また、信号処理ＩＣ１０４からの表示出力を制御し、本装置に内蔵されているＬＣＤに出力する表示出力制御部１０４６と、表示や記録のサイズに合わせて画像サイズを変更するリサイズ処理部１０４７と、ＪＰＥＧで記録する場合の圧縮伸張部１０４５におけるデータ圧縮処理や、画像データのメモリカード１０７への書き込み処理を制御するメディアＩ／Ｆ（インターフェース部）１０４８とを備える。

以下に、本実施形態に係るデジタルカメラの基本的な動作を説明する。鏡胴ユニット７のレンズユニット７１および絞り部７２を介してＣＣＤ１０１で受光された被写体の画像は、ＣＤＳ１０２１により画像ノイズの除去のために相関二重サンプリングを行い、後段のＡＧＣ１０２２で利得調整され、さらに、Ａ／Ｄ変換器１０２３により、デジタル映像信号に変換されて信号処理ＩＣ１０４に入力される。信号処理ＩＣ１０４では、ＣＣＤＩ／Ｆ１０４１が、ＣＣＤ１０１への同期信号を出力すると共に、同期信号に合わせた画像データの取り込みを行う。

また、メモリコントローラ１０４２は、ＳＤＲＡＭ１０３へ、保存すべき画像データの伝達を行う。ＣＰＵ１０４３は、ＲＯＭ１０６に格納された制御プログラムに基づいて本装置全体を制御する。ＹＵＶ変換部１０４４は、ＣＰＵ１０４３の制御下で、入力された画像データを表示可能で、かつ記録が可能なＹＵＶのデータ形式に変換する。また、圧縮伸張部１０４５は、信号処理ＩＣ１０４で処理された画像データを、メモリコントローラ１０４２を介して受け取り、圧縮もしくは原画像データに伸張した後、メモリコントローラ１０４２に返す。

さらに、表示出力制御部１０４６は、信号処理ＩＣ１０４からの表示出力をメモリコントローラ１０４２を介して受け取り、ＬＣＤモニタ１０に表示する。また、リサイズ処理部１０４７は、メモリコントローラ１０４２を介して画像データを受け取り、表示や記録のサイズに合わせて画像サイズを変更する。さらに、メディアＩ／Ｆ１０４８は、メモリコントローラ１０４２を介して画像データを受け取り、メモリカード１０７に書き込んだり、さらに、メモリカード１０７から画像データを読み込んだりする。さらに、ＪＰＥＧで記録する場合の圧縮伸張部１０４５におけるデータ圧縮処理を制御する。

なお、ＳＤＲＡＭ１０３には、画像データおよびＪＰＥＧ圧縮データを一時保管するためのメモリと、表示用データを保持するためのメモリと、ＣＰＵ１０４３が使用するＲＡＭとを備えている。

本実施形態に係るデジタルカメラに特徴的な動作を、静止画撮影の場合を例に詳細に説明する。レリーズスイッチＳＷ１用の押しボタンが押下されると、撮影に先立ちＡＦ（自動焦点距離調節）の機能が動作する。これにより、例えば、フォーカスレンズを移動させながらコントラストの最大値を見つける山登りＡＦ処理などが行われ、被写体に対して焦点が合わされる。

これは映像信号のＧ信号（または輝度値であるＹ信号）の高周波成分からＡＦ評価値を作成し、これが最大になるところのフォーカスレンズ位置を算出し、フォーカスレンズを移動させる処理である。ＡＦの評価値を取得するエリアについては被写体に対し、複数のエリアを考慮するマルチエリアＡＦや、一部しか考慮しないスポットエリアＡＦなどがある。そしてＡＦ評価値を基に撮影シーンに適したフォーカス位置を算出し、そのポイントへフォーカスレンズを移動させる。フォーカスレンズはＣＰＵ１０４３の命令により、レンズユニット７１のモータドライバ７５を介して移動させることができる。

次に、静止画撮影用の電子シャッター設定、ＡＧＣ１０２２の計算／設定、絞り部７２の計算／設定が行われ（ＡＥ（Auto Exposure）処理）、記録用の露光が行われる。ＣＰＵ１０４３からの命令により、電子シャッター設定はＣＣＤ１０１の駆動を制御するＴＧ１０２４により、ＡＧＣ１０２２の設定はＦ／Ｅ−ＩＣ１０２により行うことができる。静止画用露光完了時点でメカシャッターが閉じられ、ＣＣＤ１０１より静止画用のＲＡＷデータが出力される。レリーズ第１処理（半押し），レリーズ第２処理（全押し）を搭載している撮像システムではレリーズ第１処理時においてＡＦやＡＥ処理の計算を行い、レリーズ第２処理で記録用の露光が行われるような制御になっているのが一般的である。

静止画用ＲＡＷデータは信号処理ＩＣ１０４を介してＳＤＲＡＭ１０３に取り込まれる。信号処理ＩＣ１０４では黒レベルの補正や、欠陥画素の補正、シェーディング補正などの画像処理が行われ、ＲＡＷデータとしてＳＤＲＡＭ１０３に書き込まれる。インタレース転送であれば、複数回の転送によって全てのＣＣＤデータがＲＡＷデータとしてＳＤＲＡＭ１０３に書き込まれる。

ＳＤＲＡＭ１０３に取り込まれた全てのＲＡＷデータは、再び信号処理ＩＣ１０４を介し、ＷＢのゲイン乗算や、ガンマ補正、ＲＧＢ補間処理を経て、ＹＵＶ変換部１０４４でエッジ強調や色設定などの各種画像処理を行うとともに輝度／色差信号であるＹＵＶデータに変換されてＳＤＲＡＭ１０３に書き戻される。なお、本発明に関するホワイトバランス制御の詳細については後述する。

ＹＵＶに変換されたデータはフルサイズ（ＣＣＤサイズ）であり、記録画像サイズがＣＣＤサイズよりも小さいサイズで記録される場合は、信号処理ＩＣ１０４のリサイズ処理部１０４７で画像が縮小される。リサイズ処理部１０４７を経て記録用に用意されたＹＵＶ画像は、圧縮伸張部１０４５で所定のフォーマットに従って圧縮処理が行われる。例えば、ＪＰＥＧ圧縮が行われる。ＪＰＥＧ圧縮結果はＳＤＲＡＭ１０３に書き戻され、ヘッダ追加などの処理が行われた後にメモリコントローラ１０４２を介し、メモリカード１０７などの記録媒体にデータが保存される。以上が一般的な静止画撮影の処理である。

次に、本実施形態におけるホワイトバランス（ＷＢ）制御について、図面を参照しながら説明を行う。図３は本実施形態のＷＢ制御方法を示すフローチャートである。図３のフローチャートにおいて、ＡＷＢ補正値（ＡＷＢ算出ゲイン）を算出するまでの処理は従来からのＡＷＢ制御の基本動作（アルゴリズム）である。

まず、この基本動作を簡単に説明する。図２に示すレンズユニット７１を介した被写体像は、ＣＣＤ１０１に入射し、ＣＣＤ１０１は被写体像を電気信号（アナログ画像データ）に変換して、Ｒ，Ｇ，Ｂ信号のアナログ画像データを出力する。このアナログ画像データはＡ／Ｄ変換器１０２３によって色情報のＲ，Ｇ，Ｂ信号がデジタル画像信号に変換される。変換されたデジタル画像データはフレームメモリ（図示せず）に保管される。このとき信号処理ＩＣ１０４は、デジタル画像データを取り込む際にＣＣＤ−Ｉ／Ｆ１０４１で特定部分、または画像全体のＲ，Ｇ，Ｂ信号それぞれの積算値を読み出す（Ｓ１）。

また、制御部であるＣＰＵ１０４３はこのＲ，Ｇ，Ｂ信号の積算値を読み出し、特徴検出を行って適正なホワイトバランスになるようなＷＢ評価値（Ｒ／Ｇゲイン、Ｂ／Ｇゲイン）の算出を行う（Ｓ２）。

例えば、処理Ｓ１において、１画面を１６×１６に分割した２５６個の領域ごとに、Ｒ，Ｇ，Ｂ信号それぞれの積算値を算出して、処理Ｓ２により、その分割された領域ごとにＧ信号の積算値に対するＲ信号、またＢ信号との積算値の比（Ｒ／Ｇゲイン，Ｂ／Ｇゲイン）を求める。

これに基づき特徴検出としては被写体から白色（無彩色）部分を抽出し、抽出された領域の色情報からＡＷＢ評価値（色信号）を計算する。つまり、求められた２５６個の積算値の比（ＷＢ評価値）を、Ｒ／Ｇ，Ｂ／Ｇを軸とした色空間にプロットし、それらの分布から白検出を行う（Ｓ３）。白検出を行うためには予め色空間上に光源（昼光やタングステン光）の色温度を変化させた場合における黒体輻射の軌跡をリファレンスゲインとして用意しておき、プロットされた２５６個の制御値とマッチングをとることにより、各種光源下における白検出が実現できる。

白検出により被写体における光源の種類を判別し、判別された光源に対し、Ｒ，Ｇ，Ｂ信号の積算比がＲ：Ｇ：Ｂ＝１：１：１となるようなＷＢゲイン（ＷＢ補正値）をそれぞれの画素に乗算することでＷＢの補正が実現できる。これにより求めたＷＢ補正値の平均によって、１画面に対するＡＷＢ補正値（ＡＷＢ算出ゲイン）を算出し決定する（Ｓ４）。また、ＹＵＶ変換部１０４４ではＲ，Ｇ，Ｂ信号のデータを輝度Ｙと色差Ｃｂ，Ｃｒデータに変換してフレームメモリに出力する。この画像変換をする際にＣＰＵ１０４３からＹＵＶ変換部１０４４に対して、ＡＷＢ補正値を設定する。

次に、画像信号から１画面に検出した人物の顔である領域に対して、前述の処理Ｓ１〜Ｓ３で求めたように色空間上のＷＢ評価値を取得する（Ｓ５）。顔を検出した領域のＷＢ評価値の取得方法としては、顔領域の検出処理によって、例えば顔領域を左上，右上，左下，右下の４点の座標で表し、これを前述した１６×１６のブロックに対してマッピングし、その領域のＲ，Ｇ，Ｂ信号の積算値から計算して得ることができる。前述の顔領域において取得したＷＢ評価値（顔領域の大きさにもよるが少なくとも１以上）から平均を求めた算出値として顔算出ゲインを算出し、処理Ｓ４で求めたＡＷＢ算出ゲインを変更して補正（顔検出補正）する（Ｓ６）。

なお、検出した顔領域とＷＢ評価値を得るために分割した領域との大きさの差によって、顔領域におけるＷＢ評価値を取得するか否かを判断することで、補正に伴う効果を考慮した処理が可能となる。つまり、顔領域が小さい場合には、あまり補正処理する意味がないことから処理を行う対象外として、１画面に対して求めたＡＷＢ補正値を用いる。

また、顔領域の検出方法については公知の技術でさまざまなアルゴリズムが提案されている。本発明ではその方法は問わないが、検出した顔領域において、前述した左上，右上，左下，右下の４点の座標に含まれている顔の目，口と、顔の肌とは色味が異なるため、ＷＢ評価値を取得する顔領域の範囲を小さくしている。

さらに、顔領域の検出方法により複数検出され顔領域において、最大となる顔領域または１画面内の中央近傍に位置する顔領域を自動的に主要被写体として処理しても良いが、操作部等によって任意に選択決定する手段により主要被写体とする決定処理をしても良い。また顔領域の検出に関連して、登録した人物のみを１画面内から特定する技術（認証技術）を応用し、検出した人物の顔領域の情報（特徴点）を登録することで、予め登録した人物を特徴データによって特定し、その人物のみを処理する対象としても良い。

図４は本実施形態における１画面を２５６個に分割した領域のＷＢ評価値（Ｒ／Ｇゲイン，Ｂ／Ｇゲイン）をＲ／Ｇ，Ｂ／Ｇ軸の色空間上にプロットした分布の一例を示すグラフである。

信号処理ＩＣ１０４は各分割領域のＷＢ評価値の分布から撮影時の光源を推定する。光源の推定は無彩色部分のＷＢ評価値が黒体輻射の軌跡上に分布されることを利用することにより実現できる。例えば、図４に示す例では（Ｒ／Ｇ，Ｂ／Ｇ）＝（１.２，０.６）の辺りに黒体輻射の軌跡のカーブ上にのるＷＢ評価値が多く分布するので光源としては青っぽい光源であると推定できる。ＹＵＶ変換部１０４４のＷＢ補正としてＲに１.２倍、Ｂに０.６倍の補正を乗ずることでこの領域の信号データをグレイにし、ホワイトバランスを合わせる（人間の見え方に近づける）ことができる。

なお、ＣＣＤ１０１の分光感度の分布により同じ照明、同じ被写体でもＷＢ評価値は異なるため、ＣＣＤ１０１に合わせたＷＢ評価値のリファレンスを決定する必要がある。実際のＷＢのアルゴリズムはカラーフェイリアを低減するためや、ユーザにとって好ましい色合いに仕上がるようにさまざまな工夫が行った後、最終的にＡＷＢ補正値が決定される。また、デジタルカメラを用いる屋外，屋内，フラッシュ撮影等のさまざまな撮影条件による、予め設定された設定値を加味して、ＡＷＢ補正値の決定を行っても良い。

さて、ＷＢ制御のカラーフェイリアにより人肌を青白く、または赤っぽくしてしまう条件は顔領域のＷＢ評価値と、最終的に設定されるＷＢ補正値の関係を考えることで説明できる。つまり、顔領域のＷＢ評価値（Ｒ／Ｇゲイン，Ｂ／Ｇゲイン）と、最終的に設定されるＡＷＢ補正値（Ｒ／Ｇゲイン，Ｂ／Ｇゲイン）とがそれぞれ差がないような場合は顔色を白く（青白く）してしまい、逆に差が大きいような場合は顔色を赤っぽく、もしくは青っぽくしてしまうようなことが発生する。

そこで、本発明では顔領域のＷＢ評価値から決定された顔算出ゲインと、ＡＷＢ補正値を求めるアルゴリズムにより決定されたＡＷＢ算出ゲインとの関係を比較し、顔算出ゲインによりＡＷＢ算出ゲインを補正して最終的に設定するＡＷＢ補正値とする制御を実施する。

図５はＲ／Ｇ，Ｂ／Ｇ軸の色空間上に顔を検出した領域のＷＢ評価値と、ＡＷＢ補正値を求めるアルゴリズムにより決定されたＡＷＢ算出ゲインをプロットした図である。図５に示す例では顔領域のＷＢ評価値から決定する顔算出ゲインは（Ｒ／Ｇ，Ｂ／Ｇ）＝（０.４，１.２）となっている。またＡＷＢ算出ゲインは（０.９，０.９）となっている。

また、図６には図５に対して、色空間上での顔領域の顔算出ゲインとＡＷＢ算出ゲインとの間隔（本実施形態では便宜上距離という）を考えた図である。図６における色空間上での顔算出ゲインとＡＷＢ算出ゲイン間の直線近似した距離ｘは（数１）から

距離ｘは０．５２８３となる。

また、図７は顔色を青白く補正してしまう場合の色空間上での顔算出ゲインと、ＡＷＢ算出ゲインとを示す例である。顔領域の顔算出ゲインとＡＷＢ算出ゲインとの距離を考えると０．２と小さく、ＡＷＢ算出ゲインを最終的なＡＷＢ補正値としてしまうと顔色が青白くなる。また、図８は顔色を赤っぽくしてしまう場合の色空間上で、顔算出ゲインによってＡＷＢ算出ゲインを補正した例を示す図である。

図８を参照して、顔算出ゲインによりＡＷＢ算出ゲインを補正することにより、顔領域の色味が赤っぽくならないようにした例を説明する。図８に示すように顔算出ゲインとＡＷＢ算出ゲインとの距離を考えると、色空間上で直線近似による距離は１．０と大きく、ＡＷＢ算出ゲインを最終的なＡＷＢ補正値としてしまうと顔色が赤っぽくなってしまう。一方、補正後の距離を０．７とすることによって、この差により顔色が赤っぽくなることを軽減することができる。

ここで、本実施形態におけるＡＷＢ補正値の補正方法について説明する。図９は顔検出補正の考え方の概略を示した図である。図９において、円の中心が顔算出ゲインであり、十字で示した点がＡＷＢ算出ゲイン、星印で示した点がそれぞれのＡＷＢ算出ゲインに対し、顔検出補正を適応した結果のＡＷＢ算出ゲインである。顔領域の色再現性における好ましい条件として、顔算出ゲインとＡＷＢ算出ゲインとの距離が０.４〜０.８（下限値０．４〜０．６，上限値０．６〜０．８）とし、好ましくは０．５〜０．７の範囲となるように、その距離に応じて以下のような補正を行う。また、この距離の数値は撮像した画像において、顔領域の色再現性のより好ましい状態となるように実験的に求めたものである。

いま、色空間上で求めた顔算出ゲインとＡＷＢ算出ゲインとの距離に対応した補正において、
１）顔算出ゲインとＡＷＢ算出ゲインとの距離が０．４〜０．８（好ましくは０．５〜０．７）の範囲の場合、そのままＡＷＢ算出ゲインをＡＷＢ補正値とする。
２）顔算出ゲインとＡＷＢ算出ゲインとの距離が０.５より小さい場合、顔算出ゲインとＡＷＢ算出ゲインとを結ぶ線上で顔算出ゲインの位置から距離が０.５となる点のＡＷＢ算出ゲインをＡＷＢ補正値とする。
３）顔算出ゲインとＡＷＢ算出ゲインとの距離が０.７より大きい場合、顔算出ゲインとＡＷＢ算出ゲインとを結ぶ線上で顔算出ゲインの位置からの距離が０.７となる点のＡＷＢ算出ゲインをＡＷＢ補正値とする。

具体的には顔算出ゲインの位置をＡ、ＡＷＢ算出ゲインの位置をＢ、その間の距離をＤとすると、前述した２）における条件の場合は、線分ＡＢを０.５：Ｄに外分する点、また、３）における条件の場合は、０.７：（Ｄ−０.７）に内分する点となり簡単に計算することができる。

また、前述のＡＷＢ算出ゲインを補正する顔算出ゲインと距離において、色空間上の黒体輻射の軌跡のカーブに沿った方向と、このカーブの接線に垂直な方向において、前者を長軸、後者を短軸とした楕円を描くような距離の範囲として補正する。具体的には図１０に示すように、黒体輻射の軌跡に沿った楕円の長軸方向の距離として０．４〜０．８（下限値０．４〜０．６，上限値０．６〜０．８）とし、短軸方向の距離として、０．２〜０．４（下限値０．２〜０．３，上限値０．３〜０．４）の範囲とする。

また、１画面から顔領域が複数検出された場合においては、検出した顔領域ごとに顔算出ゲインを求めて、これを平均したものを顔算出ゲインとして用いる。

以上のような顔検出補正によって、以下のような効果が得られる。
１）従来のＡＷＢ補正値を求めるアルゴリズムによってＷＢ評価値から算出したＡＷＢ算出ゲインに対し、顔領域における先に得られたＷＢ評価値から求めた顔算出ゲインの補正を加えるだけで簡単に実現できる。また、顔を検出した領域における情報の信頼性が小さいとき、補正の度合いを小さく制御するなどという制御が簡単に実現できる。
２）ＡＷＢ算出ゲインと顔算出ゲインの２つの情報からＡＷＢ補正値を決定することから顔のみ適切なＷＢで、その他の非主要被写体のＷＢにおいては極端にずれることがなく補正することができる。
３）顔領域の色味を残すようにＡＷＢ補正値を補正しているので顔色が赤っぽくなる場合、逆に青っぽくなる場合の両方の場合に対しも補正を行うことができる。

本発明に係る撮像装置および撮像方法は、顔領域の色信号を利用することで、人肌を青白く、または赤っぽくしてしまうような光源下であっても、顔色が青白くなったり、赤っぽくなったりするカラーフェイリアを軽減するホワイトバランス制御を行うことができ、デジタルカメラ等の撮像装置に係り、特に、オートホワイトバランス制御として有用である。

本発明の実施形態に係るデジタルカメラの外観を示す（ａ）は平面図、（ｂ）は正面図、（ｃ）は背面図 本実施形態に係るデジタルカメラ内部の機能ブロックを示した概略構成図 本実施形態に係るＷＢ制御方法を示すフローチャート 本実施形態に係る分割領域のＷＢ評価値を色空間上にプロットした分布例を示す図 本実施形態に係る色空間上の顔領域のＷＢ評価値、顔算出ゲインおよびＡＷＢ算出ゲインをプロットした図 本実施形態に係る色空間上の顔算出ゲインとＡＷＢ算出ゲインの距離を説明する図 本実施形態に係る顔色を青白く補正してしまう場合の色空間上の顔算出ゲインとＡＷＢ算出ゲインを示す図 本実施形態に係る顔色を赤っぽくしてしまう場合の色空間上で顔算出ゲインによってＡＷＢ算出ゲインを補正した例を示す図 本実施形態に係る顔検出補正の概略を示す図 本実施形態に係る顔検出補正を黒体輻射の軌跡に沿って行う範囲を説明する図

符号の説明

１ サブＬＣＤ
２ メモリカード／電池装填室の蓋
３ ストロボ発光部
４ 光学ファインダ
５ 測距ユニット
６ リモコン受光部
７ 鏡胴ユニット
８ ＡＦ ＬＥＤ
９ ストロボＬＥＤ
１０ ＬＣＤモニタ
７１ レンズユニット
７２ 絞り部
７５ モータドライバ
１０１ ＣＣＤ
１０２ Ｆ／Ｅ−ＩＣ
１０２１ ＣＤＳ
１０２２ ＡＧＣ
１０２３ Ａ／Ｄ変換器
１０２４ ＴＧ
１０３ ＳＤＲＡＭ
１０４ 信号処理ＩＣ
１０４１ ＣＣＤＩ／Ｆ
１０４２ メモリコントローラ
１０４３ ＣＰＵ
１０４４ ＹＵＶ変換部
１０４５ 圧縮伸張部
１０４６ 表示出力制御部
１０４７ リサイズ処理部
１０４８ メディアＩ／Ｆ
１０５ 操作部
１０６ ＲＯＭ
１０７ メモリカード

Claims (9)

1. 光学像を電気的な画像信号に変換する撮像手段と、前記画像信号の色情報に基づいてホワイトバランス制御用の色信号抽出を行い色空間上に展開する色信号抽出手段と、前記色空間上から色信号を選択する色空間選択手段と、前記色空間上の前記色信号に基づき算出した補正値を用いてホワイトバランス制御を行うホワイトバランス制御手段とを有する撮像装置において、
   前記画像信号から人物の顔領域の位置を検出する顔検出手段を備え、
   前記検出した顔領域に対応して抽出した前記色空間上の色信号を選択し、前記選択した色信号から算出した算出値に基づいて、前記ホワイトバランス制御を行うため算出した補正値を変更することを特徴とする撮像装置。
2. 前記色信号抽出手段は色信号を抽出する１画面を分割した領域において、前記色情報のＲ，Ｇ，Ｂ信号からそれぞれの積算値を求めて、前記領域ごとのＲ／Ｇ比，Ｂ／Ｇ比を算出することを特徴とする請求項１記載の撮像装置。
3. 前記色信号抽出手段の抽出した色信号が展開されるＲ／Ｇ，Ｂ／Ｇ軸の色空間上において、前記ホワイトバランス制御を行うため算出した補正値と、検出した顔領域に対応し選択した色信号から算出した算出値との距離が所定範囲に収まるように前記補正値を変更することを特徴とする請求項１または２記載の撮像装置。
4. 前記色信号抽出手段の抽出した色信号が展開されるＲ／Ｇ，Ｂ／Ｇ軸の色空間上において、前記ホワイトバランス制御を行うため算出した補正値と、検出した顔領域に対応し選択した色信号から算出した算出値とを直線で結ぶ距離が所定の比率で外分または内分とする位置に前記補正値を変更することを特徴とする請求項１または２記載の撮像装置。
5. 前記顔検出手段は所定の大きさより大きな顔領域を検出することを特徴とする請求項１〜４のいずれか１項に記載の撮像装置。
6. 前記顔検出手段が複数の顔領域を検出した場合、それぞれの顔領域に対応し選択した色信号から算出した算出値の平均を求めて、前記平均を求めた算出値によりホワイトバランス制御を行うため算出した補正値を変更することを特徴とする請求項１〜５のいずれか１項に記載の撮像装置。
7. 前記顔検出手段が検出した複数の顔領域の中から主要被写体を決定する主要被写体決定手段を有し、決定された前記主要被写体の顔領域に対応し選択した色信号から算出した算出値によりホワイトバランス制御を行うため算出した補正値を変更することを特徴とする請求項１〜５のいずれか１項に記載の撮像装置。
8. 前記主要被写体決定手段は、予め撮像装置に登録されている顔領域のデータに基づき主要被写体として決定することを特徴とする請求項７記載の撮像装置。
9. 光学像を電気的な画像信号に変換する工程と、前記画像信号の色情報に基づいてホワイトバランス制御用の色信号の抽出を行い色空間上に展開する工程と、前記色空間上から色信号を選択する工程と、ホワイトバランス制御を行うため前記色空間上の前記色信号に基づき算出した補正値を求める工程とからなる撮像方法において、
   前記画像信号から人物の顔領域の位置を検出する工程を有し、
   前記検出した顔領域に対応して抽出した前記色空間上の色信号を選択し、前記選択した色信号から算出した算出値に基づいて、前記ホワイトバランス制御を行うため算出した補正値を変更し、前記変更した補正値によりホワイトバランス制御を行うことを特徴とする撮像方法。

Images