JP2014209681A - 色調調整装置および色調調整方法 - Google Patents

Abstract

【課題】光源の特定をより正確に行い、カラーフェリアの発生を防止しつつ光源色に対応する適正な色調調整を可能にする。
【解決手段】黒体放射軌跡Ｃに沿って、白検出エリアＷ１〜Ｗ１２を設定する。撮影画像を２５６ブロックに等分割（水平１６分割、垂直１６分割）し、各ブロックのＲＧＢ積算値から、各ブロックの所定色空間における色座標（Ｇ／Ｒ，Ｇ／Ｂ）を求める。ブロックの色座標の分布から、同画像における白色（無彩色）が、白検出エリアＷ１〜Ｗ１２の何れに対応するかを特定し、これに基づきホワイトバランス用のＷＢ制御値を算出する。同画像中に顔検出エリアがある場合には、顔検出エリア内のブロックの色座標の分布が領域Ａ、Ｂの何れに存在するかにより、ＷＢ制御値を補正する。
【選択図】図６

Description

本発明は、画像の自動色調調整に関し、特に光源の色温度に合わせて画像のホワイトバランス調整を行う装置およびこれを搭載した撮像装置に関する。

撮影時の光源の色温度に合わせて、撮影画像のホワイトバランス調整を自動で行う技術が知られている。ホワイトバランスの自動調整では、例えば１画面を複数の領域に分割し、各領域におけるＲＧＢ積算値から領域のＲ／Ｇ、Ｂ／Ｇ座標を求め、Ｒ／Ｇ−Ｂ／Ｇ色空間における各領域の分布から光源を特定して同光源に適したホワイトバランス調整が行われる。しかし、画面の大部分を特定色の被写体が占めるような映像の場合、分割領域の色空間上における分布が、特定光源下での撮影と判断される分布に酷似する場合がある。例えば、暗めの森林や日陰の緑草木の撮影シーンにおける同分布は、水銀灯照明下での撮影シーンに酷似し、高層ビルの日陰での撮影シーンでは、青空の下での撮影とその分布が酷似することがある。また褐色のフローリング、地面を多く含む映像は、タングステン光源などの低色温度照明下での映像に酷似することがある。

このような撮影シーンにおいてオートホワイトバランス処理を実行すると、誤った光源が特定され、同光源に対応するホワイトバランス調整によりカラーフェリアが発生する。一方、カラーフェリアの発生防止に重点を置くと、光源色の補正が適正に行われない場合が発生する。このような問題に対しては、カラーフェリアの発生防止を優先する自然モードと、光源色の補正を優先する光源モードを設け、ユーザが何れかのモードを選択可能とした構成が提案されている（特許文献１参照）。

特開２００４−２２９１５４号公報

しかし、特許文献１の構成では、カラーフェリアの発生防止と、光源色の補正との間で何れを優先するかは設定できるが、光源特定の精度は向上していないため、選択されたモードにおいては依然同様の問題が発生する。またユーザは、依然撮影シーンに合わせ、何れの処理を優先するか選択しなければならない。

本発明は、光源の特定をより正確に行い、カラーフェリアの発生を防止しつつ光源色に対応する適正な色調調整を可能にすることを課題としている。

本発明の色調調整装置は、画像中の複数の領域の色情報に基づき画像撮影時の光源色を推定する光源色推定手段と、推定された光源色に適合する色調調整を行うための制御値を算出する制御値算出手段と、色情報が既知の特定の被写体を画像の中から検出する被写体検出手段と、特定の被写体の画像中の色情報を取得する被写体色情報取得手段とを備え、特定の被写体の画像中の色情報に基づき制御値の信頼性を評価し、または制御値を補正することを特徴としている。

制御値評価手段において制御値の信頼性が低いと評価されるときに制御値の補正を行う制御値補正手段を備えることが好ましい。色調調整は例えばホワイトバランス調整である。特定の被写体は色情報以外の画像情報を用いて検出され、特定の被写体は例えば人物の顔である。また上記色情報には、所定の色空間における色座標が含まれる。

制御値の信頼性は、特定の被写体の色座標と、光源色推定手段で推定される光源色の色座標の関係から評価されることが好ましい。また顔が白くなってしまう色調調整を防止するには、顔に対応する領域の色情報を光源色の推定に使用しないことが好ましいが、顔に対応する領域以外の領域の輝度値が所定値以上または所定値以下の場合には、顔に対応する領域の色情報を光源色の推定に使用することが好ましい。また、被写体検出手段により特定の被写体が検出されない場合には、光源色の推定に画像の全領域の色情報を使用することが好ましい。

本発明の撮像装置は、上記色調調整装置を搭載したことを特徴としている。

本発明の色調調整方法は、画像中の複数の領域の色情報に基づき画像撮影時の光源色を推定し、推定された光源色に適合する色調調整を行うための制御値を算出し、色情報が既知の特定の被写体を画像の中から検出し、特定の被写体の画像中の色情報を取得し、特定の被写体の画像中の色情報に基づき制御値の信頼性を評価し、または制御値を補正することを特徴としている。

本発明のコンピュータプログラムは、コンピュータに画像中の複数の領域の色情報に基づき画像撮影時の光源色を推定する手順と、推定された光源色に適合する色調調整を行うための制御値を算出する手順と、色情報が既知の特定の被写体を画像の中から検出する手順と、特定の被写体の画像中の色情報を取得する手順と、特定の被写体の画像中の色情報に基づき制御値の信頼性を評価し、または制御値を補正する手順とを実行させることを特徴としている。

本発明によれば、光源の特定をより正確に行い、カラーフェリアの発生を防止しつつ光源色に対応する適正な色調調整を可能にできる。

本実施形態のデジタルカメラの正面図、背面図、上面図である。 図１に示されるデジタルカメラの電気的な構成を示すブロック図である。 本実施形態の自動ホワイトバランス調整処理のフローチャートである。 図３のステップＳ１０３の白（無彩色）エリア特定方法について説明する図である。 水銀灯光源下で白色（無彩色）の被写体を撮影した際のＷＢ用色空間における各ブロックの色座標の分布を例示するグラフである。 ＷＢ用色空間上において、水銀灯光源下で人物の顔検出エリアに含まれるブロックの色座標が取り得る範囲、屋外自然光源下で取り得る範囲を示す図である。 図３のステップＳ１０５で実行されるＷＢ制御値補正処理のフローチャートである。 自然光源下における顔検出エリアの色座標分布と白色（無彩色）被写体の色座標の分布の関係を示すグラフである。 水銀灯光源下における顔検出エリアを利用したＷＢ制御値の補正方法について色空間を用いて説明するグラフである。

以下、本発明の実施の形態を、図面を参照して説明する。図１は、本発明の一実施形態であるオートホワイトバランス処理を適用したデジタルカメラの（ａ）正面図、（ｂ）背面図、（ｃ）上面図である。

図１（ａ）、（ｃ）に示すように、デジタルカメラ本体の上面には、レリーズスイッチ（レリーズシャッタ）ＳＷ１、モードダイヤルスイッチＳＷ２、およびジョグダイヤル１スイッチＳＷ３が配置される。また、正面には、ストロボ発光部３、測距ユニット２、光学ファインダＦ、撮影レンズを含む鏡胴ユニット７が設けられる。

図１（ｂ）に示すデジタルカメラの背面には、モニタ１０、ジョグダイヤル２スイッチＳＷ４、ズームスイッチ［ＴＥＬＥ］ＳＷ５、ズームスイッチ［ＷＩＤＥ］ＳＷ６、上スイッチＳＷ７、右スイッチＳＷ８、ＯＫスイッチＳＷ９、左スイッチＳＷ１０、下スイッチ／マクロスイッチＳＷ１１、ディスプレイスイッチＳＷ１２、削除スイッチＳＷ１３、メニュースイッチＳＷ１４、電源スイッチＳＷ１５が設けられている。なお、カメラ本体の側面には電池蓋６が設けられている。

図２は、図１に示されるデジタルカメラの電気的な構成を示すブロック図である。図２において、１０４はデジタルスチルカメラプロセッサ（以下、プロセッサ（１０４）ともいう）である。プロセッサ（１０４）は、Ａ／Ｄ変換器（１０２−３）、ＣＣＤ１信号処理ブロック（１０４−１）、ＣＣＤ２信号処理ブロック（１０４−２）、ＣＰＵブロック（１０４−３）、ＬＯＣＡＬ ＳＲＡＭ（１０４−４）、ＵＳＢブロック（１０４−５）、シリアルブロック（１０４−６）、ＪＰＥＧ・ＣＯＤＥＣブロック（ＪＰＥＧ圧縮・伸長を行うブロック）（１０４−７）、ＲＥＳＩＺＥブロック（１０４−８）、ＴＶ信号表示ブロック（画像データを液晶モニタ・ＴＶ等の表示機器に表示させるためのビデオ信号に変換するブロック）（１０４−９）、メモリカードコントローラブロック（撮影画像データを記録するメモリカードの制御を行うブロック）（１０４−１０）を備える。これらの各ブロックは相互にバスラインで接続されている。

図２に示す通り、デジタルカメラ１０は撮影（鏡筒）ユニット（７）の各撮影レンズ系を通して入射される被写体画像が、受光面上に結像する固体撮像素子としてのＣＣＤ（１０１）を備え、Ｆ／Ｅ−ＩＣ（１０２）に被写体画像信号を出力する。Ｆ／Ｅ−ＩＣ（１０２）は、入射光に応じた信号レベルの差分をとるＣＤＳ（相関二重サンプリング）（１０２−１）、入力信号の強弱を補正するＡＧＣ（１０２−２）、アナログ信号をデジタル信号に変換するＡ／Ｄ（１０２−３）から構成され、ＣＣＤ１信号処理ブロック（１０４−１）にデジタル信号を出力する。これらの信号制御処理は、プロセッサ（１０４）のＣＣＤ１信号処理ブロック（１０４−１）から出力される垂直同期信号ＶＤ・水平同期信号ＨＤによりＴＧ（１０２−４）を介して行われる。

撮影ユニット（７）は、ＺＯＯＭレンズ（７−１ａ）やＦＯＣＵＳレンズ（７−２ａ）、絞り（７−３）、メカシャッタ（７−４）を備えており、ＺＯＯＭ光学系（７−１）、ＦＯＣＵＳ光学系（７−２）、絞りユニット（７−３）、メカシャッタユニット（７−４）はそれぞれＺＯＯＭモータ（７−１ｂ）、ＦＯＣＵＳモータ（７−２ｂ）、絞りモータ（７−３ｂ）、メカシャッタモータ（７−４ｂ）を有し、各モータは、モータドライバ（７−５）によって駆動される。モータドライバ（７−５）は、プロセッサ（１０４）からの駆動信号により駆動制御される。

プロセッサ（１０４）は、Ｆ／Ｅ−ＩＣ（１０２）のＴＧ（１０２−４）へ画面水平同期信号（ＨＤ）と画面垂直同期信号（ＶＤ）の出力を行い、これらの同期信号に合わせて、Ｆ／Ｅ−ＩＣ（１０２）のＡ／Ｄ（１０２−３）から出力されるＲＡＷ−ＲＧＢデータがＣＣＤ１信号処理ブロック（１０４−１）で取り込まれる。

ＳＤＲＡＭ（１０３）には、ＣＣＤ１信号処理ブロック（１０４−１）に取り込まれたＲＡＷ−ＲＧＢデータが保存されると共に、ＣＣＤ２信号処理ブロック２（１０４−２）で変換処理されたＹＵＶデータ（ＹＵＶ形式の画像データ）が保存され、さらにＪＰＥＧ・ＣＯＤＥＣブロック（１０４−７）で圧縮処理されたＪＰＥＧ形式等の画像データが保存される。尚、前記ＹＵＶデータのＹＵＶは輝度データ（Ｙ）と、色差（輝度データと青色（ｂ）成分データの差分と、輝度データと赤色（Ｒ）成分データの差分（Ｖ）の情報で色を表現するものである。

操作Ｋｅｙユニット（ＳＷ１−１５）は、デジタルカメラの外観表面（図１（ａ）〜（ｃ）参照）に設けられているレリーズスイッチＳＷ１、モードダイヤルスイッチＳＷ２、望遠側ズームスイッチ［ＴＥＬＥ］ＳＷ５、広角側ズームスイッチ［ＷＩＤＥ］ＳＷ６、メニューＳＷ１４、ＯＫスイッチＳＷ９等であり、撮影者の操作に応じた動作指示信号がＳＵＢ−ＣＰＵ（１０９）を介し、プロセッサ（１０４）に入力される。

ＣＰＵブロック（１０４−３）は、更に、ストロボ回路（１１４）を制御することによってストロボ発光部（３）から照明光を発光させる。これに加えて、ＣＰＵブロック（１０４−３）は、測距ユニット２も制御する。ＣＰＵブロック（１０４−３）は、プロセッサ（１０４）のＳＵＢ−ＣＰＵ（１０９）に接続され、ＳＵＢ−ＣＰＵ（１０９）はＬＣＤドライバ（１１１）を介してＳＵＢ−ＬＣＤ（１）による表示制御を行う。サブＣＰＵ（１０９）は、更に、ＡＦＬＥＤ（８）、ストロボＬＥＤ（９）、リモコン受光部（６）、操作スイッチＳＷ１〜ＳＷ１５からなる操作Ｋｅｙユニット、ブザー（１１３）に接続されている。

ＵＳＢブロック（１０４−５）はＵＳＢコネクタ（１２２）に接続され、シリアルブロック（１０４−６）はシリアルドライバ回路（１２３−１）を介してＲＳ−２３２Ｃコネクタ（１２３−２）に接続されている。ＴＶ信号表示ブロック（１０４−９）は、ＬＣＤドライバ（１１７）を介してＬＣＤモニタ（１０）に接続されると共に、ビデオアンプリファイア（ＴＶ信号表示ブロック（１０４−９）から出力されたビデオ信号を７５Ωインピーダンスに変換するためのアンプリファイア）（１１８）を介してビデオジャック（カメラをＴＶ等の外部表示機器に接続するためのジャック）（１１９）に接続されている。

メモリカードコントローラブロック（１０４−１０）はメモリカードスロット（１２１）のカード接点との接点に接続されている。ＬＣＤドライバ（１１７）はＬＣＤモニタ（１０）を駆動すると共に、ＴＶ信号表示ブロック（１０４−９）から出力されたビデオ信号をＬＣＤモニタ１０に表示させる信号に変換する役割を果たす。ＬＣＤモニタ（１０）は撮影前の被写体の状態監視、撮影画像確認及びメモリカード又は内蔵メモリ（１２０）に記録された画像データ表示のために用いられる。

撮影者がモードダイアルＳＷ２を撮影モードに設定して電源ＳＷ１５をＯＮすることで、カメラが撮影モードで起動する。この動作をＲＯＭ（１０８）の制御プログラムが検知することにより、モータドライバ（７−５）に制御信号を出力し、撮影ユニット（７）を撮影可能位置に移動させ、ＣＣＤ（１０１）、Ｆ／Ｅ−ＩＣ（１０２）、プロセッサ（１０４）等を起動させる。

この状態で撮影ユニット（７）を被写体に向けることにより、被写体画像がＣＣＤ（１０１）の各画素の受光面上に結像されＣＣＤ（１０１）より出力された電気信号（アナログＲＧＢ画像信号）は、Ｆ／Ｅ−ＩＣ（１０２）を介し１２ビット（ｂｉｔ）のＲＡＷ−ＲＧＢデータに変換される。このＲＡＷ−ＲＧＢデータは、プロセッサ（１０４）のＣＣＤ１信号処理ブロック（１０４−１）に取り込まれ、ＳＤＲＡＭ（１０３）に保存される。そしてＳＤＲＡＭ（１０３）から読み出されたＲＡＷ−ＲＧＢ画像データは、ＣＣＤ２信号処理ブロック（１０４−２）にて表示可能な形式であるＹＵＶデータに変換された後に、ＳＤＲＡＭ（１０３）にＹＵＶデータが保存される。

その後ＳＤＲＡＭ（１０３）から読み出されたＹＵＶデータは、ＴＶ信号表示ブロック（１０４−９）を介して、ＬＣＤモニタに送られ、撮影画像が表示される。前記したＬＣＤモニタ（１０）に画像を表示しているモニタリング時においては、ＣＣＤ１信号処理ブロック（１０４−１）による画素数の間引き処理により、１／３０秒の時間で１フレームを読み出している。ここでいうモニタリングとは、電子ファインダとして機能する、ＬＣＤモニタ（１０）に撮影画像が表示されているだけで、撮影者のレリーズスイッチＳＷ１操作が行われていない状態である。

この撮影画像のＬＣＤモニタ（１０）への表示により、撮影画像を撮影者が確認することが出来る。なおＴＶ信号表示ブロック（１０４−９）からビデオＡＭＰ（１１８）を、ビデオジャック（１１９）からケーブルを介し外部ＴＶ（テレビ）に、撮影画像を表示させることもできる。

ＣＣＤ１信号処理ブロック（１０４−１）は、取り込まれたＲＡＷ−ＲＧＢデータにより、ＡＦ（自動合焦）評価値、ＡＥ（自動露出）評価値、ＡＷＢ（オートホワイトバランス）評価値を算出する。

ＡＦ評価値は、例えば高周波成分抽出フィルタの出力積分値や、近接画素の輝度差の積分値によって算出される。合焦状態にあるときは、被写体のエッジ部分がはっきりとしているため、高周波成分が一番高くなる。これを利用して、ＡＦ動作時（合焦検出動作時）には、ＦＯＣＵＳ光学系（７−２）のＦＯＣＵＳレンズ（７−２ａ）位置におけるＡＦ評価値を取得して、高周波成分が一番高くなる点を合焦検出位置として、ＡＦ動作が実行される。

一方、ＡＥ評価値とＡＷＢ評価値は、ＲＡＷ−ＲＧＢデータにおけるＲＧＢ値のそれぞれの積分値から算出される。例えば、ＣＣＤ（１０１）の全画素の受光面に対応した画面を２５６ブロック（エリア）に等分割（水平１６分割、垂直１６分割）し、それぞれのブロックのＲＧＢ積算値が算出される。

算出されたＲＧＢ積算値は、ＲＯＭ（１０８）に存在する制御プログラムにより読み出され、ＡＥ処理では、画面のそれぞれのブロックの輝度が算出され、輝度分布から適正な露光量が決定される。決定した露光量に基づいて、露光条件（ＣＣＤ（１０１）の電子シャッタ回数、絞りユニット（７−３）の絞り値等）が設定される。またＡＷＢ処理では、後で詳述するようにＲＧＢの分布から被写体の光源の色に合わせて、制御値（ＷＢ制御値）が決定される。このＡＷＢ処理により、ＣＣＤ２信号処理ブロック（１０４−２）でＹＵＶデータに変換するときのホワイトバランスをあわせている。尚、前記した、ＡＥ処理とＡＷＢ処理は、前記モニタリング時には、連続的に実行されている。

モニタリング動作時に、レリーズスイッチＳＷ１が押圧（半押しから全押し）操作され、静止画撮影動作が開始されると、合焦位置検出動作であるＡＦ動作と静止画記録処理が行われる。即ち、レリーズスイッチＳＷ１が押圧（半押しから全押し）されると、ＲＯＭ（１０８）制御プログラムから、モータドライバ（７−５）への駆動指令により、ＦＯＣＵＳレンズ（７−２ａ）が移動して合焦される。

そして前記したＡＥ処理が行われ、露光開始時点で、ＲＯＭ（１０８）制御プログラムからモータドライバ（７−５）への駆動指令により、メカシャッタ（７−４ａ）が閉じられ、ＣＣＤ（１０１）から静止画用のアナログＲＧＢ画像信号が出力され、Ｆ／Ｅ−ＩＣ（１０２）のＡ／Ｄ（１０２−３）でＲＡＷ−ＲＧＢデータに変換される。

このＲＡＷ−ＲＧＢデータは、プロセッサ（１０４）のＣＣＤ１信号処理ブロック（１０４−１）に取り込まれ、ＣＣＤ２信号処理ブロック（１０４−２）でＹＵＶ変換されてＳＤＲＡＭ（１０３）に保存される。そしてこのＹＵＶデータはＳＤＲＡＭ（１０３）から読み出されてＲＥＳＩＺＥブロック（１０４−８）で記録画素数に対応するサイズに変換され、ＪＰＥＧＣＯＤＥＣブロック（１０４−７）でＪＰＥＧ形式等の画像データへと圧縮される。圧縮されたＪＰＥＧ形式等の画像データは、ＳＤＲＡＭ（１０３）に書き戻された後、メモリカードコントローラブロック（１０４−１０）を介して、メモリカード（１２１−１）等のメディアに保存される。

次に図３、図４を参照して、本実施形態の自動ホワイトバランス調整処理の基本的な流れおよび原理について説明する。なお、自動ホワイトバランス調整処理は、プロセッサ１０４において、主にＣＰＵブロック１０４−３において実行される。

本実施形態における撮像装置（デジタルカメラ）は、撮影者が、レリーズスイッチＳＷ１を押圧（半押しから全押し）操作し、静止画撮影動作が開始されると、ステップＳ１０１において、図２のＣＣＤ１信号処理ブロック（１０４−１）が１画面分の静止画像をＲＡＷ−ＲＧＢデータとして取り込む。次にステップＳ１０２において、ＣＣＤ１信号処理ブロック（１０４−１）が、取り込んだＲＡＷ−ＲＧＢデータに基づき、同画像における各ブロックを代表する色座標を算出する。本実施形態においてブロックは１画面を例えば２５６ブロックに等分割（水平１６分割、垂直１６分割）したもので、色座標は所定の色空間（ＷＢ用色空間）における座標である。それぞれのブロックには、例えばそのブロックのＲＧＢ積算値に基づき、色座標（Ｇ／Ｒ，Ｇ／Ｂ）が割り付けられる。

ステップＳ１０３では、ステップＳ１０２で得られた各ブロックの色空間における分布から、白色（無彩色）と推定されるエリア（白検出エリア）を特定する（後述）。ステップＳ１０４では、ステップＳ１０３で特定されたエリアの色座標が白色（無彩色）に変換されるようなＷＢ制御値を算出する。更に本実施形態では、ステップＳ１０５において、後述するＷＢ制御値補正処理が施され、ステップＳ１０４で算出されたＷＢ制御値の補正が行われ、本処理は終了する。

図４は、図３のステップＳ１０３の白（無彩色）エリア特定方法について説明する図であり、各ブロックの色座標（Ｇ／Ｒ，Ｇ／Ｂ）をＷＢ用色空間上にプロットした一例を示すグラフである。

本処理では、ＷＢ用色空間上に、図４に示すように、予め光源の色温度を変化させた黒体輻射の軌跡Ｃがリファレンスとして用意され、実際の撮影環境下で想定される複数の光源色をこの軌跡上に配置する。そして、それぞれの光源色を中心にある程度の幅を持たせた領域（図４において楕円で示した領域Ｗ１〜Ｗ１２）を、白検出エリアとして設定する。

各ブロックの色座標をＷＢ用色空間上にプロット（図４中の黒色の点）し、その座標が何れかの白検出エリア内にあれば、そのブロックは、白色（無彩色）を映したブロックである可能性が高い。本実施形態では、白検出エリアのうち、プロット分布との関係で所定の条件を満たすエリア（例えばプロット数が最大となるエリアなど）を白（無彩色）エリアとして特定する（すなわち、これにより光源色が特定される）。なお座標値が白検出エリア内に入っているか否かは、判定用のプログラムを用意してＣＰＵブロック（１０４−３）で実行する。

しかし、実在し得る光源色の全てが、ＷＢ用色空間において軌跡Ｃに沿った位置に対応するとは限らない。例えば図５に、水銀灯光源下で白色（無彩色）の被写体を撮影した際のＷＢ用色空間における各ブロックの色座標の分布を例示する。

一般的に水銀灯は、街灯や体育館などの照明器具として使用されることが多く、赤色成分の欠けた緑がかった光を放射し、図５に示されるように色座標は、黒体放射軌跡Ｃから大きく外れ、図３のステップＳ１０３の処理では、白色（無彩色）と推定されない位置に分布する。このため水銀灯照明下で撮影が行われる場合、ステップＳ１０３により白（無彩色）エリアが特定されず、ホワイトバランス調整が行われないか、あるいは、等色温度線などの利用により、光源色が黒体放射軌跡Ｃ上の何れかの色として特定され、本来行われるべきホワイトバランス調整からはずれた調整が行われる。

また、水銀灯に対応する色座標を中心とする白検出エリアを設ける、あるいはＷＢ用色空間でのプロット分布のパターンなどから光源が水銀灯であることを推定するアルゴリズムを付加することも考えられる。しかし、自然光の下で草木など緑の被写体を撮影した際に得られるプロット分布のパターンは、水銀灯のものと酷似しており、同分布から、水銀灯光源の下で撮影された画像か、草木など緑の被写体を撮影した画像かを判別することは困難である。

したがって、このような光源色に対応するホワイトバランス調整を自動で行う場合、同プロット分布パターンを光源色によるものと優先的に判断するか、逆に被写体の色と優先的に判断するかが、トレードオフの関係となる。そのためオートホワイトバランス処理が、光源色によるものとの判断を優先する設定では、自然光の下で、草木などの緑の被写体が撮影されるとカラーフェリアが発生する。逆に、カラーフェリアの防止を優先する設定では、水銀灯光源下で撮影される画像のホワイトバランスは調整されないと言う問題が発生する。

以上のことから、本実施形態では、図３のステップＳ１０５において、このような状況に対応するＷＢ制御値補正処理が実行される。図６は、本実施形態のＷＢ制御値補正処理の原理を説明するためのグラフで、人物の顔が含まれる画像を水銀灯光源下、屋外自然光源下で撮影した際に得られる各ブロックの色座標をプロットした一例である。

図６には、水銀灯光源下で人物の顔検出エリアに含まれるブロックの色座標が取り得る範囲を領域Ａ、屋外自然光源下で取り得る範囲を領域Ｂとして示す。図５を参照して説明した通り、ＷＢ用色空間におけるプロット分布からのみでは、水銀灯光源での撮影された画像か、自然光源下の草木などの緑の被写体の画像かの判別は困難であるが、被写体に人物の顔など、その色情報がある程度既知のエリアが含まれ、そのエリアが他の方法により画面内から特定できる場合には、そのエリアに含まれるブロックの色座標から、光源が水銀灯であるか否か、また屋外自然光源であるか否かを判断することができる。すなわち本実施形態では、顔検出処理により抽出された顔検出エリアに含まれるブロックの色座標が、図６の領域Ａに含まれるか否か、領域Ｂに含まれるか否かにより、何れの光源下における撮影かを適切に判断できる。

このような判別方法は、水銀灯以外の光源、例えば自然被写体である青空から得られる色座標の分布とその分布が酷似する高層ビル等の日陰光源、自然光源下の茶系の木材等の被写体から得られる色座標の分布とその分布が酷似するタングステン等の低色温度光源の判断にも利用できる。すなわち、同光源下で顔検出エリアのブロックが取り得る色座標の範囲（領域）を予めＷＢ用色空間上に設定しておけばよい。

次に図７のフローチャートを参照して、図３のステップＳ１０５で実行される本実施形態のＷＢ制御値補正処理について説明する。

ステップＳ２０１では、撮像画像データに顔が含まれているかの判断が行われ、顔が含まれていない場合には、本処理は直ちに終了する。一方、顔が含まれる場合にはステップＳ２０２において、顔検出エリアを代表する色座標、例えば顔検出エリアに含まれるブロックの色座標が算出される。ステップＳ２０３では、ステップＳ２０２で算出された色座標に基づき光源の推定が改めて行われ、推定光源の色座標が求められる。そして、ステップＳ２０４において、図３のステップＳ１０３の白（無彩色）エリアの特定により推定された光源色がステップＳ２０３において推定された光源色に適合しているか、すなわちステップＳ２０３において推定された光源色に基づきステップＳ１０４で算出されたＷＢ制御値の信頼性が、例えばステップＳ１０３で得られる色座標とステップＳ２０３で得られる色座標の比較（距離や方向）などに基づいて評価される。

ステップＳ２０４において、ステップＳ１０４で算出したＷＢ制御値の信頼性が低いと評価された場合には、ステップＳ２０５において、ＷＢ制御値がステップＳ２０３で推定された光源色（光源）に適したＷＢ制御値に補正され、このＷＢ制御値補正処理は終了する。なお、ステップＳ２０４において、ステップＳ１０４で算出したＷＢ制御値の信頼性が十分に高いと評価された場合には、補正を行うことなく本処理は終了する。

なお図９のグラフに、水銀灯光源下で検出される顔検出エリアを利用したＷＢ制御値の補正処理の一例を示す。例えば図９において、水銀灯光源下における顔検出エリアのブロックの色座標の平均値は点Ｐ１であり、ステップＳ１０３で特定される白色検出エリアは領域Ｗ８、その図心は点Ｐ２である。このとき、Ｐ１、Ｐ２間の矢印Ｖ１の大きさ（Ｐ１、Ｐ２間の距離）と方向に基づき点Ｐ２をＷＢ制御値とすることの適否を評価し、図９の例では不適切であると評価する。なお、大きさによる評価と方向による評価を均等にすることもできるが、一方に重み付けを行ってもよい。

また、図９の点Ｐ１が含まれる領域Ａは、水銀灯に対応する領域として予めメモリに登録されており、領域Ａに対しては水銀灯光源下で白色（無彩色）の被写体を撮影した際に各ブロックの色座標が分布する領域Ｍに含まれる点Ｐ３が予め対応付けられている。図９のように、矢印Ｖ１から点Ｐ２のＷＢ制御値が不適切と判断された場合には、点ＰのＷＢ補正値が点Ｐ３に対応するＷＢ制御値に補正される。

以上のように本実施形態によれば、光源の特定をより正確に行うことで、カラーフェリアの発生を防止しつつ、光源色に対応する適正な色調調整を自動で行うことができる。

なお、図６を参照して説明したように、屋外自然光源下における顔検出エリアの色座標の分布も黒体放射軌跡Ｃに沿った領域Ｂにある。そのため屋外自然光源下の白色（無彩色）被写体の色座標の分布が実際には図８の領域Ｄに存在する場合にも、本来特定されるべき白検出エリアＷ１０〜Ｗ１２ではなく、白検出エリアＷ７〜Ｗ９の何れかが図３のステップＳ１０３において、白（無彩色）エリアとして特定される可能性がある。そしてこのような場合、顔検出エリアの色が白色（無彩色）となるようにＷＢ制御値が算出されてしまう問題がある。したがって、本実施形態のホワイトバランス調整において、顔検出エリアが検出された画像に対し、ステップＳ１０３の白（無彩色）エリアの特定（光源色の特定）を行う際、顔検出エリア内のブロックの色情報を使用しないようしてもよい。

ただ、輝度値が極端に低い暗いブロックの画素信号はノイズ等の影響を受けており、逆に極端に明るいブロックの画素信号は飽和している。そのため顔検出エリア以外のブロックの輝度値が所定値以上または所定値以下の場合には、適正なＷＢ制御値が得られない可能性が高い。したがって、このような場合に関しては、顔検出エリアに含まれるブロックの色座標をＷＢ制御値の算出に利用して、極端に不良なＷＢ制御値が設定されることを防止してもよい。

なお、本実施形態のＷＢ制御値補正処理では、顔検出エリアを用いて光源色の特定を行ったが、同処理は人物の顔に限定されるものではなく、被写体自身の色情報が既知で、画像の中でその領域が特定できるものであれば他の被写体であってもよい。領域の特定には、色情報以外の画像情報が用いられることが好ましく、例えばパターン認識などが用いられる。また本実施形態では、ホワイトバランスを例に説明を行ったが、白以外の特定の色への変換であってもよい。

本実施形態では、ＷＢ用色空間としてＧ／Ｒ−Ｇ／Ｂ空間を用いたが、色空間は本実施形態に限定されるものではない。またステップＳ１０３などで説明された白（無彩色）エリアの特定や光源色の特定も、本実施形態に限定されるものではなく、従来周知の如何なる方法を用いてもよい。また、本実施形態ではデジタルカメラを例に説明を行ったが、自動色調調整、特に自動ホワイトバランス調整を行う装置であれば、デジタルカメラに限定されるものではなく、例えば、ビデオカメラやテレビ、パソコンなどの画像処理に利用することもでき、同処理をプログラムとして提供することもできる。

１０４ デジタルスチルカメラプロセッサ
１０４−１ ＣＣＤ１信号処理ブロック
１０４−２ ＣＣＤ２信号処理ブロック
ＳＷ１ レリーズスイッチ

Claims (13)

1. 画像中の複数の領域の色情報に基づき前記画像撮影時の光源色を推定する光源色推定手段と、
   推定された前記光源色に適合する色調調整を行うための制御値を算出する制御値算出手段と、
   色情報が既知の特定の被写体を前記画像の中から検出する被写体検出手段と、
   前記特定の被写体の前記画像中の色情報を取得する被写体色情報取得手段とを備え、
   前記特定の被写体の前記画像中の色情報に基づき前記制御値の信頼性を評価し、または前記制御値を補正する
   ことを特徴とする色調調整装置。
2. 前記制御値評価手段において前記制御値の信頼性が低いと評価されるときに前記制御値の補正を行う制御値補正手段を備えることを特徴とする請求項１に記載の色調調整装置。
3. 前記色調調整がホワイトバランス調整であることを特徴とする請求項１または請求項２の何れかに記載の色調調整装置。
4. 前記特定の被写体を色情報以外の画像情報を用いて検出することを特徴とする請求項１〜３の何れか一項に記載の色調調整装置。
5. 前記特定の被写体が人物の顔であることを特徴とする請求項４に記載の色調調整装置。
6. 前記色情報には所定の色空間における色座標が含まれることを特徴とする請求項１〜５の何れか一項に記載の色調調整装置。
7. 前記特定の被写体の色座標と、前記光源色推定手段で推定される光源色の色座標の関係から前記制御値の信頼性を評価することを特徴とする請求項６に記載の色調調整装置。
8. 前記顔に対応する領域の色情報を前記光源色の推定に使用しないことを特徴とする請求項５に記載の色調調整装置。
9. 前記顔に対応する領域以外の領域の輝度値が所定値以上または所定値以下の場合には、前記顔に対応する領域の色情報を前記光源色の推定に使用することを特徴とする請求項８に記載の色調調整理装置。
10. 前記被写体検出手段により前記特定の被写体が検出されない場合、前記光源色の推定に前記画像の全領域の色情報を使用することを特徴とする請求項１〜９の何れか一項に記載の色調調整装置。
11. 請求項１〜１０の何れかに記載の色調調整装置を搭載したことを特徴とする撮像装置。
12. 画像中の複数の領域の色情報に基づき前記画像撮影時の光源色を推定し、
    推定された前記光源色に適合する色調調整を行うための制御値を算出し、
    色情報が既知の特定の被写体を前記画像の中から検出し、
    前記特定の被写体の前記画像中の色情報を取得し、
    前記特定の被写体の前記画像中の色情報に基づき前記制御値の信頼性を評価し、または前記制御値を補正する
    ことを特徴とする色調調整方法。
13. 画像中の複数の領域の色情報に基づき前記画像撮影時の光源色を推定する手順と、
    推定された前記光源色に適合する色調調整を行うための制御値を算出する手順と、
    色情報が既知の特定の被写体を前記画像の中から検出する手順と、
    前記特定の被写体の前記画像中の色情報を取得する手順と、
    前記特定の被写体の前記画像中の色情報に基づき前記制御値の信頼性を評価し、または前記制御値を補正する手順と
    をコンピュータに実行させるためのコンピュータプログラム。

Images