JP2005167476A - ホワイトバランス制御装置 - Google Patents

Abstract

【課題】 ストロボ発光時に撮像された画素に対して、ストロボ光による色温度と外光の色温度の線形補間を施してホワイトバランス係数を画素毎に求め、適切なホワイトバランス処理を施す。
【解決手段】 プリ露光時に撮像された画素データと本露光時のそれとを減算した結果から、現画素がストロボによる反射光か外光による反射光かを判定し、補間処理により画素毎に適切なホワイトバランス係数を求め、各画素に適切なホワイトバランスを施す。
【選択図】 図１

Description

本発明は、デジタルスチルカメラの画素毎のホワイトバランス制御装置に関する。

従来、ストロボを使用する撮像モード時は、ストロボの閃光発光時の色温度にホワイトバランスを合わせるか、外部光とストロボ光の色温度から適当なホワイトバランス係数を、演算処理によって算出する装置であった。これらは、フレーム毎かフレームを分割した領域に対してホワイトバランス係数を求めるものであった。

フレーム毎のホワイトバランス処理では、ストロボ光と、外光の反射光が混在しており、反射光別に対する領域のホワイトバランス依存度を考慮していないため、ストロボ使用時の撮像においてホワイトバランスが合わない領域が発生することが多い。フレーム毎にホワイトバランスを計算する方式では、ホワイトバランスが、ストロボ光に依存する割合が多く、ストロボ光による反射でなく外部光による反射光の領域が、適切なホワイトバランスを施せない場合があった。また、これを解決するべく従来、領域毎に、ホワイトバランスを計算してストロボ光と外光のホワイトバランスの調整を行うものがある（例えば、特許文献１参照）。
特開平８−５１６３２号公報

しかしながら、上記特許文献１に開示された方式では、領域の境界においてブロック歪みのような現象を起こす場合がある。

本発明は、上記問題点に着目して成されたものであって、ストロボ発光時に撮像された画素に対して、ストロボ光による色温度と外光の色温度の線形補間を施してホワイトバランス係数を画素毎に求め、適切なホワイトバランス処理を施すことのできるホワイトバランス制御装置の提供を目的としている。

本発明に係るホワイトバランス制御装置に於いては、前記課題を解決するために、画素ごとに適切なホワイトバランス係数を求める装置である。第一に、ストロボを使用しないで、プリ露光した静止画像を画像メモリに一旦格納し、第一の撮像モードと、ストロボを使用した本露光である第二の撮像モードとのそれぞれの画像から、第一の撮像モードの画像（外光）と第二の撮像モード（ストロボ光）との反射光とを、演算処理によって画素毎に第一の撮像モードの画像（外光）と第二の撮像モード（ストロボ光）との依存度を算出し、適切なホワイトバランス係数を算出する。これによって、ストロボ撮影時の最適なホワイトバランス処理を行うことを可能とする制御装置である。これによって、ストロボ光と、外光とのホワイトバランスを各々の画素に対して、適切に施すことが可能であり、従来技術で問題であったホワイトバランスを施す領域の境界での不自然な歪を解消することが可能である。

上記構成を、改めて以下（１）〜（３）に整理して示す。

（１）撮像した静止画像のホワイトバランスを画素毎に制御する画像処理装置である処のホワイトバランス制御装置であって、
ストロボを使用せずに撮像を行う第一の撮像モードと、ストロボを使用した撮像を行う第二の撮像モードを備える撮像手段を有することを特徴とするホワイトバランス制御装置。

（２）前記装置により、画素毎にストロボ光と外光の依存度を計算する手段を有することを特徴とする上記（１）に記載のホワイトバランス制御装置。

（３）前記装置から算出された画素毎のホワイトバランス係数から、適切なホワイトバランスを施した画像が得られることを特徴とする上記（１）に記載のホワイトバランス制御装置。

以上の説明から容易に理解できるように、本発明によれば、これまでホワイトバランスをフレーム単位、あるいはフレームの部分的な領域単位に行っていたものを画素単位に行うことで不適切なホワイトバランスによってグレーバランスが合わなくなったり、領域間の境界に不自然な歪を起こしていた問題を解決する装置である。

本装置はストロボを使用せずに第一の露光動作を行うプリ露光モードと、ストロボを使用した第二の露光動作を行う本露光モードを備える撮像手段を有し、第一の撮像モードで撮像したプリ露光データを画像メモリに記憶した後に、第二の撮像モードで撮像した本露光データと演算処理を行い、画素毎にホワイトバランス係数を求め、適切なホワイトバランス処理を行うことを特徴とする装置を提供することが可能となる。

以下、図面を参照して本発明の実施例を説明する。

図１は、本発明の実施例の構成を示す図である。

図１において、本発明を説明する。図１は本発明の一実施例であるホワイトバランス制御装置を備えたデジタルスチルカメラのブロック図である。レンズ１１と絞り１２を通った光線はＣＣＤ（固体撮像素子）１３の受光面に照射され、ＣＣＤ１３に被写体像が結像する。ＣＣＤ１３の受光面には多数の光電変換素子が配置され、また光電素子の上面には、原色フィルタであればＲ、Ｇ、Ｂの各色フィルタ要素からなるカラーフィルタが設けられている。各光電変換素子はひとつの画素データに対応している。被写体像は、各光電変換素子によって所定の色に対応した電気信号に変換され、信号処理変換回路，Ａ／Ｄ変換回路１４においてＲＧＢのデジタルデータが生成される。

また、信号処理変換回路，Ａ／Ｄ変換回路１４では、撮像動作に先立ち、ＣＣＤ１３から出力された画素データに基づき測光値が計算され、露出ストロボ制御回路１５に入力される。露出ストロボ制御回路１５では、測光値に基づいて絞り１２の開度（絞り値）とシャッタースピード、即ち露出条件が決定されるとともに、露出制御（電荷蓄積時間制御）やストロボ１６の発光動作の制御が行われる。本実施例では、この露出条件下で、ストロボ１６の発光動作を伴わない第一の露光（プリ露光）と、ストロボ１６の発光動作を伴う第二の露光（本露光）とが行われる。

信号処理回路，Ａ／Ｄ変換回路１４から出力されたＲＧＢのデジタルデータは、一般的な原色フィルタからのデータであれば４：２：２の画像フォーマット形式をとり、Ｒ：２５％，Ｇ：５０％，Ｂ：２５％となる。これを、前処理回路１７において、４：４：４の画像フォーマットに変換する。即ち、一画素単位にＲＧＢ各データをそれぞれ持つような適当な補間演算処理がなされることとなる。また、各画素ＲＧＢデータから輝度Ｙ１データを演算により求める。この輝度データを画像メモリ１８に格納する。この際、プリ露光時に許される処理速度、あるいは画像メモリ１８の許容容量によっては、適当な間引き処理を施す。同時に、ＲＧＢデータを全画面積算した結果から、ストロボなしでの外光の色温度に合わせたホワイトバランス係数をＡＷＢ（オートホワイトバランス係数生成回路）１９で算出する。

プリ露光時の全画面の輝度Ｙ画像メモリ１８への書き込み、及びホワイトバランス係数Ｋ１の算出が終了すると、露出ストロボ制御回路１５へ本露光動作のステータスフラグが送信され、第二の露光動作（本露光）に移る。本露光時には、ストロボモードとなっているので、ホワイトバランス係数Ｋ２は既知の値として、レジスタ値等であらかじめ保持しておく。本露光時もプリ露光時と信号処理は、ほぼ同じであるが、輝度Ｙは画像メモリ１８へは書き込まれず、画素毎ＷＢ係数生成回路２０にそのまま入力される。

本露光時の輝度Ｙ２データが、画素毎ＷＢ係数生成回路２０に入力されるのと同時に、プリ露光時の輝度データＹ１を画像メモリ１８から読み出す。このとき、読みだされたプリ露光時の輝度Ｙ１データに対し、本露光時の輝度データＹ２と画像サイズに対する位相ずれがある場合は、適当な位相制御や補間処理を施す。

ここで、プリ露光時の輝度データ関数をＹ１（ｘ，ｙ）、本露光時の輝度データ関数をＹ２（ｘ，ｙ）とする。それぞれの画素の輝度データ関数は、演算時の位相が一致（ｘ，ｙが等しい）していなくてはならない。また、プリ露光時と本露光時とのぶれが発生することも考えられるため、演算処理を行う前に、それぞれの輝度関数データに対して、メディアンフィルタ等のぼかし処理を施すほうが望ましい。輝度関数データＹ１（ｘ，ｙ）、Ｙ２（ｘ，ｙ）を減算した結果を輝度比較関数Ｌ（ｘ，ｙ）とすると、

と表せる。

ＣＣＤ１３の受光画素において、被写体によるストロボ光の反射光を受けた画素においては、第二の輝度データ関数Ｙ２（ｘ，ｙ）の方が第一の輝度データ関数Ｙ１（ｘ，ｙ）よりも実質的に大きな値を有し、ストロボ光が照射されない被写体の画素では、第二の輝度データ関数Ｙ２（ｘ，ｙ）は第一の輝度データ関数Ｙ１（ｘ，ｙ）とほぼ同じ値を有する。したがって本実施例では、輝度比較関数Ｌ（ｘ，ｙ）の値が所定の基準レベルＳ２よりも大きい時、ストロボ光に基づいたホワイトバランスの係数を使用する。このときのストロボ光のホワイトバランス係数は、実験的に求めた既知の値としてレジスタ等のメモリからリードして使用する。このホワイトバランス係数をＫ２とする。

逆に、輝度比較関数Ｌ（ｘ，ｙ）の値が所定の基準レベルＳ１（Ｓ１についても実験的に求めた既知の値）よりも小さい時は、外光に基づいてホワイトバランスを調整していると考えられる。この時のホワイトバランス係数は、プリ露光時に積算されたホワイトバランス係数を使用する。このときのホワイトバランス係数をＫ１とする。Ｓ２の値に関しても、レジスタ等にデータを保持しておく。次に、式（１）で求められた、Ｌ（ｘ，ｙ）の値が、Ｓ１とＳ２の中間に位置した場合は、ストロボのホワイトバランス係数Ｋ２と、外光のホワイトバランス係数Ｋ１との線形補間演算によってホワイトバランス係数を決定する。このときのホワイトバランス係数をＫ１２とすると、

と表せる。

これらを整理すると、

となる。また、式（３）を整理すると、

と表せる。式（４）のＭ，Ｎは、プリ露光時に積算されたホワイトバランス係数Ｋ１、ストロボ光の既知のホワイトバランス係数Ｋ２、既知の基準レベルＳ１，Ｓ２より算出できる。

第一の撮像モードの画像（外光）より、外光のホワイトバランス係数Ｋ１が算出された後、ＣＰＵにより、Ｍ，Ｎの値を算出する。

ＣＰＵより演算されたＭ，Ｎ値、及び式（１）より算出された輝度比較関数Ｌ（ｘ，ｙ）の値より、画素毎のホワイトバランス係数を算出する。

図２は図１の画素毎ＷＢ係数生成回路２０の内部回路を示したものである。Ｙ１（５０）は、第一の撮像モードの画像（外光）の輝度関数データＹ１（ｘ，ｙ）、Ｙ２（５１）は第二の撮像モードの画像（ストロボ光）の輝度関数データＹ２（ｘ，ｙ）である。式（１）の輝度比較関数Ｌ（ｘ，ｙ）は、これらを減算した結果Ｌ（５２）である。求められた輝度比較関数Ｌ（ｘ，ｙ）から、ＣＰＵより算出された式（４）のＭ（５３），Ｎ（５４）より式（４）の演算がなされ、ホワイトバランス係数Ｋ１２（５９）が求められる。セレクタ６０，６１は、式（４）の条件により、最終的なホワイトバランス係数を決めるセレクタである。最終結果Ｋ１２（６２）となる。また、図２のＫ１２（６２）は、Ｒ画素、Ｂ画素それぞれ別に求められる。Ｒ画素については、ＫＲ１２、Ｂ画素については、ＫＢ１２とする。

上記演算処理と並列に、本露光時のＲＧＢ画像データは前処理回路１７より乗算回路２１，２２へ送信される。乗算回路２１，２２では、画素毎Ｒ，Ｂデータに対して、前述の画素毎ＷＢ係数生成回路２０より算出されたＫＲ１２，ＫＢ１２を乗算する。ホワイトバランス処理されたＲＧＢデータそれぞれをＲＷＢ，ＧＷＢ，ＢＷＢとすると、

と表せる。

次に、式（５）で求められたホワイトバランス処理されたＲＧＢデータ（ＲＷＢ，ＧＷＢ，ＢＷＢ）は、ＲＢＧ−＞ＹＣＣ変換経路，データ圧縮回路２３でＲＧＢ画像フォーマットから輝度Ｙと色差信号Ｃｒ，Ｃｂから成るＹＣＣ画像フォーマットへ変換される。例えば、画像圧縮がＪＰＥＧであるなら離散コサイン変換、量子化およびハフマン符号化等の処理が施され、圧縮処理される。圧縮された画像信号（Ｄｙ，Ｄｃｂ，Ｄｃｒ）は、ＩＣメモリカード（記録媒体）に記録される。

図３は本発明の実施例におけるホワイトバランス制御の処理ルーチンを示すフローチャートである。図３を用いて、図１のホワイトバランス制御装置実施例の動作を説明する。

ステップ１０１では、電池交換等の電源投入により制御変数等を初期化し、ホワイトバランス制御装置を含む画像処理装置の初期設定を行う。

ステップ１０２では、レリーズスイッチがオン状態であれば、ステップ１０３のストロボ光を発光しない撮影動作が行われるが、オフ状態であれば、ステップ１０２の動作を繰り返す。

ステップ１０３では、ストロボ１６を発光しない状態での撮影（第一露光動作）が行われる。この撮影よりＣＣＤ１３において発生した電気信号は、信号処理回路，ＡＤ変換回路１４においてデジタルデータが生成される。また、このデジタルデータは、前処理回路１７において、適当な補間演算処理がなされる。

ステップ１０４では、前処理回路１７において、ステップ１０３で生成された各画素のＲＧＢデータから輝度データ関数Ｙ１（ｘ，ｙ）を算出する。算出した輝度データ関数Ｙ１（ｘ，ｙ）は、処理速度や、画像メモリサイズの許容範囲より適当な間引きを行い、画像メモリ１８へ格納される。これと同時に、各画素のＲＧＢデータから積算された値より、外光のホワイトバランス係数Ｋ１（オートホワイトバランス係数）を算出しておく。第一露光動作に於ける一画面の画像データが、画像メモリ１８へ格納されると、ストロボ１６を発光する状態での撮影（第二露光動作）にうつる。

ステップ１０５では、ステップ１０４でのストロボ１６を発光しない状態での撮影（第一露光動作）が終了したフラグを受けて行われる。このステップでは、ストロボ１６を使用した本露光動作が行われる（第二露光動作）。この動作においても、ストロボ１６を使用しないプリ露光時（第一露光動作）と同様な（プリ露光時の処理期間に制約がある場合は、輝度データを求めるための補間処理は、本露光時とは別の簡易的な補間処理で対応する。）補間演算処理が施される。

ステップ１０６では、プリ露光時（第一露光動作）と同様に、輝度データ関数Ｙ２（ｘ，ｙ）を前処理回路１７において算出する。これと同時に、ステップ１０４で格納していた輝度データ関数Ｙ１（ｘ，ｙ）を画像メモリ１８より読み出す。このとき、輝度データ関数Ｙ１（ｘ，ｙ）が間引き処理等行われて格納されている場合は、適当な補間処理が行われ、画素位置ｘ，ｙの位相をＹ２（ｘ，ｙ）と合わせる必要がある。

ステップ１０７では、ストロボ１６を使用しないプリ露光時（第一露光動作）の輝度データ関数Ｙ１（ｘ，ｙ）と、ストロボ１６を使用する露光時（第二露光）の輝度データ関数Ｙ２とを減算して、輝度比較関数Ｌ（ｘ，ｙ）を算出する。（式（１））この演算処理を行う前に、プリ露光時（第一露光動作）と、ストロボ１６を使用する露光時（第二露光）の間に、ぶれが発生する可能性があるので、適当なぼかし処理を施すほうが望ましい。

ステップ１０８では、輝度比較関数Ｌ（ｘ，ｙ）と実験的に得られたしきい値Ｓ１との比較により、現画素が、外光による反射光であるかどうかの判定を行う。

ステップ１０９では、輝度比較関数Ｌ（ｘ，ｙ）と実験的に得られたしきい値Ｓ２との比較により、現画素が、ストロボ１６による反射光であるかどうかの判定を行う。

ステップ１１０では、輝度比較関数Ｌ（ｘ，ｙ）が、実験的に得られたしきい値Ｓ１より小さい場合であり、このときは、現画素の反射光は、外光による反射光と見なされ、ステップ１０４で算出した外光のホワイトバランス係数（オートホワイトバランス係数）を使用する。

ステップ１１１では、ステップ１０８，１０９より、輝度比較関数Ｌ（ｘ，ｙ）が、実験的に得られたしきい値Ｓ１，Ｓ２の中間に位置する。この場合は、外光のホワイトバランス係数（オートホワイトバランス係数）Ｋ１と、既知のストロボによる色温度のホワイトバランス係数Ｋ２とで線形補間演算処理を行い、（式（２））このステップにおいて使用するホワイトバランス係数を算出する。

ステップ１１２では、輝度比較関数Ｌ（ｘ，ｙ）が、実験的に得られたしきい値Ｓ２より大きい場合であり、このときは、現画素の反射光は、ストロボ１６による反射光と見なされ、既知のストロボによるホワイトバランス係数Ｋ２を使用する。これらホワイトバランス係数の算出及び選択は、画素毎に、Ｒ及びＢそれぞれについて求める。求められたホワイトバランス係数をそれぞＫＲ１２，ＫＢ１２とする。上記これらの比較，線形補間による算出は、画素毎ＷＢ係数生成回路２０によって行われる。

ステップ１１３では、ステップ１１０〜１１２で算出，選択されたホワイトバランス係ＫＲ１２，ＫＢ１２を、画素毎に、Ｒ及びＢに対して乗算器２１，２２においてそれぞれ乗算する。乗算して得られた結果は、ＲＧＢそれぞれＷＢＲ，ＷＢＧ，ＷＢＢ（Ｇについては前処理回路１７より出力するＧと同じ）とする。

ステップ１１４では、画素毎のホワイトバランス処理が行われたＲＧＢ（ＷＢＲ，ＷＢＧ，ＷＢＢ）画像データから、ＹＣＣ画像データへ変換処理がなされる。

ステップ１１５では、ステップ１１４で変換されたＹＣＣの画像データから、適当な画像圧縮処理がなされた後に、記録媒体へ記録される。

本発明の一実施例の構成ブロック図 図１の画素毎ＷＢ係数生成回路の内部回路 本実施例のフローチャート

符号の説明

１１ レンズ
１２ 絞り
１３ ＣＣＤ（固体撮像素子）
１４ 信号処理回路，Ａ／Ｄ変換回路
１５ 露出ストロボ制御回路
１６ ストロボ
１７ 前処理回路
１８ 画像メモリ
１９ ＡＷＢ（オートホワイトバランス係数生成回路）
２０ 画素毎ＷＢ係数生成回路
２１，２２ 乗算回路
２３ ＲＧＢ−＞ＹＣＣ変換回路，データ圧縮回路
６０，６１ セレクタ

Claims (3)

1. 撮像した静止画像のホワイトバランスを画素毎に制御する画像処理装置である処のホワイトバランス制御装置であって、
   ストロボを使用せずに撮像を行う第一の撮像モードと、ストロボを使用した撮像を行う第二の撮像モードを備える撮像手段を有することを特徴とするホワイトバランス制御装置。
2. 前記装置により、画素毎にストロボ光と外光の依存度を計算する手段を有することを特徴とする請求項１に記載のホワイトバランス制御装置。
3. 前記装置から算出された画素毎のホワイトバランス係数から、適切なホワイトバランスを施した画像が得られることを特徴とする請求項１に記載のホワイトバランス制御装置。
   
   
   
   
   

Images