JP2005303785A - ホワイトバランス調整装置、ホワイトバランス調整方法 - Google Patents

Abstract

【課題】 ホワイトバランス調整の演算処理の簡易化及び性能向上
【解決手段】 高色温度下での撮像に対応しては例えば（Ｒ−Ｂ）／Ｇ軸と（Ｒ＋Ｂ−２Ｇ）／Ｇ軸で表される座標上で黒体放射カーブを直線（色温度変化直線）とみなす。そしてＲ信号、Ｇ信号、Ｂ信号の積分データより現在の色温度を推測し、色温度変化直線に沿った引き込み動作を行う。そして黒体放射カーブを直線とみなした色温度変化直線の傾きを調整することで、スミアの影響に対応した色温度推測が可能となる。即ちスミアの影響を考慮しなければならない状況、つまり高輝度、高色温度の被写体に対応して、色温度変化直線の傾きを変化させることで、スミアの影響によらず適切なホワイトバランスゲイン設定を可能とする。
【選択図】 図５

Description

本発明はビデオカメラ、デジタルカメラなどの撮像装置／撮像システムにおいてホワイトバランス調整を行うためのホワイトバランス調整装置及びホワイトバランス制御方法に関するものである。

ホワイトバランスとは、例えば固体撮像素子を用いた撮像システムにおいて、光源(被写体)の色温度が変化した場合に、色温度の変化に応じて白色が黒体放射カーブ(黒体軌跡)に沿って移動し、色が付いている白色(例えば、低い色温度の場合は赤っぽくなり、高い色温度の場合は青っぽくなる)を無彩色の白に合わせる事である。ここで、色温度とは、テスト光源と同じ色度を持った黒体の絶対温度(°Ｋ)を言う。

ところで、ＣＣＤ（Charge-Coupled Device）などの固体撮像素子を撮像デバイスとして使用したビデオカメラや、デジタルスチルカメラでは、被写体の白色を撮像した撮像結果からその白色を無彩色の白色として映し出すために、光源の色温度の変化に応じて白色を黒体放射カーブに沿って移動させることで、色が付いて見える白色を無彩色の白に合わせるオートホワイトバランス処理機能を備えている。実際には、ＣＣＤ等で撮像された映像の３原色（Ｒ、Ｇ、Ｂ）の信号強度を電子的に増幅・減衰させ各色の信号バランスを変化させて、映像の色温度を補正してホワイトバランスを調整する方法が採用されている。
特にフィードバック制御方式によるホワイトバランス制御としては、各フィールド毎の色差信号の積分値より、被写体が無彩色の白に対してどれだけ色が付いているかを判断し、その結果から被写体が無彩色の白に近づくように現状のホワイトバランスアンプのゲインを一定量操作し、この手順を毎フィールド繰り返すことで、最終的にホワイトバランスをとる、という制御を行っていた。
ホワイトバランス調整に関する技術としては例えば次の文献が知られている。
特開２００２−２８１５１２号公報

ところで従来では、ホワイトバランス調整を行う際には、現在の色温度を特に意識せずに、ゲインを増減させる方向のみを制御することでホワイトバランス制御を実現している。具体的には、Ｒ信号、Ｇ信号、Ｂ信号が１：１：１となるようにゲイン調整する。
この場合、高色温度下での肌色の多い被写体は、色温度の色と相殺されてしまい、現在の色温度よりも低くみてしまうことにより、全体的に青み掛かった映像になることが問題となっていた。
また同様に、高色温度下での緑色の多い被写体は緑色を引き込んでしまうため、白色がマゼンタ色になってしまうことも問題となっていた。

また実際の色温度の変化（黒体放射カーブ）は曲線で表されること、さらにはセンサーにより曲線の変化が異なるため、これを一義的に数式で表すことはできない。このため、光源(被写体)の色温度の変化に応じて白色が黒体放射カーブに沿って移動し、色が付いている白色を無彩色の白に合わせるというホワイトバランスのための調整ゲインの算出は困難である。
さらに黒体放射カーブとしての曲線を数式で表すことができたとしても、調整ゲインの算出の困難さは解消されない。

また、ＣＣＤ撮像素子を使用して高輝度、高色温度下で撮影した場合、スミアの影響が大きいが、スミア成分を考慮せずに色温度を推測してホワイトバランス処理を行うと、現在の色温度よりも高く色温度を推測してしまい、全体的に赤みがかかった画になってしまう問題もある。これに対して、光学レンズとＣＣＤ撮像素子との間にＮＤフィルタを挿入して高色温度下でのスミア対策とする方法もあるが、低色温度下での撮影時にノイズが目立ってしまう事や、構成上の負担が大きくなるなどの難点がある。

本発明は、特に高色温度下での肌色と緑色の引込を改善しつつ、黒体放射カーブを直線とみなすことにより、簡易にホワイトバランスの制御目標値を計算できるようにし、ホワイトバランス制御機能の向上を図る。さらにその上で本発明は、高色温度下でのスミアの影響を考慮して黒体放射カーブとみなす直線（色温度変化直線）の傾きを調整してホワイトバランス処理が行われるようにすることで、一層のホワイトバランス制御機能の向上を図る事を目的とする。

本発明のホワイトバランス調整装置は、入力されるＲ信号、Ｇ信号、Ｂ信号のそれぞれに対して可変ゲインアンプが設けられたホワイトバランスアンプ手段と、上記ホワイトバランスアンプ手段から出力されるＲ信号、Ｇ信号、Ｂ信号のそれぞれについての積分値を得る積分手段と、上記積分手段から出力されるＲ信号、Ｇ信号、Ｂ信号の各積分値から所定の座標上の値として求められる積分値変換データと、上記座標上で黒体放射カーブを直線とみなした色温度変化直線とから、現在の色温度を推測し、推測した色温度に基づいてホワイトバランス調整ゲインを求めて、上記ホワイトバランスアンプ手段の各可変ゲインアンプのゲインを制御する制御手段とを備える。そしてその制御手段は、上記色温度変化直線の設定を変更可能とされているものである。
また上記所定の座標とは、（Ｒ−Ｂ）／Ｇ軸と、（Ｒ＋Ｂ−２Ｇ）／Ｇ軸で表される座標である。そして上記制御手段は、上記色温度変化直線の一端を（Ｒ＋Ｂ−２Ｇ）／Ｇ軸の正方向に移動させることで、上記色温度変化直線の傾きを変化させる。
また上記制御手段は、被写体の輝度情報に基づいて、上記色温度変化直線の設定を変更する。

本発明のホワイトバランス調整方法は、入力されるＲ信号、Ｇ信号、Ｂ信号のそれぞれに対して可変ゲインアンプが設けられたホワイトバランスアンプ手段から出力されるＲ信号、Ｇ信号、Ｂ信号のそれぞれについての積分値を得る積分ステップと、上記積分ステップで得られるＲ信号、Ｇ信号、Ｂ信号の各積分値から所定の座標上の値としての積分値変換データを求める積分値変換データ算出ステップと、上記座標上で黒体放射カーブを直線とみなした色温度変化直線の設定を所定の条件に応じて変更する色温度変化直線設定ステップと、上記積分値変換データ算出ステップで求めた積分値変換データと、上記色温度変化直線とから、現在の色温度を推測する推測ステップと、推測した色温度に基づいてホワイトバランス調整ゲインを求めて、上記ホワイトバランスアンプ手段の各可変ゲインアンプのゲインを制御するゲイン制御ステップとを有する。
また上記所定の座標とは、（Ｒ−Ｂ）／Ｇ軸と、（Ｒ＋Ｂ−２Ｇ）／Ｇ軸で表される座標である。そして上記色温度変化直線設定ステップで色温度変化直線の設定を変更する場合、上記色温度変化直線の一端を（Ｒ＋Ｂ−２Ｇ）／Ｇ軸の正方向に移動させて上記色温度変化直線の傾きを変化させる。
また上記色温度変化直線設定ステップでは、被写体の輝度情報に基づいて、上記色温度変化直線の設定を変更する。

即ち本発明では、フィードバック制御によるオートホワイトバランス制御において、例えば高色温度かでの撮像に対しては、黒体放射カーブを直線（色温度変化直線）とみなす。そしてＲ信号（赤）、Ｇ信号（緑）、Ｂ信号（青）という各々の原色信号の例えばフィールド毎の積分値を得て、その積分データを変換して得られる座標値、例えば（Ｒ−Ｂ）／Ｇ、（Ｒ＋Ｂ−２Ｇ）／Ｇの値より、黒体放射カーブを直線とみなした色温度変化直線上から現在の色温度を推測し、その推測した色温度を引き込ませるようにホワイトバランスゲインを設定する制御方式をとる。
黒体放射カーブを直線とみなすことによれば、演算処理の簡易化が実現される。
そしてさらに、黒体放射カーブを直線とみなした色温度変化直線の傾きを調整することで、スミアの影響に対応した色温度推測が可能となる。即ちスミアの影響を考慮しなければならない状況、つまり高輝度、高色温度の被写体に対応して、色温度変化直線の傾きを変化させることで、スミアの影響によらず適切なホワイトバランスゲイン設定が可能となる。

本発明によれば、例えば高色温度下での撮像に対応しては黒体放射カーブを直線（色温度変化直線）とみなす。そしてＲ信号、Ｇ信号、Ｂ信号の積分データより現在の色温度を推測し、色温度変化直線に沿った引き込み動作を行う。これにより、色温度の推測及び調整ゲインの設定のための演算処理が簡易化されるという効果がある。
特にこの場合、（Ｒ−Ｂ）／Ｇ軸と（Ｒ＋Ｂ−２Ｇ）／Ｇ軸で表される座標を用いることが、黒体放射カーブを直線とみなすことに好適であり、ホワイトバランス制御機能を低下させずに簡易な演算処理を実現する。

さらに高輝度、高色温度の被写体に対応して、色温度変化直線の設定を変更することで、スミアの影響を考慮した色温度推測が可能となる。これによってスミアの影響を軽減したより高性能なホワイトバランス調整が実現されるという効果がある。
また、ホワイトバランス制御でのみスミアの影響を軽減させることができるため、ＮＤフィルタ等の特別な減光素子や、スミアリダクション回路等の特別なハードウェアを実装する必要がないことになり、カメラシステム全体の小規模化や回路規模の縮小化、コストダウンに貢献できる。

また色温度変化直線の設定変更は（Ｒ＋Ｂ−２Ｇ）／Ｇ軸方向でのみ調整する為、（Ｒ−Ｂ）／Ｇ軸方向の引き込み色温度範囲には影響を及ぼす事がない。さらに、高色温度下での制御時のみ調整することで低色温度側のホワイトバランス制御に影響を及ぼす事がない。これらの点でも好適である。

以下、本発明の実施の形態を説明する。図１は実施の形態のホワイトバランス調整装置のブロック図である。ホワイトバランス調整装置は例えばビデオカメラ等の撮像装置に内蔵され、撮像映像信号についてのホワイトバランス調整を行う。
このホワイトバランス調整装置は。原色分離回路２，ホワイトバランスアンプ３，オプティカルディテクタ５，コントローラ６を備える。
入力端子１には、固体撮像素子、例えばＣＣＤ撮像素子によって得られた電気信号が信号処理され、デジタル信号として供給される。そしてこのデジタル信号が原色分離回路２に入力される。
原色分離回路２では入力されたデジタル信号がＲ(赤)、Ｇ(緑)、Ｂ(青)の原色信号に分離される。
分離された各信号（Ｒ信号、Ｇ信号、Ｂ信号）はホワイトバランスアンプ３に入力される。ホワイトバランスアンプ３には、Ｒ信号、Ｇ信号、Ｂ信号にそれぞれ対応して可変ゲインアンプ３Ｒ、３Ｇ、３Ｂが設けられている。各可変ゲインアンプ３Ｒ、３Ｇ、３Ｂは、それぞれコントローラ６によって制御されるゲインにおいて、それぞれＲ信号、Ｇ信号、Ｂ信号の増幅（又は減衰）を行い、出力する。

ホワイトバランスアンプ３から出力されたＲ信号、Ｇ信号、Ｂ信号は、映像信号に合成するために利用するべく、端子４Ｒ、４Ｇ、４Ｂから図示しない次段の回路系に出力される。
また、Ｒ信号、Ｇ信号、Ｂ信号は、ホワイトバランス調整に利用するべく、オプティカルディテクタ５にも供給される。オプティカルディテクタ５はＲ信号、Ｇ信号、Ｂ信号をそれぞれ、フィールド毎（又はフレーム毎）に積分する積分回路を持つ。即ちオプティカルディテクタ５は、Ｒ信号、Ｇ信号、Ｂ信号の例えばフィールド単位の積分値データＲｉ、Ｇｉ、Ｂｉをコントローラ６に供給する。
なお、オプティカルディテクタ５では、例えばＲ信号、Ｇ信号、Ｂ信号から被写体の輝度レベルの情報を算出し、輝度情報Ｙをコントローラ６に対して出力する。

コントローラ６は例えばマイクロコンピュータ或いはＤＳＰ等により形成され、ソフトウエアにより所定の演算を行う。具体的には、オプティカルディテクタ５から供給される積分値データＲｉ、Ｇｉ、Ｂｉを元に、（Ｒ−Ｂ）／Ｇのデータと、（Ｒ＋Ｂ−２Ｇ）／Ｇのデータを得る演算機能と、（Ｒ−Ｂ）／Ｇ、（Ｒ＋Ｂ−２Ｇ）／Ｇの各データに基づいてＲ信号、Ｇ信号、Ｂ信号の各ゲインを設定するゲイン設定の演算機能を備える。またゲイン設定のための演算において、色温度推測のための処理に、輝度情報Ｙを用いる。
なお、色温度推測のための処理に輝度情報Ｙを用いるのは一例であり、他にも手法はある。例えば外部コントローラなど、他の部位もしくは他の機器から色温度推測のための情報が与えられても良い。
これらの機能（ソフトウェア演算）によって得られた各ゲインの設定値は、ホワイトバランスアンプ３における各可変ゲインアンプ３Ｒ、３Ｇ、３Ｂにフィードバックされて、Ｒ信号、Ｇ信号、Ｂ信号の各ゲインを制御することになる。

このホワイトバランス調整装置において、ホワイトバランスをとる(調整する)とは、基本的には、Ｒ信号、Ｇ信号、Ｂ信号の比率が等しくなるようにホワイトバランスアンプ３の各可変ゲインアンプ３Ｒ、３Ｇ、３Ｂのゲイン（Ｒゲイン、Ｇゲイン、Ｂゲイン）を調整する事をいう。
そしてホワイトバランスを調整するにあたっては、
Ｒ信号×Ｒゲイン＝Ｇ信号×Ｇゲイン＝Ｂ信号×Ｂゲイン
すなわち、
Ｒ信号×Ｒゲイン−Ｇ信号×Ｇゲイン＝Ｂ信号×Ｂゲイン−Ｇ信号×Ｇゲイン＝０
が成り立つように、ホワイトバランスアンプ３を制御する。

そして本例においては、特に高色温度下でのホワイトバランス制御に特徴を有する。以下、コントローラ６によって行われるホワイトバランス調整処理について説明する。

コントローラ６では、ホワイトバランス調整に関して、図２に示すような座標系、即ち（Ｒ−Ｂ）／Ｇ軸と（Ｒ＋Ｂ−２Ｇ）／Ｇ軸による座標を用いる。
後述するがコントローラ６は、ホワイトバランス調整処理に際して、オプティカルディテクタ５からの積分値データＲｉ，Ｇｉ，Ｂｉを変換して当該座標上のデータ値（積分値変換データ）を求めることになる。
この座標上においては、例えば図示するように高色温度側の引込枠Ｗ１及び低色温度側の引込枠Ｗ２が設定される。
なお、このためには、予めプリホワイトバランス調整が行われる。プリホワイトバランス調整とは、基準色温度下で基準の白色を決める調整の事を指す。プリホワイトバランス調整では、基準の白色の色温度の決定、及び上記引込枠Ｗ１，Ｗ２の設定が行われる。
コントローラ６は図２のような座標上の引込枠Ｗ１，Ｗ２についてはパラメータ数値として保持する。
引込枠Ｗ１，Ｗ２とは、ホワイトバランス調整のためのゲイン設定（ホワイトバランス引込）を行う範囲を示すものである。
なお図２に示す引込枠Ｗ１，Ｗ２の範囲は一例であり、必ずしも常にこのように設定されるものではない。

ここで、（Ｒ−Ｂ）／Ｇ軸と（Ｒ＋Ｂ−２Ｇ）／Ｇ軸による図２の座標上で考えると、黒体放射カーブＣＢは点線で示すような曲線となる。但し、黒体放射カーブはセンサにより異なるという事情から、必ずしも一義的に図示するような曲線になるわけではなく、図２の黒体放射カーブＣＢはあくまで一例である。

上述したように従来のホワイトバランス調整においては、現在の色温度を特に意識せずに、ゲインを増減させる方向のみを制御することでホワイトバランス制御を行っていた。
本例において、積分値変換データが低色温度側の引込枠Ｗ２内となった場合は、従来と同様、特に色温度を意識せずに、Ｒ信号、Ｇ信号、Ｂ信号が１：１：１となるようにゲイン調整する。

一方、積分値変換データが高色温度側の引込枠Ｗ１内となった場合は、現在の色温度を推測する処理を行う。この際に、黒体放射カーブＣＢを用いず、この黒体放射カーブＣＢを直線とみなした色温度変化直線ＬＢを用いる。色温度変化直線ＬＢは、例えば設定された引込枠Ｗ１に応じた直線（例えば図２に示すように引込枠Ｗ１の下限側の頂点と座標原点を結ぶ直線）として設定する。
このような色温度変化直線ＬＢを用いて、Ｒ信号、Ｇ信号、Ｂ信号の積分値データＲｉ，Ｇｉ，Ｂｉより現在の色温度を推定し、色温度変化直線ＬＢに沿った引き込み動作を行う。
またこの場合、色温度は、Ｇ成分が大きい場合はＧ成分を残す様に、Ｒ成分が大きい場合はＲ成分を残す様に推測することで、高色温度下での肌色と緑色の引き込みを改善する。
さらに後述するように、スミアの影響を避けるためには、色温度変化直線をシフトさせる。具体的には引込枠Ｗ１の下限側頂点を（Ｒ＋Ｂ−２Ｇ）／Ｇ軸の正方向に移動させ、その下限側頂点と座標原点を結ぶ色温度変化直線ＬＢの傾きを変更する。

まず、図２のような色温度変化直線ＬＢを用いた色温度の推定動作を図３に模式的に示して説明する。
図３において座標上の領域（ｉ）は、第３象限での引込枠Ｗ１の範囲内、及び第４象限での引込枠Ｗ１の範囲内で且つ図面上、色温度変化直線ＬＢより左側となる領域である。
積分値データＲｉ，Ｇｉ，Ｂｉを変換して座標上のデータ値とした積分値変換データが、○で示すように上記領域（ｉ）にあった場合は、矢印で示すように（Ｒ＋Ｂ−２Ｇ）／Ｇ軸に沿って平行移動して色温度変化直線ＬＢに到達した点を、現在の色温度とする。
一方、座標上の領域（ii）は、第４象限での引込枠Ｗ１の範囲内で且つ図面上、色温度変化直線ＬＢより右側となる領域である。
積分値データＲｉ，Ｇｉ，Ｂｉを変換して座標上のデータ値とした積分値変換データが、△で示すように上記領域（ii）にあった場合は、矢印で示すように（Ｒ＋Ｂ−２Ｇ）／Ｇ軸及び（Ｒ−Ｂ）／Ｇ軸を同じ量だけ負の方向へ移動させる（座標上で４５°左下方に移動させる）。そして色温度変化直線ＬＢに到達した点を、現在の色温度とする。

基本的には以上のように、本例の高色温度下でのホワイトバランスの制御方法としては、基準の白色を調整する基準色温度から高色温度側への色温度の変化（黒体放射カーブ）を直線とみなす。そしてＲ(赤)、Ｇ(緑)、Ｂ(青)各々の原色信号の積分値を変換して得られる（Ｒ−Ｂ）／Ｇ、（Ｒ＋Ｂ−２Ｇ）／Ｇの値による座標上の位置を、黒体放射カーブを直線とみなした色温度変化直線ＬＢ上に対応させて現在の色温度を推測する。そしてその推測した色温度に引き込ませるようにホワイトバランスゲインを設定するものとなる。

ここで、ＣＣＤ撮像素子を使用して高輝度、高色温度下で撮影した場合のスミア成分の影響を考える。
上記の色温度推測では、スミア成分の影響を考慮せずに色温度を推測する為、現在の色温度よりも高く色温度を推測してしまい、全体的に赤みがかかった画になってしまう。
図４で説明する。
図４（ａ）において例えばスミアの影響がない場合における、（Ｒ−Ｂ）／Ｇ、（Ｒ＋Ｂ−２Ｇ）／Ｇの値による座標上の位置を、Ｐ１、Ｐ３として示している。Ｐ１は（Ｒ−Ｂ）／Ｇ、（Ｒ＋Ｂ−２Ｇ）／Ｇの値が領域（ｉ）内となった場合の例であり、Ｐ３は（Ｒ−Ｂ）／Ｇ、（Ｒ＋Ｂ−２Ｇ）／Ｇの値が領域（ii）内となった場合の例である。
ここで、スミアの影響がある場合を考えると、実際の積分値データＲｉ，Ｇｉ，ＢｉにおいてＲ／Ｇ成分が多くなる。具体的には実際よりも赤みを帯びたようになってしまう。この結果、例えば座標位置Ｐ１となるべき場合においてスミアの影響によって積分値データＲｉ，Ｇｉ，Ｂｉから算出される座標位置がＰ１ｓとなる。同様に座標位置Ｐ３となるべき場合に、スミアの影響によって座標位置Ｐ３ｓとなってしまう。この場合、領域（ｉ）の場合は座標位置Ｐ１ｓを平行移動し、また領域（ii）の場合は座標位置Ｐ３ｓを４５度左下方に移動させて色温度変化直線ＬＢ上で色温度を推測すると、色温度変化直線ＬＢ上に投影される位置Ｐ１，Ｐ３の場合と変動して、本来の色温度とは異なる推測がなされてしまう。

そこで本例では、スミアの影響が考えられる場合には、図４（ｂ）に示すように引込枠Ｗ１の下限側頂点を矢印ｅだけ（Ｒ＋Ｂ−２Ｇ）／Ｇ軸の正方向に移動させ、引込枠Ｗ１の下限側頂点と座標原点を結ぶ色温度変化直線ＬＢの傾きを変更する。つまり色温度変化直線ＬＢｓを用いる。そしてその状態で上記同様に、領域（ｉ）の場合は座標位置Ｐ１ｓを平行移動し、また領域（ii）の場合は座標位置Ｐ３ｓを４５度左下方に移動させて色温度変化直線ＬＢｓ上に投影された位置として色温度を推測するようにする。
スミアの影響が考えられる場合は、このようにシフトされた色温度変化直線ＬＢｓを用いて現在の色温度を推測することで、スミアの影響を軽減して適切なホワイトバランス調整が実現されるようにする。

このような処理方式でホワイトバランス調整を実現するためのコントローラ６の処理（ホワイトバランスアンプ３のゲイン調整のための処理）を図５に示し、具体的に説明する。

図５の処理は、例えば映像信号のフィールド単位で、オプティカルディテクタ５から積分値データＲｉ，Ｇｉ，Ｂｉが入力される毎に行われる。
コントローラ６はステップＦ１０１で積分値データＲｉ，Ｇｉ，Ｂｉが入力されると、ステップＦ１０２で、積分値データＲｉ，Ｇｉ，Ｂｉから、上記図２の座標上でのポイント（積分値変換データ）を算出する。
この場合、まず、
Ｒ’信号＝Ｒｉ×プリホワイトバランス調整時のＲゲイン÷現在のＲゲイン
Ｇ’信号＝Ｇｉ×プリホワイトバランス調整時のＧゲイン÷現在のＧゲイン
Ｂ’信号＝Ｂｉ×プリホワイトバランス調整時のＢゲイン÷現在のＢゲイン
として、Ｒ’信号、Ｇ’信号、Ｂ’信号を得る。
そして、求められたＲ’信号、Ｇ’信号、Ｂ’信号を用いて、（Ｒ−Ｂ）／Ｇ値、（Ｒ＋Ｂ−２Ｇ）／Ｇ値を生成する。
この（Ｒ−Ｂ）／Ｇ値、（Ｒ＋Ｂ−２Ｇ）／Ｇ値が、（Ｒ−Ｂ）／Ｇ軸と（Ｒ＋Ｂ−２Ｇ）／Ｇ軸による座標上での積分値変換データとなる。

続いてステップＦ１０３では、高色温度側の処理とするか低色温度側の処理とするかの判断を行い、低色温度側であった場合は、ステップＦ１１１に進み、当該積分値変換データが、図２に示した引込枠Ｗ２の範囲内であるか否かを判断する。
引込枠Ｗ２の範囲内でなければ、ステップＦ１１２から今回の処理を終え、次のフィールドの積分値データＲｉ，Ｇｉ，Ｂｉの入力を待つ。

引込枠Ｗ２の範囲内であったら、ステップＦ１１２からＦ１１３に進み、低色温度側に対応した収束目標値の算出を行う。
つまり、特に色温度を意識せずに、Ｒ信号、Ｇ信号、Ｂ信号が１：１：１となるように収束目標値を算出し、ステップＦ１１０でホワイトバランスアンプ３の各可変ゲインアンプ３Ｒ、３Ｇ、３Ｂに対してゲイン制御を行う。

一方、ステップＦ１０３で高色温度側の処理と判断された場合は、ステップＦ１０４で設定変更が必要であるか否かを判断する。これは上述したスミアの影響を回避するための設定変更のことであり、つまり引込枠Ｗ１の下限側頂点を変更させるか否か（＝色温度変化直線ＬＢのＬＢｓへのシフトさせるか否か）の判断となる。
例えばＣＣＤ撮像素子による撮像信号において、高輝度、高色温度の被写体を撮像している際に、スミアの影響が大きい。従ってこの高色温度側の処理においては、例えばオプティカルディテクタ５から供給される輝度情報Ｙを参照し、所定レベルより輝度レベルが高いか否かによって、色温度変化直線ＬＢをシフトさせる否かを決めればよい。
設定変更を行うと判断された場合はステップＦ１０５に進み、引込枠Ｗ１の下限側頂点を図４（ｂ）の矢印ｅに示したように（Ｒ＋Ｂ−２Ｇ）／Ｇ軸の正方向に移動させるように設定変更を行う。これに伴って、色温度変化直線ＬＢはＬＢｓの傾きになる。そしてステップＦ１０６に進む。
ステップＦ１０４で設定変更不要と判断された場合は、通常の引込枠Ｗ１の設定のままステップＦ１０６に進む。

ステップＦ１０６では、積分値変換データが、引込枠Ｗ１の範囲内であるか否かを判断する。引込枠Ｗ１の範囲は、図２に示した通常の範囲の場合と、ステップＦ１０５で設定変更された図４（ｂ）の範囲の場合とがある。ステップＦ１０６では、その時点の設定状態における引込枠Ｗ１の範囲において、積分値変換データが引込枠Ｗ１の範囲内であるか否かの判断を行うことになる。
そして引込枠Ｗ１の範囲内でなければ、ステップＦ１０７から今回の処理を終え、次のフィールドの積分値データＲｉ，Ｇｉ，Ｂｉの入力を待つ。

引込枠Ｗ１の範囲内であったら、ステップＦ１０７からＦ１１０に進み、まず現在の色温度を推測する処理を行う。
そしてステップＦ１０９で、高色温度側に対応した収束目標値の算出を行い、ステップＦ１１０でホワイトバランスアンプ３の各可変ゲインアンプ３Ｒ、３Ｇ、３Ｂに対して、収束目標値に相当するゲイン値へのゲイン制御を行う。
このステップＦ１０８〜Ｆ１１０の処理について、図６，図７で説明する。
なお、図６（ａ）、図７（ａ）における座標軸上の点は、ホワイトバランスアンプ３の前段でのＲ信号、Ｇ信号、Ｂ信号に基準の白を調整したＲゲイン、Ｇゲイン、Ｂゲインを掛けたデータである。
一方、図６（ｂ）、図７（ｂ）における座標軸上の点は、ホワイトバランスアンプ３の後段でのＲ信号、Ｇ信号、Ｂ信号に相当する。

図６（ａ）には、積分値変換データが座標上のポイントＰ１であった場合と、ポイントＰ１ｓであった場合をそれぞれ示している。上述の通り、ポイントＰ１はスミアの影響を受けていない場合、ポイントＰ１ｓはスミアの影響で積分値変換データが移動してしまった場合としている。
そしてこれらは、図３に示した領域（ｉ）、つまり第３象限での引込枠Ｗ１の範囲内、又は第４象限での引込枠Ｗ１の範囲内で且つ図面上、色温度変化直線ＬＢより左側となる範囲に、積分値変換データがあった場合である。
このような場合は、高色温度下で緑色が多い被写体が写っているものと認識する。
まずポイントＰ１の場合でのべる。この場合、図６（ａ）に破線矢印で示すように、積分値変換データ（Ｐ１）の（Ｒ＋Ｂ−２Ｇ）／Ｇ値を（Ｒ＋Ｂ−２Ｇ）／Ｇ軸に対して水平に移動させ、黒体放射カーブとみなす色温度変化直線ＬＢにぶつかるポイントＰ２を求める。そしてそのポイントＰ２を、現在の色温度とする。

一方、スミアの影響がある状況の場合、ステップＦ１０５の処理で色温度変化直線ＬＢがＬＢｓの傾きに変更される。つまり、本来、積分値変換データがポイントＰ１になるべきところ、ポイントＰ１ｓとなるような場合は、色温度変化直線ＬＢｓを用いて色温度の推測が行われるものとなる。
そしてこの場合は、ポイントＰ１ｓから破線矢印で示すように、積分値変換データ（Ｐ１）の（Ｒ＋Ｂ−２Ｇ）／Ｇ値を（Ｒ＋Ｂ−２Ｇ）／Ｇ軸に対して水平に移動させ、シフトされた色温度変化直線ＬＢｓにぶつかるポイントＰ２ｓを求める。そしてそのポイントＰ２ｓを、現在の色温度とする。

以上のように推定された色温度からは、次のようにゲイン設定が行われる。
色温度変化直線ＬＢ上のポイントＰ２、又は色温度変化直線ＬＢｓ上のポイントＰ２ｓに相当するＲ、Ｇ、Ｂ値をＲ”、Ｇ”、Ｂ”とする。つまり（Ｒ−Ｂ）／Ｇ値と（Ｒ＋Ｂ−２Ｇ）／Ｇ値がポイントＰ２（又はＰ２ｓ）となるＲ、Ｇ、Ｂ値である。
このポイントＰ２（又はＰ２ｓ）の色温度のＲ”、Ｇ”、Ｂ”各値について、
Ｒ”×Ｒ”ゲイン−Ｇ”×Ｇ”ゲイン
＝Ｂ”×Ｂ”ゲイン−Ｇ”×Ｇ”ゲイン
＝０
となるような、Ｒ”ゲイン、Ｇ”ゲイン、Ｂ”ゲインを求める。
このＲ”ゲイン、Ｇ”ゲイン、Ｂ”ゲインが、現在の色温度を引き込むゲイン値となる。

現在の色温度を引き込むＲ”ゲイン、Ｇ”ゲイン、Ｂ”ゲインより、
Ｒ信号収束点＝Ｒ信号×Ｒ”ゲイン÷現在のＲゲイン
Ｇ信号収束点＝Ｇ信号×Ｇ”ゲイン÷現在のＧゲイン
Ｂ信号収束点＝Ｂ信号×Ｂ”ゲイン÷現在のＢゲイン
が求まる。各信号の収束点は図６（ｂ）のポイントＰｃの位置として示される。

ここで、図５（ｂ）座標軸の原点は、Ｒ信号：Ｇ信号：Ｂ信号＝１：１：１となっている。
従来の制御方式では、図５（ｂ）に破線矢印で示すようにポイントＰｄから座標原点に向かう引込制御を行っていた。
一方、本例の制御方法では色温度を引き込むゲイン制御を行うことにより、実線矢印に示すように、ポイントＰｄからポイントＰｃに向かう引込制御が行われるものとなる。これは、座標原点に対して（Ｒ＋Ｂ−２Ｇ）／Ｇ軸の負の方向に制御目標値がくることになり、Ｇ方向の成分を引き込むことなく被写体の色のバランスが保たれる事となる。図で言えば矢印ｇの分だけ緑色が残るものとなる。
そしてさらに、本例においてスミアの影響がある場合、ポイントＰｄがポイントＰｄｓにずれてしまうが、上記のように色温度推定において色温度変化直線ＬＢをＬＢｓにシフトさせ、推定される色温度においてスミアの影響を軽減できることで、その場合も一点鎖線で示すようにポイントＰｃに向かう引込制御が行われるものとなる。つまり、スミアが発生していても、その影響を軽減した引込が可能となるものである。

次に、図７（ａ）には、積分値変換データが座標上のポイントＰ３であった場合と、ポイントＰ３ｓであった場合をそれぞれ示している。上述の通り、ポイントＰ３はスミアの影響を受けていない場合、ポイントＰ３ｓはスミアの影響で積分値変換データが移動してしまった場合としている。
そしてこれらは、図３に示した領域（ii）、つまり第４象限での引込枠Ｗ１の範囲内で且つ図面上、色温度変化直線ＬＢより右側となる範囲に、積分値変換データがあった場合である。
この場合は、高色温度下で肌色が多い被写体が写っているものと認識する。
まずポイントＰ３の場合は、図７（ａ）に矢印で示すように、積分値変換データ（Ｐ３）の（Ｒ−Ｂ）／Ｇ値と（Ｒ＋Ｂ−２Ｇ）／Ｇ値を、同じ量だけ負の方向へ移動させ、黒体放射カーブとみなす色温度変化直線ＬＢにぶつかるポイントＰ４を求める。そしてそのポイントＰ４を、現在の色温度とする。

一方、スミアの影響がある状況の場合、ステップＦ１０５の処理で色温度変化直線ＬＢがＬＢｓの傾きに変更される。つまり、本来、積分値変換データがポイントＰ３になるべきところ、ポイントＰ３ｓとなるような場合は、色温度変化直線ＬＢｓを用いて色温度の推測が行われる。この場合は、ポイントＰ１ｓから矢印で示すように、積分値変換データ（Ｐ１）の（Ｒ＋Ｂ−２Ｇ）／Ｇ値と（Ｒ＋Ｂ−２Ｇ）／Ｇ値を、同じ量だけ負の方向へ移動させ、シフトされた色温度変化直線ＬＢｓにぶつかるポイントＰ４ｓを求める。そしてそのポイントＰ４ｓを、現在の色温度とする。

以上のように推定された色温度からは、次のようにゲイン設定が行われる。
上記同様に、色温度変化直線ＬＢ上のポイントＰ４、又は色温度変化直線ＬＢｓ上のポイントＰ４ｓに相当するＲ、Ｇ、Ｂ値をＲ”、Ｇ”、Ｂ”としたとき、
Ｒ”×Ｒ”ゲイン−Ｇ”×Ｇ”ゲイン
＝Ｂ”×Ｂ”ゲイン−Ｇ”×Ｇ”ゲイン
＝０
となるような、Ｒ”ゲイン、Ｇ”ゲイン、Ｂ”ゲインを求める。
このＲ”ゲイン、Ｇ”ゲイン、Ｂ”ゲインが、現在の色温度を引き込むゲイン値となる。
そして現在の色温度を引き込むＲ”ゲイン、Ｇ”ゲイン、Ｂ”ゲインより、
Ｒ信号収束点＝Ｒ信号×Ｒ”ゲイン÷現在のＲゲイン
Ｇ信号収束点＝Ｇ信号×Ｇ”ゲイン÷現在のＧゲイン
Ｂ信号収束点＝Ｂ信号×Ｂ”ゲイン÷現在のＢゲイン
が求まる。各信号の収束点は図７（ｂ）のポイントＰｃの位置として示される。

ここで、上記図６（ｂ）と同様、図７（ｂ）座標軸の原点は、Ｒ信号：Ｇ信号：Ｂ信号＝１：１：１となっており、従来の制御方式では、図７（ｂ）に破線矢印で示すようにポイントＰｄから座標原点に向かう引込制御を行っていた。
一方、本例の制御方法では色温度を引き込むゲイン制御を行うことにより、実線矢印に示すように、ポイントＰｄからポイントＰｃに向かう引込制御が行われるものとなる。
これは、図７（ｂ）の座標原点に対して第一象限の４５度方向に制御目標値がくることになり、（Ｒ−Ｂ）／Ｇ値と（Ｒ＋Ｂ−２Ｇ）／Ｇ値を同じ量だけ負の方向へ移動させた点を色温度とするという事は、現在の色温度に対してＲ方向の成分が多いとみなせ、Ｒ方向の成分を引き込むことなく被写体の色のバランスが保たれる事となる。図で言えば矢印ｆの分だけ肌色が残るものとなる。
そしてさらに、本例においてスミアの影響がある場合、ポイントＰｄがポイントＰｄｓにずれてしまうが、上記のように色温度推定において色温度変化直線ＬＢをＬＢｓにシフトさせ、推定される色温度においてスミアの影響を軽減できることで、その場合も一点鎖線で示すようにポイントＰｃに向かう引込制御が行われるものとなる。つまり、スミアが発生していても、その影響が少ない引込が可能となるものである。

以上のような色温度の推測及び収束目標値の算出が図５のステップＦ１０８，Ｆ１０９で行われ、それに応じてステップＦ１１０で各各可変ゲインアンプ３Ｒ、３Ｇ、３Ｂのゲイン制御が行われる。
つまり本例のホワイトバランス調整処理は、まず基準の白色を調整する基準色温度から高色温度側への色温度の変化（黒体放射カーブ）を直線（色温度変化直線ＬＢ）とみなす。
そしてフィードバック制御によって自動的にホワイトバランスをとる処理を行う色信号処理方式であって、Ｒ信号、Ｇ信号、Ｂ信号の各々の原色信号のフィールド毎の積分値データＲｉ，Ｇｉ，Ｂｉを得、その積分値データＲｉ，Ｇｉ，Ｂｉを変換して得られる積分値変換データの（Ｒ−Ｂ）／Ｇ値、（Ｒ＋Ｂ−２Ｇ）／Ｇ値より、黒体放射カーブを直線とみなした色温度変化直線ＬＢ上から現在の色温度を推測する。
またこの場合、高色温度下で肌色、緑色を自然な色に見せるために、積分値変換データが、引込枠Ｗ１の範囲内で色温度変化直線ＬＢより図面上で左側（図３の領域（ｉ））にある場合、つまりＧ成分が大きいの場合はＧ成分を残す様な色温度を推測する。また、積分値変換データが、引込枠Ｗ１の範囲内で色温度変化直線ＬＢより図面上で右側（図３の領域（ii））にある場合、つまりＲ成分が大きい場合はＲ成分を残す様な色温度を推測する。
さらに本例では、このような色温度推定において、スミアの影響が考えられる場合は、色温度変化直線ＬＢを色温度変化直線ＬＢｓにシフトさせる。つまり色温度変化直線ＬＢｓ上のポイントとして色温度を推測する。
これらのことに基づいて、推測した色温度の変化分のみのゲイン制御を行う事により、高色温度側での肌色、緑色に特化したホワイトバランスを取るものである。

このような処理方式によれば、まず黒体放射カーブを直線とみなす事により、コントローラ６で容易な演算で色温度を推測できることになる。
また、高色温度下では、ホワイトバランス制御の収束点である無彩色へ必ずしも収束させるのではなく、積分値データＲｉ，Ｇｉ，ＢｉよりＲ成分が多い時は肌色が残るように、Ｇ成分が多い時は緑色が残るように現在の色温度を推測し、被写体に応じて制御目標値を計算させて収束させる事により、ユーザーが視覚的に好適に感じるホワイトバランス制御を実現できる。
さらに、高輝度、高色温度の被写体によりスミアの影響が生ずる場合は、色温度変化直線ＬＢのシフトによりそれを軽減でき、適切なホワイトバランス調整が可能となる。

また、ＮＤフィルタ等の特別な減光素子や、スミアリダクション回路等の特別なハードウェアを実装せずに、ホワイトバランス制御でのみスミアの影響を軽減させる為、カメラシステム全体の小規模化や回路規模の縮小化に貢献できる。
また高色温度下での制御時のみ高色温度側調整値（引込枠Ｗ１）を調整する為、高色温度側調整値を低色温度側のホワイトバランス制御に使用している場合でも、低色温度側のホワイトバランス制御に影響を及ぼす事がない。
また高色温度側調整値（引込枠Ｗ１）を（Ｒ＋Ｂ−２Ｇ）／Ｇ軸方向でのみ調整する為、（Ｒ−Ｂ）／Ｇ軸方向の引き込み色温度範囲には影響を及ぼす事がない。

以上実施の形態について説明してきたが、本発明は各種変形例が考えられる。
上記例では、オプティカルディテクタ５からの輝度情報Ｙに応じて引込枠Ｗ１及び色温度変化直線の設定変更を行うか否かを判別するようにしたが、輝度情報を得る経路は限定されない。
また輝度信号レベル以外に基づいて設定変更を行うか否かが選択されることも考えられる。例えばユーザーがマニュアル操作で設定変更を行うか否かのモードを選択するような方式も考えられる。
また場合によっては、高色温度側の引込枠Ｗ１については常に設定変更を行う状態とすることもあり得る。スミアの影響は、ＣＣＤ撮像素子の構造、特性、個体差等によって度合いが異なる。また撮像素子としてＣＭＯＳセンサを使用する場合など、スミアの影響を考慮しなくて良い場合もある。
そこで本発明のホワイトバランス調整装置は引込枠Ｗ１の設定変更が可能であるため、搭載するカメラ装置の機種、性能、個体差等に応じて、通常設定、シフト設定が固定的に選ばれるようにしてもよい。例えばＣＭＯＳセンサを使用するカメラ装置においては、本発明のホワイトバランス調整装置を搭載した状態で、常に設定変更不要とするようにパラメータセットを行い、一方ＣＣＤセンサを使用するカメラ装置に搭載した時は、高色温度状態では常に設定変更を行うようにパラメータセットを行うようにするなどの例である。このようにすることで、本発明のホワイトバランス調整装置を、多様なカメラ機器において汎用的に使用できるという利点が得られる。

本発明の実施の形態のホワイトバランス調整装置のブロック図である。 実施の形態の座標上の引込範囲及び色温度変化直線の説明図である。 実施の形態の色温度推測処理の概念の説明図である。 実施の形態の色温度変化直線の設定変更の説明図である。 実施の形態のホワイトバランス調整のためのゲイン調整処理のフローチャートである。 実施の形態の色温度推測及び引込制御の説明図である。 実施の形態の色温度推測及び引込制御の説明図である。

符号の説明

２ 原色分離回路、３ ホワイトバランスアンプ、３Ｒ，３Ｇ，３Ｂ 可変ゲインアンプ、５ オプティカルディテクタ、６ コントローラ

Claims (6)

1. 入力されるＲ信号、Ｇ信号、Ｂ信号のそれぞれに対して可変ゲインアンプが設けられたホワイトバランスアンプ手段と、
   上記ホワイトバランスアンプ手段から出力されるＲ信号、Ｇ信号、Ｂ信号のそれぞれについての積分値を得る積分手段と、
   上記積分手段から出力されるＲ信号、Ｇ信号、Ｂ信号の各積分値から所定の座標上の値として求められる積分値変換データと、上記座標上で黒体放射カーブを直線とみなした色温度変化直線とから、現在の色温度を推測し、推測した色温度に基づいてホワイトバランス調整ゲインを求めて、上記ホワイトバランスアンプ手段の各可変ゲインアンプのゲインを制御する制御手段とを備えると共に、
   上記制御手段は、上記色温度変化直線の設定を変更可能とされていることを特徴とするホワイトバランス調整装置。
2. 上記所定の座標とは、（Ｒ−Ｂ）／Ｇ軸と、（Ｒ＋Ｂ−２Ｇ）／Ｇ軸で表される座標であるとともに、
   上記制御手段は、上記色温度変化直線の一端を（Ｒ＋Ｂ−２Ｇ）／Ｇ軸の正方向に移動させることで、上記色温度変化直線の傾きを変化させることを特徴とする請求項１に記載のホワイトバランス調整装置。
3. 上記制御手段は、被写体の輝度情報に基づいて、上記色温度変化直線の設定を変更することを特徴とする請求項１に記載のホワイトバランス調整装置。
4. 入力されるＲ信号、Ｇ信号、Ｂ信号のそれぞれに対して可変ゲインアンプが設けられたホワイトバランスアンプ手段から出力されるＲ信号、Ｇ信号、Ｂ信号のそれぞれについての積分値を得る積分ステップと、
   上記積分ステップで得られるＲ信号、Ｇ信号、Ｂ信号の各積分値から所定の座標上の値としての積分値変換データを求める積分値変換データ算出ステップと、
   上記座標上で黒体放射カーブを直線とみなした色温度変化直線の設定を所定の条件に応じて変更する色温度変化直線設定ステップと、
   上記積分値変換データ算出ステップで求めた積分値変換データと、上記色温度変化直線とから、現在の色温度を推測する推測ステップと、
   推測した色温度に基づいてホワイトバランス調整ゲインを求めて、上記ホワイトバランスアンプ手段の各可変ゲインアンプのゲインを制御するゲイン制御ステップと、
   を有することを特徴とするホワイトバランス調整方法。
5. 上記所定の座標とは、（Ｒ−Ｂ）／Ｇ軸と、（Ｒ＋Ｂ−２Ｇ）／Ｇ軸で表される座標であるとともに、
   上記色温度変化直線設定ステップで色温度変化直線の設定を変更する場合、上記色温度変化直線の一端を（Ｒ＋Ｂ−２Ｇ）／Ｇ軸の正方向に移動させて上記色温度変化直線の傾きを変化させることを特徴とする請求項４に記載のホワイトバランス調整方法。
6. 上記色温度変化直線設定ステップでは、被写体の輝度情報に基づいて、上記色温度変化直線の設定を変更することを特徴とする請求項４に記載のホワイトバランス調整方法。

Images