JP2004282133A

JP2004282133A - Automatic white balance processor and method, and image signal processor

Info

Publication number: JP2004282133A
Application number: JP2003066740A
Authority: JP
Inventors: Ryuichi Shiobara; 隆一塩原; Takayoshi Kojima; 貴義小嶋
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2003-03-12
Filing date: 2003-03-12
Publication date: 2004-10-07
Anticipated expiration: 2023-03-12
Also published as: JP4352730B2

Abstract

<P>PROBLEM TO BE SOLVED: To provide an automatic white balance processor and method, and an image signal processor with a simple configuration capable of carrying out white balance processing with excellent color reproducibility. <P>SOLUTION: The automatic white balance processor is characterized in to include: an extracted pixel determination means 12 for receiving a luminance signal and a color difference signal obtained by conversion from each color component on the basis of an output of an imaging device with color filters provided thereto into a luminance - color difference color space and determining a pixel within a prescribed color range and a prescribed luminance range as an extracted pixel; a color coefficient calculation means 14 for using each color component of the pixel determined to be the extracted pixel by the extracted pixel determination means 12 to calculate a color coefficient for the white balance processing; and a white balance adjustment means 11 for adjusting white balance through linear processing using the color coefficient applied to each color component. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、イメージセンサを用いた撮像装置のホワイトバランス調整に好適なオートホワイトバランス処理装置及び方法並びに画像信号処理装置に関する。
【０００２】
【従来の技術】
近年、被写体像をイメージセンサ等の光電変換素子によって電気信号に変換して画像信号を得る電子カメラが普及している。このような電子カメラにおいては、光学系を通過した被写体の光学像は、撮像素子であるイメージセンサによって電気信号に変換される。イメージセンサからの電気信号は画像信号として所定の画像信号処理が施される。画像信号処理としては、画像信号に対するガンマ補正処理、色分離処理及びホワイトバランス処理等の処理があり、これらの処理を経て所定のフォーマットの画像信号が得られる。
【０００３】
なお、ガンマ補正処理は、表示系における画像信号のレベルと透過率（輝度）との関係の非線形性を補正するための処理である。また、ホワイトバランス処理は、白色を正しく再現するための処理である。
【０００４】
電子カメラにおいては、イメージセンサにカラーフィルタを配置することでカラー画像が得られる。カラーフィルタによって例えばＲ（赤），Ｇ（緑），Ｂ（青）光をイメージセンサに入射させることで、Ｒ，Ｇ，Ｂ画像信号が得られる。ところが、同一被写体（同一物色）を撮像した場合でも、イメージセンサから得られたＲ，Ｇ，Ｂ信号のレベルは、光源（環境色）の色温度に応じて個々に変動してしまう。そこで、白色を正しく再現すると共に色のバランスを適切に再現するために、ホワイトバランス処理が行われている。
【０００５】
ホワイトバランス処理はＲ，Ｇ，Ｂ画像信号に対して、夫々所定の係数（色係数）を乗算することで行われる。これにより、Ｒ，Ｇ，Ｂ信号のレベルを個々に調整して、色のバランスを適正なものにするのである。
【０００６】
【発明が解決しようとする課題】
ところで、ホワイトバランス調整は、上述したように、白を正確に再現するためのものである。即ち、白の被写体を撮像した場合の出力画像信号を画面上に映出させた場合に、正しく白い被写体を再現させるためのものである。なお、ホワイトバランス調整では、白の再現性だけでなく、色バランスの調整も同時に行っている。放送用テレビカメラ等においては、ホワイトバランス調整のために、環境色を基準色（灰色）に設定するような照明を施すようになっている。そして、この状態で撮像して得た画像信号に対してホワイトバランス処理を行うことにより、確実な色バランス調整を可能にしている。
【０００７】
ところが、カムコーダやデジタルカメラを個人的に使用する場合等においては、環境（照明）色を基準色に設定することは実質的に困難である。そこで、パーソナルな電子カメラにおいては、撮像した画像からホワイトバランス調整用の色係数を算出することで、自動的なホワイトバランスの調整を可能にしている。
【０００８】
しかしながら、当然ながら、基準色ではない通常の撮像画像から求めた色係数を用いたオートホワイトバランスでは、色バランスの再現性が十分であるとは言えないという問題があった。しかも、色係数の算出のための演算量は極めて大きく、デジタルスチルカメラ等のＣＰＵを搭載したシステムでなければある程度の色再現性を得ることも困難である。
【０００９】
本発明はかかる問題点に鑑みてなされたものであって、ワイヤードロジックによる色調整を可能にすると共に、色再現性を著しく向上させることができるオートホワイトバランス処理装置及び方法並びに画像信号処理装置を提供することを目的とする。
【００１０】
【課題を解決するための手段】
本発明に係るホワイトバランス処理装置は、カラーフィルタが配設された撮像素子の出力に基づく各色成分から輝度−色差色空間への変換によって得られた輝度信号及び色差信号が与えられ、所定の色範囲及び所定の輝度範囲の画素を抽出画素として判定する抽出画素判定手段と、前記抽出画素判定手段によって抽出画素と判定された画素の前記各色成分を用いてホワイトバランス処理のための色係数を算出する色係数算出手段と、前記各色成分に対する前記色係数を用いた線形処理によってホワイトバランスを調整するホワイトバランス調整手段とを具備したことを特徴とする。
【００１１】
このような構成によれば、撮像素子の出力に基づく各色成分は輝度−色差色空間の輝度信号及び色差信号に変換された後抽出画素判定手段に与えられる。抽出画素判定手段は、所定の色範囲及び所定の輝度範囲の画素を抽出画素として判定する。これにより、例えば、無彩色の画素を確実に抽出画素として判定することができる。色係数算出手段は、抽出画素判定手段によって抽出画素と判定された画素の各色成分を用いてホワイトバランス処理のための色係数を算出する。これにより、色係数は極めて高精度のものとなる。この色係数を用いて、ホワイトバランス調整手段は各色成分に対する線形処理を行ってホワイトバランスを調整する。こうして、色再現性に極めて優れたホワイトバランス調整が可能となる。
【００１２】
また、前記抽出画素判定手段は、前記所定の色範囲内の画素について前記所定の輝度範囲内の画素であるか否かを判定して前記抽出画素を決定することを特徴とする。
【００１３】
このような構成によれば、所定の色範囲内の画素であるか否かの判定が所定の輝度範囲内の画素であるか否かの判定の前に行われる。先に輝度範囲に基づいて画素を選択すると、色範囲に基づく画素の選択時に、高輝度の無彩色画素の多くが選択から除外されてしまう。このため、色係数の算出時の母数が小さくなって色係数の信頼性が低くなる。これに対し、先の色範囲に基づいて画素を選択した後、選択した画素について輝度範囲内の画素であるか否かを判定すれば、色係数の算出時の母数として十分な数を確保することができ、色係数の信頼性を向上させることができる。
【００１４】
また、前記抽出画素判定手段は、前記所定の輝度範囲内の画素であるか否かの判定に代えて、輝度値順の所定番目から所定数の画素を前記抽出画素として決定することを特徴とする。
【００１５】
このような構成によれば、輝度値の所定番目から所定数の画素を抽出画素として決定しているので、色係数の算出時の母数が小さくなることを防止することができ、色係数の信頼性を向上させることができる。
【００１６】
また、前記抽出画素判定手段は、前記所定の色範囲内の画素について輝度の分布を求める輝度分布検出手段と、前記輝度分布中の所定の輝度値番目から所定数の画素を前記抽出画素として決定する輝度範囲判定手段とを具備したことを特徴とする。
【００１７】
このような構成によれば、輝度分布検出手段は所定の色範囲内の画素について輝度の分布を求める。これにより、所定の輝度値番目から所定数の画素の選択が容易となる。
【００１８】
また、前記輝度分布検出手段は、所定の輝度上限値及び下限値の範囲内において輝度の分布を求めることを特徴とする。
【００１９】
このような構成によれば、抽出画素として選択される可能性が極めて少ない画素を、輝度の分布を作成する時点において除外していることから、抽出画素として選択すべき画素の精度を向上させることができる。
【００２０】
また、前記輝度分布検出手段は、所定輝度範囲毎に分割して輝度の分布を求め、前記輝度範囲判定手段は、前記所定輝度範囲単位で前記抽出画素を決定することを特徴とする。
【００２１】
このような構成によれば、所定輝度範囲毎の分割単位で輝度の分布を求めればよく、輝度分布を求めるための回路規模を縮小することができる。
【００２２】
また、前記抽出画素判定手段は、輝度値として採り得る値の最大値よりも所定輝度だけ小さい値以下の輝度値の画素を前記抽出画素として決定することを特徴とする。
【００２３】
このような構成によれば、各色成分のうちの所定の色成分が飽和状態にある場合にこの飽和状態の色成分が色係数の算出に使用されることを阻止することができ、色係数の精度を向上させることができる。
【００２４】
また、前記色係数算出手段は、前記ホワイトバランス調整手段によるホワイトバランスの調整前の各色成分を色係数の算出に用いることを特徴とする。
【００２５】
このような構成によれば、色係数の算出をフィードフォワード構成によって得ることができる。
【００２６】
また、前記色係数算出手段は、前記ホワイトバランス調整手段によるホワイトバランスの調整後の各色成分を色係数の算出に用いることを特徴とする。
【００２７】
このような構成によれば、色係数の算出をフィードバック構成によって得ることができる。
【００２８】
また、前記色係数算出手段は、前記抽出画素と判定された画素の前記各色成分を用いた前記色係数を所定期間で目標値に収束させることを特徴とする。
【００２９】
このような構成によれば、色係数は所定の期間で目標値に収束する。従って、色係数を用いたホワイトバランス処理によって画像が急変することを防止することができ、画質を向上させることができる。
【００３０】
また、本発明に係るホワイトバランス処理方法は、カラーフィルタが配設された撮像素子の出力に基づく各色成分から輝度−色差色空間への変換によって得られた輝度信号及び色差信号が与えられ、所定の色範囲及び所定の輝度範囲の画素を抽出画素として判定する抽出画素判定手順と、前記抽出画素判定手順において抽出画素と判定された画素の前記各色成分を用いてホワイトバランス処理のための色係数を算出する色係数算出手順と、前記各色成分に対する前記色係数を用いた線形処理によってホワイトバランスを調整するホワイトバランス調整手順とを具備したことを特徴とする。
【００３１】
このような構成によれば、撮像素子の出力に基づく各色成分は輝度−色差色空間の輝度信号及び色差信号に変換され、抽出画素判定手順において、所定の色範囲及び所定の輝度範囲の画素が抽出画素として判定される。これにより、例えば、無彩色の画素が抽出画素として確実に判定される。色係数の算出には、抽出画素判定手順において抽出画素と判定された画素の各色成分が用いられる。これにより、色係数は極めて高精度のものとなる。ホワイトバランス調整手順では、各色成分に対する色係数を用いた線形処理を行ってホワイトバランスが調整される。こうして、色再現性に極めて優れたホワイトバランス調整が可能となる。
【００３２】
また、前記抽出画素判定手順は、前記所定の色範囲内の画素について前記所定の輝度範囲内の画素であるか否かを判定して前記抽出画素を決定することを特徴とする。
【００３３】
このような構成によれば、所定の色範囲内の画素であるか否かの判定が所定の輝度範囲内の画素であるか否かの判定の前に行われることから、高輝度の無彩色画素の多くが選択から除外されてしまうことを防止することができる。これにより、色係数の算出時の母数を十分に確保して色係数の信頼性を維持する。
【００３４】
また、本発明に係る画像信号処理装置は、カラーフィルタが配設された撮像素子の出力に基づく各色成分から輝度−色差色空間への変換を行って輝度信号及び色差信号を得るマトリクス手段を具備し、前記マトリクス手段から前記輝度信号及び色差信号を用いて前記ホワイトバランス処理装置又は前記ホワイトバランス処理方法によってホワイトバランスを調整することを特徴とする。
【００３５】
このような構成によれば、ホワイトバランス処理装置及びホワイトバランス処理方法によるホワイトバランスの調整によって色再現性に極めて優れた画像信号処理が可能となる。
【００３６】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は本発明の第１の実施の形態に係る画像信号処理装置を示すブロック図である。
【００３７】
本実施の形態においては、撮像して得た画像信号から所定の色範囲の画素を抽出し、更に抽出した画素のうち所定の輝度範囲の画素のみを取り出して、オートホワイトバランス処理の色係数の算出に用いることにより、色の再現性を向上させるようになっている。
【００３８】
被写体からの光学像は、カラーフィルタを含む図示しない光学系を介して図示しないイメージセンサに入射される。イメージセンサは入射光を光電変換して、被写体の光学像に基づく画像信号を発生する。この画像信号は図１のＡＦＥ（アナログフロントエンド）回路１に供給されるようになっている。ＡＦＥ回路１は図示しない増幅器及びアナログ／デジタル変換器等によって構成されており、入力された画像信号をデジタル信号に変換してＯＢクランプ回路２に出力する。
【００３９】
ＯＢクランプ回路２は、入力された画像信号を適切な黒色の基準レベルに調整するための回路である。イメージセンサには予め決められた数個の画素が遮光板等によって遮光されてＯＢ（オプティカルブラック）領域に設定されている。ＯＢクランプ回路２はこのＯＢ領域の画素の画素信号レベルに基づいて、画像信号の黒色レベルを調整するようになっている。ＯＢクランプ回路２の出力はデータレンジ補正回路３に与えられる。データレンジ補正回路３は、入力されたデジタル画像データのレンジを補正してＣＦＡ色補間回路４に出力する。
【００４０】
イメージセンサに設けられたカラーフィルタは、例えば、Ｒ，Ｇ，Ｂフィルタが適宜の配列規則に従って、循環的に配列されたものである。これにより、イメージセンサの各画素は、個々にＲ画素、Ｇ画素又はＢ画素を構成する。ＣＦＡ色補間回路４は、複数ライン（例えば３ライン）分の画像信号を保持するラインバッファ（図示せず）を有しており、隣接した位置のＲ，Ｇ，Ｂ画素を用いた演算処理によって、各画素位置でＲ，Ｇ，Ｂ信号を得るための補間処理を行う。ＣＦＡ色補間回路４からのＲ，Ｇ，Ｂ信号はマトリクス演算器５に供給される。
【００４１】
マトリクス演算器５は入力されたＲ，Ｇ，Ｂ信号をＹＵＶ′信号に変換するためのものである。マトリクス演算器５は例えば３×３のマトリクス演算によって、Ｒ，Ｇ，Ｂ信号をＹＵＶ′信号に変換し、（輝度）信号Ｙをハイパスフィルタ（ＨＰＦ）６に与え、色差信号Ｕ，Ｖ′をローパスフィルタ（ＬＰＦ）７に与えるようになっている。ＨＰＦ６は輝度信号Ｙの高域成分を通過させて高域強調による輪郭補償等の画質補正を行ってマトリクス演算器９に出力する。また、ＬＰＦ７は入力された色差信号Ｕ，Ｖ′を低域のみに制限して色抑制回路８に出力する。
【００４２】
本実施の形態においては、色抑制回路８は色差信号ＵＶ′の色成分を抑制してマトリクス演算器９に出力するようになっている。画素信号に対する利得が比較的大きい場合には、量子化ノイズ等の影響によって画素信号の欠陥が目立ってしまう。そこで、暗い部分については色に対する人間の目の感度が比較的低いことを利用して、比較的輝度が低い画素（暗い部分）の色成分を抑制し、又はモノクロモードにすることによって、画素の欠陥を目立たなくなるようにしている。
【００４３】
本実施の形態においては、ＹＵＶ′信号に変換した画像信号を再びＲ，Ｇ，Ｂ信号に戻すようになっている。マトリクス演算器９は入力されたＹＵＶ′信号をマトリクス処理してＲ１，Ｇ１，Ｂ１信号に変換した後マトリクス演算器１０に出力する。マトリクス演算器１０は入力されたＲ１，Ｇ１，Ｂ１信号に対してマトリクス処理を施して色調整し、色調整後のＲ２，Ｇ２，Ｂ２信号をオートホワイトバランス回路１１に出力するようになっている。オートホワイトバランス回路１１は、後述するように、ＡＷＢ用係数算出回路４からオートホワイトバランス調整用の色係数が与えられ、入力されたＲ２，Ｇ２，Ｂ２信号に対して、色係数を乗算するマトリクス処理によって各色レベルを調整を行い、ホワイトバランスを適正なものにするようになっている。オートホワイトバランス回路１１によってオートホワイトバランス調整されたＲ３，Ｇ３，Ｂ３信号はユーザ色調整回路１５に出力される。
【００４４】
ユーザ色調整回路１５は、ユーザ操作に基づく外部信号が入力され、この外部信号に基づいて入力されたＲ３，Ｇ３，Ｂ３信号のレベルを調整することで、色バランスをユーザの好みに調整するようになっている。ユーザ色調整回路１５からの色調整後のＲ４，Ｇ４，Ｂ４信号はユーザデジタルゲイン設定回路１６に供給される。ユーザデジタルゲイン設定回路１６は、ユーザ操作に基づく外部信号が入力され、この外部信号に基づいて入力されたＲ４，Ｇ４，Ｂ４信号に対するゲインを調整することで、輝度をユーザの好みに調整するようになっている。ユーザデジタルゲイン設定回路１６からの輝度調整後のＲ５，Ｇ５，Ｂ５信号はガンマ補正回路１７に供給される。
【００４５】
ガンマ補正回路１７は入力されたＲ５，Ｇ５，Ｂ５信号に所定の非線形処理を施してガンマ補正した後、マトリクス演算器１８に出力する。マトリクス演算器１８は、入力されたＲ，Ｇ，Ｂ信号をＹＵＶ信号に変換するためのものである。マトリクス演算器１８は例えば３×３のマトリクス演算によって、Ｒ，Ｇ，Ｂ信号をＹＵＶ信号に変換して出力するようになっている。
【００４６】
次に、図２及び図３を参照してオートホワイトバランス処理について説明する。
【００４７】
一般的なホワイトバランス処理では、画像全体の平均の色は無彩色であるという仮説をもとに色係数が生成されている。この手法は画像にまんべんなく色がついているようなシーンには有効であるが、ある色に偏ったシーンでは期待した結果は得られず、偏った色を無彩色に引き込むような処理になってしまう。画像の平均的な色を特定の色に偏らせるのに影響を与えやすい画素（以下、偏り影響色という）としては、例えば、肌色、草木の緑色、青空の色等が考えられる。そこで、本実施の形態においては、画像中からこれらの偏り影響色の画素を除外して残った画素を平均化した場合には画像の平均的な色は無彩色になるものと考え、画像中の偏り影響色を除く画素を色係数の生成に用いるようにしている。
【００４８】
ところで、環境色（照明光）が変化すると、イメージセンサによって撮像されて得られた画像の色も変化する。このように環境色が変化する場合でも、偏り影響色を除く色、即ち、無彩色（灰色）は色空間上の所定の範囲内に存在する。図２は偏り影響色を除く無彩色のＹＵＶ色空間上の分布範囲を斜線部によって示している。ところが、画像の輝度によっては、偏り影響色であっても図２の斜線部分の範囲内に存在することがある。
【００４９】
一方、光源（照明光）の照度の変化によって各色の輝度を調べると、無彩色のうち白を含む明るい灰色は比較的輝度が高いことが判明した。そこで、本実施の形態においては、抽出する画素の色範囲として図２の斜線部分を設定すると共に、この色範囲内の画素のうち輝度が所定の輝度範囲の画素であるか否かによって、色係数の演算に用いる画素（以下、抽出画素という）を決定するようになっている。図３は抽出画素を抽出する輝度範囲を斜線にて示している。
【００５０】
本実施の形態においては、色係数の算出に用いる抽出画素は、（オートホワイトバランス）用抽出画素判定回路１２によって判定するようになっている。図４は図１中のＡＷＢ用抽出画素判定回路１２の具体的な構成を示すブロック図である。
【００５１】
図２では斜線部分の範囲（以下、抽出色範囲という）は、ＵＶ色空間上の直線Ｕ＝ｕｍａｘ、Ｖ′＝ｖｍａｘ、Ｖ′＝−ｍＵ＋ｕｖｍａｘ、Ｖ′＝−ｎＵ＋ｕｖｍｉｎ（−ｍ，−ｎは夫々Ｖ′軸上の点ｕｖｍａｘ，ｕｖｍｉｎを通過する直線の傾き）によって囲まれる範囲である。即ち、図２の例では、抽出色範囲は、下記（１）式を満足するように設定されている。なお、図２ではｍ，ｎは１である。
【００５２】
Ｕ≦ｕｍａｘ
Ｖ′≦ｖｍａｘ
ｕｖｍｉｎ≦｛（ｍ×Ｕ）＋（ｎ×Ｖ′）｝≦ｕｖｍａｘ …（１）
また、図３において、斜線にて示す抽出画素の抽出範囲（以下、抽出輝度範囲という）は、下記（２）式を満足するように設定される。
【００５３】
Ｙｍｉｎ≦Ｙ≦ｍａｘ …（２）
図４において、範囲設定回路２１及び色範囲比較回路２２には、マトリクス演算器５からの色差信号Ｕ，Ｖ′が入力される。また、位置情報出力回路２５には、範囲設定回路２１及び色範囲比較回路２２に入力されている色差信号Ｕ，Ｖ′に対応した画素の画面上の画素位置を示す位置情報が入力される。範囲設計回路２１は上記（１）式の（ｍ×Ｕ）＋（ｎ×Ｖ′）を算出して色範囲比較回路２２に出力する。
【００５４】
色範囲比較回路２２は、抽出色範囲を特定する情報であるｕｍａｘ、ｖｍａｘ、ｕｖｍｉｎ及びｕｖｍａｘの値が与えられており、入力された色差信号Ｕ，Ｖ′が上記（１）式を満足するか否かを判定する。色範囲比較回路２２からの判定結果は輝度信号抽出回路２３に与えられる。輝度信号抽出回路２３には、範囲設定回路２１及び色範囲比較回路２２に入力されている色差信号Ｕ，Ｖ′に対応した輝度信号Ｙがマトリクス演算器５から与えられている。輝度信号抽出回路２３は、色範囲比較回路２２から上記（１）式を満足した色差信号Ｕ，Ｖ′が入力されたことを示す判定結果が得られた場合にのみ、この色差信号Ｕ，Ｖ′に対応する輝度信号Ｙを輝度範囲比較回路２４に出力するようになっている。
【００５５】
輝度範囲比較回路２４は、抽出輝度範囲を特定する情報であるＹｍｉｎ，Ｙｍａｘの値が与えられており、入力された輝度信号Ｙが上記（２）式を満足するか否かを判定する。輝度範囲比較回路２４からの判定結果は位置情報出力回路２５に与えられる。
【００５６】
位置情報出力回路２５は、輝度範囲比較回路２４から上記（２）式を満足した輝度信号Ｙが入力されたことを示す判定結果が得られた場合にのみ、この輝度信号Ｙの画面上の画素位置を示す位置情報を出力するようになっている。
【００５７】
このように、ＡＷＢ用抽出画素判定回路１２は、マトリクス演算器５の出力のうち抽出色範囲内の画素、即ち、無彩色と考えられる画素であって、抽出輝度範囲内の画素、即ち、輝度レベルが比較的高い画素について、色係数の算出に用いる抽出画素と判定して、その画素位置を示す位置情報をＡＷＢ用画素データ蓄積回路１３に出力するようになっている。
【００５８】
ＡＷＢ用画素データ蓄積回路１３は、マトリクス演算器１０の出力Ｒ２，Ｇ２，Ｂ２信号が与えられて、位置情報で与えられる画素位置のＲ２，Ｇ２，Ｂ２信号を例えば少なくとも１画面分以上記憶保持してＡＷＢ用係数算出回路１４に出力する。
【００５９】
ＡＷＢ用係数算出回路１４は、ＡＷＢ用画素データ蓄積回路１３に蓄積されているＲ２，Ｇ２，Ｂ２信号を読み出して、各色信号毎に例えば１画面分積分する。即ち、ＡＷＢ用係数算出回路１４は、ΣＲ，ΣＧ，ΣＢを求める。次に、ＡＷＢ用係数算出回路１４は、ホワイトバランス処理用の色係数Ｒｃ，Ｇｃ，Ｂｃを下記（３）式に基づいて算出する。
【００６０】
Ｒｃ＝ΣＧ／ΣＲ
Ｇｃ＝ΣＧ／ΣＧ＝１．０（３）
Ｂｃ＝ΣＧ／ΣＢ
なお、色係数Ｇｃは常に１であるので、算出する必要はない。
ＡＷＢ用係数算出回路１４は上記（３）式に基づいて算出した色係数をオートホワイトバランス回路１１に出力する。オートホワイトバランス回路１１は、マトリクス演算器１０からのＲ２，Ｇ２，Ｂ２信号に対して下記（４）式のマトリクス演算によって、ホワイトバランスを調整したＲ３，Ｇ３，Ｂ３信号を得るようになっている。
【００６１】
次に、このように構成された実施の形態の動作について説明する。
【００６２】
所定の物色の被写体は所定の環境色の照明光によって照明されているものとする。被写体の光学像はカラーフィルタを含む光学系を介してイメージセンサに入射され、光電変換されてＲ，Ｇ，Ｂ信号が得られる。ＡＦＥ回路１に入力されるＲ，Ｇ，Ｂ信号は、被写体の物色、被写体の照明光（環境色）及びフィルタの分光特性に基づく色光に対応したものとなっている。ＡＦＥ回路１は入力されたＲ，Ｇ，Ｂ信号をデジタル信号に変換してＯＢクランプ回路１に出力する。ＯＢクランプ回路１は、入力された画素信号の黒レベルを黒色の適切なレベルに設定してデータレンジ補正回路３に出力する。データレンジ補正回路３によって、Ｒ，Ｇ，Ｂ信号は適正なレンジに補正されて画像の明るさが調整される。更に、Ｒ，Ｇ，Ｂ信号はＣＦＡ色補間回路４において色補間が行われて、各画素位置におけるＲ，Ｇ，Ｂ画像信号が得られる。
【００６３】
本実施の形態においては、ＹＵＶ′色空間においてオートホワイトバランス用の色係数を算出すると共に画質補正を行うために、色補間されたＲ，Ｇ，Ｂ信号は、先ずマトリクス演算器５によって、ＹＵＶ′信号に変換される。輝度信号ＹはＨＰＦ６によって高域強調されてマトリクス演算器９に供給され、色差信号ＵＶ′はＬＰＦ７によって低域に帯域制限されて色抑制回路８に供給される。色抑制回路８は量子化ノイズ等のノイズの影響を低減するために、画像の暗い部分について色を抑制してマトリクス演算器９に出力する。
【００６４】
ＡＷＢ用抽出画素判定回路１２は、マトリクス演算器５から各画素の色差信号Ｕ，Ｖ′及び輝度信号Ｙが順次与えられ、上記（１）式の演算によって、先ず、入力された色差信号Ｕ，Ｖ′が図２の抽出色範囲内の色を与えるものであるか否かを判定し、そうである場合には、更にその画素について輝度信号Ｙが上記（２）式及び図３に示す抽出輝度範囲の輝度であるか否かを判定する。ＡＷＢ用抽出画素判定回路１２は、図２の抽出色範囲内の色であって、図３に示す抽出輝度範囲内の画素については、画面内の画素位置を示す位置情報をＡＷＢ用画素データ蓄積回路１３に出力する。ＡＷＢ用画素データ蓄積回路１３は、少なくとも１画面分以上の画素について、入力された位置情報を記憶保持して出力する。
【００６５】
一方、マトリクス演算器５からのＹＵＶ′信号は、色バランスの調整のために、マトリクス演算器９によって一旦Ｒ，Ｇ，Ｂ信号に戻す。マトリクス演算器９は、入力されたＹＵＶ′信号に対するマトリクス処理によって、Ｒ１，Ｇ１，Ｂ１信号を得て、色調整用のマトリクス演算器１０に出力する。マトリクス演算器１０は、入力されたＲ１，Ｇ１，Ｂ１信号に対するマトリクス処理によって、カラーフィルタの分光特性を補正して、Ｒ，Ｇ，Ｂフィルタの特性が急峻な場合と同様な特性のＲ２，Ｇ２，Ｂ２信号を得る。このＲ２，Ｇ２，Ｂ２信号はオートホワイトバランス回路１１に与えられる。
【００６６】
また、ＡＷＢ用画素データ蓄積回路１３は、抽出色範囲及び抽出輝度範囲内の条件を備えた画素の位置情報を例えば１画面分記憶保持して、マトリクス演算器１０の出力Ｒ２，Ｇ２，Ｂ２信号のうち位置情報で与えられる画素位置のＲ２，Ｇ２，Ｂ２信号をＡＷＢ用係数算出回路１４に出力する。ＡＷＢ用係数算出回路１４は、ＡＷＢ用画素データ蓄積回路１３に蓄積されているＲ２，Ｇ２，Ｂ２信号を読み出して、各色信号毎に例えば１画面分積分する。即ち、ＡＷＢ用係数算出回路１４は、ΣＲ，ΣＧ，ΣＢを求め、次いで、ホワイトバランス処理用の色係数Ｒｃ，Ｇｃ，Ｂｃを上記（３）式に基づいて算出する。
【００６７】
オートホワイトバランス回路１１は、ＡＷＢ用係数算出回路１４において算出された色係数を用いて、例えば３×３の線形マトリクス処理によって、ホワイトバランスの調整を行う。これにより、入力Ｒ，Ｇ，Ｂ信号に含まれていた環境色の影響が除去される。オートホワイトバランス回路１１によってオートホワイトバランス調整されたＲ３，Ｇ３，Ｂ３信号はユーザ色調整回路１５に出力される。
【００６８】
ユーザ色調整回路１５は、ユーザ操作に基づいて、色バランスをユーザの好みに調整する。更に、ユーザデジタルゲイン設定回路１６は、ユーザ操作に基づいて、輝度をユーザの好みに調整する。ユーザ操作に基づいて、色調整及び輝度調整が施された画像信号はガンマ補正回路１７に与えられて、ガンマ補正される。ガンマ補正された画像信号はマトリクス演算器１８に与えられ、入力されたＲ，Ｇ，Ｂ信号をＹＵＶ信号に変換する。
【００６９】
このように本実施の形態においては、オートホワイトバランスに用いる色係数は、無彩色と考えられる抽出色範囲内の画素であって、しかも、輝度が比較的高い抽出輝度範囲内の画素を用いて生成している。従って、色係数の生成に用いる画素は無彩色の画素である可能性が極めて高く、オートホワイトバランスに用いる色係数を極めて高精度に算出することができる。これにより、色再現性を向上させることが可能である。
【００７０】
なお、上記実施の形態においては、抽出色範囲内の画素について抽出輝度範囲内の画素であるか否かを判定して、色係数の算出に用いる抽出画素を決定したが、逆に、抽出輝度範囲内の画素について抽出色範囲内の画素であるか否かの判定によって色係数の算出に用いる抽出画素を決定してもよい。
【００７１】
ところで、本実施の形態においては、色係数の算出に用いる抽出画素として、無彩色の色である画素を選別するようにしている。上述したように、無彩色の色であっても色温度によっては、得られる色差信号ＵＶ′の色空間上の位置は変化する。そこで、抽出画素の選別には、色温度によって無彩色が変化する抽出色範囲を指定するようになっている。しかし、上述したように、無彩色以外の色であっても、輝度、彩度が高い色は抽出色範囲に入ることが考えられる。例えば、人間の肌色，青空，新緑の緑等である。この理由から輝度レベルを判定して、抽出色範囲内の色であっても輝度が高い色を除外することで、これらの無彩色以外の色を抽出画素として選別しないようにしている。
【００７２】
ところで、上述したように、先に抽出輝度範囲の画素を判定して、この判定結果を用いて抽出色範囲内の画素を選別する方法も考えられる。しかしながら、人間の肌色，青空，新緑の緑は高輝度であり、このような画素は低輝度側から約８５％〜約９５％の範囲内に存在する可能性が高い。従って、先に抽出輝度範囲内の画素を判定し、この判定結果を利用して抽出色範囲以外の画素を除外すると、残った抽出画素の数が極めて少なくなってしまう。そうすると、上記（３）式の母数が小さくなってしまい、色係数の信頼性が低下する。
【００７３】
この理由から、本実施の形態においては、先に抽出色範囲の判定を行い、この判定結果に基づいて抽出輝度範囲内の画素であるか否かを判定して抽出画素を決定している。これにより、抽出画素の画素数として十分な画素数を確保することができ、上記（３）式の母数を増やして色係数の信頼性を向上させることができる。
【００７４】
なお、抽出色範囲の設定は，オートホワイトバランス処理の引き込み範囲に大きな影響を及ぼす。この理由から、抽出色範囲を予め回路に組み込むのではなく、レジスタを用いて範囲の変更を可能にし、回路使用者が撮影する環境や撮影する被写体に応じて設定する抽出色範囲を調整可能にした方がよい。
【００７５】
また、上記実施の形態においては、抽出輝度範囲の上限値Ｙｍａｘは輝度値として採り得る上限値に設定していない。撮像によって得られる画像は撮影環境光によって著しく変化する。例えば，ハロゲンランプのような光源の下では、その色温度が約３０００Ｋ程度と低いことから、撮像画像は赤っぽい色になりやすい。即ち、Ｇ，Ｂ信号については高輝度域の画素の数が極めて少ないのに対し、Ｒ信号については高輝度域の画素が多数存在してしまい、イメージセンサからのＲ，Ｇ，Ｂ信号のうちＲ信号のみが飽和してしまうことがある。飽和状態では、実際の赤色の輝度レベルとＲ信号の数値との線形性は崩れている。従って、輝度レベルが飽和している画素を色係数の算出に用いると、色再現性の精度が低下してしまう。そこで、輝度レベルが飽和してしまう可能性が高い輝度範囲の画素を色係数の算出から除外するために、抽出輝度範囲の上限値Ｙｍａｘを輝度値として採り得る上限値よりも低い値に設定している。
【００７６】
なお、上記実施の形態においては、画像によっては色係数として極端に大きいか又は小さい値が出力される可能性がある。この場合には、予め設定された初期値を色係数として用いるようにすることも考えられる。
【００７７】
図５は本発明の第２の実施の形態の画像信号処理装置において採用されるＡＷＢ用抽出画素判定回路の構成を示すブロック図である。図５において図４と同一の構成要素には同一符号を付して説明を省略する。本実施の形態における他の構成は図１と同様である。
【００７８】
図５のＡＷＢ用抽出画素判定回路３１は輝度範囲比較回路２４に代えて輝度範囲比較回路３２を採用した点が図４のＡＷＢ用抽出画素判定回路２４と異なる。
【００７９】
ホワイトバランス調整用の色係数の算出に用いる画素（抽出画素）の数が少ない場合には、上述したように、（３）式の母数が小さくなり、色係数の信頼性が低下する。そこで、本実施の形態においては、抽出輝度範囲を輝度の絶対値で指定するのではなく、輝度の分布を検出し、輝度が所定の分布範囲内に存在する一定数の画素を抽出画素として選択するようになっている。
【００８０】
図６は図５中の輝度範囲比較回路３２の具体的な構成を示すブロック図である。輝度範囲比較回路３２は、ヒストグラム作成回路３５及び輝度範囲判定回路３６によって構成されている。ヒストグラム作成回路３５には、マトリクス演算器５（図１参照）から輝度信号Ｙが供給されると共に、色範囲比較回路２２から入力された輝度信号Ｙが抽出色範囲内の画素に基づくものであるか否かの判定結果が与えられる。ヒストグラム作成回路３５は、入力された輝度信号Ｙのうち抽出色範囲内の画素に基づく信号についてその輝度値の分布を求める。図７は横軸に輝度値Ｙをとり縦軸に画素数をとって、ヒストグラム作成回路３５が作成するヒストグラムの例を示している。
【００８１】
ヒストグラム作成回路３５が作成した輝度値と画素数との関係を示す度数分布の情報は輝度範囲判定回路３６に与えられる。輝度範囲判定回路３６は、与えられた輝度分布のうち最低輝度の画素から数えて画素数がＹｓｔ％〜Ｙｅｄ％の範囲内の画素を抽出輝度範囲の画素として判定するようになっている。
【００８２】
図８は輝度範囲判定回路３６の動作を説明するための説明図である。なお、図８の例ではＹｓｔ，Ｙｅｄは夫々８５％，９５％に設定されている。
【００８３】
図８の斜線部は、ヒストグラム上の最低輝度の画素から数えて８５％目の画素から９５％目の画素が存在する範囲（抽出輝度範囲）を示している。即ち、図８の例では、抽出色範囲内の画素のうちの１０％の画素で、比較的輝度値が高い画素が抽出輝度範囲の画素として選択される。
【００８４】
輝度範囲判定回路３６は、抽出色範囲内の画素のうち輝度値が低い画素から数えてＹｓｔ％目の画素（下限輝度画素）を検出すると共に、輝度値が低い画素から数えてＹｅｄ％目の画素（上限輝度画素）を検出する。
【００８５】
例えば、輝度値が８ビットで表現されるものとすると、ヒストグラム作成回路３５は、最低輝度０から最高輝度２５５に夫々対応した２５６個のレジスタを有し、抽出色範囲内の各画素の輝度値に応じて各レジスタにその画素の情報を蓄積する。そして、輝度範囲判定回路３６は、最低輝度に対応したレジスタから順に画素数を計数し、これにより、Ｙｓｔ％目の画素からＹｅｄ％目の画素までを判定するようになっている。
【００８６】
このように本実施の形態においては、抽出輝度範囲として抽出色範囲内の画素から一定％の画素を選択して抽出画素としており、上記（３）式の母数を確保して、色係数の信頼性を向上させている。
【００８７】
他の構成及び作用効果は第１の実施の形態と同様である。
【００８８】
また、本実施の形態においても、抽出色範囲内の画素であるか否かの判定結果を用いて抽出輝度範囲内の画素を判定する点、上限輝度Ｙｅｄとして輝度値として採り得る最大値を設定しない点等は第１の実施の形態と同様である。
【００８９】
図９は本発明の第３の実施の形態に採用される輝度範囲比較回路を示すブロック図である。本実施の形態は輝度範囲比較回路の判定方法が図５の第２の実施の形態と異なるのみである。本実施の形態においては、輝度範囲比較回路はヒストグラム作成回路４２及び輝度範囲判定回路４３によって構成されている。
【００９０】
上記第２の実施の形態においては、ヒストグラム作成回路３５（図６参照）は、輝度値が８ビット（０〜２５５）で表現されている場合には、２５６個のカウンタ（レジスタ）を用意し、０〜２５５の輝度の値毎に画素の数をカウントしてヒストグラムを作成する。従って、必要なカウンタ数が極めて多く回路規模が膨大となる。そこで、本実施の形態においては、輝度値の１精度毎にヒストグラムを作成するのではなく、所定の分割範囲毎にヒストグラムを作成することによって、回路規模を縮小させるようになっている。
【００９１】
例えば、採り得る輝度値（０〜２５５）を１６分割すると、０〜１５，１６〜３１，・・・・・，２４０〜２５５と１６階単位の範囲にすることができる。同様に、採り得る輝度値を８分割にすると、３２段階単位に分割することができる。分割数を小さくすると回路規模を縮小することができる反面ヒストグラムの精度が低下してしまう。例えば、８分割を行った場合には、ヒストグラム精度が悪化し、正しく８５％（Ｙｓｔ）〜９５％（Ｙｅｄ）の抽出画素を算出することがきない可能性がある。
【００９２】
ところで、輝度範囲比較回路は、抽出色範囲内の画素のうち輝度が低い方向から約８５％〜約９５％の画素を選別することを目的としている。ところが、例えばヒストグラムを１６分割する例では，最終的には低輝度側のうち例えば０〜１５，１６〜３１の範囲はヒストグラムをとってもさして重要な範囲ではない。また、同様に、抽出色範囲内の全画素のうちの上述した８５％（Ｙｓｔ）〜９５％（Ｙｅｄ）の１０％の画素が、輝度値２４０〜２５５（略真っ白）の範囲に集中することも考えにくい。もし有ったとすれば，それは適正な露出制御ができないことが考えられる。
【００９３】
これらの点を考慮して、本実施の形態におけるヒストグラム作成回路４２は、重要でない範囲はヒストグラムを作成しないことによって回路規模を縮小するようになっている。
【００９４】
ヒストグラム作成回路４２は、輝度値０〜２５５のうち、精度良く輝度ヒストグラムを作成する範囲としてヒストグラム上限の輝度値とヒストグラム下限の輝度値をレジスタに指定する。そして、抽出色範囲内の画素であってもヒストグラム下限よりも小さい輝度値の画素及びヒストグラム上限よりも大きい輝度値の画素について、レジスタに登録しない。なお、ヒストグラム上限及びヒストグラム下限の指定は、輝度値の採り得る範囲０〜２５５の１ステップ単位で指定可能である。
【００９５】
例えば、ヒストグラム作成回路４２は、ヒストグラム上限として２２０〜２４０の範囲内の例えば２３０の値を指定し，ヒストグラム下限として５０〜１００の範囲内の例えば７１の値を指定する。そして、ヒストグラム作成回路４２は、ヒストグラム下限とヒストグラム上限との間の範囲を８〜１６分割例えば１０分割する。この場合には、ヒストグラム作成回路４２は、７１〜２３０の範囲を等分に１６ステップずつ１０分割してもよく、また、明るい方を広く、暗い方を狭く分割してもよい。
【００９６】
ヒストグラム作成回路４２は、こうして指定された分割輝度毎に、抽出色範囲内の画素についてのヒストグラム作成を行う。ヒストグラム作成回路４２が作成したヒストグラムの情報は輝度範囲判定回路４３に与えられる。輝度範囲判定回路４３は、抽出率の情報が与えられており、ヒストグラム中の輝度の最高値から抽出率で示される個数の画素を選択して、選択した画素が抽出輝度範囲の画素であることを示す判定結果を出力するようになっている。
【００９７】
次に、このように構成された実施の形態における抽出輝度範囲の画素の選択方法について説明する。
【００９８】
いま、ヒストグラム作成回路４２が、輝度値として採り得る０〜２５５のうち輝度値７１〜２３０の範囲を等分に１６ステップずつ１０分割した状態で、抽出色範囲内の画素の輝度ヒストグラムを作成するものとする。また、輝度範囲判定回路４３には抽出率として２０％が指定されているものとする。
【００９９】
輝度範囲判定回路４３は、先ず、ヒストグラムに登録されている画素のうち輝度が上位のものから総画素数の２０％の個数の画素が１０分割されたヒストグラムのいずれの分割領域に属するかを検索する。いま、例えば、１０分割されたヒストグラムが下記表１によって示されるものとする。また、ヒストグラムに登録された総画素数が１０００個であるものとする。
【０１００】

輝度範囲判定回路４３はヒストグラムに登録されている総画素数（１０００個）のうち抽出率で示される上位２０％の画素を抽出画素と判定する。この場合には、１０００×２０％＝２００個の画素が選択されることになる。
【０１０１】
輝度範囲判定回路４３は、先ず、ヒストグラムに登録されている全画素数を求める。輝度範囲判定回路４３は、ヒストグラム作成回路４２によるヒストグラムの作成時に、抽出色範囲の画素数をカウントすることでヒストグラムの完成と同時に総画素数を取得することができる。そして、輝度範囲判定回路４３は総画素数×抽出率で抽出する画素数を求める。次に、輝度範囲判定回路４３は、ヒストグラムの分割された各分割領域毎に輝度値が高い領域から順に画素数を評価して２００個に到達する領域を求める。
【０１０２】
上記表１の例においては、最上位ブロックは６０個であり２００個に満たない。次ブロックの画素数を加算すると６０個＋１２０個＝１８０個である。更に、次ブロックの画素数を加算すると１８０個＋１５０個＝３３０個となり、２００個を越える。即ち、輝度の上位からの画素数が抽出率に到達した領域は輝度値が２０１〜２１０の範囲の分割領域である。そこで、輝度範囲判定回路４３は、輝度値２０１を抽出画素の下限の輝度に設定する。一方、上限はヒストグラム上限の２３０とする。そして、輝度範囲判定回路４３は、輝度下限と輝度上限、即ち、輝度値が２０１〜２３０の範囲の画素を抽出輝度範囲の画素とする判定結果を出力する。
【０１０３】
このように本実施の形態においては、抽出色範囲内の画素のうちヒストグラム上限とヒストグラム下限との間の輝度値の画素のみによってヒストグラムを作成すると共に、ヒストグラムを複数の領域に分割し、輝度値が上位の画素から抽出率で定めされた画素数の画素を分割領域毎単位で選択して、抽出画素に決定するようにしている。これにより、上記（３）式の母数として十分な数を確保すると共に、分割ステップ精度を細かくしつつ、ヒストグラムを作成する回路及び抽出画素を決定する回路の回路規模を著しく低減することが可能である。
【０１０４】
これにより、ＣＰＵを搭載していないシステムであっても、十分な色再現性を得ることを可能にしている。
【０１０５】
他の構成及び作用効果は第２の実施の形態と同様である。
【０１０６】
なお、上記第２の実施の形態においては、抽出輝度範囲は輝度値が低い方から数えて８５％目〜９５％目の画素に設定したが、第３の実施の形態においては、ヒストグラムに登録された画素のうち輝度が高い順に８０％以下〜１００％の画素に設定されている。上限を１００％に設定していても、ヒストグラム上限として輝度９５％までの範囲に制限していることから、上述した飽和の問題は回避することができる。また、逆に、ヒストグラム下限についても予め制限していることから、第２の実施の形態における画素の範囲の下限８５％を本実施の形態においては８０％にしている。
【０１０７】
なお、８０％という値は抽出率２０％を指定することが得られており、輝度範囲判定回路４３に与える抽出率を変更するだけで抽出する画素の範囲を変化させることができ、自由度が高い。また、よりステップ精度を細かくしたければ、ヒストグラムの下限を上げればよいことは明らかである。なお、第２の実施の形態における抽出輝度範囲を画素数が８５％目〜９５％目の範囲に設定している点を考慮すると、ヒストグラムの下限を相当上げても問題ないことは明らかである。
【０１０８】
図１０は本発明の第４の実施の形態に採用される画像信号処理装置のホワイトバランス処理を示す説明図である。本実施の形態は図１の画像信号処理装置と同様の構成によって実現可能である。本実施の形態は動画時のホワイトバランス処理に適用したものである。
【０１０９】
図１０における輝度ヒストグラム作成処理５１、抽出輝度範囲算出処理５２及び抽出画素位置取得処理５３は図１中のＡＷＢ用抽出画素判定処理１２に実現可能であり、抽出画素積算処理５４はＡＷＢ用画素データ蓄積処理１３によって実現可能であり、色係数算出処理５５はＡＷＢ用係数算出回路１４によって実現可能である。
【０１１０】
ところで、上記各実施の形態においては、画像中の情報から無彩色を検出し、無彩色の画素を利用して色係数を算出することで、ホワイトバランスによる色再現性を向上させる手法を説明した。しかし、動画時においては、上記各実施の形態におけるＡＷＢ用係数算出回路１４によって算出した色係数を用いて直ちにホワイトバランス処理を実行すると、画像が急激に変化して画質が劣化したように見えてしまう。そこで、本実施の形態においては、動画時には、ホワイトバランス処理に用いる色係数を、上記各実施の形態におけるＡＷＢ用係数算出回路１４によって得られる色係数の値に徐々に近づけていく収束処理を行うようになっている。
【０１１１】
１フレーム目においては、図１０の処理５１において、抽出色範囲の画素に対して輝度のヒストグラムを作成する。次に、処理５２において、作成されたヒストグラムから上限輝度Ｙｅｄ及び下限輝度Ｙｓｔを算出する。
【０１１２】
次に、２フレーム目においては、処理５３において、抽出色範囲の画素について、Ｙｓｔ＜Ｙ＜Ｙｅｄ（第２の実施の形態に適用させた場合）を満足する画素、抽出輝度範囲内の画素（抽出画素）を決定して、処理５４において、抽出画素についてΣＲ，ΣＧ，ΣＢを算出する。
【０１１３】
次いで、３フレーム目において、処理５５において、上記（３）式から色係数Ｒｃ，Ｂｃを算出する。そして、ホワイトバランス回路１１（図１参照）に色係数を与えて、マトリクス処理を実行させる。なお、色係数算出時の割算器の速度によっては、マトリクス処理は４フレーム目に実施されることも考えられる。
【０１１４】
この場合において、収束動作をさせるためには画像より算出した色係数とは別にもう１つ別の色係数を用意する。そして、画像から算出した係数を目標に収東するような係数を算出して実際に各画素に適用する色係数とする。
【０１１５】
いま、処理５５によって得られる最終的な色係数を目標色係数Ｒｃｔａｒｇｅｔ，Ｂｃｔａｒｇｅｔとし、実際にホワイトバランス処理に適用する色係数を適用色係数とする。現フレームの適用色係数をＲｃｃｕｒｒｅｎｔ，Ｂｃｃｕｒｒｅｎｔとし、次フレームの適用色係数をＲｃｎｅｘｔ，Ｂｃｎｅｘｔとすると、次フレームの適用色係数は下記（４）式によって算出される。
【０１１６】
Ｒｃｎｅｘｔ＝（Ｒｃｔａｒｇｅｔ×ｈ＋Ｒｃｃｕｒｒｅｎｔ）／（ｈ＋１）
Ｂｃｎｅｘｔ＝（Ｂｃｔａｒｇｅｔ×ｈ＋Ｂｃｃｕｒｒｅｎｔ）／（ｈ＋１）（ｈ＝２ｉ−１，ｉ＝０，１，２，…） …（４）
上記（４）式においては、次フレームの適用色係数Ｒｃｎｅｘｔ，Ｂｃｎｅｘｔは、係数ｈ（ｉ）の値を適宜設定することによって所望の早さで目標色係数Ｒｃｔａｒｇｅｔ，Ｂｃｔａｒｇｅｔに収束する。これにより、画像のホワイトバランスはフレーム毎に次第に変化し、最終的には最適な色再現性が得られるように変化させることができる。また、収束する時間を自由に設定することができる。こうして、画像が急激に変化することを防止して、画質の劣化を防止することができる。
【０１１７】
ところで、上記各実施の形態においては、色係数の算出に用いるＲ，Ｇ，Ｂ信号としては、ホワイトバランス処理前の信号を用いた。これに対し、ホワイトバランス処理後のＲ，Ｇ，Ｂ信号を色係数の算出に用いることも考えられる。
【０１１８】
図１１はこの場合におけるホワイトバランス処理を図１０に対応させて示す説明図である。図１１において図１０と同一の処理には同一符号を付して説明を省略する。
【０１１９】
図１１中の抽出画素積算処理５４′は図１のＡＷＢ用画素データ蓄積回路１３にオートホワイトバランス回路１１からのＲ３，Ｇ３，Ｂ３信号を与えることによって実現可能であり、図１１中の色係数算出回路５５′は、ＡＷＢ用係数算出回路１４によって実現可能である。
【０１２０】
抽出画素位置取得処理によって得た抽出画素の画面上の位置を示す位置情報は、抽出画素積算処理５４′によって色係数の算出に用いるＲ，Ｇ，Ｂ信号の取得に用いられる。抽出画素積算処理５４′においては、オートホワイトバランス処理後のＲ，Ｇ，Ｂ信号が用いられる。色係数算出処理５５′は、抽出画素積算処理５４′によって取得された色係数を用いて、色係数を算出する。
【０１２１】
図１１中の他の処理は図１０と同様である。
【０１２２】
この場合において、色係数を収束動作をさせるためには、最終的な色係数を目標色係数Ｒｃｔａｒｇｅｔ，Ｂｃｔａｒｇｅｔとし、実際にホワイトバランス処理に適用する現フレームの適用色係数をＲｃｃｕｒｒｅｎｔ，Ｂｃｃｕｒｒｅｎｔとし、次フレームの適用色係数をＲｃｎｅｘｔ，Ｂｃｎｅｘｔとすると、下記（５）式の演算によって処理５５′は色係数を算出する。
【０１２３】
Ｒｃｎｅｘｔ＝（Ｒｃｔａｒｇｅｔ×ｈ＋Ｒｃｔａｒｇｅｔ×Ｒｃｃｕｒｒｅｎｔ）／（ｈ＋１）
Ｂｃｎｅｘｔ＝（Ｂｃｔａｒｇｅｔ×ｈ＋Ｂｃｔａｒｇｅｔ×Ｂｃｃｕｒｒｅｎｔ）／（ｈ＋１）（ｈ＝２ｉ−１，ｉ＝０，１，２，…） …（５）
この（５）式においても、次フレームの適用色係数Ｒｃｎｅｘｔ，Ｂｃｎｅｘｔは、係数ｈ（ｉ）の値を適宜設定することによって所望の早さで目標色係数Ｒｃｔａｒｇｅｔ，Ｂｃｔａｒｇｅｔに収束する。これにより、画像のホワイトバランスをフレーム毎に次第に変化させ、最終的には最適な色再現性が得られるように変化させることができる。こうして、図１１の例においても、画像が急激に変化することを防止して、画質の劣化を防止することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る画像信号処理装置を示すブロック図。
【図２】第１の実施の形態にオートホワイトバランス処理を説明するための説明図。
【図３】第１の実施の形態にオートホワイトバランス処理を説明するための説明図。
【図４】図１中のＡＷＢ用抽出画素判定回路１２の具体的な構成を示すブロック図。
【図５】本発明の第２の実施の形態の画像信号処理装置において採用されるＡＷＢ用抽出画素判定回路の構成を示すブロック図。
【図６】図５中の輝度範囲比較回路３２の具体的な構成を示すブロック図。
【図７】横軸に輝度値Ｙをとり縦軸に画素数をとって、ヒストグラム作成回路３５が作成するヒストグラムの例を示すグラフ。
【図８】輝度範囲判定回路３６の動作を説明するための説明図。
【図９】本発明の第３の実施の形態に採用される輝度範囲比較回路を示すブロック図。
【図１０】本発明の第４の実施の形態に採用される画像信号処理装置のホワイトバランス処理を示す説明図。
【図１１】変形例におけるホワイトバランス処理を図１０に対応させて示す説明図である。
【符号の説明】
５，９，１０…マトリクス演算器、１１…オートホワイトバランス回路、１２…ＡＷＢ用抽出画素判定回路、１３…ＡＷＢ用画素データ蓄積回路、１４…ＡＷＢ用係数算出回路。[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an automatic white balance processing device and method suitable for white balance adjustment of an imaging device using an image sensor, and an image signal processing device.
[0002]
[Prior art]
In recent years, electronic cameras that convert a subject image into an electric signal by a photoelectric conversion element such as an image sensor to obtain an image signal have become widespread. In such an electronic camera, an optical image of a subject passing through an optical system is converted into an electric signal by an image sensor serving as an image sensor. The electric signal from the image sensor is subjected to predetermined image signal processing as an image signal. The image signal processing includes processing such as gamma correction processing, color separation processing, and white balance processing for the image signal, and an image signal in a predetermined format is obtained through these processings.
[0003]
The gamma correction process is a process for correcting a non-linearity in a relationship between a level of an image signal and a transmittance (luminance) in a display system. The white balance processing is processing for correctly reproducing white.
[0004]
In an electronic camera, a color image is obtained by disposing a color filter on an image sensor. For example, R (red), G (green), and B (blue) light are made incident on the image sensor by a color filter to obtain R, G, and B image signals. However, even when the same subject (same object color) is imaged, the levels of the R, G, and B signals obtained from the image sensor individually vary according to the color temperature of the light source (environmental color). Therefore, white balance processing is performed in order to correctly reproduce white and properly reproduce color balance.
[0005]
The white balance process is performed by multiplying each of the R, G, and B image signals by a predetermined coefficient (color coefficient). Thus, the levels of the R, G, and B signals are individually adjusted to make the color balance proper.
[0006]
[Problems to be solved by the invention]
By the way, the white balance adjustment is for accurately reproducing white as described above. That is, when an output image signal obtained when a white subject is imaged is projected on a screen, the white subject is correctly reproduced. In the white balance adjustment, not only the reproducibility of white but also the adjustment of color balance are performed at the same time. 2. Description of the Related Art In a broadcast television camera or the like, lighting for setting an environmental color to a reference color (gray) is performed for white balance adjustment. By performing white balance processing on an image signal obtained by imaging in this state, reliable color balance adjustment is enabled.
[0007]
However, when a camcorder or a digital camera is used personally, it is substantially difficult to set the environment (illumination) color as the reference color. Therefore, in a personal electronic camera, white balance adjustment can be automatically performed by calculating a color coefficient for white balance adjustment from a captured image.
[0008]
However, naturally, there is a problem that the reproducibility of the color balance cannot be said to be sufficient in the auto white balance using the color coefficient obtained from the normal captured image other than the reference color. Moreover, the amount of calculation for calculating the color coefficient is extremely large, and it is difficult to obtain a certain degree of color reproducibility unless the system is equipped with a CPU such as a digital still camera.
[0009]
The present invention has been made in view of such a problem, and has been made to provide an automatic white balance processing apparatus and method and an image signal processing apparatus that enable color adjustment by wired logic and that can significantly improve color reproducibility. The purpose is to provide.
[0010]
[Means for Solving the Problems]
A white balance processing device according to the present invention is provided with a luminance signal and a color difference signal obtained by converting each color component based on the output of an image sensor provided with a color filter into a luminance-color difference color space, Calculating a color coefficient for white balance processing using extracted pixel determining means for determining a pixel in a range and a predetermined luminance range as an extracted pixel, and each color component of the pixel determined as an extracted pixel by the extracted pixel determining means And a white balance adjusting unit that adjusts a white balance by linear processing using the color coefficient for each color component.
[0011]
According to such a configuration, each color component based on the output of the image sensor is converted into a luminance signal and a color difference signal in a luminance-color difference color space, and is then provided to the extracted pixel determination unit. The extraction pixel determination means determines a pixel in a predetermined color range and a predetermined luminance range as an extraction pixel. Thus, for example, achromatic pixels can be reliably determined as extracted pixels. The color coefficient calculation means calculates a color coefficient for white balance processing using each color component of the pixel determined as the extraction pixel by the extraction pixel determination means. As a result, the color coefficient becomes extremely accurate. Using this color coefficient, the white balance adjustment means performs linear processing on each color component to adjust the white balance. In this way, white balance adjustment with extremely excellent color reproducibility becomes possible.
[0012]
Further, the extracted pixel determination unit determines whether or not the pixels within the predetermined color range are pixels within the predetermined luminance range to determine the extracted pixels.
[0013]
According to such a configuration, the determination as to whether or not the pixel is within the predetermined color range is performed before the determination as to whether or not the pixel is within the predetermined luminance range. If a pixel is selected based on the luminance range first, when selecting a pixel based on the color range, many high-luminance achromatic pixels are excluded from the selection. For this reason, the parameter at the time of calculating the color coefficient becomes small, and the reliability of the color coefficient becomes low. On the other hand, after selecting a pixel based on the previous color range, if it is determined whether or not the selected pixel is a pixel within the luminance range, a sufficient number is secured as a parameter when calculating the color coefficient. And the reliability of the color coefficient can be improved.
[0014]
Further, the extracted pixel determination unit determines a predetermined number of pixels from a predetermined number in the order of luminance value as the extracted pixels, instead of determining whether the pixel is within the predetermined luminance range. I do.
[0015]
According to such a configuration, since a predetermined number of pixels from the predetermined number of the luminance value are determined as the extracted pixels, it is possible to prevent the parameter at the time of calculating the color coefficient from being reduced, and to reduce the color coefficient. Reliability can be improved.
[0016]
In addition, the extracted pixel determination unit determines a luminance distribution for a pixel within the predetermined color range, and determines a predetermined number of pixels from a predetermined luminance value in the luminance distribution as the extracted pixel. And a luminance range determination unit that performs the determination.
[0017]
According to such a configuration, the luminance distribution detecting means obtains a luminance distribution for pixels within a predetermined color range. This makes it easy to select a predetermined number of pixels from the predetermined luminance value.
[0018]
Further, the brightness distribution detecting means obtains a brightness distribution within a range of a predetermined brightness upper limit value and a predetermined brightness lower limit value.
[0019]
According to such a configuration, since the pixels that are extremely unlikely to be selected as the extraction pixels are excluded when the luminance distribution is created, it is possible to improve the accuracy of the pixels to be selected as the extraction pixels. Can be.
[0020]
Further, the luminance distribution detecting means obtains a luminance distribution by dividing the luminance distribution for each predetermined luminance range, and the luminance range determining means determines the extracted pixel in the predetermined luminance range unit.
[0021]
According to such a configuration, it is only necessary to obtain the luminance distribution in the unit of division for each predetermined luminance range, and the circuit scale for obtaining the luminance distribution can be reduced.
[0022]
Further, the extracted pixel determination means determines a pixel having a luminance value equal to or less than a maximum value of a value that can be taken as a luminance value by a predetermined luminance or less as the extracted pixel.
[0023]
According to such a configuration, when a predetermined color component of each color component is in a saturated state, it is possible to prevent the saturated color component from being used for calculating the color coefficient, and Accuracy can be improved.
[0024]
Further, the color coefficient calculation means uses each color component before white balance adjustment by the white balance adjustment means for calculating a color coefficient.
[0025]
According to such a configuration, the calculation of the color coefficient can be obtained by the feedforward configuration.
[0026]
Further, the color coefficient calculation means uses each color component after white balance adjustment by the white balance adjustment means for calculating a color coefficient.
[0027]
According to such a configuration, the calculation of the color coefficient can be obtained by the feedback configuration.
[0028]
Further, the color coefficient calculation means converges the color coefficient using the respective color components of the pixel determined as the extracted pixel to a target value in a predetermined period.
[0029]
According to such a configuration, the color coefficient converges to the target value in a predetermined period. Therefore, it is possible to prevent the image from being suddenly changed by the white balance processing using the color coefficient, and to improve the image quality.
[0030]
Further, the white balance processing method according to the present invention is characterized in that a luminance signal and a color difference signal obtained by converting each color component based on an output of an image sensor provided with a color filter into a luminance-color difference color space are given, An extracted pixel determining step of determining a pixel in a color range and a predetermined luminance range as an extracted pixel; and a color coefficient for white balance processing using each color component of the pixel determined to be an extracted pixel in the extracted pixel determining step. And a white balance adjustment procedure for adjusting a white balance by linear processing using the color coefficients for the respective color components.
[0031]
According to such a configuration, each color component based on the output of the image sensor is converted into a luminance signal and a color difference signal in a luminance-chrominance color space, and in the extraction pixel determination procedure, pixels in a predetermined color range and a predetermined luminance range are determined. It is determined as an extracted pixel. Thus, for example, achromatic pixels are reliably determined as extracted pixels. Each color component of a pixel determined as an extracted pixel in the extracted pixel determination procedure is used for calculating a color coefficient. As a result, the color coefficient becomes extremely accurate. In the white balance adjustment procedure, the white balance is adjusted by performing linear processing using the color coefficient for each color component. In this way, white balance adjustment with extremely excellent color reproducibility becomes possible.
[0032]
Further, the extraction pixel determination step is characterized in that the extraction pixels are determined by determining whether or not the pixels within the predetermined color range are pixels within the predetermined luminance range.
[0033]
According to such a configuration, the determination as to whether or not the pixel is within the predetermined color range is performed before the determination as to whether or not the pixel is within the predetermined brightness range. It is possible to prevent many of the pixels from being excluded from the selection. As a result, the parameter at the time of calculating the color coefficient is sufficiently ensured to maintain the reliability of the color coefficient.
[0034]
The image signal processing apparatus according to the present invention further includes a matrix unit that converts each color component based on the output of the image sensor provided with the color filter into a luminance-color difference color space to obtain a luminance signal and a color difference signal. The white balance is adjusted by the white balance processing device or the white balance processing method using the luminance signal and the color difference signal from the matrix unit.
[0035]
According to such a configuration, it is possible to perform image signal processing with extremely excellent color reproducibility by adjusting the white balance by the white balance processing device and the white balance processing method.
[0036]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. FIG. 1 is a block diagram showing an image signal processing device according to the first embodiment of the present invention.
[0037]
In the present embodiment, pixels in a predetermined color range are extracted from an image signal obtained by imaging, and only pixels in a predetermined luminance range are extracted from the extracted pixels, and a color coefficient of an auto white balance process is extracted. By using for calculation, color reproducibility is improved.
[0038]
An optical image from a subject is incident on an image sensor (not shown) via an optical system (not shown) including a color filter. The image sensor photoelectrically converts incident light to generate an image signal based on an optical image of a subject. This image signal is supplied to an AFE (analog front end) circuit 1 in FIG. The AFE circuit 1 includes an amplifier (not shown), an analog / digital converter, and the like. The AFE circuit 1 converts an input image signal into a digital signal and outputs the digital signal to the OB clamp circuit 2.
[0039]
The OB clamp circuit 2 is a circuit for adjusting an input image signal to an appropriate black reference level. In the image sensor, several predetermined pixels are shielded from light by a light shielding plate or the like and set in an OB (optical black) area. The OB clamp circuit 2 adjusts the black level of the image signal based on the pixel signal level of the pixel in the OB area. The output of the OB clamp circuit 2 is given to the data range correction circuit 3. The data range correction circuit 3 corrects the range of the input digital image data and outputs the result to the CFA color interpolation circuit 4.
[0040]
The color filters provided in the image sensor are, for example, those in which R, G, and B filters are cyclically arranged according to an appropriate arrangement rule. Thus, each pixel of the image sensor individually forms an R pixel, a G pixel, or a B pixel. The CFA color interpolation circuit 4 has a line buffer (not shown) that holds image signals for a plurality of lines (for example, three lines), and performs arithmetic processing using R, G, and B pixels at adjacent positions. And an interpolation process for obtaining R, G, B signals at each pixel position. The R, G, B signals from the CFA color interpolation circuit 4 are supplied to a matrix calculator 5.
[0041]
The matrix calculator 5 converts the input R, G, B signals into YUV 'signals. The matrix calculator 5 converts the R, G, and B signals into YUV 'signals by, for example, a 3 × 3 matrix calculation, applies the (luminance) signal Y to a high-pass filter (HPF) 6, and converts the color difference signals U and V'. The signal is supplied to a low-pass filter (LPF) 7. The HPF 6 passes the high-frequency component of the luminance signal Y, performs image quality correction such as contour compensation by high-frequency emphasis, and outputs the result to the matrix calculator 9. Further, the LPF 7 restricts the input color difference signals U and V ′ to only the low band and outputs the signals to the color suppression circuit 8.
[0042]
In the present embodiment, the color suppression circuit 8 suppresses the color components of the color difference signal UV ′ and outputs the result to the matrix calculator 9. When the gain with respect to the pixel signal is relatively large, the defect of the pixel signal becomes conspicuous due to the influence of quantization noise or the like. Therefore, by taking advantage of the relatively low sensitivity of the human eye to a color in a dark portion, the color components of a pixel having a relatively low luminance (a dark portion) are suppressed, or the monochrome mode is set. Defects are made less noticeable.
[0043]
In the present embodiment, the image signal converted into the YUV 'signal is returned to the R, G, B signals again. The matrix calculator 9 performs matrix processing on the input YUV 'signal, converts the signal into R1, G1, and B1 signals, and outputs the signal to the matrix calculator 10. The matrix computing unit 10 performs matrix processing on the input R1, G1, and B1 signals to perform color adjustment, and outputs the R2, G2, and B2 signals after color adjustment to the auto white balance circuit 11. . The auto white balance circuit 11 is provided with a color coefficient for automatic white balance adjustment from the AWB coefficient calculation circuit 4 and multiplies the input R2, G2, and B2 signals by a color coefficient, as described later. Each color level is adjusted by the processing to make the white balance proper. The R3, G3, and B3 signals that have been subjected to automatic white balance adjustment by the automatic white balance circuit 11 are output to the user color adjustment circuit 15.
[0044]
The user color adjustment circuit 15 receives an external signal based on a user operation, and adjusts the level of the input R3, G3, and B3 signals based on the external signal to adjust the color balance to the user's preference. It has become. The R4, G4, and B4 signals after color adjustment from the user color adjustment circuit 15 are supplied to a user digital gain setting circuit 16. The user digital gain setting circuit 16 receives an external signal based on a user operation, and adjusts the gain for the input R4, G4, and B4 signals based on the external signal so that the luminance is adjusted to the user's preference. It has become. The R5, G5, and B5 signals after luminance adjustment from the user digital gain setting circuit 16 are supplied to the gamma correction circuit 17.
[0045]
The gamma correction circuit 17 subjects the input R5, G5, and B5 signals to gamma correction by performing predetermined non-linear processing, and then outputs the signals to the matrix calculator 18. The matrix calculator 18 converts the input R, G, B signals into YUV signals. The matrix calculator 18 converts the R, G, and B signals into YUV signals by, for example, a 3 × 3 matrix calculation and outputs the signals.
[0046]
Next, the auto white balance processing will be described with reference to FIGS.
[0047]
In general white balance processing, a color coefficient is generated based on the hypothesis that the average color of the entire image is an achromatic color. This method is effective for scenes where the image is evenly colored, but does not produce the expected results for scenes that are biased toward a certain color, resulting in a process that pulls the biased color into achromatic color. . As a pixel that tends to influence the average color of the image toward a specific color (hereinafter referred to as a bias influence color), for example, a skin color, a green color of a vegetation, a blue sky color, or the like can be considered. Therefore, in the present embodiment, it is considered that the average color of the image becomes achromatic when the remaining pixels are averaged by excluding the pixels of these bias influence colors from the image. The pixels excluding the bias influence color are used for generating the color coefficient.
[0048]
When the environmental color (illumination light) changes, the color of the image captured by the image sensor also changes. Thus, even when the environmental color changes, the color excluding the bias influence color, that is, the achromatic color (gray) exists within a predetermined range in the color space. FIG. 2 shows the distribution range of the achromatic color in the YUV color space excluding the bias influence color by hatching. However, depending on the luminance of the image, even the bias influence color may exist within the range of the hatched portion in FIG.
[0049]
On the other hand, when the luminance of each color was examined based on the change in the illuminance of the light source (illumination light), it was found that among the achromatic colors, light gray including white had relatively high luminance. Therefore, in the present embodiment, the shaded portion in FIG. 2 is set as the color range of the pixel to be extracted, and the color is determined by whether or not the pixel within the color range has a luminance within a predetermined luminance range. A pixel (hereinafter, referred to as an extracted pixel) used for calculating the coefficient is determined. FIG. 3 shows the luminance range for extracting the extracted pixels by oblique lines.
[0050]
In the present embodiment, the extracted pixels used for calculating the color coefficient are determined by the (auto white balance) extracted pixel determination circuit 12. FIG. 4 is a block diagram showing a specific configuration of the AWB extraction pixel determination circuit 12 in FIG.
[0051]
In FIG. 2, the range of the shaded portion (hereinafter referred to as an extracted color range) is represented by straight lines U = umax, V ′ = vmax, V ′ = − mU + uvmax, V ′ = − nU + uvmin (−m, −n (The slopes of the straight lines passing through the points uvmax and uvmin on the V ′ axis). That is, in the example of FIG. 2, the extracted color range is set so as to satisfy the following equation (1). In FIG. 2, m and n are 1.
[0052]
U ≦ max
V '≦ vmax
uvmin ≦ {(m × U) + (n × V ′)} ≦ uvmax (1)
In FIG. 3, an extraction range of an extraction pixel indicated by oblique lines (hereinafter, referred to as an extraction luminance range) is set so as to satisfy the following expression (2).
[0053]
Ymin ≦ Y ≦ max (2)
In FIG. 4, the color difference signals U and V ′ from the matrix calculator 5 are input to the range setting circuit 21 and the color range comparison circuit 22. The position information output circuit 25 receives position information indicating a pixel position on the screen of a pixel corresponding to the color difference signals U and V ′ input to the range setting circuit 21 and the color range comparison circuit 22. The range design circuit 21 calculates (m × U) + (n × V ′) in the above equation (1) and outputs it to the color range comparison circuit 22.
[0054]
The color range comparison circuit 22 is given values of umax, vmax, uvmin, and uvmax, which are information for specifying the extracted color range, and determines whether the input color difference signals U and V ′ satisfy the above equation (1). Determine whether or not. The determination result from the color range comparison circuit 22 is given to the luminance signal extraction circuit 23. A luminance signal Y corresponding to the color difference signals U and V ′ input to the range setting circuit 21 and the color range comparison circuit 22 is supplied to the luminance signal extraction circuit 23 from the matrix calculator 5. The luminance signal extraction circuit 23 outputs the color difference signals U and V only when a determination result indicating that the color difference signals U and V ′ satisfying the above expression (1) is input from the color range comparison circuit 22 is obtained. Is output to the luminance range comparison circuit 24.
[0055]
The luminance range comparison circuit 24 is given the values of Ymin and Ymax, which are information for specifying the extracted luminance range, and determines whether or not the input luminance signal Y satisfies the above equation (2). The determination result from the luminance range comparison circuit 24 is given to the position information output circuit 25.
[0056]
Only when a determination result indicating that the luminance signal Y satisfying the above expression (2) is input from the luminance range comparison circuit 24 is obtained, the position information output circuit 25 It outputs position information indicating the position.
[0057]
As described above, the AWB extracted pixel determination circuit 12 outputs a pixel within the extracted color range, that is, a pixel that is considered to be an achromatic color in the output of the matrix calculator 5, and a pixel within the extracted luminance range, that is, the luminance. A pixel having a relatively high level is determined to be an extracted pixel used for calculating a color coefficient, and position information indicating the pixel position is output to the AWB pixel data storage circuit 13.
[0058]
The AWB pixel data storage circuit 13 receives the output R2, G2, and B2 signals of the matrix calculator 10, and stores and holds the R2, G2, and B2 signals of the pixel position given by the position information for at least one screen, for example. And outputs it to the AWB coefficient calculation circuit 14.
[0059]
The AWB coefficient calculation circuit 14 reads the R2, G2, and B2 signals stored in the AWB pixel data storage circuit 13 and integrates, for example, one screen for each color signal. That is, the AWB coefficient calculation circuit 14 calculates ΣR, ΣG, and ΣB. Next, the AWB coefficient calculation circuit 14 calculates the color coefficients Rc, Gc, and Bc for white balance processing based on the following equation (3).
[0060]
Rc = ΣG / ΣR
Gc = ΣG / ΣG = 1.0 (3)
Bc = ΣG / ΣB
Since the color coefficient Gc is always 1, it is not necessary to calculate it.
The AWB coefficient calculation circuit 14 outputs the color coefficient calculated based on the above equation (3) to the auto white balance circuit 11. The auto white balance circuit 11 obtains R3, G3, and B3 signals whose white balance has been adjusted by performing a matrix operation of the following equation (4) with respect to the R2, G2, and B2 signals from the matrix calculator 10. .
[0061]
Next, the operation of the embodiment configured as described above will be described.
[0062]
It is assumed that a subject having a predetermined object color is illuminated by illumination light having a predetermined environment color. An optical image of a subject is incident on an image sensor via an optical system including a color filter, and is subjected to photoelectric conversion to obtain R, G, and B signals. The R, G, and B signals input to the AFE circuit 1 correspond to the object color of the subject, the illumination light (environmental color) of the subject, and the color light based on the spectral characteristics of the filter. The AFE circuit 1 converts the input R, G, B signals into digital signals and outputs the digital signals to the OB clamp circuit 1. The OB clamp circuit 1 sets the black level of the input pixel signal to an appropriate black level and outputs it to the data range correction circuit 3. The data range correction circuit 3 corrects the R, G, B signals to an appropriate range and adjusts the brightness of the image. Further, the R, G, and B signals are subjected to color interpolation in the CFA color interpolation circuit 4 to obtain R, G, and B image signals at each pixel position.
[0063]
In the present embodiment, in order to calculate a color coefficient for auto white balance in the YUV ′ color space and to perform image quality correction, first, the R, G, and B signals subjected to color interpolation are first converted into a YUV ′ signal by the matrix calculator 5. ′ Signal. The luminance signal Y is emphasized in the high band by the HPF 6 and supplied to the matrix calculator 9, and the color difference signal UV ′ is band-limited to the low band by the LPF 7 and supplied to the color suppression circuit 8. The color suppression circuit 8 suppresses the color of a dark part of the image and outputs the result to the matrix calculator 9 in order to reduce the influence of noise such as quantization noise.
[0064]
The AWB extracted pixel determination circuit 12 is sequentially supplied with the color difference signals U and V 'and the luminance signal Y of each pixel from the matrix calculator 5, and first calculates the input color difference signals U and It is determined whether or not V ′ gives a color within the extraction color range of FIG. 2, and if so, the luminance signal Y for that pixel is further expressed by the above equation (2) and the extraction signal shown in FIG. It is determined whether or not the luminance is within the luminance range. The AWB extracted pixel determination circuit 12 stores the position information indicating the pixel position in the screen for the pixels within the extracted luminance range shown in FIG. Output to the circuit 13. The AWB pixel data storage circuit 13 stores and holds the input position information for pixels of at least one screen.
[0065]
On the other hand, the YUV 'signal from the matrix calculator 5 is once returned to the R, G, B signals by the matrix calculator 9 in order to adjust the color balance. The matrix calculator 9 obtains R1, G1, and B1 signals by performing matrix processing on the input YUV 'signal, and outputs the signals to the matrix calculator 10 for color adjustment. The matrix calculator 10 corrects the spectral characteristics of the color filters by performing matrix processing on the input R1, G1, and B1 signals, and R2, G2 having characteristics similar to those when the characteristics of the R, G, and B filters are steep. , B2 signals. The R2, G2, and B2 signals are provided to the auto white balance circuit 11.
[0066]
Further, the AWB pixel data storage circuit 13 stores and holds, for example, one screen of pixel position information having conditions within the extracted color range and the extracted luminance range, and outputs the signals R2, G2, B2 of the matrix calculator 10. Out of the pixel positions given by the position information are output to the AWB coefficient calculation circuit 14. The AWB coefficient calculation circuit 14 reads the R2, G2, and B2 signals stored in the AWB pixel data storage circuit 13 and integrates, for example, one screen for each color signal. That is, the AWB coefficient calculation circuit 14 calculates ΣR, ΣG, and ΣB, and then calculates color coefficients Rc, Gc, and Bc for white balance processing based on the above equation (3).
[0067]
The auto white balance circuit 11 uses the color coefficients calculated by the AWB coefficient calculation circuit 14 to adjust white balance by, for example, 3 × 3 linear matrix processing. Thereby, the influence of the environmental color included in the input R, G, and B signals is removed. The R3, G3, and B3 signals that have been subjected to automatic white balance adjustment by the automatic white balance circuit 11 are output to the user color adjustment circuit 15.
[0068]
The user color adjustment circuit 15 adjusts the color balance to the user's preference based on a user operation. Further, the user digital gain setting circuit 16 adjusts the brightness to the user's preference based on the user operation. The image signal that has been subjected to color adjustment and luminance adjustment based on a user operation is supplied to a gamma correction circuit 17 and gamma corrected. The gamma-corrected image signal is supplied to a matrix calculator 18, which converts the input R, G, B signals into YUV signals.
[0069]
As described above, in the present embodiment, the color coefficient used for the auto white balance is a pixel in the extracted color range that is considered to be achromatic, and furthermore, by using a pixel in the extracted luminance range where the luminance is relatively high. Has been generated. Therefore, the pixel used for generating the color coefficient is very likely to be an achromatic pixel, and the color coefficient used for the auto white balance can be calculated with extremely high accuracy. Thereby, color reproducibility can be improved.
[0070]
In the above embodiment, it is determined whether or not the pixels within the extraction color range are the pixels within the extraction luminance range, and the extraction pixels to be used for calculating the color coefficient are determined. The extraction pixels used for calculating the color coefficient may be determined by determining whether or not the pixels within the range are within the extraction color range.
[0071]
By the way, in the present embodiment, an achromatic color pixel is selected as an extraction pixel used for calculating a color coefficient. As described above, even in the case of an achromatic color, the position of the obtained color difference signal UV 'in the color space changes depending on the color temperature. Therefore, in selecting the extracted pixels, an extracted color range in which the achromatic color changes according to the color temperature is specified. However, as described above, even with colors other than achromatic colors, colors with high luminance and high saturation may fall within the extracted color range. For example, human skin color, blue sky, fresh green, and the like. For this reason, the luminance level is determined, and colors having high luminance are excluded from the colors within the extracted color range, so that colors other than these achromatic colors are not selected as extracted pixels.
[0072]
By the way, as described above, a method is also conceivable in which pixels in the extraction luminance range are determined first, and pixels in the extraction color range are selected using the determination result. However, human flesh color, blue sky, and green of fresh green have high luminance, and such pixels are likely to be in the range of about 85% to about 95% from the low luminance side. Therefore, if pixels within the extracted luminance range are determined first and pixels outside the extracted color range are excluded using this determination result, the number of remaining extracted pixels becomes extremely small. Then, the parameter of the above equation (3) becomes small, and the reliability of the color coefficient decreases.
[0073]
For this reason, in the present embodiment, the extraction color range is determined first, and whether or not the pixel is within the extraction luminance range is determined based on the determination result to determine the extraction pixel. Accordingly, a sufficient number of pixels can be secured as the number of extracted pixels, and the reliability of the color coefficient can be improved by increasing the number of parameters in the above equation (3).
[0074]
The setting of the extraction color range has a great influence on the pull-in range of the auto white balance processing. For this reason, instead of incorporating the extracted color range in the circuit in advance, the range can be changed using a register, and the extracted color range set by the circuit user according to the shooting environment or the subject to be shot can be adjusted. It is better to do.
[0075]
Further, in the above embodiment, the upper limit value Ymax of the extracted luminance range is not set to an upper limit value that can be taken as a luminance value. An image obtained by imaging significantly changes depending on the shooting environment light. For example, under a light source such as a halogen lamp, since the color temperature is as low as about 3000K, the captured image tends to be reddish. That is, while the number of pixels in the high-luminance region is very small for the G and B signals, a large number of pixels in the high-luminance region exist for the R signal, and among the R, G, and B signals from the image sensor, Only the R signal may be saturated. In the saturated state, the linearity between the actual red luminance level and the value of the R signal is broken. Therefore, when a pixel whose luminance level is saturated is used for calculating a color coefficient, the accuracy of color reproducibility is reduced. Therefore, in order to exclude pixels in the luminance range where the luminance level is likely to be saturated from the calculation of the color coefficient, the upper limit value Ymax of the extracted luminance range is set to a value lower than the upper limit value that can be taken as the luminance value. ing.
[0076]
In the above embodiment, an extremely large or small value may be output as a color coefficient depending on an image. In this case, it is conceivable to use a preset initial value as a color coefficient.
[0077]
FIG. 5 is a block diagram showing a configuration of an AWB extracted pixel determination circuit employed in the image signal processing device according to the second embodiment of the present invention. 5, the same components as those in FIG. 4 are denoted by the same reference numerals, and description thereof will be omitted. Other configurations in the present embodiment are the same as those in FIG.
[0078]
The AWB extraction pixel determination circuit 31 of FIG. 5 differs from the AWB extraction pixel determination circuit 24 in that a luminance range comparison circuit 32 is used instead of the luminance range comparison circuit 24.
[0079]
When the number of pixels (extracted pixels) used for calculating the color coefficient for white balance adjustment is small, as described above, the parameter of Expression (3) becomes small, and the reliability of the color coefficient decreases. Therefore, in the present embodiment, instead of specifying the extracted luminance range with the absolute value of the luminance, the luminance distribution is detected, and a fixed number of pixels whose luminance is within the predetermined distribution range are selected as the extracted pixels. It is supposed to.
[0080]
FIG. 6 is a block diagram showing a specific configuration of the luminance range comparison circuit 32 in FIG. The luminance range comparison circuit 32 includes a histogram creation circuit 35 and a luminance range determination circuit 36. The histogram creation circuit 35 is supplied with the luminance signal Y from the matrix calculator 5 (see FIG. 1), and the luminance signal Y input from the color range comparison circuit 22 is based on the pixels within the extracted color range. The result of the determination is given. The histogram creation circuit 35 obtains a distribution of luminance values of a signal based on pixels within the extracted color range of the input luminance signal Y. FIG. 7 shows an example of a histogram created by the histogram creation circuit 35 by taking the luminance value Y on the horizontal axis and the number of pixels on the vertical axis.
[0081]
Frequency distribution information indicating the relationship between the luminance value and the number of pixels generated by the histogram generation circuit 35 is given to the luminance range determination circuit 36. The luminance range determination circuit 36 is configured to determine a pixel having a pixel number in a range of Yst% to Yed% in the given luminance distribution from the pixel having the lowest luminance as a pixel in the extracted luminance range.
[0082]
FIG. 8 is an explanatory diagram for explaining the operation of the luminance range determination circuit 36. In the example of FIG. 8, Yst and Yed are set to 85% and 95%, respectively.
[0083]
The hatched portion in FIG. 8 indicates a range (an extracted luminance range) in which the 85% pixel to the 95% pixel counted from the pixel with the lowest luminance on the histogram exist. That is, in the example of FIG. 8, among the pixels in the extracted color range, 10% of the pixels having a relatively high luminance value are selected as the pixels in the extracted luminance range.
[0084]
The luminance range determination circuit 36 detects the Yst% pixel (lower limit luminance pixel) counted from the pixel having the lower luminance value among the pixels in the extracted color range, and detects the Yed% pixel from the pixel having the lower luminance value. A pixel (upper limit luminance pixel) is detected.
[0085]
For example, assuming that the luminance value is represented by 8 bits, the histogram creation circuit 35 has 256 registers corresponding to the minimum luminance 0 to the maximum luminance 255, respectively, and the luminance value of each pixel within the extraction color range. , The information of the pixel is stored in each register. Then, the brightness range determination circuit 36 counts the number of pixels in order from the register corresponding to the lowest brightness, and thereby determines the pixels from the Yst% pixel to the Yed% pixel.
[0086]
As described above, in the present embodiment, a certain percentage of pixels are selected as pixels to be extracted from the pixels within the extracted color range as the extracted luminance range, and the parameter of the above equation (3) is secured, and the color coefficient Improves reliability.
[0087]
The other configuration and operation and effect are the same as those of the first embodiment.
[0088]
Also in the present embodiment, a point that a pixel within the extracted luminance range is determined using the determination result of whether or not the pixel is within the extracted color range, and a maximum value that can be taken as a luminance value is set as the upper limit luminance Yed. The points that are not performed are the same as in the first embodiment.
[0089]
FIG. 9 is a block diagram showing a luminance range comparison circuit employed in the third embodiment of the present invention. This embodiment is different from the second embodiment of FIG. 5 only in the method of determining the luminance range comparison circuit. In the present embodiment, the brightness range comparison circuit includes a histogram creation circuit 42 and a brightness range determination circuit 43.
[0090]
In the second embodiment, the histogram creation circuit 35 (see FIG. 6) prepares 256 counters (registers) when the luminance value is represented by 8 bits (0 to 255). , 0 to 255, the number of pixels is counted and a histogram is created. Therefore, the number of necessary counters is extremely large and the circuit scale becomes enormous. Thus, in the present embodiment, the circuit scale is reduced by creating a histogram for each predetermined division range instead of creating a histogram for each accuracy of the luminance value.
[0091]
For example, when the available luminance value (0 to 255) is divided into 16, the range of 0 to 15, 16 to 31,... Similarly, if the available luminance value is divided into eight, the luminance value can be divided into 32 steps. If the number of divisions is reduced, the circuit scale can be reduced, but the accuracy of the histogram decreases. For example, when the division into eight is performed, the accuracy of the histogram deteriorates, and there is a possibility that the extraction pixels of 85% (Yst) to 95% (Yed) cannot be calculated correctly.
[0092]
By the way, the luminance range comparison circuit has an object of selecting about 85% to about 95% of the pixels in the extracted color range from the lower luminance direction. However, in the example in which the histogram is divided into 16, the range of 0 to 15, 16 to 31 on the low luminance side is not an important range even if the histogram is taken. Similarly, 10% of the above-described 85% (Yst) to 95% (Yed) of all the pixels in the extracted color range are concentrated in the range of luminance values of 240 to 255 (substantially pure white). It is hard to think. If so, it is possible that proper exposure control cannot be performed.
[0093]
In consideration of these points, the histogram creation circuit 42 according to the present embodiment reduces the circuit scale by not creating a histogram for an unimportant range.
[0094]
The histogram creation circuit 42 designates, in a register, a brightness value at the upper limit of the histogram and a brightness value at the lower limit of the histogram as a range for creating a brightness histogram with high accuracy among the brightness values 0 to 255. Then, even if the pixel is within the extracted color range, a pixel having a luminance value smaller than the histogram lower limit and a pixel having a luminance value larger than the histogram upper limit are not registered in the register. Note that the upper limit of the histogram and the lower limit of the histogram can be specified in one-step units from 0 to 255, in which luminance values can be taken.
[0095]
For example, the histogram creating circuit 42 specifies a value of, for example, 230 in the range of 220 to 240 as the upper limit of the histogram, and specifies, for example, a value of 71 in the range of 50 to 100 as the lower limit of the histogram. Then, the histogram creation circuit 42 divides the range between the lower limit of the histogram and the upper limit of the histogram into eight to sixteen, for example, ten. In this case, the histogram creation circuit 42 may divide the range of 71 to 230 into 16 equal steps at equal intervals, or may divide the brighter one wide and the dark one narrower.
[0096]
The histogram creating circuit 42 creates a histogram for the pixels within the extracted color range for each of the designated divided luminances. Information on the histogram created by the histogram creating circuit 42 is given to the luminance range determination circuit 43. The luminance range determination circuit 43 is provided with information on the extraction rate, selects the number of pixels indicated by the extraction rate from the highest luminance value in the histogram, and determines that the selected pixel is a pixel in the extraction luminance range. Is output.
[0097]
Next, a method of selecting a pixel in the extracted luminance range in the embodiment configured as described above will be described.
[0098]
Now, the histogram creation circuit 42 creates a brightness histogram of the pixels within the extracted color range in a state where the range of the brightness values 71 to 230 among 0 to 255 that can be taken as the brightness value is equally divided into 16 steps by 16 steps. Shall be. It is also assumed that 20% is specified as an extraction rate in the luminance range determination circuit 43.
[0099]
First, the luminance range determination circuit 43 searches for which divided area of the histogram into which the 20% of the total number of pixels belong to the histogram from the pixels having higher luminance among the pixels registered in the histogram. I do. Now, for example, it is assumed that a histogram divided into 10 is shown in Table 1 below. It is also assumed that the total number of pixels registered in the histogram is 1000.
[0100]

The luminance range determination circuit 43 determines the top 20% of the pixels indicated by the extraction rate among the total number of pixels (1000) registered in the histogram as the extracted pixels. In this case, 1000 × 20% = 200 pixels are selected.
[0101]
First, the luminance range determination circuit 43 obtains the total number of pixels registered in the histogram. The luminance range determination circuit 43 can acquire the total number of pixels simultaneously with the completion of the histogram by counting the number of pixels in the extraction color range when the histogram is created by the histogram creation circuit 42. Then, the luminance range determination circuit 43 calculates the number of pixels to be extracted by the total number of pixels × the extraction rate. Next, the luminance range determination circuit 43 evaluates the number of pixels in order from a region having a higher luminance value for each of the divided regions of the histogram and obtains a region reaching 200 pixels.
[0102]
In the example of Table 1 above, the number of the highest-order block is 60, which is less than 200. When the number of pixels of the next block is added, 60 + 120 = 180. Further, when the number of pixels of the next block is added, 180 + 150 = 330, which exceeds 200. That is, the area where the number of pixels from the highest luminance reaches the extraction rate is a divided area whose luminance value ranges from 201 to 210. Therefore, the luminance range determination circuit 43 sets the luminance value 201 to the lower limit luminance of the extracted pixel. On the other hand, the upper limit is set to the histogram upper limit of 230. Then, the luminance range determination circuit 43 outputs a determination result that a pixel having a luminance lower limit and a luminance upper limit, that is, a pixel whose luminance value is in a range of 201 to 230 is set as a pixel of the extracted luminance range.
[0103]
As described above, in the present embodiment, a histogram is created using only pixels having a luminance value between the histogram upper limit and the histogram lower limit among the pixels within the extracted color range, and the histogram is divided into a plurality of regions, Selects pixels of the number of pixels determined by the extraction rate from higher-order pixels in units of each divided region, and determines the extracted pixels. As a result, it is possible to secure a sufficient number of parameters in the above equation (3), and to remarkably reduce the circuit scale of a circuit for creating a histogram and a circuit for determining an extraction pixel while reducing the division step accuracy. It is.
[0104]
As a result, it is possible to obtain sufficient color reproducibility even in a system without a CPU.
[0105]
Other configurations, functions and effects are the same as those of the second embodiment.
[0106]
In the second embodiment, the extracted luminance range is set to the 85% to 95% pixels counted from the lower luminance value, but in the third embodiment, the extracted luminance range is registered in the histogram. The pixels are set to 80% or less to 100% in the descending order of luminance among the pixels. Even if the upper limit is set to 100%, since the upper limit of the histogram is limited to the range up to 95% of the luminance, the above-described problem of the saturation can be avoided. Conversely, since the lower limit of the histogram is also limited in advance, the lower limit of 85% of the pixel range in the second embodiment is set to 80% in the present embodiment.
[0107]
Note that a value of 80% has been obtained to specify an extraction rate of 20%, and the range of pixels to be extracted can be changed only by changing the extraction rate given to the luminance range determination circuit 43, and the degree of freedom is increased. high. It is also clear that the lower limit of the histogram should be increased if the step accuracy is to be made finer. In view of the fact that the extracted luminance range in the second embodiment is set in the range of 85% to 95% of the number of pixels, it is apparent that there is no problem even if the lower limit of the histogram is considerably increased. .
[0108]
FIG. 10 is an explanatory diagram showing the white balance processing of the image signal processing device employed in the fourth embodiment of the present invention. This embodiment can be realized by the same configuration as the image signal processing device of FIG. This embodiment is applied to a white balance process at the time of a moving image.
[0109]
The luminance histogram creation processing 51, the extraction luminance range calculation processing 52, and the extraction pixel position acquisition processing 53 in FIG. 10 can be realized in the AWB extraction pixel determination processing 12 in FIG. 1, and the extraction pixel integration processing 54 is the AWB pixel data. The color coefficient calculation processing 55 can be realized by the AWB coefficient calculation circuit 14.
[0110]
By the way, in each of the above embodiments, a method has been described in which achromatic color is detected from information in an image and a color coefficient is calculated using achromatic pixels, thereby improving color reproducibility by white balance. . However, in the case of a moving image, if the white balance processing is immediately performed using the color coefficient calculated by the AWB coefficient calculation circuit 14 in each of the above embodiments, the image suddenly changes and the image quality appears to have deteriorated. I will. Thus, in the present embodiment, at the time of a moving image, convergence processing is performed in which the color coefficient used for the white balance processing gradually approaches the value of the color coefficient obtained by the AWB coefficient calculation circuit 14 in each of the above embodiments. It has become.
[0111]
In the first frame, in processing 51 of FIG. 10, a luminance histogram is created for pixels in the extracted color range. Next, in processing 52, the upper limit luminance Yed and the lower limit luminance Yst are calculated from the created histogram.
[0112]
Next, in the second frame, in the process 53, for the pixels in the extraction color range, pixels satisfying Yst <Y <Yed (when applied to the second embodiment) and pixels in the extraction luminance range ( The extracted pixels are determined, and in a process 54, ΣR, ΣG, and ΣB are calculated for the extracted pixels.
[0113]
Next, in the third frame, in a process 55, the color coefficients Rc and Bc are calculated from the above equation (3). Then, a color coefficient is given to the white balance circuit 11 (see FIG. 1) to execute the matrix processing. The matrix processing may be performed in the fourth frame depending on the speed of the divider at the time of calculating the color coefficient.
[0114]
In this case, in order to perform the convergence operation, another color coefficient is prepared separately from the color coefficient calculated from the image. Then, a coefficient is calculated such that the coefficient is calculated using the coefficient calculated from the image as a target, and is set as a color coefficient to be actually applied to each pixel.
[0115]
Now, the final color coefficients obtained by the processing 55 are set as target color coefficients Rctarget and Bctarget, and the color coefficients actually applied to the white balance processing are set as applied color coefficients. If the applied color coefficients of the current frame are Rccurrent and Bccurrent, and the applied color coefficients of the next frame are Rcnext and Bcnext, the applied color coefficients of the next frame are calculated by the following equation (4).
[0116]
Rcnext = (Rtarget × h + Rccurrent) / (h + 1)
Bcnext = (Btarget × h + Bcccurrent) / (h + 1) (h = 2i−1, i = 0, 1, 2,...) (4)
In the above equation (4), the applied color coefficients Rcnext and Bcnext of the next frame converge to the target color coefficients Rctarget and Bctarget at a desired speed by appropriately setting the value of the coefficient h (i). As a result, the white balance of the image gradually changes for each frame, and can be finally changed so as to obtain optimal color reproducibility. Further, the convergence time can be set freely. In this way, it is possible to prevent the image from changing abruptly and prevent the image quality from deteriorating.
[0117]
By the way, in each of the above embodiments, the signals before white balance processing are used as the R, G, and B signals used for calculating the color coefficients. On the other hand, it is conceivable to use the R, G, B signals after the white balance processing for calculating the color coefficients.
[0118]
FIG. 11 is an explanatory diagram showing the white balance processing in this case corresponding to FIG. In FIG. 11, the same processes as those in FIG. 10 are denoted by the same reference numerals, and description thereof will be omitted.
[0119]
11 can be realized by providing the RWB, G3, and B3 signals from the auto white balance circuit 11 to the AWB pixel data storage circuit 13 in FIG. The calculation circuit 55 'can be realized by the AWB coefficient calculation circuit 14.
[0120]
The position information indicating the position of the extracted pixel on the screen obtained by the extracted pixel position obtaining process is used for obtaining the R, G, B signals used for calculating the color coefficient by the extracted pixel integrating process 54 '. In the extraction pixel integration processing 54 ', the R, G, and B signals after the automatic white balance processing are used. The color coefficient calculation processing 55 'calculates a color coefficient using the color coefficient obtained by the extraction pixel integration processing 54'.
[0121]
Other processes in FIG. 11 are the same as those in FIG.
[0122]
In this case, in order to perform the convergence operation of the color coefficients, the final color coefficients are set as target color coefficients Rctarget and Bctarget, and the applied color coefficients of the current frame actually applied to the white balance processing are set as Rccurrent and Bccurrent. Assuming that the applied color coefficients of the frame are Rcnext and Bcnext, the processing 55 'calculates the color coefficients by the operation of the following equation (5).
[0123]
Rcnext = (Rtarget × h + Rtarget × Rccurrent) / (h + 1)
Bcnext = (Btarget × h + Btarget × Bcccurrent) / (h + 1) (h = 2i−1, i = 0, 1, 2,...) (5)
Also in this equation (5), the applied color coefficients Rcnext and Bcnext of the next frame converge to the target color coefficients Rctarget and Bctarget at a desired speed by appropriately setting the value of the coefficient h (i). As a result, the white balance of the image can be gradually changed for each frame, and finally can be changed so as to obtain optimum color reproducibility. Thus, also in the example of FIG. 11, it is possible to prevent a sudden change in the image and prevent the image quality from deteriorating.
[Brief description of the drawings]
FIG. 1 is a block diagram showing an image signal processing device according to a first embodiment of the present invention.
FIG. 2 is an explanatory diagram for explaining an auto white balance process in the first embodiment.
FIG. 3 is an explanatory diagram for explaining an auto white balance process according to the first embodiment.
FIG. 4 is a block diagram showing a specific configuration of an AWB extraction pixel determination circuit 12 in FIG. 1;
FIG. 5 is a block diagram illustrating a configuration of an AWB extracted pixel determination circuit employed in an image signal processing device according to a second embodiment of the present invention.
FIG. 6 is a block diagram showing a specific configuration of a luminance range comparison circuit 32 in FIG. 5;
FIG. 7 is a graph showing an example of a histogram created by a histogram creating circuit 35, with the horizontal axis representing the luminance value Y and the vertical axis representing the number of pixels.
FIG. 8 is an explanatory diagram for explaining an operation of a luminance range determination circuit 36;
FIG. 9 is a block diagram showing a luminance range comparison circuit employed in a third embodiment of the present invention.
FIG. 10 is an explanatory diagram showing white balance processing of an image signal processing device employed in a fourth embodiment of the present invention.
FIG. 11 is an explanatory diagram showing a white balance process in a modified example in correspondence with FIG. 10;
[Explanation of symbols]
5, 9, 10: matrix arithmetic unit, 11: automatic white balance circuit, 12: AWB extracted pixel determination circuit, 13: AWB pixel data storage circuit, 14: AWB coefficient calculation circuit.

Claims

A luminance signal and a color difference signal obtained by converting each color component based on the output of the image sensor provided with the color filter into a luminance-chrominance color space are provided, and pixels in a predetermined color range and a predetermined luminance range are extracted. Extraction pixel determination means for determining as a pixel,
A color coefficient calculation unit that calculates a color coefficient for white balance processing using the respective color components of the pixel determined as the extraction pixel by the extraction pixel determination unit;
A white balance adjustment unit for adjusting a white balance by linear processing using the color coefficient for each of the color components.

2. The extracted pixel determining unit according to claim 1, wherein the extracted pixel determining unit determines whether or not a pixel within the predetermined color range is a pixel within the predetermined luminance range to determine the extracted pixel. Auto white balance processing device.

The extraction pixel determination unit determines a predetermined number of pixels from a predetermined number in the order of luminance value as the extraction pixels instead of determining whether the pixel is within the predetermined luminance range. Item 3. The automatic white balance processing device according to any one of Items 1 and 2.

The extracted pixel determination means, a brightness distribution detection means for obtaining a brightness distribution for pixels within the predetermined color range,
3. The automatic white balance processing apparatus according to claim 2, further comprising: a luminance range determining unit that determines a predetermined number of pixels from a predetermined luminance value in the luminance distribution as the extracted pixels.

5. The automatic white balance processing device according to claim 4, wherein said luminance distribution detecting means obtains a luminance distribution within a range of a predetermined luminance upper limit value and a predetermined luminance lower limit value.

The luminance distribution detecting means obtains a luminance distribution by dividing the luminance distribution for each predetermined luminance range,
The automatic white balance processing device according to claim 4, wherein the luminance range determination unit determines the extracted pixel in units of the predetermined luminance range.

7. The extraction pixel determination unit according to claim 1, wherein the extraction pixel determination unit determines, as the extraction pixel, a pixel having a luminance value equal to or smaller than a maximum value of a luminance value that is smaller than the maximum value by a predetermined luminance. An automatic white balance processing device according to any one of the above.

4. The white balance processing apparatus according to claim 1, wherein the color coefficient calculation unit uses each color component before white balance adjustment by the white balance adjustment unit for calculating a color coefficient. 5. .

4. The white balance processing device according to claim 1, wherein the color coefficient calculation unit uses each color component after white balance adjustment by the white balance adjustment unit for calculating a color coefficient. 5. .

4. The method according to claim 1, wherein the color coefficient calculation unit converges the color coefficient using the respective color components of the pixel determined as the extracted pixel to a target value in a predetermined period. The white balance processing device as described in the above.

A luminance signal and a color difference signal obtained by converting each color component based on the output of the image sensor provided with the color filter into a luminance-chrominance color space are provided, and pixels in a predetermined color range and a predetermined luminance range are extracted. An extracted pixel determination procedure for determining as a pixel;
A color coefficient calculation step of calculating a color coefficient for white balance processing using each of the color components of the pixel determined as the extraction pixel in the extraction pixel determination step;
A white balance adjustment procedure for adjusting white balance by linear processing using the color coefficients for the respective color components.

The method according to claim 11, wherein the extraction pixel determination step determines whether or not a pixel within the predetermined color range is a pixel within the predetermined luminance range to determine the extraction pixel. Auto white balance processing method.

Matrix means for performing a conversion from each color component based on the output of the image sensor provided with a color filter to a luminance-color difference color space to obtain a luminance signal and a color difference signal,
The white balance is adjusted by the white balance processing device according to any one of claims 1 to 10 or the white balance processing method according to claim 11 or 12, using the luminance signal and the color difference signal from the matrix unit. An image signal processing device characterized by the above-mentioned.