JP2008005447A - 画像信号処理装置及び画像信号処理方法、撮像装置、並びにコンピュータ・プログラム - Google Patents

Abstract

【課題】差無彩色検波と比無彩色検波の結果を用いてホワイトバランス検波を行ない、高精度なオートホワイトバランス制御を実施する。
【解決手段】ホワイトバランスのゲインを掛ける前の同時化されたＲＧＢ画像信号に対し、画素毎にＲ／Ｇの除算処理及びＢ／Ｇの除算処理を行ない、Ｒ／Ｇの商データがＲ／Ｇスペックの上限及び下限の閾値の範囲内か否かを判定するとともに、Ｂ／Ｇの商データがＢ／Ｇスペックの上限及び加減の閾値の範囲内か否かを判定し、これらＲ／Ｇスペック判定結果とＢ／Ｇスペック判定結果の論理積を判定出力として比無彩色検波を行なう。
【選択図】 図６

Description

本発明は、固体撮像素子などから得られた画像信号を処理する画像信号処理装置及び画像信号処理方法、撮像装置、並びにコンピュータ・プログラムに係り、特に、デジタルカメラによる撮像画像に対して適切な白色を再現するためのオートホワイトバランス（ＡＷＢ）制御を行なう画像信号処理装置及び画像信号処理方法、撮像装置、並びにコンピュータ・プログラムに関する。

さらに詳しくは、本発明は、画像信号を構成する色信号から複数の検波手段による検波結果に基づいて無彩色に近い信号を抽出するホワイトバランス検波を行ない、オートホワイトバランス制御を実施する画像信号処理装置及び画像信号処理方法、撮像装置、並びにコンピュータ・プログラムに係り、特に、色信号の差を計算した結果から無彩色に近い被写体を判断して信号の抽出を行なう差無彩色検波と、色信号の比を計算した結果から無彩色に近い被写体を判断して信号の抽出を行なう比無彩色検波の結果を用いてホワイトバランス検波を行ない、オートホワイトバランス制御を実施する画像信号処理装置及び画像信号処理方法、撮像装置、並びにコンピュータ・プログラムに関する。

カメラは、視覚的な情報を記録する手段として長い歴史を持つ。最近では、フィルムや感光板を使って撮影する銀塩カメラに代わって、ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｎｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの固体撮像素子で捕捉した画像をデジタル符号化するデジタルカメラが広範に普及している。デジタルカメラによれば、デジタル符号化された画像をメモリに記憶し、コンピュータによる画像処理や画像管理を行なうことができ、さらにフィルムの寿命という問題がないといった利点がある。現在、デジタルスチルカメラ、デジタルビデオカメラ、あるいは携帯電話機やＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）に搭載されたデジタルカメラ、監視用カメラの多くは固体撮像素子を用いて構成されている。

例えば、ＣＣＤセンサは、２次元に配列された各画素（フォトダイオード）が光電効果を利用して光を電荷に変換する仕組みにより構成される。各画素の表面には、例えばＲ（赤）、緑（Ｇ）、青（Ｂ）の３色いずれかの色フィルタが設けられ、各色フィルタを通した入射光量に対応する信号電荷が各画素に蓄積される。そして、各画素から各色の入射光量に応じた信号電荷が読み出され、３色の各信号電荷量から各画素位置における入射光の色を再現することができる。

被写体は、太陽の光やライトなどの人工光源からの反射光がレンズに写るため、光源が持つ色温度の影響を受ける。光源が持つ色温度が高いと、白色は青みを帯び、逆に色温度が低いと赤みを帯びる。このため、撮影を行なう際には、どのような光源下でも適切な白色を再現する（本来無彩色の部分を無彩色に修正する）ためにホワイトバランス制御を行なうのが一般的である。

フィルムカメラでは、カラーメータで色温度を測定し、その色温度に応じた色補正用フィルタをレンズに装着して撮影する。これに対し、デジタルカメラでは、基本的には、撮影信号に基づいて生成される色信号から無彩色に近い被写体を抽出し、抽出した被写体の色に基づく計算処理によってホワイトバランス調整部内のアンプのゲインを光源の色温度に適合させることによって、ホワイトバランス制御が行なわれる。具体的には、デジタルカメラ内蔵の画像処理プロセッサは、一定の色基準を基に適正な色温度を設定して、適正な色状態を再現するための「オートホワイトバランス（ＡＷＢ）」制御を施す。すなわち、デジタルカメラでは、デジタル符号化された画像情報の信号処理によって補正が可能であり、色補正の機材を取り揃え、適宜装着するといったフィルムカメラのような手間がなく、便利である。

ホワイトバランス制御に使用される、無彩色に近い被写体を抽出する検波回路としては、輝度別検波回路又は無色彩検波回路が用いられる。

前者の輝度別検波回路では、輝度が高い被写体が無彩色に近いことを利用して、所定値より高い輝度を示す被写体を抽出するものである。同回路によれば、無彩色の被写体がない場合や色の付いた発光体など、高輝度であっても彩度が高い被写体を抽出してしまうことがある。

また、後者の無彩色検波回路は、色信号の差又は比を計算した結果に基づいて無彩色に近い（すなわち、色の飽和度が十分に小さい）と判断される被写体を抽出する。同回路によれば、同じ被写体についても明るさによってその色の飽和度が変化するので、色の飽和度が高い被写体であっても、比較的暗い部分にあると無彩色に近いと判断して抽出してしまうことがある。

不適切に抽出された被写体に基づいて色温度の適合が行なわれると、ホワイトバランス制御の精度の低下により、撮影画像の色彩を正しく再現できないという事態を招来する。

例えば、無彩色に近い被写体を抽出するホワイトバランス検波回路を、色信号の差を計算した結果から無彩色に近い被写体を判断して信号の抽出を行なう差無彩色検波回路と、色信号の比を計算した結果から無彩色に近い被写体を判断して信号の抽出を行なう比無彩色検波回路と、画像信号中の輝度信号に基づいてから無彩色に近い被写体を判断して信号の抽出を行なう輝度別検波回路で構成し、これら３つの回路すべてが同時に抽出枠に含まれた被写体のみを無彩色と判断して抽出して、ホワイトバランス調整アンプ内の各アンプのゲインを制御する撮像装置について提案がなされている（例えば、特許文献１を参照のこと）。このような抽出方法によれば、各検波回路が単独では抽出枠内であると判断してしまう被写体を抽出しないように制御して、ホワイトバランス制御の精度劣化を防ぐことができる。

ここで、差無彩色検波では、色信号の差Ｒ−Ｇ及びＢ−Ｇに基づいて無彩色抽出を行なうが、無彩色領域が色差空間に収束しない場合には、無彩色の色信号を無彩色でないと誤判断してしまうことがある。また、色差空間上の白い部分の輝度が大きいほど無彩色検波領域の面積分布が大きくなり、差無彩色検波を行なうために設定する検波枠の大きさが適当でなくなることが多くなり、無彩色に近いと誤判断して抽出してしまうことがある。

また、比無彩色検波では、Ｒ／Ｇ比率又はＢ／Ｇ比率の誤差が大きいと、無彩色の色信号を無彩色でないと誤判断してしまうことがある。

これらの場合、差無彩色検波及び比無彩色検波の結果に基づいて不適切な被写体が無彩色に近いとして抽出されるおそれがある。そして、そのような被写体に基づいてホワイトバランス制御が行なわれると、ホワイトバランス制御の精度が低下するおそれがある。ホワイトバランス制御の精度が低下すれば、色彩を正しく再現することは困難となる。

特開平１１−８８９０３号公報

本発明の目的は、画像信号を構成する色信号から複数の検波手段による検波結果に基づいて無彩色に近い信号を抽出するホワイトバランス検波を行ない、精度の高いオートホワイトバランス制御を実施することができる、優れた画像信号処理装置及び画像信号処理方法、撮像装置、並びにコンピュータ・プログラムを提供することにある。

本発明のさらなる目的は、色信号の差を計算した結果から無彩色に近い被写体を判断して信号の抽出を行なう差無彩色検波と、色信号の比を計算した結果から無彩色に近い被写体を判断して信号の抽出を行なう比無彩色検波の結果を用いてホワイトバランス検波を行ない、高精度なオートホワイトバランス制御を実施することができる、優れた画像信号処理装置及び画像信号処理方法、撮像装置、並びにコンピュータ・プログラムを提供することにある。

本発明のさらなる目的は、差無彩色検波において無彩色領域を色差空間に収束させるとともに検波枠を適当な大きさに抑えるとともに、比無彩色検波においてＲ／Ｇ比率並びにＢ／Ｇ比率の誤差の影響を除去して、適当な無彩色の被写体を抽出し、これらの検波結果に基づいてホワイトバランス調整用のアンプのゲインを計算して、精度の高いオートホワイトバランス制御を実施することができる、優れた画像信号処理装置及び画像信号処理方法、撮像装置、並びにコンピュータ・プログラムを提供することにある。

本発明は、上記課題を参酌してなされたものであり、その第１の側面は、Ｒ、Ｇ、Ｂの各色信号からなる画像信号から無彩色に近い被写体を抽出する画像信号処理装置であって、
色信号の比Ｒ／Ｇ及びＢ／Ｇの比率に基づいて無彩色に近い被写体を判断して信号を抽出する比無彩色検波回路を含む検波手段と、
前記比無彩色検波回路が用いる色信号の比Ｒ／Ｇ及びＢ／Ｇを直交軸とする色比空間において、前記比無彩色検波回路が無彩色に近いと判定して信号を抽出するための比無彩色検波枠を調整する比無彩色検波枠調整手段と、
を具備することを特徴とする画像信号処理装置である。

比無彩色検波回路は、同時化されたＲ、Ｇ、Ｂの色信号からなる画像信号に対し、画素毎にＲ／Ｇの除算処理、及びＢ／Ｇの除算処理を施し、Ｒ／Ｇの商データがＲ／Ｇスペックの上限及び下限の閾値の範囲内か否かを判定するとともに、Ｂ／Ｇの商データがＢ／Ｇスペックの上限及び下限の閾値の範囲内か否かを判定し、これらＲ／Ｇスペック判定結果とＢ／Ｇスペック判定結果の論理積をとった判定出力に基づいて、無彩色の被写体と判断される画素の抽出を行なう。

Ｒ／Ｇ及びＢ／Ｇの比無彩色検波の領域分散特性は、差無彩色検波における色差空間の特性と逆の特性がある。差無彩色検波では、色差空間上の白い部分の輝度が大きいほど、無彩色領域の分散が大きくなるが、Ｒ／Ｇ及びＢ／Ｇの比無彩色検波では逆に無彩色領域の分散が小さくなる。ここで、差無彩色検波では無彩色領域の分散が大きくなるのは、Ｇレベルが大きくなることによって、｜Ｒ−Ｇ｜の絶対値による差分値又は｜Ｂ−Ｇ｜の絶対値による差分値が大きくなることによるものである。比無彩色検波では、差分の値ではなく、Ｒ／Ｇ及びＢ／Ｇの比率を用いるため、Ｇレベルが大きいほどＲ／Ｇ及びＲ／Ｇの比率値が小さくなり、したがって、無彩色領域の分散も小さくなる。

本発明に係る画像信号装置は、Ｒ、Ｇ、及びＢの各色信号に対してホワイトバランスのゲインを掛けて画像信号のホワイトバランスを調整するホワイトバランス調整手段と、前記検波手段による検波結果に基づいて前記ホワイトバランス調整手段におけるホワイトバランスのゲインを調整して画像信号に対するホワイトバランス制御を行なうホワイトバランス制御手段をさらに備えている。

比無彩色検波回路の前段にゲイン可変アンプを搭載し、ホワイトバランスのゲインを掛けた後の画像信号に対して、各色信号の比が１：１付近となるような被写体から色信号を抽出するような比無彩色検波枠を用いて比無彩色検波を行なう場合、ホワイトバランスのゲインを正しく設定しないと、Ｒ／Ｇの色比、又は、Ｂ／Ｇの色比の誤差が大きくなり、無彩色でないと判断してしまうおそれがある。

そこで、本発明に係る画像信号処理装置では、比無彩色検波回路は、前記ホワイトバランス調整手段によりゲインが掛けられる前のＲ、Ｇ、Ｂの各色信号を用いて、色信号の比Ｒ／Ｇ及びＢ／Ｇの比率に基づく信号抽出を行なうようにしている。また、１：１付近となるような被写体から色信号を抽出するのではなく、比無彩色検波枠調整手段がＲ／Ｇ比率の上限閾値ＲＧｍａｘと下限閾値ＲＧｍｉｎの範囲内で且つＢ／Ｇ比率の上限閾値ＢＧｍａｘと下限閾値ＢＧｍｉｎの範囲内となる比無彩色検波枠を設定し、比無彩色検波回路は、この比無彩色検波枠内から無彩色に近い被写体の信号抽出を行なうようになっている。

比無彩色検波回路の前段にゲイン調整アンプを配設した場合、無彩色検波枠としてその中に追従すべきすべての光源が含まれるような範囲を設定しておくようにするためには、ゲイン可変アンプでゲイン調整を行なう必要がある。また、無彩色検波枠をより小さく設定できるようにするためには、例えば屋内及び屋外の判別などの情報に基づいてゲイン固定値を切り替えるようにしてゲイン調整を行なう必要がある。いずれにしても、検波枠の範囲が各制御値の中で想定される光源色温度の範囲を含むようにゲイン可変アンプのゲインを設定する必要がある。

これに対し、本発明に係る画像信号処理装置では、比無彩色検波回路は、ゲインが掛けられる前のＲ、Ｇ、Ｂの各色信号を用いて、色信号の比Ｒ／Ｇ及びＢ／Ｇの比率に基づく信号抽出を行なうので、正しくないホワイトバランスのゲインを設定する必要がない。また、色差空間上の白い部分の輝度が大きくても無彩色領域の面積分散（面積分布）が大きくならないので、ホワイトバランスのゲインを決定するための積分データに影響を与えないようにすることができる。

よって、本発明によれば、ホワイトバランス制御の精度を向上させることができる。

また、前記検波手段は、前記ホワイトバランス調整手段によりゲインが掛けられた後の同時化されたＲ、Ｇ、Ｂの各色信号に対して、Ｒ−Ｇ及びＢ−Ｇを直交軸とする色差空間における色座標の象限別に差無彩色検波回路を配設して、各象限において色信号の差を計算した結果から無彩色に近い被写体を判断して信号の抽出を行なうようにしてもよい。この場合、色選択セレクタを用いて無彩色がどの色を多く含むかの情報に基づいていずれかの象限の差無彩色検波回路を選択すればよい。そして、前記比無彩色検波回路及び前記色検出セレクタにより選択された差無彩色検波回路により同時に抽出された被写体のみを無彩色として抽出することで、高精度な無彩色検波を実現することができる。

象限毎に設けられた前記の各差無彩色検波回路は、前記色差空間において無彩色領域が対応する象限の色を多く含むように色情報を定義し、象限毎の無彩色を検波する検波枠を設定して無彩色検波を行なう。

具体的には、空色系（シアン系）の色を多く含む無彩色領域は色差空間では第４象限の領域を多く含み、緑系の色を多く含む無彩色領域は色差空間では第３象限の領域を多く含み、肌色系の色を多く含む無彩色領域は色差空間では第２象限の領域を多く含み、マゼンダ系の色を多く含む無彩色領域は色差空間では第１象限の領域を多く含むように、色情報を定義する。そして、空色系（シアン系）の色を多く含む無彩色検波を行なう第１の検波枠、肌色系の色を多く含む無彩色検波を行なう第２の検波枠といった具合に、図示しない複数の色情報検波枠を備え、いずれかの色を多く含む無彩色検波を選択するというシステムを構成することができる。

また、前記検波手段は、色差空間の各象限の色情報を検波する検波枠をそれぞれ備えた象限毎の色検波手段と、いずれの象限の色情報を検波するかを選択する色検出セレクタを備え、象限毎の色情報を得て、色分布を算出することができる。

このような場合、前記色検波手段により算出した色分布と、前記比無彩色検波回路により検波した無彩色情報との色分布のバランスを計算し、色分布を考慮した比無彩色検波枠の面積設定を計算することができる。そして、前記ホワイトバランス制御手段は、前記色検波手段により判別された領域の色検波情報に基づいて、理想の目的色となるようにホワイトバランスのゲインを調整することができる。例えば、肌色系の色別検波が行なわれ、肌色と判別された領域の色検波情報に基づいて、理想の肌色とするためのホワイトバランスのゲインを算出することが可能である。

前記比無彩色検波枠調整手段は、比無彩色検波した結果のＲ積分値、Ｇ積分値、Ｂ積分値から該積分値のＲ／Ｇ比率及びＢ／Ｇ比率を算出して無彩色領域を推定し、非無彩色検波枠の中心位置が該推定された無彩色領域の中心位置となるように、比無彩色検波枠の上限閾値ＲＧｍａｘ及びＢＧｍａｘと下限閾値ＲＧｍｉｎ及びＢＧｍｉｎを設定するようにしてもよい。そして、このような設定手順を繰り返し実施することで、比無彩色検波枠を高い精度で小さい面積に収束させることができる。

また、前記検波手段は、前記ホワイトバランス調整手段によりゲインが掛けられる前の同時化されたＲ、Ｇ、Ｂの各色信号を用いて、所定輝度レベル条件を満たす画素を抽出する輝度別検波回路をさらに備えていてもよい。このような場合、すべての検波回路において同時に抽出された被写体のみを無彩色と判断して抽出することで、高精度の無彩色検波を実現することができる。

また、本発明の第２の側面は、同時化されたＲ、Ｇ、Ｂの各色信号からなる画像信号から無彩色に近い被写体を抽出するための画像信号処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、前記コンピュータに対し、
Ｒ、Ｇ、及びＢの各色信号に対してホワイトバランスのゲインを掛けて画像信号のホワイトバランスを調整するホワイトバランス調整手順と、
前記ホワイトバランス調整手順によりゲインが掛けられた後の同時化されたＲ、Ｇ、Ｂの各色信号に対して、Ｒ−Ｇ及びＢ−Ｇを直交軸とする色差空間における色座標の象限別に設けられた、各象限において色信号の差を計算した結果から無彩色に近い被写体を判断して信号の抽出を行なう差無彩色検波手順と、
無彩色がどの色を多く含むかの情報に基づいていずれかの象限の差無彩色検波手順における出力を選択する色検出選択手順と、
前記ホワイトバランス調整手順によりゲインが掛けられる前のＲ、Ｇ、Ｂの各色信号を用いて、色信号の比Ｒ／Ｇ及びＢ／Ｇの比率に基づいて無彩色に近い被写体を判断して信号を抽出する比無彩色検波手順と、
前記ホワイトバランス調整手順によりゲインが掛けられる前の同時化されたＲ、Ｇ、Ｂの各色信号を用いて、所定輝度レベル条件を満たす画素を抽出する輝度別検波手順と、
前記比無彩色検波手順と、前記色検出手順又は前記輝度別検波手順のうち少なくとも一方において同時に抽出された無彩色の被写体の信号に基づいて前記ホワイトバランス調整手順におけるホワイトバランスのゲインを調整して画像信号に対するホワイトバランス制御を行なうホワイトバランス制御手順と、
を実行させることを特徴とするコンピュータ・プログラムである。

本発明の第２の側面に係るコンピュータ・プログラムは、コンピュータ上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータ・プログラムを定義したものである。換言すれば、本発明の第２の側面に係るコンピュータ・プログラムをコンピュータにインストールすることによって、コンピュータ上では協働的作用が発揮され、本発明の第１の側面に係る画像信号処理装置と同様の作用効果を得ることができる。

本発明によれば、画像信号を構成する色信号から複数の検波手段による検波結果に基づいて無彩色に近い信号を抽出するホワイトバランス検波を行ない、精度の高いオートホワイトバランス制御を実施することができる、優れた画像信号処理装置及び画像信号処理方法、撮像装置、並びにコンピュータ・プログラムを提供することができる。

また、本発明によれば、色信号の差を計算した結果から無彩色に近い被写体を判断して信号の抽出を行なう差無彩色検波と、色信号の比を計算した結果から無彩色に近い被写体を判断して信号の抽出を行なう比無彩色検波の結果を用いてホワイトバランス検波を行ない、高精度なオートホワイトバランス制御を実施することができる、優れた画像信号処理装置及び画像信号処理方法、撮像装置、並びにコンピュータ・プログラムを提供することができる。

また、本発明によれば、差無彩色検波において無彩色領域を色差空間に収束させるとともに検波枠を適当な大きさに抑えるとともに、比無彩色検波においてＲ／Ｇ比率並びにＢ／Ｇ比率の誤差の影響を除去して、適当な無彩色の被写体を抽出し、これらの検波結果に基づいてホワイトバランス調整用のアンプのゲインを計算して、精度の高いオートホワイトバランス制御を実施することができる、優れた画像信号処理装置及び画像信号処理方法、撮像装置、並びにコンピュータ・プログラムを提供することができる。

本発明に係る画像信号処理装置によれば、ホワイトバランス制御のために使用される被写体を抽出するために、各象限の色を含む無彩色検波又は象限毎の色別検波手段、及び輝度別検波手段を備えながら、ホワイトバランスのゲインを掛ける前の画像信号から比無彩色検波を行なうことにより、ゲインを正しく設定しないために無彩色領域が色差空間に収束しなく、色差空間の白い部分の輝度が大きいほど無彩色領域の面積分散（面積分布）が大きくなる、という２つの問題点を解決することができる。

また、本発明に係る画像信号処理装置によれば、各象限の色を含む無彩色検波又は象限毎の色別検波、輝度別検波、比無彩色検波の複数の検波手段を用いることで、単独での検波による無彩色の誤判定や誤抽出を互いに防ぎ合うことができ、本来は不要となるホワイトバランス検波情報を排除することができる。したがって、無彩色抽出の精度を高めて、ホワイトバランス制御を常に適正に行なうことが可能になる。

また、本発明に係る画像信号処理装置によれば、各象限の色を含む無彩色検波又は象限毎の色別検波、輝度別検波、比無彩色検波の複数の検波手段による検波結果の出力の可否を制御することにより、ホワイトバランス制御に使用される被写体を抽出する条件が厳しいためにホワイトバランス検波情報を得難いという状況を回避することができる。また、検波手段における検波抽出枠を広げるようにしても、ホワイトバランス検波情報が得られにくい状況を改善することができる。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。

以下、図面を参照しながら本発明の実施形態について詳解する。

図１には、本発明を適用することができる撮像装置１の構成例を示している。撮像装置１は、例えば、デジタルスチルカメラ又はデジタルビデオカメラなど、固体撮像素子で捕捉した画像をデジタル符号化するタイプのカメラ装置である。

センサ１１には、ＣＣＤ又はＣＭＯＳなどの光電変換効果を持つ固体撮像素子からなる各画素が２次元的に配列されたイメージ・センサが利用される。センサ１１の受光側には、例えばＧ市松ＲＢ色コーディング単板などの赤、緑及び青のフィルタがモザイク状に配列された原色フィルタ（図示しない）が配設されている。撮像レンズ１０及び原色フィルタを通した入射光量に対応する信号電荷が各画素に蓄積され、各画素から読み出される３色の各信号電荷量からその画素位置における入射光の色を再現することができる。但し、原色フィルタの代わりに、イエロー、シアン、マゼンダ及びグリーンのフィルタがモザイク状に配列された補色系光学フィルタを用いることもできる。

センサ１１からの画像信号は、撮像回路１２に供給される。撮像回路１２は、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ（相関二重サンプリング））、ＡＧＣ（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ：自動利得制御回路）、Ａ／Ｄ変換器を含み、画像信号中のセンサ１１から受ける信号の低雑音を高精度に抑圧した後、デジタル信号に変換し、さらにＡＧＣにより適正なゲイン・コントロールをかける。

タイミング・ジェネレータ（ＴＧ）１８は、センサ１１を駆動するためのタイミング・パルス信号を生成する。また、このタイミング・パルス信号に従って、センサ１１の各画素の電荷を垂直方向にライン単位で出力するための駆動信号が生成される。

信号処理部１３は、撮像回路１２から送られてくる画像信号に対しＡＷＢ（Ａｕｔｏ Ｗｈｉｔｅ Ｂａｌａｎｃｅ）によりホワイトバランス・ゲインを掛けて適正な色状態を再現し、さらにＲＧＢ画像信号に対してγ補正を施し、画像情報をモニタ出力、プリントアウト、又は画像記録する際に適した階調に変換する。

図示の例では、階調変換された画像信号は、ＬＣＤなどの表示系１６によって画面出力され、あるいはＲＧＢ画像信号を輝度信号と色差信号（Ｙ／Ｃｒ／Ｃｂ）に色空間変換し、さらにＪＰＥＧ（Ｊｏｉｎｔ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などの符号化圧縮処理してフラッシュ・メモリなどの内蔵メモリやハード・ディスク、あるいはその他の外部記録媒体を備えた記録系１７にて保存される。

また、撮像回路１２から出力される画像信号は積分回路１４にも供給される。積分回路１４は、画像信号から差無彩色検波、比無彩色検波、輝度別検波など１以上の検波方法により無彩色に近い被写体を抽出して、これらの面積を積分した結果をＡＷＢ演算・制御部１５に渡す。ＡＷＢ演算・制御部１５では、積分値を基に、信号処理部１３に含まれるホワイトバランス調整アンプ（図１には図示しない）の各アンプのゲインをコントロールする制御値を求め、信号処理部１３に供給する。

なお、図示を省略したが、撮像装置１の積分演算制御系には、ＡＷＢ演算・制御系の他に、ＡＥ（Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ：自動露光調節）演算・制御系やＡＦ（Ａｕｔｏｍａｔｉｃ Ｆｏｃｕｓ：自動合焦）演算・制御系も設けられる。

次に、この撮像装置１の撮像時の動作について説明する。

センサ１１は、レンズ１０を経て入射される被写体の光像に光電変換を施して画像信号（電荷）を生成し、この画像信号をラスタスキャン方式で出力する。

出力された画像信号は、撮像回路１２に供給されて、ＣＤＳによるノイズ除去、ＡＧＣによるゲイン調整が行なわれた後、アナログ画像信号はＡ／Ｄ変換器によりデジタル画像信号に変換される。

信号処理部１３は、撮像回路１２から出力された画像信号に対し、γ処理、色分離処理、４：２：２の比率によるＹＵＶ変換などの信号処理を施して、輝度信号データ及び色差信号データからなる（Ｙ／Ｃｒ／Ｃｂ）色空間に変換する。

信号処理部１３からの画像信号は、ＬＣＤなどの表示系１６に供給されて画像表示が行なわれるとともに、記録系１７に供給されて記録媒体に保存される。

次に、ＡＷＢ積分・演算制御系の動作について説明する。

図２には、信号処理部１３とＡＷＢ積分・演算制御系の内部構成を詳細に示している。図示の通り、撮像回路１２から出力されたＲ、Ｇ、Ｂの色信号からなるデジタル画像信号は、本線系の信号処理部１３に供給されるとともに、積分回路１４に供給される。

積分回路１４は、１画面分におけるＲ、Ｇ、Ｂの３色の色情報検出エリア部分のデジタル信号を積分して、被写体の色情報に対応した自動ホワイトバランス制御を行なうためのＡＷＢ制御積分値の信号を生成して、ＡＷＢ演算・制御部１５に出力する。上記の色情報検出エリアは複数個用いられることが多い。

ＡＷＢ演算・制御部１５は、タイミング・ジェネレータ１８からのタイミング信号に同期して、表示形１６の画像表示及び記録系１７で画像記録を行なう際に適正なホワイトバランスになるように、信号処理部１３内におけるＲ信号のゲイン及びＧ信号のゲインの制御を行なう。

図２に示すように、本線系の信号処理部１３内は、画像信号のホワイトバランスを調整するホワイトバランス調整アンプ２１、画像信号のγ処理を行なうγ補正部２２、色分離処理を行なう色差マトリクス処理部２３、４：２：２の比率によるＹＵＶ変換を施して色空間変換を行なうＹＵＶ変換部からなる。

ホワイトバランス調整アンプ２１は、Ｒ、Ｇ、及びＢの各色信号に対応する３つのゲイン可変アンプで構成され、ＡＷＢ演算・制御部１５は積分回路１４の出力に従ってこれらゲイン可変アンプのゲインを制御する。

すなわち、積分回路１４は、画像信号から無彩色に近い被写体を抽出し、それらの面積を積分した結果をＡＷＢ演算・制御部１５に供給する。ＡＷＢ演算・制御部１５は、積分回路１４から供給される積分値に基づいてホワイトバランス調整アンプ２１内の各ゲイン可変アンプの制御値を求め、これをホワイトバランス調整アンプ２１に供給する。このようなホワイトバランス制御により、ホワイトバランス調整アンプ２１の出力が撮像対象全体の色彩を正しく反映するレベル比の色信号ＲＧＢとされる。ホワイトバランス調整アンプ２１の出力がγ補正部２２に供給される。

γ補正部２２は、ホワイトバランス調整アンプ２１から供給されるＲ、Ｇ、Ｂの色信号にγ補正を施す。γ補正は、被写体の色の階調を正しく表現するために、センサ１１及び映像再生手段などを含むシステム全体の光電変換特性を１とするように、ホワイトバランス調整アンプ２１から出力されるＲ、Ｇ、Ｂの色信号に対してそれぞれ所定のゲインを掛ける処理である。

色差マトリクス処理部２３は、γ補正部２２から出力されるＲＧＢ信号に対して例えばＹ＝０．６Ｇ＋０．３Ｒ＋０．１Ｂ、Ｃｒ（Ｒ−Ｙ）＝Ｒ−（０．３Ｒ＋０．６Ｇ＋０．１Ｂ）、Ｃｂ（Ｂ−Ｙ）＝Ｂ−（０．３Ｒ＋０．６Ｇ＋０．１Ｂ）の各式を適用して、輝度信号と色差信号に分離する色分離処理を行なう。さらに、ＹＵＶ変換部２４は、４：２：２の比率によるＹＵＶ変換を施して色空間変換を行なって、輝度信号データ及び色差信号データからなる画像データを作成する。その後、画像データは、図１に示したＬＣＤなどの表示系１６や、記録媒体への記録動作を制御する記録系１７へ送られる。

図３には、被写体から無彩色に近い信号を抽出する積分回路１４の構成例を示している。図示の積分回路は、差無彩色検波回路３４と、比無彩色検波回路３５と、輝度別検波回路３６という複数の検波回路を備えている。

差無彩色検波回路３４は、色信号の差Ｒ−Ｇ及びＢ−Ｇに基づいて、無彩色に近い被写体を判断して信号の抽出を行なう。差無彩色検波回路３４においては、Ｒ−Ｇ及びＢ−Ｇを直交軸とする色差空間において、色温度変化に対応するための第２及び第４象限を除いて、色の飽和度が低い被写体から得られる色信号Ｒ、Ｇ、Ｂが抽出されるように差無彩色検波枠が設定される。

また、比無彩色検波回路３５は、色信号の比Ｒ／Ｇ及びＢ／Ｇの比率に基づいて無彩色に近い被写体を判断する。比無彩色検波回路３５においては、色信号の比Ｒ／Ｇ及びＢ／Ｇを直交軸とする色比空間において、各色信号の比が１：１付近となるような被写体から得られる色信号Ｒ、Ｇ、Ｂが抽出されるように比無彩色検波枠が設定される。

一方、輝度別検波回路３６は、画像信号中の輝度信号に基づいてから無彩色に近い被写体を判断して信号の抽出を行なう。輝度別検波回路３６においては、図２の積分回路１４内部で色信号Ｒ、Ｇ、Ｂを基にして生成された輝度信号Ｙを入力して、所定のレベル範囲内の輝度を有する被写体から得られる色信号Ｒ、Ｇ、Ｂが抽出されるように抽出枠が設定される。

アンド回路３８は、各検波回路３４〜３６の出力の論理積をとって色検出パルス信号ＣＤＥＴを出力している。すなわち、これら３つの検波回路３４〜３６すべてが同時に抽出枠に含まれた被写体のみを無彩色と判断して抽出して、図２のＡＷＢ演算制御部１５を介して図２のホワイトバランス調整アンプ２１の各ゲイン可変アンプのゲインを制御する。それと同時に、図３の各ゲイン・アンプ３１〜３３にも同じゲインを掛ける。

ここで、図３のホワイトバランス調整アンプ２１内の各アンプ３１〜３３を通過した後、すなわちホワイトバランスのゲインを掛けた後の画像信号に対して差無彩色検波を行なう場合、ホワイトバランスのゲインを正しく設定しないと、図４Ａに示すように無彩色領域が色差空間に収束しないことが多く、無彩色でないと判断してしまうことがある。また、図４Ｂに示すように、色差空間上の白い部分の輝度が大きいほど、無彩色検波領域の面積分散（面積分布）が大きくなり、差無彩色検波を行なうための検波枠を正しく設定することが困難となり、その枠の大きさが適当でないことが多く、無彩色に近いと判断して抽出してしまうことがある。

また、ホワイトバランスのゲインを掛けた後の画像信号に対して比無彩色検波を行なう場合、ホワイトバランスのゲインを正しく設定しないと、図５に示すように、Ｒ／Ｇの色比、又は、Ｂ／Ｇの色比の誤差が大きくなり、無彩色でないと判断してしまうことがある。

図３に示すように積分回路１４が複数の検波回路で構成される場合、各検波回路が単独では抽出枠内であると判断してしまう被写体を抽出しないように制御して、ホワイトバランス制御の精度劣化を防ぐことができる。しかしながら、上述したように、差無彩色検波又は比無彩色検波における検波の精度を保つことができないと、この結果に基づいて計算されるホワイトバランス制御の精度も低下する。

図６には、このような差無彩色検波及び比無彩色検波における問題を解決した積分回路１４の構成例を示している。図示の積分回路１４は、Ｒ−Ｇ及びＢ−Ｇを直交軸とする色差空間の象限毎の、各象限の色を含む無彩色検波回路４４〜４７と、色信号の比Ｒ／Ｇ及びＢ／Ｇの比無彩色検波を行なう比無彩色検波回路４８と、輝度信号Ｙに基づいて無彩色抽出を行なう輝度別検波回路４９を備えている。

比無彩色検波回路４８は、ゲイン可変アンプ４１〜４３からなるホワイトバランス調整アンプによりゲインが掛けられる前のＲ、Ｇ、Ｂの各色信号を用いて、色信号の比Ｒ／Ｇ及びＢ／Ｇの比率に基づく信号抽出を行なう。すなわち、ゲインが掛けられる前のＲ、Ｇ、Ｂの各色信号を用いて、色信号の比Ｒ／Ｇ及びＢ／Ｇの比率に基づく信号抽出を行なうので、（正しくない）ホワイトバランスのゲインを設定する必要がない。また、色差空間上の白い部分の輝度が大きくても無彩色領域の面積分散（面積分布）が大きくならないので、ホワイトバランスのゲインを決定するための積分データに影響を与えないようにすることができる。

また、図３に示した例では、比無彩色検波回路３５は各色信号の比が１：１付近となるような被写体から色信号を抽出するように設定された比無彩色検波枠を用いて比無彩色検波を行なうのに対し、図６に示した比無彩色検波回路４８は、Ｒ／Ｇ比率の上限閾値ＲＧｍａｘと下限閾値ＲＧｍｉｎの範囲内で且つＢ／Ｇ比率の上限閾値ＢＧｍａｘと下限閾値ＢＧｍｉｎの範囲内となる比無彩色検波枠を設定し、比無彩色検波回路は、この抽出枠内から無彩色に近い被写体の信号抽出を行なうようになっている。比無彩色検波枠が高い精度で小さい面積に収束させるよう、枠の位置と大きさを調整する必要があるが、この点については後述に譲る。

一方、差無彩色検波回路は、Ｒ−Ｇ及びＢ−Ｇを直交軸とする色差空間における色座標の象限別に、各象限において色信号の差を計算した結果から無彩色に近い被写体を判断して信号の抽出を行なう差無彩色検波回路４４〜４７で構成される。これら差無彩色検波回路４４〜４７の前段には、撮像回路１２から供給されるＲ、Ｇ、Ｂの色信号に対してそれぞれホワイトバランスのゲインを掛けるゲイン可変アンプ４１〜４３からなるホワイトバランス調整アンプが配設されることにより、象限別の色が定義されている。

具体的には、色差空間において、空色系（シアン系）の色を多く含む無彩色領域は第４象限の領域を多く含み、緑系の色を多く含む無彩色領域は第３象限の領域を多く含み、肌色系の色を多く含む無彩色領域は第２象限の領域を多く含み、マゼンダ系の色を多く含む無彩色領域は第１象限の領域を多く含むように、色情報が定義されている。したがって、各差無彩色検波回路４４〜４７は、図６に示すように、対応する象限の色を多く含む無彩色の条件を満たすと判定する抽出枠を色差空間にそれぞれ設定して、各抽出枠を基に無彩色と判断される画素をそれぞれ抽出することができる。

象限毎に設けられた差無彩色検波回路４４〜４７を用いて各象限の色を含む無彩色検波を行なう際、色検出セレクタ５０は、どの象限の無彩色を検波するかを選択する。例えば、空色系（シアン系）の色を多く含む無彩色検波を行なう第１の検波枠、肌色系の色を多く含む無彩色検波を行なう第２の検波枠といった具合に、図示しない複数の色情報検波枠を備え、いずれかの色を多く含む無彩色検波を選択するという無彩色検波システムを構成することができる。

また、このような無彩色検波システムによれば、無彩色がどの色を多く含むかという情報を得ることで、無彩色検波枠の領域計算を行なうことができるので、この領域計算結果を用いて比無彩色検波回路４８の検波枠を高い精度で小さい面積に収束させる補助の動作が可能である。

象限毎の、各象限の色を含む無彩色検波と、比無彩色検波は、検波動作を同時ではなく、時系列的に交互に検波動作し、比無彩色検波の検波枠を小さい面積に収束させるようにプログラム制御されているが、各象限の色を含む無彩色検波と比無彩色検波を同時に検波動作するようにプログラム制御することも可能である。

図７には、象限毎に設けられた差無彩色検波回路４４〜４７を用いて各象限の色を含む無彩色検波を行なう無彩色検波システムの構成を示している。差無彩色検波回路４４は肌色系の色を多く含む無彩色検波を行なう検波枠を備え、差無彩色検波回路４５は緑色系の色を多く含む無彩色検波を行なう検波枠を備え、差無彩色検波回路４６は空色系（シアン系）の色を多く含む無彩色検波を行なう検波枠を備え、差無彩色検波回路４７はマゼンダ系の色を多く含む無彩色検波を行なう検波枠を備え、色検出セレクタ５０は、どの象限の無彩色を検波するかを選択する。

また、象限毎に設けられた差無彩色検波回路４４〜４７が持つ検波枠のＲ−Ｇ上限閾値及び下限閾値、Ｂ−Ｇ上限閾値及び下限閾値を変えて、色差空間の各象限の色情報を検波することにより、色別検波システムを構成することもできる。

図８には、各象限の色情報を検波する色別検波システムの構成を示している。色差空間において、空色系（シアン系）の色は第４象限に、緑色系の色は第３象限に、肌色系の色は第２象限に、マゼンダ系の色は第１象限に、それぞれ色情報が定義される。そして、無彩色検波回路４４は肌色系の色の検波を行なう検波枠を備え、無彩色検波回路４５は緑色系の色の検波を行なう検波枠を備え、無彩色検波回路４６は空色系（シアン系）の色の検波を行なう検波枠を備え、無彩色検波回路４７はマゼンダ系の色の検波を行なう検波枠を備え、色検出セレクタ５０は、どの象限の無彩色を検波するかを選択する。

図８に示したシステムにより、４象限の各色情報を得ることで、どの色の分布を多く含むかを計算することができる。そして、比無彩色検波回路４８の検波結果による無彩色情報との色の分布バランスを計算し、色の分布を考慮した無彩色検波枠の面積設定を計算することが可能になる。象限毎の色別検波は、例えば、肌色系の色別検波が行なわれ、肌色と判別された領域の色検波情報に基づいて、理想の肌色とするためのホワイトバランスのゲインを算出することも可能である。空色系（シアン系）、緑系、マゼンダ系の各色においても、同様に色別検波して、理想の目的色になるようなホワイトバランスのゲインを算出することが可能である。

比無彩色検波及び輝度別検波だけを行ないたい場合には、セレクタ５１をオフにして、各象限の色を含む無彩色検波、又は、象限毎の色別検波を行なわないようにすることもできる。

ゲイン可変アンプ４１〜４３には、一般的に、以下の３通りの方法によりゲインの制御値が設定される。

（１）オートホワイトバランス制御が追従し得る光源色温度範囲内の中間値に固定する。
（２）例えば屋内と屋外など、光源色温度の高低に応じて複数の固定値を切り替えて使用する。
（３）オートホワイトバランス制御において使用されるホワイトバランス制御値に追従して、ゲインの制御値を動的に変化させる。

（１）のようにゲインの制御値を固定値にする場合、図７に示した象限毎の各象限の色を含む無彩色検波の抽出枠として、又は、図８に示した色別検波の抽出枠として、その中に追従すべきすべての光源が含まれるような範囲を設定しておくようにする。

また、（２）のように光源色温度の高低に応じて固定値を切り替える場合には、例えば、屋内／屋外判別などの情報に基づいて固定値を切り替えるようにする。各象限の色を含む無彩色検波、又は、象限毎の色別検波の抽出枠を（１）の場合よりも小さく設定することができる。

また、（３）のようにゲインの制御値を動的に変化させる場合にも、各象限の色を含む無彩色検波、又は、象限毎の色別検波の抽出枠を（１）の場合よりも小さく設定することができる。

但し、（２）及び（３）の場合には、抽出枠の範囲を、各制御値の中で想定される光源色温度の範囲を含むように設定する必要がある。

比無彩色検波回路４８は、無彩色領域を探索するために、非無彩色検波枠及び比無彩色閾値を設定することを繰り返しながら、無彩色と判定されるような色信号Ｒ、Ｇ、Ｂが抽出されるようにしている。比無彩色検波の閾値については、以下の方法が考えられる。

（１）例えば屋内、屋外判別などの情報から、複数の固定値を切り替えて使用する。
（２）前回の検波結果を用いて閾値を動的に変化させていく。

（１）の方法では、例えば屋外と判断された場合には、太陽の下で無彩色を撮影したデータが検波領域に含まれるような閾値を設定し、屋内と判断された場合には代表的な光源での無彩色が閾値内に含まれるような設定を行なう。

また、（２）の方法では、時系列で閾値を動的に変化させていき、さらに精度のよいデータを得ようというものである。図９には、前回の検波結果を用いて比無彩色検波枠及び閾値を動的に設定するための処理手順を示している。

まず、初期化時には、比無彩色検波の上限閾値ＲＧｍａｘ及びＢＧｍａｘを最大値に設定するとともに、下限閾値ＲＧｍｉｎ及びＢＧｍｉｎを最小値に設定する（Ｓ１）。そして、オートホワイトバランス検波条件をスルーにする全積分検波を行なう（Ｓ２）。

次いで、全積分検波した結果のＲ積分値、Ｇ積分値、Ｂ積分値から積分値のＲ／Ｇ比率及びＢ／Ｇ比率を算出し、予想される無彩色領域を推定する（Ｓ３）。

次いで、比無彩色検波枠の中心位置が、推定された無彩色領域の中心位置になるように、比無彩色検波の上限閾値ＲＧｍａｘ及びＢＧｍａｘの最大値と、下限閾値ＲＧｍｉｎ及びＢＧｍｉｎを所定の設定値に設定する（Ｓ４）。

次いで、比無彩色検波した結果のＲ積分値、Ｇ積分値、Ｂ積分値から積分値のＲ／Ｇ比率及びＢ／Ｇ比率を算出し、予想される無彩色領域を推定する（Ｓ５）。

そして、通常時には、比無彩色検波枠の中心位置が、推定された無彩色領域の中心位置になるように、比無彩色検波の上限閾値ＲＧｍａｘ及びＢＧｍａｘの最大値と、下限閾値ＲＧｍｉｎ及びＢＧｍｉｎを所定の設定値に設定し（Ｓ６）、比無彩色検波した結果のＲ積分値、Ｇ積分値、Ｂ積分値から積分値のＲ／Ｇ比率及びＢ／Ｇ比率を算出し、予想される無彩色領域を推定する（Ｓ７）と言う処理を繰り返し行なうことで、比無彩色検波の抽出枠を高い精度で小さい面積に収束させることができる。

また、図１０には、比無彩色検波の閾値判定を行なう手順を模式的に示している。図示のようにＲ／Ｇ比率が上限閾値ＲＧｍａｘと下限閾値ＲＧｍｉｎの範囲内に収まり、且つ、Ｂ／Ｇ比率が上限閾値ＢＧｍａｘと下限閾値ＢＧｍｉｎの範囲内に収まる場合には積分するが、それ以外の場合には積分しない。

なお、図１０に示した例では、原色ベイヤー方式のＲＡＷデータＧｒ／Ｒ／Ｂ／Ｇｂを用いて判定を行なっている。Ｒ／Ｇ及びＢ／ＧのＧには、画素毎にＧ＝（Ｇｒ＋Ｇｂ）／２という平均化した値を用いている。

輝度別検波回路４９は、ホワイトバランス調整アンプ４１〜４３によりゲインが掛けられる前の同時化されたＲ、Ｇ、Ｂの各色信号から生成された輝度信号Ｙを入力して、所定のレベル範囲内の輝度を有する被写体から得られる色信号Ｒ、Ｇ、Ｂを抽出するようになっている。

セレクタ５１、５２、５３では、各象限の色を含む差無彩色検波又は象限毎の色別検波を行なう検波回路４４〜４７、比無彩色検波回路４８、及び輝度別検波回路４９による検波結果の出力をオン／オフ制御し、アンド回路５４に供給される。セレクタ５１〜５３の目的は、ホワイトバランスのゲイン算出上の意図に基づいて、各検波のいずれかの組み合わせの検波結果を求められるようにするためである。

例えば、画像信号の垂直期間Ｖにおいて、現在のＶ期間は各象限の色を含む無彩色検波、次のＶ期間は比無彩色と輝度別検波のアンド出力のように、時系列に各検波結果を得られるようにしている。アンド回路５４は、これらの検波結果に基づいて色検出パルス（ＣＤＥＴ）信号を出力する。このＣＤＥＴ信号に基づいて、図示しない積分器が積分値を生成し、生成した積分値をＡＷＢ演算・制御部１５に供給する。

このような構成により、差無彩色検波、比無彩色検波、輝度別検波の３通りの検波回路の抽出枠に含まれた被写体のみが抽出される。このため、実際のホワイトバランス制御に使用するためには不適当であるにも拘らず、各検波回路（各象限の色を含む差無彩色検波又は象限毎の色別検波を行なう検波回路４４〜４７、比無彩色検波回路４８、及び輝度別検波回路４９）が単独では抽出枠内であると判断してしまう、以下のような被写体を抽出しないように制御することが可能である。

すなわち、各象限の色を含む無彩色検波又は象限毎の色別検波回路４４〜４７、比無彩色検波回路４８、及び輝度別検波回路４９が行なう無彩色抽出においては、同じ被写体でも色の飽和度が明るさによって変化するため、本来の色の飽和度が高い被写体であっても、比較的暗い部分にあると無彩色に近いと判断してしまう可能性がある。このような被写体は、輝度別抽出によっては抽出されない。

一方、輝度別検波回路４９が行なう輝度別抽出においては、画面中に無彩色部分がない場合や、色の付いた発光体など、高輝度であっても無彩色でない被写体を抽出してしまうことがある。このような被写体は、無彩色抽出によっては抽出されない。

このように、各象限の色を含む無彩色検波又は象限毎の色別検波回路４４〜４７、比無彩色検波回路４８が行なう無彩色抽出と、及び輝度別検波回路４９が行なう輝度別抽出は、一方の抽出方法によって誤って抽出対象とされてしまう、ホワイトバランス制御に使用するには不適当な被写体を、他方の抽出方法によって排除できるという関係がある。このため、図６に示したように、アンド回路５４を用いて、各検波結果を組み合わせて、ホワイトバランス制御に使用される被写体を適切に抽出するように構成したのである。

一方、図６に示した構成により無彩色検波を行なうと、ホワイトバランス制御に使用するために最終的に抽出する被写体に課される条件が厳しくなる。このため、最終的に被写体が抽出されないことがないように、輝度別検波回路４９は、抽出枠を広く設定することが可能になっている。

以上、特定の実施形態を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。

本発明に係る画像信号処理装置は、デジタルスチルカメラ、デジタルビデオカメラ、あるいは携帯電話機やＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）に搭載されたデジタルカメラ、監視用カメラなど、ＣＣＤやその他のイメージ・センサを用いて被写体を撮影する撮像装置に適用することができる。

要するに、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。

図１は、本発明を適用することができる撮像装置１の構成例を示した図である。 図２は、信号処理部１３とＡＷＢ積分・演算制御系の内部構成を詳細に示した図である。 図３は、積分回路１４の構成例を示した図である。 図４Ａは、差無彩色検波の問題点を説明するための図である。 図４Ｂは、差無彩色検波の問題点を説明するための図である。 図５は、比無彩色検波の問題点を説明するための図である。 図６は、差無彩色検波及び比無彩色検波における問題を解決した積分回路１４の構成例を示した図である。 図７は、象限毎に設けられた差無彩色検波回路４４〜４７を用いて各象限の色を含む無彩色検波を行なう無彩色検波システムの構成を示した図である。 図８は、各象限の色情報を検波する色別検波システムの構成を示した図である。 図９は、前回の検波結果を用いて比無彩色検波枠及び閾値を動的に設定するための処理手順を示した図である。 図１０は、比無彩色検波の閾値判定を行なう手順を模式的に示した図である。

符号の説明

１…撮像装置
１０…撮像レンズ
１１…センサ
１２…撮像回路
１３…信号処理部
１４…積分回路
１５…ＡＷＢ演算・制御部
１６…表示系
１７…記録系
１８…タイミング・ジェネレータ
２１…ＷＢアンプ
２２…γ補正部
２３…色差マトリクス処理部
２４…ＹＵＶ変換部
３１〜３３…ゲイン可変アンプ
３４…差無彩色検波回路
３５…比無彩色検波回路
３６…輝度別検波回路
３７…セレクタ
３８…アンド回路
４１〜４３…ゲイン可変アンプ
４４〜４７…差無彩色（色別）検波回路
４８…比無彩色検波回路
４９…輝度別検波回路
５０〜５３…セレクタ
５４…アンド回路

Claims (22)

1. 同時化されたＲ、Ｇ、Ｂの各色信号からなる画像信号から無彩色に近い被写体を抽出する画像信号処理装置であって、
   色信号の比Ｒ／Ｇ及びＢ／Ｇの比率に基づいて無彩色に近い被写体を判断して信号を抽出する比無彩色検波回路を含む検波手段と、
   前記比無彩色検波回路が用いる色信号の比Ｒ／Ｇ及びＢ／Ｇを直交軸とする色比空間において、前記比無彩色検波回路が無彩色に近いと判定して信号を抽出するための比無彩色検波枠を調整する比無彩色検波枠調整手段と、
   を具備することを特徴とする画像信号処理装置。
2. Ｒ、Ｇ、及びＢの各色信号に対してホワイトバランスのゲインを掛けて画像信号のホワイトバランスを調整するホワイトバランス調整手段と、
   前記検波手段による検波結果に基づいて前記ホワイトバランス調整手段におけるホワイトバランスのゲインを調整して画像信号に対するホワイトバランス制御を行なうホワイトバランス制御手段をさらに備え、
   前記比無彩色検波回路は、前記ホワイトバランス調整手段によりゲインが掛けられる前のＲ、Ｇ、Ｂの各色信号を用いて、色信号の比Ｒ／Ｇ及びＢ／Ｇの比率に基づく信号抽出を行なう、
   ことを特徴とする請求項１に記載の画像信号処理装置。
3. 前記検波手段は、前記ホワイトバランス調整手段によりゲインが掛けられた後の同時化されたＲ、Ｇ、Ｂの各色信号に対して、Ｒ−Ｇ及びＢ−Ｇを直交軸とする色差空間における象限別に設けられた、各象限において色信号の差を計算した結果から無彩色に近い被写体を判断して信号の抽出を行なう差無彩色検波回路と、無彩色がどの色を多く含むかの情報に基づいていずれかの象限の差無彩色検波回路を選択する色検出セレクタを備え、前記比無彩色検波手段及び前記色検出セレクタにより選択された差無彩色検波回路により同時に抽出された被写体を無彩色として抽出する、
   ことを特徴とする請求項２に記載の画像信号処理装置。
4. 象限毎に設けられた前記の各差無彩色検波回路は、前記色差空間において無彩色領域が対応する象限の色を多く含むように色情報を定義し、象限毎の無彩色を検波する検波枠を設定して無彩色検波を行なう、
   ことを特徴とする請求項３に記載の画像信号処理装置。
5. 前記検波手段は、空色系（シアン系）の色を多く含む無彩色領域は色差空間では第４象限の領域を多く含み、緑系の色を多く含む無彩色領域は色差空間では第３象限の領域を多く含み、肌色系の色を多く含む無彩色領域は色差空間では第２象限の領域を多く含み、マゼンダ形の色を多く含む無彩色領域は色差空間では第１象限の領域を多く含むように、色情報を定義し、象限毎の差無彩色検波回路がそれぞれの無彩色領域で無彩色検波を行なうために複数の色情報検波枠を備え、色情報検波枠の選択によりいずれかの色を多く含む無彩色検波を実施する、
   ことを特徴とする請求項３に記載の画像信号処理装置。
6. 前記検波手段は、前記ホワイトバランス調整手段によりゲインが掛けられた後の同時化されたＲ、Ｇ、Ｂの各色信号に対して、Ｒ−Ｇ及びＢ−Ｇを直交軸とする色差空間の各象限の色情報を検波する検波枠をそれぞれ備えた象限毎の色検波手段と、いずれの象限の色情報を検波するかを選択する色検出セレクタを備え、象限毎の色情報を得て、色分布を算出する、
   ことを特徴とする請求項３に記載の画像信号処理装置。
7. 前記検波手段は、前記色検波手段により算出した色分布と、前記比無彩色検波回路により検波した無彩色情報との色分布のバランスを計算し、色分布を考慮した比無彩色検波枠の面積設定を計算する、
   ことを特徴とする請求項６に記載の画像信号処理装置。
8. 前記ホワイトバランス制御手段は、前記色検波手段により判別された領域の色検波情報に基づいて、ホワイトバランスのゲインを調整する、
   ことを特徴とする請求項７に記載の画像信号処理装置。
9. 前記比無彩色検波枠調整手段は、比無彩色検波した結果のＲ積分値、Ｇ積分値、Ｂ積分値から該積分値のＲ／Ｇ比率及びＢ／Ｇ比率を算出して無彩色領域を推定し、非無彩色検波枠の中心位置が該推定された無彩色領域の中心位置となるように比無彩色検波枠の上限閾値ＲＧｍａｘ及びＢＧｍａｘと下限閾値ＲＧｍｉｎ及びＢＧｍｉｎを設定する、
   ことを特徴とする請求項１に記載の画像信号処理装置。
10. 前記検波手段は、前記ホワイトバランス調整手段によりゲインが掛けられる前の同時化されたＲ、Ｇ、Ｂの各色信号を用いて、所定輝度レベル条件を満たす画素を抽出する輝度別検波回路をさらに備え、２以上の検波回路において同時に抽出された被写体を無彩色と判断して信号を抽出する、
    ことを特徴とする請求項２又は３のいずれかに記載の画像信号処理装置。
11. 同時化されたＲ、Ｇ、Ｂの各色信号からなる画像信号から無彩色に近い被写体を抽出する画像信号処理方法であって、
    色信号の比Ｒ／Ｇ及びＢ／Ｇの比率に基づいて無彩色に近い被写体を判断して信号を抽出する比無彩色検波を含む検波ステップと、
    前記比無彩色検波で用いる色信号の比Ｒ／Ｇ及びＢ／Ｇを直交軸とする色比空間において、前記比無彩色検波において無彩色に近いと判定して信号を抽出するための比無彩色検波枠を調整する比無彩色検波枠調整ステップと、
    を具備することを特徴とする画像信号処理方法。
12. Ｒ、Ｇ、及びＢの各色信号に対してホワイトバランスのゲインを掛けて画像信号のホワイトバランスを調整するホワイトバランス調整手段と、
    前記検波手段による検波結果に基づいて前記ホワイトバランス調整手段におけるホワイトバランスのゲインを調整して画像信号に対するホワイトバランス制御を行なうホワイトバランス制御手段をさらに備え、
    前記比無彩色検波回路は、前記ホワイトバランス調整手段によりゲインが掛けられる前のＲ、Ｇ、Ｂの各色信号を用いて、色信号の比Ｒ／Ｇ及びＢ／Ｇの比率に基づく信号抽出を行なう、
    ことを特徴とする請求項１１に記載の画像信号処理方法。
13. 前記ホワイトバランス調整手順によりゲインが掛けられた後の同時化されたＲ、Ｇ、Ｂの各色信号に対して、Ｒ−Ｇ及びＢ−Ｇを直交軸とする色差空間における色座標の象限別に実施する、各象限において色信号の差を計算した結果から無彩色に近い被写体を判断して信号の抽出を行なう差無彩色検波ステップと、
    無彩色がどの色を多く含むかの情報に基づいていずれかの象限の差無彩色検波を選択的に実施する色検出選択ステップをさらに備え、
    前記比無彩色検波ステップ及び前記色検出選択ステップにより選択された差無彩色検波ステップにより同時に抽出された被写体を無彩色として抽出する、
    ことを特徴とする請求項１２に記載の画像信号処理方法。
14. 象限毎に実施する前記差無彩色検波ステップでは、前記色差空間において無彩色領域が対応する象限の色を多く含むように色情報を定義し、象限毎の無彩色を検波する検波枠を設定して無彩色検波を行なう、
    ことを特徴とする請求項１３に記載の画像信号処理方法。
15. 空色系（シアン系）の色を多く含む無彩色領域は色差空間では第４象限の領域を多く含み、緑系の色を多く含む無彩色領域は色差空間では第３象限の領域を多く含み、肌色系の色を多く含む無彩色領域は色差空間では第２象限の領域を多く含み、マゼンダ形の色を多く含む無彩色領域は色差空間では第１象限の領域を多く含むように色情報を定義し、前記差無彩色検波ステップではそれぞれの無彩色領域で無彩色検波を行なういずれかの色情報検波枠を選択していずれかの色を多く含む無彩色検波を実施する、
    ことを特徴とする請求項１３に記載の画像信号処理方法。
16. 前記ホワイトバランス調整ステップによりゲインが掛けられた後の同時化されたＲ、Ｇ、Ｂの各色信号に対して、Ｒ−Ｇ及びＢ−Ｇを直交軸とする色差空間の各象限の色情報を検波する検波枠を用いて象限毎の色検波を行なう色検波ステップと、いずれの象限の色情報を検波するかを選択する色検出選択ステップを備え、象限毎の色情報を得て、色分布を算出する、
    ことを特徴とする請求項１２に記載の画像信号処理方法。
17. 前記色検波ステップにより算出した色分布と、前記比無彩色検波により検波した無彩色情報との色分布のバランスを計算し、色分布を考慮して、前記比無彩色検波ステップで用いる比無彩色検波枠の面積設定を計算する、
    ことを特徴とする請求項１６に記載の画像信号処理方法。
18. 前記ホワイトバランス制御ステップでは、前記色検波ステップにより判別された領域の色検波情報に基づいて、ホワイトバランスのゲインを調整する、
    ことを特徴とする請求項１７に記載の画像信号処理方法。
19. 前記比無彩色検波枠調整ステップでは、比無彩色検波した結果のＲ積分値、Ｇ積分値、Ｂ積分値から該積分値のＲ／Ｇ比率及びＢ／Ｇ比率を算出して無彩色領域を推定し、非無彩色検波枠の中心位置が該推定された無彩色領域の中心位置となるように比無彩色検波枠の上限閾値ＲＧｍａｘ及びＢＧｍａｘと下限閾値ＲＧｍｉｎ及びＢＧｍｉｎを設定する、
    ことを特徴とする請求項１１に記載の画像信号処理方法。
20. 前記ホワイトバランス調整ステップによりゲインが掛けられる前の同時化されたＲ、Ｇ、Ｂの各色信号を用いて、所定輝度レベル条件を満たす画素を抽出する輝度別検波ステップをさらに備え、２以上の検波ステップにおいて同時に抽出された被写体を無彩色と判断して信号を抽出する、
    ことを特徴とする請求項１２又は１３のいずれかに記載の画像信号処理方法。
21. 入射光量に応じた画素毎のＲ、Ｇ、及びＢの各色信号レベルからなる画像信号を生成する撮像素子と、
    Ｒ、Ｇ、及びＢの各色信号に対してホワイトバランスのゲインを掛けて画像信号のホワイトバランスを調整するホワイトバランス調整手段と、
    前記ホワイトバランス調整手段によりゲインが掛けられた後の同時化されたＲ、Ｇ、Ｂの各色信号に対して、Ｒ−Ｇ及びＢ−Ｇを直交軸とする色差空間における色座標の象限別に設けられた、各象限において色信号の差を計算した結果から無彩色に近い被写体を判断して信号の抽出を行なう差無彩色検波回路と、
    無彩色がどの色を多く含むかの情報に基づいていずれかの象限の差無彩色検波回路を選択する色検出セレクタと、
    前記ホワイトバランス調整手段によりゲインが掛けられる前のＲ、Ｇ、Ｂの各色信号を用いて、色信号の比Ｒ／Ｇ及びＢ／Ｇの比率に基づく信号抽出を行なう比無彩色検波回路と、
    前記ホワイトバランス調整手段によりゲインが掛けられる前の同時化されたＲ、Ｇ、Ｂの各色信号を用いて、所定輝度レベル条件を満たす画素を抽出する輝度別検波回路と、
    前記の差無彩色検波回路、比無彩色検波回路、輝度別検波回路のうち少なくとも１つの検波結果に基づいて無彩色の被写体の信号を抽出して、前記ホワイトバランス調整手段におけるホワイトバランスのゲインを調整して画像信号に対するホワイトバランス制御を行なうホワイトバランス制御手段と、
    前記ホワイトバランス調整手段によりホワイトバランス・ゲインを掛けた後の画像信号に対して信号処理を施す信号処理手段と、
    を具備することを特徴とする撮像装置。
22. 同時化されたＲ、Ｇ、Ｂの各色信号からなる画像信号から無彩色に近い被写体を抽出するための画像信号処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、前記コンピュータに対し、
    Ｒ、Ｇ、及びＢの各色信号に対してホワイトバランスのゲインを掛けて画像信号のホワイトバランスを調整するホワイトバランス調整手順と、
    前記ホワイトバランス調整手順によりゲインが掛けられた後の同時化されたＲ、Ｇ、Ｂの各色信号に対して、Ｒ−Ｇ及びＢ−Ｇを直交軸とする色差空間における色座標の象限別に設けられた、各象限において色信号の差を計算した結果から無彩色に近い被写体を判断して信号の抽出を行なう差無彩色検波手順と、
    無彩色がどの色を多く含むかの情報に基づいていずれかの象限の差無彩色検波手順における出力を選択する色検出選択手順と、
    前記ホワイトバランス調整手順によりゲインが掛けられる前のＲ、Ｇ、Ｂの各色信号を用いて、色信号の比Ｒ／Ｇ及びＢ／Ｇの比率に基づいて無彩色に近い被写体を判断して信号を抽出する比無彩色検波手順と、
    前記ホワイトバランス調整手順によりゲインが掛けられる前の同時化されたＲ、Ｇ、Ｂの各色信号を用いて、所定輝度レベル条件を満たす画素を抽出する輝度別検波手順と、
    前記比無彩色検波手順と、前記色検出手順又は前記輝度別検波手順のうち少なくとも一方において同時に抽出された無彩色の被写体の信号に基づいて前記ホワイトバランス調整手順におけるホワイトバランスのゲインを調整して画像信号に対するホワイトバランス制御を行なうホワイトバランス制御手順と、
    を実行させることを特徴とするコンピュータ・プログラム。