JP2005175785A - ホワイトバランス処理方法及びホワイトバランス処理装置、ホワイトバランス処理プログラム、デジタル画像処理方法並びにデジタル画像処理システム - Google Patents

Abstract

【課題】画像本来のグラデーションとセンサがとらえたダイナミックレンジを犠牲にすることなく可能な限り自然な色合いの画像が得られるホワイトバランス処理方法、装置、プログラム、これらを用いたデジタル画像処理方法、デジタル画像処理システムの提供。
【解決手段】光源のＲＧＢ間の色のバランスを検出して画像の各ＲＧＢ値に少なくとも１．０以上の利得係数を乗算してゲイン調整すると共に、当該ゲイン調整によってダイナミックレンジを超えたＲＧＢ値を一次ＲＧＢ値としてそのまま保持し、その色差信号に対して色抑制処理を実施してからＲＧＢ値に戻し、戻した後のＲＧＢ値に対して１．０未満の利得係数を乗算して輝度値を下げる。これによって、画像本来のグラデーションとセンサがとらえたダイナミックレンジを犠牲にすることなく、自然な色合いの画像が得られる。
【選択図】 図２

Description

本発明は、デジタルスチルカメラやデジタルビデオカメラ等で行われているデジタル画像処理方法の一つである、ホワイトバランス処理方法、処理装置、処理プログラム、並びにこれらの処理方法、装置等を採用したデジタル画像処理方法、デジタル画像処理システムに関するものである。

一般に、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の撮像センサを使用したデジタルスチルカメラやデジタルビデオカメラ等では、色補間処理やフィルタ処理といった様々な画像処理が行われており、その画像処理の一つとして、人間の視覚の色順応特性と同様な効果を発揮するためのホワイトバランス（以下、適宜「ＷＢ」という）処理がある。

このホワイトバランス処理は、光源の違いによる色バランスのずれを補正すべくＲ（赤）、Ｇ（緑）、Ｂ（青）各色のいずれかに対して利得（ｇｅｉｎ）操作を施すものであるが、その利得係数の設定の仕方によっては自然な画像を再現することが困難となってくる場合がある。
例えば、白熱灯の光源下で撮影された画像は、画像全体が非常に赤みを帯びた画像となってくることから、これを補正するためのＷＢ時の「Ｒ（赤）」に施す利得係数は、「１．０」未満となるが、このように「１．０」未満の利得が施された「Ｒ（赤）」は、その最大値が最大値として出力されなくなる。

すなわち、「Ｒ」、「Ｇ」、「Ｂ」各色のダイナミックレンジ（以下、適宜「ＤＲ」という）が８ｂｉｔの２５６階調（「０〜２５５」）で表現されるとすると、「１．０」未満の利得係数を施す色の出力最大値は「２５５×利得係数（＜１．０）」となることから、ＷＢ処理前にＲＧＢ全てが「２５５」になっている場合には、「１．０」未満の利得係数を施すことによって色付きが生じ、不自然な画像となってしまう。つまり、画像中の光量オーバーの領域についてはＲＧＢ全てを「２５５」にして再現するのが自然な画像である。

このような問題を解決するために、利得係数の最小の値を「１．０」にすることが考えられるが、そうすると画像全体の輝度が高くなり、高輝度部に注目した場合、低い輝度を持つ色にて表現されているグラデーションが消滅するといった問題が発生する。
このような問題を解決するために従来では例えば以下の特許文献１及び３等に示すように、Ｇの利得係数を「１．０」に固定して「Ｒ」と「Ｂ」のＷＢを操作し、色差信号（Ｃ_ｂＣ_ｒ）に対して輝度信号（Ｙ）とＷＢ係数から決定する「１．０」以下の利得を施すことにより、色抑制して色付きを防止しようとしている。

また、以下に示す特許文献２では、ＷＢ係数の値によってＲＧＢ各信号をクリップするレベルを決定するようにしたものであり、光源によりクリップレベルが変化することによって処理が非常に単純になる。
特開平１１−２６２０２３号公報 特許第２５５７６２０号公報 特開２０００−１３８０８号公報

ところで、前記従来技術のうち、前者の方法は、輝度信号を用いて色抑圧の係数を決定するようにしているため、色抑圧が適切に行われない場合がある。
すなわち、不要に色抑圧が強くかかると、色情報が失われ、反対に色抑圧が不足すると、画像中の「白」になるべきところで「白」が再現されず、不自然な色付きが発生する。また、ＷＢと輝度から色抑圧の係数を決定する必要があるので、値ごとにその係数を計算する必要があるといった問題点がある。また、ＷＢを取るために施す係数の値が大きくなると、ＷＢ前に存在した情報が失われる可能性もある。

一方、後者の方法ではＲＧＢ各信号をクリップするという考え方のため、ダイナミックレンジが狭くなって色再現性の低い画像になってしまうといった問題がある。
そこで、本発明はこのような課題を有効に解決するために案出されたものであり、その目的は、画像本来のグラデーションとセンサがとらえたダイナミックレンジを犠牲にすることなく、可能な限り自然な色合いの画像を得ることができる新規なホワイトバランス処理方法、処理装置、処理プログラム、並びにこれらの処理方法、装置等を採用したデジタル画像処理方法、デジタル画像処理システムを提供するものである。

〔発明１〕 上記課題を解決するために本発明１のホワイトバランス処理方法は、
光源のＲＧＢ間の色の大きさによって画像のＲＧＢ間のバランスを調整するためのホワイトバランス処理方法であって、前記光源のＲＧＢ間の色の大きさに応じて前記画像の各ＲＧＢ値にそれぞれ少なくとも１．０以上の利得係数を乗算して一次ゲイン調整すると共に、当該一次ゲイン調整によってダイナミックレンジを超えたＲＧＢ値を一次ＲＧＢ値としてそのまま保持し、その後、当該一次ＲＧＢ値を輝度と色差信号とに分離すると共に当該色差信号に対して色抑制処理を実施してから当該色抑制処理後の色差信号と前記輝度信号とをＲＧＢ値に戻して二次ＲＧＢ値を算出し、しかる後、当該二次ＲＧＢ値に対して１．０未満の利得係数を乗算して二次ゲイン調整してから出力するようにしたことを特徴とするものである。

すなわち、本発明のホワイトバランス処理方法は、従来のＷＢ処理と同様に光源の色バランスの違いによる画像のホワイトバランスを「１．０」以上の利得係数を用いて一次ゲイン調整する第一のステップと、この第一のステップで飽和値を超えた値をそのまま利用してそのＲＧＢをＹＣ変換し、色差信号に対して色付きを抑制するための色抑制処理を施す第二のステップと、１．０未満の利得係数を乗算して前記第一のステップで上昇した画像全体の輝度を処理前の輝度に戻すための二次ゲイン調整する第三のステップとからなるものである。

これによって、画像本来のグラデーションとセンサがとらえたダイナミックレンジを犠牲にすることなく、可能な限り本来の自然な色合いの画像を得ることができる。
〔発明２〕 発明２のホワイトバランス処理方法は、
発明１に記載のホワイトバランス処理方法であって、前記色抑制処理は、前記ＲＧＢ３色のなかで画素毎に最も小さい値を基準にして色抑圧量を決定するようにしたことを特徴とするものである。

これによって、従来方法のように輝度情報のみで一様に色抑圧するのと比べて特に２色で再現される色情報を適切に残存させることができる。
また、ＲＧＢの最低値が決定すれば、一意に減衰量を決定することができ、色抑圧の割合を一定にできるため、色抑圧の処理が非常に単純になる。
〔発明３〕 発明３のホワイトバランス処理方法は、
発明１に記載のホワイトバランス処理方法であって、前記色抑制処理は、前記ＲＧＢ３色のなかで画素毎に最も小さい値に対して画素値ｔｈ１＜ｔｈ２で定義される閾値の間で、ｔｈ１とｔｈ２の間で色抑圧係数が０〜１００％となるように実施するようにしたことを特徴とするものである。

これによって、色抑圧の割合を簡易に決定又は定義できるため、色抑圧の処理が非常に単純になる。
〔発明４〕 発明４のホワイトバランス処理方法は、
発明３に記載のホワイトバランス処理方法であって、前記ＲＧＢの各画素値が８ｂｉｔ（０〜２５５）で表される場合、前記画素値ｔｈ１、ｔｈ２は、それぞれ２００、２５５としたことを特徴とするものである。

これによって、前記ＲＧＢの各画素値が８ｂｉｔ（０〜２５５）で表される、一般的な画像の場合でも色抑圧の割合を簡易に決定又は定義できるため、色抑圧の処理が非常に単純になる。
〔発明５〕 発明５のホワイトバランス処理方法は、
発明１〜４のいずれかに記載のホワイトバランス処理方法であって、前記１．０未満の係数は、前記１次ゲイン調整の利得係数から算出することとし、ＲＧＢに乗算した係数のうち、Ｇの利得係数の重みを最も大きくして算出するようにしたことを特徴とするものである。

これによって、ホワイトバランス処理前後における輝度変化を削減することができ、また、ホワイトバランス処理によって、ダイナミックレンジの低下が発生することを防ぐことができる。
〔発明６〕 発明６のデジタル画像処理方法は、
前記１〜５のいずれかに記載のホワイトバランス処理方法を用いるようにしたことを特徴とするものである。

これによって、デジタルスチルカメラやデジタルビデオカメラ等において、人間の視覚に近い自然な色合いの画像を的確に得ることが可能となる。
〔発明７〕 発明７のデジタル画像処理方法は、
撮像センサで撮像された画像データを色補間処理すると共に、フィルタ処理及び色変換処理を経てホワイトバランス処理方法を実施してからγ補正処理を実施するようにしたデジタル画像処理方法であって、前記ホワイトバランス処理方法として前記１〜３のいずれかに記載のホワイトバランス処理方法を用いるようにしたことを特徴とするものである。

これによって、発明６と同様に、デジタルスチルカメラやデジタルビデオカメラ等において、人間の視覚に近い自然な色合いの画像を的確に得ることが可能となる。
〔発明８〕 発明８のホワイトバランス処理装置は、
光源のＲＧＢ間の色の大きさによって画像のＲＧＢ間のバランスを調整するためのホワイトバランス処理装置であって、前記光源のＲＧＢ間の色の大きさに応じて前記画像の各ＲＧＢ値にそれぞれ少なくとも１．０以上の利得係数を乗算して一次ゲイン調整する一次ゲイン調整手段と、前記一次ゲイン調整によってダイナミックレンジを超えたＲＧＢ値を一次ＲＧＢ値としてそのまま保持する一次ＲＧＢ値保持手段と、前記一次ＲＧＢ値を輝度と色差信号とに分離すると共に当該色差信号に対して色抑制処理を実施してから当該色抑制処理後の色差信号と前記輝度信号とをＲＧＢ値に戻して二次ＲＧＢ値を算出する二次ＲＧＢ値算出手段と、前記二次ＲＧＢ値に対して１．０未満の利得係数を乗算して二次ゲイン調整してから出力する二次ゲイン調整手段と、を備えたことを特徴とするものである。

これによって、発明１と同様に画像本来のグラデーションとセンサがとらえたダイナミックレンジを犠牲にすることなく、可能な限り自然な色合いの画像を自動的かつ容易に得ることができる。
〔発明９〕 発明９のホワイトバランス処理装置は、
発明８に記載のホワイトバランス処理装置であって、前記二次ＲＧＢ値算出手段における色抑制処理は、前記ＲＧＢ３色のなかで画素毎に最も小さい値を基準にして色抑圧量を決定するようにしていることを特徴とするものである。

これによって、発明２と同様に色抑圧の割合を一定にできるため、色抑圧の処理が非常に単純になる。
〔発明１０〕 発明１０のホワイトバランス処理装置は、
発明８に記載のホワイトバランス処理装置であって、前記二次ＲＧＢ値算出手段における色抑制処理は、前記ＲＧＢ３色のなかで画素毎に最も小さい値に対して画素値ｔｈ１＜ｔｈ２で定義される閾値の間で、ｔｈ１とｔｈ２の間で色抑圧係数が０〜１００％となるように実施するようにしたことを特徴とするものである。

これによって、発明３と同様に色抑圧の割合を簡易に決定又は定義できるため、色抑圧の処理が非常に単純になる。
〔発明１１〕 発明１１のホワイトバランス処理装置は、
発明１０に記載のホワイトバランス処理装置であって、前記ＲＧＢの各画素値が８ｂｉｔ（０〜２５５）で表される場合、前記画素値ｔｈ１、ｔｈ２は、それぞれ２００、２５５としたことを特徴とするものである。

これによって、発明４と同様に、前記ＲＧＢの各画素値が８ｂｉｔ（０〜２５５）で表される、一般的な画像の場合でも色抑圧の割合を簡易に決定又は定義できるため、色抑圧の処理が非常に単純になる。
〔発明１２〕 発明１２のホワイトバランス処理装置は、
発明８〜１１のいずれかに記載のホワイトバランス処理装置であって、前記二次ゲイン調整手段における前記１．０未満の係数は、前記１次ゲイン調整の利得係数から算出することとし、ＲＧＢに乗算した係数のうち、Ｇの利得係数の重みを最も大きくして算出するようにしたことを特徴とするものである。

これによって、発明５と同様にホワイトバランス処理前後における輝度変化を削減することができ、また、ホワイトバランス処理によって、ダイナミックレンジの低下が発生することを防ぐことができる。
〔発明１３〕 発明１３のデジタル画像処理システムは、
前記発明８〜１２のいずれかに記載のホワイトバランス処理装置を備えたことを特徴とするものである。

これによって、発明４と同様に、デジタルスチルカメラやデジタルビデオカメラ等において、人間の視覚に近い自然な色合いの画像を的確に得ることが可能となる。
〔発明１４〕 発明１４のホワイトバランス処理プログラムは、
光源のＲＧＢ間の色の大きさによって画像のＲＧＢ間のバランスを調整するためのホワイトバランス処理装置に用いられるホワイトバランス処理プログラムであって、コンピュータを、前記光源のＲＧＢ間の色の大きさに応じて前記画像の各ＲＧＢ値にそれぞれ少なくとも１．０以上の利得係数を乗算して一次ゲイン調整する一次ゲイン調整手段と、前記一次ゲイン調整によってダイナミックレンジを超えたＲＧＢ値を一次ＲＧＢ値としてそのまま保持する一次ＲＧＢ値保持手段と、前記一次ＲＧＢ値を輝度と色差信号とに分離すると共に当該色差信号に対して色抑制処理を実施してから当該色抑制処理後の色差信号と前記輝度信号とをＲＧＢ値に戻して二次ＲＧＢ値を算出する二次ＲＧＢ値算出手段と、前記二次ＲＧＢ値に対して１．０未満の利得係数を乗算して二次ゲイン調整してから出力する二次ゲイン調整手段と、して機能させることを特徴とするものである。

これによって、発明１と同様に、画像本来のグラデーションとセンサがとらえたダイナミックレンジを犠牲にすることなく、可能な限り自然な色合いの画像を自動的かつ容易に得ることができる。
しかも、汎用のＰＣ等のコンピュータシステムを用いて各種手段をソフトウェア上で実現できるため、各種手段を専用のハードウェアで実現する場合に比べて経済的かつ容易に実施することができる。

〔発明１５〕 発明１５のホワイトバランス処理プログラムは、
発明１４に記載のホワイトバランス処理プログラムであって、前記二次ＲＧＢ値算出手段における色抑制処理は、前記ＲＧＢ３色のなかで画素毎に最も小さい値を基準にして色抑圧量を決定するようにしていることを特徴とするものである。
これによって、発明２と同様に色抑圧の処理が非常に単純になり、また、発明１０と同様に汎用のＰＣ等のコンピュータシステムを用いて各種手段をソフトウェア上で実現できるため、各種手段を専用のハードウェアで実現する場合に比べて経済的かつ容易に実施することができる。

〔発明１６〕 発明１６のホワイトバランス処理プログラムは、
発明１４に記載のホワイトバランス処理プログラムであって、前記二次ＲＧＢ値算出手段における色抑制処理は、前記ＲＧＢ３色のなかで画素毎に最も小さい値に対して画素値ｔｈ１＜ｔｈ２で定義される閾値の間で、ｔｈ１とｔｈ２の間で色抑圧係数が０〜１００％となるように実施するようにしたことを特徴とするものである。

これによって、発明３と同様に色抑圧の割合を簡易に決定又は定義できるため、色抑圧の処理が非常に単純になり、しかも、発明１２と同様に汎用のＰＣ等のコンピュータシステムを用いて各種手段をソフトウェア上で実現できるため、各種手段を専用のハードウェアで実現する場合に比べて経済的かつ容易に実施することができる。
〔発明１７〕 発明１７のホワイトバランス処理プログラムは、
発明１６に記載のホワイトバランス処理プログラムであって、前記ＲＧＢの各画素値が８ｂｉｔ（０〜２５５）で表される場合、前記画素値ｔｈ１、ｔｈ２は、それぞれ２００、２５５としたことを特徴とするものである。

これによって、発明４と同様に、前記ＲＧＢの各画素値が８ｂｉｔ（０〜２５５）で表される、一般的な画像の場合でも色抑圧の割合を簡易に決定又は定義できるため、色抑圧の処理が非常に単純になる。また、発明１４と同様に汎用のＰＣ等のコンピュータシステムを用いて各種手段をソフトウェア上で実現できるため、各種手段を専用のハードウェアで実現する場合に比べて経済的かつ容易に実施することができる。

〔発明１８〕 発明１８のホワイトバランス処理プログラムは、
発明１４〜１７のいずれかに記載のホワイトバランス処理方法であって、前記１．０未満の係数は、前記１次ゲイン調整の利得係数から算出することとし、ＲＧＢに乗算した係数のうち、Ｇの利得係数の重みを最も大きくして算出するようにしたことを特徴とするものである。

これによって、発明５と同様にホワイトバランス処理前後における輝度変化を削減することができ、また、ホワイトバランス処理によって、ダイナミックレンジの低下が発生することを防ぐことができる。また、発明１４と同様に汎用のＰＣ等のコンピュータシステムを用いて各種手段をソフトウェア上で実現できるため、各種手段を専用のハードウェアで実現する場合に比べて経済的かつ容易に実施することができる。

以下、本発明を実施するための最良の形態を添付図面を参照しながら詳述する。
図１は、デジタルスチルカメラやデジタルビデオカメラ等で従来から採用されている典型的なデジタル画像処理システムの構成及びそのシステムの画像処理の流れを示したものである。
図示するように、先ずＣＣＤやＣＭＯＳ等の単板式固体撮像センサ１０等で撮像された画像は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）３色のデジタル画像に変換されてから色補間処理部１１によって各画素毎に欠落している色情報が補間生成された後、フィルタ処理部１２によって輝度信号（Ｙ）と色差信号（Ｃ）とに分離されてから例えばＨＰＦ（ｈｉｇｈ−ｐａｓｓ ｆｉｌｔｅｒ）やＬＰＦ（ｌｏｗ−ｐａｓｓ ｆｉｌｔｅｒ）等によって鮮鋭化や平滑化等のための各種フィルタリング処理が施される。

その後、このフィルタ処理部１２を経た画像データは、色変換処理部１３によって再度ＲＧＢ値へ変換されてからホワイトバランス処理部１４に送られ、ここで光源の色の違いによって発生する色バランスが調整され、最後にγ補正処理部１５に送られて人間が見やすい明るさ等に画像調整が成される。
これによって、殆どの環境下においてもデジタルスチルカメラやデジタルビデオカメラ等を用いて人間の視覚に近い自然な色合いのデジタル画像を的確に提供することが可能となっている。

そして、本発明に係るホワイトバランス処理は、このような様々な処理の組み合わせからなるデジタル画像処理の一部を構成するものであり、図２は、このホワイトバランス処理を具体的に実現するためのホワイトバランス処理装置１００の実施の一形態を示したものである。
図示するように、このホワイトバランス処理装置１００は、光源のＲＧＢ間の色の大きさの違いによって画像のＲＧＢ間のバランスを調整するための画像処理プロセッサの機能の一部を提供するものであり、一次ゲイン調整手段２０と、一次ＲＧＢ値保持手段２２と、二次ＲＧＢ値算出手段２４と、二次ゲイン調整手段２６とから主に構成されている。

これら各手段２０〜２６による処理の詳細は後述するが、このうち、一次ゲイン調整手段２０は、光源のＲＧＢ間の色の大きさに応じて前記画像の各ＲＧＢ値にそれぞれ少なくとも「１．０」以上の利得係数を乗算して一次ゲイン調整する機能を提供するものであり、また、一次ＲＧＢ値保持手段２２は、前記一次ゲイン調整によってダイナミックレンジ（以下、適宜「Ｄ／Ｒ」と称す）を超えたＲＧＢ値を「一次ＲＧＢ値」としてそのまま保持する機能を提供するようになっている。

また、二次ＲＧＢ値算出手段２４は、この「一次ＲＧＢ値」を輝度信号（Ｙ）と色差信号（Ｃ_ｂＣ_ｒ）とに分離してから一方の色差信号（Ｃ_ｂＣ_ｒ）に対して色抑制処理を実施してから当該色抑制処理後の色差信号（Ｃ_ｂ′Ｃ_ｒ′）と前記輝度信号（Ｙ）とを再度ＲＧＢ（Ｒ′Ｇ′Ｂ′）値に戻し、これを「二次ＲＧＢ値」として算出する機能を提供するようになっている。

また、二次ゲイン調整手段２６は、このようにして得られた「二次ＲＧＢ値（Ｒ′Ｇ′Ｂ′）」に対して「１．０」未満の利得係数を乗算して二次ゲイン調整してから出力する機能を提供するようになっている。
そして、このホワイトバランス処理装置１００を構成する一次ゲイン調整手段２０、一次ＲＧＢ値保持手段２２、二次ＲＧＢ値算出手段２４、二次ゲイン調整手段２６は勿論、前記デジタル画像処理を構成する色補間処理部１１、フィルタ処理部１２、色変換処理部１３、γ補正処理部１５等における各処理機能は、具体的には中央演算処理装置や主記憶装置等からなるハードウェアと、画像処理用に製作された各種専用のソフトウェア（処理プログラム）とからなるコンピュータシステムによって具体的に実現されるようになっている。

すなわち、このホワイトバランス処理装置１００を含む画像処理を実現するためのコンピュータシステムは、例えば図３に示すように、各種制御や演算処理を担う中央演算処理装置であるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）４０と、主記憶装置（Ｍａｉｎ Ｓｔｒａｇｅ）を構成するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）４１と、読み出し専用の記憶装置であるＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）４２と、ハードディスクドライブ装置（ＨＤＤ）や半導体メモリ等の補助記憶装置（Ｓｅｃｏｎｄａｒｙ Ｓｔｏｒａｇｅ）４３、及びモニタ（ＬＣＤ（液晶ディスプレイ）やＣＲＴ（陰極線管））等からなる出力装置４４や入力装置４５（すなわち、本発明にあっては撮像センサ１０等）と、これらの入出力インターフェース（Ｉ／Ｆ）４６等との間を、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ）バスやＩＳＡ（Ｉｎｄｕｓｔｒｉａｌ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ；アイサ）バス等からなるプロセッサバス、メモリバス、システムバス、入出力バス等の各種内外バス４７によってバス接続したものである。

そして、例えば、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ、フレキシブルディスク等の記憶媒体等を介して供給される各種制御用プログラムやデータを補助記憶装置４３等にインストールすると共にそのプログラムやデータを必要に応じて主記憶装置４１にロードし、その主記憶装置４１にロードされたプログラムに従ってＣＰＵ４０が各種リソースを駆使して所定の制御及び演算処理を行い、その処理結果（処理データ）をバス４７を介して出力装置４４に出力して表示すると共に、そのデータを必要に応じて補助記憶装置４３によって形成されるデータベースに適宜記憶、保存（更新）処理するようにしたものである。

尚、本発明のシステムやプログラムを携帯用の小型デジタルスチルカメラやデジタルビデオカメラ等に組み込む場合は、ＣＰＵやＲＡＭ等のハードウェア構成と所定の画像処理プログラムを記憶させた半導体メモリ等を１チップ化した画像処理用プロセッサ等と称される、ＬＳＩ（ｌａｒｇｅ−ｓｃａｌｅ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）等の形態で提供されることになる。

また、図１の画像処理ブロックにおいて、各ブロック毎を専用の処理を行うハードウェアにて構成したり、または、一部ブロックを専用のハードウェアで実現してハードウェアに存在しない処理ブロックをＣＰＵやＲＡＭ等で処理させる構成にしても良い。
以下、前記のような構成をしたホワイトバランス処理装置１００を用いたホワイトバランス処理方法について図４のフローチャートをメインに参照しながら説明する。

先ず、図１に示すように単板式の撮像センサ１０等で取り込まれた画像データは、センサ固有のノイズ除去処理や明るさを調整するゲイン調整処理等を経てＡ／Ｄ変換された後、色補間処理部１１に送られ、ここで全ての画素に対して色補間処理が施されてフィルタ処理部１２に送られる。フィルタ処理部１２に送られたＲＧＢデータは、ここでＹＣ分離されて輝度信号（Ｙ）と色差信号（Ｃ_ｂＣ_ｒ）とに変換処理された後、輝度信号（Ｙ）と色差信号（Ｃ_ｂＣ_ｒ）のうち、一方の輝度信号（Ｙ）は、ＨＰＦがかけられて、色補間処理に伴ってなまった輝度画像のエッジ部が鮮鋭化（シャープにする）されて輪郭が補償・強調され、他方の色差信号（Ｃ）は、ＬＰＦがかけられて平滑化処理が実施される。

このようにしてフィルタ処理が行われた画像データ（ＹＣ_ｂＣ_ｒ）は、その後、色変換部１３に送られてＲＧＢ値に変換された後、本発明に係るＷＢ処理部１４に送られる。
ＷＢ処理部１４では、図４に示すように、先ず、最初のステップＳ１００において、送られてきたホワイトバランス処理の対象となるＲＧＢ値を取得した後、次のステップＳ１０２において、そのＲＧＢ間の色バランスを検出する。例えば、一般に白熱灯の光源（一般に色温度は低い）下で撮像された画像の場合は、画像全体に赤みがかかって「Ｂ」や「Ｇ」が不足した状態であり、また、色温度が高い蛍光灯の光源下で撮像された画像の場合は、画像全体に青みがかかって「Ｒ」や「Ｇ」が不足した状態の画像が得られる。

色バランスの検出方法は、画像全体のＲＧＢの統計値から決定する方法、画像全体の中で白と判断される部分を検出し、その検出した部分内におけるＲＧＢの統計値から決定する方法、さらに全体のヒストグラムを加味して決定したり、光源の種類を予測する等して精度を向上する方法等が存在する。本実施の形態では色バランスの検出方法には、それら従来の方法を用いることができるので、その詳細は割愛する。

次に、このようにしてＲＧＢ間の色バランスが検出されたならば、ステップＳ１０４及びステップＳ１０６に順次移行して、そのＲＧＢ値それぞれに施すＷＢ係数（利得係数：ｇｅｉｎ）を算出してそのＷＢ係数をＲＧＢ値それぞれに乗算する（一次ゲイン調整）。
ここで、ステップＳ１０４に示すように選択される最低のＷＢ係数値は、「１．０」倍（乗算しない）とする必要がある。

すなわち、ＲＧＢのいずれかに「１．０」倍以下のＷＢ係数を施すと、飽和値になっている「２５５」（８ｂｉｔでダイナミックレンジ（Ｄ／Ｒ）が「０」〜「２５５」の場合）が「２５５」未満の値に変換されてしまい、飽和領域において色付き現象が発生することがあるからである。例えば、８ｂｉｔで表される階調で、「Ｒ＝２５５」、「Ｇ＝２５５」、「Ｂ＝２５５」の飽和している領域において、それぞれのＷＢ係数が「０．８」、「１．０」、「１．２」であったとすると、「Ｒ」と「Ｂ」はそれぞれ飽和値「２５５」となるが、「Ｒ」が「２０４」に変換されてしまい、「Ｒ」の飽和領域にて色付きが発生して画質を劣化させることがある。そのため、このＷＢ係数は最低でも「１．０」とする必要がある。

例えば、ある５０００Ｋの光源を基準のターゲット光源として設定した画像処理システムを想定する。図６は、このシステムにて様々な光源のＷＢ係数を調査した結果である。このシステムにて、「食肉展示用蛍光ランプ」２００を用いた画像の場合は、画像全体が強く赤みがかって「Ｇ」と「Ｂ」が大きく不足していることから、「Ｇ」と「Ｂ」のＷＢ係数は、「Ｇ＝１．５７１」、「Ｂ＝２．０１８」となって、「Ｒ」の１〜２倍のＷＢ係数が用いられることになる。また、光源色が自然光（曇りの太陽光）に近い「Ｄ６５色評価検査用蛍光ランプ」２０３の場合は、青みがかった寒い感じの画像となり、「Ｂ＝１．０」に対して「Ｒ＝１．４９６」、「Ｇ＝１．１３５」となっている。

このように最低でも「１．０」以上のＷＢ係数をＲＧＢ値の乗算した結果、画像全体が明るくなり、シーンによって算出されるＷＢ係数が微妙に変化することによって画像の輝度が変化してフリッカが生ずるおそれがある。また、画像全体を明るくすることから、明部のデータがＷＢ処理によって飽和値にはりつき、撮像センサ１０が捉えている情報を落としてしまう。例えば、弱い色にてグラデーションが捉えられている場合もその弱い色に利得（ｇａｉｎ）を施すために再現されていたグラデーション部分が飽和してしまうといった問題が生ずる。

そのため、本発明ではこのようにして最低でも「１．０」以上のＷＢ係数をＲＧＢ値のそれぞれに乗算して一次ゲイン調整したならば、さらに次のステップＳ１０８に移行して、先ず、乗算によってダイナミックレンジ（Ｄ／Ｒ）を超えた部分も含めたＲＧＢ値（本実施の形態では、これを「一次ＲＧＢ値」という）を保持する。
例えば、図６の「Ｄ６５色評価検査用蛍光ランプ」２０３のように、ＲＧＢ値のそれぞれに乗算するＷＢ係数が、「Ｒ＝１．４９６」、「Ｇ＝１．１３５」、「Ｂ＝１．０」とすると、保持される乗算後の一次ＲＧＢ値は、「Ｒ（０〜３８１（２５５×１．４９６））」、「Ｇ（０〜２８９（２５５×１．１３５））」、「Ｂ（０〜２５５）」となり、「Ｒ」では「２５６〜３８１が、「Ｇ」では「２５６〜２８９」がそれぞれレンジオーバした値であるが、ここでの処理ではこのレンジオーバした値もそのまま保持しておく。尚、図６に示す他の蛍光ランプのうち、「室内照明用蛍光ランプ」２０１の場合は、「Ｒ」と「Ｂ」のＷＢ係数がやや高く、また、「植物育成用蛍光ランプ」２０２の場合は、「Ｇ」のＷＢ係数が他の色に比べて極端に高く、約３．５倍となっている。

次に、このようにしてレンジオーバした一次ＲＧＢ値を保持したならば、図４に示すように次のステップＳ１１０に移行してその一次ＲＧＢ値を輝度信号（Ｙ）と色差信号（Ｃ_ｂＣ_ｒ）とに分離してから次のステップＳ１１２に移行して分離した一方の色差信号（Ｃ_ｂＣ_ｒ）に対して色抑制処理を実行する。
この色抑制処理は、処理対象の色差信号（Ｃ_ｂＣ_ｒ）の値を小さくなるようにコントロールしてグラデーションのみが残るように操作する処理であり、具体的には、ＲＧＢ信号のなかで最も小さい値から色差信号（Ｃ_ｂＣ_ｒ）の抑圧係数を決定する。

例えば、「０（暗）〜２５５（明）」の間でデータのダイナミックレンジを定義したとすると、画素値ｔｈ１＜ｔｈ２で定義される閾値の間で、ｔｈ１とｔｈ２の間で色抑圧係数αが０〜１００％となるように実施する。第一閾値「ｔｈ１」が画素値「２００」で、これよりも大きい第二閾値が「ｔｈ２」が画素値「２５５」とした図５を用いて例示すると、画素値「０」〜「２００」間では色差信号の抑圧は０％であるが、その抑圧は第一閾値「２００」から徐々に大きくなって、第二閾値「２５５」で１００％となり、この結果、彩度がなくなって第二閾値「２５５」付近では「白」になる。

このように３色のなかで画素毎に最も小さい値を基準にして色抑圧係数（色抑圧量）を決定することによって撮像センサ１０が捕らえた色信号を残しながら適切に抑圧係数を決定することができる。これによって、色抑圧の割合を一定にできるため、色抑圧の処理が非常に単純になる。
また、輝度信号（Ｙ）に代わり、ＲＧＢ値のうちで最小の値を用いて処理することで、最大値を超えて値を保持して色抑圧等の処理を行った後に、後述するように画像全体の輝度を下げることによって従来では困難であったグラデーションを保持することが可能となる。すなわち、ＲＧＢ値のうち、撮影対象となる画像の光源の色バランスが崩れている場合、他の２色が飽和していても一色のみでグラデーションが残されている場合、そのセンサがとらえたグラデーション情報をそのまま残すことが可能となる。

尚、基本的には、このような色抑制処理をしないほうが情報が残っているという前提がある。例えば、ＲＧＢのうち、２色が飽和しているような状態においては、その情報は残しておきたいという要求がある。ＲＧＢのうち、「Ｒ」と「Ｇ」は飽和しているが、「Ｂ」は飽和していないという状況においては、「Ｒ」と「Ｇ」は飽和した情報をそのまま残した方がセンサがとらえた情報をより忠実に残せており、自然な画像が得られる。但し、ＲＧＢ３色が飽和に近い状態ではその定義は成り立たない。

このように色抑制処理を実施しない場合は、「Ｇ」の利得係数を「１．０」にしてＷＢ処理を実施した状態とほぼ同様の結果となり、ＷＢ処理前に飽和していたデータがＷＢ処理を実施した結果飽和のデータ値ではなくなってしまう。一方、入力輝度が大きく飽和しているデータについてはＷＢ処理をした後も飽和して再現してほしい状態となっている。つまり、写真でオーバした部分は白く飛んで再現されるのが自然に感じるのと同じ状態を再現させているので入力輝度が高い部分については白く飛んで再現されることを意図している。また、輝度のみを指標にすると、色抑圧しなくとも済む場合でも色抑圧してしまう場合や、希望する量よりも強力に色抑圧するケースが発生する。

次に、このようにして色差信号（Ｃ_ｂＣ_ｒ）に対する色抑制処理が終了したならば、ステップＳ１１４に移行してその色抑制処理後の色差信号（Ｃ_ｂ′Ｃ_ｒ′）と前記輝度信号（Ｙ）をＲＧＢ信号に変換してさらに新たなＲＧＢ値（本実施の形態ではこれを「二次ＲＧＢ（Ｒ′Ｇ′Ｂ′）値」という）を算出した後、ステップＳ１１６に移行してその二次ＲＧＢ値に「１．０」未満の利得係数を乗算して輝度レベルの変化の防止とダイナミックレンジを維持してからステップＳ１１８に示すように、その乗算後のＲＧＢ値を出力して処理を終了することになる。

すなわち、最初のＲＧＢ値に対して最低でも「１．０」以上のＷＢ係数を乗算することによって画像全体の輝度が大きくなって画像の明るさが本来の明るさよりもかなり明るくなっているため、ステップＳ１１６で画像全体（各画素ＲＧＢ値）に「１．０」未満の利得係数を乗算（二次ゲイン調整）することによってこの利得分を下げて輝度の変化を防ぐようにしたものである。つまり、この処理はセンサが持つダイナミックレンジを発明の画像処理システムの出力にて最大限活かすということと等価である。

ここで、「１．０」未満の利得係数Ｋは、ＷＢ処理前後で画像本来の輝度を変化させないとなると、色空間等を考慮して厳密に決定すべきであるが、撮像センサ１０のメタメリズム等の関係からその係数Ｋを厳密に算出することは意味はないと考えられる。そこで、おおよその輝度（輝度らしきもの）を保持するという考え方から、この係数Ｋの値を以下の式のように定義する。

Ｋ＝１／（0.25×Ｒ_gain＋0.5×Ｇ_gain＋0.25×Ｂ_gain）
但し、Ｒ_gain、Ｇ_gain、Ｂ_gainは、前記ステップＳ１０６で各ＲＧＢ値にそれぞれ乗算したＷＢ係数である。ここで、Ｇ_gainの重みがＲ_gainやＢ_gainよりも大きくなっているのは、Ｇが輝度に及ぼす影響がＲやＢよりも大きいためである。均等な重みを設定するよりも輝度の変化を抑えることが可能となる。

そして、このようにしてＷＢ処理部１４におけるホワイトバランス処理が終了したならば、図１に示すように、ホワイトバランス処理後の画像データをγ補正部１５に送り、ここでγ補正と共にコントラスト調整等も最適に調整されてから液晶モニタ等の画像出力装置によってその画像がユーザ等に対して表示されることになる。
このように本発明のホワイトバランス処理方法は、従来のＷＢ処理と同様に光源の色バランスの違いによる画像のホワイトバランスを「１．０」以上の利得係数を用いて調整した後、この処理で飽和値を超えた値をそのまま利用してそのＲＧＢをＹＣ変換し、色差信号に対して色付きを抑制するための色抑制処理を施し、しかる後、ＲＧＢ値に対して「１．０」未満の利得係数を乗算することで最初の処理で上昇した画像全体の輝度を処理前の輝度に戻すようにしたものである。

これによって、画像本来のグラデーションとセンサがとらえたダイナミックレンジを犠牲にすることなく、可能な限り本来の自然な色合いの画像を得るといった本発明の目的を容易且つ確実に達成することができる。

デジタル画像処理の流れを示すブロック図である。 ホワイトバランス処理装置の構成を示すブロック図である。 ハードウェア構成を示すブロック図である。 ホワイトバランス処理方法の流れを示すフローチャート図である。 色抑制パターンの一例を示すグラフ図である。 ホワイトバランス係数の例を示す図である。

符号の説明

１０…撮像センサ、１１…色補間処理部、１２…フィルタ処理部、１３…色補間処理部、１４…ホワイトバランス処理部、１５…γ補正処理部、２０…一次ゲイン調整手段、２２…一次ＲＧＢ値保持手段、２４…二次ＲＧＢ値算出手段、２６…二次ゲイン調整手段、４０…ＣＰＵ、４１…ＲＡＭ、４２…ＲＯＭ、４３…補助記憶装置、４４…出力装置、４５…入力装置（撮像センサ）、４６…入出力インターフェース、４７…バス、１００…ホワイトバランス処理装置。

Claims (12)

1. 光源のＲＧＢ間の色の大きさによって画像のＲＧＢ間のバランスを調整するためのホワイトバランス処理方法であって、
   前記光源のＲＧＢ間の色のバランスを検出して前記画像の各ＲＧＢ値にそれぞれ少なくとも１．０以上の利得係数を乗算して一次ゲイン調整すると共に、当該一次ゲイン調整によってダイナミックレンジを超えたＲＧＢ値を一次ＲＧＢ値としてそのまま保持し、その後、当該一次ＲＧＢ値を輝度と色差信号とに分離すると共に当該色差信号に対して色抑制処理を実施してから当該色抑制処理後の色差信号と前記輝度信号とをＲＧＢ値に戻して二次ＲＧＢ値を算出し、しかる後、当該二次ＲＧＢ値に対して１．０未満の利得係数を乗算して二次ゲイン調整してから出力するようにしたことを特徴とするホワイトバランス処理方法。
2. 請求項１に記載のホワイトバランス処理方法であって、
   前記色抑制処理は、前記ＲＧＢ３色のなかで画素毎に最も小さい値を基準にして抑圧量を決定するようにしたことを特徴とするホワイトバランス処理方法。
3. 請求項１に記載のホワイトバランス処理方法であって、
   前記色抑制処理は、前記ＲＧＢ３色のなかで画素毎に最も小さい値に対して画素値ｔｈ１＜ｔｈ２で定義される閾値の間で、ｔｈ１とｔｈ２の間で色抑圧係数が０〜１００％の間で変化するようにしたことを特徴とするホワイトバランス処理方法。
4. 請求項３に記載のホワイトバランス処理方法であって、
   前記ＲＧＢの各画素値が８ｂｉｔ（０〜２５５）で表される場合、前記画素値ｔｈ１、ｔｈ２は、それぞれ２００、２５５としたことを特徴とするホワイトバランス処理方法。
5. 請求項１〜４のいずれかに記載のホワイトバランス処理方法であって、
   前記１．０未満の係数は、前記１次ゲイン調整の利得係数から算出することとし、ＲＧＢに乗算した係数のうち、Ｇの利得係数の重みを最も大きくして算出するようにしたことを特徴とするホワイトバランス処理方法。
6. 前記１〜５のいずれかに記載のホワイトバランス処理方法を用いるようにしたことを特徴とするデジタル画像処理方法。
7. 撮像センサで撮像された画像データを色補間処理すると共に、フィルタ処理及び色変換処理を経てホワイトバランス処理方法を実施してからγ補正処理を実施するようにしたデジタル画像処理方法であって、
   前記ホワイトバランス処理方法として前記１〜４のいずれかに記載のホワイトバランス処理方法を用いるようにしたことを特徴とするデジタル画像処理方法。
8. 光源のＲＧＢ間の色の大きさによって画像のＲＧＢ間のバランスを調整するためのホワイトバランス処理装置であって、
   前記光源のＲＧＢ間の色のバランスを検出して前記画像の各ＲＧＢ値にそれぞれ少なくとも１．０以上の利得係数を乗算して一次ゲイン調整する一次ゲイン調整手段と、
   前記一次ゲイン調整によってダイナミックレンジを超えたＲＧＢ値を一次ＲＧＢ値としてそのまま保持する一次ＲＧＢ値保持手段と、
   前記一次ＲＧＢ値を輝度と色差信号とに分離すると共に当該色差信号に対して色抑制処理を実施してから当該色抑制処理後の色差信号と前記輝度信号とをＲＧＢ値に戻して二次ＲＧＢ値を算出する二次ＲＧＢ値算出手段と、
   前記二次ＲＧＢ値に対して１．０未満の利得係数を乗算して二次ゲイン調整してから出力する二次ゲイン調整手段と、を備えたことを特徴とするホワイトバランス処理装置。
9. 請求項８に記載のホワイトバランス処理装置であって、
   前記二次ＲＧＢ値算出手段における色抑制処理は、前記ＲＧＢ３色のなかで画素毎に最も小さい値を基準にして色抑圧量を決定するようにしていることを特徴とするホワイトバランス処理装置。
10. 前記請求項８又は９に記載のホワイトバランス処理装置を備えたことを特徴とするデジタル画像処理システム。
11. 光源のＲＧＢ間の色の大きさによって画像のＲＧＢ間のバランスを調整するためのホワイトバランス処理装置に用いられるホワイトバランス処理プログラムであって、
    コンピュータを、
    前記光源のＲＧＢ間の色のバランスを検出して前記画像の各ＲＧＢ値にそれぞれ少なくとも１．０以上の利得係数を乗算して一次ゲイン調整する一次ゲイン調整手段と、
    前記一次ゲイン調整によってダイナミックレンジを超えたＲＧＢ値を一次ＲＧＢ値としてそのまま保持する一次ＲＧＢ値保持手段と、
    前記一次ＲＧＢ値を輝度と色差信号とに分離すると共に当該色差信号に対して色抑制処理を実施してから当該色抑制処理後の色差信号と前記輝度信号とをＲＧＢ値に戻して二次ＲＧＢ値を算出する二次ＲＧＢ値算出手段と、
    前記二次ＲＧＢ値に対して１．０未満の利得係数を乗算して二次ゲイン調整してから出力する二次ゲイン調整手段と、して機能させることを特徴とするホワイトバランス処理プログラム。
12. 請求項１１に記載のホワイトバランス処理プログラムであって、
    前記二次ＲＧＢ値算出手段における色抑制処理は、前記ＲＧＢ３色のなかで画素毎に最も小さい値を基準にして色抑圧量を決定するようにしていることを特徴とするホワイトバランス処理プログラム。
    

Images