JP2006287689A - 画像処理方法、画像処理装置、画像処理プログラム、およびその画像処理装置を含む集積回路 - Google Patents

Abstract

【課題】 照明光変動により発生するカラー画像への影響を低減するカラーバランス補正を、領域抽出することなく簡易に行うことを目的とする。
【解決手段】 本発明の画像処理装置１０００は、入力された画像データを調整するカラー画像処理装置であって、入力された画像信号の色情報と明るさ情報を算出する情報算出手段１と、明るさ情報に対する視覚特性情報を算出する明るさ特性算出手段２と、明るさ特性情報と画像の色情報や明るさ情報より、入力画像のカラーバランス調整を行うバランス調整手段３と、バランス調整手段で得られた処理済み画像を所定の出力形式で出力する出力手段４と、から構成される。
【選択図】 図１

Description

本発明は、照明光の変動がカラー画像に与える影響を低減するカラーバランス補正技術に関するものである。

近年、ビデオカメラやデジタルカメラの普及に伴って、美しい色を得るために撮影条件に追従する手段がますます重要になってきている。特に、撮影時の撮影光源を的確に推定することは、色再現の観点から重要である。
従来の撮影光源を推定するための手段として、異なるスペクトル特性を持った複数の光感応素子を用いて推定を行う手段と、画像処理を通して推定を行う手段とが知られている。一般的に、光源推定装置は、デザインやコストなどの観点から制約のある光感応素子を用いた手段に代わって、画像信号を処理して推定する手段へ移行してきている。

画像処理に基づいて光源を推定する手法の根拠は、画像中の色を混合平均するとその色は無彩色になるという仮定（エバンスの原理）にある。この仮定に基づいてカラーバランス補正を行う手法としては、特許文献１に記載されたものが知られている。さらに、この仮定に立脚したいくつかの工夫の１つに、白い部分は光輝度であるという仮定を付加した特許文献２等に記載された手法も知られている。しかし、これらの手法では画面全体の色の単純な加算が無彩色になるというエバンスの仮定に基づいた処理が行われており、画面の上で特定の色が占める画素数が多い場合には、上記仮定が成立せず、しばしば光源推定を誤るという問題がある。

また、最も明るさレベルの高いエリアを完全拡散反射面に近い白い表面に対応すると仮定して、応答値が高い画素をサンプリングした結果から光源の色成分を抽出する特許文献３の手法もある。しかしこれらの手法では、物理的には光源と独立であるはずの物体表面における仮定に基づいて推定が行われており、シーンによっては仮定から離れた被写体の状態により光源の推定結果が大きく左右されることが知られている。

さらに事前知識を多用して、予め候補として設定したいくつかの光源の中から最も確からしいものを分類・検出することで未知光源を類推する手法もいくつか提案されている（例えば、特許文献４または特許文献５参照）。
特許文献４は、任意の照明光源下での被写体の呈する色に関する情報値から、物体の表面反射率を規定する色成分別の３つ以上の基底関数に乗ずる被写体の表面反射率係数を決定することにより、被写体の色成分別表面反射率を推定し、これを用いることで被写体の色成分別の値を補正するものである。図２０はその処理のフローチャートを示す。予め、昼光のスペクトル組成に対して主成分分析をもとに得られた照明光のスペクトルの基底関数と、異なる色を呈する複数物体の表面反射率より得られた色成分別表面反射率の基底関数と、該被写体の画像を撮影する際の光特性と、照明光が白色と仮定した場合の照明光の色成分別の基底関数に対する照明光係数の積によるマトリクスを作成する（ステップＳ６）。このマトリクスの逆行列と、入力されたセンサ応答値より被写体に白色の光が照射されている場合の色成分別反射係数を求める（ステップＳ１）。この値をもとに第１の神経回路により、ステップＳ２の処理で得られた変化の急なエッジ付近の値をもとに領域内部の色成分別反射率係数を推定する（ステップＳ４）。次に、第２の神経回路において、被写体の局所的な平均値を用いて、表面反射率を推定する（ステップＳ３）。第３の神経回路では、被写体画像の平均値が無彩色（グレー）になる反射係数を推定して（ステップＳ７）、被写体の色成分別表面反射率係数を算出する。こうして推定された反射率係数より被写体固有の色成分別表面反射率を決定し入力された色情報を補正することで、照明光源による影響を除去するのである（ステップＳ８）。

図２１は、特許文献５の構成例を示す。図２１に示す手法は、Ａ／Ｄ変換手段２１０１によって変換された入力画像の色信号を予め複数のブロックに分割された色空間に割り付け、入力信号があったブロックを活性化する原マップ作成手段２１０９と、作成された原マップにおける活性化ブロック数を計数するレベル計数手段２１０５と、記憶手段２１０６に記憶された標準的な画像から求められた光源ごとの標準マップと画像信号から得られた原マップとを比較し、類似度の最も高い標準マップの光源を選んで撮影光源と判定する比較判定手段２１０７と、比較判定手段２１０７から判定不能信号を受けた時に原マップの活性化ブロックを消去するマップ制御手段２１１０より構成される。この手法は、センサ空間での色域内の分布状態を算出し、その状態に基づいて画面の映像が撮影されたときの光源推定を行うものである。
特開昭５６−３６２９１号公報 特開平２−５０５９２号公報 特開平９−５５９４８号公報 特開平７−６６９８６号公報 特開平５−１９１８２６号公報

上記従来の画像処理手法では、画面全体の色の単純な加算が無彩色になるという仮定の下で処理が行われていたので、画面の上で特定の色が占める面積が大きい場合においては、上記仮定が成立せず、しばしば光源推定を誤るという問題がある。
また、特許文献３の場合、光源と独立であるはずの物体表面における仮定に基づいて推定が行われるため、シーンによっては仮定から離れた被写体の状態により光源の推定結果が大きく左右されることが知られている。

また、特許文献４の場合、予め３つの神経回路手段を学習で用意する必要があり、この学習する際の照明光と対応する表面反射率のデータに大きく依存することとなる。
さらに、特許文献５の場合、センサ空間での色域内の分布状態をもとに、予め用意された基準色域や重み付き分布との比較で相関関係を数値化する必要がある。そのため、その関係を精度よく数値化するために多くの照明下でのサンプルデータを必要とするとともに、算出する手間が必要である。さらに、用意された基準色域やそれとの相関関係を生成する画像データに偏りがあった場合、その影響を大きく受ける可能性がある。

本発明は、上記課題を解決するものであり、より適切に光源の推定を行い、画像処理を行うことを課題とする。

本発明の第１の画像処理方法は、
入力された画像信号の色情報と明るさ情報を算出する情報算出ステップと、
前記明るさ情報に対する視覚特性情報を算出する明るさ特性算出ステップと、
前記明るさ特性情報と画像の色情報や明るさ情報より、入力画像のカラーバランス調整を行うバランス調整ステップと、
前記バランス調整ステップで得られた処理済み画像を所定の出力形式で出力する出力ステップと、を備えるものであり、
バランス調整ステップは前記明るさ特性情報よりカラーバランス補正に必要な複数画素を選択する基準画素選択ステップと、
前記基準画素でのカラーバランス調整量を算出する基準バランス量算出ステップと、
前記基準バランス量算出ステップで得られた値をもとに、画像の各画素を調整する画素別調整ステップより前記基準画素でのカラーバランス調整量を算出する基準バランス量算出ステップより構成される。

本発明の第２の画像処理方法は、
入力された画像信号の色情報と明るさ情報を算出する情報算出ステップと、
前記明るさ情報に対する視覚特性情報を算出する明るさ特性算出ステップと、
前記明るさ特性情報と画像の色情報や明るさ情報より、入力画像のカラーバランス調整を行うバランス調整ステップと、
前記バランス調整ステップで得られた処理済み画像を所定の出力形式で出力する出力ステップと、を備えるものであり、
バランス調整ステップは、前記明るさ特性情報よりカラーバランス補正に必要な複数画素を選択する基準画素選択ステップと、
前記基準画素でのカラーバランス調整量を算出する基準バランス量算出ステップと、
前記情報算出ステップで得られた色情報をもとに、基準画像のバランス調整を実施する鏡面領域調整ステップと、
前記鏡面領域調整ステップで得られた基準画素に対する調整色情報を用いて、選択されていない他の画素の色情報を補正する色情報伝播補正ステップより構成される。

本発明の第３の画像処理方法は、
入力された画像信号の色情報と明るさ情報を算出する情報算出ステップと、
前記明るさ情報に対する視覚特性情報を算出する明るさ特性算出ステップと、
前記明るさ特性情報と画像の色情報や明るさ情報より、入力画像のカラーバランス調整を行うバランス調整ステップと、
前記バランス調整ステップで得られた処理済み画像を所定の出力形式で出力する出力ステップとを備えるものであり、
バランス調整ステップは、
前記明るさ特性情報よりカラーバランス補正に必要な複数画素を選択する基準画素選択ステップと、
前記基準画素でのカラーバランス調整量を算出する基準バランス量算出ステップと、
前記入力画像内を複数領域に分割する画像分割ステップと、
前記画像分割ステップで得られた分割領域ごとに前記基準バランス量を制御する制御量を算出する領域別制御量算出ステップと、
前記領域ごとに算出された制御量と前記基準バランス量をもとに各分割領域内の画素のバランス調整を実施する領域別バランス調整ステップより構成される。

本発明の第４の画像処理方法は、
入力された画像信号の色情報と明るさ情報を算出する情報算出ステップと、
前記明るさ情報に対する視覚特性情報を算出する明るさ特性算出ステップと、
前記明るさ特性情報と画像の色情報や明るさ情報より、入力画像のカラーバランス調整を行うバランス調整ステップと、
前記バランス調整ステップで得られた処理済み画像を所定の出力形式で出力する出力ステップとを備えるものであり、
バランス調整ステップは、
前記明るさ特性情報よりカラーバランス補正に必要な複数画素を選択する基準画素選択ステップと、
前記基準画素でのカラーバランス調整量を算出する基準バランス量算出ステップと、
前記入力画像内を複数領域に分割する画像分割ステップと、
前記画像分割ステップで得られた分割領域において鏡面ブロック領域を抽出し、その鏡面ブロック領域に対して、前記基準バランス量をもとに領域内の画素のバランス調整を実施する鏡面ブロック内バランス補正ステップと、
前記鏡面ブロック内バランス補正ステップで処理された補正量を用いて、選択されていない他のブロック領域の色補正量を算出する色情報伝播補正ステップと、
前記色情報伝播補正ステップで得られた補正量をもとに、鏡面ブロック内バランス補正ステップで選択されていない該当ブロック領域内の画素に対してバランス調整を実施するブロック内色情報伝播調整ステップより構成される。

本発明の第５の画像処理方法は、
入力された画像信号の色情報と明るさ情報を算出する情報算出ステップと、
前記明るさ情報に対する視覚特性情報を算出する明るさ特性算出ステップと、
前記明るさ特性情報と明るさ情報より処理方式を選択する方式選択ステップと、
前記方式選択ステップにより、鏡面反射領域があると判断された場合に、その鏡面領域に従いカラーバランス補正を実施する鏡面調整ステップと、
前記方式選択ステップにより、鏡面反射領域がないと判断された場合、画像全体の色平均値が無彩色になるようにカラーバランスを調整するグレー調整ステップと、
前記方式選択ステップで選択された２つの方式のどちらかにより得られた処理済み画像を所定の出力形式で出力する出力ステップより構成される。

本発明の第１の画像処理方法によれば、明るさ対比により人間が明るく感じる領域を鏡面反射領域として取り出し、その領域でのバランスを中心に画像全体を補正する。このため、画像判定を行う必要がなく、また判定誤りにより生じる補正誤差等の弊害をも抑えることができる。
本発明の第２の画像処理方法によれば、明るさ対比により人間が明るく感じる領域を鏡面反射領域として取り出し、その領域でのバランス補正を実施する。次に、その領域での色補正量を色情報伝播処理により他の領域へ伝播処理させる。このため、画像判定を行う必要がないとともに、入力画像全体のバランスを保持しながら照明成分等の影響を低減させることができる。

本発明の第３の画像処理方法によれば、明るさ対比により人間が明るく感じる領域を鏡面反射領域として取り出すとともに、その条件をもとに画像領域を分割して細分化された領域ごとに適切なカラーバランス補正を行う。このため、画像判定を行う必要がなく判定誤りにより生じる補正誤差等の弊害をも抑えることができる。さらに、カラーバランス補正精度の向上にもつながる。

本発明の第４の画像処理方法は、明るさ対比により人間が明るく感じる領域（鏡面反射領域）を含む細分化領域内での補正量を決定する。次に、色伝播処理により鏡面反射領域の含まれないブロックでの補正量を算出して、各ブロック内画素のバランス補正を実施する。このため、画像判定を行う必要がないとともに、色伝播処理による処理時間の削減を図ることができる。

本発明の第５の画像処理方法によれば、明るさと明るさ対比により人間が明るく感じる領域と仮定した鏡面反射領域があるかどうかの判定を行う。そして、鏡面反射領域が存在する場合はその領域でのバランスのずれをもとに画像全体のバランス補正を実施する。鏡面反射領域がない場合には、画像内の色の平均値を算出し、その無彩色からのずれ量をもとに画像全体のバランス補正を実施する。このように鏡面反射があるかどうかの判定結果をもとに補正処理の切り替えをすることで、よりカラーバランス補正の精度を向上させることになるとともに、第１から第４の場合の課題であった鏡面反射がない画像に対してもカラーバランス補正を行うことが可能となる。

以下、本発明の最良の形態としての第１〜第５実施形態について説明する。
第１実施形態の画像処理は、対象画像の明るさ対比情報により人間が明るく感じる領域を推定し、その領域における色情報の無彩色軸からのずれ量を画像全体のカラーバランス補正に利用する。
第２実施形態の画像処理は、対象画像の明るさ対比情報により人間が明るく感じる領域を推定し、その領域における色情報の無彩色軸からのずれ量を補正する。次に、その補正により得られた色情報を色伝播処理により他の領域へ伝播することで画像全体の色補正を実施する。

第３実施形態の画像処理は、対象画像の明るさ対比情報により人間が明るく感じる領域を推定し、その領域における色情報の無彩色軸からのずれ量（基準補正量）を推定する。次に、画像を複数の領域に分割し、領域ごとに上記基準補正量を調整して補正し、画像全体のカラーバランス補正を行う。
第４実施形態の画像処理は、対象画像の明るさ対比情報により人間が明るく感じる領域を推定し、その領域が含まれるブロック領域における色情報の無彩色軸からのずれ量（基準補正量）を推定する。次に、鏡面反射領域が含まれない他のブロックに対するバランス補正量を色伝播処理により決定し、得られたバランス補正量を対応するブロック領域内の画素に適用することで画像全体のカラーバランス補正を行う。

第５実施形態の画像処理は、明るさ対比により人間が明るく感じる領域（鏡面反射領域）があるかどうかの判定を行う。そして、その領域が存在する場合は第１から第４の実施形態の手法により画像全体のバランス補正を実施する。その領域が存在しない場合には、画像内の色の平均値を算出し、その無彩色からのずれ量をもとに画像全体のバランス補正を実施する。このように鏡面反射があるかどうかの判定を行い、補正処理を切り替えることでカラーバランス補正を実施する。
［第１実施形態］
図１から図６を用いて、本発明の第１実施形態として、画素における明るさ対比情報をもとに、人間が最も明るく感じる領域を抽出し、そこでのバランスずれ量をもとにカラーバランス補正を行う画像処理方法及び画像処理装置１０００について説明する。

図１に、本発明の第１実施形態である画像処理装置１０００の全体構成を示す。図２にその構成要素である明るさ特性算出手段２の構成を示し、図３に構成要素であるバランス調整手段３の構成を示す。また、図４に本発明の第１実施形態である画像処理方法の処理フローチャートを示す。この発明は、画像データを処理することで、画像内の色情報を補正する装置であり、例えば、デジタルスチルカメラやデジタルビデオカメラのような撮影機器、これらのデジタル画像を編集する画像編集装置、モバイル環境下で使用する携帯電話やカーモバイル機器やＰＤＡ等、あるいはいろいろな環境下で使用される大型映像表示機器等へ搭載される。

画像処理装置１０００は、入力画像データを所定の情報へ変換する情報算出手段１、その情報より対象とする明るさ情報に関する明るさ特性情報データを算出する明るさ特性算出手段２、情報算出手段１と明るさ特性算出手段２より得られた明るさ情報と明るさ特性情報とに基づいてホワイト点推定に使用できる画素を選択し、得られた推定画素よりバランスのグレー軸からのずれ量を算出して画素ごとにバランス補正を実施するバランス調整手段３、バランス調整手段３で得られた補正済み画像を所定のフォーマットで出力する出力手段４、そしてバランス調整手段３で使用するテーブルデータ群を持つ制御変数テーブル５より構成されている。

この装置に画像データが入力されると、情報算出手段１は、画像データｖＩｉを構成する各画素のデータを所定の明るさ情報・色情報データ６へ変換する。ここでは、画像データを、色情報を扱いやすい色相Ｈ、彩度Ｓ、明度Ｖより構成されるＨＳＶ空間データや、輝度Ｙ、色差Ｃｂ，Ｃｒより構成されるＹＣｂＣｒ空間データ、明度Ｌ，色ａ＊、ｂ＊より構成されるＬａ＊ｂ＊空間データ等に変換することとするが、画像データをそのまま扱うことも可能である。本実施形態では、輝度Ｙ、色差Ｃｂ，Ｃｒより構成されるＹＣｂＣｒ空間データに変換した場合について説明するが、この場合、明るさ情報は輝度Ｙに相当する。一方、上記例に挙げた、色相Ｈ、彩度Ｓ、明度Ｖより構成されるＨＳＶ空間データを用いた場合、明るさ情報は明度Ｖに相当し、明度Ｌ，色ａ＊、ｂ＊より構成されるＬａ＊ｂ＊空間データを用いた場合は、明度Ｌが明るさ情報に相当する。よって、以降では、明るさ情報のことを輝度Ｙとして説明する。

明るさ特性算出手段２では、情報算出手段１で得られた明るさ・色情報データの内で、明るさ情報（輝度Ｙ）に対する特性情報（明るさ対比情報）が算出される。
明るさ特性算出手段２は、図２に示されるように、各画素に対して、周辺代表抽出手段２０と対比情報算出手段２１とを経て明るさ特性情報データ７を生成する。この明るさ特性情報データ７としては、多くのものが考えられるが、より人間の見た目に近いような補正を実現するために、人間の視覚特性に対応した情報が明るさ特性情報データとして用いられる。人間の視覚特性としては、多くのものがあるが、本実施形態では、明るさ対比特性を用いている。

図５は、明るさ対比特性の概念を模式的に示したものである。図５では、一様の明るさ（輝度）を持つ灰色円の左側の背景は、輝度が高い白色の背景となっており、右側の背景は、輝度が低い黒色の背景になっている。中心円と背景の境界にある星印で示された位置に注目して観察すると、白色の背景との境界にある画素Ａよりも黒色の背景との境界にある画素Ｂの方がより明るく感じられることが視覚心理より明らかとなっている。この現象は明るさ対比特性により生じる現象であり、人間の視覚では、対象画素Ｐの明るさのみならず、対象画素の周囲領域内画素より得られる明るさとの比較（対比）により、対象画素Ｐの明るさを知覚する。この明るさ特性情報ＲｎＫｉはいろいろな手法で表すことが可能であるが、例えば、（式１）のように表すことができる。

（式１）で、Ｋｉは画素Ｐｉにおける輝度を表し、ＡＫｉは画素Ｐｉの周囲領域における代表輝度情報を示す。このように、（式１）では、明るさ特性情報は、画素Ｐｉにおける輝度Ｋｉと、その視野領域に相当する所定の広さを持つ画素領域Ωｉ内の重み付き平均輝度ＡＫｉの比で定義されている。
これ以外にも、ＫｉとＡｋｉの差分量の絶対値を明るさ特性情報とすることも可能であるが、本実施形態では対比効果をより表しやすいように比を用いている。なお、視覚特性に応じた対数変換のような所定の変換式を（式１）に適用することで取りうる範囲を抑えた定義も可能である。

代表輝度ＡＫｉは、周辺代表抽出手段２０で算出される。この代表輝度ＡＫｉの算出方法も一意に決定されないが、本実施形態では、視野領域に相当する所定の広さを持つ画素領域Ωｉ内の重み付き平均輝度として定義する。対比情報算出手段２１はこの（式１）に従い、各画素の明るさ特性情報ＲｎＫｉを算出する。
バランス調整手段３における基準画素選択手段３０では、代表輝度ＡＫｉと輝度Ｋｉより、画素Ｐｉが、人間が照明のように明るく感じる領域に属するかどうかの判定を行い、判定を満足する画素Ｐｉを選択する（図４のＳ４２）。この判定にはいろいろな方法があるが、ここでは、次の（式２）を満足する画素を選択する。（式２）でＴｈ０，Ｔｈ１は正定数である。この値は制御変数テーブル５に抽出制御変数３４として保持されている。

図６で模式的に示すように、明るさ特性情報（明るさ対比）が大きい領域に対して、人間は強いコントラスト感を感じる傾向にある。これに加えて明るさ特性情報が大きく、明るさが所定の値より高い領域に対して、人間は実際以上に明るい領域として感じる傾向にある。カラーバランス補正では、照明光成分を検出することが重要であり、物体表面の反射率が高い金属や鏡等の表面からの反射光成分（鏡面反射成分）がその１つとして考えられる。（式２）は、明るさ情報（輝度）が高くかつ人間の視覚により光成分があると検知されやすい領域には人間が注目しやすい鏡面反射成分が含まれると仮定し、その領域を抽出することを意味している。なお、以降の説明で、基準画素選択手段３０で選ばれる画素が含まれる領域を鏡面反射領域Φｒと呼ぶ。

なお、これ以外にも、（式３）に示すように、色情報と周囲領域の色情報とを比較することにより得られる色特性情報ＲｎＣｉを、明るさ特性情報と同様に求め、この色特性情報を選択条件に入れることも考えられる。

（式３）でＴｈ０，Ｔｈ１，Ｔｈ２は正定数である。（式３）でＲｎＣｉは（式１）と同様に、画素Ｐｉの色情報Ｃｉとその周辺の色情報の重み付平均値ＡＣｉとの比で算出されるものであり、（式３）のＲｎＣｉにおける条件は、色情報Ｃｉの変動が小さいことに相当する。なお、ここでは１成分の色情報Ｃｉで説明したが、通常、カラー画像では複数の色情報成分を持つため、この色特性情報もそれに応じて各画素に対して複数成分を持つこととなる（例えば、Ｎｃ個成分を持つ）。この場合、（式３）におけるＲｎＣｉに関する制約条件がＮｃ個の成分に関して成立する場合に、その対象画素が鏡面反射領域Φｒに属すると判断される。

この（式３）は、人間が明るく感じるとともに色情報変化が小さい領域を照明等のある鏡面反射領域（基準画素の含まれる領域）Φｒと見なすことを意味している。
バランス調整手段３における基準バランス量算出手段３１では、（式２）または（式３）で得られた鏡面反射領域Φｒ内の色情報のグレー軸からのずれ量を求める。図４のステップＳ４３がその処理に相当するが、ここでは、ずれ量として色差Ｃｂ，Ｃｒを使い、この鏡面反射領域Φｒ内画素のＣｂ，Ｃｒを輝度Ｋｉで正規化した値の平均値Ｃｂｃ，Ｃｒｃをグレー軸からのずれ量とした。ここで輝度Ｋｉにより正規化を行う理由は、推定されたバランスずれ量の精度をあげるためである。なお、この鏡面反射領域Φｒ内画素のＣｂ，Ｃｒを輝度Ｋｉで正規化した値の平均値以外に、その正規化したＣｂ，Ｃｒで頻度の最も多い値や最大のＣｂ，Ｃｒを用いることも可能である。また、この鏡面反射領域Φｒ内画素のＣｂ，Ｃｒを輝度Ｋｉで正規化しない方法も考えられる。さらに、画素別調整手段３２では各画素のバランス補正量ΔＣｂとΔＣｒとをステップＳ４４のように算出する。

（式４）でＫｂ，Ｋｒは正定数であり、制御変数テーブル５に補正制御変数３５として保持されているものである。画素別調整手段３２ではこのバランス補正量ΔＣｂ，ΔＣｒを各画素に加えて補正を行う。Ｋｔは補正を行う画素の輝度を表す。
ここでこの補正量が所定の値を超えた場合は、補正を実施しないか、（式４）のＫｂとＫｒの正定数を抑制する。これは、急激なカラーバランス補正を抑えるためである。また、Ｋｂ，Ｋｒは正定数としたが、バランスずれ量Ｃｂｃ，Ｃｒｃに応じて所定の関数により変換される値を用いることも可能である。また、（式４）自身に非線形関数を用いることも可能である。

なお、輝度の高い領域でのバランスずれ量をそのまま画像全域に適応した場合、暗部のような低輝度領域におけるバランス補正を過剰に行う恐れがある。よって、（式４）のように急激なバランス補正による画質低下を抑制するための輝度項Ｋｔを設けたが、輝度項Ｋｔを一律定数にすることも可能である。その場合、急激なカラーバランス補正を抑えるためのしきい値処理等の制御処理をより厳しく行うことが必要となる。

以上の過程を経ることで、本実施形態の画像処理では、人間が明るく感じる傾向が高い領域を抽出し、その領域でのバランスずれ量を求め、これを補正する方向に画像のカラーバランス補正を実施することが可能となる。こうすることで、複雑な判定をする必要がなく簡易な構成でカラーバランス補正を実現できる。さらに、人間が明るく感じる領域でのバランスを中心に補正することで、処理済画像に与える弊害も低減することができる。

なお、ここではバランスずれ量の対象として色差ＣｂとＣｒを対象としたが、これ以外にもＨＳＶ系の色相Ｈや彩度ＳまたはＬａ＊ｂ＊系の色情報ａ＊、ｂ＊を対象としてもよい。
［第２実施形態］
図１、図２、図７から図１２を用いて、本発明の第２実施形態として、画素における明るさ対比情報と色伝播処理をもとに、カラーバランス補正を行う画像処理方法及び画像処理装置１０００について説明する。

図１は、本発明の第２実施形態である画像処理装置１０００の全体構成であり、本発明の第１実施形態とほぼ同様の構成である。また、図２は、明るさ特性算出手段２の構成であり、本発明の第１実施形態とほぼ同様である。
図７は、本発明の第２実施形態である画像処理装置内のバランス調整手段３の構成を示す。図８は、色情報伝播調整手段７１の構成を示す。図９は、この第２実施形態である画像処理方法の処理フローチャートを示す。この発明は、画像データを処理することで、画像内の色情報を補正する装置であり、例えば、デジタルスチルカメラやデジタルビデオカメラのような撮影機器、これらのデジタル画像を編集する画像編集装置、モバイル環境下で使用する携帯電話やカーモバイル機器やＰＤＡ等、あるいはいろいろな環境下で使用される大型映像表示機器等へ搭載される。

この装置に画像データが入力されると、情報算出手段１は、画像データｖＩｉを構成する各画素のデータを所定の明るさ・色情報データｖＣｉへ変換する。ここでは、画像データを、色情報を扱いやすい色相Ｈ、彩度Ｓ、明度Ｖより構成されるＨＳＶ空間データや、輝度Ｙ、色差Ｃｂ，Ｃｒより構成されるＹＣｂＣｒ空間データ、明度Ｌ，色ａ＊、ｂ＊より構成されるＬａ＊ｂ＊空間データ等に変換することとするが、画像データをそのまま扱うことも可能である。本実施形態では、第１実施形態の場合と同様に輝度Ｙ、色差Ｃｂ，Ｃｒより構成されるＹＣｂＣｒ空間データに変換した場合について説明するが、この場合、明るさ情報は輝度Ｙに相当する。

明るさ特性算出手段２では、情報算出手段１で得られた明るさ情報である輝度Ｙｉに対する特性情報（明るさ特性情報ＲｎＫｉ）が算出される。これに対して、バランス調整手段３内にある基準画素選択手段３０では、明るさ特性情報ＲｎＹｉおよび明るさ情報である輝度Ｙｉをもとにカラーバランス補正に必要な鏡面反射領域Φｒに属する基準画素を所定の手順で選択する。次に、基準バランス量算出手段３１が、第１実施形態と同様に、鏡面反射領域Φｒ内の画素の色差Ｃｂ，Ｃｒを輝度Ｋｉで正規化した値の平均値Ｃｂｃ，Ｃｒｃをグレー軸からのずれ量として算出する。鏡面領域調整手段７０は、鏡面反射領域Φｒ内の基準画素のバランス補正量ΔＣｂとΔＣｒを、（式４）に従って計算し、補正を実施する。

本実施形態では、画像全体の画素を、選択された鏡面反射領域Φｒ内の画素のみでまず補正し、その後、補正された画素の色情報をもとに画像全体のバランスをできるだけ保持しながら残りの画素を補正する。こうすることで鏡面反射領域Φｒ以外の領域に与える影響を低減させることを目的とする。
色情報伝播調整手段７１は、鏡面領域調整手段７０で得られた鏡面反射領域Φｒ内の画素を使って、残りの画素Ｐｊの色情報Ｃｊ（画素ＰｊはΦに属しない）に対して色補正を実施する。この処理として、多くの手法が考えられるが、ここでは、予め設定された数点の色情報をもとにモノクロ画像データに、画像全体のバランスを壊さないで着色するカラリゼーション処理を適用する。この処理の特徴をうまく利用することで、鏡面領域調整手段７０で補正された色情報を初期設定点（基準画素と呼ぶこととする）として、画像全体のバランスを崩さす色補正を実施することが可能となる。色情報伝播調整手段７１は、図８に示すように、基準設定手段８０、周囲色情報算出手段８１、伝播判定手段８２より構成される。図１０または図１１がこの伝播処理の概要を示すものである。

図１０の手法をもとに説明する。なお、本実施形態の場合、色情報伝播調整手段７１で扱う色空間データは、情報算出手段１で扱う色空間データと同じＹＣｂＣｒ空間データを対象としている。しかし、情報算出手段１で扱う色空間データと、色情報伝播調整手段７１で伝播処理対象の色空間データは異なってもよい。その場合、例えば、色情報伝搬調整手段７１で色空間データとしてＹＣｂＣｒ空間を伝播対象とした場合、図９の右フローチャートにおけるステップＳ９３とＳ９７が必要となる。

画素Ｐｉにおける輝度Ｙｉ、色差Ｃｂｉ，Ｃｒｉとする。まず、基準設定手段８０は、図１０（ａ）の１００で示された画素Ｐ０ように、鏡面反射領域Φｒ内の画素を基準画素として設定する。次に、周囲色情報算出手段８１は、基準画素Ｐ０の周囲４画素１０１へＰ０の補正色差Ｃｂａ０，Ｃｒａ０を伝播する（図１０（ｂ））。
この処理では、周囲の各画素Ｐｊにおいて、輝度Ｋｊは保持される。よって、この輝度Ｋｊを満足するＰｊの色差候補Ｃｂｊ＿ｌ，Ｃｒｊ＿ｌより、Ｐ０の補正色差Ｃｂａ０，Ｃｒａ０との差が最も小さくなる色差の組Ｃｂａｊ，Ｃｒａｊを求めることになる（図９のステップＳ９５）。この４画素への伝播処理が終わったらさらに、その周囲の４画素への伝播を実施する（図１０（ｃ））。このような伝播処理が全基準画素をもとに実施される。なお、複数の基準画素からの色情報が伝播した場合、その補正対象画素では、伝播された複数の色情報との差がもっとも小さくなるように設定される。最後に、図１０（ｄ）のように伝播されるべき画素での補正色情報Ｃｂａｊ，Ｃｒａｊと補正前の色情報Ｃｂｊ，Ｃｒｊと間の差が所定の値ＴｈｒｅｓＣｂ，ＴｈｒｅｓＣｒより大きい場合は、この先の伝播を終了するとともに、補正色情報Ｃｂａｊ，Ｃｒａｊは、Ｃｂａｊ＝Ｃｂｊ，Ｃｒａｊ＝Ｃｒｊとする。この伝播停止判定は伝播判定手段８２により実施される。以上の処理は、全ての画素の色情報決定が完了するまで行われる。こうすることで、各画素の輝度（明るさ）が保持されるとともに、近傍の画素の色情報は輝度が近い場合は近い値に補正される。さらに、伝播停止により元の色情報と大きく変化しないように監視されている。こうすることで、画像全体のバランスを崩さないで、色対比により補正された色情報をうまく伝播させた色補正処理が可能となる。

伝播処理として図１１に示す手法もありえる。まず基準設定手段８０のように基準画素Ｐ０が設定される（図１１（ａ））。次に網領域の周辺領域１１０では、基準画素Ｐ０の色情報Ｃｂ０，Ｃｒ０が輝度Ｙ０を変数とした線形変換式で近似できると仮定するとともに、その内部では同じ変換式が適用される（図１１（ｂ））。そして、複数の基準画素Ｐ０の色情報Ｃｂ０，Ｃｒ０と線形変換式で近似された各基準画素近傍内の代表色情報（Ｃｂａ０，Ｃｒａ０）との差が小さくなるように、最小二乗法や遺伝的アルゴリズム等による非線形推定手法等を用いて各Ｐ０周囲の線形変換式が設定される。

なお、図１１（ｃ）のように、複数の基準画素の周辺領域により含まれる濃い斜線内部１１１の画素の色情報は、複数の基準画素を代表とした線形変換式の平均で決定される。図１１の場合、色対比で補正されていない画素の色情報は、各画素が属する基準画素の周囲領域に対応する線形変換式に各画素の輝度を適用して算出される。この手法の場合も、各画素の輝度は保持されるとともに、基準画素近傍であり輝度が近いものほど近い色情報が設定される。さらに、基準画素での色情報が小さくなるように該当領域内の変換式の係数等が決定されるとともに、各領域内ではゆるやかな変動をする１次線形式のようなものが用いられる。そのため、輝度変動の少ない領域での色情報の変動も抑制されており、画像全体のバランスを崩さないで、色対比により補正された色情報をうまく伝播させた色補正処理が可能となる。
［第３実施形態］
図１、図２、図１２から図１３、図１５、図１６を用いて、本発明の第３実施形態として、画素における明るさ対比情報をもとにしたカラーバランス補正を行う画像処理方法及び画像処理装置１０００について説明する。

図１、図２は本発明の第２実施形態と同様である。図１２は、本発明の第３実施形態である画像処理装置１０００におけるバランス調整手段３の構成を示す。図１３は、この第３実施形態である画像処理方法の処理フローチャートを示す。この発明は、画像データを処理することで、画像内の色情報を補正する装置であり、例えば、デジタルスチルカメラやデジタルビデオカメラのような撮影機器、これらのデジタル画像を編集する画像編集装置、モバイル環境下で使用する携帯電話やカーモバイル機器やＰＤＡ等、あるいはいろいろな環境下で使用される大型映像表示機器等へ搭載される。

本実施形態は、明るさ対比により選択された鏡面反射領域に属すると思われる基準画素数により細分化された画像の各ブロック領域を分類する。そして、分類されたブロック領域に応じて基準画素より得られた基準バランス調整量を制御する。
この装置に画像データが入力されると、情報算出手段１は、画像データｖＩｉを構成する各画素のデータを所定の明るさ・色情報データｖＣｉへ変換する。ここでは、画像データを、色情報を扱いやすい色相Ｈ、彩度Ｓ、明度Ｖより構成されるＨＳＶ空間データや、輝度Ｙ、色差Ｃｂ，Ｃｒより構成されるＹＣｂＣｒ空間データ、明度Ｌ，色ａ＊、ｂ＊より構成されるＬａ＊ｂ＊空間データ等に変換することとするが、画像データをそのまま扱うことも可能である。本実施形態では、第１実施形態の場合と同様に輝度Ｙ、色差Ｃｂ，Ｃｒより構成されるＹＣｂＣｒ空間データに変換した場合について説明するが、この場合、明るさ情報は輝度Ｙに相当する。

明るさ特性算出手段２では、情報算出手段１で得られた明るさ情報である輝度Ｙｉに対する特性情報（明るさ特性情報ＲｎＫｉ）が算出される。
バランス調整手段３内にある基準画素選択手段３０では、明るさ特性情報ＲｎＫｉおよび明るさ情報である輝度Ｙｉをもとにカラーバランス補正に必要な鏡面反射領域Φｒに属する基準画素を所定の手順で選択する。ブロック基準バランス量算出手段１２３は、第１実施形態の場合と同様に各ブロック内の鏡面反射領域Φｒ内の画素のＣｂ，Ｃｒを輝度Ｋｉで正規化した値の平均値Ｃｂｃ，Ｃｒｃをそのブロックにおけるグレー軸からのずれ量（基準バランスずれ量）として算出する。

次に、画像分割手段１２０は、各細分化ブロック領域の分類を行う（ステップＳ１３０）。その方法として多くの手法が考えられるが、ここでは以下の手法を採用する。
画像分割手段１２０は、まず、所定の大きさを持つブロック領域に画像全体を細分化する。その際、画像特徴に応じて（色特性情報等を用いることも可能）、細分化することも可能であるが、ここでは図１５のように水平方向ブロック画素数Ｂｗ、垂直方向ブロック画素数Ｂｈを持つＮＮ個のブロック領域に分割する。各ブロックには１からＮＮの番号が割り振られる。

画像分割手段１２０は、ブロック領域ｍ内の画素で基準画素選択手段３０の条件を満足する基準画素数Ｎｒ＿ｍを調べる。さらに、その基準画素数Ｎｒ＿ｍが所定の条件値ＢＴｈ以上である場合に、ブロック領域ｍ内には鏡面反射領域Φｒに属する画素が信頼できる程度存在すると判定し、ブロック領域ｍを鏡面反射ブロックグループＧΦｒに分類する。なお、全ブロック領域に対応して、各ブロック領域を分類するためのメモリが用意されており、鏡面反射ブロックグループＧΦｒに分類されたブロック領域に対応するメモリ位置には、その情報を示す値（例えば、値［０］）が割り当てられる。

鏡面反射ブロックと判断されなかったブロック領域に対しては、そのブロック領域ｓ内の画素を代表する明るさ・色情報ｖＲＩｓを求め、この明るさ・色情報ｖＲＩｓと、鏡面反射ブロックグループＧΦｒに属しかつブロック領域ｓに最も近いブロック領域ｔを代表する明るさ・色情報ｖＲＩｔとを比較する。この明るさ・色情報ｖＲＩｓと明るさ・色情報ｖＲＩｔとの間の２つのベクトル量の距離を示すノルム量ｄ＿ｓｔが所定の閾値ｄＴｈより小さい場合は、ブロック領域ｓ内の画素分布は鏡面反射ブロックグループＧΦｒに属するブロック領域ｔに似ていると判断され、ブロック領域ｓは、鏡面反射隣接ブロックグループＧＲΦｒに分類される。そして、このブロック番号に対応するブロック分類メモリ位置には、鏡面反射ブロックグループＧΦｒで似ているブロック領域ｔのブロック番号ｔが保持される。

一方、この明るさ・色情報ｖＲＩｓと明るさ・色情報ｖＲＩｔとの間の２つのベクトル量の距離を示すノルム量ｄ＿ｓｔが所定の閾値ｄＴｈより大きい場合は、ブロック領域ｓは、鏡面反射領域が含まれる可能が少なく、また鏡面反射領域が含まれる領域に接する可能性も少ない無鏡面反射ブロックグループＧＮΦｒに分類される。そして、対応するブロック分類メモリ位置には、そのことを示す値（例えば、値［−１］）が挿入される。

このような分類を画像分割手段１２０が実施する。
図１６は、その分類の一例を示すものである。
この分類は、○ある程度の画素が鏡面反射領域に含まれると判断されたブロック領域内には鏡面反射が存在する可能性があること、○鏡面反射領域が存在するとは判断されなかったがブロック領域内の色情報の分布が鏡面反射領域の存在する近接ブロック領域に似ていると判断されたブロック領域では、同じような照明光の影響を受けている可能性があること、○このどちらも満足しないブロック領域内では、色情報は照明光による影響をあまり受けていない可能性があること、という３つの仮定に基づいて行われている。

さらに、領域別制御量算出手段１２１は、この分類に基づいて、対応するグループごとにバランスずれ量を制御し、より適切なカラーバランス補正を行う。この制御の方法としては、例えば、無鏡面反射ブロックグループＧＮΦｒに属するブロック領域ｕのバランスずれ量ＢＣｂ＿ｕ，ＢＣｒ＿ｕは０とする。鏡面反射ブロックグループＧΦｒに属するブロック領域ｍのバランスずれ量は、そのブロック領域ｍ内で鏡面反射領域に属する基準画素として選択された画素の色差Ｃｂ，Ｃｒを輝度Ｋｉで正規化した値の平均値ＢＣｂ＿ｍ，ＢＣｒ＿ｍとする。鏡面反射隣接ブロックグループＧＲΦｒに属するブロック領域ｔのバランスずれ量ＢＣｂ＿ｔ，ＢＣｒ＿ｔは、（式５）のように計算する。

この式で、μ＿ｔｓはブロック領域ｔに対応する鏡面反射ブロック領域ｓ間の類似度に相当する値であり、例えば、ブロック領域ｔに対応する鏡面反射ブロック領域ｓの代表明るさ・代表色情報間のベクトルノルムｄ＿ｔｓに応じて最小類似度Ｍｉｎμから最大類似度Ｍａｘμ（Ｍｉｎμ＞０．０、Ｍａｘμ＜１．０）へ線形に単調減少する関数で表すことができる。ｄ＿ｔｓ＝０．０の時はμ＿ｔｓは最大類似度になり、ｄ＿ｔｓ＝ｄＴｈの時は最小類似度となる。これ以外にも、上記μ＿ｔｓを画像分割手段１２０で得られたすべての隣接類似度Σμ＿ｉｊの和で正規化することも可能である。またブロック領域と、画像内にある全ての鏡面反射領域ブロック領域との間の代表明るさ・代表色情報間のベクトルノルムΣｄ＿ｉｊに対するｄ＿ｔｓの比を用いることも可能である。

領域別バランス調整手段１２２は、領域別制御量算出手段１２１の結果を受けて、ブロック領域ごとにその中に属する画素のバランス調整量ΔＣｂｃ、ΔＣｒｃを算出し、バランス調整を実行する。この値は、（式４）におけるＣｂｃ、Ｃｒｃとして、各ブロック領域ｑのバランスずれ量ＢＣｂ＿ｑ，ＢＣｒ＿ｑに−１を乗算した値を代入することで求めることができる。

このような構成にすることで、一部分だけ照明光が当たった場合でもカラーバランス補正を行うことが可能となるとともに、より適切で精度のよいカラーバランス補正が可能となる。
［第４実施形態］
図１、図２、図１４、図１５を用いて、本発明の第４実施形態として、画素における明るさ対比情報をもとにしたカラーバランス補正を行う画像処理方法及び画像処理装置１０００を説明する。

図１、図２は本発明の第２実施形態と同様である。図１４は、本発明の第４実施形態である画像処理装置１０００におけるバランス調整手段３の構成を示す。この発明は、画像データを処理することで、画像内の色情報を補正する装置であり、例えば、デジタルスチルカメラやデジタルビデオカメラのような撮影機器、これらのデジタル画像を編集する画像編集装置、モバイル環境下で使用する携帯電話やカーモバイル機器やＰＤＡ等、あるいはいろいろな環境下で使用される大型映像表示機器等へ搭載される。

本実施形態は、まず、明るさ対比により選択された鏡面反射領域に属すると思われる基準画素数により鏡面反射領域ブロックｔを抽出する。次に、各鏡面反射領域ブロック内でのバランス補正を行うとともに、そのブロックでのバランスずれ量ＢＣｂｃ＿ｔ，ＢＣｒｃ＿ｔを求める。さらに、このバランスずれ量ＢＣｂｃ＿ｔ，ＢＣｒｃ＿ｔを用いて、色情報伝播手段により色情報伝搬処理を行い、他のブロックｍにおけるバランスずれ量ＢＣｂｃ＿ｍ，ＢＣｒｃ＿ｍを求める。さらに、このバランスずれ量ＢＣｂｃ＿ｍ，ＢＣｒｃ＿ｍを用いて、ブロックｍ内画素のバランス補正を実施する。このように本発明は、第２実施形態の伝播手段をブロック単位に拡張するとともに、第３実施形態の鏡面反射領域ブロック内での基準画素によるバランス補正を組み合わせた構成をしている。

この装置に画像データが入力されると、情報算出手段１において、画像データｖＩｉを構成する各画素のデータを所定の明るさ・色情報データｖＣｉへ変換する。ここでは、画像データを、色情報を扱いやすい色相Ｈ、彩度Ｓ、明度Ｖより構成されるＨＳＶ空間データや、輝度Ｙ、色差Ｃｂ，Ｃｒより構成されるＹＣｂＣｒ空間データ、明度Ｌ，色ａ＊、ｂ＊より構成されるＬａ＊ｂ＊空間データ等に変換することとするが、画像データをそのまま扱うことも可能である。本実施形態では、第１実施形態の場合と同様に輝度Ｙ、色差Ｃｂ，Ｃｒより構成されるＹＣｂＣｒ空間データに変換した場合について説明するが、この場合、明るさ情報は輝度Ｙに相当する。

明るさ特性算出手段２では、情報算出手段１で得られた明るさ情報である輝度Ｙｉに対する特性情報（明るさ特性情報ＲｎＫｉ）が算出される。
バランス調整手段３内にある基準画素選択手段３０では、明るさ特性情報ＲｎＫｉおよび明るさ情報である輝度Ｙｉをもとにカラーバランス補正に必要な鏡面反射領域Φｒに属する基準画素を所定の手順で選択する。ブロック基準バランス量算出手段１２３は、第１実施形態の場合と同様に各ブロック内の鏡面反射領域Φｒ内の画素のＣｂ，Ｃｒを輝度Ｋｉで正規化した値の平均値Ｃｂｃ，Ｃｒｃをそのブロックにおけるグレー軸からのずれ量（基準バランスずれ量）として算出する。

次に、画像分割手段１２０は、各細分化ブロック領域の分類を行う（ステップＳ１３０）。まず、所定の大きさを持つブロック領域に画像全体を図１５のように水平方向ブロック画素数Ｂｗ、垂直方向ブロック画素数Ｂｈを持つＮＮ個のブロック領域に分割する。各ブロックには１からＮＮの番号が割り振られる。
画像分割手段１２０は、ブロック領域ｍ内の画素で基準画素選択手段３０の条件を満足する基準画素数Ｎｒ＿ｍを調べる。さらに、その基準画素数Ｎｒ＿ｍが所定の条件値ＢＴｈ以上である場合に、ブロック領域ｍ内には鏡面反射領域Φｒに属する画素が信頼できる程度存在すると判定し、ブロック領域ｍを鏡面反射ブロックグループＧΦｒに分類する。なお、全ブロック領域に対応して、各ブロック領域を分類するためのメモリが用意されており、鏡面反射ブロックグループＧΦｒに分類されたブロック領域に対応するメモリ位置には、その情報を示す値（例えば、値［０］）が割り当てられる。鏡面反射ブロックグループＧΦｒに分類されなかったブロック領域に対応するメモリ位置には、その情報を示す値（例えば、値［−１］）が割り当てられる。

鏡面反射ブロックグループＧΦｒに分類された鏡面反射ブロックｍに対して、ブロック内基準バランス量算出手段１２３は、鏡面反射ブロックｍ内で鏡面反射領域Φｒに属する基準画素として選択された画素のＣｂ，Ｃｒを輝度Ｋｉで正規化した値の平均値ＢＣｂ＿ｍ，ＢＣｒ＿ｍをバランスずれ量として算出する。
ブロック色情報伝播手段１４１は、鏡面反射ブロック以外のブロック領域ｕにおけるバランスずれ量ＢＣｂ＿ｕ，ＢＣｒ＿ｕを求める。この際、第２実施形態では画素を対象とした色情報伝播を実施したが、本実施形態ではブロック単位で色情報伝搬を実施する。そのため、図１５のように各ブロック領域ｋを代表する明るさ・色情報を求め、その値を使って図１０または図１１を用いて説明した伝播処理を行い、ブロック領域ｕのバランスずれ量を求める。

最後に、ブロック内画素別調整手段１４０により各ブロックｋ内の画素のバランス補正を実施する。ここでは得られた各ブロックｋに対応するブロック内バランスずれ量ＢＣｂ＿ｋ，ＢＣｒ＿ｋをもとに（式６）を計算し、ブロックｋ内の画素ｉのバランス補正量ΔＢＣｂ＿ｋｉ，ΔＢＣｒ＿ｋｉを求める。

なお、（式６）において、Ｋｂ＿ｋ，Ｋｒ＿ｋは正定数であり、制御変数テーブル５に補正制御変数として保持されているものである。Ｋｔ＿ｉは補正を行う画素ｉの輝度を表す。
ここでこの補正量が所定の値を超えた場合は、補正を実施しないか、（式６）のＫｂ＿ｋとＫｒ＿ｋの正定数を抑制する。これは、急激なカラーバランス補正を抑えるためである。

なお、Ｋｂ＿ｋ，Ｋｒ＿ｋは正定数としたが、バランスずれ量Ｃｂｃ，Ｃｒｃに応じて所定の関数により変換される値を用いることも可能である。また、（式６）自身に非線形関数を用いることも可能である。なお、輝度の高い領域でのバランスずれ量をそのまま、画像全域に適応した場合、暗部のような低輝度領域におけるバランス補正を過剰に行う恐れがある。そこで、急激なバランス補正による画質低下を抑制するために（式６）のように対象画素の輝度Ｋｔ＿ｉを用いる輝度項Ｋｔ＿ｉを設けている。しかし、Ｋｔ＿ｉを一律定数にすることも可能である。その場合、急激なカラーバランス補正を抑えるための閾値処理等が必要となる。

このような構成にすることで、一部分だけ照明光が当たった場合でもカラーバランス補正を行うことが可能となる。また、第３実施形態の場合よりも、ブロック境界での補正を適切に行うことが可能となる。また、伝播処理によりもとの色分布を保持したバランス補正量を決定することができるため、精度のよいカラーバランス補正が可能となる。
［第５実施形態］
図１７から図１９を用いて、本発明の第５実施形態として、画素における明るさ対比情報をもとに、人間が最も明るく感じる領域を抽出し、そこでのバランスずれ量をもとにカラーバランス補正を行う画像処理方法及び画像処理装置１０００について説明する。

図１７に、本発明の第５実施形態である画像処理装置１０００の全体構成を示す。図１８に、本発明の第５実施形態である画像処理方法の全体処理フローチャートを示す。図１９に、本発明の第５実施形態である画像処理方法における鏡面調整処理のフローチャートと、グレー調整処理のフローチャートとを示す。この発明は、画像データを処理することで、画像内の色情報を補正する装置であり、例えば、デジタルスチルカメラやデジタルビデオカメラのような撮影機器、これらのデジタル画像を編集する画像編集装置、モバイル環境下で使用する携帯電話やカーモバイル機器やＰＤＡ等、あるいはいろいろな環境下で使用される大型映像表示機器等へ搭載される。

この手法では、方式選択手段１７０は、図１８の全体の処理フローチャート内のステップＳ１８０にあるように、画像内の鏡面反射領域に属する画素数をもとに、まずその画像内に鏡面反射領域があるかどうかを判定する。そして、鏡面反射領域があると判定する場合には、鏡面調整手段１７１に処理が移り、図１９の左のフローチャートに従い処理が実施される。図１９の左のフローチャートより明らかのように、この処理は第１実施形態の処理に相当する。なお、これ以外にも第２実施形態から第４実施形態で説明した処理を適用することも可能である。

一方、鏡面反射領域がないと判定する場合には、グレー調整手段１７２へ処理が移る。グレー調整手段１７２は、図１９の右フローチャートにあるように、「エバンスの原理」である対象画像内の色情報の平均は無彩色になる傾向があることを利用した処理を行う。具体的には、まず、画像内の色情報の平均値ｔＣｂｃ，ｔＣｒｃを求める（ステップＳ１９２）。次に、この平均値をずれ量と仮定し、所定の制御係数ｔＫｂ、ｔＫｔを用いてバランス補正量ΔＣｂ，ΔＣｒを求める（ステップＳ１９１）。さらに、このバランス補正値を各画素に適用し、画像のバランス補正を実施する（ステップＳ１９２）。

なお、方式選択手段１７０では、多くの方法による方式選択が可能であるが、ここでは、図１８のステップＳ１８１のように、画像内の鏡面反射領域に属する基準画素の数である基準画素数Ｍｃｏｕｎｔが所定の閾値Ｍｔｈを越えているかどうかで判断する。この処理を行うことで、第１実施形態から第４実施形態とは異なり、鏡面反射領域がない場合にもカラーバランス補正を行うことが可能となり、バランス補正の精度を向上することが可能となる。なお、鏡面調整手段１７１としては、第１実施形態から第４実施形態のいずれかを適用してもよいが、その他従来のバランス補正手段を適用してもよい。
［その他］
上記実施形態において説明した本発明の画像処理方法および画像処理装置では、対象とする明るさ情報の明るさ特性情報データ７として、本発明の第１実施形態で示した（１）周辺の代表明るさ情報に対する対象画素の明るさ情報の比と（２）対象画素の明るさ情報と周辺の代表明るさ情報の差分量以外にも、これら（１）と（２）を所定の関数により変換して得られる値を用いることも可能である。

また、各処理装置内のテーブルデータである制御変数テーブル５は、各処理に必要な制御変数群を含むものであり、処理装置内に構成されていてもよいし、ＲＡＭのような外部メモリや外部からの入力手段でこれらのデータを提供するものであってもよい。
上記実施形態において説明した本発明の画像処理方法および画像処理装置は、例えば、コンピュータ、テレビ、デジタルカメラ、携帯電話、ＰＤＡ、カーＴＶなど、画像を取り扱う機器に内臓、あるいは接続して用いられる装置であり、ＬＳＩなどの集積回路として実現される。

より詳しくは、上記各実施形態の画像処理装置１０００を構成する各機能ブロック（図１、図２、図３、図７、図８、図１２、図１４、図１７は、個別に１チップ化させてもよいし、一部又は全てを含むように１チップ化されても良い。なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路の手法にはＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現することも可能である。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用することも可能である。

さらに、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
また、上記各実施形態の各機能ブロックの処理は、プログラムにより実現されるものであってもよい。例えば、図１、図２、図３、図７、図８、図１２、図１４、図１７の各機能ブロックの処理は、コンピュータにおいて、中央演算装置（ＣＰＵ）により行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ＲＯＭなどの記憶装置に格納されており、ＲＯＭにおいて、あるいはＲＡＭに読み出されて実行される。

本発明の画像処理方法は、画素における明るさ対比現象を利用して人間がもっとも明るく感じる領域を照明が強く当たっている領域（鏡面反射が強い領域）として抽出する。そして、その領域でのバランス補正量をもとに、特定領域もしくは画像全体のカラーバランス補正を実施する手段を有するものであり、画像を高精度かつ簡易な手法でカラーバランス補正を実施するのに有効な手法である。

本発明における第１の発明である画像処理装置の構成を示すブロック図。 本発明における明るさ特性算出手段の構成を示すブロック図。 本発明における第１の発明であるバランス調整手段の構成を示すブロック図。 本発明における第１の発明である画像処理方法の処理フローチャート図。 本発明における明るさ対比現象の概要を示す説明図。 本発明における基準画素選択の概要を示す図。 本発明の第２の発明である画像処理装置のバランス調整手段の構成を示すブロック図。 本発明における色情報伝播補正手段の構成を示すブロック図。 本発明における第２の発明である画像処理方法の処理フローチャート図。 本発明における色情報伝播補正手段における処理概要の説明図。 本発明における色情報伝播補正手段における第２の処理概要の説明図。 本発明における第３の発明である画像処理方法のバランス調整手段の構成を示す図。 本発明における第３の発明である画像処理方法の処理フローチャート図。 本発明における第４の発明である画像処理装置のバランス調整手段の構成を示すブロック図。 本発明における第４の発明における伝播処理対象を示す図。 本発明における第３の発明である画像処理装置における領域別制御量算出の概念を示す図。 本発明における第５の発明である画像処理装置の構成を示すブロック図。 本発明における第５の発明である画像処理方法の処理フローチャート図。 本発明における第５の発明である画像処理装置の鏡面調整ステップとグレー調整ステップの処理フローチャート図。 特許文献４に記載された従来の画像処理方法の処理フローチャート図。 特許文献５に記載された従来の画像処理装置の構成を示すブロック図。

符号の説明

１ 情報算出手段
２ 明るさ特性算出手段
３ バランス調整手段
４ 出力手段
５ 制御変数テーブル
６ 明るさ・色情報データ
７ 明るさ特性情報データ
８ 制御変数群
１０００ 画像処理装置
２０ 周辺代表抽出手段
２１ 対比情報算出手段
３０ 基準画素選択手段
３１ 基準バランス算出手段
３２ 画素別調整手段
３３ 選択画素情報
３４ 抽出制御変数
３５ 補正制御変数
７０ 鏡面領域調整手段
７１ 色情報伝播調整手段
７２ 伝播補正変数
８０ 基準設定手段
８１ 周囲色情報算出手段
８２ 伝播判定手段
１２０ 画像分割手段
１２１ 領域別制御量算出手段
１２２ 領域別バランス調整手段
１２３ ブロック内基準バランス量算出手段
１２４ 分割制御変数
１２５ 領域別基準制御量補正変数
１２６ ブロック別補正変数
１４０ ブロック内画素別調整手段
１４１ ブロック色情報伝播手段
１７０ 方式選択手段
１７１ 鏡面調整手段
１７２ グレー調整手段
１７３ 方式制御変数
１７４ 鏡面調整制御変数
１７５ グレー調整制御変数
２１０１ Ａ／Ｄ変換手段
２１０２ 原マップ記憶手段
２１０３ マッピィング手段
２１０４ カウンタ
２１０５ レベル計数手段
２１０６ 標準マップ記憶手段
２１０７ 比較判定手段
２１０８ 零マップ化手段
２１０９ 原マップ作成手段
２１１０ マップ制御手段

Claims (20)

1. 入力されたカラー画像データを調整するカラー画像処理方法において、
   入力された画像信号の色情報と明るさ情報を算出する情報算出ステップと、
   前記明るさ情報に対する視覚特性情報を算出する明るさ特性算出ステップと、
   前記明るさ特性情報と画像の色情報や明るさ情報より、入力画像のカラーバランス調整を行うバランス調整ステップと、
   前記バランス調整ステップで得られた処理済み画像を所定の出力形式で出力する出力ステップと、
   から構成されることを特徴とする画像処理方法。
2. 前記バランス調整ステップは、
   前記明るさ特性情報よりカラーバランス補正に必要な複数画素を選択する基準画素選択ステップと、
   前記基準画素でのカラーバランス調整量を算出する基準バランス量算出ステップと、
   前記基準バランス量算出ステップで得られた値をもとに、画像の各画素を調整する画素別調整ステップと、
   から構成されることを特徴とする請求項１に記載の画像処理方法。
3. 前記バランス調整ステップは、
   前記明るさ特性情報よりカラーバランス補正に必要な複数画素を選択する基準画素選択ステップと、
   前記基準画素でのカラーバランス調整量を算出する基準バランス量算出ステップと、
   前記情報算出ステップで得られた色情報をもとに、基準画像のバランス調整を実施する鏡面領域調整ステップと、
   前記鏡面領域調整ステップで得られた基準画素に対する調整色情報を用いて、選択されていない他の画素の色情報を補正する色情報伝播補正ステップと、
   から構成されることを特徴とする請求項１に記載の画像処理方法。
4. 前記バランス調整ステップは、
   前記明るさ特性情報よりカラーバランス補正に必要な複数画素を選択する基準画素選択ステップと、
   前記基準画素でのカラーバランス調整量を算出する基準バランス量算出ステップと、
   前記入力画像内を複数領域に分割する画像分割ステップと、
   前記画像分割ステップで得られた分割領域ごとに前記基準バランス量を制御する制御量を算出する領域別制御量算出ステップと、
   前記領域ごとに算出された制御量と前記基準バランス量をもとに各分割領域内の画素のバランス調整を実施する領域別バランス調整ステップと、
   から構成されることを特徴とする請求項１に記載の画像処理方法。
5. 前記バランス調整ステップは、
   前記明るさ特性情報よりカラーバランス補正に必要な複数画素を選択する基準画素選択ステップと、
   前記基準画素でのカラーバランス調整量を算出する基準バランス量算出ステップと、
   前記入力画像内を複数領域に分割する画像分割ステップと、
   前記画像分割ステップで得られた分割領域において鏡面ブロック領域を抽出し、その鏡面ブロック領域に対して、前記基準バランス量をもとに領域内の画素のバランス調整を実施する鏡面ブロック内バランス補正ステップと、
   前記鏡面ブロック内バランス補正ステップで処理された補正量を用いて、選択されていない他のブロック領域の色補正量を算出する色情報伝播補正ステップと、
   前記色情報伝播補正ステップで得られた補正量をもとに、鏡面ブロック内バランス補正ステップで選択されていない該当ブロック領域内の画素に対してバランス調整を実施するブロック内色情報伝播調整ステップと、
   から構成されることを特徴とする請求項１に記載の画像処理方法。
6. 入力されたカラー画像データを調整するカラー画像処理方法において、
   入力された画像信号の色情報と明るさ情報を算出する情報算出ステップと、
   前記明るさ情報に対する視覚特性情報を算出する明るさ特性算出ステップと、
   前記明るさ特性情報と明るさ情報より処理方式を選択する方式選択ステップと、
   前記方式選択ステップにより、鏡面反射領域があると判断された場合に、その鏡面領域に従いカラーバランス補正を実施する鏡面調整ステップと、
   前記方式選択ステップにより、鏡面反射領域がないと判断された場合、画像全体の色平均値が無彩色になるようにカラーバランスを調整するグレー調整ステップと、
   前記方式選択ステップで選択された２つの方式のどちらかにより得られた処理済み画像を所定の出力形式で出力する出力ステップと、
   から構成されることを特徴とする画像処理方法。
7. 前記鏡面調整ステップは、前記方式選択ステップにより、鏡面反射領域があると判断された場合に、請求項１から５のいずれかに記載の画像処理方法により画像全体もしくは所定の領域のカラーバランス補正を実施することを特徴とする、
   請求項６に記載の画像処理方法。
8. 前記明るさ特性算出ステップは、対象とする画素の明るさ情報を、その周囲の領域内の明るさ情報を代表する周囲明るさ情報と比較する明るさ対比処理により構成されることを特徴とする、
   請求項１から６のいずれかに記載の画像処理方法。
9. 入力されたカラー画像データを調整するカラー画像処理装置において、
   入力された画像信号の色情報と明るさ情報を算出する情報算出手段と、
   前記明るさ情報に対する視覚特性情報を算出する明るさ特性算出手段と、
   前記明るさ特性情報と画像の色情報や明るさ情報より、入力画像のカラーバランス調整を行うバランス調整手段と、
   前記バランス調整手段で得られた処理済み画像を所定の出力形式で出力する出力手段と、
   から構成されることを特徴とする画像処理装置。
10. 前記バランス調整手段は、
    前記明るさ特性情報よりカラーバランス補正に必要な複数画素を選択する基準画素選択手段と、
    前記基準画素でのカラーバランス調整量を算出する基準バランス量算出手段と、
    前記基準バランス量算出手段で得られた値をもとに、画像の各画素を調整する画素別調整手段と、
    から構成されることを特徴とする請求項９に記載の画像処理装置。
11. 前記バランス調整手段は、
    前記明るさ特性情報よりカラーバランス補正に必要な複数画素を選択する基準画素選択手段と、
    前記基準画素でのカラーバランス調整量を算出する基準バランス量算出手段と、
    前記情報算出手段で得られた色情報をもとに、基準画像のバランス調整を実施する鏡面領域調整手段と、
    前記鏡面領域調整手段で得られた基準画素に対する調整色情報を用いて、選択されていない他の画素の色情報を補正する色情報伝播補正手段と、
    から構成されることを特徴とする請求項９に記載の画像処理装置。
12. 前記バランス調整手段は、
    前記明るさ特性情報よりカラーバランス補正に必要な複数画素を選択する基準画素選択手段と、
    前記基準画素でのカラーバランス調整量を算出する基準バランス量算出手段と、
    前記入力画像内を複数領域に分割する画像分割手段と、
    前記画像分割手段で得られた分割領域ごとに前記基準バランス量を制御する制御量を算出する領域別制御量算出手段と、
    前記領域ごとに算出された制御量と前記基準バランス量をもとに各分割領域内の画素のバランス調整を実施する領域別バランス調整手段と、
    から構成されることを特徴とする請求項９に記載の画像処理装置。
13. 前記バランス調整手段は、
    前記明るさ特性情報よりカラーバランス補正に必要な複数画素を選択する基準画素選択手段と、
    前記基準画素でのカラーバランス調整量を算出する基準バランス量算出手段と、
    前記入力画像内を複数領域に分割する画像分割手段と、
    前記画像分割手段で得られた分割領域において鏡面ブロック領域を抽出し、その鏡面ブロック領域に対して、前記基準バランス量をもとに領域内の画素のバランス調整を実施する鏡面ブロック内バランス補正手段と、
    前記鏡面ブロック内バランス補正手段で処理された補正量を用いて、選択されていない他のブロック領域の色補正量を算出する色情報伝播補正手段と、
    前記色情報伝播補正手段で得られた補正量をもとに、鏡面ブロック内バランス補正手段で選択されていない該当ブロック領域内の画素に対してバランス調整を実施するブロック内色情報伝播調整手段と、
    から構成されることを特徴とする請求項９に記載の画像処理装置。
14. 入力されたカラー画像データを調整するカラー画像処理装置において、
    入力された画像信号の色情報と明るさ情報を算出する情報算出手段と、
    前記明るさ情報に対する視覚特性情報を算出する明るさ特性算出手段と、
    前記明るさ特性情報と明るさ情報より処理方式を選択する方式選択手段と、
    前記方式選択手段により、鏡面反射領域があると判断された場合に、その鏡面領域に従いラーバランス補正を実施する鏡面調整手段と、
    前記方式選択手段により、鏡面反射領域がないと判断された場合、画像全体の色平均値が無彩色になるようにカラーバランスを調整するグレー調整手段と、
    前記方式選択手段で選択された２つの方式のどちらかにより得られた処理済み画像を所定の出力形式で出力する出力手段と、
    から構成されることを特徴とする画像処理装置。
15. 前記鏡面調整手段は、前記方式選択手段により、鏡面反射領域があると判断された場合に、請求項９から１３のいずれかに記載の画像処理装置により画像全体もしくは所定の領域のカラーバランス補正を実施することを特徴とする、
    請求項１４に記載の画像処理装置。
16. 前記明るさ特性算出手段は、対象とする画素の明るさ情報を、その周囲の領域内の明るさ情報を代表する周囲明るさ情報と比較する明るさ対比処理により構成されることを特徴とする、
    請求項９から１４のいずれかに記載の画像処理装置。
17. 入力されたカラー画像データを調整するカラー画像処理方法をコンピュータにより行うための画像処理プログラムにおいて、
    前記画像処理方法は、
    入力された画像信号の色情報と明るさ情報を算出する情報算出ステップと、
    前記明るさ情報に対する視覚特性情報を算出する明るさ特性算出ステップと、
    前記明るさ特性情報と画像の色情報や明るさ情報より、入力画像のカラーバランス調整を行うバランス調整ステップと、
    前記バランス調整ステップで得られた処理済み画像を所定の出力形式で出力する出力ステップと、
    を備えることを特徴とする画像処理プログラム。
18. 入力されたカラー画像データを調整するカラー画像処理方法をコンピュータにより行うための画像処理プログラムにおいて、
    前記画像処理方法は、
    入力された画像信号の色情報と明るさ情報を算出する情報算出ステップと、
    前記明るさ情報に対する視覚特性情報を算出する明るさ特性算出ステップと、
    前記明るさ特性情報と明るさ情報より処理方式を選択する方式選択ステップと、
    前記方式選択ステップにより、鏡面反射領域があると判断された場合に、その鏡面領域に従いラーバランス補正を実施する鏡面調整ステップと、
    前記方式選択ステップにより、鏡面反射領域がないと判断された場合、画像全体の色平均値が無彩色になるようにカラーバランスを調整するグレー調整ステップと、
    前記方式選択ステップで選択された２つの方式のどちらかにより得られた処理済み画像を所定の出力形式で出力する出力ステップと、
    を備えることを特徴とする画像処理プログラム。
19. 入力された画像信号の色情報と明るさ情報を算出する情報算出部と、
    前記明るさ情報に対する視覚特性情報を算出する明るさ特性算出部と、
    前記明るさ特性情報と画像の色情報や明るさ情報より、入力画像のカラーバランス調整を行うバランス調整部と、
    前記バランス調整部で得られた処理済み画像を所定の出力形式で出力する出力部と、
    を備える集積回路。
20. 入力された画像信号の色情報と明るさ情報を算出する情報算出部と、
    前記明るさ情報に対する視覚特性情報を算出する明るさ特性算出部と、
    前記明るさ特性情報と明るさ情報より処理方式を選択する方式選択部と、
    前記方式選択部により、鏡面反射領域があると判断された場合に、その鏡面領域に従いラーバランス補正を実施する鏡面調整部と、
    前記方式選択部により、鏡面反射領域がないと判断された場合、画像全体の色平均値が無彩色になるようにカラーバランスを調整するグレー調整部と、
    前記方式選択部で選択された２つの方式のどちらかにより得られた処理済み画像を所定の出力形式で出力する出力部と、
    を備える集積回路。

Images