JP2005286548A

JP2005286548A - 有彩色の撮像対象を表す部分の影響を抑えたカラーバランス調整

Info

Publication number: JP2005286548A
Application number: JP2004095503A
Authority: JP
Inventors: Takashi Imai; 俊今井; Koji Kita; 光司喜多
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2004-03-29
Filing date: 2004-03-29
Publication date: 2005-10-13

Abstract

【課題】有彩色の撮像対象を表す部分の影響を抑えてカラーバランス調整を行うことができる技術を提供することを目的とする。
【解決手段】無彩色の撮像対象を表す部分が示し得る色を含む所定の無彩物体色範囲の色を有する無彩物体色画素の画素値と、無彩物体色範囲の外の色を含む所定の特定色範囲の色を有する画素数の大きさに関する大きさ特性値と、に応じてカラーバランス補正値を算出する。
【選択図】図６

Description

本発明は、画像のカラーバランス調整技術に関するものである。

デジタルスチルカメラやビデオカメラなどの画像生成装置で撮影した画像に関しては、画像全体にカラーバランス調整と呼ばれる処理が行われる（例えば特許文献１参照）。

特開２０００−１９７０７０号公報

カラーバランス調整を行うと、画像に生じている色かぶりを低減して、元々白色であった撮像対象を正しく白色で再現できるようになる。このようなカラーバランス調整は、ホワイトバランス調整とも呼ばれる。

カラーバランス調整では、色かぶりを低減するために、無彩色に近い色を有する部分を利用して、色の偏りの評価が行われる。この際、処理対象の画像における有彩色の撮像対象を表す部分が、色の偏りの評価に影響を与える場合がある。しかし、従来は、有彩色の撮像対象の影響を抑えてカラーバランス調整を行う点については工夫がされていなかった。

本発明は、上述した従来の課題を解決するためになされたものであり、有彩色の撮像対象を表す部分の影響を抑えてカラーバランス調整を行うことができる技術を提供することを目的とする。

上述の課題の少なくとも一部を解決するために、本発明における画像処理装置は、処理対象画像のカラーバランスを調整するための画像処理装置であって、前記処理対象画像に存在する画素に対して、前記処理対象画像における無彩色の撮像対象を表す部分が示し得る色を含む所定の無彩物体色範囲の色を有するか否かを判断する無彩物体色判断部と、前記処理対象画像に存在する画素に対して、前記無彩物体色範囲の外の色を含む所定の特定色範囲の色を有するか否かを判断する特定色判断部と、前記特定色範囲の色を有する画素数の大きさに関する大きさ特性値を算出する大きさ特性値算出部と、前記無彩物体色範囲の色を有する無彩物体色画素の画素値と前記大きさ特性値とに応じてカラーバランス補正値を算出するカラーバランス補正値算出部と、前記カラーバランス補正値を用いて前記処理対象画像全体に対してカラーバランス調整を実行するカラーバランス調整実行部と、を備える。

この画像処理装置によれば、カラーバランス補正値が、無彩物体色範囲の色を有する無彩物体色画素の画素値と、特定色範囲の大きさ特性値と、に応じて算出されるので、有彩色の撮像対象を表す部分の影響を抑えてカラーバランス調整を行うことができる。

上記画像処理装置において、前記特定色判断部は、前記判断を複数種類の特定色範囲毎に実行することが可能であり、大きさ特性値算出部は、前記複数種類の特定色範囲毎に前記大きさ特性値を算出することが可能であり、前記カラーバランス補正値算出部は、前記無彩物体色画素の画素値を用いて標準カラーバランス補正値を算出し、さらに、予め設定された複数種類のカラーバランス補正値の中から、前記カラーバランス調整の実行に用いるカラーバランス補正値を、前記標準カラーバランス補正値と、前記大きさ特性値が最大である特定色範囲と、に応じて選択する修正算出モードを有することが好ましい。

この構成によれば、修正算出モードでは、カラーバランス補正値が、予め設定された複数種類のカラーバランス補正値の中から、標準のカラーバランス補正値と、大きさ特性値が最大である特定色範囲と、に応じて選択されるので、カラーバランス補正値を容易に決定することができる。

上記画像処理装置において、前記カラーバランス補正値算出部は、（ｉ）前記大きさ特性値の最大値が大きさしきい値以下である場合には、前記無彩物体色画素の画素値を用いて前記標準カラーバランス補正値を算出する標準算出モードを実行し、（ｉｉ）前記大きさ特性値の最大値が大きさしきい値よりも大きい場合には、前記修正算出モードを実行してもよい。

この構成によれば、大きさ特性値の最大値が大きさしきい値以下であるか否かに応じてカラーバランス補正値を適切な値に設定することができる。具体的には、標準算出モードでは、無彩物体色画素の画素値を用いた適切なカラーバランス補正値を算出することができ、修正算出モードでは、撮像対象を表す部分の影響を適切に抑えたカラーバランス補正値を算出することができる。

上記画像処理装置において、前記カラーバランス補正値算出部は、前記無彩物体色画素の画素値に応じて決まる標準カラーバランス補正値と比べて、前記カラーバランス調整後における前記特定色範囲の色の彩度がより高くなるような値を有する修正カラーバランス補正値を算出する修正算出モードを有することが好ましい。

この構成によれば、修正算出モードでは、カラーバランス調整によって特定色範囲の色の彩度が過剰に低くなることを抑制することができる。

上記画像処理装置において、前記カラーバランス補正値算出部は、前記修正算出モードにおいて、前記標準カラーバランス補正値を算出するとともに、さらに、前記標準カラーバランス補正値を、前記特定色範囲の色の前記カラーバランス調整後の彩度が高くなる方向に修正することによって前記修正カラーバランス補正値を算出してもよい。

この構成によれば、特定色範囲の色の彩度が過剰に低くなることを抑制したカラーバランス補正値を適切に算出することができる。

上記画像処理装置において、前記特定色範囲の一部は前記無彩物体色範囲と重なっており、前記カラーバランス補正値算出部は、前記修正算出モードにおいて、前記無彩物体色範囲から前記特定色範囲を除いた残りの色範囲の色を有する画素の画素値を用いて前記修正カラーバランス補正値を算出してもよい。

上記画像処理装置において、前記特定色範囲の一部は前記無彩物体色範囲と重なっており、前記カラーバランス補正値算出部は、前記修正算出モードにおいて、前記無彩物体色範囲と前記特定色範囲とが重なっている範囲の色を有する画素の画素値に、前記大きさ特性値が大きいほど小さい重みを付して加算することによって、前記修正カラーバランス補正値を算出してもよい。

上記各画像処理装置において、前記カラーバランス補正値算出部は、（ｉ）前記大きさ特性値が大きさしきい値以下である場合には、前記無彩物体色画素の画素値を用いて前記標準カラーバランス補正値を算出する標準算出モードを実行し、（ｉｉ）前記大きさ特性値が大きさしきい値よりも大きい場合には、前記修正算出モードを実行するようにしてもよい。

この構成によれば、大きさ特性値が大きさしきい値以下であるか否かに応じてカラーバランス補正値を適切な値に設定することができる。具体的には、標準算出モードでは、無彩物体色画素の画素値を用いた適切なカラーバランス補正値を算出することができ、修正算出モードでは、撮像対象を表す部分の影響を適切に抑えたカラーバランス補正値を算出することができる。

なお、本発明は、種々の形態で実現することが可能であり、例えば、画像処理方法および画像処理装置、それらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体等の形態で実現することができる。

次に、この発明の実施の形態を実施例に基づいて以下の順序で説明する。
Ａ．装置の構成：
Ｂ．第１実施例：
Ｃ．第２実施例：
Ｄ．第３実施例：
Ｅ．第４実施例：
Ｆ．変形例：

Ａ．装置の構成：
図１は、本発明の一実施例としての画像処理システムの構成を示す説明図である。このシステムは、画像生成装置としてのデジタルカメラ１００と、画像処理装置としてのコンピュータ２００と、画像出力装置としてのプリンタ３００とを含んでいる。コンピュータ２００は、データ処理部２１０を備えている。データ処理部２１０はＣＰＵとメモリとを有しており、コンピュータプログラムを実行することによって種々の機能を実現することが可能である。図１の例では、データ処理部２１０は、データ形式変換部２１２と、カラーバランス調整部２１４と、印刷データ生成部２１６との機能を有している。

データ形式変換部２１２は、入力された画像データ（図示省略）の形式を、カラーバランス調整部２１４による処理に適した形式に変換する。例えば、カラーバランス調整部２１４を、RGB画像データを対象とした処理を実行するものとすることができる。このとき、データ形式変換部２１２は、デジタルカメラ１００が生成したRAW画像データを入力画像データとして用いる場合には、RAW画像データをRGB画像データへ変換する。また、デジタルカメラ１００が生成したJPEG画像データを入力画像データとして用いる場合には、JPEG画像データを伸長してRGB画像データへ変換する。RAW画像データやJPEG画像データを、RGB画像データへ変換する処理は、周知の種々の方法によって実現可能であるので、ここでは詳細な説明を省略する。なお、カラーバランス調整部２１４が用いる画像データの形式や、入力画像データの形式としては、他の種々の形式を採用することができる。

カラーバランス調整部２１４は、処理対象の画像データのカラーバランスを調整する処理を実行する（詳細は後述）。

印刷データ生成部２１６は、カラーバランス調整部２１４が処理した処理済み画像データに基づいて、プリンタ３００が利用可能な印刷データを生成し、印刷データをプリンタ３００へ供給する。具体的には、処理済み画像データをプリンタ３００が利用可能なインクのインク量データ（例えば、ＣＭＹＫ画像データ）に変換し、各インク毎にハーフトーン処理を実行することによって、印刷画素毎にドットの形成状態を示すドット形成データを生成する。さらに、印刷データ生成部２１６は、ドット形成データを配列し、印刷データを生成する。

なお、印刷データ生成部２１６の機能は、いわゆるプリンタドライバによって実現される。また、データ形式変換部２１２とカラーバランス調整部２１４との機能は、いわゆる画像処理アプリケーションによって実現される。この代わりに、データ形式変換部２１２とカラーバランス調整部２１４と印刷データ生成部２１６との機能をプリンタドライバによって実現してもよい。

このようなプリンタドライバや画像処理アプリケーションの機能を実現するためのプログラムは、コンピュータ読み取り可能な記録媒体に記録された形態で供給され得る。このような記録媒体としては、フレキシブルディスクやＣＤ−ＲＯＭ、光磁気ディスク、ＩＣカード、ＲＯＭカートリッジ、パンチカード、バーコードなどの符号が印刷された印刷物、コンピュータの内部記憶装置（ＲＡＭやＲＯＭなどのメモリ）および外部記憶装置等の、コンピュータが読み取り可能な種々の媒体を利用できる。

Ｂ．第１実施例：
図２は、第１実施例におけるカラーバランス調整部２１４の内部構成を示すブロック図である。第１実施例のカラーバランス調整部２１４は、無彩物体色判断部２２０と、特定色判断部２２２と、大きさ累積値算出部２２８と、カラーバランス補正値算出部２２４と、カラーバランス調整実行部２２６と、を備えている。

図３は、カラーバランス調整部２１４（図２）におけるカラーバランス調整処理の手順を示すフローチャートである。ステップＳ１００では、カラーバランス調整部２１４が、仮のカラーバランス補正値を算出する。

図４は、図３のステップＳ１００の詳細手順を示している。ステップＳ２００では、無彩物体色判断部２２０（図２）が、処理対象画像に含まれる各画素が無彩物体色範囲の色を有しているか否かを判定する。

図５は、無彩物体色範囲の一例を示す説明図である。第１実施例では、無彩物体色範囲ＡＲは、３つの色成分（Y,Cb,Cr）を用いて表される２つのパラメータ「Cr/Y」「Cb/Y」で規定される色空間上で設定されている。縦軸は「Cr/Y」を示し、横軸は「Cb/Y」を示している。また、図中の軌跡Ｐは、白色軌跡（黒体軌跡とも呼ぶ）を示している。この白色軌跡Ｐは、色温度の変化に対する黒体放射の色の変化を辿った軌跡を示しており、色温度の変化に対する無彩色の物体が示す色の軌跡を示していると考えることも可能である。無彩物体色範囲ＡＲは、この白色軌跡Ｐを含み、白色軌跡Ｐに沿うように設定されている。このような無彩物体色範囲ＡＲは、無彩物体色判断部２２０に予め設定されている。なお、図５には、緑色範囲ＧＲと、肌色範囲ＳＲと、青色範囲ＢＲとが示されているが、これらの色範囲については後述する。

無彩物体色判断部２２０は、まず、画素の画素値(この例ではＲＧＢ各色の階調値)からYCbCrの各色の階調値を算出する。YCbCrの各色成分の階調値を算出する式としては、種々のものを利用可能であり、例えば、JPEG圧縮・伸長に用いられるRGB表色系とYCbCr表色系との色変換式を用いることができる。次に、無彩物体色判断部２２０は、画素の色が無彩物体色範囲ＡＲ内の色か否かを判断する。

図６（Ａ）には、処理対象画像の一例が示されている。この処理対象画像ＰＩは、黄緑色の葉ＧＬを付けた木々と、白い花ＷＦと、を撮像した画像である。図６（Ｂ）には、処理対象画像ＰＩの画素分布が示されている。図６（Ｂ）では、図５と同様に、縦軸は「Cr/Y」を示し、横軸は「Cb/Y」を示している。また、図６（Ｂ）には、無彩色に近い一部の範囲が示されている。なお、この座標系では、原点Ｏに近いほど彩度が低く、原点Ｏから遠いほど彩度が高い。

塗りつぶした丸印ＭＣは、白い花ＷＦを表す画素を示している。これらの白い花ＷＦを表す画素は、無彩物体色範囲ＡＲ内の薄い青緑色を有している。

塗りつぶしの三角印ＭＴは、黄緑色の葉ＧＬを表す画素を示している。これらの黄緑色の葉ＧＬを表す画素は、彩度が比較的高い範囲（図６（Ｂ）の左側の範囲）から、彩度が比較的低い範囲（無彩物体色範囲ＡＲ内）へ延びるように分布している。

撮像して得られる画像（以下「撮像画像」と呼ぶ）における撮像対象の色（以下「再現色」と呼ぶ）は、撮像対象で反射した光の色を表している。このような再現色は、撮像対象が光源から受ける光の強さや、光源と撮像対象と撮像装置（例えば、デジタルカメラ１００）との位置関係等によって変わり得る。例えば、同じ撮像対象であっても、光源の光をより強く受けている部分の再現色は、より白っぽい色となる場合がある。また、撮像対象の鏡面反射によって、再現色が、より白っぽい色となる場合もある。このように、撮像画像においては、同じ撮像対象を表す部分であっても、彩度が比較的高い部分と、彩度が比較的低い部分とが生じる場合がある。図６（Ｂ）の例では、黄緑色の葉ＧＬを表す画素の中に彩度の高いものと低いものとが生じている。

このような処理対象画像ＰＩでは、黄緑色の葉ＧＬを表す画素の一部と、白い花ＷＦを表す画素とが、無彩物体色範囲ＡＲの色を有していると判断される（図４：ステップＳ２００：Ｙｅｓ）。以下、無彩物体色範囲ＡＲの色を有している画素を「無彩物体色画素」と呼ぶ。

次のステップＳ２１０では、カラーバランス補正値算出部２２４が、無彩物体色画素のＲＧＢ各色成分の階調値を積算する。その結果、以下の（１ａ）〜（１ｃ）に従ったＲＧＢ各色の累積値SumR,SumG,SumBが算出される。

SumR = Σ Ri ...（１ａ）
SumG = Σ Gi ...（１ｂ）
SumB = Σ Bi ...（１ｃ）

ここで、Ri,Gi,Biは各色成分の階調値である。Σは、無彩物体色画素の全てについての和をとることを意味している。

次のステップＳ２２０では、カラーバランス補正値算出部２２４が、処理対象画像内の全ての画素に関する処理が終了したか否かを判断し、終了すると次のステップＳ２３０に移行する。

ステップＳ２３０では、カラーバランス補正値算出部２２４が、累積値SumR、SumG、SumBを用いて３種類の仮カラーバランス補正値AWB_Rp、AWB_Gp、AWB_Bpを算出する。第１実施例では、仮カラーバランス補正値AWB_Rp、AWB_Gp、AWB_Bpは、以下の（２ａ）〜（２ｃ）式に従って算出される。

AWB_Rp = SumG / SumR ...（２ａ）
AWB_Gp = SumG / SumG = 1.0 ...（２ｂ）
AWB_Bp = SumG / SumB ...（２ｃ）

このように、３つの仮カラーバランス補正値（AWB_Rp、AWB_Gp、AWB_Bp）は、Ｇ成分の階調値の累積値（SumG）を、ＲＧＢの各色成分のそれぞれの累積値（SumR、SumG、SumB）で割った値である。これは、無彩物体色画素の各色成分の累積値が表す色と、Ｇ成分を基準とする無彩色とのズレを表している。すなわち、仮カラーバランス補正値は、無彩物体色画素の色が無彩色からずれている場合に、無彩物体色画素の色を無彩色に近づける作用を有している。なお、この仮カラーバランス補正値は、本発明における「標準カラーバランス補正値」に相当する。

なお、標準カラーバランス補正値は、無彩物体色画素の画素値を用い、予め決められた標準の算出方法に従って得られるカラーバランス補正値であればよい。標準の算出方法としては、式（１ａ）〜（１ｃ）、（２ａ）〜（２ｃ）に従った方法に限らず他の方法を用いても良い。例えば、白色軌跡Ｐに近いほど大きい重みを付して算出する方法を用いても良い。

ところで、無彩物体色画素には、元々無彩色ではない色を有する撮像対象を表す画素が含まれる可能性がある。例えば、図６の例では、黄緑色の葉ＧＬを表す画素（黒三角で示す）の一部が無彩物体色画素に含まれている。その結果、仮カラーバランス補正値は、黄緑色を無彩色に近づけるような値となる。この仮カラーバランス補正値をそのまま用いてカラーバランス調整を実行すると、黄緑色の彩度が抑えられ、その補色である青色の彩度が強調されるので、白い花ＷＦを表す画素の色が青みを帯びてしまう。そこで、カラーバランス補正値算出部２２４は、図３のステップＳ１１０〜Ｓ１４０の処理を実行することによって、カラーバランス補正値を修正する。

ステップＳ１１０では、累積値算出部２２８（図２）が、特定の色を有する画素について、階調値の累積値を算出する。

図７は、図３のステップＳ１１０の詳細手順を示している。ステップＳ３００では、特定色判断部２２２（図２）が、処理対象画像に含まれる各画素が特定色範囲の色を有しているか否かを判断する。

図５には、特定色範囲の一例が示されている。第１実施例では、３つの特定色範囲ＧＲ、ＳＲ、ＢＲが設定されている。緑色範囲ＧＲは、色相が黄緑色に近い色の範囲であり、植物や葉の緑色を示している。また緑色範囲ＧＲは、無彩物体色範囲ＡＲと重なる彩度の低い範囲と、無彩物体色範囲ＡＲの外の彩度の高い範囲とを含んでいる。

同様に、肌色範囲ＳＲは、色相が肌色に近い色の範囲であり、人物の肌色を示している。また、青色範囲ＢＲは、色相が青色に近い色の範囲であり、空や海の青色を示している。これらの色範囲ＳＲ、ＢＲは、いずれも、無彩物体色範囲ＡＲと重なる彩度の低い範囲と、無彩物体色範囲ＡＲの外の彩度の高い範囲とを含んでいる。

なお、これらの特定色範囲ＧＲ、ＳＲ、ＢＲの原点Ｏとは逆の方向に関しては、「Cr/Y」と「Cb/Y」とが値を取り得る範囲内の、原点Ｏから最も遠い点まで拡がっている。また、これらの特定色範囲ＧＲ、ＳＲ、ＢＲは、特定色判断部２２２に予め設定されている。

特定色判断部２２２は、各画素の色が、３種類の特定色範囲ＧＲ、ＳＲ、ＢＲの内のいずれかの色範囲内にあるか否かを判断する（図７：ステップＳ３００）。例えば、図６に示す処理対象画像ＰＩでは、黄緑色の葉ＧＬを表す画素（黒三角で示す）が、緑色範囲ＧＲの色を有していると判定される。以下、特定色範囲の色を有している画素を「特定色画素」と呼ぶ。なお、特定色判断部２２２は、各画素の色を、無彩物体色判断部２２０の算出結果（図４：ステップＳ２００）を用いて取得することができる。

次のステップＳ３１０では、大きさ累積値算出部２２８が、特定色画素のＲＧＢ各色成分の階調値を、３つの特定色範囲ＧＲ、ＳＲ、ＢＲ毎に積算して、大きさ累積値CVを算出する。具体的には、以下の（３ａ）〜（３ｄ）に従った大きさ累積値CVが、３つの特定色範囲ＧＲ、ＳＲ、ＢＲ毎に算出される。

SSumR = Σ Ri ...（３ａ）
SSumG = Σ Gi ...（３ｂ）
SSumB = Σ Bi ...（３ｃ）
CV = SSumR + SSumG + SSumB ...（３ｄ）

ここで、Ri,Gi,BiはＲＧＢ各色成分の階調値である。SSumR,SSumG,SSumBはＲＧＢ各色成分の累積値である。Σは、特定色範囲毎に特定色画素の全てについての和をとることを意味している。第１実施例では、３つの特定色範囲ＧＲ、ＳＲ、ＢＲのそれぞれに対して、大きさ累積値CVが算出される。

図６に示す処理対象画像ＰＩには、緑色範囲ＧＲ内の色を有する画素が比較的多く存在しているので、緑色範囲ＧＲに対して比較的大きな大きさ累積値CVが算出される。一方、肌色範囲ＳＲの色を有する画素数と、青色範囲ＢＲの色を有する画素数とは比較的少ないので、これらの特定色範囲ＳＲ、ＢＲに対しては、比較的小さな大きさ累積値CVが算出される。ここで、大きさ累積値CVは、画素数が多いほど大きくなる傾向がある。従って、各特定色範囲毎に算出される大きさ累積値CVは本発明における「大きさ特性値」に相当する。

次のステップＳ３２０では、大きさ累積値算出部２２８が、処理対象画像内の全ての画素に関する処理が終了したか否かを判断し、終了すると、図３のステップＳ１２０に移行する。

ステップＳ１２０では、カラーバランス補正値算出部２２４が、仮カラーバランス補正値の信頼度RVを決定する。この信頼度RVは、各特定色範囲毎に、大きさ累積値CVが大きいほど小さくなるように決定される。図８は、信頼度RVと大きさ累積値CVとの関係を示すグラフである。第１実施例では、信頼度RVは以下の（４）式に従って決定される。

RV = 1 / CV ...（４）

この信頼度RVについては、以下のように説明することができる。特定色画素の数が多いほど、特定色範囲の色を有する有彩色の撮像対象（以下「特定有彩色撮像対象」と呼ぶ）を表す画素数が多くなる傾向がある。一方、上述したように、撮像対象を表す画素の彩度は種々の値に変化し得るので、有彩色の撮像対象を表す画素の色が無彩色に近い色となる場合がある。このような、無彩色に近い色となる画素の数は、その撮像対象を表す画素数が多いほど多くなる傾向がある。従って、特定有彩色撮像対象を表す画素のうちで、彩度が低いために仮カラーバランス補正値の算出に用いられた画素の数は、特定色画素の数が多いほど多くなる傾向がある。その結果、仮カラーバランス補正値をそのまま用いた場合には、特定色画素の数が多いほど、特定色範囲の色をより無彩色に近づけてしまう可能性が高くなる。換言すれば、特定色画素の数が多いほど、すなわち、特定色範囲の大きさ累積値が大きいほど、仮カラーバランス補正値の信頼性は低いということができる。ここで、特定有彩色撮像対象を表す画素の彩度をより小さくするようなカラーバランス補正値は、「特定色範囲の影響をより強く受けている」ということができる。換言すれば、「有彩色の撮像対象を表す画素の影響をより強く受けている」ということもできる。

例えば、図６の処理対象画像ＰＩでは、緑色範囲ＧＲに対しては、比較的大きな大きさ累積値CVが算出されるので、比較的小さな信頼度RVが得られる。これは、仮カラーバランス補正値をそのまま用いると、緑色範囲ＧＲの色の彩度を過剰に下げてしまう可能性が高いことを示している。一方、肌色範囲ＳＲと青色範囲ＢＲとに対しては、比較的大きな小さな累積値CVが算出されるので、比較的大きな信頼度RVが得られる。これは、仮カラーバランス補正値をそのまま用いても、肌色範囲ＳＲや青色範囲ＢＲの色の彩度を過剰に下げてしまう可能性が低いことを示している。

各特定色範囲の信頼度RVが決定されたら、次のステップＳ１３０（図３）で、カラーバランス補正値算出部２２４（図２）は、信頼度RVが予め設定された信頼度しきい値未満である特定色範囲が存在するか否か、すなわち、信頼度RVの最小値が信頼度しきい値未満であるか否かを判断する。

全ての特定色範囲の信頼度RVが信頼度しきい値以上である場合には（ステップＳ１３０：Ｎｏ）、カラーバランス補正値算出部２２４は、カラーバランス補正値を修正せずにステップＳ１５０に移行する。

信頼度RVが信頼度しきい値未満である特定色範囲が存在する場合には（ステップＳ１３０：Ｙｅｓ）、次のステップＳ１４０で、カラーバランス補正値算出部２２４は、仮カラーバランス補正値AWB_Rp、AWB_Gp、AWB_Bpを修正することによって、カラーバランス調整に用いるカラーバランス補正値AWB_R、AWB_G、AWB_Bを算出する。具体的には、グレー点を移動させることによって、カラーバランス補正値の修正を行う。

図６（Ｂ）には、グレー点の一例が示されている。図中の仮グレー点ＰＡＰは、仮カラーバランス補正値に従ったカラーバランス調整によるグレー点を示している。ここで、グレー点とは、カラーバランス調整によって無彩色に調整される色を意味している。図６（Ｂ）の例では、仮グレー点ＰＡＰは黄緑色を有している。

第１実施例では、カラーバランス調整は、ＲＧＢ各色成分の階調値にカラーバランス補正値を乗じることによって実行される（詳細は後述）。従って、ＲＧＢ各色成分の階調値の比率が、ＲＧＢ各色成分の仮カラーバランス補正値の逆数の比率と同じとなる色がグレー点となる。具体的には、ＲＧＢ各色成分の階調値の比率が「1/AWB_Rp：1/ AWB_Gp：1/ AWB_Bp」となる色がグレー点となる。また、図６（Ｂ）では、Cb成分とCr成分とのそれぞれをY成分で割ったパラメータ値が色空間を規定するパラメータとして用いられている。ここで、YCbCr各色成分は、ＲＧＢ各色成分の線形結合で表されている。従って、ＲＧＢ各色成分の階調値の比率が同じ色は、輝度値Yに拘わらずに、図６（Ｂ）の色空間では同じ座標点で表される。すなわち、グレー点は、輝度値Yに拘わらずに図６（Ｂ）中の１点で表される。換言すれば、図中の１点が、１組のカラーバランス補正値を表していると考えることもできる。

図９は、カラーバランス補正値の修正処理を説明する説明図である。図９（Ａ）には、グレー点を移動させる方向が示されている。第１実施例では、特定色範囲毎にグレー点の移動方向が予め設定されている。緑色修正方向ＧＤは、緑色範囲ＧＲの信頼度が信頼度しきい値未満である場合にグレー点を移動させる方向を示している。この方向は、緑色範囲ＧＲから原点（無彩色）へ向かう方向、すなわち、緑色範囲ＧＲ内の色の彩度が、仮カラーバランス補正値をそのまま用いた場合と比べて高くなる方向に設定されている。以下、特定色範囲から原点（無彩色）へ向かう方向を「特定色範囲彩度維持方向」と呼ぶ。肌色範囲ＳＲ用の肌色修正方向ＳＤと、青色範囲ＢＲ用の青色修正方向ＢＤと、に関しても、緑色範囲ＧＲ用の緑色修正方向ＧＤと同様に設定されている。

図９（Ｂ）には、グレー点を移動させる距離が示されている。第１実施例では、移動距離Ｄは、信頼度RVの増加に伴って直線的に減少するように設定されている。また、移動距離Ｄは、特定色範囲毎に設定されている。この際、移動距離Ｄは、仮グレー点ＰＡＰを特定色範囲の移動方向に沿って移動させた場合の白色軌跡Ｐに到達する距離Ｄｍａｘよりも小さくなるように設定されている。

図６（Ｂ）には、修正後のカラーバランス補正値を示すグレー点ＡＰが示されている。図６（Ｂ）の例では、緑色範囲ＧＲの信頼度のみが信頼度しきい値未満であるものとしている。そこで、修正後のグレー点ＡＰは、修正前のグレー点ＰＡＰから緑色修正方向ＧＤに移動した点に設定される。このとき、移動距離は、緑色範囲ＧＲの信頼度RVに基づき、図９（Ｂ）のグラフに従って決定される。

カラーバランス補正値算出部２２４は、修正後のグレー点ＡＰに従って、修正後のカラーバランス補正値AWB_R、AWB_G、AWB_Bを算出する。具体的には、グレー点ＡＰで定まるＲＧＢ各色成分の比率において、Ｇ成分を1.0とすることによって、他の色成分ＲＢのカラーバランス補正値を決定する。

なお、信頼度RVが信頼度しきい値未満である特定色範囲（以下「低信頼度特定色範囲」と呼ぶ）が複数ある場合には、各低信頼度特定色範囲毎にグレー点を移動させればよい。例えば、緑色範囲ＧＲと肌色範囲ＳＲとについて信頼度RVが信頼度しきい値未満である場合には、緑色修正方向ＧＤに緑色範囲ＧＲの信頼度RVで決まる移動距離だけグレー点を移動させ、さらに、肌色修正方向ＳＤに肌色範囲ＳＲの信頼度RVで決まる移動距離だけグレー点を移動させればよい。

こうして修正済カラーバランス補正値（「修正カラーバランス補正値」とも呼ぶ）が算出されたら、次のステップＳ１５０（図３）で、カラーバランス調整実行部２２６（図２）が、修正済カラーバランス補正値に従って、カラーバランス調整を実行し、処理済み画像データを生成する。

図１０は、カラーバランス調整の内容を表すグラフの一例を示す説明図である。カラーバランス調整は、処理対象画像データのＲＧＢの各色成分に関して階調補正を実行する処理である。第１実施例では、処理済み画像データにおける各色成分の階調値Rout、Gout、Boutは、以下の（５ａ）〜（５ｃ）式に従って算出される。

Rout = AWB_R × Rin ...（５ａ）
Gout = AWB_G × Gin = Gin ...（５ｂ）
Bout = AWB_B × Bin ...（５ｃ）

ここで、Rin,Gin,Binは、処理対象画像データにおける各色成分の階調値である。このように、第１実施例では、処理済み画像データにおける階調値（Rout,Gout,Bout）は、元々の階調値（Rin,Gin,Bin）に、各色成分の補正値を乗じて得られる値である。なお、第１実施例では、各色成分の補正値がＧ成分を基準として設定されているので、Ｇ成分の階調値は調整前後で同じ値となる。

図６（Ｂ）の例では、緑色修正方向ＧＤに向かって修正された後のグレー点ＡＰで決まる修正済カラーバランス補正値に従ってカラーバランス調整が実行される。その結果、黄緑色の彩度を過剰に抑えて白い花ＷＦを表す画素が青みを帯びてしまうことを抑制し、白い花ＷＦを無彩色で再現することが可能となる。

このように、第１実施例では、特定色範囲の信頼度が信頼度しきい値未満である場合には、信頼度に基づいてカラーバランス補正値を修正しているので、有彩色の撮像対象の色の影響を抑制したカラーバランス調整を実行することができる。特に、特定色範囲の信頼度RVが低いほど、すなわち、大きさ累積値CVが大きいほど、より大きくカラーバランス補正値が修正されるので、有彩色の撮像対象を表す画素の色を過剰に無彩色に近づけてしまうことを抑制し、元々無彩色の撮像対象を表す画素の色を無彩色に近づけることが可能となる。

なお、第１実施例では、移動距離Ｄを信頼度RVの増加に伴って直線的に減少するものとしたが、これ以外の種々の形式を採用することができる。例えば、移動距離Ｄが信頼度RVに反比例する形式を用いてもよい。また、移動距離Ｄを一定値としてもよい。但し、移動距離Ｄは、信頼度RVが小さいほど、すなわち、大きさ累積値CVが大きいほど長いことが好ましい。また、全ての特定色範囲に共通の移動距離Ｄを用いることとしてもよい。

また、第１実施例においては、グレー点を移動させる方向が各特定色範囲毎に予め設定されていたが、処理対象画像に基づいて移動方向を決定してもよい。例えば、特定色範囲の色を有する画素の平均の色を表す座標点から原点（無彩色）へ向かう方向をグレー点の移動方向として用いてもよい。この場合も、グレー点の移動方向を、各特定色範囲毎に決定すればよい。

Ｃ．第２実施例：
図１１は、第２実施例におけるカラーバランス補正値の修正処理を説明する説明図である。図９に示した第１実施例との差異は、図３の処理手順のステップＳ１４０において、予め設定されたカラーバランス補正値の複数の候補の中から、実際に用いるカラーバランス補正値が選択される点であり、他の構成や動作は第１実施例と同じである。

図１１（Ａ）には、無彩物体色範囲ＡＲと、カラーバランス補正値の候補を示す候補グレー点（白丸と、白四角および二重丸で示す）と、が示されている。第２実施例では、無彩物体色範囲ＡＲが４つの色範囲ＡＲ１〜ＡＲ４に区分されている。４つの色範囲の内の３つの色範囲ＡＲ１〜ＡＲ３のそれぞれに対して、予め候補グレー点が設定されている。これら３つの色範囲ＡＲ１〜ＡＲ３は、互いに異なるハッチングを付して示されている。

第１範囲ＡＲ１は、無彩物体色範囲ＡＲの左上の範囲であり、白色軌跡Ｐを含んでいる。この第１範囲ＡＲ１に対しては、３つの候補グレー点Ｂ１、Ｇ１、Ｓ１が設定されている。３つの候補グレー点Ｂ１、Ｇ１、Ｓ１はいずれも第１範囲ＡＲ１内の白色軌跡Ｐ上に設定されている。また、これら３つの候補グレー点Ｂ１、Ｇ１、Ｓ１は、仮グレー点ＰＡＰが第１範囲ＡＲ１内にある場合に用いられる。なお、仮グレー点ＰＡＰは、前述したように、仮カラーバランス補正値に従ったカラーバランス調整によるグレー点を示している。

図１１（Ｂ）は、最低信頼度特定色範囲と、採用される候補グレー点との対応関係を示す表である。ここで、最低信頼度特定色範囲は、３つの特定色範囲ＧＲ、ＳＲ、ＢＲの中で信頼度RVが最低の特定色範囲である。仮グレー点ＰＡＰが第１範囲ＡＲ１内にあるときは、３つの候補グレー点Ｂ１、Ｇ１、Ｓ１のうちの１つが最終的なグレー点として採用される。すなわち、肌色範囲ＳＲの信頼度RVが最低である場合には、肌色候補グレー点Ｓ１が採用される。また、緑色範囲ＧＲの信頼度RVが最低である場合には、緑色候補グレー点Ｇ１が採用され、青色範囲ＢＲの信頼度が最低である場合には、青色候補グレー点Ｂ１が採用される。

図１１と図５とから理解できるように、最低信頼度特定色範囲が肌色範囲ＳＲである場合には、第１範囲ＡＲ１の３つの候補グレー点のうちで、最低信頼度特定色範囲から原点へ向かう方向（最低信頼度特定色彩度維持方向）に最も偏った候補グレー点Ｓ１が採用される。従って、肌色範囲ＳＲがカラーバランス補正値に与える影響を低減することができる。これは、最低信頼度特定色範囲が青色範囲ＢＲである場合も同様である。

また、第２範囲ＡＲ２は、無彩物体色範囲ＡＲの左下の範囲であり、白色軌跡Ｐを含まない色範囲である。この第２範囲ＡＲ２に対しては、３つの候補グレー点Ｂ２、Ｇ２、Ｓ２が設定されている。２つの候補グレー点Ｓ２、Ｂ２は、第２範囲ＡＲ２内に設定されている。また、緑色候補グレー点Ｇ２は、第２範囲ＡＲ２の外であるとともに、無彩物体色範囲ＡＲの中央の白色軌跡Ｐ上に設定されている。また、これら３つの候補グレー点Ｂ２、Ｇ２、Ｓ２は、仮グレー点ＰＡＰが第２範囲ＡＲ２内にある場合に用いられる。

最低信頼度特定色範囲が肌色範囲ＳＲである場合には、仮グレー点ＰＡＰが第１範囲ＡＲ１内にある場合と同様に、最低信頼度特定色彩度維持方向に最も偏った候補グレー点Ｓ２が採用される（図１１）。最低信頼度特定色範囲が青色範囲ＢＲである場合も同様に、最低信頼度特定色彩度維持方向に最も偏った候補グレー点Ｂ２が採用される。

また、第３範囲ＡＲ３は、無彩物体色範囲ＡＲの右下の範囲であり、白色軌跡Ｐを含んでいる。この第３範囲ＡＲ３に対しても、第１範囲ＡＲ１と同様に、青色候補グレー点Ｂ３と、緑色候補グレー点Ｇ３と、肌色候補グレー点Ｓ３とが設定されている。これら３つの候補グレー点Ｂ３、Ｇ３、Ｓ３は、仮グレー点ＰＡＰが第１範囲ＡＲ１内にある場合と同様に使い分けられる（図１１）

また、第４範囲ＡＲ４は、無彩物体色範囲ＡＲの中央の範囲である。仮グレー点ＰＡＰが第４範囲ＡＲ４内にある場合には、カラーバランス補正値算出部２２４は、特定色範囲の信頼度RVに拘わらずに、仮グレー点ＰＡＰをそのまま採用してカラーバランス補正値を決定する。

このように、第２実施例では、候補グレー点、すなわち、候補カラーバランス補正値が、仮グレー点ＰＡＰと最低信頼度特定色範囲との組み合わせに関連付けて予め設定されているので、カラーバランス補正値の修正処理を簡単なものとすることができる。

なお、第２実施例では、同じ仮グレー点ＰＡＰに対して採用され得る複数の候補グレー点は、以下の特徴を有している。すなわち、これら複数の候補グレー点の少なくとも一部に関しては、着目した候補グレー点が、複数の候補グレー点の中で、その着目した特定色範囲彩度維持方向に最も偏っている。換言すれば、着目している特定色範囲の色のカラーバランス調整後の彩度が最も高くなる候補グレー点は、その特定色範囲の信頼度が最低、すなわち、その特定色範囲の大きさ累積値が最大である場合の候補グレー点である。

例えば、図１１において、仮グレー点ＰＡＰが第３範囲ＡＲ３にある場合を考える。ここで、採用され得る３つの候補グレー点Ｂ３、Ｇ３、Ｓ３の中で、最も肌色範囲彩度維持方向（右下方向）に偏っている（肌色範囲ＳＲの色の彩度が最も高くなる）のは肌色候補グレー点Ｓ３である。また、最も青色範囲彩度維持方向（左上方向）に偏っている（青色範囲ＢＲの色の彩度が最も高くなる）のは青色候補グレー点Ｂ３である。第１範囲ＡＲ１や第２範囲ＡＲ２についても、同様に、候補グレー点が設定されている。

このように、複数の候補グレー点の中で、着目した特定色範囲彩度維持方向に最も偏っているグレー点が、着目した候補グレー点であるように候補グレー点を設定すれば、特定色範囲の色の彩度を過剰に低く抑えてしまうことを抑制することができる。

なお、図１１の例では、各色範囲ＡＲ１〜ＡＲ３に関して、最も緑色範囲彩度維持方向（右方向）に偏っている候補グレー点は、緑色候補グレー点Ｇ１、Ｇ２、Ｇ３ではない。これは、緑色候補グレー点を白色軌跡Ｐ上に設定しているからである。このように、候補グレー点を白色軌跡Ｐ上に設定すれば、元々無彩色であった撮像対象を表す色が、無彩色から大きく外れることを抑制することができる。

また、図１１の例では、３つの色範囲ＡＲ１〜ＡＲ３では、第４範囲ＡＲ４と比べて、仮グレー点ＰＡＰが特定色範囲の影響を強く受けている可能性が高い。具体的には、第１範囲ＡＲ１では肌色範囲ＳＲの影響を強く受けている可能性が高く、第２範囲ＡＲ２では緑色範囲ＧＲの影響を、第３範囲ＡＲ３では青色範囲ＢＲの影響を、それぞれ、強く受けている可能性が高い。第２実施例では、仮グレー点ＰＡＰに対する特定色範囲の影響が強い可能性が高い場合に（第１範囲ＡＲ１〜第３範囲ＡＲ３）カラーバランス補正値の修正を行うので、適切なカラーバランス調整を実行することができる。

なお、無彩物体色範囲ＡＲを区分する数は４に限らず２以上の任意の数としてもよい。また、無彩物体色範囲ＡＲを区分しないこととしてもよい。区分しない場合には、図３の処理手順のステップＳ１４０において、仮グレー点ＰＡＰとは無関係に、最低信頼度特定色範囲で決まる候補グレー点を用いる構成とすればよい。

なお、候補グレー点は、白色軌跡Ｐから外れていてもよい。さらに、その候補グレー点を採用し得る仮グレー点ＰＡＰが値を取り得る色範囲から外れていても良い。例えば、第３範囲ＡＲ３用のグレー点を、第３範囲ＡＲ３の外に設定してもよい。いずれの場合も、同じ仮グレー点ＰＡＰに対して採用され得る複数の候補グレー点のうちの少なくとも一部について、着目している特定色範囲の色のカラーバランス調整後の彩度が最も高くなる候補グレー点が、その特定色範囲の大きさ累積値が最大である場合の候補グレー点であることが好ましい。

Ｄ．第３実施例：
図１２は、第３実施例におけるカラーバランス調整処理の手順を示すフローチャートである。図３に示す処理手順との差異は２つある。１つは、図３のステップＳ１００が省略された代わりに、信頼度が信頼度しきい値以上である場合（ステップＳ５３０：Ｎｏ）のステップＳ５００が追加されている点である。このステップＳ５００は、図３のステップＳ１００と同じ処理である。もう１つは、ステップＳ５４０の処理内容が、図３のステップＳ１４０と異なっている点である。他の構成や動作は第１実施例と同じである。ステップＳ５１０〜Ｓ５３０は、図３のステップＳ１１０〜Ｓ１３０と同じである。また、ステップＳ５５０は、図３のステップＳ１５０と同じである。

全ての特定色範囲の信頼度RVが信頼度しきい値以上である場合（ステップＳ５３０：Ｎｏ）には、カラーバランス補正値算出部２２４は、標準のカラーバランス補正値を算出して（ステップＳ５００）、ステップＳ５５０に移行する。この標準カラーバランス補正値は、第１実施例（図３、図４）における仮カラーバランス補正値と同じである。

信頼度RVが信頼度しきい値未満である特定色範囲が存在する場合には（ステップＳ５３０：Ｙｅｓ）、ステップＳ５４０で、修正カラーバランス補正値を算出する。ここで「修正カラーバランス補正値」とは、カラーバランス補正値が、標準のカラーバランス補正値とは異なる値を有することを意味し、実際に標準のカラーバランス補正値を算出して修正していることを意味するものではない。これは他の実施例についても同様である。

図１３は、第３実施例における修正カラーバランス補正値の算出処理（ステップＳ５４０）を説明する説明図である。この算出処理では、無彩物体色範囲ＡＲが修正され、修正後の無彩物体色範囲の画素を用いて修正カラーバランス補正値が算出される。

第３実施例では、カラーバランス補正値算出部２２４は、無彩物体色範囲ＡＲから、低信頼度特定色範囲を除いた残りの範囲を用いて、修正カラーバランス補正値を算出する。図１３には、図６に示す処理対象画像ＰＩに対して修正カラーバランス補正値を算出する様子が示されている。図１３には、図６（Ｂ）と同様に、処理対象画像ＰＩの画素分布が示されている。この処理対象画像ＰＩでは、緑色範囲ＧＲの信頼度RVが信頼度しきい値未満である。そこで、カラーバランス補正値算出部２２４は、無彩物体色範囲ＡＲから、緑色範囲ＧＲと重なっている範囲を除いた残りの範囲（以下「修正後無彩物体色範囲ＭＡＲ」と呼ぶ。図１３ではハッチングを付して示されている）内の色を有する画素を用いて、修正カラーバランス補正値を算出する。その結果、黄緑色の葉ＧＬを表す画素ＭＴのうちの、修正カラーバランス補正値ＡＰａの算出に用いられる画素の数を減らすことが可能となる。その結果、この修正カラーバランス補正値ＡＰａを用いてカラーバランス調整を実行すれば、無彩色の撮像対象（図１３、図６の例では、白い花ＷＦ）を再現する色をより無彩色に近づけることができる。なお、修正カラーバランス補正値の算出処理の内容は、図４と同様である。

なお、図１３に示す例では、低信頼度特定色範囲が１つ（緑色範囲ＧＲ）だけであったが、複数の特定色範囲に関して信頼度RVが信頼度しきい値未満である場合にも、同様に無彩物体色範囲ＡＲを修正することができる。例えば、緑色範囲ＧＲと青色範囲ＢＲとに関して信頼度RVが信頼度しきい値未満である場合には、無彩物体色範囲ＡＲから、緑色範囲ＧＲと重なっている範囲と、青色範囲ＢＲと重なっている範囲とを除けばよい。

このように、第３実施例では、無彩物体色範囲ＡＲから、低信頼度特定色範囲と重なっている範囲を除いた残りの範囲（修正後無彩物体色範囲ＭＡＲ）内の色を有する画素を用いて修正カラーバランス補正値ＡＰａを算出している。その結果、低信頼度特定色範囲の色の彩度を過剰に抑えることを抑制することができる。換言すれば、修正カラーバランス補正値ＡＰａは、標準カラーバランス補正値と比べて、カラーバランス調整後における低信頼度特定色範囲の色の彩度がより高くなるような値を有しているということもできる。

Ｄ．第４実施例：
上述の第３実施例において、低信頼度特定色範囲の色を有する画素を、修正カラーバランス補正値の算出から除く代わりに、信頼度RVに応じて決まる重みを付して修正カラーバランス補正値の算出に用いてもよい。

図１４は、信頼度RVから重みｋを求めるためのグラフの一例を示している。横軸は信頼度RVを示し、縦軸は重みｋを示している。信頼度RVが信頼度しきい値RVth以上の範囲では、重みｋは1.0に設定される。信頼度RVが信頼度しきい値RVthから減少して信頼度下限値RVlowへ至る範囲では、重みｋは1.0から直線的に減少して0.0に至る。信頼度RVが信頼度下限値RVlow以下の範囲では、重みｋは0.0に設定される。

第４実施例では、カラーバランス補正値算出部２２４は、低信頼度特定色範囲の色を有する無彩物体色画素に対しては、図１４のグラフに従って決定される重みｋを付して、カラーバランス補正値を算出する。具体的には、ＲＧＢ各色成分の階調値に重みｋを乗じた値を積算してＲＧＢ各色の累積値を算出する。そして、ＲＧＢ各色の累積値を用いてカラーバランス補正値を算出する。

このように、第４実施例では、低信頼度特定色範囲の色を有する画素に対しては、小さい重みを付して用いることによって、修正カラーバランス補正値を算出する。その結果、低信頼度特定色範囲の色の彩度を過剰に低減させることを抑制することができる。換言すれば、修正カラーバランス補正値は、標準カラーバランス補正値と比べて、カラーバランス調整後における低信頼度特定色範囲の色の彩度がより高くなるような値を有しているということもできる。

なお、重みｋは、直線的に変化させる代わりに曲線的に変化させてもよく、また、連続的に変化させる代わりに不連続的に変化させてもよい。また、重みｋは、信頼度RVの全範囲においてゼロより大きな値となるように設定されていてもよい。いずれの場合も、重みｋを、信頼度RVが小さいほど小さくなるように設定すれば、信頼度が信頼度しきい値未満である特定色範囲の色を有する画素がカラーバランス補正値に与える影響を適切に抑制することが可能となる。このとき、重みｋが信頼度RVの一部の範囲において一定値であってもよい。ただし、信頼度RVの増大に伴って重みｋが減少しないことが好ましい。

Ｆ．変形例：
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。

Ｆ１．変形例１：
上述した各実施例では、大きさ累積値CVとして、ＲＧＢ各色成分の累積値の和を用いることとしているが、この代わりに、一部の色成分（例えば、Ｇ成分のみ）の階調値の累積値を用いてもよい。また、大きさ累積値としては、他の色空間の色成分（例えば、YCbCr色空間の輝度値Ｙ）の階調値の累積値を用いてもよい。

また、大きさ累積値の代わりに、処理対象画像内における特定色範囲内の色を有する画素数の大きさを表す種々の指標を「大きさ特性値」として用いてもよい。例えば、無彩物体色範囲ＡＲの大きさ累積値を算出し（以下「基準大きさ累積値SCV」と呼ぶ）、「大きさ累積値CV / 基準大きさ累積値SCV」を大きさ特性値として用いても良い。また、階調値の累積値に限らず、特定色範囲内の色を有する画素の総数（以下「特定色画素数」と呼ぶ）を大きさ特性値として用いてもよい。さらに、無彩物体色範囲ＡＲの色を有する画素数を算出し（以下「基準画素数」と呼ぶ）、「特定色画素数 /基準画素数」を大きさ特性値として用いてもよい。

Ｆ２．変形例２：
上述した各実施例では、信頼度RVとして大きさ累積値CVの逆数を用いていたが、これ以外の種々の形式を採用することができる。信頼度RVは、大きさ特性値が小さいほど大きくなる値であればよく、例えば、大きさ特性値の２乗に反比例する形式を用いてもよい。

なお、上述した各実施例では、特定色範囲の信頼度RVが信頼度しきい値RVth未満である場合には、仮（標準）カラーバランス補正値とは異なる修正カラーバランス補正値を用いている。ここで、信頼度しきい値RVthから逆算して得られる大きさ特性値を「大きさ下限値」と呼ぶ。すると、上述の各実施例では、特定色範囲の大きさ特性値が大きさ下限値よりも大きい場合に、修正カラーバランス補正値を用いているということができる。ここで、大きさ下限値は、本発明における「大きさしきい値」に相当する。また、大きさ下限値は信頼度しきい値RVthに応じてきまるので、信頼度しきい値RVthが「大きさしきい値」に相当すると考えることもできる。

なお、上述の第３実施例では、無彩物体色範囲ＡＲから低信頼度特定色範囲を除いた残りの範囲を用いて修正カラーバランス補正値が算出されている。すなわち、第３実施例では、無彩物体色範囲ＡＲから、大きさ特性値が大きさ下限値よりも大きな特定色範囲を除いた残りの色範囲の画素を用いて修正カラーバランス補正値が算出されていると考えることもできる。

Ｆ３．変形例３：
上述した各実施例において、信頼度RVの大きさを評価する信頼度しきい値は、特定色範囲毎に異なっていてもよい。なお、信頼度しきい値としては、処理対象画像の全画素数に基づいて算出される値を用いることが可能であり、例えば、全画素数が多いほど小さくなる値を採用してもよい。このような値としては、例えば、無彩物体色範囲ＡＲの重心座標が示す色（以下「無彩重心色」と呼ぶ）を有する画素（以下「無彩重心色画素」と呼ぶ）が全画素数の内の一定の割合（例えば、１０％）を占めると仮定した場合に、これらの無彩重心色画素を用いて算出される大きさ特性値から決定される信頼度を用いることができる。また、信頼度しきい値として、予め設定された値を用いてもよい。例えば、無彩重心色画素が一定数（例えば、１万）有ると仮定した場合に、これらの無彩重心色画素を用いて算出される大きさ特性値から決定される信頼度を採用してもよい。なお、信頼度しきい値をどのように算出するかについては、撮像対象が異なる種々の画像から得られる仮カラーバランス補正値と各特定色範囲毎の信頼度RVと、に基づいて決定すればよい。

また、図１４の第４実施例における重みｋも、信頼度しきい値と同様に、特定色範囲毎に異なっていてもよい。

Ｆ４．変形例４：
上述した各実施例では、無彩物体色範囲ＡＲと特定色範囲とが「Cr/Y」と「Cb/Y」とを用いて設定されているが、他の任意の色空間を用いて設定することが可能である。なお、上述の各実施例では、無彩物体色判断部２２０が、各画素の画素値を、無彩物体色範囲ＡＲと特定色範囲とが設定されている色空間に変換していたが、この代わりに、特定色判断部２２２が変換してもよく、カラーバランス調整部２１４が、色変換を実行する色変換部を備えていてもよい。

また、無彩物体色範囲ＡＲは、白色軌跡Ｐを含む範囲に限らず、処理対象画像データにおける無彩色の撮像対象を表す部分（画素）が示し得る色を含む範囲であればよい。例えば、ＣＩＥ（国際照明委員会）で定められた昼光軌跡を含む範囲を採用してもよく、また、彩度値Ｓがしきい値よりも低く、かつ、輝度値Ｙがしきい値よりも高い所定の色範囲を採用してもよい。

ところで、種々の色かぶりを低減するためには、種々の色を含むように無彩物体色範囲ＡＲを広くすることが好ましい。ただし、無彩物体色範囲ＡＲを広くするほど、元々有彩色の撮像対象を表す画素がカラーバランス補正値の算出に用いられ、処理対象画像の色かぶりを適切に低減することができなくなる可能性が高くなる。ところで、上述した各実施例では、特定色範囲の信頼度RV、すなわち、大きさ特性値に従ってカラーバランス補正値を決定している。従って、種々の色かぶりを低減するとともに、元々無彩色であった撮像対象を表す色が、無彩色から大きく外れることを抑制することができる。

一方、特定色範囲は、色相が特定の色に近い色の範囲であればよく、彩度値Ｓと輝度値Ｙとは無関係な色相値Ｈの範囲のみを用いて特定色範囲を定めても良い。また、色相値Ｈと彩度値Ｓと輝度値Ｙとの範囲を用いて特定色範囲を定めてもよい。また、緑色、肌色、青色とは異なる他の色に近い色の範囲を特定色範囲として用いてもよい。また、特定色範囲は、無彩物体色範囲ＡＲと重なっていなくてもよい。但し、特定色範囲としては、無彩物体色範囲ＡＲの外の色、すなわち、無彩物体色範囲ＡＲと比べて彩度の高い色を含む範囲であることが好ましい。こうすれば、特定色範囲の色を有する画素を選択することによって、有彩色の撮像対象を表す画素を適切に選択することができるので、有彩色の撮像対象を表す画素の影響を抑えたカラーバランス補正値を算出することが可能となる。但し、第３実施例と第４実施例とにおいては、特定色範囲の少なくとも一部が無彩物体色範囲ＡＲと重なっていることが好ましい。

なお、色相Ｈや彩度値Ｓとしては、ＨＳＬ（Hue/Saturation/luminance)色空間やＨＳＢ(Hue/Saturation/Brightness)色空間などの種々の色空間の色相値Ｈ、彩度値Ｓを用いることが可能である。また、輝度値Ｙとしても種々の色空間の輝度値または明度値を用いることが可能である。

Ｆ５．変形例５：
上述した各実施例では、図３のステップＳ１５０や図１２のステップＳ５５０におけるカラーバランス調整を実行する処理として、ＲＧＢ各色成分の階調値にカラーバランス補正値を乗じる処理を採用していたが、これとは異なる他の処理を用いてカラーバランスを調整してもよい。例えば、ＲＧＢ各色成分のトーンカーブ補正を用いてカラーバランスを調整してもよい。

図１５は、トーンカーブ補正を用いたカラーバランス調整の内容を説明する説明図である。この変形例では、カラーバランス補正値算出部２２４は、上述した手順で算出された補正値（AWB_R,AWB_G,AWB_B）を用いて、トーンカーブ補正値ΔC(R),ΔC(G),ΔC(B)を、以下の（６ａ）〜（６ｃ）式に従って算出する。

ΔC(R) = a × ( AWB_R - 1.0 ) ...（６ａ）
ΔC(G) = a × ( AWB_G - 1.0 ) = 0.0 ...（６ｂ）
ΔC(B) = a × ( AWB_B - 1.0 ) ...（６ｃ）

ここで、ａは所定の係数である。トーンカーブ補正値ΔC(R),ΔC(G),ΔC(B)は、入力基準値Ｄrefにおける出力値を無変換特性からシフトさせるずらし量に相当する。入力基準値Ｄrefとしては、例えば、上述した選択無彩物体色画素の平均輝度値の値を用いることができ、あるいは、所定の一定値（例えば192）を用いることもできる。図１５の例では、ＲＧＢの各色成分に対して入力基準値Ｄrefに対するΔC(R),ΔC(G),ΔC(B)を一つずつ指定することによって、各色成分のトーンカーブの形状が決定される。但し、これ以外の設定方法を採用してもよい。

なお、この変形例では、各色成分の補正値がＧ成分を基準として設定されているので、Ｇ成分の階調値は調整前後で同じ値となる。また、係数ａとしては、カラーバランス調整が過剰とならないような値を採用すればよく、画像の調整結果の官能評価に基づいて決めた値を採用することができる。

このように、この変形例では、各特定色範囲の信頼度に基づいてトーンカーブ補正値（ΔC(R),ΔC(G),ΔC(B)）が算出されるので、各色成分のトーンカーブを調整することによって、適切なカラーバランス調整を行うことができる。なお、この変形例を上述の各実施例に適用する場合にも、カラーバランス補正値の逆数で表されるグレー点を用いて、カラーバランス補正値を決定することができる。但し、この場合には、グレー点はカラーバランス補正値を表す仮想的なグレー点を意味することとなる。なお、この変形例では、トーンカーブ補正値が、本発明における「カラーバランス補正値」に相当すると考えることもできる。なお、カラーバランスを調整する他の方法を用いる場合も、グレー点を用いてカラーバランス補正値を決定すればよい。例えば、予め設定された輝度値におけるグレー点を用いることとしてもよい。

Ｆ６．変形例６：
仮カラーバランス補正値の算出方法としては、上述した式を用いる方法の代わりに、無彩物体色画素の画素値に基づいてカラーバランス補正値を算出する種々の方法を採用することが可能である。例えば、（２ａ）〜（２ｃ）式において、ＲＧＢ各色の累積値SumR、SumG、SumBの代わりに、無彩物体色範囲におけるＲＧＢ各色の階調値の平均値AveR、AveG、AveBを用いてもよい。この場合には、平均値が表す色と、Ｇ成分を基準とする無彩色とのズレに基づいて補正値が決定されることとなる。

また、上述の（２ａ）〜（２ｃ）式において、Ｇ成分の累積値SumG（平均値を用いる場合には、Ｇ成分の平均値AveG）を基準として用いる代わりに、輝度値Ｙの累積値（平均値を用いる場合には輝度値Ｙの平均値）を基準として用いてもよい。

Ｆ７．変形例７：
上述した各実施例において、カラーバランス補正値を算出する際に、処理対象画像データに含まれる画素の一部を間引いてもよい。例えば、画像中の画素配列において、一定の割合で均等に画素を間引いた残り（例えば、１画素おきに３画素間引いた残り）の画素の中から、無彩物体色画素や特定色画素を選択してもよい。

Ｆ８．変形例８：
上述した各実施例では、コンピュータ２００は、プリンタ３００が利用可能な印刷データを生成する印刷データ生成部２１６を備えていたが、この代わりに、ＬＣＤディスプレイやプロジェクタ等の画像表示部が利用可能な表示データを生成する表示データ生成部を備えていてもよい。こうすれば、カラーバランス調整の処理済みの画像データに基づいて画像を表示することができる。また、コンピュータ２００が、カラーバランス調整の処理済みの画像データを格納する画像ファイルを生成する画像ファイル生成部を備えていてもよい。また、上述の各実施例では、コンピュータ２００がカラーバランス調整部２１４の機能を有しているが、カラーバランス調整部２１４の機能は、デジタルカメラ１００等の画像生成装置に設けられていても良く、また、プリンタ３００やＬＣＤディスプレイ等の画像出力装置に設けられていてもよい。

なお、本明細書において、「デジタルカメラ」とは、静止画を撮影するデジタルスチルカメラと、動画を撮影するデジタルビデオカメラとの両方を含んでいる。

Ｆ９．変形例９：
上記各実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。

本発明の一実施例としての画像処理システムの構成を示す説明図である。カラーバランス調整部２１４の内部構成を示すブロック図である。カラーバランス調整処理の手順を示すフローチャートである。仮カラーバランス補正値算出処理の手順を示すフローチャートである。無彩物体色範囲の一例を示す説明図である。処理対象画像ＰＩの一例を示す説明図である。特定色範囲の累積値算出処理の手順を示すフローチャートである。信頼度RVと大きさ累積値CVとの関係を示すグラフである。カラーバランス補正値の修正処理を説明する説明図である。カラーバランス調整の内容を表すグラフの一例を示す説明図である。第２実施例におけるカラーバランス補正値の修正処理を説明する説明図である。カラーバランス調整処理の手順を示すフローチャートである。第３実施例における修正カラーバランス補正値の算出処理を説明する説明図である。信頼度RVから重みｋを求めるためのグラフの一例を示している。トーンカーブ補正を用いたカラーバランス調整の内容を説明する説明図である。

符号の説明

１００...デジタルカメラ
２００...コンピュータ
２１０...データ処理部
２１２...データ形式変換部
２１４...カラーバランス調整部
２１６...印刷データ生成部
２２０...無彩物体色判断部
２２２...特定色判断部
２２４...カラーバランス補正値算出部
２２６...カラーバランス調整実行部
２２８...大きさ累積値算出部
３００...プリンタ
ＡＲ...無彩物体色範囲
ＧＲ...緑色範囲
ＳＲ...肌色範囲
ＢＲ...青色範囲
ＧＤ...緑色修正方向
ＳＤ...肌色修正方向
ＢＤ...青色修正方向
Ｐ...白色軌跡
ＰＩ...処理対象画像

Claims

処理対象画像のカラーバランスを調整するための画像処理装置であって、
前記処理対象画像に存在する画素に対して、前記処理対象画像における無彩色の撮像対象を表す部分が示し得る色を含む所定の無彩物体色範囲の色を有するか否かを判断する無彩物体色判断部と、
前記処理対象画像に存在する画素に対して、前記無彩物体色範囲の外の色を含む所定の特定色範囲の色を有するか否かを判断する特定色判断部と、
前記特定色範囲の色を有する画素数の大きさに関する大きさ特性値を算出する大きさ特性値算出部と、
前記無彩物体色範囲の色を有する無彩物体色画素の画素値と前記大きさ特性値とに応じてカラーバランス補正値を算出するカラーバランス補正値算出部と、
前記カラーバランス補正値を用いて前記処理対象画像全体に対してカラーバランス調整を実行するカラーバランス調整実行部と、
を備える画像処理装置。
請求項１に記載の画像処理装置であって、
前記特定色判断部は、前記判断を複数種類の特定色範囲毎に実行することが可能であり、
大きさ特性値算出部は、前記複数種類の特定色範囲毎に前記大きさ特性値を算出することが可能であり、
前記カラーバランス補正値算出部は、前記無彩物体色画素の画素値を用いて標準カラーバランス補正値を算出し、さらに、予め設定された複数種類のカラーバランス補正値の中から、前記カラーバランス調整の実行に用いるカラーバランス補正値を、前記標準カラーバランス補正値と、前記大きさ特性値が最大である特定色範囲と、に応じて選択する修正算出モードを有する、画像処理装置。
請求項２に記載の画像処理装置であって、
前記カラーバランス補正値算出部は、
（ｉ）前記大きさ特性値の最大値が大きさしきい値以下である場合には、前記無彩物体色画素の画素値を用いて前記標準カラーバランス補正値を算出する標準算出モードを実行し、
（ｉｉ）前記大きさ特性値の最大値が大きさしきい値よりも大きい場合には、前記修正算出モードを実行する、画像処理装置。
請求項１に記載の画像処理装置であって、
前記カラーバランス補正値算出部は、
前記無彩物体色画素の画素値に応じて決まる標準カラーバランス補正値と比べて、前記カラーバランス調整後における前記特定色範囲の色の彩度がより高くなるような値を有する修正カラーバランス補正値を算出する修正算出モードを有する、
画像処理装置。
請求項４に記載の画像処理装置であって、
前記カラーバランス補正値算出部は、前記修正算出モードにおいて、前記標準カラーバランス補正値を算出するとともに、さらに、前記標準カラーバランス補正値を、前記特定色範囲の色の前記カラーバランス調整後の彩度が高くなる方向に修正することによって前記修正カラーバランス補正値を算出する、
画像処理装置。
請求項４に記載の画像処理装置であって、
前記特定色範囲の一部は前記無彩物体色範囲と重なっており、
前記カラーバランス補正値算出部は、前記修正算出モードにおいて、前記無彩物体色範囲から前記特定色範囲を除いた残りの色範囲の色を有する画素の画素値を用いて前記修正カラーバランス補正値を算出する、
画像処理装置。
請求項４に記載の画像処理装置であって、
前記特定色範囲の一部は前記無彩物体色範囲と重なっており、
前記カラーバランス補正値算出部は、前記修正算出モードにおいて、前記無彩物体色範囲と前記特定色範囲とが重なっている範囲の色を有する画素の画素値に、前記大きさ特性値が大きいほど小さい重みを付して加算することによって、前記修正カラーバランス補正値を算出する、
画像処理装置。
請求項４ないし請求項７のいずれかに記載の画像処理装置であって、
前記カラーバランス補正値算出部は、
（ｉ）前記大きさ特性値が大きさしきい値以下である場合には、前記無彩物体色画素の画素値を用いて前記標準カラーバランス補正値を算出する標準算出モードを実行し、
（ｉｉ）前記大きさ特性値が大きさしきい値よりも大きい場合には、前記修正算出モードを実行する、画像処理装置。
処理対象画像のカラーバランスを調整するための画像処理方法であって、
（ａ）前記処理対象画像に存在する画素に対して、前記処理対象画像における無彩色の撮像対象を表す部分が示し得る色を含む所定の無彩物体色範囲の色を有するか否かを判断する工程と、
（ｂ）前記処理対象画像に存在する画素に対して、前記無彩物体色範囲の外の色を含む所定の特定色範囲の色を有するか否かを判断する工程と、
（ｃ）前記特定色範囲の色を有する画素数の大きさに関する大きさ特性値を算出する工程と、
（ｄ）前記無彩物体色範囲の色を有する無彩物体色画素の画素値と前記大きさ特性値とに応じてカラーバランス補正値を算出する工程と、
（ｅ）前記カラーバランス補正値を用いて前記処理対象画像全体に対してカラーバランス調整を実行する工程と、を備える画像処理方法。
処理対象画像のカラーバランスを調整するための画像処理をコンピュータに実行させるためのコンピュータプログラムであって、
（ａ）前記処理対象画像に存在する画素に対して、前記処理対象画像における無彩色の撮像対象を表す部分が示し得る色を含む所定の無彩物体色範囲の色を有するか否かを判断する機能と、
（ｂ）前記処理対象画像に存在する画素に対して、前記無彩物体色範囲の外の色を含む所定の特定色範囲の色を有するか否かを判断する機能と、
（ｃ）前記特定色範囲の色を有する画素数の大きさに関する大きさ特性値を算出する機能と、
（ｄ）前記無彩物体色範囲の色を有する無彩物体色画素の画素値と前記大きさ特性値とに応じてカラーバランス補正値を算出する機能と、
（ｅ）前記カラーバランス補正値を用いて前記処理対象画像全体に対してカラーバランス調整を実行する機能と、
をコンピュータに実現させるコンピュータプログラム。