JP2014168120A - 画像処理装置および画像処理プログラム並びに電子カメラ - Google Patents

Abstract

【課題】
従来は、ホワイトバランス補正と色再現の総合的な補正については十分に検討されていなかった。
【解決手段】
本発明では、画像入力部が入力する画像を処理領域毎に複数の輝度範囲に分割して光源判定を行う光源判定部と、輝度範囲毎に、ホワイトバランス補正、ガンマ補正、彩度補正、色相回転補正、の少なくとも１つの補正パラメータを求める補正パラメータ算出部と、光源判定結果および輝度範囲毎の画像の特徴量に基づいて、ホワイトバランス補正、ガンマ補正、彩度補正、色相回転補正、の少なくとも１つの補正パラメータの補正割合を算出して補正パラメータを調整し、輝度範囲毎の補正パラメータを全輝度範囲に亘って重ね合わせを行う補正パラメータ調整部と、調整後の補正パラメータを用いて、ホワイトバランス補正、ガンマ補正、彩度補正、色相回転補正、の少なくとも１つを補正する補正処理部とを有する。
【選択図】図２

Description

本発明は、光源色補正技術に関する。

一般的な電子カメラでは、光源の色温度を検出して、無彩色の被写体が無彩色の画像として撮影されるようにホワイトバランス補正を行っている。ところが、撮影画像内に複数の光源に影響される被写体が含まれる場合、適切なホワイトバランス補正を行うことは難しい。そこで、撮影画像を複数の領域に分割し、領域毎にホワイトバランス補正を行った後、色再現処理を施す方法などが検討されている（例えば、特許文献１参照）。

特開２０１１−１６６７５３号公報

従来技術では、特定光源色の影響が大きいか否かを判別して択一的に補正するために補正対象が限定されず、不必要な箇所に対しても補正が行われてしまうという問題があった。また、複数の領域に分割してホワイトバランス補正を行う場合は光源判別が主であり、ホワイトバランス補正とは別に、例えば風景や人物を見栄え良く再現する処理に特化しており、ホワイトバランス補正と色再現の総合的な補正については十分に検討されていなかった。

上記課題に鑑み、本発明の目的は、光源判定及び画像分析を行い、補正対象に応じてホワイトバランス補正、ガンマ補正、彩度補正、色相回転を総合的に実施して適切な光源色補正を行うことにより、画像の違和感を最小限に抑えることができる画像処理装置および画像処理プログラム並びに電子カメラを提供することである。

本発明に係る画像処理装置は、カラー画像を入力する画像入力部と、前記画像入力部が入力する画像の全領域または複数に分割した領域を処理領域として、前記処理領域毎に複数の輝度範囲に分割し、前記輝度範囲毎に光源判定を行う光源判定部と、前記輝度範囲毎に、ホワイトバランス補正、ガンマ補正、彩度補正、色相回転補正、の少なくとも１つの補正パラメータを求める補正パラメータ算出部と、前記光源判定結果および前記輝度範囲毎の画像の特徴量に基づいて、前記ホワイトバランス補正、前記ガンマ補正、前記彩度補正、前記色相回転補正、の少なくとも１つの前記補正パラメータの補正割合を算出して前記補正パラメータを調整し、調整後の前記輝度範囲毎の補正パラメータを全輝度範囲に亘って重ね合わせを行う補正パラメータ調整部と、前記補正パラメータ調整部が調整後の前記補正パラメータを用いて、前記ホワイトバランス補正、前記ガンマ補正、前記彩度補正、前記色相回転補正、の少なくとも１つを補正する補正処理部とを有することを特徴とする。

また、前記補正パラメータ調整部は、前記各輝度範囲内の画像データを統計処理し、前記輝度範囲毎の色の統計値と、前記異なる輝度範囲間の色の統計値を比較した結果と、隣接する前記処理領域の光源判定結果および色の統計値と、前記入力画像のミックス光割合と、の少なくとも１つを前記画像の特徴量として用いることを特徴とする。

さらに、前記補正パラメータは、ホワイトバランスゲイン、ガンマ特性、彩度補正する色相と増減量、色相回転する色相範囲と回転量、の少なくとも１つであることを特徴とする。

特に、前記色の統計値として、色のばらつきを示す色差の標準偏差を用いることを特徴とする。

また、前記補正パラメータ調整部は、前記輝度範囲毎の補正パラメータを全輝度範囲に亘って重ね合わせる時に、隣接する前記輝度範囲の境界部分の特性を平滑化することを特徴とする。

本発明に係る画像処理プログラムは、前記画像処理装置の各部の処理をコンピュータで実行することを特徴とする。

本発明に係る電子カメラは、前記画像処理装置を搭載する電子カメラであって、被写体を撮像して得られた画像を前記画像入力部に出力する撮像部と、前記画像処理装置が補間した画像を記録する記憶部とを有することを特徴とする。

本発明に係る画像処理装置および画像処理プログラム並びに電子カメラは、光源判定及び画像分析を行い、補正対象に応じてホワイトバランス補正、ガンマ補正、彩度補正、色相回転を総合的に実施して適切な光源色補正を行うことにより、画像の違和感を最小限に抑えることができる。

本実施形態に係る電子カメラ１０１の構成例を示すブロック図である。 光源色補正処理を内容を示す図である。 処理領域例と輝度範囲例とを示す図である。 輝度範囲別の光源判定処理例を示す図である。 補正割合の算出例を示す図である。 補正割合の調整処理（１）を示す図である。 補正割合の調整処理（２）を示す図である。 補正割合の調整処理（３）を示す図である。 補正割合によるガンマ補正特性の調整および生成例を示す図である。 補正割合による彩度補正特性の調整および生成例を示す図である。 補正割合による色相回転補正特性の調整および生成例を示す図である。

以下、本発明に係る画像処理装置および画像処理プログラム並びに電子カメラの実施形態について、図面を用いて詳しく説明する。尚、本実施形態では、本発明に係る画像処理装置が搭載された電子カメラの例を挙げて説明するが、撮影済みの画像を入力して画像処理を行うパソコンのプログラムや単体の画像処理装置であっても構わない。本実施形態に係る電子カメラ１０１では、光源判定及び画像分析を行うことにより、補正対象に応じてホワイトバランス補正、ガンマ補正、彩度補正、色相回転を総合的に実施して適切な光源色補正を行うことができるようになっている。

［電子カメラ１０１の構成例］
図１は、電子カメラ１０１の構成を示すブロック図である。図１において、電子カメラ１０１は、光学系１０２と、メカニカルシャッタ１０３と、撮像素子１０４と、Ａ／Ｄ変換部１０５と、画像バッファ１０６と、画像処理部１０７と、制御部１０８と、メモリ１０９と、表示部１１０と、操作部１１１と、メモリカードＩＦ（インターフェース）１１２とで構成される。ここで、画像処理部１０７は、本発明に係る画像処理プログラムが搭載された画像処理装置に相当するブロックである。

図１において、光学系１０２に入射される被写体光は、メカニカルシャッタ１０３を介して撮像素子１０４の受光面に入射される。ここで、光学系１０２は、ズームレンズやフォーカスレンズなどの複数枚のレンズおよびレンズ駆動部や絞りなどで構成され、制御部１０８からの指令に応じて、ズームレンズやフォーカスレンズ或いは絞りなどが撮影条件に応じて制御される。

撮像素子１０４は、カラー画像を撮影可能なＣＭＯＳセンサなどで構成される。本実施形態に係る電子カメラ１０１では、撮像素子１０４は、各画素にＲＧＢ３色のいずれか１色のカラーフィルタを有するベイヤー配列のＲＡＷデータの画像信号を出力する。

Ａ／Ｄ変換部１０５は、撮像素子１０４が出力する画像信号を各画素毎にデジタル値に変換し、１枚の撮影画像分の画像データを画像バッファ１０６に一時的に記憶する。例えば、撮像素子１０４の解像度が４０００画素×３０００画素である場合、１２００万画素分の画像データが画像バッファ１０６に取り込まれる。尚、画像バッファ１０６に取り込まれた画像データがＲＡＷデータである場合は、色補間処理によって各画素にＲＧＢ３色の情報を有するＲＧＢデータやＹＣｂＣｒデータなどの輝度／色差データに変換される。ここで、本実施形態に係る電子カメラ１０１で行う光源色補正は、ＲＡＷデータ、ＲＧＢデータ、ＹＣｂＣｒデータなどのいずれのデータフォーマットでも対応可能である。

画像バッファ１０６は、揮発性の高速メモリで構成され、Ａ／Ｄ変換部１０５が出力する撮影画像を一時的に記憶するだけでなく、画像処理部１０７が画像処理を行う際のバッファメモリとしても使用される。或いは、撮影画像やメモリカードＩＦ１１２に接続されたメモリカード１１２ａに保存されている撮影済の画像を表示部１１０に表示する際の表示用バッファとしても使用される。

画像処理部１０７は、画像バッファ１０６に取り込まれた画像データに対して、ホワイトバランス処理、ガンマ補正処理、彩度補正処理、色相回転処理、色補間処理、ノイズ除去処理，輪郭強調処理などの画像処理を行う。また、画像処理部１０７は、顔などの特定被写体の検出処理や、水色や暖色などの特定色の検出処理なども行う。ここで、ホワイトバランス補正には、マニュアルホワイトバランス、プリセットホワイトバランス、オートホワイトバランスなどがあるが、本実施形態ではオートホワイトバランスの中でもマルチオートホワイトバランスに対応する。特に、一般的なマルチオートホワイトバランスではなく、ホワイトバランス補正と、ガンマ補正処理と、彩度補正処理と、色相回転処理とを総合的に行って光源色補正を行う。ここで、本実施形態に係る電子カメラ１０１におけるホワイトバランスモードを「総合ホワイトバランスモード」と称する。また、「総合ホワイトバランスモード」と、一般的なオートホワイトバランスモードやマニュアルホワイトバランスモードおよびプリセットホワイトバランスモードのいずれかは、ユーザーにより選択することができる。尚、「総合ホワイトバランスモード」については後で詳しく説明する。

制御部１０８は、内部或いはメモリ１０９に予め記憶されたプログラムに従って動作するＣＰＵで構成され、電子カメラ１０１全体の動作を制御する。例えば、制御部１０８は、操作部１１１を構成する撮影モード選択ダイヤルやレリーズボタンの操作に応じて、電子カメラ１０１の撮影モードを設定したり、レリーズボタン押下時には光学系１０２のレンズ制御や絞り制御を行ってメカニカルシャッタ１０３を開閉して、撮像素子１０４で被写体画像を撮像する。そして、制御部１０８は、撮像素子１０４からアナログの画像信号を読み出しながらＡ／Ｄ変換部１０５でデジタル値に変換し、１画面分の画像データ（ＲＡＷデータ）を画像バッファ１０６に取り込む。さらに、制御部１０８は、画像バッファ１０６に取り込まれた画像データに対して、ホワイトバランス処理、ガンマ補正処理、彩度補正処理、色相回転処理、色補間処理、ノイズ除去処理，輪郭強調処理などの画像処理を施すよう画像処理部１０７に指令し、画像処理後の画像（或いは画像圧縮処理を行ったＪＰＥＧ画像など）に所定のファイル名やヘッダ情報を付加してメモリカードＩ／Ｆ１１２を介してメモリカード１１２ａに保存する。尚、ＲＡＷデータのままメモリカード１１２ａに保存するようにして、後で画像処理を行うようにしてもよい。

メモリ１０９は、フラッシュメモリなどの不揮発性の半導体メモリで構成され、電子カメラ１０１の撮影モードや露出情報，フォーカス情報などのパラメータ、或いは制御部１０８のプログラムなどが記憶される。そして、制御部１０８はこれらのメモリ１０９に記憶されたパラメータを参照して電子カメラ１０１の動作を制御する。特に、本実施形態に係る電子カメラ１０１では、光源判定を行うための判定条件（色範囲など）、電子カメラ１０１の設計時に決められた補正パラメータ（ベースガンマ補正特性、ベース彩度補正特性、ベース色相回転特性など）、光源の種類に対応する色分布を示すデータベース、光源の種類別のデフォルトの補正量（補正パラメータ）、その他の閾値などの判定条件や画像処理パラメータなどが製造時にメモリ１０９に記憶されている。尚、各パラメータや判定条件などは、操作部１１１を介して行われる設定メニューによってユーザーが適宜変更することができる。また、ベースガンマ補正特性、ベース彩度補正特性、ベース色相回転特性などは、カメラメーカー独自の画作り・色作りの考え方に基づいて、撮像素子１０４から得られる画像の補正を行うパラメータである。

表示部１１０は、液晶モニタなどで構成され、制御部１０８によって撮影画像や電子カメラ１０１の操作に必要な設定画面などの操作メニューが表示される。

操作部１１１は、電源ボタン、レリーズボタン、撮影モード選択ダイヤル、十字キーなどで構成される。ユーザーは、これらの操作ボタンを操作して電子カメラ１０１を使用する。尚、これらの操作ボタンの操作情報は制御部１０８に出力され、制御部１０８は操作部１１１から入力する操作情報に応じて電子カメラ１０１全体の動作を制御する。

メモリカードＩＦ１１２は、電子カメラ１０１にメモリカード１１２ａを接続するためのインターフェースで、制御部１０８はメモリカードＩＦ１１２を介してメモリカード１１２ａとの間で画像データを読み書きする。

以上が本実施形態に係る電子カメラ１０１の構成および基本動作である。尚、電子カメラ１０１ではなく、本発明に係る単体の画像処理装置を構成する場合は、図１において、光学系１０２，メカニカルシャッタ１０３，撮像素子１０４およびＡ／Ｄ変換部１０５で構成される撮像に必要な部分を取り除いた装置とし、制御部１０８（画像処理装置の制御部に相当）が撮影済みのＲＡＷデータをメモリカード１１２ａから画像バッファ１０６に読み出して、画像処理部１０７でホワイトバランス処理、ガンマ補正処理、彩度補正処理、色相回転処理などを行う。
［光源色補正処理の例］
本実施形態に係る電子カメラ１０１では、撮像素子１０４で撮影された画像やメモリカード１１２ａに記憶された撮影済の画像に対して、光源色補正処理を行うことができる。光源色補正処理は、例えば水銀灯や電球など色温度が異なる複数の光源の影響を受けている被写体を撮影したときに、それぞれの光源に対して光源色の影響を除去するための補正を行う処理である。特に、本実施形態に係る光源色補正処理は、補正対象に応じてホワイトバランス補正、ガンマ補正、彩度補正、色相回転を総合的に実施することにより、複数の種類の光源の影響を受けている画像の光源色補正を適切に行うことができる。

図２は、制御部１０８の指令に基づいて画像処理部１０７によって実行される光源色補正処理の流れを示した図である。ここで、図２の処理は、前処理２０１と、補正パラメータ調整処理２０２と、補正処理２０３の３つに大別される。尚、図２において、本実施形態に係る電子カメラ１０１の特徴となる処理は、実線矢印で示した処理である。

以下、各部の処理について詳細に説明する。
［前処理２０１］
前処理２０１は、入力画像の処理領域を設定し、処理領域毎に光源判別してＷＢゲインを算出する処理を行う。或いは、処理領域が画像全体である場合は、画像全体で光源判別してＷＢゲインを算出する処理を行う。

先ず、前処理２０１において、画像処理部１０７は、処理２５１で、光源色補正処理を行う画像を入力する処理を行う。具体的には、撮像素子１０４により撮影され、Ａ／Ｄ変換部１０５でデジタルの画像データに変換されて画像バッファ１０６に取り込まれた撮影画像を入力する。或いは、メモリカード１１２ａに保存されている撮影済みの画像を画像バッファ１０６に読み出し、読み出された画像を入力する。ここで、本実施形態では、撮像素子１０４からベイヤー配列の画素で出力されるＲＡＷデータの画像を入力する。

次に、画像処理部１０７は、入力画像に対して、処理領域を設定する処理、処理領域毎に複数の輝度範囲に分割する処理、輝度範囲毎に光源判定する処理、輝度範囲毎に第２ＷＢゲインを求める処理、などを実行する（処理２５２）。
・処理領域の設定処理
処理領域を設定する処理では、画像処理部１０７は、入力画像に対して予め設定された大きさや分割数の処理領域を設定する。尚、処理領域の大きさや分割数は、パラメータとして予めメモリ１０９に記憶されており、制御部１０８により指定される。ここで、処理領域の設定例について図３を用いて説明する。図３において、入力画像３０１は、ｙ軸方向にＮ行、ｘ軸方向にＭ列の（Ｎ×Ｍ）個の画素（ｐ（１，１）からｐ（Ｎ，Ｍ））で構成されている。そして、画像処理部１０７は、入力画像を予め決められた複数の処理領域に分割する。図３の例では、入力画像３０１は、ｙ軸方向に４個、ｘ軸方向に５個の合計（４×５＝２０）個の処理領域（Ｂ（１，１）からＢ（４，５））が設定されている。また、各処理領域は、各画素がＲＧＢいずれかの色成分を有するベイヤー配列の複数の画素で構成される。図３の点線吹き出し３０２は、処理領域Ｂ（２，５）のベイヤー配列の画素配置例を示している。

尚、本実施形態では、入力画像を複数の矩形状の処理領域に幾何学的に分割するようにしたが、特定被写体領域とその背景領域のように分割して、特定被写体領域内と背景領域内でそれぞれ輝度範囲別に以降で説明する処理を行うようにしてもよい。また、本実施形態では、入力画像を２０個の処理領域に分割する例を示したが、矩形状の処理領域を小さくして個数を増やしたり、逆に処理領域を大きくして個数を減らしても構わない。極端な場合として、処理領域を入力画像全体としてもよい。この場合は、入力画像全体に対して輝度範囲別に以降で説明する処理を行うが、以降の処理において、隣接する処理領域の特徴量を比較する処理は行わないものとする。
・輝度範囲の分割処理
さらに、画像処理部１０７は、処理領域毎に予め設定された複数の輝度範囲に分割する処理を行う。尚、輝度範囲や分割数は、パラメータとして予めメモリ１０９に記憶されており、制御部１０８により指定される。ここで、輝度範囲の分割例について図３を用いて説明する。図３の輝度範囲３０３の例は、輝度Ｙを８ビット階調（０から２５５）で表す場合に、４つの輝度範囲（Ｙ１からＹ４）に分割する例を示している。ここで、全輝度範囲は、輝度Ｙ＝０（暗い）から輝度Ｙ＝２５５（明るい）まで変化する。そして、例えばＹ１は０≦Ｙ＜９０の輝度範囲、Ｙ２は６０≦Ｙ＜１５０の輝度範囲、Ｙ３は１２０≦Ｙ＜２１０の輝度範囲、Ｙ４は１８０≦Ｙ≦２５５の輝度範囲、のように分割される。尚、図３の例では、各輝度範囲は、一部が重複するように分割されているが、重複せずに連続するようにしてもよいし、分割数を変えてもよい。例えば、輝度範囲が重複しない場合は、図３の点線吹き出し３０４に示したように、処理領域Ｂ（２，５）を輝度範囲Ｙ１からＹ４までの４つの領域に分けることができる。

尚、図３の点線吹き出し３０４の例では、輝度を求める単位は、ＲＧＢ各色の色成分が含まれる最小単位（ベイヤー配列の２行２列の互いに隣接する４つの画素）を基本単位３０５（１ベイヤ単位と称する）としている。例えば、図３の点線吹き出し３０４の例では、輝度範囲Ｙ１とＹ２は３つの基本単位３０５（３ベイヤー）、輝度範囲Ｙ３は４つの基本単位３０５（４ベイヤー）、輝度範囲Ｙ４は２つの基本単位３０５（２ベイヤー）、をそれぞれ有している。ここで、輝度範囲が重複する場合は、基本単位３０５は両方の輝度範囲に属するものとして扱われる。尚、基本単位は、１ベイヤー単位でなくても良い。また、ＲＡＷデータではなくＲＧＢデータの場合は、基本単位を１画素としてもよいし、複数画素としてもよい。

ここで、画像処理部１０７は、処理領域毎に複数の輝度範囲に分割する処理を全ての処理領域について行う。図３の例では、処理領域Ｂ（１，１）からＢ（４，５）までの２０個の領域について同様の処理が実行される。
・光源の種類の判定処理
また、画像処理部１０７は、輝度範囲毎に光源の種類を判定する処理を行う。ここで、光源判定の一例について説明する。図４は、図３で説明した処理領域Ｂ（２，５）の輝度範囲Ｙ３の領域における光源判定例を示す図である。尚、以下の光源判定方法は一例であり、他の方法で光源判定を行っても構わない。

図４において、輝度範囲Ｙ３の領域３１０は、４つの基本単位（（Ｙ３−１）、（Ｙ３−２）、（Ｙ３−３）、（Ｙ３−４）の４ベイヤー単位）を有している。そして、画像処理部１０７は、輝度範囲Ｙ３の領域３１０の４つの基本単位の画像データ３１１から色の分布を調べる。ここで、画像データ３１１は、同じ輝度範囲に属することがわかり易いようにＹＣｒＣｂ（輝度・Ｒ色差・Ｂ色差）で示してあるが、ＲＧＢデータでも構わない。そして、画像処理部１０７は、４つの基本単位の画像データ３１１を例えばＬ^＊ａ^＊ｂ^＊表色系３１２に変換して、色の分布を調べ、メモリ１０９に予め記憶されている光源の種類と色の分布との対応を示すデータベースを参照して、光源を推定する。例えば図４の場合は「電球」であると判定する。

尚、図４の例では、説明がわかり易いように、輝度範囲Ｙ３に属する基本単位が４ベイヤーしかないが、実際には色の分布が分かる程度の数の基本単位を有しており、光源を推定することが可能である。

ここで、画像処理部１０７は、同様の光源判定処理を他の３つの輝度範囲（Ｙ１，Ｙ２，Ｙ４）について行う。図４の光源判定結果３１３，３１４の例では、輝度範囲Ｙ１は光源なし（黒潰れなど）、輝度範囲Ｙ２は水銀灯、輝度範囲Ｙ３は電球、輝度範囲Ｙ４は晴天、のような輝度範囲毎の光源判定結果が得られている。

ここで、画像処理部１０７は、輝度範囲毎に光源を推定する処理を全ての処理領域（図３の例では、処理領域Ｂ（１，１）からＢ（４，５）までの２０個の領域）について実行する。
・輝度範囲毎のＷＢゲインの算出処理
さらに、画像処理部１０７は、輝度範囲毎にＷＢゲインを算出する処理を行う。ここで、処理２５２で算出される輝度範囲毎のＷＢゲインを第２ＷＢゲインと称する。また、画像処理部１０７は、輝度範囲毎に第２ＷＢゲインを求める処理を全ての処理領域（図３の例では、処理領域Ｂ（１，１）からＢ（４，５）までの２０個の領域）について実行する。

このようにして、前処理２０１では、画像処理部１０７は、入力画像に対して、処理領域を設定する処理、処理領域毎に複数の輝度範囲に分割する処理、輝度範囲毎に光源判定する処理、輝度範囲毎に第２ＷＢゲインを求める処理、の各処理２５２を実行する。尚、前処理２０１では、画像処理部１０７は、一般的に行われているＷＢゲインの算出処理も平行して実行する。例えば、処理２５３において、画像処理部１０７は、画像全体に対して光源判定を行い、光源の種類に適したＷＢゲインを求める処理を実行する。ここで、処理２５３で算出される画像全体のＷＢゲインを第１ＷＢゲインと称する。

尚、ホワイトバランスゲイン（以下、ＷＢゲインと称する）は、無彩色の被写体を撮影した時に無彩色の画像が得られるように、ＲＧＢの比率を調整するゲインで、例えば、画像内のＲＧＢ各色の画素の平均値をＲａｖｅ、Ｇａｖｅ、Ｂａｖｅとした場合、ＷＢゲイン（Ｒゲイン：Ｒｇ、Ｂゲイン：Ｂｇ）は、以下の式で求めることができる。
Ｒｇ＝Ｇａｖｅ／Ｒａｖｅ … （式１）
Ｂｇ＝Ｇａｖｅ／Ｂａｖｅ … （式２）
従って、第１ＷＢゲインは画像全体について、第２ＷＢゲインは処理領域毎の輝度範囲別に、それぞれ上記のように計算して求められる。
［補正パラメータ調整処理２０２］
次に、図２の補正パラメータ調整処理２０２において、画像処理部１０７は、処理２６１で、ＷＢゲインやガンマ補正特性、彩度補正特性および色相回転特性などの補正パラメータを補正する割合（補正割合）を算出する。そして、補正パラメータ調整処理２０２では、輝度範囲毎に補正割合で調整した各補正パラメータを前輝度範囲に亘ってマージする処理を行う。更に、補正パラメータ調整処理２０２では、マージした各特性を、予め設定されたガンマ補正特性、彩度補正特性および色相回転特性の各ベースの特性に重ね合わせる処理を行い、最終的な補正パラメータを生成する。

ここで、補正割合は、例えば前処理２０１で求めた輝度範囲毎の第２ＷＢゲインを補正する割合で、輝度範囲毎の画像データを統計処理した統計値や光源判別結果などが用いられる。図５は、補正割合の算出方法の一例を示す図で、輝度範囲毎の輝度Ｙや色の統計値を用いて、ガンマ補正用の補正割合ｘ０％および彩度低減補正用の補正割合ｙ０％とを求める。尚、色相回転補正用の補正割合については、彩度低減補正用の補正割合ｙ０％を併用してもよいし、別途、同様の考え方で色相回転補正用の補正割合ｚ０％を求めてもよい。また、図５の例では、輝度Ｙと色の統計値の両方を用いているが、いずれか一方の統計値だけで補正割合を求めるようにしてもよい。

図５において、輝度Ｙの統計値（例えば平均値Ｙ１）から求めた補正割合（ｘａ％、ｙａ％）と、色の統計値（例えば色差の標準偏差σＣｂ、σＣｒなど色のばらつきを示す指標Ｃ１）から求めた補正割合（ｘｂ％、ｙｂ％）とを乗算して、最終的な補正割合（ｘ０％、ｙ０％）を求めている。

図５の例では、輝度Ｙに対するガンマ用補正曲線ａ１および彩度用補正曲線ａ２を示す補正特性３２０と、色のばらつきに対するガンマ用補正曲線ｂ１および彩度用補正曲線ｂ２を示す補正特性３２１とを示している。ここで、各曲線は、電子カメラ１０１の設計時に決められた補正特性で、製造時などにメモリ１０９に記憶されている。例えば、ガンマ用補正曲線ａ１の場合は、横軸に輝度Ｙを取り、明るい部分は補正割合を大きくし、暗い部分は補正割合を小さくする補正曲線である。尚、補正割合は、補正パラメータを適用する割合を示し、例えば補正パラメータがＷＢゲインの場合に、算出されたＷＢゲインが１．５倍であるとする。この時、補正割合が１００％であればＷＢゲインを１．５倍のまま適用してホワイトバランス補正を行い、逆に補正割合が０％であればホワイトバランス補正は行わない（ＷＢゲインは１．０倍となる）。つまり、ＷＢゲインが１．５倍の場合は、ＲＧＢの比率が変化しないＷＢゲインの１．０倍を基準にして、差分（１．５−１．０＝０．５）に対して補正割合だけ乗算される。例えば、補正割合が６０％であればＷＢゲインは（１．０＋０．５×０．６＝１．３倍）となり、補正割合が２０％であればＷＢゲインは（１．０＋０．５×０．２＝１．１倍）となる。尚、ＷＢゲインは、ＲゲインとＢゲインとがあり、補正割合は両方のゲインに適用される。これにより、ホワイトバランス補正を行うべき明るい部分ほどホワイトバランス補正は適切に行われ、ホワイトバランス補正を行う必要がない暗い部分ほどホワイトバランス補正はなるべく行わないように制御される。

また、ガンマ用補正曲線ｂ１の場合は、横軸に色のばらつきを取り、色のばらつきが大きい部分は補正割合を小さくし、色のばらつきが小さい部分は補正割合を大きくする補正曲線である。尚、補正パラメータがＷＢゲインの場合の補正割合の適用方法は、ガンマ用補正曲線ａ１と同じである。これにより、色のばらつきが大きい部分ほど補正割合が小さくなるので、ホワイトバランス補正はなるべく行わないようにＷＢゲインは１．０倍に近づき、色のばらつきが小さい部分ほど補正割合が大きくなるので、算出されたＷＢゲイン近傍でホワイトバランス補正を行うように制御される。

同様に、彩度用補正曲線ａ２の場合は、横軸に輝度Ｙを取り、明るい部分は補正割合を大きくし、暗い部分は補正割合を小さくする補正曲線である。例えば補正パラメータが彩度の場合に、判定された光源の彩度の補正割合を求める。尚、彩度は、Ｌ^＊ａ^＊ｂ^＊色空間上で√（ａ^＊×ａ^＊＋ｂ^＊×ｂ^＊）として算出できる。ここで、彩度が６０で補正割合が１００％であれば彩度低減は行わず、彩度は６０のままとなり、補正割合が６０％であれば彩度は６０から３６に低減される。これにより、輝度Ｙが明るい部分ほど補正割合が大きくなるので彩度の低減は少なくなり、暗い部分ほど補正割合が小さくなるので彩度を大きく低減するように制御される。

また、彩度用補正曲線ｂ２の場合は、横軸に色のばらつきを取り、色のばらつきが大きい部分は補正割合を小さくし、色のばらつきが小さい部分は補正割合を大きくする補正曲線である。例えば補正パラメータが彩度の場合は、彩度用補正曲線ａ２の場合と同様に彩度低減が行われる。これにより、色のばらつきが大きい部分ほど補正割合が小さくなるので彩度が大きく低減され、色のばらつきが小さい部分ほど補正割合が大きくなるので彩度の低減は少なくなるように制御される。

ここで、彩度用補正曲線ａ２はガンマ用補正曲線ａ１と同様に、明るい部分は補正割合を大きくし、暗い部分は補正割合を小さくするが、彩度用補正曲線ａ２の変化はガンマ用補正曲線ａ１よりもなだらかに設定されている。同様に、彩度用補正曲線ｂ２の変化はガンマ用補正曲線ｂ１よりもなだらかに設定されている。この理由は、ガンマ補正の変化よりも彩度補正の変化の方が目立ち易いので、彩度補正の変化をガンマ補正の変化よりも小さくするためである。

このようにして、補正特性３２０からガンマ補正用の補正割合ｘａ％、補正特性３２１からガンマ補正用の補正割合ｘｂ％、がそれぞれ求まるので、これらを乗算して、最終的なガンマ補正用の補正割合ｘ０％を以下の式により求めることができる。
ｘ０＝（ｘａ／１００ × ｘｂ／１００） × １００ （％） …（式３）
同様に、補正特性３２０から彩度低減補正用の補正割合ｙａ％、補正特性３２１から彩度低減補正用の補正割合ｙｂ％、をそれぞれ求め、以下の式により、最終的な彩度低減補正用の補正割合ｙ０％を求めることができる。
ｙ０＝（ｙａ／１００ × ｙｂ／１００） × １００ （％） …（式４）
ここで、色相回転補正用の補正割合ｚ０％を求める場合は、彩度用補正曲線ａ２および彩度用補正曲線ｂ２を流用してもよいし、別途、色相回転補正曲線を設定するようにしてもよい。いずれの場合でも、ガンマ補正用の補正割合ｘ０％や彩度低減補正用の補正割合ｙ０％と同様に色相回転補正用の補正割合ｚ０％を求めることができる。尚、上記の例では、補正特性３２０と補正特性３２１の両方を用いて補正割合を求めたが、いずれか一方だけを用いてもよい。

このようにして、画像処理部１０７は、ＷＢゲインやガンマ補正特性、彩度補正特性および色相回転特性などの補正パラメータを補正する割合（補正割合）を輝度範囲毎に算出することができる。図５の補正割合算出結果３２２は、処理領域Ｂ（１，１）内の輝度範囲Ｙ１からＹ４までの各輝度範囲毎に補正割合を求めた一例を示している。さらに、画像処理部１０７は、図３で説明した他の処理領域Ｂ（１，２）からＢ（４，５）についても輝度範囲毎に補正割合を求める。

次に、図２の補正パラメータ調整処理２０２の処理２６２では、画像処理部１０７は、処理２６１で求めた補正割合を輝度範囲毎の光源判定結果や画像分析結果などに基づいて補正割合を調整する処理を行う。例えば、異なる輝度範囲間の色の統計値の比較結果や、隣接する領域の光源判定結果および色の統計値との比較結果などにより、補正割合を調整する。或いは、対象画像のミックス光割合に応じて、補正割合を調整する。ここで、上記のような光源判定結果や色の統計値、ミックス光割合などを画像の特徴量と称する。

以下、いくつかの補正割合の調整処理例について、具体的に説明する。
（補正割合の調整処理（１））
図６は、同一の処理領域内の異なる輝度範囲間で色の統計値の比較して処理２６１で求めた補正割合を調整する処理の流れを示す図である。

（ステップＳ１０１）画像処理部１０７は、対象とする処理領域を初期設定する。例えば、図３の画像３０１の場合、処理領域Ｂ（１，１）からＢ（４，５）までの２０個の処理領域の内、最初の処理領域Ｂ（１，１）を対象領域として設定する。

（ステップＳ１０２）画像処理部１０７は、対象領域内の輝度範囲間で色の統計値を比較する。例えば、図３の輝度範囲３０３の場合、輝度範囲Ｙ１の色の統計値と、輝度範囲Ｙ２の色の統計値とを比較する。ここで、色の統計値は、例えば色差（Ｃｒ、Ｃｂ）の平均色差（Ｃｒａｖ、Ｃｂａｖ）や標準偏差（σＣｒ、σＣｂ）などを用いる。

例えば、輝度範囲Ｙ１の平均色差（Ｃｒａｖ１、Ｃｂａｖ１）、輝度範囲Ｙ２の平均色差（Ｃｒａｖ２、Ｃｂａｖ２）、輝度範囲Ｙ１の標準偏差（σＣｒ１、σＣｂ１）、輝度範囲Ｙ２の標準偏差（σＣｒ２、σＣｂ２）、とした場合、輝度範囲Ｙ１とＹ２の間で色の分布が類似しているか否かは次のように判断できる。色の分布が類似している場合は、両者の平均色差の差および標準偏差の差は小さくなり、色の分布が類似していない場合は、両者の平均色差の差および標準偏差の差は大きくなる。尚、色差はＲ色差とＢ色差とがあるので、例えば各色差の差分の絶対値の和や差分の二乗和として求め、予め設定した閾値と比較してもよい。

ここで、上記の方法は一例であり、他の演算によって輝度範囲間の色の統計値を比較してもよい。例えば、同じ輝度範囲内の色差の平均値を基準に、同じ輝度範囲内に属する複数の色差値との色差空間上での距離の総和（または平均値）を求め、距離の総和（または平均値）で比較するようにしてもよい。この場合、距離の総和（または平均値）が小さいほど色のばらつきが小さく、距離の総和（または平均値）が大きいほど色のばらつきが大きい。

（ステップＳ１０３）画像処理部１０７は、異なる輝度範囲間の色の統計値の差に応じて補正割合を調整する。ここで、差の大きさと補正割合の関係については、電子カメラ１０１の製造時にメモリ１０９に記憶されている。例えば、画像処理部１０７は、差が大きくなるほど、図２の処理２６１で求めた補正割合（ｘ０％、ｙ０％、（ｚ０％））を小さくする方向に調整する。具体的には、処理２６１で求めた補正割合が１００％である場合、差が小さい場合は補正割合を１００％近くに維持するが、差が大きくなるに連れて、補正割合を７０％、５０％、３０％のように小さくする。例えば、算出されたＷＢゲインが１．５倍で、処理２６１で求めた補正割合が１００％、且つ、ステップＳ１０２で求めた差が小さい場合は、補正割合の低減は行われず、ＷＢゲインは１．５倍近傍に維持される。逆に、差が大きくなって補正割合が５０％に低減されると、ＷＢゲインは１．２５倍に調整される。つまり、差が小さいということは、輝度範囲間で色の分布が類似している（光源色が近い）ことを意味するので、処理２６１で求めた補正割合を弱めることなく適用する。これは、求めた補正パラメータの信頼度が高いと言い換えることができる。逆に、差が大きいということは、輝度範囲間で色の分布が異なる（光源色が異なる）ことを意味するので、処理２６１で求めた補正割合を弱める方向に調整する。これは、求めた補正パラメータの信頼度が低いと言い換えることができる。

（ステップＳ１０４）画像処理部１０７は、入力画像内の全ての処理領域について、補正割合の調整を終了したか否かを判別し、終了していない場合はステップＳ１０５に進み、終了した場合は、一連の補正割合の調整処理（１）を終了する。

（ステップＳ１０５）画像処理部１０７は、次の処理領域を対象領域として設定する。例えば、図３の画像３０１の場合、処理領域Ｂ（１，１）の処理が終了したら、次の処理領域Ｂ（１，２）を設定し、ステップＳ１０２に戻る。そして、処理領域Ｂ（１，１）からＢ（４，５）までの２０個の処理領域に対して、ステップＳ１０２およびＳ１０３の処理を施して補正割合の調整を行う。

このようにして、図６の処理結果３３０に示したように、同一の処理領域内の異なる輝度範囲間で色の統計値の比較して処理２６１で求めた輝度範囲毎の補正割合（ｘ０％、ｙ０％、（ｚ０％））を調整し、調整後の補正割合（ｘ１％、ｙ１％、（ｚ１％））を求めることができる。
（補正割合の調整処理（２））
図７は、隣接する処理領域と輝度範囲毎の光源判定結果を比較して補正割合の調整処理（１）で調整後の補正割合を更に調整する処理の流れを示す図である。

（ステップＳ２０１）画像処理部１０７は、図６で説明した補正割合の調整処理（１）のステップＳ１０１と同様に、対象とする処理領域を初期設定する。

（ステップＳ２０２）画像処理部１０７は、隣接する領域の輝度範囲毎の光源判定結果を比較する。尚、ここでは、光源判定結果を比較するが、色の統計値など他の特徴量で比較するようにしても構わない。

光源判定結果で比較する場合、前処理２０１で求めた各処理領域の輝度範囲毎の光源判定結果を用いる。例えば図７の比較例３４０は、処理領域Ｂ（１，１）と処理領域Ｂ（１，２）の輝度範囲毎の光源判定結果の比較例である。比較例３４０の場合、輝度範囲Ｙ１，Ｙ２，Ｙ４の３つの輝度範囲における光源の種類は、処理領域Ｂ（１，１）と処理領域Ｂ（１，２）で同じである。ところが、処理領域Ｂ（１，１）の輝度範囲Ｙ３の光源の種類は電球であるのに対して、処理領域Ｂ（１，２）の輝度範囲Ｙ３の光源の種類は晴天なので、光源の種類が異なっている。

（ステップＳ２０３）画像処理部１０７は、隣接する領域の輝度範囲毎の光源判定結果と対象領域の同じ輝度範囲の光源判定結果が異なるか否かを判別する。そして、画像処理部１０７は、光源判定結果が異なる場合は、先の調整処理（１）で調整後の補正割合（ｘ１％、ｙ１％、（ｚ１％））を小さくする方向に調整し、光源判定結果が同じ場合は、補正割合の調整を行わず、調整処理（１）で調整後の補正割合（ｘ１％、ｙ１％、（ｚ１％））を維持する。尚、補正割合を調整する処理は、先に説明したステップＳ１０３と同様なので、重複する説明は省略する。

ここで、隣接する処理領域と光源判定結果が同じであるということは、隣接する処理領域と色の分布が類似している（光源色が近い）ことを意味するので、調整処理（１）で調整後の補正割合を弱めることなく使用する。これは、調整処理（１）の場合と同様に、求めた補正パラメータの信頼度が高いと言い換えることができる。逆に、光源判定結果が異なるということは、隣接する処理領域と色の分布が異なる（光源色が異なる）ことを意味するので、調整処理（１）で調整後の補正割合を弱める方向に調整する。これも、調整処理（１）の場合と同様に、求めた補正パラメータの信頼度が低いと言い換えることができる。

（ステップＳ２０４）画像処理部１０７は、ステップＳ１０４と同様に、入力画像内の全ての処理領域について、補正割合の調整を終了したか否かを判別し、終了していない場合はステップＳ２０５に進み、終了した場合は、一連の補正割合の調整処理（２）を終了する。

（ステップＳ２０５）画像処理部１０７は、ステップＳ１０５と同様に、次の処理領域を対象領域として設定する。そして、処理領域Ｂ（１，１）からＢ（４，５）までの２０個の処理領域に対して、ステップＳ２０２およびＳ２０３の処理を施して補正割合の調整を行う。

このようにして、図７の処理結果３４１に示したように、隣接する処理領域の輝度範囲毎の光源判定結果を比較して、調整処理（１）で調整後の補正割合（ｘ１％、ｙ１％、（ｚ１％））を調整し、調整後の補正割合（ｘ２％、ｙ２％、（ｚ２％））を求めることができる。
（補正割合の調整処理（３））
図８は、対象画像のミックス光割合によって補正割合の調整処理（２）で調整後の補正割合を更に調整する処理の流れを示す図である。

（ステップＳ３０１）画像処理部１０７は、図６で説明した補正割合の調整処理（１）のステップＳ１０１と同様に、対象とする処理領域を初期設定する。

（ステップＳ３０２）画像処理部１０７は、対象画像のミックス光割合を算出する。ここで、対象画像は、入力画像全体とするが、処理領域毎の画像であってもよい。尚、入力画像全体の場合は、全ての処理領域に対して同じように補正割合が調整され、処理領域毎の画像の場合は、処理領域毎に補正割合が調整される。

ミックス光割合は、周知のいずれの方法を用いても構わないが、例えばヒストグラムを用いてミックス光割合を求めることが可能である。例えば図８のヒストグラム３５０において、ヒストグラムの先鋭度を求め、先鋭度が高いほど単一光の可能性が大きいと考えられるのでミックス光割合が小さくなり、逆に先鋭度が低いほど複数光の可能性が大きいと考えられるのでミックス光割合が大きくなる。

ここで、先鋭度の求め方の一例として、例えばヒストグラムの包絡線の右上がりの接線３５０ａと、右下がりの接線３５０ｂとを求め、２つの接線の交点の頻度をＨとし、接線３５０ａとＹの軸との交点をＹａ、接線３５０ｂとＹの軸との交点をＹｂとして、例えば、先鋭度をＨ／（Ｙｂ−Ｙａ）のように求めることができる。そして、求めた先鋭度をミックス光割合に変換するテーブルをメモリ１０９に予め記憶しておいてもよいし、先鋭度の逆数をミックス光割合としてもよい。つまり、先鋭度が大きいほど、光源の混ざり（ミックス光割合）が少なく、先鋭度が小さいほど、光源の混ざりが多いことを意味する。

尚、上記の例では、分かり易いように、ヒストグラムの山が１つの場合について説明したが、ヒストグラムの山が複数個ある場合でも各山について先鋭度を求めて平均化するなどの演算処理を施すことにより、ミックス光割合を求めることができる。また、ヒストグラムから先鋭度以外の方法でミックス光割合を求めてもよいし、ヒストグラム以外の方法でミックス光割合を求めてもよい。

（ステップＳ３０３）画像処理部１０７は、ミックス光割合に応じて先の調整処理（２）で調整後の補正割合を調整する。例えば、ミックス光割合が大きくなるに連れて、調整処理（２）で調整後の補正割合（ｘ２％、ｙ２％、（ｚ２％））小さくする方向に調整し、ミックス光割合が小さくなるに連れて、調整処理（２）で調整後の補正割合（ｘ２％、ｙ２％、（ｚ２％））を大きくする方向に調整する。例えば、ミックス光割合が予め設定した閾値よりも小さい場合は、補正割合の調整を行わず、調整処理（２）で調整後の補正割合（ｘ２％、ｙ２％、（ｚ２％））を維持するようにしてもよい。尚、補正割合を調整する処理は、先に説明したステップＳ１０３と同様なので、重複する説明は省略する。

ここで、ミックス光割合が小さいということは、複数の種類の光源の混ざり具合が少ないことを意味するので、調整処理（２）で調整後の補正割合を弱めることなく使用する。これは、求めた補正パラメータの信頼度が高いと言い換えることができる。逆に、ミックス光割合が大きいということは、複数の種類の光源の混ざり具合が多いことを意味するので、調整処理（２）で調整後の補正割合を弱める方向に調整する。これは、求めた補正パラメータの信頼度が低いと言い換えることができる。

（ステップＳ３０４）画像処理部１０７は、ステップＳ１０４と同様に、入力画像内の全ての処理領域について、補正割合の調整を終了したか否かを判別し、終了していない場合はステップＳ３０５に進み、終了した場合は、一連の補正割合の調整処理（３）を終了する。

（ステップＳ３０５）画像処理部１０７は、ステップＳ１０５と同様に、次の処理領域を対象領域として設定し、ステップＳ３０２に戻る。そして、処理領域Ｂ（１，１）からＢ（４，５）までの２０個の処理領域に対して、ステップＳ３０２およびＳ３０３の処理を施して補正割合の調整を行う。尚、画像全体について、ミックス光割合を求めて、各処理領域の補正割合を調整する場合は、ステップＳ３０２の処理は１回だけでよいので、ステップＳ３０３に戻る。

このようにして、図８の処理結果３５１に示したように、ミックス光割合によって調整処理（２）で調整後の補正割合（ｘ２％、ｙ２％、（ｚ２％））を調整し、調整後の補正割合（ｘ３％、ｙ３％、（ｚ３％））を求めることができる。尚、調整処理（１）から（３）の３つの処理は、全てを行う必要がなく、少なくとも１つを行うようにしてもよい。

以上説明したように、図２の補正パラメータ調整処理２０２の処理２６２によって、処理２６１で求めた補正割合を画像の特徴量に基づいて細かく調整することができる。
（その他の補正割合の調整）
ここで、先に説明した調整処理（１）から（３）は、ガンマ補正特性、彩度補正特性、色相回転特性のいずれにも適用可能な補正割合の調整処理であったが、ここでは、色相回転特有の補正割合の調整処理について説明する。

色相回転補正は、特定の色範囲の色相を回転させて色合いを変える補正処理で、例えば各カメラメーカーは、顔の肌色、水色、暖色、或いは特定被写体の色などをメーカー独自の画作り・色作りの考え方に基づいて、色相を補正する処理が行われている。例えば、顔検出を行って顔部分の肌色が美しく写るように補正が施される。ここで、処理２６２における色相回転補正用の補正割合の調整処理では、先に説明した調整処理（１）から（３）とは別に、顔などの特定被写体、水色、暖色、などを検出した時の信頼度を用いて、色相回転の補正割合を調整するか否かを判断する。例えば、顔検出は、顔の輪郭や目、鼻、口の位置関係や色などの複数の情報によって判別されているが、人間の顔ではない類似の被写体を誤検出する場合があり、実際の顔検出処理では、輪郭や目、鼻、口の位置関係などを評価して、評価結果が予め設定した閾値以上の場合に顔である可能性が高いと判断することなどが行われている。そこで、本実施形態では、例えば、顔検出の評価結果を信頼度として求め、信頼度が予め設定した閾値以上の場合は、先に説明した調整処理（１）から（３）の補正割合を色相回転補正には適用せず、信頼度が予め設定した閾値未満の場合には、先に説明した調整処理（１）から（３）の補正割合を色相回転補正にも適用する。これにより、カメラメーカー独自の画作り・色作りの考え方に基づいて、色相補正される顔の肌色などに対する処理を優先することができる。尚、上記の処理を処理領域Ｂ（１，１）からＢ（４，５）までの２０個の処理領域に対して実行する。

このようにして、図２の補正パラメータ調整処理２０２の処理２６２によって、処理２６１で求めた補正割合を被写体の特徴量に基づいて細かく調整することができる。
［補正割合の適用］
次に、処理２６２で求めた補正割合を適用して、ガンマ補正処理、彩度補正処理、色相回転処理の各処理を行うための補正パラメータを生成する処理について説明する。例えば、図２の補正パラメータ調整処理２０２における処理２６３は、補正パラメータとして、ガンマ補正処理を行うためのガンマ補正特性を生成する処理を行う。処理２６４は、補正パラメータとして、彩度補正処理を行うための彩度補正補正特性を生成する処理を行う。処理２６５は、補正パラメータとして、色相回転補正処理を行うための色相回転補正特性を生成する処理を行う。

以下、各補正特性の生成処理について順番に詳しく説明する。
（ガンマ補正特性の生成処理）
先ず、図２において、処理２６３のガンマ補正特性を生成する処理について説明する。処理２６３では、輝度範囲別のＷＢゲインを処理２６１および処理２６２で求めた補正割合ｘ％で調整し、調整後の輝度範囲別のＷＢゲインを全輝度範囲にマージする。この時、隣接する輝度範囲のＷＢゲインが連続して滑らかに変化するように平滑化する。そして、ベースのガンマ特性と重ね合わせて、最終的なガンマ補正特性を生成する。尚、補正割合ｘ％は、処理２６１および処理２６２で求めた補正割合ｘ０％、ｘ１％、ｘ２％、ｘ３％のいずれでもよいが、例えば調整処理（１）で調整後の補正割合ｘ１％よりも調整処理（２）で調整後のｘ２％、調整処理（２）で調整後のｘ２％よりも調整処理（３）で調整後のｘ３％の方が調整の精度がより一層高くなる。

図９は、ガンマ補正特性を生成するまでの一連の処理の様子を示す図である。図９において、光源判定結果３６０は、処理領域Ｂ（１，１）の例を示している。そして、前処理２０１で求めた輝度範囲Ｙ１のＷＢゲイン３６１と、輝度範囲Ｙ２のＷＢゲイン３６２と、輝度範囲Ｙ３のＷＢゲイン３６３と、輝度範囲Ｙ４のＷＢゲイン３６４と、はそれぞれの輝度範囲別のＷＢゲイン特性を示している。ここで、ＷＢゲインは、ＲゲインとＢゲインとがあり、各ＷＢゲイン特性ではゲイン１．０倍の軸を基準にＲゲインとＢゲインとを描いてある。

図９において、輝度範囲Ｙ１のＷＢゲイン３６１および輝度範囲Ｙ２のＷＢゲイン３６２では、例えばＲゲイン＝１．５、Ｂゲイン＝１．４である。輝度範囲Ｙ３のＷＢゲイン３６３では、例えばＲゲイン＝−１．５、Ｂゲイン＝１．５である。また、輝度範囲Ｙ４のＷＢゲイン３６４では、例えばＲゲイン＝１．３、Ｂゲイン＝−１．３である。

次に、各輝度範囲毎のＷＢゲインを処理２６１および処理２６２で求めた補正割合ｘ％で補正する処理について説明する。図９の例では、輝度範囲Ｙ１の補正割合は０％、輝度範囲Ｙ２の補正割合は１０％、輝度範囲Ｙ３の補正割合は３０％、輝度範囲Ｙ４の補正割合は１００％である。ここで、補正割合がａ％の場合は、基準の１．０倍とＷＢゲインとの差分にａ／１００倍した調整後の差分を基準の１．０倍に加算して、ＷＢゲインを調整する。尚、ＷＢゲインが１．０倍の場合は、実質的にホワイトバランス補正が行われないことを意味する。

例えば、輝度範囲Ｙ１の例では、Ｒゲイン＝１．５、Ｂゲイン＝１．４なので、１．０倍に対するＲゲインの差分は０．５、Ｂゲインの差分は０．４であるが、補正割合は０％なので、補正後の差分はＲゲインおよびＢゲイン共に０となり、調整後のＷＢゲイン３６５は、Ｒゲイン＝１．０、Ｂゲイン＝１．０となる。同様に、輝度範囲Ｙ２の例では、Ｒゲイン＝１．５、Ｂゲイン＝１．４なので、１．０倍に対するＲゲインの差分は０．５、Ｂゲインの差分は０．４となり、補正割合は１０％なので、補正後の差分はＲゲインが０．０５、Ｂゲインが０．０４となり、調整後のＷＢゲイン３６６は、Ｒゲイン＝１．０５、Ｂゲイン＝１．０４となる。また、輝度範囲Ｙ３の例では、Ｒゲイン＝−１．５、Ｂゲイン＝１．５なので、１．０倍に対するＲゲインの差分は−０．５、Ｂゲインの差分は０．５となり、補正割合は３０％なので、補正後の差分はＲゲインが−０．１５、Ｂゲインが０．１５となり、調整後のＷＢゲイン３６７は、Ｒゲイン＝−１．１５、Ｂゲイン＝１．１５となる。さらに、輝度範囲Ｙ４の例では、Ｒゲイン＝１．３、Ｂゲイン＝−１．３なので、１．０倍に対するＲゲインの差分は０．３、Ｂゲインの差分は−０．３となり、補正割合は１００％なので、補正後の差分はＲゲインが０．３、Ｂゲインが−０．３となり、調整後のＷＢゲイン３６８は、Ｒゲイン＝１．３、Ｂゲイン＝−１．３となる。

そして、輝度範囲別の調整後のＷＢゲイン特性３６５から３６８の４つのＷＢゲインを組み合わせて全輝度範囲にマージ（合成）する。この時、隣接する輝度範囲との境界部分の特性が不連続にならないように、平滑化する処理を行う。これにより、例えば図９の合成後のＷＢゲイン特性３６９を求めることができる。尚、輝度範囲Ｙ４の端のＲゲインとＢゲインは１．０倍に収束させておいてもよい。

次に、画像処理部１０７は、図９に示したように、全輝度範囲にマージしたＷＢゲイン特性３６９を、電子カメラ１０１自体に予め設定されているベースガンマ特性３７０に重ね合わせる処理を行い、最終的な補正用のガンマ特性３７１を生成する。

以降、同様の処理を処理領域Ｂ（１，１）からＢ（４，５）までの２０個の処理領域に対して実行する。ここで、ガンマ特性３７１は、ＲＧＢの入出力特性を示し、ベースガンマ特性に輝度範囲別の第２ＷＢゲインが重畳されているので、従来のように画像一律のホワイトバランス補正では対応が難しかった被写体の状況に応じたホワイトバランス補正をガンマ補正と同時に行うことができる。特に、輝度範囲間のＷＢゲインの境界部分を平滑化しているので、急激な画像の変化が目立たず、補正後の画像の違和感を抑制することができる。また、補正割合は、異なる輝度範囲や隣接領域などの光源判定結果や統計値を勘案して決定するので、輝度範囲間や隣接領域間などの境界部分の急激な変化を防止し、補正後の画像の違和感を抑制することができる。
（彩度補正特性の生成処理）
次に、図２において、処理２６３と並列に実行される処理２６４について説明する。処理２６４は、前処理２０１で求められた輝度範囲別の光源判定結果に基づく色相の彩度低減量を調整し、ベースの彩度補正特性と重ね合わせて、最終的な彩度補正特性を生成する処理である。ここで、ベースの彩度補正特性は、カメラメーカー独自の画作り・色作りの考え方に基づいて、予め決められている特定の色相の彩度を増減するための補正特性で、例えば青空や葉の緑などの彩度を高くしたり、暗い部分のノイズを目立たなくするために彩度を低くしたりする。

図１０は、本実施形態に係る電子カメラ１０１において、彩度補正特性を生成するまでの一連の処理の様子を示す図である。図１０において、光源判定結果３６０は、図９と同じものであり、処理領域Ｂ（１，１）の例を示している。そして、前処理２０１で求めた輝度範囲Ｙ１の光源Ａの色分布（Ｌ^＊ａ^＊ｂ^＊色空間上の位置）３８１、輝度範囲Ｙ２の光源Ｂの色分布３８２、輝度範囲Ｙ３の光源Ｃの色分布３８３、輝度範囲Ｙ４の光源Ｄの色分布３８４、の一例を描いてある。

図１０において、輝度範囲Ｙ１の色分布３８１は、例えばａ^＊＝−５０、ｂ^＊＝３０である。同様に、輝度範囲Ｙ２の色分布３８２は、例えばａ^＊＝−４０、ｂ^＊＝２５である。また、輝度範囲Ｙ３の色分布３８３は、例えばａ^＊＝４０、ｂ^＊＝−１０、輝度範囲Ｙ４の色分布３８４は、例えばａ^＊＝２０、ｂ^＊＝−１５である。尚、これらの数値は処理方法を説明するための一例であり、必ずしも実際の色相に合致するものではない。

次に、各輝度範囲毎の色分布に対応する色相の彩度を処理２６１および処理２６２で求めた補正割合ｙ％で調整する処理について説明する。尚、補正割合ｙ％は、処理２６１および処理２６２で求めた補正割合ｙ０％、ｙ１％、ｙ２％、ｙ３％のいずれでもよいが、補正割合ｘ％と同様に、例えば調整処理（１）で調整後の補正割合ｙ１％よりも調整処理（２）で調整後のｙ２％、調整処理（２）で調整後のｙ２％よりも調整処理（３）で調整後のｙ３％の方が調整の精度がより一層高くなる。

図１０の例では、輝度範囲Ｙ１の補正割合は３０％、輝度範囲Ｙ２の補正割合は５０％、輝度範囲Ｙ３の補正割合は１００％、輝度範囲Ｙ４の補正割合は１００％である。ここで、補正割合は、光源の彩度に乗算する値を示し、例えば１００％の場合は１．０を乗算することになるので、彩度低減は行われないことを意味する。従って、３０％の場合は光源の彩度に０．３倍されるので約１／３の彩度に低減され、５０％の場合は光源の彩度に０．５倍されるので１／２の彩度に低減されることを意味する。尚、実際には、ａ^＊ｂ^＊色座標上のａ^＊およびｂ^＊のそれぞれに乗算される。図１０の例では、輝度範囲Ｙ１の例では、光源Ａの彩度が３０％に低減され、光源Ｂの彩度が５０％に低減されが、光源Ｃと光源Ｄの彩度は補正割合が１００％なので低減されない。

そして、輝度範囲別の調整後の４つの彩度低減特性３８５から３８８（図１０の例では光源Ｃ、Ｄは補正しないので除く）を組み合わせて全輝度範囲にマージ（合成）し、さらに、電子カメラ１０１自体に予め設定されているベース彩度補正特性３９０に重ね合わせる処理を行い、最終的な補正用の彩度補正特性３９１を生成する。

以降、同様の処理を処理領域Ｂ（１，１）からＢ（４，５）までの２０個の処理領域に対して実行する。ここで、彩度補正特性３９１は、ベース彩度補正特性３９０に輝度範囲別の彩度低減補正特性３８９が重畳されているので、従来のように画像一律の彩度補正では対応が難しかった被写体の状況に応じた適切な彩度補正を行うことができる。例えば、輝度範囲別の光源判定で光源なし（黒潰れ）と判断されている部分の彩度を大きく低減することで、暗い部分における色のノイズを目立たなくすることができる。
（色相回転補正特性の生成処理）
次に、図２において、処理２６３および処理２６４と並列に実行される処理２６５について説明する。処理２６５は、前処理２０１で求められた輝度範囲別の光源判定結果に基づく色相回転量を調整し、ベースの色相回転補正特性と重ね合わせて、最終的な色相回転補正特性を生成する処理である。ここで、ベースの色相回転補正特性は、カメラメーカー独自の画作り・色作りの考え方に基づいて、予め決められている特定の色相を回転する補正特性である。

図１１は、本実施形態に係る電子カメラ１０１において、最終的な色相回転補正特性を生成するまでの一連の処理の様子を示す図である。図１１において、光源判定結果３６０は、図９および図１０と同じものであり、処理領域Ｂ（１，１）の例を示している。そして、前処理２０１で求めた輝度範囲Ｙ１の光源Ａの色相回転特性（Ｌ^＊ａ^＊ｂ^＊色空間上の色相範囲と回転量を示す）４０１、輝度範囲Ｙ２の光源Ｂの色相回転特性４０２、輝度範囲Ｙ３の光源Ｃの色相回転特性４０３、輝度範囲Ｙ４の光源Ｄの色相回転特性４０４、の一例を描いてある。尚、光源の種類に応じて色相回転補正を行う色相範囲と回転量は、予めメモリ１０９に記憶されている。

図１１において、輝度範囲Ｙ１の色相回転特性４０１は、例えば斜線で示された範囲の色相を−１０度回転させることを示している。同様に、輝度範囲Ｙ２の色相回転特性４０２は、例えば斜線で示された範囲の色相を＋１０度回転する。また、輝度範囲Ｙ３の色相回転特性４０３は、例えば斜線で示された範囲の色相を−２０度回転し、輝度範囲Ｙ４の色相回転特性４０４は、例えば斜線で示された範囲の色相を＋２０度回転する。尚、これらの数値は処理方法を説明するための一例であり、必ずしも実際の色相範囲と回転量を示すものではない。

次に、各輝度範囲毎の色分布に対応する色相範囲を処理２６１および処理２６２で求めた補正割合ｚ％で調整する処理について説明する。尚、補正割合ｚ％は、処理２６１および処理２６２で求めた補正割合ｚ０％、ｚ１％、ｚ２％、ｚ３％のいずれでもよいが、補正割合ｘ％と同様に、例えば調整処理（１）で調整後の補正割合ｚ１％よりも調整処理（２）で調整後のｚ２％、調整処理（２）で調整後のｚ２％よりも調整処理（３）で調整後のｚ３％の方が調整の精度がより一層高くなる。

図１１の例では、輝度範囲Ｙ１の補正割合と輝度範囲Ｙ２の補正割合は共に０％、輝度範囲Ｙ３の補正割合は８０％、輝度範囲Ｙ４の補正割合は１００％である。ここで、補正割合は、色相回転量（回転角度）に乗算する値を示し、例えば補正割合が１００％の場合は色相回転量に１．０倍されるので、光源の種類別に予め決められた色相回転量でそのまま色相回転補正されることを意味する。従って、例えば補正割合が８０％の場合は色相回転量に０．８倍され、補正割合が０％の場合は色相回転量に０倍されるので色相回転補正を行わないことを意味する。図１１の例では、輝度範囲Ｙ１の場合は、補正割合が０％なので色相回転特性４０１の補正を行わないように調整される（色相回転特性４０５）。同様に、輝度範囲Ｙ２の場合も補正割合が０％なので色相回転特性４０２の補正は行わないように調整される（色相回転特性４０６）。また、輝度範囲Ｙ３の場合は、補正割合が８０％なので色相回転特性４０３の回転量（−２０度）に０．８倍したー１６度の色相回転特性４０７が設定される。さらに、輝度範囲Ｙ４の場合は、補正割合が１００％なので色相回転特性４０４の回転量（２０度）に１．０倍した２０度の色相回転特性４０８が設定される。

そして、輝度範囲別の調整後の４つの色相回転特性４０５から４０８（図１１の例では光源Ａ、Ｂは補正しないので除く）を組み合わせて全輝度範囲にマージ（合成）し、さらに、電子カメラ１０１自体に予め設定されているベース色相回転補正特性４１０に重ね合わせる処理を行い、最終的な補正用の色相回転補正特性４１１を生成する。

以降、同様の処理を処理領域Ｂ（１，１）からＢ（４，５）までの２０個の処理領域に対して実行する。ここで、色相回転補正特性４１１は、ベース色相回転補正特性４１０に輝度範囲別の色相回転補正特性４０９が重畳されているので、従来のように画像一律の色相回転補正では対応が難しかった被写体の状況に応じた適切な色相回転補正を行うことができる。

このようにして、前処理２０１で求めた輝度範囲別の光源判定結果やＷＢゲインを用いて、補正パラメータ調整処理２０２を実行し、画像の特徴量に応じて、ガンマ補正特性、彩度補正特性および色相回転補正特性の補正割合を調整し、ベースガンマ補正特性、ベース彩度補正特性、ベース色相回転補正特性と重ね合わせて、最終的なガンマ補正特性、彩度補正特性および色相回転補正特性を生成することができる。
［補正処理２０３］
次に、図２の補正処理２０３について説明する。補正処理２０３では、通常の電子カメラで行われているホワイトバランス補正処理１６１と、ガンマ補正処理１６２と、彩度補正処理１６３と、色相回転処理１６４とを実行する。

ホワイトバランス補正処理１６１は、前処理２０１の処理２５３で求めた画像全体に対する第１ＷＢゲインを用いて、画像全体のホワイトバランス補正を行う。尚、ホワイトバランス補正処理自体は周知の技術なので詳しい説明を省略するが、Ｒゲインを各画素のＲデータに乗算し、Ｂゲインを各画素のＢデータに乗算する処理を行い、ＲＧＢの比率を調整する。

ガンマ補正処理１６２は、補正パラメータ調整処理２０２の処理２６３で求めた処理領域毎に輝度範囲別のガンマ補正特性（例えば図９のガンマ補正特性３７１）を用いて、画像全体のガンマ補正処理を行う。尚、ガンマ補正処理自体は周知の技術なので詳しい説明を省略する。

彩度補正処理１６３は、補正パラメータ調整処理２０２の処理２６４で求めた処理領域毎に輝度範囲別の彩度補正特性（例えば図１０の彩度補正特性３９１）を用いて、画像全体の彩度補正処理を行う。尚、彩度補正処理自体は周知の技術なので詳しい説明を省略するが、彩度補正特性に基づいて色空間上の色相の彩度を増減する処理を行う。

色相回転処理１６４は、補正パラメータ調整処理２０２の処理２６５で求めた処理領域毎に輝度範囲別の色相回転補正特性（例えば図１１の色相回転補正特性４１１）を用いて、画像全体の色相回転補正処理を行う。尚、色相回転補正処理自体は周知の技術なので詳しい説明を省略するが、色相回転補正特性に基づいて特定の色相範囲を回転する処理を行う。

以上、図２に示した前処理２０１、補正パラメータ調整処理２０２、補正処理２０３について、図３から図１１を用いて説明した。

このように、本実施形態に係る電子カメラ１０１では、輝度範囲別に光源判定及び画像分析を行い、補正対象の被写体状況に応じてホワイトバランスゲイン、ガンマ補正特性、彩度補正特性、色相回転特性を輝度範囲別に総合的に調整して適切な光源色補正を行うことにより、画像の違和感を最小限に抑えることができる。この結果、本実施形態に係る電子カメラ１０１では、被写体状況に応じた異なる光源色補正の手法を適用していることと等価の効果が得られる。以下は、本実施形態に係る電子カメラ１０１において、被写体状況に応じて主に適用される補正の種類を示したものである。尚、以下の記載において、（＊＊）で表記した手法はサブ的に適用される手法を示し、（＊＊）で表記していない補正手法が主として適用される手法である。つまり、対象被写体の状況に応じて適用される補正手法が異なり、更に、同じ手法の補正（例えばガンマ補正など）であっても光源判定結果や画像分析に基づいて補正割合の調整を行うので、被写体毎に補正内容が異なる。
・高輝度の被写体：ホワイトバランス補正 ＋（ガンマ補正）
・中輝度の被写体：（ホワイトバランス補正）＋ ガンマ補正
・低輝度の被写体：（ホワイトバランス補正）＋（ガンマ補正）＋彩度低減補正
・目標被写体（顔などの特定被写体）：ホワイトバランス補正 ＋ 色相回転補正
このように、本実施形態に係る電子カメラ１０１は、従来のように、択一的な補正手法の選択を行っているわけではなく、光源判定結果や画像分析に基づいて、補正対象を必要最低限に切り分けた後、実質的に画像の違和感を最小限とする最適な光源色補正方法を適用することができる。特に、光源判定結果及び画像分析に基づいて、補正割合を様々な解析結果を複合的に用いて調整するファジー理論を適用しているので、補正手段の境界の違和感を感じさせない効果が得られる。さらに、処理領域間の光源判定結果や画像分析に基づいて、補正割合の調整を行うので、処理領域間の境界の違和感を感じさせない効果が得られる。

尚、本実施形態では、本発明に係る画像処理装置が搭載された電子カメラ１０１の例を挙げて説明したが、図２で説明した画像処理部１０７の処理を実行する画像処理プログラムをパソコン、携帯電話、スマートフォンなどにインストールして、ネットワークからダウンロードした画像やメモリカード１１２ａなどに記憶されている画像に対して光源色補正処理を行う場合でも同様の効果が得られる。

また、本実施形態では、ＲＡＷデータの画像を入力画像としたが、ＲＧＢデータの画像やＹＣｂＣｒ（輝度色差）の画像であってもよい。

さらに、本発明に係る画像処理装置および画像処理プログラム並びに電子カメラについて、各実施形態で例を挙げて説明してきたが、その精神またはその主要な特徴から逸脱することなく他の多様な形で実施することができる。そのため、上述した実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明は、特許請求の範囲によって示されるものであって、本発明は明細書本文にはなんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内である。

１０１・・・電子カメラ；１０２・・・光学系；１０３・・・メカニカルシャッタ；１０４・・・撮像素子；１０５・・・Ａ／Ｄ変換部；１０６・・・画像バッファ；１０７・・・画像処理部；１０８・・・制御部；１０９・・・メモリ；１１０・・・表示部；１１１・・・操作部；１１２・・・メモリカードＩＦ；１１２ａ・・・メモリカード；２０１・・・前処理；２０２・・・補正パラメータ調整処理；２０３・・・補正処理；１６１・・・ホワイトバランス補正処理；１６２・・・ガンマ補正処理；１６３・・・彩度補正処理；１６４・・・色相回転処理

Claims (7)

1. カラー画像を入力する画像入力部と、
   前記画像入力部が入力する画像の全領域または複数に分割した領域を処理領域として、前記処理領域毎に複数の輝度範囲に分割し、前記輝度範囲毎に光源判定を行う光源判定部と、
   前記輝度範囲毎に、ホワイトバランス補正、ガンマ補正、彩度補正、色相回転補正、の少なくとも１つの補正パラメータを求める補正パラメータ算出部と、
   前記光源判定結果および前記輝度範囲毎の画像の特徴量に基づいて、前記ホワイトバランス補正、前記ガンマ補正、前記彩度補正、前記色相回転補正、の少なくとも１つの前記補正パラメータの補正割合を算出して前記補正パラメータを調整し、調整後の前記輝度範囲毎の補正パラメータを全輝度範囲に亘って重ね合わせを行う補正パラメータ調整部と、
   前記補正パラメータ調整部が調整後の前記補正パラメータを用いて、前記ホワイトバランス補正、前記ガンマ補正、前記彩度補正、前記色相回転補正、の少なくとも１つを補正する補正処理部と
   を有することを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記補正パラメータ調整部は、前記各輝度範囲内の画像データを統計処理し、前記輝度範囲毎の色の統計値と、前記異なる輝度範囲間の色の統計値を比較した結果と、隣接する前記処理領域の光源判定結果および色の統計値と、前記入力画像のミックス光割合と、の少なくとも１つを前記画像の特徴量として用いる
   ことを特徴とする画像処理装置。
3. 請求項１または２に記載の画像処理装置において、
   前記補正パラメータは、ホワイトバランスゲイン、ガンマ特性、彩度補正する色相と増減量、色相回転する色相範囲と回転量、の少なくとも１つであることを特徴とする画像処理装置。
4. 請求項１から３のいずれか一項に記載の画像処理装置において、
   前記色の統計値として、色のばらつきを示す色差の標準偏差を用いることを特徴とする画像処理装置。
5. 請求項１から４のいずれか一項に記載の画像処理装置において、
   前記補正パラメータ調整部は、前記輝度範囲毎の補正パラメータを全輝度範囲に亘って重ね合わせる時に、隣接する前記輝度範囲の境界部分の特性を平滑化する
   ことを特徴とする画像処理装置。
6. 請求項１から５のいずれか一項に記載の画像処理装置の各部の処理をコンピュータで実行することを特徴とする画像処理プログラム。
7. 請求項１から５のいずれか一項に記載の画像処理装置を搭載する電子カメラであって、
   被写体を撮像して得られた画像を前記画像入力部に出力する撮像部と、
   前記画像処理装置が補間した画像を記録する記憶部と
   を有することを特徴とする電子カメラ。

Images