JP2006254336A - ホワイトバランス補正方法および装置 - Google Patents
ホワイトバランス補正方法および装置 Download PDFInfo
- Publication number
- JP2006254336A JP2006254336A JP2005071352A JP2005071352A JP2006254336A JP 2006254336 A JP2006254336 A JP 2006254336A JP 2005071352 A JP2005071352 A JP 2005071352A JP 2005071352 A JP2005071352 A JP 2005071352A JP 2006254336 A JP2006254336 A JP 2006254336A
- Authority
- JP
- Japan
- Prior art keywords
- white balance
- balance correction
- calculated
- cluster
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Image Processing (AREA)
- Processing Of Color Television Signals (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
- Image Analysis (AREA)
Abstract
【課題】比較的少ない演算量で高速処理が可能でありながら、最適なホワイトバランスを得ることを可能にして、ホワイトバランス補正性能をさらに向上させることができ、ロバスト性を向上させることができるホワイトバランス補正方法およびホワイトバランス補正装置を提供する。
【解決手段】入力されたカラー画像について少なくとも２つの特徴量を算出し、算出した特徴量に基づいて、カラー画像を予め用意された複数のクラスタの１つに分類し、カラー画像の少なくとも２色の色成分について、分類されたクラスタに予め用意された特徴量の非標準化係数および算出された特徴量を用いて重回帰分析を行うことにより、ホワイトバランス補正値の予測値を算出し、算出した予測値によってカラー画像の少なくとも２色の色成分をそれぞれ補正することにより上記課題を解決する。
【選択図】図２
【解決手段】入力されたカラー画像について少なくとも２つの特徴量を算出し、算出した特徴量に基づいて、カラー画像を予め用意された複数のクラスタの１つに分類し、カラー画像の少なくとも２色の色成分について、分類されたクラスタに予め用意された特徴量の非標準化係数および算出された特徴量を用いて重回帰分析を行うことにより、ホワイトバランス補正値の予測値を算出し、算出した予測値によってカラー画像の少なくとも２色の色成分をそれぞれ補正することにより上記課題を解決する。
【選択図】図２
Description
本発明は、カメラやデジタルカメラによって撮影された画像の画像データに基づいて再生画像を作成する際の、ホワイトバランス補正の技術に関し、詳しくは、異種光源で撮影されたシーンや色味に偏りのあるシーンなどであっても、適正なホワイトバランス補正を自動的に行うことのできるオートホワイトバランス補正の技術に関する。
フィルムに撮影された画像を光電的に読み取ることによって得られた画像データや、デジタルカメラでの撮影によって得られた画像データに、デジタル画像処理を施して出力用画像データを作成し、この出力用画像データに基づいて、写真プリントやポストカードやその他の再生画像を作成するデジタルフォトプリンタが知られている。
このようなデジタルフォトプリンタで行われる画像処理は、基本的には、撮影画像を最適な状態で再現するために行われるものであり、グレーバランス補正、カラーバランス補正、濃度補正、コントラスト補正などが含まれる。
デジタルフォトプリンタにおけるこのような画像処理は、まず、画像を解析することによって、その画像に対する補正条件を自動的に設定し、オペレータによる検定によって必要に応じて補正条件が修正された後、補正条件を確定し、確定した補正条件で画像を処理することで行われている。
このようなデジタルフォトプリンタで行われる画像処理は、基本的には、撮影画像を最適な状態で再現するために行われるものであり、グレーバランス補正、カラーバランス補正、濃度補正、コントラスト補正などが含まれる。
デジタルフォトプリンタにおけるこのような画像処理は、まず、画像を解析することによって、その画像に対する補正条件を自動的に設定し、オペレータによる検定によって必要に応じて補正条件が修正された後、補正条件を確定し、確定した補正条件で画像を処理することで行われている。
上記画像処理のうち、カラーバランス補正では、撮影光源等に起因して画像の色が不適正な色になるのを防止するように、画像のカラーバランスが補正される。
例えば、デーライトタイプのカラーフィルムを使用して撮影した場合、晴天の昼光の下で撮影された画像は、特別に補正をしなくても適切なカラーバランスの再生画像を得ることができるのに対し、日陰や曇天で撮影された画像はやや青みがかった画像に再生されてしまい（色温度が高い）、反対に、朝や夕方に撮影された画像はやや赤みがかった画像に再生されてしまう（色温度が低い）。また、蛍光灯やタングステン光など、昼光とは異なる光源下で撮影された画像も、その光源の種類によって画像全体の色味が異なって再生されてしまう。
高画質の再生画像を得るためには、このように撮影光源の違い等に起因して撮影画像に色味の変化があった場合にも、適正な色、すなわち人間の目で観察したシーンと近い色、あるいは再生画像を観察したときに好ましいと感じられる色の再生画像を得るように、カラーバランスを補正することが重要である。
例えば、デーライトタイプのカラーフィルムを使用して撮影した場合、晴天の昼光の下で撮影された画像は、特別に補正をしなくても適切なカラーバランスの再生画像を得ることができるのに対し、日陰や曇天で撮影された画像はやや青みがかった画像に再生されてしまい（色温度が高い）、反対に、朝や夕方に撮影された画像はやや赤みがかった画像に再生されてしまう（色温度が低い）。また、蛍光灯やタングステン光など、昼光とは異なる光源下で撮影された画像も、その光源の種類によって画像全体の色味が異なって再生されてしまう。
高画質の再生画像を得るためには、このように撮影光源の違い等に起因して撮影画像に色味の変化があった場合にも、適正な色、すなわち人間の目で観察したシーンと近い色、あるいは再生画像を観察したときに好ましいと感じられる色の再生画像を得るように、カラーバランスを補正することが重要である。
デジタルフォトプリンタにおけるカラーバランスの調整方法として、例えば特許文献１には、所定のＸ−Ｙ二次元座標系に表されたフィルムの発色限界特性を示す散布図から、画素群の上側境界を区画する上側主補正曲線と、下側境界を区画する下側主補正曲線を生成し、上側及び下側主補正曲線と標準光で撮影されたフィルム画像特性を表す基準線とのそれぞれの乖離度よりも所定比率で小なる乖離度の上側及び下側副補正曲線を前記基準線に接するように生成し、対象フィルム画像の上側及び下側にカーブを描いて偏在する各画素群を各補正曲線を基準に直線状に分布するように移動変換した後に、変換処理された上側及び下側画素群を前記基準線に向けて移動処理する、写真画像の処理方法が開示されている。
この方法によれば、異種光源下で撮影されたフィルム画像であっても、各コマ単位で自動的に最適なカラーバランスが調整可能であるとされている。
特開２００４−３２５７４１号公報
この方法によれば、異種光源下で撮影されたフィルム画像であっても、各コマ単位で自動的に最適なカラーバランスが調整可能であるとされている。
デジタルフォトプリンタの高性能化においては、画像処理精度の高さに加え、処理効率の高さも重要である。しかしながら、特許文献１に記載の写真画像の処理方法は、１コマの画像における全画素データの移動量をそれぞれ算出しており、さらに、そのような演算を各コマについて行っているため、演算量が膨大であり、処理時間を長く要するため効率が低くなるという問題がある。
これに対し、例えば、タングステン光や蛍光灯等の異種光源での撮影画像（異種光源シーン）に対する補正、および、日陰等の高色温度条件での撮影画像（高色温度シーン）に対する補正など、限られたシーンに対する補正のみを、予め定めたＬＵＴ（ルックアップテーブル）を補正するなどの比較的簡単な演算で行うようにし、高速処理を可能とする方法も考えられる。この場合には、例えば、入力された画像データについて画像解析を行ってある画像特徴量を算出し、その特徴量に基づいて、その画像が異種光源シーンであるか、高色温度シーンであるかなどを判別し、判別結果に応じて補正の実行の有無や、ＬＵＴの補正量を決定することができる。
図４に、高色温度シーンおよび異種光源シーンに対するカラーバランス補正を行う画像処理フローの一例を示す。図４には、統合画像処理系画像処理の工程として、画像解析工程、階調補正工程および類似駒処理工程が示されている。
まず、画像解析工程では、フィルムに撮影された画像をスキャナで読み取って得られた画像データや、デジタルカメラによって得られた画像データ等の入力画像データに対し、画像解析を行う。具体的には、ネガフィルムから得られた画像データの場合には、１件のネガから取得した複数の画像の画像データから、高彩度画素の除去およびグレー画素検出（グレー画素と推定される画素の検出）によって低彩度画素を抽出してテーブルを作成する。このテーブルは、続いて行われるグレーバランス補正で使用される。
まず、画像解析工程では、フィルムに撮影された画像をスキャナで読み取って得られた画像データや、デジタルカメラによって得られた画像データ等の入力画像データに対し、画像解析を行う。具体的には、ネガフィルムから得られた画像データの場合には、１件のネガから取得した複数の画像の画像データから、高彩度画素の除去およびグレー画素検出（グレー画素と推定される画素の検出）によって低彩度画素を抽出してテーブルを作成する。このテーブルは、続いて行われるグレーバランス補正で使用される。
次に、階調補正工程では、入力画像データに対し、グレーバランス補正、カラーバランス補正、濃度補正およびコントラスト補正を行うことにより、画像の階調補正を行う。
グレーバランス補正では、先の画像解析によって作成されたテーブルから、そのテーブルの作成に用いられた複数の画像の画像データの、Ｒ，Ｇ，Ｂ各色の濃度レンジ範囲の領域のデータを用いてグレー軸を最適近似して、グレーバランス補正量を算出する（ＥＮＤ−ＬＵＴ（Equivalent Neutral Density −ＬＵＴ；等価中性濃度ＬＵＴ）算出処理）。ここで、ＥＮＤ−ＬＵＴが極端に外れた、不適正なテーブルになるのを抑制するために、γ値を抑制する（ＥＮＤ−ＬＵＴのγ制御クリップ）。例えば、１件のネガの駒数が少ない場合には、グレー軸の傾き補正を制限し、オフセット補正のみとする。
グレーバランス補正では、先の画像解析によって作成されたテーブルから、そのテーブルの作成に用いられた複数の画像の画像データの、Ｒ，Ｇ，Ｂ各色の濃度レンジ範囲の領域のデータを用いてグレー軸を最適近似して、グレーバランス補正量を算出する（ＥＮＤ−ＬＵＴ（Equivalent Neutral Density −ＬＵＴ；等価中性濃度ＬＵＴ）算出処理）。ここで、ＥＮＤ−ＬＵＴが極端に外れた、不適正なテーブルになるのを抑制するために、γ値を抑制する（ＥＮＤ−ＬＵＴのγ制御クリップ）。例えば、１件のネガの駒数が少ない場合には、グレー軸の傾き補正を制限し、オフセット補正のみとする。
次に、カラーバランス補正では、高色温度シーンに対する補正および異種光源シーンに対する補正を行う。
高色温度シーン補正は、１駒の画像の解析結果と上記グレー軸を評価して、ある閾値によって高色温度シーンを判別し、高色温度シーンと判別された画像の画像データに対して高色温度シーンを適正な色で再生するための補正量を算出する。
異種光源シーン補正は、１駒の画像の解析結果と上記グレー軸を評価して、ある閾値によって異種光源シーンを判別し、異種光源シーンと判別された画像の画像データに対して異種光源シーンを適正な色で再生するための補正量を算出する。
高色温度シーン補正量の算出と異種光源シーン補正量の算出とは、別々に行われており、それぞれの算出結果から得られるオフセット値よりトータルの補正値が算出され、この補正値を用いてグレーバランスＬＵＴが生成される。
高色温度シーン補正は、１駒の画像の解析結果と上記グレー軸を評価して、ある閾値によって高色温度シーンを判別し、高色温度シーンと判別された画像の画像データに対して高色温度シーンを適正な色で再生するための補正量を算出する。
異種光源シーン補正は、１駒の画像の解析結果と上記グレー軸を評価して、ある閾値によって異種光源シーンを判別し、異種光源シーンと判別された画像の画像データに対して異種光源シーンを適正な色で再生するための補正量を算出する。
高色温度シーン補正量の算出と異種光源シーン補正量の算出とは、別々に行われており、それぞれの算出結果から得られるオフセット値よりトータルの補正値が算出され、この補正値を用いてグレーバランスＬＵＴが生成される。
次に、濃度補正では、１駒ごとの画像解析によって、アンダー部およびオーバー部の補正量を算出し、顔抽出により抽出した顔濃度に基づいて画像全体の濃度補正量を算出する。
最後に、コントラスト補正では、グレー軸の傾き補正量を算出する。
以上により算出された各補正量に基づいて、グレーバランスＬＵＴが調整される。
最後に、コントラスト補正では、グレー軸の傾き補正量を算出する。
以上により算出された各補正量に基づいて、グレーバランスＬＵＴが調整される。
次に、類似駒処理工程では、前後２駒の類似度（類似度評価値）によってカラーバランス補正量の重み付け平均を求め、カラーバランス調整量、濃度調整量およびコントラスト調整量をそれぞれ算出する。
しかし、上記のように、画像の解析により得られたある画像特徴量の値に閾値を設け、それを基準に高色温度シーンおよび異種光源シーンを判別する方法や、その画像特徴量に基づき高色温度シーン補正および異種光源シーン補正の補正量を決定する方法は、各画像に常に最適な補正を行えるとは限らず、カラーバランスを補正しきれずに、例えば、日陰で撮影された画像は青っぽく出力されてしまうことがあり、タングステン光で撮影された画像は赤っぽく出力されてしまうことがあった。
また、このように、ある画像特徴量の閾値で補正の実行の有無を決定すると、閾値近傍に特徴量の値を持つ画像では、類似するシーンであっても、補正されたりされなかったりとばらつきが出てしまい、ロバスト性が悪くなるという問題があった。
また、このように、ある画像特徴量の閾値で補正の実行の有無を決定すると、閾値近傍に特徴量の値を持つ画像では、類似するシーンであっても、補正されたりされなかったりとばらつきが出てしまい、ロバスト性が悪くなるという問題があった。
さらに、上記のように、ある画像特徴量、例えば、各色のヒストグラムから得られる値によって、高色温度シーンや異種光源シーンを判別する方法では、撮影されたシーンが標準的な色分布を持っている場合には、ある程度正確な判別を行うことができるが、シーンが極端な色の偏りを持っている場合（シーンの大部分に芝生が撮影された、Ｇ味が支配的な画像などの場合）には、その画像特徴量が、高色温度シーンまたは異種光源シーンによるものであるのか、シーンが本来持つ色味の偏りによるものであるのかを判別することができず、色味の偏りによる画像特徴量の値を光源によるものと誤認して、カラーバランス補正をすべきでない画像に対して補正を行ってしまったり、不適切な補正を行ってしまい、カラーフェリアを生じてしまうこともあった。
本発明の目的は、上記従来技術の問題点を解消し、比較的少ない演算量で、高速処理が可能でありながら、異種光源で撮影されたシーンや色味に偏りのあるシーンなどにおける、シーンに依存するカラーバランスの補正（以下、ホワイトバランス補正と呼ぶ）を高精度で自動的に行うことができ、カラーフェリアの発生を抑制でき、ホワイトバランス補正性能の更なる向上およびロバスト性の向上を実現できるホワイトバランス補正方法およびホワイトバランス補正装置を提供することにある。
上記課題を解決するために、本発明は、入力されたカラー画像の画像データを用いて、前記カラー画像について少なくとも２つの特徴量を算出し、
前記算出した特徴量に基づいて、前記カラー画像を、ホワイトバランス補正値が既知である複数の画像の分類に応じて予め用意された複数のクラスタの１つに分類し、
前記カラー画像の少なくとも２色の色成分について、前記分類されたクラスタに予め用意された前記特徴量の非標準化係数および前記算出された特徴量を用いて重回帰分析を行うことにより、ホワイトバランス補正値の予測値を算出し、
前記算出した予測値をホワイトバランス補正値として、前記カラー画像の前記少なくとも２色の色成分をそれぞれ補正することにより、前記カラー画像のホワイトバランスを補正することを特徴とするホワイトバランス補正方法を提供する。
前記算出した特徴量に基づいて、前記カラー画像を、ホワイトバランス補正値が既知である複数の画像の分類に応じて予め用意された複数のクラスタの１つに分類し、
前記カラー画像の少なくとも２色の色成分について、前記分類されたクラスタに予め用意された前記特徴量の非標準化係数および前記算出された特徴量を用いて重回帰分析を行うことにより、ホワイトバランス補正値の予測値を算出し、
前記算出した予測値をホワイトバランス補正値として、前記カラー画像の前記少なくとも２色の色成分をそれぞれ補正することにより、前記カラー画像のホワイトバランスを補正することを特徴とするホワイトバランス補正方法を提供する。
ここで、前記カラー画像の前記クラスタへの分類は、
前記算出された少なくとも２つの特徴量を用いて前記カラー画像の主成分得点を算出し、
前記算出した主成分得点と前記クラスタに予め用意された初期クラスタ中心とのクラスタ距離が最も小さいクラスタに分類することにより行うのが好ましい。
前記算出された少なくとも２つの特徴量を用いて前記カラー画像の主成分得点を算出し、
前記算出した主成分得点と前記クラスタに予め用意された初期クラスタ中心とのクラスタ距離が最も小さいクラスタに分類することにより行うのが好ましい。
また、前記主成分得点の算出は、
予め用意された前記特徴量の平均および標準偏差を用いて、前記算出した少なくとも２つの特徴量をそれぞれ標準化し、
前記標準化した各特徴量、および、予め用意された前記各特徴量の負荷量を用いた主成分分析によって行うのが好ましい。
予め用意された前記特徴量の平均および標準偏差を用いて、前記算出した少なくとも２つの特徴量をそれぞれ標準化し、
前記標準化した各特徴量、および、予め用意された前記各特徴量の負荷量を用いた主成分分析によって行うのが好ましい。
また、前記ホワイトバランスの補正は、基準となるルックアップテーブルの全体を前記ホワイトバランス補正値によってオフセットしたルックアップテーブルにより行うのが好ましい。
また、上記課題を解決するために、本発明は、
ホワイトバランス補正値が既知である複数の画像の分類に応じて予め用意された複数のクラスタごとに、前記ホワイトバランス補正値が既知である画像から算出された少なくとも２つの特徴量の非標準化係数を記憶する記憶手段と、
前記入力されたカラー画像の画像データを用いて、前記カラー画像について、少なくとも２つの特徴量を算出する特徴量算出手段と、
前記算出した特徴量に基づいて前記クラスタのいずれかに分類するクラスタ分類手段と、
前記カラー画像の少なくとも２色の色成分について、前記クラスタ分類手段によって分類された前記クラスタに対応する前記非標準化係数を前記記憶手段から読み出し、読み出した前記非標準化係数および前記特徴量算出手段によって算出された特徴量を用いて重回帰分析を行うことにより、ホワイトバランス補正値の予測値を算出してホワイトバランス補正値とする補正値算出手段と、
補正値算出手段によって算出された前記ホワイトバランス補正値によって、前記カラー画像の前記少なくとも２色の色成分をそれぞれ補正することにより、前記カラー画像のホワイトバランスを補正するホワイトバランス補正手段と、を有することを特徴とするホワイトバランス補正装置を提供する。
ホワイトバランス補正値が既知である複数の画像の分類に応じて予め用意された複数のクラスタごとに、前記ホワイトバランス補正値が既知である画像から算出された少なくとも２つの特徴量の非標準化係数を記憶する記憶手段と、
前記入力されたカラー画像の画像データを用いて、前記カラー画像について、少なくとも２つの特徴量を算出する特徴量算出手段と、
前記算出した特徴量に基づいて前記クラスタのいずれかに分類するクラスタ分類手段と、
前記カラー画像の少なくとも２色の色成分について、前記クラスタ分類手段によって分類された前記クラスタに対応する前記非標準化係数を前記記憶手段から読み出し、読み出した前記非標準化係数および前記特徴量算出手段によって算出された特徴量を用いて重回帰分析を行うことにより、ホワイトバランス補正値の予測値を算出してホワイトバランス補正値とする補正値算出手段と、
補正値算出手段によって算出された前記ホワイトバランス補正値によって、前記カラー画像の前記少なくとも２色の色成分をそれぞれ補正することにより、前記カラー画像のホワイトバランスを補正するホワイトバランス補正手段と、を有することを特徴とするホワイトバランス補正装置を提供する。
ここで、前記記憶手段は、さらに、前記クラスタごとの初期クラスタ中心を記憶し、
前記クラスタ分類手段は、前記特徴量算出手段によって算出された前記少なくとも２つの特徴量を用いて前記カラー画像の主成分得点を算出し、前記算出した主成分得点と、前記記憶手段から読み出した前記複数のクラスタの初期クラスタ中心とのクラスタ距離を算出し、前記クラスタ距離が最も小さい前記クラスタに、前記カラー画像を分類するのが好ましい。
前記クラスタ分類手段は、前記特徴量算出手段によって算出された前記少なくとも２つの特徴量を用いて前記カラー画像の主成分得点を算出し、前記算出した主成分得点と、前記記憶手段から読み出した前記複数のクラスタの初期クラスタ中心とのクラスタ距離を算出し、前記クラスタ距離が最も小さい前記クラスタに、前記カラー画像を分類するのが好ましい。
また、前記記憶手段は、さらに、前記クラスタごとに、前記ホワイトバランスが最適化された複数の画像から算出された前記少なくとも２つの特徴量の平均および標準偏差と、前記各特徴量の負荷量とを記憶し、
前記クラスタ分類手段は、前記記憶手段から前記特徴量の平均および標準偏差を読み出し、この特徴量の平均および標準偏差を用いて、前記算出した少なくとも２つの特徴量をそれぞれ標準化し、前記標準化した各特徴量および前記記憶手段から読み出した前記各特徴量の負荷量を用いた主成分分析によって前記主成分得点を算出するのが好ましい。
前記クラスタ分類手段は、前記記憶手段から前記特徴量の平均および標準偏差を読み出し、この特徴量の平均および標準偏差を用いて、前記算出した少なくとも２つの特徴量をそれぞれ標準化し、前記標準化した各特徴量および前記記憶手段から読み出した前記各特徴量の負荷量を用いた主成分分析によって前記主成分得点を算出するのが好ましい。
また、前記ホワイトバランス補正手段は、基準となるルックアップテーブルを有し、このルックアップテーブルの全体を、前記補正値算出手段によって算出された前記ホワイトバランス補正値によってオフセットしたルックアップテーブルにより、前記カラー画像のホワイトバランスを補正するのが好ましい。
本発明によれば、比較的少ない演算量で、高速処理が可能でありながら、それぞれの画像に対して最適なホワイトバランス補正（シーンに依存するカラーバランスの補正）を自動的に行うことができる。また、補正のばらつきや誤補正を軽減してロバスト性を向上させることができ、カラーフェリアの発生を抑制できるなど、ホワイトバランス補正性能をさらに向上させることができる。
本発明に係るホワイトバランス補正方法およびその方法を実施するホワイトバランス補正装置を、添付の図面に示す好適実施例に基づいて以下に詳細に説明する。
図１は、本発明のホワイトバランス補正方法を実行する本発明のホワイトバランス補正装置の一実施形態の概略構成を示すブロック図である。また、図２は、図１のホワイトバランス補正装置１０において実行される本発明のホワイトバランス補正処理方法の一実施形態を示すフロー図である。
図１に示すホワイトバランス補正装置１０は、入力されたカラー画像の画像データ（画像信号）に対してデジタル画像処理を施し、写真プリントやポストカードやその他の再生画像を作成する際の、シーンに依存するカラーバランスの補正（以下、ホワイトバランス補正と呼ぶ）を行うものである。ホワイトバランス補正装置１０は、デジタルフォトプリンタやデジタルカメラや、その他、入力画像データにホワイトバランス補正を行って出力する各種の画像形成装置に利用することができる。また、本発明のホワイトバランス補正方法は、パソコン等に搭載される画像ビューワーなどにも利用可能である。
以下では、ホワイトバランス補正装置１０をデジタルフォトプリンタに利用した場合を例に説明する。また、入力画像データは、フィルムに撮影された画像を光電的に読み取ることによって得られた画像データであってもよいし、デジタルカメラでの撮影によって得られた画像データであってもよい。
図１に示すホワイトバランス補正装置１０は、入力されたカラー画像の画像データ（画像信号）に対してデジタル画像処理を施し、写真プリントやポストカードやその他の再生画像を作成する際の、シーンに依存するカラーバランスの補正（以下、ホワイトバランス補正と呼ぶ）を行うものである。ホワイトバランス補正装置１０は、デジタルフォトプリンタやデジタルカメラや、その他、入力画像データにホワイトバランス補正を行って出力する各種の画像形成装置に利用することができる。また、本発明のホワイトバランス補正方法は、パソコン等に搭載される画像ビューワーなどにも利用可能である。
以下では、ホワイトバランス補正装置１０をデジタルフォトプリンタに利用した場合を例に説明する。また、入力画像データは、フィルムに撮影された画像を光電的に読み取ることによって得られた画像データであってもよいし、デジタルカメラでの撮影によって得られた画像データであってもよい。
ホワイトバランス補正装置１０は、デジタルフォトプリンタの画像処理装置内に設けられ、入力された撮影画像データに施す各種の画像処理の一部としてホワイトバランス補正を行う。
図３に、図１のホワイトバランス補正装置１０を有するデジタルフォトプリンタにおいて実施される画像処理の一実施形態を示す処理フロー図を示す。同図に示すように、本発明のオートホワイトバランス補正処理工程は、例えば、上述した図４の従来の処理フローにおけるカラーバランス補正工程の高温度シーン補正および異種光源シーン補正に代えて配置され、すべての入力画像データに対して、高温度シーン補正および異種光源シーン補正をも含めたホワイトバランス補正を行う。
なお、図３のオートホワイトバランス補正以外の工程は、上述の図４の各工程と同様のものなど、従来公知の各処理を行う処理工程とすることができる。
図３に、図１のホワイトバランス補正装置１０を有するデジタルフォトプリンタにおいて実施される画像処理の一実施形態を示す処理フロー図を示す。同図に示すように、本発明のオートホワイトバランス補正処理工程は、例えば、上述した図４の従来の処理フローにおけるカラーバランス補正工程の高温度シーン補正および異種光源シーン補正に代えて配置され、すべての入力画像データに対して、高温度シーン補正および異種光源シーン補正をも含めたホワイトバランス補正を行う。
なお、図３のオートホワイトバランス補正以外の工程は、上述の図４の各工程と同様のものなど、従来公知の各処理を行う処理工程とすることができる。
図１に示すように、ホワイトバランス補正装置１０は、記憶手段１２と、特徴量算出手段１４と、クラスタ分類手段１６と、補正値算出手段１８と、ホワイトバランス補正手段２０とを有している。
ホワイトバランス補正装置１０は、入力画像データ（フィルムの画像をスキャナで読み取ったプレスキャン画像データ等）から得られる様々な特徴量を利用し、重回帰分析を行うことで、ホワイトバランス補正値を算出する。より具体的には、ホワイトバランス補正装置１０は、ホワイトバランス補正値が既知である多数の学習用画像から学習データを取得して、ホワイトバランス補正処理に用いる固定値（固定パラメータ）として予め記憶手段１２に記憶しておき、入力された補正対象画像の画像データに対して、特徴量算出手段１４でその画像の特徴量を算出し、クラスタ分類手段１６によって、その特徴量と記憶手段１２に記憶されている固定値（学習データ）とを用いて入力画像をクラスタ分類し、次いで、補正値算出手段１８によって、入力画像の特徴量と分類されたクラスタに用意された固定値（学習データ）とを用いて重回帰分析を行って、ホワイトバランス補正値（その予測値）を算出する。
ホワイトバランス補正装置１０は、入力画像データ（フィルムの画像をスキャナで読み取ったプレスキャン画像データ等）から得られる様々な特徴量を利用し、重回帰分析を行うことで、ホワイトバランス補正値を算出する。より具体的には、ホワイトバランス補正装置１０は、ホワイトバランス補正値が既知である多数の学習用画像から学習データを取得して、ホワイトバランス補正処理に用いる固定値（固定パラメータ）として予め記憶手段１２に記憶しておき、入力された補正対象画像の画像データに対して、特徴量算出手段１４でその画像の特徴量を算出し、クラスタ分類手段１６によって、その特徴量と記憶手段１２に記憶されている固定値（学習データ）とを用いて入力画像をクラスタ分類し、次いで、補正値算出手段１８によって、入力画像の特徴量と分類されたクラスタに用意された固定値（学習データ）とを用いて重回帰分析を行って、ホワイトバランス補正値（その予測値）を算出する。
まず、記憶手段１２に予め記憶される、ホワイトバランス補正処理に用いる固定値（学習データ）について説明する。
記憶手段１２は、多数の学習用画像から取得された学習データを、ホワイトバランス補正処理に用いる固定値として記憶する。
学習用画像としては、異種光源シーンや高色温度シーンなど、各種の光源で撮影された画像、および、草木や芝生の緑が画像の大部分を占めるシーンや赤いドレスを着た女性を被写体としたシーンなど、特定の色が支配的なシーンを撮影した画像を含む、様々な画像が多数用意される。
学習用画像は、画像特徴量、撮影条件に関する情報、シーンの解析などに基づいて、類似する画像ごとに複数のクラスに分類され、分類されるクラスに対応するクラスタが設定される。例えば、タングステン光の下で撮影された画像のクラスタ、日陰で撮影された画像のクラスタ、晴天の昼光で撮影されたシーンであって芝生の占有率が所定範囲である画像のクラスタ、などに分類される。
記憶手段１２は、多数の学習用画像から取得された学習データを、ホワイトバランス補正処理に用いる固定値として記憶する。
学習用画像としては、異種光源シーンや高色温度シーンなど、各種の光源で撮影された画像、および、草木や芝生の緑が画像の大部分を占めるシーンや赤いドレスを着た女性を被写体としたシーンなど、特定の色が支配的なシーンを撮影した画像を含む、様々な画像が多数用意される。
学習用画像は、画像特徴量、撮影条件に関する情報、シーンの解析などに基づいて、類似する画像ごとに複数のクラスに分類され、分類されるクラスに対応するクラスタが設定される。例えば、タングステン光の下で撮影された画像のクラスタ、日陰で撮影された画像のクラスタ、晴天の昼光で撮影されたシーンであって芝生の占有率が所定範囲である画像のクラスタ、などに分類される。
これらの各学習用画像について、ホワイトバランス補正前の画像の、有効な特徴量として選択された２以上の特徴量と、ホワイトバランスが最適化されたときのホワイトバランス補正値とを求め、各学習用画像の特徴量およびホワイトバランス補正値を用いて固定値（学習データ）を算出しておく。
特徴量としては、例えば、Ｇ成分を基準としたＲ成分／Ｇ成分の平均濃度色差、Ｒ，Ｇ，Ｂ各色成分の標準偏差、Ｒ，Ｇ，Ｂ各色成分の最大値および最小値など、色相に関する特徴量が用いられる。
本実施形態において、固定値（学習データ）としては、図２に示すように、全学習用画像の各特徴量から得られた各特徴量についての平均／標準偏差、因子負荷量（固有ベクトル）、学習用画像が分類された各クラスタの初期クラスタ中心、および、クラスタごとに用意された各特徴量の非標準化係数が記憶されている。
特徴量としては、例えば、Ｇ成分を基準としたＲ成分／Ｇ成分の平均濃度色差、Ｒ，Ｇ，Ｂ各色成分の標準偏差、Ｒ，Ｇ，Ｂ各色成分の最大値および最小値など、色相に関する特徴量が用いられる。
本実施形態において、固定値（学習データ）としては、図２に示すように、全学習用画像の各特徴量から得られた各特徴量についての平均／標準偏差、因子負荷量（固有ベクトル）、学習用画像が分類された各クラスタの初期クラスタ中心、および、クラスタごとに用意された各特徴量の非標準化係数が記憶されている。
各特徴量についての平均および標準偏差は、クラスタ分類手段１６における特徴量標準化処理（図２のステップ３２）に用いられる。記憶手段１２が記憶する各特徴量の平均および標準偏差の数は、それぞれ、特徴量の数（ｎ）である。
また、各特徴量の因子負荷量（固有ベクトル）は、クラスタ分類手段１６における主成分特徴量算出処理（ステップ３４）に用いられる。記憶手段１２が記憶する因子負荷量の数は、特徴量の数（ｎ）×各特徴量についての主成分の数（ｓ）である。
また、各特徴量の因子負荷量（固有ベクトル）は、クラスタ分類手段１６における主成分特徴量算出処理（ステップ３４）に用いられる。記憶手段１２が記憶する因子負荷量の数は、特徴量の数（ｎ）×各特徴量についての主成分の数（ｓ）である。
初期クラスタ中心は、クラスタ分類手段１６におけるクラスタ分類処理（ステップ３６）に用いられる。上述のように、クラスタは、学習用画像の特徴量に基づいて分類される学習用画像のクラス（クラスタ）に対応して設定されており、設定された各クラスタについて、そのクラスタに分類された複数の学習用画像の特徴量に基づいて、初期クラスタ中心が求められている。記憶手段１２が記憶する初期クラスタ中心の数は、クラスタ数（ｃ）×各クラスタにおける主成分の数（ｓ）である。
非標準化係数は、補正値算出手段１８におけるクラスタ別重回帰値算出（ステップ３８）に用いられる。非標準化係数は、各クラスタについて、そのクラスタに分類された各学習用画像の特徴量およびホワイトバランス補正値に基づいて、各特徴量について算出されている。記憶手段１２は、クラスタ別（クラス別）に、各特徴量の非標準化係数を記憶している。
なお、図２には、クラスタ(1)〜(4)が図示されているが、クラスタの数は、学習用画像データに応じて設定されればよく、通常はもっと多くのクラスタが設定される。また、図２においては、固定値として、各クラスタ(1)〜(4)にそれぞれａ、ｂ、ｃ、ｄ個の特徴量についての非標準化係数が用意されている。通常、クラスタによって、重回帰値算出に用いる特徴量やその個数は異なっている。
なお、図２には、クラスタ(1)〜(4)が図示されているが、クラスタの数は、学習用画像データに応じて設定されればよく、通常はもっと多くのクラスタが設定される。また、図２においては、固定値として、各クラスタ(1)〜(4)にそれぞれａ、ｂ、ｃ、ｄ個の特徴量についての非標準化係数が用意されている。通常、クラスタによって、重回帰値算出に用いる特徴量やその個数は異なっている。
本実施形態のホワイトバランス補正方法においては、ＲＧＢの３色の色成分のうち、Ｇ成分を固定し、Ｒ成分およびＢ成分を補正する。したがって、非標準化係数は、Ｒ成分およびＧ成分それぞれに対して用意されている。なお、ＲＧＢの各色成分のうち、Ｒ成分またはＢ成分を固定して、他の２色の色成分について非標準化係数を用意してもよいし、ＲＧＢの各色成分について非標準化係数を用意し、ＲＧＢの各色成分を補正するようにしてもよい。
記憶手段１２に記憶される固定値（学習データ）は、十分なホワイトバランス補正性能およびロバスト性を確保できるように設定された所定個数またはそれ以上の学習用画像の、各学習用画像について算出された所定個数またはそれ以上の特徴量に基づいて用意される。
後述するように、ホワイトバランス補正処理装置１０による、入力画像（補正対象画像）データに対するホワイトバランス補正処理おいて、特徴量算出手段１４は、学習用画像から求められ記憶手段１２に記憶された特徴量の項目と同じ複数（少なくとも２つ）の特徴量を、入力画像に対して算出する。本発明のホワイトバランス補正方法において、学習用画像および入力画像について、２つ以上の特徴量を算出するのは、１つの特徴量によって補正の有無を決定する方法において生じる補正のばらつき、すなわち、特徴量が閾値近傍に値を持つ類似シーンにおいて、補正されたりされなかったりというばらつき等を抑制し、ロバスト性能を向上させるためである。本実施形態においては、ＲおよびＢの色成分データについてそれぞれ約１００個、合計約２００個の特徴量を算出する。
また、クラスタは、多いほど、様々な画像を細かく分類することができ、類似度の高い画像についての非標準化係数を用意することができるが、多すぎると、クラスタ分類処理に要する時間が長くなるため、要求される補正性能と処理効率の程度に応じて設定されるのが好ましい。
後述するように、ホワイトバランス補正処理装置１０による、入力画像（補正対象画像）データに対するホワイトバランス補正処理おいて、特徴量算出手段１４は、学習用画像から求められ記憶手段１２に記憶された特徴量の項目と同じ複数（少なくとも２つ）の特徴量を、入力画像に対して算出する。本発明のホワイトバランス補正方法において、学習用画像および入力画像について、２つ以上の特徴量を算出するのは、１つの特徴量によって補正の有無を決定する方法において生じる補正のばらつき、すなわち、特徴量が閾値近傍に値を持つ類似シーンにおいて、補正されたりされなかったりというばらつき等を抑制し、ロバスト性能を向上させるためである。本実施形態においては、ＲおよびＢの色成分データについてそれぞれ約１００個、合計約２００個の特徴量を算出する。
また、クラスタは、多いほど、様々な画像を細かく分類することができ、類似度の高い画像についての非標準化係数を用意することができるが、多すぎると、クラスタ分類処理に要する時間が長くなるため、要求される補正性能と処理効率の程度に応じて設定されるのが好ましい。
次に、ホワイトバランス補正装置１０における、入力画像に対するホワイトバランス補正処理について説明する。
ホワイトバランス補正装置１０を備えるデジタルフォトプリンタが、フィルムに撮影された画像を光電的に読み取って得られた画像データから、出力用画像データを作成する場合には、このデジタルフォトプリンタは、フィルムの画像を低解像度で読み取ったプレスキャン画像データに対して画像処理条件を設定し、設定した条件に応じて、フィルムの画像を高解像度で読み取ったファインスキャン画像データに対して画像処理を施して、出力用画像データとする。このとき、ホワイトバランス補正装置１０は、プレスキャン画像データに基づいてホワイトバランス補正値を算出し、算出した補正値によってファインスキャン画像データのホワイトバランス補正値とする。
ホワイトバランス補正装置１０を備えるデジタルフォトプリンタが、フィルムに撮影された画像を光電的に読み取って得られた画像データから、出力用画像データを作成する場合には、このデジタルフォトプリンタは、フィルムの画像を低解像度で読み取ったプレスキャン画像データに対して画像処理条件を設定し、設定した条件に応じて、フィルムの画像を高解像度で読み取ったファインスキャン画像データに対して画像処理を施して、出力用画像データとする。このとき、ホワイトバランス補正装置１０は、プレスキャン画像データに基づいてホワイトバランス補正値を算出し、算出した補正値によってファインスキャン画像データのホワイトバランス補正値とする。
本実施形態においては、ホワイトバランス補正装置１０は、他の画像処理を行う装置と組み合わせて設けられている。ホワイトバランス補正装置１０の上流側には、フィルム濃度に応じて全体の濃度をオフセットする補正テーブルの算出処理工程（図３のＥＮＤ−ＬＵＴ算出処理）を行う装置が配置されており、フィルムＥＮＤ（Equivalent Neutral Density）−ＬＵＴ算出処理後のプレスキャンデータが、ホワイトバランス補正装置１０の特徴量算出手段１４に供給される。
ここで、ホワイトバランス補正装置１０を搭載する本実施形態のデジタルフォトプリンタにおいて、図３に示す統合画像処理系でのネガフィルムからの画像データの補正時に用いられるプレスキャン画像データは、ＲＧＢ濃度値である。ホワイトバランス補正装置１０におけるオートホワイトバランス補正では、図３の統合画像処理系フローの、ＥＮＤ−ＬＵＴ算出処理後のプレスキャンデータを利用している。画像解析および補正に利用しているプレスキャンデータは、画像解析時に間引き処理を行った後のデータである。なお、プレスキャンデータのサイズは、デジタルフォトプリンタの種類等によって異なり、特に制限されない。
なお、図１においては、説明を簡明にするために、ホワイトバランス補正装置１０において、ホワイトバランス補正手段２０によってファインスキャン画像データのホワイトバランス補正を行う形態としているが、ホワイトバランス補正装置１０を搭載するデジタルフォトプリンタにおいて、図３の統合画像処理系画像処理フローを実行する場合には、ホワイトバランス補正装置１０の補正値算出手段１８によって算出した補正値と、他の処理工程で算出した補正値とによって、階調補正ＬＵＴを生成するようにしてもよい。
また、特徴量算出手段１４には、高解像度で読み取ったファインスキャン画像データに間引き処理を施して低解像度化した画像データが供給されてもよいし、デジタルカメラ等によって取得された撮影画像データを低解像度化した画像データが供給されてもよい。
特徴量算出手段１４に供給する画像のサイズ、すなわち、ホワイトバランス補正装置１０におけるホワイトバランス補正値の算出に用いる画像サイズは、特に制限されない。
特徴量算出手段１４に供給する画像のサイズ、すなわち、ホワイトバランス補正装置１０におけるホワイトバランス補正値の算出に用いる画像サイズは、特に制限されない。
特徴量算出手段１４は、入力されたプレスキャン画像データ（以下、単に、入力画像データという）について、予め定められたｎ個の特徴量（ｎは２以上の正数）を算出する（図２のステップ３０）。特徴量算出手段１４が算出する特徴量の項目は、学習用画像から求められ記憶手段１２に記憶されている固定値（学習データ）を求めるのに用いた特徴量と同じ項目とすればよく、また、どの入力画像データについても同じ特徴量を算出すればよい。上述したように、特徴量は、例えば、その画像の平均濃度の色差や、標準偏差や、ＲＧＢの最大値または最小値などである。
クラスタ分類手段１６は、特徴量算出手段１４で算出した特徴量に基づいて、入力画像データを、学習用画像データの分類に基づいて設定された複数のクラスタの１つに分類する。クラスタ分類手段１６による処理は、特徴量標準化処理（ステップ３２）、主成分特徴量算出処理（ステップ３４）およびクラスタ分類処理（ステップ３６）から構成される。
特徴量標準化処理（ステップ３２）では、記憶手段１２から各特徴量の平均および各特徴量の標準偏差を読み出し、これらを用いて、特徴量算出処理（ステップ３０）で算出した入力画像データの各特徴量の標準化を行い、Ｚ得点（標準化係数）を算出する。ここで、Ｚ得点は、各特徴量をｘとすると、
Ｚ＝（ｘ−ｘの平均）／ｘの標準偏差
で表される。
Ｚ＝（ｘ−ｘの平均）／ｘの標準偏差
で表される。
主成分特徴量算出処理（ステップ３４）では、記憶手段１２から各特徴量の因子負荷量（固有ベクトル）を読み出し、特徴量標準化処理（ステップ３２）で算出したＺ得点と、読み出した因子負荷量（固有ベクトル）を用いて主成分分析を行って、各主成分ごとに主成分得点を算出する。因子負荷量をａn、Ｚ得点（標準化された特徴量、標準化係数）をｘnとすると、ｉ番目主成分得点（主成分特徴量）ｚｉは、
ｚｉ＝ａ1・ｘ1＋ａ2・ｘ2＋ａ3・ｘ3＋・・・＋ａn・ｘn
で表される。この処理により、その画像における有効な特徴量を算出する。
ｚｉ＝ａ1・ｘ1＋ａ2・ｘ2＋ａ3・ｘ3＋・・・＋ａn・ｘn
で表される。この処理により、その画像における有効な特徴量を算出する。
クラスタ分類処理（ステップ３６）では、記憶手段１２から各クラスタの初期クラスタ中心を読み出し、読み出した初期クラスタ中心と主成分特徴量算出処理（ステップ３４）で算出した主成分得点とを用いてクラスタ分類を行う。すなわち、主成分得点について、各クラスタに対してクラスタ距離（ユークリッド距離）を算出し、クラスタ距離が最も小さいクラスタに入力画像データを割当てる。
ここで、主成分得点は、色相に関する特徴量から算出されたその画像の特徴を表すので、主成分得点を用いて画像を分類することにより、画像をある色相（ＲＧＢ、ＣＭＹなど）に、大まかに分類することができる。このように、色相に基づいてクラスタ分類し、後述するように、クラスタ別に補正量を算出することによって、ホワイトバランスの補正性能を向上させることができ、誤補正を軽減することができる。
ここで、主成分得点は、色相に関する特徴量から算出されたその画像の特徴を表すので、主成分得点を用いて画像を分類することにより、画像をある色相（ＲＧＢ、ＣＭＹなど）に、大まかに分類することができる。このように、色相に基づいてクラスタ分類し、後述するように、クラスタ別に補正量を算出することによって、ホワイトバランスの補正性能を向上させることができ、誤補正を軽減することができる。
すなわち、例えば、草木や芝生の緑が画像の大部分を占めるシーンや、赤いドレスを着た女性を被写体としたシーンなど、特定の色が支配的なシーンについてオートホワイトバランス補正処理を行った場合、従来は、支配色の影響でグレーの設定（グレーバランス）が適正でない補正をしてしまったり、異種光源シーンであると誤認してカラーバランス補正をしてしまうことにより、全体のカラーバランスが崩れた状態に補正してしまう、いわゆるカラーフェリアを生じることがあった。
それに対し、本発明のホワイトバランス補正処理は、まず、色相に関する特徴量に基づいて入力画像をクラスタ分類し、そのクラスタに分類される画像にとって適切な固定値（または補正値の算出式）を用いて、ホワイトバランス補正値を算出するので、カラーフェリアを抑制することができる。
また、プレスキャン画像データ（入力画像データ）からホワイトバランス補正値を算出するので、上段のグレーバランス補正（図３のＥＮＤ−ＬＵＴ算出処理）における誤補正によるカラーフェリアが生じた場合にもそれを修正でき、カラーフェリアを抑制することができる。
それに対し、本発明のホワイトバランス補正処理は、まず、色相に関する特徴量に基づいて入力画像をクラスタ分類し、そのクラスタに分類される画像にとって適切な固定値（または補正値の算出式）を用いて、ホワイトバランス補正値を算出するので、カラーフェリアを抑制することができる。
また、プレスキャン画像データ（入力画像データ）からホワイトバランス補正値を算出するので、上段のグレーバランス補正（図３のＥＮＤ−ＬＵＴ算出処理）における誤補正によるカラーフェリアが生じた場合にもそれを修正でき、カラーフェリアを抑制することができる。
補正値算出手段１８は、入力画像データのＲ成分およびＢ成分について、クラスタ分類手段１６によるクラスタ分類処理（ステップ３６）で分類されたクラスタに対応する非標準化係数、および、入力画像データの特徴量を用いて重回帰分析を行うことにより、ホワイトバランス補正値の予測値を算出する。補正値算出手段１８による処理は、クラスタ別重回帰値算出（ステップ３８）およびオートホワイトバランス（ＡＷＢ）補正値算出処理（ステップ４０）から構成される。
クラスタ別重回帰値算出（ステップ３８）では、クラスタ分類処理（ステップ３６）で分類されたクラスタに対応して用意されている、各特徴量の非標準化係数を、記憶手段１２から読み出し、この非標準化係数と、特徴量算出手段１４による特徴量算出処理（ステップ３０）によって算出された特徴量とを用いて、重回帰分析を行う。与えられた各特徴量の非標準化係数ｂｉ、入力画像データの特徴量をｕｉとすると、ホワイトバランス補正値の予測値Ｙは、
Ｙ＝ｂ1・ｕ1＋ｂ2・ｕ2＋ｂ3・ｕ3＋・・・＋ｂ0
で表される。すなわち、この重回帰式を、固定値（学習データ）として得られた各特徴量の非標準化係数ｂｉによって予め作成しておき、入力画像の特徴量ｕｉを上記式に代入することによって、入力画像に対するホワイトバランス補正値の予測値Ｙを自動的に算出できる。
Ｙ＝ｂ1・ｕ1＋ｂ2・ｕ2＋ｂ3・ｕ3＋・・・＋ｂ0
で表される。すなわち、この重回帰式を、固定値（学習データ）として得られた各特徴量の非標準化係数ｂｉによって予め作成しておき、入力画像の特徴量ｕｉを上記式に代入することによって、入力画像に対するホワイトバランス補正値の予測値Ｙを自動的に算出できる。
上述したように、記憶手段１２には、Ｒ成分およびＢ成分についての非標準化係数が記憶されており、予測値Ｙは、Ｒ成分およびＢ成分について、それぞれ算出される。
このように、ホワイトバランス補正装置１０においては、Ｒ成分およびＢ成分について、それぞれについて用意された非標準化係数を用いて、それぞれ独立にホワイトバランス補正値の予測値ＹＲ，ＹＢを求めている。しかし、予測値ＹＲ，ＹＢの算出に用いられるＲ成分およびＢ成分についての非標準化係数は、それぞれ、同じクラスタに分類された学習用画像の、同じ特徴量を利用して算出されているので、ホワイトバランス補正の相関は十分高いと言え、予測値ＹＲ，ＹＢによって、入力画像のＲ成分およびＢ成分をそれぞれ補正することにより、ホワイトバランス補正を適切に行うことができる。
このように、ホワイトバランス補正装置１０においては、Ｒ成分およびＢ成分について、それぞれについて用意された非標準化係数を用いて、それぞれ独立にホワイトバランス補正値の予測値ＹＲ，ＹＢを求めている。しかし、予測値ＹＲ，ＹＢの算出に用いられるＲ成分およびＢ成分についての非標準化係数は、それぞれ、同じクラスタに分類された学習用画像の、同じ特徴量を利用して算出されているので、ホワイトバランス補正の相関は十分高いと言え、予測値ＹＲ，ＹＢによって、入力画像のＲ成分およびＢ成分をそれぞれ補正することにより、ホワイトバランス補正を適切に行うことができる。
上述したように、各特徴量の非標準化係数ｂｉは、クラスタ別に求められており（すなわち、クラスタ別に重回帰式が求められており）、クラスタ別重回帰値算出（ステップ３８）において使用される入力画像の特徴量は、クラスタごとに異なっている。すなわち、図２に示すように、入力画像が分類される各クラスタ(1)〜(4)において、クラスタ別重回帰値算出に使用されるａ、ｂ、ｃ、ｄ個の入力画像の特徴量は、固定値として用意された、各クラスタ(1)〜(4)のそれぞれに対する、ａ、ｂ、ｃ、ｄ個の特徴量についての非標準化係数と対応する。
補正値算出手段１８は、特徴量算出手段１４によって算出された特徴量のうち、入力画像が分類されたクラスタでの重回帰値算出に用いる特徴量を取り出して、重回帰値算出を実施する。
補正値算出手段１８は、特徴量算出手段１４によって算出された特徴量のうち、入力画像が分類されたクラスタでの重回帰値算出に用いる特徴量を取り出して、重回帰値算出を実施する。
ホワイトバランス補正値算出処理（ステップ４０）では、クラスタ別重回帰値算出（ステップ３８）で算出した予測値Ｙを、ホワイトバランス補正値として決定する。このとき、必要に応じてホワイトバランス補正値の重み付けをしてもよい。
ホワイトバランス補正手段２０は、決定されたホワイトバランス補正値によって、入力画像データのＲ成分およびＢ成分を補正するＬＵＴ（Gray Balance LUT）を作成する（ステップ４２）。このＬＵＴは、γ＝１．０の変換テーブルであり、Ｒ成分およびＢ成分それぞれのホワイトバランス補正値によって、各色成分のテーブル全体を基準テーブルからオフセット（シフト）させることによって補正ＬＵＴが作成される。
なお、ホワイトバランス補正手段２０は、ＬＵＴによってホワイトバランス補正を行うものには限定されず、入力データを出力データに変換する関係式を有し、この関係式をホワイトバランス補正値によって修正して、修正した関係式によってホワイトバランス補正を行うものであってもよい。
また、上記ホワイトバランス補正値によって、他の補正ＬＵＴとは別にホワイトバランス補正ＬＵＴを作成してもよいし、先に作成したＥＮＤ−ＬＵＴをホワイトバランス補正値に基づいて修正するようにしてもよい。
また、上記ホワイトバランス補正値によって、他の補正ＬＵＴとは別にホワイトバランス補正ＬＵＴを作成してもよいし、先に作成したＥＮＤ−ＬＵＴをホワイトバランス補正値に基づいて修正するようにしてもよい。
以下、ホワイトバランス補正装置１０の作用を説明する。
入力画像のホワイトバランス補正を行うために、まず、入力画像のプレスキャンデータが特徴量算出手段１４に入力される。
特徴量算出手段１４は、プレスキャン画像データから入力画像の特徴量を算出する。算出した特徴量は、クラスタ分類手段１６へ供給する。
クラスタ分類手段１６は、供給された特徴量の標準化を行い、標準化された特徴量を用いて主成分特徴量（主成分得点Ｚ）を算出し、この主成分特徴量を用いてクラスタ分類を行う。
次に、補正値算出手段１８は、クラスタ分類手段１６で分類されたクラスタに対応する重回帰の計算式によって、ホワイトバランス補正値の予測値を算出し、算出した予測値をホワイトバランス補正値として決定して、ホワイトバランス補正手段２０へ送る。
ホワイトバランス補正手段２０は、上記によって算出されたホワイトバランス補正値によってＬＵＴを修正して、入力画像のホワイトバランス補正を行うＬＵＴを作成して保持する。
入力画像のホワイトバランス補正を行うために、まず、入力画像のプレスキャンデータが特徴量算出手段１４に入力される。
特徴量算出手段１４は、プレスキャン画像データから入力画像の特徴量を算出する。算出した特徴量は、クラスタ分類手段１６へ供給する。
クラスタ分類手段１６は、供給された特徴量の標準化を行い、標準化された特徴量を用いて主成分特徴量（主成分得点Ｚ）を算出し、この主成分特徴量を用いてクラスタ分類を行う。
次に、補正値算出手段１８は、クラスタ分類手段１６で分類されたクラスタに対応する重回帰の計算式によって、ホワイトバランス補正値の予測値を算出し、算出した予測値をホワイトバランス補正値として決定して、ホワイトバランス補正手段２０へ送る。
ホワイトバランス補正手段２０は、上記によって算出されたホワイトバランス補正値によってＬＵＴを修正して、入力画像のホワイトバランス補正を行うＬＵＴを作成して保持する。
入力画像のファインスキャンデータは、ホワイトバランス補正手段２０に入力され、ホワイトバランス補正手段２０に保持されている補正ＬＵＴによってホワイトバランスが補正される。
ホワイトバランス補正手段２０から出力されたホワイトバランス補正後の画像データは、例えば、ホワイトバランス補正装置１０の下流側に配置された処理装置に供給され、その他の画像処理が施される。
ホワイトバランス補正手段２０から出力されたホワイトバランス補正後の画像データは、例えば、ホワイトバランス補正装置１０の下流側に配置された処理装置に供給され、その他の画像処理が施される。
以上に説明したように、本発明のホワイトバランス補正方法およびホワイトバランス補正装置は、全入力画像のそれぞれについて、その色相に基づいてクラスタ分類し、クラスタ別の補正値算出方法によって、入力画像のホワイトバランスを補正値を算出するので、ある特徴量によって補正の実行の有無を決定し、限られたシーンに対してのみオートホワイトバランス補正を行う場合に生じていた、カラーフェリアや誤補正を軽減することができ、ホワイトバランス補正性能を向上させることができる。
なお、上記実施形態では、入力画像のクラスタ分類を行う際に、入力画像の特徴量の標準化を行い、標準化した特徴量（Ｚ得点）について主成分分析を行って、これにより算出された主成分得点によってクラスタ分類を行っているが、入力画像のクラスタ分類は、特徴量の標準化や主成分分析を行うことなく、入力画像の複数の特徴量と、固定値（学習データ）として用意された複数の特徴量とを比較すること等によって行ってもよい。この場合は、標準化のための特徴量の平均および標準偏差、ならびに主成分分析のための特徴量の因子負荷量の固定値（学習データ）は不要である。
また、特徴量の標準化を行わずに主成分分析を行って、入力画像のクラスタ分類を行ってもよい。この場合は、標準化のための特徴量の平均および標準偏差の固定値（学習データ）は不要である。
しかしながら、上記実施形態のように、特徴量の標準化や、主成分分析を行うことにより、上述したように、特徴量のデータのばらつきを押さえることができ、ホワイトバランス補正値の算出処理をより一層安定して行うことができ、その結果、オートホワイトバランス補正処理を高い処理効率でより安定して行うことができる。
また、特徴量の標準化を行わずに主成分分析を行って、入力画像のクラスタ分類を行ってもよい。この場合は、標準化のための特徴量の平均および標準偏差の固定値（学習データ）は不要である。
しかしながら、上記実施形態のように、特徴量の標準化や、主成分分析を行うことにより、上述したように、特徴量のデータのばらつきを押さえることができ、ホワイトバランス補正値の算出処理をより一層安定して行うことができ、その結果、オートホワイトバランス補正処理を高い処理効率でより安定して行うことができる。
また、上記実施形態では、補正量の算出に、重回帰分析を用いているが、この手法の欠点を補い、さらにロバスト性を上げるために、別の統計的な手法を重回帰分析に代えて、あるいは重回帰分析と組み合わせて用いるのも好ましい。
また、ホワイトバランス補正装置１０を、ネガフィルムから得られた画像を対象とする装置とする場合には、ネガフィルムの種類（メーカー、感度）やネガフィルムのタイプに応じた固定値（学習データ）を作成するのも好ましい。この場合には、画像データとともに、フィルム種の情報がホワイトバランス補正装置に入力されるようにし、フィルム種の情報に応じて固定値（学習データ）や使用する特徴量の選択および変更（チューニング）を行うことにより、フィルム種に応じた適切なホワイトバランス補正を行うことができ、オートホワイトバランス補正の補正性能および処理効率をさらに向上させることができる。
また、同一のネガフィルムに撮影された画像は、ネガフィルムの特性によって同一の傾向を有していることから、ネガから取得された画像に対して、前後のコマのホワイトバランス補正値を加味して補正値を設定するようにするのも好ましい。従来、１本のネガフィルム（１件）の複数コマの画像データを使って、大まかなグレーバランスを取ることが行われているが、コマ数が少ない場合には、適正な補正ができないこともある。そのため、同一のネガフィルムから取得されたコマ数に応じてホワイトバランス補正値を制御し、コマ数が少ないほど補正を抑制するようにして、極端な補正や誤補正を低減させるようにするのも好ましい。
また、人物を撮影した画像において、顔部分と背景部分に異なる光源（タングステンと蛍光灯、など）が当たっている場合、従来のオートホワイトバランス補正処理では、背景部分を照明している光源種に基づいたホワイトバランス補正を行ってしまうことがあり、それにより、人物の顔色が不適切に補正されてしまうことがあった。これに対し、本発明のホワイトバランス補正処理を行うフォトプリンタ等において、ホワイトバランス補正値の算出に先立って、顔抽出を行って顔情報を取得するようにし、顔領域を照明している光源の情報を１つの特徴量としてクラスタに分類を行うことにより、人物の顔部分を照明する光源種に基づくホワイトバランス補正を自動的に行うことができる。したがって、人物の顔色が適正に再現された再生画像を得ることができ、高い補正性能を得ることができる。
なお、上記実施形態では、十分多くの学習用画像を解析し、この学習用画像から取得して記憶手段１２に記憶した学習データを固定値として、入力画像に対するオートホワイトバランス補正に使用したが、本発明はこれに限定されず、入力画像に対するオートホワイトバランス補正を行うとともに、このオートホワイトバランス補正処理の過程で算出された画像特徴量およびホワイトバランス補正値を用いて、記憶手段１２に記憶された固定値（学習データ）を更新するようにしてもよい。
以上、本発明に係るホワイトバランス補正方法およびホワイトバランス補正装置について詳細に説明したが、本発明は上記種々の実施例に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。
１０ ホワイトバランス補正装置
１２ 記憶手段
１４ 特徴量算出手段
１６ クラスタ分類手段
１８ 補正値算出手段
２０ ホワイトバランス補正手段
１２ 記憶手段
１４ 特徴量算出手段
１６ クラスタ分類手段
１８ 補正値算出手段
２０ ホワイトバランス補正手段
Claims (8)
- 入力されたカラー画像の画像データを用いて、前記カラー画像について少なくとも２つの特徴量を算出し、
前記算出した特徴量に基づいて、前記カラー画像を、ホワイトバランス補正値が既知である複数の画像の分類に応じて予め用意された複数のクラスタの１つに分類し、
前記カラー画像の少なくとも２色の色成分について、前記分類されたクラスタに予め用意された前記特徴量の非標準化係数および前記算出された特徴量を用いて重回帰分析を行うことにより、ホワイトバランス補正値の予測値を算出し、
前記算出した予測値をホワイトバランス補正値として、前記カラー画像の前記少なくとも２色の色成分をそれぞれ補正することにより、前記カラー画像のホワイトバランスを補正することを特徴とするホワイトバランス補正方法。 - 前記カラー画像の前記クラスタへの分類は、
前記算出された少なくとも２つの特徴量を用いて前記カラー画像の主成分得点を算出し、
前記算出した主成分得点と前記クラスタに予め用意された初期クラスタ中心とのクラスタ距離が最も小さいクラスタに分類することにより行う請求項１に記載のホワイトバランス補正方法。 - 前記主成分得点の算出は、
予め用意された前記特徴量の平均および標準偏差を用いて、前記算出した少なくとも２つの特徴量をそれぞれ標準化し、
前記標準化した各特徴量、および、予め用意された前記各特徴量の負荷量を用いた主成分分析によって行う請求項２に記載のホワイトバランス補正方法。 - 前記ホワイトバランスの補正は、基準となるルックアップテーブルの全体を前記ホワイトバランス補正値によってオフセットしたルックアップテーブルにより行う請求項１〜３のいずれかに記載のホワイトバランス補正方法。
- ホワイトバランス補正値が既知である複数の画像の分類に応じて予め用意された複数のクラスタごとに、前記ホワイトバランス補正値が既知である画像から算出された少なくとも２つの特徴量の非標準化係数を記憶する記憶手段と、
前記入力されたカラー画像の画像データを用いて、前記カラー画像について、少なくとも２つの特徴量を算出する特徴量算出手段と、
前記算出した特徴量に基づいて前記クラスタのいずれかに分類するクラスタ分類手段と、
前記カラー画像の少なくとも２色の色成分について、前記クラスタ分類手段によって分類された前記クラスタに対応する前記非標準化係数を前記記憶手段から読み出し、読み出した前記非標準化係数および前記特徴量算出手段によって算出された特徴量を用いて重回帰分析を行うことにより、ホワイトバランス補正値の予測値を算出してホワイトバランス補正値とする補正値算出手段と、
補正値算出手段によって算出された前記ホワイトバランス補正値によって、前記カラー画像の前記少なくとも２色の色成分をそれぞれ補正することにより、前記カラー画像のホワイトバランスを補正するホワイトバランス補正手段と、を有することを特徴とするホワイトバランス補正装置。 - 前記記憶手段は、さらに、前記クラスタごとの初期クラスタ中心を記憶し、
前記クラスタ分類手段は、前記特徴量算出手段によって算出された前記少なくとも２つの特徴量を用いて前記カラー画像の主成分得点を算出し、前記算出した主成分得点と、前記記憶手段から読み出した前記複数のクラスタの初期クラスタ中心とのクラスタ距離を算出し、前記クラスタ距離が最も小さい前記クラスタに、前記カラー画像を分類する請求項５に記載のホワイトバランス補正装置。 - 前記記憶手段は、さらに、前記クラスタごとに、前記ホワイトバランスが最適化された複数の画像から算出された前記少なくとも２つの特徴量の平均および標準偏差と、前記各特徴量の負荷量とを記憶し、
前記クラスタ分類手段は、前記記憶手段から前記特徴量の平均および標準偏差を読み出し、この特徴量の平均および標準偏差を用いて、前記算出した少なくとも２つの特徴量をそれぞれ標準化し、前記標準化した各特徴量および前記記憶手段から読み出した前記各特徴量の負荷量を用いた主成分分析によって前記主成分得点を算出する請求項６に記載のホワイトバランス補正装置。 - 前記ホワイトバランス補正手段は、基準となるルックアップテーブルを有し、このルックアップテーブルの全体を、前記補正値算出手段によって算出された前記ホワイトバランス補正値によってオフセットしたルックアップテーブルにより、前記カラー画像のホワイトバランスを補正する請求項５〜７のいずれかに記載のホワイトバランス補正装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005071352A JP2006254336A (ja) | 2005-03-14 | 2005-03-14 | ホワイトバランス補正方法および装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005071352A JP2006254336A (ja) | 2005-03-14 | 2005-03-14 | ホワイトバランス補正方法および装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2006254336A true JP2006254336A (ja) | 2006-09-21 |
Family
ID=37094302
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005071352A Withdrawn JP2006254336A (ja) | 2005-03-14 | 2005-03-14 | ホワイトバランス補正方法および装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2006254336A (ja) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008219681A (ja) * | 2007-03-07 | 2008-09-18 | Univ Nihon | 画像処理方法、画像処理装置、画像処理プログラム、及び、記録媒体 |
| JP2009038712A (ja) * | 2007-08-03 | 2009-02-19 | Nikon Corp | カラー撮像装置 |
| JP2009205559A (ja) * | 2008-02-28 | 2009-09-10 | Nec Corp | 路面標示画像処理装置、路面標示画像処理方法並びに路面標示画像処理プログラム |
| WO2010055992A2 (ko) * | 2008-11-17 | 2010-05-20 | 한국항공우주연구원 | 신경 회로망을 이용한 위성 영상 보정 방법 및 장치 |
| WO2014106958A1 (ko) * | 2012-12-28 | 2014-07-10 | 한국항공우주연구원 | 히스토그램 명세화를 이용한 검출기 성능저하 보상 방법 |
| JP2018148281A (ja) * | 2017-03-01 | 2018-09-20 | 株式会社ブライセン | 画像処理装置 |
| CN114071107A (zh) * | 2020-08-10 | 2022-02-18 | 合肥君正科技有限公司 | 基于融合聚类分析与色温曲线的自动白平衡方法及装置 |
-
2005
- 2005-03-14 JP JP2005071352A patent/JP2006254336A/ja not_active Withdrawn
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008219681A (ja) * | 2007-03-07 | 2008-09-18 | Univ Nihon | 画像処理方法、画像処理装置、画像処理プログラム、及び、記録媒体 |
| JP2009038712A (ja) * | 2007-08-03 | 2009-02-19 | Nikon Corp | カラー撮像装置 |
| JP2009205559A (ja) * | 2008-02-28 | 2009-09-10 | Nec Corp | 路面標示画像処理装置、路面標示画像処理方法並びに路面標示画像処理プログラム |
| WO2010055992A2 (ko) * | 2008-11-17 | 2010-05-20 | 한국항공우주연구원 | 신경 회로망을 이용한 위성 영상 보정 방법 및 장치 |
| WO2010055992A3 (ko) * | 2008-11-17 | 2010-07-08 | 한국항공우주연구원 | 신경 회로망을 이용한 위성 영상 보정 방법 및 장치 |
| WO2014106958A1 (ko) * | 2012-12-28 | 2014-07-10 | 한국항공우주연구원 | 히스토그램 명세화를 이용한 검출기 성능저하 보상 방법 |
| JP2018148281A (ja) * | 2017-03-01 | 2018-09-20 | 株式会社ブライセン | 画像処理装置 |
| CN114071107A (zh) * | 2020-08-10 | 2022-02-18 | 合肥君正科技有限公司 | 基于融合聚类分析与色温曲线的自动白平衡方法及装置 |
| CN114071107B (zh) * | 2020-08-10 | 2023-10-31 | 合肥君正科技有限公司 | 基于融合聚类分析与色温曲线的自动白平衡方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7945109B2 (en) | Image processing based on object information | |
| US7315657B2 (en) | Image processing apparatus, image processing method, computer program and storage medium | |
| JP4529888B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
| US7936919B2 (en) | Correction of color balance of face images depending upon whether image is color or monochrome | |
| US7251056B2 (en) | Image processing apparatus, image processing method and information recording medium | |
| US9727951B2 (en) | Image processing apparatus and method for controlling the apparatus | |
| US7146041B2 (en) | Method and apparatus for correcting white balance, method for correcting density and recording medium on which program for carrying out the methods is recorded | |
| US8391646B2 (en) | Image processing device and method that performs image quality adjustment and resize processing on image data | |
| US8041112B2 (en) | Image processing apparatus, image forming apparatus, image reading apparatus, image processing method, image processing program, computer-readable storage medium for storing the image processing program with segmentation and density correction optimization | |
| US20130162869A1 (en) | Detecting Red Eye Filter and Apparatus Using Meta-Data | |
| JP4197346B2 (ja) | 画像処理装置、画像処理方法、画像形成装置、画像処理プログラムおよび記録媒体 | |
| JP2006254336A (ja) | ホワイトバランス補正方法および装置 | |
| JP2006259974A (ja) | 画像処理方法および装置 | |
| JP4859938B2 (ja) | 被写体情報を用いた画像処理 | |
| US6081343A (en) | Digital printer and image data conversion method therefor | |
| US6160634A (en) | Digital printer and image data conversion method | |
| US6289119B1 (en) | Image reading method capable of automatically adjusting image read conditions and image read apparatus adopting the method | |
| JP4522978B2 (ja) | 画像処理装置、画像処理方法、画像形成装置、画像処理プログラムおよび記録媒体 | |
| JP2002359716A (ja) | 印刷システム、印刷方法、プログラム及び記録媒体 | |
| JP4428895B2 (ja) | 画像処理装置、方法、プログラム及び記録媒体 | |
| JP2005142740A (ja) | インクジェット原稿判別方法、画像処理装置、画像読取装置、画像形成装置、インクジェット原稿判別プログラム及び記録媒体 | |
| JP2007215220A (ja) | 画像処理装置、画像処理方法及びコンピュータ・プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061211 |
|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20080603 |