JP2005309985A - 画像処理装置およびその方法 - Google Patents

Abstract

【課題】 照明むらがある色票画像やレンズ周辺光量の不足がある画像などを評価する場合、ノイズとは無関係なトレンド成分（照明むら、レンズ周辺減光などにより発生する成分）をノイズとして評価して、本来得られるべき値よりも大きな評価値になる場合がある。
【解決手段】 画質評価部205は、評価対象の画像データを均等色空間へ変換し、均等色空間の各軸について画像データからトレンド成分を検出し、検出したトレンド成分および平均色度を画像データから除去し、除去後の画像データを空間周波数領域に変換し、空間周波数領域の画像データに視覚周波数特性を重み付けし、重み付け後の画像データを実空間領域に変換し、実空間領域の画像データから統計的なばらつき量を求め、ばらつき量および予め実験的に求めた結合係数により、評価対象の画像データの画質評価関数を算出する。
【選択図】 図1

Description

本発明は画像処理装置およびその方法に関し、例えば、照明むらやレンズ周辺減光などにより発生するトレンド成分を考慮した画像処理に関する。

従来のノイズ評価では、例えば特開平9-284429号公報に記載されたように、評価対象になる画像（以下「被評価画像」と呼ぶ）を直交変換した空間周波数領域のデータに、人間の視覚周波数特性(VTF)で重み付けし、この重み付け後のデータを均等色空間に変換し、均等色空間内における標準偏差に対して、予め実験的に求めた一定の重み係数を乗じたものをノイズとしていた。

しかし、特開平9-284429号公報に記載された技術は、無彩色の均一な色票を撮影した際に限定されたもので、例えば、照明むらがある色票画像やレンズ周辺光量の不足（レンズ周辺減光）がある画像などを評価する場合、ノイズとは無関係なトレンド成分（照明むら、レンズ周辺減光などにより発生する成分）をノイズとして評価して、本来得られるべき値よりも大きな評価値になる場合がある。

特開平9-284429号公報

本発明は、上述の問題を個々にまたはまとめて解決するもので、トレンド成分を考慮して画質を評価することを目的とする。

また、トレンド成分を除去して画質を評価した結果に基づき、画像処理パラメータを生成することを他の目的とする。

本発明は、前記の目的を達成する一手段として、以下の構成を備える。

本発明にかかる画像処理は、評価対象の画像データから色空間の各軸についてトレンド成分を検出し、検出したトレンド成分および平均色度を前記画像データから除去し、前記除去後の画像データを空間周波数領域に変換し、前記空間周波数領域の画像データに視覚周波数特性を重み付けし、前記重み付け後の画像データを実空間領域に変換し、前記実空間領域の画像データから統計的なばらつき量を求め、前記ばらつき量および予め実験的に求めた結合係数により、前記評価対象の画像データの画質評価関数を算出することを特徴とする。

好ましくは、さらに、前記均等色空間へ変換前の前記画像データに画像処理を施し、前記画質評価関数が小さくなるように前記画像処理に使用した画像処理パラメータを編集することを特徴とする。

また、本発明にかかる画像処理装置は、外部機器との間でデータをやり取りするインタフェイスと、前記インタフェイスを介して外部機器から入力した画像データに画像処理を施す画像処理手段と、画像の画質を評価する評価領域をユーザに指定させるための指定手段と、前記評価領域の、前記画像処理後の画像データの平均値を算出する算出手段と、前記評価領域の、前記画像処理後の画像データのトレンド成分を検出し、検出したトレンド成分を前記画像データから除去する除去手段と、前記トレンド成分の除去後の画像データの画質の評価関数を算出する評価手段と、前記評価関数が小さくなるように前記画像処理に使用した画像処理パラメータを編集する編集手段とを有することを特徴とする。

本発明によれば、トレンド成分を考慮して画質を評価することができる。

また、トレンド成分を除去して画質を評価した結果に基づき、画像処理パラメータを生成することができる。

以下、本発明にかかる一実施形態の画像処理装置を図面を参照して詳細に説明する。

［概要］
実施例の画像処理装置は、被評価画像の画像データを均等色空間へ変換し、均等色空間の各軸に対してトレンド成分を検出し、検出されたトレンド成分および平均色度を画像データから取り除く。そして、画像データを直交変換により空間周波数領域に変換し、視覚周波数特性に基づく重み付けを行う。さらに、画像データを逆直交変換により実空間領域に戻し、実空間領域における画像データの統計的なばらつき量を求め、異なる条件で求めた係数を近似曲線で補間し、条件に応じた係数と統計的なばらつき量を結合して客観的な評価値を算出する。

例えば、トレンド成分は画像データを例えば最小二乗法によりn次元多項式面に近似することによって検出する。一例としては、画像データと例えば二次元多項式の差の二乗誤差が最小になる二次元次多項式を求める。また、異なる条件とは画像の平均的明るさ、平均色度とは被評価画像の均等色空間上での平均色度、統計的なばらつき量とは均等色空間の各軸の標準偏差である。

なお、以下の説明では、肌色、空や草の色、原色などを含むカラーチャートをディジタルカメラで撮影したときの撮影データを、カラーチャートの本来の色、または、肌色、空や草の色、原色などが、自分が好ましいと思う色に近付けるような画像処理パラメータを求める場合の、撮影データの色に対応する目標色を示すデータを「ターゲットデータ」と呼ぶ。

［構成］
図1は実施例のシステムの構成例を示すブロック図で、ディジタルカメラ1、画像処理パラメータをカスタマイズする画像処理装置2、色票3を有する。

ディジタルカメラ1は、撮影レンズとCCDなどの画像センサから構成される撮像部101、画像データおよび画像処理パラメータなどのデータを外部機器との間でインタフェイスするデータ入出力部102、撮像部101で取得した被写体像に画像処理を施す画像処理部103、被写体像の画像データ、画像処理後の画像データ、画像処理パラメータ（色処理パラメータ、ノイズ低減処理パラメータ、鮮鋭性向上処理パラメータなど）などのデータを保持する保持部104、撮影中や撮影後、画像処理後の画像などを表示する液晶ディスプレイなどの表示部105を有する。なお、画像処理部103は、保持部104に格納された画像処理パラメータを用いて画像処理を行う。また、データ入出力部102には、ケーブルなどを介して画像処理装置2を接続したり、メモリカードなどの記録媒体を接続することができる。

また、画像処理装置2は次の構成を備える。データ入出力部201は、画像データ、画像処理パラメータ、ターゲットデータなどのデータを外部機器との間でインタフェイスする。画像処理部202は、入力画像データに画像処理を施す。なお、画像処理部202は、保持部207に格納された画像処理パラメータを用いて画像処理を行い、処理後の画像を表示部209に表示する。また、データ入出力部201には、ケーブルなどを介してディジタルカメラ1などの画像取得デバイスを接続したり、メモリカードなどの記録媒体を接続することができる。

平均値算出部203は、入力画像データの所定領域のRGB平均値を算出する。ターゲットデータ調整部204は、表示部209に表示したターゲットデータを、ユーザが好みの色に調整するためのユーザインタフェイスを提供する。画質評価部205は、画像処理部202で画像処理された画像の画質を評価する。パラメータ編集部206は、画質評価部205が算出した評価値を最小にするように、画像処理パラメータを例えば後述するDLS法などを用いて編集する。保持部207は、入力画像データ（ターゲットデータを保持する入力画像データを含む）、画像処理後の画像データ、ターゲットデータ、画像処理パラメータ（色処理パラメータ、フィルタ処理パラメータなど）などのデータを保持する。

表示部209は、入力画像データが表す画像、画像処理後の画像、画質評価部205が算出した画質評価値、ターゲットデータなどを表示する。パラメータ調整部210は、表示部209に表示した画像処理後の画像を、ユーザが好みの画質に調整するためのユーザインタフェイスを提供する。重み設定部211は、画質評価部205が算出した評価値の重み値を、ユーザが好みの画質になるように調整するためのユーザインタフェイスを提供する。編集パラメータ選択部212は、編集する画像処理パラメータをユーザが選択するためのユーザインタフェイスを提供する。評価個所選択部213は、画像のどの部分を評価するかをユーザが入力をユーザインタフェイスを提供する。トレンド除去部214は、画像のトレンド成分を除去する。

本実施例は、画質を複数の観点から客観的に評価し、それら複数の評価値の重みをユーザが設定することで画質評価関数を決定し、その評価値が最小になるように画像処理パラメータを編集する、あるいは、ユーザがユーザインタフェイスを操作して好みの評価値になるように画像処理パラメータを調整する。このようにして得られる画像処理パラメータにより処理された出力画像は、表示部209に表示されたり、データ入出力部201を介して外部機器（ディジタルカメラ1を含む）に送られたり、記録媒体に格納されたりする。

［ディジタルカメラの処理］
まず、被写体を撮影する場合、ユーザによって電源スイッチ（不図示）がオンにされると、撮像部101による画像データの取得が開始される。画像処理部103は、保持部104に格納された画像処理パラメータを使用して、撮像部101から継続的に入力される画像データに画像処理を施し、画像処理後の画像データから表示用画像を生成して表示部105に表示する。表示部105には継続的に画像が表示される。

ユーザは、表示部105に表示された画像を観察して、画面の構図を決め、シャッタボタン（不図示）を押して撮影を行う。シャッタボタンが押されると、画像処理部103は、シャッタボタンが押されれたタイミングで撮像部101が取得した画像データに、保持部104に格納された画像処理パラメータによる画像処理（色、明るさの処理、ノイズ低減処理、鮮鋭性向上処理など）を施す。画像処理が施された画像データは、データ入出力部102を介して、外部機器（画像処理装置2や記憶媒体など）に出力される。

また、撮影時、撮像部101から取得した画像データをそのままデータ入出力部102へ出力するようなパラメータが保持部104に設定されていれば、撮像部101によって取得された画像データそのものがディジタルカメラ1から出力される。

［色票］
図2は色票3の一例を示す図である。色票は、例えばグレタグマクベス社のColorCheckerなど、すべての色相を満遍なく網羅し、グレイの階調ももつ市販のチャートを用いるとよい。

［画像処理装置］
図3は画像処理装置2における画像処理パラメータの編集の流れを示すフローチャートである。

まず、編集パラメータ選択部212により、表示部209に図4に示すユーザインタフェイスを表示して、色処理パラメータの編集を行うか否かの判断をユーザに促す(S1)。なお、図4に示すように、編集を行うか否かの判断とともに、どの評価項目を用いて色処理パラメータを編集するか（例えば、色差のみで編集するのか、色差とノイズの双方を考慮して編集するのか）、並びに、どの色処理パラメータを編集するのか（例えば、色変換マトリクスか、ガンマ補正テーブルか）の判断を促す。

ユーザが色処理パラメータを編集すると判断した場合は、後述する色処理パラメータの編集処理を実行する(S2)。

次に、編集パラメータ選択部212により、表示部209に図5に示すユーザインタフェイスを表示して、フィルタ処理パラメータの編集を行うか否かの判断をユーザに促す(S3)。なお、図5に示すように、編集を行うか否かの判断とともに、どの評価項目を用いてフィルタ処理パラメータを編集するか（例えば、ノイズと鮮鋭性のどちらを編集するのか）、並びに、どのフィルタ処理パラメータを編集するのか（例えば、通常のFIRフィルタである線形フィルタか、メディアンフィルタのような非線形フィルタか）の判断を促す。

ユーザがフィルタ処理パラメータを編集すると判断した場合は、後述するフィルタパラメータの編集処理を実行する(S4)。

［色処理パラメータの編集処理(S2)］
図6および図7は色処理パラメータの編集処理を説明するフローチャートである。

まず、データ入出力部201により画像データを読み込み(S101)、画像処理部202により、読み込んだ画像データに保持部207に保持された色処理パラメータを用いた画像処理を施す（以下では、画像処理後の画像データを「入力データ」と呼ぶ）(S102)。なお、読み込む画像データは、色票3を撮影したものでもよいし、任意の被写体を撮影したものでもよい。また、画像処理後のRGBデータをIEC 61966-2-1で規定されるsRGBと仮定し、白色点をD65としてCIE LABに変換したものを入力データとする。読み込んだ画像データ、入力データは保持部207に格納される。

次に、データ入出力部201によりターゲットデータを入力する(S103)。ターゲットデータは、例えば、色票3の各パッチをグレタグマクベス社のSpectroLinoなどの測色器で測色したCIE LAB値を使用すればよいし、任意の被写体を撮影した画像データを読み込んだ場合は、例えば、後述する評価個所と同色相でより彩度の高い鮮やかな値をターゲットデータにするなど、より好ましいLab値にすればよい。読み込んだターゲットデータは保持部207に格納される。

次に、入力データおよびターゲットデータが表す画像を表示部209に表示する(S104)。ユーザは、評価個所選択部213が提供するユーザインタフェイスを操作して、ターゲットデータに対応する入力データの評価個所を選択する(S105)。なお、評価個所は、ターゲットデータに一対一に対応させてターゲットデータの数分選択する。従って、ターゲットデータが一つであれば選択個所も一つ、ターゲットデータが複数であれば選択個所も複数になる。また、選択個所は、入力データ内で2のべき乗サイズになる矩形とし、色票3を撮影した画像の場合は色票3のパッチからはみ出さない矩形を選択し、任意の被写体を撮影した場合は色再現を変更したい個所を選択する。ターゲットデータと選択個所の組み合わせはIDによって管理する。ユーザが評価個所の選択を終えると、平均値算出部203により選択個所の入力データの平均値（Lab値）を求める(S106)。

次に、ターゲットデータ調整部204により、表示部209に各選択個所の平均値およびターゲットデータを表示する(S107)。図8は平均値およびターゲットデータをa*b*平面に表示した表示部209の表示例を示す図である。なお、図8には、複数の平均値とターゲットデータの組を示すが、例えば、選択個所の平均値2041に対応するターゲットデータは符号2042で表される。

次に、画質評価部205により、詳細を後述する手順で、編集前の画質評価値（以下「デフォルトの評価値」と呼び、色再現性の評価値Ediおよびノイズの評価値Ndiからなり、サフィックスiは選択個所およびターゲットデータとの対応を示す）を算出して表示部209に表示する(S108)。ユーザは、このデフォルトの評価値を参考に、必要に応じて、ターゲットデータ調整部204が提供するユーザインタフェイス（図8参照）のカーソル2043を操作して、表示部209に表示されたターゲットデータを移動することで、ターゲットデータを調整する(S109)。このとき、ユーザの好みに応じて、例えば肌色の赤味を強めたり、空色の青味を強めたりすることができる。

図9は色差重み値w_Ei 2051、ノイズ重み値w_Ni 2052を設定するために、重み設定部211が提供するユーザインタフェイスを示す図である。ユーザは、デフォルトの評価値を参考にして、ID入力部2053でターゲットデータを指定し、そのターゲットデータに適用する重み値であるw_Ei、w_Niを入力する(S110)。

次に、画像処理部202により、保持部207に保持された色処理パラメータを使用して、保持部207に保持された画像データに画像処理を施す（以下では、この画像処理後の画像データを「処理データ」と呼ぶ）(S111)。なお、画像処理後のRGBデータをIEC 61966-2-1で規定されるsRGBと仮定し、白色点をD65としてCIE LABに変換したものを処理データとする。処理データは保持部207に格納される。

次に、ステップS106の平均値の算出処理と同様に、平均値算出部203により、処理データの各選択個所の平均値を求める(S112)。続いて、画質評価部205により、詳細は後述するが、処理データの画質評価値（以下「処理後の評価値」と呼び、色再現性の評価値Eiおよびノイズの評価値Niからなる）を算出する(S113)。

次に、パラメータ編集部206により、色処理パラメータを編集する(S114)。編集の際は、DLS法などを用いて、画質評価部205が算出する画質評価関数Iがなるべく小さくなるように色処理パラメータを編集する。このとき、焼き鈍し法(Simulated Annealing)などを用いて極小解(Local Minimum)に陥る危険性の回避を試みることが好ましい。重み値w_Ei、w_Niを大きく設定すれば、計算上の評価値が大きくなるため、その評価値の改善率は高まる。例えば、空色色票の色再現性は許容できるが、ノイズが許容できない場合は、ノイズNiに関する重み値w_Niを大きく設定してノイズを抑える編集を行うことが可能になる。この他にも、編集にニューラルネットワークや遺伝的アルゴリズムなど既知の編集アルゴリズムを使用してもよいし、併用してもよい。

なお、DLS法とはDumped Least Square method（減衰最小二乗法）の略で、ある入力データの列をある処理パラメータ（本実施例ではマトリックス）で処理した後のデータ列と対応するターゲットデータ列の差が目標値列（本実施例ではΔE）に近づくように、処理パラメータを求める方法である。DLS法は、例えば「レンズ設計」P194（高橋友力著、東海大学出版会）に詳しい説明が掲載されている。

ここで、色処理の一つである色変換マトリクスのパラメータを編集する場合を説明する。色変換マトリクスのパラメータは次式のように示される。
┌ ┐ ┌ ┐┌ ┐
│R'│ │a11 a12 a13││R│
│G'│=│a21 a22 a23││G│ …(1)
│B'│ │a31 a32 a33││B│
└ ┘ └ ┘└ ┘
ここで、a11〜a33は色変換パラメータ
R、G、Bは入力データ
R'、G'、B'は変換後のデータ

適切な色変換パラメータa11〜a33を求めるには、パラメータ編集部206で、前述したDLS法などを用いて画質評価関数をなるべく小さくするように色変換パラメータa11〜a33を編集すればよい。式(1)には3×3=9パラメータ（一次マトリクス）を示したが、色再現精度や計算コストの兼ね合いを考慮して、3×9=27パラメータ（二次マトリクス）や3×20=60パラメータ（三次マトリクス）としてもよい。

また、色処理の一つであるガンマルックアップテーブル（以下「γLUT」と呼ぶ）のパラメータを編集する場合を説明する。図10はγLUTとして与えられる入出力特性曲線2061の一例を示す図である。入出力ともに8ビットならば256個のパラメータになるが、実際にパラメータを求める際は、図10に記号●で示す各色票に対応する点2062のみを求め、それら点2062を例えば直線もしくはスプライン曲線などで結んだ線を入出力特性曲線2061とするとよい。求めたパラメータが図10に示す入出力特性曲線2061を示すと仮定すると、曲線におけるノイズの入出力関係は図10に示す波形2063として表される。図10に示すように、曲線の傾きが小さい領域では出力側のノイズが減衰され、曲線の傾きが大きい領域では出力側のノイズが増幅される。

次に、画質評価関数Iの変化を判定し(S115)、画質評価関数Iが小さくなった場合は処理をステップS111へ戻し、画質評価関数Iが小さくならなくなるまで、ステップS111からS114の処理を繰り返す。

次に、編集された色処理パラメータを保持部207に保存し(S116)、ユーザに編集を終了するか否かの判断を促す(S117)。ユーザが編集を継続すると判断した場合は処理をステップS107へ戻し、以降の処理を繰り返す。

また、ユーザが編集を終了すると判断した場合は、各選択個所の評価値Ei、Niおよび画質評価関数I、並びに、編集後の色処理パラメータを用いて画像処理した画像などを表示部209に表示する(S118)。図11はターゲットデータ、各選択個所の平均値を編集後の色処理パラメータで処理した処理データ（図には「編集後入力データ」と記述する）、重み値w_Ei、w_Ni、評価値Ei、Niなどを一覧表示し、最後に画質評価関数Iを表示した例を示す図である。このような表示すれば、ユーザは、色処理パラメータの編集結果を判断し易い。

次に、ユーザは、必要に応じて、パラメータ調整部210が提供するユーザインタフェイスを操作して、編集後の色処理パラメータを調整する(S119)。図12はパラメータ調整部210が提供するユーザインタフェイスの一例を示す図で、ユーザはカーソル2072を操作してγLUT上の色票点2071を上下に移動する。パラメータ調整部210は、移動後の色票点2071から決定されるγLUTで処理した場合の画像2074を表示する。さらに、図12に示すユーザインタフェイスに、評価値Ei、Niや画質評価関数を表示し、重み値w_Ei、w_Niの操作部を備えれば、ユーザは、画像2074のノイズや色再現性に基づきノイズレベルを考慮した好みの色再現を設定することができる。なお、表示する評価値や色再現性は、選択個所に対応して表示することも可能である。勿論、パラメータ調整部210により、γLUTのみではなく、色変換マトリクスのパラメータが変更できる方が好ましい。

次に、編集後の色処理パラメータをデータ入出力部201に出力する(S120)。編集後の色処理パラメータは、ケーブルまたは記録メディアなどを介してディジタルカメラ1に送られ、保持部104に格納される。

●画質評価値の算出(S108)
図13はステップS108において画質評価部205が実行する画質評価値の算出処理を示すフローチャートである。

まず、詳細を後述する色再現性の評価方法により、選択個所の色再現性の評価値Ediを算出し(S201)、トレンド除去部214が実行する後述する処理により画像のトレンド成分を除去し(S202)、後述する方法により、選択個所のノイズを評価してノイズの評価値Ndiを算出する(S203)。

トレンド成分の除去により、例えば照明むらのある色票を撮影した画像、レンズの周辺減光が発生している画像、画像信号が平坦ではない任意画像でノイズ評価を行う際に、高精度にノイズ評価値を算出することができる。なお、照明むらが発生しないと思われる撮影状況でも、照明むらやレンズの周辺減光をまったく発生させないような設定は困難であり、スタジオを使用して撮影された画像などに対してもトレンド成分の除去は有効である。

次に、選択個所すべての評価値の算出が終了したか否かを判断し(S204)、未了であれば処理をステップS201に戻し、ステップS201からS203の処理を繰り返す。

選択個所すべての評価値の算出が終了した場合は、式(2)によって画質評価関数Idを算出する(S205)。ここで算出する画質評価関数Idは、デフォルトの評価値Edi、Ndiの総和、つまり選択個所全体の評価値の合計である。
Id = Σ_i=0 ^MIdi
Idi = Edi + Ndi …(2)
ここで、Mは選択個所の数
Idiは各選択個所の評価関数

●画質評価値の算出(S113)
図14はステップS113において画質評価部205が実行する画質評価値の算出処理を示すフローチャートである。

まず、詳細を後述する色再現性の評価方法により色再現性評価値を算出し(S211)、トレンド除去部214が実行する後述する処理により画像のトレンド成分を除去し(S222)、後述する方法により選択個所のノイズを評価してノイズ評価値を算出する(S223)。ただし、ステップS108でトレンド成分を除去する際に求めたトレンド成分を使用せずに、改めてトレンド成分を除去するが、これは、色処理パラメータの編集により色処理パラメータが変化すると、画像のトレンド成分も変化するからである。

次に、選択個所すべてのノイズ評価が終了したか否かを判断し(S224)、未了であれば処理をステップS201に戻し、ステップS221からS223の処理を繰り返す。

選択個所すべてのノイズ評価が終了した場合は、画質評価関数により画質評価を行い画質評価値を算出する(S225)。ここで算出する画質評価値は、上述した処理後の評価値Ei、Niである。選択個所全体の評価関数Iは次式で表される。
I = Σ_i=0 ^MIi
Ii = w_Ei・Ei + w_Ni・Ni …(3)
ここで、Mは選択個所の数
Iiは各選択個所の評価関数
w_Ei、w_Niは重み値

なお、色再現性とノイズの評価値は小さいほどよい。また、式(2)に示すデフォルトの画質評価関数Idの算出との大きな違いは、画質評価関数Iを算出する際に重み値w_Ei、w_Niを乗じていることである。

以上の処理で、ノイズレベルを考慮した色処理に関するパラメータを決定することができる。しかし、ノイズ低減や鮮鋭性向上に大きな効果をもたらす処理はフィルタ処理によるところが大きい。以下では、ノイズ低減処理と鮮鋭性向上処理に効果があるフィルタ処理パラメータを決定する処理を説明する。

［フィルタ処理パラメータの編集処理(S4)］
フィルタ処理パラメータは、色処理パラメータの編集とは独立に編集し決定することができるようにする。勿論、フィルタ処理パラメータは、色処理パラメータの編集後に編集し決定してもよいし、色処理パラメータの編集が必要なければ、色処理パラメータの編集を行わずに、フィルタ処理パラメータの編集を行ってもよい。以下では、色票以外を撮影して編集された色処理パラメータで処理した画像を用いてフィルタ処理パラメータを編集する例を説明するが、勿論、色票を撮影して編集された色処理パラメータで処理した画像を用いてもよい。

図15および図16はフィルタ処理パラメータの編集処理を説明するフローチャートである。

まず、データ入出力部201により画像データを読み込み(S501)、画像処理部202により、読み込んだ画像データに保持部207に保持された色処理パラメータおよびフィルタ処理パラメータを用いた画像処理を施す（以下では、画像処理後の画像データを「入力データ」と呼ぶ）(S502)。なお、読み込む画像データは、色票3を撮影したもの、任意の被写体を撮影したものでもよいし、色処理パラメータの編集処理時に読み込んで保持部207に格納した画像データでもよい。入力データは保持部207に格納される。

次に、入力データが表す画像を表示部209に表示する(S503)。ユーザは、評価個所選択部213が提供するユーザインタフェイスを操作して、評価個所を一個所選択する(S504)。選択個所は、入力データ内で2のべき乗サイズになる矩形とし、色票3を撮影した画像の場合は色票3のパッチからはみ出さない矩形を選択し、任意の被写体を撮影した場合はノイズを低減したい個所（一個所）を選択する。

次に、画質評価部205により、詳細を後述する手順で、編集前の画質評価値Fd（以下「デフォルトの評価値」と呼ぶ）を算出して表示部209に表示する(S505)。続いて、ユーザは、ターゲットデータ調整部204が提供するユーザインタフェイスを操作して、ターゲットデータを入力する(S506)。ターゲットデータには、一つの選択個所に対しL*値のターゲットT_L、u*値のターゲットT_u、v*値のターゲットT_vの三種を指定する。ユーザは、デフォルトの評価値Fdからノイズが多いと判断した場合は、画質評価値より小さい（ノイズが少ない）値を設定する。逆に、ノイズが少な過ぎると判断した場合、画質評価値より大きい（ノイズが多い）値を設定する。一方、鮮鋭性を優先する場合、ユーザは、鮮鋭性が低いと判断した場合は、デフォルトの評価値Fdより大きい（鮮鋭性が強い）値を設定し、鮮鋭性が高過ぎると判断した場合は、デフォルトの評価値Fdより低い（鮮鋭性が弱い）値を設定する。

図17はターゲットデータの重み値w_L 2075、w_u 2076、w_v 2077を設定するために、重み設定部211が提供するユーザインタフェイスを示す図である。ユーザは、デフォルトの評価値Fdを参考にして好みの画質になるように、ターゲットデータに適用する重み値を入力する(S507)。

次に、画像処理部202により、保持部207に保持された色処理パラメータおよびフィルタ理パラメータを使用して、保持部207に保持された画像データに画像処理を施す（以下では、この画像処理後の画像データを「処理データ」と呼ぶ）(S508)。処理データは保持部207に格納される。続いて、画質評価部205により、詳細は後述するが、処理データの画質評価値F（以下「処理後の評価値」と呼ぶ）を算出する(S509)。

次に、パラメータ編集部206により、フィルタ処理パラメータを編集する(S510)。編集の際は、DLS法などを用いて、画質評価部205が算出する画質評価関数Jがなるべく小さくなるようにフィルタ処理パラメータを編集する。このとき、焼き鈍し法などを用いて極小解に陥る危険性の回避を試みることが好ましい。重み値w_L、w_u、w_vを大きく設定すれば、計算上の評価値が大きくなるため、その評価値の改善率は高まる。この他にも、編集にニューラルネットワークや遺伝的アルゴリズムなど既知の編集アルゴリズムを使用してもよいし、併用してもよい。

ここで、フィルタ処理における平滑化パラメータを編集する場合を説明する。平滑化パラメータの編集は、平滑化フィルタのパラメータ編集問題に帰着する。ここでは、YUV色空間におけるノイズ低減処理の例を示すが、例えばRGB、L*a*b*、L*u*v*、HSVなど既知の色空間で処理してもよい。

まず、ITU-R BT.601に示される、RGBからYUVへの変換は下式で記述される。
┌ ┐ ┌ ┐┌ ┐
│Y│ │ 0.299 0.587 0.114││R│
│U│=│-0.169 -0.331 0.500││G│ …(4)
│V│ │-0.500 -0.419 -0.081││B│
└ ┘ └ ┘└ ┘

ここで、まず始めにYUVに対するノイズ低減を実現する平滑化処理を考える。平滑化処理は下式のような二次元FIRフィルタとして示され、インパルス応答の設定次第で、出力される画像のノイズ低減に大きな影響が及ぼす。
y'_YUV(x, y) = ΣΣh_Y(n1, n2)・y_YUV(x-n1, y-n2)
ただし、0≦n1≦N_Y、0≦n2≦N_Y、
一つ目のΣ演算はn1=0〜N_Y-1、二つ目のΣ演算はn2=0〜N_Y-1
u'_YUV(x, y) = ΣΣh_U(n1, n2)・u_YUV(x-n1, y-n2)
ただし、0≦n1≦N_U、0≦n2≦N_U、
一つ目のΣ演算はn1=0〜N_U-1、二つ目のΣ演算はn2=0〜N_U-1
v'_YUV(x, y) = ΣΣh_V(n1, n2)・v_YUV(x-n1, y-n2) …(5)
ただし、0≦n1≦N_V、0≦n2≦N_V、
一つ目のΣ演算はn1=0〜N_V-1、二つ目のΣ演算はn2=0〜N_V-1
ここで、y_YUV(x, y)、u_YUV(x, y)、v_YUV(x, y)は入力画像
y'_YUV(x, y)、u'_YUV(x, y)、v'_YUV(x, y)は出力画像
h_Y(n1, n2)、h_U(n1, n2)、h_V(n1, n2)はインパルス応答

ここで一例として輝度Yの平滑化を考える。マスクサイズN_Y(=3, 5, 7, …)のインパルス応答と、その周波数特性とは二次元逆フーリエ変換の関係にある。従って、二次元理想フィルタの周波数特性R_Yを(6)式の理想円形低域通過フィルタとすると、そのときのインパルス応答は(7)式で表される。
√(u1² + u2²)のとき H_Y(u1, u2) = 1
その他のとき H_Y(u1, u2) = 0 …(6)
.&lth_Y.&gt(n1, n2) = ΣΣH_Y(u1, u2)W_Y ^-n1・u1W_Y ^-n2・u2 …(7)
ここで、H_Y(u1, u2)は周波数特性
一つ目のΣ演算はu1=0〜N_Y-1
二つ目のΣ演算はu2=0〜N_Y-1

しかし、(7)式に示す<h_Y>は理想フィルタを示し、インパルス応答が無限に続いてFIRフィルタは求まらない。そこで、二次元ハニング窓などの既知の窓関数を乗算し、有限項で打ち切ればh_Y(n1, n2)が求まる。
h_Y(n1, n2) = w(n1, n2)・<h_Y> …(8)
ここで、w(n1, n2)は窓関数

すなわち、輝度Yのインパルス応答を求めるには、予め窓関数を決めておけば、マスクサイズN_Yおよび二次元理想フィルタの周波数特性R_Yの二つのパラメータを決定すればよい。

以上をまとめると、平滑化処理の編集に必要なパラメータは、予め窓関数を決めておくとして下記の六つでよい。
平滑化処理の編集に必要なパラメータ
N_Y、R_Y、N_U、R_U、N_V、R_V

次に、鮮鋭性向上の処理の一つであるアンシャープマスキングについて説明する。アンシャープマスク処理は下式で記述できる。
y'_YUV(x,y) = y_YUV(x,y) - s_Y{y_YUV(x,y) - ΣΣh_Y(n1,n2)・y_YUV(x-n1,y-n2)}
ただし、0≦n1≦N_Y、0≦n2≦N_Y、
一つ目のΣ演算はn1=0〜N_Y-1、二つ目のΣ演算はn2=0〜N_Y-1
u'_YUV(x,y) = u_YUV(x,y) - s_U{u_YUV(x,y) - ΣΣh_U(n1,n2)・u_YUV(x-n1,y-n2)}
ただし、0≦n1≦N_U、0≦n2≦N_U、
一つ目のΣ演算はn1=0〜N_U-1、二つ目のΣ演算はn2=0〜N_U-1
v'_YUV(x,y) = v_YUV(x,y) - s_V{v_YUV(x,y) - ΣΣh_V(n1,n2)・v_YUV(x-n1,y-n2)} …(9)
ただし、0≦n1≦N_V、0≦n2≦N_V、
一つ目のΣ演算はn1=0〜N_V-1、二つ目のΣ演算はn2=0〜N_V-1
ここで、y_YUV(x, y)、u_YUV(x, y)、v_YUV(x, y)は入力画像
y'_YUV(x, y)、u'_YUV(x, y)、v'_YUV(x, y)は出力画像
h_Y(n1, n2)、h_U(n1, n2)、h_V(n1, n2)はインパルス応答
s_Y、s_U、s_Vは重み

式(9)中のh(n1, n2)は、平滑化処理にも使用したインパルス応答である。従って、アンシャープマスク処理は平滑化処理に重みsを追加しただけであり、編集するパラメータは、平滑化処理のパラメータに重みsを加えた九つである。
アンシャープマスク処理の編集に必要なパラメータ
N_Y、R_Y、N_U、R_U、N_V、R_V、 s_Y、s_U、s_V

さらに、非線形フィルタの場合を説明する。上述したノイズ低減と鮮鋭性向上処理は、線形フィルタによる処理である。通常、線形フィルタで平滑化するとノイズの低減と同時に、画像の高周波成分を失うことになるので画像の解像性も低下する。この問題を解決する非線形フィルタとしてメディアンフィルタが知られている。線形フィルタは、二次元畳み込み演算で処理されるが、メディアンフィルタは入力画像の(2N_m+1)×(2N_m+1) (N_m=1, 2, 3, …)領域の画素を画素値の大きさ順に並べ、その中央値を出力画像の画素値とする。このようにすると、ノイズ除去と同時に、画像のエッジ成分が保存され、解像度が保たれた画像を得ることができる。すなわち、メディアンフィルタを決定するパラメータはフィルタ領域そのものであり、その他のパラメータは必要ない。従って、(2N_m+1)×(2N_m+1)領域をもつメディアンフィルタのパラメータは2N_m+1になる。つまり、2N_m+1をYUV軸ごとに考えると、編集するパラメータは、2N_{m, Y}+1、2N_{m, U}+1、2N_{m, V}の三つでよい。

パラメータ編集部206は、最適なパラメータを求めるために、上述したパラメータの少なくとも一つを画質評価関数Jがなるべく小さくなるように編集する。このようにフィルタ処理は、パラメータをうまく設定することによって編集が可能である。なお、上記の線形フィルタの編集の途中で、ノイズのターゲット値よりも処理途中のノイズ値が大きいときはノイズ低減フィルタの編集を、ノイズのターゲット値よりも処理途中のノイズ値が小さいときは鮮鋭性向上フィルタの編集を行う。一方、鮮鋭性のターゲット値よりも処理途中の鮮鋭性が低いときは鮮鋭性向上フィルタの編集を、鮮鋭性のターゲット値よりも処理途中の鮮鋭性が高いときはノイズ低減フィルタを編集するように、自動的に切り分けるようにする。また、本実施例におけるフィルタの編集は上記三種類だけに限らず、フィルタ全般に適応可能である。

次に、画質評価関数Jの変化を判定し(S511)、画質評価関数Jが小さくなった場合は処理をステップS508へ戻し、画質評価関数Jが小さくならなくなるまで、ステップS508からS510の処理を繰り返す。

次に、編集されたフィルタ処理パラメータを保持部207に保存し(S512)、ユーザに編集を終了するか否かの判断を促す(S513)。ユーザが編集を継続すると判断した場合は処理をステップS507へ戻し、以降の処理を繰り返す。

●画質評価値の算出(S505)
図18はステップS505において画質評価部205が実行する画質評価値の算出処理を示すフローチャートである。

まず、トレンド除去部214が実行する後述する処理により画像のトレンド成分を除去し(S601)、選択個所のノイズ（鮮鋭性）を評価してノイズ評価値を算出する(S602)。ノイズと鮮鋭性の評価方法は同一であるが、トレンド成分の除去の次数により、評価値の意味合いが変わってくる。低次のトレンド成分の除去では鮮鋭性評価、高次のトレンド成分の除去ではノイズ評価と区別できるが、色票を撮影した場合は、低次のトレンド成分の除去でノイズ評価が可能になるため、評価する画像により適時変更する。

トレンド成分の除去により、例えば照明むらのある色票を撮影した画像、レンズの周辺減光が発生している画像、画像信号が平坦ではない任意画像でノイズ（鮮鋭性）評価を高精度に行うことができる。また、選択個所のノイズ評価値は、L*、u*、v*ごとの、編集前のデフォルトの評価値F_dL、F_du、F_dvとして算出する。これら評価値の間には、次式の関係がある。
F_dL = α(L_AVE)σ_L*
F_du = β(L_AVE)σ_u* …(10)
F_dv = γ(L_AVE)σ_v*

次に、式(11)によって画質評価関数Fd（デフォルトの評価値F_dL、F_du、F_dvの総和）を算出する(S603)。なお、画質評価関数Fdが小さければ小さいほどノイズが少ないことを示す。
Fd = F_dL + F_du + F_dv …(11)

●画質評価値の算出(S509)
図19はステップS508において画質評価部205が実行する画質評価値の算出処理を示すフローチャートである。

まず、ステップS601で求めたトレンド成分を処理データから除去し(S701)、選択個所のノイズ（鮮鋭性）を評価してノイズ評価値F_L、F_u、F_vを算出し(S702)、次式により画質評価関数Jを算出する(S703)。
J = w_L√(F_L - T_L)² + w_u√(F_u - T_u)² + w_v√(F_v - T_v)² …(12)
ここで、F_L = α(L_AVE)σ_L*
F_u = β(L_AVE)σ_u*
F_v = γ(L_AVE)σ_v*

画質評価関数Jは、処理データのノイズ評価値FとターゲットデータTの差の絶対値にそれぞれに重みwを乗じたものである。処理データのノイズ評価値FがターゲットデータTに近ければ近いほど画質評価関数Jの値は小さくなる。言うまでもないが、画質評価関数Jは小さければ小さいほど良い。

また、図16に示すフローの説明に戻り、ステップS513で、ユーザがフィルタ処理パラメータの編集を終了すると判断した場合、選択個所の画質評価関数J、並びに、編集後のフィルタ処理パラメータを用いて画像処理した画像などを表示部209に表示する(S514)。なお、編集後のフィルタ処理パラメータで処理するのは選択個所だけでもよいし、エッジ検出などで画像の特徴を抽出し、選択個所に類似する画像領域と判定された領域を合わせて処理してもよいし、画像全体を処理してもよい。

図20はステップS514で表示されるフィルタ処理パラメータの編集結果を示す画面例を示す図で、このような表示すれば、ユーザは、フィルタ処理パラメータの編集結果を判断し易い。なお、図20に符号2001で示す矩形領域が選択個所である。

次に、ユーザは、必要に応じて、パラメータ調整部210が提供するユーザインタフェイスを操作して、編集後のフィルタ処理パラメータを調整する(S515)。図21および図22はパラメータ調整部210が提供するユーザインタフェイスの一例を示す図で、ユーザは、これらのインタフェイス上でフィルタ処理パラメータを編集し、編集されたフィルタ処理パラメータによる処理前後の画像および評価値を参照して、好みのノイズまたは鮮鋭性が得られるフィルタ処理パラメータを設定することができる。

次に、編集後のフィルタ処理パラメータをデータ入出力部201に出力する(S516)。編集後のフィルタ処理パラメータは、ケーブルまたは記録メディアなどを介してディジタルカメラ1に送られ、保持部104に格納される。続いて、他の画像領域を選択して、フィルタ処理パラメータを編集するか否かの判断をユーザに促す(S517)。ユーザが他の画像領域を選択してフィルタ処理パラメータの編集を行うと判断した場合は処理をステップS503へ戻し、行わないと判断した場合は処理を終了する。

［トレンド除去部の処理］
図23はトレンド除去部214によるトレンド成分の除去を説明するフローチャートである。

まず、RGBの処理データから三刺激値XYZを求める(S801)。例えば、IEC61966-2-1で規定されるsRGBの場合、以下の式により三刺激値XYZを求める。入力データを8ビットとすると、
R'_sRGB = R/255
G'_sRGB = G/255 …(13)
B'_sRGB = B/255

R'_sRGB, G'_sRGB, B'_sRGB≦0.04045ならば、
R_sRGB = R'_sRGB/12.92
G_sRGB = G'_sRGB/12.92 …(14)
B_sRGB = B'_sRGB/12.92

R'_sRGB, G'_sRGB, B'_sRGB＞0.04045ならば、
R_sRGB = {(R'_sRGB + 0.055)/1.055}^2.4
G_sRGB = {G'_sRGB + 0.055)/1.055}^2.4 …(15)
B_sRGB = {B'_sRGB + 0.055)/1.055}^2.4

そして、以下の変換を行う。
┌ ┐ ┌ ┐┌ ┐
│X│ │0.4124 0.3576 0.1805││R_sRGB│
│Y│=│0.2126 0.7152 0.0722││G_sRGB│ …(16)
│Z│ │0.0193 0.1192 0.9505││B_sRGB│
└ ┘ └ ┘└ ┘

ここで入力データRGBは8ビットよりも多ビットで量子化されていてもよく、8ビットの場合に比べて、後に行うトレンド成分の除去処理を高精度に行うことができる。

次に、三刺激値XYZを下式により均等色空間、例えばCIE LUVへ変換する(S802)。なお、均等色空間としてCIE LABを用いてもよい。
Y/Yn＞0.008856 の場合は L* = 116(Y/Yn)^1/3 - 16
Y/Yn≦0.008856 の場合は L* = 903.29(Y/Yn) …(17)
u* = 13・L*(u' - u'_n)
v* = 13・L*(v' - v'_n)
ここで、u' = 4X/(X + 15Y + 3Z)
v' = 9Y/(X + 15Y +3Z)
u'_n = 4X_n/(X_n + 15Y_n + 3Z_n)
v'_n = 9Y_n/(X_n + 15Y_n + 3Z_n)
X_n = 95.045
Y_n = 100
Z_n = 108.892

次に、均等色空間のLuv各軸の平均値L_AVE、u_AVE、v_AVEを算出し(S803)、画像のトレンド成分を検出する(S804)。具体的には、二次元n次多項式面関数で近似し、その近似式と画像の二乗誤差を最小にすることでトレンド成分を検出する。

いま、Luv各軸の二次元n次多項式をそれぞれf_L(x, y)、f_u(x, y)、f_v(x, y)とすると、一般式は以下のようになる。
f_L(x,y) = a_L,1 + a_L,2x + a_L,3y + a_L,4x² + a_L,5xy + a_L,6y²
+ a_L,7x³ + a_L,8x²y + a_L,9xy² + a_L,10y³ + … +
a_{L,{n(n+1)/2}+1}xⁿ + a_{L,{n(n+1)/2}+2}x^n-1y + …
+ a_{L,{(n+1)(n+2)/2}-1}xy^n-1 + a_{L,{(n+1)(n+2)/2}}yⁿ
= ΣΣa_{L,{(k-1)k/2}+m}x^k-my^m-1 …(18)
f_u(x, y) = ΣΣa_{u,{(k-1)k/2}+m}x^k-my^m-1
f_u(x, y) = ΣΣa_{v,{(k-1)k/2}+m}x^k-my^m-1
ここで、一つ目のΣ演算はk=1〜n+1、二つ目のΣ演算はm=1〜k

画像データをそれぞれL(x, y)、u(x, y)、v(x, y)とすると、近似した二次元n次多項式f_L(x, y)、f_u(x, y)、f_u(x, y)との二乗誤差は次式で表される。
E_L = Σ_x ^NΣ_y ^N{L(x, y) - f_L(x, y)}²
E_u = Σ_x ^NΣ_y ^N{u(x, y) - f_u(x, y)}² …(19)
E_v = Σ_x ^NΣ_y ^N{v(x, y) - f_v(x, y)}²

ここで二乗誤差を最小にする下記の条件が得られればよい。
∂E_L/∂ai=0, ∂E_u/∂ai=0, ∂E_v/∂ai=0 …(20)
ここで、i = 0, 1, 2, …, (n+1)(n+2)/2

従って、以下の連立方程式が得られる。
ΣΣ[ΣΣx^s-t+k-my^t+m-2]a_{(s-1)s/2}+t = ΣΣx^k-my^m-1L(x, y)
ΣΣ[ΣΣx^s-t+k-my^t+m-2]a_{(s-1)s/2}+t = ΣΣx^k-my^m-1u(x, y) …(21)
ΣΣ[ΣΣx^s-t+k-my^t+m-2]a_{(s-1)s/2}+t = ΣΣx^k-my^m-1v(x, y)
ここで、m = 1, 2, …, k
k = 1, 2, …, n+1
一つ目のΣ演算はs=1〜n+1、二つ目のΣ演算はt=1〜s
三つ目のΣ演算はx=1〜N、四つ目のΣ演算はy=1〜N
五つ目のΣ演算はx=1〜N、六つ目のΣ演算はy=1〜N
(21)式を行列で表すと次式になる。
BA_L = C_L
BA_u = C_u …(22)
BA_v = C_v
ここで、行列B、A、Cは図24に示すとおりである

従って、二次元n次多項式の係数行列Aは下式から求めることができる。
A_L = B^-1C_L
A_u = B^-1C_u …(23)
A_v = B^-1C_v

上記の演算によって直接的に係数行列Aを求めることができるが、近似多項式f_L(x, y)、f_u(x, y)、f_v(x, y)が高次になる場合、実際の系でLU分解法などを用いて逆行列B^-1を求めると計算量が多くなる。そのため、近似多項式が高次になる場合は、間接的に係数行列Aを求める方法として知られる共役勾配法などを用いる。なお、LU分解法と共役勾配法は既知の技術であるから、ここでは、それらの説明を省略する。

次に、得られた近似多項式によりトレンド成分を除去した処理データLr, ur, vrを求める(S805)。
Lr(x,y) = L(x,y) - f_{opt, L}(x, y) + L_AVE
ur(x,y) = u(x,y) - f_{opt, u}(x, y) + u_AVE …(24)
vr(x,y) = v(x,y) - f_{opt, v}(x, y) + v_AVE
ここで、f_{opt, L}(x, y)、f_{opt, u}(x, y)、f_{opt, v}(x, y)は得られた近似多項式

図25は画像の特定部分（選択個所）のトレンド成分の除去前後の画像データの分布を示す図で、図25(a)はトレンド成分の除去前の元画像データの分布を、図25(b)はトレンド成分の除去後の画像データの分布を示す。二つの画像データのL*のノイズ評価値を比べると、除去前は1.69、除去後は1.10である。(1.69-1.10)/1.69=0.349であるから、もし、トレンド成分を除去せずにノイズを評価した場合、評価値は約35%も大きな値になる。

最後に、トレンド成分除去後の処理データLr, ur, vrをRGBに変換する(S806)。

また、ステップS804のトレンド成分の検出は、例えば、任意画像を撮影する場合は画像の階調を除去するような次数を設定し、色票を撮影する場合は二次程度に設定するとよい。

また、トレンド成分の検出は、例えばノイズ評価を行いたい場合は、図26(b)に示すように、画像の階調を除去するような次数を設定する。このようにするのは、ノイズとは画素値の微小な揺らぎ（ミクロ的揺らぎ）であるとの仮定からである。一方、鮮鋭性評価を行いたい場合は、図26(c)に示すように、低次に設定するとよい。これは、鮮鋭性とは画像の振幅（マクロ的揺らぎ）であるとの仮定からである。なお、色票を撮影した場合のノイズ評価を行う場合は、画像の階調は皆無とみなして低次のトレンド成分検出でよい。

また、ステップS804で求めたトレンド成分は、後のステップS508で使用するので保持部207などのメモリに保存しておく。

［色再現性の評価方法］
図27はステップS108、S113、S201およびS211における色再現性の評価方法を説明するフローチャートである。

まず、入力データまたは処理データの平均値を入力し(S301)、その平均値を均等色空間（例えばLab）へ変換する(S302)。なお、平均値が例えばLab値であれば均等色空間への変換は不要である。次に、下式により各選択個所の評価関数をEiを算出する(S303)。
Ei = Σ_i√{(L*_Ti - L*_i)² + (a*_Ti - a*_i)² + (b*_Ti - b*_i)²} …(25)
ここで、L*_i、a*_i、b*_iは選択個所の平均値
L*_Ti、a*_Ti、b*_Tiはターゲットデータ

［ノイズ（鮮鋭性）評価］
図28はステップS108、S113、S203、S213、S602およびS702におけるノイズの評価方法を説明するフローチャートである。

まず、選択個所（M×N画素、Nは2のべき乗とする）の三刺激値XYZを求める(S401)。例えば、IEC61966-2-1で規定されるsRGBの場合、式(13)〜(16)を使用して三刺激値XYZを求めればよい。続いて、三刺激値XYZを均等色空間へ変換する(S402)。例えば、CIE LUVへ変換する場合は式(17)を使用すればよい。

次に、明度平均値L_AVEおよび色度平均値u_AVE、v_AVEを算出する(S403)。算出した明度平均値L_AVEにより、図29に示す可変結合係数α(L_AVE)、β(L_AVE)、γ(L_AVE)を決定することができる。可変結合係数は、異なる明度の無彩色画像に、Luvノイズを付加し、無彩色における反対色応答の二次元VTFを乗じた場合に、被験者がLuvノイズを知覚する程度を実験によって求めた係数である。明度が異なる画像にノイズを付加した場合、たとえ同じノイズを付加した場合でも、知覚されるノイズは明度によって異なることを表している。可変結合係数は、明度が異なる画像ノイズの知覚量を離散的に求め、それを近似曲線で補間したものである。実際には、明度が異なる九つの離散的な係数パラメータをL*軸、u*軸、v*軸それぞれに保持して、そのパラメータをスプライン曲線などで補間して連続的な曲線を求める。

なお、異なる色度において、被験者がLuvノイズを知覚する程度を実験によって調べると、均等色空間内のLuv座標における可変結合係数α(L_AVE, u_AVE, v_AVE)、β(L_AVE, u_AVE, v_AVE)、γ(L_AVE, u_AVE, v_AVE)が離散的に求まる。この可変結合係数を三次元ルックアップテーブルとして保持した後、四面体補間により連続的な三次元可変結合係数を求めてもよい。

次に、下式により色度成分から直流成分（平均色度）を取り除く(S404)。
u_AC(x, y) = u(x, y) - u_AVE
v_AC(x, y) = v(x, y) - v_AVE …(26)

画像の平均色度を取り除くのは、先に述べた反対色応答の視覚周波数特性(Visual Transfer Function)が無彩色軸上のものであるからである。なお、反対色応答において有彩色の視覚空間周波数特性(VTF)を実用上問題ない精度で求めることができれば平均色度を取り除く必要はない。

次に、L*、u*_AC、v*_ACを三刺激値XYZに変換し(S405)、sRGBの白色色度点を反対色応答の色度座標へ変換する(S406)。例えば、ISO 15739に記述される色順応式を使うと、以下のように記述することができる。
┌ ┐ ┌ ┐
│Xs│ │Xd│
│Ys│= M_adapt・│Yd│ …(27)
│Zs│ │Zd│
└ ┘ └ ┘
ここで、
┌ ┐
│0.99071 0.075034 -0.015343 │
M_adapt =│0.0072788 0.99476 -0.0015417│
│0 0 0.91827 │
└ ┘

次に、三刺激値Xs、Ys、Zsを反対色応答S_W-K、S_R-G、S_Y-Bに変換する(S407)。
┌ ┐ ┌ ┐
│S_W-K│ │Xs│
│S_R-G│= M_opposite・│Ys│ …(28)
│S_Y-B│ │Zs│
└ ┘ └ ┘
ここで、
┌ ┐
│0 1.0 0 │
M_opposite =│1.0 -1.0 0 │
│0 0.4 -0.4│
└ ┘

次に、反対色応答S_W-K、S_R-G、S_Y-Bを二次元離散フーリエ変換する(S408)。
S_W-K(u, v) = ΣΣS_W-K(x, y)W^xuW^yy
S_R-G(u, v) = ΣΣS_R-G(x, y)W^xuW^yy …(29)
S_Y-B(u, v) = ΣΣS_Y-B(x, y)W^xuW^yy
ここで、W = exp{-j(2π/N)}, 0≦x, v≦N-1
一つ目のΣ演算はx=0〜N-1、二つ目のΣ演算はy=0〜N-1

次に、二次元の周波数領域データに対して、図30から図32に示す二次元の視覚周波数特性VTF_2D(x, y)を重み付けする(S409)。視覚周波数特性は観察する距離、画像のサイズよって変化する。具体的には、観察距離が遠くなると高域周波数の応答が小さくなり、強いローパスフィルタの形状になる。視覚周波数特性は輝度、色度によって異なるものを用い、斜め方向の応答が低くなる。なお、図30はS_W-KのVTFを、図31はS_R-GのVTFを、図32はS_Y-BのVTFをそれぞれ示す図である。

次に、重み付け後の周波数領域データSを、下式に示す二次元離散逆フーリエ変換により、空間領域のデータS'へ変換する(S410)。
S'_W-K(x, y) = ΣΣS_W-K(u, v)W^-xuW^-yy
S'_R-G(x, y) = ΣΣS_R-G(u, v)W^-xuW^-yy …(30)
S'_Y-B(x, y) = ΣΣS_Y-B(u, v)W^-xuW^-yy
ここで、W = exp{-j(2π/N)}, 0≦x, v≦N-1
一つ目のΣ演算はu=0〜N-1、二つ目のΣ演算はv=0〜N-1

次に、反対色応答をM_oppositeの逆行列により三刺激値へ変換する(S411)。
┌ ┐ ┌ ┐
│X's│ │S_W-K│
│Y's│= M^-1 _opposite・│S_R-G│ …(31)
│Z's│ │S_Y-B│
└ ┘ └ ┘

次に、反対色応答の色度座標をM_adaptの逆行列により元の白色点へ変換する(S412)。
┌ ┐ ┌ ┐
│X'd│ │X's│
│Y'd│= M^-1 _adapt・│Y's│ …(32)
│Z'd│ │Z's│
└ ┘ └ ┘

次に、三刺激値から均等色空間（例えばCIE LUV）へ変換し(S413)、均等色空間の各軸データの標準偏差からノイズ（鮮鋭性）評価値Nを求める(S414)。
N = α(L_AVE)σ_L* + β(L_AVE)σ_u* + γ(L_AVE)σ_v*
ここで、σ_L*、σ_u*、σ_v*は各軸の標準偏差
α(L_AVE)、β(L_AVE)、γ(L_AVE)は可変結合係数
なお、可変結合係数は予め実験的に求めておく

［他の実施例］
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。

また、本発明の目的は、前述した実施例の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはCPUやMPU）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施例の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施例の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施例の機能が実現される場合も含まれることは言うまでもない。

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

実施例のシステムの構成例を示すブロック図、 色票3の一例を示す図、 画像処理装置における画像処理パラメータの編集の流れを示すフローチャート、 編集パラメータ選択部が表示部に表示するユーザインタフェイスの一例を示す図、 編集パラメータ選択部が表示部に表示するユーザインタフェイスの一例を示す図、 色処理パラメータの編集処理を説明するフローチャート、 色処理パラメータの編集処理を説明するフローチャート、 平均値およびターゲットデータをa*b*平面に表示した表示部の表示例を示す図、 重み設定部が提供するユーザインタフェイスを示す図、 ガンマルックアップテーブルとして与えられる入出力特性曲線の一例を示す図、 ターゲットデータ、編集後入力データ、重み値、評価値、画質評価関数の表示例を示す図、 パラメータ調整部が提供するユーザインタフェイスの一例を示す図、 画質評価部が実行する画質評価値の算出処理を示すフローチャート、 画質評価部が実行する画質評価値の算出処理を示すフローチャート、 フィルタ処理パラメータの編集処理を説明するフローチャート、 フィルタ処理パラメータの編集処理を説明するフローチャート、 重み設定部が提供するユーザインタフェイスを示す図、 画質評価部が実行する画質評価値の算出処理を示すフローチャート、 画質評価部が実行する画質評価値の算出処理を示すフローチャート、 フィルタ処理パラメータの編集結果を示す画面例を示す図、 パラメータ調整部が提供するユーザインタフェイスの一例を示す図、 パラメータ調整部が提供するユーザインタフェイスの一例を示す図、 トレンド除去部によるトレンド成分の除去を説明するフローチャート、 二乗誤差を最小にする条件から成り立つ連立方程式の行列を示す図、 画像の特定部分（選択個所）のトレンド成分の除去前後の画像データの分布を示す図、 トレンド成分を検出する際の、画像の階調を除去する次数の設定を説明する図、 色再現性の評価方法を説明するフローチャート、 ノイズの評価方法を説明するフローチャート、 可変結合係数の一例を示す図、 二次元の視覚周波数特性VTFを示す図、 二次元の視覚周波数特性VTFを示す図、 二次元の視覚周波数特性VTFを示す図である。

Claims (20)

1. 評価対象の画像データから色空間の各軸についてトレンド成分を検出し、
   検出したトレンド成分および平均色度を前記画像データから除去し、
   前記除去後の画像データを空間周波数領域に変換し、
   前記空間周波数領域の画像データに視覚周波数特性を重み付けし、
   前記重み付け後の画像データを実空間領域に変換し、
   前記実空間領域の画像データから統計的なばらつき量を求め、
   前記ばらつき量および予め実験的に求めた結合係数により、前記評価対象の画像データの画質評価関数を算出することを特徴とする画像処理方法。
2. 前記評価対象の画像データは均等色空間の画像データであることを特徴とする請求項1に記載された画像処理方法。
3. さらに、前記均等色空間へ変換前の前記画像データに画像処理を施し、前記画質評価関数が小さくなるように前記画像処理に使用した画像処理パラメータを編集することを特徴とする請求項1または請求項2に記載された画像処理方法。
4. 前記トレンド成分は、前記画像データを多項式近似して検出することを特徴とする請求項1から請求項3の何れかに記載された画像処理方法。
5. 前記画像データから前記多項式近似式を減ずることで前記トレンド成分を除去することを特徴とする請求項4に記載された画像処理方法。
6. 前記多項式近似の次数を評価対象に応じて設定することを特徴とする請求項4または請求項5に記載された画像処理方法。
7. 前記結合係数は、異なる画像の平均的明るさで測定した結合係数を近似曲線で補間したものであることを特徴とする請求項1から請求項3の何れかに記載された画像処理方法。
8. 前記平均色度は、前記評価対象の画像データの前記均等色空間上での平均色度であることを特徴とする請求項1から請求項3の何れかに記載された画像処理方法。
9. 前記統計的なばらつき量は、前記均等色空間の各軸における前記画像データの標準偏差であることを特徴とする請求項1から請求項3の何れかに記載された画像処理方法。
10. 評価対象の画像データから色空間の各軸についてトレンド成分を検出し、検出したトレンド成分および平均色度を前記画像データから除去する除去手段と、
    前記除去後の画像データを空間周波数領域に変換する第一の変換手段と、
    前記空間周波数領域の画像データに視覚周波数特性を重み付けする重付手段と、
    前記重み付け後の画像データを実空間領域に変換する第二の変換手段と、
    前記実空間領域の画像データから統計的なばらつき量を求め、前記ばらつき量および予め実験的に求めた結合係数により、前記評価対象の画像データの画質評価値を算出する算出手段とを有することを特徴とする画像処理装置。
11. さらに、前記評価対象の画像データを均等色空間へ変換し、前記除去手段へ供給する第三の変換手段を有することを特徴とする請求項10に記載された画像処理装置。
12. さらに、前記均等色空間へ変換前の前記画像データに画像処理を施す処理手段と、
    前記画質評価関数が小さくなるように前記画像処理に使用した画像処理パラメータを編集する編集手段とを有することを特徴とする請求項10または請求項11に記載された画像処理装置。
13. 外部機器との間でデータをやり取りするインタフェイスと、
    前記インタフェイスを介して外部機器から入力した画像データに画像処理を施す画像処理手段と、
    画像の画質を評価する評価領域をユーザに指定させるための指定手段と、
    前記評価領域の、前記画像処理後の画像データの平均値を算出する算出手段と、
    前記評価領域の、前記画像処理後の画像データのトレンド成分を検出し、検出したトレンド成分を前記画像データから除去する除去手段と、
    前記トレンド成分の除去後の画像データの画質の評価関数を算出する評価手段と、
    前記評価関数が小さくなるように前記画像処理に使用した画像処理パラメータを編集する編集手段とを有することを特徴とする画像処理装置。
14. 前記編集後の画像処理パラメータを前記インタフェイスを介して前記外部機器へ送ることを特徴とする請求項13に記載された画像処理装置。
15. 前記評価手段は、前記トレンド成分の除去後の画像データの前記評価領域のノイズまたは鮮鋭性を評価値として、前記評価関数を算出することを特徴とする請求項13に記載された画像処理装置。
16. 前記トレンド成分は、前記画像データを多項式近似して検出することを特徴とする請求項13に記載された画像処理装置。
17. 前記画像データから前記多項式近似式を減ずることで前記トレンド成分を除去することを特徴とする請求項16に記載された画像処理装置。
18. 前記多項式近似の次数を評価対象に応じて設定することを特徴とする請求項16または請求項17に記載された画像処理装置。
19. 画像処理装置を制御して、請求項1から請求項9の何れかに記載された画像処理を実現することを特徴とするプログラム。
20. 請求項19に記載されたプログラムが記録されたことを特徴とする記録媒体。

Images