JP2004064542A - Image processing system, apparatus, and method - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To achieve faithful reproduction of colors by providing image data capable of estimating spectral reflectance characteristics of an input image. <P>SOLUTION: In a system for converting an input image signal inputted from an image input device 3 into an output image signal to be outputted by an image output device 11, an image compression unit 5 converts a spectral image inputted via an image input unit 4 into RGB data, applies principal component analysis to the spectral image to obtain principal component data, and stores the obtained data in an input image storage unit 6. When the principal component data and the RGB data are read out and stored in an output image storage unit 7, a spectral reflectance restoring unit 8 restores a spectral reflectance of each pixel by using these data. A printer model 9 determines an ejection quantity of ink used for recording each pixel by the device 11 on the basis of the calculated spectral reflectance, and generates an output image signal for the device 11. <P>COPYRIGHT: (C)2004,JPO

Description

【００２６】
上記（１）〜（３）式の連立方程式を解くことにより、係数ｋ_１、ｋ_２、ｋ_３が求められる。そして、これらの係数を用いることにより、画像中の上記画素の分光反射率は次式により推定される。
【００２７】
【数２】

【００２８】
尚、画像中の画素の三刺激値（Ｘ_{ｉｍａｇｅ}，Ｙ_{ｉｍａｇｅ}，Ｚ_{ｉｍａｇｅ}）は、ＩＣＣプロファイル等を用いて画像データ１２０３に格納されたＲＧＢ値から予め算出しておく。なお、画像データ１２０３に保存されているＲＧＢデータは、ディスプレイに表示することを前提としているため、ディスプレイのデバイスＲＧＢや、ｓＲＧＢ等で保存されている。このＲＧＢ値をデバイスに依存しないＸＹＺ値に正確に変換するためにＩＣＣプロファイルが用いられる。さらに、第１、第２、第３主成分の三刺激値（Ｘ_１，Ｙ_１，Ｚ_１）、（Ｘ_２，Ｙ_２，Ｚ_２）、（Ｘ_３，Ｙ_３，Ｚ_３）も、光源選択部１１０５にてユーザが選択した光源情報を用い、あらかじめ算出しておくものとする。なお、上述した分光反射率復元処理は各画素について行われる。
【００２９】
＜プリンタ出力推定＞
次に図３を用い、ステップＳ２０６による出力推定処理の詳細を説明する。図３は、ステップＳ２０６にて行われる出力推定の処理手順を説明するフローチャートである。
【００３０】
まず、ステップＳ３０１では、採用すべきインクの打ち込み量を初期値（例えば全て０％）に設定する。ステップＳ３０２では、１次色のドットゲイン補正を行う（詳細は後述）。ステップＳ３０３では、１次色ドットゲイン補正された各インクの分光反射率を用いて、次式（５）〜（７）により多次色（混色）の分光反射率推定初期値（Ｒ_{ＭＩＸ， λ}）の算出を行う。
【００３１】
【数３】

【００３２】
ステップＳ３０４では、ステップＳ３０３にて算出された分光反射率推定初期値に対して、インク重ね合わせ補正を行う（詳細は後述）。ステップＳ３０５では、ステップＳ３０４で補正された分光反射率の推定値と目標となる分光反射率（ステップＳ２０５で復元された分光反射率）との差分を計算する（算出方法は後述する）。そして、ステップＳ３０６にて、ステップＳ３０６で計算された差分値が、その時点で保持されている最小の差分値よりも小さい場合には、当該計算された差分値で最小の差分値を更新するとともに、そのときのインク打ち込み量を保持する。
【００３３】
ステップＳ３０７では、用いるインクの打ち込み量の全ての組み合わせ（例えば０％から１００％まで１％間隔）について出力推定したかどうか判断し、全て推定していれば終了し、していなければステップＳ３０８に進む。ステップＳ３０８では、インクの打ち込み量を一定量変化させ（例えばある色のインクの打ち込み量を１％変化させる（或いは、使用する処理装置のスペックに応じて、変化の刻みを５％、１０％等に変更してもよい））、ステップＳ３０２に戻る。こうして、目標値との差分値が最小となるインク打ち込み量の組み合わせが得られることになる。
【００３４】
＜１次色ドットゲイン補正＞
次に図４及び図５を用いて、ステップＳ３０２における１次色ドットゲイン補正の詳細を説明する。
【００３５】
一般的には１次色ドットの分光反射率（ドットゲイン）が打ち込み量に対して線形に変化すると仮定しているのに対し、本実施形態ではドットゲインの非線形性の影響を考慮するために、１次色ドットゲイン補正を行なう。
【００３６】
１次色ドットゲイン補正ＬＵＴの作成では、予め再現色予測を行いたい対象のプリンタ（画像出力装置１１）を用いて出力しておいた１次色補正用パッチを測色する。ここで用いる１次色補正用パッチとは、図４に示すように、各インクの打ち込み量を０％から１００％まで、２０％間隔で変化させて記録したものである。
【００３７】
このような１次色補正用パッチの測色により得られる分光反射率データは、図５の（ａ）に示すような、各インクの離散的な打ち込み量に対する各波長の反射率である（図５（ａ）では、シアンインクの分光反射率が示されている）。図５（ａ）はシアンインクの各打ち込み量（２０％、４０％、６０％、８０％、１００％）における分光反射率の測定結果であり、また打ち込み量０％はインクのない状態、すなわち紙の分光反射率を示すことになる。
【００３８】
そして、このような分光反射率データを、図４の（ｂ）に示すような、各インクの、各波長での打ち込み量と反射率との関係を示すＬＵＴに変換する。ここで、インク打ち込み量に関しては２０％刻みの離散的な測定結果しか存在しないので、１次色補正ＬＵＴの作成には線形補間やスプライン補間等、一般的な補間法が用いられる。１次色ドットゲイン補正（ステップＳ３０２）では、このＬＵＴを用い、入力されたインク打ち込み量に対する、１次色ドットゲイン補正を行い、１次色の分光反射率を推定する。なお、図４（ｂ）には、簡単のため、４本のグラフしか描いていないが、実際には可視波長域においてサンプリングされた全ての波長（例えば、３８０ｎｍ〜７８０ｎｍまで１０ｎｍ刻みの４１波長）についてそれぞれテーブルが作成される。
【００３９】
＜インク重ね合わせ補正＞
次に、ステップＳ３０４によるインク重ね合わせ補正の詳細を説明する。
【００４０】
インク重ね合わせ補正においては、補正処理の実行に先立って、インク重ね合わせ補正係数を算出し、所定の記憶装置（不図示）に記憶しておく。そして、この補正係数とインク打ち込み量を用いて、当該インク打ち込み量における色再現予測を行なう。
【００４１】
インク重ね合わせ補正係数の算出では、まず色再現予測を行いたい対象のプリンタ（画像形成装置１１）を用いて出力しておいたインク重ね合わせ補正用パッチを測色する。ここで用いるインク重ね合わせ補正用パッチは、例えば図６に示すように、各インクの打ち込み量を０％から１００％まで２０％間隔で変化させ、さらに用いるインクを２色以上重ね合わせて印刷したものである。
【００４２】
次に、図６に示した重ね合わせ補正用パッチデータを記録するためのデータ（各パッチにおける各色の打ち込み量）を用いて、上記（５）〜（７）式により（ステップＳ３０２、Ｓ３０３を実行することにより）、重ね合わせ補正用パッチの分光反射率推定初期値を推定する。ここで算出された分光反射率推定初期値は、実際に測色された実測データに対して誤差が生じている。そこで、該実測データとの誤差を修正するために、（８）式を用いて、該誤差が最小となるように、最小二乗法等を用いて補正係数ａ_ｈ、λ、ｂ_{ｉ，ｊ， λ}、ｃ_{ｋ，ｌ，ｍ， λ}を決定する。
【００４３】
【数４】

なお、上記（８）式において、Ｒ_{ｐ， λ}は（５）式〜（７）式のＫＭ理論で求まる１次色補正後の推論値であり、Ｒ_{ｍｏｄ， λ}は、インク重ね合わせ補正後の補正された推論値を示している。そして、Ｒ_{ｍｏｄ， λ}とカラーパッチの実測値との誤差が小さくなるように係数ａ_{ｈ， λ}、ｂ_{ｉ，ｊ， λ}、ｃ_{ｋ，ｌ，ｍ， λ}を決定している。また、第２項のｉ，ｊと、第３項のｋ，ｌ，ｍは任意のインクを示しており、例えばｎ色のインクとしてＣ、Ｍ、Ｙ、Ｋの４色を用いるとした場合、ｉ　＝　Ｃ，Ｍ，Ｙ，Ｋ、ｊ　＝　Ｃ，Ｍ，Ｙ，Ｋ、…（ただし、ｉ≠ｊ，　ｋ≠ｌ≠ｍ）となる。また、（Ｋ／Ｓ）は（４）式に定義されたとおりである。
【００４４】
以上のようにして決定された補正係数は所定の記憶装置に記憶され、ステップＳ３０４によるインク重ね合わせ補正の実行時に読出される。即ち、ステップＳ３０４におけるインク重ね合わせ補正では、ステップＳ３０３で算出された分光反射率推定初期値に対して、上記インク重ね合わせ補正係数を用い、（８）式を適用してインク重ね合わせによる推定誤差を補正する。
【００４５】
＜誤差算出方法＞
次に、ステップＳ２０６による誤差算出方法の詳細を説明する。２つの色の誤差を算出する方法としては、一般的に、ＣＩＥ色差式がある。しかしながら、ＣＩＥ色差式では、メタメリズムの影響を考慮していないため、本実施形態では、例えば、以下の（９）式で表すような、波長ごとの分光分布誤差の２乗平均（ＲＭＳ誤差）を用いる。
【００４６】
【数５】

【００４７】
ただし、上記ＲＭＳ以外でも、メタメリズム（条件等色）を考慮した誤差を算出できるものであれば、その種類は限定しない。例えば、以下の（１０）式のように、上記ＲＭＳ誤差において
【００４８】
【数６】

で表されるＣＩＥ等色関数の和で与えられるような重み関数を用い、波長毎に重み付けしたものを用いても良い。
【００４９】
【数７】

【００５０】
以上、本実施形態によれば、入力された画像のオリジナルシーンの分光分布特性を推定するためのデータとして、画像全体の画素の分光分布に対して主成分分析を行なって得られた主成分を用いて、当該画像のオリジナルの分光分布特性を推定する。従って、オリジナルの分光分布特性を忠実に再現することが可能となる。
【００５１】
尚、上記実施形態では、画像の全画素の分光分布を主成分分析しているが、画像を複数の領域に分割して、各領域毎に主成分分析し、各領域毎に主成分を記録しておくようにしてもよい。但し、この場合、ある画素の分光反射率を推定する差異には、当該が粗が属する領域の主成分を用いるように構成する必要が生じるが、そのような構成は当業者には明らかであろう。
【００５２】
（第２実施形態）
上述の第１実施形態では、画像全体の画素の分光分布を主成分分析し、その結果（主成分１〜３）を当該画像に対応して保持させ、各画素の分光反射率の復元に用いている。第２実施形態では、分光反射率復元のための情報を画素毎に保持させる。以下、本発明に係る第２実施形態について、図面を参照して詳細に説明する。
【００５３】
図７は第２実施形態による色再現装置の構成を示したブロック図である。図７において、７０１は画像入力システム、７０２は画像出力システムである。また、７０３はマルチスペクトルカメラ等、物体の分光画像を入力するための、画像入力装置である。
【００５４】
画像入力システム７０１において、７０４は画像入力部であり、画像入力装置７０３によって得られた分光画像の入力を行う。７０５は画像圧縮部であり、分光画像をＲＧＢデータと分光反射率復元のための情報を含む画像データに圧縮する。７０６は入力画像記憶部であり、画像圧縮部７０５にて圧縮された画像データを記憶する。７０７は主成分データベースであり、物体のカテゴリと、該カテゴリに対応する主成分を記憶しておく。なお、カテゴリの例としては、「肌、空、草」等が挙げられる。これらの分光分布は、非常に類似しており、主成分から復元しても、精度の高い復元が行えることが知られている。
【００５５】
画像出力システム７０２において、７０８は主成分データベースであり、物体のカテゴリと、該カテゴリに対応する主成分を記憶しておく。尚、この主成分データベース７０８と、画像入力システム７０１内の主成分データベース７０７とは同一内容のものである。７０９は出力画像記憶部であり、画像入力システム７０１における入力画像記憶部７０６に記憶されている画像データを読み込み記憶しておくためのものである。７１０は分光反射率復元部であり、出力画像記憶部７０９に記憶されている画像データを、主成分データベース７０８を参照して分光画像データに復元する。７１１はプリンタモデルであり、復元された分光反射率に基づいて画像再現のための各画素のインク打ち込み量を決定する。即ち、各画素について、印刷結果の分光反射率が、復元された分光反射率に最も近くなるインク打ち込み量を決定する。７１２は画像出力部であり、画像出力装置７１３に、プリンタモデル７１１で決定されたインク打ち込み量で画像形成を行なわせるための印刷データを出力する。
【００５６】
７１３はプリンタ等、画像を出力するための、画像出力装置である。画像出力装置７１３として、インクジェット方式やレーザビーム方式等各種方式のカラープリンタを適用できることは上述のとおりである。また、７１４はＣＲＴやＬＣＤ等、画像を表示するための表示装置である。
【００５７】
尚、画像入力システム７０１と画像出力システム７０２は、図７に示されるように別体の装置で実現されてもよいし、同一の装置で実現されてもよい。尚、画像入力システム１と画像出力システム２を一つの装置で構成する場合は、入力画像記憶部６と出力画像記憶部７や、主成分データベース７０７と７０８を別々に設ける必要はない。
【００５８】
＜全体処理＞
以下、第２実施形態による色再現処理について詳細に説明する。図８は、入力システム７０１および出力システム７０２にて行われる色再現処理のフローチャートである。また、色再現を行う時に使用するユーザインターフェースは、第１実施形態（図１１）と同様であり、図１１を流用して説明する。また、図１３は第２実施形態の画像入力システム７０１によって保存される画像データの構成例を示す図である。
【００５９】
まず、ステップＳ８０１では、画像入力部７０４において、画像入力装置７０３を用いて分光画像を取得する。このとき、取得された分光画像から、三刺激値ＸＹＺ等を算出し、これをＩＣＣプロファイル等を用いて表示装置７１３のデバイスＲＧＢに変換し、原画像表示部１１０１（図１１）に表示する。ここで、ユーザが、画素指定ポインタ１１０４を用いて画素を指定すれば、当該指定された画素の分光反射率が分光反射率表示部１１０６に表示される（破線で表示）。
【００６０】
ステップＳ８０２では、画像圧縮部７０５にて、分光画像の全ての画素の分光反射率に対して主成分分析を行い、主成分を算出する。そして、算出された主成分を主成分データベース７０７に記憶されている主成分データと比較し、最も誤差の小さな主成分のカテゴリを該画素のカテゴリとする。なお、誤差の算出については、特定の方法に限定されないが、例えば、各主成分（画像とデータベースの第１主成分どうし、第２主成分どうし…）の、最小自乗誤差を算出すること等が挙げられる。
【００６１】
ステップＳ８０３では、画像圧縮部７０５にて、分光画像の全ての画素について、分光反射率から三刺激値ＸＹＺを算出し、さらにＩＣＣプロファイル等を用いてＲＧＢ値を算出する。そして、ステップＳ８０４において、図１３に示すように、ステップＳ８０２で算出した各画素のカテゴリ、およびステップＳ８０３で算出した各画素のＲＧＢ値を入力画像記憶部７０６に記憶する（詳細は後述）。以上が、画像入力システム７０１による処理である。
【００６２】
次に、画像出力システム７０２による処理を説明する。ステップＳ８０５では、入力画像記憶部７０６に記憶されているＲＧＢデータを出力画像記憶部７０９に読み込む。そして、分光反射率復元部７１０にて、上記第１実施形態と同様に、分光反射率を復元する。ただし、第２実施形態で用いる主成分は、出力主成分データベース７０８に保存されている、画素に対応したカテゴリの主成分を用いる。ただし、入力主成分データベース７０７および、出力主成分データベース７０８に記憶されている主成分およびカテゴリは同一のものである。
【００６３】
このとき、ＲＧＢデータをそのまま画像として表示装置７１４の表示画面中の領域１１０２に表示することが可能である。或いは、ステップＳ８０５で復元した分光反射率から三刺激値ＸＹＺを算出し、光源選択部１１０５にてユーザが選択した光源情報とＩＣＣプロファイル等を用いて表示装置７１４のデバイスＲＧＢに変換し、任意の光源下での色再現をシミュレーションし、その結果を領域１１０２に表示することも可能である。また、ユーザが、画素指定ポインタ１１０４を用い画素を指定すれば、分光反射率表示部１１０６に当該指定された画素の分光反射率が表示される（本実施形態では、点線で示されている）。
【００６４】
ステップＳ８０６では、上記第１実施形態のステップＳ２０６と同様に、分光反射率復元部７１０にて復元された分光反射率を目標色として、プリンタモデル７１１により、画像出力装置７１３におけるインク打ち込み量を決定する。即ち、プリンタモデル７１１にて、プリンタによって出力される色（分光反射率）を推定（出力推定）し、上記目標色と推定された出力色との誤差が最も小さくなるように（詳細は後述）インク打ち込み量を決定する。
【００６５】
以上のようにして出力推定された分光反射率と、光源選択部１１０５にてユーザが選択した光源情報とから、三刺激値ＸＹＺが算出され、これがＩＣＣプロファイル等を用いて表示装置７１４のデバイスＲＧＢに変換され、その結果が出力推定画像表示部１１０３に表示される。また、ユーザが、画素指定ポインタ１１０４を用いて画素を指定すれば、分光反射率表示部１１０５に当該指定された画素の分光反射率が表示される（実施形態では、実線で表示されている）。
【００６６】
ステップＳ８０７では、画像出力部７１２にて、プリンタモデル７１１で決定されたインク打ち込み量を用いて、画像出力装置７１３を用いて画像を出力する。
【００６７】
＜画像保存フォーマット＞
図１３は、ステップＳ８０４にて画像を記憶する際に用いる画像保存フォーマットの一例である。図１３において、ヘッダ１３０１とＲＧＢデータ１３０３との間に、画素毎のカテゴリ１３０２が記述されている。分光反射率復元部７１０では、カテゴリ１３０２に格納された各画素のカテゴリに対応した主成分を主成分データベース７０８より取得し、取得された主成分とＲＧＢデータ１３０３に格納された各画素のＲＧＢデータとから分光反射率を復元する。
【００６８】
以上のようにして復元された分光反射率を用い、第１実施形態で説明したのと同様の方法により色再現を行なう。
【００６９】
以上のように、第２実施形態によれば、主成分を画素毎に付与することが可能となるので、より精度よく分光反射率を復元できる。
【００７０】
（第３実施形態）
上記第１及び第２実施形態では、分光反射率の復元に主成分分析の結果を用いたが、これに限られるものではない。第３実施形態では、分光反射率の復元にシステム特性を用いる。以下、本発明に係る第３実施形態について、図面を参照して詳細に説明する。例えば、一般的なＲＧＢ画像取得装置（デジタルカメラやスキャナ等）は、ＲＧＢ各フィルタの分光透過率と、撮像素子（ＣＣＤ等）の特性によって、分光分布に対するＲＧＢ出力値が決定されるので、ここで用いるシステム特性としては、Ｒ（λ）×Ｓ（λ）、Ｇ（λ）×Ｓ（λ）、Ｂ（λ）×Ｓ（λ）等が考えられる。ただし、Ｒ（λ）、Ｇ（λ）、Ｂ（λ）はそれぞれＲＧＢフィルタの分光透過率、Ｓ（λ）はＣＣＤの分光特性を表す。また、λの間隔としては、５ｎｍ間隔または、１０ｎｍ間隔とするのが一般的であろう。ただし、精度とコストパフォーマンスとの兼ね合いで変化させることも考えられ、ここでは波長λの間隔は特に限定されるものではない。
【００７１】
図９は第３実施形態による色再現装置の構成を示したブロック図である。図９において、９０１は画像入力システム、９０２は画像出力システムである。９０３はＣＣＤやＣＭＯＳ等、ＲＧＢ画像を入力するための画像入力装置である。
【００７２】
画像入力システム９０１において、９０４は画像入力部であり、画像入力装置９０３からのＲＧＢ画像を入力する。９０５は画像圧縮部であり、画像入力部９０４で入力したＲＧＢ画像を圧縮する。９０６は入力画像記憶部であり、画像圧縮部９０５にて圧縮された画像データを記憶する。９１３は入力システム特性記憶部であり、入力システム９０１のシステム特性を記憶しておく。なお、画像圧縮部９０５では、ＲＧＢデータが入力として入ってくるため、これらＲＧＢデータに、システム特性（ヘッダ部分）を付加する処理を行なう。ただし、このＲＧＢデータに対して一般的な画像フォーマットであるＪＰＥＧ等のような変換を行い、ＲＧＢデータをさらに圧縮するようにしてもよい。
【００７３】
９０７は出力画像記憶部であり、画像入力システム９０１における入力画像記憶部９０６に記憶されている画像データを入力部に読み込み、記憶する。９０８は分光反射率復元部であり、出力画像記憶部９０７に記憶されている画像データを分光画像データに復元する。９０９はプリンタモデルであり、復元された分光反射率に基づいて画像再現のための各画素のインク打ち込み量を決定する。即ち、各画素について、印刷結果の分光反射率が、復元された分光反射率に最も近くなるインク打ち込み量を決定する。９１０は画像出力部であり、画像出力装置９１１に、プリンタモデル９０９で決定されたインク打ち込み量で画像形成を行なわせるための印刷データを出力する。
【００７４】
９１１はプリンタ等、画像を出力するための、画像出力装置である。画像出力装置９１１として、インクジェット方式やレーザビーム方式等各種方式のカラープリンタを適用できることは第１実施形態で述べたとおりである。また、９１２はＣＲＴやＬＣＤ等、画像を表示するための表示装置である。
【００７５】
尚、画像入力システム９０１と画像出力システム９０２は、図９に示されるように別体の装置で実現されてもよいし、同一の装置で実現されてもよい。尚、画像入力システム１と画像出力システム２を一つの装置で構成する場合は、入力画像記憶部６と出力画像記憶部７を別々に設ける必要はない。
【００７６】
＜全体処理＞
次に、第３実施形態による色再現処理について、図面を参照して詳細に説明する。ここで図１０は、画像入力システム９０１および画像出力システム９０２にて行われる色再現処理を示すフローチャートである。また、色再現を行う時に使用するユーザインターフェースは、第１実施形態（図１１）と同様であり、図１１を流用して説明する。また、図１４は第３実施形態の画像入力システム９０１によって保存される画像データの構成例を示す図である。
【００７７】
まず、ステップＳ１００１において、画像入力部９０４が、画像入力装置９０３を用いてＲＧＢ画像を取得する。このとき、取得されたＲＧＢ画像は、原画像表示部１１０１に表示される。
【００７８】
ステップＳ１００２では、画像圧縮部９０５にて、上記取得されたＲＧＢ画像および入力システム特性記憶部９１３に記憶されている入力システム特性を図１４に示すデータ構成で入力画像記憶部９０６に記憶する（詳細は後述）。以上が画像入力システム９０１による処理である。
【００７９】
次に、画像出力システム９０２の処理を説明する。ステップＳ１００３では、入力画像記憶部９０６に記憶されている図１４に示す形態の画像データを読込み、出力画像記憶部９０７に格納する。即ち、入力画像記憶部９０６に記憶されている記憶されている画像データＲＧＢおよび、システム特性（Ｓ_{Ｒ１（ λ ）}，Ｓ_{Ｇ１（ λ ）}，Ｓ_{Ｂ１（ λ ）}）、（Ｓ_{Ｒ２（ λ ）}，Ｓ_{Ｇ２（ λ ）}，Ｓ_{Ｂ２（ λ ）}）、（Ｓ_{Ｒ３（ λ ）}，Ｓ_{Ｇ３（ λ ）}，Ｓ_{Ｂ３（ λ ）}）を出力画像記憶部９０７に読み込む。そして、これら読み込んだ情報をもとに、分光反射率復元部９０８にて、分光反射率を復元する（詳細は後述）。
【００８０】
このとき、読み込んだＲＧＢデータをそのまま画像として表示装置９１２による表示領域１１０２に表示することが可能である。或いは、復元された分光反射率から三刺激値ＸＹＺを算出し、光源選択部１１０５にてユーザが選択した光源情報とＩＣＣプロファイル等を用いて表示装置９１２のデバイスＲＧＢに変換し、任意の光源下での色再現をシミュレーションし、そのシミュレーション結果を領域１１０２に表示することも可能である。また、ユーザが、画素指定ポインタ１１０４を用い画素を指定すれば、分光反射率表示部１１０６に当該指定された画素の分光反射率が表示される（本実施形態では、点線で示す）。
【００８１】
続くステップＳ１００４では、上記第１実施形態のステップＳ２０６と同様に、分光反射率復元部９０８にて復元された分光反射率を目標色として、プリンタモデル９０９により、画像出力装置９１１におけるインク打ち込み量を決定する。即ち、プリンタモデル９０９にて、プリンタによって出力される色（分光反射率）を推定（出力推定）し、上記目標色と推定された出力色との誤差が最も小さくなるように（詳細は後述）インク打ち込み量を決定する。
【００８２】
このとき推定された分光反射率から、光源選択部１１０５にてユーザが選択した光源情報を用い、三刺激値ＸＹＺを算出し、ＩＣＣプロファイル等を用いて表示装置９１２のデバイスＲＧＢに変換し、出力推定画像表示部１１０３に画像表示する。また、ユーザが、画素指定ポインタ１１０４を用いて画素を指定すれば、分光反射率表示部１１０６に当該指定された分光反射率が表示される（本実施形態では、実線で示す）。
【００８３】
ステップＳ１００５では、画像出力部９１０にて、プリンタモデル９０９で決定されたインク打ち込み量を用いて、画像出力装置９１１を用いて画像を出力する。
【００８４】
＜画像保存フォーマット＞
図１４は、ステップＳ１００２にて画像を記憶する際に用いる画像保存フォーマットの一例である。図１４において、画像サイズ、解像度等の情報を記述するヘッダ１４０１と、ＲＧＢデータ１４０２の間に、画像入力システムのシステム特性１４０１を記述する。分光反射率復元部９０８では、これらＲＧＢデータとシステム特性とから分光反射率を復元する。
【００８５】
＜分光反射率復元＞
画像中の画素のＲＧＢ値を（Ｒ_{ｉｍａｇｅ}，Ｇ_{ｉｍａｇｅ}，Ｂ_{ｉｍａｇｅ}）、入力システムのシステム特性をそれぞれ（Ｓ_Ｒ１（λ），Ｓ_Ｇ１（λ），Ｓ_Ｂ１（λ））、（Ｓ_Ｒ２（λ），Ｓ_Ｇ２（λ），Ｓ_Ｂ２（λ））、（Ｓ_Ｒ３（λ），Ｓ_Ｇ３（λ），Ｓ_Ｂ３（λ））とすると、画像中の画素の分光反射率は、以下の（１１）式により推定される。
【００８６】
【数８】

【００８７】
上記（１１）式により得られた分光反射率を用い、第１実施形態で説明したのと同様の方法により色再現を行なう。
【００８８】
以上説明した各実施形態によれば、入力された画像のオリジナルの分光分布特性を推定するためのデータが画像データに添付され、入力画像信号を出力画像信号へと変換する色変換処理においては、その添付されたデータに基づいてオリジナルシーンの分光反射特性が推定される。このため、分光反射特性を忠実に再現することが可能となり、異なる観察環境下においても、画像のオリジナルシーンの正確な色再現が実現できる。
【００８９】
（他の実施形態）
＜出力推定＞
上記各実施形態では、プリンタモデル５、８１５および９０９における出力推定には、上述した出力推定方法の他、各種の手法を用いることができる。例えば、従来用いられているニューラルネットワークによる出力推定方法を用いても良いし、ユール‐ニールセンの修正式を用いたノイゲバウア式を用いても良い。すなわち、インクの分光反射率と打ち込み量を用いて出力予測を行う方法であれば、その方法は限定されるものではない。
【００９０】
＜記憶媒体＞
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用しても良い。
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵまたはＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても達成されることは言うまでもない。
【００９１】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００９２】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることが出来る。
【００９３】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００９４】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００９５】
【発明の効果】
以上説明したように、本発明によれば、入力画像の分光分布特性を推定して、これを出力画像で忠実に再現することが可能となる。このため、異なる観察環境下においても、忠実な色再現を実現する画像出力を得ることができる。
【図面の簡単な説明】
【図１】第１実施形態による色再現装置の構成を示すブロック図である。
【図２】第１実施形態による色再現処理を説明するフローチャートである。
【図３】出力推定処理を説明するフローチャートである。
【図４】１次色補正用パッチの例を示す図である。
【図５】（ａ）はシアンインクの打ち込み量に対する分光反射率の測定結果を示す図、（ｂ）は（ａ）の測定結果から取得された１次色補正ＬＵＴを示す図である。
【図６】インク重ね合わせ補正用パッチの例を示す図である。
【図７】第２実施形態による色再現装置の構成を示すブロック図である。
【図８】第２実施形態による色再現処理を説明するフローチャートである。
【図９】第３実施形態による色再現装置の構成を示すブロック図である。
【図１０】第３実施形態による色再現処理を説明するフローチャートである。
【図１１】本実施形態によるユーザインターフェース例を示す図である。
【図１２】第１実施形態における画像保存フォーマットの一例を示す図である。
【図１３】第２実施形態における画像保存フォーマットの一例を示す図である。
【図１４】第３実施形態における画像保存フォーマットの一例を示す図である。[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image processing method and apparatus suitable for an image input / output device such as a digital camera and a color printer, and more particularly to a color reproduction process for spectrally reproducing the color of an object (matching the spectral distribution). The present invention relates to an image processing method and apparatus used.
[0002]
[Prior art]
Generally, when a certain target color is accurately reproduced by a color printer or the like, an operator first adjusts an image on a display such as a CRT or an LCD so that a desired print result is obtained. Toning is performed by repeating trial and error, in which printing is actually performed by a color printer, the printing result is checked, and then toning is performed again on the display. For example, as disclosed in Japanese Patent Application Laid-Open No. 2000-333032, a method of displaying a color sample or an output image on a screen and performing color adjustment by reflecting the specified color on the output image so that the specified color becomes smooth on the output image. There is. As another method, a colorimeter is used to measure a color sample as a target color, and an output color closest to the colorimetric value, that is, an output color with a minimum color difference from the target color is output. Was.
[0003]
Further, as a method of storing the spectral reflectance of each pixel in order to spectrally reproduce the colors in the image, as described in JP-A-2001-134755, the spectral reflectance is compressed using principal component analysis. A method of storing the information has also been proposed.
[0004]
[Problems to be solved by the invention]
However, the color displayed on the display is generally composed of an additive color mixture of three phosphors of RGB, while the colors output by printing are four inks of cyan, magenta, yellow, and black, or the four colors. It consists of subtractive color mixing of six color inks, in which light cyan and light magenta are added to the ink. For this reason, the toning result displayed on the display and the actual printing result may have different spectral reflectances even if the tristimulus values such as XYZ match. For example, in the method disclosed in Japanese Patent Application Laid-Open No. 2000-333032, since color matching is performed using conditionally equal colors, when a printed matter is observed in an environment different from the environment in which toning was performed, for example, under a different illumination light source. Has the problem that the color reproduction accuracy is reduced. Also, in the method of minimizing the color difference between the color sample and the output color, even if the tristimulus values can be matched, since the spectral reflectance is different, the color sample and the output color under different illumination light sources are different. There was a problem that the appearance of the color was greatly different.
[0005]
A method of compressing an image using principal component analysis as disclosed in Japanese Patent Application Laid-Open No. 2001-134755 is a general image storage method because principal component coefficients of the result of principal component analysis are stored as image information. There is a problem that compatibility with RGB data is low.
[0006]
The present invention has been made in order to solve the above-mentioned problem, and it is possible to estimate a spectral distribution characteristic of an input image and faithfully reproduce the spectral distribution characteristic in an output image. It is an object of the present invention to obtain an image that realizes an accurate color reproduction.
[0007]
[Means for Solving the Problems]
As one means for achieving the above object, an image processing system according to the present invention has the following configuration. That is,
An image processing system that converts an input image signal input from an image input device into an output image signal for output by an image output device,
Based on an input image signal input from the image input device, image information for expressing an input image in a predetermined color space and additional information for estimating a spectral reflectance characteristic of the input image are generated. First generating means for performing
Storage means for storing the image information and the additional information generated by the first generation means;
Calculation means for calculating the spectral reflectance of each pixel in the image based on the image information and the additional information stored in the storage means,
On the basis of the spectral reflectance calculated by the calculation unit, a recording amount of each recording material corresponding to a plurality of colors used for recording each pixel in the image is determined, and an output image signal for the image output device is determined. And second generating means for generating
[0008]
Further, an image processing apparatus according to the present invention for achieving the above object,
An image processing device that generates image information expressed in a predetermined color space based on an input image signal input from an image input device,
First generating means for generating image information for expressing the image in a predetermined color space based on an input image signal input from the image input device;
A second generation unit configured to generate additional information for estimating a spectral reflectance characteristic of the image based on an input image signal input from the image input device;
A storage unit that stores the image information generated by the first generation unit and the additional information generated by the second generation unit as one image data.
[0009]
Furthermore, an image processing apparatus according to another aspect of the present invention for achieving the above object,
Storage means for storing image information corresponding to a predetermined color space and additional information for estimating the spectral reflectance of the image;
Calculating means for calculating the spectral reflectance of each pixel in the image based on the image information and the additional information stored in the storage means,
On the basis of the spectral reflectance calculated by the calculation unit, a recording amount of each recording material corresponding to a plurality of colors used for recording each pixel in the image is determined, and an output image signal for the image output device is determined. And second generating means for generating
[0010]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, preferred embodiments according to the present invention will be described with reference to the accompanying drawings.
[0011]
(1st Embodiment)
FIG. 1 is a block diagram showing the configuration of the color reproduction device according to the first embodiment. The color reproduction device according to the present embodiment is roughly composed of an image input system 1 and an image output system 2. Note that the image input system 1 and the image output system 2 may be realized by separate devices, or may be realized by the same device.
[0012]
An image input device 3 inputs a spectral image of an object, such as a multispectral camera. In the image input system 1, an image input unit 4 inputs a spectral image obtained by the image input device 3. Reference numeral 5 denotes an image compression unit which converts the input spectral image into RGB data and information for restoring spectral reflectance (in this embodiment, up to a predetermined order (third order in this embodiment) obtained by principal component analysis). Component). Reference numeral 6 denotes an input image storage unit that stores image data compressed by the image compression unit 5. Note that a spectral image is an image in which all pixels of the image are represented by a spectral distribution (reflectance at wavelengths of 10 nm between 380 nm and 780 nm). In general, an image is captured using three types of filters (RGB values). The image input device 3 is a multi-band camera having six to eight filters, and calculates a spectral distribution corresponding to each pixel of an object. Can be estimated. The image compressing unit 5 reduces (compresses) the data amount by converting the spectral image into the RGB image and the restoration information common to all the pixels.
[0013]
In the image output system 2, an output image storage unit 7 reads and stores image data stored in the input image storage unit 6 of the image input system 1. When the image input system 1 and the image output system 2 are configured by one device, it is not necessary to provide the input image storage unit 6 and the output image storage unit 7 separately. Reference numeral 8 denotes a spectral reflectance restoration unit that restores image data (image data compressed by the image compression unit 5) stored in the output image storage unit 7 into spectral image data. Reference numeral 9 denotes a printer model, which determines an ink ejection amount of each pixel for image reproduction based on the restored spectral reflectance. In other words, for each pixel, the amount of ink applied is determined such that the spectral reflectance of the print result is closest to the restored spectral reflectance. Reference numeral 10 denotes an image output unit that outputs print data for causing the image output device 11 to form an image with the ink ejection amount determined by the printer model 9.
[0014]
Reference numeral 11 denotes an image output device such as a printer for outputting an image. In the following embodiment, a configuration in which an ink jet type color printer is used as the image output device 11 to control the amount of ink ejected during image formation will be described, but various color printers are applied as the image output device 11. be able to. For example, in the case of a laser type color printer, the purpose is to control the ratio of color mixture of toners of each color. Reference numeral 12 denotes a display device for displaying an image, such as a CRT or an LCD.
[0015]
<Overall processing>
Next, the entire color reproduction process according to the first embodiment will be described. FIG. 2 is a flowchart illustrating a color reproduction process performed by the image input system 1 and the image output system 2. FIG. 11 is a diagram illustrating an example of a user interface used when performing color reproduction. FIG. 12 is a diagram illustrating a configuration example of image data stored by the image input system 1 according to the first embodiment.
[0016]
First, in step S201, a spectral image is acquired by the image input unit 4 using the image input device 3. Here, tristimulus values XYZ and the like are calculated from the acquired spectral images, and further converted to device RGB of the display device 12 by using an ICC profile or the like, and displayed on the original image display unit 1101 (FIG. 11). At this time, if the user specifies a pixel using the pixel specifying pointer 1104, the spectral reflectance of the pixel is displayed on the spectral reflectance display unit 1106 (indicated by a broken line in FIG. 11). In the present embodiment, the original image stored in the input image storage unit 6 is displayed on the display device 12 via the output image storage unit 7.
[0017]
Next, in step S202, the image compression unit 5 performs a principal component analysis on the spectral reflectances of all the pixels of the spectral image to calculate the principal components. In the present embodiment, it is assumed that the calculation is performed up to the third main component (third main component). Since a spectral image has been acquired by the image input device 3, it is necessary to convert the spectral image into spectral reflectance using light source information in step S202. Normally, a multi-band camera uses a standard white plate to acquire light source information. (When a standard white plate is photographed with a multi-band camera, the spectral distribution obtained is the product of the standard white plate and the spectral distribution of the light source. Here, assuming that the reflectance of the standard white plate is 1 at all wavelengths, the acquired spectral distribution itself becomes the spectral distribution of the light source.) That is,
(Acquired image) = (spectral distribution of light source) x (spectral reflectance of standard white plate)
When both sides are divided by (the spectral reflectance of the standard white plate) = 1,
(Acquired image) = (spectral distribution of light source)
It becomes. The spectral reflectance at which the principal component analysis is performed in step S202 is obtained by dividing the obtained spectral distribution by the spectral distribution of the light source (spectral reflectance itself).
[0018]
In step S203, the image compression unit 5 calculates tristimulus values XYZ from the spectral reflectances of all pixels of the spectral image, and further calculates RGB values corresponding to the display device 12 using an ICC profile or the like. Then, in step S204, as shown in FIG. 12, the main components calculated in step S202 and the RGB values calculated in step S203 are stored in the input image storage unit 6 as image data (details will be described later). The above is the processing by the image input system 1.
[0019]
Next, an image forming operation by the image output system 2 will be described. In step S205, the image data (FIG. 12) including the main components and the RGB data stored in the input image storage unit 6 is read into the output image storage unit 7. Then, the spectral reflectance restoration unit 8 restores the spectral reflectance (details will be described later). At this time, the RGB data can be directly displayed as an image in the image display area 1102 of the display device 12. Alternatively, a tristimulus value XYZ is calculated from the restored spectral reflectance, and converted into the device RGB of the display device 12 using the light source information selected by the user in the light source selection unit 1105 and the ICC profile or the like. Can be displayed in the display area 1102. When the user designates a pixel using the pixel designation pointer 1104, the spectral reflectance is displayed on the spectral reflectance display unit 1106 (in the present embodiment, indicated by a dotted line).
[0020]
In step S206, the ink ejection amount in the image output device 11 is determined by the printer model 9 using the spectral reflectance restored by the spectral reflectance restoring unit 8 as a target color. That is, the printer model 9 estimates the color (spectral reflectance) output by the printer (this estimation is hereinafter referred to as output estimation; details of the output estimation will be described later), and the target color is estimated. The ink ejection amount is determined so that the error with the output color is minimized (details will be described later).
[0021]
At this time, from the estimated spectral reflectance, tristimulus values XYZ are calculated using the light source information selected by the user in the light source selection unit 1105, and converted to device RGB of the display device 12 using an ICC profile or the like. It is displayed on the output estimation image display unit 1103. If the user designates a pixel of the image displayed in the output estimation image display unit 1103 using the pixel designation pointer 1104, the spectral reflectance of the pixel is displayed on the spectral reflectance display unit 1106 (see FIG. In the embodiment, this is indicated by a solid line).
[0022]
In step S207, the image output unit 10 controls the driving of the image output device 11 using the ink ejection amount determined by the printer model 9, and outputs an image.
[0023]
<Image storage format>
FIG. 12 is an example of an image storage format used when storing image data in step S204. As shown in FIG. 12, in the image storage format according to the first embodiment, a spectral distribution is provided between a header 1201 that describes information such as an image size and resolution, and RGB data 1203 that indicates the RGB value of each pixel of the image. A main component 1202 used for reflectance restoration is described. In the present embodiment, the main components up to the third order (first main component to third main component) are recorded as the main components 1202, but main components of higher orders may be recorded. The principal component 1202 is obtained by analyzing the spectral distribution of the pixels of the entire image by principal component analysis. In the restoration of the spectral reflectance in step S205, each pixel is calculated from the principal component and the RGB data of each pixel. Is restored. Here, as described in step S202, the spectral reflectance used for the principal component analysis is obtained by dividing the acquired spectral distribution by the spectral distribution of the light source (spectral reflectance itself).
[0024]
<Restoration of spectral reflectance>
The tristimulus value of a pixel in the image is represented by (X_image, Y_image, Z_image), And the tristimulus values calculated from the first, second, and third principal components held in the principal component 1202 are represented by (X₁, Y₁, Z₁), (X₂, Y₂, Z₂), (X₃, Y₃, Z₃), The following simultaneous equations are obtained.
[0025]
(Equation 1)

[0026]
By solving the simultaneous equations of the above equations (1) to (3), the coefficient k₁, K₂, K₃Is required. Then, by using these coefficients, the spectral reflectance of the pixel in the image is estimated by the following equation.
[0027]
(Equation 2)

[0028]
Note that the tristimulus values (X_image, Y_image, Z_image) Is calculated in advance from the RGB values stored in the image data 1203 using an ICC profile or the like. Note that the RGB data stored in the image data 1203 is presumed to be displayed on a display, and thus is stored in a display device RGB, sRGB, or the like. An ICC profile is used to accurately convert the RGB values into device-independent XYZ values. Furthermore, the tristimulus values (X₁, Y₁, Z₁), (X₂, Y₂, Z₂), (X₃, Y₃, Z₃) Are calculated in advance using the light source information selected by the user in the light source selection unit 1105. Note that the above-described spectral reflectance restoration processing is performed for each pixel.
[0029]
<Printer output estimation>
Next, the details of the output estimation processing in step S206 will be described with reference to FIG. FIG. 3 is a flowchart illustrating the processing procedure of the output estimation performed in step S206.
[0030]
First, in step S301, the amount of ink to be adopted is set to an initial value (for example, all 0%). In step S302, dot gain correction for the primary color is performed (details will be described later). In step S303, using the spectral reflectance of each ink whose primary color dot gain has been corrected, the spectral reflectance estimation initial value (R) of the multicolor (mixed color) is calculated by the following equations (5) to (7)._{MIX, λ}) Is calculated.
[0031]
(Equation 3)

[0032]
In step S304, ink overlay correction is performed on the spectral reflectance estimation initial value calculated in step S303 (details will be described later). In step S305, the difference between the estimated value of the spectral reflectance corrected in step S304 and the target spectral reflectance (the spectral reflectance restored in step S205) is calculated (the calculation method will be described later). Then, in step S306, if the difference value calculated in step S306 is smaller than the minimum difference value held at that time, the minimum difference value is updated with the calculated difference value. , The ink ejection amount at that time is held.
[0033]
In step S307, it is determined whether the output has been estimated for all combinations of the ink ejection amounts to be used (for example, 1% intervals from 0% to 100%). If all the outputs have been estimated, the process ends. If not, the process proceeds to step S308. move on. In step S308, the ink ejection amount is changed by a fixed amount (for example, the ink ejection amount of a certain color is changed by 1% (or the increment of the change is 5%, 10%, or the like according to the specifications of the processing apparatus used). )), And returns to step S302. In this way, a combination of ink ejection amounts that minimizes the difference value from the target value is obtained.
[0034]
<Primary color dot gain correction>
Next, the details of the primary color dot gain correction in step S302 will be described with reference to FIGS.
[0035]
In general, it is assumed that the spectral reflectance (dot gain) of the primary color dot changes linearly with respect to the amount of ejection, but in the present embodiment, in order to consider the effect of the dot gain nonlinearity, First, primary color dot gain correction is performed.
[0036]
In creating the primary color dot gain correction LUT, a primary color correction patch that has been output using a printer (image output device 11) whose color reproduction is to be predicted in advance is measured. As shown in FIG. 4, the primary color correction patches used here are recorded by changing the amount of ink to be applied from 0% to 100% at intervals of 20%.
[0037]
The spectral reflectance data obtained by the color measurement of such a primary color correction patch is a reflectance of each wavelength with respect to a discrete ejection amount of each ink as shown in FIG. 5 (a) shows the spectral reflectance of the cyan ink.) FIG. 5A shows the measurement results of the spectral reflectance at each of the applied amounts (20%, 40%, 60%, 80%, and 100%) of the cyan ink. It will indicate the spectral reflectance of the paper.
[0038]
Then, such spectral reflectance data is converted into an LUT indicating the relationship between the amount of ejection of each ink at each wavelength and the reflectance as shown in FIG. 4B. Here, since there are only discrete measurement results of the ink ejection amount in increments of 20%, a general interpolation method such as linear interpolation or spline interpolation is used to create the primary color correction LUT. In the primary color dot gain correction (step S302), the LUT is used to perform primary color dot gain correction with respect to the input ink ejection amount, and the primary color spectral reflectance is estimated. Although only four graphs are illustrated in FIG. 4B for simplicity, in practice, all the wavelengths sampled in the visible wavelength range (for example, 41 wavelengths in 380 nm to 780 nm in increments of 10 nm). Is created for each table.
[0039]
<Ink overlay correction>
Next, the details of the ink overlay correction in step S304 will be described.
[0040]
In the ink overlay correction, prior to execution of the correction processing, an ink overlay correction coefficient is calculated and stored in a predetermined storage device (not shown). Then, using this correction coefficient and the ink ejection amount, color reproduction is predicted at the ink ejection amount.
[0041]
In calculating the ink overlay correction coefficient, first, the color of an ink overlay correction patch that has been output using a printer (image forming apparatus 11) for which color reproduction prediction is to be performed is measured. As shown in FIG. 6, for example, the ink overlay correction patch used here was printed by changing the amount of each ink to be applied from 0% to 100% at intervals of 20%, and further overlaying two or more colors of the used ink. Things.
[0042]
Next, using the data for recording the overlay correction patch data shown in FIG. 6 (the amount of each color applied in each patch), the steps (S302 and S303 are executed) by the above equations (5) to (7). Then, an initial value of the spectral reflectance estimation initial value of the overlay correction patch is estimated. The calculated spectral reflectance initial value calculated here has an error with respect to the actually measured data actually measured. Then, in order to correct the error with the actual measurement data, the correction coefficient a is calculated by using the least square method or the like so that the error is minimized using the equation (8)._h, Λ, b_{i, j, λ}, C_{k, l, m, λ}To determine.
[0043]
(Equation 4)

In the above equation (8), R_{p, λ}Is the inferred value after the primary color correction obtained by the KM theory of Expressions (5) to (7), and R_{mod, λ}Indicates a corrected inference value after the ink overlay correction. And R_{mod, λ}Coefficient a so that the error between_{h, λ}, B_{i, j, λ}, C_{k, l, m, λ}Is determined. Further, i, j of the second term and k, l, m of the third term indicate arbitrary inks. For example, when four colors of C, M, Y, and K are used as n-color inks , I = C, M, Y, K, j = C, M, Y, K,... (Where i ≠ j, k ≠ l m). (K / S) is as defined in the equation (4).
[0044]
The correction coefficient determined as described above is stored in a predetermined storage device, and is read when the ink overlay correction is performed in step S304. That is, in the ink overlay correction in step S304, an estimation error due to ink overlay is applied to the spectral reflectance estimation initial value calculated in step S303 using the above-described ink overlay correction coefficient and applying equation (8). Is corrected.
[0045]
<Error calculation method>
Next, details of the error calculation method in step S206 will be described. As a method of calculating an error between two colors, there is generally a CIE color difference equation. However, since the influence of metamerism is not taken into account in the CIE color difference equation, in the present embodiment, for example, the root mean square (RMS error) of the spectral distribution error for each wavelength as expressed by the following equation (9) is used. Used.
[0046]
(Equation 5)

[0047]
However, other than the above-mentioned RMS, the type is not limited as long as the error can be calculated in consideration of metamerism (conditionally equal colors). For example, as in the following equation (10),
[0048]
(Equation 6)

A weighting function given by the sum of the CIE color matching functions represented by the following equation may be used and weighted for each wavelength.
[0049]
(Equation 7)

[0050]
As described above, according to the present embodiment, as the data for estimating the spectral distribution characteristics of the original scene of the input image, the principal components obtained by performing the principal component analysis on the spectral distribution of the pixels of the entire image are used. To estimate the original spectral distribution characteristics of the image. Therefore, it is possible to faithfully reproduce the original spectral distribution characteristics.
[0051]
In the above embodiment, the spectral distribution of all the pixels of the image is subjected to the principal component analysis. However, the image is divided into a plurality of regions, the principal component is analyzed for each region, and the principal component is recorded for each region. You may do so. However, in this case, the difference for estimating the spectral reflectance of a certain pixel needs to be configured to use the main component of the region to which the pixel belongs, but such a configuration is apparent to those skilled in the art. Would.
[0052]
(2nd Embodiment)
In the above-described first embodiment, the spectral distribution of the pixels of the entire image is analyzed by the principal component, and the results (the principal components 1 to 3) are held corresponding to the image and used for restoring the spectral reflectance of each pixel. ing. In the second embodiment, information for restoring the spectral reflectance is stored for each pixel. Hereinafter, a second embodiment according to the present invention will be described in detail with reference to the drawings.
[0053]
FIG. 7 is a block diagram illustrating a configuration of a color reproduction device according to the second embodiment. 7, reference numeral 701 denotes an image input system, and 702 denotes an image output system. Reference numeral 703 denotes an image input device such as a multispectral camera for inputting a spectral image of an object.
[0054]
In the image input system 701, reference numeral 704 denotes an image input unit for inputting a spectral image obtained by the image input device 703. An image compression unit 705 compresses the spectral image into image data including RGB data and information for restoring spectral reflectance. An input image storage unit 706 stores the image data compressed by the image compression unit 705. A principal component database 707 stores a category of an object and a principal component corresponding to the category. Note that examples of the category include “skin, sky, grass” and the like. These spectral distributions are very similar, and it is known that high-precision restoration can be performed even when restoration is performed from the main component.
[0055]
In the image output system 702, a main component database 708 stores a category of an object and a main component corresponding to the category. The main component database 708 and the main component database 707 in the image input system 701 have the same contents. Reference numeral 709 denotes an output image storage unit for reading and storing image data stored in the input image storage unit 706 in the image input system 701. Reference numeral 710 denotes a spectral reflectance restoration unit that restores the image data stored in the output image storage unit 709 to spectral image data with reference to the principal component database 708. Reference numeral 711 denotes a printer model, which determines an ink ejection amount of each pixel for image reproduction based on the restored spectral reflectance. In other words, for each pixel, the amount of ink applied is determined such that the spectral reflectance of the print result is closest to the restored spectral reflectance. An image output unit 712 outputs print data for causing the image output device 713 to form an image with the ink ejection amount determined by the printer model 711.
[0056]
Reference numeral 713 denotes an image output device for outputting an image, such as a printer. As described above, as the image output device 713, various types of color printers such as an ink jet system and a laser beam system can be applied. Reference numeral 714 denotes a display device such as a CRT or an LCD for displaying an image.
[0057]
Note that the image input system 701 and the image output system 702 may be realized by separate devices as shown in FIG. 7, or may be realized by the same device. When the image input system 1 and the image output system 2 are configured by one device, it is not necessary to separately provide the input image storage unit 6 and the output image storage unit 7 and the main component databases 707 and 708.
[0058]
<Overall processing>
Hereinafter, the color reproduction processing according to the second embodiment will be described in detail. FIG. 8 is a flowchart of a color reproduction process performed by the input system 701 and the output system 702. The user interface used when performing color reproduction is the same as in the first embodiment (FIG. 11), and will be described with reference to FIG. FIG. 13 is a diagram illustrating a configuration example of image data stored by the image input system 701 according to the second embodiment.
[0059]
First, in step S801, the image input unit 704 acquires a spectral image using the image input device 703. At this time, tristimulus values XYZ and the like are calculated from the acquired spectral images, converted into device RGB of the display device 713 using an ICC profile or the like, and displayed on the original image display unit 1101 (FIG. 11). Here, if the user specifies a pixel using the pixel specification pointer 1104, the spectral reflectance of the specified pixel is displayed on the spectral reflectance display unit 1106 (displayed with a broken line).
[0060]
In step S802, the image compression unit 705 performs principal component analysis on the spectral reflectances of all pixels of the spectral image, and calculates principal components. Then, the calculated principal component is compared with the principal component data stored in the principal component database 707, and the category of the principal component having the smallest error is set as the category of the pixel. Note that the calculation of the error is not limited to a specific method. For example, calculating the least square error of each principal component (the first principal component of the image and the database, the second principal component,...) And the like may be used. No.
[0061]
In step S803, the image compression unit 705 calculates tristimulus values XYZ from spectral reflectances for all pixels of the spectral image, and further calculates RGB values using an ICC profile or the like. Then, in step S804, as shown in FIG. 13, the category of each pixel calculated in step S802 and the RGB value of each pixel calculated in step S803 are stored in the input image storage unit 706 (details will be described later). The above is the processing by the image input system 701.
[0062]
Next, processing by the image output system 702 will be described. In step S805, the RGB data stored in the input image storage unit 706 is read into the output image storage unit 709. Then, the spectral reflectance restoration unit 710 restores the spectral reflectance as in the first embodiment. However, as the main components used in the second embodiment, the main components of the category corresponding to the pixels stored in the output main component database 708 are used. However, the principal components and categories stored in the input principal component database 707 and the output principal component database 708 are the same.
[0063]
At this time, the RGB data can be directly displayed as an image in an area 1102 on the display screen of the display device 714. Alternatively, tristimulus values XYZ are calculated from the spectral reflectances restored in step S805, and converted into the device RGB of the display device 714 using the light source information selected by the user in the light source selection unit 1105 and the ICC profile, etc. It is also possible to simulate color reproduction under a light source and display the result in an area 1102. If the user specifies a pixel using the pixel specifying pointer 1104, the spectral reflectance of the specified pixel is displayed on the spectral reflectance display unit 1106 (in this embodiment, the spectral reflectance is indicated by a dotted line). .
[0064]
In step S806, similarly to step S206 of the first embodiment, the ink ejection amount in the image output device 713 is determined by the printer model 711 using the spectral reflectance restored by the spectral reflectance restoring unit 710 as the target color. I do. That is, the color (spectral reflectance) output by the printer is estimated (output estimation) by the printer model 711, and the error between the target color and the estimated output color is minimized (details will be described later). Determine the amount of ink applied.
[0065]
The tristimulus value XYZ is calculated from the spectral reflectance estimated as described above and the light source information selected by the user in the light source selection unit 1105, and the tristimulus value XYZ is calculated using the device RGB of the display device 714 using an ICC profile or the like. , And the result is displayed on the output estimation image display unit 1103. When the user specifies a pixel using the pixel specifying pointer 1104, the spectral reflectance of the specified pixel is displayed on the spectral reflectance display unit 1105 (in the embodiment, the spectral reflectance is indicated by a solid line). .
[0066]
In step S807, the image output unit 712 outputs an image using the image output device 713 using the ink ejection amount determined by the printer model 711.
[0067]
<Image storage format>
FIG. 13 is an example of an image storage format used when storing an image in step S804. In FIG. 13, a category 1302 for each pixel is described between a header 1301 and RGB data 1303. The spectral reflectance restoration unit 710 acquires the principal components corresponding to the category of each pixel stored in the category 1302 from the principal component database 708, and acquires the acquired principal components and the RGB data of each pixel stored in the RGB data 1303. Then, the spectral reflectance is restored from the above.
[0068]
Using the spectral reflectance restored as described above, color reproduction is performed by the same method as described in the first embodiment.
[0069]
As described above, according to the second embodiment, the main component can be assigned to each pixel, so that the spectral reflectance can be restored with higher accuracy.
[0070]
(Third embodiment)
In the first and second embodiments, the result of the principal component analysis is used for restoring the spectral reflectance, but the present invention is not limited to this. In the third embodiment, system characteristics are used for restoring the spectral reflectance. Hereinafter, a third embodiment according to the present invention will be described in detail with reference to the drawings. For example, a general RGB image acquisition device (digital camera, scanner, or the like) determines the RGB output value for the spectral distribution based on the spectral transmittance of each of the RGB filters and the characteristics of an image sensor (CCD or the like). R (λ) × S (λ), G (λ) × S (λ), B (λ) × S (λ), and the like are conceivable as system characteristics used in. Here, R (λ), G (λ), and B (λ) represent the spectral transmittance of the RGB filter, and S (λ) represents the spectral characteristic of the CCD. In general, the interval of λ may be 5 nm or 10 nm. However, it is also conceivable to change it in consideration of accuracy and cost performance, and here, the interval of the wavelength λ is not particularly limited.
[0071]
FIG. 9 is a block diagram showing a configuration of a color reproduction device according to the third embodiment. In FIG. 9, reference numeral 901 denotes an image input system, and 902 denotes an image output system. Reference numeral 903 denotes an image input device such as a CCD or a CMOS for inputting an RGB image.
[0072]
In the image input system 901, an image input unit 904 inputs an RGB image from the image input device 903. An image compression unit 905 compresses the RGB image input by the image input unit 904. An input image storage unit 906 stores the image data compressed by the image compression unit 905. An input system characteristic storage unit 913 stores system characteristics of the input system 901. Note that the image compression unit 905 performs a process of adding a system characteristic (header portion) to the RGB data because the RGB data is input as input. However, a conversion such as JPEG which is a general image format may be performed on the RGB data to further compress the RGB data.
[0073]
Reference numeral 907 denotes an output image storage unit which reads image data stored in the input image storage unit 906 of the image input system 901 into the input unit and stores it. Reference numeral 908 denotes a spectral reflectance restoration unit that restores the image data stored in the output image storage unit 907 to spectral image data. Reference numeral 909 denotes a printer model that determines the amount of ink to be applied to each pixel for image reproduction based on the restored spectral reflectance. In other words, for each pixel, the amount of ink applied is determined such that the spectral reflectance of the print result is closest to the restored spectral reflectance. An image output unit 910 outputs print data for causing the image output device 911 to form an image with the ink ejection amount determined by the printer model 909.
[0074]
Reference numeral 911 denotes an image output device for outputting an image, such as a printer. As described in the first embodiment, various types of color printers such as an ink jet system and a laser beam system can be applied as the image output device 911. Reference numeral 912 denotes a display device such as a CRT or an LCD for displaying an image.
[0075]
Note that the image input system 901 and the image output system 902 may be realized by separate devices as shown in FIG. 9, or may be realized by the same device. When the image input system 1 and the image output system 2 are configured by one device, it is not necessary to provide the input image storage unit 6 and the output image storage unit 7 separately.
[0076]
<Overall processing>
Next, a color reproduction process according to the third embodiment will be described in detail with reference to the drawings. FIG. 10 is a flowchart showing the color reproduction processing performed by the image input system 901 and the image output system 902. The user interface used when performing color reproduction is the same as in the first embodiment (FIG. 11), and will be described with reference to FIG. FIG. 14 is a diagram illustrating a configuration example of image data stored by the image input system 901 according to the third embodiment.
[0077]
First, in step S1001, the image input unit 904 obtains an RGB image using the image input device 903. At this time, the acquired RGB images are displayed on the original image display unit 1101.
[0078]
In step S1002, the image compression unit 905 stores the acquired RGB image and the input system characteristics stored in the input system characteristic storage unit 913 in the input image storage unit 906 in the data configuration illustrated in FIG. 14 (details). Will be described later). The above is the processing by the image input system 901.
[0079]
Next, processing of the image output system 902 will be described. In step S1003, the image data in the form shown in FIG. 14 stored in the input image storage unit 906 is read and stored in the output image storage unit 907. That is, the stored image data RGB stored in the input image storage unit 906 and the system characteristics (S_{R1 ( λ )}, S_{G1 ( λ )}, S_{B1 ( λ )}), (S_{R2 ( λ )}, S_{G2 ( λ )}, S_{B2 ( λ )}), (S_{R3 ( λ )}, S_{G3 ( λ )}, S_{B3 ( λ )}) Is read into the output image storage unit 907. The spectral reflectance is restored by the spectral reflectance restoration unit 908 based on the read information (details will be described later).
[0080]
At this time, the read RGB data can be displayed as it is on the display area 1102 of the display device 912 as an image. Alternatively, a tristimulus value XYZ is calculated from the restored spectral reflectance, and is converted into the device RGB of the display device 912 using the light source information selected by the user in the light source selection unit 1105 and the ICC profile, etc. It is also possible to simulate the color reproduction of the image and display the simulation result in the area 1102. When the user specifies a pixel using the pixel specifying pointer 1104, the spectral reflectance of the specified pixel is displayed on the spectral reflectance display unit 1106 (in the present embodiment, indicated by a dotted line).
[0081]
In the following step S1004, as in step S206 of the first embodiment, the ink ejection amount in the image output device 911 is determined by the printer model 909 using the spectral reflectance restored by the spectral reflectance restoring unit 908 as the target color. decide. That is, the color (spectral reflectance) output by the printer is estimated (output estimation) by the printer model 909, and the error between the target color and the estimated output color is minimized (details will be described later). Determine the amount of ink applied.
[0082]
At this time, tristimulus values XYZ are calculated from the estimated spectral reflectance using the light source information selected by the user in the light source selection unit 1105, converted into device RGB of the display device 912 using an ICC profile or the like, and output. An image is displayed on the estimated image display unit 1103. If the user designates a pixel using the pixel designation pointer 1104, the designated spectral reflectance is displayed on the spectral reflectance display unit 1106 (in the present embodiment, indicated by a solid line).
[0083]
In step S1005, the image output unit 910 outputs an image using the image output device 911 using the ink ejection amount determined by the printer model 909.
[0084]
<Image storage format>
FIG. 14 is an example of an image storage format used when storing an image in step S1002. In FIG. 14, a system characteristic 1401 of the image input system is described between a header 1401 that describes information such as an image size and a resolution and RGB data 1402. The spectral reflectance restoration unit 908 restores the spectral reflectance from the RGB data and the system characteristics.
[0085]
<Restoration of spectral reflectance>
The RGB values of the pixels in the image are represented by (R_image, G_image, B_image) And the system characteristics of the input system (S_R1(Λ), S_G1(Λ), S_B1(Λ)), (S_R2(Λ), S_G2(Λ), S_B2(Λ)), (S_R3(Λ), S_G3(Λ), S_B3(Λ)), the spectral reflectance of the pixel in the image is estimated by the following equation (11).
[0086]
(Equation 8)

[0087]
Using the spectral reflectance obtained by the above equation (11), color reproduction is performed by the same method as described in the first embodiment.
[0088]
According to each embodiment described above, data for estimating the original spectral distribution characteristic of the input image is attached to the image data, and in the color conversion processing for converting the input image signal into the output image signal, The spectral reflection characteristics of the original scene are estimated based on the attached data. For this reason, the spectral reflection characteristics can be faithfully reproduced, and accurate color reproduction of the original scene of the image can be realized even under different observation environments.
[0089]
(Other embodiments)
<Output estimation>
In the above embodiments, various methods can be used for the output estimation in the printer models 5, 815, and 909 in addition to the output estimation method described above. For example, a conventional output estimation method using a neural network may be used, or a Neugebauer equation using a Yule-Nielsen modified equation may be used. That is, the method is not limited as long as the output is predicted using the spectral reflectance of the ink and the ejection amount.
[0090]
<Storage medium>
The present invention can be applied to a system including a plurality of devices (for example, a host computer, an interface device, a reader, a printer, etc.), but may be a device including one device (for example, a copying machine, a facsimile machine, etc.). May be applied.
Further, an object of the present invention is to provide a storage medium storing a program code of software for realizing the functions of the above-described embodiments to a system or an apparatus, and a computer (or CPU or MPU) of the system or apparatus to store the storage medium. Needless to say, this can also be achieved by reading out and executing the program code stored in the.
[0091]
In this case, the program code itself read from the storage medium realizes the function of the above-described embodiment, and the storage medium storing the program code constitutes the present invention.
[0092]
As a storage medium for supplying the program code, for example, a flexible disk, a hard disk, an optical disk, a magneto-optical disk, a CD-ROM, a CD-R, a magnetic tape, a nonvolatile memory card, a ROM, and the like can be used.
[0093]
When the computer executes the readout program code, not only the functions of the above-described embodiments are realized, but also an OS (Operating System) running on the computer based on the instruction of the program code. It goes without saying that a case where a part of the actual processing is performed and the function of the above-described embodiment is realized by the processing is also included.
[0094]
Further, after the program code read from the storage medium is written into a memory provided on a function expansion board inserted into the computer or a function expansion unit connected to the computer, the function expansion is performed based on the instruction of the program code. It goes without saying that a CPU or the like provided in the board or the function expansion unit performs part or all of the actual processing, and the processing realizes the functions of the above-described embodiments.
[0095]
【The invention's effect】
As described above, according to the present invention, it is possible to estimate a spectral distribution characteristic of an input image and faithfully reproduce the spectral distribution characteristic in an output image. Therefore, it is possible to obtain an image output that realizes faithful color reproduction even under different viewing environments.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of a color reproduction device according to a first embodiment.
FIG. 2 is a flowchart illustrating a color reproduction process according to the first embodiment.
FIG. 3 is a flowchart illustrating an output estimation process.
FIG. 4 is a diagram illustrating an example of a primary color correction patch.
FIG. 5A is a diagram illustrating a measurement result of a spectral reflectance with respect to an ejection amount of cyan ink, and FIG. 5B is a diagram illustrating a primary color correction LUT acquired from the measurement result of FIG.
FIG. 6 is a diagram illustrating an example of an ink overlay correction patch.
FIG. 7 is a block diagram illustrating a configuration of a color reproduction device according to a second embodiment.
FIG. 8 is a flowchart illustrating a color reproduction process according to a second embodiment.
FIG. 9 is a block diagram illustrating a configuration of a color reproduction device according to a third embodiment.
FIG. 10 is a flowchart illustrating a color reproduction process according to a third embodiment.
FIG. 11 is a diagram illustrating an example of a user interface according to the present embodiment.
FIG. 12 is a diagram illustrating an example of an image storage format according to the first embodiment.
FIG. 13 is a diagram illustrating an example of an image storage format according to the second embodiment.
FIG. 14 is a diagram illustrating an example of an image storage format according to the third embodiment.

Claims (15)

An image processing system that converts an input image signal input from an image input device into an output image signal for output by an image output device,
Based on an input image signal input from the image input device, image information for expressing an input image in a predetermined color space and additional information for estimating a spectral reflectance characteristic of the input image are generated. First generating means for performing
Storage means for storing the image information and the additional information generated by the first generation means;
Calculation means for calculating the spectral reflectance of each pixel in the image based on the image information and the additional information stored in the storage means,
On the basis of the spectral reflectance calculated by the calculation unit, a recording amount of each recording material corresponding to a plurality of colors used for recording each pixel in the image is determined, and an output image signal for the image output device is determined. An image processing system comprising: a second generation unit configured to generate the image data. An image processing device that generates image information expressed in a predetermined color space based on an input image signal input from an image input device,
First generating means for generating image information for expressing the image in a predetermined color space based on an input image signal input from the image input device;
A second generation unit configured to generate additional information for estimating a spectral reflectance characteristic of the image based on an input image signal input from the image input device;
An image processing apparatus comprising: a storage unit that stores image information generated by the first generation unit and additional information generated by the second generation unit as one image data. Storage means for storing image information corresponding to a predetermined color space and additional information for estimating the spectral reflectance of the image;
Calculating means for calculating the spectral reflectance of each pixel in the image based on the image information and the additional information stored in the storage means,
On the basis of the spectral reflectance calculated by the calculation unit, a recording amount of each recording material corresponding to a plurality of colors used for recording each pixel in the image is determined, and an output image signal for the image output device is determined. An image processing apparatus comprising: a second generation unit configured to generate the image data. A control method of an image processing system that converts an input image signal input from an image input device into an output image signal for output by an image output device,
Based on an input image signal input from the image input device, image information for expressing an input image in a predetermined color space and additional information for estimating a spectral reflectance characteristic of the input image are generated. A first generation step of:
A storage step of storing the image information and the additional information generated in the first generation step in storage means;
A calculating step of calculating a spectral reflectance of each pixel in the image based on the image information and the additional information stored in the storage unit;
On the basis of the spectral reflectance calculated in the calculation step, a recording amount of each recording material corresponding to a plurality of colors used for recording each pixel in the image is determined, and an output image signal for the image output device is determined. And a second generation step of generating an image processing system. The input image signal represents a spectral image;
The additional information includes principal component data obtained by performing principal component analysis on the entire spectral distribution of the input image represented by the input image signal,
The method according to claim 4, wherein the image information includes RGB data calculated based on the spectral distribution. The additional information includes an image attribute assigned to each pixel of the input image,
The method according to claim 4, wherein the image information includes RGB data calculated based on the spectral distribution. The input image signal is RGB data;
The additional information includes control method characteristic information of a system representing characteristics of a control method of the system that acquires the input image signal,
The method according to claim 4, wherein the image information includes RGB data calculated based on the spectral distribution. The second generation step includes:
An estimation step of estimating the spectral reflectance based on the recording amount of the recording material,
A determination step of determining a recording amount of a recording material in each pixel based on the spectral reflectance obtained as a result of the estimation in the estimation step and the spectral reflectance of each pixel calculated in the calculation step. The control method for an image processing system according to claim 4, wherein: The estimating step includes:
A first correction step of correcting the reproduced color of each primary color based on the non-linearity between the amount of recording material of each color and the spectral reflectance characteristic;
A multi-order color estimating step of estimating a multi-order color reproduction color based on the corrected primary color reproduction color;
A second correction step of correcting a reproduction color of the estimated multi-color using a correction coefficient obtained based on an error between an estimated value and an actually measured value in the multi-color estimation step. The control method for an image processing system according to claim 4, wherein A setting step of setting a desired light source;
A first display step of reproducing and displaying an image based on the spectral reflectance calculated in the calculation step and the light source information of the light source set in the setting step;
The control method of the image processing system according to claim 4, further comprising a second table step of reproducing and displaying an image based on the recording amount of the recording material determined in the second generation step. An image processing method for generating image information expressed in a predetermined color space based on an input image signal input from an image input device,
A first generation step of generating image information for expressing the image in a predetermined color space based on an input image signal input from the image input device;
A second generation step of generating additional information for estimating a spectral reflectance characteristic of the image based on an input image signal input from the image input device;
An image processing method comprising: a storage step of storing image information generated in the first generation step and additional information generated in the second generation step as one image data. A storage step of storing image information corresponding to a predetermined color space and additional information for estimating a spectral reflectance of the image in a storage unit;
A calculating step of calculating a spectral reflectance of each pixel in the image based on the image information and the additional information stored in the storage unit;
On the basis of the spectral reflectance calculated in the calculation step, a recording amount of each recording material corresponding to a plurality of colors used for recording each pixel in the image is determined, and an output image signal for the image output device is determined. And a second generation step of generating the image data. A control program for causing a computer to execute the control method of the image processing system according to claim 4. A control program for causing a computer to execute the image processing method according to claim 11. A storage medium for storing the control program according to claim 13.

Images