JP2008532401A - 基準反射スペクトルを用いた反射スペクトル推定と色空間変換 - Google Patents

基準反射スペクトルを用いた反射スペクトル推定と色空間変換 Download PDF

Info

Publication number
JP2008532401A
JP2008532401A JP2007557568A JP2007557568A JP2008532401A JP 2008532401 A JP2008532401 A JP 2008532401A JP 2007557568 A JP2007557568 A JP 2007557568A JP 2007557568 A JP2007557568 A JP 2007557568A JP 2008532401 A JP2008532401 A JP 2008532401A
Authority
JP
Japan
Prior art keywords
image
transform
color
input
spectrum
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2007557568A
Other languages
English (en)
Inventor
オソリオ,ダニエル・ロバート・コラコ
アンダーソン,ジョン・コンラッド
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chrometrics Ltd
Original Assignee
Chrometrics Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chrometrics Ltd filed Critical Chrometrics Ltd
Publication of JP2008532401A publication Critical patent/JP2008532401A/ja
Withdrawn legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/603Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer
    • H04N1/6033Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer using test pattern analysis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6083Colour correction or control controlled by factors external to the apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6083Colour correction or control controlled by factors external to the apparatus
    • H04N1/6086Colour correction or control controlled by factors external to the apparatus by scene illuminant, i.e. conditions at the time of picture capture, e.g. flash, optical filter used, evening, cloud, daylight, artificial lighting, white point measurement, colour temperature

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Image Communication Systems (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Image Processing (AREA)

Abstract

パーソナルコンピュータ(PC)(2)は、推定された反射スペクトルを生成するため、および/または色を新しい色空間に変換するため、デジタルカメラ(3)から受け取った画像の色を調整する。まず、画像の生成に用いるカメラ(3)の異なる波長の光に対する感度と、画像と関係する対象物体に入射する照射スペクトルとを補償するため、例えば画像内のMacbethカラーチャートに基づき、入力補償トランスフォームが生成される。次に、反射スペクトルを推定するため、PC(2)によって反射スペクトル推定トランスフォームが生成される。画像の色を新しい色空間に変換するため、PC(2)によって色空間変換トランスフォームが生成される。反射スペクトル推定トランスフォームと色空間変換トランスフォームはいずれも、基準反射スペクトルデータベース(4)に格納された基準反射スペクトルと入力補償トランスフォームとに基づく。

Description

技術分野
本発明は基準反射スペクトルを用いた反射スペクトル推定と色空間変換とに関する。より具体的に、ただし排他的でなく、本発明は、画像の色を調整するためのトランスフォームを、例えば反射スペクトル推定トランスフォームを、または色空間変換トランスフォームを、生成する方法および装置に、ならびに反射スペクトルを推定し、且つ生成されたトランスフォームを用いて画像の色を新しい色空間に変換する関連方法および装置に関する。
発明の背景
色は、可視スペクトル(すなわち約400nmおよび700nmの間)における異なる波長の光強度の分布によって確定的に定義することができる。しかし、人が色を知覚し、常々これを記録する方法は主観的である。例えば、人の眼および最も伝統的な写真法は、ある特定の波長にて、他の波長にまして、光に対し敏感である。これは光が、ある特定の波長にて、他の波長にまして、色の知覚または記録に大きく影響することを意味する。同様に、物体には、様々な波長の光を、物体の反射スペクトルによって決まる一定の割合で反射する傾向があるが、物体によって反射される光の実際の色は、様々な波長で物体を照らす光の強度にも、例えば照射スペクトルにも依存する。照射スペクトルには、例えば時刻に応じて、または物体の位置に応じて、変化する傾向があるので、物体は、様々な異なる色とともに知覚または撮影されることがある。このため、物体の色が専らその反射スペクトルによって完全に定義できることは広く認められている。これまで反射スペクトルの記録・推定方法を開発するため多大な努力が費やされてきた。これらの記録される、または推定される、反射スペクトルは、様々な科学的・技術的目的にとって有益である。それらは画像処理にも利用される。例えば、所与の色空間で、例えばデジタルカメラのレッド・グリーン・ブルー(RGB)信号で記録された物体の像を、物体の推定反射スペクトルを用いて別の色空間へ、例えばプリンタのシアン・マゼンタ・イエロー・ブラック(CMYK)インクドット量へ、変換することが提案されてきた。
例えば反射スペクトルは、分光放射計または分光光度計として知られる装置を用いて測定できる。分光光度計は、物体から反射した光を、例えばプリズムや回折格子を用いて、異なる成分波長に分割し、それぞれの成分波長で光強度を測定する。通常は物体に入射する照射スペクトルも、例えばつや消し白色カード片等、中立的な反射率特性を持つ物体から反射する光を測定することによって、測定される。このとき物体の反射スペクトルを推測することができる。これは一般的に効果的であるが、分光光度計は複雑であり、高価である。分光光度計は画像の生成が不得手でもある。より具体的には、二次元画像を生成するには、画像の各ピクセルにつき別々の測定を実行しなければならない。ほとんどの分光光度計は一度に1回の測定しか行えず、その画像生成は、どんなに良くても、途方もなく遅いプロセスである。
1画像の多数のピクセルのスペクトル特性を一度に測定できる分光光度計が入手可能であり、ハイパースペクトル画像処理システムとして一般的に知られている。ただしこれらは非常に複雑であり、高価である。それらはまた、効果的に運用するにはそれなりの専門的知識を要するので、多くの商業用途に不向きである。
従来の写真機器で撮像された画像から反射スペクトルを推定する方法も模索されてきた。いわゆるマルチスペクトル画像処理システムは、通常多数のフィルタを装備する従来型カメラを備える。各々のフィルタは、限られた波長範囲の光の通過だけを許す。異なるフィルタを通じて物体の像を撮像することにより、物体のスペクトル情報を推測することができる。しかし、マルチスペクトル画像処理システムは概して運用が面倒であり、限られたスペクトル情報しか記録できない。
WO2003/030524は、デジタルカメラのRGB信号から反射スペクトルを推定する方法を記載している。RGB信号は、照射スペクトルと様々な波長の光に対するデジタルカメラの感度の知識を用いてスペクトルに変換される。推定反射スペクトルの生成にあたってスペクトルの平滑さと色彩恒常を改善するため加重が適用される。この方法を効果的なものにするには、照射スペクトルを正確に知らなければならない。したがってカメラは閉ざされた箱の中で物体を撮影し、その箱の中では光源が既知の照射スペクトルを発する。これは明らかに、物体を原位置で撮影することが望ましい場合等、多くの状況で非実用的である。さらに、様々な波長の光に対するデジタルカメラの感度は、大まかにレッド、グリーン、およびブルー光に対応する3通りの感度関数によって定義され、各感度関数につきカメラの反応レベルはRGB信号のレッド、グリーン、およびブルー成分の各々の値を構成する。したがって、たとえ正確な感度関数の知識をもってしても、RGB信号はカメラが受け取る光のスペクトルの完全な再構築を許さない。むしろ、カメラが受け取る光のスペクトルについてある程度の情報は失われる。このため、推定反射スペクトルの平滑さと色彩恒常を改善する加重にかかわらず、この方法は必然的におおよその反射スペクトル推定しかもたらさない。
論文“Characterisation of natural illuminants in forests and the use of digital video data to reconstruct illuminant spectra(森林における自然発光体の特性とデジタルビデオデータを使った発光スペクトルの再構築)”、Chiao et al, Journal of the Optical Society of America, Vol. 17, No. 10, October 2000は、デジタルカメラのRGB信号を一群の既知発光スペクトルへマッピングできることを示している。デジタルカメラを用いて発光スペクトルを表すRGB信号が生成され、同時に、分光光度計を用いて発光スペクトルが測定される。そして、最小二乗手順を用いて発光スペクトルを表すRGB信号と分光光度計によって測定された発光スペクトルとの間で線形トランスフォームが導出される。この方法は良好な結果を得るが、それは密接に関係する発光スペクトル群だけに当てはまる。この方法を異なる発光スペクトルに適用するには、異なる発光スペクトルを表すRGB信号を、デジタルカメラを用いて生成しなければならず、異なる発光スペクトルを、分光光度計を用いて測定しなければならない。さらに、導出されるトランスフォームは、RGB信号の生成に用いる特定のデジタルカメラに固有のものである。別のカメラによって生成された発光スペクトルを表すRGB信号を使用することが望まれる場合は、新しいトランスフォームを導出しなければならない。新しいトランスフォームを正確なものにするには、発光スペクトルを表すRGB信号が新しいデジタルカメラを用いて生成されるのと同時に、分光光度計を用いて再び発光スペクトルを測定しなければならない。したがって、この方法は時間がかかり、非実用的である。またこの論文は、物体の反射スペクトルを推定するというより込み入った問題ではなく、発光スペクトルの検討に限定されている。
WO2004/012442は、推定反射スペクトルを用いてRGB信号からプリンタのCMYKインクドット量へ画像を変換する方法を記載している。反射スペクトルはマルチスペクトル画像処理装置を用いて測定できる。これとは別にWO2004/012442はその第4の実施形態において、データベースに格納された基準反射スペクトルを用い
てRGB信号から反射スペクトルを推定することを記載している。画像のピクセルを表すRGB信号は、ユーザによって選択されるモデル光源の知識を用いて、三刺激値L*、a*、b*(これらはRGB信号と同様に、ただしCommission Internationale d’Eclairage(CIE)が定める規格を用いて、色を表現する)に変換される。同様に、データベースに格納された基準反射スペクトルについても三刺激値L*、a*、b*を計算する。そして、ピクセルの三刺激値L*、a*、b*に最も近い三刺激値L*、a*、b*を持つ、データベース内の基準反射スペクトルが、ピクセルの推定反射スペクトルとして識別される。第5の実施形態においては、比較の幅を狭めるため、たとえば例えば肉や花等に関する、データベース内の基準反射スペクトルのカテゴリを選択することをユーザに許すことが提案されている。この方法は状況によっては効果的かもしれない。しかし、適切な反射スペクトルを識別するための三刺激値L*、a*、b*の比較は不正確になることがある。特に、RGB信号を生成する、異なるカメラの異なるスペクトル感度、および物体を照らす実際の照射スペクトルとユーザによって選択されるモデル光源の照射スペクトルとの違いは、算出される三刺激値L*、a*、b*に多大な不正確さをもたらすことがある。したがって、その比較は正しくない反射スペクトルをしばしば識別するおそれがある。したがって、同様に、画像変換プロセスも不正確である可能性がある。
本発明はこれらの問題の克服に努めるものである。
発明の概要
本発明の第1の態様によると、複数の異なるスペクトル分布の強度レベルによって定義される、画像の色を調整するためのトランスフォームを生成する方法が提供され、同方法は、画像の色を入力補償済みスペクトルにトランスフォームするための入力補償トランスフォームを取得するステップ、取得した入力補償トランスフォームを用いて、基準反射スペクトルのデータベースに格納された1つ以上の基準反射スペクトルを最も良く表す複数の異なるスペクトル分布の模擬強度レベルを推定するステップと、模擬強度レベルから画像の色を調整するためのトランスフォームを生成するステップとを含む。
本発明の第2の態様によると、複数の異なるスペクトル分布の強度レベルによって定義される、画像の色を調整するためのトランスフォームを生成する装置が提供され、同装置は、画像の色を入力補償済みスペクトルにトランスフォームするための入力補償トランスフォームを取得し、取得した入力補償トランスフォームを用いて、基準反射スペクトルのデータベースに格納された1つまたは複数の基準反射スペクトルを最も良く表す複数の異なるスペクトル分布の模擬強度レベルを推定し、模擬強度レベルから画像の色を調整するためのトランスフォームを生成するためのプロセッサを備える。
したがって画像の色を調整するためのトランスフォームは、1つまたは複数の基準反射スペクトルを最も良く表す画像の色(または全ての色)を定義するために用いられる複数の異なるスペクトル分布の模擬強度レベルに依拠させることができる。換言すると、1つまたは複数の基準反射スペクトルが画像の色としていかに定義されるかを推定するために、入力補償トランスフォームを使用することができる。そして、その推定は、画像の実際の色を調整するためのトランスフォームを導出するための基礎を形成することができる。
トランスフォームの使用は有利である。入力補償トランスフォームは好ましくは、色を表現するRGB信号等の画像の色を、画像がいかに入力されるかとは無関係に色を定義する光波長の関数等の入力補償済みスペクトルへ、直接的にマッピングする。同様に、画像の色を調整するためのトランスフォームは好ましくは、色を表現するRGB信号等の画像の色を、調整済みの色へ直接的にマッピングし、この調整済み色は、推定反射スペクトル
であってよく、例えば基準反射スペクトル、および/または新しい色空間に変換される色の知識を用いて、画像がいかに入力され修正されるかとは無関係に色を定義する光波長の関数である。
方法は典型的には、画像を受け取るステップを含む。同様に、装置は典型的には、画像を受け取るための通信インターフェイスを備える。画像は、当初画像を生成した装置の知識なしで独立した形で受け取ることができる。ただし画像は通常ならば、画像入力装置から受け取る。この画像入力装置は典型的には、画像を生成する。よって方法は、画像入力装置を用いて画像を生成するステップを含んでよい。同様に、装置は、画像を生成するための画像入力装置を内蔵してもよい。画像入力装置は、スキャナやマルチスペクトル画像処理装置を含む、画像を生成するための事実上どんな種類の装置であってもよい。ただし、通常はデジタルカメラである。
画像は通常、画像データを含む。画像または画像データは、Commission Internationale d’Eclairage(CIE)のXYZ色空間等、複数の異なるスペクトル分布を指定する従来の形式または規格であってよい。ただし、スペクトル分布は各々、異なる波長の光に対する画像入力装置の感度を表す可能性が高い。別の表現をすると、スペクトル分布は典型的には、光波長の関数である。
強度レベルは一般的に、各々のスペクトル分布の光の大きさまたは量を指定する。特に、画像の色を定義する強度レベルは各々、スペクトル分布の内1つに対する画像入力装置の反応レベルを表すことができる。同様に、(1つまたは複数の基準反射スペクトルの)模擬強度レベルは各々、スペクトル分布の内1つに対する(画像の生成に用いる)画像入力装置の推定反応レベルであってよい。
強度レベルは、マルチスペクトル画像処理装置の反応レベルを含んでよい。よって、数通りの、例えば6つ以上の、異なるスペクトル分布があってよい。スペクトル分布の数が増えると、画像の色を定義するスペクトル情報量もまた増え、画像の色を調整するトランスフォームは典型的にはより正確になる。ただし上述したとおり、画像入力装置は通常ならばデジタルカメラ等である。よって、画像の色は通常ならば、ほとんどのデジタル画像処理装置によって慣例的に生成されているレッド・グリーン・ブルー(RGB)信号によって定義される。より一般的に、画像の色は通常ならば、3通りの異なるスペクトル分布の強度レベルによって定義される。
入力補償トランスフォームは様々な方法で取得できる。例えば、画像入力装置のために入力補償トランスフォームを導出することができる。入力補償トランスフォームを取得するステップは、入力補償トランスフォームのデータベースから入力補償トランスフォームを選択するステップを含んでよい。この選択は例えば、画像を生成したカメラ等の画像入力装置を識別するステップ、そして識別した画像入力装置のための入力補償トランスフォームを、例えば入力補償トランスフォームのデータベースから取り出すステップを含んでよい。
典型的に、入力補償トランスフォームは入力補償情報に基づく。この情報は様々な形をとることができる。上の例で、入力補償情報は、異なる波長の光に対する画像入力装置の感度を含んでよい。ただし、異なる波長の光に対する画像入力装置の感度に関する情報は、常に直接的に入手できるとは限らない。さらに、入力補償情報は好ましくは、画像の生成に用いる画像入力装置よりむしろ、画像そのものに固有のものである。これは、画像と関係する対象物体に入射する照射スペクトルに関係する情報を入力補償情報に含めることを許す。よって入力補償情報は好ましくは、画像入力装置によって生成される入力補償物体の入力補償画像を含む。この入力補償物体は典型的には、1つまたは複数の反射スペク
トルが既知である物体である。これは識別可能な物体であってよい。ただし入力補償物体は好ましくは、Macbethカラーチャート等の公知のカラースタンダードである。
入力補償トランスフォームを取得するステップは、入力補償情報から入力補償トランスフォームを導出するステップを含んでよい。特に、入力補償トランスフォームを取得するステップは、取得される入力補償トランスフォームを用いて入力補償情報(例えば入力補償画像)から生成されるスペクトルを(例えば入力補償物体の)1つまたは複数の既知反射スペクトルと比較する誤差関数に対する非負最小二乗解を求めるステップを含んでよい。
これは、画像の色を定義するために用いる複数の異なるスペクトル分布と照射スペクトルとを補償することを入力補償トランスフォームに許す。ただし例えば、デジタルカメラと他のほとんどの画像入力装置とによって生成される、画像の色を定義する異なるスペクトル分布の強度レベルがえてして実際の光強度レベルとともに直線的に変化しないことは知られている。よって、強度レベルの非直線性を補償することもまた有益である。したがって方法は、画像の色を定義する強度レベルを補正するための強度補正係数を取得するステップを含んでよい。同様に、プロセッサは、画像の色を定義する強度レベルを補正するための強度補正係数を取得してよい。強度補正係数は入力補償情報に依拠してよい。より具体的に、誤差関数に対する非負最小二乗解を見つけるステップは、画像の色を定義する強度レベルを補正する強度補正係数を導出するために非線形最適化を含んでよい。
基準反射スペクトルのデータベースは好ましくは、基準反射スペクトルと関係する基準物体を定義する基準物体識別情報を格納する。この基準物体識別情報は、基準反射スペクトルと関係する基準物体のカテゴリ、サブカテゴリ、および/または特定のアイデンティティを定義するカテゴリ、サブカテゴリ、および/またはアイデンティティ情報であってよい。方法は、模擬強度レベルの推定に用いる1つまたは複数の基準反射スペクトルを選択するステップを含んでよい。同様に、プロセッサは、模擬強度レベルの推定に用いる1つまたは複数の基準反射スペクトルの選択を許す。選択されるスペクトルは典型的には、画像によって表現される対象物体に似た基準物体に関係する。よって選択は、基準反射スペクトルとともにデータベースに格納される基準物体識別情報に依拠してよい。一般的に、1つまたは複数の基準反射スペクトルと関係する基準物体が実際に、画像と関係する対象物体に近ければ近いほど、画像の色を調整するために生成されるトランスフォームはより有用である。
1つまたは複数の基準反射スペクトルを最も良く表す模擬強度レベルの推定は、様々な方法で達成できる。ただし、模擬強度レベルの推定は好ましくは、適切な誤差関数に対する非負最小二乗解を見つけるステップを含む。より具体的に、模擬強度レベルの推定は、取得した入力補償トランスフォームを用いて推定される模擬強度レベルから生成されるスペクトルを1つまたは複数の(選択された)基準反射スペクトルと比較する誤差関数に対する非負最小二乗解を求めるステップを含んでよい。
上述したとおり、画像の色を調整するトランスフォームは、画像の色を推定反射スペクトルにトランスフォームするための反射スペクトル推定トランスフォームであってよい。実際、入力補償トランスフォームと1つまたは複数の基準反射スペクトルとからかかるトランスフォームを生成することは、それだけで見て新規とみなされる。よって本発明の第3の態様によると、画像の色を推定された反射スペクトルにトランスフォームするための反射スペクトル推定トランスフォームを生成する方法が提供され、同方法は、画像の色を入力補償済みスペクトルにトランスフォームするための入力補償トランスフォームを取得するステップ、および取得した入力補償トランスフォームと、基準反射スペクトルのデータベースに格納された1つまたは複数の基準反射スペクトルとから、反射スペクトル推定
トランスフォームを生成するステップ、を含む。
また、本発明の第4の態様によると、画像の色を推定された反射スペクトルにトランスフォームするための反射スペクトル推定トランスフォームを生成する装置が提供され、同装置は、画像の色を入力補償済みスペクトルにトランスフォームするための入力補償トランスフォームを取得し、取得した入力補償トランスフォームと、基準反射スペクトルのデータベースに格納された1つまたは複数の基準反射スペクトルとから、反射スペクトル推定トランスフォームを生成するためのプロセッサを備える。
反射スペクトル推定トランスフォームの生成は好ましくは、1つまたは複数の(選択された)基準反射スペクトルを用いて取得した入力補償トランスフォームを修正するステップを含む。より具体的に、反射スペクトル推定トランスフォームの生成は、生成される反射スペクトル推定トランスフォームを用いて(1つまたは複数の(選択された)基準反射スペクトルを最も良く表す画像の色を定義する異なるスペクトル分布の)模擬強度レベルから生成されるスペクトルを1つまたは複数の(選択された)基準反射スペクトルと比較する誤差関数に対する非負最小二乗解を見つけるステップを含んでよい。最小二乗法の使用は、主成分分析等、他のアプローチの近似および仮定を回避しつつ、線形トランスフォームの導出を可能にする。
生成された反射スペクトル推定トランスフォームは、画像と関係する対象物体の反射スペクトルを推定するために使用できる。よって本発明の第5の態様によると、反射スペクトルを推定する方法が提供され、同方法は上述の方法を含み、且つ導出された反射スペクトル推定トランスフォームを用いて画像の色を推定された反射スペクトルにトランスフォームする。同様に、本発明の第6の態様によると、反射スペクトルを推定する装置が提供され、同装置は上述の装置を備え、ここでそのプロセッサは、導出された反射スペクトル推定トランスフォームを用いて画像の色を推定された反射スペクトルにトランスフォームする。
典型的に、方法は、反射スペクトル推定が依拠するところの画像のピクセルを選択するステップと、画像の選択されたピクセルの色を推定された反射スペクトルにトランスフォームするステップとを含む。同様に、プロセッサは、反射スペクトル推定が依拠するところの画像のピクセルの選択を許してよく、画像の選択されたピクセルを推定された反射スペクトルにトランスフォームする。
反射スペクトル推定には、取得された強度レベル補償係数を使用することもできる。よって方法は好ましくは、生成された反射スペクトル推定トランスフォームと取得された強度レベル補償係数とを用いて画像/ピクセルの色を推定された反射スペクトルにトランスフォームするステップを含む。同様に、プロセッサは好ましくは、生成された反射スペクトル推定トランスフォームと取得された強度レベル補償係数とを用いて画像/ピクセルの色を推定された反射スペクトルにトランスフォームする。
上述したとおり、画像の色を調整するためのトランスフォームは代わりに、画像の色を新しい色空間に変換するための色空間変換トランスフォームであってよい。実際、入力補償トランスフォームと1つまたは複数の基準反射スペクトルとからかかるトランスフォームを生成することは、それだけで見て新規とみなされる。
よって本発明の第7の態様によると、画像の色を新しい色空間に変換するための色空間変換トランスフォームを生成する方法が提供され、同方法は、画像の色を入力補償済みスペクトルにトランスフォームするための入力補償トランスフォームを取得するステップ、および取得した入力補償トランスフォームと、基準反射スペクトルのデータベース内の1
つまたは複数の基準反射スペクトルとから、色空間変換トランスフォームを生成するステップ、を含む。
同様に、本発明の第8の態様によると、画像の色を新しい色空間に変換するための色空間変換トランスフォームを生成する装置が提供され、同装置は、画像の色を入力補償済みスペクトルにトランスフォームするため入力補償トランスフォームを取得し、取得した入力補償トランスフォームと、基準反射スペクトルのデータベース内の1つまたは複数の基準反射スペクトルとから、色空間変換トランスフォームを生成する、プロセッサを備える。
色空間は典型的には、複数の異なるスペクトル分布によって定義される。異なるスペクトル分布の各々の強度レベルは色空間において色を定義する。よって画像の色は一般的には、所与の色空間にて、例えばRGB色空間にて定義され、色空間変換トランスフォームは、画像の色を、例えばCIE XYZ色空間等、別の複数の異なるスペクトル分布によって定義される新しい色空間へマッピングできる。
色空間変換トランスフォームの生成は典型的には、(選択された)1つまたは複数の基準反射スペクトルを最も良く表す新しい色空間での色を定義する複数の異なるスペクトル分布の強度レベルを推定するステップを含む。これは典型的には、新しい色空間の異なるスペクトル分布についての情報を用いて達成される。この情報は、スペクトル感度トランスフォーム、例えばいわゆるカラーマッチング関数等であってよい。そして、(1つまたは複数の(選択された)基準反射スペクトルを最も良く表す画像の色を定義する異なるスペクトル分布の)模擬強度レベルと、新しい色空間の複数の異なるスペクトル分布について推定された強度レベルとから、色空間変換トランスフォームを生成できる。
生成された色空間変換トランスフォームはもちろん、ある1つの色空間から別の色空間へ画像の色を変換するために使用できる。よって本発明の第9の態様によると、画像の色を新しい色空間に変換する方法が提供され、同方法は上述の方法を含み、且つ生成された色空間変換トランスフォームを用いて画像の色を新しい色空間に変換する。同様に、本発明の第10の態様によると、画像の色を新しい色空間に変換する装置が提供され、同装置は上述の装置を備え、ここでそのプロセッサは、生成された色空間変換トランスフォームを用いて画像の色を新しい色空間に変換する。
本発明は、適切な処理手段上で実行するコンピュータソフトウェアによって専ら実施できる。よって、本発明は特に、上述の方法を遂行するためのコンピュータソフトウェアにまで及ぶ。コンピュータソフトウェアまたはコンピュータプログラムコードは、コンピュータ可読媒体によって遂行できる。この媒体は、読み取り専用メモリ(ROM)チップ等の物理的格納媒体であってよい。代わりにこれは、コンパクトディスク読み取り専用メモリ(CD−ROM)やデジタル多用途ディスク読み取り専用メモリ(DVD−ROM)等のディスク、または他の好適なコンピュータ可読媒体であってよい。これはまた、有線の電子信号、光信号、または衛星等への無線信号等、信号であってもよい。また本発明は、ソフトウェアまたはコードを実行するプロセッサにまで、例えば上述の方法を遂行するべく構成されたコンピュータにまで及ぶ。
同様に、上の用語「通信インターフェイス」および「プロセッサ」の使用は、限定的ではなく一般的であることを意図する。本発明は好ましくは、パーソナルコンピュータを用いて実施される。実際、本発明は特に、上述のプロセッサを内蔵するコンピュータにまで及ぶ。ただし、本発明はこれに限定されない。例えば、本発明は専用ハードウェアにて実施できる。よってプロセッサは、例えばデジタル信号プロセッサ(DSP)や中央演算処理装置(CPU)であってよいが、これは、回路を含む他のコンポーネントを用いても等
しく実施できる。かかる回路は、何らかの適切な方法で製造できる。これは例えば、特定用途向け集積回路(ASIC)や複合金属酸化膜半導体(CMOS)回路を備えてよい。同様に、通信インターフェイスは、パーソナルコンピュータとカメラ等、異なる装置間のインターフェイスであってよいが、同様に、メモリから画像を取り出すバス等、装置の内部コンポーネントであってもよい。
これより添付の図面を参照しながら本発明の好適な実施形態を例証としてのみ説明する。
好適な実施形態の詳細な説明
図1を参照して、画像の色を調整するための変換(以下、トランスフォーム:transform)を生成する装置1は、本発明を実施するソフトウェアを実行するパーソナルコンピュータ(PC)2を備える。ソフトウェアは、Matlab(登録商標)、Java(登録商標)、またはPython(登録商標)等、様々な異なるコンピュータプログラミング言語で符号化できる。これは、コンパクトディスク読み取り専用メモリ(CD−ROM)やデジタル多用途ディスク(DVD)等のディスクでPC2へ提供でき、またはインターネット等を介してダウンロードできる。PC2はプロセッサ(図示せず)を有し、同プロセッサは、ソフトウェアコードを処理し、これにより本発明を実施するソフトウェアを実行することをPC2に許す。
PC2はデジタルカメラ3から出力された画像を受け取る。デジタルカメラ3は従来のものであり、したがってここでは詳述しない。これが出力する画像は複数のピクセルからなる。カメラ3は、画像の各ピクセルを捕らえる3種類の検知器(図示せず)、すなわち大まかに赤光のための1つ、緑光のための1つ、青光のための1つ、を有する。各ピクセルは、3種類の異なる検知器の各々の反応レベルによって、すなわちいわゆるレッド・グリーン・ブルー(RGB)信号によって、定義される。以下でより詳しく説明するとおり、RGB信号は、「色空間」にて画像のピクセルを定義すると言うことができる。この実施形態において画像は、Joint Photographic Experts Group(JPEG)フォーマットや画像交換フォーマット(GIF)等、従来の画像ファイル形式を用いて符号化された画像データとして出力される。画像は、ユニバーサルシリアルバス(USB)接続等、従来のインターフェイスを用いてカメラ3からPC2へ出力できる。
基準反射スペクトルデータベース4にはPC2からアクセスできる。基準反射スペクトルデータベース4は基準反射スペクトルを含み、同基準反射スペクトルの各々は所与の基準物体の既知反射スペクトルである。基準反射スペクトルは、それらと関係する基準物体の指示とともにデータベース4に格納される。この実施形態において、基準反射スペクトルデータベース4は階層的に配置される。よって、各々の基準反射スペクトルと関係する基準物体は、カテゴリ、1つまたは複数のサブカテゴリ、および固有のアイデンティティを持つことができる。基準反射スペクトルは、PC2によって、しかるべき物体のカテゴリ、サブカテゴリ、または固有アイデンティティを選択することにより、データベース4から取り出すことができる。例えば、秋の楢の葉を表す基準反射スペクトルは、カテゴリ「葉」と、サブカテゴリ「秋の葉」および「楢の葉」と、アイデンティティ「秋の楢の葉」とを持つことができるであろう。その基準反射スペクトルは、固有アイデンティティ「秋の楢の葉」を選択することによってデータベース4から取り出すことができる。代わりに、カテゴリ「葉」を、またはサブカテゴリ「秋の葉」または「楢の葉」を、選択すると、秋の楢の葉の基準反射スペクトルが、同じカテゴリまたはサブカテゴリを持つ基準物体の他の基準反射スペクトルと併せて、取り出される。よって、基準物体がいかに正確に識別されるか次第で1つまたは複数の基準反射スペクトルをデータベース4から取り出すこ
とができる。
この実施形態において、基準反射スペクトルデータベース4は集中的に編纂され、保持される。よってデータベース4は、PC2からインターネットを介してアクセスできるサーバー上で保持される。分光光度計5は、データベース4を運営する組織がサンプル物体の反射スペクトルを測定するために使用する。これらの測定反射スペクトルは基準反射スペクトルとしてデータベース4へ加えられる。ただし別の実施形態においては、データベース4が分散形態で編纂され、保持される。特に、データベース4はPC2によって格納できる。よって、本発明を実施するためのソフトウェアのように、データベース4は、コンパクトディスク読み取り専用メモリ(CD−ROM)やデジタル多用途ディスク(DVD)等のディスクでPC2に提供でき、またはインターネット等を介してダウンロードできる。この場合の分光光度計5は個別ユーザのそれであってよく、同ユーザは独自の反射スペクトルを測定し、それらを基準反射スペクトルとしてデータベース4へ加えることができる。同様に、データベース4は、分光光度計5から直接的に入手するではなく、他のデータベースの、例えば国際標準化機構(ISO)の色再現評価のための標準物体の色のスペクトルデータベース(SOCS)(ISO/TR 16066:2003)の中にある反射スペクトル等、別の供給元から入手した基準反射スペクトルを取り入れることができる。
PC2は、デジタルカメラ3から受け取る画像の色を調整するため、データベース4の中にある基準反射スペクトルを使用する。このプロセスの管理をユーザに許すため、PC2はグラフィカルユーザインターフェース(GUI)6を生成する。GUI6はPC2のモニタ上に表示され、ユーザはPC2のコンピュータマウスおよびキーボード(図示せず)を用いてこれとやり取りできる。
図2を参照して、GUI6は、カメラ3から受け取った画像を画像表示エリア7に表示する。カメラ較正表示エリア8は、後述する画像入力補償プロセスに関係する情報を表示する。この実施形態において、PC2によって遂行される調整プロセスは、推定された反射スペクトルの表示および格納と、新しい色空間に変換された画像の色の表示および格納とに帰結する。反射スペクトルを推定するため、PC1によって反射スペクトル推定トランスフォームが生成される。このトランスフォームは、画像の色を定義するRGB信号のレッド、グリーン、およびブルー成分の各々につき1つ、計3つの修正済みスペクトル成分関数として、GUI6の反射スペクトル推定トランスフォーム表示エリア9に図式的に表示される。GUI6のスペクトル予測表示エリア10には、反射スペクトルを推定すべき画像のピクセルの色に関する情報が表示され、反射スペクトル表示エリア11には、反射スペクトル推定トランスフォームを用いて推定される反射スペクトルが図式的に、且つ色度図にて示される。画像の色を新しい色空間に変換するため、PC2によって色空間変換トランスフォームが生成される。新規色空間表示エリア12には、新しい色空間を定義するスペクトル感度トランスフォームが射影フィルタとして図式的に表示される。新規色空間表示エリア13には、変換される画像の色のRGB信号値と新しい色空間における変換済み値とともに、スペクトル感度トランスフォームを用いて生成される色空間変換トランスフォームが行列として表示される。
画像入力補償
反射スペクトルを推定するため、またはある1つの色空間から別の色空間へ画像の色を変換するため、まずは画像入力補償プロセスが遂行される。画像入力補償プロセスは、画像の生成に用いるカメラ3の異なる波長の光に対する感度と、画像と関係する対象物体に入射する照射スペクトルとを補償する。これは、入力補償画像に基づき入力補償トランスフォームを導出することによって達成され、同入力補償画像は、Macbethカラーチャート等、公知のカラースタンダードの画像である。この例で、Macbethカラーチ
ャートの画像はカメラ3から受け取る画像に含まれ、上述したものである。
入力補償トランスフォームXは、画像の色を定義するRGB信号のレッド、グリーン、またはブルー成分の各々についてのスペクトル成分関数を含む。各々のスペクトル成分関数は、RGB信号のレッド、グリーン、またはブルー成分の内1つによって表される光のスペクトルの推定を定義する。この実施形態において、入力補償トランスフォームXは3xN行列を含み、ここでNは光の可視スペクトルにまたがる波長ビンの数であり、3行の各々はRGB信号のレッド、グリーン、またはブルー成分の内1つ(またはスペクトル成分関数の内1つ)に関係する。異なる光強度に対するカメラ3の非線形反応を補正するために、ガンマ補正関数fγcも使用される。この実施形態で、ガンマ補正関数fγcはべき乗関数であり、画像のRGB信号のレッド、グリーン、またはブルー成分の各々についてのそれぞれのガンマ係数γは、同べき乗関数の指数を定義する。
入力補償トランスフォームXは、これの生成元にあたる画像に、例えばMacbethカラーチャートの画像を含む画像に固有である。ただし、通常ならば同じカメラ3によって撮像される画像ごとに異なるのは照射スペクトルだけであり、カメラ3の感度は一定を保つから、カメラ3によって生成された任意の画像から生成される入力補償トランスフォームXは、同じカメラ3によって生成される他の画像にも、精度は低下するが、使用できる。これは、画像にMacbethカラーチャートを含め、その画像のための新しい入力補償トランスフォームを生成することが不都合な場合に有益であり得る。よって、曖昧さを回避するため、GUI6ではカメラ3の較正として画像入力補償プロセスがユーザに向けて提示され、さらにユーザには、ある特定の画像のためのカメラ較正/画像入力補償プロセスを実行するか否かの選択肢が提示される。
図3を参照して、画像入力補償プロセスをより詳しく考察し、PC2はステップS301でカメラ3から画像を受け取る。次のステップS302は、画像の中でMacbethカラーチャートを探し当てる。PC2はGUI6を通じて、画像表示エリア7に表示される画像の中でMacbethカラーチャートの画像をPC2のマウスを使って選択することをユーザに促す。次にPC2はステップS303で、Macbethカラーチャート上の色の各々に関係する画像のピクセルのRGB信号値を抽出する。Macbethカラーチャートの各色が画像の多くのピクセルによって表されることが見込まれる。よって、Macbethカラーチャートの各色を表すピクセルの平均RGB信号が算出される。Macbethカラーチャートは24通りの色を有するから、MacbethカラーチャートのRGB信号値は24x3行列Rによって表すことができる。
ステップS304では、ガンマ補正係数γが1に設定され入力補償トランスフォームXが生成される。ステップS305では、画像のRGB信号値RからMacbethカラーチャートの色の反射スペクトルS∧を推定するために、生成された入力補償トランスフォームXとガンマ補正係数γとが使われる。次に、推定した反射スペクトルS∧をMacbethカラーチャートの色の既知の反射スペクトルSと比較する。この実施形態で、推定反射スペクトルS∧と既知の反射スペクトルSはいずれも24xN行列を含み、ここでNは光の可視スペクトルにまたがる波長ビンの数であり、24行の各々はMacbethカラーチャートの色を表す。既知の反射スペクトルSはPC2のメモリ14から取り出され、この実施形態においてこれはPC2のハードドライブに格納されるデータファイルであるが、代わりに、PC2からインターネット等を介してアクセスできるデータベースであってもよい。ステップS306では、推定された反射スペクトルS∧が既知の反射スペクトルSに可能な限り最も近いか否かを判断する。可能な限り最も近くなければ、ステップS307でガンマ補正係数γを調整し、ステップS304で新しい入力補償トランスフォームXを生成し、ステップS305で新しい推定された反射スペクトルS∧を計算する。推定された反射スペクトルS∧が既知の反射スペク
トルSに可能な限り最も近ければ、ステップS308で入力補償トランスフォームXとガンマ補正係数γとが入力補償トランスフォームデータベース15に格納される。この実施形態においても、入力補償トランスフォームデータベース15はPC2のハードドライブに格納されたデータファイルを含むが、代わりに、PC2からインターネット等を介してアクセスできるデータベースであってもよい。入力補償トランスフォームXの生成と画像入力補償プロセスはステップS309で完了する。
この実施形態で、ステップS304からS307は、
の誤差関数を入力補償トランスフォームXに関しては極小化することにより、ガンマ補正係数γに関しては非負最小二乗を制約なし線形最適化に組み合わせることにより、実施され、ここで角括弧<>はアンサンブル平均を示す。
反射スペクトルの推定
導出された入力補償トランスフォームXは、画像内の対象物体の反射スペクトルを推定するために使用できる。ただし、入力補償トランスフォームXのスペクトル成分関数はMacbethカラーチャートの色のために最適化されている。よって次のステップは、画像と関係する対象物体の反射スペクトルを考慮に入れて反射スペクトル推定トランスフォームXを導出するため、入力補償トランスフォームXのスペクトル成分関数を修正することである。ただし、対象物体の反射スペクトルは直接的にはわからない。よって、反射スペクトル推定トランスフォームXは、基準反射スペクトルデータベース4の中にある基準反射スペクトルを用いて導出する。
図4を参照しながらより詳細に、このプロセスはステップS401で始まり、ステップS402ではカメラ3から画像を受け取る。この実施形態において、受け取る画像は、入力補償トランスフォームXの導出のときに用いたものと同じである。換言すると、この画像はMacbethカラーチャートと対象物体の両方の画像を含む。ただし、本発明はこれに限定されず、入力補償トランスフォームXは別の画像から導出でき、あるいは別の方法を用いて取得できる。よってステップS403では、図3を参照しながら上述した入力補償プロセスを用いて導出される入力補償トランスフォームXを、または別の好適な入力補償トランスフォームXを、入力補償トランスフォームデータベース15から取り出す。
PC2はステップS404で、反射スペクトル推定トランスフォームXの導出に用いる基準反射スペクトルSを基準反射スペクトルデータベース4から選択することを、GUI6を通じてユーザに促す。上述したとおり、各々の基準反射スペクトルは、物体のカテゴリ、サブカテゴリ、および/または物体に固有のアイデンティティとともに、例えば葉、秋の葉、楢の葉、および/または秋の楢の葉等とともに、データベース4に格納される。ユーザは、画像の中の対象物体に最も厳密に合致するカテゴリ、サブカテゴリ、および/または固有アイデンティティを、GUI6を通じて選択する。
ステップS405では、選択された基準反射スペクトルSを用いて反射スペクトル推定トランスフォームXが導出される。まず、選択された基準反射スペクトルSを最も良く表すカメラ3の模擬反応レベルR(ならびに入射照射スペクトル)を、入力補償トランスフォームXを用いて推定する。より具体的には、誤差関数
は、模擬反応レベルRに関しては非負最小二乗を用いて極小化され、ここで角括弧<>はアンサンブル平均を示し、Tは行列の転置を表す。次に、模擬反応レベルRを用いて反射スペクトル推定トランスフォームXを導出する。ここでもより具体的には、誤差関数
は、反射スペクトル推定トランスフォームXに関しては非負最小二乗を再び用いて極小化され、角括弧<>はアンサンブル平均を示す。反射スペクトル推定トランスフォームXは、RGB信号のレッド、グリーン、およびブルー信号成分の各々につき修正されたスペクトル成分関数を含む。
ユーザはステップS406で、反射スペクトルの推定が望まれる画像のピクセルを選択できる。そのピクセルのRGB信号値Rは画像から取り出され、ステップS407では、ピクセルのRGB値Rと、導出された反射スペクトル推定トランスフォームXと、強度補正関数fγcとから、ピクセルについて推定された反射スペクトルSが生成される。より具体的には、式
は、推定された反射スペクトルSを求めるために使用する。ステップS408では、GUI6の反射スペクトル表示エリア11にピクセルについて推定された反射スペクトルSが図式的に、且つ色度図にて、表示される。これはまた、PC2のメモリに格納される。本プロセスはステップS409で終了する。
新しい色空間への変換
カメラ3から受け取った画像の色は新しい色空間に変換することもできる。これは、画像の色を新しい色空間に変換する色空間変換トランスフォームPを生成することによって達成する。この実施形態では、RGB色空間からCommission Internationale d’Eclairage CIE XYZ色空間へ画像の色を変換する。RGB色空間は、異なる波長の光に対するカメラ3の感度と、画像と関係する対象物体に入射する照射スペクトルとの組み合わせによって定義される。CIE XYZ色空間は、CIE XYZ規格のスペクトル分布によって定義される。
図5を参照しながらより詳細に、色変換プロセスはステップS501で始まり、ステップS502ではカメラ3から画像を受け取る。この実施形態において、受け取る画像は、入力補償トランスフォームXの導出のときに用いたものと同じである。換言すると、この画像はMacbethカラーチャートと対象物体の両方の画像を含む。ただし、本プロ
セスはこれに限定されず、入力補償トランスフォームXは別の画像から導出でき、あるいは別の方法を用いて取得できる。よってステップS503では、図3を参照しながら上述した入力補償プロセスを用いて導出される入力補償トランスフォームXを、または別の好適な入力補償トランスフォームXを、入力補償トランスフォームデータベース15から取り出す。
PC2はステップS504で、色空間変換トランスフォームPの生成に用いる基準反射スペクトルSを基準反射スペクトルデータベース4から選択することを、GUI6を通じてユーザに促す。上述したとおり、各々の基準反射スペクトルは、物体のカテゴリ、サブカテゴリ、および/または物体の識別子とともに、例えば葉、秋の葉、楢の葉、および/または秋の楢の葉等とともに、格納される。ユーザは、画像の中の対象物体に最も厳密に合致するカテゴリ、サブカテゴリ、および/または物体識別子を、GUI6を通じて選択する。
ステップS505では、図4を参照しながら上述した反射スペクトル推定プロセスと同様に、選択された反射スペクトルSを最も良く表すカメラ3の模擬反応レベルRを、入力補償トランスフォームXを用いて推定する。換言すると、模擬反応レベルRに関し、上記誤差関数(2)は非負最小二乗を用いて極小化される。ステップS506では、CIE XYZ空間における強度レベルを完全スペクトル情報にトランスフォームするCIE XYZスペクトル感度トランスフォームXXYZがスペクトル感度データベース16から取り出される。この実施形態において、スペクトル感度データベース16はPC2のハードドライブに格納されたデータファイルであるが、代わりに、PC2からインターネット等を介してアクセスできるデータベースであってもよい。トランスフォームXXYZはCIE XYZ規格によって定義されており、しばしばカラーマッチング関数と呼ばれる。ここでスペクトル感度トランスフォームXXYZは、新しい色空間で選択される基準反射スペクトルSを最も良く表す強度レベルRXYZを導出するために使われる。換言すると、式
は、新しい色空間で強度レベルRXYZを導出するために使用する。
かくして、RGB色空間とCIE XYZ色空間において選択された反射スペクトルSを最も良く表す強度レベルR、RXYZが推定され、導出された。ここで、強度レベルR、RXYZ間のマッピングを計算することにより、これらの強度レベルR、RXYZから比較的単純に色空間変換トランスフォームPを生成することができる。より具体的に、式
を反転によって解くことにより、RGB値Rを所望のCIE XYZ空間値RXYZへ直に変換する、3x3行列の形をとる、色空間変換トランスフォームPを求める。
説明した本発明の実施形態は、本発明をいかに実施できるかを伝える例に過ぎない。当業者なら、説明した実施形態への修正、変化、変更を思いつくであろう。これらの修正、
変化、変更は、請求項とこれの均等物において定める本発明の精神と範囲から逸脱することなく施すことができる。
画像の色を調整するためのトランスフォームを生成する装置の概略図。 図1の装置のパーソナルコンピュータのグラフィカルユーザインターフェースの図。 図1の装置のデジタルカメラによって生成される画像のための入力補償トランスフォームを生成する方法を示すフローチャート。 反射スペクトルを推定する方法を示すフローチャート。 画像の色を新しい色空間に変換する方法を示すフローチャート。

Claims (82)

  1. 複数の異なるスペクトル分布の強度レベルによって定義される、画像の色を調整するためのトランスフォームを生成する方法であって、
    画像の色を入力補償済みスペクトルにトランスフォームするための入力補償トランスフォームを取得するステップ、
    取得した入力補償トランスフォームを用いて、基準反射スペクトルのデータベースに格納された1つまたは複数の基準反射スペクトルを最も良く表す複数の異なるスペクトル分布の模擬強度レベルを推定するステップ、および
    模擬強度レベルから画像の色を調整するトランスフォームを生成するステップ、
    を含む方法。
  2. 画像入力装置から画像を受け取るステップを含む、請求項1に記載の方法。
  3. 画像入力装置を用いて画像を生成するステップを含む、請求項1または請求項2に記載の方法。
  4. 画像入力装置はデジタルカメラである、請求項2または請求項3に記載の方法。
  5. スペクトル分布は各々、異なる波長の光に対する画像入力装置の感度を表す、先行する請求項のいずれか1項に記載の方法。
  6. 画像の色を定義する強度レベルは各々、スペクトル分布の内1つに対する画像入力装置の反応レベルである、先行する請求項のいずれか1項に記載の方法。
  7. 模擬強度レベルは各々、スペクトル分布の内1つに対する画像入力装置の推定された反応レベルである、先行する請求項のいずれか1項に記載の方法。
  8. 画像の色は、RGB信号によって定義される、先行する請求項のいずれか1項に記載の方法。
  9. 取得する入力補償トランスフォームは、入力補償情報に基づく、先行する請求項のいずれか1項に記載の方法。
  10. 入力補償情報は、画像入力装置によって生成される、入力補償物体についての入力補償画像を含む、請求項9に記載の方法。
  11. 入力補償物体は、1つまたは複数の反射スペクトルが既知である物体である、請求項10に記載の方法。
  12. 入力補償物体は、公知のカラースタンダードである、請求項10または請求項11に記載の方法。
  13. 入力補償物体は、Macbethカラーチャートである、請求項10から12のいずれか1項に記載の方法。
  14. 入力補償トランスフォームを取得するステップは、取得される入力補償トランスフォームを用いて入力補償情報から生成されるスペクトルを1つまたは複数の既知の反射スペクトルと比較する誤差関数に対する非負最小二乗解を求めるステップを含む、先行する請求項のいずれか1項に記載の方法。
  15. 画像の色を定義する強度レベルを補正するための強度補正係数を取得するステップをさらに含む、先行する請求項のいずれか1項に記載の方法。
  16. 強度補正係数は、入力補償情報に基づく、請求項15に記載の方法。
  17. 誤差関数に対する非負最小二乗解を求めるステップは、画像の色を定義する強度レベルを補正するための強度補正係数を取得するために非線形最適化を含む、請求項14に記載の方法。
  18. 基準反射スペクトルのデータベースは、このデータベースに格納された基準反射スペクトルと関係する基準物体を定義する基準物体識別情報を格納する、先行する請求項のいずれか1項に記載の方法。
  19. 識別情報は、データベースに格納された基準反射スペクトルと関係する基準物体のカテゴリ、サブカテゴリ、および/または固有アイデンティティを定義する物体のカテゴリ、サブカテゴリ、および/または固有アイデンティティ情報を含む、請求項18に記載の方法。
  20. 方法は、模擬強度レベルの推定に用いる1つまたは複数の基準反射スペクトルを選択するステップを含む、先行する請求項のいずれか1項に記載の方法。
  21. 選択は、基準反射スペクトルとともにデータベースに格納される基準物体識別情報に基づく、請求項20に記載の方法。
  22. 1つまたは複数の(選択される)基準反射スペクトルは、画像の色と関係する対象物体に類似する基準物体に関係する、先行する請求項のいずれか1項に記載の方法。
  23. 模擬強度レベルの推定は、取得した入力補償トランスフォームを用いて推定される模擬強度レベルから生成されるスペクトルを1つまたは複数の(選択された)基準反射スペクトルと比較する誤差関数に対する非負最小二乗解を求めるステップを含む、先行する請求項のいずれか1項に記載の方法。
  24. 画像の色を調整するためのトランスフォームは、画像の色を推定された反射スペクトルにトランスフォームするための反射スペクトル推定トランスフォームを含む、先行する請求項のいずれか1項に記載の方法。
  25. 画像の色を推定された反射スペクトルにトランスフォームするための反射スペクトル推定トランスフォームを生成する方法であって、
    画像の色を入力補償済みスペクトルにトランスフォームするための入力補償トランスフォームを取得するステップ、および
    取得した入力補償トランスフォームと、基準反射スペクトルのデータベースに格納された1つまたは複数の基準反射スペクトルとから、反射スペクトル推定トランスフォームを生成するステップ、
    を含む方法。
  26. 反射スペクトル推定トランスフォームの生成は、1つまたは複数の(選択された)基準反射スペクトルを用いて取得した入力補償トランスフォームを修正するステップを含む、請求項24または請求項25に記載の方法。
  27. 反射スペクトル推定トランスフォームの生成は、生成される反射スペクトル推定トランスフォームを用いて(1つまたは複数の(選択された)基準反射スペクトルを最も良く表す画像の色を定義する異なるスペクトル分布の)模擬強度レベルから生成されるスペクトルを1つまたは複数の(選択された)基準反射スペクトルと比較する誤差関数に対する非負最小二乗解を求めるステップを含む、請求項24から26のいずれか1項に記載の方法。
  28. 反射スペクトルを推定する方法であって、請求項24から27のいずれか1項に記載の方法を含み、且つ取得した反射スペクトル推定トランスフォームを用いて画像の色を推定された反射スペクトルにトランスフォームする、方法。
  29. 反射スペクトル推定の基礎となる画像のピクセルを選択するステップと、選択されたピクセルの色を推定された反射スペクトルにトランスフォームするステップとを含む、請求項28に記載の方法。
  30. 生成した反射スペクトル推定トランスフォームと取得した強度レベル補償係数とを用いて画像/ピクセルの色を推定された反射スペクトルにトランスフォームするステップを含む、請求項28または請求項29に記載の方法。
  31. 画像の色を調整するためのトランスフォームは、画像の色を新しい色空間に変換するための色空間変換トランスフォームである、請求項1から23のいずれか1項に記載の方法。
  32. 画像の色を新しい色空間に変換するための色空間変換トランスフォームを生成する方法であって、
    画像の色を入力補償済みスペクトルにトランスフォームするための入力補償トランスフォームを取得するステップ、および
    取得した入力補償トランスフォームと、基準反射スペクトルのデータベース内の1つまたは複数の基準反射スペクトルとから、色空間変換トランスフォームを生成するステップ、
    を含む方法。
  33. 色空間変換トランスフォームの生成は、(選択された)1つまたは複数の基準反射スペクトルを最も良く表す新しい色空間での色を定義する複数の異なるスペクトル分布の強度レベルを推定するステップを含む、請求項31または請求項32に記載の方法。
  34. 色空間変換トランスフォームの生成は、(1つまたは複数の(選択された)基準反射スペクトルを最も良く表す画像の色を定義する異なるスペクトル分布の)模擬強度レベルと、新しい色空間の複数の異なるスペクトル分布について推定された強度レベルとから、トランスフォームを生成するステップを含む、請求項33に記載の方法。
  35. 画像の色を新しい色空間に変換する方法であって、請求項31から34のいずれか1項に記載の方法を含み、且つ生成された色空間変換トランスフォームを用いて画像の色を新しい色空間に変換する、方法。
  36. 複数の異なるスペクトル分布の強度レベルによって定義される、画像の色を調整するためのトランスフォームを生成する装置であって、
    画像の色を入力補償済みスペクトルにトランスフォームするための入力補償トランスフォームを取得し、
    取得した入力補償トランスフォームを用いて、基準反射スペクトルのデータベースに格
    納された1つまたは複数の基準反射スペクトルを最も良く表す複数の異なるスペクトル分布の模擬強度レベルを推定し、および
    模擬強度レベルから画像の色を調整するためのトランスフォームを生成する、
    プロセッサを備える装置。
  37. 画像入力装置から画像を受け取るための通信インターフェイスを備える、請求項36に記載の装置。
  38. 画像を生成するための画像入力装置を内蔵する、請求項36または請求項37に記載の装置。
  39. 画像入力装置はデジタルカメラである、請求項37または請求項38に記載の装置。
  40. スペクトル分布は各々、異なる波長の光に対する画像入力装置の感度を表す、請求項36から39のいずれか1項に記載の装置。
  41. 画像の色を定義する強度レベルは各々、スペクトル分布の内1つに対する画像入力装置の反応レベルである、請求項36から40のいずれか1項に記載の装置。
  42. 模擬強度レベルは各々、スペクトル分布の内1つに対する画像入力装置の推定された反応レベルである、請求項36から41のいずれか1項に記載の装置。
  43. 画像はRGB信号を含む、請求項36から42のいずれか1項に記載の装置。
  44. 取得する入力補償トランスフォームは入力補償情報に基づく、請求項36から43のいずれか1項に記載の装置。
  45. 入力補償情報は、画像入力装置によって生成される、入力補償物体についての入力補償画像を含む、請求項44に記載の装置。
  46. 入力補償物体は、1つまたは複数の反射スペクトルが既知である物体である、請求項45に記載の装置。
  47. 入力補償物体は、公知のカラースタンダードである、請求項45または請求項46に記載の装置。
  48. 入力補償物体は、Macbethカラーチャートである、請求項45から47のいずれか1項に記載の装置。
  49. プロセッサは、取得される入力補償トランスフォームを用いて入力補償情報から生成されるスペクトルを1つまたは複数の既知反射スペクトルと比較する誤差関数に対する非負最小二乗解を求めることによって入力補償トランスフォームを取得する、請求項36から48のいずれか1項に記載の装置。
  50. プロセッサは、画像の色を定義する強度レベルを補正するための強度補正係数を取得する、請求項36から49のいずれか1項に記載の装置。
  51. 強度補正係数は入力補償情報に基づく、請求項50に記載の装置。
  52. プロセッサは、画像の色を定義する強度レベルを補正するための強度補正係数を取得す
    るために非線形最適化を用いて誤差関数に対する非負最小二乗解を求める、請求項49に記載の装置。
  53. 基準反射スペクトルのデータベースは、このデータベースに格納された基準反射スペクトルと関係する基準物体を定義する基準物体識別情報を格納する、請求項36から52のいずれか1項に記載の装置。
  54. 識別情報は、データベースに格納された基準反射スペクトルと関係する基準物体のカテゴリ、サブカテゴリ、および/または固有アイデンティティを定義する物体のカテゴリ、サブカテゴリ、および/または固有アイデンティティ情報を含む、請求項53に記載の装置。
  55. プロセッサは、強度レベルの推定に用いる1つまたは複数の基準反射スペクトルを基準反射スペクトルのデータベースから選択することを許す、請求項36から54のいずれか1項に記載の装置。
  56. 選択は、基準反射スペクトルとともにデータベースに格納される基準物体識別情報に基づく、請求項55に記載の装置。
  57. (選択される)基準反射スペクトルは、画像と関係する対象物体に類似する基準物体に関係する、請求項36から56のいずれか1項に記載の装置。
  58. プロセッサは、取得される入力補償トランスフォームを用いて推定される模擬強度レベルから生成されるスペクトルを1つまたは複数の(選択された)基準反射スペクトルと比較する誤差関数に対する非負最小二乗解を求めることによって模擬強度レベルを推定する、請求項36から57のいずれか1項に記載の装置。
  59. 画像の色を調整するトランスフォームは、画像の色を推定された反射スペクトルにトランスフォームするための反射スペクトル推定トランスフォームを含む、請求項36から58のいずれか1項に記載の装置。
  60. 画像の色を推定された反射スペクトルにトランスフォームするための反射スペクトル推定トランスフォームを生成する装置であって、
    画像の色を入力補償済みスペクトルにトランスフォームするための入力補償トランスフォームを取得し、および
    取得した入力補償トランスフォームと、基準反射スペクトルのデータベースに格納された1つまたは複数の基準反射スペクトルとから、反射スペクトル推定トランスフォームを生成する、
    プロセッサを備える装置。
  61. プロセッサは、1つまたは複数の(選択された)基準反射スペクトルを用いて取得した入力補償トランスフォームを修正することによって反射スペクトル推定トランスフォームを生成する、請求項59または請求項60に記載の装置。
  62. プロセッサは、生成される反射スペクトル推定トランスフォームを用いて(1つまたは複数の(選択された)基準反射スペクトルを最も良く表す画像の色を定義する複数の異なるスペクトル分布の)模擬強度レベルから生成されるスペクトルを1つまたは複数の(選択された)基準反射スペクトルと比較する誤差関数に対する非負最小二乗解を求めることによって反射スペクトル推定トランスフォームを生成する、請求項59から61のいずれか1項に記載の装置。
  63. 反射スペクトルを推定する装置であって、請求項59から62のいずれか1項に記載の装置を備え、ここでプロセッサは、生成された反射スペクトル推定トランスフォームを用いて画像の色を推定された反射スペクトルにトランスフォームする、装置。
  64. プロセッサは、反射スペクトル推定の基礎となる画像のピクセルを選択することを許し、且つ選択されたピクセルの色を推定された反射スペクトルにトランスフォームする、請求項63に記載の装置。
  65. プロセッサは、生成した反射スペクトル推定トランスフォームと取得した強度レベル補償係数とを用いて画像の色を推定された反射スペクトルにトランスフォームする、請求項63または請求項64に記載の装置。
  66. 画像の色を調整するためのトランスフォームは、画像の色を新しい色空間に変換するための色空間変換トランスフォームである、請求項36から58のいずれか1項に記載の装置。
  67. 画像の色を新しい色空間に変換するための色空間変換トランスフォームを生成する装置であって、
    画像の色を入力補償済みスペクトルにトランスフォームするための入力補償トランスフォームを取得し、および
    取得した入力補償トランスフォームと、基準反射スペクトルのデータベース内の1つまたは複数の基準反射スペクトルとから、色空間変換トランスフォームを生成する、
    プロセッサを備える装置。
  68. プロセッサは、(選択された)1つまたは複数の基準反射スペクトルを最も良く表す新しい色空間での色を定義する複数の異なるスペクトル分布の強度レベルを推定することによって色空間変換トランスフォームを生成する、請求項66または請求項67に記載の装置。
  69. プロセッサは、入力補償トランスフォームを用いて推定される(1つまたは複数の(選択された)基準反射スペクトルを最も良く表す画像の色を定義する複数の異なるスペクトル分布の)模擬強度レベルと、新しい色空間の複数の異なるスペクトル分布について推定された強度レベルとから、色空間変換トランスフォームを生成する、請求項68に記載の装置。
  70. 画像の色を新しい色空間に変換する装置であって、請求項66から69のいずれか1項に記載の装置を備え、ここでプロセッサは、生成された色空間変換トランスフォームを用いて画像の色を新しい色空間に変換する、装置。
  71. プロセッサを内蔵するコンピュータを備える、請求項36から70のいずれか1項に記載の装置。
  72. 請求項1から35のいずれか1項に記載の方法を遂行するコンピュータソフトウェア。
  73. 実質的に添付の図面を参照して説明したとおりに、画像の色を調整するためのトランスフォームを生成する方法。
  74. 実質的に添付の図面を参照して説明したとおりに、反射スペクトル推定トランスフォームを生成する方法。
  75. 実質的に添付の図面を参照して説明したとおりに、反射スペクトルを推定する方法。
  76. 実質的に添付の図面を参照して説明したとおりに、色空間変換トランスフォームを生成する方法。
  77. 実質的に添付の図面を参照して説明したとおりに、画像の色を新しい色空間に変換する方法。
  78. 実質的に添付の図面を参照して説明したとおりに、画像の色を調整するためのトランスフォームを生成する装置。
  79. 実質的に添付の図面を参照して説明したとおりに、反射スペクトル推定トランスフォームを生成する装置。
  80. 実質的に添付の図面を参照して説明したとおりに、反射スペクトルを推定する装置。
  81. 実質的に添付の図面を参照して説明したとおりに、色空間変換トランスフォームを生成する装置。
  82. 実質的に添付の図面を参照して説明したとおりに、画像の色を新しい色空間に変換する装置。
JP2007557568A 2005-03-04 2006-02-24 基準反射スペクトルを用いた反射スペクトル推定と色空間変換 Withdrawn JP2008532401A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GBGB0504520.8A GB0504520D0 (en) 2005-03-04 2005-03-04 Reflectance spectra estimation and colour space conversion using reference reflectance spectra
PCT/GB2006/000639 WO2006092559A1 (en) 2005-03-04 2006-02-24 Reflectance spectra estimation and colour space conversion using reference reflectance spectra

Publications (1)

Publication Number Publication Date
JP2008532401A true JP2008532401A (ja) 2008-08-14

Family

ID=34451826

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007557568A Withdrawn JP2008532401A (ja) 2005-03-04 2006-02-24 基準反射スペクトルを用いた反射スペクトル推定と色空間変換

Country Status (7)

Country Link
US (1) US8044969B2 (ja)
EP (1) EP1854277B8 (ja)
JP (1) JP2008532401A (ja)
AT (1) ATE456902T1 (ja)
DE (1) DE602006012016D1 (ja)
GB (1) GB0504520D0 (ja)
WO (1) WO2006092559A1 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100412906C (zh) * 2006-10-20 2008-08-20 清华大学 数字舌象色偏校正方法
US8238653B2 (en) 2008-07-11 2012-08-07 Silicon Image, Inc. Methods and mechanisms for probabilistic color correction
WO2010123499A1 (en) * 2009-04-22 2010-10-28 Hewlett-Packard Development Company, L.P. Spatially-varying spectral response calibration data
JP5374231B2 (ja) * 2009-05-18 2013-12-25 オリンパス株式会社 撮像装置
KR101310216B1 (ko) * 2009-12-21 2013-09-24 한국전자통신연구원 촬영된 영상의 컬러 변환 장치 및 방법
US8634640B2 (en) * 2010-10-21 2014-01-21 Hewlett-Packard Development Company, L.P. Method and apparatus for selecting a color palette
US8588522B2 (en) * 2011-04-13 2013-11-19 Hewlett-Packard Development Company, L.P. Method and system for dynamic color correction
US8582873B2 (en) * 2011-06-16 2013-11-12 Tandent Vision Science, Inc. Use of an object database in an image process
US9754181B2 (en) 2011-11-04 2017-09-05 National Ict Australia Limited Determining color values in hyperspectral or multispectral images
EP2798831B1 (en) 2011-12-28 2016-08-31 Dolby Laboratories Licensing Corporation Spectral image processing
US9875724B2 (en) * 2012-08-21 2018-01-23 Beijing Lenovo Software Ltd. Method and electronic device for adjusting display
US9080916B2 (en) * 2012-08-30 2015-07-14 Apple Inc. Correction factor for color response calibration
TWI464367B (zh) * 2013-07-23 2014-12-11 Univ Nat Chiao Tung 主動式影像擷取之光學系統及光學方法
US9194746B1 (en) 2013-09-04 2015-11-24 Videk, Inc. System for measuring deviation of printed color at a selected location on a moving substrate from a target color
US9204018B2 (en) * 2014-01-21 2015-12-01 Carbon Objects, Inc. System and method of adjusting the color of image objects based on chained reference points, gradient characterization, and pre-stored indicators of environmental lighting conditions
WO2019059632A1 (ko) * 2017-09-25 2019-03-28 한국과학기술원 프리즘을 이용한 초분광 영상 재구성 방법 및 시스템
US11620765B2 (en) * 2020-07-02 2023-04-04 Unity Technologies Sf Automatic detection of a calibration object for modifying image parameters

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3287177B2 (ja) * 1995-05-17 2002-05-27 東洋インキ製造株式会社 カラーイメージング方法および装置
US5793884A (en) 1995-12-19 1998-08-11 Hewlett-Packard Company Spectral based color image editing
EP1011446A1 (en) * 1997-02-28 2000-06-28 Electro-Optical Sciences, Inc. Systems and methods for the multispectral imaging and characterization of skin tissue
JPH1196333A (ja) * 1997-09-16 1999-04-09 Olympus Optical Co Ltd カラー画像処理装置
JP4212165B2 (ja) * 1998-11-13 2009-01-21 オリンパス株式会社 色再現システム
JP4274632B2 (ja) * 1999-05-25 2009-06-10 オリンパス株式会社 色再現システム
JP4262359B2 (ja) 1999-06-18 2009-05-13 オリンパス株式会社 色再現システム
JP4012953B2 (ja) * 1999-11-18 2007-11-28 富士通株式会社 色変換テーブル作成方法および色変換テーブル作成装置ならびに色変換テーブル作成プログラムを記録した記憶媒体
US6888963B2 (en) * 2000-07-18 2005-05-03 Matsushita Electric Industrial Co., Ltd. Image processing apparatus and image processing method
JP2002185803A (ja) 2000-12-08 2002-06-28 Fuji Photo Film Co Ltd カラー画像復元方法及び装置並びに該方法を実行するためのプログラムを記録した記録媒体
US6584435B2 (en) * 2001-08-30 2003-06-24 Xerox Corporation Systems and methods for determining spectra using dynamic karhunen-loeve algorithms with measurements from led color sensor
US6587793B2 (en) * 2001-09-17 2003-07-01 Xerox Corporation Systems and methods for determining spectra using fuzzy inference algorithms with measurements from LED color sensor
EP1436577A2 (en) * 2001-10-04 2004-07-14 Digieye Plc. Apparatus and method for measuring colour
JP4174703B2 (ja) 2001-10-22 2008-11-05 独立行政法人情報通信研究機構 スペクトル・色再現システム
JP2004005566A (ja) * 2002-04-23 2004-01-08 Matsushita Electric Ind Co Ltd 色編集装置および色編集方法
US20040208385A1 (en) * 2003-04-18 2004-10-21 Medispectra, Inc. Methods and apparatus for visually enhancing images
US7136518B2 (en) * 2003-04-18 2006-11-14 Medispectra, Inc. Methods and apparatus for displaying diagnostic data
US7459696B2 (en) * 2003-04-18 2008-12-02 Schomacker Kevin T Methods and apparatus for calibrating spectral data
AU2003249008A1 (en) * 2002-07-30 2004-02-16 Canon Kabushiki Kaisha Image processing system, apparatus, and method, and color reproduction method
JP2004064543A (ja) 2002-07-30 2004-02-26 Canon Inc 画像処理装置及び方法
US7271910B2 (en) * 2005-03-30 2007-09-18 Xerox Corporation Systems and methods for compensating for temperature induced spectral emission variations in LED based color parameter measuring devices

Also Published As

Publication number Publication date
WO2006092559A1 (en) 2006-09-08
EP1854277B1 (en) 2010-01-27
EP1854277B8 (en) 2010-05-19
EP1854277A1 (en) 2007-11-14
DE602006012016D1 (de) 2010-03-18
ATE456902T1 (de) 2010-02-15
US8044969B2 (en) 2011-10-25
US20090128649A1 (en) 2009-05-21
GB0504520D0 (en) 2005-04-13

Similar Documents

Publication Publication Date Title
JP2008532401A (ja) 基準反射スペクトルを用いた反射スペクトル推定と色空間変換
US6856354B1 (en) Color reproducing system for reproducing a color of an object under illumination light
US7667845B2 (en) Color evaluation apparatus and method
JP3767541B2 (ja) 光源推定装置、光源推定方法、撮像装置および画像処理方法
Berns The science of digitizing paintings for color-accurate image archives: a review
US7480083B2 (en) Image processing system, apparatus, and method, and color reproduction method
US9076068B2 (en) Method and apparatus for evaluating color in an image
US7940393B2 (en) Method and system for approximating the spectrum of a plurality of color samples
US20030020727A1 (en) Reducing metamerism in color management systems
Quintana et al. A novel method for color correction in epiluminescence microscopy
US20050046883A1 (en) Color-space transformation-matrix calculating system and calculating method
EP1117070A2 (en) Constructing profiles to compensate for non-linearities in image capture
Penczek et al. Color error in the digital camera image capture process
US7688468B2 (en) Method of illuminant adaptation
Farrell et al. Estimating spectral reflectances of digital artwork
WO2015167460A1 (en) Imager calibration via modeled responses to importance-weighted color sample data
CN110926608A (zh) 一种基于光源筛选的光谱重建方法
US20140333659A1 (en) Image processing apparatus and control method thereof
JP4378810B2 (ja) 測色変換係数算出方法と測色的撮像方法、および測色変換係数算出装置と測色的撮像装置、並びに測色変換プログラムを記録したコンピュータ読み取り可能な情報記録媒体
JP4529210B2 (ja) 測色変換係数算出方法と測色画像変換方法、及び、測色変換係数算出装置と測色画像変換装置、並びに、測色変換係数算出プログラム又は測色的撮像プログラムを記録したコンピュータ読み取り可能な情報記録媒体
Andersen et al. Additivity constrained linearisation of camera calibration data
Molada-Teba et al. Towards colour-accurate documentation of anonymous expressions
EP3671754A1 (en) Method for determining a coloration product recommendation
JP5029187B2 (ja) 色座標変換装置、撮像装置、色座標変換プログラム、色座標変換方法
Carnevali et al. Colourimetric calibration for photography, photogrammetry and photomodelling within Architectural Survey

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20090512