JP2010246036A - 色処理装置およびその方法 - Google Patents

Abstract

【課題】 被写体の撮影光と被写体画像の観察光の違いによって生じる、知覚される色の変化を抑制する。
【解決手段】 環境光情報入力部23、24は、被写体の撮影光と画像の観察光の情報を入力する。画像入力部27、28は、被写体を撮影した画像データとマルチバンドデータを入力する。XYZ値計算部12、13は、撮影光および観察光の情報、並びに、マルチバンドデータから、撮影光および観察光の下における被写体の画像の色値を計算し、撮影光および観察光の情報、並びに、画像出力装置の出力画像の分光特性データから、撮影光および観察光の下における出力画像の色値を計算する。変換パラメータ作成部14は、被写体の画像の色値および出力画像の色値から光源変換用の変換パラメータを作成する。出力デバイス色変換部16は、画像データを画像出力装置のデバイス色データに色変換する。光源変換部17は、変換パラメータを用いて、デバイス色データに光源変換を施す。
【選択図】 図1

Description

本発明は、撮影光の下の画像を観察光の下の画像に光源変換する色処理に関する。

撮影した被写体に忠実な画像を出力する場合、ディジタルカメラなどの画像入力装置によって得た色情報を、プリンタなどの画像出力装置を用いて出力するための色情報へ変換する必要がある。この色変換は、画像入力装置によって取得した色データ（例えばRGB値）を、一旦、装置に依存しない色データ（例えばXYZ値、Lab値）に変換する。そして、さらに、装置に依存しない色データを画像出力装置に固有のデバイス色データ（例えばRGB値、CMYK値）に変換する。

被写体を撮影した際の照明光や環境光（以下、撮影光）と、出力画像を観察する照明光や環境光（以下、観察光）が異なる場合がある。この場合、例えば撮影光の下のXYZ値を観察光の下のXYZ値へ変換する必要がある。この点を考慮し、色順応モデルを用いて、異なる照明環境の下の色の見えをシミュレートして複数の環境で観察されることを前提とする色再現を行う技術がある（例えば特許文献1）。

色順応モデルを用いる技術は、本来、連続量である光の分光情報である色データを、人間の視覚特性を考慮した三次元のデータ（三刺激値）に変換する。その結果、ある光源の下では等色していた二つの色が、異なる光源の下では違った色に知覚されてしまう、所謂条件等色という問題がある。

また、四色以上のカラーフィルタを切り替えて被写体を撮影するマルチバンドカメラ（特許文献2）や、撮像センサ上に、四色以上のカラーフィルタを配置して、ワンショットで被写体を撮影するマルチバンドカメラ（特許文献3）が存在する。以下では、前者を「切替方式マルチバンドカメラ」、後者を「ワンショット方式マルチバンドカメラ」と呼ぶ。これらマルチバンドカメラを用いてマルチバンド画像を撮影し、被写体の分光情報を取得して、物体の色情報を三刺激値で取得する場合よりも高精度に、光源の違いによる色の変化を高精度に算出する技術もある。

物体の分光情報を取得する場合、一つの撮影に必要なショット数が増加する。従って、ワンショットでRGB値を取得する一般的なディジタルカメラに比べて撮影時間が長くなる。もし、連続して複数ショットを撮影すれば、撮影時間が膨大になる。ワンショット方式マルチバンドカメラであれば撮影時間の増加は発生しないが、一般的なディジタルカメラに比べてカラーフィルタの色数が増える分、解像度が低下する問題がある。

特開2001-099710公報 特開2007-281620公報 特開2005-286649公報

本発明は、被写体の撮影光と被写体画像の観察光の違いによって生じる、知覚される色の変化を抑制することを目的とする。

本発明は、前記の目的を達成する一手段として、以下の構成を備える。

本発明にかかる色処理は、被写体の撮影光の情報および画像の観察光の情報を入力し、前記被写体を撮影した画像データおよびマルチバンドデータを入力し、前記撮影光および観察光の情報、並びに、前記マルチバンドデータから、前記撮影光および観察光の下における前記被写体の画像の色値を計算し、前記撮影光および観察光の情報、並びに、画像出力装置の出力画像の分光特性データから、前記撮影光および観察光の下における前記出力画像の色値を計算し、前記被写体の画像の色値および前記出力画像の色値から光源変換用の変換パラメータを作成し、前記画像データを前記画像出力装置のデバイス色データまたはデバイス非依存の色データに色変換し、前記変換パラメータを用いて、前記デバイス色データまたはデバイス非依存の色データに光源変換を施すことを特徴とする。

本発明によれば、被写体の撮影光と被写体画像の観察光の違いによって生じる、知覚される色の変化を抑制することができる。

本実施例の画像処理装置の機能構成例を示すブロック図。 画像処理装置が実行する画像処理を説明するフローチャート。 変換パラメータの作成処理を説明するフローチャート。 被写体と出力画像の分光反射率の一例を示す図。 被写体画像と出力画像の三刺激値をLab値に変換してa*、b*値をプロットした図。 被写体画像と出力画像の三刺激値をLab値に変換してa*、b*値をプロットした図。 実施例2の画像処理装置の構成例を示すブロック図。 画像処理装置が実行する画像処理を説明するフローチャート。

以下、本発明にかかる実施例の画像処理（色処理）を図面を参照して詳細に説明する。

［装置の構成］
図1は本実施例の画像処理装置の機能構成例を示すブロック図である。

画像処理装置100は、照明光や環境光の分光特性を測定する環境光測定装置200、ディジタルカメラなどの撮像装置500、マルチバンド撮像装置600、画像データが表す画像を出力する画像出力装置900などに接続する。なお、これら装置は、図示しないUSB (Universal Serial Bus)やIEEE1394などのシリアルバスインタフェイスを備え、シリアルバスを介して相互に接続される。なお、画像出力装置900は、例えばインクジェットプリンタ、電子写真プリンタ、モニタなどである。

撮像装置500は、RGBカラーフィルタを備える撮像デバイスによって被写体のRGB画像を撮影する。マルチバンド撮像装置600は、四種類以上のカラーフィルタを備える撮像デバイスによって被写体の複数のスペクトル領域の画像（以下、マルチバンド画像）をワンショットで撮影する。つまり、本実施例においては、四つの分離したスペクトル領域（4バンド）以上、言い換えれば3バンドを超える場合を「マルチバンド」と呼ぶ。また、以下では、マルチバンド画像に対して撮像装置500が撮影する画像を「3バンド画像」と呼び、マルチバンド撮像装置600に対して撮像装置500を「3バンド撮像装置」と呼ぶ場合がある。さらに、撮像装置500が出力する画像データを「3バンドデータ」、マルチバンド撮像装置600が出力する画像データを「マルチバンドデータ」と呼ぶ場合がある。

画像処理装置100において、環境光情報入力部23は、環境光測定装置200が測定した被写体の撮影環境における撮影光の情報を入力する。環境光情報入力部24は、環境光測定装置200が測定した画像の観察環境における観察光の情報を入力する。なお、観察対象の画像は、画像出力装置900が出力する印刷画像や表示画像である。

画像入力部27は、3バンド撮像装置500が撮影した被写体の3バンドデータを入力する。画像入力部28は、マルチバンド撮像装置600が撮影した被写体のマルチバンドデータを入力する。

なお、環境光情報入力部23と環境光情報入力部24は個別に設ける必要はなく、一つの入力部によって、順次、情報を入力してもよい。同様に、画像入力部27と画像入力部28は個別に設ける必要はなく、一つの入力部によって、順次、画像データを入力してもよい。なお、環境光情報入力部23と24を合わせて第一の入力部、画像入力部27と28を合わせて第二の入力部と呼ぶ場合がある。

分光反射率算出部11は、画像入力部28が入力したマルチバンド画像の各画素において分光反射率を算出する。つまり、被写体の各部の分光反射率を算出する。

第一の計算部であるXYZ値計算部12は、分光反射率算出部11が算出した被写体の分光反射率、環境光情報入力部23が入力した撮影光の情報、および、環境光情報入力部24が入力した観察光の情報を入力する。そして、被写体画像の、撮影光の下における色値（例えば三刺激値）と、観察光の下における色値（例えば三刺激値）を計算する。

分光特性記憶部10は、画像出力装置900が出力したカラーチャートの分光特性を示す分光特性データを記憶する。

第二の計算部であるXYZ値計算部13は、分光特性記憶部10が記憶する画像出力装置900が出力したカラーチャートの分光特性データ、環境光情報入力部23が入力した撮影光の情報、および、環境光情報入力部24が入力した観察光の情報を入力する。そして、画像出力装置900が出力するカラーチャート（以下、出力画像）の、撮影光の下における色値（例えば三刺激値）と、観察光の下における色値（例えば三刺激値）を計算する。なお、XYZ値計算部12とXYZ値計算部13は個別に設ける必要はなく、一つの計算部によって、順次、色値を計算してもよい。

変換パラメータ作成部14は、XYZ値計算部12が出力する被写体画像の三刺激値と、XYZ値計算部13が出力する出力画像の三刺激値を入力する。そして、それら三刺激値を対応付けて、光源変換用の変換パラメータを作成する。

プロファイル記憶部15は、3バンド撮像装置500のデバイス固有の色データを、画像出力装置900のデバイス固有の色データへ色変換するために用いる一般的なデバイスリンクプロファイル（以下、プロファイル）などを記憶する。

出力デバイス色変換部16は、プロファイル記憶部15に記憶されたプロファイルを用いて、画像入力部27が入力した3バンドデータを色変換する。光源変換部17は、出力デバイス色変換部26が出力するデバイス色データと、変換パラメータ作成部14が作成した変換パラメータを入力して、デバイス色データに光源変換を施す。

画像出力部18は、光源変換部17が出力するデバイス色データを画像出力装置900に出力する。デバイス色データを入力された画像出力装置900は、デバイス色データが表す画像を表示したり、記録紙に印刷するなど、画像出力を行う。

［処理］
図2は画像処理装置100が実行する画像処理を説明するフローチャートである。

環境光情報入力部23は、環境光測定装置200から撮影光の情報を入力し(S201)、環境光情報入力部24は、環境光測定装置200から観察光の情報を入力する(S202)。画像入力部27は、3バンド撮像装置500から被写体の3バンドデータを入力し(S203)、画像入力部28は、マルチバンド撮像装置600から被写体のマルチバンドデータを入力する(S204)。詳細は後述するが、変換パラメータ作成部14などは光源変換パラメータを作成する(S205)。

次に、出力デバイス色変換部16は、プロファイル記憶部15が記憶するプロファイルを用いて、3バンド撮像装置500に固有のデバイス色データである3バンドデータを、画像出力装置900に固有のデバイス色データに色変換する(S206)。光源変換部17は、変換パラメータ作成部14が作成した変換パラメータを用いて、画像出力装置900に固有のデバイス色データに光源変換を施す(S207)。画像出力部18は、光源変換後のデバイス色データを画像出力装置900に出力する(S208)。

●変換パラメータの作成
図3は変換パラメータの作成処理(S205)を説明するフローチャートである。

分光反射率算出部11は、画像入力部28が入力したマルチバンドデータの各画素について分光反射率を算出する(S301)。分光反射率の算出には、マルチバンド画像から分光画像を生成する際に用いられるWiener推定などを用いればよい。

次に、XYZ値計算部12は、撮影光の情報、観察光の情報および被写体の分光反射率を入力する。そして、それら情報を用いて、撮影光の下における被写体画像の三刺激値(XsA, YsA, ZsA)および観察光の下における被写体画像の三刺激値(XsB, YsB, ZsB)を算出する(S302)。

次に、XYZ値計算部13は、撮影光の情報、観察光の情報および分光特性記憶部10が記憶する画像出力装置900が出力したカラーチャートの分光特性データ（分光反射率）を入力する。そして、それら情報を用いて、撮影光の下における出力画像の三刺激値(XoA, YoA, ZoA)および観察光源の下における出力画像の三刺激値(XoB, YoB, ZoB)を算出する(S303)。

次に、変換パラメータ作成部14は、被写体画像の二つの光源の下における三刺激値と、出力画像の二つの光源の下における三刺激値を対応付けて、以下のように変換パラメータを作成する(S304)。

図4は被写体と出力画像の分光反射率の一例を示す図である。図4に示すように、被写体の分光反射率と、出力画像の分光反射率は異なる。しかし、ある光源A（例えば撮影光としてD50光源を仮定する）の下の三刺激値は式(1)によって算出され、光源Aの下における、被写体画像の三刺激値(XsA, YsA, ZsA)と、出力画像の三刺激値(XoA, YoA, ZoA)は一致する。
X = k∫R(λ)x(λ)S(λ)dλ
Y = k∫R(λ)y(λ)S(λ)dλ …(1)
X = k∫R(λ)z(λ)S(λ)dλ
ここで、R(λ)は被写体または出力画像の分光反射率、
x(λ)y(λ)z(λ)は等色関数、
S(λ)は光源の分光放射輝度、
積分範囲は380nmから730nm。

図5、図6は被写体画像と出力画像の三刺激値をLab値に変換してa*、b*値をプロットした図である。

図5に示すように、撮影光（ある光源A）の下において両者の色度は一致する。しかし、図6に示すように、観察光のある光源B（例えば色温度5000Kの三波長型の蛍光灯を仮定する）の下においては両者の色度が異なる。言い換えれば、観察光の下において被写体画像の三刺激値(XsB, YsB, ZsB)と、出力画像の三刺激値(XoB, YoB, ZoB)は異なる値になる。

つまり、観察光の下で、被写体画像と出力画像を等色させるには、観察光の下において(XoB, YoB, ZoB)が(XsB, YsB, ZsB)に一致するように、出力画像の色を色変換する必要がある。

そこで、撮影光の下において、被写体画像の三刺激値(XsA, YsA, ZsA)に等色する出力画像の三刺激値(XoA, YoA, ZoA)を出力するデバイスRGB値(RoA, GoA, BoA)を求める。さらに、観察光の下において、被写体画像の三刺激値(XsB, YsB, ZsB)に等色する出力画像の三刺激値(XoB, YoB, ZoB)を出力するデバイスRGB値(RoB, GoB, BoB)を求める。そして、(RoA, GoA, BoA)を(RoB, GoB, BoB)に変換する変換パラメータを作成する。

このように作成した変換パラメータによってデバイス色データを光源変換することで、撮影光の下で被写体画像と出力画像を等色させた状態から、観察光の下で被写体画像と出力画像を等色させる色変換が可能になる。とくに、3バンドデータとマルチバンドデータを併用することで、高精度な光源変換を施した高解像度の画像データを得ることができる。

以下、本発明にかかる実施例2の画像処理（色処理）を説明する。なお、実施例2において、実施例1と略同様の構成については、同一符号を付して、その詳細説明を省略する。

［装置の構成］
図7は実施例2の画像処理装置の構成例を示すブロック図である。

入力プロファイル記憶部32は、3バンド撮像装置500に固有のデバイス色データを、三刺激値などデバイス非依存の色データに色変換するプロファイルを記憶する。入力色変換部31は、入力プロファイル記憶部32に記憶されたプロファイルを用いて、画像入力部27が入力した3バンドデータを色変換する。

出力プロファイル記憶部34は、三刺激値などデバイス非依存の色データを画像出力装置900に固有のデバイス色データに色変換するプロファイルを記憶する。出力色変換部33は、光源変換部17が出力する画像データ（デバイス非依存の色データ）を、出力プロファイル記憶部34に記憶されたプロファイルを用いて、画像出力装置900に固有のデバイス色データへ色変換する。色変換結果のデバイス色データは、画像出力部18を介して、画像出力装置900へ出力される。

［処理］
図8は画像処理装置100が実行する画像処理を説明するフローチャートである。なお、ステップ201からS205、S208の処理は実施例1と略同様であり、詳細説明を省略する。

入力色変換部31は、入力プロファイル記憶部32が記憶するプロファイルを用いて、3バンド撮像装置500に固有のデバイス色データである3バンドデータを、デバイス非依存の色データに色変換（入力色変換）する(S211)。光源変換部17は、変換パラメータ作成部14が作成した変換パラメータを用いて、デバイス非依存の色データに光源変換を施す(S212)。出力色変換部33は、出力プロファイル記憶部34が記憶するプロファイルを用いて、光源変換後のデバイス非依存の色データを、画像出力装置900に固有のデバイス色データへ色変換（出力色変換）する(S213)。

●変換パラメータおよび出力プロファイルの作成
実施例1においては、プロファイルを用いてデバイス色データに変換された画像データを処理するために、(RoA, GoA, BoA)を(RoB, GoB, BoB)に変換する変換パラメータを作成した。実施例2においては、入力プロファイルを用いてデバイス非依存の色データに変換された画像データを変換するために、例えば(XoA, YoA, ZoA)を(XoB, YoB, ZoB)に変換する変換パラメータを作成する。

三刺激値(XoA, YoA, ZoA)と(XoB, YoB, ZoB)は、分光特性記憶部10が記憶する出力画像の分光特性データ、環境光情報入力部23が入力した撮影光の情報、および、環境光情報入力部24が入力した観察光の情報から算出可能である。

さらに、算出した観察光の下の三刺激値(XoB, YoB, ZoB)と、画像出力装置900に固有のデバイス色データを対応付けて、出力プロファイルとして出力プロファイル記憶部34に格納する。出力色変換部33は、この出力プロファイルを用いて、ステップS213で出力色変換を行う。

［変形例］
変換パラメータは、実施例1においては例えばRGB→RGB変換に用いられ、実施例2においては例えばXYZ→XYZ変換に用いられる。変換パラメータの形式は、マトリクスでもよいし、ルックアップテーブル(LUT)でもよい。

上記では、デバイスに固有の色空間としてRGB空間を説明したが、CMY空間やCMYK空間でもよい。また、デバイス非依存の色空間としてCIEXYZ空間を説明したが、CIELab空間、CIELuv空間、カラーアピアランス空間であるCIECAM02などでもよい。

［他の実施例］
本発明は、上記実施例の機能を実現するプログラムを記録した記録媒体（または記憶媒体）を装置（またはシステム）に供給し、装置のコンピュータ（CPUやMPU）が記録媒体から読み出したプログラムを実行することでも実現される。この場合、記録媒体に格納されたプログラムが上記実施例の機能を実現し、そのプログラムと、そのプログラムを記憶するコンピュータが読み取り可能な記録媒体は本発明を構成する。

また、プログラムの実行により上記機能が実現されるだけではない。つまり、プログラムの指示により、コンピュータ上で稼働するオペレーティングシステム(OS)および/または他のプログラムなどが実際の処理または制御の一部または全部を行い、それによって上記機能が実現される場合も含む。また、プログラムは、コンピュータに接続された機能拡張カードやユニットなどのデバイスのメモリに格納されていてもよい。つまり、プログラムの指示により、デバイスのCPUなどが実際の処理の一部または全部を行い、それによって上記機能が実現される場合も含む。本発明を記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応または関連するプログラムが格納される。

Claims (8)

1. 被写体の撮影光の情報および画像の観察光の情報を入力する第一の入力手段と、
   前記被写体を撮影した画像データおよびマルチバンドデータを入力する第二の入力手段と、
   前記撮影光および観察光の情報、並びに、前記マルチバンドデータから、前記撮影光および観察光の下における前記被写体の画像の色値を計算する第一の計算手段と、
   前記撮影光および観察光の情報、並びに、画像出力装置の出力画像の分光特性データから、前記撮影光および観察光の下における前記出力画像の色値を計算する第二の計算手段と、
   前記被写体の画像の色値および前記出力画像の色値から光源変換用の変換パラメータを作成する作成手段と、
   前記画像データを前記画像出力装置のデバイス色データまたはデバイス非依存の色データに色変換する色変換手段と、
   前記変換パラメータを用いて、前記デバイス色データまたはデバイス非依存の色データに光源変換を施す光源変換手段とを有することを特徴とする色処理装置。
2. 前記作成手段は、前記撮影光の下において前記被写体の画像の色値に等色する前記出力画像の色値を出力するデバイス色データを算出する処理、前記観察光の下において前記被写体の画像の色値に等色する前記出力画像の色値を出力するデバイス色データを算出する処理、および、前記撮影光の下のデバイス色データを前記観察光の下のデバイス色データに変換する、前記デバイス色データに用いる変換パラメータを作成する処理を行うことを特徴とする請求項1に記載された色処理装置。
3. 前記作成手段は、前記撮影光の下における前記出力画像の色値を、前記観察光の下における前記出力画像の色値に変換する、前記デバイス非依存の色データに用いる変換パラメータを作成することを特徴とする請求項1に記載された色処理装置。
4. さらに、前記光源変換後のデバイス非依存の色データを前記出力装置のデバイス色データに変換する手段を有することを特徴とする請求項1から請求項3の何れか一項に記載された色処理装置。
5. 前記マルチバンドデータは、少なくとも四つのスペクトル領域の画像データから構成されることを特徴とする請求項1から請求項4の何れか一項に記載された色処理装置。
6. 被写体の撮影光の情報および画像の観察光の情報を入力し、
   前記被写体を撮影した画像データおよびマルチバンドデータを入力し、
   前記撮影光および観察光の情報、並びに、前記マルチバンドデータから、前記撮影光および観察光の下における前記被写体の画像の色値を計算し、
   前記撮影光および観察光の情報、並びに、画像出力装置の出力画像の分光特性データから、前記撮影光および観察光の下における前記出力画像の色値を計算し、
   前記被写体の画像の色値および前記出力画像の色値から光源変換用の変換パラメータを作成し、
   前記画像データを前記画像出力装置のデバイス色データまたはデバイス非依存の色データに色変換し、
   前記変換パラメータを用いて、前記デバイス色データまたはデバイス非依存の色データに光源変換を施すことを特徴とする色処理方法。
7. コンピュータ装置を制御して、請求項1から請求項5の何れか一項に記載された色処理装置の各手段として機能させることを特徴とするプログラム。
8. 請求項7に記載されたプログラムが記録されたことを特徴とするコンピュータが読み取り可能な記録媒体。

Images