JP2020005136A

JP2020005136A - 画像処理装置、画像処理方法、及びプログラム

Info

Publication number: JP2020005136A
Application number: JP2018123311A
Authority: JP
Inventors: 恭平菊田; Kyohei Kikuta
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2018-06-28
Filing date: 2018-06-28
Publication date: 2020-01-09

Abstract

【課題】人間の視覚特性を考慮して、観察環境の明るさに応じた色変換処理を行うことができる画像処理装置を提供する。【解決手段】画像処理装置１００は、入力画像を取得する入力画像取得部２０１と、入力画像の色情報を、出力側の色空間に応じて色変換する色変換処理部２０３と、出力画像の観察環境の明るさ情報を取得する観察環境情報取得部２０２とを有する。色変換処理部２０３は、観察環境が明るいほど、明度より彩度または色相を優先して色変換する。【選択図】図２

Description

本発明は、一般に画像処理に関し、より詳細には、入力画像の色変換処理に関する。

パソコンで処理した画像や、デジタルカメラで撮影した画像などを出力する装置として、紙等の記録媒体上に記録材（色材）を用いて画像を形成する画像形成装置がよく使われている。画像形成装置には、例えばインクジェット方式や電子写真方式のものが知られ、一般的に前者ではインク、後者ではトナーが色材として用いられている。画像形成装置によって記録媒体上に形成された画像は、商業的用途の一例としてポスターや広告などとして利用される。

ところで、画像形成装置によって記録媒体上に形成された画像であれ、画像表示装置（例えば液晶ディスプレイ）によって再現された画像であれ、人間の視覚特性は、画像を観察する環境に応じて変化する。すなわち、再現されているのが同一の色であっても、観察環境の明るさによって色の見え方が異なる。そのため、例えば、特許文献１には、入力画像の画素値を出力画像（投影画像）の色空間に応じて変換する色変換処理において、観察環境の照明条件に応じて色補正する技術が開示されている。

特開２０１０−４１１１６号公報

しかしながら、本発明に係る発明者らの技術検討において、人間の視覚特性は、出力画像の観察環境の明るさに応じて変化することがわかった。特許文献１に開示された技術では、照明条件のみに応じた色補正をしており、人間の視覚特性が考慮されておらず、色変換処理が十分に行えていなかった。

本発明は、このような問題に鑑みてなされたものであり、人間の視覚特性を考慮して、観察環境の明るさに応じた色変換処理を行うことを目的とする。

本発明の一実施形態に係る画像処理装置は、入力画像を取得する入力画像取得手段と、前記入力画像の色情報を、出力側の色空間に応じて色変換する色変換処理手段と、出力画像の観察環境の明るさ情報を取得する環境情報取得手段とを有する。前記色変換処理手段は、前記観察環境が明るいほど、明度より彩度または色相を優先して色変換する。

本発明によると、人間の視覚特性を考慮して、観察環境の明るさに応じた色変換処理を行うことができる。

画像処理装置のハードウェア構成図である。画像処理装置の機能ブロック図である。画像処理装置による画像処理の流れを示すフローチャートである。入力画像の色域と画像処理装置が表現可能な色域とを表す模式図である。第１の実施形態における色変換処理の流れを表すフローチャートである。入力画像の色域から画像処理装置が表現可能な色域への色変換を説明する模式図である。主観評価実験を説明するための模式図である。主観評価実験の結果を表わすグラフである。主観評価実験により本発明の妥当性を示すグラフである。第１の実施形態の評価式において、観察環境の照度に対する明度項、彩度・色相項の寄与の変化を表わすグラフである。色変換処理の結果の特徴を説明するヒストグラム模式図である。色変換処理の特徴を説明するヒストグラム模式図である。色変換方法の一例を表わす模式図である。第１の実施形態の変形例における色域の関係を表す模式図である。第２の実施形態における色変換処理の流れを表すフローチャートである。

以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明に必須のものとは限らない。なお、同一の構成については、同じ符号を付す。

（第１の実施形態）
図１は、本実施形態に適用可能な画像処理装置のハードウェア構成を示す。画像処理装置１００は、例えば一般的なパーソナルコンピュータ（ＰＣ）にインストールされたプリンタドライバとしての機能を実現する。すなわち、画像処理装置１００は、後述するように、入力画像から印刷用データ（ハーフトーン画像データ）を生成し、画像形成装置に送信する。

画像処理装置１００は、ＣＰＵ１０１、ＲＡＭ１０２、記憶部１０３、汎用インタフェース（Ｉ／Ｆ）１０４、出力Ｉ／Ｆ１０５、メインバス１１０を有し、画像形成装置１０６、入力装置１０７、外部メモリ１０８、表示装置１０９と接続される。

汎用Ｉ／Ｆ１０４は、例えばＵＳＢやＩＥＥＥ１３９４等の規格に対応したインタフェースであって、画像形成装置１０６や入力装置１０７、メモリカード等の外部メモリ１０８をメインバス１１０に接続する。画像形成装置１０６は、例えばインクジェットプリンタなどであり、画像処理装置１００から出力された印刷用データを受け取り、インクジェット方式により記録媒体上に画像を形成する。本実施形態において画像形成装置１０６はインクジェットプリンタであり、記録ヘッドを記録媒体に対して相対的に縦横に記録走査することにより画像を形成するマルチパス記録を行う。記録ヘッドは、ＣＭＹＫに対応する一つ以上の記録素子（ノズル）を有する。入力装置１０７は、マウスやキーボードであって、ユーザによる入力を受け付ける。出力Ｉ／Ｆ１０５は、ＤＶＩやＨＤＭＩ（登録商標）等の規格に対応したインタフェースであって、表示装置１０９とＣＰＵ１０１とを接続する。表示装置１０９は、モニタやディスプレイであり、画像データや、ユーザが操作可能なＵＩを表示する。

ＣＰＵ１０１は、記憶部１０３に格納されている画像処理アプリケーションを読み出し、ＲＡＭ１０２に展開し、実行する。記憶部１０３や外部メモリ１０８に格納されている各種データや入力装置１０７からの指示など、画像処理に必要なデータがＲＡＭ１０２に転送される。さらに、ＲＡＭ１０２に格納されているデータは、画像処理アプリケーションに従って、ＣＰＵ１０１からの指令に基づき処理される。処理結果は、表示装置１０９に表示されるほか、記憶部１０３や、外部メモリ１０８に格納される。なお、全ての機能ブロックの役割をＣＰＵ１０１が果たす必要はなく、各機能ブロックに対応する専用の処理回路を設けてもよい。

以下では、ＣＰＵ１０１が記憶部１０３に格納された各種ソフトウェア（コンピュータプログラム）を動作させることで実現する各種画像処理について説明する。

図２は、本実施形態における画像処理装置の機能構成を示すブロック図である。画像処理装置１００は、入力画像取得部２０１、観察環境情報取得部２０２、色変換処理部２０３、色分解処理部２０４、ハーフトーン処理部２０５、ハーフトーン画像バッファ２０６を有する。また、画像処理装置１００は、入力端子２０７、及び出力端子２０８を有する。画像形成装置１０６は、入力端子２０９、及び出力端子２１０を有する。

入力画像取得部２０１は、ユーザの指示によって入力された入力画像を読み込み、画像データをＲＡＭ１０２へ格納する。なお、本実施形態における入力画像は、ＲＧＢの各色を持つ８ビットのデータとする。また、入力画像は、ＲＧＢの画素値とデバイス非依存な色とを結びつける色空間情報を持つ。デバイス非依存な色とは、例えばＣＩＥＬ＊ａ＊ｂ＊色空間によって表現される色である。

観察環境情報取得部２０２は、画像形成装置１０６によって記録媒体上へ出力される画像（以下、出力画像と示す）を観察する観察環境の明るさ情報を取得する。本実施形態において観察環境の明るさ情報とは、観察環境の照度を示し、表示装置１０９に表示されたＵＩを介して、キーボードなどの入力装置１０７からユーザによって入力される。

色変換処理部２０３は、まず、入力画像のＲＧＢ画素値を、デバイス非依存な色情報へ変換する。本実施形態でデバイス非依存な色空間は、ＣＩＥＬ＊ａ＊ｂ＊とする。次に、色変換処理部２０３は、ＣＩＥＬ＊ａ＊ｂ＊色空間での入力画像の色情報を、画像形成装置１０６と観察環境の明るさ情報に基づいて、ＣＩＥＬ＊ａ＊ｂ＊色空間内で再度変換する。

色分解処理部２０４は、色変換された入力画像を、画像形成装置１０６が備える色材に応じた各色の画像データへ色分解処理する。なお、色分解処理部２０４は、不図示の色分解用ルックアップテーブル（ＬＵＴ）を参照して色分解する。本実施形態では画像形成装置１０６が備える色材は、ＣＭＹＫの４色とする。各色の色分解後画像データは、８ビットのデータとする。なお、画像形成装置１０６が備える色材がより多岐にわたる場合は、その色数の分だけ色分解処理する。例えば、画像形成装置１０６が、ＣＭＹＫに淡シアン（ｌｃ）、及び淡マゼンタ（ｌｍ）を加えた６色を備える場合には、ＣＭＹＫｌｃｌｍの６つの色分解後画像データが得られる。

ハーフトーン処理部２０５は、各色の色分解後画像データに対してハーフトーン処理を行い、画像形成装置１０６が印刷可能な階調数の印刷用データを出力する。本実施形態におけるハーフトーン処理部２０５は、８ビットの色分解後画像データを１ビット（２値）のハーフトーン画像データに変換する。ハーフトーン画像データにおいて、１はオンドット、０はオフドットであることを示す。本実施形態では、ハーフトーン処理において誤差拡散法を用いる。ハーフトーン処理部２０５は、ＣＭＹＫそれぞれに対応するハーフトーン画像データをハーフトーン画像バッファ２０６に出力する。ハーフトーン画像バッファ２０６に格納されたハーフトーン画像データは、画像形成装置１０６へ出力される。

画像形成装置１０６は、画像処理装置１００から受信したハーフトーン画像データに基づいて記録ヘッドを制御するための駆動信号を生成する。記録ヘッドは、駆動信号に従って記録媒体上に色材を記録し、画像を形成する。

次に、本実施形態における画像処理装置１００による画像処理の流れを説明する。図３は、画像処理装置１００による画像処理のフローチャートを示す。フローチャートに示される一連の処理は、画像処理装置１００のＣＰＵ１０１が記憶部１０３などの記憶装置に記憶された制御プログラムをＲＡＭ１０２に展開し、実行することにより行われる。あるいはまた、フローチャートにおけるステップの一部または全部の機能をＡＳＩＣや電子回路等のハードウェアで実現してもよい。各処理の説明における記号「Ｓ」は、当該フローチャートにおけるステップを意味する。その他のフローチャートについても同様である。

まず、Ｓ３０１において、入力画像取得部２０１は、ユーザによって入力された入力画像を取得する。既に説明したように、入力画像は、ＲＧＢの画素値と共に、当該画素値とデバイス非依存な色とを結びつける色空間情報を持つ。ここでは、入力画像が持つＲＧＢ画素値を、ＲＧＢ１と呼ぶ。

Ｓ３０２において、観察環境情報取得部２０２は、出力画像が観察される観察環境の明るさ情報を取得する。前述の通り、本実施形態において観察環境の明るさ情報とは、観察環境の照度である。

Ｓ３０３において、色変換処理部２０３は、入力側の色空間情報と出力側の色空間情報とを各々取得する。本実施形態において入力側の色空間情報とは、入力画像の持つ色空間情報である。また、本実施形態において出力側の色空間情報とは、画像形成装置１０６に係る色空間情報である。画像形成装置１０６に係る色空間情報は、画像形成装置１０６が出力可能な色情報（デバイス非依存な色空間にて記述される）と、画素値とを結びつける情報である。

Ｓ３０４において、色変換処理部２０３は、入力側の色空間情報に基づき、入力画像のＲＧＢ画素値（色情報）をデバイス非依存な色情報ＣＩＥＬ＊ａ＊ｂ＊へ変換する。この変換によって、入力画像の各画素に対応するＬ＊ａ＊ｂ＊の値が得られる。この変換は、入力画像の色空間においてあらかじめ知られた画素値Ｒ、Ｇ、Ｂと、デバイス非依存な色空間におけるＬ＊、ａ＊、ｂ＊の値との対応関係を記述したＬＵＴを参照して行うことができる。ここで得られたＬ＊、ａ＊、ｂ＊の値をＬａｂ１と呼ぶ。したがって、Ｓ３０４で、ＲＧＢ１は、Ｌａｂ１へ変換される。

次に、Ｓ３０５において、色変換処理部２０３は、入力画像のＬａｂ１を、出力側の色空間情報と、観察環境の明るさ情報とに基づいて、再度色変換処理する。Ｓ３０５における色変換では、ＣＩＥＬ＊ａ＊ｂ＊色空間内で色変換処理を行う。これはガマットマッピングなどとして知られる色変換処理と同じ考え方の処理である。ここで得られたＬ＊、ａ＊、ｂ＊の値をＬａｂ２と呼ぶ。すなわち、Ｓ３０５では、Ｌａｂ１はＬａｂ２へ変換される。なお、Ｓ３０５の処理の詳細は、後述する。

Ｓ３０６において、色変換処理部２０３は、Ｓ３０５で得られたＬａｂ２を、出力側の色空間、すなわち画像形成装置１０６に係る色空間情報に従い、ＲＧＢ画素値へと変換する。ここで得られたＲＧＢの値をＲＧＢ２と呼ぶ。すなわち、Ｓ３０６では、Ｌａｂ２はＲＧＢ２へ変換される。この処理もＳ３０４と同様に、ＬＵＴを参照して行うことができる。

Ｓ３０７において、色分解処理部２０４は、Ｓ３０６で得られたＲＧＢ２を、画像形成装置１０６が備える色材に応じた各色の画像データへ分解する色分解処理を行う。本実施形態では、画像形成装置１０６が備える色材は、ＣＭＹＫの４色であり、各色の色分解後画像データをＣＭＹＫと呼ぶ。すなわち、Ｓ３０７では、ＲＧＢ２はＣＭＹＫへ変換される。

Ｓ３０８において、ハーフトーン処理部２０５は、Ｓ３０７で得られたＣＭＹＫに対してハーフトーン処理を行い、色材Ｃ、Ｍ、Ｙ、Ｋのそれぞれに対応するハーフトーン画像データを生成する。

Ｓ３０９において、ハーフトーン処理部２０５は、各色のハーフトーン画像データをハーフトーン画像バッファ２０６に出力する。ハーフトーン画像バッファ２０６に格納された各色のハーフトーン画像データは、画像形成装置１０６へ出力される。

以上で、画像処理装置１００が行う画像処理のフローは終了する。この後、前述の通り、画像形成装置１０６がハーフトーン画像データに基づいて記録媒体上に色材を記録し、出力画像を形成する。

次に、Ｓ３０５の色変換処理の詳細について説明する。まず、処理の説明に先立ち、本実施形態における入力画像の色情報と画像形成装置１０６が表現可能な色情報について説明する。

図４は、色空間Ｌ＊ａ＊ｂ＊内で入力画像が持つ色情報と、画像形成装置１０６が表現可能な色情報とを、明度Ｌ＊と彩度Ｃを軸にして２次元グラフで示す。領域４０１で表される色域Ａは、入力画像が表現する色領域を表す。領域４０２で表される色域Ｂは、画像形成装置１０６が表現可能な色領域を表す。ここで色域とは、色空間内での３次元領域を指す。また、彩度Ｃは、ａ＊ｂ＊より次の式で求められる。
Ｃ＝√（（ａ＊）＾２＋（ｂ＊）＾２）
なお、＾２はべき乗の演算を表す。Ｓ３０４で得られたＬａｂ１は、色域Ａ内の色情報であり、Ｓ３０５で得られたＬａｂ２は色域Ｂ内の色情報である。

図４に示すように、本実施形態において画像形成装置１０６が表現可能な色域Ｂは、入力画像が表現する色域Ａよりも小さい。これは、画像形成装置１０６が用いる色材（インク）や記録媒体（紙面）の物理的、材質的な制限により、入力画像が表現する全ての色情報を必ずしもそのまま表現できないことを意味する。このような場合に、画像形成装置１０６が出力する画像が不自然にならないよう、入力画像の持つ色域Ａの色から色域Ｂの色へのマッピングが行われる。このような異なる色域間でのマッピングは、ガマットマッピングなどと呼ばれ、Ｓ３０５の色変換処理は、ガマットマッピングの一形態に相当する。本実施形態における色変換処理では、色域Ａの色のうち、色域Ｂに含まれる（すなわち直接表現可能な）色はそのまま表現し、色域Ｂに含まれない（すなわち直接表現できない）色は、色域Ｂ内で元の色に近い色に変換される。これは「相対的な色域を保持」、あるいは単に「相対的」などと呼ばれるガマットマッピングの考え方に相当する。本実施形態では、この考え方に沿って色変換処理を行う。

図５は、Ｓ３０５の色変換処理の流れを詳細に表すフローチャートである。図５に従って、本実施形態におけるＳ３０５の色変換処理の詳細を説明する。

Ｓ５０１において、色変換処理部２０３は、入力画像の注目画素が持つ色情報Ｌ＊ａ＊ｂ＊（Ｌａｂ１）が、色域Ｂ（すなわち、出力側色空間）内に含まれるか否か判定する。Ｌａｂ１が色域Ｂに含まれる場合には、Ｓ５０２に進む。

Ｓ５０２において、色変換処理部２０３は、元の色情報（Ｌａｂ１）を、変換後の色情報として得る。すなわち、入力画像の注目画素の色情報を（Ｌ₁、ａ₁、ｂ₁）とし、変換後の色情報を（Ｌ₂、ａ₂、ｂ₂）とすると、（Ｌ₂、ａ₂、ｂ₂）＝（Ｌ₁、ａ₁、ｂ₁）とする。

他方、Ｓ５０１において注目画素の色情報Ｌ＊ａ＊ｂ＊（Ｌａｂ１）が色域Ｂ内に含まれないと判定された場合には、Ｓ５０３に進む。

Ｓ５０３において、色変換処理部２０３は、元の色情報（Ｌａｂ１）を、色域Ｂ内に、かつ観察環境の明るさに応じて色変換して、変換後の色情報として得る。具体的には、元の色情報（Ｌ₁、ａ₁、ｂ₁）と変換後の色情報（Ｌ₂、ａ₂、ｂ₂）に対して、次式（１）を適用し、色差Ｅが最小となる色情報（Ｌ₂、ａ₂、ｂ₂）を、変換後の色情報として選ぶ。なお、式の表記から、Ｌ＊などの＊は省略している。

ｋ_L＝１（２）
Ｓ_L＝１＋ａ×Ｅｖ（３）
ここで、ｋ_Lには、ユーザによって任意の値が設定される。Ｓ_Lは、観察環境に応じて決定され、ａは後述する実験によってフィッティングされる定数（ａ＞０）、Ｅｖは観察環境の明るさ（照度、単位はｌｘ）である。本実施形態ではａ＝０．０００２とする。

Ｓ５０４において、色変換処理部２０３は、Ｓ５０２あるいはＳ５０３において得られた変換後の色情報（Ｌ₂、ａ₂、ｂ₂）を、この注目画素における色変換処理後の色情報（Ｌａｂ２）とする。

Ｓ５０５において、色変換処理部２０３は、入力画像の全画素について処理を終了したか判定する。全画素の処理を終了していない場合はＳ５０１に戻り、未処理の注目画素について処理を繰り返す。一方、全画素の処理を終了している場合は、Ｓ３０５の処理を終了する。

次に、上記Ｓ５０３における色変換処理について、図６を参照してその意味を説明する。図６は、図４にならい、入力画像の色域Ａと、画像形成装置１０６が表現可能な色域Ｂとを示した模式図である。

色域Ａにある点６０１を、入力画像の注目画素が表す色情報（Ｌ₁、ａ₁、ｂ₁）とする。点６０１は、画像形成装置１０６が表現可能な色域Ｂの範囲外にあるから、色域Ｂ内の別な色に変換して表現する必要がある。このとき、点６０１を、色域Ｂ内で、かつ点６０１に最も距離が近い点に変換する場合には、変換後の点は点６０２になる。この変換を破線の矢印で示している。変換後の点６０２を求めることは、色域Ｂ内の色情報（Ｌ₂、ａ₂、ｂ₂）において、次式（４）で表される色差Ｅ´を最小にする色情報を選ぶことに相当する。

これに対し、上記Ｓ５０３では、変換後の色情報は、式（１）に従い選んだ。図６では、この変換を、実線の矢印で示す。すなわち、上記Ｓ５０３の色変換処理によると、変換後の色情報は、点６０３または点６０４のようになる。点６０３と点６０４の違いは、観察環境の明るさの違いによる。

式（１）は、式（４）と比較して、根号内の第１項、すなわち明度差（Ｌ₁−Ｌ₂）に係る項（明度項）が異なる。式（１）では、明度項の分母は常に１より大きいから、分母の分だけ色差Ｅに対する明度差（Ｌ₁−Ｌ₂）の寄与が小さくなる。さらに、分母に観察環境の明るさＥｖが入っていることから、観察環境の明るさが明るい（すなわち、Ｅｖが大きい）ほど、分母は大きくなり、すなわち明度項の寄与の大きさは小さくなる。したがって、図６に示すように、上記Ｓ５０３の色変換処理による変換後の色情報を表す点６０３、６０４は、明度よりも彩度が合うことを優先するように色変換した点になる。後述するが、図６において、破線の矢印よりも実線の矢印が縦軸方向に長く、横軸方向に短いことが、明度よりも彩度が合うことを優先していることを示している。この優先の度合が、観察環境の明るさに応じて変化する。図６では、点６０４の方が、点６０３よりも観察環境の明るさが明るい場合の変換を示し、彩度がより優先されている。

次に、上述したような色変換処理を行う根拠について説明する。発明者らは、画像の色の見え方に関し、観察環境の明るさが視覚特性に与える影響について実験を行った。その結果、観察環境の明るさが大きくなるにつれ、色差の知覚に対して明度差の寄与が小さくなることが見出された。

本発明に係り実施された主観評価実験について説明する。図７は、実験環境を上から見た模式図である。図７に示すように、被験者は、壁で隔てられた異なる明るさの環境を左右眼それぞれで見る。右眼側は、高出力の光源（不図示）が複数設置された高照度環境（照度７，５００ｌｘ、１５，０００ｌｘ、３５，０００ｌｘの３条件）である。左眼側は、屋内照度環境（照度１，５００ｌｘ）である。なお、照度条件間で光源の色温度は一定である。被験者は、右眼で高照度環境におけるテスト刺激対７０１の色差を観察し、左眼で屋内照度環境におけるリファレンス色差対７０２の見え方を観察した。テスト刺激対７０１としては、金属光沢のある板を使用した。リファレンス色差対７０２は、明度のみが異なる複数の刺激対であり、各刺激対はその明度差が異なる。テスト刺激対７０１の色を表す三刺激値ＸＹＺ値をそれぞれ（Ｘａ，Ｙａ，Ｚａ）、（Ｘｂ，Ｙｂ，Ｚｂ）とする。

次に、被験者は、左眼側のリファレンス色差対７０２から、右眼側のテスト刺激対７０１の色差と等しい大きさに感じる対を１つ選択する。すなわち、ここで選ばれたリファレンス色差対７０２の色差が、被験者が高照度環境においてテスト刺激対７０１に対して知覚した色差の大きさを示す。なお、図７では右眼側にテスト刺激対７０１、左眼側にリファレンス色差対７０２を設置しているが、これが逆であっても良い。

図８は、実験結果の一部を示す。図８（ａ）〜（ｃ）は、高照度環境の異なる観察照度（７，５００ｌｘ、１５，０００ｌｘ、３５，０００ｌｘ）における実験結果を示す。いずれも、グラフの縦軸は、被験者がテスト刺激対７０１に対して知覚した色差Ｄｐを示し、横軸は、各観察環境に設置された基準白色板の輝度Ｙｗに対するテスト刺激対７０１の相対輝度差（｜Ｙａ−Ｙｂ｜／Ｙｗ）を示す。また、図８（ａ）〜（ｃ）に示すように、各グラフのプロットに近似直線を引いた。この近似直線の傾きは、色差に対する感度を示し、傾きが大きいほど色差に対する感度が高いと言える。図８（ａ）〜（ｃ）より、観察照度が高くなるほど近似直線の傾きが小さくなっている。従って、実験に用いた高照度環境において、観察照度が高くなるほど色差に対する輝度差の感度が低下することがわかった。本実験における輝度差に対する感度の低下は、一般的に色差式を構成する明度差、彩度差、色相差においては、主に明度差に対応すると考えられる。よって色差式においては、環境照度が高くなるほど明度差成分が減少する、すなわち明度項の寄与が小さくなると考えられる。

そこで、式（１）のように環境照度が高くなるほど明度差成分が減少するような式を仮定し、実験結果を説明できるかを確認した。図９は、テスト刺激対７０１に対して被験者が知覚した色差Ｄｐと、色差式から算出した色差Ｄとの関係を示すグラフである。グラフの縦軸は、被験者がテスト刺激対７０１に対して知覚した色差Ｄｐであり、横軸は色差式から算出した色差Ｄである。グラフ内に示す破線は、縦軸と横軸の値が等しい値をとる軌跡である。色差式から算出した色差Ｄと知覚した色差Ｄｐとの相関が高い場合、プロットはこの破線上に乗ることになる。図９（ａ）は、式（４）による色差式から算出した色差Ｄと知覚した色差Ｄｐとの相関を示し、図９（ｂ）は、式（１）による色差式から算出した色差Ｄと知覚した色差Ｄｐとの相関を示す。両式において、明度項の分母以外は共通である。図９（ａ）と図９（ｂ）とを比較すると、図９（ｂ）では破線上に多くのプロットが集まっているため、より人間の知覚に近い値が算出されていると言える。したがって、式（１）のように、観察照度が高くなるほど色差に対する明度差成分の寄与率を減少させることで、より人の知覚特性に近い色差を算出できることが明らかとなった。

上記実験に基づき、本発明では知覚される色差を評価する際に、観察照度が高くなるほど色差に対する明度差成分の寄与が小さくなるように評価する。ここで、式（１）におけるこの性質を確認する。図１０は、次のように定めた明度差ΔＬ、彩度及び色相に関する差Δａ、Δｂにおいて、その寄与率が観察環境の照度に対してどのように変化するかを示したものである。
ΔＬ＝Ｌ₂−Ｌ₁（５）
Δａ＝ａ₂−ａ₁（６）
Δｂ＝ｂ₂−ｂ₁（７）

図１０（ａ）は、ΔＬ、Δａ、Δｂを単位大きさ（すなわちΔＬ＝１、Δａ＝１、Δｂ＝１）とした場合に、式（１）の根号内の項、すなわち（（ΔＬ）／（（ｋ_L）×（Ｓ_L）））＾２、（Δａ）＾２、（Δｂ）＾２の値の変化を示している。図中の明度項と付した実線が（（ΔＬ）／（（ｋ_L）×（Ｓ_L）））＾２の値を表す。図１０（ａ）により、観察環境の照度が大きくなるほど、明度項の大きさは小さくなっていくことが確認できる。これは高照度になるほど（例えば晴天の屋外などの環境）特に顕著である。一方、（Δａ）＾２、（Δｂ）＾２項については、図中の彩度・色相項と付した破線で示している。図示されるように、これらの項は観察環境の照度の影響を受けず、一定の値を取る。

図１０（ｂ）は、式（１）の根号内の項、すなわち（（ΔＬ）／（（ｋ_L）×（Ｓ_L）））＾２、（Δａ）＾２、（Δｂ）＾２の値に対する各項の値の占める比率を示している。すなわち、低照度環境では各項ともその寄与はほぼ等しく、約３分の１である。しかし観察環境の照度が増加するにつれ、明度項の占める比率は小さくなり、相対的に彩度・色相項の寄与が大きくなっていくことが確認できる。

このような評価式の性質を踏まえると、本実施形態において変換後の色情報を表す点は、明度よりも彩度が合うことを優先するような色変換になることになる。すなわち式（１）において、｜ΔＬ｜を大きくしても色差Ｅに対する寄与（重み）は小さいので、その分｜Δａ｜、｜Δｂ｜を小さくした方が色差Ｅを小さくするのに対して有利であるからである（ここで｜ΔＬ｜はΔＬの絶対値を表す）。図６において、破線の矢印よりも実線の矢印の方が縦方向に長く、横方向に短いことは、｜ΔＬ｜が大きくなり、｜Δａ｜、｜Δｂ｜が小さくなったことを示す。すなわち、明度よりも彩度が合うことを優先していることを示している。そして、この優先の度合（重み）が、観察環境の照度に応じて変化するのは図１０で確認した通りである。

上記評価式は、本発明における色変換処理の結果において、次のような性質を示す。まず、観察環境の明るさが大きいときの方が小さいときに比べ、色情報は、明度差が大きく、彩度・色相差が小さくなるようにマッピングされる。図１１は、本実施形態における色域Ａから色域Ｂへの色変換の、色変換前後の各色の明度差及び彩度・色相差をヒストグラム的に示した模式図である。ある観察環境の照度をＥｖ１とし、それより大きな観察環境の照度をＥｖ２とする。それぞれの照度において、上述のフローに従い色域Ａから色域Ｂへのマッピングが行われる。本実施形態では、色域Ａの色のうち色域Ｂにも含まれる色はそのまま色変換されるので、明度差及び彩度・色相差はほぼ０である。他方、色域Ａの色のうち色域Ｂに含まれない色は、変換前後で明度差及び彩度差が生じる。図１１は、色域Ａ内の全域に分布した基準点（例えば格子点）の色域Ｂへの変換を考えたとき、生じた明度差、及び彩度・色相差の大きさと、その出現頻度を表す（なお、図１１では、横軸が０の幅をやや強調している。また、基準点の出現頻度は実際には離散的であるが、簡単のため連続な線で描いている）。図１１に示すように、本実施形態の色変換では、明度差は、Ｅｖ１よりＥｖ２において大であるように分布が形成される（図１１（ａ））。また、彩度・色相差は、Ｅｖ１よりＥｖ２において小であるように分布が形成される（図１１（ｂ））。なお、色域全体の基準点についてのプロットではなく、色域Ｂ外の基準点についての変換前後の分布を取って考えても良い。これら分布の特徴については、例えば生じた差分の総和や平均値などの特徴量で測ることもできる。つまり、変換における明度差の平均は、Ｅｖ１よりＥｖ２において大きい。また、彩度・色相差の平均は、Ｅｖ１よりＥｖ２において小さい。

次に、変換後に得られる色情報の性質について述べる。変換後に得られる色情報の分布は、観察環境の明るさが大きいときの方が小さいときに比べ、高彩度側に偏っている。ここで、上記と同様に、色域Ａ内の全域に分布した基準点が、Ｅｖ１とＥｖ２のそれぞれにおいて、色域Ｂへ変換される場合を考える。図１２は、本実施形態における色域Ａから色域Ｂへの色変換の、変換前後の色情報の彩度をヒストグラム的に示した模式図である。横軸を彩度、縦軸を出現頻度とする。図１２（ａ）は、変換前の色域Ａの基準点のヒストグラムを示す。一方、図１２（ｂ）は、色域Ａの基準点に対し、Ｅｖ１、Ｅｖ２の各々で色域Ｂへの色変換を行って得られた色情報についてのヒストグラムを示す。同一の基準点に対する変換なので、出現頻度の総和（図の曲線内に含まれる基準点の数）は、図１２（ａ）、図１２（ｂ）のＥｖ１、Ｅｖ２の全てで同数である。しかし、図１２（ｂ）のＥｖ１とＥｖ２を比べた場合、Ｅｖ２の分布の方が高彩度側に寄っている。これは、本発明では照度が高いほど彩度・色相を優先するところ、本実施形態の場合には色域Ａの方が色域Ｂよりも大きいために、色域Ｂの分布が、色域Ａの彩度に合わせるように高彩度側に寄ることに起因する。この処理は、単なる高彩度化とは異なり、色差を小さくするための処理なので、各色情報を表すプロットは、元の彩度を超えないのが基本的な考え方である。ただし全体としての色差が小さくなるのであれば、色域形状の歪や色再現精度等を考慮した設計上の理由から元の彩度を超えるプロットがあってもよい。なお、これは、変換前の色域Ａのうち、色域Ｂに含まれない色で起こるので、色域Ａ全体の基準点についてのプロットではなく、色域Ｂ外の基準点についての分布を取っても良い。これらの分布の特徴は、例えば彩度×出現頻度によって得られる平均彩度や、ある彩度に閾値を設定し、閾値以上および閾値未満の幅における出現頻度の総和の特徴量で測ることもできる。

以上説明したように、本実施形態の画像処理装置によれば、観察環境の明るさが高いほど色差に対する明度差の感度が低下するという視覚特性に基づき色変換を行うことができる。これによって、入力画像の持つ色情報の色域が出力側の色域より大きく、入力画像の色をそのまま再現できない場合において、与えられた観察環境の明るさに応じ、より色の見え方を入力画像に合わせることができる。すなわち、入力画像の持つ色情報の色域が出力側の色域より大きく、入力側の色を出力側で再現可能な似た色に置き換える場合に、本実施形態では観察環境の明るさに応じて知覚的に近い色を選ぶことができる。これにより、出力画像の色の見え方を、出力側で直接再現できない色を含む入力画像により近付けることができる。これは、実質的に出力側の色域を拡大したような効果と考えることもできる。このような変換は、晴天の屋外などの高照度環境で、色域外となりやすい高彩度の色が多いときに特に有効である。一例として、屋外で掲示されることが分かっている、鮮やかな色で人目を引きたいポスターなどに有効である。

（変形例１）
次に、上述した第１の実施形態の変形例１について説明する。

上記第１の実施形態において色差を表す式は、説明を簡単にするためにＣＩＥＬ＊ａ＊ｂ＊色空間の単純な３次元距離（式（４））との比較で説明した。しかしながら、その他の色差に関する知見と組み合わせても本発明を好適に実施可能である。例えば、色差に対する別の評価式としてＣＩＥ１９９４色差式が提案されている。本発明に係る知見、すなわち観察照度が高くなるほど色差に対する明度差成分の寄与率が小さくなることと、ＣＩＥ１９９４色差式とを組み合わせた例を式（８）〜（１５）に示す。

ｋ_L＝ｋ_C＝ｋ_H＝１（９）
Ｓ_L＝１＋ａ×Ｅｖ（３）再掲
Ｃ_{ab_gm}＝√（Ｃ_ab1×Ｃ_ab2）（１０）
Ｓ_C＝１＋０．０４５×Ｃ_{ab_gm} （１１）
Ｓ_H＝１＋０．０１５×Ｃ_{ab_gm} （１２）
ΔＬ＝Ｌ₂−Ｌ₁ （５）再掲
Δａ＝ａ₂−ａ₁ （６）再掲
Δｂ＝ｂ₂−ｂ₁ （７）再掲
ΔＣ_ab＝Ｃ_ab1−Ｃ_ab2 （１３）
ΔＨ＝√｛（ΔＥ_ab）＾２−（ΔＬ）＾２−（ΔＣ_ab）＾２｝（１４）
ΔＥ_ab＝√｛（ΔＬ）＾２＋（Δａ）＾２＋（Δｂ）＾２｝（１５）

ここで、Ｃ、Ｈの値は、均等色色空間であるＬ＊ａ＊ｂ＊表色系及びＬＣＨ表色系の値である。ΔＣ_abは彩度差を示し、ΔＨ_abは色相角差を示す。式（３）より、観察照度が高くなるほど、色差に対する明度差成分の寄与率が減少する。

また、本発明に係る知見は、ＣＩＥＤＥ２０００色差式と組み合わせても良い。

これらの色差式を用いても、観察環境の明るさが大きくなるにつれ、明度よりも彩度を優先するような本発明の色変換を好適に実施することができる。

（変形例２）
次に、上述した第１の実施形態の変形例２について説明する。

上記実施形態では、色変換において色域Ａ内の色のうち色域Ｂ内に含まれない色について、式（１）に従う最も近い色に変換した。すなわち、色域Ｂ外の色は、色域Ｂの最外殻にマッピングされる。そのため、色域Ｂ外の色については全て同様の色にマッピングされ、階調の変化がなくなってしまう。そこで、本変形例２では、図１３に示す模式図のような考え方を取り入れる。すなわち、色域Ｂを、内側の色域Ｂ１と外側の色域Ｂ２とに分ける。色域Ａの色のうち、内側の色域Ｂ１に含まれるものは、Ｓ５０２と同様に、そのままの色情報で変換する。一方、それ以外の色については、外側の色域Ｂ２内に圧縮するようにして変換する。図１３は、色域内のある線分１３０１に沿う３つの色情報の変換の例を３つの矢印で示している。図１３（ａ）が変換前の色域を示し、図１３（ｂ）が変換後の色域を示す。このような変換を行えば、色域Ｂ内のほとんどの色は元の色を保ちつつ、色域Ｂ外の色についても小さいながら階調の差を残すことができる。

（変形例３）
次に、上述した第１の実施形態の変形例３について説明する。

上記実施形態では、例えば図１２に示したように、彩度・色相成分に係る成分として彩度を変化させるマッピングについて説明した。彩度、色相成分においては、色の見え方の知覚としては色相の変化の方が彩度の変化よりも敏感である。従って、入力画像の制作意図を保持する観点からは、上記実施形態のように彩度を変化させる方が好適であると考えられるが、必要に応じて色相を変化させるマッピングを行ってもよい。

（変形例４）
次に、上述した第１の実施形態の変形例４について説明する。

上記実施形態では、色変換処理を、画像全体、あるいは色域全体に対して行った。しかしながら、上記実施形態はそれに限定されない。すなわち、明部や高彩度部、ある色相などの色空間の特定の領域や、画像中のある特定のオブジェクトのみについて、本実施形態に係る色変換処理を適用することもできる。

（変形例５）
次に、上述した第１の実施形態の変形例５について説明する。

上記実施形態では、観察照度として、表示装置１０９に表示されたＵＩを介して、ユーザがキーボードなどの入力装置１０７を用いて入力した照度値を取得した。しかしながら、ユーザが観察環境の照度値を知るのは困難な場合も考えられる。そこで、例えば、「室内」、「スポットライト展示」、「屋外（晴天）」など、代表的と思われる観察環境のシチュエーションを表示装置１０９に提示し、ユーザがそれを選択するようにしてもよい。観察環境情報取得部２０２は、選択された観察環境のシチュエーションから、シチュエーションごとにあらかじめ定められた照度値を取得することができる。

また、観察環境の明るさは照度に限らず、輝度等であってもよい。画像処理装置が明るさセンサ（不図示）を有し、観察環境の明るさを取得可能である場合には、当該センサが取得した値を利用してもよい。

（変形例６）
次に、上述した第１の実施形態の変形例６について説明する。

上記実施形態では、色変換処理（ガマットマッピング）を「相対的」に行った。「相対的」な色変換処理では、異なる色域間での色は、可能なかぎり維持される。しかし、上記実施形態はこれに限定されない。他の一例として、いわゆる「知覚的」な色変換処理を適用することもできる。

まず、「知覚的」な色変換処理の考え方について簡単に説明する。図１４は、入力画像の持つ色域と、出力側の色域との関係を模式的に表す。図１４（ａ）において、入力画像の持つ色域を色域Ａ（１４０１）とし、出力側の色域を色域Ｂ（１４０２）とする。色域Ａと色域Ｂとは表現可能な色の範囲が異なり、概ね色域Ａの方が色域Ｂよりも広い。「知覚的」な色変換処理では、出力側の色域を、出力側で再現可能な色域Ｂのうちの一部である色域Ｃ（１４０３）とする。ここで、色域Ａと色域Ｃは相似形を成す。すなわち、色域Ａの相似形である色域Ｃを色域Ｂ内に内接するように取り、色域Ａを色域Ｃに相似的にマッピングする。すなわち、色域Ａに含まれる色は、色域Ｂに含まれる色であってもそのままの色で維持されるわけではなく、変換後の画像において、変換前の画像と同じように色が滑らかに変化するように色変換処理が行われる。このようにすると、色域Ｃ内にマッピングされた色域Ａ内の各色は、色域Ａ内と同様に座標上の相対関係が保持される。そのため、知覚的な印象を入力画像と出力画像とで合わせることができる。

さらに、本実施形態によれば、観察環境の明るさが高いほど色差に対する明度差の感度が低下するので、観察環境の明るさに応じて明度よりも彩度が合うことを優先する。そのため、図１４（ｂ）に示すように、色域Ａの相似形である色域Ｃを、明度方向に潰し、彩度方向（図の横方向）に広げた、歪みのある相似形状の領域（１４０４）とする。歪みの度合は、観察環境の明るさに応じる。このように設定することで、色域Ｃは、図１４（ａ）の領域１４０３に対する図１４（ｂ）の領域１４０４のように、明度方向に小さく、かつ、彩度方向に大きく取ることができる。この場合、色域Ａの色に対して明度のずれは大きくなるが、彩度はより合わせることができる。

このように、上記実施形態には、他の種類の色変換処理（ガマットマッピング）も適用可能である。本変形例においても、変換後の色情報は、既に述べた観察環境の明るさに応じた明度差、彩度差等の分布の特徴を有する。

（第２の実施形態）
第１の実施形態では、上述したＳ３０５の色変換処理（Ｌａｂ１→Ｌａｂ２）において、入力画像に含まれる各画素の色情報について、出力側の色域のどの色にマッピングされるのかを評価式により算出した。しかしながら、入力画像の全ての画素について、マッピング先の色情報を評価式により算出していては、計算負荷が大きくなってしまう。そこで、本実施形態では、色変換処理における色情報の入力と出力の変換関係をあらかじめＬＵＴに記憶しておき、色変換処理部２０３が、当該ＬＵＴを参照して色変換処理を行う。また、複数のＬＵＴを、入力側と出力側の色空間情報毎に、観察環境の明るさ情報に応じて、予め用意することができる。

図１５は、本実施形態における色変換処理のフローチャートを示す。図１５は、図３のＳ３０５に対応する色変換処理のフローチャートを示し、図５のフローチャートに代わるものである。なお、図３の通り、Ｓ３０５に至るまでに、Ｓ３０２にて観察環境の明るさ情報が取得され、Ｓ３０３にて入力側と出力側の色空間情報が取得されている。

Ｓ１５０１において、色変換処理部２０３は、入力側と出力側の色空間情報に対応し、かつ観察環境の明るさ情報に対応する色変換テーブル（ＬＵＴ）を選択する。本実施形態では、入力側と出力側の色空間情報と、観察環境の明るさ情報ごとに、予め色変換テーブル（ＬＵＴ）が生成され、記憶されている。例えば、画像処理装置１００は、観察環境の明るさに応じて照度が「小」（３００ｌｘ）、「中」（２０００ｌｘ）、「大」（１００００ｌｘ）、「ごく大」（３５０００ｌｘ）の場合の４つの色変換テーブルを、予め記憶部１０３に記憶する。入力された照度が「大」に相当する場合には、入力側の色空間と出力側の色空間に対応する照度「大」のテーブルが選択される。

次に、Ｓ１５０２において、色変換処理部２０３は、選択された色変換テーブルに従い、入力側の色情報を出力側の色情報に変換する。

以上、本実施形態によれば、第１の実施形態と比較して計算負荷を減らして、本発明を実施することが可能となる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記録媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２０１入力画像取得部
２０２観察環境情報取得部
２０３色変換処理部

Claims

入力画像を取得する入力画像取得手段と、
前記入力画像の色情報を、出力側の色空間に応じて色変換する色変換処理手段と、
出力画像の観察環境の明るさ情報を取得する環境情報取得手段と
を有し、
前記色変換処理手段は、前記観察環境が明るいほど、明度より彩度または色相を優先して色変換することを特徴とする画像処理装置。
前記色変換処理手段は、前記観察環境が明るいほど、色変換前後の前記彩度のずれが小さくなるように色変換することを特徴とする請求項１に記載の画像処理装置。
前記色変換処理手段は、前記観察環境が明るいほど、色変換前後の前記明度のずれが大きくなるように色変換することを特徴とする請求項２に記載の画像処理装置。
前記彩度のずれは、色変換前後の各色の彩度の差の平均であることを特徴とする請求項２に記載の画像処理装置。
前記明度のずれは、色変換前後の各色の明度の差の平均であることを特徴とする請求項３に記載の画像処理装置。
前記色変換処理手段は、前記観察環境が明るいほど、色変換前後の色差に対する明度差成分の寄与率を小さくして色変換すること特徴とする請求項１に記載の画像処理装置。
前記入力画像は、前記出力側の色空間に含まれない色情報を含むことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
前記色変換処理手段は、前記観察環境が明るいほど、変換後の彩度が高い色変換を行うことを特徴とする請求項７に記載の画像処理装置。
前記色変換処理手段は、前記明るさ情報に応じた入力側と出力側の色空間の複数の対応関係を有し、前記取得した観察環境の明るさに対応する対応関係を参照して色変換を行うことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
前記観察環境の明るさ情報は、前記観察環境の照度であることを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
コンピュータを、請求項１乃至１０のいずれか１項に記載の画像処理装置として機能させるためのプログラム。
入力画像を取得する入力画像取得工程と、
前記入力画像の色情報を、出力側の色空間に応じて色変換する色変換工程と、
出力画像の観察環境の明るさ情報を取得する環境情報取得工程と
を含み、
前記色変換工程において、前記観察環境が明るいほど、明度より彩度または色相を優先して色変換することを特徴とする画像処理方法。