JP2016025635A

JP2016025635A - 画像処理装置およびその方法

Info

Publication number: JP2016025635A
Application number: JP2014151041A
Authority: JP
Inventors: 大賀　学; Manabu Oga; 学大賀
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2014-07-24
Filing date: 2014-07-24
Publication date: 2016-02-08

Abstract

【課題】主観的評価の結果に一致または近い色再現性の評価結果を得る。
【解決手段】画素評価部605は、DIC画像データ602の画素ごとに、当該画素の色と色域の関係を評価する。顕著性マップ生成部604は、DIC画像データ602について顕著性マップを生成する。顕著性色再現評価部606は、画素評価部605の評価の結果と顕著性マップに基づき、色域に対応するデバイスにおけるWCS画像データ601の色再現性を評価する。
【選択図】図8

Description

本発明は、色再現性を評価する画像処理に関する。

コンピュータやコンピュータネットワークに接続されたディジタルカメラ、スキャナ、モニタ、プリンタといった入出力デバイス間の色情報を管理する技術として、色管理システム（カラーマネージメントシステム）がある。色管理システムにより、デバイス用のプロファイルを利用して、入出力デバイス間のカラーマッチング、色域外警告、出力プレビュー（ソフトプルーフ）といった色管理が行われる。デバイス用のプロファイルにはデバイスの各種デバイス特性が格納されている。各種デバイス特性には、デバイス依存色とデバイス非依存色の関係、デバイス固有の色域情報、デバイス非依存色をデバイス固有の色域内のデバイス依存色へマッピングするための色域マッピングなどが含まれる。

ネットワーク上の複数のデバイスを用いて共通な色再現を行う場合、一般に、それらデバイスに共通する色域（以下、共通色域）が利用される。共通色域は、共通な色再現の対象になるデバイスの数が増えるほど狭くなる傾向があり、最適な色再現を行うためのデバイスを複数のデバイスから選択する場合、各デバイスの色域、複数のデバイスの共通色域または出力画質を評価する必要がある。

各デバイスの色域を評価する方法として、入力画像に対する各デバイスの色域包含率を算出する技術が知られている（特許文献1参照）。

また、出力画質を評価する方法として、入力画像（基準画像）と出力画像（評価対象画像）の各画素を比較して平均色差を算出する方法が知られている。また、出力画像の評価値を主観的画質評価の結果に近付ける方法として、人間の視覚の空間周波数を考慮したS-CIELAB（例えば、非特許文献1参照）が知られている。また、人間の視覚による画質劣化の許容上限を表す弁別閾値を考慮して画素評価値を求め、画素評価値に基づき出力画像の評価値を算出する技術がある（特許文献2参照）。

しかし、上記の技術に基づいて、画像に対する客観的な色域評価値や画質評価値を算出したとしても、画素ごとの評価値が均一に扱われるため、必ずしも主観的評価の結果と一致しない場合がある。

特開2010-147819号公報特開2006-201983号公報特開平10-079865号公報

X. Zhang、B. A. Wandell「A spatial extension of CIELAB for digital color image reproduction」SID Digest、vol. 27、pp.731-734、1996年 L. Itti、C. Koch、E. Niebur「A Model of Saliency-based Visual Attention for Rapid Scene Analysis」IEEE PAMI、Vol. 20、No. 11、pp. 1254-1259、1998年 J. Harel、C. Koch、P. Perona「Graph-Based Visual Saliency」NIPS、Vol. 19、pp. 545-552、2006年

本発明は、主観的評価の結果に一致または近い色再現性の評価結果を得ることを目的とする。

本発明は、前記の目的を達成する一手段として、以下の構成を備える。

本発明にかかる画像処理は、画像データの画素ごとに、当該画素の色と色域の関係を評価し、前記画像データについて顕著性マップを生成し、前記評価の結果と前記顕著性マップに基づき、前記色域に対応するデバイスにおける前記画像データの色再現性を評価する。

本発明によれば、主観的評価の結果に一致または近い色再現性の評価結果を得ることができる。

情報処理装置の構成例を示すブロック図。複数のデバイスが接続されたネットワーク環境におけるカラーマッチング処理の構成例を説明する図。複数のデバイスが接続されたネットワーク環境におけるカラーマッチング処理の別の構成例を説明する図。複数のデバイスが接続されたネットワーク環境におけるカラーマッチング処理の別の構成例を説明する図。各種デバイスに採用されている典型的な標準色空間の色域の違いを示す図。複数デバイスの共通色域を示す概念図。最適な共通色域を選択するワークフロー例を示す概念図。実施例のデバイス評価を説明するブロック図。顕著性マップ生成部の構成例を示すブロック図。色相角(Hue angle)hと色相(Hue quadrature)Hの違いを示す図。 L成分と反対色成分に対するコントラスト感度特性例を示すグラフ。色域色差の取得方法を説明する図。顕著性色再現評価の一例を示す図。顕著性を考慮したデバイス評価を説明するフローチャート。顕著性マップ生成部の処理を説明するフローチャート。顕著性マップ生成部の処理を説明するフローチャート。画素評価部の処理を説明するフローチャート。

以下、本発明にかかる実施例の画像処理装置および画像処理方法を図面を参照して詳細に説明する。なお、実施例は特許請求の範囲にかかる本発明を限定するものではなく、また、実施例において説明する構成の組み合わせのすべてが本発明の解決手段に必須とは限らない。

［装置の構成］
図1のブロック図により情報処理装置の構成例を示す。実施例の画像処理装置は、実施例の色管理の機能を実行するプログラムを記録媒体やネットワークを介して図1に示す情報処理装置に供給することによって実現される。

CPU101は、メインメモリ102のRAMをワークメモリとして、メインメモリ102のROMおよび記憶部105に格納されたオペレーティングシステム(OS)や各種プログラムを実行する。そして、PCIe (peripheral component interconnect express)などのシステムバス114を介して、後述する各構成を制御する。

記憶部105は、ハードディスクドライブ(HDD)やソリッドステートドライブ(SSD)などであり、シリアルATA(SATA)インタフェイス103およびシステムバス114を介して、CPU101からアクセスされる。記憶部105には、後述する色管理処理を含む各種プログラムが格納される。

CPU101は、ネットワークインタフェイス104を介して有線または無線ネットワーク115にアクセスし、シリアルバスインタフェイス108を介してUSBなどのシリアルバス110に接続された各種デバイスと通信を行う。そして、色管理処理対象の画像データをカードリーダを含む画像入力デバイス113から取得したり、画像データをプリンタ109に出力して例えばユーザが指示する画像を印刷したりする。なお、CPU101は、色管理処理対象の画像データを記憶部105やネットワーク115上のサーバから取得することもできる。

また、CPU101は、後述する処理のユーザインタフェイス(UI)や処理結果をグラフィックアクセラレータ106を介してモニタ107に表示し、シリアルバス110に接続されたキーボード111やマウス112などを介してユーザ指示を入力する。

［ネットワーク環境におけるカラーマッチング処理の構成］
次に、複数のデバイスが接続されたネットワーク環境におけるカラーマッチング処理を説明する。なお、デバイス用のプロファイルには、変換ベースのICC (International Color Consortium)プロファイルや測色値ベースのWCS (Windows（登録商標）Color System)プロファイルなどが存在する。以下では、簡単化のために、ICCプロファイルを例に説明する。

●カラーマッチング処理の構成例１
図2により複数のデバイスが接続されたネットワーク環境におけるカラーマッチング処理の構成例を説明する。図2は、各デバイスに対して個別に最適化されたプロファイルを各デバイスに適用する例を示す。

入力デバイス（ディジタルカメラ201、ディジタルビデオカメラ202、スキャナ203など）によって取得された画像データは、各入力デバイスに対応するプロファイル204-206によってデバイス非依存色空間の画像データに変換される。デバイス非依存色空間(DIC)は、CIEXYZ空間やCIELAB空間などであり、以下、デバイス非依存色空間の画像データを「DIC画像データ」と呼ぶ。

DIC画像データは、作業色空間用のプロファイル（以下、作業色空間プロファイル）207を用いて作業色空間色域内にマッピングされ、作業色空間の画像データに変換される。以下、作業色空間の画像データを「WCS画像データ」と呼ぶ。また、図2には、作業色空間としてDCI (Digital Cinema Initiatives) P3空間を用いる例を示すが、これに限られるものではない。

WCS画像データは、作業色空間プロファイル207と各モニタデバイス用のプロファイル（以下、モニタプロファイル）212-215を用いて各モニタの色域内にマッピングされて、各ユーザのモニタ208-211に表示される。ユーザは、モニタに表示された画像を参照して、WCS画像データの画像編集、編集済みのWCS画像データの保存、WCS画像データの出力指示などを行う。

出力が指示された場合、WCS画像データは、作業用色空間プロファイル207と各出力デバイス用のプロファイル（以下、出力プロファイル）220-223を用いて各出力デバイスの色域内にマッピングされて、各出力デバイス216-219に出力される。出力デバイス216-219としては、ディジタルシネマ用のDCI P3空間に対応するプロジェクタ216、SWOP (Specifications for Web Offset Publications)空間（CMYK系）に対応する印刷機217、電子写真プリンタ218、インクジェットプリンタ219などがある。

モニタプロファイル212-215および出力プロファイル220-223は、各デバイスに対して個別に最適化されている。従って、各モニタ208-211と各出力デバイス216-219における色再現は各デバイスにとって最適な色再現になる。しかし、デバイス間においては、色域や色域マッピング（レンダリング・インテント）が異なり、各デバイスにおける色再現はデバイスごとに異なる。

●カラーマッチング処理の構成例２
図3により複数のデバイスが接続されたネットワーク環境におけるカラーマッチング処理の別の構成例を説明する。図3は、同種の出力デバイスに共通の色域マッピングを適用した後、各デバイスに対して個別に最適化されたプロファイルを適用する例を示している。なお、同種の出力デバイスとは、モニタ208-211などの表示デバイス、プロジェクタ216などの投影デバイス、印刷機217、電子写真プリンタ218およびインクジェットプリンタ219などの印刷デバイスである。

図3に示す構成において、入力デバイスによって取得された画像データをWCS画像データに変換する方法は図2と同様であり、その詳細説明を省略する。WCS画像データは、作業色空間プロファイル207によってDIC画像データに変換された後、共通表示色域マッピング224を用いて複数のモニタ208-211に共通する表示色域（以下、共通表示色域）内にマッピングされる。共通表示色域内へマッピングされた画像データは、各モニタのモニタプロファイル212-215を用いて各モニタの色域内にマッピングされて、各ユーザのモニタ208-211に表示される。

同様に、WCS画像データは、作業色空間プロファイル207、共通投影色域マッピング225および出力プロファイル220を用いて投影デバイスの色域内にマッピングされて、プロジェクタ216に出力される。また、WCS画像データは、作業色空間プロファイル207、共通印刷色域マッピング226および出力プロファイル222、223を用いて各印刷デバイスの色域内にマッピングされて、印刷機217やプリンタ218、219に出力される。なお、共通表示色域マッピング224、共通投影色域マッピング225、共通印刷色域マッピング226は、特許文献3に示されるような公知の技術によって作成される。

図3の構成によれば、複数のモニタ208-211に共通する表示色域、および、共通表示色域マッピング224が用いられるため、各ユーザのモニタ208-211における色再現は同一になる。また、また、複数の投影デバイスに共通な色域（共通投影色域）および共通投影色域マッピング225が用いられるため、複数のプロジェクタがある場合の色再現も同一になる。勿論、複数の印刷デバイスに共通な色域（共通印刷色域、例えばSWOP）および共通印刷色域マッピング226が用いられるため、印刷機217、プリンタ218、219における色再現も同一になる。

ただし、共通表示色域（例えばsRGB）、共通投影色域（例えばDCI P3）、共通印刷色域（例えばSWOP）は互いに異なる。従って、モニタ208-211における色再現、プロジェクタ216における色再現、印刷機217、プリンタ218、219における色再現は互いに異なる。しかし、表示デバイスの間の色再現が共通化され、共同作業によるWCS画像データの編集に適した環境を提供することができる。また、印刷デバイスの間の色再現が共通化され、複数の印刷デバイスを用いて、同一コンテンツの異なる部分を同時に印刷することが可能になり、印刷時間の短縮を図ることができる。

●カラーマッチング処理の構成例３
図4により複数のデバイスが接続されたネットワーク環境におけるカラーマッチング処理の別の構成例を説明する。図4は、すべてのデバイスに共通の色域マッピングを適用した後、各デバイスに対して個別に最適化されたプロファイルを適用する例を示している。

図4に示す構成において、入力デバイスによって取得された画像データをWCS画像データに変換する方法は図2と同様であり、その詳細説明を省略する。WCS画像データは、作業色空間プロファイル207によってDIC画像データに変換された後、共通色域マッピング227を用いて、すべてのデバイスに共通する色域（以下、全共通色域）内にマッピングされる。なお、共通色域マッピング227は、共通表示色域マッピング224などの作成技術と同様な技術によって作成される。全共通色域内へマッピングされた画像データは、各デバイスのプロファイルを用いて各デバイスの色域内にマッピングされて、各デバイスに出力される。

図4の構成によれば、全デバイスに共通する色域（例えばSWOP）、および、全共通色域マッピング227が用いられるため、各デバイスにおける色再現は同一になる。従って、評価対象のデバイス（以下、対象デバイス）すべてにおいて同一色再現が得られ、共同作業によるWCS画像データの編集に適した環境が提供されるとともに、色校正の手間を省くことができる。

なお、カラーマッチング処理において使用するデバイス非依存色空間は、CIEXYZ空間やCIELAB空間に限らない。例えば、CIELUVなどのデバイス非依存色空間、あるいは、CIECAM97sやCIECAM02において利用されるJChやQMhなどの観察条件非依存色空間でも構わない。また、共通表示色域、共通投影色域、共通印刷色域、全共通色域を決定する際に用いる複数の対象デバイスは、評価対象のデバイスすべてである必要はなく、一部のデバイスを対象としても構わない。

［作業色空間と共通色域］
図5により各種デバイスに採用されている典型的な標準色空間の色域の違いを示す。図5はCIE1931色度図の一例であり、実際の色域は明度方向を含む三次元形状を有すが、色度図上では各色域の最大彩度の領域が示されている。

モニタ用の色空間としては、パーソナルコンピュータ上でのウェブコンテンツの制作・閲覧や、一般向けディジタルカメラの画像表示に最適なsRGB空間（RGB系）がある。また、RGB系の印刷用途やプロ向けディジタルカメラの画像表示に最適なAdobeRGB空間（RGB系）などもモニタ用の色空間として利用される。プロジェクタ用としてはディジタルシネマ制作に最適なDCI P3空間（RGB系）などがあり、印刷用としてはSWOP空間（CMYK系）などがある。

作業色空間には一般にsRGB色空間が利用されるが、業種や用途によって利用する色空間が異なる。例えば、印刷業界で利用されるSWOP空間の色域には、sRGB空間の色域より広い部分が存在する。そのため、作業色空間としてSWOP空間をそのまま利用してCMYK編集する場合や、sRGB空間より広いAdobeRGB空間を利用してRGB編集する場合がある。また、ディジタルシネマ制作の場合は、作業色空間としてDCI P3が選択される。その他、放送用としてRec. 709空間（RGB系）、印刷用としてJapanColor空間（CMYK系）、JMPAColor空間（CMYK系）、Euroscale空間（CMYK系）などがある。

作業色空間を利用する利点は、画像編集する色空間を実際の入力デバイスや表示デバイスの色域と独立に設定することができる点である。作業色空間を利用せず、入力画像を入力デバイスの色空間上で画像編集すると、作業色空間への変換誤差や色空間の量子化誤差が発生しない利点があるが、コンテンツの色域が入力デバイスの色域に制限される問題がある。

また、作業色空間を利用せず、入力画像を表示デバイスの色空間に変換して画像編集する場合、画像を表示する際のカラーマッチングが不要になり、表示が高速化する利点があるが、やはり、コンテンツの色域が表示デバイスの色域に制限される問題がある。一方、作業色空間を利用すれば、実際の入力デバイスや表示デバイスの色域より広い色域を用いるコンテンツの画像編集が可能になる。

例えば、図2に示すようにsRGB相当やAdobeRGB相当のモニタしか存在しない作業環境においてディジタルシネマ制作を行う場合、作業色空間としてDCI P3色空間を設定すればディジタルシネマ向けの画像編集を行うことができる。図5に示すように、DCI P3色空間の色域は、AdobeRGB色空間の色域と比べて、赤色や緑色の領域が広くなっている。

ユーザが画像編集中の画像の色を確認する際、モニタが再現可能な「モニタ色域内の色」については作業色空間上の色と同じ色で確認することができる。しかし、モニタが再現不可能な「モニタ色域外の色」については色域マッピング後の色で確認することになる。つまり、色域マッピング後の色は色域マッピング前の色と異なり、作業色空間上の色と同じ色で確認を行うことができない色の乖離が生じる。

色の乖離傾向はモニタの色域が狭くなるほど顕著である。図3に示す構成の場合、複数のモニタの色域の中で最も狭い色域に依存し、共通表示色域は例えばsRGB相当に制限される。また、図4に示す構成の場合、全デバイスの色域の中で最も狭い色域に依存し、全共通色域は例えばSWOP相当に制限される。このように、複数デバイスの共通色域を利用する場合、デバイスの組み合わせによって共通色域の大きさが異なるため、最適な共通色域を選択する必要がある。

共通色域を利用する場合、デバイスの組み合わせによって共通色域の大きさが異なり、最適な共通色域を選択するにはデバイスの数を制限したり、デバイスの組み合わせを変えたりする必要がある。

図6の概念図により複数デバイスの共通色域を示す。なお、色域は三次元形状で示されるが、簡単化のため等明度面（二次元）で色域を示す。入力色空間の色域410に対して、デバイスAの色域401、デバイスBの色域402、デバイスCの色域403の三つの色域が存在すると仮定する。この場合、各デバイスの色域をGA、GB、GCとすると、色域GA、GB、GCの大小関係は以下のように表される。
GA ＞ GB ＞ GC …(1)

しかし、色域が大きいデバイス同士を組み合わせても共通色域が最大になるとは限らない。複数デバイスの共通色域を積集合「∩」を利用して表現すると、各共通色域の大小関係は以下のように表される。
GA∩GC ＞ GA∩GB ＞ GB∩GC …(2)

式(2)より、色域が大きいデバイス同士の組み合わせであるGA∩GBよりも、GA∩GCの方が大きい共通色域になることがわかる。言い替えれば、各共通色域の大小関係は、個々の色域の重なり具合によって変化し、個々の色域の大きさから決定することはできず、各共通色域の大きさを評価する必要があることがわかる。

［最適な共通色域を選択するためのワークフロー］
図7の概念図により最適な共通色域を選択するワークフロー例を示す。図7(a)は、複数のデバイスを利用して共同作業を行う一例を示している。共同作業に使用されるデバイスAからDの四つのデバイスすべての色域がAdobeRGB相当であれば、共通色域としてAdobeRGB相当の色域を利用した共同作業が可能になる。しかし、デバイスDの色域がsRGB相当であり、他のデバイスAからCの色域がAdobeRGB相当である場合、共通色域はsRGB相当に制限され、より狭い色域で共同作業を行うことになる。従って、n台の複数デバイスの中からr台（r≦n）を選択する組み合わせに対して共通色域を評価し、スコア順に提示することができれば、共同作業における最適な共通色域の容易な選択が可能になる。

図7(b)は、n台の複数デバイスの中からr台（r≦n）を選択する組み合わせ例を示す。n台の複数デバイスの中からr台（r≦n）を選択する組み合わせnCrは以下のようになる。
nCr = n!/{(n - r)!r!} …(3)

n=4の場合、各デバイスの色域をGA、GB、GC、GDとすれば、四台から一台を選択する場合の色域の組み合わせはGA、GB、GC、GDの四通りになる。四台から二台を選択する場合の共通色域の組み合わせはGA∩GB、GA∩GC、GA∩GD、GB∩GC、GB∩GD、GC∩GDの六通りになる。同様に、四台から三台を選択する場合の共通色域の組み合わせはGA∩GB∩GC、GA∩GB∩GD、GA∩GC∩GD、GB∩GC∩GDの四通りになり、四台から四台を選択する場合の共通色域の組み合わせはGA∩GB∩GC∩GDの一通りになる。以下では簡単化のために、各組み合わせの共通色域を次のように表現する。
₄C₂における共通色域：G_XY；
₄C₃における共通色域：G_XYZ；
₄C₄における共通色域：G_ABCD； …(4)
ここで、X、Y、ZはA、B、C、Dの何れか。

図7(c)は、n台の複数デバイスの中からr台（r≦n）を選択する組み合わせに対して共通色域を評価し、デバイスの組み合わせと評価結果の表示例を示す。共通色域に対するスコアは、例えば、評価対象の画像（以下、評価画像）のWCS画像データをDIC画像データに変換し、共通色域に対する内外判定を行った結果に基づき算出する。例えば、DIC画像データの全画素数に対する、共通色域内に位置する画素数の割合（以下、色域包含率）を算出することによって、評価画像に対するスコアを求める。

また、画像の代わりに、作業色空間の全色（例えばRGB系8ビットならば224色）に対する、共通色域内に位置する色数の割合（色域包含率）を算出すれば、作業色空間に対するスコアを求めることができる。共通色域に対するスコアは、評価画像や作業色空間に対する色域包含率に限定されず、共通色域外に位置する画素や色の平均色差が小さいほどスコアが大きくなるようなデバイス評価関数を用いて算出しても構わない。なお、平均色差とは、色域外の画素（または色）と色域境界の間の距離の平均値、または、色域マッピング前後の画素（または色）の色差の平均値である。

共通色域に対するスコアが算出されると、図7(c)に示すように、スコアの大きい順にデバイスの組み合わせをランキング表示する。この表示を参照すれば、一台を選択する場合はデバイスB（色域GB）の選択が最適であり、二台を選択する場合はデバイスAとCの組み合わせ（色域G_AC）の選択が最適であることがわかる。同様に、三台を選択する場合はデバイスA、B、Cの組み合わせ（色域G_ABC）が最適であることがわかる。ユーザは、このランキング表示を参照して、複数デバイスから何台利用するか、どのデバイスの組み合わせを利用するかを検討し、利用形態に応じて最適な組み合わせを選択することができる。

［デバイス評価部］
評価画像に対するデバイス評価関数は、上述した色域包含率や平均色差のように、評価目的に応じて複数存在する。また、評価対象の色域は、単一デバイスの色域であっても、複数デバイスの組み合わせに対する共通色域であっても構わない。

評価画像に対する従来のデバイス評価関数は、画素ごとに評価値を求め、画素ごとの評価値に対する均一な重み付けによってデバイスの評価値を算出する。例えば、色域包含率をデバイスの評価値とする場合、評価画像の画素ごとに色域内外判定の評価(IN/OUT)を行い、色域内(IN)と判定した画素数を評価画像の全画素数で除算してデバイスの評価値を算出する。また、平均色差をデバイスの評価値とする場合、評価画像の画素と色域マッピング後の画素の間において画素ごとに色差評価を行い、全画素の色差を平均してデバイスの評価値を算出する。

しかし、画素ごとの評価値に対して均一な重み付けを行った評価結果は、主観的評価結果と一致しない。これは、評価対象の画素が「視線が向いている画素」であっても「視線が向いていない画素」であっても、同じ重み付けによって評価されるためである。

上記の問題を解決するために、画素ごとの評価値に対して、均一な重み付けではなく、「顕著性マップ(saliency map)」の値を重みとした加重平均を適用する。顕著性マップは、画像中のすべての位置において視覚的に目立つ度合（近傍に比べて目立つ度合）を表現したマップである。顕著性マップを利用することにより、画像上で人間が視覚的注意を向け易い領域を推定することができる。視線計測に基づいた研究により、画像上において「視線が向いている領域」と「視覚的注意を向け易い領域」の間に高い相関があることが知られている。顕著性マップによって重み付けを行うことにより、評価対象になる画素が「視覚的注意を向け易い画素」について評価の重みが大きくなり、「視覚的注意を向け難い画素」について評価の重みが小さくなり、人間の知覚に合致した色再現性の評価が可能になる。

図8のブロック図により実施例のデバイス評価を説明する。画像取得部607は、評価画像として作業色空間のWCS画像データ（または色データ）601を取得する。色変換部608は、評価画像のプロファイルとして作業色空間用プロファイル207を用いて、WCS画像データ601をデバイス非依存色空間のDIC画像データ602に変換する。デバイス評価部603は、DIC画像データ602を用いて対象デバイスのスコアを算出する。

デバイス評価部603は、顕著性マップ生成部604、画素評価部605、顕著性色再現評価部606を有する。詳細は後述するが、DIC画像データ602は、顕著性マップ生成部604と画素評価部605へ入力されて、顕著性マップと画素ごとの評価値が生成される。顕著性色再現評価部606は、画素ごとの評価値に対して、顕著性マップの値を重みとする加重平均を適用し、対象デバイスのスコアを出力する。

●顕著性マップ生成部
画像から顕著性マップを生成する方法として、非特許文献2や非特許文献3などが知られている。非特許文献2は網膜神経節細胞の受容野の構造であるcenter-surround構造に基づいたモデルを示し、非特許文献3は視覚的特徴上にマルコフ連鎖を定義したグラフベースモデルを示す。しかし、従来の顕著性マップの生成方法はRGB画像の入力を前提としているため、DIC画像データ602や観察条件（順応輝度、白色点、背景輝度、周囲光レベル）に応じたカラーアピアランス（色の見え）には対応していない。

図9のブロック図により顕著性マップ生成部604の構成例を示す。顕著性マップ生成部604は、DIC画像データ602に対してCIECAM97sやCIECAM02のようなカラーアピアランスモデル(CAM)700を適用する。CAM700の入力はCIEXYZ値であるため、DIC画像データ602がCIELab値の場合はCIEXYZ値に変換してからCAM700を適用する必要がある。CAM700により、観察条件702（順応輝度、白色点、背景輝度、周囲光レベル）に基づき、DIC画像データ602の画素値はCIEXYZ値からカラーアピアランス値（JCH値）に変換される。なお、Jは明度(Lightness)、Cは色度(Chroma)、Hは色相(Huequadrature)である。

図10により色相角(Hueangle)hと色相(Huequadrature)Hの違いを示す。図10(a)は色相角hを示し、色相角hは0度から360度で表現され、マンセル表色系の色相に近い。一方、図10(b)は色相(Huequadrature)Hを示し、色相Hは0度から400度で表現され、NCS (Natural Color System)表色系の色相に近い。色相Hが0度または400度はRed（赤）、100度がYellow（黄）、200度がGreen（緑）、300度がBlue（青）に相当する。ここでは、Redness-Greenness成分とYellowness-Blueness成分という反対色の関係を利用するため色相Hを用いる。

顕著性マップ生成部604は、成分分解部701を用いて、下式のように、DIC画像データ602のJCH値を明度成分と二つの反対色成分に分解する。
L成分 = J；
R-G成分 = C・cos(H・π/200)；
Y-B成分 = C・sin(H・π/200)； …(5)
ここで、L成分は明度(Lightness)成分、
R-G成分は反対色成分のRedness-Greenness成分、
Y-B成分は反対色成分のYellowness-Blueness成分。

次に、顕著性マップ生成部604は、視覚的特徴を抽出するために、空間フィルタリング710により、多重解像度画像の集合720を生成し、特徴量マップの集合730を生成する。人間の視覚の空間特性は、L成分に対してはバンドパス特性を示し、R-G成分とY-B成分に対してはローパス特性を示すことが知られている。

図11のグラフによりL成分と反対色成分に対するコントラスト感度特性(contrast sensitivity functions: CSF)例を示す。図11において、横軸は空間周波数[cycles per degree]、縦軸はコントラスト感度を示す。図11(a)はL成分に対するコントラスト感度特性CSFであり、バンドパス特性を示す。図11(b)はR-G成分に対するコントラスト感度特性CSF、図11(c)はY-B成分に対するコントラスト感度特性CSFであり、それぞれローパス特性を示す。

明度、色、エッジ方向の特徴に対する特徴量マップの集合730の生成について説明する。上記の人間の視覚の空間特性から特徴量マップの生成に有効なフィルタがわかる。つまり、明度に対する特徴量マップ731の生成に有効なフィルタはバンドパス特性を有するDoG (Difference of Gaussians)フィルタが有効である。また、色に対する特徴量マップ732の生成に有効なフィルタはローパス特性を有するガウシアンフィルタである。また、エッジ方向に対する特徴量マップ733の生成に有効なフィルタはガボール(Gabor)フィルタとcenter-surround構造を考慮したDifference of Gaborsフィルタである。

明度に対する特徴量マップ731：L成分にスケールが異なるガウシアンフィルタ711を適用して明度に対する多重解像度画像721を生成し、スケールが異なる多重解像度画像721の差分にDoGフィルタを適用することで特徴量マップ731を生成する。

色に対する特徴量マップ732：R-G成分とY-B成分にスケールが異なるガウシアンフィルタ712を適用してR-G成分に対する多重解像度画像722とY-B成分に対する多重解像度画像722を生成する。色に対する特徴量マップ732はローパス特性であることから、R-G成分に対する多重解像度画像722をR-G成分に対する特徴量マップ732として利用する。また、Y-B成分に対する多重解像度画像722をY-B成分に対する特徴量マップ732として利用する。

エッジ方向に対する特徴量マップ733：L成分にスケールが異なるガボールフィルタ713（θ-{0°, 45°, 90°, 135°}）を適用してエッジ方向に対する多重解像度画像723を生成する。そして、スケールが異なる多重解像度画像723の差分にDifference of Gaborsフィルタを適用して、各方向の特徴量マップ733を生成する。

次に、顕著性マップ生成部604は、スケールが異なる特徴量マップの集合730から特徴別マップの集合740を生成する。明度に対する特徴量マップ731は、スケールが異なるDoGフィルタを適用した複数のマップから構成される。そのため、各マップを正規化し、画素ごとに算術平均を求めて、明度に対する特徴別マップ741を生成する。

色に対する特徴量マップ732（R-G成分に対する特徴量マップとY-B成分に対する特徴量マップ）は、スケールが異なるガウシアンフィルタを適用した複数のマップから構成される。そのため、各マップを正規化し、画素ごとに算術平均を求めて、色に対する特徴別マップ742を生成する。

エッジ方向に対する特徴量マップ733（θ-{0°, 45°, 90°, 135°}）は、スケールが異なるDifference of Gaborsフィルタを適用した複数のマップから構成される。そのため、各マップを正規化し、画素ごとに算術平均を求めて、エッジ方向に対する特徴別マップ743を生成する。

次に、顕著性マップ生成部604は、特徴別マップの集合740から顕著性マップ750を生成する。明度に対する特徴別マップ741、色に対する特徴別マップ742、エッジ方向に対する特徴別マップ742は、特徴ごとに一つのマップになっている。そのため、画素ごとに算術平均を求めて、顕著性マップ750を生成する。

顕著性マップ750の生成は特徴別マップの算術平均に限定されるものではなく、特徴別マップに異なる重み付けを行った加重平均を顕著性マップ750としても構わない。また、上記では、明度、色、エッジ方向の三つの特徴から顕著性マップ750を生成する例を示したが、特徴の種類は明度、色、エッジ方向に限定されるものではなく、運動方向やフリッカなどを含めることができる。

●画素評価部
画素評価部605における画素の評価は、対象デバイスに対する色域内外判定や色差（色域外の画素と色域境界の間の距離、または、色域マッピング前後の画素の色差）のように、評価目的に応じて複数存在する。ここで、画素の評価は、周辺画素の影響を考慮しない画素ごとの評価と定義する。また、評価対象になる色域は、単一デバイスの色域であっても、複数デバイスの組み合わせに対応する共通色域であっても構わない。

対象デバイスに対する色域内外判定は、デバイス非依存色空間のDIC画像データ602の画素が対象デバイスの色域の内側に位置するか外側に位置するかで判定される。ここで、対象デバイスの色域は、対象デバイスのプロファイルから取得することができる。対象デバイスに対する色域色差は、DIC画像データ602において色域外と判定された画素の色と、対象デバイスの色域境界の色の間の距離によって求めることができる。

図12により色域色差の取得方法を説明する。図12(a)は、評価画像の画素の色1002が対象デバイスの色域境界1001の外に位置する場合、色1002と中間グレイの二点を結ぶ補助線と色域境界1001の交点1003を求め、色1002と交点1003の距離を色域色差ΔEとする方法を示す。なお、中間グレイは(L, C, h)=(50, 0, 0)などである。図12(b)は、色1002と等明度な補助線と色域境界1001の交点1004を求め、色1002と交点1004の距離を色域色差ΔEとする方法を示す。また、図12(c)は、色1002と色域境界1001の距離が最小になる色域境界1001上の点1005を求め、色1002と点1005の距離を色域色差ΔEとする方法を示す。

また、色域マッピング前後の色差は、DIC画像データ602の画素に対して対象デバイスのプロファイルの色域マッピングを適用し、DIC画像データ602の画素と色域マッピング後の画素の色差を求める方法である。

●顕著性色再現評価部
顕著性色再現評価部606は、評価画像に対する顕著性マップと、評価画像に対する画素評価値が得られると、画素ごとの評価値に対して顕著性マップの値を重みとした加重平均を求めて、対象デバイスのスコアを算出することができる。

図13により顕著性色再現評価の一例を示す。図13において、S(x, y)は顕著性マッピ生成部604が生成した顕著性マップ1101である。G(x, y)は画素評価部605が生成した色域マップ1102であり、色域マップ1102はDIC画像データ602の全画素の色域内外判定の結果を示す。また、D(x, y)は画素評価部605が生成した色差マップ1103であり、色差マップ1103はDIC画像データ602の全画素について色差を示す。

図13(a)は、スコアとして顕著性を考慮した色域包含率である顕著性色域包含率Egを求める例であり、顕著性色域包含率Egは下式によって算出される。
Eg = Σ_yΣ_x{G(x, y)×S(x, y)}/Σ_yΣ_xS(x, y)×100[%] …(6)
ここで、Σ_xの範囲はx=0からx=W-1、
Σ_yの範囲はy=0からy=H-1、
W、Hは評価画像の幅と高さ、
色域内の場合にG(x, y)=1、色域外の場合にG(x, y)=0。

図13(b)は、スコアとして顕著性を考慮した平均色差である顕著性色差Edを求める例であり、顕著性色差Edは、下式によって算出される。
Ed = Σ_yΣ_x{D(x, y)×S(x, y)}/Σ_yΣ_xS(x, y)×100[%] …(7)
ここで、D(x, y)は、色域色差でも色域マッピング前後の色差でも構わない。

［顕著性を考慮したデバイス評価］
図14のフローチャートにより顕著性を考慮したデバイス評価を説明する。画像取得部607は、評価画像としてWCS画像データ601を取得する(S201)。色変換部608は、画像取得部607が取得したWCS画像データ601に関連付けられたソースプロファイルを取得する(S202)。ソースプロファイルとしては、デバイス用のプロファイル、標準色空間として使用される作業色空間用のプロファイルなどである。色変換部608は、ソースプロファイルを用いて、WCS画像データ601をDIC画像データ602に変換する(S203)。

次に、顕著性マップ生成部604は、DIC画像データ602から顕著性マップ1101を生成する(S204)。また、画素評価部605は、DIC画像データ602の画素ごとにデバイス評価を行い、画素評価マップとして色域マップ1102および/または色差マップ1103を生成する(S205)。そして、顕著性色再現評価部606は、式(6)または式(7)により、顕著性マップ1101の値を重みとして画素評価マップの加重平均を行い、対象デバイスのスコアを算出する(S206)。

図15A、図15Bのフローチャートにより顕著性マップ生成部604の処理(S204)を説明する。顕著性マップ生成部604は、WCS画像データ601の観察条件701（順応輝度、白色点、背景輝度、周囲光レベル）を取得する(S301)。なお、WCS画像データ601の観察条件がソースプロファイルに予め格納されている場合、ソースプロファイルから観察条件を取得することもできる。

次に、顕著性マップ生成部604は、CAM700と観察条件701を用いて、DIC画像データ602の画素値CIEXYZをJCH値に変換し(S302)、式(5)を用いて、JCH値をL成分、R-G成分、Y-B成分に分解する(S303)。そして、DIC画像データ602の全画素にステップS302とS303の処理を施したか否かを判定し(S304)、未処理の画像がある場合は処理をステップS302に戻す。

ステップS302とS303の処理が終了すると、顕著性マップ生成部604は、L成分、R-G成分、Y-B成分から明度に対する特徴別マップ741、色に対する特徴別マップ742、エッジ方向に対する特徴別マップ743を生成する処理を開始する。以下では、明度に対する特徴別マップ741の生成処理(S305)、色に対する特徴別マップ742の生成処理(S306)、エッジ方向に対する特徴別マップ743の生成処理(S307)の順に説明する。しかし、各マップの生成順は任意であり、並列処理によって略同時に生成されてもよい。

●明度に対する特徴別マップの生成
明度に対する特徴別マップ741の生成(S305)において、L成分に対してスケールが異なるDoGフィルタが適用される(S311)。そして、ステップS312の判定により、所定のスケール数の特徴量マップ731が生成されるまでステップS311が繰り返される。DoGフィルタを適用した特徴量マップは、ガウシアンフィルタ711によって生成された多重解像度画像721を利用して、スケールが異なる多重解像度画像721の差分から生成しても構わない。なお、DoGフィルタの適用結果は、下式によって定義される。
G(x, y, σ) = 1/(2πσ²)exp{-(x²+y²)/(2σ²)} …(8)
L(x, y, σ) = G(x, y, σ)ＸI(x, y) …(9)
D(x, y, c, s) = L(x, y, c) - L(x, y, s)
= G(x, y, c)ＸI(x, y) - G(x, y, s)ＸI(x, y)
= {G(x, y, c) - G(x, y, s)}ＸI(x, y) …(10)
ここで、σは標準偏差、
I(x, y)は評価画像、
G(x, y, σ)はガウシアンフィルタ、
L(x, y, σ)は評価画像とガウシアンフィルタの畳み込み、
cはcenter-surround構造のcenter側の標準偏差、
sはcenter-surround構造のsurround側の標準偏差、
Ｘはテンソル積。

スケールが異なるDoGフィルタは、空間周波数領域において上限が図11(a)に示すL成分のコントラスト感度特性CSFを超えない一つまたは複数のDoGフィルタで構成されるものとする。図11(a)に示すL成分のコントラスト感度特性CSFは、例えば、下式によって定義される。
CSF_achroma(f) = a・f^c・exp(-b・f) …(11)
ここで、各パラメータは(a, b, c)=(75, 0.2, 0.8)、
fは空間周波数(cycles per degree)。

所定のスケール数の特徴量マップ731が生成されると、各マップが正規化され(S313)、画素ごとに正規化マップの算術平均が求められて、明度に対する特徴別マップ741が生成される(S314)。

●色に対する特徴別マップの生成
色に対する特徴別マップ742の生成(S306)において、R-G成分に対してスケールが異なるガウシアンフィルタが適用される(S321)。そして、ステップS322の判定により、所定のスケール数の特徴量マップ732が生成されるまでステップS321が繰り返される。

ここで、ガウシアンフィルタの適用結果は式(9)によって定義される。スケールが異なるガウシアンフィルタは、空間周波数領域において上限が図11(b)に示すR-G成分のコントラスト感度特性CSFを超えない一つまたは複数のガウシアンフィルタで構成されるものとする。図11(b)に示すR-G成分に対するコントラスト感度特性CSFは、例えば、下式によって定義される
CSF_chroma(f) = a1・exp(-b1・f^c1) + a2・exp(-b2・f^c2) …(12)
ここで、各パラメータは(a1, b1, c1, a2, b2, c2)=(109.1413, 0.00038, 3.4244, 93.5971, 0.00367, 2.1677)。

また、Y-B成分に対してスケールが異なるガウシアンフィルタが適用され(S323)、ステップS324の判定により、所定のスケール数の特徴量マップ732が生成されるまでステップS323が繰り返される。

ここで、ガウシアンフィルタの適用結果は式(9)によって定義される。スケールが異なるガウシアンフィルタは、空間周波数領域において上限が図11(c)に示すY-B成分のコントラスト感度特性CSFを超えない一つまたは複数のガウシアンフィルタで構成されるものとする。図11(c)に示すY-B成分に対するコントラスト感度特性CSFは、例えば、式(12)によって定義される。各パラメータは(a1, b1, c1, a2, b2, c2)=(7.0328, 0.000004, 4.2582, 40.6910, 0.10391, 1.6487)である。

R-G成分とY-B成分について所定のスケール数の特徴量マップ732が生成されると、各特徴量マップが正規化される(S325、S326)。そして、R-G成分の正規化特徴量マップ732とY-B成分の正規化特徴量マップ732について画素ごとに算術平均が求められて、色に対する特徴別マップ742が生成される(S327)。

●エッジに対する特徴別マップの生成
エッジに対する特徴別マップ743の生成(S307)において、L成分に対してスケールが異なるDifference of Gaborsフィルタが適用される(S331)。そして、ステップS332の判定により、所定のスケール数の特徴量マップ733が生成されるまでステップS331が繰り返される。Difference of Gaborsフィルタを適用した特徴量マップは、ガボールフィルタ713によって生成された多重解像度画像723を利用して、スケールが異なる多重解像度画像723の差分から生成しても構わない。

所定のスケール数の特徴量マップ733が生成されると、各マップが正規化され(S333)、画素ごとに算術平均が求められて、エッジに対する特徴別マップ743が生成される(S334)。

明度、色、エッジに対する特徴別マップ741、742、743の生成処理(S305、S306、S307)が終了すると、画素ごとに、それら特徴別マップの算術平均を求めて、顕著性マップが生成される(S308)。なお、顕著性マップの生成は、特徴別マップの算術平均による結合だけに限定されるものではなく、特徴別の特徴マップに異なる重み付けを行う加重平均による結合を用いても構わない。

●画素評価
図16のフローチャートにより画素評価部605の処理(S205)を説明する。図16(a)は対象デバイスに対する色域内外判定の結果を示す色域マップ1102または色域色差を示す色差マップ1103の生成手順を示す。また、図16(b)は対象デバイスに対する色域マッピング前後の色差を示す色差マップ1103の生成手順を示す。色域マップ1102と色差マップ1103は、評価目的に応じて何れかを利用してもよいし、複数を併用してもよい。

まず、図16(a)を用いて、色域内外判定の結果を示す色域マップ1102の生成を説明する。画素評価部605は、対象デバイスの色域情報を取得する(S401)。対象デバイスの色域は、対象デバイスのプロファイル、複数のデバイスに共通な色域を含むプロファイル、ソースプロファイルとは異なる標準色空間用のプロファイルといったプロファイルから取得することができる。

次に、画素評価部605は、DIC画像データ602の画素値であるCIEXYZ値が、対象デバイスの色域内に位置するか色域外に位置するかを判定する内外判定を行う(S402)。そして、DIC画像データ602の全画素について内外判定を行ったか否かを判定し(S403)、内外判定が未了の画素がある場合は処理をステップS402に戻す。

内外判定が未了の画素がなく内外判定が終了した場合、画素評価部605は、生成するマップを判定する(S404)。色域マップ1102を生成する場合は、既に色域マップ1102が得られているので処理を終了する。一方、色差マップ1103を生成する場合は、色域外に位置すると判定した画素について図12に示す何れかの方法で色域色差ΔEを算出して(S405)、処理を終了する。なお、色域境界を含む色域内に位置すると判定された画素の色域色差ΔEは零である。

次に、図16(b)を用いて、色域マッピング前後の色差を示す色差マップ1103の生成を説明する。画素評価部605は、対象デバイスの色域マッピング情報を取得する(S411)。対象デバイスの色域マッピングは、対象デバイスのプロファイル、複数のデバイスに共通な色域を含むプロファイル、ソースプロファイルとは異なる標準色空間用のプロファイルといったプロファイルから取得することができる。

次に、画素評価部605は、DIC画像データ602の画素値であるCIEXYZ値に対象デバイスの色域マッピングを適用して色域マッピング後のCIEXYZ値を求める(S412)。そして、色域マッピング前のCIEXYZ値と色域マッピング後のCIEXYZ値をそれぞれCIELab値に変換して色差ΔEを算出する(S413)。そして、DIC画像データ602の全画素について色差ΔEを算出したか否かを判定し(S414)、色差ΔEの算出が未了の画素がある場合は処理をステップS412に戻す。また、色差ΔEの算出が未了の画素がない場合は、色差マップ1103が得られたことになり、処理を終了する。

このように、評価画像の画素ごとの評価値に対して、均一な重み付けではなく、顕著性マップの値を重みとした加重平均を適用することにより、対象デバイスが評価画像を再現する場合の人間の知覚に合致した色再現性の評価を行うことが可能になる。従って、主観的評価の結果に一致または近い結果が得られる、客観的な、色再現性の評価、色域の評価、画質の評価を行うことができる。

［その他の実施例］
本発明は、上述の実施形態の一以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける一以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、一以上の機能を実現する回路（例えば、ASIC）によっても実現可能である。

605 … 画素評価部、604 … 顕著性マップ生成部、606 … 顕著性色再現評価部

Claims

画像データの画素ごとに、当該画素の色と色域の関係を評価する画素評価手段と、
前記画像データについて顕著性マップを生成する生成手段と、
前記画素評価手段の評価結果と前記顕著性マップに基づき、前記色域に対応するデバイスにおける前記画像データの色再現性を評価する色再現評価手段とを有する画像処理装置。
前記色域は、デバイスの色域または複数のデバイスに共通する共通色域である請求項1に記載された画像処理装置。
さらに、前記デバイスまたは前記共通色域に対する前記色再現評価手段の評価結果を提示する提示手段を有する請求項2に記載された画像処理装置。
前記画像データは、前記デバイスまたは前記共通色域に対応する複数のデバイスを用いて画像編集される画像データである請求項2または請求項3に記載された画像処理装置。
前記色再現評価手段は、前記顕著性マップの値を重みとして、前記画素評価手段の評価結果の加重平均を行い、前記加重平均の結果を前記デバイスにおける前記画像データの色再現性の評価値とする請求項1から請求項4の何れか一項に記載された画像処理装置。
前記画素評価手段は、周辺画素の影響を考慮しない画素ごとの評価を行う請求項1から請求項5の何れか一項に記載された画像処理装置。
前記画素評価手段は、前記評価として、前記画素の色が前記デバイスの色域内に位置するか否かの内外判定を行う請求項1から請求項6の何れか一項に記載された画像処理装置。
前記色再現評価手段の評価結果は色域包含率を示す請求項7に記載された画像処理装置。
前記画素評価手段は、前記評価として、前記画素の色が前記デバイスの色域外に位置するか否かの内外判定を行い、前記色域外に位置すると判定した画素の色について前記デバイスの色域境界との色差を算出する請求項1から請求項6の何れか一項に記載された画像処理装置。
前記画素評価手段は、前記評価として、前記画素の色を前記デバイスの色域にマッピングし、前記マッピング前後の色の間の色差を算出する請求項1から請求項6の何れか一項に記載された画像処理装置。
前記色再現評価手段の評価結果は平均色差を示す請求項9または請求項10に記載された画像処理装置。
前記生成手段は、
前記画像データの観察条件に基づき前記画像データの画素値をカラーアピアランス値に変換する変換手段と、
前記カラーアピアランス値を明度成分と反対色成分に分解する分解手段と、
前記明度成分と反対色成分を空間フィルタリングして、前記画像データの明度の特徴、色の特徴、エッジ方向の特徴をそれぞれ表す特徴マップを生成するフィルタリング手段を有し、
前記特徴マップを結合して前記顕著性マップを生成する請求項1から請求項11の何れか一項に記載された画像処理装置。
画像データの画素ごとに、当該画素の色と色域の関係を評価し、
前記画像データについて顕著性マップを生成し、
前記評価の結果と前記顕著性マップに基づき、前記色域に対応するデバイスにおける前記画像データの色再現性を評価する画像処理方法。
コンピュータを請求項1から請求項12の何れか一項に記載された画像処理装置の各手段として機能させるためのプログラム。
請求項14に記載されたプログラムが記録されたコンピュータが読み取り可能な記録媒体。