JP2011061731A

JP2011061731A - 画像処理装置及び画像処理方法

Info

Publication number: JP2011061731A
Application number: JP2009212331A
Authority: JP
Inventors: Susumu Niihara; 晋新原; Hiromitsu Nishikawa; 浩光西川; Takahiro Suzuki; 隆広鈴木
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2009-09-14
Filing date: 2009-09-14
Publication date: 2011-03-24
Anticipated expiration: 2029-09-14
Also published as: JP5300672B2

Abstract

【課題】より高い精度で光沢感を再現することができる画像処理装置及び画像処理方法等を提供する。
【解決手段】入力画像の第１の輝度レンジ情報を取得し、前記入力画像内の鏡面反射領域を抽出し、前記第１の輝度レンジ情報、及び前記鏡面反射領域に基づいて、前記入力画像の光沢感を算出し、画像出力装置の第２の輝度レンジ情報を取得し、前記光沢感、及び前記第２の輝度レンジ情報に基づいて、前記画像出力装置から出力される画像における反射領域情報を算出し、前記反射領域情報に基づいて、前記入力画像を補正する。
【選択図】図１

Description

本発明は、光沢感のより精度の高い再現を図った画像処理装置及び画像処理方法等に関する。

近年、コンピュータグラフィクス（ＣＧ）技術の発展に伴い、ＣＧ技術を用いて商品の形状及び色をデザインし、モニタ上で表示させたり、表示させた画像を印刷することで最終的な仕上がりを確認する機会が増えている。商品の色及び光沢感は形状と同様に商品の印象を大きく左右する重要な要素の一つであるため、モニタに表示された画像又は印刷された画像において商品の色及び光沢感を正確に再現することが望まれる。そして、色の再現に関しては様々な技術が既に提案されている。また、モニタへの表示の際にはＣＧ技術を用いて反射モデルのパラメータを制御して所望の光沢感を得ることができる。

しかし、モニタ上で所望の光沢感に調整した画像を印刷する際には、印刷された画像から人間が知覚する光沢感は印刷物の輝度レンジに依存するため、観察照明が暗い場合は、観察照明が明るい場合に比べて画像の光沢感が小さく知覚されてしまう。このため、元画像の光沢感を正確に再現するためには観察照明の明るさに応じて反射成分を補正することが望まれる。そこで、画像内の鏡面反射成分を抽出し、鏡面反射成分の強調又は抑制を行うことで、より現実感をもたらす技術が特許文献１に記載されている。

特開平６−１８７４４３号公報

しかしながら、特許文献１に記載された技術によっても、光沢感を忠実に再現することが困難である。

本発明は、より高い精度で光沢感を再現することができる画像処理装置及び画像処理方法等を提供することを目的とする。

本発明に係る画像処理装置は、入力画像の第１の輝度レンジ情報を取得する入力画像輝度レンジ情報取得手段と、前記入力画像内の鏡面反射領域を抽出する鏡面反射領域抽出手段と、前記第１の輝度レンジ情報、及び前記鏡面反射領域に基づいて、前記入力画像の光沢感を算出する光沢感算出手段と、画像出力装置の第２の輝度レンジ情報を取得する画像出力装置輝度レンジ情報取得手段と、前記光沢感、及び前記第２の輝度レンジ情報に基づいて、前記画像出力装置から出力される画像における反射領域情報を算出する出力画像反射領域情報算出手段と、前記反射領域情報に基づいて、前記入力画像を補正する補正手段とを有する。

本発明に係る画像処理方法は、入力画像の第１の輝度レンジ情報を取得する入力画像輝度レンジ情報取得ステップと、前記入力画像内の鏡面反射領域を抽出する鏡面反射領域抽出ステップと、前記第１の輝度レンジ情報、及び前記鏡面反射領域に基づいて、前記入力画像の光沢感を算出する光沢感算出ステップと、画像出力装置の第２の輝度レンジ情報を取得する画像出力装置輝度レンジ情報取得ステップと、前記光沢感、及び前記第２の輝度レンジ情報に基づいて、前記画像出力装置から出力される画像における反射領域情報を算出する出力画像反射領域情報算出ステップと、前記反射領域情報に基づいて、前記入力画像を補正する補正ステップとを有する。

本発明によれば、光沢感を高い精度で再現することができる。

実施形態に係る画像処理装置の構成を示すブロック図である。実施形態に係る画像処理装置の動作の一例を示すフローチャートである。画像処理装置１が表示するユーザインタフェイス（ＵＩ）の一例を示す図である。ステップＳ３（画像出力装置輝度レンジ情報取得部１０８の動作）の詳細を示すフローチャートである。ステップＳ６（算出部１１２の動作）の詳細を示すフローチャートである。Ｌ＊値の二次元分布の例を示す図である。明度分布の例を示す図である。ステップＳ８（出力画像反射領域情報算出部１０６の動作）の詳細を示すフローチャートである。等光沢感曲面の例を示す図である。ステップＳ９（画像補正部１０３の動作）の詳細を示すフローチャートである。明度分布補正の例を示す図である。

以下、本発明の実施形態について、添付の図面を参照して具体的に説明する。

＜画像処理装置の構成＞
先ず、画像処理装置の構成について説明する。図１は、本発明の実施形態に係る画像処理装置の構成を示すブロック図である。本実施形態に係る画像処理装置１には、図１に示すように、画像入力部１０１、鏡面反射領域抽出部１０２、画像補正部１０３、画像出力部１０４、入力画像輝度レンジ情報取得部１０５、及び出力画像反射領域情報算出部１０６が設けられている。更に、光沢感算出部１０７、画像出力装置輝度レンジ情報取得部１０８、プロファイル記憶部１０９、バッファメモリ１１０、鏡面反射領域選択部１１１、算出部１１２、及び等光沢感曲面記憶部１１３も設けられている。

また、画像処理装置１には、プリンタ等の画像出力装置２が、例えばＵＳＢ（Universal Serial Bus）又はＩＥＥＥ１３９４等のシリアルバスインタフェイスなどを介して接続されている。

画像入力部１０１は、入力画像を入力する。鏡面反射領域抽出部１０２は、画像入力部１０１により入力された入力画像内の鏡面反射領域を抽出する。画像補正部１０３は、画像入力部１０１により入力された入力画像の鏡面反射領域を補正する。画像出力部１０４は、画像補正部１０３による補正後の画像を画像出力装置２に出力する。入力画像輝度レンジ情報取得部１０５は、画像入力部１０１により入力された入力画像の輝度レンジ情報Ｉ_in（第１の輝度レンジ情報）を取得する。出力画像反射領域情報算出部１０６は、予め求められ等光沢感曲面記憶部１１３に記憶されている等光沢感曲面を用いて、画像補正部１０３による補正後の画像における鏡面反射領域情報を算出する。等光沢感曲面の詳細については図９を用いて後述する。鏡面反射領域選択部１１１は、鏡面反射領域抽出部１０２により抽出された鏡面反射領域のうちから１つの鏡面反射領域を選択する。算出部１１２は、鏡面反射領域選択部１１１により選択された鏡面反射領域の反射の強度Ａｓ及び広がりｎを算出する。光沢感算出部１０７は、入力画像輝度レンジ情報取得部１０５により取得された輝度レンジ情報Ｉ_in、並びに算出部１１２により算出された反射の強度Ａｓ及び広がりｎに基づいて、画像入力部１０１により入力された入力画像の鏡面反射領域の光沢感を算出する。画像出力装置輝度レンジ情報取得部１０８は、画像出力装置２の輝度レンジ情報を取得する。プロファイル記憶部１０９は、画像出力装置２のプロファイル（画像出力装置２の種類、及び用紙の種類などに対応した各種プロファイル）を記憶している。また、バッファメモリ１１０は、例えばＲＡＭであり、処理途中の演算結果を一時保存する。

＜画像処理装置の構成＞
次に、画像処理装置の動作について説明する。図２は、本実施形態に係る画像処理装置１の動作の一例を示すフローチャートである。また、図３は、画像処理装置１がその動作時に表示するユーザインタフェイス（ＵＩ）の一例を示す図である。このＵＩ（カラーマッチング設定ＵＩ）を介して、ユーザは、入力画像、観察環境の明るさ、画像出力装置２の種類、用紙の種類等を選択することができる。

先ず、ステップＳ１において、画像入力部１０１が入力画像を取得し、この入力画像をバッファメモリ１１０に保存する。

次いで、ステップＳ２において、入力画像輝度レンジ情報取得部１０５が、入力画像に埋め込まれているプロファイルから白色輝度情報を取得し、入力画像輝度レンジ情報Ｉ_inとしてバッファメモリ１１０に保存する。なお、入力画像輝度レンジ情報Ｉ_inは、例えば、入力画像の作成時に当該入力画像を表示していた画像表示装置等の輝度レンジ情報である。入力画像の光沢感は当該入力画像を作成する際に当該入力画像を表示していた画像表示装置等の輝度レンジ情報に依存するが、このような輝度レンジ情報を入力画像輝度レンジ情報Ｉ_inとして用いることにより、入力画像の光沢感を適切に算出することができる。また、白色輝度情報の取得を、ＵＩ等から設定された情報等に基づいて行ってもよい。

その後、ステップＳ３において、画像出力装置輝度レンジ情報取得部１０８が、観察環境の明るさ、画像出力装置２の種類、及び画像出力装置２の用紙の種類に基づいて、当該画像出力装置２の輝度レンジ情報Ｉ_out（第２の輝度レンジ情報を）取得し、バッファメモリ１１０に保存する。観察環境の明るさ、画像出力装置２の種類、及び画像出力装置２の用紙の種類（画像出力装置２に手使用される用紙の種類）は、例えば図３に示すＵＩの操作等にて指定することができる。なお、輝度レンジ情報Ｉ_outの取得の詳細については、図４を参照しながら後述する。

続いて、ステップＳ４において、鏡面反射領域抽出部１０２が、入力画像内の１又は２以上の鏡面反射領域を抽出し、バッファメモリ１１０に保存する。鏡面反射領域の抽出はどのように行われてもよい。例えば、ＵＩの操作等にてユーザが指定してもよい。また、特許文献１に記載された処理等に基づく、ベクトル演算等による自動的な抽出が行われてもよい。

次いで、ステップＳ５において、鏡面反射領域選択部１１１が、鏡面反射領域抽出部１０２により抽出された１又は２以上の鏡面反射領域のうちから１つの鏡面反射領域を選択する。

その後、ステップＳ６において、算出部１１２が、鏡面反射領域選択部１１１により選択された鏡面反射領域の反射の強度Ａｓ及び広がりｎを算出する。反射の強度Ａｓ及び広がりｎの算出の詳細については、図５を参照しながら後述する。

続いて、ステップＳ７において、光沢感算出部１０７が、入力画像輝度レンジ情報Ｉ_in、並びに鏡面反射領域の反射の強度Ａｓ及び広がりｎに基づいて、光沢感Ｇを算出する。光沢感Ｇは、例えば下記の式１（数１）から求めることができる。

次いで、ステップＳ８において、出力画像反射領域情報算出部１０６が、光沢感Ｇ及び画像出力装置２の輝度レンジ情報Ｉ_outに基づいて、画像出力装置２において入力画像と同じ光沢感を再現する鏡面反射領域の反射の強度Ａｓ´及び広がりｎ´を算出する。反射の強度Ａｓ´及び広がりｎ´の算出の詳細については、図８を参照しながら後述する。

その後、ステップＳ９において、画像補正部１０３が、出力画像反射領域情報算出部１０６により算出された鏡面反射領域の反射の強度Ａｓ´及び広がりｎ´に基づいて、入力画像の鏡面反射領域を補正する。鏡面反射領域の補正の詳細については、図１０を参照しながら後述する。

続いて、ステップＳ１０において、画像処理装置１は全ての鏡面反射領域を選択したかどうかを判定する。そして、判定が真であればステップＳ１１へ移行し、偽であればステップＳ５へ移行する。

ステップＳ１１では、画像出力部１０４が、画像補正部１０３により補正された画像のデータを画像出力装置２に供給する。

＜ステップＳ３の詳細（画像出力装置輝度レンジ情報取得部１０８の動作）＞
次に、ステップＳ３の詳細について説明する。図４は、ステップＳ３の詳細を示すフローチャートである。

ステップＳ３では、先ず、ステップＳ３１において、画像出力装置輝度レンジ情報取得部１０８は、バッファメモリ１１０から観察環境の明るさＬ（ｌｘ）を取得する。

次いで、ステップＳ３２において、画像出力装置輝度レンジ情報取得部１０８は、バッファメモリ１１０から画像出力装置２の種類を取得する。

その後、ステップＳ３３において、画像出力装置輝度レンジ情報取得部１０８は、バッファメモリ１１０から用紙の種類を取得する。

続いて、ステップＳ３４において、画像出力装置輝度レンジ情報取得部１０８は、ステップＳ３２及びＳ３３で取得した画像出力装置２の種類及び用紙の種類に対応したプロファイルをプロファイル記憶部１０９から読み込む。

次いで、ステップＳ３５において、画像出力装置輝度レンジ情報取得部１０８は、ステップＳ３４で読み込んだプロファイルに基づいて、白色輝度Ｙ_w、最明点輝度Ｙ_max、及び最暗点輝度Ｙ_minを取得する。

その後、ステップＳ３６において、画像出力装置輝度レンジ情報取得部１０８は、観察環境の明るさＬ、白色輝度Ｙ_w、最明点輝度Ｙ_max、及び最暗点輝度Ｙ_minに基づいて、画像出力装置の輝度レンジ情報Ｉ_outを算出し、バッファメモリ１１０に保存する。輝度レンジ情報Ｉ_outは、例えば下記の式２（数２）から求めることができる。

このようにして、ステップＳ３の処理が行われる。

＜ステップＳ６の詳細（算出部１１２の動作）＞
次に、ステップＳ６の詳細について説明する。図５は、ステップＳ６の詳細を示すフローチャートである。

ステップＳ６では、先ず、ステップＳ６１において、算出部１１２は、入力画像に埋め込まれているプロファイルを用いて、鏡面反射領域選択部１１１により選択された鏡面反射領域内の各画素のＲＧＢ値に対応したＬ＊ａ＊ｂ＊値を算出する。

次いで、ステップＳ６２において、算出部１１２は、ステップＳ６１で算出した鏡面反射領域内のＬ＊値の二次元分布に基づいて最明点を特定する。最明点が複数ある場合は最明点領域の重心を求め、この重心を最明点として特定する。Ｌ＊値の二次元分布の例を図６に示す。

その後、ステップＳ６３において、算出部１１２は、最明点から放射状に明度の変化が最も急激な方向を探索し、その方向における明度分布を算出する。明度分布の例を図７に示す。

続いて、ステップＳ６４において、算出部１１２は、ステップＳ６３で求めた明度分布の最明点と最暗点との差を算出し、これを鏡面反射領域の強度Ａｓとして特定する。

次いで、ステップＳ６５において、算出部１１２は、ステップＳ６３で求めた明度分布における分散を算出し、これを鏡面反射領域の広がりｎとして特定する。

このようにして、ステップＳ６の処理が行われる。

＜ステップＳ８の詳細（出力画像反射領域情報算出部１０６の動作）＞
次に、ステップＳ８の詳細について説明する。図８は、ステップＳ８の詳細を示すフローチャートである。

ステップＳ８では、先ず、ステップＳ８１において、出力画像反射領域情報算出部１０６は、光沢感Ｇを取得する。

次いで、ステップＳ８２において、出力画像反射領域情報算出部１０６は、ステップＳ８１で取得した光沢感Ｇに対応する等光沢感曲面を取得する。等光沢感曲面とは、光沢感Ｇを一定の値とした場合に、光沢感が等しく知覚される点を描画したものであり、主観評価実験等を行うことにより、光沢感Ｇ毎に、それに対応する等光沢感曲面を予め求めておく。ある光沢感Ｇにおける等光沢感曲面の例を図９に示す。底面は鏡面反射領域の反射の強度Ａｓ及び広がりｎから構成され、縦軸が輝度レンジを表している。

その後、ステップＳ８３において、出力画像反射領域情報算出部１０６は、画像出力装置２の輝度レンジ情報Ｉ_outを取得する。

続いて、ステップＳ８４において、出力画像反射領域情報算出部１０６は、ステップＳ８２で取得した等光沢感曲面を用いて、ステップＳ８３で取得した輝度レンジ情報Ｉ_outにおける広がりｎ´を求める。このとき、ｎ´はｎとの差が最も小さい点とする。これは、広がりが大きく異なると画像の印象が変わってしまうため、光沢感の補正はできる限り強度の変化によって補正することが望ましいからである。ただし、強度はデバイスの輝度レンジによる制限があるため、強度が上限値に達した場合には広がりを用いて補正することも許容される。

次いで、ステップＳ８５において、出力画像反射領域情報算出部１０６は、ステップＳ８４で取得した広がりｎ´を満たす点における強度Ａｓ´を取得する。

このようにして、ステップＳ８の処理が行われる。

＜ステップＳ９の詳細（画像補正部１０３の動作）＞
次に、ステップＳ９の詳細について説明する。図１０は、ステップＳ９の詳細を示すフローチャートである。

ステップＳ９では、先ず、ステップＳ９１において、画像補正部１０３は、出力画像反射領域情報算出部１０６により算出された鏡面反射領域の反射の強度Ａｓ´及び広がりｎ´に基づいて、ステップＳ６３において算出部１１２により求められた明度分布を補正する。明度分布補正の例を図１１に示す。実線が補正前の明度分布を示し、点線が補正後の明度分布を示している。

次いで、ステップＳ９２において、画像補正部１０３は、画像内の鏡面反射領域を構成する複数の画素のうちから１つの画素を選択する。

その後、ステップＳ９３において、画像補正部１０３は、ステップＳ９１の補正後の明度分布に基づいて、ステップＳ９２で選択した画素の画素値の明度Ｌ＊値を補正する。

続いて、ステップＳ９４において、画像補正部１０３は、ステップＳ９３でＬ＊値を補正したＬ＊ａ＊ｂ＊値に基づき、画像出力装置２のプロファイルを用いてＲＧＢ値を算出する。

次いで、ステップＳ９５において、画像補正部１０３は、算出されたＲＧＢ値で画像の鏡面反射領域内の画素値を置き換える。

その後、ステップＳ９６において、画像補正部１０３は、鏡面反射領域内の全ての画素を選択したかどうかを判定する。判定が真であればステップ処理を終了し、偽であればステップＳ９２へ移行する。

このようにして、ステップＳ９の処理が行われる。

このような実施形態によれば、光沢感Ｇ及び画像出力装置２の輝度レンジ情報Ｉ_outに基づく、入力画像の補正が行われるため、より高い精度で光沢感を再現することができる。例えば、輝度レンジ情報Ｉ_outには、観察環境の明るさＬ及び用紙（出力媒体）の種類が反映されているため、異なる観察照明下、異なる用紙においても入力画像の光沢感を高い精度で再現することが可能となる。つまり、従来の技術では、観察照明の明るさに応じてどの程度反射成分を強調、又は抑制すればよいかの指標がないため、その度合いは操作者に委ねられているのに対し、本実施形態によれば、適切な指標に基づく補正が可能となる。

本発明の各工程は、ネットワーク又は各種記憶媒体を介して取得したソフトウェア（コンピュータプログラム）をパーソナルコンピュータ等の処理装置（ＣＰＵ、プロセッサ）にて実行することでも実現できる。

Claims

入力画像の第１の輝度レンジ情報を取得する入力画像輝度レンジ情報取得手段と、
前記入力画像内の鏡面反射領域を抽出する鏡面反射領域抽出手段と、
前記第１の輝度レンジ情報、及び前記鏡面反射領域に基づいて、前記入力画像の光沢感を算出する光沢感算出手段と、
画像出力装置の第２の輝度レンジ情報を取得する画像出力装置輝度レンジ情報取得手段と、
前記光沢感、及び前記第２の輝度レンジ情報に基づいて、前記画像出力装置から出力される画像における反射領域情報を算出する出力画像反射領域情報算出手段と、
前記反射領域情報に基づいて、前記入力画像を補正する補正手段と
を有することを特徴とする画像処理装置。
前記第１の輝度レンジ情報は、前記入力画像の作成時に当該入力画像を表示していた画像表示装置の輝度レンジ情報であり、
前記入力画像輝度レンジ情報取得手段は、前記入力画像に埋め込まれているプロファイルから前記第１の輝度レンジ情報を取得することを特徴とする請求項１に記載の画像処理装置。
前記第２の輝度レンジ情報は、前記画像出力装置の種類、前記画像出力装置における出力に用いられる出力媒体、及び前記出力媒体に出力された画像の観察に用いられる照明の明るさの情報を含むことを特徴とする請求項１又は２に記載の画像処理装置。
前記画像補正手段は、前記入力画像の鏡面反射領域の明度分布の強度及び広がりを補正することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
前記出力画像反射領域情報算出手段は、等光沢感曲面を用いて前記反射領域情報を算出することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
入力画像の第１の輝度レンジ情報を取得する入力画像輝度レンジ情報取得ステップと、
前記入力画像内の鏡面反射領域を抽出する鏡面反射領域抽出ステップと、
前記第１の輝度レンジ情報、及び前記鏡面反射領域に基づいて、前記入力画像の光沢感を算出する光沢感算出ステップと、
画像出力装置の第２の輝度レンジ情報を取得する画像出力装置輝度レンジ情報取得ステップと、
前記光沢感、及び前記第２の輝度レンジ情報に基づいて、前記画像出力装置から出力される画像における反射領域情報を算出する出力画像反射領域情報算出ステップと、
前記反射領域情報に基づいて、前記入力画像を補正する補正ステップと
を有することを特徴とする画像処理方法。
コンピュータで実行されることにより、該コンピュータを、請求項１乃至５のいずれか１項に記載の画像処理装置の各手段として機能させることを特徴とするコンピュータプログラム。
請求項７に記載のコンピュータプログラムを記憶したことを特徴とするコンピュータ読取り可能な記憶媒体。