JP2006113535A - 画像処理装置及び方法 - Google Patents

Abstract

【課題】2変調系の表示装置のカラーマネージメント処理において高精度な色再現を実現する。
【解決手段】 輝度変調素子をなす液晶輝度パネルと色変調素子をなす液晶色パネルとを異なる変調素子で構成した表示装置の制御装置であって、輝度変調素子の制御値Tごとに目標となる色の値XYZ（R_iHDRG_iHDRB_iHDR）と色変調素子の制御値R”G”B”（R_8bitG_8bitB_8bit）との関係を記述した絶対XYZ⇒出力リニアRGB変換マトリクス群102を用いて入力された目標となる色の値XYZに基づいて色変調素子の制御値R”G”B”を求め、γ補正部103〜105によって液晶色パネルの制御値R”G”B”を色変調素子の特性に応じて非線形に補正する画像処理装置。
【選択図】 図１

Description

本発明は、2変調系を用いたHDR（High Dynamic Range）ディスプレイにおいて所望の色を再現するためのカラーマネージメント処理等に用いて好適な画像処理装置及び方法に関する。

2変調系のディスプレイ装置の場合、通常の1変調系に光学的に直列にもう1つの変調系をならべるため、通常の1変調系のカラーマネージメント処理では対応できない。そのため、以下に述べるような提案がなされてきた。

特許文献１に記載されている従来例は、2変調系であり、1つの変調系として変調光源を用いている。光源を変調する仕組みとしては、冷陰極管による定常照明と白色LED（Light Emitting Diode）による変調照明の組み合わせになっている。そのため、冷陰極管と白色LEDの発光スペクトルの違いに起因して変調に従い光源光の色度が変化する。その色度変化を以下の（2）式を用いて定式化している。ここで、（1）式は冷陰極管で定常照明した場合の変換式である。

ここで、R，G，BはRGB信号、X，Y，Zは3刺激値、Mは冷陰極管で定常照明した場合の3×3線形変換マトリクス、M’は白色LEDで照明した場合の3×3線形変換マトリクス、gは定数（ゲイン＝白色LEDの輝度レベルによって決定される値）である。

しかし、(3)式ではもう一つの変調素子が例えば液晶パネルのように変調に従い色度が変化するような場合には対応できない。また、上記変調光源の代わりに例えば液晶パネルを用いて変調する場合には色度の変化は非線形となり、上記（2）式の白色LEDのようにgM’といった形で単純に表すことはできない。
特許第３５２３１７０号公報

上述したように従来の技術では、液晶パネルのように変調に対して色度が非線形に変化する特性を有する変調素子では、高精細な色再現性を得ることが困難であるという課題があった。本発明は、このような事情に鑑みてなされたものであり、2変調系の表示装置のカラーマネージメント処理において高精度な色再現を実現することができる画像処理装置及び方法を提供することを目的とする。

上記課題を解決するため、本発明は、輝度変調素子と色変調素子とを異なる変調素子で構成した表示装置の制御のための装置であって、輝度変調素子の制御値ごとに目標となる色の値と色変調素子の制御値との関係を記述した複数の色変換マトリクスを用い、入力された目標となる色の値に基づいて色変調素子の制御値を求める制御値決定手段と、色変調素子の制御値を色変調素子の特性に応じて非線形に補正する補正手段とを備えることを特徴とする。これによれば、正確な色の表示が、少ないリソースで実現できる（演算、データ準備負荷が少ない）。

また他の発明は、前記色変換マトリクスが、表示装置に独立な色空間において定義された色の値に対して色変調素子の制御値との関係を記述したものであることを特徴とする。
これによれば、例えば表示装置に独立な色空間として絶対XYZ、QMh、相対XYZ、Lab、JCh、Luv等を使用することで、カラーマッチングを容易にすることができる。

また他の発明は、前記表示装置に独立な色空間が、絶対XYZ色空間であることを特徴とする。これによれば、HDRを表現出来る色空間を用いることになるので、自然な光を再現したHDR表示を実現することができる。

また他の発明は、相対色空間で定義された目標となる色の値を、絶対色空間で定義された目標となる色の値に変換する変換手段をさらに備えることを特徴とする。これによれば、絶対色空間を用いる場合と同じ構成を用いて相対色空間で定義された目標となる色の値に対する画像処理を実行することができる。

また他の発明は、前記制御値決定手段が、入力された目標となる色の値に応じて輝度変調素子の制御値を求め、求めた輝度変調素子の制御値に基づいて色変換マトリクスを選択することを特徴とする。これによれば、各制御値を高速に決定可能となり、ハード化が容易となる。

また他の発明は、前記制御値決定手段が、複数の輝度変調素子の制御値に対応する複数の色変換マトリクスを選択して複数の色変調素子の制御値を求め、複数の色変調素子の制御値に基づいて表示装置に独立な色空間で得られるであろう複数の色の値を求め、その複数の色の値と入力された目標とする色の値との比較結果に応じて、各複数の値のいずれかを輝度変調素子の制御値と色変調素子の制御値として決定することを特徴とする。これによれば、目標との誤差が最小になるためより高画質な画像処理が実現できる。

また他の発明は、前記制御値決定手段が、入力された目標とする色の値に基づいて仮の輝度変調素子の制御値を求め、仮の輝度変調素子の制御値から一定の範囲内の輝度変調素子の制御値に対応する複数の色変換マトリクスを選択するものであることを特徴とする。
これによれば、より高速で、画質と処理速度のバランスが良い構成を容易に得ることができる。

また他の発明は、前記制御値決定手段が、入力された目標となる色の値に応じて輝度変調素子の仮の制御値を求め、求めた輝度変調素子の仮の制御値に基づいて色変換マトリクスを選択し、入力された目標となる色の値と選択した色変換マトリクスによって色変調素子の制御値を決定し、入力された目標とする色の値と決定した色変調素子の制御値に応じて輝度変調素子の制御値を決定することを特徴とする。これによれば、より高速な構成を容易に得ることができる。

また他の発明は、前記制御値決定手段が、入力された目標とする色の値と決定した色変調素子の制御値に応じて輝度変調素子の制御値を決定する際に、前記決定した色変調素子の制御値に基づいて表示装置に独立な色空間で得られるであろう色の値を求め、その求めた色の値と所定の複数の輝度変調素子の制御値とに対応する複数の色変換マトリクスから得られる表示装置に独立な色空間で得られるであろう複数の色の値を求め、入力された目標とする色の値との比較結果に応じて、輝度変調素子の制御値を決定することを特徴とする。これによれば、より高画質で、より高速な構成を容易に得ることができる。

また他の発明は、前記制御値決定手段が、前記仮の輝度変調素子の制御値から一定の範囲内の輝度変調素子の制御値に対応する複数の色変換マトリクスを用いるものであることを特徴とする。これによれば、より高速で、画質と処理速度のバランスが良い構成を容易に得ることができる。

また他の発明は、目標とする色の値をなす複数の成分ごとに輝度変調素子の制御値との対応を示すテーブルを用意し、そのテーブルを用いて入力された目標とする色の値に対応する輝度変調素子の制御値を複数成分に対応させて複数求め、その中で最大のものを輝度変調素子の制御値として決定することを特徴とする。これによれば、正確な色再現および高速処理を容易に実現できる。

また他の発明は、前記目標とする色の値をなす複数の成分ごとに輝度変調素子の制御値との対応を示すテーブルが、表示装置に独立な色空間の色再現範囲内の値によって用意されたものであることを特徴とする。これによれば、正確な色再現および高速処理を容易に実現することができる。

また他の発明は、輝度変調素子と色変調素子とを異なる変調素子で構成した表示装置の制御方法であって、輝度変調素子の制御値ごと目標となる色の値と色変調素子の制御値との関係を記述した複数の色変換マトリクスを用い、入力された目標となる色の値に基づいて色変調素子の制御値を求める制御値決定段階と、色変調素子の制御値を色変調素子の特性に応じて非線形に補正する補正段階とを含んでいることを特徴とする。

以下、図面を参照して本発明の実施の形態について説明する。本発明の実施の形態は、色変調素子と輝度変調素子を別系統で備えた2変調系の表示装置用の画像処理を行うための構成であって、例えばマイクロプロセッサシステムとして構成することができる。ただし、その一部または全部を汎用のコンピュータと本発明の処理を記述したプログラムとから構成することも可能である。図1は本発明による画像処理装置の一実施の形態を表す処理ブロックである。図2は本実施の形態で使用するHDRディスプレイの構成例を示している。本実施の形態は、図1に示すように2変調系の画像処理を行うものであるが、理解をしやすくするため、まず図7を参照して1変調系の構成について説明を行う。

なお、本願において、XYZ色空間（表色系）の表現方法については次のような定義を用いている。すなわち、XYZ色空間の表現方法は、絶対XYZと相対XYZとの2種類がある。絶対XYZは、Yが輝度値（cd／m²）になっている3刺激値XYZによって色を数値化するものである。相対XYZは、何らかの正規化がなされている3刺激値から色を数値化するものである。相対XYZでは、通常白色点におけるYが100または1という値で正規化されている。ここで、XYZ色空間は、CIE（国際照明委員会）標準表色系である。

まず、1変調系である通常のLCD（Liquid Crystal Display）のカラーマネージメントシステムの処理ブロックの一例を図7を用いて説明する。図7におけるカラーマネージメントシステムはRGB（Red-Green-Blue）信号方式の入力信号である入力R_iG_iB_i信号をLCDで再現するための出力信号R_oG_oB_oに変換するものである。ここで、例えば入力R_iG_iB_iは8ビットのsRGB（standard RGB）信号であるとする。

sRGB信号は出力側のγ（ガンマ）に合わせて逆γがかかった信号（γ補正された信号）であるため、逆γ補正部（線形補正部）201〜203でγ特性を乗算することにより逆γ補正（線形化）をし、リニアなR’，G’，B’を得る。sRGBの逆γ補正（線形化）の詳細についてはここでは省略する。得られたリニアR’，G’，B’を、3×3のリニアsRGB⇒X_RY_RZ_R変換マトリクス204（sRGBから相対X_RY_RZ_Rへの変換）にて演算することにより、相対X_RY_RZ_Rを得る。得られた相対X_RY_RZ_Rを3×3のX_RY_RZ_R⇒出力リニアRGBの逆変換マトリクス205にて演算することによって出力リニアR”G”B”を得る。得られた出力リニアR”G”B”に対してγ補正部（非線形補正部）206〜208で出力ＬＣＤデバイスのγ特性に合わせた逆γ特性を乗算することによりγ補正（非線形化）を行い出力R_oG_oB_oを得る。

γ補正は通常はγ補正テーブルを用いて行う。ここで、3×3のX_RY_RZ_R⇒出力リニアRGBの逆変換マトリクス205およびγ補正部206〜208内のγ補正テーブルはLCDの表示を計測器で測定しXYZを求めたものを基にした値である。測定は全ての入力値に対して行うことは時間がかかりすぎるため、例えば、入力値を所定値おきに例えば0，8，16，…というように設定して測定し、その間の値は補間により求めるのが一般的である。また、ここでは入力としてsRGB色空間の信号を例としてあげたが、当然入力はこれに限定されるわけではなく、相対X_RY_RZ_Rに変換できる色空間の信号ならば他の色空間の信号でも良い。

次に、本発明の実施の形態の画像処理装置の処理ブロックについて図1を用いて説明する。

なお、本実施の形態で使用するHDRディスプレイの構成は、図2のように、前段の3板式液晶色パネル31、32、33と後段の単板式液晶輝度パネル50をリレーレンズ40を用いて光学的に直列につなげたものとなっている。前段後段の関係が逆になってもまったく同様に処理が可能である。液晶パネルへの入力としては色パネル31〜33へはRGBそれぞれ8ビットの計24ビットの信号、輝度パネル50へは8ビットの輝度信号を与える。

図2は、投射型表示装置の構成例を示すものであり、投射型表示装置1は、光源10と、光源10から入射した光の輝度分布を均一化する均一照明手段20と、均一照明手段20から入射される入射光のうちの3原色（R，G，B）の輝度をそれぞれ変調する色変調部30と、色変調部30から入射した光をリレーするリレーレンズ40と、リレーレンズ40から入射した光の全波長領域の輝度を変調する液晶輝度パネル50と、液晶輝度パネル50からから入射した光をスクリーン（不図示）に投射する投射レンズ60とで構成されている。

光源10は、高圧水銀ランプ等のランプ11と、ランプ11からの出射光を反射するリフレクタ12とで構成されている。光源10から出射した光束は第1フライアイレンズ21、第2フライアイレンズ22等が順次設置された均一照明手段20で均一化される。

均一照明手段20を出射した偏光が揃った光は色変調部30に入射し、3原色（R，G，B）に分離され、それぞれの色成分を変調する液晶色パネル31、32、33によって変調を受ける。
変調された3原色光（R，G，B）はクロスダイクロイックプリズム34によって合成されリレーレンズ40に出射する。ここで、液晶色パネル31はR成分用、液晶色パネル32はG成分用、液晶色パネル33はB成分用の光変調素子をそれぞれ形成し、ダイクロイックミラー35はR成分の光を透過させ、ダイクロイックミラー36はB成分の光を透過させる。また、液晶色パネル31に対しては反射ミラー37が設けられ、液晶色パネル33に対しては、リレーレンズ38と２個の反射ミラー39aおよび39bが設けられている。

リレーレンズ40を出射した変調光はもう一方の液晶輝度パネル50に入射し、第二の変調を受ける。液晶輝度パネル50では、入射した光の全波長領域の輝度を変調し、その変調光は投射レンズ60へ出射され、投射レンズ60によって図示しないスクリーンに投影される。
この様に投影画像は光学的に直列に配置されたそれぞれの光変調素子（液晶輝度パネル50および液晶色パネル31、32、33）が画素単位で変調を行うことで形成される。

さて、図1に示す画像処理装置においては、まず、入力としてHDR画像形式の一つである．hdr形式の画像信号R_iHDRG_iHDRB_iHDRが入力された場合を説明する（図1の左上）。R_iHDRG_iHDRB_iHDRは元々リニアな信号であるため逆γ補正は必要ない。そこでR_iHDRG_iHDRB_iHDRを3×3の入力HDRRGB⇒XYZ変換マトリクス101にて演算することによってXYZ値（絶対XYZ）を得る。ここで得た絶対XYZ値は、表示すべき目標色の値である。

本実施の形態では絶対XYZ値を使用しているが、もちろんこれに限定されるわけではない。絶対XYZのようにデバイスに独立な色の指定が出来ればカラーマネージメントがしやすいため、種々のデバイス独立な色空間（QMh，相対XYZ，Lab，JCh，Luv等）が使用できる。ただし、本実施の形態で絶対XYZを使用している理由は、Labや相対X_RY_RZ_Rのような白色点による正規化を行うような色空間では、HDRディスプレイのように非常に高い輝度を持つHDR画像を扱いかつ表示できるシステムに使用すると、白色点が最大輝度値にマッピングされるため、非常に不自然な表示になりかねないためである。また、HDRの特長の一つである光の再現という意味では、輝度の絶対値も非常に重要な要素となり、言い換えると白色点という概念が成立しなくなるため、本実施の形態では絶対XYZを使用している。

次にこの絶対XYZ値から出力値を求める。液晶パネルは階調による色度の変化が知られており、本実施の形態のハード構成でも液晶色パネル31〜33自体の階調による色度シフトと、さらに単板液晶輝度パネル50の階調による色度シフトが組み合わさった色度シフトが発生する。そのため、本実施の形態では単板液晶輝度パネル50の輝度制御値であるＴ値（本実施の形態では8ビットであるとしてＴ_8bitと表記）ごとに対応する256個の絶対XYZ⇒出力リニアRGB変換マトリクスからなる絶対XYZ⇒出力リニアRGB変換マトリクス群102を用いて演算を行い、出力リニアR”G”B”を取得する。γ補正部103〜105によるリニアR”G”B”から出力8bitRGB（R_8bitG_8bitB_8bit）へのγ補正は色パネルのγ特性だけを考慮すれば問題ないため、単一のγ補正テーブルを準備すれば良い。もちろんＴ値ごとにγ特性を保持していればさらに高精度になるのは明確である。

このような、システムにすることによりRGBTという四次元のパラメータを持つHDRディスプレイにおいて、非常に少ないデータを準備するだけで精度の高いカラーマネージメントを行うことが可能となる。カラーマネージメントの別の方法としてRGBTの様々な値を実測してテーブルとして準備しておくLUT（Look Up Table）法もあるが、RGBTの形の場合、測定点が非常に多くなってしまい実用性は非常に小さい。それに対し、本実施の形態において必要なT値ごとの変換マトリクスを準備するためには、あるTの値におけるRGBの各成分の最大値R_max（255，0，0）、G_max（0，255，0）、B_max（0，0，255）の絶対XYZ値を測定するだけで良く。最大でも3×256（T値0〜255）の768パターンを測定すれば良い。ただし、液晶パネルの場合には黒K（0，0，0）が完全には黒にはならないためそのK値もT値ごとに測定する必要が有り、結局最大で4×256の1024パターンを測定すれば良い。

また、図7の説明で書いたような補間を用いても良く、その場合にはさらに測定パターンを減らすことが可能となる。本実施の形態では、例えばT値を0，8，16，…，248，255という8間隔とした4×33の132パターンを測定し、その他のT値の変換マトリクス値を補間によって求めるようにすることができる。補間する場合の補間方法としては、測定間隔がこの例のように十分に狭い場合には簡単な直線補間でも良く、その他にはスプライン補間や多項式近似などを用いることも出来る。

マトリクス演算に関してもう少し詳しく記述する。あるT値、ここではT＝128とした場合にR_max、G_max、B_max、Kの4パターンを測定し、それぞれの絶対XYZ値がそれぞれ次のように表せるとする。R_maxのXYZ値＝（X_R，Y_R，Z_R）、G_maxのXYZ値＝（X_G，Y_G，Z_G）、B_maxのXYZ値＝（X_B，Y_B，Z_B）、KのXYZ値＝（X_K，Y_K，Z_K）。

これらの4パターンの値から、T＝128の場合における色パネルの出力リニアR”G”B”値と、その場合に表示される絶対XYZ値の関係は以下の式（4）で表すことが出来る。

ここで、X_R’＝X_R−X_K、Y_R’＝Y_R−X_K、Z_R’＝Z_R−Z_K、X_G’＝X_G−X_K、Y_G’＝Y_G−X_K、Z_G’＝Z_G−Z_K、X_B’＝X_B−X_K、Y_B’＝Y_B−X_K、Z_B’＝Z_B−Z_Kである。

逆に式（4）から、絶対XYZから出力リニアR”G”B”への変換は以下の式（5）で求めることが出来る。

この2つの式を用いて、絶対XYZと出力リニアR”G”B”は相互に変換可能である。また、T値ごとに上記変換マトリクスおよびKベクトルを保持しているため、その他各T値においても絶対XYZと出力リニアR”G”B”は相互に変換可能である。

γ補正に必要なγ補正テーブルの測定に関してはT＝255（一番透過率が高い値）に設定したときの、R，G，Bの値の変化を測定し、R_max、G_max、B_maxが1になるように正規化すれば良い。測定間隔としては図7の従来例の説明でも書いたように8間隔くらいで十分であり、測定点以外は補間により求める。また、変換マトリクスのようにT値を変えてγ特性を測定し、T値に対応したγ補正テーブルを作成しても良い。γ特性に関してはT値による変動があまり大きくないため、T＝255の値を使用しても十分である。しかし、T値に対応した計測を行う場合でも、測定するT値はあまり多く無くてもよいため測定にかかる工数はあまり増えずに済む。

次に、図1の左下のように、このシステムにLDR（Low Dynamic Range）画像信号が入力される場合を考える。LDR信号はたいてい場合、相対色空間になっている。LDR画像信号として本実施の形態ではsRGB画像信号が入力された例を説明する。入力LDR画像信号R_iLDRG_iLDRB_iLDRが入力されると、逆γ補正部106〜108はこれを逆γ補正し入力リニアLDR画像信号R’G’B’を得る。次に入力リニアLDR画像信号R’G’B’を変換マトリクス109を用いて演算し、相対X_RY_RZ_Rを取得する。sRGBの逆γ補正および相対X_RY_RZ_R変換マトリクスに関しては説明を省略する。

図1の構成では次に取得した相対X_RY_RZ_Rをこのカラーマネージメントシステムのデバイス独立色空間である絶対XYZに変換する必要がある。この場合に、LDR表示用X_nY_nZ_n設定部111によってある最大表示輝度値X_nY_nZ_nを設定し、絶対XYZへの変換部110によってそのX_nY_nZ_n値を相対X_RY_RZ_Rに掛けることによって絶対XYZを得る。このような仕組みによって、HDR画像とLDR画像を同じカラーマネージメントシステムにおいて扱うことが出来効率的である。具体的には相対X_RY_RZ_Rは白（一番明るい値）が100になるように正規化されているとすると、以下の計算式により絶対XYZを求めることが出来る。

最大表示輝度値X_nY_nZ_n値はどのように設定しても良いが、一般のsRGB画像を表示するならば輝度が200〜10,000（cd／m²）の範囲内が妥当であろうかと考える。例えば、1,000（cd／m²）でxy色度が（0.333，0.333）の色をX_nY_nZ_n値とすれば（1000，1000，1000）となり、この場合に相対X_RY_RZ_R値が（10，50，70）だとすれば、絶対XYZ値は（100，500，700）となる。

次に図3〜図6のフローチャートを用いて、本実施の形態における処理の流れを説明する。図3は、入力画素値からT値を決定し、入力画素値とT値に対応する変換マトリクスから色変調素子の値を決定する処理フローチャートである。入力HDRまたはLDR画素値から前述のように絶対XYZ値を得る（ステップS101）。このXYZ値よりT値を決定する（ステップS102）。T値の決定方法に関しては色々考えられるが、例えばXYZの各値とT値との対応関係を示すテーブルを用意しておきそのテーブルを参照してXYZ値に応じたT値を選択する方法や、後述するループ処理による評価を行ってT値を決定する方法を用いることができる。

次に、決定したT値に対応するXYZ⇒リニアRGB変換マトリクス（およびKベクトル）を取得する（ステップS103）。次に（5）式を用いてリニアRGB値を計算し（ステップS104）、γ補正を行い出力RGB値を求め（ステップS105）、T値と出力RGB値をそれぞれ液晶輝度パネル50、液晶色パネル31〜33へ出力する（ステップS106）。この処理の流れは非常に簡単なため、ハード化が容易であり、ハード化すれば非常に高速に処理できることが期待される。

次に、図4は、ループ処理による評価を行ってT値を決定する場合の処理フローチャートであって、具体的には複数のT値と対応する変換マトリクスから対応する色変調素子の値を複数求め、その求めた値によって表示される表示シミュレーション値と入力画素値の誤差を計算し、この誤差が最小となるT値と色変調素子の値を表示値として決定する処理フローチャートである。すなわち、図4の処理の基本的な考え方は、入力XYZ値から最終的なT値を直接決定するのではなく、複数のT値を評価して、一番入力XYZに近い表示を得られる結果を選択するということである。

まず、入力HDRまたはLDR画素値から前述のように絶対XYZ値を得る（ステップS201）。
次に複数のT値に関して評価を行うためその初期値を決定する（ステップS202）。本実施の形態では単板輝度パネルが8ビットであるため、T値としては0〜255の値をとり、T値の初期値としては0を設定する。次に設定T値に対応するXYZ⇒リニアRGB変換マトリクス（およびKベクトル）を取得し（ステップS203）、次に（5）式を用いてリニアRGB値を計算し（ステップS204）、γ補正を行い出力RGB値を求める（ステップS205）。

次にこの設定T値と計算の結果求められた出力RGB値による表示が入力XYZ値とどれくらい近いかを誤差を求めて評価する。そのためには、まず出力RGB値を逆γ補正しリニアRGB値を求める必要がある（ステップS206）。このとき求めたリニアRGB値は先ほどのリニアRGB値とは異なっている可能性がある。その理由は、実際の出力RGB値が8ビットという離散値であるため理想値を取れないことと、レンジを越えている場合があることの2点である。このリニアRGBが違っていることが誤差が生ずる主な理由の一つである。

次に、設定T値に対応したリニアRGB⇒絶対XYZ変換マトリクスを取得し（ステップS207）、（4）式を用いて計算し、表示結果のシミュレーション値であるシミュレーションX_sY_sZ_s値を取得する（ステップS208）。次に入力XYZ値とシミュレーションXsYsZs値の誤差を計算する（ステップS209）。誤差の計算方法は色々考えられるが本実施の形態では以下の式（6）で求めている。

この誤差Eが今までで最小の場合（ステップS210で「Y」）、現在のT値と出力RGB値を出力候補値として保存する（ステップS211）。そして、T値を次に変更し同様に誤差の評価を繰り返し（ステップS212で「N」、ステップS213、ステップS203〜）、評価すべきT値を全て評価し終わったらば（ステップS212で「Y」）、出力候補値として残っているのは入力XYZと一番誤差が少ないT値と出力RGB値の組み合わせになっているため、その値を輝度パネルと色パネルへ出力する（ステップS214）。本実施の形態では評価すべきT値としては0〜255つまり256のT値を評価すれば、最も入力XYZ値に近いT値と出力RGB値の組み合わせが得られ、図3を参照して説明したXYZ値からテーブル等を用いてT値を決定する方法と比較してより精度の高いカラーマネージメントを行うことが可能となる。

ただし、この方法では上記例でいうと256回も評価を行う必要かあり、処理時間が非常にかかってしまう。そのため、次にこれを改善した処理例を説明する。

この処理は、入力画素値から仮のT値を決定し、仮のT値から一定の範囲内のT値について誤差値計算を行い、誤差の少ないT値と色変調素子の値を表示値として決定するというものである。この方法では、まず仮のT値を決定し、その仮のT値から一定の範囲内だけで評価を行い値を決める。例えば仮のT値として128を決定し、そこから±8つまり120〜136の17値に対して評価計算を行い、その120〜136範囲内で最適なT値と出力RGB値の組み合わせを求める。この方法では、図4を参照して説明した処理よりも高速に、かつT値の評価を行わない場合の処理よりも高精度にカラーマネージメント処理を行うことが出来、画質と処理のバランスが良い。ここで、仮のT値の決定方法に関しては色々考えられるが、それについては後述する。

図5は、入力画素値から仮のT値を決定し、入力画素値と仮のT値に対応する変換マトリクスから色変調素子の値を決定し、そして入力画素値と決定した色変調素子の値からT値を決定する処理フローチャートである。すなわち、基本的な考え方は最初に仮のT値を決定し、それによってまず出力RGB値を決定し、決定した出力RGB値によってT値を補正し最終的なT値を決定するという方法である。処理の流れとしては、まず入力HDRまたはLDR画素値より前述のように絶対XYZ値を得る（ステップS301）。次に、その入力XYZより仮のT値を決定する（ステップS302）。仮のT値の決定方法に関しては色々考えられるが、それについては後述する。そして、仮のT値に対応するXYZ⇒リニアRGB変換マトリクス（およびKベクトル）を取得する（ステップS303）。次に（5）式を用いてリニアRGB値を計算し（ステップS304）、γ補正を行って出力RGB値を求める（ステップS305）。求めた出力RGB値と入力XYZ値からT値を最終的に決定し（ステップS306）、そのT値と出力RGB値をそれぞれ輝度パネル、色パネルへ出力する（ステップS307）。

ここで、最終的なT値の決定方法としては色々考えられるが、一つの方法としては、複数のT値と決定した色変調素子の値によって表示される表示シミュレーション値と入力画素値の誤差を計算し、この誤差が最小となるT値を決定する方法がある。また、その際、仮のT値から一定の範囲内のTで誤差値計算し、誤差の少ないTを表示値として決定するようにすることもできる。

図6は、T値の決定方法を説明した図であり、基本的には決定した出力RGB値と複数のT値からシミュレーションXYZ値を求め（ステップS401〜S409）、入力との誤差が最小になるT値を最終的なT値として決定するというものである（ステップS410〜S414〜S408〜S415）。図6において、ステップS401〜S405は図5のステップS301〜S305に、ステップS406およびS407は図4のステップS206およびS202に、そしてステップS408以降の処理は図4のステップS207以降の処理と、それぞれ同様な処理であり、各ステップの説明は省略する。

図6において評価T値の初期値設定は、二つのパネルの解像度が同一の場合、すでに求めた仮のT値をそのまま使用すれば良いし、もし二つのパネルの解像度が異なる場合は、輝度パネルの解像度に対応した入力XYZ値を取得し、その入力XYZに基づき仮のTを再度決定して初期値とする。

次に、入力XYZ値に基づくT値の決定または仮決定方法について説明する。本実施の形態のT値の決定方法としては、上述したように入力XYZの各X，Y，Zごとに、図８に示すX-TX-1DLUT121，Y-TY-1DLUT122，Z-TZ-1DLUT123のTに対応したテーブルを準備し、そのテーブルを引くことによりT値を決定している。具体的にはある入力X値に対してT_X値がX-TX-1DLUT121のテーブルを引くことにより求められ、ある入力Y値に対してT_Y値がY-TY-1DLUT122のテーブルを引くことにより求められ、ある入力Z値に対してT_Z値がZ-TZ-1DLUT123のテーブルを引くことにより求められる。そして、最大値選択部124が各テーブルから求められた上記各T_X，T_Y，T_Zの値のうち最大値を選択し、選択された値をT値として決定するという方法である。また、それぞれTとX、Y、Zの対応テーブルとしては、T値ごとの変換マトリクスを作成するときに計測した値から、それぞれのTに対応するXは原色R（255，0，0）のX値を、Yは原色G（0，255，0）のY値を、Zは原色B（0，0，255）のZ値を用いている。これによって、入力XYZが色再現範囲内に入っているT値を高速に決定することが可能となる。もちろん、Tの決定方法はこの方法に限定されるわけではない。この決定されたT値を用いて、絶対XYZ⇒出力リニアRGB変換マトリクス群102から対応する絶対XYZ⇒出力リニアRGB変換マトリクスが選択される。

以上のように本発明の各実施の形態によれば、輝度変調素子と色変調素子との2変調系表示装置において、そのカラーマネージメント処理を、輝度変調素子の値Tごとに目標となる色の値と色変調素子の値との関係を記述した色変換マトリクスを複数保持するようにしているので、正確な色の表示が、少ないリソースで実現できる（すなわち演算、データ準備負荷が少ない）。

なお、本発明の実施の形態は上記のものに限定されず、例えば、各処理ブロックを分割あるいは統合したり、入力ビット数、出力ビット数や演算時のビット数などを変更したりする変更が適宜可能である。また、上述の実施の形態の形態では、変調素子として透過型液晶パネルを用いた形態を示したが、その他変調素子として、ＤＭＤ（デジタルマイクロミラーデバイス），ＧＬＶ（グレーティング・ライト・バルブ），ＬＣＯＳ（Liquid Crystal On Silicon），変調光源（ＬＥＤ，ＯＬＥＤ，レーザー光源など）を用いても良い。

また、特許請求における構成要素と、実施の形態における構成との関係は次のとおりである。輝度変調素子：液晶輝度パネル50。色変調素子：液晶色パネル31、32、33。複数の色変換マトリクス：絶対XYZ⇒出力リニアRGB変換マトリクス群102。補正手段：γ補正部103〜105。変換手段：絶対XYZへの変換部110。制御値決定手段：図1に示す上記以外の構成あるいは図3〜図6に示す各ステップの一部または全部の処理に対応している。また、輝度変調素子の制御値はT値に、入力された目標となる色の値はXYZ（あるいはR_iHDRG_iHDRB_iHDR）に、色変調素子の制御値はR”G”B”（あるいはR_8bitG_8bitB_8bit）にそれぞれ対応している。

本発明による画像処理装置の一実施の形態を表す処理ブロック図。 本実施の形態で使用するHDRディスプレイの構成図。 図1の実施の形態における処理の一例を示すフローチャート。 図1の実施の形態における処理の他の例を示すフローチャート。 図1の実施の形態における処理のさらに他の例を示すフローチャート。 図1の実施の形態における処理のさらに他の例を示すフローチャート。 1変調系の表示装置の構成図。 図１におけるT値の選択処理を詳細に説明する処理ブロック図。

符号の説明

31、32、33 液晶色パネル、50 液晶輝度パネル、102 絶対XYZ⇒出力リニアRGB変換マトリクス群、103〜105 γ補正部、110 絶対XYZへの変換部、122〜123 テーブル、124 最大値選択部。

Claims (13)

1. 輝度変調素子と色変調素子とを異なる変調素子で構成した表示装置の制御のための装置であって、
   輝度変調素子の制御値ごとに目標となる色の値と色変調素子の制御値との関係を記述した複数の色変換マトリクスを用い、入力された目標となる色の値に基づいて色変調素子の制御値を求める制御値決定手段と、
   色変調素子の制御値を色変調素子の特性に応じて非線形に補正する補正手段と
   を備えることを特徴とする画像処理装置。
2. 前記色変換マトリクスが、表示装置に独立な色空間において定義された色の値に対して色変調素子の制御値との関係を記述したものであることを特徴とする請求項１記載の画像処理装置。
3. 前記表示装置に独立な色空間が、絶対XYZ色空間であることを特徴とする請求項２記載の画像処理装置。
4. 相対色空間で定義された目標となる色の値を、絶対色空間で定義された目標となる色の値に変換する変換手段をさらに備えることを特徴とする請求項３記載の画像処理装置。
5. 前記制御値決定手段が、入力された目標となる色の値に応じて輝度変調素子の制御値を求め、求めた輝度変調素子の制御値に基づいて色変換マトリクスを選択する
   ことを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。
6. 前記制御値決定手段が、複数の輝度変調素子の制御値に対応する複数の色変換マトリクスを選択して複数の色変調素子の制御値を求め、複数の色変調素子の制御値に基づいて表示装置に独立な色空間で得られるであろう複数の色の値を求め、その複数の色の値と入力された目標とする色の値との比較結果に応じて、各複数の値のいずれかを輝度変調素子の制御値と色変調素子の制御値として決定することを特徴とする請求項５記載の画像処理装置。
7. 前記制御値決定手段が、入力された目標とする色の値に基づいて仮の輝度変調素子の制御値を求め、仮の輝度変調素子の制御値から一定の範囲内の輝度変調素子の制御値に対応する複数の色変換マトリクスを選択するものであることを特徴とする請求項６記載の画像処理装置。
8. 前記制御値決定手段が、入力された目標となる色の値に応じて輝度変調素子の仮の制御値を求め、求めた輝度変調素子の仮の制御値に基づいて色変換マトリクスを選択し、入力された目標となる色の値と選択した色変換マトリクスによって色変調素子の制御値を決定し、入力された目標とする色の値と決定した色変調素子の制御値に応じて輝度変調素子の制御値を決定することを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。
9. 前記制御値決定手段が、入力された目標とする色の値と決定した色変調素子の制御値に応じて輝度変調素子の制御値を決定する際に、前記決定した色変調素子の制御値に基づいて表示装置に独立な色空間で得られるであろう色の値を求め、その求めた色の値と所定の複数の輝度変調素子の制御値とに対応する複数の色変換マトリクスから得られる表示装置に独立な色空間で得られるであろう複数の色の値を求め、入力された目標とする色の値との比較結果に応じて、輝度変調素子の制御値を決定することを特徴とする請求項８記載の画像処理装置。
10. 前記制御値決定手段が、前記仮の輝度変調素子の制御値から一定の範囲内の輝度変調素子の制御値に対応する複数の色変換マトリクスを用いるものであることを特徴とする請求項９記載の画像処理装置。
11. 目標とする色の値をなす複数の成分ごとに輝度変調素子の制御値との対応を示すテーブルを用意し、そのテーブルを用いて入力された目標とする色の値に対応する輝度変調素子の制御値を複数成分に対応させて複数求め、その中で最大のものを輝度変調素子の制御値として決定することを特徴とする請求項５〜１０のいずれか１項に記載の画像処理装置。
12. 前記目標とする色の値をなす複数の成分ごとに輝度変調素子の制御値との対応を示すテーブルが、表示装置に独立な色空間の色再現範囲内の値によって用意されたものであることを特徴とする請求項１１記載の画像処理装置。
13. 輝度変調素子と色変調素子とを異なる変調素子で構成した表示装置の制御方法であって、
    輝度変調素子の制御値ごと目標となる色の値と色変調素子の制御値との関係を記述した複数の色変換マトリクスを用い、入力された目標となる色の値に基づいて色変調素子の制御値を求める制御値決定段階と、
    色変調素子の制御値を色変調素子の特性に応じて非線形に補正する補正段階と
    を含んでいることを特徴とする画像処理方法。

Images