JP2017220889A - 画像処理装置その制御方法、及び表示装置 - Google Patents

Abstract

【課題】複数の原色で表示を行う表示装置において階調によってホワイトバランスにずれが生じることを抑制する。
【解決手段】複数の原色のサブピクセルを有する表示装置のホワイトバランスを調整する画像処理装置であって、表示装置の表示特性を測定する手段と、表示装置が入力画像データをサブピクセルの原色毎の階調値データに変換する際の変換の特性の情報を取得する手段と、前記表示特性に基づき前記変換の特性を補正することで、ホワイトバランスの調整を行う調整手段と、を備え、前記調整手段は、条件に応じて、前記複数の原色のうち白色を表示可能な第１の組み合わせの原色について前記変換の特性を補正する第１の調整と、前記複数の原色のうち白色を表示可能な第２の組み合わせの原色について前記変換の特性を補正する第２の調整と、を、組み合わせて、又は、切り替えて、ホワイトバランスの調整を行うことを特徴とする画像処理装置。
【選択図】図１

Description

本発明は、画像処理装置、その制御方法、及び表示装置に関するものである。

ＲＧＢの３原色に他の原色を加えて広色域化を図る技術が提案されている。このような多原色ディスプレイにおいて原色点以外の色は、複数の原色の組み合わせにより表示することが可能である（特許文献１及び特許文献２を参照）。多原色ディスプレイに関して、複数のマトリクスを用いて補正を行うことでホワイトバランスを調整する技術がある（特許文献３を参照）。

特開２００４−１６６０４５号公報 特表２００８−５３８６１４号公報 特開２０１４−３３３６１号公報

液晶ディスプレイ等の非線形な階調特性を有する表示装置では、全ての階調に同じマトリクスを適用して補正を行うと階調によってホワイトバランスにずれが生じることがある。

本発明は、３原色より多い多原色で表示を行う表示装置において階調によってホワイトバランスにずれが生じることを抑制する技術を提供することを目的とする。

本発明は、複数の原色のサブピクセルを有する表示装置のホワイトバランスを調整する画像処理装置であって、
前記表示装置の表示特性を取得する測定手段と、
前記表示装置が入力画像データを前記サブピクセルの原色毎の階調値データに変換する際の変換の特性の情報を取得する取得手段と、
前記表示特性に基づき前記変換の特性を補正することで、前記表示装置のホワイトバランスの調整を行う調整手段と、
を備え、
前記調整手段は、条件に応じて、
前記複数の原色のうち白色を表示可能な第１の組み合わせの原色について前記変換の特性を補正する第１の調整と、
前記複数の原色のうち白色を表示可能な第２の組み合わせの原色について前記変換の特性を補正する第２の調整と、
を、組み合わせて、又は、切り替えて、ホワイトバランスの調整を行うことを特徴とする画像処理装置である。

本発明は、複数の原色のサブピクセルを有する表示装置のホワイトバランスを調整する画像処理装置の制御方法であって、
前記表示装置の表示特性を取得する測定工程と、
前記表示装置が入力画像データを前記サブピクセルの原色毎の階調値データに変換する際の変換の特性の情報を取得する取得工程と、
前記表示特性に基づき前記変換の特性を補正することで、前記表示装置のホワイトバランスの調整を行う調整工程と、
を有し、
前記調整工程では、条件に応じて、
前記複数の原色のうち白色を表示可能な第１の組み合わせの原色について前記変換の特性を補正する第１の調整と、
前記複数の原色のうち白色を表示可能な第２の組み合わせの原色について前記変換の特性を補正する第２の調整と、
を、組み合わせて、又は、切り替えて、ホワイトバランスの調整を行うことを特徴とする画像処理装置の制御方法である。

本発明は、複数の原色のサブピクセルを有する表示装置のホワイトバランスを調整する画像処理装置の制御方法をコンピュータに実行させるプログラムであって、前記制御方法は、
前記表示装置の表示特性を取得する測定工程と、
前記表示装置が入力画像データを前記サブピクセルの原色毎の階調値データに変換する際の変換の特性の情報を取得する取得工程と、
前記表示特性に基づき前記変換の特性を補正することで、前記表示装置のホワイトバランスの調整を行う調整工程と、
を有し、
前記調整工程では、条件に応じて、
前記複数の原色のうち白色を表示可能な第１の組み合わせの原色について前記変換の特性を補正する第１の調整と、
前記複数の原色のうち白色を表示可能な第２の組み合わせの原色について前記変換の特性を補正する第２の調整と、
を、組み合わせて、又は、切り替えて、ホワイトバランスの調整を行うことを特徴とするプログラムである。

本発明によれば、３原色より多い多原色で表示を行う表示装置において階調によってホワイトバランスのずれが生じることを抑制することができる。

実施例１及び実施例２の表示装置の概略構成を示すブロック図 実施例１及び実施例２の表示装置の各原色の単色表示の色度の変化を示す図 実施例１のホワイトバランスの調整のフローチャート 実施例２のホワイトバランスの調整のフローチャート 実施例１及び実施例２の表示装置の色度誤差グラフ 実施例１及び実施例２の表示装置の輝度誤差グラフ 実施例１及び実施例２の各色の輝度及び色度の測定値と目標値の一例 実施例１及び実施例２の入力階調に対応する各色の初期設定値の一例 実施例１のホワイトバランスの調整の補正値の一例 実施例２のホワイトバランスの調整の補正値の一例 実施例１及び実施例２の表示装置の輝度及び色度の誤差の一例 画像処理装置の概略構成を示すブロック図

（実施例１）
本発明の実施例１の表示装置について、図面を用いて具体的に説明する。実施例１の表示装置は、３原色より多い多原色で表示を行う表示装置である。この表示装置は、ホワイ
トバランスを調整する機能を有する。実施例１では、測定結果をフィードバックすることによりホワイトバランスの調整を行う。実施例１では、どの原色の階調値を補正してホワイトバランスの調整を行うかを、条件に応じて適宜変更することを特徴とする。これにより、階調によってホワイトバランスにずれが生じることを抑制する。

図１は、実施例１の表示装置１００の構成の一例を示す図である。
制御部１０１は、表示装置１００の各機能ブロックと接続され、各機能ブロックの動作を制御する。
画像入力部１０２は、表示部１０６が表示する画像の画像データを外部の画像出力装置又は制御部１０１から受け取り、ＬＵＴ部１０３に送信する。
ＬＵＴ部１０３は、画像入力部１０２から画像データを受け取り、受け取った画像データの各色の階調値をＬＵＴ（Lookup Table）により変換して、表示部１０６に送信する。ＬＵＴ部１０３は、入力される画像データの階調値を、ＬＵＴに基づき、表示部１０６の各画素を構成するサブピクセルの制御のための階調値に変換する。ＬＵＴは、表示装置１００が入力画像データをサブピクセルの原色毎の階調値データに変換する際の変換の特性の情報を表すデータである。
保存部１０４は、制御部１０１やマトリクス作成部１０５で作成されたデータを保存する。

マトリクス作成部１０５は、画像データの補正に用いるマトリクスを作成する。マトリクス作成部１０５は、制御部１０１の制御による以下のような手順でマトリクスの作成を行う。まず、マトリクス作成部１０５は、原色画像データを作成する。原色画像データとは、表示部１０６に原色を表示させるための画像データである。原色とは、ここでは、表示部１０６の各画素を構成するサブピクセルの色を意味するものとする。実施例１では、原色はＲＧＢＣＭＹの６色である。なお、原色の種類や数は表示部１０６のサブピクセル構成によって異なり得る。マトリクス作成部１０５は、複数の原色の各色について原色画像データを作成する。制御部１０１は、マトリクス作成部１０５が作成した各色の原色画像データを画像入力部１０２に送信する。画像入力部１０２は、制御部１０１から受信した各色の原色画像データをＬＵＴ部１０３に送信する。ＬＵＴ部１０３は、各色の原色画像データに対し、表示部１０６に入力するための表示データに変換する処理を行い、表示データを表示部１０６に出力する。表示部１０６は、各色の原色画像データに基づく各色の原色の単色表示を行う。センサ１０７は、表示部１０６における各色の原色の単色表示の表示特性（輝度及び色度）を測定する。マトリクス作成部１０５は、センサ１０７による各色の原色の単色表示の輝度及び色度の測定値と、各色の原色画像データの階調値とに基づき、マトリクスを作成する。マトリクス作成部１０５は、作成したマトリクスのデータを保存部１０４に保存する。

表示部１０６は、複数の画素から構成される液晶パネルである。表示部１０６の各画素は、複数の色のサブピクセルで構成される。サブピクセルの色は画像データの原色に対応する。表示部１０６は、ＬＵＴ部１０３から入力される画像データの各色の階調値に従って各色のサブピクセルの透過率を制御することで、画像データに基づく画像を表示する。実施例１では、表示部１０６はＲＧＢＣＭＹの６色のサブピクセルで構成された液晶パネルであるとする。表示部１０６の構成は、４色以上の複数の原色のサブピクセルを有し、複数の原色は、白色を表示可能な第１の組み合わせの原色と、これとは異なる、白色を表示可能な第２の組み合わせの原色と、を含んでいれば良い。実施例１では、第１の組み合わせの原色はＲＧＢ、第２の組み合わせの原色はＣＭＹである。またサブピクセル毎に画像データに従って透過率を制御可能な表示パネルであれば液晶パネルに限らない。

センサ１０７は、表示部１０６の画面を測定し、表示されている画像の表示特性（輝度及び色度の測定値）を出力する測定器（光学センサ）である。センサ１０７は、例えば、
色度（ｘ、ｙ）及び輝度（Ｌｖ）の形式で測定値を出力する。なお、センサ１０７が出力する測定値の形式はこれに限らない。制御部１０１は、センサ１０７から、表示装置１００の輝度及び色度の測定値を取得する。

図２は、実施例１の表示装置１００で各原色を単色表示させた場合の階調値と色度との関係を表した図である。図２に示すように、各原色を暗く表示させた場合（低い階調値とした場合）と明るく表示させた場合（高い階調値とした場合）とでは、色度が異なる。階調値が高くなるほど、色度は大きくなる。また、全ての原色を最大の階調値として白を表示させた場合の色度は、色温度の設定により、黒の色度とは異なる場合がある。

図３は、表示装置１００におけるホワイトバランスの調整処理を示すフローチャートである。
ステップＳ１０１において、制御部１０１は、複数の原色の各々について最大階調値で単色表示を行った場合の輝度及び色度を測定する。なお、ここで、単色表示とは、少なくともセンサ１０７により測定される領域内の画素を同一の階調値とした表示であっても良いし、画面の全画素を同一の階調値とした表示であっても良い。制御部１０１は、画像入力部１０２に、各原色の最大階調値の画像データを入力する。各原色の最大階調値の画像データは、ＬＵＴ部１０３により変換され、各原色の最大階調値の単色表示を行うための表示データが表示部１０６に入力される。表示部１０６は、各原色の最大階調値の単色表示を行う。制御部１０１は、表示装置１００の表示特性（センサ１０７による輝度及び色度の測定値）を取得し、保存部１０４に保存する。これにより、保存部１０４には、複数の原色（実施例１ではＲＧＢＣＭＹの６色）の各々に対応する輝度及び色度の測定値の情報が記録される。ここでは、測定値は、ｘｙ色度座標値（ｘ、ｙ）及び輝度値Ｌｖで記録されるものとする。なお、測定値の形式はこれに限らず、例えば三刺激値等でも良い。なお、ここではＬＵＴ部１０３には複数の原色の最大階調値の画像データを変換するための初期値が予め規定されているものとする。

ステップＳ１０２において、制御部１０１は、ステップＳ１０１と同様の制御により、黒を表示させた場合の輝度及び色度を測定する。ここでは、制御部１０１は、ＲＧＢＣＭＹの全ての原色を最小階調値とした場合の輝度及び色度を測定する。

ステップＳ１０３において、制御部１０１は、ステップＳ１０１と同様の制御により、ＲＧＢ白を表示させた場合の輝度及び色度を測定する。ＲＧＢ白とは、ＲＧＢの３つの原色を最大階調値、ＣＭＹを最小階調値とし、ＲＧＢの３色のサブピクセルのみを用いて表示した白である。

ステップＳ１０４において、制御部１０１は、ステップＳ１０１と同様の制御により、ＣＭＹ白を表示させた場合の輝度及び色度を測定する。ＣＭＹ白とは、ＣＭＹの３つの原色を最大階調値、ＲＧＢを最小階調値とし、ＣＭＹの３色のサブピクセルのみを用いて表示した白である。

ステップＳ１０５において、マトリクス作成部１０５は、ステップＳ１０１で得られた測定値のうち、ＲＧＢの３つの原色の各々の単色表示の測定値と、ステップＳ１０３で得られたＲＧＢ白表示の測定値とを用いて、ＲＧＢマトリクスを算出する。具体的には、ＲＧＢＷ各色のＸＹＺ測定値の３×４行列及びその転置行列の行列積により求めた３×３行列の逆行列を計算し、この逆行列と転置行列との行列積により求めた３×４行列と、測定時の階調の４×３行列との行列積により求めた３×３行列を算出する。なお、ＲＧＢマトリクスの算出は、ステップＳ１０１で得られた測定値のうち、ＲＧＢの３つの原色の各々の単色表示の測定値のみを用いて行っても良い。その場合、ＲＧＢ各色のＸＹＺ測定値の３×３行列の逆行列と測定時の階調の３×３行列との行列積を計算して得られる３×３行
列をＲＧＢマトリクスとする。マトリクス作成部１０５は、算出したＲＧＢマトリクスを保存部１０４に保存する。ＲＧＢマトリクスとは、画像データのＲＧＢの階調値の組み合わせと、その画像データを表示させたときの測定値（例えばＸＹＺ値）とを関連付けるマトリクスである。ＲＧＢマトリクスは、中間階調の変換に用いるＬＵＴの初期値を算出するために用いられる（後述）。

ステップＳ１０６において、マトリクス作成部１０５は、ステップＳ１０１で得られた測定値のうち、ＣＭＹの３つの原色の各々の単色表示の測定値と、ステップＳ１０４で得られたＣＭＹ白表示の測定値とを用いて、ＣＭＹマトリクスを算出する。具体的には、ＣＭＹＷ各色のＸＹＺ測定値の３×４行列及びその転置行列の行列積により求めた３×３行列の逆行列を計算し、この逆行列と転置行列との行列積により求めた３×４行列と、測定時の階調の４×３行列との行列積により求めた３×３行列を算出する。なお、ＣＭＹマトリクスの算出は、ステップＳ１０１で得られた測定値のうち、ＣＭＹの３つの原色の各々の単色表示の測定値のみを用いて行っても良い。その場合、ＣＭＹ各色のＸＹＺ測定値の３×３行列の逆行列と測定時の階調の３×３行列との行列積を計算して得られる３×３行列をＣＭＹマトリクスとする。マトリクス作成部１０５は、算出したＣＭＹマトリクスを保存部１０４に保存する。ＣＭＹマトリクスとは、画像データのＣＭＹの階調値の組み合わせと、その画像データを表示させたときの測定値（例えばＸＹＺ値）とを関連付けるマトリクスである。ＣＭＹマトリクスは、中間階調の変換に用いるＬＵＴの初期値を算出するために用いられる（後述）。

ステップＳ１０７において、制御部１０１は、ステップＳ１０５とステップＳ１０６で算出したＲＧＢマトリクスとＣＭＹマトリクス、及び表示部１０６の入出力特性に基づき、中間階調（グレー）の変換に用いるＬＵＴの初期値を算出する。表示部１０６の入出力特性は、例えばガンマで表される。ＬＵＴ部１０３のＬＵＴは、画像データがとり得る全ての階調値（画像データが８ビットの場合、０〜２５５）について定義されたものとしても良いし、離散的な階調値（例えば、０，８，１６，・・・）について定義されたものとしても良い。ステップＳ１０７では、制御部１０１は、まずＲＧＢ白とＣＭＹ白の輝度の比率を求める。ＲＧＢの入力階調毎にガンマ値を適用した目標ＸＹＺ値を求め、ＲＧＢの各階調値から、Ｓ１０５で求めた変換マトリクスを用いて、ＬＵＴの各色の初期値を計算する。ＣＭＹの入力階調毎にガンマ値を適用した目標ＸＹＺ値を求め、ＣＭＹの各階調値から、Ｓ１０６で求めた変換マトリクスを用いて、ＬＵＴの各色の初期値を計算する。

ステップＳ１０８において、制御部１０１は、ステップＳ１０７で算出した初期値をＬＵＴ部１０３のＬＵＴに適用する。

ステップＳ１０９において、制御部１０１は、ステップＳ１０１と同様の制御により、表示部１０６に以下のステップでホワイトバランス調整を実施する対象の階調値（以下、対象階調値という）のグレーの単色表示を行う。制御部１０１は、対象階調値として、ホワイトバランス調整を未実施の階調値のうち最も低い階調値又は最も高い階調値を設定する。従って対象階調値は、低階調側から高階調側へ、又は、高階調側から低階調側へ、順に設定される。なお、対象階調値を設定する順序はこの例に限らない。このように、実施例１では、複数の階調値についてホワイトバランスの調整が行われる。

ステップＳ１１０において、制御部１０１は、ステップＳ１０９で設定した対象階調値のグレーを表示部１０６に単色表示させた状態で、センサ１０７によりそのグレー単色表示の輝度及び色度を測定する。

ステップＳ１１１において、制御部１０１は、ステップＳ１０９で設定した対象階調値が、予め設定された閾値以下であるか否かを判定する。対象階調値が所定の閾値以下であ
る場合、ステップＳ１１３に進み、対象階調値が閾値より大きい場合、ステップＳ１１２に進む。ステップＳ１１２に進んだ場合、後述のステップＳ１１６で第１の組み合わせの原色（ＲＧＢ）についてＬＵＴの補正が行われ、ステップＳ１１３に進んだ場合、後述のステップＳ１１６で第２の組み合わせの原色（ＣＭＹ）についてＬＵＴの補正が行われる。このように実施例１では、調整の対象の階調値に応じて、第１の組み合わせの原色（ＲＧＢ）についてＬＵＴを補正する第１の調整と、第２の組み合わせの原色（ＣＭＹ）についてＬＵＴを補正する第２の調整と、の２つのホワイトバランス調整が切り替えられる。

ステップＳ１１２において、制御部１０１は、ホワイトバランス調整のために補正を行う原色の組み合わせを第１の組み合わせ（ＲＧＢ）に設定する。第１の組み合わせの原色についてホワイトバランスの調整を行うことを第１の調整という。第１の調整では、第１の組み合わせの原色に関して、ＬＵＴの値を補正することにより、ホワイトバランスの調整が行われる。

ステップＳ１１３において、制御部１０１は、ホワイトバランス調整のために補正を行う原色の組み合わせを第２の組み合わせ（ＣＭＹ）に設定する。第２の組み合わせの原色についてホワイトバランスの調整を行うことを第２の調整という。第２の調整では、第２の組み合わせの原色に関して、ＬＵＴの値を補正することにより、ホワイトバランスの調整が行われる。

ステップＳ１１４において、制御部１０１は、ステップＳ１１０で測定した測定値がホワイトバランス調整の目標値に対し所定の範囲内の値であるか判定する。測定値が目標値に対し所定の範囲内の値である場合、ステップＳ１１５に進み、測定値が目標値に対し所定の範囲内の値でない場合、ステップＳ１１６に進む。制御部１０１は、ステップＳ１１０で取得した輝度の測定値とその目標値との差分絶対値が所定の閾値以下であり、かつ、色度の測定値とその目標値との差分絶対値が所定の閾値以下である場合に、測定値は目標値の範囲内であると判定する。輝度の判定のための閾値と色度の判定のための閾値はそれぞれ予め定められ表示装置１００に記憶されている値であっても良いし、ユーザが所望の値を設定できるようにしても良い。測定値が目標値の範囲内であるか否かの判定方法はこれに限らない。

ステップＳ１１５において、制御部１０１は、調整対象の全ての階調値についてホワイトバランス調整を完了したか判定する。調整対象の全ての階調値についてホワイトバランス調整が完了した場合、制御部１０１はこのフローチャートの処理を終了し、完了していない場合はステップＳ１０９に戻る。ステップＳ１０９において、制御部１０１は、未調整の階調値を対象階調値に設定し、ステップＳ１０９以下の処理を繰り返す。調整対象の階調値は、画像データがとり得る全階調値（８ビットなら０、１、２、・・・、２５５）としても良いし、全階調値の中から選択した離散的な階調値（例えば、０、８、１６、・・・、２５５）としても良い。

ステップＳ１１６において、制御部１０１は、ステップＳ１１２又はステップＳ１１３で設定したホワイトバランスの調整のために補正を行う原色の組み合わせ（以下、補正３原色という）に関して、測定値が目標値に近づくように、ＬＵＴの値を補正する。例えば、測定輝度と目標輝度との差分と、測定色度と目標色度との差分と、補正３原色に応じてＲＧＢマトリクス又はＣＭＹマトリクスと、に基づき、補正３原色に応じたＬＵＴの値を補正する。ＬＵＴの補正後、制御部１０１は、ステップＳ１１０に戻り、対象階調値の測定値が目標値の範囲内になるまで同様の処理を繰り返す。このように、実施例１では、ホワイトバランスの調整は、ステップＳ１１１で判定される条件に応じて、第１の組み合わせの原色（ＲＧＢ）によるホワイトバランス調整と、第２の組み合わせの原色（ＣＭＹ）によるホワイトバランスの調整と、が切り替えられる。

以上のフローチャートの処理によるホワイトバランスの調整例について説明する。
図７は、ステップＳ１０１〜Ｓ１０４で測定されるホワイトバランス調整前の表示装置１００の各原色（ＲＧＢＣＭＹ）、白色（Ｗ１，Ｗ２）及び黒色（Ｂｋ）の輝度と色度の測定値と、ステップＳ１１４及びＳ１１６で参照される目標値の例を示す。図７の測定値の各原色（ＲＧＢＣＭＹ）の輝度及び色度はＳ１０１で取得された測定値であり、黒色（Ｂｋ）の輝度及び色度はＳ１０２で取得された測定値であり、白色（Ｗ１，Ｗ２）の輝度及び色度はＳ１０３，Ｓ１０４で取得された測定値である。

図８は、ステップＳ１０７で算出される中間階調の初期値を含むＬＵＴの一例である。図８の中間階調の初期値は図７の測定値に基づき算出される。

図８において、最も左側の「入力階調」の列は入力画像データの無彩色（グレー）の各階調を表す。入力階調は８ビットの場合０から２５５までの値をとる。図８は、ＬＵＴが入力階調について８階調おきに離散的に定義されている場合の例を示す。図８に含まれない階調値が入力された場合、図８に含まれる階調値に基づく補間計算により変換を行う。

図８において、「出力階調」の欄のＲ（１０Ｂｉｔ）、Ｇ（１０Ｂｉｔ）、Ｂ（１０Ｂｉｔ）、Ｃ（１０Ｂｉｔ）、Ｍ（１０Ｂｉｔ）、Ｙ（１０Ｂｉｔ）は、表示部１０６の液晶パネルの各画素を構成する各原色のサブピクセルの制御に用いられる階調値である。図８は、各入力階調に対応する各原色の階調値の初期設定値である。これらの値は、図７に示す測定値及び表示部１０６の入出力特性（ここではγ２．２であるとする）に基づき算出される。

図７のＬＵＴの初期値を求めるために、制御部１０１は、図７に示す各色の測定値（ｘ，ｙ，Ｌｖ）を三刺激値（Ｘ，Ｙ，Ｚ）に変換する。三刺激値への変換式は、式１で表される。

Ｘ＝ｘ／ｙ×Ｌｖ
Ｙ＝Ｌｖ ・・・（式１）
Ｚ＝（１−ｘ−ｙ）／ｙ×Ｌｖ

制御部１０１は、ＲＧＢとＣＭＹのサブピクセルの組み合わせの各々で目標色度値になるように各色の組み合わせを作成し、ＲＧＢとＣＭＹで対応する輝度のバランス決定し、図８の各原色の階調値を決定する。

計算式は、下記の式２である。

ＷＸ
＝（ＲＸ）×（Ｒ階調／最大階調値）^２．２
＋（ＧＸ）×（Ｇ階調／最大階調値）^２．２
＋（ＢＸ）×（Ｂ階調／最大階調値）^２．２
＋（ＣＸ）×（Ｃ階調／最大階調値）^２．２
＋（ＭＸ）×（Ｍ階調／最大階調値）^２．２
＋（ＹＸ）×（Ｙ階調／最大階調値）^２．２
＋ＢｋＸ

ＷＹ
＝（ＲＹ）×（Ｒ階調／最大階調値）^２．２
＋（ＧＹ）×（Ｇ階調／最大階調値）^２．２
＋（ＢＹ）×（Ｂ階調／最大階調値）^２．２
＋（ＣＹ）×（Ｃ階調／最大階調値）^２．２
＋（ＭＹ）×（Ｍ階調／最大階調値）^２．２
＋（ＹＹ）×（Ｙ階調／最大階調値）^２．２
＋ＢｋＹ

ＷＺ
＝（ＲＺ）×（Ｒ階調／最大階調値）^２．２
＋（ＧＺ）×（Ｇ階調／最大階調値）^２．２
＋（ＢＺ）×（Ｂ階調／最大階調値）^２．２
＋（ＣＺ）×（Ｃ階調／最大階調値）^２．２
＋（ＭＺ）×（Ｍ階調／最大階調値）^２．２
＋（ＹＺ）×（Ｙ階調／最大階調値）^２．２
＋ＢｋＺ
・・・（式２）

式中のＲＸ、ＲＹ、ＲＺは、原色Ｒの測定値を三刺激値に変換した値を表す。その他の原色についても同様の記号で表す。階調値は実施例１の場合１０Ｂｉｔで表され、最大階調値は１０２３である。

図８の値をＬＵＴ部０１３に適用した場合、グレーの階調毎に、図１１の「初期値」の列に示す色度、輝度のそれぞれの目標値からのずれΔｘｙ、ΔＬｖが生じる。

図９は、実施例１のフローチャートに基づいてグレーの各階調についてフィードバック補正によるホワイトバランス調整を行った場合のＬＵＴの補正量の一例を示す。ここでは、図３のステップＳ１１１で用いる閾値を７２に設定した。ただしこの値は一例であってステップＳ１１１で用いる閾値はこの値に限られない。図９からわかるように、閾値７２以下の階調値については、ＬＵＴの補正はＣＭＹについてのみ行われている（第２の調整）。閾値７２より大きい階調値については、ＬＵＴの補正はＲＧＢについてのみ行われている（第１の調整）。このように、階調に応じてホワイトバランス調整に用いる原色を切り替えてフィードバック補正によるホワイトバランス調整を行うことにより、色度、輝度の目標値からのずれΔｘｙ、ΔＬｖは、図１１の「実施例１」で示す列の値にまで縮小できる。

図５は、階調毎の色度の目標値からのずれを示すグラフである。図５において、初期値と実施例１を比較すると、６４以下の階調値においてずれが大きく改善することがわかる。
図６は、階調毎の輝度の目標値からのずれを示すグラフである。図６において、初期値と実施例１を比較すると、１２８以下の階調値においてずれが大きく改善することがわかる。
以上説明したように、実施例１の表示装置によれば、４原色以上の多原色ディスプレイにおいて、階調値によらずホワイトバランスを精度良く調整することができる。

（実施例２）
次に本発明の実施例２について説明する。実施例２では、実施例１と異なる点について詳細に説明する。
図４は、実施例２の表示装置のホワイトバランス調整の処理内容を示すフローチャートである。図４において、図２と処理内容が同じステップには図２と同じ符号を付している
。

ステップＳ２０９において、制御部１０１は、補正３原色の組み合わせをＲＧＢ（第１の組み合わせ）に設定する。

ステップＳ２１０において、制御部１０１は、ステップＳ１０１と同様の制御により、表示部１０６に以下のステップでホワイトバランス調整を実施する対象階調値でグレーの単色表示を行う。実施例２では、制御部１０１は、対象階調値として、ホワイトバランス調整を未実施の階調値のうち最も高い階調値を設定する。従って対象階調値は、高階調から低階調へ順に設定され、まず第１の組み合わせの原色（ＲＧＢ）によるホワイトバランスの調整（第１の調整）が行われる。

ステップＳ２１１において、制御部１０１は、ステップＳ２１０で設定した対象階調値のグレーを表示部１０６に単色表示させた状態で、センサ１０７によりそのグレー単色表示の輝度及び色度を測定する。このとき、ステップＳ１０８でＬＵＴ部１０３に適用されたＬＵＴを用いて変換が行われる。

ステップＳ２１２において、制御部１０１は、ステップＳ２１０で設定した対象階調値に関して、後述するステップＳ２１６のフィードバック補正によるＬＵＴの補正を、設定されている補正３原色で行った回数が閾値以上になったか判定する。ここでは補正３原色はステップＳ２０９で設定されたＲＧＢであるから、繰り返し処理の初期ではステップＳ２１２においては補正３原色ＲＧＢでの補正回数が閾値以上になったか否かが判定される。ここで補正回数が閾値以上になったということは、補正３原色ＲＧＢでは目標値を達成できなかった（後述のステップＳ２１３で測定値が目標値の範囲内であると判定されなかった）ことを意味する。このような場合（補正回数が閾値以上になった場合）、補正３原色をＣＭＹに変更するためにステップＳ２１４に進む。補正回数が閾値に達していない場合、補正３原色ＲＧＢでさらに目標値に近づけることができる可能性があるため、補正３原色ＲＧＢでのホワイトバランス調整を継続すべくステップＳ２１３に進む。このように、実施例２では、第１の組み合わせの原色（ＲＧＢ）によるホワイトバランスの調整（第１の調整）によって輝度及び色度を所定の目標値に調整できない場合、第２の組み合わせの原色（ＣＭＹ）によるホワイトバランスの調整（第２の調整）を行う。特に、まず第１の調整が行われ、第１の調整によってホワイトバランスを所定の目標値に調整できない階調値があった場合、当該階調値についてさらに第２の調整によってホワイトバランスの調整を行う。さらに、当該階調値より低い階調値については第２の調整のみでホワイトバランスの調整を行う。

ステップＳ２１３において、制御部１０１は、ステップＳ２１１で測定した測定値がホワイトバランス調整の目標値に対し所定の範囲内の値であるか判定する。測定値が目標値に対し所定の範囲内の値である場合、ステップＳ２１５に進み、測定値が目標値に対し所定の範囲内の値でない場合、ステップＳ２１６に進む。

ステップＳ２１４において、制御部１０１は、補正３原色の組み合わせをＣＭＹに設定する。ステップＳ２１４で補正３原色がＣＭＹに変更された対象階調値より低階調の対象階調値については、ホワイトバランス調整が行われる３原色はＣＭＹのみとなる。補正３原色ＲＧＢで目標値を達成できなかった階調値を境に、以降の階調値（境の階調値より低い階調値）についてのホワイトバランス調整は補正３原色ＣＭＹで行われる。

ステップＳ２１５において、制御部１０１は、調整対象の全ての階調値についてホワイトバランス調整を完了したか判定する。調整対象の全ての階調値についてホワイトバランス調整が完了した場合、制御部１０１はこのフローチャートの処理を終了し、完了してい
ない場合はステップＳ２１０に戻る。ステップＳ１０９において、制御部１０１は、未調整の階調値を対象階調値に設定し、ステップＳ２１０以下の処理を繰り返す。

ステップＳ２１６において、制御部１０１は、ステップＳ２０９又はステップＳ２１４で設定した補正３原色の組み合わせに関して、測定値が目標値に近づくように、ＬＵＴ部１０３のＬＵＴの値を補正する。

実施例２の表示装置１００の特性は、実施例１と同様であり、ステップＳ１０１〜Ｓ１０４による測定値及び目標値は図７に示す値であるとする。この場合、ステップＳ１０８で設定されるＬＵＴの初期値も実施例１と同様、図８に示す値となる。この初期値のもとで生じる色度、輝度の目標値からのずれは、実施例１と同様、図１１の「初期値」の列に示す値となる。

図１０は、実施例２のフィードバック補正によるホワイトバランス調整を行った場合の最終的な補正量の一例を示す。実施例１の最終的な補正量（図９）と比較すると、実施例２では、ＲＧＢ及びＣＭＹの両方でホワイトバランス調整のための補正が行われている階調値が存在する。これは、図４のフローチャートで説明したように、補正３原色の組み合わせをＲＧＢとして一定回数の補正を行っても目標値を達成できなかった場合には、補正３原色の組み合わせをＣＭＹに変更してさらなるホワイトバランス調整が行われるからである。図１０の例では、補正３原色ＲＧＢで一定回数の補正を行っても目標値を達成できなかった境界となる階調値は７２であり、階調値７２より低い階調値では補正３原色ＣＭＹでホワイトバランス調整が行われていることがわかる。

このように、実施例２では、低階調では補正３原色ＣＭＹでホワイトバランス調整が行われる。ここで、補正３原色ＲＧＢのみでホワイトバランス調整を行った場合に達成できる補正後の色度及び輝度と目標値との差分の例を図１１の「ＲＧＢフィードバック」の列に例示する。図１１からわかるように、階調値７２より低い階調値では、輝度の誤差（ΔＬｖ）が急激に増加する。これは、補正３原色ＲＧＢでは、低階調においてホワイトバランスを精度良く調整できないことを意味する。例えば、図４のステップＳ２１３において目標範囲内と判定される輝度の目標値からのずれの閾値（許容できるΔＬｖの上限値）を１％に設定したとする。この場合、図１１の例では、階調値７２において、補正３原色ＲＧＢでフィードバックを繰り返しても目標値に対するずれを許容レベル以下にできず、ステップＳ２１１〜ステップＳ２１６の繰り返し回数が閾値に達してしまう。実施例２では、このような場合、ステップＳ２１４によりさらに補正３原色ＣＭＹでの補正も行われる。よって、図１０の入力階調７２では、ＲＧＢのサブピクセルの組み合わせとＣＭＹのサブピクセルの組み合わせの両方に対して補正が行われている。そしてそれ以降の階調（７２より低い階調）に対してはＣＭＹのみに対して補正が行われている。このように、実施例２では、ホワイトバランスの調整は、ステップＳ２１２で判定される条件に応じて、第１の組み合わせの原色（ＲＧＢ）による調整と、第２の組み合わせの原色（ＣＭＹ）による調整とが、組み合わせられ、又は、切り替えられる。

このように、フィードバック補正によるホワイトバランス調整を補正３原色ＲＧＢと補正３原色ＣＭＹで行うことにより、表示装置１の輝度及び色度の目標値に対する誤差は、図１１の「実施例２」のΔｘｙ及びΔＬｖで示す値まで縮小できる。図１１の「ＲＧＢフィードバック」の列の値と比較すると、特に低階調において著しく誤差を縮小できていることがわかる。

図５は、階調毎の色度の目標値からのずれを示すグラフである。図５において、初期値と実施例２を比較すると、６４以下の階調値においてずれが大きく改善することがわかる。
図６は、階調毎の輝度の目標値からのずれを示すグラフである。図６において、初期値と実施例２を比較すると、１２８以下の階調値においてずれが大きく改善することがわかる。
以上説明したように、実施例２の表示装置によれば、４原色以上の多原色ディスプレイにおいて、階調値によらずホワイトバランスを精度良く調整することができる。

なお、実施例２では、対象階調値を高階調側から低階調側へ順に設定する例を説明したが、低階調側から高階調側へ順に設定するようにしても良い。その場合、高階調側でＲＧＢを補正３原色とし、低階調側でＣＭＹを補正３原色としてホワイトバランス調整が行われるようにすると良い。
また、実施例２では、ＲＧＢＣＭＹの６色のサブピクセルから構成される多原色ディスプレイに本発明を適用した例を説明したが、サブピクセルの原色数はこれに限らず、４色以上であれば良い。

また、各実施例では、白色を表示可能な第１の組み合わせの原色がＲＧＢであり、第２の組み合わせの原色がＣＭＹである構成を例示したが、白色を表示可能な原色の組み合わせであれば第１の組み合わせ、第２の組み合わせは上記の例に限定されない。また、実施例１では、対象階調値が閾値より大きい場合、第１の組み合わせ（ＲＧＢ）で第１の調整を行い、対象階調値が閾値以下の場合、第２の組み合わせ（ＣＭＹ）で第２の調整を行う構成を例示したが、これは本発明のホワイトバランス調整の一例である。この構成は、低階調のホワイトバランスの調整にＣＭＹが適しているような表示特性を有する表示装置に適用して好適な構成である。表示装置の表示特性に応じて、どのような条件で第１の調整と第２の調整とを切り替え、又は組み合わせて、ホワイトバランス調整を行うか決定するのが好ましい。実施例２についても同様に、表示装置の表示特性に応じて、第１の組み合わせ、第２の組み合わせをそれぞれどのような原色の組み合わせとするか、また、第１の調整と第２の調整とをどのような条件で組み合わせ又は切り替えるか、決定するのが好ましい。

実施例１では、最大階調値の複数の原色、白及び黒の各々の画像データを表示した場合の表示装置の輝度及び色度の測定値と、表示装置の入出力特性と、に基づきＬＵＴの初期値を算出する構成を例示したが、ＬＵＴの初期値を求める方法はこれに限らない。ＬＵＴは画像データを表示パネルのサブピクセルの原色毎の階調値データに変換する際の変換の特性を表す情報であり、このような変換の特性を表す情報の形式はＬＵＴに限られない。ＬＵＴの初期値は、どのような値が与えられたとしても、その後のホワイトバランスの調整処理で補正されることになる。従って、ＬＵＴの初期値を算出する工程又は手段の如何によらず、階調値に応じて第１の調整と第２の調整とを組み合わせて、又は切り替えて、ホワイトバランスの調整を行う、という特徴を有する本発明を構成することが可能である。

上記各実施例では、表示装置がホワイトバランス調整を行う画像処理装置を備える構成について例示したが、ホワイトバランスの調整を行う画像処理装置は、表示装置とは別体であっても良い。この場合、図１２に示すように、画像処理装置２００は、制御部１０１とマトリクス作成部１０５と保存部１０４を含む。センサ１０７は画像処理装置２００と別体であって、画像処理装置２００は外部のセンサ１０７から測定値を取得する構成としても良いし、センサ１０７も含めて画像処理装置２００を構成するとしても良い。制御部１０１は、中間階調の単色画像を表示装置に出力して表示させ、センサ１０７から輝度及び色度の測定値を取得し、表示装置１００からＬＵＴ及び入出力特性を取得し、それらに基づきＬＵＴを補正することでホワイトバランスの調整を行う。上記各実施例で説明したようなマトリクス作成処理、ＬＵＴ初期値算出処理も同様に行う構成としてもよい。この画像処理装置は、調整対象の表示装置１００のサブピクセルの原色構成に応じて、第１の
調整と第２の調整を組み合わせて、又は、切り替えて、ホワイトバランスの調整を行う。これにより階調によらず精度良くホワイトバランスの調整を行うことができる。各実施例で説明したホワイトバランスの調整処理を行うプログラム、又はそのようなプログラムを記録した記録媒体、又はそのようなプログラムを実行することで画像処理装置として機能するコンピュータは本発明に含まれる。また、汎用のコンピュータにこのような画像処理装置の機能を追加する機能追加ボード等のハードウェアも本発明の範囲に含まれる。例えば、コンピュータは、ディスプレイの輝度及び色度を測定する光学センサから測定値を取得し、ディスプレイからＬＵＴのデータを取得し、測定値と目標値と対象階調値に基づきＬＵＴを補正し、ディスプレイに補正後のＬＵＴを出力する。

上記各実施例は、記憶装置又はメモリに記憶又は記録又は格納又は保存されたプログラムをコンピュータ又はプロセッサ又はＣＰＵが実行することによって各機能ブロックの機能又は処理を実現する態様で実施することができる。プロセッサとメモリとを備え、前記メモリにはコンピュータが実行することによって上記各実施例で説明した各機能ブロックの機能が実現されるプログラムが記憶されている構成も、本発明の範囲に含まれる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１：制御部、１０３：ＬＵＴ部、１０６：表示部、１０７：センサ

Claims (21)

1. 複数の原色のサブピクセルを有する表示装置のホワイトバランスを調整する画像処理装置であって、
   前記表示装置の表示特性を取得する測定手段と、
   前記表示装置が入力画像データを前記サブピクセルの原色毎の階調値データに変換する際の変換の特性の情報を取得する取得手段と、
   前記表示特性に基づき前記変換の特性を補正することで、前記表示装置のホワイトバランスの調整を行う調整手段と、
   を備え、
   前記調整手段は、条件に応じて、
   前記複数の原色のうち白色を表示可能な第１の組み合わせの原色について前記変換の特性を補正する第１の調整と、
   前記複数の原色のうち白色を表示可能な第２の組み合わせの原色について前記変換の特性を補正する第２の調整と、
   を、組み合わせて、又は、切り替えて、ホワイトバランスの調整を行うことを特徴とする画像処理装置。
2. 前記調整手段は、複数の階調値についてホワイトバランスの調整を行い、
   調整の対象の階調値に応じて、前記第１の調整と前記第２の調整とを切り替える請求項１に記載の画像処理装置。
3. 前記調整手段は、
   調整の対象の階調値が所定の閾値より大きい場合、前記第１の調整を行い、
   調整の対象の階調値が前記閾値以下の場合、前記第２の調整を行う請求項２に記載の画像処理装置。
4. 前記調整手段は、前記第１の調整によってホワイトバランスを所定の目標値に調整できない場合に、さらに前記第２の調整によってホワイトバランスの調整を行う請求項１に記載の画像処理装置。
5. 前記調整手段は、複数の階調値について高階調から低階調へ順に前記第１の調整によってホワイトバランスの調整を行うものであり、前記第１の調整によってホワイトバランスを所定の目標値に調整できない階調値があった場合、当該階調値についてさらに前記第２の調整によってホワイトバランスの調整を行うとともに、当該階調値より低い階調値については前記第２の調整によってホワイトバランスの調整を行う請求項４に記載の画像処理装置。
6. 前記表示装置の表示特性を測定する測定手段をさらに備え、
   前記取得手段は、前記測定手段から前記表示特性を取得する請求項１〜５のいずれか１項に記載の画像処理装置。
7. 最大階調値の前記複数の原色、白及び黒の各々の画像データを表示した場合の前記表示装置の表示特性を前記測定手段により取得し、前記表示装置の入出力特性の情報を前記取得手段により取得し、前記表示特性と前記入出力特性とに基づき、前記変換の特性の初期値を算出する算出手段と、を備える請求項１〜６のいずれか１項に記載の画像処理装置。
8. 前記複数の原色はＲ、Ｇ、Ｂ、Ｃ、Ｍ、Ｙであり、
   前記第１の組み合わせはＲ、Ｇ、Ｂであり、
   前記第２の組み合わせはＣ、Ｍ、Ｙである請求項１〜７のいずれか１項に記載の画像処
   理装置。
9. 前記変換の特性の情報はＬＵＴの形式のデータであり、
   前記調整手段は、前記第１の調整では前記ＬＵＴのうち前記第１の組み合わせの原色について補正し、前記第２の調整では前記ＬＵＴのうち前記第２の組み合わせの原色について補正する請求項１〜８のいずれか１項に記載の画像処理装置。
10. 前記表示特性は輝度及び色度である請求項１〜９のいずれか１項に記載の画像処理装置。
11. 請求項１〜１０のいずれか１項に記載の画像処理装置と、
    前記複数の原色のサブピクセルを有する表示手段と、
    を備える表示装置。
12. 複数の原色のサブピクセルを有する表示装置のホワイトバランスを調整する画像処理装置の制御方法であって、
    前記表示装置の表示特性を取得する測定工程と、
    前記表示装置が入力画像データを前記サブピクセルの原色毎の階調値データに変換する際の変換の特性の情報を取得する取得工程と、
    前記表示特性に基づき前記変換の特性を補正することで、前記表示装置のホワイトバランスの調整を行う調整工程と、
    を有し、
    前記調整工程では、条件に応じて、
    前記複数の原色のうち白色を表示可能な第１の組み合わせの原色について前記変換の特性を補正する第１の調整と、
    前記複数の原色のうち白色を表示可能な第２の組み合わせの原色について前記変換の特性を補正する第２の調整と、
    を、組み合わせて、又は、切り替えて、ホワイトバランスの調整を行うことを特徴とする画像処理装置の制御方法。
13. 前記調整工程では、複数の階調値についてホワイトバランスの調整を行い、
    調整の対象の階調値に応じて、前記第１の調整と前記第２の調整とを切り替える請求項１２に記載の画像処理装置の制御方法。
14. 前記調整工程では、
    調整の対象の階調値が所定の閾値より大きい場合、前記第１の調整を行い、
    調整の対象の階調値が前記閾値以下の場合、前記第２の調整を行う請求項１３に記載の画像処理装置の制御方法。
15. 前記調整工程では、前記第１の調整によってホワイトバランスを所定の目標値に調整できない場合に、さらに前記第２の調整によってホワイトバランスの調整を行う請求項１２に記載の画像処理装置の制御方法。
16. 前記調整工程では、複数の階調値について高階調から低階調へ順に前記第１の調整によってホワイトバランスの調整を行うものであり、前記第１の調整によってホワイトバランスを所定の目標値に調整できない階調値があった場合、当該階調値についてさらに前記第２の調整によってホワイトバランスの調整を行うとともに、当該階調値より低い階調値については前記第２の調整によってホワイトバランスの調整を行う請求項１５に記載の画像処理装置の制御方法。
17. 前記表示装置の表示特性を測定する測定工程をさらに有し、
    前記取得工程では、前記測定工程で測定された表示特性を取得する請求項１２〜１６のいずれか１項に記載の画像処理装置の制御方法。
18. 最大階調値の前記複数の原色、白及び黒の各々の画像データを表示した場合の前記表示装置の表示特性と、前記表示装置の入出力特性の情報とを取得し、前記表示特性と前記入出力特性とに基づき、前記変換の特性の初期値を算出する算出工程と、を有する請求項１２〜１７のいずれか１項に記載の画像処理装置の制御方法。
19. 前記複数の原色はＲ、Ｇ、Ｂ、Ｃ、Ｍ、Ｙであり、
    前記第１の組み合わせはＲ、Ｇ、Ｂであり、
    前記第２の組み合わせはＣ、Ｍ、Ｙである請求項１２〜１８のいずれか１項に記載の画像処理装置の制御方法。
20. 前記変換の特性の情報はＬＵＴの形式のデータであり、
    前記調整工程では、前記第１の調整において前記ＬＵＴのうち前記第１の組み合わせの原色について補正し、前記第２の調整において前記ＬＵＴのうち前記第２の組み合わせの原色について補正する請求項１２〜１９のいずれか１項に記載の画像処理装置の制御方法。
21. 複数の原色のサブピクセルを有する表示装置のホワイトバランスを調整する画像処理装置の制御方法をコンピュータに実行させるプログラムであって、前記制御方法は、
    前記表示装置の表示特性を取得する測定工程と、
    前記表示装置が入力画像データを前記サブピクセルの原色毎の階調値データに変換する際の変換の特性の情報を取得する取得工程と、
    前記表示特性に基づき前記変換の特性を補正することで、前記表示装置のホワイトバランスの調整を行う調整工程と、
    を有し、
    前記調整工程では、条件に応じて、
    前記複数の原色のうち白色を表示可能な第１の組み合わせの原色について前記変換の特性を補正する第１の調整と、
    前記複数の原色のうち白色を表示可能な第２の組み合わせの原色について前記変換の特性を補正する第２の調整と、
    を、組み合わせて、又は、切り替えて、ホワイトバランスの調整を行うことを特徴とするプログラム。

Images