JP2020148864A - 画像処理システム及び画像処理方法 - Google Patents

Abstract

【課題】本発明は、ローカルディミング制御での画像再現性の向上を図ることができる画像処理システム及び画像処理方法を提供することを目的とする。【解決手段】本発明は、液晶表示装置５の表示領域５１１を構成する複数の画素Ｐに表示される画像の画素値の目標値である入力画素値ＩＰ（ｎ）に基づいて、液晶表示装置５の光源として用いられるバックライトユニット３に設けられた複数のＬＥＤ３１のそれぞれの発光輝度を決定するＬＥＤ輝度決定部１１３ａと、ＬＥＤ輝度決定部１１３ａで決定された発光輝度で複数のＬＥＤ３１がそれぞれ発光した場合にバックライトユニット３の光出射面の側に生じる輝度分布を推定する輝度分布推定部１１３ｃとを備えている。輝度分布推定部１１３ｃは、複数のＬＥＤ３１のそれぞれを発光させた場合のバックライトユニット３の光出射面の側の輝度分布データを用いて輝度分布を推定する。【選択図】図２

Description

本発明は、面光源装置を光源とする非自発光型の表示装置に表示される画像を処理する画像処理システム及び画像処理方法に関する。

表示装置の画面全体を複数の区画に分け、それぞれの区画に映し出す映像の明るさに応じてバックライトユニットの明るさを調整するローカルディミング法が知られている（例えば特許文献１から６）

特開２０１０−２５６９１２号公報 特開２０１１−１４５４０５号公報 特開２０１２−５３４１５号公報 特開２０１６−３１４９２号公報 特開２０１７−１１１２８９号公報 国際公開第２０１１／０２７５９２号

しかしながら、従来のローカルディミング法は、バックライトユニットの明るさを調整することによって生じる輝度分布の変更量の推定が十分でない。このため、従来のローカルディミング法は、入力画像データに基づく画像と表示画面に表示される画像とが乖離し、画像再現性が低いという問題がある。

本発明の目的は、ローカルディミング制御での画像再現性の向上を図ることができる画像処理装置を提供することにある。

上記課題を解決するための本発明は、以下に示す発明特定事項乃至は技術的特徴を含んで構成される。

ある観点に従う本発明は、複数の発光素子及び複数の前記発光素子を駆動する駆動回路を有する光源装置と、複数の前記発光素子を光源とし非自発光型の表示パネルを有する表示装置と、前記表示パネルの表示領域を構成する複数の画素に表示される画像の画素値の目標値である入力画素値に基づいて、複数の前記発光素子のそれぞれの発光輝度を決定する発光輝度決定部、前記発光輝度決定部で決定された発光輝度で複数の前記発光素子がそれぞれ発光した場合に前記光源装置の光出射面の側に生じる輝度分布を推定する分布推定部、前記発光輝度決定部で決定された発光輝度に基づいて前記駆動回路を制御する制御信号を生成する制御信号生成部、前記入力画素値に乗算されるゲインを前記輝度分布に基づいて算出するゲイン算出部、及び、前記ゲイン算出部から入力されたゲインを前記入力画素値に乗算して得た拡張画素値を前記表示装置に出力するゲイン乗算部を有する画像処理装置と、を備え、前記発光輝度決定部は、前記表示領域を分割した領域であって複数の前記発光素子のそれぞれに対応付けられた分割領域を構成する複数の前記画素の前記入力画素値に基づいて前記発光輝度を決定し、前記分布推定部は、複数の前記発光素子のそれぞれを発光させた場合の前記光出射面の側の輝度分布データを用いて前記輝度分布を推定する。

前記ゲイン算出部は、前記輝度分布を数値化した数値の逆数を算出して前記ゲインを生成してもよい。

前記発光輝度を決定するために用いられる入力画素値は、前記表示パネルに表示される表示画像の画素値を生成するために用いられる入力画素値よりも１フレーム前の画素値であってもよい。

前記発光輝度を決定するために用いられる入力画素値は、前記表示パネルに表示される表示画像の画素値を生成するために用いられる入力画素値よりも１フレーム前の複数のフレームの画素値であってもよい。

前記画像処理装置は、前記ゲインの最大値を調整するゲイン調整係数を算出する係数算出部を備えていてもよい。

前記ゲイン調整係数は、前記拡張画素値が、前記表示装置で表示可能な最大階調値以下の値になるように設定されていてもよい。

前記ゲイン算出部は、前記輝度分布に基づいて算出したゲインと、前記ゲイン調整係数とを比較して、小さい方をゲインとして前記ゲイン乗算部に出力してもよい。

ある観点に従う本発明は、表示装置に設けられ非自発光型の表示パネルの表示領域を構成する複数の画素に表示される画像の画素値の目標値である入力画素値に基づいて、前記表示装置の光源として用いられる光源装置に設けられた複数の発光素子のそれぞれの発光輝度を決定し、決定された発光輝度で複数の前記発光素子がそれぞれ発光した場合に前記光源装置の光出射面の側に生じる輝度分布を推定し、決定された発光輝度に基づいて複数の前記発光素子を駆動する駆動回路を制御する制御信号を生成し、前記入力画素値に乗算されるゲインを前記輝度分布に基づいて算出し、入力されたゲインを前記入力画素値に乗算して得た拡張画素値を前記表示装置に出力するに際し、前記表示領域を分割した領域であって複数の前記発光素子のそれぞれに対応付けられた分割領域を構成する複数の前記画素の前記入力画素値に基づいて前記発光輝度を決定し、複数の前記発光素子のそれぞれを発光させた場合の前記光出射面の側の輝度分布データを用いて前記輝度分布を推定する。

なお、本明細書等において、手段とは、単に物理的手段を意味するものではなく、その手段が有する機能をソフトウェアによって実現する場合も含む。また、１つの手段が有する機能が２つ以上の物理的手段により実現されても、２つ以上の手段の機能が１つの物理的手段により実現されてもよい。

本発明によれば、ローカルディミング制御での画像再現性の向上を図ることができる。

本発明の他の技術的特徴、目的、及び作用効果乃至は利点は、添付した図面を参照して説明される以下の実施形態により明らかにされる。

本発明の第１実施形態に係る画像処理システムの概略構成を示すブロック図である。 本発明の第１実施形態に係る画像処理システムに設けられた画像処理装置の要部の機能ブロック図である。 本発明の第１実施形態に係る画像処理システムを説明する図であって、入力画素値に基づいて複数のＬＥＤのそれぞれの発光輝度を決定する処理を模式的に示す図である。 本発明の第１実施形態に係る画像処理システムを説明する図であって、ＬＥＤを駆動する場合にＬＥＤ駆動回路を制御するためのデューティ値とＬＥＤの輝度との関係の一例（実測値）を示すグラフである。 本発明の第１実施形態に係る画像処理システムを説明する図であって、ＬＥＤの輝度をデューティ値に変換するためのルックアップテーブルの一例を示す図である。 本発明の第１実施形態に係る画像処理システムを説明する図であって、バックライトユニットの光出射面の側に生じる輝度分布データの一例を示す図である。 本発明の第１実施形態に係る画像処理システムを説明する図であって、１個のＬＥＤを発光した場合にバックライトユニット３の光出射面の側に生じる輝度分布データの一例を示す図である。 本発明の第１実施形態に係る画像処理システムを説明する図であって、ＬＥＤ輝度決定部で決定された発光輝度に基づいて輝度分布を推定する方法を模式的に示す図である。 本発明の第１実施形態に係る画像処理システムを説明する図であって、２４０５点の輝度分布を用いて全ての画素に輝度情報をアップスケーリングする方法を説明するための図である。 本発明の第１実施形態に係る画像処理システムを説明する図であって、ポストプロセス部における処理を模式的に示す図である。 比較例１の画像処理であって、ローカルディミング制御を実行しない場合の画像処理の一例を示す図である。 比較例２の画像処理であって、従来のローカルディミング制御による画像処理の一例を示す図である。 本発明の第１実施形態に係る画像処理方法の流れの一例を示すフローチャートである。 本発明の第２実施形態に係る画像処理システムに設けられた画像処理装置の要部の機能ブロック図である。 本発明の第２実施形態に係る画像処理システムを説明する図であって、ゲインリミット設定用テーブルの一例を示す図である。 本発明の第２実施形態に係る画像処理システムを説明する図であって、ポストプロセス部２１５における処理を模式的に示す図（その１）である。 本発明の第２実施形態に係る画像処理システムを説明する図であって、ポストプロセス部２１５における処理を模式的に示す図（その２）である。 ゲインリミットを用いない場合のポストプロセス部の処理の一例を模式的に示す図である。

以下、図面を参照して本発明の実施の形態を説明する。ただし、以下に説明する実施形態は、あくまでも例示であり、以下に明示しない種々の変形や技術の適用を排除する意図はない。本発明は、その趣旨を逸脱しない範囲で種々変形（例えば各実施形態を組み合わせる等）して実施することができる。また、以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付して表している。図面は模式的なものであり、必ずしも実際の寸法や比率等とは一致しない。図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることがある。

〔第１実施形態〕
［画像処理システム］
本発明の第１実施形態に係る画像処理システムについて図１から図１２を用いて説明する。まず、本実施形態に係る画像処理システム１０について図１を用いて説明する。図１は、本発明の第１実施形態に係る画像処理システム１０の一例を示すブロック図である。

図１に示すように、本実施形態に係る画像処理システム１０は、バックライトユニット（光源装置の一例）３と、液晶表示装置（表示装置の一例）５と、画像処理装置１とを備えている。画像処理装置１は、バックライトユニット３及び液晶表示装置５を制御するように構成されている。画像処理装置１は、バックライトユニット３及び液晶表示装置５の制御として、例えばローカルディミング制御を実行できるように構成されている。

バックライトユニット３は、複数のＬＥＤ（発光素子の一例）３１と、複数のＬＥＤ３１のそれぞれで発光した光を面状の光に拡散して液晶表示装置５に向かって出力する導光部３３と、複数のＬＥＤ３１を駆動するＬＥＤ駆動回路３５とを有している。複数のＬＥＤ３１は、例えば導光部３３の光出射面の裏面側にマトリクス状に並んで配置されている。つまり、図１では、バックライトユニット３は、直下型バックライトユニットの構成を有しているが、エッジライト型バックライトユニットの構成を有していてもよい。液晶表示装置５は、画像を表示する表示領域５１１を有する液晶表示パネル５１と、液晶表示パネル５１を駆動するＬＣＤ駆動回路５３とを有している。

画像処理装置１は、画像処理システム１０の外部に設けられた外部装置（不図示）から例えばｎフレーム目（ｎは自然数）の入力画素値ＩＰ（ｎ）が入力される制御部１１と、種々の設定データが予め記憶されたメモリ１５とを備えている。入力画素値は、液晶表示パネル５１の表示領域５１１に設けられた複数の画素に表示される画像の画素値の目標値である。詳細は後述するが、制御部１１は、例えばｎフレーム目の入力画素値ＩＰ（ｎ）に基づいてバックライトユニット３に設けられた複数のＬＥＤ３１のそれぞれの発光輝度を決定するように構成されている。また、制御部１１は、決定した発光輝度に基づいて、例えば光射出面の側に生じる輝度分布を推定したり、ＬＥＤ駆動回路３５を制御する制御信号Ｓｄｙを生成したりするように構成されている。また、制御部１１は、例えば当該輝度分布及びｎフレーム目の入力画素値ＩＰ（ｎ）に基づいて、液晶表示パネル５１の表示領域５１１に表示する画像の画素値である拡張画素値ＥＰ（ｎ）を生成するように構成されている。即ち、画像処理装置１は、拡張画素値を用いた表示画像として、入力画像との乖離が少なく、再現性が高く、階調を保った画像とするため、入力画素値を目標値とし、かつバックライトユニットの消費電力を削減するためのローカルディミング制御を併せて行う。

［画像処理装置の機能ブロック］
次に、本実施形態に係る画像処理システム１０に設けられた画像処理装置１の要部の機能ブロックの一例について図１を参照しつつ図２から図１２を用いて説明する。図２は、画像処理装置１の要部の機能ブロックの一例を示す図である。

図２に示すように、制御部１１は例えば、入力画素値ＩＰ（ｎ）の座標を検出するプリプロセス部１１１を有している。制御部１１は例えば、複数のＬＥＤ３１（図１参照）の発光輝度、バックライトユニット３（図１参照）の光出射面の側の輝度分布及びＬＥＤ駆動回路３５を制御する制御信号Ｓｄｙを生成する機能を発揮するコアプロセス部１１３を有している。制御部１１は、液晶表示パネル５１の表示領域５１１（図１参照）の画素に表示されるｎフレーム目の画像の拡張画素値ＥＰ（ｎ）を生成する機能を発揮するポストプロセス部１１５を有している。以下、各機能ブロックについて詳細に説明する。

＜プリプロセス部＞
図２に示すように、画像処理装置１に設けられたプリプロセス部１１１は、画像処理システム１０の外部に設けられた外部装置（不図示）から入力される入力画素値ＩＰ（ｎ）の座標を検出する座標検出部１１１ａを有している。座標検出部１１１ａは例えば、表示領域５１１の列方向の座標（Ｘ座標）用カウンタと、表示領域５１１の行方向の座標（Ｙ座標）用カウンタとを有している。座標検出部１１１ａは、入力画素値ＩＰ（ｎ）が入力される度にＸ座標用カウンタをカウントアップするように構成されている。また、座標検出部１１１ａは例えば、１行分の入力画素値ＩＰ（ｎ）の入力が完了するとＸ座標用カウンタをリセットするとともに、Ｙ座標用カウンタをカウントアップするように構成されている。また、座標検出部１１１ａは例えば、１フレーム分の入力画素値ＩＰ（ｎ）の入力が完了すると、Ｘ座標用カウンタ及びＹ座標用カウンタをリセットするように構成されている。さらに、座標検出部１１１ａは、入力された入力画素値ＩＰ（ｎ）の情報と、当該入力画素値ＩＰ（ｎ）の座標情報とをコアプロセス部１１３とポストプロセス部１１５に出力するように構成されている。

＜コアプロセス部＞
図２に示すように、制御部１１に設けられたコアプロセス部１１３は例えば、液晶表示パネル５１の表示領域５１１を構成する複数の画素（図１では不図示）に表示される画像の画素値の目標値である入力画素値ＩＰ（ｎ）に基づいて、液晶表示装置５の光源として用いられるバックライトユニット３に設けられた複数のＬＥＤ３１のそれぞれの発光輝度を決定するＬＥＤ輝度決定部（発光輝度決定部の一例）１１３ａを備えている。複数のＬＥＤ３１のそれぞれの発光輝度を決定するために用いられる入力画素値は、拡張画素値ＥＰ（ｎ）を生成するために用いられる入力画素値ＩＰ（ｎ）よりも１フレーム前の入力画素値ＩＰ（ｎ−１）であっても良い。

コアプロセス部１１３は、ＬＥＤ輝度決定部１１３ａで決定された発光輝度に基づいて複数のＬＥＤ３１を駆動するＬＥＤ駆動回路３５を制御する制御信号Ｓｄｙを生成するデューティ値変換部（制御信号生成部の一例）１１３ｂを備えている。さらに、コアプロセス部１１３は例えば、ＬＥＤ輝度決定部１１３ａで決定された発光輝度で複数のＬＥＤ３１がそれぞれ発光した場合にバックライトユニット３の光出射面の側に生じる輝度分布を推定する輝度分布推定部（分布推定部の一例）１１３ｃを備えている。

（ＬＥＤ輝度決定部）
ＬＥＤ輝度決定部１１３ａは、表示領域５１１を分割した領域であって複数のＬＥＤ３１のそれぞれに対応付けられたサブエリア（分割領域の一例）ＬＳＢを構成する複数の画素の入力画素値ＩＰ（ｎ）に基づいて発光輝度を決定するように構成されている。ＬＥＤ輝度決定部１１３ａは、プリプロセス部１１１に設けられた座標検出部１１１ａ、デューティ値変換部１１３ｂ及び輝度分布推定部１１３ｃに接続されている。これにより、ＬＥＤ輝度決定部１１３ａには、入力画素値ＩＰ（ｎ）及び当該入力画素値ＩＰ（ｎ）の座標情報が入力される。また、ＬＥＤ輝度決定部１１３ａで決定された複数のＬＥＤ３１のそれぞれの発光輝度の情報がデューティ値変換部１１３ｂ及び輝度分布推定部１１３ｃに出力される。

ここで、ＬＥＤ輝度決定部１１３ａが発光輝度を決定する処理について図３を用いて具体的に説明する。図３は、入力画素値ＩＰ（ｎ）に基づいて複数のＬＥＤ３１のそれぞれの発光輝度を決定する処理を模式的に示す図である。図３中の左上には、表示領域５１１が模式的に図示されている。図３中の左中央には、表示領域５１１をサブエリアＬＳＢに分割した状態が模式的に図示されている。図３中の右上には、複数のＬＥＤ３１が図示されている。図３中の左下の中央寄りには、表示領域５１１と複数のＬＥＤ３１とが重ね合わされて、表示領域５１１に設けられたサブエリアＬＳＢと複数のＬＥＤ３１との対応関係が模式的に図示されている。なお、図３では理解を容易にするため、複数のＬＥＤ３１は、表示領域５１１に対してずらして図示されている。本例では、各ＬＥＤに各サブエリアＬＳＢが割り当てられているが、これに限られるものではなく、複数のＬＥＤを一つのサブエリアに割り当てても良いし、一つのＬＥＤを複数のサブエリアに割り当てても良い。さらに、図３中の右下には、１つのサブエリアＬＳＢを構成する複数のサブブロックＳＢが模式的に図示されている。各サブブロックには所定の数の画素Ｐ（図３では不図示）が含まれる。

図３中の左上に示すように、表示領域５１１は、例えば、４Ｋ解像度の場合、８．２メガピクセル（＝２１６０行×３８４０列）の画素Ｐを有している。ここで、画素Ｐは、赤色画素、緑色画素及び青色画素を１組とした画素である。各サブエリアＬＳＢは、例えば４８個（＝６行×８列）のサブブロックＳＢが含まれるように構成されている。このため、表示領域５１１は、例えば２３０４個（＝３６行×６４列）のサブブロックＳＢに分割される。図３では、理解を容易にするため、表示領域５１１が４８個（＝６行×８列）のサブエリアＬＳＢに分割された状態が図示されている。以下、サブエリアＬＳＢを個別に説明する場合には、サブエリアＬＳＢの符号に行番号及び列番号を付すことにする。例えば図３では、４８個のサブエリアＬＳＢのうちの左隅（１行×１列）に配置されたサブエリアには、符号「ＬＳＢ１１」を付すことによって、１行１列に配置されたサブエリアであることが示されている。また同様に、３行８列に配置されたサブエリアが「サブエリアＬＳＢ３８」として示され、６行５列に配置されたサブエリアが「サブエリアＬＳＢ６５」として示されている。

図３中の右上に示すように、バックライトユニット３は、４８個（＝６行×８列）のＬＥＤ３１を有している。以下、４８個のＬＥＤ３１を個別に説明する場合には、ＬＥＤ３１の符号に行番号及び列番号を付すことにする。図３では、４８個のＬＥＤ３１のうちの左隅（１行×１列）に配置されたＬＥＤ３１には、符号「３１−１１」を付すことによって、１列１行に配置されたＬＥＤが「ＬＥＤ３１−１１」として示されている。また同様に、３行８列に配置されたＬＥＤが「ＬＥＤ３１−３８」として示され、６行５列に配置されたＬＥＤが「ＬＥＤ３１−６５」として示されている。

本実施形態では、１個のＬＥＤ３１に対して１個のサブエリアＬＳＢが対応付けられている。さらに、１個のサブエリアＬＳＢは、４８個のサブブロックＳＢで構成されている。図３中の右下には、サブブロックＳＢの構成例として、サブエリアＬＳＢ３８に含まれるサブブロックＳＢが模式的に図示されている。図３中の右下に示すように、サブエリアＬＳＢ３８には、例えば４８個のサブブロックＳＢが含まれている。以下、サブブロックＳＢを個別に説明する場合には、サブブロックＳＢの符号に行番号及び列番号を付すことにする。例えば、４８個のサブブロックＳＢのうちの左隅（１行×１列）に配置されたサブブロックには、符号「ＳＢ１１」を付すことによって、１行１列目に配置されたサブブロックであることを示す。したがって、図３中の右下に示すサブブロックＳＢ６８は、６行８列目に配置されたサブブロックを示し、サブブロックＳＢ１８は、１行８列目に配置されたサブブロックを示し、サブブロックＳＢ６１は、６行１列目に配置されたサブブロックを示している。したがって、サブエリアＬＳＢ３８には、サブブロックＳＢ１１〜ＳＢ１８，・・・，ＳＢ６１〜ＳＢ６８が含まれている。また、本実施形態では、サブブロックＳＢのそれぞれは、３６００画素（６０行×６０列）の画素Ｐが含まれている。

図３中の左下の中央寄りに示すように、４８個のＬＥＤ３１は、液晶表示パネル５１（図１参照）の背面側で表示領域５１１に導光部３３（図１参照）を介して、重ね合わせて配置される。本実施形態では、複数のＬＥＤ３１及び複数のサブエリアＬＳＢは、１対１の関係で対応付けられている。図３中の左下の中央寄りに示すように例えば、ＬＥＤ３１−１１とサブエリアＬＳＢ１１とが対応付けられ、ＬＥＤ３１−６５とサブエリアＬＳＢ６５とが対応付けられ、ＬＥＤ３１−３８（図３中の右上参照）とサブエリアＬＳＢ３８とが対応付けられている。また、サブエリアＬＳＢのそれぞれは、４８個のサブブロックＳＢで構成されている。このため、１個のＬＥＤ３１に対応付けられるサブブロックＳＢの個数は４８個となる。ＬＥＤ３１−３８（図３中の右上参照）には、例えばサブエリアＬＳＢ３８が対応付けられている。サブエリアＬＳＢ３８は、サブブロックＳＢ１１〜ＳＢ６８で構成されている。このため、ＬＥＤ３１−３８には、４８個のサブブロックＳＢ１１〜ＳＢ６８が対応付けられる。

ＬＥＤ輝度決定部１１３ａは、１つのＬＥＤ３１に対応付けられたサブエリアＬＳＢを構成する画素に表示される画像の画素値の目標値である入力画素値ＩＰ（ｎ）に基づいて発光輝度を決定する。ここで、発光輝度は、表示領域５１１を構成する画素Ｐに入力画素値ＩＰ（ｎ）の画像を表示する際に複数のＬＥＤ３１がそれぞれ出射する光の輝度である。ＬＥＤ輝度決定部１１３ａは、発光輝度を決定するために、まず、入力された入力画素値ＩＰ（ｎ）を例えばグレースケール化（輝度抽出）する。あるいは、ＬＥＤ輝度決定部１１３ａは、例えば入力された入力画素値ＩＰ（ｎ）を構成する赤色画素、緑色画素及び青色画素のうちの階調値が最も大きい色画素を抽出し、抽出した階調値を入力画素値ＩＰ（ｎ）の階調値とする。このように、ＬＥＤ輝度決定部１１３ａは、赤色画素、緑色画素及び青色画素の階調値を共通化して１つの入力画素値ＩＰ（ｎ）に対して階調値を１つにする。

次に、ＬＥＤ輝度決定部１１３ａは、サブブロックＳＢを構成する画素に表示される画像の輝度である目標輝度を入力画素値ＩＰ（ｎ）の階調値から算出する。ＬＥＤ輝度決定部１１３ａは、例えばサブブロックＳＢを構成する画素に表示される画像の入力画素値ＩＰの階調値の平均値や最大値の場合に得られる輝度を目標輝度としてもよい。ＬＥＤ輝度決定部１１３ａは、１つのＬＥＤ３１に対応付けられたサブブロックＳＢを一群とし、当該一群を構成するサブブロックＳＢのそれぞれの目標輝度の平均値や最大値をサブエリアＬＳＢの発光輝度に決定する。

図３中の左下の中央寄りに示す例では、ＬＥＤ輝度決定部１１３ａは、ＬＥＤ３１−３８の発光輝度を決定するにあたって、ＬＥＤ３１−３８に対応付けられたサブエリアＬＳＢ３８のサブブロックＳＢ１１〜ＳＢ６８のそれぞれの目標輝度を求める。図３中の右下に示すように、サブブロックＳＢは複数の画素Ｐを有している。図３中の右下には、理解を容易にするため、画素Ｐは図示されていないが、上述のとおり、本例では、１つのサブブロックＳＢには例えば３６００個の画素Ｐが含まれている。ＬＥＤ輝度決定部１１３ａは、サブブロックＳＢ１１の目標輝度として、サブブロックＳＢ１１に含まれている例えば３６００個の画素Ｐのそれぞれに表示される画像の入力画素値ＩＰ（ｎ）の平均値や最大値の場合に得られる輝度を目標輝度とする。ＬＥＤ輝度決定部１１３ａは、サブブロックＳＢ１２〜ＳＢ６８についても同様の方法により目標輝度を求める。ＬＥＤ輝度決定部１１３ａは、サブブロックＳＢ１１〜ＳＢ６８のそれぞれの目標輝度の平均値や最大値をＬＥＤ３１−３８の発光輝度に決定する。

制御部１１は、ＬＥＤ３１の個数、サブエリアＬＳＢの分割数、ＬＥＤ輝度決定部１１３ａで求めたサブブロックＳＢの分割数、ＬＥＤ３１及びサブブロックＳＢとの対応付けなどの１度決定した後に変更される可能性の低いデータをメモリ１５に記憶するように構成されているが、この限りではない。一方、制御部１１は、ＬＥＤ輝度決定部１１３ａが求めた目標輝度及び決定した発光輝度などの入力画素値ＩＰに応じて変更されるデータを不図示のメモリに記憶するように構成されている。

図３では、画素Ｐの個数がＬＥＤ３１の個数で割り切れる場合のサブブロックＳＢの設定例を説明したが、画素Ｐの個数がＬＥＤ３１の個数で割り切れない場合もある。例えば、表示領域５１１が８．２メガピクセル個（＝２１６０行×３８４０列）の画素Ｐを有し、バックライトユニット３が２１個（＝１行×２１列）のＬＥＤ３１を有しているとする。この場合、画素Ｐの３８４０列をＬＥＤ３１の２１列で均等に分割することができない。このため、例えば左端のＬＥＤ３１には、（＝２１６０行×１８１列）の画素Ｐを対応付け、右端のＬＥＤ３１には、２１６０行ｘ１８２列の画素Ｐを対応付け、残余のＬＥＤ３１のそれぞれには、２１６０行×１８３列の画素Ｐを対応付ける。本例では、各ＬＥＤ３１に含まれる画素Ｐの個数は、可能な限り均等に分割されているが、両端での反射等を考慮して非均等な任意の個数で分割してもよい。本例では、左端のＬＥＤ３１は、列方向に見て、６０列、６０列、６１列ずつ３つのサブブロックに分割される。また、右端のＬＥＤ３１は、列方向に見て、６０列、６１列、６１列ずつ３つのサブブロックに分割される。また、残余のＬＥＤ３１は、列方向において、１８３列を一組として１９個の組に分割される。

（デューティ値変換部）
図２に戻って、デューティ値変換部１１３ｂは、ＬＥＤ輝度決定部１１３ａ、ＬＥＤ駆動回路３５（図１参照）及びメモリ１５に接続されている。これにより、デューティ値変換部１１３ｂには、ＬＥＤ輝度決定部１１３ａで決定された複数のＬＥＤ３１のそれぞれの発光輝度の情報が入力される。また、デューティ値変換部１１３ｂは、メモリ１５に記憶されたＬＥＤの輝度にデューティ値が対応付けられたルックアップテーブルＬＵＴ（詳細は後述）を読み出すこともできるがこの限りではなく、演算結果等を用いても良い。また、ＬＥＤ駆動回路３５には、デューティ値変換部１１３ｂで変換されたデューティ値の情報を含む制御信号Ｓｄｙ（詳細は後述）が入力される。

ここで、デューティ値変換部１１３ｂが、ＬＥＤ３１の発光輝度をＬＥＤ駆動回路３５が制御される制御信号Ｓｄｙに変換する処理について図４及び図５を用いて具体的に説明する。図４は、ＬＥＤを駆動する場合にＬＥＤ駆動回路３５を制御するためのデューティ値とＬＥＤの輝度［ｎｉｔ］との関係の一例（実測値）を示すグラフである。図４中に示すグラフの横軸はデューティ値を示し、当該グラフの縦軸はＬＥＤの輝度［ｎｉｔ］を示している。図５は、ＬＥＤの輝度をデューティ値に変換するためのルックアップテーブルの一例を示す図である。図５では、ＬＥＤの輝度の４［ｎｉｔ］から４０９３［ｎｉｔ］及び当該輝度に対応するデューティ値の図示は省略されている。

図４に示すように、ＬＥＤ駆動回路３５に入力されるデューティ値（１３ビット）に対し、当該デューティ値に基づいて駆動されたＬＥＤの輝度［ｎｉｔ］は、ほぼ線形の関係にある。図４に示す測定結果を基に、ビット幅を調整して、図５に示すように、デューティ値変換部１１３ｂは、ＬＥＤの輝度にデューティ値が対応付けられたルックアップテーブルを作成しても良い。制御部１１は、作成したルックアップテーブルを例えばメモリ１５に記憶しても良い。

ここで、ＬＥＤ輝度決定部１１３ａにおける発光輝度の決定から当該発光輝度に基づくＬＥＤ３１の発光までの流れを簡単に説明する。ＬＥＤ輝度決定部１１３ａは例えば、発光輝度を決定すると、決定した発光輝度の値及び発光対象のＬＥＤ３１の情報をデューティ値変換部１１３ｂに出力する。デューティ値変換部１１３ｂは、発光輝度の値が入力されると、入力された発光輝度の値に対応付けられたデューティ値及び発光対象のＬＥＤ３１の情報を含む制御信号ＳｄｙをＬＥＤ駆動回路３５に出力する。ＬＥＤ駆動回路３５は、制御信号Ｓｄｙに含まれていたデューティ値に基づく強度で発光対象のＬＥＤ３１を駆動する。これにより、発光対象のＬＥＤ３１が発光輝度で発光する。

（輝度分布推定部）
輝度分布推定部１１３ｃは、複数のＬＥＤ３１のそれぞれを発光させた場合のバックライトユニット３の光出射面の側の輝度分布データを用いて、バックライトユニット３の光出射面の側に生じる輝度分布を推定するように構成されている。輝度分布の推定に用いられる輝度分布データは、複数のＬＥＤ３１のそれぞれを例えば単体で発光させて得られる。ここで、バックライトユニット３の光出射面の側は、液晶表示パネル５１の表示領域５１１である。

図２に戻って、輝度分布推定部１１３ｃは、ＬＥＤ輝度決定部１１３ａ、メモリ１５及びポストプロセス部１１５に接続されている。これにより、輝度分布推定部１１３ｃには、ＬＥＤ輝度決定部１１３ａで決定された複数のＬＥＤ３１のそれぞれの発光輝度の情報が入力される。また、輝度分布推定部１１３ｃは、メモリ１５に記憶されたＬＥＤ点灯パターンのプロファイルＰＦ（詳細は後述）を読み出すことができる。

ここで、輝度分布推定部１１３ｃが輝度分布を推定する処理について図１及び図２を参照しつつ図６から図９を用いて具体的に説明する。図６は、バックライトユニット３の光出射面の側に生じる輝度分布データの一例を示す図である。図７は、１個のＬＥＤ３１を発光した場合にバックライトユニット３の光出射面の側に生じる輝度分布データの一例を示す図である。図７では、複数のＬＥＤ３１の存在領域が併せて図示されている。

複数のＬＥＤ３１は、ＬＥＤ輝度決定部１１３ａで決定された発光輝度に基づいて発光するので、バックライトユニット３の導光部３３には、複数のＬＥＤ３１の発光強度に応じた輝度分布が生じる。図６に示すように、液晶表示パネル５１の表示領域５１１には、導光部３３に生じた輝度分布に基づく輝度の分布が現れる。表示領域５１１に現れる輝度の分布が想定した分布とかけ離れてしまうと、表示領域５１１に表示される画像の再現性が劣化する。このため、本実施形態に係る画像処理システム１０は、ＬＥＤ輝度決定部１１３ａで決定された発光輝度に基づいて表示領域５１１に生じる輝度分布を推定するように構成されている。

輝度分布を推定するためには、複数のＬＥＤの全ての組み合わせの全種類の点灯パターンの実測データがあればよい。当該全組み合わせの全種類の点灯パターンを得るためには、デューティ値の階調数（例えば１０２４段階）をＬＥＤの個数（図３に示す例では４８個）でべき乗した分だけの輝度分布データが必要になる。しかしながら、当該輝度分布データはデータ量が膨大になるので現実的でない。そこで、複数のＬＥＤの全ての組み合わせの全種類の点灯パターンの組み合わせではなく、複数のＬＥＤの全種類の点灯パターンの重ね合わせで輝度分布全体を再現してもよい。また、複数のＬＥＤの全種類の点灯パターンの重ね合わせで輝度分布全体が再現できることは、光学的な観点からも問題はない。

複数のＬＥＤの全種類の点灯パターンの実測データがあれば、この全ての点灯パターンを重ね合わせて合成することができる。複数のＬＥＤの全ての点灯パターンを重ね合わせるためには、複数のＬＥＤを単体かつ任意のデューティ値で点灯させた輝度分布データが必要である。この場合の輝度分布データのデータ数は、デューティ値の階調数（例えば１０２４段階）にＬＥＤの個数（図３に示す例では４８個）を乗算した数となる。複数のＬＥＤの全ての点灯パターンを重ね合わせるために必要なデータ量は、複数のＬＥＤの組み合わせの全点灯パターンの場合と比較すると減少する。しかしながら、画像処理装置を実際にハードウェアとして構成しようとすると、この場合でも輝度分布データのデータ数が膨大である。

そこで、輝度分布を得るために、図４に示すデューティ値に対するＬＥＤの輝度の線形性が利用される。つまり、１つのＬＥＤを最大のデューティ値で点灯した場合の輝度分布データから、残余のデューティ値で点灯した場合の輝度分布が算出される。例えば、デューティ値が１０２４階調のうちの２５６階調（２５６／１０２４階調）の輝度分布データは、最大のデューティ値の輝度分布データを１／４とする。したがって、複数のＬＥＤのそれぞれを最大のデューティ値で点灯した点灯パターンの実測データがあれば、その他のデューティ値の点灯パターンを線形加算で合成することができる。デューティ値に対するＬＥＤの輝度の線形性を利用する場合、複数のＬＥＤのそれぞれを単体かつ最大のデューティ値で点灯させた輝度分布データが必要になる。また、この場合の輝度分布データのデータ数は、ＬＥＤの個数（図３に示す例では４８個）となる。

画像処理装置を実際にハードウェアとして構成しようとすると、輝度分布データのデータ量をさらに抑えることが望ましい。そこで、画素単位での輝度分布ではなく、サブエリア単位での輝度分布のデータとする。サブエリアの区切り方（分割数）は、図３を用いて説明したように、表示領域に設けられた画素の個数（表示パネル解像度）とＬＥＤの分割数で変わる。さらに、サブブロックの個数が、例えば６４×３６個、即ち、各サブエリアに、８×６のサブブロックに分割する場合を例にすると、輝度分布の推定処理の後段でサブブロック内を線形補間（４点のバイナリ補間）して埋める必要があるので、サブブロックの四隅の輝度の値が必要となる。このため、サブブロックの個数が６４×３６個の場合、６５×３７点の輝度分布データが必要となる。複数のＬＥＤのそれぞれが単体かつ最大のデューティ値で点灯した点灯パターンの実測データを６５×３７点でサンプリングしたデータがあれば線形加算と線形補間によって輝度分布を合成できる。サンプリング数は、本実施形態では６５×３７であるが、サブエリアＬＳＢやサブブロックＳＢの分割数に応じて任意に設定可能である。

例えばＬＥＤ３１−６５が単体かつ最大のデューティ値で点灯された場合、例えば図７に示す輝度分布が表示領域５１１に生じる。この場合、表示領域の液晶素子は全透過モードとする。この輝度分布から６５×３７点（すなわちサブブロックＳＢの四隅）の輝度をサンプリングして輝度分布データを取得する。図示は省略するが、同様に、残余のＬＥＤ３１についても単体かつ最大のデューティ値で点灯した場合の輝度分布の実測データから６５×３７点（すなわちサブブロックＳＢの四隅）の輝度をサンプリングして輝度分布データを取得する。

次に、輝度分布推定部１１３ｃが上述のとおり取得した輝度分布データを用いて輝度分布を推定する方法について図８及び図９を用いて説明する。図８は、ＬＥＤ輝度決定部１１３ａで決定された発光輝度に基づいて表示領域の輝度分布を推定する方法を模式的に示す図である。図８中の左側には、ＬＥＤ輝度決定部１１３ａで決定されたＬＥＤ３１のそれぞれの発光輝度のリストの一例が示されている。輝度値リスト中の「ＬＥＤ ００番：１０２４」は、例えばＬＥＤ３１−１１の発光輝度の階調値が１０２４であることを示し、「ＬＥＤ ０１番：２０４８」は、例えばＬＥＤ３１−１２の発光輝度の階調値が２０４８を示し、「ＬＥＤ ４７番：５１２」は、例えばＬＥＤ３１−６８の発光輝度の階調値が５１２であることを示している。

図８中の中央には、複数のＬＥＤ３１のそれぞれのプロファイルを輝度値リストに設定された値で演算した結果が示されている。プロファイルは、複数のＬＥＤ３１のそれぞれを単体かつ最大の輝度値で点灯させた場合に、バックライトユニット３の光出射面の側（例えば表示領域５１１）の６５×３７点の輝度をサンプリングしたデータである。プロファイルは、複数（本例では４８個）のＬＥＤ３１のごとに作成されている。作成された各ＬＥＤを最大の輝度値で点灯させた場合のプロファイルは例えばメモリ１５に記憶されている。図８中の中央に示す「［ＬＥＤ００番］６５×３７点＠Ｄｕｔｙ Ｍａｘ」を２５％化」は、例えばＬＥＤ３１−１１のプロファイルに含まれる６５×３７点の輝度を、輝度値リストに設定された階調値「１０２４」（＝１０２４／４０９６＝１／４）に基づいて２５％に低減することを示している。また、図８中の中央に示す「［ＬＥＤ０１番］６５×３７点＠Ｄｕｔｙ Ｍａｘ」を５０％化」は、例えばＬＥＤ３１−１２のプロファイルに含まれる６５×３７点の輝度を、輝度値リストに設定された階調値「２０４８」（＝２０４８／４０９６＝１／２）に基づいて５０％に低減することを示している。また、図８中の中央に示す「［ＬＥＤ４７番］６５×３７点＠Ｄｕｔｙ Ｍａｘ」を１２．５％化」は、例えばＬＥＤ３１−８６のプロファイルに含まれる６５×３７点の輝度を、輝度値リストに設定された階調値「５１２」（＝５１２／４０９６＝１／８）に基づいて１２．５％に低減することを示している。

図８中の右側には、図８中の中央に示されたプロファイルに含まれる６５×３７点の同一の点同士の輝度を累積加算することが示されている。６５×３７点の同一の点同士の輝度を累積加算した結果は、「６５×３７点＠Ｄｕｔｙリスト」として表されている。具体的には、プロファイル［ＬＥＤ００番］を２５％化したプロファイル、プロファイル［ＬＥＤ０１番］を５０％化したプロファイル、・・・、プロファイル［ＬＥＤ４７番］を１２．５％化したプロファイルのそれぞれの１×１点の輝度を累積加算する。同様に、残余の点の輝度も累積加算する。これにより、バックライトユニット３の光出射面の側（例えば表示領域５１１）の６５×３７点の輝度分布が推定される。

輝度分布推定部１１３ｃは、表示領域５１１における格子状の２４０５点（＝３７行×６５列）の輝度分布を推定したら、この２４０５点の輝度分布を用いて表示領域５１１を構成する全ての画素Ｐに輝度情報をアップスケーリングする。図９は、２４０５点の輝度分布を用いて全ての画素Ｐに輝度情報をアップスケーリングする方法を説明するための図である。図９中の左側には、表示領域５１１において輝度分布が推定された格子状の２４０５点（＝３７行×６５列）が模式的に示されている。図９中の右側には、表示領域５１１に設けられた複数のサブブロックＳＢのうちの１つが拡大されて模式的に示されている。サブブロックＳＢはそれぞれ、例えば行方向及び列方向にそれぞれ６０個ずつ並ぶ合計３６００個の画素Ｐで構成されている。

図９に示すように、輝度分布が推定された格子状の２４０５点のそれぞれは、サブブロックＳＢの四隅に位置している。このため、輝度分布推定部１１３ｃは、サブブロックＳＢの四隅の輝度情報を用いて当該サブブロックＳＢを構成する複数の画素Ｐの輝度情報を算出する。輝度分布推定部１１３ｃは、画素Ｐの輝度情報を例えばバイリニア補間によって求める。図９では、簡便化のために、１０×１０の画素で、同一の輝度情報を用いて、データを削減する例が示されているが、画素単位で算出しても良いし、数十画素単位で算出しても良い。こうして、輝度分布推定部１１３ｃは、液晶表示パネル５１に設けられた表示領域５１１の輝度分布の推定を完了する。輝度分布推定部１１３ｃは、推定した輝度分布を例えば制御部１１に設けられたメモリ（不図示）に記憶する。

＜ポストプロセス部＞
次に、ポストプロセス部１１５の構成について図１及び図２を参照しつつ図１０から図１２を用いて説明する。

図２に示すように、画像処理装置１の制御部１１の機能ブロックであるポストプロセス部１１５は、プリプロセス部１１１の座標検出部１１１ａで入力画素値ＩＰ（ｎ）の座標を抽出したあと、入力画素値ＩＰ（ｎ）に乗算されるゲインを、輝度分布推定部１１３ｃで推定された輝度分布に基づいて算出するゲイン算出部１１５ａを備えている。また、ポストプロセス部１１５は、ゲイン算出部１１５ａで算出されたゲインを入力画素値ＩＰ（ｎ）に乗算するゲイン乗算部１１５ｂを備えている。さらに、ポストプロセス部１１５は、ゲインが乗算された入力画素値である拡張画素値ＥＰ（ｎ）（詳細は後述）を、画素Ｐが表示可能な画像の階調値であって液晶表示装置５に出力される出力画素値として出力する。

ゲイン算出部１１５ａは、輝度分布推定部１１３ｃに接続されている。これにより、ゲイン算出部１１５ａには、輝度分布推定部１１３ｃから出力された輝度分布の情報が入力される。

ゲイン乗算部１１５ｂは、プリプロセス部１１１の座標検出部１１１ａ及びゲイン算出部１１５ａに接続されている。これにより、ゲイン乗算部１１５ｂには、外部装置から出力された入力画素値ＩＰ（ｎ）及び当該入力画素値ＩＰ（ｎ）の座標情報と、ゲイン算出部１１５ａで算出されたゲインの情報とが入力される。ゲイン乗算部１１５ｂは、入力画素値ＩＰ（ｎ）にゲインを乗算して拡張画素値を算出するように構成されている。

ゲイン乗算部１１５ｂは、ＬＣＤ駆動回路５３（図１参照）に接続されている。これにより、ゲイン乗算部１１５ｂで算出された拡張画素値の情報をＬＣＤ駆動回路５３に出力するように構成されている。ＬＣＤ駆動回路５３は、入力される拡張画素値ＥＰ（ｎ）に基づく画像を液晶表示パネル５１の表示領域５１１に表示させることができる。但し、画像処理システム１は、ＬＣＤ駆動回路５３によって表示領域５１１に表示された画像そのものを画像処理システム１の使用者に視認させない。画像処理システム１は、ＬＣＤ駆動回路５３によって表示領域５１１に表示された画像とバックライトユニット３の光出射面の側（例えば表示領域５１１）に生じる輝度分布とを合成した画像を画像処理システム１の使用者に視認させる。

次に、ポストプロセス部１１５の各構成要素の動作について図１０を用いて説明する。図１０は、ポストプロセス部１１５における処理を模式的に示す図である。図１０中の上段には左から、入力画素値ＩＰ（ｎ）、ゲイン算出部１１５ａで算出されたゲイン及びゲイン乗算部１１５ｂで算出された拡張画素値が模式的に図示されている。図１０中の下段には左から、入力画素値ＩＰ（ｎ−１）、バックライトユニット３に設けられたＬＥＤ３１の発光輝度、バックライトユニット３の輝度分布及び表示画像の画素値ＤＰ（ｎ）が模式的に図示されている。図１０に示す例では、コアプロセス部の演算が、１フレーム分遅延してゲイン算出部に出力される事例で説明する。コアプロセス部で、１フレーム分の入力画素値を記憶しても良いし、輝度分布推定結果を１フレーム分記憶しても良い。本実施例では、フレーム間の画像で、階調値が変化する場合で説明するためのものであって、同じフレームの演算結果を用いても良い。

図１０では、理解を容易にするため、入力画素値ＩＰ（ｎ−１），ＩＰ（ｎ）は、２行２列のＬＥＤのサブエリアＬＳＢに分割され、各ＬＥＤのサブエリアＬＳＢが、２行２列のサブブロックＳＢに分割された液晶表示パネル５１の表示領域５１１に対応する形式で図示されている。入力画素値ＩＰ（ｎ−１），ＩＰ（ｎ）のそれぞれの１つの画素値群ＩＰｓｂが１つのサブブロックＳＢに対応する。図１０では、画素値群ＩＰｓｂを構成する複数の画素Ｐの画素値は、例えば互いに同一の値とする。また、図１０では、入力画素値、拡張画素値及び表示画像の画素値及びバックライトユニット３を構成する複数のＬＥＤ３１の輝度値と階調値がそれぞれ、０．０から１．０で表されている。また、図１０では、画素値や輝度値は、画素値群ＩＰｓｂやＬＥＤ３１を表す四角枠の中に図示されている。例えば、入力画素値ＩＰ（ｎ）の１行１列目の入力画素値ＩＰ（ｎ）の階調値は「０．５」であり、入力画素値ＩＰ（ｎ）の４行４列目の入力画素値ＩＰ（ｎ）の階調値は「０．８」である。また例えば、１行１列目のＬＥＤ３１の発光輝度の値は「０．５」であり、２行２列目のＬＥＤ３１の発光輝度の値は「１．０」である。

図１０中の下段の左から２番目に示すＬＥＤ３１の発光輝度は、上述の方法によってＬＥＤ輝度決定部１１３ａ（図２参照）が決定する。また、図１０中の下段の左から３番目に示すバックライトユニット３の輝度分布は、上述の方法によって輝度分布推定部１１３ｃ（図２参照）が推定する。バックライトユニット３の輝度分布は、例えばバックライトユニット３の光出射面の側（例えば表示領域５１１）に生じる輝度分布である。本例では、輝度分布推定部１１３ｃで、各ＬＥＤのサブエリアＬＳＢに含まれる、２×２のサブブロックＳＢの輝度分布は、サブエリアＬＳＢ内で同じである場合で説明する。

図１０中の上段の左から２番目に示すゲインは、ゲイン算出部１１５ａ（図２参照）が算出する。ゲイン算出部１１５ａは、バックライトユニット３の輝度分布を数値化した数値の逆数を算出してゲインを生成する。例えば、１行１列目のゲインは、バックライトユニット３の輝度分布の１行１列目の輝度値「０．５」の逆数「２．０」である。また例えば、４行４列目のゲインは、バックライトユニット３の輝度分布の４行４列目の輝度値「１．０」の逆数「１．０」である。

図１０中の上段の右側に示す拡張画素値ＥＰ（ｎ）は、ゲイン乗算部１１５ｂが生成する。ゲイン乗算部１１５ｂは、入力画素値ＩＰ（ｎ）にゲインを乗算して拡張画素値ＥＰ（ｎ）を生成する。例えば、１行１列目の画素値群ＩＰｓｂ「０．５」に１行１列目のゲイン「２．０」を乗算することによって、１行１列目の拡張画素値「１．０」（＝０．５×２．０）が生成される。また例えば、４行４列目の画素値群ＩＰｓｂ「０．８」に４行４列目のゲイン「１．０」を乗算することによって、４行４列目の拡張画素値ＥＰ（ｎ）「０．８」（＝０．８×１．０）が生成される。

図１０中の下段の右側に示す表示画像の画素値ＤＰ（ｎ）は、表示領域に表示される画素値である。表示領域５１１は、拡張画素値にバックライトユニット３の輝度分布を合成して表示画像の画素値ＤＰ（ｎ）を表示する。例えば、１行１列目の拡張画素値ＥＰ（ｎ）「１．０」に１行１列目の輝度分布「０．５」を合成することによって、１行１列目の表示画像の画素値ＤＰ（ｎ）「０．５」（＝１．０×０．５）が表示される。また例えば、４行４列目の拡張画素値「０．８」に４行４列目の輝度分布「１．０」を合成することによって、４行４列目の表示画像の画素値ＤＰ（ｎ）「０．８」（＝０．８×１．０）が表示される。表示領域５１１が表示した表示画像の画素値ＤＰ（ｎ）は、入力画素値ＩＰ（ｎ）と一致し、入力画素値ＩＰ（ｎ）が再現されて表示されている。

ここで、画像処理装置１の効果について、図１１及び図１２を用いて説明する。図１１は、比較例１の画像処理を説明する図であって、ローカルディミング制御を実行しない場合の従来の画像処理の一例を示している。図１２は、比較例２の画像処理を説明する図であって、従来のローカルディミング制御による画像処理の一例を示している。図１１中及び図１２中の上段には、入力画素値が示されている。図１１中及び図１２中の下段には左から、バックライトユニットに設けられた各ＬＥＤの各サブエリアＬＳＢの発光輝度及び各サブエリアＬＳＢに含まれる、各サブブロックＳＢの輝度分布及び表示画像の画素値が模式的に図示されている。図１１及び図１２では、図１０と同様の方法によって画素値や輝度値が図示されている。ＬＥＤの輝度値は、図１０ではローカルディミング制御を行わないため一定値が、図１１では入力画素から算出されたローカルディミング制御を行う輝度値が設定されている。

図１１に示すように、ローカルディミング制御を実行しない場合、動作は前出の通りなので省略するが、表示画像の画素値は、入力画素値に一致し、入力画素値が再現される。しかしながら、バックライトユニットに設けられた全てのＬＥＤが最大の輝度で駆動される。このため、比較例１は、低消費電力化を図ることが困難である。

図１２に示すように、従来のローカルディミング制御を実行した場合、バックライトユニットに設けられたＬＥＤの輝度を低下させた箇所の表示画像の画素値が低くなる。例えば、１行１列目のバックライトユニットの輝度分布「０．５」に１行１列目の入力画素値「０．５」を乗算することによって、１行１列目の表示画像の画素値「０．２５」（＝０．５×０．５）が生成される。このように、比較例２では、ＬＥＤの輝度を低下するため、低消費電力化を図ることができるものの、入力画素値の再現性が劣化するという問題が生じる。

これに対し、画像処理装置１は、入力画素値に基づいて複数のＬＥＤ３１の輝度を決定するとともに、複数のＬＥＤ３１の互いの影響が考慮された輝度分布に基づいて入力画素値のゲイン調整を実行するように構成されている。これにより、図１０に示すように、画像処理装置１は、ＬＥＤ３１の輝度を低下させることによる低消費電力化と、入力画素値の再現性の向上とを図ることができる。

[画像処理方法]
次に、本実施形態に係る画像処理方法について図１及び図２を参照しつつ図１３を用いて説明する。図１３は、本実施形態に係る画像処理方法としての画像調整処理の流れの一例を示すフローチャートである。

（ステップＳ１）
図１３に示すように、画像処理装置１の制御部１１（図２参照）は、画像調整処理を開始するとまず、液晶表示装置５（図１参照）に設けられた液晶表示パネル５１（図１参照）の表示領域５１１を構成する複数の画素に表示される画像の画素値の目標値である入力画素値ＩＰ（ｎ）の座標を検出し、ステップＳ３の処理に移行する。ステップＳ１において制御部１１は、座標検出部１１１ａにおいて入力画素値ＩＰ（ｎ）の座標を検出する。

（ステップＳ３）
制御部１１は、入力画素値ＩＰ（ｎ）に基づいて、液晶表示装置５の光源として用いられる複数のＬＥＤ３１の発光輝度を決定し、ステップＳ５の処理に移行する。ステップＳ３において制御部１１はＬＥＤ輝度決定部１１３ａ（図２参照）において、表示領域５１１を分割したサブエリアＬＳＢを構成する複数の画素の入力画素値ＩＰ（ｎ）に基づいて、複数のＬＥＤ３１のそれぞれの発光輝度を決定する。

（ステップＳ５）
制御部１１は、ＬＥＤ輝度決定部１１３ａからデューティ値変換部１１３ｂ（図２参照）に入力される、複数のＬＥＤ３１のそれぞれの発光輝度の情報に基づいて、ＬＥＤ駆動回路３５（図１参照）を制御する制御信号Ｓｄｙをデューティ値変換部１１３ｂにおいて生成し、ステップＳ７の処理に移行する。

（ステップＳ７）
制御部１１は、ＬＥＤ輝度決定部１１３ａで決定された発光輝度で複数のＬＥＤ３１がそれぞれ発光した場合にバックライトユニット３の光射出面の側に生じる輝度分布を推定し、ステップＳ９の処理に移行する。ステップＳ７において制御部１１は、複数のＬＥＤ３１のそれぞれを発光させた場合のバックライトユニット３の光出射面の側の輝度分布データを用いて、輝度分布推定部１１３ｃ（図２参照）において当該輝度分布を推定する。なお、ステップＳ７の処理は、ステップＳ５の処理の前に実行されてもよい。

（ステップＳ９）
制御部１１は、入力画素値ＩＰ（ｎ）に乗算されるゲインを輝度分布推定部１１３ｃにおいて決定された輝度分布に基づいて算出し、ステップＳ１１の処理に移行する。ステップＳ９において制御部１１は、輝度分布推定部１１３ｃで推定された輝度分布を用いてゲイン算出部１１５ａ（図２参照）においてゲインを算出する。

（ステップＳ１１）
制御部１１は、ゲイン算出部１１５ａで算出されたゲインを入力画素値ＩＰ（ｎ）に乗算して拡張画素値ＥＰ（ｎ）を算出し、得られた拡張画素値ＥＰ（ｎ）を液晶表示装置５に出力して、画像調整処理を終了する。ステップＳ１１において制御部１１は、ゲイン乗算部１１５ｂ（図２参照）において拡張画素値ＥＰ（ｎ）を算出する。

図１３に示す画像調整処理は、１フレームごとに繰り返し実行される。これにより、表示領域５１１には、フレームごとにリアルタイムで、拡張画素値ＥＰ（ｎ）に基づく画像と、バックライトユニット３による輝度分布とが合成された画像が表示される。

以上説明したように、本実施形態による画像処理システム１０は、複数のＬＥＤ３１及び複数のＬＥＤ３１を駆動するＬＥＤ駆動回路３５を有するバックライトユニット３と、複数の発光素子ＬＥＤ３１を光源とし液晶表示パネル５１を有する液晶表示装置５とを備えている。また、画像処理システム１０は、液晶表示パネル５１の表示領域５１１を構成する複数の画素Ｐに表示される画像の階調値である入力画素値ＩＰ（ｎ）に基づいて、複数のＬＥＤ３１のそれぞれの発光輝度を決定するＬＥＤ輝度決定部１１３ａと、ＬＥＤ輝度決定部１１３ａで決定された発光輝度で複数のＬＥＤ３１がそれぞれ発光した場合にバックライトユニット３の光出射面の側に生じる輝度分布を推定する輝度分布推定部１１３ｃ、ＬＥＤ輝度決定部１１３ａで決定された発光輝度に基づいてＬＥＤ駆動回路３１を制御する制御信号Ｓｄｙを生成するデューティ値変換部１１３ｂと、入力画素値ＩＰ（ｎ）に乗算されるゲインを輝度分布に基づいて算出するゲイン算出部１１５ａと、ゲイン算出部１１５ａから入力されたゲインを入力画素値ＩＰ（ｎ）に乗算して得た拡張画素値ＥＰ（ｎ）を液晶表示装置５に出力するゲイン乗算部１１５ｂと、を有する画像処理装置１を備えている。ＬＥＤ輝度決定部１１３ａは、表示領域５１１を分割した領域であって複数のＬＥＤ３１のそれぞれに対応付けられたサブエリアＬＳＢを構成する複数の画素Ｐの入力画素値ＩＰ（ｎ）に基づいて発光輝度を決定する。また、輝度分布推定部１１３ｃは、複数のＬＥＤ３１のそれぞれを発光させた場合のバックライトユニット３の光出射面の側の輝度分布データを用いて輝度分布を推定する。当該構成を備えた画像処理システム１０は、ローカルディミング制御での画像再現性の向上を図ることができる。

〔第２実施形態〕
本発明の第２実施形態に係る画像処理システムについて図１４から図１８を用いて説明する。本実施形態に係る画像処理システムは、ゲインの最大値を調整するゲイン調整係数を算出する係数算出部を備えている点に特徴を有している。なお、上記第１実施形態に係る画像処理システムの構成要素と同一の作用・機能を奏する構成要素には同一の符号を付してその説明を省略する。本実施形態に係る画像処理システムは、上記第１実施形態に係る画像処理システム１０と同じハードウェア構成を有している。このため、本実施形態に係る画像処理システムのハードウェア構成、バックライトユニット３及び液晶表示装置５の説明に当たり、必要に応じて図１を参照して説明する。

［画像処理装置の機能ブロック］
本実施形態に係る画像処理システム１０の要部の機能ブロックの一例について図１を参照しつつ図１４から図１８を用いて説明する。図１４は、画像処理システム１０に設けられた画像処理装置１の制御部の機能ブロックの一例を示す図である。

詳細は後述するが、入力画素値の範囲が例えば０から１．０であり、ゲインが１．０以上の場合に、拡張画素値が１．０以上になる場合がある。拡張画素値が１．０以上の場合、１．０以上の拡張画素値は、１．０に再設定された後に表示領域に出力される。拡張画素値は、画素に表示される画像の階調値であり、拡張画素値が最大値１．０（すなわち表示可能な最大階調値）の場合に表示領域５１１は全透過の状態となる。したがって、液晶表示装置５は、拡張画素値が１．０より大きい駆動信号を表示領域５１１に表現することができないため、階調値の上限を超える値は切り捨てられる。このため、１．０より大きい拡張画素値の個数が増加すればするほど、生成される表示画像の画素値は、入力画素値と乖離して入力画素値の再現性が劣化する可能性がある。そこで、本実施形態に係る画像処理システム１０は、ゲインの最大値を調整できるように構成されている。

図１４に示すように、画像処理装置１に設けられた制御部１１は、プリプロセス部１１１と、コアプロセス部１１３と、ポストプロセス部２１５とを有している。ポストプロセス部２１５は、ゲインの最大値を調整するゲインリミット（ゲイン調整係数の一例）を算出するゲイン調整係数算出部（係数算出部の一例）２１５ｄを備えている。また、ポストプロセス部２１５は、ゲイン調整係数算出部２１５ｄに接続されたゲイン算出部２１５ａを備えている。

ゲイン調整係数算出部２１５ｄは、プリプロセス部１１１の座標検出部１１１ａ、ゲイン算出部２１５ａ及びメモリ１５に接続されている。これにより、ゲイン調整係数算出部２１５ｄには、入力画素値ＩＰ（ｎ）が入力される。ゲイン調整係数算出部２１５ｄは、例えばメモリ１５に記憶されたゲインリミット設定用テーブルを読み出すように構成されている。

図１５は、ゲインリミット設定用テーブルの一例を示す図である。図１５に示すように、ゲインリミット設定用テーブルは、「入力画素値」及び「ゲインリミット」の２つの項目に区分されている。なお、図１５では、理解を容易にするため、ゲインリミット設定用テーブルの項目ではない「入力画素値×ゲインリミット」も併せて図示されている。項目「入力画素値」は、外部装置から入力される入力画素値ＩＰ（ｎ）を正規化した数値が設定されている。項目「ゲインリミット」は、入力画素値に対して乗算することが可能なゲインの上限を示している。項目「ゲインリミット」には、項目「入力画素値」に設定された数値に対応付けてゲインリミットとして用いられる数値が設定されている。項目「ゲインリミット」の右隣りの「入力画素値×ゲインリミット」は、入力画素値にゲインリミットを乗算した結果を示している。図１５に示すゲインリミット設定用テーブルは一例であり、項目「入力画素値」に設定される数値は、図１５に示す数値よりも細かい分解能で設定されてもよい。

図１５に示すように、ゲインリミットは、拡張画素値が、液晶表示装置５で表示可能な最大階調値以下の値になるように設定される。また、ゲインリミットは、入力画素値にゲインリミットを乗算した結果に入力画素値が有する階調差が反映されるように設定されている。例えば入力画素値は、０．１から１．０に向かうに従って階調値が大きくなる。項目「ゲインリミット」に設定された数値をこれらの入力画素値に乗算した結果は、０．５から１．０に向かうに従って大きくなる。これにより、ゲインリミットの値を採用して拡張画素値を算出した場合も、拡張画素値に入力画素値の階調差を残すことができる。

図１４に戻って、ゲイン算出部２１５ａは、輝度分布推定部１１３ｃ、ゲイン調整係数算出部２１５ｄ及びゲイン乗算部１１５ｂに接続されている。ゲイン算出部２１５ａは、輝度分布推定部１１３ｃから入力されるバックライトユニットの輝度分布に基づいてゲインを算出する。詳細は後述するが、ゲイン算出部２１５ａは、算出したゲインと、ゲイン調整係数算出部２１５ｄから入力されるゲインリミットとを比較し、ゲイン及びゲインリミットのうちの値が小さい方を補正ゲインとして選択するように構成されている。ゲイン算出部２１５ａは、選択したゲインの情報をゲイン乗算部１１５ｂに出力する。

次に、ポストプロセス部２１５の各構成要素の詳細について図１４及び図１５を参照しつつ図１６及び図１７を用いて説明する。図１６及び図１７は、ポストプロセス部２１５における処理を模式的に示す図である。図１６は、ゲイン算出部２１５ａが実行する処理までを模式的に示し、図１７は、ゲイン乗算部１１５ｂの処理を模式的に示している。図１６中の上段には左から、入力画素値ＩＰ（ｎ）、ゲイン調整係数算出部２１５ｄで算出されたゲインリミット及びゲイン算出部２１５ａで算出されたゲインが模式的に図示されている。図１６中の下段には左から、入力画素値ＩＰ（ｎ−１）、バックライトユニット３に設けられたＬＥＤ３１の各サブエリアＬＳＢの発光輝度及び輝度分布推定部１１３ｃで算出した各サブブロックＳＢのバックライトユニット３の輝度分布が模式的に図示されている。上記第一実施形態と同様の理由で、コアプロセス部１１３で使用するデータは、１フレーム前のデータとする。

図１７中の上段には左から、入力画素値ＩＰ（ｎ）、ゲイン算出部２１５ａで生成された補正ゲイン及びゲイン乗算部１１５ｂで算出された拡張画素値ＥＰ（ｎ）が模式的に図示されている。図１７中の下段には左から、バックライトユニット３の輝度分布及び表示画像の画素値（ｎ）が模式的に図示されている。なお、図１７では、理解を容易にするため、図１６に示す入力画素値ＩＰ（ｎ）及びバックライトユニット３の輝度分布が図示されている。

図１６及び図１７では、理解を容易にするため図１０と同様に、入力画素値ＩＰ（ｎ−１），ＩＰ（ｎ）は、２行２列のＬＥＤのサブエリアＬＳＢ、各ＬＥＤのサブエリアＬＳＢが、２行２列のサブブロックＳＢに分割された液晶表示パネル５１の表示領域５１１に対応する形式で図示されている。入力画素値ＩＰ（ｎ−１），ＩＰ（ｎ）のそれぞれの１つの画素値群ＩＰｓｂが１つのサブブロックＳＢに対応する。図１６及び図１７では、画素値群ＩＰｓｂを構成する複数の画素Ｐの画素値は、例えば互いに同一の値とする。また、図１６及び図１７では、入力画素値、拡張画素値及びバックライトユニット３を構成する複数のＬＥＤ３１及び表示画像の画素値と階調値がそれぞれ、０．０から１．０で正規化して表されている。また、図１６及び図１７では、画素値や階調値は、画素値群ＩＰｓｂやＬＥＤ３１を表す四角枠の中に図示されている。図１６では、４行４列のそれぞれの画素値群ＩＰｓｂに対応する４行４列のゲインリミット及びゲインのそれぞれの数値が四角枠の中に図示されている。また、図１７では、４行４列のそれぞれの画素値群ＩＰｓｂに対応する４行４列の補正ゲインのそれぞれの数値が四角枠の中に図示されている。

図１６中の下段の左から２番目に示すＬＥＤ３１の発光輝度は、上記第１実施形態に係る画像処理システム１０と同様の方法によってＬＥＤ輝度決定部１１３ａ（図１４参照）が決定する。また、図１６中の下段の左から３番目に示すバックライトユニット３の輝度分布は、上記第１実施形態に係る画像処理システム１０と同様の方法によって輝度分布推定部１１３ｃ（図１４参照）が推定する。バックライトユニット３の輝度分布は、例えばバックライトユニット３の光出射面の側（例えば表示領域５１１（図１参照））に生じる輝度分布である。

図１６中の上段の左から３番目に示すゲインは、ゲイン算出部２１５ａ（図１４参照）が算出する。ゲイン算出部２１５ａは、バックライトユニット３の輝度分布を数値化した数値の逆数を算出してゲインを生成する。つまり、ゲイン算出部２１５ａは、上記第１実施形態に係る画像処理システム１０に備えられたゲイン算出部１１５ａがゲインを算出する方法と同様の方法によりゲインを算出する。例えば、１行１列目のゲインは、バックライトユニット３の輝度分布の１行１列目の輝度値「０．５」の逆数「２．０」である。また例えば、４行４列目のゲインは、バックライトユニット３の輝度分布の４行４列目の輝度値「１．０」の逆数「１．０」である。

図１６中の上段の左から２番目に示すゲインリミットは、ゲイン調整係数算出部２１５ｄ（図１４参照）が算出する。ゲイン調整係数算出部２１５ｄは、例えばメモリ１５（図１参照）から読み出したゲインリミット設定用テーブルを参照し、入力画素値ＩＰ（ｎ）と同じ数値に対応付けられたゲインリミットを取得する。例えば、１行１列目の画素値群ＩＰｓｂの画素値は「０．７」であるため、ゲイン調整係数算出部２１５ｄは、項目「入力画素値」に設定された数値「０．７」に対応付けられた数値「１．２５」をゲインリミットとして選択する。また例えば、２行２列目の画素値群ＩＰｓｂの画素値は「０．６」であるため、ゲイン調整係数算出部２１５ｄは、項目「入力画素値」に設定された数値「０．６」に対応付けられた数値「１．４２８」をゲインリミットとして選択する。

ゲイン算出部２１５ａは、ｉ行ｊ列（ｉ＝１，２，３，４、ｊ＝１，２，３，４）目のゲインリミットと、ｉ行ｊ列（ｉ＝１，２，３，４、ｊ＝１，２，３，４）目のゲインとを比較し、数値の小さい方をｉ行ｊ列目の補正ゲインとして選択する。図１６に示すように、ゲイン算出部２１５ａは例えば、１行１列目のゲインリミット（数値は１．２５）と、１行１列目のゲイン（数値は２．０）とを比較し、図１７中の上段の左から２番目に示すように、数値が小さい方のゲインリミットを１行１列目の補正ゲインとして選択する。また例えば、図１６に示すように、ゲイン算出部２１５ａは、４行４列目のゲインリミット（数値は１．０７１）と、４行４列目のゲイン（数値は１．０）とを比較し、図１７中の上段の左から２番目に示すように、数値が小さい方のゲインを４行４列目の補正ゲインとして選択する。ゲイン乗算部２１５ｂは、ゲインリミットの値とゲインの値とが同じ場合は、ゲインリミット及びゲインのいずれか一方の値を補正ゲインとして選択する。

図１７中の上段の右側に示す拡張画素値ＥＰ（ｎ）は、ゲイン乗算部１１５ｂが生成する。ゲイン乗算部１１５ｂは、入力画素値ＩＰ（ｎ）にゲインを乗算して拡張画素値ＥＰ（ｎ）を生成する。例えば、１行１列目の画素値群ＩＰｓｂ「０．７」に１行１列目の補正ゲイン「１．２５」を乗算することによって、１行１列目の拡張画素値ＥＰ（ｎ）「０．８７５」（＝０．７×１．２５）が生成される。また例えば、４行４列目の画素値群ＩＰｓｂ「０．９」に４行４列目の補正ゲイン「１．０」を乗算することによって、４行４列目の拡張画素値ＥＰ（ｎ）「０．９」（＝０．９×１．０）が生成される。

図１７中の下段の右に示す表示画像の画素値ＤＰ（ｎ）は、表示領域５１１に表示される画素値である。ゲイン乗算部１１５ｂは、拡張画素値ＥＰ（ｎ）をＬＣＤ駆動回路５３に出力する。例えば、表示領域５１１に表示される画像は、１行１列目の拡張画素値ＥＰ（ｎ）「０．８７５」が表示領域に表示され、バックライトユニット３には１行１列目の輝度分布「０．５」が出力されることによって、１行１列目の表示画像の画素値ＤＰ（ｎ）「０．４３８」（＝０．８７５×０．５）が表示される。また例えば、４行４列目の拡張画素値ＥＰ（ｎ）「０．９」に４行４列目の輝度分布「１．０」が表示領域５１１において合成されることによって、４行４列目の表示画像の画素値ＤＰ（ｎ）「０．９」（＝０．９×１．０）が表示される。

図１７に示すように、入力画素値ＩＰ（ｎ）及び表示画像の画素値ＤＰ（ｎ）は、完全に一致しない。しかしながら、本実施形態に係る画像処理システムは、ゲインリミットを用いない場合に失われてしまう入力画素値ＩＰ（ｎ）の画素値の階調差を表示画像の画素値ＤＰ（ｎ）に残すことができる。

図１８は、入力画素値ＩＰ（ｎ−１），ＩＰ（ｎ）、ＬＥＤの発光輝度及びバックライトユニット３の輝度分布を図１７に示す例と同じ条件とし、かつ上記第一実施形態に示したように、ゲインリミットを用いない場合のポストプロセス部の処理の一例を模式的に示す図である。図１８中の上段には左から、入力画素値ＩＰ（ｎ）、ゲイン算出部１１５ａで算出されたゲイン及びゲイン乗算部１１５ｂで算出された拡張画素値が模式的に図示されている。図１８中の下段には左から、バックライトユニット３の輝度分布及び表示画像の画素値ＤＰ（ｎ）が模式的に図示されている。なお、図１８では、入力画素値ＩＰ（ｎ）及びバックライトユニット３に設けられたＬＥＤ３１の発光輝度は、図１６に示す入力画素値ＩＰ（ｎ−１）及びバックライトユニット３に設けられたＬＥＤ３１の発光輝度と同じであるため、図示が省略されている。また、図１８では、図１６及び図１７と同様の方法によって画素値やゲインの値が図示されている。

図１８中の上段に示すように、入力画素値ＩＰ（ｎ）にゲインを乗算して得られる拡張画素値ＥＰ（ｎ）は、３行３列目、３行４列目、４行３列目及び４行４列目を除いて、１．０よりも大きい数値となっている。本例では、表示領域５１１で表示可能な階調値の最大値は１．０であるため、図１８中の上段の最も右側に示すように、１．０よりも大きい数値の拡張画素値ＥＰ（ｎ）は、１．０に再設定された後に、ＬＣＤ駆動回路５３に出力する。その結果、３行３列目、３行４列目、４行３列目及び４行４列目以外の表示画像の画素値ＤＰ（ｎ）は、全て０．５となり、３行３列目、３行４列目、４行３列目及び４行４列目以外の入力画素値ＩＰ（ｎ）での階調差が失われてしまう。

これに対し、ゲインリミットを用いた場合には、図１７に示すように、３行３列目、３行４列目、４行３列目及び４行４列目以外の表示画像の画素値ＤＰ（ｎ）には、３行３列目、３行４列目、４行３列目及び４行４列目以外の入力画素値ＩＰ（ｎ）の階調差と相対的に同じ階調差が表れている。このように、本実施形態に係る画像処理システム１０は、ゲインリミットを用いることにより、入力画素値ＩＰ（ｎ）における階調差が反映された出力画像の画素値ＤＰ（ｎ）を生成することができる。

［画像処理方法］
次に、本実施形態に係る画像処理方法について図１３、図１４及び図１６を参照しつつ説明する。本実施形態に係る画像処理方法は、上記第１実施形態に係る画像処理方法に対して、ゲイン調整係数を算出する処理を有すること、及び、ゲインを算出する処理（ステップＳ９）が異なることを除いて、上記第１実施形態に係る画像処理方法と同様である。

本実施形態に係る画像処理方法としての画像調整処理において、画像処理装置１に設けられた制御部１１は、画像調整処理のステップＳ１（図１３参照）の実行後であってステップＳ９（図１３参照）の実行前に、ゲイン調整係数を算出する処理を実行する。制御部１１は、ゲイン調整係数を算出する処理をゲイン調整係数算出部２１５ｄ（図１４参照）において実行し、算出されたゲイン調整係数をゲイン算出部２１５ａに出力させる。

図１３に示すステップＳ９に対応するゲインを算出する処理において、制御部１１はゲイン算出部２１５ａ（図１４参照）において、輝度分布推定部１１３ｃ（図１４参照）で推定された輝度分布に基づいて算出したゲインと、ゲイン調整係数算出部２１５ｄで算出されたゲイン調整係数とを比較して、小さい方をゲインとしてゲイン乗算部１１５ｂに出力させる処理を実行する。つまり、図１３に示すステップＳ９に対応するゲインを算出する処理において、制御部１１は、補正ゲイン（図１７参照）をゲインとして、ゲイン算出部２１５ａからゲイン乗算部１１５ｂに出力させる処理を実行する。

本実施形態に係る画像処理方法において、拡張画素値を算出する処理（ステップＳ１１）は、上記第１実施形態に係る画像処理方法と同様の処理である。しかしながら、入力画素値ＩＰ（ｎ）に乗算されるゲインにはゲイン調整係数が反映されている。このため、本実施形態に係る画像処理方法のステップＳ１１において、ゲイン調整係数が反映された拡張画素値ＥＰ（ｎ）がゲイン乗算部１１５ｂで算出される。

本実施形態でも画像調整処理は、１フレームごとに繰り返し実行される。これにより、表示領域５１１には、フレームごとにリアルタイムで、拡張画素値ＥＰ（ｎ）に基づく画像と、バックライトユニット３による輝度分布とが合成された画像が表示される。

以上説明したように、本実施形態に係る画像処理システム１０は、複数のＬＥＤ３１及び複数のＬＥＤ３１を駆動するＬＥＤ駆動回路３５を有するバックライトユニット３と、複数の発光素子ＬＥＤ３１を光源とし液晶表示パネル５１を有する液晶表示装置５とを備えている。また、画像処理システム１０は、液晶表示パネル５１の表示領域５１１を構成する複数の画素Ｐに表示される画像の階調値である入力画素値ＩＰ（ｎ）に基づいて、複数のＬＥＤ３１のそれぞれの発光輝度を決定するＬＥＤ輝度決定部１１３ａと、ＬＥＤ輝度決定部１１３ａで決定された発光輝度で複数のＬＥＤ３１がそれぞれ発光した場合にバックライトユニット３の光出射面の側に生じる輝度分布を推定する輝度分布推定部１１３ｃ、ＬＥＤ輝度決定部１１３ａで決定された発光輝度に基づいてＬＥＤ駆動回路３１を制御する制御信号Ｓｄｙを生成するデューティ値変換部１１３ｂと、入力画素値ＩＰ（ｎ）に乗算されるゲインを輝度分布に基づいて算出するゲイン算出部２１５ａと、ゲイン算出部２１５ａから入力されたゲインを入力画素値ＩＰ（ｎ）に乗算して得た拡張画素値ＥＰ（ｎ）を液晶表示装置５に出力するゲイン乗算部１１５ｂと、を有する画像処理装置１を備えている。ＬＥＤ輝度決定部１１３ａは、表示領域５１１を分割した領域であって複数のＬＥＤ３１のそれぞれに対応付けられたサブエリアＬＳＢを構成する複数の画素Ｐの入力画素値ＩＰ（ｎ）に基づいて発光輝度を決定する。また、輝度分布推定部１１３ｃは、複数のＬＥＤ３１のそれぞれを発光させた場合のバックライトユニット３の光出射面の側の輝度分布データを用いて輝度分布を推定する。当該構成を備えた画像処理システム１０は、ローカルディミング制御での画像再現性の向上を図ることができる。

さらに、本実施形態に係る画像処理システム１０は、ゲインの最大値を調整するゲイン調整係数を算出するゲイン調整係数算出部２１５ｄを備えている。当該構成を備えた画像処理装置１は、入力画素値ＩＰ（ｎ）における階調差が反映された表示画像の画素値（ｎ）を生成することができる。

本発明は、上記第１及び第２実施形態に限らず、種々の変形が可能である。
上記第１及び第２実施形態では、直下型のバックライトユニットを例にとって説明したが、例えばサイドライト型のバックライトユニットであっても、同様の効果が得られる。

上記第１及び第２実施形態では、面光源装置としてバックライトユニットを例にとって説明したが、例えばフロントライトユニットであっても、同様の効果が得られる。

上記第１及び第２実施形態では、バックライトユニットの光出射面の側は、液晶表示パネルの表示領域５１１と接しているが、当該光出射面の側は、導光部３３の光出射面と接していても、同様の効果が得られる。

上記第１及び第２実施形態では、ＬＥＤの発光輝度及びバックライトユニットの光出射面の側の輝度分布は、表示領域５１１に表示される画像の画素値と同じフレームの入力画素値ＩＰ（ｎ）に基づいて算出されているが、本発明はこれに限られない。例えば、ＬＥＤの発光輝度及びバックライトユニットの光出射面の側の輝度分布は、表示領域５１１に表示される表示画像の画素値を生成するために用いられる入力画素値よりも１フレーム前の入力画素値ＩＰ（ｎ−１）に基づいて算出されてもよい。この場合、フレームメモリを有しても良いし、例えば２フレーム（奇数フレーム及び偶数フレーム）の入力画素値を記憶できる容量を有していてもよい。例えば、奇数フレームの入力画素値がフレームメモリに記憶されている時には、フレームメモリに記憶されている偶数フレームの入力画素値を用いて、ＬＥＤの発光輝度及びバックライトユニットの輝度分布の算出並びに表示領域への画像表示及びバックライトユニットの駆動処理を実行してもよい。また例えば、偶数フレームの入力画素値がフレームメモリに記憶されている時には、フレームメモリに記憶されている奇数フレームの入力画素値を用いて、ＬＥＤの発光輝度及びバックライトユニットの輝度分布の算出並びに表示領域への画像表示及びバックライトユニットの駆動処理を実行してもよい。

また、ＬＥＤの発光輝度及びバックライトユニットの光出射面の側の輝度分布を決定するために用いられる入力画素値は、液晶表示パネル５１に表示される表示画像の画素値を生成するために用いられる入力画素値よりも１フレーム前の複数のフレーム（例えば２フレーム以前）の画素値であってもよい。

上記第１及び第２実施形態では、表示装置として液晶表示装置を例にとって説明したが、例えば面光源装置を光源として用いる非自発光型表示装置であれば、同様の効果が得られる。

上記各実施形態は、本発明を説明するための例示であり、本発明をこれらの実施形態にのみ限定する趣旨ではない。本発明は、その要旨を逸脱しない限り、さまざまな形態で実施することができる。

例えば、本明細書に開示される方法においては、その結果に矛盾が生じない限り、ステップ、動作又は機能を並行して又は異なる順に実施しても良い。説明されたステップ、動作及び機能は、単なる例として提供されており、ステップ、動作及び機能のうちのいくつかは、発明の要旨を逸脱しない範囲で、省略でき、また、互いに結合させることで一つのものとしてもよく、また、他のステップ、動作又は機能を追加してもよい。

また、本明細書では、さまざまな実施形態が開示されているが、一の実施形態における特定のフィーチャ（技術的事項）を、適宜改良しながら、他の実施形態に追加し、又は該他の実施形態における特定のフィーチャと置換することができ、そのような形態も本発明の要旨に含まれる。

本発明は、画像処理装置、面光源装置を光源とする表示装置の分野に広く利用することができる。

１…画像処理装置
３…バックライトユニット
５…液晶表示装置
１０・・・画像処理システム
１１…制御部
１５…メモリ
３３…導光部
３５…ＬＥＤ駆動回路
５１…液晶表示パネル
５３…ＬＣＤ駆動回路
１１１…プリプロセス部
１１１ａ…座標検出部
１１３…コアプロセス部
１１３ａ…ＬＥＤ輝度決定部
１１３ｂ…デューティ値変換部
１１３ｃ…輝度分布推定部
１１５，２１５…ポストプロセス部
１１５ａ，２１５ａ…ゲイン算出部
１１５ｂ…ゲイン乗算部
２１５ｄ…ゲイン調整係数算出部
５１１…表示領域
ＩＰ…入力画素値
ＩＰｓｂ…画素値群
ＥＰ…出力画素値
Ｐ…画素
ＳＢ…サブブロック
ＬＳＢ…ＬＥＤのサブエリア

Claims (8)

1. 複数の発光素子及び複数の前記発光素子を駆動する駆動回路を有する光源装置と、
   複数の前記発光素子を光源とし非自発光型の表示パネルを有する表示装置と、
   前記表示パネルの表示領域を構成する複数の画素に表示される画像の画素値の目標値である入力画素値に基づいて、複数の前記発光素子のそれぞれの発光輝度を決定する発光輝度決定部、前記発光輝度決定部で決定された発光輝度で複数の前記発光素子がそれぞれ発光した場合に前記光源装置の光出射面の側に生じる輝度分布を推定する分布推定部、前記発光輝度決定部で決定された発光輝度に基づいて前記駆動回路を制御する制御信号を生成する制御信号生成部、前記入力画素値に乗算されるゲインを前記輝度分布に基づいて算出するゲイン算出部、及び、前記ゲイン算出部から入力されたゲインを前記入力画素値に乗算して得た拡張画素値を前記表示装置に出力するゲイン乗算部を有する画像処理装置と、
   を備え、
   前記発光輝度決定部は、前記表示領域を分割した領域であって複数の前記発光素子のそれぞれに対応付けられた分割領域を構成する複数の前記画素の前記入力画素値に基づいて前記発光輝度を決定し、
   前記分布推定部は、複数の前記発光素子のそれぞれを発光させた場合の前記光出射面の側の輝度分布データを用いて前記輝度分布を推定する、
   画像処理システム。
2. 前記ゲイン算出部は、前記輝度分布を数値化した数値の逆数を算出して前記ゲインを生成する、
   請求項１に記載の画像処理システム。
3. 前記発光輝度を決定するために用いられる入力画素値は、前記表示パネルに表示される表示画像の画素値を生成するために用いられる入力画素値よりも１フレーム前の画素値である、
   請求項１又は２に記載の画像処理システム。
4. 前記発光輝度を決定するために用いられる入力画素値は、前記表示パネルに表示される表示画像の画素値を生成するために用いられる入力画素値よりも１フレーム前の複数のフレームの画素値である、
   請求項１又は２に記載の画像処理システム。
5. 前記画像処理装置は、前記ゲインの最大値を調整するゲイン調整係数を算出する係数算出部を有する、
   請求項１から４までのいずれか一項に記載の画像処理システム。
6. 前記ゲイン調整係数は、前記拡張画素値が、前記表示装置で表示可能な最大階調値以下の値になるように設定される、
   請求項５に記載の画像処理システム。
7. 前記ゲイン算出部は、前記輝度分布に基づいて算出したゲインと、前記ゲイン調整係数とを比較して、小さい方をゲインとして前記ゲイン乗算部に出力する、
   請求項５又は６に記載の画像処理システム。
8. 表示装置に設けられ非自発光型の表示パネルの表示領域を構成する複数の画素に表示される画像の画素値の目標値である入力画素値に基づいて、前記表示装置の光源として用いられる光源装置に設けられた複数の発光素子のそれぞれの発光輝度を決定し、
   決定された発光輝度で複数の前記発光素子がそれぞれ発光した場合に前記光源装置の光出射面の側に生じる輝度分布を推定し、
   決定された発光輝度に基づいて複数の前記発光素子を駆動する駆動回路を制御する制御信号を生成し、
   前記入力画素値に乗算されるゲインを前記輝度分布に基づいて算出し、
   入力されたゲインを前記入力画素値に乗算して得た拡張画素値を前記表示装置に出力するに際し、
   前記表示領域を分割した領域であって複数の前記発光素子のそれぞれに対応付けられた分割領域を構成する複数の前記画素の前記入力画素値に基づいて前記発光輝度を決定し、
   複数の前記発光素子のそれぞれを発光させた場合の前記光出射面の側の輝度分布データを用いて前記輝度分布を推定する、
   画像処理方法。