JP2009063694A - 画像処理装置、画像表示装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】簡素な処理で光沢部分が有るか否かを判定して、光沢感を表示できるように制御する画像処理装置、これを含む画像表示装置、画像処理方法及びプログラムを提供する。
【解決手段】バックライト２２０を有する画像表示装置２００に対し画像信号に対応した画像の表示制御を行うための画像処理装置１００は、前記画像信号に基づいて画像の光沢部分が有るか否かを判定する光沢判定部１１０と、光沢判定部１１０の判定結果に基づいて前記画像の光沢部分の輝度を向上させるようにバックライト２２０の発光強度を変化させる制御を行うバックライト制御部１２０とを含む。
【選択図】図２

Description

本発明は、画像処理装置、これを含む画像表示装置、画像処理方法及びプログラムに関する。

近年、大画面テレビジョンやプロジェクタ等の画像表示装置において高精細化が進む一方、一般的な画像表示装置ではコンテンツを表す画像情報のダイナミックレンジを維持したまま表示できないほど画像情報自体のダイナミックレンジが高くなっている。そのため、画像情報と比較してダイナミックレンジが低くなる画像表示装置に、例えば物体の表面の透明感、光沢、金属感等の質感をどのように検知してどのように表示させるかについては重要な課題となっている。

このような質感をディスプレイ画面上に表現する技術について、例えば特許文献１に開示されている。特許文献１には、物体の色と強さを表す物体色ベクトルと、照明光の色と強さを表す照明光ベクトルと、周囲物体による反射光の色と強さを表す２次反射光ベクトルのそれぞれに係数を乗じて加算する反射モデル式により画像データを表現することで、物体の色だけでなく、色の見え方、光沢感、材質感等を変更できるようにした技術が開示されている。

特開平５−４０８３３号公報

しかしながら、光沢感を表現しようとすると、特許文献１に開示された技術では、３次元のコンピュータグラフィック処理で行われるような反射モデルの計算が必要となるため、計算量が多くなるという問題がある。このため、処理対象の物体のモデルを用意しておく必要があるばかりか、複雑な画像に対応するためには処理を高速化する必要があり、コストが高くなる。

また、特許文献１に開示された技術では、画像データに対する処理に過ぎないため、光沢部分をより明るく表現しようとすると、画像表示装置の表示輝度の上限値により制限されてしまう。その結果、画像全体の輝度を下げざるを得なくなり、画像表示装置の表示性能を十分に発揮させることができなくなる。

本発明は、以上のような技術的課題に鑑みてなされたものであり、その目的は、画像全体の輝度を下げることなく光沢感のある画像を表現できるように制御する画像処理装置、これを含む画像表示装置、画像処理方法及びプログラムを提供することにある。

上記課題を解決するために本発明は、バックライトを有する画像表示装置に対し画像信号に対応した画像の表示制御を行うための画像処理装置であって、前記画像信号に基づいて画像の光沢部分が有るか否かを判定する光沢判定部と、前記光沢判定部の判定結果に基づいて前記バックライトの発光強度を変化させる制御を行うバックライト制御部とを含み、前記バックライト制御部が、前記画像の光沢部分の輝度を向上させるように前記バックライトの発光強度を変化させる制御を行う画像処理装置に関係する。

本発明によれば、バックライトを有する画像表示装置に対して表示制御を行う場合に、画像信号に基づいて画像の光沢部分が有るか否かを判定し、該光沢部分の輝度を向上させるようにバックライトの発光強度を変化させる制御を行うようにしたので、画像表示装置の表示輝度の上限値に制限されることなく、画像の光沢部分をより明るく表現しようとするために画像全体の輝度を下げる必要がなくなる。そのため、画像表示装置の表示性能を十分に発揮させて、画像の光沢部分を効率良く表現できるようになる。

また本発明に係る画像処理装置では、前記光沢判定部が、前記画像信号の輝度成分のヒストグラムを算出するヒストグラム算出部と、前記ヒストグラムの歪度を算出することで前記画像の光沢度を算出する光沢度算出部とを含み、前記光沢度と所与の光沢度検出用閾値とを比較することで前記画像の光沢部分が有るか否かを判定することができる。

また本発明に係る画像処理装置では、前記画像内の座標（ｘ，ｙ）における画素の輝度をＩ（ｘ，ｙ）、前記画像内の画素の平均輝度をｍ、前記画像の画素数をＮとすると、前記ヒストグラムの歪度ＳＫは、以下の式により求められてもよい。

上記のいずれかの発明によれば、画像信号の輝度成分のヒストグラムの歪度を算出することで画像の光沢部分が有るか否かを判定するようにしたので、複雑な画像処理モデルを用いて計算する必要がなくなり、低コスト且つ高速に画像の光沢部分が有るか否かを判定できるようになる。

また本発明に係る画像処理装置では、前記画像信号の輝度成分に基づいて、所与の目標輝度閾値以上の画素の輝度値を上昇させた目標輝度分布を算出する目標輝度分布算出部と、前記目標輝度分布算出部により算出された目標輝度分布を実現するための照明分布を算出する照明分布算出部とを含み、前記バックライト制御部が、前記照明分布に対応して前記バックライトの発光強度を制御することができる。

本発明によれば、目標輝度閾値以上の輝度値を上昇させた目標輝度分布と、該目標輝度分布を実現するための照明分布とを算出し、該照明分布に対応してバックライトの発光強度を制御するようにしたので、画像全体の輝度を下げることなく、画像内の光沢部分に応じたバックライト制御を実現し、効率的に画像の光沢部分を表示させることができるようになる。また、限られた輝度値のうち光沢部分に多くの輝度値を割り当てて光沢部分をより入力画像のダイナミックレンジに近い再現にすることができるようになる。

また本発明に係る画像処理装置では、前記目標輝度分布と前記照明分布とに応じて前記画像信号の画素値を補正する画像信号補正部を含み、前記画像信号補正部によって補正された画像信号を、前記画像表示装置の光変調部に対して供給することができる。

本発明によれば、目標輝度分布と照明分布とに応じて画像信号自体を補正し、この補正した画像信号を光変調部に供給するようにしたので、画像の光沢部分が有ると判定されたときに、バックライトの制御だけでは表現できない光沢部分をより入力画像のダイナミックレンジに近い再現にすることができるようになる。

また本発明に係る画像処理装置では、前記画像表示装置が、１画面を分割した各領域に各バックライトが設けられた複数のバックライトを有し、前記バックライト制御部が、バックライト毎に、発光強度を変化させる制御を行うことができる。

本発明によれば、光沢部分の光沢表現が必要なタイミングで、必要な領域のみバックライトの発光強度を上げるようにしたので、画像全体の輝度を下げることなく効率的に光沢感のある画像を表現できるようになる。

また本発明は、画像信号に基づいて画像を表示するための画像表示装置であって、上記のいずれか記載の画像処理装置と、前記画像信号に基づいて各画素の通過率（透過率、変調率）が制御される光変調部と、前記画像処理装置からの制御により発光強度が制御される光を前記光変調部に照射するためのバックライトとを含む画像表示装置に関係する。

本発明によれば、簡素な処理で光沢部分が有るか否かを判定して、光沢感を表示できる画像表示装置を提供することができる。更に、本発明によれば、画像全体の輝度を下げることなく光沢感のある画像を表現できる画像表示装置を提供することができる。

また本発明は、バックライトを有する画像表示装置に対し画像信号に対応した画像の表示制御を行うための画像処理方法であって、画像信号に基づいて画像の光沢部分が有るか否かを判定する光沢判定ステップと、前記光沢判定ステップの判定結果に基づいて前記バックライトの発光強度を変化させる制御を行うバックライト制御ステップとを含み、前記バックライト制御ステップが、前記画像の光沢部分の輝度を向上させるように前記バックライトの発光強度を変化させる制御を行う画像処理方法に関係する。

本発明によれば、簡素な処理で光沢部分が有るか否か判定して、光沢感を表示できるように制御する画像処理方法を提供できる。更に、本発明によれば、画像全体の輝度を下げることなく光沢感のある画像を表現できるように制御する画像処理方法を提供できる。

また本発明は、バックライトを有する画像表示装置に対し画像信号に対応した画像の表示制御を行う画像処理装置を制御するためのプログラムであって、画像信号に基づいて画像の光沢部分が有るか否かを判定する光沢判定部と、前記光沢判定部の判定結果に基づいて前記バックライトの発光強度を変化させる制御を行うバックライト制御部として前記画像処理装置を機能させ、前記バックライト制御部が、前記画像の光沢部分の輝度を向上させるように前記バックライトの発光強度を変化させる制御を行うプログラムに関係する。

本発明によれば、簡素な処理で光沢部分が有るか否か判定して、光沢感を表示できるように制御する画像処理装置を制御するためのプログラムを提供することができる。更に、本発明によれば、画像全体の輝度を下げることなく光沢感のある画像を表現できるように制御する画像処理装置を制御するためのプログラムを提供することができる。

以下、本発明の実施の形態について図面を用いて詳細に説明する。なお、以下に説明する実施の形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また以下で説明される構成のすべてが本発明の必須構成要件であるとは限らない。

１． 第１の実施形態

本発明の第１の実施形態に係る画像処理装置は、例えば次のような画像表示システムに適用される。

図１に、本発明の第１の実施形態における画像表示システムの構成例のブロック図を示す。

第１の実施形態における画像表示システム１０は、画像信号生成装置２０と、画像処理装置１００と、画像表示装置２００とを含むことができる。画像信号生成装置２０は、画像表示装置２００に表示させる画像（コンテンツ）に対応した画像信号を生成し、該画像信号を画像処理装置１００に対して出力する。画像処理装置１００は、画像信号生成装置２０からの画像信号を受け、該画像信号により表示される画像の光沢部分を検出し、少なくとも該光沢部分の輝度を向上させるように画像表示装置２００の制御を行う。

このような画像表示装置２００は、光変調部と、該光変調部を照射するバックライトとを有し、画像処理装置１００からの画像信号に対応した画像の表示制御が、画像処理装置１００からの制御信号に基づいて行われる。画像処理装置１００は、画像表示装置２００が有するバックライトを制御することで、表示画像が有する光沢部分の輝度を向上させる制御を行う。このような画像処理装置１００は、バックライトの発光強度を上げることで、各画像（各フレーム）の光沢部分の輝度を向上させるように制御できる。

図２に、第１の実施形態における画像処理装置１００と画像表示装置２００の構成例のブロック図を示す。

図２において、図１と同一部分には同一符号を付し、適宜説明を省略する。画像表示装置２００は、光変調部２１０と、光変調部２１０に光を照射するバックライト２２０とを含む。光変調部２１０は、バックライト２２０からの光を画素単位で変調し、例えば液晶パネルにより構成される。バックライト２２０は、１画面内を局所的に発光強度（照明強度）が変更できるように構成されており、例えばＬＥＤ（Light Emitting Diode）アレイ等の光源により構成される。

画像処理装置１００は、光沢判定部１１０と、バックライト制御部１２０とを含む。光沢判定部１１０は、画像信号に基づいて画像に光沢部分が有るか否かを判定する。バックライト制御部１２０は、光沢判定部１１０の判定結果に基づいてバックライト２２０の発光強度を変化させる制御を行う。より具体的には、バックライト制御部１２０は、光沢判定部１１０により光沢部分が有ると判定された場合に、画像の光沢部分の輝度を向上させるようにバックライト２２０の発光強度を変化させる制御を行う。これにより、画像表示装置２００の表示輝度の上限値に制限されることなく、画像の光沢部分の輝度を向上できるようになる。従って、画像の光沢部分をより明るく表現しようとするために画像全体の輝度を下げる必要がなくなり、画像表示装置２００の表示性能を十分に発揮させて、画像の光沢部分を効率良く表現できるようになる。

更に、第１の実施形態では、いわゆる心理物理実験により見いだされた画像の光沢感と輝度ヒストグラムの歪み方との相関関係に着目して、画像信号に基づき画像内に光沢部分が有るか否かを簡素な処理で判定することができる。このため、光沢判定部１１０は、ヒストグラム算出部１１２、光沢度算出部１１４を含むことができる。

ヒストグラム算出部１１２は、画像信号に基づいて輝度ヒストグラム（輝度成分のヒストグラム）を算出する。ここで、輝度ヒストグラムとは、各輝度の画素出現頻度をいう。即ち、ヒストグラム算出部１１２は、画像信号から輝度成分（輝度信号）を抽出し、１画面内において各輝度値の画素の出現頻度を求める。光沢度算出部１１４は、ヒストグラム算出部１１２によって算出された輝度ヒストグラムに基づいて、画像の光沢度を算出する。そして、光沢判定部１１０は、この光沢度に基づいて画像内に光沢部分が有るか否かを判定する。

より具体的には、光沢度算出部１１４は、輝度ヒストグラムの歪度を光沢度として算出し、この光沢度と所与の光沢度検出用閾値とを比較することで、画像内の光沢部分が有るか否かを判定する。これにより、第１の実施形態によれば、複雑な画像処理モデルを用いて計算する必要がなくなり、低コスト且つ高速に画像に光沢部分が有るか否かを判定できるようになる。

更にまた、第１の実施形態では、バックライト制御部１２０は、バックライト２２０の照明分布を実現するようにバックライト２２０を制御する。バックライト２２０の照明分布は、光沢判定部１１０により光沢部分が有ると判定された場合に、光沢部分の輝度を向上させるように算出される。そのため、画像処理装置１００は、更に、目標輝度分布算出部１３０、照明分布算出部１４０を含むことができる。

目標輝度分布算出部１３０は、光沢判定部１１０により光沢部分が有ると判定された場合に、画像の光沢部分の輝度を向上させた目標輝度分布を算出する。照明分布算出部１４０は、目標輝度分布算出部１３０により算出された目標輝度分布を実現するための照明分布を算出する。そして、バックライト制御部１２０が、照明分布算出部１４０により算出された照明分布に対応してバックライト２２０の発光強度を制御する。こうすることで、画像全体の輝度を下げることなく、画像内の光沢部分に応じたバックライト制御を実現し、効率的に画像の光沢部分を表示させることができるようになる。また、限られた輝度値のうち光沢部分に多くの輝度値を割り当てて光沢部分をより入力画像のダイナミックレンジに近い再現にすることができるようになる。

更にまた、第１の実施形態では、目標輝度分布と照明分布とに応じて画像信号自体を補正して、光変調部２１０に供給することが望ましい。そこで、画像処理装置１００は、更に、画像信号補正部１５０を含み、目標輝度分布と照明分布とに応じて画像信号を補正するようになっている。そして、画像信号補正部１５０によって補正された画像信号を、光変調部２１０に対して供給する。こうすることで、画像の光沢部分が有ると判定されたときに、バックライト２２０の制御だけでは表現できない光沢部分をより入力画像のダイナミックレンジに近い再現にすることができるようになる。

次に、図２の画像処理装置１００の処理フローについて説明する前に、図２の画像処理装置１００によって表示制御される画像表示装置２００の構成例について説明する。

図３（Ａ）、図３（Ｂ）に、図１又は図２の画像表示装置２００の構成例の説明図を示す。図３（Ａ）は、バックライト制御部１２０を含めて画像表示装置２００の平面模式図を表し、図３（Ｂ）は図３（Ａ）のＡ−Ａ切断線の断面模式図を表す。

図３（Ａ）に示すように、画像表示装置２００は、バックライトとして機能する複数のＬＥＤを有し、各ＬＥＤが、画像表示装置２００の平面視において、１画面を分割した複数の領域のそれぞれのバックライトとして機能するようにアレイ状に配置されている。図３（Ａ）では、１画面を例えば４８領域に分割し、各領域にＬＥＤが配置されている。画像処理装置１００のバックライト制御部１２０は、画像表示装置２００に埋め込まれた信号線２２４ｉ（１≦ｉ≦４８、ｉは整数）を介してＬＥＤ２２２ｉの発光強度を変更できる。従って、バックライト制御部１２０は、画像表示装置２００に埋め込まれた信号線を介して各ＬＥＤをそれぞれ別個に制御してＬＥＤ毎に発光強度を変更できるようになっている。

図３（Ｂ）に示す画像表示装置２００の断面構成においては、ＬＥＤ２２２ｉの形成層の上層に拡散板２３０を介して光変調部２１０としての液晶パネルが形成され、光変調部２１０に対して複数のＬＥＤからの光がバックライトとして照射されるようになっている。

以下では、図３（Ａ）及び図３（Ｂ）に示すように、画像表示装置２００が１画面を分割した複数の領域の各領域に対応して各バックライトが設けられた複数のバックライトを有し、バックライト制御部１２０が、バックライト毎に発光強度を変化させる制御を行うものとして、図２の画像処理装置１００の処理フローについて説明する。また、説明を簡略化するために、ＬＥＤアレイをバックライトとして液晶モノクロディスプレイの場合の処理フローを示すが、本発明がこれに限定されるものではなく、液晶モノクロディスプレイ以外のモノクロディスプレイ、液晶カラーディスプレイや液晶カラーディスプレイ以外のカラーディスプレイにも適用可能である。

図４に、図２の画像処理装置１００の処理例のフロー図を示す。

まず、画像処理装置１００では画像信号が入力される（ステップＳ１０）。この画像信号は、静止画の画像信号であってもよいし、動画の画像信号であってもよい。また、以下では、画像信号は、輝度・色差信号であるものとして説明するが、画像信号がＲＧＢ信号等の信号形式であってもよい。例えば画像信号がＲＧＢ信号である場合、ＲＧＢ信号を輝度・色差信号に変換してから以下の処理を行うことが望ましい。

ステップＳ１０において画像信号が入力された画像処理装置１００では、光沢判定部１１０のヒストグラム算出部１１２において、画像信号の輝度成分の輝度ヒストグラムを算出する（ステップＳ１２）。

図５に、図４のステップＳ１２においてヒストグラム算出部１１２によって算出される輝度ヒストグラムの説明図を示す。

ヒストグラム算出部１１２は、１画面内の全画素に亘って画素の輝度値の出現頻度を算出する。その結果、ヒストグラム算出部１１２は、例えば図５に示すように、輝度値「０」から輝度値の最大値「Ｉｍａｘ（＝１００％）」の各値の画素数を積算することで、輝度ヒストグラムを算出できる。

なお、入力された画像信号の輝度成分と画像表示装置２００が出力する輝度とが線形の関係となっていない場合は、画像信号の輝度成分にガンマ補正を行ってから輝度ヒストグラムを算出してもよい。ガンマ補正は一般に以下の式で行われる。

ここで、Ｉ’_ｉｎ（ｘ，ｙ）はガンマ補正後の画素の輝度値を表し、Ｉ_ｉｎ（ｘ，ｙ）はガンマ補正前の画素の輝度値を表す。なお、γの値は入力された画像信号によって異なるが１．８〜２．４の値を取ることが一般的である。

図４のステップＳ１２において輝度ヒストグラムが算出されると、光沢判定部１１０の光沢度算出部１１４が、該輝度ヒストグラムに基づいて光沢度を算出する（ステップＳ１４）。光沢度算出部１１４は、上述のように、輝度ヒストグラムの歪度を光沢度として算出する。

光沢度算出部１１４は、例えば参考文献（Motoyoshi I., Nishida S., Sharan L., & Adelson E.H., “Image statistics and the perception of surface qualities”, Nature, 447, 206-209, (2007)）にて紹介された輝度ヒストグラムの歪度を利用して、光沢度を算出する。上記の参考文献の詳細については説明を省略するが、心理物理実験を通して、物理的な光沢や明るさ、輝度ヒストグラムの歪みと、知覚的な光沢や明るさとに高い相関関係があることを述べている。この相関関係によれば、例えば光沢が強い画像の表面ほど、輝度ヒストグラムが正の方向に歪む（高い輝度の方に画素の出現頻度がなだらかに広がる）ことを示すため、輝度ヒストグラムの歪度に基づいて画像の表面の光沢度を評価（相対的な評価又は絶対的な評価）できるようになる。

図６（Ａ）、図６（Ｂ）に、上記の参考文献に基づく輝度ヒストグラムの歪み方と光沢度との関係を模式的に示す。

図６（Ａ）、図６（Ｂ）は同じ平均輝度を有する画像において光沢感が異なる場合に、それぞれの画像の輝度ヒストグラムを模式的に表したものであり、横軸に正規化した輝度値、縦軸に画像内の各輝度の画素出現頻度である画素数を示している。図６（Ａ）は、視覚的には光沢感がない画像の輝度ヒストグラムであり、該輝度ヒストグラムの歪度が負の値である。これに対して図６（Ｂ）は、視覚的には光沢感がある画像の輝度ヒストグラムであり、該輝度ヒストグラムの歪度が正の値である。

そこで、光沢度算出部１１４は、輝度ヒストグラムの歪度を光沢度として、以下のように算出する。即ち、光沢度算出部１１４は、画像内の座標（ｘ，ｙ）における画素の輝度をＩ（ｘ，ｙ）、画像内の画素の平均輝度をｍ、画像の画素数をＮとすると、輝度ヒストグラムの歪度ＳＫを以下の式により算出する。

上式において、ＳＤは、各画素の輝度値と平均値との差の二乗和を画素数で割った平方根であるから、いわゆる標準偏差である。輝度ヒストグラムの歪度ＳＫは、この標準偏差ＳＤを用いる。上式においては、歪度ＳＫは、いわゆる奇関数であり、画素の輝度値と平均値との差が正のものが多いか負のものが多いかを数量化している。その結果、歪度ＳＫが正のとき、輝度値が平均値より大きい画素が多いことを示し、歪度ＳＫが負のとき、輝度値が平均値より小さい画素が多いことを数値情報として評価できる。

このようにして光沢度を輝度ヒストグラムの歪度として算出すると、光沢度算出部１１４は、光沢度と所与の光沢度検出用閾値とを比較する。光沢度算出部１１４は、例えば該光沢度が光沢度検出用閾値より大きいときに画像に光沢部分が有ると判定し、光沢度が光沢度検出用閾値以下のとき該画像に光沢部分がないと判定することができる。例えば、上式を用いて光沢度を算出する場合、光沢度検出用閾値は、０．０〜２．０の範囲にある実数であることが望ましい。

図４において、光沢判定部１１０が画像に光沢部分があると判定すると（ステップＳ１６：Ｙ）、目標輝度分布算出部１３０が、画像信号の輝度成分Ｉ_ｉｎから、所与の目標輝度閾値以上の画素の輝度値を上昇させた目標輝度分布を算出する（ステップＳ１８）。一方、ステップＳ１８において、光沢判定部１１０が画像に光沢部分がないと判定したとき（ステップＳ１６：Ｎ）、目標輝度分布算出部１３０において目標輝度分布を算出することなく、照明分布算出部１４０が照明分布を算出する（ステップＳ２０）。

目標輝度分布算出部１３０は、光沢部分の輝度を引き上げるように、目標輝度閾値以上の画素の輝度を上昇させる目標輝度分布を算出する。具体的には、目標輝度分布算出部１３０は、画像信号の輝度成分Ｉ_ｉｎから画素の座標（ｘ，ｙ）について次の式を用いて目標輝度分布Ｉ_{ｔａｒｇｅｔ}を算出する。

Ｉ_{ｔａｒｇｅｔ}（ｘ，ｙ）＝Ｇ（Ｉ_ｉｎ（ｘ，ｙ））

ここで、関数Ｇは、階調補正を行う関数であることが望ましい。なお、画像信号の輝度成分にガンマ補正を行う場合はＩ_ｉｎ（ｘ，ｙ）に替えてＩ’_ｉｎ（ｘ，ｙ）を用いる。

図７に、目標輝度分布算出部１３０における関数Ｇの一例の説明図を示す。

図７では、横軸に正規化した輝度成分の値、縦軸に正規化した目標輝度を示している。目標輝度分布算出部１３０は、関数Ｇに従って、目標輝度閾値以上の輝度値を有する画素を光沢部分の画素と判断して、その光沢部分の輝度を上昇させるように目標輝度を算出する。その結果、画素によっては１００％以上の輝度となり、画像表示装置２００では表現できない輝度になることがある。しかしながら、第１の実施形態では、バックライト２２０の助けを借りて、光沢部分の輝度を上昇させるようにしている。

このような目標輝度分布算出部１３０は、目標輝度閾値において連続的な関数Ｇに従って、目標輝度分布を算出することが望ましい。

図８に、目標輝度分布算出部１３０における関数Ｇの一次微分の一例の説明図を示す。

例えば、関数Ｇは、図８に示すように、目標輝度閾値における１次微分が連続となる関数、又は目標輝度閾値においてＣ^１級である関数であることが望ましい。また、より関数Ｇは、目標輝度閾値において連続的であり、該目標輝度閾値以上では傾きが大きくなる関数であることが望ましい。

図４のステップＳ１８において、目標輝度分布算出部１３０により目標輝度分布が算出された後、或いはステップＳ１６において画像の光沢部分がないと判定されたとき（ステップＳ１６：Ｎ）、照明分布算出部１４０が、照明分布Ｌを算出する（ステップＳ２０）。より具体的には、照明分布算出部１４０は、ステップＳ１８で求めた目標輝度分布Ｉ_{ｔａｒｇｅｔ}を実現するための照明分布Ｌを、以下の式を用いて算出する。

即ち、バックライトとして機能する複数のＬＥＤのうちｉ番目のＬＥＤの照明分布をＬｉ（ｘ，ｙ）、ｉ番目のＬＥＤの発光強度をｌｉ、ｍａｘが括弧内の最大値を表すとき、座標（ｘ，ｙ）の照明分布Ｌ（ｘ，ｙ）は、次のように求める。

なお、上式においてＬｉが「０」ではない領域について発光強度ｌｉを探索している。このように、ＬＥＤの発光強度は、ｉ番目のＬＥＤが点灯することによって輝度が上昇する領域に相当する目標輝度分布を参照し、その領域内で最も高い輝度とする。

次に、図４において、画像信号補正部１５０は、ステップＳ１８で求めた目標輝度分布Ｉ_{ｔａｒｇｅｔ}とステップＳ２０で求めた照明分布Ｌとから、光変調部２１０への入力値（透過率）を求める（ステップＳ２２）。

図９に、画像信号補正部１５０により求められる光変調部２１０の入力値の説明図を示す。

図９のように、横軸に座標（ｘ，ｙ）、縦軸に目標輝度分布Ｉ_{ｔａｒｇｅｔ}又は照明分布Ｌを模式的に示した場合に、画像信号補正部１５０は、Ｌｉ（ｘ，ｙ）が０より大きい範囲で、次式となるように入力値Ｔ_ｏｕｔを求める。即ち、画像信号補正部１５０は、光変調部２１０の座標（ｘ，ｙ）の画素の透過率が次式となるような画像信号に補正する。

Ｔ_ｏｕｔ（ｘ，ｙ）＝Ｉ_{ｔａｒｇｅｔ}／Ｌ（ｘ，ｙ）

その後、図４において、バックライト制御部１２０が、各ＬＥＤの発光強度がステップＳ２０で求めた発光強度ｌｉとなるようにｉ番目のＬＥＤの駆動電流を制御する（ステップＳ２４）。ここで、光沢部分を表現する領域や時間が限定的であるため、一時的にＬＥＤの発光強度を常時点灯時の発光強度以上にすることができる。

そして、画像信号補正部１５０により補正された画像信号を画像表示装置２００の光変調部２１０に供給し、光変調部２１０の各画素の透過率がステップＳ２２で求めた入力値（＝透過率）Ｔ_ｏｕｔとなるように光変調部２１０を制御する（ステップＳ２６）。

その後、次に処理すべき画像信号があるとき（ステップＳ２８：Ｙ）、ステップＳ１０に戻って処理を継続し、次に処理すべき画像信号がないとき（ステップＳ２８：Ｎ）、一連の処理を終了する（エンド）。

以上のように、第１の実施形態によれば、輝度ヒストグラムを算出し、該輝度ヒストグラムの歪度に基づいて画像の光沢部分が有るか否かを判定するようにしたので、少ない計算量で画像の光沢部分が有るか否かを判定できるようになる。更に、第１の実施形態によれば、光沢部分の光沢表現が必要なタイミングで、必要な領域のみバックライトの発光強度を上げるようにしたので、画像全体の輝度を下げることなく効率的に光沢感のある画像を表現できるようになる。

なお、第１の実施形態における画像処理装置１００の処理は、ゲートアレイや専用回路等のハードウェアにより実現してもよいし、ソフトウェア処理により実現してもよい。

図１０に、第１の実施形態における画像処理装置１００のハードウェア構成例のブロック図を示す。

図１０の画像処理装置１００は、中央演算処理装置（Central Processing Unit：以下、ＣＰＵ）３００、プログラムメモリ３１０、インターフェース（Interface：以下、Ｉ／Ｆ）回路３２０、フレームメモリ３３０、光変調部駆動回路３４０、バックライト制御回路３５０を含むことができる。画像処理装置１００では、バス３６０を介して、ＣＰＵ３００が、プログラムメモリ３１０、Ｉ／Ｆ回路３２０、フレームメモリ３３０、光変調部駆動回路３４０及びバックライト制御回路３５０に電気的に接続される。

ＣＰＵ３００は、バス３６０を介して、ＣＰＵ３００が、プログラムメモリ３１０、Ｉ／Ｆ回路３２０、フレームメモリ３３０、光変調部駆動回路３４０及びバックライト制御回路３５０の各部を制御する。プログラムメモリ３１０には、ＣＰＵ３００の制御内容に対応したプログラムが格納されている。Ｉ／Ｆ回路３２０には、画像信号生成装置２０との間のインターフェース処理を行い、入力端子ＴＭ１を介して画像信号生成装置２０からの画像信号が入力される。フレームメモリ３３０には、画像信号や補正された画像信号が格納され、作業用のメモリとしても機能する。光変調部駆動回路３４０は、ＣＰＵ３００による制御内容に従って、出力端子ＴＭ２を介して画像信号や制御信号を出力して光変調部２１０の駆動制御を行う。バックライト制御回路３５０は、ＣＰＵ３００による制御内容に従って、出力端子ＴＭ３を介して制御信号を出力してバックライト２２０の発光強度を変更する制御を行う。

このようにプログラムメモリ３１０には、予め図４に示す処理を実現するためのプログラムが格納されており、ＣＰＵ３００がプログラムメモリ３１０に格納されたプログラムを読み出して該プログラムに対応した処理を実行することで、第１の実施形態における画像処理装置１００の処理をソフトウェア処理により実現できる。

なお、第１の実施形態における画像表示装置２００は、図２に示す構成に限定されるものではない。例えば画像表示装置２００が、第１の実施形態における画像処理装置１００の機能を有していてもよい。

図１１に、第１の実施形態の変形例における画像表示装置２００の構成例のブロック図を示す。図１１において、図２と同一部分には同一符号を付し、適宜説明を省略する。

本変形例における画像表示装置２００は、画像処理部４００と、画像表示部４１０とを含む。画像処理部４００は、図２の画像処理装置１００と同様の機能を有する。画像表示部４１０は、図２の画像表示装置２００と同様の機能を有する。従って、画像表示装置２００は、画像信号に基づいて画像を表示するための画像表示装置であり、第１の実施形態における画像処理装置１００としての画像処理部４００と、画像信号に基づいて各画素の透過率が制御される光変調部２１０と、画像処理部４００からの制御により発光強度が制御される光を光変調部２１０に照射するためのバックライト２２０とを含むということができる。

本変形例によれば、輝度ヒストグラムを算出し、該輝度ヒストグラムの歪度に基づいて画像の光沢部分が有るか否かを判定するようにしたので、少ない計算量で画像の光沢部分が有るか否かを判定できる画像表示装置を提供できるようになる。更に、本変形例によれば、光沢部分の光沢表現が必要なタイミングで、必要な領域のみバックライトの発光強度を上げるようにしたので、画像全体の輝度を下げることなく効率的に光沢感のある画像を表現できる画像表示装置を提供できるようになる。

２． 第２の実施形態

第１の実施形態では、図３（Ａ）及び図３（Ｂ）に示すように画像表示装置２００が１画面を分割した各領域に各バックライトが設けられた複数のバックライトを有し、バックライト制御部が、バックライト毎に、発光強度を変化させる制御を行うものとして説明したが、本発明がこれに限定されるものではない。

例えば、本発明に係る第２の実施形態において、画像表示装置が、画面全体で発光強度を変更できるバックライトが１つしかない場合であっても、効率的に光沢感のある画像を表現できるようになる。

この場合、本発明に係る第２の実施形態における画像処理装置の処理フローは、図４において、照明分布Ｌを求める際のＬＥＤの発光強度ｌ_１は画面全体の目標輝度分布の最大値となるが、それ以外は、変数ｉが「１」の場合と同じ処理であるため、図示及び詳細な説明を省略する。

第２の実施形態によれば、光沢部分を有する画像全体（フレーム全体）のバックライト強度を上げることができるため、第１の実施形態と同様に、少ない計算量で画像の光沢部分が有るか否かを判定できる画像表示装置を提供できるようになる。更に、光沢部分の光沢表現が必要なタイミングで、画像全体の輝度を下げることなく効率的に光沢感のある画像を表現できる画像表示装置を提供できるようになる。

３． 第３の実施形態

第１〜第２の実施形態では、目標輝度分布算出部１３０において目標輝度閾値を固定であるものとして説明したが、本発明はこれに限定されるものではない。本発明に係る第３の実施形態における画像処理装置では、第１〜第２の実施形態のいずれかにおいて目標輝度閾値を、光沢度算出部１１４において算出される光沢度に応じて変化させている。

図１２に、第３の実施形態における画像処理装置の構成要部の一例を示す。図１２において、図２と同一部分には同一符号を付し、適宜説明を省略する。

第３の実施形態における画像処理装置は、例えば図２の画像処理装置１００の構成に加えて、更に目標輝度閾値生成部６００を含むことができる。目標輝度閾値生成部６００は、光沢度算出部１１４において算出された光沢度に基づいて、目標輝度閾値を生成する。目標輝度分布算出部１３０は、目標輝度閾値生成部６００によって生成された目標輝度閾値以上の画素の輝度を上昇させる目標輝度分布を算出する。このような目標輝度閾値生成部６００は、光沢度が増大するほどその値が減少するように目標輝度閾値を生成することが望ましい。

図１３（Ａ）、図１３（Ｂ）に、図１２の目標輝度閾値生成部６００の動作説明図を示す。図１３（Ａ）及び図１３（Ｂ）は、図７と同様の目標輝度分布を表している。

目標輝度閾値生成部６００は、図１３（Ａ）に示すように光沢度が小さい（低い）とき、基準となる所与の目標輝度閾値ＴＨ０に対して閾値が高くなるように目標輝度閾値ＴＨ１を生成する。この結果、画像表示装置２００の最大輝度と目標輝度閾値ＴＨ１以上の画素の輝度との差分ΔＡが、該最大輝度と目標輝度閾値ＴＨ０以上の画素の輝度との差分より小さくなる。こうすることで、光沢度が小さい画像では、光沢部分以外の部分の階調幅を広げることができるので、光沢部分以外の部分の画像表現を多階調化できるようになる。

また、目標輝度閾値生成部６００は、図１３（Ｂ）に示すように光沢度が大きい（高い）とき、基準となる所与の目標輝度閾値ＴＨ０に対して閾値が低くなるように目標輝度閾値ＴＨ２を生成する。この結果、画像表示装置２００の最大輝度と目標輝度閾値ＴＨ２以上の画素の輝度との差分ΔＢ（ΔＢ＞ΔＡ）が、該最大輝度と目標輝度閾値ＴＨ０以上の画素の輝度との差分より大きくなる。こうすることで、光沢度が大きい画像では、光沢部分の階調幅を広くすることができるので、光沢部分の画像表現を多階調化できるようになる。

従って、目標輝度閾値生成部６００は、光沢度算出部１１４によって算出された光沢度が増大するほどその値が減少するように目標輝度閾値を生成することで、表示画像のより入力画像のダイナミックレンジに近い再現が可能となる。

４． 第４の実施形態

第１〜第３の実施形態では、目標輝度分布算出部１３０において算出される目標輝度分布の最大輝度値が固定であるものとして説明したが、本発明はこれに限定されるものではない。本発明に係る第４の実施形態における画像処理装置では、第１〜第３の実施形態のいずれかにおいて目標輝度分布における最大輝度値を、光沢度算出部１１４において算出される光沢度に応じて変化させている。

図１４に、第４の実施形態における画像処理装置の構成要部の一例を示す。図１４において、図２と同一部分には同一符号を付し、適宜説明を省略する。

第４の実施形態における画像処理装置は、例えば図２の画像処理装置１００の構成に加えて、更に最大輝度生成部６１０を含むことができる。最大輝度生成部６１０は、光沢度算出部１１４において算出された光沢度に基づいて、目標輝度分布の最大輝度を生成する。目標輝度分布算出部１３０は、最大輝度生成部６１０によって生成された最大輝度を用いて、所与の目標輝度閾値以上の画素の輝度を上昇させる目標輝度分布を算出する。このような最大輝度生成部６１０は、画像表示装置２００で表示可能な最大輝度を上回らない範囲で、光沢度が増大するほどその値が増大するように目標輝度分布における最大輝度を生成することが望ましい。

図１５（Ａ）、図１５（Ｂ）に、図１４の最大輝度生成部６１０の動作説明図を示す。図１５（Ａ）、図１５（Ｂ）は、図７と同様の目標輝度分布を表している。

最大輝度生成部６１０は、図１５（Ｂ）に示すように光沢度が大きい（高い）とき、画像表示装置２００において表示可能な所与の最大輝度Ｄｍａｘを上回らない範囲で、所与の最大輝度Ｉｍａｘ０に対してその値が大きくなるように目標輝度分布における最大輝度Ｉｍａｘ２を生成する。この結果、最大輝度Ｉｍａｘ２と目標輝度閾値ＴＨ以上の画素の輝度との差分ΔＤが、最大輝度Ｉｍａｘ０と目標輝度閾値ＴＨ以上の画素の輝度との差分より大きくなる。こうすることで、光沢度が大きい画像では、光沢部分の階調幅を広くすることができるので、光沢部分の画像表現を多階調化できるようになる。

従って、最大輝度生成部６１０は、光沢度算出部１１４によって算出された光沢度が増大するほどその値が大きくなるように目標輝度分布における最大輝度を生成することで、表示画像のより入力画像のダイナミックレンジに近い再現が可能となる。

５． 第５の実施形態

第３又は第４の実施形態では、光沢度算出部１１４において算出された光沢度に応じて、目標輝度分布における目標輝度閾値又は最大輝度を変化させていたが、本発明はこれに限定されるものではない。本発明に係る第５の実施形態における画像処理装置では、光沢度算出部１１４において算出された光沢度に応じて、目標輝度分布における目標輝度閾値及び最大輝度の少なくとも１つを変化させる。

図１６に、第５の実施形態における画像処理装置の構成要部の一例を示す。図１６において、図１２、図１４と同一部分には同一符号を付し、適宜説明を省略する。

第５の実施形態における画像処理装置は、例えば図２の画像処理装置１００の構成に加えて、更に目標輝度閾値生成部６００、最大輝度生成部６１０を含むことができる。目標輝度閾値生成部６００は、第４の実施形態と同様に、光沢度算出部１１４において算出された光沢度に基づいて、目標輝度閾値を生成する。最大輝度生成部６１０は、第４の実施形態と同様に、光沢度算出部１１４において算出された光沢度に基づいて、目標輝度分布の最大輝度を生成する。

従って、第５の実施形態において、目標輝度分布算出部１３０は、最大輝度生成部６１０によって生成された最大輝度を用いて、目標輝度閾値生成部６００によって生成された目標輝度閾値以上の画素の輝度を上昇させる目標輝度分布を算出する。このような目標輝度閾値生成部６００は、図１３（Ａ）及び図１３（Ｂ）に示すように、光沢度が増大するほどその値が減少するように目標輝度閾値を生成することが望ましい。また最大輝度生成部６１０は、図１５（Ａ）及び図１５（Ｂ）に示すように、画像表示装置２００で表示可能な最大輝度を上回らない範囲で、光沢度が増大するほどその値が増大するように目標輝度分布における最大輝度を生成することが望ましい。

従って、第５の実施形態によれば、第３又は第４の実施形態と比較して、光沢度が小さい画像では、光沢部分以外の部分の階調幅をより一層広げることができるので、光沢部分以外の部分の画像表現を多階調化でき、光沢度が大きい画像では、光沢部分の階調幅をより一層広げることができるので、光沢部分の画像表現を多階調化できるようになる。

以上、本発明に係る画像処理装置、画像表示装置、画像処理方法及びプログラムを上記の各実施形態に基づいて説明したが、本発明は上記の各実施形態に限定されるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。

（１）上記の各実施形態では、画像の光沢部分が有るか否かを輝度ヒストグラムの歪度に基づいて判定したが、本発明はこれに限定されるものではない。

（２）上記の各実施形態では、光変調部として透過型の液晶パネルを採用した例について説明したが、本発明はこれに限定されるものではない。光変調部として透過型の液晶パネル以外のもの、例えばＤＬＰ（Digital Light Processing)（登録商標）、ＬＣＯＳ（Liquid Cristal On Silicon)等を採用してもよい。この場合、透過型の液晶パネルにおける各画素の「透過率」の語句を各画素の「通過率」（又は「変調率」）に置き換えればよい。

（３）上記の各実施形態において、バックライトの照明分布を算出し、該照明分布に対応した発光強度となるようにバックライトを制御するようにしたが、本発明はこれに限定されるものではない。例えば、照明分布は不変で強度のみが調整可能なオートアイリス機構を有する画像表示装置を制御するようにしてもよい。

（４）上記の各実施形態において、本発明を、光沢感を表示できるように制御する画像処理装置、これを含む画像表示装置、画像処理方法及び該画像処理方法の処理手順が記述されたプログラムとして説明したが、本発明はこれに限定されるものではない。例えば、本発明を実現するための処理手順が記述されたプログラムが記録された記録媒体であってもよい。

本発明の第１の実施形態における画像表示システムの構成例のブロック図。 第１の実施形態における画像処理装置と画像表示装置の構成例のブロック図。 図３（Ａ）、図３（Ｂ）は図１又は図２の画像表示装置の構成例の説明図。 図２の画像処理装置の処理例のフロー図。 ヒストグラム算出部によって算出される輝度ヒストグラムの説明図。 図６（Ａ）、図６（Ｂ）は参考文献に基づく輝度ヒストグラムの歪み方と光沢度との関係を模式的に示す図。 目標輝度分布算出部における関数Ｇの一例の説明図。 目標輝度分布算出部における関数Ｇの一次微分の一例の説明図。 画像信号補正部により求められる光変調部の入力値の説明図。 第１の実施形態における画像処理装置のハードウェア構成例のブロック図。 第１の実施形態の変形例における画像表示装置の構成例のブロック図。 第３の実施形態における画像処理装置の構成要部の一例を示す図。 図１３（Ａ）、図１３（Ｂ）は図１２の目標輝度閾値生成部の動作説明図。 第４の実施形態における画像処理装置の構成要部の一例を示す図。 図１５（Ａ）、図１５（Ｂ）は図１４の最大輝度生成部の動作説明図。 第５の実施形態における画像処理装置の構成要部の一例を示す図。

符号の説明

１０…画像表示システム、２０…画像信号生成装置、１００…画像処理装置、１１０…光沢判定部、１１２…ヒストグラム算出部、１１４…光沢度算出部、１２０…バックライト制御部、１３０…目標輝度分布算出部、１４０…照明分布算出部、１５０…画像信号補正部、２００…画像表示装置、２１０…光変調部、２２０…バックライト、２２２ｉ…ｉ番目のＬＥＤ、２２４ｉ…信号線、２３０…拡散板、３００…ＣＰＵ、３１０…プログラムメモリ、３２０…Ｉ／Ｆ回路、３３０…フレームメモリ、３４０…光変調部駆動回路、３５０…バックライト制御回路、４００…画像処理部、４１０…画像表示部、６００…目標輝度閾値生成部、６１０…最大輝度生成部、ＴＭ１…入力端子、ＴＭ２，ＴＭ３…出力端子

Claims (8)

1. バックライトを有する画像表示装置に対し画像信号に対応した画像の表示制御を行う画像処理装置であって、
   前記画像信号に基づいて画像の光沢部分が有るか否かを判定する光沢判定部と、
   前記光沢判定部の判定結果に基づいて前記画像の光沢部分の輝度を向上させるように前記バックライトの発光強度を変化させる制御を行うバックライト制御部と、
   を含むことを特徴とする画像処理装置。
2. 請求項１において、
   前記画像信号の輝度成分に基づいて、所与の目標輝度閾値以上の画素の輝度値を上昇させた目標輝度分布を算出する目標輝度分布算出部と、
   前記目標輝度分布算出部により算出された目標輝度分布を実現する照明分布を算出する照明分布算出部とを含み、
   前記バックライト制御部が、
   前記照明分布に対応して前記バックライトの発光強度を変化させることを特徴とする画像処理装置。
3. 請求項２において、
   前記目標輝度分布と前記照明分布とに応じて前記画像信号を補正する画像信号補正部を含み、
   前記画像信号補正部によって補正された画像信号を、前記画像表示装置の光変調部に対して供給することを特徴とする画像処理装置。
4. 請求項１乃至３のいずれかにおいて、
   前記画像表示装置が、１画面を分割した各領域に各バックライトが設けられた複数のバックライトを有し、
   前記バックライト制御部が、
   前記バックライト毎に、発光強度を変化させることを特徴とする画像処理装置。
5. 請求項１乃至４のいずれかにおいて、
   前記光沢判定部が、
   前記画像信号の輝度成分のヒストグラムを算出するヒストグラム算出部と、
   前記ヒストグラムの歪度を算出することで前記画像の光沢度を算出する光沢度算出部とを含み、
   前記光沢度と所与の光沢度検出用閾値とを比較することで前記画像の光沢部分が有るか否かを判定することを特徴とする画像処理装置。
6. 請求項５において、
   前記画像内の座標（ｘ，ｙ）における画素の輝度をＩ（ｘ，ｙ）、前記画像内の画素の平均輝度をｍ、前記画像の画素数をＮとすると、
   前記ヒストグラムの歪度ＳＫは、以下の式により求められることを特徴とする画像処理装置。
   

   
7. バックライトを有する画像表示装置に対し画像信号に対応した画像の表示制御を行う画像処理方法であって、
   前記画像信号に基づいて画像の光沢部分が有るか否かを判定する光沢判定ステップと、
   前記光沢判定ステップの判定結果に基づいて前記画像の光沢部分の輝度を向上させるように前記バックライトの発光強度を変化させる制御を行うバックライト制御ステップと、 を含むことを特徴とする画像処理方法。
8. バックライトを有する画像表示装置に対し画像信号に対応した画像の表示制御を行う画像処理装置を制御するプログラムであって、
   前記画像信号に基づいて画像の光沢部分が有るか否かを判定する光沢判定部と、
   前記光沢判定部の判定結果に基づいて前記画像の光沢部分の輝度を向上させるように前記バックライトの発光強度を変化させる制御を行うバックライト制御部として前記画像処理装置を機能させる、
   ことを特徴とするプログラム。

Images