JP2009103956A - 画像処理装置、画像表示装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】画像の暗い部分を表現するため光源からの光を、この画像の他の部分に利用できるようにする画像処理装置、画像表示装置、画像処理方法及びプログラムを提供する。
【解決手段】回折光学素子による回折光を光変調素子により変調することで得られる画像の表示制御を行う画像処理装置１００は、入力画像信号に基づいて、回折光学素子の回折特性を制御する回折光学素子制御部１１０と、入力画像信号に基づいて、光変調素子の変調特性を制御する光変調素子制御部１２０とを含む。
【選択図】図６

Description

本発明は、画像処理装置、これを含む画像表示装置、画像処理方法及びプログラムに関する。

従来より、例えばレーザー等の光源を用いた投写型画像表示装置（プロジェクタ）が知られている。この種の投写型画像表示装置では、例えばＲＧＢの各色成分のレーザー光を画像信号に応じて輝度変調した後に合成して画像を表示させる。近年の投写型画像表示装置には、上記の方式に限らず、より一層の高解像度や高コントラストが要求されており、ますます高画質化が進んでいる。

このような、光源を備えて画像表示装置を行う投写型画像表示装置が解決すべき課題の１つに、光学系を構成する光学素子により生じる光漏れや迷光に起因したコントラストの低下がある。このコントラストの低下を抑える技術は、種々提案されており、例えば特許文献１には、可動式の遮蔽板を備え、光源から光変調素子に照射される光量を調整して、暗い画像を表示する際の光量を絞ってコントラストを擬似的に向上させる技術が開示されている。

特開２００５−１７５００号公報

しかしながら、特許文献１に開示された技術では、画像の暗い部分において光源からの光量を絞るため、光源からの光を効率的に利用することができない。もし、表示画像の暗い部分に相当するために絞られる光量を、この画像内の明るい部分に利用できると、光源からの光の利用効率を高めることができる。光の利用効率を高めることで、投写型画像表示装置の発熱量を抑えることができ、部品点数の削減による低コスト化や低消費電力化を図ることができるようになる。

ところが、これまでの投写型画像表示装置や投写型画像表示装置を制御する画像処理装置では、画像の暗い部分を表現するために絞られた光源からの光を、この画像の他の部分に利用することができなかった。

本発明は、以上のような技術的課題に鑑みてなされたものであり、その目的とするところは、画像の暗い部分を表現するために絞られる光源からの光を、この画像の他の部分に利用できるようにする画像処理装置、画像表示装置、画像処理方法及びプログラムを提供することにある。

上記課題を解決するために本発明は、回折光学素子による回折光を光変調素子により変調することで得られる画像の表示制御を行う画像処理装置であって、入力画像信号に基づいて、前記回折光学素子の回折特性を制御する回折光学素子制御部と、前記入力画像信号に基づいて、前記光変調素子の変調特性を制御する光変調素子制御部とを含む画像処理装置に関係する。

本発明によれば、回折光学素子と光変調素子とを備える画像表示装置に対して、回折光学素子により、光源からの光を入力画像信号に対応した輝度分布に回折させ、この回折させた光を、入力画像信号に基づいて変調することで画像表示を行わせるように制御できるようになる。従って、本発明によれば、画像の暗い部分を表現するために本来は絞られる光源からの光を、画像内の他の部分の光として利用できるように制御できるようになる。これにより、光の利用効率を高めて、画像表示装置の発熱量を抑えることができ、部品点数の削減による低コスト化や低消費電力化を図ることができるようになる。

また本発明に係る画像処理装置では、前記回折光学素子制御部は、前記入力画像信号に基づいて前記回折光学素子の回折パターンを生成する回折パターン生成部を含み、前記回折光学素子制御部は、前記回折パターンに基づいて前記回折光学素子を制御することができる。

本発明によれば、回折光学素子の回折パターンを用いて、画像の暗い部分を表現するために本来は絞られる光源からの光を画像内の他の部分の光として利用するための処理を簡素化できるようになる。

また本発明に係る画像処理装置では、前記回折光学素子制御部は、前記入力画像信号に基づいて前記光変調素子に照射する光の照明分布を算出する照明分布算出部を含み、前記回折パターン生成部は、前記照明分布に対応した前記回折パターンを生成することができる。

本発明によれば、照明分布を用いて回折パターンを生成するようにしたので、画像の暗い部分を表現するために本来は絞られる光源からの光を画像内の他の部分の光として利用するための処理をより一層簡素化できるようになる。

また本発明に係る画像処理装置では、前記回折光学素子に照射される光源からの光の強度を制御する光源駆動部を含み、複数の色成分で１つの回折光学素子を共用する場合に、前記光源駆動部は、色成分毎に設けられた光源からの光の強度を揃えるように制御するとことができる。

本発明によれば、回折光学素子を共用して設けられる構成を採用した画像表示装置に対して、各色成分の光源からの光の強度を揃えて、色成分毎に光変調素子の変調量を制御するようにしたので、より簡素な構成の画像表示装置に対して、画像の暗い部分を表現するために絞られる光源からの光を、この画像の他の部分に利用できるように制御できる画像処理装置を提供できるようになる。

また本発明に係る画像処理装置では、前記回折光学素子に照射される光源からの光の強度を制御する光源駆動部を含み、色成分毎に回折光学素子が設けられている場合に、前記光源駆動部は、色成分毎に独立して光源からの光の強度を制御することができる。

本発明によれば、色成分毎に回折光学素子が設けられる構成を採用した画像表示装置に対して、各色成分毎に、光源からの光の強度や光変調素子の変調量を制御するようにしたので、画像表示装置に対して、光源の消費電力をより一層抑えて、画像の暗い部分を表現するために絞られる光源からの光を、この画像の他の部分に利用できる制御できる画像処理装置を提供できるようになる。

また本発明は、光源と、前記光源からの光を回折した回折光を生成する回折光学素子と、前記回折光を変調させる光変調素子と、上記のいずれか記載の画像処理装置とを含む画像表示装置に関係する。

本発明によれば、光源と光変調素子との間に回折光学素子を設け、光源からの光を所望の輝度分布に回折させた回折光を、画像信号により光変調させることで画像を表示させるようにしたので、光源からの光量を画像内の他の部分に利用できるため、光の利用効率を高める画像表示装置を提供できるようになる。これにより、画像表示装置の発熱量を抑えて、部品点数の削減による低コスト化や低消費電力化を図ることができるようになる。

また本発明は、回折光学素子による回折光を光変調素子により変調することで得られる画像の表示制御を行う画像処理方法であって、入力画像信号に基づいて、前記回折光学素子の回折特性を制御する回折光学素子制御ステップと、前記入力画像信号に基づいて、前記光変調素子の変調特性を制御する光変調素子制御ステップとを含む画像処理方法に関係する。

本発明によれば、回折光学素子と光変調素子とを備える画像表示装置に対して、回折光学素子により、光源からの光を入力画像信号に対応した輝度分布に回折させ、この回折させた光を、入力画像信号に基づいて変調することで画像表示を行わせるように制御できるようになる。従って、本発明によれば、画像の暗い部分を表現するために本来は絞られる光源からの光を、画像内の他の部分の光として利用できるように制御できるようになる。これにより、光の利用効率を高めて、画像表示装置の発熱量を抑えることができ、部品点数の削減による低コスト化や低消費電力化を図ることができるようになる。

また本発明は、回折光学素子による回折光を光変調素子により変調することで得られる画像の表示制御を行う画像処理装置を制御するためのプログラムであって、入力画像信号に基づいて、前記回折光学素子の回折特性を制御する回折光学素子制御部と、前記入力画像信号に基づいて、前記光変調素子の変調特性を制御する光変調素子制御部としての機能を前記画像処理装置に実現させるプログラムに関係する。

本発明によれば、回折光学素子と光変調素子とを備える画像表示装置に対して、回折光学素子により、光源からの光を入力画像信号に対応した輝度分布に回折させ、この回折させた光を、入力画像信号に基づいて変調することで画像表示を行わせるように制御できるようになる。従って、本発明によれば、画像の暗い部分を表現するために本来は絞られる光源からの光を、画像内の他の部分の光として利用できるように制御できるようになる。これにより、光の利用効率を高めて、画像表示装置の発熱量を抑えることができ、部品点数の削減による低コスト化や低消費電力化を図ることができるようになる。

以下、本発明の実施の形態について図面を用いて詳細に説明する。なお、以下に説明する実施の形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また以下で説明される構成のすべてが本発明の必須構成要件であるとは限らない。

〔第１の実施形態〕
本発明の第１の実施形態に係る画像表示装置及びこれを制御する画像処理装置は、例えば次のような画像表示システムに適用される。

図１に、本発明の第１の実施形態における画像表示システムの構成例のブロック図を示す。

画像表示システム１０は、画像信号生成装置２０と、画像処理装置１００と、画像表示装置２００とを含むことができる。画像信号生成装置２０は、画像表示装置２００に表示させる画像（コンテンツ）に対応した画像信号を生成し、該画像信号を画像処理装置１００の入力画像信号として画像処理装置１００に対して出力する。画像処理装置１００は、画像信号生成装置２０からの画像信号を受け、回折光学素子と光変調素子とを含む画像表示装置２００を制御する制御信号を該画像信号に基づいて生成する。画像表示装置２００は、光源からの光を回折光学素子により回折させた回折光を光変調素子により変調することで得られる画像を表示する。

図２に、本発明に係る第１の実施形態における画像表示装置２００の構成例のブロック図を示す。

画像表示装置２００は、光源２１０と、光源からの光が照射される回折光学素子２２０と、回折光学素子２２０により生成された回折光を変調する光変調素子２３０とを含み、所与の回折光学素子制御信号に基づいて回折光学素子２２０の回折特性が制御される。この回折光学素子制御信号は、画像処理装置１００において、画像信号生成装置２０からの画像信号（入力画像信号）に基づいて生成される。

回折光学素子２２０には、光源２１０からの光が入射光として照射されており、回折光学素子制御信号に基づいて指定される輝度分布に、光源２１０からの光を回折させる機能を有する。このような回折光学素子２２０としては、例えば透過型の液晶パネルを採用したＬＣ（Liquid Crystal)−ＣＧＨ（Computer Generated Hologram）がある。この液晶パネルは、電気光学物質である液晶を一対の透明なガラス基板に密閉封入したものであり、例えばポリシリコン薄膜トランジスタ（Thin Film Transistor：ＴＦＴ)をスイッチング素子として、画像処理装置１００からの回折光学素子制御信号により指定される回折パターンに、入射光を回折させる。

光変調素子２３０には、回折光学素子２２０による回折光が照射されており、画像処理装置１００からの画像信号に基づいて、画素毎に光の通過率（透過率、変調率）を変調する。このような光変調素子２３０としては、透過型の液晶パネルにより構成されるライトバルブが採用される。液晶パネルは、電気光学物質である液晶を一対の透明なガラス基板に密閉封入したものであり、例えばポリシリコンＴＦＴをスイッチング素子として、画像処理装置１００からの画像信号に対応して各画素の光の通過率を変調する。

第１の実施形態では、回折光学素子２２０を設け、光源からの光を回折光学素子２２０により回折させた回折光を変調させるため、光源２１０としては、エレクトロルミネセンス効果を利用し、コヒーレント性の高い発光ダイオード（Light Emitting Diode：ＬＥＤ）やコヒーレント性を有するレーザー光源等のコヒーレント光源であることが望ましいが、より好ましくは、コヒーレント光源であることが望ましい。以下では、光源２１０として、レーザー光を発生させるレーザー光源が採用されるものとして説明する。

このような画像表示装置２００では、より具体的には、光源２１０は、ＲＧＢ色空間の色成分毎に設けられた複数の光源２１０Ｒ、２１０Ｇ、２１０Ｂ（Ｒ用光源２１０Ｒ、Ｇ用光源２１０Ｇ、Ｂ用光源２１０Ｂ）を含み、光変調素子２３０もまた、ＲＧＢ色空間の色成分毎に設けられた複数の光変調素子２３０Ｒ、２３０Ｇ、２３０Ｂ（Ｒ用光変調素子２３０Ｒ、Ｇ用光変調素子２３０Ｇ、Ｂ用光変調素子２３０Ｂ）を含む。その一方、回折光学素子２２０には、複数の光源２１０Ｒ、２１０Ｇ、２１０Ｂで共用され、該複数の光源２１０Ｒ、２１０Ｇ、２１０Ｂからの光が照射される。

Ｒ用光源２１０Ｒは、ＲＧＢの３原色のうちＲ成分の光の波長を有する赤色のレーザー光を発生させる。Ｇ用光源２１０Ｇは、ＲＧＢの３原色のうちＧ成分の光の波長を有する緑色のレーザー光を発生させる。Ｂ用光源２１０Ｂは、ＲＧＢの３原色のうちＢ成分の光の波長を有する青色のレーザー光を発生させる。Ｒ用光変調素子２３０Ｒは、Ｒ用光源２１０Ｒからの赤色のレーザー光を回折光学素子２２０により回折させた回折光を変調する。Ｇ用光変調素子２３０Ｇは、Ｇ用光源２１０Ｇからの緑色のレーザー光を回折光学素子２２０により回折させた回折光を変調する。Ｂ用光変調素子２３０Ｂは、Ｂ用光源２１０Ｂからの青色のレーザー光を回折光学素子２２０により回折させた回折光を変調する。このような構成を採用することで、ＲＧＢの３原色の光源に対して１つの回折光学素子２２０を設けるだけで済み、画像表示装置２００の低コスト化を実現できる。

図２の画像表示装置２００は、更に、ミラー２４０Ｒ、２４０Ｇ、２４０Ｂ、ダイクロイックミラー２４２、２４４、ミラー２４６、２４８、２５０、リレーレンズ２５２、２５４、平行化レンズ２５６Ｒ、２５６Ｇ、２５６Ｂ、ダイクロイックプリズム２５８、投射レンズ２６０を含むことができる。

ミラー２４０Ｒは、Ｒ用光源２１０Ｒからの赤色のレーザー光を全反射させて、回折光学素子２２０に該レーザー光を照射するように導く。ミラー２４０Ｇは、Ｇ用光源２１０Ｇからの緑色のレーザー光を全反射させて、回折光学素子２２０に該レーザー光を照射するように導く。ミラー２４０Ｂは、Ｂ用光源２１０Ｂからの青色のレーザー光を全反射させて、回折光学素子２２０に該レーザー光を照射するように導く。回折光学素子２２０は、光源２１０Ｒ、２１０Ｇ、２１０Ｂからのレーザー光を、回折光学素子制御信号により指定された輝度分布に回折させる。

ここで、第１の実施形態における回折光学素子２２０について、図３〜図５を用いて説明する。なお、以下では、回折光学素子２２０としてＬＣ−ＣＧＨが採用されたものとして説明する。

図３に、第１の実施形態における回折光学素子２２０の模式的な平面図を示す。

図４に、図３の回折光学素子２２０のＡ−Ａ切断線の断面模式図を表す。

図５に、第１の実施形態における回折光学素子２２０の機能の説明図を示す。図５では、回折光学素子２２０の入射光の照射面の各画素の強度、出射光の出射面の各画素の強度を、それぞれ縦軸に示している。

回折光学素子２２０としてのＬＣ−ＣＧＨは、表示画像の画素毎に、透過する光の屈折率を変化させることができる。画像処理装置１００は、図３のような画素毎に屈折率を指定する回折パターンに基づいて回折光学素子制御信号を生成する。ＬＣ−ＣＧＨには、画像処理装置１００からの回折光学素子制御信号が供給される。ＬＣ−ＣＧＨは、回折光学素子制御信号に基づいて画素毎に印加電圧が供給され、各画素を透過する光の屈折率が変わるようになっている。

回折パターンは、例えば当該画像の画像信号（輝度成分）を所定の演算処理を行うことで生成される。この演算処理としては、例えば公知の反復フーリエ法がある。画像処理装置１００は、画像信号の輝度成分に対して反復フーリエ法を行うことで回折パターンを生成し、該回折パターンに対応した回折光学素子制御信号を生成する。

この結果、ＬＣ−ＣＧＨの画素毎に屈折率が変わり、ＬＣ−ＣＧＨを透過した出射光に位相差が生じる。このように位相差が生じた出射光が干渉することで、出射光の強度分布が生成される。このため、所望の回折パターンを用意することで、図５に示すように、入射光の強度分布に対して、例えば所定の領域のみ強度を有する等、所定の領域の領域が他の領域に比べて高い強度を有する出射光の強度分布（輝度分布）を得ることができる。

この場合、回折光学素子２２０により入射光を回折させたに過ぎないため、入射光の光量を画像内の他の部分に利用することができるため、光の利用効率を高めることができるようになる。

図２に戻って説明を続ける。上記のような機能を有する回折光学素子２２０による回折光は、ダイクロイックミラー２４２に照射される。

ダイクロイックミラー２４２は、回折光学素子２２０による回折光のうち、Ｒ成分の色の光を反射して、ミラー２４６に導くと共に、Ｇ成分及びＢ成分の色の光を透過させる。ミラー２４６は、ダイクロイックミラー２４２により反射された光を全反射して平行化レンズ２５６Ｒに導く。平行化レンズ２５６Ｒは、入射された光を平行光にし、Ｒ用光変調素子２３０Ｒに出力する。Ｒ用光変調素子２３０Ｒは、画像処理装置１００からの画像信号に基づいて、平行化レンズ２５６Ｒからの平行光を光変調して、ダイクロイックプリズム２５８に出力する。

ダイクロイックミラー２４４は、ダイクロイックミラー２４２を透過した光のうちＧ成分の光を全反射して平行化レンズ２５６Ｇに導くと共に、Ｂ成分の色の光を透過させる。平行化レンズ２５６Ｇは、入射された光を平行光にし、Ｇ用光変調素子２３０Ｇに出力する。Ｇ用光変調素子２３０Ｇは、画像処理装置１００からの画像信号に基づいて、平行化レンズ２５６Ｇからの平行光を光変調して、ダイクロイックプリズム２５８に出力する。

ミラー２４８は、ダイクロイックミラー２４４を透過したＢ成分の光を全反射して、ミラー２５０に導く。ミラー２５０は、ミラー２４８からの光を全反射して、平行化レンズ２５６Ｂに導く。平行化レンズ２５６Ｂは、入射された光を平行光にし、Ｂ用光変調素子２３０Ｂに出力する。Ｂ用光変調素子２３０Ｂは、画像処理装置１００からの画像信号に基づいて、平行化レンズ２５６Ｂからの平行光を光変調して、ダイクロイックプリズム２５８に出力する。ダイクロイックミラー２４４を透過したＢ成分の光の光路長は、他のＲ成分及びＧ成分の光の光路長と異なるため、リレーレンズ２５２、２５４により、各色成分の光源と光変調素子との間の距離の違いをできるだけ小さくするように補正する。

ダイクロイックプリズム２５８は、光変調素子２３０Ｒ、２３０Ｇ、２３０Ｂからの入射光を合成した合成光を出射光として出力する機能を有する。投射レンズ２６０は、出力画像を図示しないスクリーン上に拡大して結像させるレンズである。

以上のように、第１の実施形態における画像表示装置２００では、光源と光変調素子との間に回折光学素子が設けられる。そのため、光源からの光を所望の輝度分布に回折させた回折光を、画像信号により光変調させることで画像を表示させることができ、光源からの光量を画像内の他の部分に利用できるため、光の利用効率を高めることができる。従って、第１の実施形態によれば、画像表示装置２００の発熱量を抑えて、部品点数の削減による低コスト化や低消費電力化を図ることができるようになる。

また、第１の実施形態によれば、画面全体の光量を一律に調整することがないので、例えば画像内に輝点（光源や光沢部分）が存在する場合でも、輝点の輝度の低下を抑えたり、いわゆる黒浮きの発生を抑えたりすることができる。

更に、画像表示装置２００の表示画像のアスペクト比とコンテンツの画像のアスペクト比との不一致により、画面内の上下部分にいわゆる黒帯部分を設けてコンテンツを表示させる場合があるが、第１の実施形態によれば、画面全体の光量を一律に調整することがないため、表示する画像によって黒帯部分の輝度が変動してしまうことがない。そのため、本来は一定の輝度で表示すべき部分を画像の変化に応じて輝度が変動する不自然な画像を表示させてしまうという事態を回避できるようになる。

更にまた、第１の実施形態によれば、画像の品質を落とすことなく、入力画像信号に応じて光源の出力を最大限に低下させることができ、画質の劣化防止に加えて、画像表示装置の低消費電力化を図ることもできる。

次に、上述のように回折光学素子を設けて、絞られた光量を画像内の他の部分に利用させるように制御する、第１の実施形態における画像処理装置１００について説明する。

図６に、第１の実施形態における画像処理装置１００の構成例のブロック図を示す。図６では、画像処理装置１００の構成の理解を容易にするために図２の画像表示装置２００の要部を合わせて示している。図６において、図１又は図２と同様の部分には同一符号を付し、適宜説明を省略する。

画像処理装置１００は、図１の画像信号生成装置２０によって生成された画像信号を入力画像信号として受け取る。そして、画像処理装置１００は、入力画像信号に基づいて、画像表示装置２００のＲ用光変調素子２３０Ｒ、Ｇ用光変調素子２３０Ｇ、Ｂ用光変調素子２３０Ｂを制御する制御信号（画像信号）、画像表示装置２００の回折光学素子２２０を制御する回折光学素子制御信号、画像表示装置２００のＲ用光源２１０Ｒ、Ｇ用光源２１０Ｇ、Ｂ用光源２１０Ｂを制御する制御信号を生成し、画像表示装置２００に対して出力する。

画像処理装置１００は、画像表示装置２００の回折光学素子２２０を制御するための回折光学素子制御部１１０と、画像表示装置２００の光変調素子２３０（Ｒ用光変調素子２３０Ｒ、Ｇ用光変調素子２３０Ｇ、Ｂ用光変調素子２３０Ｂ）を制御するための光変調素子制御部１２０とを含む。回折光学素子制御部１１０は、入力画像信号に基づいて、回折光学素子２２０の回折特性を制御する回折光学素子制御信号を生成する。光変調素子制御部１２０は、入力画像信号に基づいて、光変調素子２３０（Ｒ用光変調素子２３０Ｒ、Ｇ用光変調素子２３０Ｇ、Ｂ用光変調素子２３０Ｂ）の変調特性を制御する。

こうすることで、回折光学素子２２０により、光源からの光を入力画像信号に対応した輝度分布に回折させることができるようになる。そして、この回折させた光を、入力画像信号に基づいて変調することで、画像表示を実現する。これにより、画像の暗い部分を表現するために本来は絞られる光源からの光を、画像内の他の部分の光として利用できるように制御できるようになる。

より具体的には、回折光学素子制御部１１０は、入力画像信号に基づいて回折光学素子２２０の回折パターンを生成する回折パターン算出部（広義には、回折パターン生成部）１１２、回折パターンに基づいて回折光学素子２２０を制御する回折光学素子駆動部１１４を含み、回折光学素子制御部１１０は、回折パターンに基づいて回折光学素子２２０を制御する。回折パターン算出部１１２は、入力画像信号に対して公知の反復フーリエ法を行うことで回折パターンを生成することができる。

これにより、回折光学素子２２０の回折パターンを用いて、画像の暗い部分を表現するために本来は絞られる光源からの光を画像内の他の部分の光として利用するための処理を簡素化できるようになる。

更に具体的には、回折光学素子制御部１１０は、入力画像信号に基づいて光変調素子に照射する光の理想照明分布（広義には照明分布）を算出する照明分布算出部１１６を含み、回折パターン算出部１１２は、この理想照明分布に対応した回折パターンを生成する。即ち、回折パターンは、理想照明分布を実現させるためのパターンである。従って、光変調素子制御部１２０は、回折パターン算出部１１２により生成された回折パターンから求められる照明分布に基づいて光変調素子を制御することが望ましい。しかしながら、回折パターンは、後述するように理想照明分布を元に生成されるため、処理の簡素化を目的として、理想照明分布に基づいて光変調素子を制御するようにしてもよい。

一方、光変調素子制御部１２０は、透過率算出部１２２、光変調素子駆動部１２４を含む。透過率算出部１２２は、Ｒ用光変調素子２３０Ｒ、Ｇ用光変調素子２３０Ｇ及びＢ用光変調素子２３０Ｂそれぞれの透過率を算出する。透過率算出部１２２は、入力画像信号の輝度分布と照明分布（理想照明分布又は理想照明分布に対応した回折パターンから求められる実際の照明分布）に基づいて、各光変調素子の透過率を算出する。光変調素子駆動部１２４は、透過率算出部１２２で求められた透過率となるように、Ｒ用光変調素子２３０Ｒ、Ｇ用光変調素子２３０Ｇ及びＢ用光変調素子２３０Ｂのそれぞれを制御する。

更に画像処理装置１００は、光源駆動部１３０を含むことができる。光源駆動部１３０は、回折光学素子２２０に照射される光源（Ｒ用光源２１０Ｒ、Ｇ用光源２１０Ｇ、Ｂ用光源２１０Ｂ）からの光の強度を制御する。そして、第１の実施形態では、複数の色成分で１つの回折光学素子２２０を共用するため、光源駆動部１３０は、色成分毎に設けられた複数の光源からの光の強度を揃えるように各光源を制御する。

画像処理装置１００は、更に、ガンマ変換部１４０、レーザー出力算出部１５０を含むことができる。

ガンマ変換部１４０は、入力画像信号の信号形式を変換する処理を行う。第１の実施形態では、輝度分布に基づいて、照明分布、透過率及び光源の強度を制御するために、ガンマ変換部１４０は、例えばＲＧＢ形式の入力画像信号を輝度に変換するものとする。ガンマ変換部１４０のガンマ変換後の画像信号は、光変調素子制御部１２０、レーザー出力算出部１５０に出力される。

レーザー出力算出部１５０は、ガンマ変換部１４０により輝度成分に変換された画像信号に基づいて、Ｒ用光源２１０Ｒ、Ｇ用光源２１０Ｇ及びＢ用光源２１０Ｂを構成するレーザー光源の出力を算出する。透過率算出部１２２は、レーザー出力算出部１５０により求められた入力画像信号の輝度分布を用いて透過率を求める。また、照明分布算出部１１６は、レーザー出力算出部１５０により求められた入力画像信号の輝度分布を用いて、光変調素子に照射される光源からの光の照明分布を算出する。光源駆動部１３０は、レーザー出力算出部１５０により求められた入力画像信号の輝度分布に基づいて光源を駆動する。

図７に、図６の画像処理装置１００の要部の構成例のブロック図を示す。図７において、図６と同様の部分には同一符号を付し、適宜説明を省略する。

図７は、回折パターン算出部１１２の構成例を表している。回折パターン算出部１１２は、反復フーリエ演算部１８０、高速フーリエ変換（Fast Fourier Transform：ＦＦＴ）演算部１８２を含む。反復フーリエ演算部１８０は、照明分布算出部１１６により求められた理想照明分布Ｌ_{ｉｄｅａｌ}（ｘ，ｙ）を反復フーリエ演算することで、画素毎に回折パターンＨ（ｘ，ｙ）を求める。

反復フーリエ演算部１８０により求められた回折パターンＨ（ｘ，ｙ）は、ＦＦＴ演算部１８２及び回折光学素子駆動部１１４に出力される。

ＦＦＴ演算部１８２は、反復フーリエ演算部１８０により求められた回折パターンＨ（ｘ，ｙ）を用いて、１画面分の回折パターンに対してＦＦＴ演算を行うことで、実際の照明分布Ｌ_ｒｅａｌ（ｘ，ｙ）を求める。実際の照明分布Ｌ_ｒｅａｌ（ｘ，ｙ）は、透過率算出部１２２に出力される。透過率算出部１２２は、実際の照明分布Ｌ_ｒｅａｌ（ｘ，ｙ）を用いて、光変調素子の透過率を求める。

このように、第１の実施形態では、ＲＧＢの各色成分で共用される回折光学素子２２０を設けたため、回折光学素子２２０に照射される各色成分の光源からの光の強度を一定にし、各色成分の光変調素子で色成分毎に独立に制御するようにしたので、回折光学素子２２０を色成分毎に設けなくても、画像の暗い部分を表現するために本来は絞られる光源からの光を画像内の他の部分の光として利用する画像表示装置２００を制御することができるようになる。

次に、図６及び図７の構成を有する画像処理装置１００の動作例について説明する。

図８に、第１の実施形態における画像処理装置１００の処理例のフロー図を示す。

まず、画像処理装置１００には、画像信号生成装置２０によって生成された画像信号が入力画像信号として入力される（ステップＳ１０）。ここでは、入力画像信号がＲＧＢ形式の信号であるものとして説明するが、本発明に係る入力画像信号がＲＧＢ形式の信号に限定されるものではない。例えば、入力画像信号がＲＧＢ形式以外の他の形式の信号である場合、画像処理装置１００に入力画像信号が入力された時点で、一旦、ＲＧＢ形式の信号に変換することで、以下に述べる処理を実現できる。

次に、画像処理装置１００のガンマ変換部１４０では、ＲＧＢ形式の入力画像信号を色成分毎の輝度Ｙ_Ｒ、Ｙ_Ｇ、Ｙ_Ｂに変換する（ステップＳ１２）。より具体的には、ガンマ変換部１４０は、次式に従って、画素毎に、各色成分の正規化された輝度Ｙ_Ｒ、Ｙ_Ｇ、Ｙ_Ｂを求める。

上式において、（ｘ，ｙ）は画像内の画素の座標位置、Ｒは当該画素のＲ成分の輝度信号、Ｒ_ｍａｘはＲ成分の輝度信号の最大値、γは階調特性を表す定数を示す。なお、γは、画像信号の規格により定められ、Ｒ成分、Ｇ成分及びＢ成分で同じ値（通常は１．８〜２．４）となる。このような輝度Ｙ_Ｒ（ｘ，ｙ）、Ｙ_Ｇ（ｘ，ｙ）、Ｙ_Ｂ（ｘ，ｙ）が、光変調素子制御部１２０及びレーザー出力算出部１５０に供給される。

続いて、レーザー出力算出部１５０は、ガンマ変換部１４０により求められた輝度Ｙ_Ｒ（ｘ，ｙ）、Ｙ_Ｇ（ｘ，ｙ）、Ｙ_Ｂ（ｘ，ｙ）からＲ用光源２１０Ｒ、Ｇ用光源２１０Ｇ及びＢ用光源２１０Ｂの各光源のレーザー出力Ｐを求める（ステップＳ１４）。より具体的には、レーザー出力算出部１５０は、次式に従って各光源が同じで、かつ入力画像を表示するために最低限必要な出力となるようにレーザー出力Ｐを求める。

上式において、Ｎは入力画像信号の画素数（例えばＮ＝ｘ_ｍａｘ×ｙ_ｍａｘ）、ｍａｘ［］は［］内の最大値を示す。即ち、レーザー出力Ｐは、各画素についてＲＧＢの中で最も高い輝度の最大値を求め、求めた最大値を画面内で積算して平均した値となる。このため、レーザー出力Ｐは、０〜１の値となり、回折光学素子制御部１１０、光変調素子制御部１２０及び光源駆動部１３０に出力される。

続いて、回折光学素子制御部１１０の照明分布算出部１１６において、理想照明分布Ｌ_{ｉｄｅａｌ}（ｘ，ｙ）が求められる（ステップＳ１６）。より具体的には、照明分布算出部１１６は、次式に従って、画素毎に、レーザー出力Ｐ、Ｙ_ｍａｘ（ｘ，ｙ）を用いて、光変調素子に照射する照明分布Ｌ_{ｉｄｅａｌ}（ｘ，ｙ）を求める。

上式により求められた照明分布Ｌ_{ｉｄｅａｌ}（ｘ，ｙ）は、回折パターン算出部１１２に出力される。

回折パターン算出部１１２は、照明分布Ｌ_{ｉｄｅａｌ}（ｘ，ｙ）から回折パターンＨ（ｘ，ｙ）を算出する（ステップＳ１８）。より具体的には、回折パターン算出部１１２は、次式に示すように、照明分布Ｌ_{ｉｄｅａｌ}（ｘ，ｙ）に対して画素毎に反復フーリエ法などの所定の演算処理を行うことで、回折パターンＨ（ｘ，ｙ）を算出する。

上式では、反復フーリエ法などの所定の演算処理を関数Ｇで表している。このようにして算出された回折パターンＨ（ｘ，ｙ）は、回折光学素子駆動部１１４に出力される。

更に、回折パターン算出部１１２は、ステップＳ１８で求めた回折パターンＨ（ｘ，ｙ）を用いて、実際の照明分布Ｌ_ｒｅａｌ（ｘ，ｙ）を求める（ステップＳ２０）。より具体的には、回折パターン算出部１１２は、次式に示すように、ステップＳ１８で求めた回折パターンＨ（ｘ，ｙ）を用いて１画面分の回折パターンに対してＦＦＴなどの所定の演算処理を行うことで、実際の照明分布Ｌ_ｒｅａｌ（ｘ，ｙ）を求める。

上式において、フーリエ変換などの所定の演算処理を１画面の全画素に亘ってＦＦＴを行い、画素毎に実際の照明分布を求める関数をＦで表している。こうして求められた実際の照明分布Ｌ_ｒｅａｌ（ｘ，ｙ）は、透過率算出部１２２に出力される。

次に、光変調素子制御部１２０の透過率算出部１２２は、ステップＳ１２で求めた輝度Ｙ_Ｒ（ｘ，ｙ）、Ｙ_Ｇ（ｘ，ｙ）、Ｙ_Ｂ（ｘ，ｙ）とステップＳ２０で求めた実際の照明分布Ｌ_ｒｅａｌ（ｘ，ｙ）から、各色成分の光変調素子の透過率Ｔ_Ｒ（ｘ，ｙ）、Ｔ_Ｇ（ｘ，ｙ）、Ｔ_Ｂ（ｘ，ｙ）を求める（ステップＳ２２）。

上式により求められた透過率Ｔ_Ｒ（ｘ，ｙ）、Ｔ_Ｇ（ｘ，ｙ）、Ｔ_Ｂ（ｘ，ｙ）は、光変調素子駆動部１２４に出力される。

そして、光源駆動部１３０は、ステップＳ１４で求めたレーザー出力Ｐに基づいて、Ｒ用光源２１０Ｒ、Ｇ用光源２１０Ｇ及びＢ用光源２１０Ｂのそれぞれが同じ強度となるように各光源を駆動する（ステップＳ２４）。

更に、回折光学素子駆動部１１４は、ステップＳ１８で求めた回折パターンＨ（ｘ，ｙ）に基づいて回折光学素子２２０を制御する回折光学素子制御信号を生成し、回折光学素子２２０に対して出力する（ステップＳ２６）。これにより、Ｒ用光源２１０Ｒ、Ｇ用光源２１０Ｇ及びＢ用光源２１０Ｂの各光源から出力された光は、回折光学素子２２０を透過する際に回折し、Ｒ用光変調素子２３０Ｒ、Ｇ用光変調素子２３０Ｇ及びＢ用光変調素子２３０Ｂの各光変調素子上で照明分布Ｌ_ｒｅａｌ（ｘ，ｙ）を実現する。

続いて、光変調素子駆動部１２４は、Ｒ用光変調素子２３０Ｒ、Ｇ用光変調素子２３０Ｇ及びＢ用光変調素子２３０Ｂの各光変調素子毎に、ステップＳ２２で求めた透過率となるように各光変調素子を駆動する（ステップＳ２８）。これにより、Ｒ用光変調素子２３０Ｒ、Ｇ用光変調素子２３０Ｇ及びＢ用光変調素子２３０Ｂに照射された光が変調され、画像が出力される。

その後、次に処理すべき入力画像信号があるとき（ステップＳ３０：Ｙ）、ステップＳ１０に戻り処理を継続する。一方、次に処理すべき入力画像信号がないとき（ステップＳ３０：Ｎ）、一連の処理を終了する（エンド）。

なお、第１の実施形態における画像処理装置１００の処理は、ゲートアレイや専用回路等のハードウェアにより実現してもよいし、ソフトウェア処理により実現してもよい。

図９に、第１の実施形態における画像処理装置１００のハードウェア構成例のブロック図を示す。

図６の画像処理装置１００は、中央演算処理装置（Central Processing Unit：以下、ＣＰＵ）３００、プログラムメモリ３１０、インターフェース（Interface：以下、Ｉ／Ｆ）回路３２０、フレームメモリ３３０、光変調素子駆動回路３４０、回折光学素子駆動回路３５０、光源駆動回路３６０を含むことができる。画像処理装置１００では、バス３７０を介して、ＣＰＵ３００が、プログラムメモリ３１０、Ｉ／Ｆ回路３２０、フレームメモリ３３０、光変調素子駆動回路３４０、回折光学素子駆動回路３５０及び光源駆動回路３６０に電気的に接続される。

ＣＰＵ３００は、バス３７０を介して、プログラムメモリ３１０、Ｉ／Ｆ回路３２０、フレームメモリ３３０、光変調素子駆動回路３４０、回折光学素子駆動回路３５０及び光源駆動回路３６０の各部を制御する。プログラムメモリ３１０には、ＣＰＵ３００の制御内容に対応したプログラムが格納されている。Ｉ／Ｆ回路３２０には、画像信号生成装置２０との間のインターフェース処理を行い、入力端子ＴＭ１を介して画像信号生成装置２０からの画像信号が入力される。フレームメモリ３３０には、画像信号が格納され、作業用のメモリとしても機能する。

光変調素子駆動回路３４０は、ＣＰＵ３００による制御内容に従って、出力端子ＴＭ２を介して画像信号や制御信号を出力してＲ用光変調素子２３０Ｒ、Ｇ用光変調素子２３０Ｇ及びＢ用光変調素子２３０Ｂの駆動制御を行う。回折光学素子駆動回路３５０は、ＣＰＵ３００による制御内容に従って、出力端子ＴＭ３を介して制御信号を出力して回折光学素子２２０の回折特性を制御する。光源駆動回路３６０は、ＣＰＵ３００による制御内容に従って、出力端子ＴＭ４を介して制御信号を出力してＲ用光源２１０Ｒ、Ｇ用光源２１０Ｇ及びＢ用光源２１０Ｂの発光強度を変更する制御を行う。

このようにプログラムメモリ３１０には、予め図８に示す処理を実現するためのプログラムが格納されており、ＣＰＵ３００がプログラムメモリ３１０に格納されたプログラムを読み出して該プログラムに対応した処理を実行することで、第１の実施形態における画像処理装置１００の処理をソフトウェア処理により実現できる。

なお、第１の実施形態における画像処理装置１００は、図６及び図７に示す構成に限定されるものではない。

図１０に、第１の実施形態の変形例における画像処理装置１００の要部の構成例のブロック図を示す。図１０において、図７と同様の部分には同一符号を付し、適宜説明を省略する。

第１の実施形態の変形例における画像処理装置１００の構成は、図６と同様である。但し、図１０に示すように、回折パターン算出部１１２が、反復フーリエ演算部１８０のみを有し、実際の照明分布Ｌ_ｒｅａｌを算出しない。そして、照明分布算出部１１６により求められた理想照明分布Ｌ_{ｉｄｅａｌ}をそのまま、透過率算出部１２２に出力するようになっている。透過率算出部１２２は、照明分布算出部１１６により求められた理想照明分布Ｌ_{ｉｄｅａｌ}を用いて光変調素子の透過率を算出する。

図１１に、第１の実施形態の変形例における画像処理装置１００の処理例のフロー図を示す。図１１において、図８と同様の部分には同一符号を付し、適宜説明を省略する。

図１１の処理が図８の処理と異なる点は、ステップＳ１６において照明分布算出部１１６が理想照明分布Ｌ_{ｉｄｅａｌ}（ｘ，ｙ）を求めた後、回折パターン算出部１１２が回折パターンＨ（ｘ，ｙ）を求め（ステップＳ１９）、透過率算出部１１２が、理想照明分布Ｌ_{ｉｄｅａｌ}（ｘ，ｙ）を用いて各光変調素子の透過率を算出する（ステップＳ２３）点である。

即ち、ステップＳ１６において求められた理想照明分布Ｌ_{ｉｄｅａｌ}（ｘ，ｙ）は、回折パターン算出部１１２及び透過率算出部１２２に出力される。そのため、透過率算出部１２２は、実際の照明分布Ｌ_ｒｅａｌ（ｘ，ｙ）に代えて理想照明分布Ｌ_{ｉｄｅａｌ}（ｘ，ｙ）を用いて透過率Ｔ_Ｒ（ｘ，ｙ），Ｔ_Ｇ（ｘ，ｙ），Ｔ_Ｂ（ｘ，ｙ）を算出する

このような第１の実施形態の変形例によれば、回折パターン算出部１１２が反復フーリエ演算部１８０で求めた回折パターンＨ（ｘ，ｙ）に対してフーリエ演算を行って実際の照明分布Ｌ_ｒｅａｌ（ｘ，ｙ）を求めずに済むため、例えば理想照明分布Ｌ_{ｉｄｅａｌ}（ｘ，ｙ）と実際の照明分布Ｌ_ｒｅａｌ（ｘ，ｙ）との誤差が小さい場合には、画像処理装置１００の処理負荷を大幅に軽減できる。

以上説明したように、第１の実施形態又はその変形例によれば、光源からの光を所望の輝度分布に回折させた回折光を、画像信号により光変調させることで画像を表示させる場合に、光源からの光量を画像内の他の部分に利用できるように制御できるようになる。そのため、画像表示装置２００における光の利用効率を高めることができる。従って、第１の実施形態によれば、画像表示装置２００の発熱量を抑えて、部品点数の削減による低コスト化や低消費電力化を図ることができる画像処理装置１００を提供できるようになる。

また、第１の実施形態又はその変形例によれば、画面全体の光量を一律に調整することがないので、例えば画像内に輝点（光源や光沢部分）が存在する場合でも、輝点の輝度が低下や、いわゆる黒浮きの発生を抑えるように制御する画像処理装置１００を提供できるようになる。

更に、画像表示装置２００の表示画像のアスペクト比とコンテンツの画像のアスペクト比との不一致により、画面内の上下部分にいわゆる黒帯部分を設けてコンテンツを表示させる場合に、第１の実施形態又はその変形例によれば、表示する画像によって黒帯部分の輝度が変動してしまうことがないように制御できる画像処理装置１００を提供できるようになる。

更にまた、第１の実施形態又はその変形例によれば、画像の品質を落とすことなく、入力画像信号に応じて光源の出力を最大限に低下させることができ、画質の劣化防止に加えて、画像表示装置の低消費電力化を図ることもできる画像処理装置１００を提供できるようになる。

〔第２の実施形態〕
第１の実施形態では、画像表示装置２００において、回折光学素子２２０が、Ｒ用光源２１０Ｒ、Ｇ用光源２１０Ｇ及びＢ用光源２１０Ｂに共用されるように構成されていたが、本発明はこれに限定されるものではない。

図１２に、本発明の第２の実施形態における画像表示システムの構成例のブロック図を示す。図１２において、図１と同様の部分には同一符号を付し、適宜説明を省略する。

第２の実施形態における画像表示装置２００ａもまた、図１の画像表示装置２００に代えて、図１の画像表示システム１０に適用できる。第２の実施形態における画像表示装置２００ａが第１の実施形態における画像表示装置２００と異なる点は、第１の実施形態では回折光学素子が複数の色成分で共用して設けられるのに対し、第２の実施形態では回折光学素子が色成分毎に設けられている点である。

即ち、画像表示装置２００ａは、色成分毎に設けられた複数の光源と、色成分毎に設けられ、各回折光学素子が複数の光源の各光源からの光が照射される複数の回折光学素子と、色成分毎に設けられ、各光変調素子が複数の回折光学素子の各回折光学素子により生成された回折光を変調する複数の光変調素子とを含み、所与の回折光学素子制御信号に基づいて各回折光学素子の回折特性が制御される。図１２では、複数の光源として、Ｒ用の光源２１０Ｒ、Ｇ用光源２１０Ｇ及びＢ用光源２１０Ｂを備え、複数の回折光学素子として、Ｒ用回折光学素子２２０Ｒ、Ｇ用回折光学素子２２０Ｇ及びＢ用回折光学素子２２０Ｂを備え、複数の光変調素子として、Ｒ用光変調素子２３０Ｒ、Ｇ用光変調素子２３０Ｇ及びＢ用光変調素子２３０Ｂを備える。

そして、複数の光源の各光源は、色成分毎に光の強度が制御され、複数の光変調素子は、色成分毎に変調量が制御される。

図１２において、Ｒ用回折光学素子２２０Ｒには、Ｒ用光源２１０Ｒからの光が入射光として照射されており、（Ｒ用）回折光学素子制御信号に基づいて指定される輝度分布に、Ｒ用光源２１０Ｒからの光を回折させる機能を有する。Ｇ用回折光学素子２２０Ｇには、Ｇ用光源２１０Ｇからの光が入射光として照射されており、（Ｇ用）回折光学素子制御信号に基づいて指定される輝度分布に、Ｇ用光源２１０Ｇからの光を回折させる機能を有する。またＢ用回折光学素子２２０Ｂには、Ｂ用光源２１０Ｂからの光が入射光として照射されており、（Ｂ用）回折光学素子制御信号に基づいて指定される輝度分布に、Ｂ用光源２１０Ｂからの光を回折させる機能を有する。

Ｒ用回折光学素子２２０Ｒ、Ｇ用回折光学素子２２０Ｇ及びＢ用回折光学素子２２０Ｂとしては、例えば液晶パネルを採用したＬＣ−ＣＧＨがある。この液晶パネルは、電気光学物質である液晶を一対の透明なガラス基板に密閉封入したものであり、例えばポリシリコンＴＦＴをスイッチング素子として、画像処理装置からの回折光学素子制御信号により指定される回折パターンに、入射光を回折させる。

Ｒ用光変調素子２３０Ｒには、Ｒ用回折光学素子２２０Ｒによる回折光が照射されており、画像処理装置からの（Ｒ用）画像信号に基づいて、画素毎に光の通過率（透過率、変調率）を変調する。Ｇ用光変調素子２３０Ｇには、Ｇ用回折光学素子２２０Ｇによる回折光が照射されており、画像処理装置からの（Ｇ用）画像信号に基づいて、画素毎に光の通過率（透過率、変調率）を変調する。Ｂ用光変調素子２３０Ｂには、Ｂ用回折光学素子２２０Ｂによる回折光が照射されており、画像処理装置からの（Ｂ用）画像信号に基づいて、画素毎に光の通過率（透過率、変調率）を変調する。

Ｒ用光変調素子２３０Ｒ、Ｇ用光変調素子２３０Ｇ及びＢ用光変調素子２３０Ｂとしては、透過型の液晶パネルにより構成されるライトバルブが採用される。液晶パネルは、電気光学物質である液晶を一対の透明なガラス基板に密閉封入したものであり、例えばポリシリコンＴＦＴをスイッチング素子として、画像処理装置からの画像信号に対応して各画素の光の通過率を変調する。

第２の実施形態においても、Ｒ用光源２１０Ｒ、Ｇ用光源２１０Ｇ及びＢ用光源２１０Ｂとしては、エレクトロルミネセンス効果を利用したＬＥＤやレーザー光源等のコヒーレント光源であることが望ましいが、より好ましくは、コヒーレント光源であることが望ましい。

図１２において、平行化レンズ２５６Ｒは、Ｒ用回折光学素子２２０Ｒによる回折光を平行光にし、Ｒ用光変調素子２３０Ｒに出力する。Ｒ用光変調素子２３０Ｒは、画像処理装置からのＲ用画像信号に基づいて、平行化レンズ２５６Ｒからの平行光を光変調して、ダイクロイックプリズム２５８に出力する。平行化レンズ２５６Ｇは、Ｇ用回折光学素子２２０Ｇによる回折光を平行光にし、Ｇ用光変調素子２３０Ｇに出力する。Ｇ用光変調素子２３０Ｇは、画像処理装置からのＧ用画像信号に基づいて、平行化レンズ２５６Ｇからの平行光を光変調して、ダイクロイックプリズム２５８に出力する。平行化レンズ２５６Ｂは、Ｂ用回折光学素子２２０Ｂによる回折光を平行光にし、Ｂ用光変調素子２３０Ｂに出力する。Ｂ用光変調素子２３０Ｂは、画像処理装置からのＢ用画像信号に基づいて、平行化レンズ２５６Ｂからの平行光を光変調して、ダイクロイックプリズム２５８に出力する。

ダイクロイックプリズム２５８は、光変調素子２３０Ｒ、２３０Ｇ、２３０Ｂからの入射光を合成した合成光を出射光として出力する機能を有する。投射レンズ２６０は、出力画像を図示しないスクリーン上に拡大して結像させるレンズである。

図１３に、第２の実施形態における画像処理装置の構成例のブロック図を示す。図１３では、画像処理装置の構成の理解を容易にするために図１２の画像表示装置２００ａの要部を合わせて示している。図１３において、図６と同様の部分には同一符号を付し、適宜説明を省略する。

第２の実施形態における画像処理装置１００ａもまた、図１の画像処理装置１００に代えて、図１の画像表示システム１０に適用できる。第２の実施形態における画像処理装置１００ａが第１の実施形態における画像処理装置１００と異なる点は、第１の実施形態では回折光学素子が１つであるため光源の強度を各色成分で揃えるように制御していたのに対し、第２の実施形態では、色成分毎に、光源の強度、回折光学素子の回折特性、光変調素子の変調量を制御できる点である。

そのため、レーザー出力算出部１５０ａは、色成分毎に、各光源のレーザー出力Ｐ_Ｒ、Ｐ_Ｇ、Ｐ_Ｂを求めることができる。また、照明分布算出部１１６ａもまた、色成分毎に、理想照明分布ＬＲ_{ｉｄｅａｌ}（ｘ，ｙ）、ＬＧ_{ｉｄｅａｌ}（ｘ，ｙ）、ＬＢ_{ｉｄｅａｌ}（ｘ，ｙ）を求めることができる。更に回折パターン算出部１１２ａもまた、色成分毎に回折パターンＨ_Ｒ（ｘ，ｙ）、Ｈ_Ｇ（ｘ，ｙ）、Ｈ_Ｂ（ｘ，ｙ）を求めることができる。そして、回折光学素子駆動部１１４ａは、回折パターン算出部１１２ａにより色成分毎に求められた回折パターンを用いて、各色成分毎に設けられた回折光学素子の回折特性を制御する。同様に、透過率算出部１２２ａもまた、色成分毎に求められたレーザー出力を用いて、各色成分毎に透過率を算出する。

なお、回折パターン算出部１１２ａは、図７と同様の構成を有し、色成分毎に回折パターン、実際の照明分布を求めることができるようになっている。

このような第２の実施形態における画像処理装置１００ａは、回折光学素子に照射される光源からの光の強度を制御する光源駆動部１３０ａを含み、色成分毎に回折光学素子が設けられている場合に、光源駆動部１３０ａは、色成分毎に独立して光源からの光の強度を制御することができる。

図１４に、第２の実施形態における画像処理装置１００ａの処理例のフロー図を示す。

まず、画像処理装置１００ａには、画像信号生成装置２０によって生成された画像信号が入力画像信号として入力される（ステップＳ４０）。ここでは、入力画像信号がＲＧＢ形式の信号であるものとして説明するが、本発明に係る入力画像信号がＲＧＢ形式の信号に限定されるものではない。例えば、入力画像信号がＲＧＢ形式以外の他の形式の信号である場合、画像処理装置１００ａに入力画像信号が入力された時点で、一旦、ＲＧＢ形式の信号に変換することで、以下に述べる処理を実現できる。

次に、画像処理装置１００ａのガンマ変換部１４０では、ＲＧＢ形式の入力画像信号を色成分毎の輝度Ｙ_Ｒ、Ｙ_Ｇ、Ｙ_Ｂに変換する（ステップＳ４２）。より具体的には、ガンマ変換部１４０は、画素毎に、各色成分の正規化された輝度Ｙ_Ｒ、Ｙ_Ｇ、Ｙ_Ｂを求める。この処理は、図８のステップＳ１２と同様である。

続いて、レーザー出力算出部１５０ａは、ガンマ変換部１４０により求められた輝度Ｙ_Ｒ（ｘ，ｙ）、Ｙ_Ｇ（ｘ，ｙ）、Ｙ_Ｂ（ｘ，ｙ）から、色成分毎に、Ｒ用光源２１０Ｒ、Ｇ用光源２１０Ｇ及びＢ用光源２１０Ｂの各光源のレーザー出力Ｐ_Ｒ、Ｐ_Ｇ、Ｐ_Ｂを求める（ステップＳ４４）。より具体的には、レーザー出力算出部１５０ａは、次式に従って、色成分毎に、入力画像を表示するために最低限必要な各光源のレーザー出力Ｐ_Ｒ、Ｐ_Ｇ、Ｐ_Ｂを求める。

上式において、Ｎは入力画像信号の画素数（例えばＮ＝ｘ_ｍａｘ×ｙ_ｍａｘ）であり、Ｙ_Ｒ（ｘ，ｙ）、Ｙ_Ｇ（ｘ，ｙ）、Ｙ_Ｂ（ｘ，ｙ）は、ステップＳ４２で求められた各色成分の輝度である。これらのレーザー出力Ｐ_Ｒ、Ｐ_Ｇ、Ｐ_Ｂは、回折光学素子制御部１１０ａ、光変調素子制御部１２０及び光源駆動部１３０に出力される。

続いて、回折光学素子制御部１１０ａの照明分布算出部１１６ａにおいて、色成分毎に、理想照明分布ＬＲ_{ｉｄｅａｌ}（ｘ，ｙ）、ＬＧ_{ｉｄｅａｌ}（ｘ，ｙ）、ＬＢ_{ｉｄｅａｌ}（ｘ，ｙ）が求められる（ステップＳ４６）。より具体的には、照明分布算出部１１６ａは、次式に従って、色成分毎に、画素単位でレーザー出力Ｐ_Ｒ、Ｐ_Ｇ、Ｐ_Ｂ、Ｙ_Ｒ（ｘ，ｙ）、Ｙ_Ｇ（ｘ，ｙ）、Ｙ_Ｂ（ｘ，ｙ）を用いて、光変調素子に照射する照明分布ＬＲ_{ｉｄｅａｌ}（ｘ，ｙ）、ＬＧ_{ｉｄｅａｌ}（ｘ，ｙ）、ＬＢ_{ｉｄｅａｌ}（ｘ，ｙ）を求める。照明分布ＬＲ_{ｉｄｅａｌ}（ｘ，ｙ）はＲ用理想照明分布であり、ＬＧ_{ｉｄｅａｌ}（ｘ，ｙ）はＧ用理想照明分布であり、ＬＢ_{ｉｄｅａｌ}（ｘ，ｙ）はＢ用理想照明分布である。

上式により求められた照明分布ＬＲ_{ｉｄｅａｌ}（ｘ，ｙ）、ＬＧ_{ｉｄｅａｌ}（ｘ，ｙ）、ＬＢ_{ｉｄｅａｌ}（ｘ，ｙ）は、回折パターン算出部１１２ａに出力される。

続いて、回折パターン算出部１１２ａは、色成分毎に、照明分布ＬＲ_{ｉｄｅａｌ}（ｘ，ｙ）、ＬＧ_{ｉｄｅａｌ}（ｘ，ｙ）、ＬＢ_{ｉｄｅａｌ}（ｘ，ｙ）から回折パターンＨ_Ｒ（ｘ，ｙ）、Ｈ_Ｇ（ｘ，ｙ）、Ｈ_Ｂ（ｘ，ｙ）を算出する（ステップＳ４８）。より具体的には、回折パターン算出部１１２ａは、次式に示すように、照明分布ＬＲ_{ｉｄｅａｌ}（ｘ，ｙ）、ＬＧ_{ｉｄｅａｌ}（ｘ，ｙ）、ＬＢ_{ｉｄｅａｌ}（ｘ，ｙ）に対して画素毎に反復フーリエ法などの所定の演算処理を行うことで、回折パターンＨ_Ｒ（ｘ，ｙ）、Ｈ_Ｇ（ｘ，ｙ）、Ｈ_Ｂ（ｘ，ｙ）を算出する。回折パターンＨ_Ｒ（ｘ，ｙ）はＲ用回折パターン、Ｈ_Ｇ（ｘ，ｙ）はＧ用回折パターン、Ｈ_Ｂ（ｘ，ｙ）はＢ用回折パターンである。

上式では、反復フーリエ法などの所定の演算処理を関数Ｇで表している。このようにして算出された回折パターンＨ_Ｒ（ｘ，ｙ）、Ｈ_Ｇ（ｘ，ｙ）、Ｈ_Ｂ（ｘ，ｙ）は、回折光学素子駆動部１１４ａに出力される。

その後、回折パターン算出部１１２は、ステップＳ４８で求めた回折パターンＨ_Ｒ（ｘ，ｙ）、Ｈ_Ｇ（ｘ，ｙ）、Ｈ_Ｂ（ｘ，ｙ）を用いて、実際の照明分布ＬＲ_ｒｅａｌ（ｘ，ｙ）、ＬＧ_ｒｅａｌ（ｘ，ｙ）、ＬＢ_ｒｅａｌ（ｘ，ｙ）を求める（ステップＳ５０）。より具体的には、回折パターン算出部１１２ａは、次式に示すように、ステップＳ４８で求めた回折パターンＨ_Ｒ（ｘ，ｙ）、Ｈ_Ｇ（ｘ，ｙ）、Ｈ_Ｂ（ｘ，ｙ）を用いて１画面分の回折パターンに対してフーリエ変換などの所定の演算処理を行うことで、実際の照明分布ＬＲ_ｒｅａｌ（ｘ，ｙ）、ＬＧ_ｒｅａｌ（ｘ，ｙ）、ＬＢ_ｒｅａｌ（ｘ，ｙ）を求める。照明分布ＬＲ_ｒｅａｌ（ｘ，ｙ）はＲ用の実際の照明分布、ＬＧ_ｒｅａｌ（ｘ，ｙ）はＧ用の実際の照明分布、ＬＢ_ｒｅａｌ（ｘ，ｙ）はＢ用の実際の照明分布である。

上式において、フーリエ変換などの所定の演算処理を１画面の全画素に亘ってＦＦＴを行い、画素毎に実際の照明分布を求める関数をＦで表している。こうして求められた実際の照明分布ＬＲ_ｒｅａｌ（ｘ，ｙ）、ＬＧ_ｒｅａｌ（ｘ，ｙ）、ＬＢ_ｒｅａｌ（ｘ，ｙ）は、透過率算出部１２２ａに出力される。

次に、光変調素子制御部１２０の透過率算出部１２２ａは、ステップＳ４２で求めた輝度Ｙ_Ｒ（ｘ，ｙ）、Ｙ_Ｇ（ｘ，ｙ）、Ｙ_Ｂ（ｘ，ｙ）とステップＳ５０で求めた実際の照明分布ＬＲ_ｒｅａｌ（ｘ，ｙ）、ＬＧ_ｒｅａｌ（ｘ，ｙ）、ＬＢ_ｒｅａｌ（ｘ，ｙ）から、各色成分の光変調素子の透過率Ｔ_Ｒ（ｘ，ｙ）、Ｔ_Ｇ（ｘ，ｙ）、Ｔ_Ｂ（ｘ，ｙ）を求める（ステップＳ５２）。

上式により求められた透過率Ｔ_Ｒ（ｘ，ｙ）、Ｔ_Ｇ（ｘ，ｙ）、Ｔ_Ｂ（ｘ，ｙ）は、光変調素子駆動部１２４に出力される。

そして、光源駆動部１３０ａは、ステップＳ４４で求めたレーザー出力Ｐ_Ｒ、Ｐ_Ｇ、Ｐ_Ｂに基づいて、色成分毎に、Ｒ用光源２１０Ｒ、Ｇ用光源２１０Ｇ及びＢ用光源２１０Ｂの強度を制御して各光源を駆動する（ステップＳ５４）。

更に、回折光学素子駆動部１１４ａは、ステップＳ４８で求めた回折パターンＨ_Ｒ（ｘ，ｙ）、Ｈ_Ｇ（ｘ，ｙ）、Ｈ_Ｂ（ｘ，ｙ）に基づいてＲ用回折光学素子２２０Ｒ、Ｇ用回折光学素子２２０Ｇ及びＢ用回折光学素子２２０Ｂを制御する回折光学素子制御信号を生成し、各回折光学素子に対して出力する（ステップＳ５６）。これにより、Ｒ用光源２１０Ｒ、Ｇ用光源２１０Ｇ及びＢ用光源２１０Ｂの各光源から出力された光は、Ｒ用回折光学素子２２０Ｒ、Ｇ用回折光学素子２２０Ｇ、Ｂ用回折光学素子２２０Ｂを透過する際に回折し、Ｒ用光変調素子２３０Ｒ、Ｇ用光変調素子２３０Ｇ及びＢ用光変調素子２３０Ｂの各光変調素子上で照明分布ＬＲ_ｒｅａｌ（ｘ，ｙ）、ＬＧ_ｒｅａｌ（ｘ，ｙ）、ＬＢ_ｒｅａｌ（ｘ，ｙ）を実現する。

続いて、光変調素子駆動部１２４は、Ｒ用光変調素子２３０Ｒ、Ｇ用光変調素子２３０Ｇ及びＢ用光変調素子２３０Ｂの各光変調素子毎に、ステップＳ５２で求めた透過率となるように各光変調素子を駆動する（ステップＳ５８）。これにより、Ｒ用光変調素子２３０Ｒ、Ｇ用光変調素子２３０Ｇ及びＢ用光変調素子２３０Ｂに照射された光が変調され、画像が出力される。

その後、次に処理すべき入力画像信号があるとき（ステップＳ６０：Ｙ）、ステップＳ４０に戻り処理を継続する。一方、次に処理すべき入力画像信号がないとき（ステップＳ６０：Ｎ）、一連の処理を終了する（エンド）。

なお、第２の実施形態における画像処理装置１００ａの処理は、ゲートアレイや専用回路等のハードウェアにより実現してもよいし、ソフトウェア処理により実現してもよい。この場合、第２の実施形態における画像処理装置１００ａのハードウェア構成例は、図９と同様である。

なお、第２の実施形態においても、処理を簡素化するために、図１０の構成を採用し、図１１に示す処理を実行するようにしてもよい。

以上説明した第２の実施形態では、回折光学素子が色成分毎に設けられている。即ち、光源毎に回折光学素子が設けられるようにしたので、光源の強度を色成分毎に制御できるため、各色成分の光源の強度を揃えずに済む。そのため、第１の実施形態の構成と比較すると構成要素が増加するものの、第１の実施形態に比べて、より一層の低消費電力化が実現できる場合がある。

以上、本発明に係る画像処理装置、画像表示装置、画像処理方法及びプログラムを上記の各実施形態に基づいて説明したが、本発明は上記の各実施形態に限定されるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。

（１）上記の各実施形態では、画像表示装置を図２又は図１２に示す構成であるものとして説明したが、本発明は、これに限定されるものではなく、回折光学素子と光変調素子とを備える画像表示装置又は該画像表示装置を制御する画像処理装置、画像処理方法、画像処理装置を制御するためのプログラムに適用できる。

（２）上記の各実施形態では、回折光学素子が例えばＬＣ−ＣＧＨであるものとして説明したが、本発明はこれに限定されるものではない。

（３）上記の各実施形態では、光変調素子が例えば透過型の液晶パネルで構成されたライトバルブであるものとして説明したが、本発明はこれに限定されるものではない。例えば、光変調素子として、透過型の液晶パネル以外のもの、例えばＤＬＰ（Digital Light Processing)（登録商標）、ＬＣＯＳ（Liquid Cristal On Silicon)等を採用してもよい。

（４）上記の各実施形態では、画像処理装置が図６又は図１３に示す構成を有するものとして説明したが、本発明はこれに限定されるものではない。画像処理装置は、図６又は図１３の全ブロックを備えるものに限定されるものではなく、図６又は図１３の画像処理装置の一部が省略された構成を有していてもよい。例えば、図６又は図１３の画像処理装置において、ガンマ変換部１４０が省略されてもよい。

（５）上記の各実施形態では、照明分布を求めてから回折パターンを求めるものとして説明したが、本発明はこれに限定されるものではない。

（６）上記の各実施形態では、回折パターンを求める方法として反復フーリエ法を用いるものとして説明したが、本発明は回折パターンを求める演算処理方法に限定されるものではない。

（７）上記の各実施形態では、回折光学素子制御信号を入力画像信号に基づいて生成するものとして説明したが、本発明はこれに限定されるものではない。例えば、回折光学素子制御信号を、画像表示装置が投影するスクリーンの形状に基づいて生成するようにしてもよい。

（８）上記の各実施形態において、本発明を、画像の暗い部分を表現するために絞られる光源からの光を、この画像の他の部分に利用できるようにする画像処理装置、画像表示装置、画像処理方法及びプログラムとして説明したが、本発明はこれに限定されるものではない。例えば、本発明を実現するための処理手順が記述されたプログラムが記録された記録媒体であってもよい。

本発明の第１の実施形態における画像表示システムの構成例のブロック図。 本発明に係る第１の実施形態における画像表示装置の構成例のブロック図。 第１の実施形態における回折光学素子の模式的な平面図。 図３の回折光学素子のＡ−Ａ切断線の断面模式図。 第１の実施形態における回折光学素子の機能の説明図。 第１の実施形態における画像処理装置の構成例のブロック図。 図６の画像処理装置の要部の構成例のブロック図。 第１の実施形態における画像処理装置の処理例のフロー図。 第１の実施形態における画像処理装置のハードウェア構成例のブロック図。 第１の実施形態の変形例における画像処理装置の要部の構成例のブロック図。 第１の実施形態の変形例における画像処理装置の処理例のフロー図。 本発明の第２の実施形態における画像表示システムの構成例のブロック図。 第２の実施形態における画像処理装置の構成例のブロック図。 第２の実施形態における画像処理装置の処理例のフロー図。

符号の説明

１０…画像表示システム、２０…画像信号生成装置、１００，１００ａ…画像処理装置、１１０，１１０ａ…回折光学素子制御部、１１２，１１２ａ…回折パターン算出部、
１１４，１１４ａ…回折光学素子駆動部、１１６，１１６ａ…照明分布算出部、
１２０…光変調素子制御部、１２２，１２２ａ…透過率算出部、
１２４…光変調素子駆動部、１３０，１３０ａ…光源駆動部、１４０…ガンマ変換部、
１５０，１５０ａ…レーザー出力算出部、１８０…反復フーリエ演算部、
１８２…ＦＦＴ演算部、２００，２００ａ…画像表示装置、２１０…光源、
２１０Ｒ…Ｒ用光源、２１０Ｇ…Ｇ用光源、２１０Ｂ…Ｂ用光源、
２２０…回折光学素子、２２０Ｒ…Ｒ用回折光学素子、２２０Ｇ…Ｇ用回折光学素子、
２２０Ｂ…Ｂ用回折光学素子、２３０…光変調素子、２３０Ｒ…Ｒ用光変調素子、
２３０Ｇ…Ｇ用光変調素子、２３０Ｂ…Ｂ用光変調素子、
２４０Ｒ，２４０Ｇ，２４０Ｂ，２４６，２４８，２５０…ミラー、
２４２，２４４…ダイクロイックミラー、２５２，２５４…リレーレンズ、
２５６Ｒ，２５６Ｇ，２５６Ｂ…平行化レンズ、２５８…ダイクロイックプリズム、
２６０…投射レンズ、３００…ＣＰＵ、３１０…プログラムメモリ、
３２０…Ｉ／Ｆ回路、３３０…フレームメモリ、３４０…光変調素子駆動回路、
３５０…回折光学素子駆動回路、３６０…光源駆動回路、３７０…バス、
ＴＭ１…入力端子、ＴＭ２、ＴＭ３、ＴＭ４…出力端子

Claims (8)

1. 回折光学素子による回折光を光変調素子により変調することで得られる画像の表示制御を行う画像処理装置であって、
   入力画像信号に基づいて、前記回折光学素子の回折特性を制御する回折光学素子制御部と、
   前記入力画像信号に基づいて、前記光変調素子の変調特性を制御する光変調素子制御部とを含むことを特徴とする画像処理装置。
2. 請求項１において、
   前記回折光学素子制御部は、
   前記入力画像信号に基づいて前記回折光学素子の回折パターンを生成する回折パターン生成部を含み、
   前記回折光学素子制御部は、
   前記回折パターンに基づいて前記回折光学素子を制御することを特徴とする画像処理装置。
3. 請求項２において、
   前記回折光学素子制御部は、
   前記入力画像信号に基づいて前記光変調素子に照射する光の照明分布を算出する照明分布算出部を含み、
   前記回折パターン生成部は、
   前記照明分布に対応した前記回折パターンを生成することを特徴とする画像処理装置。
4. 請求項１乃至３のいずれかにおいて、
   前記回折光学素子に照射される光源からの光の強度を制御する光源駆動部を含み、
   複数の色成分で１つの回折光学素子を共用する場合に、
   前記光源駆動部は、色成分毎に設けられた光源からの光の強度を揃えるように制御するとことを特徴とする画像処理装置。
5. 請求項１乃至３のいずれかにおいて、
   前記回折光学素子に照射される光源からの光の強度を制御する光源駆動部を含み、
   色成分毎に回折光学素子が設けられている場合に、
   前記光源駆動部は、色成分毎に独立して光源からの光の強度を制御することを特徴とする画像処理装置。
6. 光源と、
   前記光源からの光を回折した回折光を生成する回折光学素子と、
   前記回折光を変調させる光変調素子と、
   請求項１乃至５のいずれか記載の画像処理装置とを含むことを特徴とする画像表示装置。
7. 回折光学素子による回折光を光変調素子により変調することで得られる画像の表示制御を行う画像処理方法であって、
   入力画像信号に基づいて、前記回折光学素子の回折特性を制御する回折光学素子制御ステップと、
   前記入力画像信号に基づいて、前記光変調素子の変調特性を制御する光変調素子制御ステップとを含むことを特徴とする画像処理方法。
8. 回折光学素子による回折光を光変調素子により変調することで得られる画像の表示制御を行う画像処理装置を制御するためのプログラムであって、
   入力画像信号に基づいて、前記回折光学素子の回折特性を制御する回折光学素子制御部と、
   前記入力画像信号に基づいて、前記光変調素子の変調特性を制御する光変調素子制御部としての機能を前記画像処理装置に実現させることを特徴とするプログラム。