JP2011527775A - 画像構築ベース映像表示システム - Google Patents

Abstract

画像の直交基底関数成分の表示によって画像を構築することに基づいた映像表示システムが開示される。このシステムは、整列され、同時に駆動される２つの表示構成要素で構成される。第１の表示構成要素は粗画素アレイである。第２の表示構成要素は、幾何学的細部が第１の画素アレイよりも細かい空間光変調器である。総合システムは、直交画像基底関数成分の時間領域表示を使用することによって、最小の画像品質損失で、第２の表示装置構成要素のより細かい幾何学的詳細で、表示されるべき意図された映像の再構成をする。得られるシステムは、相互接続の複雑さおよび能動回路素子の数がかなり低減され、さらに、非可逆画像再構成方式が使用される場合、必要とする映像データ・レートをかなり小さくする。この概念を利用するＬＥＤベース表示装置およびＬＣＤベース空間光変調器による実施形態と、表示装置を駆動する方法とが本明細書で説明される。

Description

（関連出願の相互参照）
本出願は、２００８年７月９日に出願された米国特許仮出願第６１／０７９，４１８号の利益を主張する。

（技術分野）
本発明は、画像および映像表示装置に関し、より詳細には、静止画像および／または映像モニタとして使用される平面型表示装置、およびそのような表示デバイス上に画像および映像データを生成および駆動する方法に関する。

プラズマ表示装置、液晶表示装置（ＬＣＤ）、および発光ダイオード（ＬＥＤ）表示装置などの平面型表示装置は、一般に、画素が個別に列および行選択信号によってアドレス指定される画素アドレス方式を使用する。一般に、Ｍ行およびＮ列として配置されたＭ×Ｎ画素、または絵素では、Ｍ個の行選択ラインおよびＮ個のデータ・ラインがあることになる。特定の行が選択されると、Ｎ個のデータ・ラインは、表示要素に画像情報を供給するために所要の画素電圧または電流までパワーアップされる。一般的なアクティブ・マトリクス型ＬＣＤの実施形態では、この情報は、特定の画素に特有のキャパシタに蓄積される電圧である（図１を参照）。行および列信号が画素を選択解除すると、画像情報はキャパシタに保持される。パッシブ・マトリクス型ＬＣＤの実施形態では、行および列は、互いに垂直になるように向きを定められた上部および下部金属面を構成する電極のストライプとして配置される（図２を参照）。単一または多数の行および列ラインは、瞬間の映像情報を有する画素を画定する１つまたは複数の交差点により選択される。そのような場合、行または列信号のどちらかは、画素情報に比例する印加電圧を有することになる。発光ダイオード表示タイプの実施形態では、情報は画素ＬＥＤを通過する瞬間電流であり、それにより印加電流に比例する光の放出がもたらされる。ＬＥＤアレイのアクティブおよびパッシブ・マトリクス駆動は共に行うことができる。上述のこれらの表示タイプのすべてで、画素解像度は画素の幾何学的寸法に等しいかまたはそれ未満である。例えば、ＶＧＡ解像度スクリーンでは、色成分ごとに少なくとも６４０×４００個別の画素を実装する必要がある。次に、映像フレーム当たりの表示機構に伝えられる全情報はＭ×Ｎ×３×ビット幅として与えられ、この３倍は画像を構成する３つの基本色、すなわち赤、緑、および青から生じ、ビット幅は画素値の最大解像度から決定される。商用表示システムで使用される最も一般的な画素値解像度は８ビット／色である。例えば、ＶＧＡ解像度表示装置では、伝えるのに必要とされる全情報は、画像の６Ｍｂｉｔ／フレームに等しい６４０×４００×３×８となり、それは一定のフレーム・リフレッシュ・レートでリフレッシュされる。フレーム・リフレッシュ・レートは２４、３０、５０、６０フレーム／秒（ｆｐｓ）などとすることができる。スクリーンのより速いレート能力がモーション・ブラーを除去するために一般に使用され、商用デバイスでは１２０または２４０ｆｐｓのレートで実施するのを見いだすことができる。グレイスケール画像では、輝度情報しか必要としないので情報量は３分の１に減少する。

映像および静止画像は、一般に、ＭＰＥＧ４、Ｈ．２６４、ＪＰＥＧ２０００などフォーマットおよびシステムのような記憶および送信のための圧縮形態に変換される。画像圧縮法は、データの直交関数分解、データ冗長度、空間フィーチャに対する人間の眼のある感度特性に基づく。一般の画像圧縮方式は、ＪＰＥＧもしくはモーションＪＰＥＧ、または離散的ウォルシュ変換におけるような直接コサイン変換の使用を含む。映像復号器を使用して、一連の直交基底関数係数である圧縮画像情報を行および列画素情報に変換し、例えば、ＶＧＡ解像度表示装置におけるような６Ｍｂｉｔ／フレームとなる画像情報を生成する。しかし、情報量の観点から、この映像情報の大部分は、画像が当初圧縮形態に処理されたように実際には冗長であるか、または人間の眼が反応しない情報量を有する。これらの技法はすべてソフトウェアまたはデジタル処理領域における表示システムの構成要素に関係し、Ｍ×Ｎ画素で構成された実際の光表示装置の構造は、画素数およびフレーム・レート以外に、映像フォーマットで使用される技法のどれによっても変更されない。

空間光変調器（ＳＬＭ）は、２次元の透過または反射光ビームの振幅もしくは位相、または両方を変更し、それによって、さもなければ一様の光照明に画像を符号化するデバイスである。画像画素は電気的または光学的アドレス指定手段によってデバイスに書き込むことができる。空間光変調器の簡単な形態は映画フィルムであり、画像は銀被覆フィルムに光化学手段によって符号化される。ＬＣＤシステムは、さらに、各画素情報が電気的手段によって特定の位置に符号化されるような特定の種類のＳＬＭであり、一般に表示区域全体にわたって均一であるバックライト式光源の空間プロファイルが画素の透過率によって変更される。

この分野の従来技術では、一般に、当面の問題の単一の構成要素がアドレス指定される。例えば、画像圧縮および解凍技法は、表示要素に直接適用されるのではなく、表示のためのデータの送信、記憶、ならびに画像再調整および準備にのみ適用されてきた（Ｇｏ、２００２年のように）。画素をオンオフして、様々な度合の変調を有するようにバックライトを透過させる空間光変調を組み込むシステムを実装することができ（例えば、Ｍａｙ、２０００年のような多行選択）またはバックライトおよび画像変調を共に使用して画像の解像度を増強することができる（Ｍａｒｇｕｌｉｓ、２００７年およびＷａｒｄ、２００８年のように）。特に後者の出願および関連する開示では、画像構築方法のどれもこの開示の主題である画像フレームの合成に時間の次元を組み込んでいない。それによって、フレーム単位で画素ごとに画像を表示する従来の方法を代表する両方のシステムは、インターフェイスの本質的な簡素化と、映像が送信される画像圧縮処理に埋め込まれるデータ・スループットとから利益を得ていない。

アクティブ・マトリクス平面型表示装置、特にアクティブ・マトリクス液晶表示装置で使用される画素選択方法を示す図である。各画素は行および列選択信号によってアドレス指定され、映像情報は選択信号のいずれか一方によって印加される。Ｍ×Ｎ画素システムでは、Ｍ個の行選択信号およびＮ個のデータ・ラインがある。データ（映像情報）はデジタル−アナログ変換器によって生成され、電圧は画素ごとにキャパシタに記憶される。電圧が、ＩＴＯ（インジウム・タングステン酸化物）などの透明電極から構成される２つの平行プレートに印加される。 パッシブ・マトリクスＬＣＤ表示装置で使用される画素選択方法を示す図である。Ｍ個の行選択信号およびＮ個のデータ信号がある。信号タイミングは、２つの電極間に印加される瞬間電圧をどの場所が有することになるかを決定し、液晶分子は２つの電極間で反応することになる。 空間光変調器が４×４画素群のマスク・パターンの形態で実施する基底関数を示す図である。 空間光変調器が８×８画素群のマスク・パターンの形態で実施する基底関数を示す図である。 データ圧縮が使用されない２×２画素群のマスキング・パターンを示す図である。一度に１つの画素がオンにされるので、光効率は４分の１に低減する。 粗画素化映像源、空間光変調器、画像処理のための計算デバイス、タイミング発生器のブロックを使用する映像表示システムのブロック図である。 アクティブ・マトリクスＬＣＤ表示装置などの長いスイッチング速度を有する粗表示タイプで使用される時間スロット最適化方法を示す図である。成分のビット精度を決定する量子化マトリクスを反映して、各それぞれの時間スロット割当てを所要の精度に比例して行うことができ、その結果、より大きい時間スロットは最も高い精度を必要とするＤ₀₀成分に割り当てられ、より小さい時間スロットは他の成分に割り当てられる。 光源としてＬＥＤアレイ、ＳＬＭとしてのパッシブ・マトリクスＬＣＤを使用する表示システムの詳細を示す図である。 ４×４画素群のための空間光変調器として使用されるパッシブ・マトリクスＬＣＤの動作の詳細を示す図である。上部透明電極（例えばＩＴＯ）層１５０は４つの選択ラインｖｖｅｒｔ（ｉ）１５５によって駆動され、下部ＩＴＯ層１６０は４つの選択ラインｖｈｏｒｚ（ｉ）１６５によって駆動される。ｗ₀₀からｗ₃₃の異なる基底関数を実施するために、異なる電圧が１５５および１６５に印加される。 ４×４画素群のための空間光変調器として使用されるパッシブ・マトリクスＬＣＤに印加される電圧波形および対応する空間基底関数ｗ_ijを示す図である。各後続フレームでは、電圧パターンが前のフレームの逆となることがある。

本発明は、図面で示された特定の実施形態からの様々な変形および代替形態を有することができる。これらの図面は開示された特定の実施形態に本発明を限定しない。本発明は、以下で請求される変形、改善、および代替の実施形態をすべて包含する。

本発明の一態様は、高いフレーム・レートで動作する粗画素化光アレイと、同じフレーム・レートにおいて基礎をなす光源よりも細かい解像度の直交基底関数に関係する一定のパターンを生成する空間光変調器とを使用して生成されるサブフレームの多数の画像成分を連続的に表示することによって画像および／または映像を構築する表示方法およびシステムである。画像構築システムは、空間光変調器を使用して映像画像を符号化することによって成分が時間領域に分配される画像圧縮成分の使用を利用する。フレームごとに、駆動されるべき元画像が、まず、ｎ_x×ｎ_y画素から成る一定のサイズに一緒にグループ化される。例えば、画像を、４×４または８×８画素、４×１、８×１の矩形群、または１次元もしくは２次元の直交基底関数を生成することができるという条件付きで他の任意の群サイズに分割することができる。１×１の場合はいかなる圧縮の利点もなく、従来の表示システムで使用される方法に対応する。群サイズはフレーム・レートによって制限され、そのフレーム・レートは本明細書で説明される成分のスイッチング速度と画像圧縮比とによって制限される。各画像群、すなわちここから参照されることになるマクロ画素は、一連の前記直交画像基底関数に比例する成分に分解される（直交分解）。これら画像関数は、基礎をなす光の振幅および／または位相を変調する空間光変調器を使用して表示装置ハードウェアで実施され、その結果、直交画像基底関数の所望の空間プロファイルを有する。画像基底関数が、４×４画素群について図３に、および８×８画素群について図４に示される。図示された特定の基底関数は、一般に、ウォルシュ関数としても知られている。直接コサイン変換基底関数などの他の基底関数を、空間光変調器がコサイン形振幅プロファイルを生成することができるという前提で基底関数パターンに使用することができる。４×１または８×１群では、基底関数は各図の第１列のものである。これらの図において、暗い区域は０％の透過率、すなわち光の阻止を表し、白い区域は理想的には１００％の透過率を表す。この定義は、基底関数が０または＋１とは全く異なる−１または＋１を有するという点で画像圧縮技法で使用される定義とは異なることに留意されたい。この差異を補正する方法が本明細書で説明される。４×４画素の第１の群では１６個の基底関数があり、一方、後者の８×８画素の群では６４個の基底関数がある。基底関数をｗ_uv（ｘ，ｙ）と表し、ここで、ｕおよびｖは基底関数指数であり、ｘ、ｙは画素群寸法の区域にまたがる直交座標である。ｆ^c（ｘ，ｙ）を色成分の２次元画像情報として表す。ここで、上付き添字ｃは赤、緑、または青の色（原色）を表す。この方法はグレイスケール画像でも同様であり、グレイスケール画像の場合にはｆ（ｘ，ｙ）は画像の輝度に比例することになる。データ・レートの観点から効率が低くなり、圧縮ベースの方法よりも空間光変調器スイッチング速度に厳しい制約条件がある図５に示されるような可逆画像構築にも空間光変調器を使用するマクロ画素区域の高速マスキングは使用することができる。そのような場合、マクロ画素群から１つの画素だけがマスキング・パターンを通して透過されるので、この実施形態の出力効率は非常に低い。２×２画素群では、最大平均透過率は２５％であり、４×４および８×８群では非常に小さいが、それはマクロ画素中の１６個および６４個の画素から一度に１つの画素が透過されるからである。画像分解ベース方式では、透過光は、Ｄ₀₀と比較して小さいＤ_uvの非ゼロ空間成分に関する画素の半分で阻止される。画素の平均透過率値は常に７５％よりも大きい（偏光子損失などの他の実装損失は考慮に入れない）。

図３および図４に示されるような基底関数により画像データを積分することによって見いだされる成分にいかなる画像も分解することができる。両方の図の左上の関数は一様関数ｗ₀₀である。右の方に進むに従って、関数は水平方向に変化し、指数値０ｖが高くなると共に変動が速くなる。より高い指数は、より高い空間周波数を有する画像関数に関係する。同様に、垂直方向の基底関数の変動は、指数ｕ０を有する垂直空間周波数成分によって説明される。他の基底関数成分はｗ_iiなどの対角成分および非対角成分ｗ_ijとすることができ、ここで、ｉおよびｊは非ゼロであり、異なる。空間的離散関数である映像画素アレイでは、この積分は和の形態である。画像成分をＤ^c _uvと表記し、ここで、ｕおよびｖは２次元における基底関数指数であり、ｃは色成分の赤、緑、または青を表す。そうすると、Ｄ^c _uvは、

から決定される。

本発明は式１の逆変換に基づき、すなわち、画像ｆ^c（ｘ，ｙ）はＤ^c _uv×ｗ_uvの和として構築することができる。

和は、Ｄ^c _uvに比例する光強度で基底関数ｗ_uvに対応するパターンを連続的に表示することにより時間領域で人間の眼によって効果的に知覚される。人間の眼は画像パターンを積分し、ｆ^c（ｘ，ｙ）に対応する単一画像を知覚することになる。

従来の圧縮技法で使用される直交関数の実施形態では、基底関数ｗ_uv（ｘ，ｙ）は＋１または−１の値をとり、それによって直交特性が満たされる。本発明では、基底関数の値は、これらの関数を表示装置で直接使用するので、代わりに＋１または０にマッピングされる。これは非ゼロ積分成分（画像の平均値Ｄ^c _uv×ｗ_uvに等しい）を生成する。この成分は経過が追われ、Ｄ^c ₀₀成分から引き算されるが、ここで、Ｄ^c ₀₀は、画素群の画像の合計、すなわち、１／（ｎ_xｎ_y）に規格化された画素群の画像の平均であり、

である。

粗画素化表示源を使用して画像を表示しようとする場合、Ｄ^c ₀₀は単一の「画素」（本明細書で使用される定義のマクロ画素と同じである）の光強度にも比例する。

いかなる画像でも、Ｄ^c ₀₀は、＋１および０のマッピングを使用して引き出された画像成分の残りの合計よりも大きいかまたは等しい。したがって、Ｄ^c ₀₀からこれらの非ゼロ積分成分の各々を引き算すると、ゼロよりも大きいかまたは等しいはずである。例えば、Ｄ^c ₀₁成分を考える。＋１および−１の値を有するオリジナルのウォルシュ関数としてｗ_uvを示す。−１および＋１の代わりに０および１の値をとることができる、ｗ_uvを置き換える新しい基底関数ｗ^*＝（ｗ＋１）／２を使用することによって、ｗ^* _uvは画像構築式の式２を

に変換することになる。

基底関数がすべて１に等しい（ｗ₀₀）場合に表示されるべき成分値は、式３の第２項におけるように００成分を除くすべてのＤ^c _uvの和で補正されなければならない。圧縮の際のように基底関数のサブセットが使用される場合、和は使用されるＤ^c _uv係数だけに及ぶべきであることに留意されたい。ここでは、平均成分の総計がオリジナルのＤ^c ₀₀値と等しいことになるので、更新されたＤ^c ₀₀成分はオリジナルの値の代わりに画像構築に使用される。

画像成分Ｄ^c _uvは正または負の値を有することができる。表示成分を実現する際、Ｄ^c _uv×ｗ^* _uv（ｘ，ｙ）の値は正だけとすることができる。「負の」Ｄ^c _uvの場合には、画像成分はＤ^c _uvの絶対値と基底関数パターンｗ^* _uv（ｘ，ｙ）の逆とを使用して生成される。０が１にマッピングされ、逆の場合も同様である２値関数ｗ^* _uv（ｘ，ｙ）の２の補数として関数の逆は定義される。

全システムを示すブロック図が図６に示される。

フレームごとに、映像画像は、
１．マクロ画素ごと、ｕｖ成分ごと、および色ごとに画像ｆ^c（ｘ，ｙ）に関連する画像成分強度Ｄ^c _uvを計算する、
２．ｗ^* _uv（ｘ，ｙ）に対応する空間光変調器の使用によって光強度マスクを適用する、
３．マクロ画素ごとにＤ_uvに比例する光を適用する
ことによって構築される。カラー表示では、３色の光要素が画素群ごとに使用される。赤、緑、および青の光源の光強度は、色ごとに計算されたＤ^c _uvにより調整される。光強度は、どの光源が使用されるかに応じて、電圧、電流、および／または光源のオン時間で調整される知覚強度のうちの少なくとも１つを調整することによって調整することができる。Ｄ^c _uv係数は実際には正または負の値を使用することができる。負の係数の場合には、光強度は係数の絶対値であるが、画像の再構成の際マスキング・パターンの逆を使用する。

意図した画像の単一フレームに至るように、サブフレームとして規定することができる各画像成分は連続して表示される。観察者の眼は閃光の画像成分を集積して、閃光の画像成分のすべての合計である意図した画像を視覚的に知覚することになる。表示される成分、すなわちサブフレームごとに、期間は等しくするか、またはその期間はビット解像度に対して最適化することができる。後者の場合には、より細かい精度に必ずしも処理する必要のないより短い画像成分期間と比較して、より高いビット精度を必要とする画像成分により長い画像成分期間を割り当てるように、空間光変調器のシャッター速度を最適化することができる。そのような場合、Ｄ^c _uv成分が他の成分と比較してより短い期間閃光で光る場合、光強度は同じ時間縮小比だけ増大されなければならないことになる。

カラー画像では、赤、緑、および青の光源はそれぞれのＤ^c _uv値に比例して同時にまたは時系列的に光ることができる。赤、緑、青の画像が別々に閃光で光る時系列の場合、ＳＬＭシャッター速度は同時の場合よりも３倍速くなければならない。同時の場合、すべての成分値が同じ符号を有するか、または成分値のうちの１つが他の２つと異なる符号を有するかのいずれかの場合がある。いかなるマクロ画素でも、各色成分が必ずしも同じ符号を有するとは限らないので、ｗ^* _uvおよびその逆のパターンの両方を表示する必要がある場合がある。したがって、ＳＬＭはサブフレームごとにすべての基底関数とその逆のものとを生成することになる。逆基底関数の成分がない場合、表示されるべきマクロ画素値はゼロに等しいことになる。

一般に、ＳＬＭ制御は理想的には表示装置全体に及ぶことになるか、またはより小さい区画に細分される場合があり、そのためｗ^* _uvおよびその逆パターンの両方が必要になると予想される。スイッチングおよび駆動方式がより複雑になるという犠牲を払って、ＳＬＭが各マクロ画素にわたって制御される場合、使用されない基底関数のサブフレームは含まれる必要がない。

画像圧縮は可逆変換または非可逆変換のどちらにもすることができる。可逆変換では、利用可能な画像成分から忠実度損失のない画像を構築することができる。非可逆圧縮ベースの分解では、ある一定の成分を無視することになり、その結果、無視されなかった成分で画像を構築するとき、画像品質が損なわれることがある。大部分の映像および静止画像では、非可逆圧縮がデータのサイズを低減するために使用される。非可逆圧縮では、通常、ある一定の閾値未満の画像成分、および人間の眼の感度が低い画像成分を無視することになる。これらは、一般に、対角項および非対角項に関連する高次の空間周波数をもつ項である。圧縮は、基本的に、所与の画像誤り限界に対してできるだけ少ない項で画像を描写しようとすることになる。ほとんどの場合、最初に落とされる項は非対角成分であり、続いて対角項であり、高次の項から低次の項に至る。Ｄ₀₀、Ｄ₀₁、Ｄ₀₂、Ｄ₀₃、Ｄ₁₀、Ｄ₁₁などからＤ₃₃までの１６個の画像成分を有するはずの４×４画素群を例にとると、基底関数ｗ^* ₀₀からｗ^* ₃₃、およびこれらの成分の逆（ｗ^* ₀₀を除いて）を使用して、３１個の成分をすべて使用する場合、オリジナルの画像が正確に再構成されることになる。画像圧縮では、大部分の画像は、無視された斜め空間成分を有することになる。水平および垂直画像成分しか使用しない表示システムが場合によっては十分であることがある。画像精度を改善するために、Ｄ₁₁、Ｄ₂₂、および／またはＤ₃₃などの対角空間周波数成分を加えることもできる。Ｄ₁₂、Ｄ₁₃、Ｄ₂₃などのような斜め成分は無視することができる。例えばＭＰＥＧ圧縮を使用する大部分の映像源では、そのような成分は、記憶および送信のために映像自体を圧縮するように実際には大部分が完全に除去されるか、または無視できると見なせる特定の閾値よりも小さくなるようにされていた。成分のどれも無視できない場合、すべての成分を考慮することによってマクロ画素に対して可逆オペレーションを用いることができる。いくつかの実施形態では、特定のマクロ画素に対するＳＬＭが他の領域から独立して作動できる方法を実施することができることにも留意されたい。そのような場合、異なるマクロ画素は異なる圧縮のレベル、高度な圧縮から可逆圧縮までを有することができる。これは、元映像から同時に決定することができる。そのような場合は例えばコンピュータ・モニタで生じることがあり、動作中、スクリーンの領域は停滞しているが、テキストおよび静止画を示すウィンドウのように高精度を必要とすることがあり、または一部は動きをより正確に描写するのに高いフレーム・レートを必要とするが、必ずしも可逆映像再生方式を必要としない速く動いている画像を有することがある。異なるマクロ画素領域には異なるレートでＳＬＭを作動させることによって、画像精度および出力を最適化することができる。Ｄ_uv成分を計算し、どの程度を無視できないかを決定し、それを以前の画像フレームの成分と比較することによってどのマクロ画素をどの精度のモードで作動させるかを決定することができる。それにより、速く動いている画像対遅いまたは停滞した画像、および正確な画像対非可逆圧縮画像を区別することができる。

３０フレーム／秒およびマクロ画素を規定する４×４画素群で動作するＶＧＡ解像度表示装置の例をとり、本発明を使用してＶＧＡ解像度を満たす表示デバイスは以下のものを使用することができる。
１．画素寸法が、意図する解像度よりも水平および垂直に４倍大きく、赤、緑、および青の光要素を有する１６０×１００マクロ画素アレイ。
２．ＬＣＤの下部面の水平ストライプの透明電極および上部面の垂直ストライプの透明電極を使用して、または逆の場合のものを同様に使用して、垂直、水平、および斜め基底関数パターンを生成するパッシブ・マトリクスＬＣＤからなるＳＬＭ。そのようなＳＬＭは１６個の直交基底パターンおよびその逆を生成することができる。電極幅は意図した画素解像度サイズと等しい。総数６４０個の垂直電極および４００個の水平電極がＳＬＭに存在する（より高速で駆動するために各方向に沿って多くの部品に分割することができる）。
３．各フレームのＶＧＡ解像度画像から色ごとに対応するＤ_uv成分を計算する計算デバイス。
４．無視できないすべての係数についてＤ_uvに比例するマクロ画素強度でＳＬＭパターンを駆動する。圧縮した映像源では、最初の７個または８個の支配的な係数を使用すれば、一般に、圧縮した映像を再生するのに十分であるはずである。これは、逆パターンを含めて１３個または１５個の基底関数パターン（３１個から）の生成を必要とすることになる。
５．他の要素が光品質のために必要となることがあり、例えば、マクロ画素区域にわたって一様な光源を生成するために赤、緑、および青の光出力を混合するための光コリメータまたは拡散器などである。

アクティブ画素の数は７６８０００個（３色について）から４８０００個（３色について）まで１６分の１に低減される。表示装置には１６０００個のマクロ画素がある。生画像のデータ・レートは所望の画像圧縮のレベルに依存する。可逆画像再構成では、１６Ｄ_uv成分／マクロ画素／色がある。各Ｄ_uvが８ビット精度で記述される場合、１８４Ｍｂｐｓのデータ・レートを必要とする。これは１２８ビット／マクロ画素／色／フレームに対応する。実際には、Ｄ₀₀成分だけが８ビットの精度である必要があり、一方、高次成分は低精度とすることができる。そのような成分に基づいた精度割当ては、一般に、画像圧縮では量子化マトリクスとして知られている。ある特定の実施形態では、８０ビット／マクロ画素／色／フレームよりも大きい必要がなく、それによりデータ・レートは１２０Ｍｂｐｓまで下がって最適化されることになる。Ｄ₁₂、Ｄ₁₃、Ｄ₂₃などのような斜め空間周波数成分を削減するが、Ｄ₁₁、Ｄ₂₂、Ｄ₃₃を削減しない中間圧縮レベルが使用される場合、全部で１０個の成分で処理している。これらの成分は総数６０ビット／マクロ画素／色／フレームを必要とすることになる。全データ・レートは８６Ｍｂｐｓに低減される。Ｄ₁₁、Ｄ₂₂、Ｄ₃₃を無視する高い圧縮比では、４６ビット／マクロ画素／色／フレームを使用することになる。そのとき、全データ・レートは６６Ｍｂｐｓである。ＳＬＭパターンは、可逆圧縮の場合にはフレームごとに３１回、中間レベル圧縮の場合にはフレームごとに１９回、および高レベル圧縮の場合にはフレームごとに１３回更新される必要がある。粗表示はフレームごとに８回から１５回更新する必要があり、使用されないＳＬＭパターンについてはブランク（黒）になる。３０フレーム／秒では、１３サブフレーム（７成分に対して）を閃光で光らせると、３９０パターン／秒が生成され、すなわち概略で２．５ｍｓｅｃ／サブフレームがもたらされる。１０成分に対して１９サブフレーム使用することによって、５７０ＳＬＭパターン／秒、すなわち１．７ｍｓｅｃ／サブフレームを生成する必要があることになる。可逆画像再生では、総数３１サブフレームが必要であり、それは９３０パターン／秒に等しく、１．１ｍｓｅｃ／サブフレームを必要とする。従来のＬＣＤの整定速度は、より小さい形状の十分に速い液晶材料を使用することによってそのような速度でオン−オフ遷移（すなわち黒から白に）だけを有する空間光変調器として使用されるように十分に速くすることができる。様々なパターンが量子化マトリクスからの精度要件を反映するようにサブフレーム期間を最適化する方法を実施することもできる。

液晶ベースＳＬＭでは、整定時間は、液晶材料スイッチング時間と、一定のキャパシタンスおよび抵抗の金属ラインに印加される電圧の応答時間とを使用してモデル化することができる。金属ラインのために時定数に指数関係が生じる場合、瞬間ステップ電圧を印加すると、応答は、
Ｖ（ｔ）＝Ｖ（０）．（１−ｅｘｐ（−ｔ／ ））
の形になるはずであり、ここで、 はＲＣ時定数である。したがって、ＳＬＭに印加される８ビットの正確な電圧を得るには、所要の最小時間は、１／２⁸の自然対数、すなわち５．５をとることによって見いだすことができる。６ビットの正確な電圧で十分な場合、所要の時間は４．１５まで低減し、４ビットの正確な電圧ではさらに２．７まで低減する。したがって、低次成分項には６〜８ビット精度、および高次成分には４ビットまで下がったものを使用する特定の量子化マトリクスでは、最上位項と比較して、より少ない精度しか必要としない最も高い次数の項には半分の時間まで低減して割り当てることができる。図７に示されるように、固定フレーム周期を有するとすれば、より少ない時間をより低い精度のサブフレームに割り当てることによって、フレーム期間内により多くのサブフレームを押し込むか、またはより多くのスロット時間をより高い精度サブフレームに割り当てることができる。

ＳＬＭは、表示装置の全体に及ぶことができる垂直電極と水平電極とからなる。この場合、クロック発生器によって駆動される８個のドライバだけで、マクロ画素に適用されるすべてのパターンを生成するのに十分である。しかし、長い電極のため、電極のキャパシタンスは、液晶時定数に加えて時定数限界をもたらし始めることがある。ＳＬＭの速度を上げるために、電極をより小さい部分に分割することができ、ドライバ情報を伝え、表示装置のより小さい区域を取り扱う専用ドライバまたはバッファによってより小さい部分の各々は駆動される。

要約すると、直交基底関数分解に基づいた画像圧縮技法を使用する映像表示システムが開示されている。このシステムは、本質的に表示装置の非常に粗く画素化されたマクロ画素、すなわちマクロブロックを使用して画像が構築されるので必要とするアクティブ画素の数が従来の手法よりも非常に少ない。したがって、アクティブ画素表示装置の行および列の数は低減され、その結果、インターフェイスが簡単になる。クロック発生システムから切り離されて動作する空間光変調器がアクティブ・マトリクス表示装置に結合され、その結果、アクティブ画素アレイ上で画像を同期させることを除いて、このシステムにさらなるデータを外部から供給する必要がない。画像が直交画像成分を使用して形成されるので、解凍方式は効力があり、画像を再構成するのに使用されるべき成分の数を切り詰め、表示装置のデータ要件を緩和することができる。この表示装置は、画像成分を切り詰めることにより非可逆解凍画像を生成するように、または圧縮映像入力の可逆再生を有効に行うように製作することができる。特定の動作モードでは、この表示装置はあり得る直交成分をすべて表示することによって可逆映像を再生成することもできる。

本発明の特定の実施形態では、ＬＥＤベース（固体光源）表示システムが液晶空間光変調器に結合される（図９を参照）。表示システムの寸法および解像度が例としておよびシステムの幾何学的態様を明確にするために与えられている。表示システムは、合計４８０００個のアクティブ要素である１６０×１００の赤、緑、および青の光生成ＬＥＤ１００のＬＥＤアレイから構成される。赤、緑、および青のＬＥＤの各々はマクロ画素を画定し、それによって、１６０００個のマクロ画素が存在する。マクロ画素の寸法は、３２ｃｍ×２０ｃｍの表示装置サイズに対応して２ｍｍ×２ｍｍのように選ばれる。一様光を形成するために、光拡散器またはコリメータ・レンズ層１１０（図８）がＬＥＤ１００層上で使用される。画素を分離してクロストークを防止するためにアクティブ・マトリクス表示装置で一般に使用される黒いマトリクス・パターン１１５が、赤、緑、青のＬＥＤ１００を収容するマクロ画素間に使用される。空間光変調器１２０は、２つの直交偏光子１３０、１４０と、ＬＣＤ内において互いに垂直である透明電極の２つの平行平面１５０、１６０とからなるＬＣＤのパッシブ・マトリクス実装を使用して構築される（図１０を参照）。電極幅は各々０．４８ｍｍであり、それによって、４個の横並びの電極はマクロ画素と同じ幅を占める。電極の長さは数個のマクロ画素の長さまで及ぶことができ、電極のキャパシタンスによるＬＣＤのスイッチング速度によって制限される。電極１５０と１６０との間のＬＣＤの容積は液晶材料１７０で充填される。電極はＩｎＴｎＯなどの透明導電性材料から製造され、意図した解像度と等しいフィーチャ・サイズを有する。マクロ画素中の８個の電極、すなわち上部プレートの４個、下部プレートの４個、の各々は個別に選択することができる。基本画像パターンはこれらの電極に電圧を印加することによって生成される。必要な電圧波形は、電界が液晶を最大角に傾斜させ、それにより光の偏光が直交偏光子１３０と１４０との間で最大透過のために約９０度まで回転されるようなものである。印加電圧は、さもないと時間依存劣化を引き起こすことになる液晶で見られるメモリ効果を消去するために正極性および負極性の両方を有することができる。ＶＧＡ解像度映像源１８０を使用して、６４０×４００画素の固有解像度を有する生映像画像を生成する。処理デバイス１９０を使用して、１６０×１００マクロ画素に対して必要な駆動係数を生成する。３０ｆｐｓのフレーム・レートでは、赤、緑、および青の色を同時に処理することができるので、各色画像は最大の概略３３ｍｓｅｃ期間を割り当てられる。ＬＣＤ空間光変調器のオン−オフ遷移の１ｍｓｅｃスイッチング速度では、可逆再生のために十分な画像成分係数を容易に押し込むことができる。マクロ画素ごとに、画像分解アルゴリズムは、各色が使用する各直交基底関数に対応して係数を決定する。ｕおよびｖが０から３に及ぶとして、分解係数Ｄ_uvが計算される。これらの係数は、対応するマスキング・パターンｗ_uvによるマクロ画素を構成する１６個の画素値の和である。使用されるべき分解係数の数は、高次係数が結局ゼロになる圧縮源での１〜８から、画像の可逆再構成での１６個の係数のフルセットまで選択することができる。表示装置の一部は動作中に異なる圧縮レベルを有することもでき、画像プロセッサはそれを画像プロセッサが計算する分解係数値に応じて決定することができる。空間光変調器１２０のパターンは、パターンｗ₀₀、ｗ₀₁、ｗ₀₂、ｗ₀₃、ｗ₁₀、ｗ₂₀、ｗ₃₀、ｗ₁₁、ｗ₂₂、ｗ₃₃、ｗ₁₂、ｗ₂₁、ｗ₁₃、ｗ₃₁、ｗ₂₃、ｗ₃₂を順番に並べるカウンタ・ベース論理回路によって駆動される。分解係数が高次項に対して無視できる場合、カウンタは任意の点でリセットし、それによってデータ・レートを低減し、より多くの時間を割り当てることによって低次項の精度を改善することができる。必要ならば、ちらつき効果を低減するために、ｗ₀₀パターンは数個のサブフレームに分割し、適切に正規化された対応する成分強度Ｄ^c _uvと共にパターン・シーケンス中に相互分散することができる。これは、より短いサブフレーム・パターン期間を犠牲にすることになる。

１００ ＬＥＤアセンブリ； １１０ 光拡散器； １２０ 空間光変調器；
１３０、１４０ 偏光子； １７０ 液晶。

映像および静止画像は、一般に、ＭＰＥＧ４、Ｈ．２６４、ＪＰＥＧ２０００などフォーマットおよびシステムのような記憶および送信のための圧縮形態に変換される。画像圧縮法は、データの直交関数分解、データ冗長度、空間フィーチャに対する人間の眼のある感度特性に基づく。一般の画像圧縮方式は、ＪＰＥＧもしくはモーションＪＰＥＧ、または離散的ウォルシュ変換におけるような直接コサイン変換の使用を含む。映像復号器を使用して、一連の直交基底関数係数である圧縮画像情報を行および列画素情報に変換し、例えば、ＶＧＡ解像度表示装置におけるような６Ｍｂｉｔ／フレームとなる画像情報を生成する。しかし、情報量の観点から、この映像情報の大部分は、画像が当初圧縮形態に処理されたように実際には冗長であるか、または人間の眼が反応しない高次の空間周波数の情報量を有する。これらの技法はすべてソフトウェアまたはデジタル処理領域における表示システムの構成要素に関係し、Ｍ×Ｎ画素で構成された実際の光表示装置の構造は、画素数およびフレーム・レート以外に、映像フォーマットで使用される技法のどれによっても変更されない。

空間光変調器（ＳＬＭ）は、２次元の透過または反射光ビームの振幅もしくは位相、または両方を変更し、それによって、さもなければ一様の光照明に画像を符号化するデバイスである。画像画素は電気的または光学的アドレス指定手段によってデバイスに書き込むことができる。空間光変調器の簡単な形態は映画フィルムであり、画像は銀被覆フィルムに光化学手段によって符号化される。ＬＣＤシステムは、さらに、各画素の情報が電気的手段によって特定の位置に符号化されるような特定の種類のＳＬＭであり、一般に表示区域全体にわたって均一であるバックライト式光源の空間プロファイルが画素の透過率によって変更される。

この分野の従来技術では、一般に、当面の問題の単一の構成要素がアドレス指定される。例えば、画像圧縮および解凍技法は、表示要素に直接適用されるのではなく、表示のためのデータの送信、記憶、ならびに画像再調整および準備にのみ適用されてきた（米国特許第６，４７７，２７９号のように）。画素をオンオフして、様々な度合の変調を有するようにバックライトを透過させる空間光変調を組み込むシステムを実装することができ（例えば、米国特許第６，１１１，５６０号のような多行選択）またはバックライトおよび画像変調を共に使用して画像の解像度を増強することができる（米国特許出願公開第２００７／００３５７０６号および２００８／０１３７９９０号のように）。特に後者の出願および関連する開示では、画像構築方法のどれもこの開示の主題である画像フレームの合成に時間の次元を組み込んでいない。それによって、フレーム単位で画素ごとに画像を表示する従来の方法を代表する両方のシステムは、インターフェイスの本質的な簡素化と、映像が送信される画像圧縮処理に埋め込まれるデータ・スループットとから利益を得ていない。

本発明の一態様は、高いフレーム・レートで動作する粗画素化光アレイと、同じフレーム・レートにおいて基礎をなす光源よりも細かい解像度の直交基底関数に関係する一定のパターンを生成する空間光変調器とを使用して生成されるサブフレームの多数の画像成分を連続的に表示することによって画像および／または映像を構築する表示方法およびシステムである。画像構築システムは、空間光変調器を使用して映像画像を符号化することによって成分が時間領域に分配される画像圧縮成分の使用を利用する。フレームごとに、駆動されるべき元画像が、まず、ｎ_x×ｎ_y画素から成る一定のサイズに一緒にグループ化される。例えば、画像を、４×４または８×８画素、４×１、８×１の矩形群、または１次元もしくは２次元の直交基底関数を生成することができるという条件付きで他の任意の群サイズに分割することができる。１×１の場合はいかなる圧縮の利点もなく、従来の表示システムで使用される方法に対応する。群サイズはフレーム・レートによって制限され、そのフレーム・レートは本明細書で説明される成分のスイッチング速度と画像圧縮比とによって制限される。各画像群、すなわちここから参照されることになる粗画素は、一連の前記直交画像基底関数に比例する成分に分解される（直交分解）。これら画像関数は、基礎をなす光の振幅および／または位相を変調する空間光変調器を使用して表示装置ハードウェアで実施され、その結果、直交画像基底関数の所望の空間プロファイルを有する。画像基底関数が、４×４画素群について図３に、および８×８画素群について図４に示される。図示された特定の基底関数は、一般に、ウォルシュ関数としても知られている。直接コサイン変換基底関数などの他の基底関数を、空間光変調器がコサイン形振幅プロファイルを生成することができるという前提で基底関数パターンに使用することができる。４×１または８×１群では、基底関数は各図の第１列のものである。これらの図において、暗い区域は０％の透過率、すなわち光の阻止を表し、白い区域は理想的には１００％の透過率を表す。この定義は、基底関数が０または＋１とは全く異なる−１または＋１を有するという点で画像圧縮技法で使用される定義とは異なることに留意されたい。この差異を補正する方法が本明細書で説明される。４×４画素の第１の群では１６個の基底関数があり、一方、後者の８×８画素の群では６４個の基底関数がある。基底関数をｗ_uv（ｘ，ｙ）と表し、ここで、ｕおよびｖは基底関数指数であり、ｘ、ｙは画素群寸法の区域にまたがる直交座標である。ｆ^c（ｘ，ｙ）を色成分の２次元画像情報として表す。ここで、上付き添字ｃは赤、緑、または青の色（原色）を表す。この方法はグレイスケール画像でも同様であり、グレイスケール画像の場合にはｆ（ｘ，ｙ）は画像の輝度に比例することになる。データ・レートの観点から効率が低くなり、圧縮ベースの方法よりも空間光変調器スイッチング速度に厳しい制約条件がある図５に示されるような可逆画像構築にも空間光変調器を使用する粗画素区域の高速マスキングは使用することができる。そのような場合、粗画素群から１つの画素だけがマスキング・パターンを通して透過されるので、この実施形態の出力効率は非常に低い。２×２画素群では、最大平均透過率は２５％であり、４×４および８×８群では非常に小さいが、それは粗画素中の１６個および６４個の画素から一度に１つの画素が透過されるからである。画像分解ベース方式では、透過光は、Ｄ₀₀と比較して小さいＤ_uvの非ゼロ空間成分に関する画素の半分で阻止される。画素の平均透過率値は常に７５％よりも大きい（偏光子損失などの他の実装損失は考慮に入れない）。

図３および図４に示されるような基底関数により画像データを積分することによって見いだされる成分にいかなる画像も分解することができる。両方の図の左上の関数は一様関数ｗ₀₀である。右の方に進むに従って、関数は水平方向に変化し、指数値「０ｖ」が高くなると共に変動が速くなる。より高い指数は、より高い空間周波数を有する画像関数に関係する。同様に、垂直方向の基底関数の変動は、指数「ｕ０」を有する垂直空間周波数成分によって説明される。他の基底関数成分はｗ_iiなどの対角成分および非対角成分ｗ_ijとすることができ、ここで、ｉおよびｊは非ゼロであり、異なる。空間的離散関数である映像画素アレイでは、この積分は和の形態である。画像成分をＤ^c _uvと表記し、ここで、ｕおよびｖは２次元における基底関数指数であり、ｃは色成分の赤、緑、または青を表す。そうすると、Ｄ^c _uvは、

から決定される。

粗画素化表示源を使用して画像を表示しようとする場合、Ｄ^c ₀₀は単一の「画素」（本明細書で使用される定義の粗画素と同じである）の光強度にも比例する。

ほとんどの場合、Ｄ^c ₀₀は、＋１および０のマッピングを使用して引き出された画像成分の残りの合計よりも大きいかまたは等しい。したがって、Ｄ^c ₀₀からこれらの非ゼロ積分成分の各々を引き算すると、ゼロよりも大きいかまたは等しいはずである。例えば、Ｄ^c ₀₁成分を考える。＋１および−１の値を有するオリジナルのウォルシュ関数としてｗ_uv （ｘ，ｙ）を示す。−１および＋１の代わりに０および１の値をとることができる、ｗ_uv （ｘ，ｙ）を置き換える新しい基底関数ｗ^* _uv （ｘ，ｙ）＝（ｗ _uv （ｘ，ｙ）＋１）／２を使用することによって、ｗ^* _uv （ｘ，ｙ）は画像構築式の式２を

に変換することになる。

基底関数がすべて１に等しい（ｗ₀₀）場合に表示されるべき成分値は、式３の第２項におけるように００成分を除くすべてのＤ^c _uvの和で補正されなければならない。圧縮の際のように基底関数のサブセットが使用される場合、和は使用されるＤ^c _uv 画像成分だけに及ぶべきであることに留意されたい。ここでは、平均成分の総計がオリジナルのＤ^c ₀₀値と等しいことになるので、更新されたＤ^c ₀₀成分はオリジナルの値の代わりに画像構築に使用される。

フレームごとに、映像画像は、
１．粗画素ごと、ｕｖ成分ごと、および色ごとに画像ｆ^c（ｘ，ｙ）に関連する画像成分強度Ｄ^c _uvを計算する、
２．ｗ^* _uv（ｘ，ｙ）に対応する空間光変調器の使用によって光強度マスクを適用する、
３．粗画素ごとにＤ_uvに比例する光を適用する
ことによって構築される。カラー表示では、３色の光要素が画素群ごとに使用される。赤、緑、および青の光源の光強度は、色ごとに計算されたＤ^c _uvにより調整される。光強度は、どの光源が使用されるかに応じて、電圧、電流、および／または光源のオン時間で調整される知覚強度のうちの少なくとも１つを調整することによって調整することができる。Ｄ^c _uv 画像成分は実際には正または負の値を使用することができる。負の画像成分の場合には、光強度は画像成分の絶対値であるが、画像の再構成の際マスキング・パターンの逆を使用する。

カラー画像では、赤、緑、および青の光源はそれぞれのＤ^c _uv値に比例して同時にまたは時系列的に光ることができる。赤、緑、青の画像が別々に閃光で光る時系列の場合、ＳＬＭシャッター速度は同時の場合よりも３倍速くなければならない。同時の場合、すべての成分値が同じ符号を有するか、または成分値のうちの１つが他の２つと異なる符号を有するかのいずれかの場合がある。いかなる粗画素でも、各色成分が必ずしも同じ符号を有するとは限らないので、ｗ^* _uvおよびその逆のパターンの両方を表示する必要がある場合がある。したがって、ＳＬＭはサブフレームごとにすべての基底関数とその逆のものとを生成することになる。逆基底関数の成分がない場合、表示されるべき粗画素値はゼロに等しいことになる。

一般に、ＳＬＭ制御は理想的には表示装置全体に及ぶことになるか、またはより小さい区画に細分される場合があり、そのためｗ^* _uvおよびその逆パターンの両方が必要になると予想される。スイッチングおよび駆動方式がより複雑になるという犠牲を払って、ＳＬＭが各粗画素にわたって制御される場合、使用されない基底関数のサブフレームは含まれる必要がない。

画像圧縮は可逆変換または非可逆変換のどちらにもすることができる。可逆変換では、利用可能な画像成分から忠実度損失のない画像を構築することができる。非可逆圧縮ベースの分解では、ある一定の成分を無視することになり、その結果、無視されなかった成分で画像を構築するとき、画像品質が損なわれることがある。大部分の映像および静止画像では、非可逆圧縮がデータのサイズを低減するために使用される。非可逆圧縮では、通常、ある一定の閾値未満の画像成分、および人間の眼の感度が低い画像成分を無視することになる。これらは、一般に、対角項および非対角項に関連する高次の空間周波数をもつ項である。圧縮は、基本的に、所与の画像誤り限界に対してできるだけ少ない項で画像を描写しようとすることになる。ほとんどの場合、最初に落とされる項は非対角成分であり、続いて対角項であり、高次の項から低次の項に至る。Ｄ₀₀、Ｄ₀₁、Ｄ₀₂、Ｄ₀₃、Ｄ₁₀、Ｄ₁₁などからＤ₃₃までの１６個の画像成分を有するはずの４×４画素群を例にとると、基底関数ｗ^* ₀₀からｗ^* ₃₃、およびこれらの成分の逆（ｗ^* ₀₀を除いて）を使用して、３１個の成分をすべて使用する場合、オリジナルの画像が正確に再構成されることになる。画像圧縮では、大部分の画像は、無視された斜め空間成分を有することになる。水平および垂直画像成分しか使用しない表示システムが場合によっては十分であることがある。画像精度を改善するために、Ｄ₁₁、Ｄ₂₂、および／またはＤ₃₃などの対角空間周波数成分を加えることもできる。Ｄ₁₂、Ｄ₁₃、Ｄ₂₃などのような斜め成分は無視することができる。例えばＭＰＥＧ圧縮を使用する大部分の映像源では、そのような成分は、記憶および送信のために映像自体を圧縮するように実際には大部分が完全に除去されるか、または無視できると見なせる特定の閾値よりも小さくなるようにされていた。画像成分が無視されると、フレーム時間は、少なくとも１つの他の画像成分のサブフレーム時間を拡大することによって再配分することができる。そうしなくても、データ低減は達成される。成分のどれも無視できない場合、すべての成分を考慮することによって粗画素に対して可逆オペレーションを用いることができる。いくつかの実施形態では、特定の粗画素に対するＳＬＭが他の領域から独立して作動できる方法を実施することができることにも留意されたい。そのような場合、異なる粗画素は異なる圧縮のレベル、高度な圧縮から可逆圧縮までを有することができる。これは、元映像から同時に決定することができる。そのような場合は例えばコンピュータ・モニタで生じることがあり、動作中、スクリーンの領域は停滞しているが、テキストおよび静止画を示すウィンドウのように高精度を必要とすることがあり、または一部は動きをより正確に描写するのに高いフレーム・レートを必要とするが、必ずしも可逆映像再生方式を必要としない速く動いている画像を有することがある。異なる粗画素には異なるレートでＳＬＭを作動させることによって、画像精度および出力を最適化することができる。Ｄ_uv成分を計算し、どの程度を無視できないかを決定し、それを以前の画像フレームの成分と比較することによってどの粗画素をどの精度のモードで作動させるかを決定することができる。それにより、速く動いている画像対遅いまたは停滞した画像、および正確な画像対非可逆圧縮画像を区別することができる。

３０フレーム／秒および粗画素を規定する４×４画素群で動作するＶＧＡ解像度表示装置の例をとり、本発明を使用してＶＧＡ解像度を満たす表示デバイスは以下のものを使用することができる。
１．画素寸法が、意図する解像度よりも水平および垂直に４倍大きく、赤、緑、および青の光要素を有する１６０×１００粗画素アレイ。
２．ＬＣＤの下部面の水平ストライプの透明電極および上部面の垂直ストライプの透明電極を使用して、または逆の場合のものを同様に使用して、垂直、水平、および斜め基底関数パターンを生成するパッシブ・マトリクスＬＣＤからなるＳＬＭ。そのようなＳＬＭは１６個の直交基底パターンおよびその逆を生成することができる。電極幅は意図した画素解像度サイズと等しい。総数６４０個の垂直電極および４００個の水平電極がＳＬＭに存在する（より高速で駆動するために各方向に沿って多くの部品に分割することができる）。
３．各フレームのＶＧＡ解像度画像から色ごとに対応するＤ_uv成分を計算する計算デバイス。
４．無視できないすべての画像成分についてＤ_uvに比例する粗画素強度でＳＬＭパターンを駆動する。圧縮した映像源では、最初の７個または８個の支配的な係数を使用すれば、一般に、圧縮した映像を再生するのに十分であるはずである。これは、逆パターンを含めて１３個または１５個の基底関数パターン（３１個から）の生成を必要とすることになる。
５．他の要素が光品質のために必要となることがあり、例えば、粗画素区域にわたって一様な光源を生成するために赤、緑、および青の光出力を混合するための光コリメータまたは拡散器などである。

アクティブ画素の数は７６８０００個（３色について）から４８０００個（３色について）まで１６分の１に低減される。表示装置には１６０００個の粗画素がある。生画像のデータ・レートは所望の画像圧縮のレベルに依存する。可逆画像再構成では、１６Ｄ_uv成分／粗画素／色がある。各Ｄ_uvが８ビット精度で記述される場合、１８４Ｍｂｐｓのデータ・レートを必要とする。これは１２８ビット／粗画素／色／フレームに対応する。実際には、Ｄ₀₀成分だけが８ビットの精度である必要があり、一方、高次成分は低精度とすることができる。そのような成分に基づいた精度割当ては、一般に、画像圧縮では量子化マトリクスとして知られている。ある特定の実施形態では、８０ビット／粗画素／色／フレームよりも大きい必要がなく、それによりデータ・レートは１２０Ｍｂｐｓまで下がって最適化されることになる。Ｄ₁₂、Ｄ₁₃、Ｄ₂₃などのような斜め空間周波数成分を削減するが、Ｄ₁₁、Ｄ₂₂、Ｄ₃₃を削減しない中間圧縮レベルが使用される場合、全部で１０個の成分で処理している。これらの成分は総数６０ビット／粗画素／色／フレームを必要とすることになる。全データ・レートは８６Ｍｂｐｓに低減される。Ｄ₁₁、Ｄ₂₂、Ｄ₃₃を無視する高い圧縮比では、４６ビット／粗画素／色／フレームを使用することになる。そのとき、全データ・レートは６６Ｍｂｐｓである。ＳＬＭパターンは、可逆圧縮の場合にはフレームごとに３１回、中間レベル圧縮の場合にはフレームごとに１９回、および高レベル圧縮の場合にはフレームごとに１３回更新される必要がある。粗表示はフレームごとに８回から１５回更新する必要があり、使用されないＳＬＭパターンについてはブランク（黒）になる。３０フレーム／秒では、１３サブフレーム（７成分に対して）を閃光で光らせると、３９０パターン／秒が生成され、すなわち概略で２．５ｍｓｅｃ／サブフレームがもたらされる。１０成分に対して１９サブフレーム使用することによって、５７０ＳＬＭパターン／秒、すなわち１．７ｍｓｅｃ／サブフレームを生成する必要があることになる。可逆画像再生では、総数３１サブフレームが必要であり、それは９３０パターン／秒に等しく、１．１ｍｓｅｃ／サブフレームを必要とする。従来のＬＣＤの整定速度は、より小さい形状の十分に速い液晶材料を使用することによってそのような速度でオン−オフ遷移（すなわち黒から白に）だけを有する空間光変調器として使用されるように十分に速くすることができる。様々なパターンが量子化マトリクスからの精度要件を反映するようにサブフレーム期間を最適化する方法を実施することもできる。

液晶ベースＳＬＭでは、整定時間は、液晶材料スイッチング時間と、一定のキャパシタンスおよび抵抗の金属ラインに印加される電圧の応答時間とを使用してモデル化することができる。金属ラインのために時定数に指数関係が生じる場合、瞬間ステップ電圧を印加すると、応答は、
Ｖ（ｔ）＝Ｖ（０）．（１−ｅｘｐ（−ｔ／τ））
の形になるはずであり、ここで、τはＲＣ時定数である。したがって、ＳＬＭに印加される８ビットの正確な電圧を得るには、所要の最小時間は、１／２⁸の自然対数、すなわち５．５τをとることによって見いだすことができる。６ビットの正確な電圧で十分な場合、所要の時間は４．１５τまで低減し、４ビットの正確な電圧ではさらに２．７τまで低減する。したがって、低次成分項には６〜８ビット精度、および高次成分には４ビットまで下がったものを使用する特定の量子化マトリクスでは、最上位項と比較して、より少ない精度しか必要としない最も高い次数の項には半分の時間まで低減して割り当てることができる。図７に示されるように、固定フレーム周期を有するとすれば、より少ない時間をより低い精度のサブフレームに割り当てることによって、フレーム期間内により多くのサブフレームを押し込むか、またはより多くのスロット時間をより高い精度サブフレームに割り当てることができる。

ＳＬＭは、表示装置の全体に及ぶことができる垂直電極と水平電極とからなる。この場合、クロック発生器によって駆動される８個のドライバだけで、粗画素に適用されるすべてのパターンを生成するのに十分である。しかし、長い電極のため、電極のキャパシタンスは、液晶時定数に加えて時定数限界をもたらし始めることがある。ＳＬＭの速度を上げるために、電極をより小さい部分に分割することができ、ドライバの情報を伝え、表示装置のより小さい区域を取り扱う専用ドライバまたはバッファによってより小さい部分の各々は駆動される。

要約すると、直交基底関数分解に基づいた画像圧縮技法を使用する映像表示システムが開示されている。このシステムは、本質的に表示装置の非常に粗く画素化された粗画素、すなわち粗ブロックを使用して画像が構築されるので必要とするアクティブ画素の数が従来の手法よりも非常に少ない。したがって、アクティブ画素表示装置の行および列の数は低減され、その結果、インターフェイスが簡単になる。クロック発生システムから切り離されて動作する空間光変調器がアクティブ・マトリクス表示装置に結合され、その結果、アクティブ画素アレイ上で画像を同期させることを除いて、このシステムにさらなるデータを外部から供給する必要がない。画像が直交画像成分を使用して形成されるので、解凍方式は効力があり、画像を再構成するのに使用されるべき成分の数を切り詰め、表示装置のデータ要件を緩和することができる。この表示装置は、画像成分を切り詰めることにより非可逆解凍画像を生成するように、または圧縮映像入力の可逆再生を有効に行うように製作することができる。特定の動作モードでは、この表示装置はあり得る直交成分をすべて表示することによって可逆映像を再生成することもできる。

本発明の特定の実施形態では、ＬＥＤベース（固体光源）表示システムが液晶空間光変調器に結合される（図９を参照）。表示システムの寸法および解像度が例としておよびシステムの幾何学的態様を明確にするために与えられている。表示システムは、合計４８０００個のアクティブ要素である１６０×１００の赤、緑、および青の光生成ＬＥＤ１００のＬＥＤアレイから構成される。赤、緑、および青のＬＥＤの各々は粗画素を画定し、それによって、１６０００個の粗画素が存在する。粗画素の寸法は、３２ｃｍ×２０ｃｍの表示装置サイズに対応して２ｍｍ×２ｍｍのように選ばれる。一様光を形成するために、光拡散器またはコリメータ・レンズ層１１０（図８）がＬＥＤ１００層上で使用される。画素を分離してクロストークを防止するためにアクティブ・マトリクス表示装置で一般に使用される黒いマトリクス・パターン１１５が、赤、緑、青のＬＥＤ１００を収容する粗画素間に使用される。空間光変調器１２０は、２つの直交偏光子１３０、１４０と、ＬＣＤ内において互いに垂直である透明電極の２つの平行平面１５０、１６０とからなるＬＣＤのパッシブ・マトリクス実装を使用して構築される（図１０を参照）。電極幅は各々０．４８ｍｍであり、それによって、４個の横並びの電極は粗画素と同じ幅を占める。電極の長さは数個の粗画素の長さまで及ぶことができ、電極のキャパシタンスによるＬＣＤのスイッチング速度によって制限される。電極１５０と１６０との間のＬＣＤの容積は液晶材料１７０で充填される。電極はＩｎＴｎＯなどの透明導電性材料から製造され、意図した解像度と等しいフィーチャ・サイズを有する。粗画素中の８個の電極、すなわち上部プレートの４個、下部プレートの４個、の各々は個別に選択することができる。基本画像パターンはこれらの電極に電圧を印加することによって生成される。必要な電圧波形は、電界が液晶を最大角に傾斜させ、それにより光の偏光が直交偏光子１３０と１４０との間で最大透過のために約９０度まで回転されるようなものである。印加電圧は、さもないと時間依存劣化を引き起こすことになる液晶で見られるメモリ効果を消去するために正極性および負極性の両方を有することができる。ＶＧＡ解像度映像源１８０を使用して、６４０×４００画素の固有解像度を有する生映像画像を生成する。処理デバイス１９０を使用して、１６０×１００粗画素に対して必要な駆動画像成分を生成する。３０ｆｐｓのフレーム・レートでは、赤、緑、および青の色を同時に処理することができるので、各色画像は最大の概略３３ｍｓｅｃ期間を割り当てられる。ＬＣＤ空間光変調器のオン−オフ遷移の１ｍｓｅｃスイッチング速度では、可逆再生のために十分な画像成分を容易に押し込むことができる。粗画素ごとに、画像分解アルゴリズムは、各色が使用する各直交基底関数に対応して画像成分を決定する。ｕおよびｖが０から３に及ぶとして、分解画像成分Ｄ_uvが計算される。これらの画像成分は、対応するマスキング・パターンｗ_uvによる粗画素を構成する１６個の画素値の和である。使用されるべき分解画像成分の数は、高次画像成分が結局ゼロになる圧縮源での１〜８から、画像の可逆再構成での１６個の画像成分のフルセットまで選択することができる。表示装置の一部は動作中に異なる圧縮レベルを有することもでき、画像プロセッサはそれを画像プロセッサが計算する分解画像成分値に応じて決定することができる。空間光変調器１２０のパターンは、パターンｗ₀₀、ｗ₀₁、ｗ₀₂、ｗ₀₃、ｗ₁₀、ｗ₂₀、ｗ₃₀、ｗ₁₁、ｗ₂₂、ｗ₃₃、ｗ₁₂、ｗ₂₁、ｗ₁₃、ｗ₃₁、ｗ₂₃、ｗ₃₂を順番に並べるカウンタ・ベース論理回路によって駆動される。分解画像成分が高次項に対して無視できる場合、カウンタは任意の点でリセットし、それによってデータ・レートを低減し、より多くの時間を割り当てることによって低次項の精度を改善することができる。必要ならば、ちらつき効果を低減するために、ｗ₀₀パターンは数個のサブフレームに分割し、適切に正規化された対応する成分強度Ｄ^c _uvと共にパターン・シーケンス中に相互分散することができる。これは、より短いサブフレーム・パターン期間を犠牲にすることになる。

Claims (39)

1. 映像システムであって、
   各粗画素がカラー動作では１組の原色光源で、またはグレイスケール動作では白色光源で構成されるＭ×Ｎ粗画素のアレイを有する映像表示装置であり、各光源の強度が制御可能である、映像表示装置を備え、
   前記Ｍ×Ｎ粗画素のアレイに整列されていて、光を阻止または通過させるための空間マスキング・パターンを生成する空間光変調器を備え、前記空間マスキング・パターンが前記粗画素のサイズよりｐ倍細かい解像度を有しており、
   表示されるべき映像情報を受け、前記空間光変調器を制御して前記空間マスキング・パターンを生成するように、且つ、生成される前記空間マスキング・パターンに対応した前記Ｍ×Ｎ粗画素のそれぞれ毎に１つまたは複数の光源に駆動情報を供給する画像成分を生成するように構成された画像プロセッサを備え、
   それによって、前記Ｍ×Ｎ粗画素よりもｐ倍まで細かい解像度で画像を表示することができる、映像システム。
2. 前記映像システムが映像および静止画像を表示することができる、請求項１に記載の映像システム。
3. 前記画像プロセッサが、前記映像情報を、粗画素ごとに一連の直交画像基底関数に比例する成分に分解し、前記空間光変調器が画像再構成のために直交基底関数に対応する空間マスキング・パターンを生成する、請求項１に記載の映像システム。
4. グレイスケール画像では、前記画像プロセッサは、ｕおよびｖが前記基底関数の指数であり、ｘおよびｙが前記粗画素の座標であるとして、粗画素ごとに前記画像ｆ^c（ｘ，ｙ）に関係する前記画像成分Ｄ_uvを計算し、ｗ^*＝（ｗ＋１）／２であり、ｗが直交基底関数であるとして、ｗ^* _uv（ｘ，ｙ）に対応する空間光変調器の使用によって光強度マスクを適用し、粗画素ごとに前記光源にＤ_uvに比例する駆動情報を供給する、請求項３に記載の映像システム。
5. 負である画像成分Ｄ_uvでは、前記それぞれのマスキング・パターンの逆が使用される、請求項４に記載の映像システム。
6. カラー画像では、前記画像プロセッサは、ｕおよびｖが前記基底関数の指数であり、ｘおよびｙが前記粗画素の座標であるとして、各粗画素の色ごとに前記画像ｆ^c（ｘ，ｙ）に関係する前記画像成分Ｄ^c _uvを計算し、ｗ^*＝（ｗ＋１）／２であり、ｗが直交基底関数であるとして、ｗ^* _uv（ｘ，ｙ）に対応する空間光変調器の使用によって光強度マスクを適用し、粗画素ごとに前記それぞれの色光源にＤ_uvに比例する駆動情報を供給する、請求項３に記載の映像システム。
7. 負である画像成分Ｄ^c _uvでは、前記それぞれのマスキング・パターンの逆が使用される、請求項６に記載の映像システム。
8. 前記光源が原色固体光源である、請求項１に記載の映像システム。
9. 前記原色固体光源が赤、緑、および青のＬＥＤ光源である、請求項８に記載の映像システム。
10. 前記空間光変調器が、アクティブまたはパッシブ・マトリクス液晶空間光変調器である、請求項１に記載の映像システム。
11. 前記空間光変調器がすべての粗画素に対して同じ空間マスキング・パターンを同時に生成するように構成される、請求項３に記載の映像システム。
12. 前記空間光変調器が多数の粗画素のアレイに対して同じ空間マスキング・パターンを同時に生成するように構成され、前記多数の粗画素のアレイが前記Ｍ×Ｎ粗画素のアレイのサブアレイであり、それによって、前記空間マスキング・パターンのタイミングが任意の１つのサブアレイ内の各粗画素に対して同時であることになり、異なるサブアレイ内の各パターンのタイミングが異なり得る、請求項３に記載の映像システム。
13. 前記空間光変調器が粗画素ごとに空間マスキング・パターンを別々に生成するように構成され、それによって、異なる粗画素の各パターンの前記タイミングが異なり得る、請求項３に記載の映像システム。
14. 前記空間マスキング・パターンが低次および高次の空間周波数成分を有し、前記画像プロセッサが低次の空間周波数成分を有する前記空間マスキング・パターンに、より多くの時間を割り当て、高次の空間周波数成分を有する前記空間マスキング・パターンに、より少ない時間を割り当てる、請求項３に記載の映像システム。
15. 前記空間マスキング・パターンが低次および高次の空間周波数成分を有し、前記画像プロセッサが少なくとも１つの高次の空間マスキング・パターンを少なくとも一度無視するように構成される、請求項３に記載の映像システム。
16. 前記画像プロセッサが、少なくとも１つの高次の空間マスキング・パターンを無視する場合、無視されない空間マスキング・パターンのうちの少なくとも１つに、より多くの時間を割り当てる、請求項１５に記載の映像システム。
17. 無視されるべき前記少なくとも１つの高次の空間マスキング・パターンがその空間マスキング・パターンの前記画像成分に応答して前記画像プロセッサによって選ばれる、請求項１５に記載の映像システム。
18. 前記空間マスキング・パターンが低次および高次の空間周波数成分を有し、前記画像プロセッサが、前記低次の空間周波数成分に対応する利用可能な画像係数のサブセットを使用することによって前記映像システムに適用される映像データ・レートを低減するように構成される、請求項１に記載の映像システム。
19. 前記表示装置の任意の所与の粗画素用の画像を再生するのに使用されるべき画像成分の数が、ある一定の閾値を使用することによって前記画像プロセッサにおいて動的に決定され、前記閾値を下回ると、前記サブアレイを表示するときに前記成分が廃棄される、請求項１２に記載の映像システム。
20. 前記空間マスキング・パターンが低次および高次の空間周波数成分を有し、粗画素ごとの前記画像成分が、低次のマスキング・パターンに関連する画像成分に、より多くのビットを、および高次のマスキング・パターンに関連する画像成分に、より少ないビットを割り当てる量子化マトリクスによって決定されるビット精度で記述され、それによって、総合映像データ・レートを低減する、請求項３に記載の映像システム。
21. 映像画像を表示する方法であって、
    映像画像をＭ×Ｎ粗画素のアレイに分割するステップを備え、各粗画素は、カラー動作では１組の原色光源で、グレイスケール動作では白色光源で構成されており、
    前記Ｍ×Ｎ粗画素のアレイに整列されていて、光を阻止または通過させるための空間マスキング・パターンを生成する空間光変調器を準備するステップを備え、前記空間マスキング・パターンが前記粗画素のサイズよりｐ倍細かい解像度を有しており、
    前記空間光変調器を制御して前記空間マスキング・パターンを生じるように、且つ、生成される前記空間マスキング・パターンに対応した前記Ｍ×Ｎ粗画素のそれぞれ毎に１つまたは複数の光源に駆動情報を供給する画像成分を生成するように、制御および生成するステップを備え、
    それによって、得られる映像画像は前記Ｍ×Ｎ粗画素よりもｐ倍まで細かい解像度で表示される、映像画像を表示する方法。
22. 前記映像情報が、粗画素ごとに一連の直交画像基底関数に比例する成分に分解され、前記空間光変調器が画像再構成のために直交基底関数に対応する空間マスキング・パターンを生成するように制御される、請求項２１に記載の方法。
23. グレイスケール画像では、ｕおよびｖが前記基底関数の指数であり、ｘおよびｙが前記粗画素の座標であるとして、前記画像ｆ^c（ｘ，ｙ）に関係する画像成分Ｄ_uvが粗画素ごとに計算され、ｗ^*＝（ｗ＋１）／２であり、ｗが直交基底関数であるとして、光強度マスクが、ｗ^* _uv（ｘ，ｙ）に対応する空間光変調器の使用によって適用され、粗画素ごとに前記光源に与えられるＤ_uvに比例する駆動情報が前記光源に供給される、請求項２２に記載の方法。
24. 負である画像成分Ｄ_uvでは、前記それぞれのマスキング・パターンの逆が使用される、請求項２３に記載の方法。
25. カラー画像では、ｕおよびｖが前記基底関数の指数であり、ｘおよびｙが前記粗画素の座標であるとして、各粗画素の色ごとに前記画像ｆ^c（ｘ，ｙ）に関係する前記画像成分Ｄ^c _uvが計算され、ｗ^*＝（ｗ＋１）／２であり、ｗが直交基底関数であるとして、光強度マスクが、ｗ^* _uv（ｘ，ｙ）に対応する空間光変調器の使用によって適用され、粗画素ごとの前記それぞれの色光源のＤ_uvに比例する駆動情報が前記光源に供給される、請求項２２に記載の方法。
26. 負である画像成分Ｄ_uvでは、前記それぞれのマスキング・パターンの逆が使用される、請求項２５に記載の方法。
27. 前記光源が原色固体光源である、請求項２１に記載の方法。
28. 前記原色固体光源が赤、緑、および青のＬＥＤ光源である、請求項２７に記載の方法。
29. アクティブまたはパッシブ・マトリクス液晶空間光変調器が使用される、請求項２１に記載の方法。
30. すべての粗画素に同じ空間マスキング・パターンが同時に生成される、請求項２２に記載の方法。
31. 前記同じ空間マスキング・パターンが多数の粗画素のアレイに同時に生成され、前記多数の粗画素のアレイが前記Ｍ×Ｎ粗画素のアレイのサブアレイであり、それによって、前記空間マスキング・パターンのタイミングが任意の１つのサブアレイ内の各粗画素に対して同時であることになり、異なるサブアレイ内の各パターンのタイミングが異なり得る、請求項２２に記載の方法。
32. 粗画素ごとの空間マスキング・パターンが別々に生成され、それによって、異なる粗画素の各パターンの前記タイミングが異なり得る、請求項２２に記載の方法。
33. 前記空間マスキング・パターンが低次および高次の空間周波数成分を有し、より多くの時間が低次の空間周波数成分を有する前記空間マスキング・パターンに割り当てられ、より少ない時間が高次の空間周波数成分を有する前記空間マスキング・パターンに割り当てられる、請求項２２に記載の方法。
34. 前記空間マスキング・パターンが低次および高次の空間周波数成分を有し、少なくとも１つの高次の空間マスキング・パターンが少なくとも一度無視される、請求項２２に記載の方法。
35. 少なくとも１つの高次の空間マスキング・パターンを無視する場合、無視されない空間マスキング・パターンのうちの少なくとも１つに、より多くの時間が割り当てられる、請求項３４に記載の方法。
36. 無視されるべき前記少なくとも１つの高次の空間マスキング・パターンがその空間マスキング・パターンの前記画像成分に応答して選ばれる、請求項３４に記載の方法。
37. 前記空間マスキング・パターンが低次および高次の空間周波数成分を有し、前記映像データ・レートが、前記低次の空間周波数成分に対応する利用可能な画像係数のサブセットを使用することによって低減される、請求項２２に記載の方法。
38. 任意の所与の粗画素用の画像を再生するのに使用されるべき画像成分の数が、ある一定の閾値を使用することによって動的に決定され、前記閾値を下回ると、前記サブアレイを表示するときに前記成分が廃棄される、請求項３１に記載の方法。
39. 前記空間マスキング・パターンが低次および高次の空間周波数成分を有し、粗画素ごとの前記画像成分が、低次のマスキング・パターンに関連する画像成分に、より多くのビットを、および高次のマスキング・パターンに関連する画像成分に、より少ないビットを割り当てる量子化マトリクスによって決定されるビット精度で記述され、それによって、総合映像データ・レートを低減する、請求項２１に記載の方法。

Images