JP2008503770A

JP2008503770A - 空間的にオフセットされたサブフレームの生成及び表示方法

Info

Publication number: JP2008503770A
Application number: JP2007516572A
Authority: JP
Inventors: コリンズ，ディビッド・シー; オーフランク，ジュニア，リチャード・イー
Original assignee: Hewlett Packard Development Co LP
Current assignee: Hewlett Packard Development Co LP
Priority date: 2004-06-15
Filing date: 2005-06-10
Publication date: 2008-02-07
Also published as: DE112005001417T5; WO2006002007A1; GB0625081D0; US20050276517A1; GB2430575A; US7668398B2; TW200601137A

Abstract

表示デバイス（２６）を使用して画像を表示する方法が提供される。本方法は、画像（１２）に関連する画像データ（２８）を受け取るステップと、すべてに満たない画像データを使用して１組の３つのサブフレーム（３０Ｑ／３０Ｒ／２５３０／２６３０）を生成するステップと、１組の３つのサブフレームを第１の位置、第２の位置、及び第３の位置に交互に表示するステップであって、第２の位置は第１の位置から空間的にオフセットされ、第３の位置は第１の位置及び第２の位置から空間的にオフセットされる、交互に表示するステップとを含む。

Description

本発明は、空間的にオフセットされたサブフレームの生成及び表示方法に関する。

［関連出願への相互参照］
本願は、２００２年８月７日出願の「IMAGE DISPLAY SYSTEM AND METHOD」と題する米国特許出願第１０／２１３，５５５号、２００２年９月１１日出願の「IMAGE DISPLAY SYSTEM AND METHOD」と題する米国特許出願第１０／２４２，１９５号、２００２年９月１１日出願の「IMAGE DISPLAY SYSTEM AND METHOD」と題する米国特許出願第１０／２４２，５４５号、２００３年７月３１日出願の「GENERATING AND DISPLAYING SPATIALLY OFFSET SUB-FRAMES」と題する米国特許出願第１０／６３１，６８１号、２００３年７月３１日出願の「GENERATING AND DISPLAYING SPATIALLY OFFSET SUB-FRAMES」と題する米国特許出願第１０／６３２，０４２号、２００３年９月２６日出願の「GENERATING AND DISPLAYING SPATIALLY OFFSET SUB-FRAMES」と題する米国特許出願第１０／６７２，８４５号、２００３年９月２６日出願の「GENERATING AND DISPLAYING SPATIALLY OFFSET SUB-FRAMES」と題する米国特許出願第１０／６７２，５４４号、２００３年１０月３０日出願の「GENERATING AND DISPLAYING SPATIALLY OFFSET SUB-FRAMES ON A DIAMOND GRID」と題する米国特許出願第１０／６９７，６０５号、２００３年１０月３０日出願の「GENERATING AND DISPLAYING SPATIALLY OFFSET SUB-FRAMES ON DIFFERENT TYPES OF GRIDS」と題する米国特許出願第１０／６９６，８８８号、２００３年１０月３０日出願の「IMAGE DISPLAY SYSTEM AND METHOD」と題する米国特許出願第１０／６９７，８３０号、２００３年１２月３１日出願の「DISPLAYING SPATIALLY OFFSET SUB-FRAMES WITH A DISPLAY DEVICE HAVING A SET OF DEFECTIVE DISPLAY PIXELS」と題する米国特許出願第１０／７５０，５９１号、２００４年１月３０日出願の「GENERATING AND DISPLAYING SPATIALLY OFFSET SUB-FRAMES」と題する米国特許出願第１０／７６８，６２１号、２００４年１月３０日出願の「DISPLAYING SUB-FRAMES AT SPATIALLY OFFSET POSITIONS ON A CIRCLE」と題する米国特許出願第１０／７６８，２１５号、２００４年４月８日出願の「GENERATING AND DISPLAYING SPATIALLY OFFSET SUB-FRAMES」と題する米国特許出願第１０／８２１，１３５号、２００４年４月８日出願の「GENERATING AND DISPLAYING SPATIALLY OFFSET SUB-FRAMES」と題する米国特許出願第１０／８２１，１３０号、２００４年４月８日出願の「GENERATING AND DISPLAYING SPATIALLY OFFSET SUB-FRAMES」と題する米国特許出願第１０／８２０，９５２号、年月日出願の「GENERATING AND DISPLAYING SPATIALLY OFFSET SUB-FRAMES」と題する米国特許出願第号（整理番号２００４０１４１２−１）、年月日出願の「GENERATING AND DISPLAYING SPATIALLY OFFSET SUB-FRAMES」と題する米国特許出願第号（整理番号２００４０２８４４−１）に関連する。上記米国特許出願のそれぞれは、本発明の譲受人に譲渡され、引用することにより本明細書の一部をなすものとする。

［背景］
ディスプレイ、プロジェクタ、又は他の画像形成システム等、画像を表示するための従来のシステム又はデバイスは、横方向の行及び縦方向の列に整列された個々の画素又はピクセルの配列をアドレス指定することにより表示画像を生成する。表示画像の解像度は、表示画像を形成する横方向の行及び縦方向の列の個々のピクセルの個数として定義される。表示画像の解像度は、表示デバイス自体の解像度、及び、表示デバイスによって処理され、表示画像を生成するために使用される画像データの解像度によって影響を受ける。

通常、表示画像の解像度を向上させるには、表示デバイスの解像度、及び、表示画像を生成するために使用される画像データの解像度を向上させなければならない。しかしながら、表示デバイスの解像度を向上させると、表示デバイスのコスト及び複雑さが増加する。これに加えて、解像度をより高くした画像データが利用可能でないことがあり、及び／又は、その生成が困難なことがある。

自然画像及びビジネスグラフィックス等の高コントラスト画像を含む各種のグラフィカル画像の表示を向上させることができることが望まれる。グラフィカル画像の生成及び表示に関連する画像のちらつきの量を低減することが望まれる。

［概要］
本発明の一形態は、表示デバイスを使用して画像を表示する方法を提供する。本方法は、画像に関連する画像データを受け取るステップと、すべてに満たない画像データを使用して１組の３つのサブフレームを生成するステップと、１組の３つのサブフレームを第１の位置、第２の位置、及び第３の位置に交互に表示するステップであって、第２の位置は第１の位置から空間的にオフセットされ、第３の位置は第１の位置及び第２の位置から空間的にオフセットされている、交互に表示するステップとを含む。

［詳細な説明］
好ましい実施形態の以下の詳細な説明では、添付図面を参照する。添付図面は、この詳細な説明の一部を成す。添付図面には、本発明を実施することができる特定の実施形態を例示として示す。他の実施形態を利用することもでき、本発明の範囲から逸脱することなく、構造的又は論理的な変更を行うこともできることが理解されるべきである。したがって、以下の詳細な説明は、限定の意味に取られるべきではなく、本発明の範囲は、添付の特許請求の範囲によって確定される。

Ｉ．サブフレームの空間シフト及び時間シフト
いくつかのデジタルライトプロジェクタなどの表示システムの中には、いくつかの高解像度の画像を表示するのに十分な解像度を有さないものがある。このようなシステムは、空間シフト及び時間シフトされた低解像度の画像を表示することにより、より高解像度の画像の外観を人間の眼に与えるように構成することができる。低解像度の画像は、サブフレームと呼ばれる。サブフレーム生成上の問題は、本発明の実施形態によって取り組まれるものであるが、表示されるサブフレームが、そのサブフレームを導出した高解像度の画像が直接表示されたならば見えるであろう程度に外観上近くなるように、サブフレームの適切な値を決定することである。

サブフレームの時間シフト及び空間シフトを通じて、向上した解像度の外観を提供する表示システムの一実施形態は、引用した上記の米国特許出願に記載されており、図１〜図４Ｅを参照して以下に概要を説明する。

図１は、本発明の一実施形態による画像表示システム１０を示すブロック図である。この画像表示システム１０は、画像１２の処理を促進して、表示画像１４を作成する。画像１２は、あらゆる描画用文字、図形文字、及び／若しくはテキスト文字、シンボル、イラスト、並びに／又は他の情報表現を包含するように定義される。画像１２は、たとえば、画像データ１６によって表わされる。画像データ１６は、画像１２の個々の画素又はピクセルを含む。画像表示システム１０が処理するものとして、１つの画像を例示して説明するが、画像表示システム１０は、複数の画像又は一連の画像を処理して表示することができることが理解されよう。

一実施形態では、画像表示システム１０は、フレームレート変換ユニット２０及び画像フレームバッファ２２と、画像処理ユニット２４と、表示デバイス２６とを含む。後述するように、フレームレート変換ユニット２０及び画像フレームバッファ２２は、画像１２用の画像データ１６を受け取ってバッファリングし、画像１２用の画像フレーム２８を作成する。画像処理ユニット２４は、画像フレーム２８を処理して、画像フレーム２８用の１以上の画像サブフレーム３０を規定し、表示デバイス２６は、画像サブフレーム３０を時間的及び空間的に表示して、表示画像１４を生成する。

フレームレート変換ユニット２０及び／又は画像処理ユニット２４を含む画像表示システム１０は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせを含む。一実施形態では、フレームレート変換ユニット２０及び／又は画像処理ユニット２４を含む、画像表示システム１０の１以上の構成要素は、コンピュータ、コンピュータサーバ、又は一連の論理演算を実行できる他のマイクロプロセッサベースのシステムに含まれる。さらに、処理をシステム全体にわたって分散させて、個々の部分を個別のシステム構成要素により実行することもできる。

画像データ１６は、デジタル画像データ１６１を含むこともでき、又はアナログ画像データ１６２を含むこともできる。アナログ画像データ１６２を処理するために、画像表示システム１０は、アナログ／デジタル（Ａ／Ｄ）変換器３２を含む。したがって、Ａ／Ｄ変換器３２は、アナログ画像データ１６２を後続の処理のためにデジタル形式に変換する。このように、画像表示システム１０は、画像１２用のデジタル画像データ１６１及び／又はアナログ画像データ１６２を受け取って処理することができる。

フレームレート変換ユニット２０は、画像１２用の画像データ１６を受け取って、画像フレームバッファ２２に画像データ１６をバッファリング又は記憶する。より具体的には、フレームレート変換ユニット２０は、画像１２の個々のライン又はフィールドを表す画像データ１６を受け取って、画像フレームバッファ２２に画像データ１６をバッファリングし、画像１２用の画像フレーム２８を作成する。画像フレームバッファ２２は、画像フレーム２８用の画像データのすべてを受け取って記憶することにより、画像データ１６をバッファリングし、そして、フレームレート変換ユニット２０は、画像フレームバッファ２２から画像フレーム２８用の画像データのすべてを検索又は抽出することにより、画像フレーム２８を作成する。したがって、画像フレーム２８は、画像１２の全体を表す画像データ１６の複数の個々のライン又はフィールドを包含するように規定される。このように、画像フレーム２８は、画像１２を表す複数の列及び複数の行の個々のピクセルを含む。

フレームレート変換ユニット２０及び画像フレームバッファ２２は、プログレッシブ画像データ及び／又はインターレース画像データとして画像データ１６を受け取って処理することができる。プログレッシブ画像データの場合、フレームレート変換ユニット２０及び画像フレームバッファ２２は、画像１２用の画像データ１６の連続したフィールドを受け取って記憶する。したがって、フレームレート変換ユニット２０は、画像１２用の画像データ１６の連続したフィールドを読み出すことにより、画像フレーム２８を作成する。インターレース画像データの場合、フレームレート変換ユニット２０及び画像フレームバッファ２２は、画像１２用の画像データ１６の奇数フィールド及び偶数フィールドを受け取って記憶する。たとえば、画像データ１６の奇数フィールドのすべてが受け取られて記憶され、画像データ１６の偶数フィールドのすべてが受け取られて記憶される。したがって、フレームレート変換ユニット２０は、画像１２用の画像データ１６の奇数フィールド及び偶数フィールドを読み出すことにより、画像データ１６のインターレースを解除して、画像フレーム２８を作成する。

画像フレームバッファ２２は、それぞれの画像１２の１以上の画像フレーム２８用の画像データ１６を記憶するためのメモリを含む。したがって、画像フレームバッファ２２は、１以上の画像フレーム２８のデータベースを構成する。画像フレームバッファ２２の例には、不揮発性メモリ（たとえば、ハードディスクドライブ又は他の永続的な記憶デバイス）を含むか、揮発性メモリ（たとえば、ランダムアクセスメモリ（ＲＡＭ））を含んでもよい。

フレームレート変換ユニット２０において画像データ１６を受け取り、画像フレームバッファ２２により画像データ１６をバッファリングすることにより、画像データ１６の入力タイミングを、表示デバイス２６のタイミング要件から切り離すことができる。より具体的には、画像フレーム２８用の画像データ１６は、画像フレームバッファ２２により受け取られて記憶されるので、画像データ１６をあらゆるレートの入力として受け取ることができる。したがって、画像フレーム２８のフレームレートを表示デバイス２６のタイミング要件に変換することができる。このように、画像フレーム２８用の画像データ１６を、表示デバイス２６のフレームレートで画像フレームバッファ２２から抽出することができる。

一実施形態では、画像処理ユニット２４は、解像度調整ユニット３４及びサブフレーム生成ユニット３６を含む。後述するように、解像度調整ユニット３４は、画像フレーム２８用の画像データ１６を受け取って、表示デバイス２６の表示用に画像データ１６の解像度を調整し、サブフレーム生成ユニット３６は、画像フレーム２８用の複数の画像サブフレーム３０を生成する。より具体的には、画像処理ユニット２４は、画像フレーム２８用の画像データ１６を元の解像度で受け取り、画像データ１６を処理して、画像データ１６の解像度を増加させる、減少させる、及び／又は、変更せずに維持する。したがって、画像処理ユニット２４により、画像表示システム１０は、さまざまな解像度の画像データ１６を受け取って表示することができる。

サブフレーム生成ユニット３６は、画像フレーム２８用の画像データ１６を受け取って処理し、画像フレーム２８用の複数の画像サブフレーム３０を規定する。解像度調整ユニット３４が、画像データ１６の解像度を調整した場合に、サブフレーム生成ユニット３６は、調整された解像度の画像データ１６を受け取る。画像データ１６の調整された解像度は、画像フレーム２８用の画像データ１６の元の解像度に対して、増加される場合もあるし、減少される場合もあるし、同じ場合もある。サブフレーム生成ユニット３６は、表示デバイス２６の解像度と一致した解像度を有する画像サブフレーム３０を生成する。画像サブフレーム３０は、それぞれ、画像フレーム２８と等しい領域を有する。サブフレーム３０は、それぞれ、画像１２の画像データ１６のサブセットを表す複数の列及び複数の行の個々のピクセルを含み、表示デバイス２６の解像度と一致した解像度を有する。

各画像サブフレーム３０は、画像フレーム２８用のピクセルの行列又は配列を含む。画像サブフレーム３０は、各画像サブフレーム３０が、異なるピクセル及び／又は異なる部分のピクセルを含むように、空間的に相互にオフセットされる。したがって、画像サブフレーム３０は、後述するように、ある垂直距離及び／又は水平距離だけ、相互にオフセットされる。

表示デバイス２６は、画像処理ユニット２４から画像サブフレーム３０を受け取り、画像サブフレーム３０を順次表示して、表示画像１４を作成する。より具体的には、画像サブフレーム３０は、空間的に相互にオフセットされているので、表示デバイス２６は、後述するように、画像サブフレーム３０の空間的なオフセットに従って異なる位置に画像サブフレーム３０を表示する。したがって、表示デバイス２６は、画像フレーム２８用の画像サブフレーム３０の表示を交互に行って、表示画像１４を作成する。したがって、表示デバイス２６は、画像フレーム２８用の１つのサブフレーム３０全体を一度に表示する。

一実施形態では、表示デバイス２６は、画像フレーム２８ごとに、１サイクルの画像サブフレーム３０の表示を実行する。表示デバイス２６は、空間的及び時間的に相互にオフセットされるように、画像サブフレーム３０を表示する。一実施形態では、表示デバイス２６は、画像サブフレーム３０を光学的に操作して、表示画像１４を作成する。したがって、表示デバイス２６の個々のピクセルは、複数の位置にアドレス指定される。

一実施形態では、表示デバイス２６は、画像シフト装置３８を含む。この画像シフト装置３８は、表示デバイス２６が表示するように、画像サブフレーム３０の位置を空間的に変更又はオフセットする。より具体的には、画像シフト装置３８は、後述するように、画像サブフレーム３０の表示位置を変更して、表示画像１４を生成する。

一実施形態では、表示デバイス２６は、入射光の変調を行う光変調器を含む。この光変調器は、たとえば、マイクロミラーデバイスの配列を形成するように整列された複数のマイクロミラーデバイスを含む。したがって、各マイクロミラーデバイスは、表示デバイス２６の１つのセル又はピクセルを構成する。表示デバイス２６は、ディスプレイ、プロジェクタ、又は他の画像形成システムの一部をなすことがある。

一実施形態では、画像表示システム１０は、タイミングジェネレータ４０を含む。このタイミングジェネレータ４０は、たとえば、フレームレート変換ユニット２０と、解像度調整ユニット３４及びサブフレーム生成ユニット３６を含む画像処理ユニット２４と、画像シフト装置３８を含む表示デバイス２６とに通信する。したがって、タイミングジェネレータ４０は、画像フレーム２８を作成するための画像データ１６のバッファリング及び変換と、画像データ１６の解像度を調整して画像サブフレーム３０を生成するための画像フレーム２８の処理と、表示画像１４を生成するための画像サブフレーム３０の配置及び表示とを同期させる。したがって、タイミングジェネレータ４０は、画像１２のサブフレーム全体が、表示デバイス２６により表示画像１４として時間的及び空間的に表示されるように、画像表示システム１０のタイミングを制御する。

一実施形態では、図２Ａ及び図２Ｂに示すように、画像処理ユニット２４は、画像フレーム２８用の２つの画像サブフレーム３０を規定する。より具体的には、画像処理ユニット２４は、画像フレーム２８用の第１のサブフレーム３０１及び第２のサブフレーム３０２を規定する。したがって、第１のサブフレーム３０１及び第２のサブフレーム３０２は、それぞれ、画像データ１６の複数の列及び複数の行の個々のピクセル１８を含む。このように、第１のサブフレーム３０１及び第２のサブフレーム３０２は、それぞれ、画像データ１６のサブセットの画像データ配列又はピクセル行列を構成する。

一実施形態では、図２Ｂに示すように、第２のサブフレーム３０２は、垂直距離５０及び水平距離５２だけ、第１のサブフレーム３０１からオフセットされる。したがって、第２のサブフレーム３０２は、所定の距離だけ、第１のサブフレーム３０１から空間的にオフセットされる。例示の一実施形態では、垂直距離５０及び水平距離５２は、それぞれ、１ピクセルの約２分の１である。

図２Ｃに示すように、表示デバイス２６は、第１の位置に第１のサブフレーム３０１を表示することと、第１の位置から空間的にオフセットされた第２の位置に第２のサブフレーム３０２を表示することとを交互に行う。より具体的には、表示デバイス２６は、垂直距離５０及び水平距離５２だけ、第１のサブフレーム３０１の表示に対して、第２のサブフレーム３０２の表示をシフトさせる。したがって、第１のサブフレーム３０１のピクセルは、第２のサブフレーム３０２のピクセルと一部重なる。一実施形態では、表示デバイス２６は、画像フレーム２８について、第１の位置に第１のサブフレーム３０１を表示することと、第２の位置に第２のサブフレーム３０２を表示することとの１サイクルを実行する。このように、第２のサブフレーム３０２は、第１のサブフレーム３０１に空間的及び時間的に関連して表示される。このような時間的及び空間的にシフトされた２つのサブフレームの表示を、本明細書では、２位置処理（two-position processing）と呼ぶ。

別の実施形態では、図３Ａ〜図３Ｄに示すように、画像処理ユニット２４は、画像フレーム２８用の４つの画像サブフレーム３０を規定する。より具体的には、画像処理ユニット２４は、画像フレーム２８用の第１のサブフレーム３０１と、第２のサブフレーム３０２と、第３のサブフレーム３０３と、第４のサブフレーム３０４とを規定する。したがって、第１のサブフレーム３０１と、第２のサブフレーム３０２と、第３のサブフレーム３０３と、第４のサブフレーム３０４とは、それぞれ、画像データ１６の複数の列及び複数の行の個々のピクセル１８を含む。

一実施形態では、図３Ｂ〜図３Ｄに示すように、第２のサブフレーム３０２は、垂直距離５０及び水平距離５２だけ、第１のサブフレーム３０１からオフセットされ、第３のサブフレーム３０３は、水平距離５４だけ、第１のサブフレーム３０１からオフセットされ、第４のサブフレーム３０４は、垂直距離５６だけ、第１のサブフレーム３０１からオフセットされる。したがって、第２のサブフレーム３０２、第３のサブフレーム３０３、及び第４のサブフレーム３０４は、それぞれ、所定の距離だけ、空間的に相互にオフセットされ、所定の距離だけ、第１のサブフレーム３０１から空間的にオフセットされている。例示の一実施形態では、垂直距離５０、水平距離５２、水平距離５４、及び垂直距離５６は、それぞれ、１ピクセルの約２分の１である。

図３Ｅに概略的に示すように、表示デバイス２６は、第１の位置Ｐ₁に第１のサブフレーム３０１を表示するステップと、第１の位置から空間的にオフセットされた第２の位置Ｐ₂に第２のサブフレーム３０２を表示するステップと、第１の位置から空間的にオフセットされた第３の位置Ｐ₃に第３のサブフレーム３０３を表示するステップと、第１の位置から空間的にオフセットされた第４の位置Ｐ₄に第４のサブフレーム３０４を表示するステップとを交互に行う。より具体的には、表示デバイス２６は、第２のサブフレーム３０２、第３のサブフレーム３０３、及び第４のサブフレーム３０４の表示を、それぞれの所定の距離だけ、第１のサブフレーム３０１に対してシフトさせる。したがって、第１のサブフレーム３０１、第２のサブフレーム３０２、第３のサブフレーム３０３、及び第４のサブフレーム３０４のピクセルは、相互に一部重なり合う。

一実施形態では、表示デバイス２６は、画像フレーム２８について、第１の位置に第１のサブフレーム３０１を表示するステップと、第２の位置に第２のサブフレーム３０２を表示するステップと、第３の位置に第３のサブフレーム３０３を表示するステップと、第４の位置に第４のサブフレーム３０４を表示するステップとの１サイクルを実行する。したがって、第２のサブフレーム３０２、第３のサブフレーム３０３、及び第４のサブフレーム３０４は、相互に及び第１のサブフレーム３０１に空間的及び時間的に関連して表示される。このような時間的及び空間的にシフトされた４つのサブフレームの表示を、本明細書では、４位置処理（four-position processing）と呼ぶ。

図４Ａ〜図４Ｅは、第１のサブフレーム３０１からのピクセル１８１を第１の位置に表示するステップと、第２のサブフレーム３０２からのピクセル１８２を第２の位置に表示するステップと、第３のサブフレーム３０３からのピクセル１８３を第３の位置に表示するステップと、第４のサブフレーム３０４からのピクセル１８４を第４の位置に表示するステップとの１サイクルを完了する一実施形態を示している。より具体的には、図４Ａは、第１のサブフレーム３０１からのピクセル１８１を第１の位置に表示したものを示している。図４Ｂは、第２のサブフレーム３０２からのピクセル１８２を、（第１の位置を破線で示す）第２の位置に表示したものを示している。図４Ｃは、第３のサブフレーム３０３からのピクセル１８３を、（第１の位置及び第２の位置を破線で示す）第３の位置に表示したものを示している。図４Ｄは、第４のサブフレーム３０４からのピクセル１８４を、（第１の位置、第２の位置、及び第３の位置を破線で示す）第４の位置に表示したものを示している。図４Ｅは、第１のサブフレーム３０１からのピクセル１８１を、（第２の位置、第３の位置、及び第４の位置を破線で示す）第１の位置に表示したものを示している。

サブフレーム生成ユニット３６（図１）は、画像フレーム２８の画像データに基づいてサブフレーム３０を生成する。サブフレーム生成ユニット３６が実行する機能は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組み合わせによって実行できることが当業者には理解されよう。その実行は、マイクロプロセッサ、プログラマブルロジックデバイス、又は状態機械を介して行うことができる。本発明の構成要素は、１以上のコンピュータ読み取り可能な記録媒体上にソフトウェアとして存在することができる。本明細書において使用されるコンピュータ読み取り可能な記録媒体という用語は、フロッピーディスク、ハードディスク、ＣＤ−ＲＯＭ、フラッシュメモリ、読み出し専用メモリ（ＲＯＭ）、及びランダムアクセスメモリ等の揮発性又は不揮発性のあらゆる種類のメモリを包含するように定義される。

本発明の一形態では、サブフレーム３０は画像フレーム２８よりも低い解像度を有する。このため、サブフレーム３０を本明細書では低解像度画像３０とも呼び、画像フレーム２８を本明細書では高解像度画像２８とも呼ぶ。低解像度及び高解像度という用語が本明細書では比較として用いられ、いずれの特定の最小ピクセル数又は最大ピクセル数に限定されないことが当業者には理解されよう。一実施形態では、サブフレーム生成ユニット３６は、１０個のアルゴリズムのうちの１以上に基づいてサブフレーム３０を生成するように構成される。これらの１０個のアルゴリズムを本明細書では以下のように呼ぶ。すなわち、（１）最近傍、（２）双一次、（３）空間領域、（４）周波数領域、（５）適応型マルチパス、（６）中心適応型マルチパス、（７）簡易中心適応型マルチパス、（８）履歴使用の（with history）適応型マルチパス、（９）履歴使用の簡易中心適応型マルチパス、そして、（１０）履歴使用の中心適応型マルチパスである。

本発明の一形態による最近傍アルゴリズム及び双一次アルゴリズムは、高解像度画像２８からのピクセルを組み合わせることによりサブフレーム３０を生成するものである。本発明の一形態による空間領域アルゴリズム及び周波数領域アルゴリズムは、シミュレートされた（simulated）高解像度画像と所望の高解像度画像２８との間の差を表すグローバル誤差メトリック（global error metric）の最小化に基づいてサブフレーム３０を生成するものである。本発明のさまざまな形態による適応型マルチパスアルゴリズム、中心適応型マルチパスアルゴリズム、簡易中心適応型マルチパスアルゴリズム、履歴使用の適応型マルチパスアルゴリズム、履歴使用の簡易中心適応型マルチパスアルゴリズム、及び履歴使用の中心適応型マルチパスアルゴリズムは、局所誤差メトリック（local error metric）の最小化に基づいてサブフレーム３０を生成するものである。一実施形態では、サブフレーム生成ユニット３６は、サブフレームの値と高解像度画像の値との関係を記憶するためのメモリを含む。この関係は、高解像度画像の値と、サブフレームの値の関数であるシミュレートされた高解像度画像との間の誤差メトリックの最小化に基づいている。これらの１０個のアルゴリズムのそれぞれの実施形態を図５〜図３２を参照して以下に説明する。

ＩＩ．最近傍
図５は、本発明の一実施形態による最近傍アルゴリズムを使用した、元の高解像度画像２８からの低解像度サブフレーム３０Ａ及び３０Ｂ（サブフレーム３０と総称する）の生成を示す図である。この図示した実施形態では、高解像度画像２８は、４列４行のピクセルで合計１６個のピクセルＨ１〜Ｈ１６を含む。最近傍アルゴリズムの一実施形態では、高解像度画像２８の第１行の１つおきのピクセルを取り出し、高解像度画像２８の第２行を飛ばして、高解像度画像２８の第３行の１つおきのピクセルを取り出し、このプロセスを高解像度画像２８の全体にわたって繰り返すことにより、第１のサブフレーム３０Ａが生成される。したがって、図５に示すように、サブフレーム３０Ａの第１行は、ピクセルＨ１及びＨ３を含み、サブフレーム３０Ａの第２行は、ピクセルＨ９及びＨ１１を含む。本発明の一形態では、第２のサブフレーム３０Ｂは、第１のサブフレーム３０Ａと同じ方法で生成されるが、プロセスは、第１のピクセルＨ１から１行下で、及び、１列越えてシフトされたピクセルＨ６から開始する。したがって、図５に示すように、サブフレーム３０Ｂの第１行は、ピクセルＨ６及びＨ８を含み、サブフレーム３０Ｂの第２行は、ピクセルＨ１４及びＨ１６を含む。

一実施形態では、３つのフィルタ係数「０」及び第４のフィルタ係数「１」を有し、高解像度画像からのピクセル値の加重和を生成する２×２フィルタによって、最近傍アルゴリズムは実行される。上述したような２位置処理を使用してサブフレーム３０Ａ及び３０Ｂを表示すると、より高い解像度の画像の外観が得られる。最近傍アルゴリズムは、４位置処理にも適用可能であり、図５に示すピクセル数を有する画像に限定されるものではない。

ＩＩＩ．双一次
図６は、本発明の一実施形態による双一次アルゴリズムを使用した、元の高解像度画像２８からの低解像度サブフレーム３０Ｃ及び３０Ｄ（サブフレーム３０と総称する）の生成を示す図である。この図示した実施形態では、高解像度画像２８は、４列４行のピクセルで合計１６個のピクセルＨ１〜Ｈ１６を含む。サブフレーム３０Ｃは、２列２行のピクセルで合計４つのピクセルＬ１〜Ｌ４を含む。そして、サブフレーム３０Ｄは、２列２行のピクセルで合計４つのピクセルＬ５〜Ｌ８を含む。

一実施形態では、サブフレーム３０Ｃ及び３０ＤのピクセルＬ１〜Ｌ８の値は、画像２８のピクセル値Ｈ１〜Ｈ１６から以下の方程式Ｉ〜ＶＩＩＩに基づいて生成される。

＜方程式Ｉ＞
Ｌ１＝（４Ｈ１＋２Ｈ２＋２Ｈ５）／８
＜方程式ＩＩ＞
Ｌ２＝（４Ｈ３＋２Ｈ４＋２Ｈ７）／８
＜方程式ＩＩＩ＞
Ｌ３＝（４Ｈ９＋２Ｈ１０＋２Ｈ１３）／８
＜方程式ＩＶ＞
Ｌ４＝（４Ｈ１１＋２Ｈ１２＋２Ｈ１５）／８
＜方程式Ｖ＞
Ｌ５＝（４Ｈ６＋２Ｈ２＋２Ｈ５）／８
＜方程式ＶＩ＞
Ｌ６＝（４Ｈ８＋２Ｈ４＋２Ｈ７）／８
＜方程式ＶＩＩ＞
Ｌ７＝（４Ｈ１４＋２Ｈ１０＋２Ｈ１３）／８
＜方程式ＶＩＩＩ＞
Ｌ８＝（４Ｈ１６＋２Ｈ１２＋２Ｈ１５）／８

上記方程式Ｉ〜ＶＩＩＩから分かるように、サブフレーム３０ＣのピクセルＬ１〜Ｌ４の値は、４を乗算することから、それぞれピクセルＨ１、Ｈ３、Ｈ９、及びＨ１１の値によって最も影響を受ける。ただし、サブフレーム３０ＣのピクセルＬ１〜Ｌ４の値は、ピクセルＨ１、Ｈ３、Ｈ９、及びＨ１１の対角方向の近傍ピクセルの値によっても影響を受ける。同様に、サブフレーム３０ＤのピクセルＬ５〜Ｌ８の値は、４を乗算することから、それぞれピクセルＨ６、Ｈ８、Ｈ１４、及びＨ１６の値によって最も影響を受ける。ただし、サブフレーム３０ＤのピクセルＬ５〜Ｌ８の値は、ピクセルＨ６、Ｈ８、Ｈ１４、及びＨ１６の対角方向の近傍ピクセルの値によっても影響を受ける。

一実施形態では、１つのフィルタ係数「０」及び非ゼロの値を有する３つのフィルタ係数（たとえば、４、２、２）を有し、高解像度画像のピクセル値の加重和を生成する２×２フィルタによって、双一次アルゴリズムは実行される。別の実施形態では、このフィルタ係数として他の値が使用される。上述したような２位置処理を使用してサブフレーム３０Ｃ及び３０Ｄを表示すると、より高い解像度の画像の外観が得られる。双一次アルゴリズムは、４位置処理にも適用可能であり、図６に示すピクセル数を有する画像に限定されるものではない。

最近傍アルゴリズム及び双一次アルゴリズムの一形態では、上述したように、サブフレーム３０は、元の高解像度画像のピクセル値の線形結合に基づいて生成される。別の実施形態では、サブフレーム３０は、元の高解像度画像のピクセル値の非線形結合に基づいて生成される。たとえば、元の高解像度画像がガンマ補正を受けている場合に、一実施形態では、ガンマ曲線の効果を打ち消すのに適した非線形結合が使用される。

ＩＶ．シミュレートされた高解像度画像を生成するシステム
図７〜図１０、図２０及び図２２は、シミュレートされた高解像度画像を生成するシステムを示している。以下にさらに詳述するように、これらのシステムに基づいて、サブフレームを生成する空間領域アルゴリズム、周波数領域アルゴリズム、適応型マルチパスアルゴリズム、中心適応型マルチパスアルゴリズム、及び簡易中心適応型マルチパスアルゴリズムが構築される。

図７は、本発明の一実施形態による、２つの４×４ピクセルの低解像度サブフレーム３０Ｅからシミュレートされた高解像度画像４１２を生成するシステム４００を示すブロック図である。このシステム４００は、アップサンプリングステージ４０２、シフトステージ４０４、畳み込み演算ステージ４０６、及び総和ステージ４１０を含む。サブフレーム３０Ｅは、サンプリング行列Ｍに基づいてアップサンプリングステージ４０２によりアップサンプリングされ、それによって、アップサンプリング画像が生成される。このアップサンプリング画像は、空間シフト行列Ｓに基づいてシフトステージ４０４によりシフトされ、それによって、シフトアップサンプリング画像が生成される。このシフトアップサンプリング画像は、畳み込み演算ステージ４０６において補間フィルタとの畳み込み演算を受け、それによって、ブロック画像（blocked image）４０８が生成される。この図示した実施形態では、補間フィルタは、フィルタ係数「１」を有する２×２フィルタであって、畳み込み演算の中心がこの２×２行列の左上の位置にあるフィルタである。補間フィルタは、高解像度グリッドの上に低解像度サブフレームを重ね合わせることをシミュレーションする。低解像度サブフレームのピクセルデータは、そのサブフレームを高解像度グリッド上に表すことができるように拡大される。補間フィルタは、アップサンプリングによって生成された、欠けているピクセルデータを満たす。ブロック画像４０８は、総和ブロック４１０によって加重されて総和が求められ、８×８ピクセルのシミュレートされた高解像度画像４１２が生成される。

図８は、本発明の一実施形態による、２つの４×４ピクセルの低解像度サブフレーム３０Ｆ及び３０Ｇの分離可能なアップサンプリング（separable upsampling）に基づいて２位置処理用のシミュレートされた高解像度画像５１２を生成するシステム５００を示すブロック図である。このシステム５００は、アップサンプリングステージ５０２及び５１４と、シフトステージ５１８と、畳み込み演算ステージ５０６及び５２２と、総和ステージ５０８と、乗算ステージ５１０とを含む。サブフレーム３０Ｆは、アップサンプリングステージ５０２によって２倍にアップサンプリングされ、それによって、８×８ピクセルのアップサンプリング画像５０４が生成される。アップサンプリング画像５０４の黒のピクセルは、サブフレーム３０Ｆからの１６個のピクセルを表し、アップサンプリング画像５０４の白のピクセルは、０の値を表す。サブフレーム３０Ｇは、アップサンプリングステージ５１４によって２倍にアップサンプリングされ、それによって、８×８ピクセルのアップサンプリング画像５１６が生成される。アップサンプリング画像５１６の黒のピクセルは、サブフレーム３０Ｇからの１６個のピクセルを表し、アップサンプリング画像５１６の白のピクセルは、０の値を表す。一実施形態では、アップサンプリングステージ５０２及び５１４は、対角サンプリング行列を使用して、サブフレーム３０Ｆ及び３０Ｇをそれぞれアップサンプリングする。

アップサンプリング画像５１６は、空間シフト行列Ｓに基づいてシフトステージ５１８によりシフトされ、それによって、シフトアップサンプリング画像５２０が生成される。この図示した実施形態では、シフトステージ５１８は、１ピクセルの対角方向のシフトを実行する。画像５０４及び５２０は、それぞれ畳み込み演算ステージ５０６及び５２２において補間フィルタとの畳み込み演算を受け、それによって、ブロック画像が生成される。この図示した実施形態では、畳み込み演算ステージ５０６及び５２２の補間フィルタは、フィルタ係数「１」を有する２×２フィルタであって、畳み込み演算の中心がこの２×２行列の左上の位置にあるフィルタである。畳み込み演算ステージ５０６及び５２２において生成されたブロック画像は、総和ブロック５０８によって総和が求められ、乗算ステージ５１０において０．５倍にされて、８×８ピクセルのシミュレートされた高解像度画像５１２が生成される。画像データが乗算ステージ５１０において０．５倍にされるのは、一実施形態では、サブフレーム３０Ｆ及び３０Ｇのそれぞれが、１つの色に割り当てられた期間あたりのタイムスロットの半分しか表示されないことによる。別の実施形態では、乗算ステージ５１０において０．５倍にするのではなく、ステージ５０６及び５２２における補間フィルタのフィルタ係数が、０．５倍に縮小される。

一実施形態では、図８に示して上述したように、低解像度サブフレームデータは、２つの個別のサブフレーム３０Ｆ及び３０Ｇによって表され、これらのサブフレームは、対角サンプリング行列（すなわち、分離可能なアップサンプリング）に基づいて別々にアップサンプリングされる。別の実施形態では、図９を参照して後述するように、低解像度サブフレームデータは、単一のサブフレームによって表され、この単一のサブフレームは、非対角サンプリング行列（すなわち、分離不能なアップサンプリング（non-separable upsampling））に基づいてアップサンプリングされる。

図９は、本発明の一実施形態による、８×４ピクセルの低解像度サブフレーム３０Ｈの分離不能なアップサンプリングに基づいて２位置処理用のシミュレートされた高解像度画像６１０を生成するシステム６００を示すブロック図である。このシステム６００は、５点形アップサンプリング（quincunx upsampling）ステージ６０２と、畳み込み演算ステージ６０６と、乗算ステージ６０８とを含む。サブフレーム３０Ｈは、５点形サンプリング行列Ｑに基づいて５点形アップサンプリングステージ６０２によりアップサンプリングされ、それによって、アップサンプリング画像６０４が生成される。アップサンプリング画像６０４の黒のピクセルは、サブフレーム３０Ｈからの３２個のピクセルを表し、アップサンプリング画像６０４の白のピクセルは、０の値を表す。サブフレーム３０Ｈは、２位置処理用の２つの４×４ピクセルサブフレームのピクセルデータを含む。アップサンプリング画像６０４の第１行、第３行、第５行、及び第７行の黒のピクセルは、第１の４×４ピクセルサブフレーム用のピクセルを表し、アップサンプリング画像６０４の第２行、第４行、第６行、及び第８行の黒のピクセルは、第２の４×４ピクセルサブフレーム用のピクセルを表す。

アップサンプリング画像６０４は、畳み込み演算ステージ６０６において補間フィルタとの畳み込み演算を受け、それによって、ブロック画像が生成される。この図示した実施形態では、補間フィルタは、フィルタ係数「１」を有する２×２フィルタであって、畳み込み演算の中心がこの２×２行列の左上の位置にあるフィルタである。畳み込み演算ステージ６０６によって生成されたブロック画像は、乗算ステージ６０８において０．５倍にされて、８×８ピクセルのシミュレートされた高解像度画像６１０が生成される。

図１０は、本発明の一実施形態による、サブフレーム３０Ｉに基づいて４位置処理用のシミュレートされた高解像度画像７０６を生成するシステム７００を示すブロック図である。図１０に示す実施形態では、サブフレーム３０Ｉは、８×８配列のピクセルである。サブフレーム３０Ｉは、４位置処理用の４つの４×４ピクセルサブフレームのピクセルデータを含む。ピクセルＡ１〜Ａ１６は、第１の４×４ピクセルサブフレーム用のピクセルを表す。ピクセルＢ１〜Ｂ１６は、第２の４×４ピクセルサブフレーム用のピクセルを表す。ピクセルＣ１〜Ｃ１６は、第３の４×４ピクセルサブフレーム用のピクセルを表す。ピクセルＤ１〜Ｄ１６は、第４の４×４ピクセルサブフレーム用のピクセルを表す。

サブフレーム３０Ｉは、畳み込み演算ステージ７０２において補間フィルタとの畳み込み演算を受け、それによって、ブロック画像が生成される。この図示した実施形態では、補間フィルタは、フィルタ係数「１」を有する２×２フィルタであって、畳み込み演算の中心がこの２×２行列の左上の位置にあるフィルタである。畳み込み演算ステージ７０２によって生成されたブロック画像は、乗算ステージ７０４において０．２５倍にされて、８×８ピクセルのシミュレートされた高解像度画像７０６が生成される。画像データが乗算ステージ７０４において０．２５倍にされるのは、一実施形態では、サブフレーム３０Ｉによって表される４つのサブフレームのそれぞれが、１つの色に割り当てられた期間あたりのタイムスロットの４分の１しか表示されないことによる。別の実施形態では、乗算ステージ７０４において０．２５倍にするのではなく、補間フィルタのフィルタ係数が、それに応じて縮小される。

Ｖ．誤差最小化に基づくサブフレームの生成
上述したように、システム４００、５００、６００、及び７００は、低解像度サブフレームに基づいて、シミュレートされた高解像度画像４１２、５１２、６１０、及び７０６をそれぞれ生成する。サブフレームが最適なものであれば、これらのシミュレートされた高解像度画像は、元の高解像度画像２８に可能な限り類似することになる。平均２乗誤差、加重平均２乗誤差、及びそれ以外のものを含めて、さまざまな誤差メトリックを使用して、シミュレートされた高解像度画像が元の高解像度画像にどれだけ類似しているかを判断することができる。

図１１は、本発明の一実施形態によるシミュレートされた高解像度画像４１２／５１２／６１０／７０６と所望の高解像度画像２８との比較を示すブロック図である。減算ステージ８０２において、高解像度画像２８からシミュレートされた高解像度画像４１２、５１２、６１０、又は７０６がピクセルごとに減算される。一実施形態では、その結果生成される誤差画像データが、人間視覚系（ＨＶＳ（human visual system））加重フィルタ（Ｗ）８０４によってフィルタリングされる。本発明の一形態では、ＨＶＳ加重フィルタ８０４は、人間視覚系の特性に基づく誤差画像データをフィルタリングする。一実施形態では、ＨＶＳ加重フィルタ８０４は、高周波誤差の削減又は除去を行う。そして、フィルタリングされたデータの平均２乗誤差が、ステージ８０６において求められ、シミュレートされた高解像度画像４１２、５１２、６１０、又は７０６が、所望の高解像度画像２８にどれだけ類似しているかの尺度が提供される。

一実施形態では、システム４００、５００、６００、及び７００は、シミュレートされた高解像度画像４１２、５１２、６１０、又は７０６と元の高解像度画像２８との間の差を計測する誤差コスト方程式（error cost equation）により数学的に表される。最適なサブフレームが、シミュレートされた高解像度画像と所望の高解像度画像との最小誤差を提供するそのサブフレームデータの誤差コスト方程式を解くことにより特定される。一実施形態では、空間領域アルゴリズム及び周波数領域アルゴリズムにおいて大域的な最適解が得られ、適応型マルチパスアルゴリズムを使用して局所的な最適解が得られる。空間領域アルゴリズム、周波数領域アルゴリズム、及び適応型マルチパスアルゴリズムについては、図１２〜図１８を参照して以下にさらに詳述する。中心適応型マルチパスアルゴリズム及び簡易中心適応型マルチパスアルゴリズムについては、図１９〜図２３を参照して以下にさらに詳述する。履歴使用の適応型マルチパスアルゴリズム、履歴使用の簡易中心適応型マルチパスアルゴリズム、履歴使用の中心適応型マルチパスアルゴリズムについては、図２４〜図３２を参照して以下にさらに詳述する。

ＶＩ．空間領域
一実施形態による最適なサブフレームを生成する空間領域解を、図９に示すシステム６００との関連で説明する。図９に示すシステム６００は、以下の方程式ＩＸによる誤差コスト関数（error cost function）によって数学的に表すことができる。

＜方程式ＩＸ＞

上記方程式において、
ｌ^* _Q＝サブフレーム３０Ｈの最適な低解像度データである。
Ｊ＝最小化されるべき誤差コスト関数である。
ｎ及びｋ＝画像６０４及び６１０の高解像度ピクセルの位置を特定するインデックスである。
ｌ_Q（ｋ）＝位置ｋにおけるアップサンプリング画像６０４からの画像データである。
ｆ（ｎ−ｋ）＝位置ｎ−ｋにおける補間フィルタのフィルタ係数である。
ｈ（ｎ）＝位置ｎにおける所望の高解像度画像２８の画像データである。

方程式ＩＸの「ｌ_Q（ｋ）ｆ（ｎ−ｋ）」の総和は、システム６００のステージ６０６において実行される、アップサンプリング画像６０４と補間フィルタｆとの畳み込み演算を表す。フィルタ演算は、基本的には、アップサンプリング画像６０４の各ピクセル上を、２×２補間フィルタの右下のピクセルをスライドさせることにより実行される。２×２補間フィルタウィンドウ内のアップサンプリング画像６０４の４つピクセルは、対応するフィルタ係数（すなわち、図示した実施形態では「１」）と乗算される。４つの乗算結果は、その総和が求められ、補間フィルタの右下の位置に対応するアップサンプリング画像６０４のピクセルの値が、４つの乗算結果の総和と取り替えられる。畳み込み演算値ｌ_Q（ｋ）ｆ（ｎ−ｋ）から高解像度画像２８からの高解像度データｈ（ｎ）が減算され、誤差値が提供される。高解像度ピクセルの位置の全体にわたる２乗誤差の総和は、最小化されるべき誤差の尺度を提供する。

以下の方程式Ｘに示すように、低解像度ピクセルのそれぞれについて方程式ＩＸの導関数を求め、その導関数を０に等しく設定することにより、最適な空間領域解を得ることができる。

＜方程式Ｘ＞

上記方程式において、Θ＝５点形格子点（quincunx lattice point）の集合である。

したがって、方程式Ｘから分かるように、この導関数は、５点形格子点の集合においてのみ求められる。この５点形格子点は、図９のアップサンプリング画像６０４の黒のピクセルに対応する。方程式ＩＸで与えられるＪについての方程式を方程式Ｘに代入し、方程式Ｘで指定される導関数を求めると、以下の方程式ＸＩとなる。

＜方程式ＸＩ＞

方程式ＸＩのシンボルＣ_ffは、以下の方程式ＸＩＩによって定義される、補間フィルタｆの自己相関係数を表す。

＜方程式ＸＩＩ＞

方程式ＸＩは、以下の方程式ＸＩＩＩに示すように、ベクトル形式に変換することができる。

＜方程式ＸＩＩＩ＞

上記方程式において、
Ｃ_ff＝補間フィルタｆの自己相関係数の行列である。
ｌ^* _Q＝サブフレーム３０Ｈの未知の画像データ及び「ドントケア」データ（すなわち、アップサンプリング画像６０４の白のピクセルに対応する画像データ）を表すベクトルである。
ｈ_f＝シミュレートされた高解像度画像６１０を、補間フィルタｆを使用してフィルタリングしたものを表すベクトルである。

「ドントケア」データ（すなわち、５点形格子点の集合Θに存在しないデータ）に対応する行及び列を消去すると、以下の方程式ＸＩＶとなる。

＜方程式ＸＩＶ＞

上記方程式において、

＝サブフレーム３０Ｈの未知の画像データのみを表すベクトルである。

上記方程式ＸＩＶは、線形方程式の疎なシステムを表す、疎な非テプリッツシステム（non-Toeplitz system）である。自己相関係数の行列は判明しており、シミュレートされた高解像度画像６１０のフィルタリングされたものを表すベクトルは判明しているので、方程式ＸＩＶを解いて、サブフレーム３０Ｈの最適画像データを求めることができる。一実施形態では、サブフレーム生成ユニット３６は、方程式ＸＩＶを解いて、サブフレーム３０を生成するように構成される。

ＶＩＩ．周波数領域
一実施形態による最適なサブフレーム３０を生成する周波数領域解を、図８に示すシステム５００との関連で説明する。周波数領域解を説明する前に、周波数領域解に適用可能な高速フーリエ変換（ＦＦＴ）のいくつかの性質を、図１２及び図１３を参照して説明する。

図１２は、本発明の一実施形態による４×４ピクセルのサブフレーム３０Ｊのアップサンプリングの周波数領域における効果を示す図である。図１２に示すように、サブフレーム３０Ｊは、アップサンプリングステージ９０２によって２倍にアップサンプリングされて、８×８ピクセルのアップサンプリング画像９０４が生成される。アップサンプリング画像９０４の黒のピクセルは、サブフレーム３０Ｊからの１６個のピクセルを表し、アップサンプリング画像９０４の白のピクセルは、０の値を表す。サブフレーム３０ＪのＦＦＴを求めると、結果は、画像（Ｌ）９０６になる。アップサンプリング画像９０４のＦＦＴを求めると、結果は、画像（Ｌ_U）９０８になる。画像（Ｌ_U）９０８は、４つの４×４ピクセル部分を含む。これらの４つの４×４ピクセル部分は、画像部分（Ｌ₁）９１０Ａ、画像部分（Ｌ₂）９１０Ｂ、画像部分（Ｌ₃）９１０Ｃ、及び画像部分（Ｌ₄）９１０Ｄである。図１２に示すように、画像部分９１０Ａ〜９１０Ｄは、それぞれ、画像９０６と同じである（すなわち、Ｌ₁＝Ｌ₂＝Ｌ₃＝Ｌ₄＝Ｌ）。

図１３は、本発明の一実施形態による８×８ピクセルのアップサンプリングサブフレーム９０４のシフトの周波数領域における効果を示す図である。図１３に示すように、アップサンプリングサブフレーム９０４は、シフトステージ１００２によってシフトされて、シフト画像１００４が生成される。アップサンプリングサブフレーム９０４のＦＦＴを求めると、結果は、画像（Ｌ_U）１００６になる。シフト画像１００４のＦＦＴを求めると、結果は、画像（Ｌ_UＳ）１００８になる。画像（Ｌ_UＳ）１００８は、４つの４×４ピクセル部分を含む。これらの４つの４×４ピクセル部分は、画像部分（ＬＳ₁）１０１０Ａ、画像部分（ＬＳ₂）１０１０Ｂ、画像部分（ＬＳ₃）１０１０Ｃ、及び画像部分（ＬＳ₄）１０１０Ｄである。図１３に示すように、画像１００８は、複素指数Ｗと乗算された画像１００６と同じである（すなわち、Ｌ_UＳ＝Ｗ・Ｌ_U）。ここで、「・」は、点別乗算（pointwise multiplication）を示す。複素指数Ｗの値は、以下の方程式ＸＶによって与えられる。

＜方程式ＸＶ＞

上記方程式において、
ｋ₁＝ＦＦＴ領域における行の座標である。
ｋ₂＝ＦＦＴ領域における列の座標である。
Ｍ＝画像の列数である。
Ｎ＝画像の行数である。

図８に示すシステム５００は、以下の方程式ＸＶＩによる誤差コスト関数によって数学的に表すことができる。

＜方程式ＸＶＩ＞

上記方程式において、
（Ｌ^* _A，Ｌ^* _B）＝それぞれ、図８に示すサブフレーム３０Ｆ及び３０Ｇの最適なＦＦＴを表すベクトルである。
Ｊ＝最小化されるべき誤差コスト関数である。
ｉ＝平均されるＦＦＴブロックを特定するインデックスである（たとえば、図１２の画像９０８の場合、ｉ＝１がブロック９１０Ａに対応し、ｉ＝２がブロック９１０Ｂに対応し、ｉ＝３がブロック９１０Ｃに対応し、ｉ＝４がブロック９１０Ｄに対応する４つのブロックが平均される）。
Ｆ＝補間フィルタｆのＦＦＴを表す行列である。
Ｌ_A＝図８に示すサブフレーム３０ＦのＦＦＴを表すベクトルである。
Ｌ_B＝図８に示すサブフレーム３０ＧのＦＦＴを表すベクトルである。
Ｗ＝方程式ＸＶによって与えられる複素係数のＦＦＴを表す行列である。
Ｈ＝所望の高解像度画像２８のＦＦＴを表すベクトルである。

方程式ＸＶＩの上付き文字「Ｈ」は、エルミートを表す（すなわち、Ｘ^Hは、Ｘのエルミートである）。方程式ＸＶＩの文字の上にある「ハット」は、以下の方程式ＸＶＩＩで定義されるように、それらの文字が対角行列を表すことを示している。

＜方程式ＸＶＩＩ＞

Ｌ_Aの複素共役について方程式ＸＶＩの導関数を求め、この導関数を０に等しく設定すると、結果は、以下の方程式ＸＶＩＩＩとなる。

＜方程式ＸＶＩＩＩ＞

Ｌ_Bの複素共役について方程式ＸＶＩの導関数を求め、この導関数を０に等しく設定すると、結果は、以下の方程式ＸＩＸとなる。

＜方程式ＸＩＸ＞

方程式ＸＶＩＩＩ及びＸＩＸの文字の上にある水平バーは、それらの文字が、複素共役を表すことを示している（すなわち、

は、Ａの複素共役を表す）。

方程式ＸＶＩＩＩ及びＸＩＸをＬ_A及びＬ_Bについて解くと、結果は、以下の方程式ＸＸ及びＸＸＩとなる。

＜方程式ＸＸ＞

＜方程式ＸＸＩ＞

方程式ＸＸ及びＸＸＩは、シミュレートされた逆フィルタリング（pseudo-inverse filtering）を使用して周波数領域で実行することができる。一実施形態では、サブフレーム生成ユニット３６が、方程式ＸＸ及びＸＸＩに基づいてサブフレーム３０を生成するように構成される。

ＶＩＩＩ．適応型マルチパス
一実施形態による、サブフレーム３０を生成する適応型マルチパスアルゴリズムは、過去の誤差を使用して、サブフレームデータの評価を更新し、高速な収束及び低いメモリ必要量を提供する。一実施形態による適応型マルチパスの解を、図９に示すシステム６００との関連で説明する。図９に示すシステム６００は、以下の方程式ＸＸＩＩによる誤差コスト関数によって数学的に表すことができる。

＜方程式ＸＸＩＩ＞

上記方程式において、
ｎ＝現時点の反復を特定するインデックスである。
Ｊ⁽ⁿ⁾（ｎ）＝反復ｎにおける誤差コスト関数である。
ｅ⁽ⁿ⁾（ｎ）＝誤差コスト関数Ｊ⁽ⁿ⁾（ｎ）の平方根である。
ｎ及びｋ＝画像６０４及び６１０の高解像度ピクセルの位置を特定するインデックスである。
ｌ_Q ⁽ⁿ⁾（ｋ）＝位置ｋにおけるアップサンプリング画像６０４からの画像データである。
ｆ（ｎ−ｋ）＝位置ｎ−ｋにおける補間フィルタのフィルタ係数である。
ｈ（ｎ）＝位置ｎにおける所望の高解像度画像２８の画像データである。

方程式ＸＸＩＩから分かるように、上記方程式ＩＸに示すように高解像度画像全体にわたって総和を求めることにより空間領域のグローバル誤差を最小化するのではなく、ｎの関数である空間領域の局所誤差が最小化されている。

一実施形態では、平均最小２乗（ＬＭＳ）アルゴリズムを使用して、更新が求められる。この更新は、以下の方程式ＸＸＩＩＩによって表される。

＜方程式ＸＸＩＩＩ＞

上記方程式において、
Θ＝５点形格子点（すなわち、図９のアップサンプリング画像６０４の黒のピクセル）の集合である。
α＝鮮鋭化係数（sharpening factor）である。

方程式ＸＸＩＩの導関数を求めると、方程式ＸＸＩＩＩにおけるこの導関数の値が提供される。この方程式ＸＸＩＩの導関数は、以下の方程式ＸＸＩＶによって与えられる。

＜方程式ＸＸＩＶ＞

一実施形態では、以下の方程式ＸＸＶによって表されるように、「影響領域（region of influence）」にわたる平均勾配を使用するブロックＬＭＳアルゴリズムを使用して、更新が実行される。

＜方程式ＸＸＶ＞

上記方程式において、Ω＝影響領域である。

図１４は、本発明の一実施形態によるアップサンプリング画像１１００のピクセルの影響領域（Ω）１１０６及び１１０８を示す図である。画像１１００のピクセル１１０２は、第１のサブフレームのピクセルに対応し、画像１１００のピクセル１１０４は、第２のサブフレームのピクセルに対応する。領域１１０６は、ピクセル１１０２の影響領域であり、２×２配列のピクセルを含み、この２×２配列の左上隅にピクセル１１０２を有する。同様に、領域１１０８は、ピクセル１１０４の影響領域であり、２×２配列のピクセルを含み、この２×２配列の左上隅にピクセル１１０４を有する。

図１５は、本発明の一実施形態による適応型マルチパスアルゴリズムに基づく初期シミュレートされた高解像度画像１２０８の生成を示す図である。元の高解像度画像２８に基づいて、初期の１組の低解像度サブフレーム３０Ｋ−１及び３０Ｌ−１が生成される。この図示した実施形態では、この初期の１組のサブフレーム３０Ｋ−１及び３０Ｌ−１は、図５を参照して上述した最近傍アルゴリズムの一実施形態を使用して生成される。サブフレーム３０Ｋ−１及び３０Ｌ−１は、アップサンプリングされて、アップサンプリング画像１２０２が生成される。このアップサンプリング画像１２０２は、補間フィルタ１２０４との畳み込み演算を受け、それによって、ブロック画像が生成される。そして、このブロック画像は、０．５倍にされて、シミュレートされた高解像度画像１２０８が生成される。この図示した実施形態では、補間フィルタ１２０４は、フィルタ係数「１」を有する２×２フィルタであって、畳み込み演算の中心がこの２×２行列の左上の位置にあるフィルタである。補間フィルタ１２０４の右下のピクセル１２０６は、画像１２０２の各ピクセル上に配置されて、そのピクセル位置のブロック値（blocked value）が求められる。図１５に示すように、補間フィルタ１２０４の右下のピクセル１２０６は、画像１２０２の第３行第４列のピクセルの上に配置され、このピクセルは、「０」の値を有する。そのピクセル位置のブロック値は、フィルタ係数をフィルタ１２０４のウィンドウ内のピクセル値と乗算して、その結果を加算することにより求められる。フレーム外の値は、「０」とみなされる。図示した実施形態の場合、画像１２０２の第３行第４列のピクセルのブロック値は、以下の方程式ＸＸＶＩによって与えられる。

＜方程式ＸＸＶＩ＞
（１×０）＋（１×５）＋（１×５）＋（１×０）＝１０

そして、方程式ＸＸＶＩの値は、０．５倍にされて、その結果（すなわち５）が、初期シミュレートされた高解像度画像１２０８の第３行第４列のピクセル１２１０のピクセル値とされる。

初期シミュレートされた高解像度画像１２０８が生成された後、補正データが生成される。図１６は、本発明の一実施形態による適応型マルチパスアルゴリズムに基づく補正データの生成を示す図である。図１６に示すように、元の高解像度画像２８から初期シミュレートされた高解像度画像１２０８が減算されて、誤差画像１３０２が生成される。この誤差画像１３０２の２×２ブロックのピクセルを平均することにより、補正サブフレーム１３１２及び１３１４が生成される。たとえば、誤差画像１３０２の第１列第１行のピクセル１３０８は、影響領域１３０４を有する。この影響領域１３０４内のピクセル値が平均されて、第１の補正値（すなわち０．７５）が生成される。この第１の補正値は、補正サブフレーム１３１２の第１列第１行のピクセルとして使用される。同様に、誤差画像１３０２の第２列第２行のピクセル１３１０は、影響領域１３０６を有する。この影響領域１３０６内のピクセル値が平均されて、第２の補正値（すなわち０．７５）が生成される。この第２の補正値は、補正サブフレーム１３１４の第１列第１行のピクセルとして使用される。

補正サブフレーム１３１２の第１行第２列の補正値（すなわち１．３８）は、基本的には、図示した影響領域のボックス１３０４を右へ２列スライドさせて、ボックス１３０４内の４つのピクセルを平均することにより生成される。補正サブフレーム１３１２の第２行第１列の補正値（すなわち０．５０）は、基本的には、図示した影響領域のボックス１３０４を下へ２行スライドさせて、ボックス１３０４内の４つのピクセルを平均することにより生成される。補正サブフレーム１３１２の第２行第２列の補正値（すなわち０．７５）は、基本的には、図示した影響領域のボックス１３０４を右へ２列、下へ２行スライドさせて、ボックス１３０４内の４つのピクセルを平均することにより生成される。

補正サブフレーム１３１４の第１行第２列の補正値（すなわち０．００）は、基本的には、図示した影響領域のボックス１３０６を右へ２列スライドさせて、ボックス１３０６内のピクセルを平均することにより生成される。フレーム外の値は、「０」とみなされる。補正サブフレーム１３１４の第２行第１列の補正値（すなわち０．３８）は、基本的には、図示した影響領域のボックス１３０６を下へ２行スライドさせて、ボックス１３０６内のピクセルを平均することにより生成される。補正サブフレーム１３１４の第２行第２列の補正値（すなわち０．００）は、基本的には、図示した影響領域のボックス１３０６を右へ２列、下へ２行スライドさせて、ボックス１３０６内の４つのピクセルを平均することにより生成される。

補正サブフレーム１３１２及び１３１４を使用して、更新サブフレームが生成される。図１７は、本発明の一実施形態による適応型マルチパスアルゴリズムに基づく更新サブフレーム３０Ｋ−２及び３０Ｌ−２の生成を示す図である。図１７に示すように、更新サブフレーム３０Ｋ−２は、補正サブフレーム１３１２を鮮鋭化係数αと乗算して、初期サブフレーム３０Ｋ−１を加算することにより生成される。更新サブフレーム３０Ｌ−２は、補正サブフレーム１３１４を鮮鋭化係数αと乗算して、初期サブフレーム３０Ｌ−１を加算することにより生成される。この図示した実施形態では、鮮鋭化係数αは、０．８に等しい。

一実施形態では、更新サブフレーム３０Ｋ−２及び３０Ｌ−２は、適応型マルチパスアルゴリズムの次の反復に使用されて、さらなる更新サブフレームが生成される。任意の所望の回数の反復を行ってもよい。何回かの反復の後、適応型マルチパスアルゴリズムを使用して生成されたサブフレームの値は、最適な値に収束する。一実施形態では、サブフレーム生成ユニット３６が、適応型マルチパスアルゴリズムに基づいてサブフレーム３０を生成するように構成される。

図１５〜図１７を参照して上述した適応型マルチパスアルゴリズムの実施形態は、２位置処理用のものである。４位置処理の場合、方程式ＸＸＩＶは、以下の方程式ＸＸＶＩＩとなる。

＜方程式ＸＸＶＩＩ＞

上記方程式において、ｌ⁽ⁿ⁾＝４つのサブフレーム３０の低解像度データである。

そして、方程式ＸＸＩＩＩは、以下の方程式ＸＸＶＩＩＩとなる。

＜方程式ＸＸＶＩＩＩ＞

４位置処理の場合、４つのサブフレームが存在する。したがって、低解像度データの量は、高解像度データの量と同じである。それぞれの高解像度グリッド点は、１つの誤差を与え、上記方程式ＸＸＶに表すような平均勾配の更新を行う必要はない。反対に、所与の位置の誤差が、更新を直接与える。

上述したように、一実施形態では、適応型マルチパスアルゴリズムは、平均最小２乗（ＬＭＳ）技法を使用して、補正データを生成する。別の実施形態では、適応型マルチパスアルゴリズムは、凸射影（ＰＯＣＳ（projection on a convex set））技法を使用して、補正データを生成する。一実施形態によるＰＯＣＳ技法に基づく適応型マルチパスの解を、図９に示すシステム６００との関連で説明する。図９に示すシステム６００は、以下の方程式ＸＸＩＸによる誤差コスト関数により数学的に表すことができる。

＜方程式ＸＸＩＸ＞

上記方程式において、
ｅ（ｎ）＝誤差コスト関数である。
ｎ及びｋ＝高解像度ピクセルの位置を特定するインデックスである。
ｌ_Q（ｋ）＝位置ｋにおけるアップサンプリング画像６０４からの画像データである。
ｆ（ｎ−ｋ）＝位置ｎ−ｋにおける補間フィルタのフィルタ係数である。
ｈ（ｎ）＝位置ｎにおける所望の高解像度画像２８の画像データである。

ＰＯＣＳ技法の制約集合（constrained set）は、以下の方程式ＸＸＸにより定義される。

＜方程式ＸＸＸ＞

上記方程式において、
Ｃ（ｎ）＝パラメータηによって境界が定められるアップサンプリング画像６０４からのすべてのサブフレームデータを含む制約集合である。
η＝誤差の大きさの境界制約である。

現時点の反復のサブフレームピクセル値は、以下の方程式ＸＸＸＩに基づいて求められる。

＜方程式ＸＸＸＩ＞

上記方程式において、
ｎ＝現時点の反復を特定するインデックスである。
λ＝緩和パラメータである。
‖ｆ‖＝補間フィルタの係数のノルムである。

方程式ＸＸＸＩのシンボルｎ^*は、誤差が最大である影響領域Ωの位置を表し、以下の方程式ＸＸＸＩＩによって定義される。

＜方程式ＸＸＸＩＩ＞

図１８は、本発明の一実施形態によるＰＯＣＳ技法を使用した適応型マルチパスアルゴリズムに基づく補正データの生成を示す図である。一実施形態では、初期シミュレートされた高解像度画像１２０８が、図１５を参照して上述したものと同じ方法で生成され、元の高解像度画像２８から初期シミュレートされた高解像度画像１２０８が減算されて、誤差画像１３０２が生成される。そして、上記方程式ＸＸＸＩが使用されて、誤差画像１３０２のデータから更新サブフレーム３０Ｋ−３及び３０Ｌ−３が生成される。図示した実施形態の場合、方程式ＸＸＸＩの緩和パラメータλは０．５に等しく、誤差の大きさの境界制約ηは１に等しいと仮定される。

ＰＯＣＳ技法によると、図１６を参照して上述したように、影響領域内のピクセル値を平均して補正値を求めるのではなく、影響領域内の最大誤差ｅ（ｎ^*）が特定される。そして、更新ピクセル値が、方程式ＸＸＸＩからの適切な式を使用して生成される。この適切な式は、影響領域内の最大誤差ｅ（ｎ^*）が、（この例ではη＝１であるので）１よりも大きいか、１よりも小さいか、又は１に等しいかによって決まる。

たとえば、誤差画像１３０２の第１列第１行のピクセルは、影響領域１３０４を有する。この影響領域１３０４内における最大誤差は、１である（すなわち、ｅ（ｎ^*）＝１）。方程式ＸＸＸＩを参照すると、ｅ（ｎ^*）＝１の場合には、更新ピクセル値は、このピクセルの前の値に等しい。図１５を参照すると、サブフレーム３０Ｋ−１の第１列第１行のピクセルの前の値は、２である。したがって、このピクセルは、更新サブフレーム３０Ｋ−３において２の値を維持する。誤差画像１３０２の第２列第２行のピクセルは、影響領域１３０６を有する。この影響領域１３０６内における最大誤差は、１．５である（すなわち、ｅ（ｎ^*）＝１．５）。方程式ＸＸＸＩを参照すると、ｅ（ｎ^*）＞１の場合には、更新ピクセル値は、このピクセルの前の値の２分の１に、量（ｅ（ｎ^*）−１）の２分の１を加算したものに等しく、１．２５と等しい。図１５を参照すると、サブフレーム３０Ｌ−１の第１列第１行のピクセルの前の値は、２である。したがって、このピクセルの更新値は、更新サブフレーム３０Ｌ−３において１．２５となる。

影響領域のボックス１３０２及び１３０４は、基本的には、図１６を参照して上述したものと同じ方法で誤差画像１３０２内を移動して回り、方程式ＸＸＸＩに基づいて、更新サブフレーム３０Ｋ−３及び３０Ｌ−３の残りの更新値を生成する。

ＩＸ．中心適応型マルチパス
一実施形態による、サブフレーム３０を生成する中心適応型マルチパスアルゴリズムは、過去の誤差を使用して、サブフレームデータの評価を更新し、高速な収束及び低いメモリ必要量を提供することができる。中心適応型マルチパスアルゴリズムは、上述した４位置適応型マルチパスアルゴリズムを変更したものである。中心適応型マルチパスアルゴリズムでは、４つのサブフレーム３０それぞれの中の各ピクセルが、元の高解像度画像２８内のピクセルに対してセンタリングされる。４つのサブフレームは、図３Ａ〜図３Ｅを参照して上述した４位置処理を使用して表示デバイス２６によって表示される。

図１９Ａ〜図１９Ｅは、本発明の一実施形態による元の高解像度画像２８に関する４つのサブフレーム１４１２Ａ、１４２２Ａ、１４３２Ａ、及び１４４２Ａを表示したものを示す概略図である。図１９Ａに示すように、画像２８は８×８ピクセルを含み、ピクセル１４０４に例示のために陰影が付けてある。

図１９Ｂは画像２８に関する第１のサブフレーム１４１２Ａを示す。サブフレーム１４１２Ａは、画像２８の第１のピクセルセットに対してセンタリングされた４×４ピクセルを含む。たとえば、サブフレーム１４１２Ａ内のピクセル１４１４は画像２８からのピクセル１４０４に対してセンタリングされる。

図１９Ｃは画像２８に関する第２のサブフレーム１４２２Ａを示す。サブフレーム１４２２Ａは画像２８内の第２のピクセルセットに対してセンタリングされた４×４ピクセルを含む。たとえば、サブフレーム１４２２Ａ内のピクセルは画像２８からのピクセル１４０４の右側にあるピクセルに対してセンタリングされる。サブフレーム１４２２Ａ内の２つのピクセル１４２４及び１４２６は、画像２８からのピクセル１４０４に重なる。

図１９Ｄは、画像２８に関する第３のサブフレーム１４３２Ａを示す。サブフレーム１４３２Ａは画像２８内の第３のピクセルセットに対してセンタリングされた４×４ピクセルを含む。たとえば、サブフレーム１４３２Ａ内のピクセルは画像２８からのピクセル１４０４の下にあるピクセルに対してセンタリングされる。サブフレーム１４３２Ａ内のピクセル１４３４及び１４３６は、画像２８からのピクセル１４０４に重なる。

図１９Ｅは画像２８に関する第４のサブフレーム１４４２Ａを示す。サブフレーム１４４２Ａは画像２８内の第４のピクセルセットに対してセンタリングされた４×４ピクセルを含む。たとえば、サブフレーム１４４２Ａ内のピクセルは、画像２８からのピクセル１４０４の対角線上右下にあるピクセルに対してセンタリングされる。サブフレーム１４４２Ａ内のピクセル１４４４、１４４６、１４４８、及び１４５０は、画像２８からのピクセル１４０４に重なる。

４つのサブフレーム１４１２Ａ、１４２２Ａ、１４３２Ａ、及び１４４２Ａが表示されると、９つのサブフレームピクセルが結合して、元の高解像度画像２８からの各ピクセルの表示表現を形成する。たとえば、９つのサブフレームピクセル：サブフレーム１４１２Ａからのピクセル１４１４、サブフレーム１４２２Ａからのピクセル１４２４及び１４２６、サブフレーム１４３２Ａからのピクセル１４３４及び１４３６、並びにサブフレーム１４４２Ａからのピクセル１４４４、１４４６、１４４８、及び１４５０が結合して、元の高解像度画像２８からのピクセル１４０４の表示表現を形成する。しかし、これら９つのサブフレームピクセルがピクセル１４０４の表示表現に対して与える光量は異なる。特に、サブフレーム１４２２Ａ及び１４３２Ａのそれぞれからのピクセル１４２４、１４２６、１４３４、及び１４３６はそれぞれ、図１９Ｃ及び図１９Ｄにピクセル１４０４に重なるピクセル１４２４、１４２６、１４３４、及び１４３６の一部のみで示すように、サブフレーム１４１２Ａからのピクセル１４１４のおよそ半分の光を与える。同様に、サブフレーム１４４２Ａからのピクセル１４４４、１４４６、１４４８、及び１４５０はそれぞれ、図１９Ｃ及び図１９Ｄにおけるピクセル１４０４に重なるピクセル１４４４、１４４６、１４４８、及び１４５０の一部のみで示すように、サブフレーム１４１２Ａからのピクセル１４１４のおよそ１／４の光を与える。

サブフレーム生成ユニット３６は、４つの初期サブフレーム１４１２Ａ、１４２２Ａ、１４３２Ａ、及び１４４２Ａを高解像度画像２８から生成する。一実施形態では、サブフレーム１４１２Ａ、１４２２Ａ、１４３２Ａ、及び１４４２Ａは、図５を参照して上述した最近傍アルゴリズムの一実施形態を使用して生成することができる。他の実施形態では、サブフレーム１４１２Ａ、１４２２Ａ、１４３２Ａ、及び１４４２Ａは他のアルゴリズムを使用して生成することができる。誤差処理のためにサブフレーム１４１２Ａ、１４２２Ａ、１４３２Ａ、及び１４４２Ａをアップサンプリングして、図２０にサブフレーム３０Ｍとして示すアップサンプリング画像を生成する。

図２０は、本発明の一実施形態による中心適応型マルチパスアルゴリズムを使用してサブフレーム３０Ｍに基づいて４位置処理用のシミュレートされた高解像度画像１５０４を生成するシステム１５００を示すブロック図である。図２０に示す実施形態では、サブフレーム３０Ｍは８×８配列のピクセルである。サブフレーム３０Ｍは、４位置処理用の４つの４×４ピクセルサブフレームのピクセルデータを含む。ピクセルＡ１〜Ａ１６はサブフレーム１４１２Ａからのピクセルを表し、ピクセルＢ１〜Ｂ１６はサブフレーム１４２２Ａからのピクセルを表し、ピクセルＣ１〜Ｃ１６はサブフレーム１４３２Ａからのピクセルを表し、そして、ピクセルＤ１〜Ｄ１６はサブフレーム１４４２Ａからのピクセルを表す。

サブフレーム３０Ｍは、畳み込み演算ステージ１５０２において補間フィルタとの畳み込み演算を受け、それによって、シミュレートされた高解像度画像１５０４が生成される。図示した実施形態では、補間フィルタは、畳み込み演算の中心が３×３行列の中心位置である３×３フィルタである。第１行のフィルタ係数は「１／１６」、「２／１６」、「１／１６」であり、第２行のフィルタ係数は「２／１６」、「４／１６」、「２／１６」であり、そして、最後の行のフィルタ係数は「１／１６」、「２／１６」、「１／１６」である。

フィルタ係数は、９つのサブフレームピクセルの高解像度画像２８のピクセルの表示表現に対する相対比率を表す。上記図１９の例を想起すると、サブフレーム１４２２Ａ及び１４３２Ａのそれぞれからのピクセル１４２４、１４２６、１４３４、及び１４３６はそれぞれ、サブフレーム１４１２Ａからのピクセル１４１４のおよそ半分の光を与え、そして、サブフレーム１４４２Ａからのピクセル１４４４、１４４６、１４４８、及び１４５０はそれぞれ、サブフレーム１４１２Ａからのピクセル１４１４のおよそ１／４の光を与える。サブフレームピクセル１４１４、１４２４、１４２６、１４３４、１４３６、１４４４、１４４６、１４４８、及び１４５０の値はそれぞれ、サブフレーム画像３０Ｍ内のＡ６、Ｂ５、Ｂ６、Ｃ２、Ｃ６、Ｄ１、Ｄ５、Ｄ２、及びＤ６のピクセルに対応する。したがって、シミュレートされた画像１５０４のピクセルＡ６_SIM（図１９中のピクセル１４０４に対応する）は、サブフレーム画像３０Ｍ内の値から方程式ＸＸＸＩＩＩにおいて以下のように計算される。

＜方程式ＸＸＸＩＩＩ＞
Ａ６_SIM＝（（１×Ｄ１）＋（２×Ｃ２）＋（１×Ｄ２）＋（２×Ｂ５）＋（４×Ａ６）＋（２×Ｂ６）＋（１×Ｄ５）＋（２×Ｃ６）＋（１×Ｄ６））／１６

画像データを１６で割り、９つのサブフレームピクセルが各表示ピクセルに与える相対比率を補正する。

シミュレートされた高解像度画像１５０４の生成後、補正データが生成される。図２１は、本発明の一実施形態によるシステム１５２０において中心適応型マルチパスアルゴリズムを使用しての補正データの生成を示すブロック図である。減算ステージ１５２２において、高解像度画像２８からシミュレートされた高解像度画像１５０４がピクセルごとに減算される。一実施形態では、その結果生成される誤差画像データが、誤差フィルタ１５２６によってフィルタリングされて誤差画像１５３０が生成される。図示した実施形態では、誤差フィルタは、畳み込み演算の中心が３×３行列の中心位置である３×３フィルタである。第１行のフィルタ係数は「１／１６」、「２／１６」、「１／１６」であり、第２行のフィルタ係数は「２／１６」、「４／１６」、「２／１６」であり、最後の行のフィルタ係数は「１／１６」、「２／１６」、「１／１６」である。フィルタ係数は、低解像度サブフレームピクセルと高解像度画像２８の９つのピクセルとの相対差を表す。図１９Ｂに示すように、低解像度サブフレームピクセル１４１４の誤差画像１５３０の誤差値は、高解像度画像２８のピクセル１４０４及びピクセル１４０４に直に隣接する８つの高解像度ピクセルに対して測定される。上記フィルタ係数の場合、ピクセル１４０４の上下左右の高解像度ピクセルは、ピクセル１４１４に対応する誤差値を計算するに当たってピクセル１４０４の角に隣接する高解像度ピクセルの２倍に加重される。同様に、ピクセル１４０４は、ピクセル１４１４に対応する誤差値を計算するに当たってピクセル１４０４の上下左右の４つの高解像度ピクセルの２倍に加重される。

初期サブフレーム１４１２Ａ、１４２２Ａ、１４３２Ａ、及び１４４２Ａのそれぞれに関連する４つの補正サブフレーム（図示せず）が、誤差画像１５３０から生成される。４つの更新サブフレーム１４１２Ｂ、１４２２Ｂ、１４３２Ｂ、及び１４４２Ｂが、補正サブフレームに鮮鋭化係数αを乗算し、初期サブフレーム１４１２Ａ、１４２２Ａ、１４３２Ａ、及び１４４２Ａをそれぞれ加算することによって生成される。鮮鋭化係数αは、中心適応型マルチパスアルゴリズムの反復ごとに異なってもよい。一実施形態では、鮮鋭化係数αは連続した反復ごとに低減してもよい。たとえば、鮮鋭化係数αは、１回目の反復では「３」であってもよく、２回目の反復では「１．８」であってもよく、また、３回目の反復では「０．５」であってもよい。

一実施形態では、更新サブフレーム１４１２Ｂ、１４２２Ｂ、１４３２Ｂ、及び１４４２Ｂを中心適応型マルチパスアルゴリズムの次の反復に使用して、さらなる更新サブフレームを生成する。任意の所望の回数の反復を行ってもよい。何回かの反復後、中心適応型マルチパスアルゴリズムを使用して生成されるサブフレームの値は最適な値に収束する。一実施形態では、サブフレーム生成ユニット３６は、中心適応型マルチパスアルゴリズムに基づいてサブフレーム３０を生成するように構成される。

上述した中心適応型マルチパスアルゴリズムの実施形態では、フィルタ係数の分子及び分母の値は２のべき乗になるように選択された。２のべき乗を使用することにより、デジタルシステムでの処理が早められる。中心適応型マルチパスアルゴリズムの他の実施形態では、他のフィルタ係数値を使用してもよい。

他の実施形態では、今述べた中心適応型マルチパスアルゴリズムは、２位置処理で２つのサブフレームを生成するように変更してもよい。２つのサブフレームは、図２Ａ〜図２Ｃを参照して上述したように２位置処理を使用して表示デバイス２６により表示される。２位置処理の場合、画像３０Ｍ（図２０に示す）内のピクセルＢ１〜Ｂ１６及びＣ１〜Ｃ１６はゼロであり、補間フィルタは、第１行の値が「１／８」、「２／８」、「１／８」であり、第２行の値が「２／８」、「４／８」、「２／８」であり、第３行の値が「１／８」、「２／８」、「１／８」である３×３配列を含む。２位置処理の誤差フィルタは、４位置処理の誤差フィルタと同じである。

他の実施形態では、中心適応型マルチパスアルゴリズムは、各サブフレームピクセル値について各反復の計算を単一ステップに併合することによって任意の回数の反復をワンパスで行うことができる。このようにして、各サブフレームピクセル値が、各反復で明示的にシミュレーションサブフレーム、誤差サブフレーム、及び補正サブフレームを生成することなく生成される。むしろ、各サブフレームピクセル値は独立して、元の画像ピクセル値から計算される中間値から計算される。

Ｘ．簡易中心適応型マルチパス
一実施形態によるサブフレーム３０を生成するための簡易中心適応型マルチパスアルゴリズムは、過去の誤差を用いてサブフレームデータの評価を更新し、高速な収束及び低いメモリ必要量を提供する。簡易中心適応型マルチパスアルゴリズムは、上述した４位置適応型マルチパスアルゴリズムを変更する。簡易中心適応型マルチパスアルゴリズムでは、４つのサブフレーム３０のそれぞれの各ピクセルが、図１９Ａ〜図１９Ｅを参照して上述したように元の高解像度画像２８のピクセルに対してセンタリングされる。４つのサブフレームは、図３Ａ〜図３Ｅを参照して上述したように４位置処理を用いて表示デバイス２６により表示される。

図１９Ａ〜図１９Ｅを参照すると、サブフレーム生成ユニット３６は、高解像度画像２８から４つの初期サブフレーム１４１２Ａ、１４２２Ａ、１４３２Ａ、及び１４４２Ａを生成する。一実施形態では、サブフレーム１４１２Ａ、１４２２Ａ、１４３２Ａ、及び１４４２Ａは、図５を参照して上述した最近傍アルゴリズムの一実施形態を使用して生成されてもよい。他の実施形態では、サブフレーム１４１２Ａ、１４２２Ａ、１４３２Ａ、及び１４４２Ａは他のアルゴリズムを使用して生成されてもよい。誤差処理のために、サブフレーム１４１２Ａ、１４２２Ａ、１４３２Ａ、及び１４４２Ａをアップサンプリングして、図２２中にサブフレーム３０Ｎとして示すアップサンプリング画像を生成する。

図２２は、本発明の一実施形態による簡易中心適応型マルチパスアルゴリズムを使用して、サブフレーム３０Ｎに基づいて４位置処理用のシミュレートされた高解像度画像１６０４を生成するシステム１６００を示すブロック図である。図２２に示す実施形態では、サブフレーム３０Ｎは８×８配列のピクセルである。サブフレーム３０Ｎは、４位置処理用の４つの４×４ピクセルサブフレームのピクセルデータを含む。ピクセルＡ１〜Ａ１６はサブフレーム１４１２Ａからのピクセルを表し、ピクセルＢ１〜Ｂ１６はサブフレーム１４２２Ａからのピクセルを表し、ピクセルＣ１〜Ｃ１６はサブフレーム１４３２Ａからのピクセルを表し、ピクセルＤ１〜Ｄ１６はサブフレーム１４４２Ａからのピクセルを表す。

サブフレーム３０Ｎは、畳み込み演算ステージ１６０２において補間フィルタとの畳み込み演算を受け、それによって、シミュレートされた高解像度画像１６０４が生成される。図示した実施形態では、補間フィルタは、畳み込み演算の中心が３×３行列の中心位置である３×３フィルタである。第１行のフィルタ係数は「０」、「１／８」、「０」であり、第２行のフィルタ係数は「１／８」、「４／８」、「１／８」であり、最後の行のフィルタ係数は「０」、「１／８」、「０」である。

フィルタ係数は、５つのサブフレームピクセルの高解像度画像２８のピクセルの表示表現に対する相対比率を近似する。上記図１９の例を想起すると、サブフレーム１４２２Ａ及び１４３２Ａのそれぞれからのピクセル１４２４、１４２６、１４３４、及び１４３６はそれぞれ、サブフレーム１４１２Ａからのピクセル１４１４のおよそ半分の光を与え、また、サブフレーム１４４２Ａからのピクセル１４４４、１４４６、１４４８、及び１４５０はそれぞれ、サブフレーム１４１２Ａからのピクセル１４１４のおよそ１／４の光を与える。簡易中心適応型マルチパスアルゴリズムを使用する場合、「角ピクセル」と呼ぶピクセル１４４４、１４４６、１４４８、及び１４５０からの寄与分は、角ピクセルに関連するフィルタ係数が０であることで示されるようにピクセル１４１４のピクセル値を計算するに当たって無視される。

サブフレームピクセル１４１４、１４２４、１４２６、１４３４、１４３６、１４４４、１４４６、１４４８、及び１４５０の値は、サブフレーム画像３０Ｎ内のＡ６、Ｂ５、Ｂ６、Ｃ２、Ｃ６、Ｄ１、Ｄ５、Ｄ２、及びＤ６のピクセルにそれぞれ対応する。したがって、シミュレートされた画像１５０４のピクセルＡ６_SIM（図１９中のピクセル１４０４に対応する）は、サブフレーム画像３０Ｎ内の値から方程式ＸＸＸＩＶにおいて以下のように計算される。

＜方程式ＸＸＸＩＶ＞
Ａ６_SIM＝（（０×Ｄ１）＋（１×Ｃ２）＋（０×Ｄ２）＋（１×Ｂ５）＋（４×Ａ６）＋（１×Ｂ６）＋（０×Ｄ５）＋（１×Ｃ６）＋（０×Ｄ６））／８

方程式ＸＸＸＩＶを簡易化すると方程式ＸＸＸＶになる。

＜方程式ＸＸＸＶ＞
Ａ６_SIM＝（Ｃ２＋Ｂ５＋（４×Ａ６）＋Ｂ６＋Ｃ６）／８

画像データを８で割り、５つのサブフレームピクセルが各表示ピクセルに与える相対比率を補正する。

擬似高解像度画像１６０４の生成後、補正データが生成される。図２３は、本発明の一実施形態によるシステム１７００において中心適応型マルチパスアルゴリズムを使用しての補正データの生成を示すブロック図である。減算ステージ１７０２において、高解像度画像２８からシミュレートされた高解像度画像１６０４がピクセルごとに減算されて、誤差画像１７０４を生成する。

初期サブフレーム１４１２Ａ、１４２２Ａ、１４３２Ａ、及び１４４２Ａのそれぞれに関連する４つの補正サブフレーム（図示せず）は、誤差画像１７０４から生成される。４つの更新サブフレーム１７０４Ａ、１７０４Ｂ、１７０４Ｃ、及び１７０４Ｄが、補正サブフレームに鮮鋭化係数αを乗算し、初期サブフレーム１４１２Ａ、１４２２Ａ、１４３２Ａ、及び１４４２Ａのそれぞれを加算することによって生成される。鮮鋭化係数αは、簡易中心適応型マルチパスアルゴリズムの反復ごとに異なってもよい。一実施形態では、鮮鋭化係数αは連続した反復ごとに低減してもよい。たとえば、鮮鋭化係数αは、１回目の反復では「３」であってもよく、２回目の反復では「１．８」であってもよく、３回目の反復では「０．５」であってもよい。

一実施形態では、更新サブフレーム１７０４Ａ、１７０４Ｂ、１７０４Ｃ、及び１７０４Ｄを簡易中心適応型マルチパスアルゴリズムの次の反復に使用して、さらなる更新サブフレームを生成する。任意の所望の回数の反復を行ってもよい。何回かの反復後、簡易中心適応型マルチパスアルゴリズムを使用して生成されるサブフレームの値は最適な値に収束する。一実施形態では、サブフレーム生成ユニット３６は、中心適応型マルチパスアルゴリズムに基づいてサブフレーム３０を生成するように構成される。

上述した簡易中心適応型マルチパスアルゴリズムの実施形態では、フィルタ係数の分子及び分母の値は２のべき乗になるように選択された。２のべき乗を使用することにより、デジタルシステムでの処理が早められる。簡易中心適応型マルチパスアルゴリズムの他の実施形態では、他のフィルタ係数値を使用してもよい。

他の実施形態では、簡易中心適応型マルチパスアルゴリズムは、各サブフレームピクセル値について各反復の計算を単一ステップに併合することによって任意の回数の反復をワンパスで行うことができる。このようにして、各サブフレームピクセル値が、各反復で明示的にシミュレーションサブフレーム、誤差サブフレーム、及び補正サブフレームを生成することなく生成される。むしろ、各サブフレームピクセル値は独立して、元の画像ピクセル値から計算される中間値から計算される。

ＸＩ．履歴使用の適応型マルチパス
一実施形態によるサブフレーム３０を生成する履歴使用の適応型マルチパスアルゴリズムは、過去の誤差を使用して、サブフレームデータの評価を更新し、高速な収束及び低いメモリ必要量を提供することができる。履歴使用の適応型マルチパスアルゴリズムは、履歴値を使用してアルゴリズムのワンパスでサブフレームを生成することによって上述した４位置適応型マルチパスアルゴリズムを変更する。図３Ａ〜図３Ｅを参照して上述した４位置処理を使用して表示デバイス２６に４つのサブフレームを表示する。

適応型マルチパスアルゴリズムを実行するための少なくとも２つの方法を使用することができる。第１に、適応型マルチパスアルゴリズム、中心適応型マルチパスアルゴリズム、及び簡易中心適応型マルチパスアルゴリズムについて上述したように、適応型マルチパスアルゴリズムを複数回反復して行うことができる。複数回の反復に伴い、（１）初期サブフレームが生成され、（２）シミュレートされた画像が生成され、（３）シミュレートされた画像を元の画像と比較することによって補正データが計算され、（４）補正データを使用して更新サブフレームが生成される。そして、ステップ（２）〜（４）が各反復ごとに繰り返される。

適応型マルチパスアルゴリズムは、各最終サブフレームピクセル値の影響領域を使用してワンパスで各最終サブフレームピクセル値を計算することによって実行することもできる。この方法では、影響領域のサイズは、図２４Ａ〜図２４Ｃに示すように行われる反復回数に対応する。後述するように、影響領域は図２７及び図３１に示すように簡易化することができる。

図２４Ａ〜図２４Ｃは、適応型マルチパスアルゴリズムの異なる反復回数の場合のピクセル１８０２の影響領域を示すブロック図である。図２４Ａは、適応型マルチパスアルゴリズムを１回反復した場合の画像１８００のピクセル１８０２の影響領域１８０４を示す。図２４Ａに示すように、影響領域１８０４は４×４配列のピクセルを含み、ピクセル１８０２が図示のように影響領域１８０４の中心にある。影響領域１８０４は、適応型マルチパスアルゴリズムの１回の反復を使用してピクセル１８０２の初期値、シミュレートされた値、及び補正値を生成するために使用されるピクセル値を含む。

適応型マルチパスアルゴリズムを２回反復する場合、影響領域１８０６は６×６配列に広がり、図２４Ｂに示すようにピクセル１８０２が影響領域１８０６の中心にある。ピクセル１８０２の影響領域１８０６は６×６配列のピクセルを含み、適応型マルチパスアルゴリズムの２回の反復を使用してピクセル１８０２の初期値、シミュレートされた値、及び補正値を生成するために使用されるピクセル値を含む。

図２４Ｃに示すように、影響領域１８０８は適応型マルチパスアルゴリズムを３回反復する場合、８×８配列にさらに広がる。ピクセル１８０２の影響領域１８０８は８×８配列のピクセルを含み、ピクセル１８０２が図示のように影響領域１８０８の中心にあり、適応型マルチパスアルゴリズムの３回の反復を使用してピクセル１８０２の初期値、シミュレートされた値、及び補正値を生成するために使用されるピクセル値を含む。特に、影響領域１８０８は画像１８００の８行を含む。

影響領域のサイズは、ｎ回の反復の場合、影響領域が（２ｎ＋２）×（２ｎ＋２）配列を含むことに留意することによって一般化することができる。

適応型マルチパスアルゴリズムを実行するためのワンパス方法では、各最終サブフレームピクセル値は、最終サブフレームピクセル値に対応するピクセル値に対して影響領域をシフトすることによって計算される。図２５は、適応型マルチパスアルゴリズムを３回反復する場合の画像１９００に対するピクセル１９０２の影響領域１９０４を示すブロック図である。図２５中、ピクセル１９０２に対応する最終サブフレームピクセル値は、影響領域１９０４が含むピクセル値を使用して計算される。ピクセル１９０６に対応する最終サブフレームピクセル値を計算するために、矢印１９０８で示すように影響領域１９０４を右に１ピクセル分（図示せず）にシフトさせる。同様に、矢印１９１２で示すように影響領域１９０４を下に１ピクセル分（図示せず）シフトさせて、ピクセル１９１０に対応する最終サブフレームピクセル値を計算する。

一実施形態では、画像１９００の最終サブフレームピクセル値は、値が行ごとに左から右、上から下に計算されて最上行から始まって最下行で終わるラスタパターンで計算することができる。他の実施形態では、最終サブフレームピクセル値は他のパターン又は他の順序に従って計算することができる。

図２６は、最終サブフレームピクセル値がラスタパターンで計算される適応マルチパルスアルゴリズムを３回反復する場合のピクセル２００２の影響領域２００４内の計算済み履歴値を示すブロック図である。影響領域２００４内の陰影付きピクセルは、履歴値、すなわちピクセル２００２の最終サブフレームピクセル値を計算する前に計算される最終サブフレームピクセル値を含む。ラスタパターンを使用する場合、最終サブフレームピクセル値は、ピクセル２００２より上の各行ごとに、またピクセル２００２と同じ行でピクセル２００２の左側にある各ピクセルごとに計算される。

履歴値を使用し、初期値の最後の行を無視することにより、ピクセル２００２の図２６に示す影響領域２００４を簡易化することができる。図２７は、最終サブフレームピクセル値がラスタパターンで計算される履歴使用の適応型マルチパスアルゴリズムを３回反復する場合のピクセル２００２の簡易影響領域２００６内の計算済み履歴値を示すブロック図である。簡易影響領域２００６は５行、すなわち履歴値に１行２００８、履歴値及び初期値の両方に１行２０１０、及び初期値に３行２０１２を含む。簡易影響領域２００６は、影響領域２００４からの最初の２行の履歴値及び最後の１行の初期値を含まない。

初期履歴値２００８は、元の画像の第１行からの対応するピクセル値に等しくセットしてもよく、又はゼロにセットしてもよい。行２０１０及び行２０１２中の初期値は最初にゼロにセットしてもよく、又は列２０１６からの計算済み初期値に等しくセットしてもよい。ピクセル２００２に対応する最終サブフレームピクセル値は、以下のアルゴリズムを使用して簡易影響領域２００６からの履歴値及び初期値を使用して計算することができる。

まず、影響領域２００６の列２０１６中のピクセルの初期ピクセル値が、元の画像ピクセル値を使用して計算される。一実施形態では、初期ピクセル値は、各ピクセル値を他の３つのピクセル値と平均することによって計算される。他の実施形態では他のアルゴリズムを使用してもよい。次に、列２０１６中のピクセルのシミュレートされたピクセル値が、初期ピクセル値のシミュレーションカーネルとの畳み込み演算によって計算される。シミュレーションカーネルは３×３配列を含み、第１行の値は「１／４」、「１／４」、及び「０」であり、第２行の値は「１／４」、「１／４」、及び「０」であり、第３行の値は「０」、「０」、及び「０」である。誤差値が、元の画像ピクセル値からシミュレートされたピクセル値を減算することによって列２０１６中の各ピクセルごとに生成される。

列２０１６の誤差値を計算した後、列２０１８中のピクセルのシミュレートされたピクセル値が、初期ピクセル値のシミュレーションカーネルとの畳み込み演算によって計算される。誤差値が、元の画像ピクセル値からシミュレートされたピクセル値を減算することによって列２０１８中の各ピクセルごとに生成される。列２０１８中のピクセルの補正値が、誤差値の誤差カーネルとの畳み込み演算によって計算される。誤差カーネルは３×３配列を含み、第１行の値は「０」、「０」、及び「０」であり、第２行の値は「０」、「１／４」、及び「１／４」であり、第３行の値は「０」、「１／４」、及び「１／４」である。列２０１８中のピクセルの適応ピクセル値が、補正値を鮮鋭化係数αと乗算し、その積を初期値に加算することによって計算される。

列２０１８の適応ピクセル値を計算した後、列２０２０中のピクセルのシミュレートされたピクセル値が、初期ピクセル値のシミュレーションカーネルとの畳み込み演算によって計算される。誤差値が、元の画像ピクセル値からシミュレートされたピクセル値を減算することによって列２０２０中の各ピクセルごとに生成される。列２０２０中のピクセルの補正値が、誤差値の誤差カーネルとの畳み込み演算によって計算される。列２０２０中のピクセルの適応ピクセル値が、補正値を鮮鋭化係数αと乗算し、その積を初期値に加算することによって計算される。

列２０２０の適応ピクセル値を計算した後、列２０２２中のピクセルのシミュレートされたピクセル値が、初期ピクセル値のシミュレーションカーネルとの畳み込み演算によって計算される。誤差値が、元の画像ピクセル値からシミュレートされたピクセル値を減算することによって列２０２２中の各ピクセルごとに生成される。列２０２２中のピクセルの補正値が、誤差値の誤差カーネルとの畳み込み演算によって計算される。

ピクセル２００２に対応する最終サブフレームピクセル値は、上記アルゴリズムによって生成される値、履歴値、及び鮮鋭化係数αを使用して計算される。

所与のピクセルに対応する最終サブフレームピクセル値を計算する際に使用される中間計算を、所与のピクセルに隣接するピクセルに対応する最終サブフレームピクセル値を計算する際に再利用することができる。たとえば、ピクセル２００２の最終サブフレームピクセル値を計算する際に使用される中間計算を、ピクセル２００２の右側にあるピクセルの最終サブフレームピクセル値を計算する際に再利用することができる。その結果、特定の冗長計算を省くことができる。

上記アルゴリズムでの鮮鋭化係数αは、履歴使用の適応型マルチパスアルゴリズムを使用して異なる列の値を計算するに際して異なってもよい。たとえば、鮮鋭化係数αは、列２０１８の適応ピクセル値を計算する場合には「３」であってもよく、列２０２０の適応ピクセル値を計算する場合には「１．８」であってもよく、ピクセル２００２に対応する最終サブフレームピクセル値を計算する場合には「０．５」であってもよい。

上記アルゴリズムについて適応型マルチパスアルゴリズムを３回反復する場合に関して説明したが、このアルゴリズムは、反復回数の影響領域に従って上記アルゴリズムで使用される列数及び／又は各列中のピクセル数を増減することにより、拡大又は縮小して任意の回数の反復に適用することができる。

図２８は、最終サブフレームピクセル値がラスタパターンで計算される、履歴使用の適応型マルチパスアルゴリズムを３回反復する場合の画像１９００に対するピクセル２００２の簡易影響領域２００６を示すブロック図である。図２８では、ピクセル２００２に対応する最終サブフレームピクセル値が、上記アルゴリズムにおいて今述べたように影響領域２００６に含まれるピクセル値を使用して計算される。ピクセル２０２８に対応する最終サブフレームピクセル値を計算するために、矢印１９０８で示すように影響領域２００６を右に１ピクセル分（図示せず）シフトさせる。同様に、矢印１９１２で示すように影響領域２００６を下に１ピクセル分（図示せず）シフトさせて、ピクセル２０３０に対応する最終サブフレームピクセル値を計算する。

図２９は、一実施形態によるサブフレーム生成ユニット３６の部分を示すブロック図である。この実施形態では、サブフレーム生成ユニット３６は、プロセッサ２１００と、メインメモリ２１０２と、コントローラ２１０４と、メモリ２１０６とを備える。コントローラ２１０４は、プロセッサ２１００と、メインメモリ２１０２と、メモリ２１０６とに接続される。メモリ２１０６は、元の画像２８及びサブフレーム画像３０Ｐを含む比較的大きなメモリを含む。メインメモリ２１０２は、サブフレーム生成モジュール２１１０と、一時変数２１１２と、元の画像２８からの元の画像の行２８Ａと、サブフレーム画像３０Ｐからのサブフレーム画像の行３０Ｐ−１とを含む比較的高速のメモリを含む。

プロセッサ２１００は、コントローラ２１０４を使用してメインメモリ２１０２及びメモリ２１０６からの命令及びデータにアクセスする。プロセッサ２１００は、コントローラ２１０４を使用して命令を実行し、データをメインメモリ２１０２及びメモリ２１０６に記憶する。

サブフレーム生成モジュール２１１０は、プロセッサ２１００により実行可能であり、履歴使用の適応型マルチパスアルゴリズムを実行するための命令を含む。プロセッサ２１００により実行されていることに応答して、サブフレーム生成モジュール２１１０は、元の画像の行２８Ａ及びサブフレーム画像の行３０Ｐ−１の組をメインメモリ２１０２にコピーさせる。サブフレーム生成モジュール２１１０は、履歴使用の適応型マルチパスアルゴリズムに従って元の画像の行２８Ａ及びサブフレーム画像の行３０Ｐ−１内のピクセル値を使用して、各行ごとに最終サブフレームピクセル値を生成させる。最終サブフレームピクセル値を生成するに当たり、サブフレーム生成モジュール２１１０は、一時的な値を一時変数２１１２として記憶させる。サブフレーム画像の行の最終サブフレームピクセル値を生成した後、サブフレーム生成モジュール２１１０はその行をサブフレーム画像３０Ｐとして記憶させ、次の行のピクセル値を元の画像２８から読み出させて元の画像の行２８Ａに記憶させる。

サブフレーム生成モジュール２１１０が履歴使用の適応型マルチパスアルゴリズムの３回の反復を実行する一実施形態では、元の画像の行２８Ａは元の画像２８からの４行を含む。他の実施形態では、元の画像の行２８Ａは元の画像２８からの他の行数分の行を含む。

一実施形態では、サブフレーム生成ユニット３６はサブフレーム画像３０Ｐから４つのサブフレームを生成する。４つのサブフレームは、図３Ａ〜図３Ｅを参照して上述した４位置処理を使用して表示デバイス２６で表示される。

他の実施形態では、サブフレーム生成ユニット３６は、図２９に示す構成要素の機能を集積回路に組み込んだ特定用途向け集積回路（ＡＳＩＣ）を備える。このような実施形態では、メインメモリ２１０２をＡＳＩＣに含めてもよく、メモリ２１０６はＡＳＩＣ内に含まれてもよく、又はＡＳＩＣ外にあってもよい。ＡＳＩＣは、ハードウェア構成要素とソフトウェア構成要素又はファームウェア構成要素との任意の組み合わせを含み得る。

他の実施形態では、履歴使用の適応型マルチパスアルゴリズムを使用して、２位置処理の場合に２つのサブフレームを生成することができる。２つのサブフレームは、図２Ａ〜図２Ｃを参照して上述したように２位置処理を使用して表示デバイス２６で表示される。２位置処理の場合、シミュレーションカーネルは３×３配列を含み、第１行の値は「１／２」、「１／２」、「０」であり、第２行の値は「１／２」、「１／２」、「０」であり、第３行の値は「０」、「０」、「０」である。

ＸＩＩ．履歴使用の簡易中心適応型マルチパス
一実施形態によるサブフレーム３０を生成するための履歴使用の簡易中心適応型マルチパスアルゴリズムは、過去の誤差を使用してサブフレームデータの評価を更新し、高速な収束及び低メモリ必要量を提供することができる。履歴使用の簡易中心適応型マルチパスアルゴリズムは、アルゴリズムのワンパスで４つのサブフレームを生成する際にシミュレーションカーネル内の値を変更し、誤差カーネルを省くことによって履歴使用の適応型マルチパスアルゴリズムを変更する。４つのサブフレームは、図３Ａ〜図３Ｅを参照して上述したように、４位置処理を使用して表示デバイス２６に表示される。

図２７を参照すると、初期履歴値２００８は、元の画像の第１行からの対応するピクセル値に等しくセットしてもよく、又はゼロにセットしてもよい。行２０１０及び行２０１２中の初期値は最初にゼロにセットしてもよく、又は列２０１６からの計算済み初期値に等しくセットしてもよい。ピクセル２００２に対応する最終サブフレームピクセル値は、以下のアルゴリズムを使用して簡易影響領域２００６からの履歴値及び初期値を使用して計算することができる。履歴使用の簡易中心適応型マルチパスアルゴリズムは以下のように実行することができる。

第１に、列２０１６中のピクセルの初期ピクセル値が計算される。初期ピクセル値は、最近傍アルゴリズム又は他の任意の適したアルゴリズムを使用して計算してもよい。

列２０１６の初期ピクセル値を計算した後、列２０１８中のピクセルのシミュレートされたピクセル値が、初期ピクセル値のシミュレーションカーネルとの畳み込み演算によって計算される。シミュレーションカーネルは３×３配列を含み、第１行の値は「０」、「１／８」、及び「０」であり、第２行の値は「１／８」、「４／８」、及び「１／８」であり、第３行の値は「０」、「１／８」、及び「０」である。列２０１８中のピクセルの補正値が、元の画像ピクセル値からシミュレートされたピクセル値を減算することによって計算される。列２０１８中のピクセルの適応ピクセル値が、鮮鋭化係数αで補正値を乗算し、その積を初期値に加算することによって計算される。

列２０１８のシミュレートされた値を計算した後、列２０２０中のピクセルのシミュレートされたピクセル値が、初期ピクセル値のシミュレーションカーネルとの畳み込み演算によって計算される。列２０２０中のピクセルの補正値が、元の画像ピクセル値からシミュレートされたピクセル値を減算することによって計算される。列２０２０中のピクセルの適応ピクセル値が、鮮鋭化係数αで補正値を乗算し、その積を初期値に加算することによって計算される。

列２０２０のシミュレートされた値を計算した後、列２０２２中のピクセルのシミュレートされたピクセル値が、初期ピクセル値のシミュレーションカーネルとの畳み込み演算によって計算される。列２０２２中のピクセルの補正値が、元の画像ピクセル値からシミュレートされたピクセル値を減算することによって計算される。

ピクセル２００２に対応する最終サブフレームピクセル値が、上記アルゴリズムにより生成される値、履歴値、及び鮮鋭化係数αを使用して計算される。

上記アルゴリズムでの鮮鋭化係数αは、履歴使用の簡易中心適応型マルチパスアルゴリズムを使用して異なる列の値を計算するに際して異なってもよい。たとえば、鮮鋭化係数αは、列２０１８の適応ピクセル値を計算する場合には「３」であり、列２０２０の適応ピクセル値を計算する場合には「１．８」であり、ピクセル２００２に対応する最終サブフレームピクセル値を計算する場合には「０．５」であってもよい。

上記アルゴリズムについて簡易中心適応型マルチパスアルゴリズムを３回反復する場合に関して説明したが、このアルゴリズムは、反復回数の影響領域に従って上記アルゴリズムで使用される列数及び各列中のピクセル数を増減することにより、拡大又は縮小して任意の回数の反復に適用することができる。

サブフレーム生成ユニット３６の一実施形態では（図２９に示す）、サブフレーム生成モジュール２１１０が履歴使用の簡易中心適応型マルチパスアルゴリズムを実行する。別の実施形態では、サブフレーム生成ユニット３６は、履歴使用の簡易中心適応型マルチパスアルゴリズムを実行するＡＳＩＣを備える。

ＸＩＩＩ．履歴使用の中心適応型カーネル
一実施形態によるサブフレーム３０を生成するための履歴使用の中心適応型マルチパスアルゴリズムは、過去の誤差を使用してサブフレームデータの評価を更新し、高速な収束及び低メモリ必要量を提供することができる。履歴使用の中心適応型マルチパスアルゴリズムはアルゴリズムのワンパスで２つのサブフレームを生成し、シミュレーションカーネル及び誤差カーネルを変更することによって履歴使用の適応型マルチパスアルゴリズムを変更する。履歴使用の中心適応型マルチパスアルゴリズムも、簡易影響領域に使用される履歴値行に関連する誤差値を生成し、これらの値を履歴値行と共に記憶する。２つのサブフレームは、図２Ａ〜図２Ｃを参照して上述した２位置処理を使用して表示デバイス２６で表示される。

２位置処理の場合、図３０に示すように２つのサブフレームを絡み合わせて単一のサブフレーム画像２２００にすることができる。画像２２００内では、第１の種類の陰影付きで示されるピクセルセット２２０２は第１のサブフレームを含み、第２の種類の陰影付きで示されるピクセルセット２２０４は第２のサブフレームを含む。陰影の付いていない残りのピクセルセット２２０６は、使用されないサブフレームを表すゼロ値を含む。

図３１は、最終サブフレームピクセル値がラスタパターンで計算される履歴使用の中心適応型マルチパスアルゴリズムを３回反復する場合のピクセル２２１２の簡易影響領域２２１０内のピクセル２２０２、ピクセル２２０４、履歴値２２２２（第３の種類の陰影付きで示される）、及び誤差値２２２４（第４の種類の陰影付きで示される）を示すブロック図である。簡易影響領域２２１０は５行、すなわち履歴値及び誤差値に１行２２１４、履歴値及び初期値に１行２２１６、並びに初期値に３行２２１８を含む。簡易影響領域２２１０は行２２１４より上の２行の履歴値及び誤差値、並びに行２２１８よりも下の行の初期値を含まない。

誤差値２２２４はそれぞれ式ＸＸＸＶＩを使用して計算される。

＜方程式ＸＸＸＶＩ＞
誤差＝（（１×誤差左ヒ゜クセル）＋（２×誤差）＋（１×誤差右ヒ゜クセル））／４
誤差値２２２４は、ピクセル値よりも多くのビットを含み得る符号付きの値であるため、式ＸＸＸＶＩを使用して計算される誤差値２２２４は、図３１に示すように行２２１４に記憶される前にマッピング又はルックアップテーブルを用いて調整される。以下のシミュレートされたコードを使用して、一実施形態により誤差値２２２４をマッピングすることができる。
ｔｅｍｐ＝誤差＿左＋２^*誤差＋誤差＿右；／／１× ２× １×
ｔｅｍｐ＝ｔｅｍｐ／４；／／４で割る
ｉｆ（ｔｅｍｐ＜−１２７）ｔｅｍｐ＝−１２７；／／値のクリッピング
ｉｆ（ｔｅｍｐ＞１２７）ｔｅｍｐ＝１２７；／／値のクリッピング
ｔｅｍｐ＋＝１２７；／／シフトして非ゼロに

初期履歴値２２２２は、元の画像の第１行からの対応するピクセル値に等しくセットしてもよく、又はゼロにセットしてもよい。初期誤差値２２２４はゼロにセットしてもよい。行２２１６及び行２２１８中の初期値は最初にゼロにセットしてもよく、又は列２２２６からの計算済み初期値に等しくセットしてもよい。ピクセル２２１２に対応する最終サブフレームピクセル値は、以下のアルゴリズムを使用して簡易影響領域２２１０からの履歴値、誤差値、及び初期値を使用して計算することができる。

第１に、影響領域２２１０の列２２２６中のピクセルの初期ピクセル値が、元の画像ピクセル値を使用して計算される。一実施形態では、初期ピクセル値は最近傍アルゴリズムを使用して計算される。他のアルゴリズムを他の実施形態で使用してもよい。次に、列２２２６中のピクセルのシミュレートされたピクセル値が、初期ピクセル値の、２つのシミュレーションカーネルのうちの一方との畳み込み演算によって計算される。第１のシミュレーションカーネルは、ピクセル２２１２が非ゼロ値を含む場合に使用され、３×３配列を含み、第１行の値は「１／８」、「０」、及び「１／８」であり、第２行の値は「０」、「４／８」、及び「０」であり、第３行の値は「１／８」、「０」、及び「１／８」である。第２のシミュレーションカーネルは、ピクセル２２１２がゼロ値を含む場合に使用され、３×３配列を含み、第１行の値は「０」、「２／８」、及び「０」であり、第２行の値は「２／８」、「０」、及び「２／８」であり、第３行の値は「０」、「２／８」、及び「０」である。誤差値が、元の画像ピクセル値からシミュレートされたピクセル値を減算することによって列２２２６中の各ピクセルごとに生成される。

列２２２６の誤差値を計算した後、列２２２８中のピクセルのシミュレートされたピクセル値が、初期ピクセル値の適切なシミュレーションカーネルとの畳み込み演算によって計算される。誤差値は、元の画像ピクセル値からシミュレートされたピクセル値を減算することによって列２２２８中の各ピクセルごとに生成される。列２２２８中のピクセルの補正値が、誤差値の誤差カーネルとの畳み込み演算によって計算される。誤差カーネルは３×３配列を含み、第１行の値は「１／１６」、「２／１６」、及び「１／１６」であり、第２行の値は「２／１６」、「４／１６」、及び「２／１６」であり、第３行の値は「１／１６」、「２／１６」、及び「１／１６」である。列２２２８中のピクセルの適応ピクセル値は、鮮鋭化係数αで補正値を乗算し、その積を初期値に加算することによって計算される。

列２２２８の適応ピクセル値を計算した後、列２２３０中のピクセルのシミュレートされたピクセル値が、初期ピクセル値の適切なシミュレーションカーネルとの畳み込み演算によって計算される。誤差値が、元の画像ピクセル値からシミュレートされたピクセル値を減算することによって列２２３０中の各ピクセルごとに生成される。列２２３０中のピクセルの補正値が、誤差値の誤差カーネルとの畳み込み演算によって計算される。列２２３０中のピクセルの適応ピクセル値が、鮮鋭化係数αで補正値を乗算し、その積を初期値に加算することによって計算される。

列２２３０の適応ピクセル値を計算した後、列２２３２中のピクセルのシミュレートされたピクセル値が、初期ピクセル値の適切なシミュレーションカーネルとの畳み込み演算によって計算される。誤差値が、元の画像ピクセル値からシミュレートされたピクセル値を減算することによって列２２３２中の各ピクセルごとに生成される。列２２３２中のピクセルの補正値が、誤差値の誤差カーネルとの畳み込み演算によって計算される。

ピクセル２２１１に対応する最終サブフレームピクセル値が、上記アルゴリズムにより生成される値、履歴値２２２２、誤差値２２２４、及び鮮鋭化係数αを使用して計算される。

上記アルゴリズムでの鮮鋭化係数αは、履歴使用の中心適応型マルチパスアルゴリズムを使用して異なる列の値を計算するに際して異なってもよい。たとえば、鮮鋭化係数αは、列２２２８の適応ピクセル値を計算する場合には「３」であり、列２２３０の適応ピクセル値を計算する場合には「１．８」であり、ピクセル２２１２に対応する最終サブフレームピクセル値を計算する場合には「０．５」であってもよい。

上記アルゴリズムについて中心適応型マルチパスアルゴリズムを３回反復する場合に関して説明したが、このアルゴリズムは、反復回数の影響領域に従って上記アルゴリズムで使用される列数及び各列中のピクセル数を増減することにより、拡大又は縮小して任意の回数の反復に適用することができる。

図３２は、最終サブフレームピクセル値がラスタパターンで計算される履歴使用の中心適応型マルチパスアルゴリズムを３回反復した場合の画像２３００に対するピクセル２２１２の簡易影響領域２２１０を示すブロック図である。図３２では、ピクセル２２１２に対応する最終サブフレームピクセル値が、上記アルゴリズムにおいて今述べたように影響領域２２１０が含むピクセル値を使用して計算される。ピクセル２３０２に対応する最終サブフレームピクセル値を計算するために、矢印２３０４で示すように影響領域２２１０を右に１ピクセル分（図示せず）シフトする。同様に、矢印２３０８で示すように影響領域２２１０を下に１ピクセル分（図示せず）シフトして、ピクセル２３０６に対応する最終サブフレームピクセル値を計算する。

他の実施形態では、履歴使用の中心適応型マルチパスアルゴリズムを使用して、４位置処理で４つのサブフレームを生成することができる。４つのサブフレームは、図３Ａ〜図３Ｅを参照して上述した４位置処理を使用して表示デバイス２６で表示される。４位置処理の場合、シミュレーションカーネル及び誤差カーネルはそれぞれ３×３配列を含み、第１行の値は「１／１６」、「２／１６」、「１／１６」であり、第２行の値は「２／１６」、「４／１６」、「２／１６」であり、第３行の値は「１／１６」、「２／１６」「１／１６」である。さらに、履歴値行とは別個の誤差値行が上述したアルゴリズムにおいて使用される。

他の実施形態では、履歴使用の中心適応型マルチパスアルゴリズムの誤差カーネルを省いてもよい。このような実施形態では、誤差値行は図３１に示すように記憶されず、シミュレーションカーネルは３×３配列を含み、第１行の値は「１／１６」、「２／１６」、「１／１６」であり、第２行の値は「２／１６」、「４／１６」、「２／１６」であり、第３行の値は「１／１６」、「２／１６」、「１／１６」である。このような変更を用いて、履歴使用の中心適応型マルチパスアルゴリズムを、履歴使用の簡易中心適応型マルチパスアルゴリズムについて上述した様式と同様に実行することができる。

サブフレーム生成ユニット３６の一実施形態（図２９に示す）では、サブフレーム生成モジュール２１１０が履歴使用の中心適応型マルチパスアルゴリズムを実行する。別の実施形態では、サブフレーム生成ユニット３６は、履歴使用の中心適応型マルチパスアルゴリズムを実行するＡＳＩＣを備える。

ＸＩＶ．３位置処理
上述したようにサブフレーム３０を連続して表示するに際して、異なるサブフレームのサブフレームピクセル値間のばらつきは、表示画像に関連するちらつきに繋がる恐れがある。３位置処理は、４位置処理に対してちらつきの量を低減させた画像を表示するために実施することができる。本明細書において後述するように、３位置処理は最近傍（ピクセル選択とも呼ぶ）アルゴリズム、双一次アルゴリズム、適応型マルチパスアルゴリズム、又は中心適応型マルチパスアルゴリズムを使用して実施することができる。

図３３は、本発明の一実施形態によるピクセル選択アルゴリズムを使用しての３つのサブフレーム３０Ｑ−１、３０Ｑ−２、及び３０Ｑ−３の生成を示すブロック図である。この実施形態では、画像フレーム２８のピクセル値は、ピクセルＡ１〜Ａ４、Ｂ１〜Ｂ４、Ｃ１〜Ｃ４、及びＤ１〜Ｄ４を含む。サブフレーム生成ユニット３６は、矢印２４０２で示すようにピクセルＡ１〜Ａ４のピクセル値を抽出することによりサブフレーム３０Ｑ−１を生成する。サブフレーム生成ユニット３６は、矢印２４０４で示すようにピクセルＢ１〜Ｂ４のピクセル値を抽出することによりサブフレーム３０Ｑ−２を生成する。サブフレーム生成ユニット３６は、矢印２４０６で示すようにピクセルＣ１〜Ｃ４のピクセル値を抽出することによりサブフレーム３０Ｑ−３を生成する。ピクセルＤ１〜Ｄ４のピクセル値は、サブフレーム３０Ｑ−１、３０Ｑ−２、及び３０Ｑ−３を生成するに際して省かれる。

連続した各画像ごとに、サブフレーム生成ユニット３６は、画像から同じ又は異なる組のピクセル値を抽出することにより１組の３つのサブフレームを生成することができる。たとえば、サブフレーム生成ユニット３６は、Ａ１〜Ａ４、Ｂ１〜Ｂ４、及びＣ１〜Ｃ４のピクセル値（Ｄ１〜Ｄ４のピクセル値を省く）、Ａ１〜Ａ４、Ｂ１〜Ｂ４、及びＤ１〜Ｄ４のピクセル値（Ｃ１〜Ｃ４のピクセル値を省く）、Ａ１〜Ａ４、Ｃ１〜Ｃ４、及びＤ１〜Ｄ４のピクセル値（Ｂ１〜Ｂ４のピクセル値を省く）、又はＢ１〜Ｂ４、Ｃ１〜Ｃ４、及びＤ１〜Ｄ４のピクセル値（Ａ１〜Ａ４のピクセル値を省く）を抽出することにより３つのサブフレームを生成することができる。表示デバイス２６は、複数の組の３つのサブフレームを同じ又は異なる位置に表示することができる。

図３４は、本発明の一実施形態による双一次アルゴリズムを使用しての３つのサブフレームの生成を示すブロック図である。この実施形態では、画像フレーム２８のピクセル値は、ピクセルＡ１〜Ａ４、Ｂ１〜Ｂ４、Ｃ１〜Ｃ４、及びＤ１〜Ｄ４を含む。サブフレーム生成ユニット３６は、矢印２４１２で示すように方程式ＸＸＸＶＩＩ〜方程式ＸＬを使用してサブフレーム３０Ｒ−１を生成する。
＜方程式ＸＸＸＶＩＩ＞
Ａ１’＝（（２×Ａ１）＋Ｂ１＋Ｃ１）／４
＜方程式ＸＸＶＩＩＩ＞
Ａ２’＝（（２×Ａ２）＋Ｂ２＋Ｃ２）／４
＜方程式ＸＸＸＩＸ＞
Ａ３’＝（（２×Ａ３）＋Ｂ３＋Ｃ３）／４
＜方程式ＸＬ＞
Ａ４’＝（（２×Ａ４）＋Ｂ４＋Ｃ４）／４
サブフレーム生成ユニット３６は、矢印２４１４で示すように方程式ＸＬＩ〜方程式ＸＬＩＶを使用してサブフレーム３０Ｒ−２を生成する。
＜方程式ＸＬＩ＞
Ｂ１’＝（Ａ１＋（２×Ｂ１）＋Ｃ１）／４
＜方程式ＸＬＩＩ＞
Ｂ２’＝（Ａ２＋（２×Ｂ２）＋Ｃ２）／４
＜方程式ＸＬＩＩＩ＞
Ｂ３’＝（Ａ３＋（２×Ｂ３）＋Ｃ３）／４
＜方程式ＸＬＩＶ＞
Ｂ４’＝（Ａ４＋（２×Ｂ４）＋Ｃ４）／４
サブフレーム生成ユニット３６は、矢印２４１６に示すように方程式ＸＬＶ〜方程式ＸＬＶＩＩＩを使用してサブフレーム３０Ｒ−３を生成する。
＜方程式ＸＬＶ＞
Ｃ１’＝（Ａ１＋Ｂ１＋（２×Ｃ１））／４
＜方程式ＸＬＶＩ＞
Ｃ２’＝（Ａ２＋Ｂ２＋（２×Ｃ２））／４
＜方程式ＸＬＶＩＩ＞
Ｃ３’＝（Ａ３＋Ｂ３＋（２×Ｃ３））／４
＜方程式ＸＬＶＩＩＩ＞
Ｃ４’＝（Ａ４＋Ｂ４＋（２×Ｃ４））／４
ピクセルＤ１〜Ｄ４のピクセル値は、サブフレーム３０Ｒ−１、３０Ｒ−２、及び３０Ｒ−３を生成するに際して省かれる。

連続した各画像ごとに、サブフレーム生成ユニット３６は、画像からの同じ又は異なる組のピクセル値を使用してサブフレーム値を計算することにより１組の３つのサブフレームを生成することができる。たとえば、サブフレーム生成ユニット３６は、上述したように方程式ＸＸＸＶＩＩ〜方程式ＸＬＩＶを使用して３つのサブフレームを生成することができる。サブフレーム生成ユニット３６はまた、方程式ＸＬＩＸ〜方程式ＬＩＩを使用してピクセルＤ１〜Ｄ４を使用してサブフレームを生成することもできる。
＜方程式ＸＬＩＸ＞
Ｄ１’＝（Ｂ１＋Ｃ１＋（２×Ｄ１））／４
＜方程式Ｌ＞
Ｄ２’＝（Ｂ２＋Ｃ２＋（２×Ｄ２））／４
＜方程式ＬＩ＞
Ｄ３’＝（Ｂ３＋Ｃ３＋（２×Ｄ３））／４
＜方程式ＬＩＩ＞
Ｄ４’＝（Ｂ４＋Ｃ４＋（２×Ｄ４））／４
１組の方程式ＸＸＸＶＩＩ〜方程式ＸＬ、１組の方程式ＸＬＩ〜方程式ＸＬＩＶ、又は１組の方程式ＸＬＶ〜方程式ＸＬＶＩＩＩに代えて１組の方程式ＸＬＩＸ〜ＬＩＩを使用して、３つのサブフレームのうちの１つを生成してもよい。表示デバイス２６は、１組の３つのサブフレームを同じ又は異なる位置に表示することができる。

３位置処理を使用してのサブフレームの生成に適応型マルチパスアルゴリズムを使用してもよい。図３５は、本発明の一実施形態による適応型マルチパスアルゴリズムを使用してのサブフレーム３０Ｓに基づく３位置処理用のシミュレートされた高解像度画像２５０４を生成するシステム２５００を示すブロック図である。図３５に示す実施形態では、サブフレーム３０Ｓは８×８配列のピクセルである。サブフレーム３０Ｓは、３位置処理用の３つの４×４ピクセルサブフレームのピクセルデータを含む。したがって、ピクセルＡ１〜Ａ１６、ピクセルＢ１〜Ｂ１６、ピクセルＣ１〜Ｃ１６、又はピクセルＤ１〜Ｄ１６のいずれかがゼロ値を含む。

サブフレーム３０Ｓは、畳み込み演算ステージ２５０２において補間フィルタとの畳み込み演算を受け、それによってシミュレートされた高解像度画像２５０４を生成する。示す実施形態では、補間フィルタは３×３フィルタであり、畳み込み演算の中心が３×３行列の中心位置にある。第１行のフィルタ係数は「１／３」、「１／３」、「０」であり、第２行のフィルタ係数は「１／３」、「１／３」、「０」であり、最後の行のフィルタ係数は「０」、「０」、「０」である。

シミュレートされた高解像度画像２５０４が生成された後、補正データが生成される。図３６は、本発明の一実施形態による、システム２５２０において適応型マルチパスアルゴリズムを使用しての３位置処理用の補正データの生成を示すブロック図である。シミュレートされた高解像度画像２５０４は、減算ステージ２５２２において高解像度画像２８からピクセル単位で減算される。一実施形態では、結果生成される誤差画像データが、誤差フィルタ２５２６によってフィルタリングされて誤差画像２５３０が生成される。示す実施形態では、誤差フィルタは３×３フィルタであり、畳み込み演算の中心は３×３行列の中心位置にある。第１行のフィルタ係数は「０」、「０」、「０」であり、第２行のフィルタ係数は「０」、「１／４」、「１／４」であり、最後の行のフィルタ係数は「０」、「１／４」、「１／４」である。

初期サブフレーム３０Ｓに関連する３つの補正サブフレーム（図示せず）が、誤差画像２５３０から生成される。３つの更新サブフレーム２５３２Ａ、２５３２Ｂ、及び２５３２Ｃが、補正サブフレームを鮮鋭化係数αで乗算し、初期サブフレーム３０Ｓを加算することにより生成される。鮮鋭化係数αは、適応型マルチパスアルゴリズムの反復ごとに異なってもよい。一実施形態では、鮮鋭化係数αは連続した反復間で低減してもよい。たとえば、鮮鋭化係数αは、１回目の反復の場合には「３」であり、２回目の反復の場合には「１．８」であり、３回目の反復の場合には「０．５」であってもよい。

一実施形態では、更新サブフレーム２５３２Ａ、２５３２Ｂ、及び２５３２Ｃを適応型マルチパスアルゴリズムの次の反復に使用して、さらなる１組の３つの更新サブフレームを生成する。任意の所望の回数の反復を行ってもよい。何回かの反復後、適応型マルチパスアルゴリズムを使用して生成されるサブフレームの値は最適値に収束する。一実施形態では、サブフレーム生成ユニット３６は、適応型マルチパスアルゴリズムに基づいて３つのサブフレーム３０Ｓを生成するように構成される。

他の実施形態では、３位置処理の場合の適応型マルチパスアルゴリズムは、各サブフレームピクセル値について各反復の計算を単一ステップに併合することによって任意の回数の反復をワンパスで行うことができる。このようにして、各サブフレームピクセル値が、各反復で明示的にシミュレーションサブフレーム、誤差サブフレーム、及び補正サブフレームを生成することなく生成される。むしろ、各サブフレームピクセル値は独立して、元の画像ピクセル値から計算される中間値から計算される。

連続した各画像ごとに、サブフレーム生成ユニット３６は、画像からの同じ又は異なる組のピクセル値を使用して適応型マルチパスアルゴリズムを用いて１組の３つのサブフレームを生成することができる。たとえば、サブフレーム生成ユニット３６は、Ａ１〜Ａ４、Ｂ１〜Ｂ４、及びＣ１〜Ｃ４のピクセル値（すなわち、この場合Ｄ１〜Ｄ４のピクセル値はゼロである）、Ａ１〜Ａ４、Ｂ１〜Ｂ４、及びＤ１〜Ｄ４のピクセル値（すなわち、この場合Ｃ１〜Ｃ４のピクセル値はゼロである）、Ａ１〜Ａ４、Ｃ１〜Ｃ４、及びＤ１〜Ｄ４のピクセル値（すなわち、この場合Ｂ１〜Ｂ４のピクセル値はゼロである）、又はＢ１〜Ｂ４、Ｃ１〜Ｃ４、及びＤ１〜Ｄ４のピクセル値（すなわち、この場合Ａ１〜Ａ４のピクセル値はゼロである）に主に関連する３つのサブフレームを生成することができる。表示デバイス２６は、複数の組の３つのサブフレームを同じ又は異なる位置に表示することができる。

さらに、中心適応型マルチパスアルゴリズムを使用して、３位置処理を使用してサブフレームを生成することもできる。図３７は、本発明の一実施形態による中心適応型マルチパスアルゴリズムを使用してのサブフレーム３０Ｔに基づく３位置処理用のシミュレートされた高解像度画像２６０４を生成するシステム２６００を示すブロック図である。図３６に示す実施形態では、サブフレーム３０Ｔは８×８配列のピクセルである。サブフレーム３０Ｔは、３位置処理の場合の３つの４×４ピクセルサブフレームのピクセルデータを含む。したがって、ピクセルＡ１〜Ａ１６、ピクセルＢ１〜Ｂ１６、ピクセルＣ１〜Ｃ１６、又はピクセルＤ１〜Ｄ１６のいずれかがゼロ値を含む。

サブフレーム３０Ｔは畳み込み演算ステージ２６０２において補間フィルタとの畳み込み演算を受け、それによってシミュレートされた高解像度画像２６０４を生成する。示す実施形態では、補間フィルタは３×３フィルタであり、畳み込み演算の中心が３×３行列の中心位置にある。第１行のフィルタ係数は「１／１２」、「２／１２」、「１／１２」であり、第２行のフィルタ係数は「２／１２」、「４／１２」、「２／１２」であり、最後の行のフィルタ係数は「１／１２」、「２／１２」、「１／１２」である。

シミュレートされた高解像度画像２６０４が生成された後、補正データが生成される。図３８は、本発明の一実施形態による、システム２６２０において中心適応型マルチパスアルゴリズムを使用しての３位置処理用の補正データの生成を示すブロック図である。シミュレートされた高解像度画像２６０４は、減算ステージ２６２２において高解像度画像２８からピクセル単位で減算される。一実施形態では、結果生成される誤差画像データが、誤差フィルタ２６２６によってフィルタリングされて誤差画像２６３０が生成される。示す実施形態では、誤差フィルタは３×３フィルタであり、畳み込み演算の中心は３×３行列の中心位置にある。第１行のフィルタ係数は「１／１６」、「２／１６」、「１／１６」であり、第２行のフィルタ係数は「２／１６」、「４／１６」、「２／１６」であり、最後の行のフィルタ係数は「１／１６」、「２／１６」、「１／１６」である。

初期サブフレーム３０Ｔに関連する３つの補正サブフレーム（図示せず）が、誤差画像２６３０から生成される。３つの更新サブフレーム２６３２Ａ、２６３２Ｂ、及び２６３２Ｃが、補正サブフレームを鮮鋭化係数αで乗算し、初期サブフレーム３０Ｔを加算することにより生成される。鮮鋭化係数αは、中心適応型マルチパスアルゴリズムの反復ごとに異なってもよい。一実施形態では、鮮鋭化係数αは連続した反復間で低減してもよい。たとえば、鮮鋭化係数αは、１回目の反復の場合には「３」であり、２回目の反復の場合には「１．８」であり、３回目の反復の場合には「０．５」であってもよい。

一実施形態では、更新サブフレーム２６３２Ａ、２６３２Ｂ、及び２６３２Ｃを中心適応型マルチパスアルゴリズムの次の反復に使用して、さらなる１組の３つの更新サブフレームを生成する。任意の所望の回数の反復を行ってもよい。何回かの反復後、適応型マルチパスアルゴリズムを使用して生成されるサブフレームの値は最適値に収束する。一実施形態では、サブフレーム生成ユニット３６は、中心適応型マルチパスアルゴリズムに基づいて３つのサブフレーム３０Ｔを生成するように構成される。

他の実施形態では、３位置処理の場合の中心適応型マルチパスアルゴリズムは、各サブフレームピクセル値について各反復の計算を単一ステップに併合することによって任意の回数の反復をワンパスで行うことができる。このようにして、各サブフレームピクセル値が、各反復で明示的にシミュレーションサブフレーム、誤差サブフレーム、及び補正サブフレームを生成することなく生成される。むしろ、各サブフレームピクセル値は独立して、元の画像ピクセル値から計算される中間値から計算される。

連続した各画像ごとに、サブフレーム生成ユニット３６は、画像からの同じ又は異なる組のピクセル値を使用して中心適応型マルチパスアルゴリズムを用いて１組の３つのサブフレームを生成することができる。たとえば、サブフレーム生成ユニット３６は、Ａ１〜Ａ４、Ｂ１〜Ｂ４、及びＣ１〜Ｃ４のピクセル値（すなわち、この場合Ｄ１〜Ｄ４のピクセル値はゼロである）、Ａ１〜Ａ４、Ｂ１〜Ｂ４、及びＤ１〜Ｄ４のピクセル値（すなわち、この場合Ｃ１〜Ｃ４のピクセル値はゼロである）、Ａ１〜Ａ４、Ｃ１〜Ｃ４、及びＤ１〜Ｄ４のピクセル値（すなわち、この場合Ｂ１〜Ｂ４のピクセル値はゼロである）、又はＢ１〜Ｂ４、Ｃ１〜Ｃ４、及びＤ１〜Ｄ４のピクセル値（すなわち、この場合Ａ１〜Ａ４のピクセル値はゼロである）に主に関連する３つのサブフレームを生成することができる。表示デバイス２６は、複数の組の３つのサブフレームを同じ又は異なる位置に表示することができる。

上記アルゴリズムのそれぞれにおいて、サブフレーム生成ユニット３６は、３つのサブフレームを生成する前に画像１２中の選択されたピクセル値をゼロ値に変換する。特に、画像１２が複数の組の４つのピクセル値（たとえば、図３３に示すようにＡ１、Ｂ１、Ｃ１、及びＤ１の組、Ａ２、Ｂ２、Ｃ２、及びＤ２の組等）を含む場合、サブフレーム生成ユニット３６は、３つのサブフレームを生成する前に各組の４つのピクセル値のうちの１つ（たとえば、図３３に示すようにピクセル値Ｄ１〜Ｄ４）をゼロ値に変換する。ゼロ値に変換される１組のピクセル値は、３つのサブフレームの組ごとに異なってもよい。

今述べたアルゴリズムのうちの１つを使用して生成されている３つのサブフレームに応答して、表示デバイス２６は３つのサブフレームを異なる時刻に空間的にオフセットされた位置に表示する。たとえば、表示デバイス２６は、第１のサブフレームを第１の時刻に第１の位置に表示し、第２のサブフレームを第１の時刻後の第２の時刻に第１の位置から水平にオフセットされた第２の位置に表示し、第３のサブフレームを第２の時刻後の第３の時刻に第２の位置から垂直にオフセットされた第３の位置に表示する。

画像について生成された３つのサブフレームの各組は、互いに対して同じ又は異なる位置に表示してもよい。さらに、第１の画像について生成された第１の組の３つのサブフレームは、第２の画像の第２の組の３つのサブフレームと同じ又は異なる順に表示してもよい。図３９Ａ〜図３９Ｃ及び図４０Ａ〜Ｃは、連続した組の３つのサブフレームを表示する２つの異なるパターンを示す。

図３９Ａ〜図３９Ｃは、本発明の一実施形態による連続した組の３つのサブフレームの表示を示す概略図である。図３９Ａは、第１の画像１２に関連する第１の組のサブフレームＡ、Ｃ、及びＤの表示を示す。表示デバイス２６は、サブフレームＡを第１の時刻に第１の位置に表示する。第１の時刻後の第２の時刻に、表示デバイス２６はサブフレームＣを、第１の位置から垂直にオフセットされた第２の位置に表示する。表示デバイス２６はサブフレームＤを、第２の時刻後の第３の時刻に、第２の位置から水平にオフセットされ、第１の位置から垂直及び水平にオフセットされた第３の位置に表示する。

サブフレームＡ、Ｃ、及びＤの表示後、表示デバイスは、第２の画像１２に関連する第２の組のサブフレームＡ’、Ｂ’、及びＤ’を表示する。表示デバイス２６は、サブフレームＡ’を、第３の時刻後の第４の時刻に第１の位置に表示する。第４の時刻後の第５の時刻に、表示デバイス２６はサブフレームＢ’を、第１の位置から水平にオフセットされ、第２の位置から垂直及び水平にオフセットされ、第３の位置から垂直にオフセットされた第４の位置に表示する。表示デバイス２６は、サブフレームＤ’を、第５の時刻後の第６の時刻に第３の位置に表示する。

サブフレームＡ’、Ｂ’、及びＤ’の表示後、表示デバイスは第３の画像１２に関連する第３の組のサブフレームＡ’’、Ｃ’’、及びＤ’’を表示する。表示デバイス２６は、サブフレームＡ’’を、第６の時刻後の第７の時刻に第１の位置に表示する。第７の時刻後の第８の時刻に、表示デバイス２６はサブフレームＣ’’を第２の位置に表示する。表示デバイス２６は、サブフレームＤ’’を、第８の時刻後の第９の時刻に第３の位置に表示する。

図４０Ａ〜図４０Ｃは、本発明の一実施形態による連続した組の３つのサブフレームの表示を示す概略図である。図４０Ａは、第１の画像１２に関連する第１の組のサブフレームＡ、Ｃ、及びＢの表示を示す。表示デバイス２６は、サブフレームＡを第１の時刻に第１の位置に表示する。第１の時刻後の第２の時刻に、表示デバイス２６はサブフレームＣを、第１の位置から垂直にオフセットされた第２の位置に表示する。表示デバイス２６はサブフレームＢを、第２の時刻後の第３の時刻に、第１の位置から水平にオフセットされ、第２の位置から垂直及び水平にオフセットされた第３の位置に表示する。

サブフレームＡ、Ｃ、及びＢの表示後、表示デバイスは、第２の画像１２に関連する第２の組のサブフレームＤ’、Ｃ’、及びＢ’を表示する。表示デバイス２６は、サブフレームＤ’を、第３の時刻後の第４の時刻に、第１の位置から垂直及び水平にオフセットされ、第２の位置から水平にオフセットされ、第３の位置から垂直にオフセットされた第４の位置に表示する。第４の時刻後の第５の時刻に、表示デバイス２６はサブフレームＣ’を第２の位置に表示する。表示デバイス２６は、サブフレームＢ’を、第５の時刻後の第６の時刻に第３の位置に表示する。

サブフレームＤ’、Ｃ’、及びＢ’の表示後、表示デバイスは第３の画像１２に関連する第３の組のサブフレームＡ’’、Ｃ’’、及びＢ’’を表示する。表示デバイス２６はサブフレームＡ’’を、第６の時刻後の第７の時刻に第１の位置に表示する。第７の時刻後の第８の時刻に、表示デバイス２６はサブフレームＣ’’を第２の位置に表示する。表示デバイス２６は、サブフレームＢ’’を、第８の時刻後の第９の時刻に第３の位置に表示する。

図３９Ａ〜図３９Ｃ及び図４０Ａ〜図４０Ｃに示す以外の多くのパターンの３つのサブフレームの表示が可能であり、考慮される。

本明細書において述べた実施形態は従来の解決策に勝る利点を提供することができる。たとえば、自然画像及びビジネスグラフィックス等の高コントラスト画像を含む各種のグラフィカル画像の表示を向上させることができる。加えて、画像の表示に関連するちらつきの量を低減することができる。

本明細書では、好ましい実施形態を説明する目的で、特定の実施形態を図示して説明してきたが、図示して説明したこれらの特定の実施形態の代わりに、多種多様の代替的な実施態様及び／又は均等な実施態様を、本発明の範囲から逸脱することなく使用できることが当業者には理解されよう。機械技術、電気機械技術、電気技術、及びコンピュータ技術の熟練者には、本発明を非常に多種多様な実施形態で実施できることが容易に理解されよう。本出願は、本明細書で解説した好ましい実施形態のあらゆる適応又は変形を網羅することを意図している。したがって、本発明は、特許請求の範囲及びその均等物によってのみ限定されることが意図されていることは明白である。

本発明の一実施形態による画像表示システムを示すブロック図である。本発明の一実施形態による２つのサブフレームのうちの１つを表示したものを示す概略図である。本発明の一実施形態による２つのサブフレームのうちの１つを表示したものを示す概略図である。本発明の一実施形態による２つのサブフレームを表示したものを示す概略図である。本発明の一実施形態による４つのサブフレームのうちの１つを表示したものを示す概略図である。本発明の一実施形態による４つのサブフレームのうちの１つを表示したものを示す概略図である。本発明の一実施形態による４つのサブフレームのうちの１つを表示したものを示す概略図である。本発明の一実施形態による４つのサブフレームのうちの１つを表示したものを示す概略図である。本発明の一実施形態による４つのサブフレームを表示したものを示す概略図である。本発明の一実施形態による画像表示システムによりピクセルを表示したものを示す概略図である。本発明の一実施形態による画像表示システムによりピクセルを表示したものを示す概略図である。本発明の一実施形態による画像表示システムによりピクセルを表示したものを示す概略図である。本発明の一実施形態による画像表示システムによりピクセルを表示したものを示す概略図である。本発明の一実施形態による画像表示システムによりピクセルを表示したものを示す概略図である。本発明の一実施形態による最近傍アルゴリズムを使用した、元の高解像度画像からの低解像度サブフレームの生成を示す図である。本発明の一実施形態による双一次アルゴリズムを使用した、元の高解像度画像からの低解像度サブフレームの生成を示す図である。本発明の一実施形態による、シミュレートされた高解像度画像を生成するシステムを示すブロック図である。本発明の一実施形態による、分離可能なアップサンプリングに基づいて２位置処理用のシミュレートされた高解像度画像を生成するシステムを示すブロック図である。本発明の一実施形態による、分離不能なアップサンプリングに基づいて２位置処理用のシミュレートされた高解像度画像を生成するシステムを示すブロック図である。本発明の一実施形態による、４位置処理用のシミュレートされた高解像度画像を生成するシステムを示すブロック図である。本発明の一実施形態によるシミュレートされた高解像度画像と所望の高解像度画像との比較を示すブロック図である。本発明の一実施形態によるサブフレームのアップサンプリングの周波数領域における効果を示す図である。本発明の一実施形態によるアップサンプリングサブフレームのシフトの周波数領域における効果を示す図である。本発明の一実施形態によるアップサンプリング画像のピクセルの影響領域を示す図である。本発明の一実施形態による適応型マルチパスアルゴリズムに基づく初期シミュレートされた高解像度画像の生成を示す図である。本発明の一実施形態による適応型マルチパスアルゴリズムに基づく補正データの生成を示す図である。本発明の一実施形態による適応型マルチパスアルゴリズムに基づく更新サブフレームの生成を示す図である。本発明の別の実施形態による適応型マルチパスアルゴリズムに基づく補正データの生成を示す図である。本発明の一実施形態による元の高解像度画像に関する４つのサブフレームを表示したものを示す概略図である。本発明の一実施形態による元の高解像度画像に関する４つのサブフレームのうちの１つを表示したものを示す概略図である。本発明の一実施形態による元の高解像度画像に関する４つのサブフレームのうちの１つを表示したものを示す概略図である。本発明の一実施形態による元の高解像度画像に関する４つのサブフレームのうちの１つを表示したものを示す概略図である。本発明の一実施形態による元の高解像度画像に関する４つのサブフレームのうちの１つを表示したものを示す概略図である。本発明の一実施形態による中心適応型マルチパスアルゴリズムを使用して、４位置処理用のシミュレートされた高解像度画像を生成するシステムを示すブロック図である。本発明の一実施形態による中心適応型マルチパスアルゴリズムを使用しての補正データの生成を示すブロック図である。本発明の一実施形態による簡易中心適応型マルチパスアルゴリズムを使用して、４位置処理用のシミュレートされた高解像度画像を生成するシステムを示すブロック図である。本発明の一実施形態による簡易中心適応型マルチパスアルゴリズムを使用しての補正データの生成を示すブロック図である。本発明の一実施形態による適応型マルチパスアルゴリズムの異なる反復回数の場合のピクセルの影響領域を示すブロック図である。本発明の一実施形態による適応型マルチパスアルゴリズムの異なる反復回数の場合のピクセルの影響領域を示すブロック図である。本発明の一実施形態による適応型マルチパスアルゴリズムの異なる反復回数の場合のピクセルの影響領域を示すブロック図である。本発明の一実施形態による画像に対するピクセルの影響領域を示すブロック図である。本発明の一実施形態によるピクセルの影響領域の計算済み履歴値を示すブロック図である。本発明の一実施形態によるピクセルの簡易影響領域の計算済み履歴値を示すブロック図である。本発明の一実施形態による画像に対するピクセルの簡易影響領域を示すブロック図である。本発明の一実施形態によるサブフレーム生成ユニットの部分を示すブロック図である。２位置処理の場合の絡み合わせたサブフレームを示すブロック図である。本発明の一実施形態によるピクセルの簡易影響領域の計算済み履歴値及び誤差値を示すブロック図である。本発明の一実施形態による画像に対するピクセルの簡易影響領域を示すブロック図である。本発明の一実施形態によるピクセル選択アルゴリズムを使用しての３つのサブフレームの生成を示すブロック図である。本発明の一実施形態による双一次アルゴリズムを使用しての３つのサブフレームの生成を示すブロック図である。本発明の一実施形態による適応型マルチパスアルゴリズムを使用しての３位置処理用のシミュレートされた高解像度画像を生成するシステムを示すブロック図である。本発明の一実施形態による適応型マルチパスアルゴリズムを使用しての３位置処理用の補正データの生成を示すブロック図である。本発明の一実施形態による中心適応型マルチパスアルゴリズムを使用しての３位置処理用のシミュレートされた高解像度画像を生成するシステムを示すブロック図である。本発明の一実施形態による中心適応型マルチパスアルゴリズムを使用しての３位置処理用の補正データの生成を示すブロック図である。本発明の一実施形態による連続した組の３つのサブフレームの表示を示す概略図である。本発明の一実施形態による連続した組の３つのサブフレームの表示を示す概略図である。本発明の一実施形態による連続した組の３つのサブフレームの表示を示す概略図である。本発明の一実施形態による連続した組の３つのサブフレームの表示を示す概略図である。本発明の一実施形態による連続した組の３つのサブフレームの表示を示す概略図である。本発明の一実施形態による連続した組の３つのサブフレームの表示を示す概略図である。

Claims

第１の画像に関連する第１の画像データを受け取るステップと、
前記第１の画像データの一部をゼロ値に変換するステップと、
前記第１の画像データを使用して第１の組の３つのサブフレームを生成するステップと、
前記第１の組の３つのサブフレームを第１の位置、第２の位置、及び第３の位置に交互に表示するステップであって、該第２の位置は該第１の位置から空間的にオフセットされており、該第３の位置は該第１の位置及び該第２の位置から空間的にオフセットされている、交互に表示するステップと
を含んでなる、表示デバイスを使用して画像を表示する方法。
第２の画像に関連する第２の画像データを受け取るステップと、
前記第２の画像データの一部をゼロ値に変換するステップと、
前記第２の画像データを使用して第２の組の３つのサブフレームを生成するステップと、
前記第２の組の３つのサブフレームを前記第１の位置、前記第２の位置、及び第４の位置に交互に表示するステップであって、該第４の位置は該第１の位置、該第２の位置、及び前記第３の位置から空間的にオフセットされている、交互に表示するステップと
をさらに含む、請求項１に記載の表示デバイスを使用して画像を表示する方法。
前記第１の組の３つのサブフレームを交互に表示した後に、前記第２の組の３つのサブフレームを交互に表示するステップをさらに含む、請求項２に記載の表示デバイスを使用して画像を表示する方法。
前記第２の位置は前記第１の位置から垂直にオフセットされており、前記第３の位置は該第１の位置から垂直及び水平にオフセットされるとともに該第２の位置から水平にオフセットされており、前記第４の位置は、該第１の位置から水平にオフセットされ、該第２の位置から垂直及び水平にオフセットされ、該第３の位置から垂直にオフセットされている、請求項２に記載の表示デバイスを使用して画像を表示する方法。
前記第２の位置は前記第１の位置から垂直にオフセットされており、前記第３の位置は該第１の位置から水平にオフセットされるとともに該第２の位置から垂直及び水平にオフセットされており、前記第４の位置は、該第１の位置から垂直及び水平にオフセットされ、該第２の位置から水平にオフセットされ、該第３の位置から垂直及び水平にオフセットされている、請求項２に記載の表示デバイスを使用して画像を表示する方法。
前記第２の位置は前記第１の位置から垂直及び水平にオフセットされ、前記第３の位置は前記第１の位置から水平にオフセットされるとともに該第２の位置から垂直にオフセットされており、前記第４の位置は、該第１の位置から垂直にオフセットされ、該第２の位置から水平にオフセットされ、該第３の位置から垂直及び水平にオフセットされている、請求項２に記載の表示デバイスを使用して画像を表示する方法。
前記第２の位置は前記第１の位置から垂直及び水平にオフセットされ、前記第３の位置は該第１の位置から垂直にオフセットされるとともに該第２の位置から水平にオフセットされており、前記第４の位置は、該第１の位置から水平にオフセットされ、該第２の位置から垂直にオフセットされ、該第３の位置から垂直及び水平にオフセットされている、請求項２に記載の表示デバイスを使用して画像を表示する方法。
ピクセル選択アルゴリズムを使用して前記第１の組の３つのサブフレームを生成するステップをさらに含む、請求項１に記載の表示デバイスを使用して画像を表示する方法。
双一次アルゴリズムを使用して前記第１の組の３つのサブフレームを生成するステップをさらに含む、請求項１に記載の表示デバイスを使用して画像を表示する方法。
シミュレーションカーネルを使用して前記第１の組の３つのサブフレームを生成するステップをさらに含む、請求項１に記載の表示デバイスを使用して画像を表示する方法。
誤差カーネルを使用して前記第１の組の３つのサブフレームを生成するステップをさらに含む、請求項１０に記載の表示デバイスを使用して画像を表示する方法。
前記画像は複数の画像ピクセルを含み、前記第１の組の３つのサブフレームは、該複数の画像ピクセルに対してセンタリングされる複数のサブフレームピクセルを含む、請求項１に記載の表示デバイスを使用して画像を表示する方法。
第１の画像の第１の画像データを受け取るバッファであって、該第１の画像データは第１の複数の組の４つのピクセル値を含むものであるバッファと、
前記第１の複数の組のそれぞれからの前記４つのピクセル値のうちの１つをゼロ値に変換し、前記第１の画像データを使用して第１の組の３つのサブフレームを生成するように構成されている画像処理ユニットと、
前記第１の組の３つのサブフレームを第１の位置、第２の位置、及び第３の位置に交互に表示する表示デバイスであって、該第２の位置は該第１の位置から空間的にオフセットされており、該第３の位置は該第１の位置及び該第２の位置から空間的にオフセットされている表示デバイスと
を含んでなる、画像を表示するシステム。