JP2008521062A - 空間的にオフセットされたサブフレームの生成及び表示 - Google Patents

Abstract

表示装置（２６）を使用して画像（１４）を表示する方法が提供される。当該方法は、画像の画像データ（１６）に対応する第１のサブフレーム（３０）及び第２のサブフレーム（３０）を生成することであって、画像データからの第１の複数の勾配に関連する第１の鮮鋭化係数を使用して第１のサブフレームの第１のサブフレームピクセル値を計算することを含む、生成すること、及び、第１の位置（３０１）に第１のサブフレームを表示することと、第１の位置から空間的にオフセットされた第２の位置（３０２）に第２のサブフレームを表示することとを交互に行うことを含む。

Description

［関連出願の相互参照］
本願は、２００２年８月７日に出願された「IMAGE DISPLAY SYSTEM AND METHOD」と題する米国特許出願第１０／２１３，５５５号、２００２年９月１１日に出願された「IMAGE DISPLAY SYSTEM AND METHOD」と題する米国特許出願第１０／２４２，１９５号、２００２年９月１１日に出願された「IMAGE DISPLAY SYSTEM AND METHOD」と題する米国特許出願第１０／２４２，５４５号、２００３年７月３１日に出願された「GENERATING AND DISPLAYING SPATIALLY OFFSET SUB-FRAMES」と題する米国特許出願第１０／６３１，６８１号、２００３年７月３１日に出願された「GENERATING AND DISPLAYING SPATIALLY OFFSET SUB-FRAMES」と題する米国特許出願第１０／６３２，０４２号、２００３年９月２６日に出願された「GENERATING AND DISPLAYING SPATIALLY OFFSET SUB-FRAMES」と題する米国特許出願第１０／６７２，８４５号、２００３年９月２６日に出願された「GENERATING AND DISPLAYING SPATIALLY OFFSET SUB-FRAMES」と題する米国特許出願第１０／６７２，５４４号、２００３年１０月３０日に出願された「GENERATING AND DISPLAYING SPATIALLY OFFSET SUB-FRAMES ON A DIAMOND GRID」と題する米国特許出願第１０／６９７，６０５号、２００３年１０月３０日に出願された「GENERATING AND DISPLAYING SPATIALLY OFFSET SUB-FRAMES ON DIFFERENT TYPES OF GRIDS」と題する米国特許出願第１０／６９６，８８８号、２００３年１０月３０日に出願された「IMAGE DISPLAY SYSTEM AND METHOD」と題する米国特許出願第１０／６９７，８３０号、２００３年１２月３１日に出願された「DISPLAYING SPATIALLY OFFSET SUB-FRAMES WITH A DISPLAY DEVICE HAVING A SET OF DEFECTIVE DISPLAY PIXELS」と題する米国特許出願第１０／７５０，５９１号、２００４年１月３０日に出願された「GENERATING AND DISPLAYING SPATIALLY OFFSET SUB-FRAMES」と題する米国特許出願第１０／７６８，６２１号、２００４年１月３０日に出願された「DISPLAYING SUB-FRAMES AT SPATIALLY OFFSET POSITIONS ON A CIRCLE」と題する米国特許出願第１０／７６８，２１５号、２００４年４月８日に出願された「GENERATING AND DISPLAYING SPATIALLY OFFSET SUB-FRAMES」と題する米国特許出願第１０／８２１，１３５号、２００４年４月８日に出願された「GENERATING AND DISPLAYING SPATIALLY OFFSET SUB-FRAMES」と題する米国特許出願第１０／８２１，１３０号、２００４年４月８日に出願された「GENERATING AND DISPLAYING SPATIALLY OFFSET SUB-FRAMES」と題する米国特許出願第１０／８２０，９５２号、２００４年６月９日に出願された「GENERATING AND DISPLAYING SPATIALLY OFFSET SUB-FRAMES」と題する米国特許出願第１０／８６４，１２５号（整理番号第２００４０１４１２−１号）、２００４年６月１５日に出願された「GENERATING AND DISPLAYING SPATIALLY OFFSET SUB-FRAMES」と題する米国特許出願第１０／８６８，７１９号、及び２００４年６月１５日に出願された「GENERATING AND DISPLAYING SPATIALLY OFFSET SUB-FRAMES」と題する米国特許出願第１０／８６８，６３８号に関連する。上記米国特許出願のそれぞれは本発明の譲受人に譲渡され、参照により本明細書に援用される。

［背景］
ディスプレイ、プロジェクタ、又は他の画像形成システム等の画像を表示するための従来のシステム又は装置は、個々の画素又はピクセルが水平行及び垂直列に配置されたアレイをアドレス指定することによって表示画像を生成する。表示画像の解像度は、表示画像を形成する個々のピクセルの水平行数及び垂直列数によって規定される。表示画像の解像度は、表示装置それ自体の解像度、及び表示装置により処理され表示画像の生成に使用される画像データの解像度によって影響を受ける。

通常、表示画像の解像度を上げるには、表示装置の解像度及び表示画像の生成に使用される画像データの解像度を上げなければならない。しかし、表示装置の解像度を上げると、表示装置のコスト及び複雑性が増大する。さらに、より高解像度の画像データが入手不可能であり、且つ／又は生成が困難な場合がある。

［概要］
本発明の一形態は、表示装置を使用して画像を表示する方法を提供する。この方法は、画像の画像データに対応する第１のサブフレーム及び第２のサブフレームを生成することであって、画像データからの第１の複数の勾配に関連する第１の鮮鋭化係数を使用して第１のサブフレームの第１のサブフレームピクセル値を計算することを含む、生成すること、及び、第１のサブフレームを第１の位置に表示することと、第２のサブフレームを第１の位置から空間的にオフセットされた第２の位置に表示することとを交互に行うことを含む。

［詳細な説明］
好ましい実施形態の以下の詳細な説明では、本明細書の一部を成し、本発明を実施することができる特定の実施形態を例示として示す添付図面を参照する。他の実施形態を利用することもでき、本発明の範囲から逸脱することなく、構造的又は論理的な変更を行うことが可能なことが理解されるべきである。したがって、以下の詳細な説明は、限定の意味に取られるべきではなく、本発明の範囲は、添付の特許請求の範囲によって規定される。

Ｉ．サブフレームの空間シフト及び時間シフト
いくつかのデジタルライトプロジェクタ等、表示システムによっては、いくつかの高解像度の画像の表示に十分な解像度を有さないものがある。このようなシステムは、低解像度の画像を空間シフト及び時間シフトさせて表示することにより、人間の目にとって見掛けの解像度がより高い画像を提供するように構成することができる。低解像度の画像はサブフレームと呼ばれる。本発明の実施形態によって対処されるサブフレーム生成上の問題は、表示されるサブフレームの見た目が、そのサブフレームの導出元である高解像度の画像が仮にそのまま表示された場合の見た目に近くなるように、サブフレームの適切な値を決定することである。

見掛けの解像度の向上をサブフレームの時間シフト及び空間シフトを通して提供する表示システムの一実施形態が、引用した上記米国特許出願に記載されており、図１〜図４Ｅを参照して以下に概要を説明する。

図１は、本発明の一実施形態による画像表示システム１０を示すブロック図である。画像表示システム１０は、画像１２の処理を促進して表示画像１４を作成する。画像１２は、あらゆる絵図、図形、及び／又はテキストの文字、記号、イラスト、及び／又は他の情報表現を含むものと定義される。画像１２は、たとえば、画像データ１６によって表される。画像データ１６は、画像１２の個々の画素又はピクセルを含む。画像表示システム１０が処理するものとして、１つの画像を例示して説明するが、画像表示システム１０は、複数の画像又は一連の画像を処理して表示することができることが理解されよう。

一実施形態では、画像表示システム１０は、フレームレート変換ユニット２０、画像フレームバッファ２２、画像処理ユニット２４、及び表示装置２６を含む。後述するように、フレームレート変換ユニット２０及び画像フレームバッファ２２は、画像１２の画像データ１６を受け取ってバッファリングし、画像１２の画像フレーム２８を作成する。画像処理ユニット２４は、画像フレーム２８を処理して、画像フレーム２８の１つ又は複数の画像サブフレーム３０を規定し、表示装置２６は、画像サブフレーム３０を時間的且つ空間的に表示して表示画像１４を生成する。

フレームレート変換ユニット２０及び／又は画像処理ユニット２４を含め、画像表示システム１０は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせを含む。一実施形態では、フレームレート変換ユニット２０及び／又は画像処理ユニット２４を含め、画像表示システム１０の１つ又は複数の構成要素は、コンピュータ、コンピュータサーバ、又は一連の論理演算を実行できる他のマイクロプロセッサベースのシステムに含まれる。さらに、処理をシステム全体にわたって分散させて、個々の部分を別個のシステム構成要素で実施してもよい。

画像データ１６は、デジタル画像データ１６１を含むこともでき、又はアナログ画像データ１６２を含むこともできる。アナログ画像データ１６２を処理するために、画像表示システム１０は、アナログ・デジタル（Ａ／Ｄ）変換器３２を含む。したがって、Ａ／Ｄ変換器３２は、アナログ画像データ１６２を後続処理のためにデジタル形態に変換する。このように、画像表示システム１０は、画像１２のデジタル画像データ１６１及び／又はアナログ画像データ１６２を受け取って処理することができる。

フレームレート変換ユニット２０は、画像１２の画像データ１６を受け取り、画像フレームバッファ２２に画像データ１６をバッファリング又は記憶する。より具体的には、フレームレート変換ユニット２０は、画像１２の個々のライン又はフィールドを表す画像データ１６を受け取り、画像フレームバッファ２２に画像データ１６をバッファリングして、画像１２の画像フレーム２８を作成する。画像フレームバッファ２２は、画像フレーム２８の画像データのすべてを受け取って記憶することによって画像データ１６をバッファリングし、フレームレート変換ユニット２０は、その後、画像フレームバッファ２２から画像フレーム２８の画像データのすべてを検索又は抽出することによって画像フレーム２８を作成する。したがって、画像フレーム２８は、画像１２の全体を表す画像データ１６の複数の個々のライン又はフィールドを包含するように規定される。このように、画像フレーム２８は、画像１２を表す複数の列及び複数の行の個々のピクセルを含む。

フレームレート変換ユニット２０及び画像フレームバッファ２２は、プログレッシブ画像データ及び／又はインターレース画像データとして画像データ１６を受け取って処理することができる。プログレッシブ画像データの場合、フレームレート変換ユニット２０及び画像フレームバッファ２２は、画像１２の画像データ１６の連続するフィールドを受け取って記憶する。したがって、フレームレート変換ユニット２０は、画像１２の画像データ１６の連続するフィールドを検索することによって画像フレーム２８を作成する。インターレース画像データの場合、フレームレート変換ユニット２０及び画像フレームバッファ２２は、画像１２の画像データ１６の奇数フィールド及び偶数フィールドを受け取って記憶する。たとえば、画像データ１６の奇数フィールドのすべてが受け取られて記憶され、画像データ１６の偶数フィールドのすべてが受け取られて記憶される。したがって、フレームレート変換ユニット２０は、画像１２の画像データ１６の奇数フィールド及び偶数フィールドを検索することによって画像データ１６のインターレースを解除して、画像フレーム２８を作成する。

画像フレームバッファ２２は、各画像１２の１つ又は複数の画像フレーム２８の画像データ１６を記憶するためのメモリを含む。したがって、画像フレームバッファ２２は１つ又は複数の画像フレーム２８のデータベースを構成する。画像フレームバッファ２２の例としては、不揮発性メモリ（たとえば、ハードディスクドライブ又は他の永続的記憶装置）が含まれ、また揮発性メモリ（たとえば、ランダムアクセスメモリ（ＲＡＭ））が含まれてもよい。

フレームレート変換ユニット２０において画像データ１６を受け取り、画像フレームバッファ２２により画像データ１６をバッファリングすることにより、画像データ１６の入力タイミングを、表示装置２６のタイミング要件から切り離すことができる。より具体的には、画像フレーム２８の画像データ１６は、画像フレームバッファ２２により受け取られて記憶されるので、画像データ１６をいかなるレートの入力としても受け取ることができる。したがって、画像フレーム２８のフレームレートを表示装置２６のタイミング要件に変換することができる。このように、画像フレーム２８の画像データ１６を、表示装置２６のフレームレートで画像フレームバッファ２２から抽出することができる。

一実施形態では、画像処理ユニット２４は、解像度調整ユニット３４及びサブフレーム生成ユニット３６を含む。後述するように、解像度調整ユニット３４は、画像フレーム２８の画像データ１６を受け取り、表示装置２６での表示に向けて画像データ１６の解像度を調整し、サブフレーム生成ユニット３６は、画像フレーム２８の複数の画像サブフレーム３０を生成する。より具体的には、画像処理ユニット２４は、画像フレーム２８の画像データ１６を元の解像度で受け取り、画像データ１６を処理して、画像データ１６の解像度を増減、且つ／又は変更せずに維持する。したがって、画像処理ユニット２４により、画像表示システム１０は種々の解像度の画像データ１６を受け取って表示することができる。

サブフレーム生成ユニット３６は、画像フレーム２８の画像データ１６を受け取って処理し、画像フレーム２８の複数の画像サブフレーム３０を規定する。解像度調整ユニット３４が画像データ１６の解像度を調整した場合、サブフレーム生成ユニット３６は、調整された解像度の画像データ１６を受け取る。画像データ１６の調整された解像度は、画像フレーム２８の画像データ１６の元の解像度に対して、増大する場合もあれば、低減される場合もあり、又は同じ場合もある。サブフレーム生成ユニット３６は、表示装置２６の解像度に合致した解像度を有する画像サブフレーム３０を生成する。画像サブフレーム３０はそれぞれ、画像フレーム２８と等しい領域を有する。サブフレーム３０はそれぞれ、画像１２の画像データ１６のサブセットを表す複数の列及び複数の行になった個々のピクセルを含み、表示装置２６の解像度に合致した解像度を有する。

各画像サブフレーム３０は、画像フレーム２８のピクセルの行列又はアレイを含む。画像サブフレーム３０は、各画像サブフレーム３０が異なるピクセル及び／又は異なる部分のピクセルを含むように、空間的に互いにオフセットされる。こうして画像サブフレーム３０は、後述するように、或る垂直距離及び／又は水平距離だけ互いにオフセットされる。

表示装置２６は、画像処理ユニット２４から画像サブフレーム３０を受け取り、画像サブフレーム３０を順次表示して表示画像１４を作成する。より具体的には、画像サブフレーム３０は空間的に互いにオフセットされているので、表示装置２６は、後述するように、画像サブフレーム３０の空間オフセットに従って異なる位置に画像サブフレーム３０を表示する。こうして、表示装置２６は、画像フレーム２８の画像サブフレーム３０の表示を交互に行って表示画像１４を作成する。したがって、表示装置２６は、一度に画像フレーム２８の１つのサブフレーム３０全体を表示する。

一実施形態では、表示装置２６は、画像フレーム２８ごとに、１サイクルの画像サブフレーム３０の表示を実行する。表示装置２６は、空間的且つ時間的に互いにオフセットされるように画像サブフレーム３０を表示する。一実施形態では、表示装置２６は、画像サブフレーム３０を光学的に操作して表示画像１４を作成する。したがって、表示装置２６の個々のピクセルは複数の位置にアドレス指定される。

一実施形態では、表示装置２６は画像シフト装置３８を含む。この画像シフト装置３８は、表示装置２６が表示するように、画像サブフレーム３０の位置を空間的に変更するか又はオフセットする。より具体的には、画像シフト装置３８は後述するように、画像サブフレーム３０の表示位置を変更して表示画像１４を生成する。

一実施形態では、表示装置２６は、入射光の変調を行う光変調器を含む。この光変調器は、たとえば、マイクロミラーデバイスのアレイを形成するように配置された複数のマイクロミラーデバイスを含む。したがって、各マイクロミラーデバイスは、表示装置２６の１つのセル又はピクセルを構成する。表示装置２６は、ディスプレイ、プロジェクタ、又は他の画像形成システムの一部を成してもよい。

一実施形態では、画像表示システム１０はタイミングジェネレータ４０を含む。このタイミングジェネレータ４０は、たとえば、フレームレート変換ユニット２０、解像度調整ユニット３４及びサブフレーム生成ユニット３６を含む画像処理ユニット２４、並びに画像シフト装置３８を含む表示装置２６と通信する。こうして、タイミングジェネレータ４０は、画像フレーム２８を作成するための画像データ１６のバッファリング及び変換と、画像データ１６の解像度を調整して画像サブフレーム３０を生成するための画像フレーム２８の処理と、表示画像１４を生成するための画像サブフレーム３０の配置及び表示とを同期させる。こうして、タイミングジェネレータ４０は、画像１２のサブフレーム全体が、表示装置２６により表示画像１４として時間的且つ空間的に表示されるように、画像表示システム１０のタイミングを制御する。

一実施形態では、図２Ａ及び図２Ｂに示すように、画像処理ユニット２４は画像フレーム２８に対して２つの画像サブフレーム３０を規定する。より具体的には、画像処理ユニット２４は、画像フレーム２８の第１のサブフレーム３０１及び第２のサブフレーム３０２を規定する。したがって、第１のサブフレーム３０１及び第２のサブフレーム３０２はそれぞれ、画像データ１６の複数の列及び複数の行の個々のピクセル１８を含む。このように、第１のサブフレーム３０１及び第２のサブフレーム３０２はそれぞれ、画像データ１６のサブセットの画像データアレイ又はピクセル行列を構成する。

一実施形態では、図２Ｂに示すように、第２のサブフレーム３０２は、垂直距離５０及び水平距離５２だけ、第１のサブフレーム３０１からオフセットされる。したがって、第２のサブフレーム３０２は所定の距離だけ、第１のサブフレーム３０１から空間的にオフセットされる。例示の一実施形態では、垂直距離５０及び水平距離５２はそれぞれ約ピクセル半個分である。

図２Ｃに示すように、表示装置２６は、第１の位置に第１のサブフレーム３０１を表示することと、第１の位置から空間的にオフセットされた第２の位置に第２のサブフレーム３０２を表示することとを交互に行う。より具体的には、表示装置２６は、垂直距離５０及び水平距離５２だけ、第１のサブフレーム３０１の表示に対して第２のサブフレーム３０２の表示をシフトさせる。こうして、第１のサブフレーム３０１のピクセルは第２のサブフレーム３０２のピクセルと一部重なる。一実施形態では、表示装置２６は、画像フレーム２８について、第１の位置に第１のサブフレーム３０１を表示し、第２の位置に第２のサブフレーム３０２を表示するという１サイクルを実行する。このように、第２のサブフレーム３０２は、第１のサブフレーム３０１に対して空間的且つ時間的に表示される。このような時間的且つ空間的にシフトされた２つのサブフレームの表示を、本明細書では２位置処理（two-position processing）と呼ぶ。

別の実施形態では、図３Ａ〜図３Ｄに示すように、画像処理ユニット２４は画像フレーム２８に対して４つの画像サブフレーム３０を規定する。より具体的には、画像処理ユニット２４は、画像フレーム２８に対して第１のサブフレーム３０１、第２のサブフレーム３０２、第３のサブフレーム３０３、及び第４のサブフレーム３０４を規定する。こうして、第１のサブフレーム３０１、第２のサブフレーム３０２、第３のサブフレーム３０３、及び第４のサブフレーム３０４はそれぞれ、画像データ１６の複数の列及び複数の行の個々のピクセル１８を含む。

一実施形態では、図３Ｂ〜図３Ｄに示すように、第２のサブフレーム３０２は、垂直距離５０及び水平距離５２だけ第１のサブフレーム３０１からオフセットされ、第３のサブフレーム３０３は、水平距離５４だけ第１のサブフレーム３０１からオフセットされ、第４のサブフレーム３０４は、垂直距離５６だけ第１のサブフレーム３０１からオフセットされる。このように、第２のサブフレーム３０２、第３のサブフレーム３０３、及び第４のサブフレーム３０４はそれぞれ、所定の距離だけ空間的に互いにオフセットされ、且つ所定の距離だけ第１のサブフレーム３０１から空間的にオフセットされている。例示の一実施形態では、垂直距離５０、水平距離５２、水平距離５４、及び垂直距離５６はそれぞれ約ピクセル半個分である。

図３Ｅに概略的に示すように、表示装置２６は、第１の位置Ｐ_１に第１のサブフレーム３０１を表示することと、第１の位置から空間的にオフセットされた第２の位置Ｐ_２に第２のサブフレーム３０２を表示することと、第１の位置から空間的にオフセットされた第３の位置Ｐ_３に第３のサブフレーム３０３を表示することと、第１の位置から空間的にオフセットされた第４の位置Ｐ_４に第４のサブフレーム３０４を表示することとを交互に行う。より具体的には、表示装置２６は、第２のサブフレーム３０２の表示、第３のサブフレーム３０３の表示、及び第４のサブフレーム３０４の表示をそれぞれの所定の距離だけ第１のサブフレーム３０１に対してシフトさせる。したがって、第１のサブフレーム３０１、第２のサブフレーム３０２、第３のサブフレーム３０３、及び第４のサブフレーム３０４のピクセルは、互いに重なり合う。

一実施形態では、表示装置２６は、画像フレーム２８について、第１の位置に第１のサブフレーム３０１を表示し、第２の位置に第２のサブフレーム３０２を表示し、第３の位置に第３のサブフレーム３０３を表示し、第４の位置に第４のサブフレーム３０４を表示するという１サイクルを実行する。こうして、第２のサブフレーム３０２、第３のサブフレーム３０３、及び第４のサブフレーム３０４は、互いに且つ第１のサブフレーム３０１に対して空間的且つ時間的に表示される。このような時間的且つ空間的にシフトされた４つのサブフレームの表示を、本明細書では４位置処理（four-position processing）と呼ぶ。

図４Ａ〜図４Ｅは、第１のサブフレーム３０１からのピクセル１８１を第１の位置に表示し、第２のサブフレーム３０２からのピクセル１８２を第２の位置に表示し、第３のサブフレーム３０３からのピクセル１８３を第３の位置に表示し、第４のサブフレーム３０４からのピクセル１８４を第４の位置に表示するという１サイクルを完了する一実施形態を示す。より具体的には、図４Ａは、第１のサブフレーム３０１からのピクセル１８１を第１の位置に表示したものを示している。図４Ｂは、第２のサブフレーム３０２からのピクセル１８２を第２の位置（第１の位置を破線で示す）に表示したものを示している。図４Ｃは、第３のサブフレーム３０３からのピクセル１８３を第３の位置（第１の位置及び第２の位置を破線で示す）に表示したものを示している。図４Ｄは、第４のサブフレーム３０４からのピクセル１８４を第４の位置（第１の位置、第２の位置、及び第３の位置を破線で示す）に表示したものを示している。図４Ｅは、第１のサブフレーム３０１からのピクセル１８１を第１の位置（第２の位置、第３の位置、及び第４の位置を破線で示す）に表示したものを示している。

サブフレーム生成ユニット３６（図１）は、画像フレーム２８の画像データに基づいてサブフレーム３０を生成する。サブフレーム生成ユニット３６が実行する機能は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組み合わせにより実施できることが当業者に理解されよう。その実施は、マイクロプロセッサ、プログラマブルロジックデバイス、又は状態機械を介して行うことができる。本発明の構成要素は、１つ又は複数のコンピュータ可読媒体にソフトウェアで存在することができる。本明細書で使用されるコンピュータ可読媒体という用語は、フロッピー（登録商標）ディスク、ハードディスク、ＣＤ−ＲＯＭ、フラッシュメモリ、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ等の揮発性又は不揮発性のあらゆる種類のメモリを包含するものとして定義される。

本発明の一形態では、サブフレーム３０は画像フレーム２８よりも低い解像度を有する。このため、サブフレーム３０を本明細書では低解像度画像３０とも呼び、画像フレーム２８を本明細書では高解像度画像２８とも呼ぶ。低解像度及び高解像度という用語が本明細書では比較で用いられ、いずれの特定の最小ピクセル数又は最大ピクセル数にも限定されないことが当業者に理解されよう。一実施形態では、サブフレーム生成ユニット３６は、５つのアルゴリズムのうちの１つに基づいてサブフレーム３０を生成するように構成される。これら５つのアルゴリズムを本明細書では以下のように呼ぶ。すなわち、（１）最近傍、（２）双一次、（３）空間領域、（４）周波数領域、及び（５）適応型マルチパスである。

本発明の一形態による最近傍アルゴリズム及び双一次アルゴリズムは、高解像度画像２８からのピクセルを組み合わせることによりサブフレーム３０を生成するものである。本発明の一形態による空間領域アルゴリズム及び周波数領域アルゴリズムは、擬似高解像度画像と所望の高解像度画像２８との差を表す大域誤差メトリック（global error metric）の最小化に基づいてサブフレーム３０を生成する。本発明の一形態による適応型マルチパスアルゴリズムは、局所誤差メトリック（local error metric）の最小化に基づいて、サブフレーム３０を作成する。一実施形態では、サブフレーム生成ユニット３６は、サブフレームの値と高解像度画像の値との関係を記憶するためのメモリを含み、この関係は、高解像度画像の値と、サブフレームの値の関数である擬似高解像度画像との誤差メトリックの最小化に基づく。これら５つのアルゴリズムの各実施形態を図５〜図１８を参照して以下に説明する。

ＩＩ．最近傍
図５は、本発明の一実施形態による最近傍アルゴリズムを使用した、元の高解像度画像２８からの低解像度サブフレーム３０Ａ及び３０Ｂ（サブフレーム３０と総称する）の生成を示す図である。この図示する実施形態では、高解像度画像２８は、４列４行のピクセルで合計１６個のピクセルＨ１〜Ｈ１６を含む。最近傍アルゴリズムの一実施形態では、高解像度画像２８の１行目のピクセルを１つ置きに取り出し、高解像度画像２８の２行目を飛ばして高解像度画像２８の３行目のピクセルを１つ置きに取り出し、このプロセスを高解像度画像２８の全体にわたって繰り返すことによって第１のサブフレーム３０Ａが生成される。したがって、図５に示すように、サブフレーム３０Ａの１行目はピクセルＨ１及びＨ３を含み、サブフレーム３０Ａの２行目はピクセルＨ９及びＨ１１を含む。本発明の一形態では、第２のサブフレーム３０Ｂは第１のサブフレーム３０Ａと同じ方法で生成されるが、プロセスは、第１のピクセルＨ１から１行下で、且つ１列飛ばしてシフトされたピクセルＨ６から開始される。したがって、図５に示すように、サブフレーム３０Ｂの１行目はピクセルＨ６及びＨ８を含み、サブフレーム３０Ｂの２行目はピクセルＨ１４及びＨ１６を含む。

一実施形態では、最近傍アルゴリズムは、３つのフィルタ係数「０」及び第４のフィルタ係数「１」を有し、高解像度画像からのピクセル値の加重和を生成する２×２フィルタによって実施される。上述したような２位置処理を使用してサブフレーム３０Ａ及び３０Ｂを表示すると、見掛けの解像度がより高い画像が得られる。最近傍アルゴリズムは４位置処理にも適用可能であり、図５に示すピクセル数を有する画像に限定されない。

ＩＩＩ．双一次
図６は、本発明の一実施形態による双一次アルゴリズムを使用した、元の高解像度画像２８からの低解像度サブフレーム３０Ｃ及び３０Ｄ（サブフレーム３０と総称する）の生成を示す図である。この図示する実施形態では、高解像度画像２８は、４列４行のピクセルで合計１６個のピクセルＨ１〜Ｈ１６を含む。サブフレーム３０Ｃは、２列２行のピクセルで合計４個のピクセルＬ１〜Ｌ４を含む。そしてサブフレーム３０Ｄは、２列２行のピクセルで合計４個のピクセルＬ５〜Ｌ８を含む。

一実施形態では、サブフレーム３０Ｃ及び３０ＤのピクセルＬ１〜Ｌ８の値は、画像２８のピクセル値Ｈ１〜Ｈ１６から以下の式Ｉ〜ＶＩＩＩに基づいて生成される。
式Ｉ
Ｌ１＝（４Ｈ１＋２Ｈ２＋２Ｈ５）／８
式ＩＩ
Ｌ２＝（４Ｈ３＋２Ｈ４＋２Ｈ７）／８
式ＩＩＩ
Ｌ３＝（４Ｈ９＋２Ｈ１０＋２Ｈ１３）／８
式ＩＶ
Ｌ４＝（４Ｈ１１＋２Ｈ１２＋２Ｈ１５）／８
式Ｖ
Ｌ５＝（４Ｈ６＋２Ｈ２＋２Ｈ５）／８
式ＶＩ
Ｌ６＝（４Ｈ８＋２Ｈ４＋２Ｈ７）／８
式ＶＩＩ
Ｌ７＝（４Ｈ１４＋２Ｈ１０＋２Ｈ１３）／８
式ＶＩＩＩ
Ｌ８＝（４Ｈ１６＋２Ｈ１２＋２Ｈ１５）／８

上記式Ｉ〜ＶＩＩＩから分かるように、サブフレーム３０ＣのピクセルＬ１〜Ｌ４の値は、４を乗算することから、それぞれピクセルＨ１、Ｈ３、Ｈ９、及びＨ１１の値によって最も影響を受ける。ただし、サブフレーム３０ＣのピクセルＬ１〜Ｌ４の値は、ピクセルＨ１、Ｈ３、Ｈ９、及びＨ１１の対角方向の近傍ピクセルの値によっても影響を受ける。同様に、サブフレーム３０ＤのピクセルＬ５〜Ｌ８の値は、４を乗算することからそれぞれピクセルＨ６、Ｈ８、Ｈ１４、及びＨ１６の値によって最も影響を受ける。ただし、サブフレーム３０ＤのピクセルＬ５〜Ｌ８の値は、ピクセルＨ６、Ｈ８、Ｈ１４、及びＨ１６の対角方向の近傍ピクセルの値によっても影響を受ける。

一実施形態では、双一次アルゴリズムは、１つのフィルタ係数「０」及び非ゼロの値を有する３つのフィルタ係数（たとえば、４、２、及び２）を有し、高解像度画像のピクセル値の加重和を生成する２×２フィルタによって実施される。別の実施形態では、このフィルタ係数として他の値が使用される。上述したような２位置処理を使用してサブフレーム３０Ｃ及び３０Ｄを表示すると、見掛けの解像度がより高い画像が得られる。双一次アルゴリズムは４位置処理にも適用可能であり、図６に示すピクセル数を有する画像に限定されない。

最近傍アルゴリズム及び双一次アルゴリズムの一形態では、上述したように、サブフレーム３０は元の高解像度画像のピクセル値の線形結合に基づいて生成される。別の実施形態では、サブフレーム３０は元の高解像度画像のピクセル値の非線形結合に基づいて生成される。たとえば、元の高解像度画像がガンマ補正を受けている場合に、一実施形態では、ガンマ曲線の効果を打ち消すのに適した非線形結合が使用される。

ＩＶ．擬似高解像度画像を生成するシステム
図７〜図１０は、擬似高解像度画像を生成するシステムを示す。以下にさらに詳述するように、これらのシステムに基づいて、サブフレームを生成する空間領域アルゴリズム、周波数領域アルゴリズム、及び適応型マルチパスアルゴリズムが構築される。

図７は、本発明の一実施形態による、２つの４×４ピクセル低解像度サブフレーム３０Ｅから擬似高解像度画像４１２を生成するシステム４００を示すブロック図である。システム４００は、アップサンプリング段階４０２、シフト段階４０４、畳み込み演算段階４０６、及び総和段階４１０を含む。サブフレーム３０Ｅは、サンプリング行列Ｍに基づいてアップサンプリング段階４０２によりアップサンプリングされ、それによってアップサンプリング画像が生成される。このアップサンプリング画像は、空間シフト行列Ｓに基づいてシフト段階４０４によりシフトされ、それによってシフトアップサンプリング画像が生成される。このシフトアップサンプリング画像は、畳み込み演算段階４０６において補間フィルタとの畳み込み演算を受け、それによってブロック画像４０８が生成される。この図示する実施形態では、補間フィルタは、フィルタ係数「１」を有する２×２フィルタであって、畳み込み演算の中心がこの２×２行列の左上の位置にあるフィルタである。補間フィルタは、高解像度グリッド上への低解像度サブフレームを重ね合わせをシミュレーションする。低解像度サブフレームのピクセルデータは、そのサブフレームを高解像度グリッド上に表すことができるように拡張される。補間フィルタは、アップサンプリングによって生成された、欠けているピクセルデータを埋める。ブロック画像４０８は、総和ブロック４１０によって加重されて総和が求められ、８×８ピクセルの擬似高解像度画像４１２が生成される。

図８は、本発明の一実施形態による、２つの４×４ピクセルの低解像度サブフレーム３０Ｆ及び３０Ｇの分離可能なアップサンプリング（separable upsampling）に基づいて２位置処理の擬似高解像度画像５１２を生成するシステム５００を示すブロック図である。システム５００は、アップサンプリング段階５０２及び５１４、シフト段階５１８、畳み込み演算段階５０６及び５２２、総和段階５０８、並びに乗算段階５１０を含む。サブフレーム３０Ｆは、アップサンプリング段階５０２によって２倍にアップサンプリングされ、それによって８×８ピクセルのアップサンプリング画像５０４が生成される。アップサンプリング画像５０４の暗ピクセルはサブフレーム３０Ｆからの１６個のピクセルを表し、アップサンプリング画像５０４の明ピクセルは０の値を表す。サブフレーム３０Ｇは、アップサンプリング段階５１４によって２倍にアップサンプリングされ、それによって８×８ピクセルのアップサンプリング画像５１６が生成される。アップサンプリング画像５１６の暗ピクセルは、サブフレーム３０Ｇからの１６個のピクセルを表し、アップサンプリング画像５１６の明ピクセルは０の値を表す。一実施形態では、アップサンプリング段階５０２及び５１４は、対角サンプリング行列を使用してサブフレーム３０Ｆ及び３０Ｇをそれぞれアップサンプリングする。

アップサンプリング画像５１６は、空間シフト行列Ｓに基づいてシフト段階５１８によりシフトされ、それによってシフトアップサンプリング画像５２０が生成される。この図示する実施形態では、シフト段階５１８は１ピクセルの対角方向のシフトを実行する。画像５０４及び５２０は、それぞれ畳み込み演算段階５０６及び５２２において補間フィルタとの畳み込み演算を受け、それによってブロック画像が生成される。この図示する実施形態では、畳み込み演算段階５０６及び５２２の補間フィルタは、フィルタ係数「１」を有する２×２フィルタであって、畳み込み演算の中心がこの２×２行列の左上の位置にあるフィルタである。畳み込み演算段階５０６及び５２２において生成されたブロック画像は、総和ブロック５０８によって総和が求められ、乗算段階５１０において０．５倍にされて、８×８ピクセルの擬似高解像度画像５１２が生成される。画像データが乗算段階５１０において０．５倍にされるのは、一実施形態では、サブフレーム３０Ｆ及び３０Ｇのそれぞれが、１つの色に割り当てられた期間あたりのタイムスロットの半分しか表示されないことによる。別の実施形態では、乗算段階５１０において０．５倍にするのではなく、段階５０６及び５２２における補間フィルタのフィルタ係数が、０．５倍に縮小される。

一実施形態では、図８に示して上述したように、低解像度サブフレームデータは２つの個別のサブフレーム３０Ｆ及び３０Ｇによって表され、これらのサブフレームは対角サンプリング行列（すなわち、分離可能なアップサンプリング）に基づいて別々にアップサンプリングされる。別の実施形態では、図９を参照して後述するように、低解像度サブフレームデータは単一のサブフレームによって表され、この単一のサブフレームは非対角サンプリング行列（すなわち、分離不能なアップサンプリング（non-separable upsampling））に基づいてアップサンプリングされる。

図９は、本発明の一実施形態による、８×４ピクセル低解像度サブフレーム３０Ｈの分離不能なアップサンプリングに基づいて２位置処理の擬似高解像度画像６１０を生成するシステム６００を示すブロック図である。システム６００は、５点形アップサンプリング（quincunx upsampling）段階６０２、畳み込み演算段階６０６、及び乗算段階６０８を含む。サブフレーム３０Ｈは、５点形サンプリング行列Ｑに基づいて５点形アップサンプリング段階６０２によりアップサンプリングされ、それによってアップサンプリング画像６０４が生成される。アップサンプリング画像６０４の暗ピクセルはサブフレーム３０Ｈからの３２個のピクセルを表し、アップサンプリング画像６０４の明ピクセルは０の値を表す。サブフレーム３０Ｈは、２位置処理の２つの４×４ピクセルサブフレームのピクセルデータを含む。アップサンプリング画像６０４の１行目、３行目、５行目、及び７行目の暗ピクセルは、第１の４×４ピクセルサブフレームのピクセルを表し、アップサンプリング画像６０４の２行目、４行目、６行目、及び８行目の暗ピクセルは、第２の４×４ピクセルサブフレームのピクセルを表す。

アップサンプリング画像６０４は、畳み込み演算段階６０６において補間フィルタとの畳み込み演算を受け、それによってブロック画像が生成される。この図示する実施形態では、補間フィルタは、フィルタ係数「１」を有する２×２フィルタであって、畳み込み演算の中心がこの２×２行列の左上の位置にあるフィルタである。畳み込み演算段階６０６によって生成されたブロック画像は、乗算段階６０８において０．５倍にされて、８×８ピクセルの擬似高解像度画像６１０が生成される。

図１０は、本発明の一実施形態による、サブフレーム３０Ｉに基づいて４位置処理の擬似高解像度画像７０６を生成するシステム７００を示すブロック図である。図１０に示す実施形態では、サブフレーム３０Ｉは８×８アレイのピクセルである。サブフレーム３０Ｉは、４位置処理の４つの４×４ピクセルサブフレームのピクセルデータを含む。ピクセルＡ１〜Ａ１６は、第１の４×４ピクセルサブフレームのピクセルを表す。ピクセルＢ１〜Ｂ１６は、第２の４×４ピクセルサブフレームのピクセルを表す。ピクセルＣ１〜Ｃ１６は、第３の４×４ピクセルサブフレームのピクセルを表す。ピクセルＤ１〜Ｄ１６は、第４の４×４ピクセルサブフレームのピクセルを表す。

サブフレーム３０Ｉは、畳み込み演算段階７０２において補間フィルタとの畳み込み演算を受け、それによってブロック画像が生成される。この図示する実施形態では、補間フィルタは、フィルタ係数「１」を有する２×２フィルタであって、畳み込み演算の中心がこの２×２行列の左上の位置にあるフィルタである。畳み込み演算段階７０２によって生成されたブロック画像は、乗算段階７０４において０．２５倍にされて、８×８ピクセルの擬似高解像度画像７０６が生成される。画像データが乗算段階７０４において０．２５倍にされるのは、一実施形態では、サブフレーム３０Ｉによって表される４つのサブフレームのそれぞれが、１つの色に割り当てられた期間あたりのタイムスロットの４分の１しか表示されないことによる。別の実施形態では、乗算段階７０４において０．２５倍にするのではなく、補間フィルタのフィルタ係数が、それに応じて縮小される。

Ｖ．誤差最小化に基づくサブフレームの生成
上述したように、システム４００、５００、６００、及び７００は、低解像度サブフレームに基づいて擬似高解像度画像４１２、５１２、６１０、及び７０６をそれぞれ生成する。サブフレームが最適なものであれば、これらの擬似高解像度画像は、元の高解像度画像２８に可能な限り類似することになる。平均２乗誤差、加重平均２乗誤差、及びそれ以外のものを含め、種々の誤差メトリックを使用して擬似高解像度画像が元の高解像度画像にどれだけ類似しているかを判断することができる。

図１１は、本発明の一実施形態による擬似高解像度画像４１２／５１２／６１０／７０６と所望の高解像度画像２８との比較を示すブロック図である。減算段階８０２において、高解像度画像２８から擬似高解像度画像４１２、５１２、６１０、又は７０６がピクセルごとに減算される。一実施形態では、その結果生成される誤差画像データが、人間視覚系（ＨＶＳ（human visual system））加重フィルタ（Ｗ）８０４によってフィルタリングされる。本発明の一形態では、ＨＶＳ加重フィルタ８０４は、人間視覚系の特性に基づいて誤差画像データをフィルタリングする。一実施形態では、ＨＶＳ加重フィルタ８０４は、高周波誤差の削減又は除去を行う。次いで、フィルタリングされたデータの平均２乗誤差が段階８０６において求められ、擬似高解像度画像４１２、５１２、６１０、又は７０６が、所望の高解像度画像２８にどれだけ類似しているかの尺度が提供される。

一実施形態では、システム４００、５００、６００、及び７００は、擬似高解像度画像４１２、５１２、６１０、又は７０６と元の高解像度画像２８との差を計測する誤差コスト式（error cost equation）により数学的に表される。最適なサブフレームが、擬似高解像度画像と所望の高解像度画像との最小誤差を提供するそのサブフレームデータの誤差コスト式を解くことにより特定される。一実施形態では、空間領域及び周波数領域において大域的な最適解が得られ、適応型マルチパスアルゴリズムを使用して局所的な最適解が得られる。空間領域アルゴリズム、周波数領域アルゴリズム、及び適応型マルチパスアルゴリズムについては、図１２〜図１８を参照して以下にさらに詳述する。

ＶＩ．空間領域
一実施形態による最適なサブフレームを生成する空間領域解を、図９に示すシステム６００と関連して説明する。図９に示すシステム６００は、以下の式ＩＸによる誤差コスト関数によって数学的に表すことができる。
式ＩＸ

式中、
ｌ^＊ _Ｑ＝サブフレーム３０Ｈの最適な低解像度データ、
Ｊ＝最小化されるべき誤差コスト関数、
ｎ及びｋ＝画像６０４及び６１０の高解像度ピクセルの位置を特定するインデックス、
ｌ_Ｑ（ｋ）＝位置ｋにおけるアップサンプリング画像６０４からの画像データ、
ｆ（ｎ−ｋ）＝位置ｎ−ｋにおける補間フィルタのフィルタ係数、及び
ｈ（ｎ）＝位置ｎにおける所望の高解像度画像２８の画像データである。

式ＩＸの「ｌ_Ｑ（ｋ）ｆ（ｎ−ｋ）」の総和は、システム６００の段階６０６において実行される、アップサンプリング画像６０４と補間フィルタｆとの畳み込み演算を表す。フィルタ演算は基本的には、アップサンプリング画像６０４の各ピクセル上を、２×２補間フィルタの右下のピクセルをスライドさせることにより実行される。２×２補間フィルタウィンドウ内のアップサンプリング画像６０４の４つのピクセルは、対応するフィルタ係数（すなわち、図示する実施形態では「１」）と乗算される。４つの乗算結果の総和が求められ、補間フィルタの右下の位置に対応するアップサンプリング画像６０４のピクセルの値が、４つの乗算結果の総和と置換される。畳み込み演算値ｌ_Ｑ（ｋ）ｆ（ｎ−ｋ）から高解像度画像２８からの高解像度データｈ（ｎ）が減算され、誤差値が提供される。高解像度ピクセルの位置の全体にわたる２乗誤差の総和は、最小化されるべき誤差の尺度を提供する。

以下の式Ｘに示すように、低解像度ピクセルのそれぞれについて式ＩＸの導関数を求め、その導関数を０に等しく設定することにより、最適な空間領域解を得ることができる。
式Ｘ

式中、Θ＝５点形格子点（quincunx lattice point）の集合である。

したがって、式Ｘから分かるように、この導関数は５点形格子点の集合においてのみ求められる。この５点形格子点は、図９のアップサンプリング画像６０４の暗ピクセルに対応する。式ＩＸで与えられるＪについての式を式Ｘに代入し、式Ｘで指定される導関数を求めると、以下の式ＸＩとなる。
式ＸＩ

式ＸＩのシンボルＣ_ｆｆは、以下の式ＸＩＩによって定義される、補間フィルタｆの自己相関係数を表す。
式ＸＩＩ

式ＸＩは、以下の式ＸＩＩＩに示すように、ベクトル形式に変換することができる。
式ＸＩＩＩ

式中、
Ｃ_ｆｆ＝補間フィルタｆの自己相関係数の行列、
ｌ^＊ _Ｑ＝サブフレーム３０Ｈの未知の画像データ及び「ドントケア（don't care）」データ（すなわち、アップサンプリング画像６０４の明ピクセルに対応する画像データ）を表すベクトル、
ｈ_ｆ＝擬似高解像度画像６１０を、補間フィルタｆを使用してフィルタリングしたものを表すベクトルである。

「ドントケア」データ（すなわち、５点形格子点の集合Θに存在しないデータ）に対応する行及び列を消去すると、以下の式ＸＩＶとなる。
式ＸＩＶ

式中、

＝サブフレーム３０Ｈの未知画像データのみを表すベクトルである。

上記式ＸＩＶは、線形式の疎な系を表す疎な非テプリッツ系（non-Toeplitz system）である。自己相関係数の行列は判明しており、擬似高解像度画像６１０のフィルタリングされたものを表すベクトルは判明しているので、式ＸＩＶを解いて、サブフレーム３０Ｈの最適画像データを求めることができる。一実施形態では、サブフレーム生成ユニット３６は、式ＸＩＶを解いて、サブフレーム３０を生成するように構成される。

ＶＩＩ．周波数領域
一実施形態による最適なサブフレーム３０を生成する周波数領域解を、図８に示すシステム５００に関連して説明する。周波数領域解を説明する前に、周波数領域解に適用可能な高速フーリエ変換（ＦＦＴ）のいくつかの性質を、図１２及び図１３を参照して説明する。

図１２は、本発明の一実施形態による４×４ピクセルのサブフレーム３０Ｊのアップサンプリングの周波数領域における影響を示す図である。図１２に示すように、サブフレーム３０Ｊは、アップサンプリング段階９０２によって２倍にアップサンプリングされて、８×８ピクセルのアップサンプリング画像９０４が生成される。アップサンプリング画像９０４の暗ピクセルはサブフレーム３０Ｊからの１６個のピクセルを表し、アップサンプリング画像９０４の明ピクセルは０の値を表す。サブフレーム３０ＪのＦＦＴを求めると、結果は画像（Ｌ）９０６になる。アップサンプリング画像９０４のＦＦＴを求めると、結果は画像（Ｌ_Ｕ）９０８になる。画像（Ｌ_Ｕ）９０８は４つの４×４ピクセル部分を含む。これらの４つの４×４ピクセル部分は、画像部分（Ｌ_１）９１０Ａ、画像部分（Ｌ_２）９１０Ｂ、画像部分（Ｌ_３）９１０Ｃ、及び画像部分（Ｌ_４）９１０Ｄである。図１２に示すように、画像部分９１０Ａ〜９１０Ｄはそれぞれ、画像９０６と同じである（すなわち、Ｌ_１＝Ｌ_２＝Ｌ_３＝Ｌ_４＝Ｌ）。

図１３は、本発明の一実施形態による８×８ピクセルのアップサンプリングサブフレーム９０４のシフトの周波数領域における影響を示す図である。図１３に示すように、アップサンプリングサブフレーム９０４はシフト段階１００２によってシフトされて、シフト画像１００４が生成される。アップサンプリングサブフレーム９０４のＦＦＴを求めると、結果は画像（Ｌ_Ｕ）１００６になる。シフト画像１００４のＦＦＴを求めると、結果は画像（Ｌ_ＵＳ）１００８になる。画像（Ｌ_ＵＳ）１００８は、４つの４×４ピクセル部分を含む。これらの４つの４×４ピクセル部分は、画像部分（ＬＳ_１）１０１０Ａ、画像部分（ＬＳ_２）１０１０Ｂ、画像部分（ＬＳ_３）１０１０Ｃ、及び画像部分（ＬＳ_４）１０１０Ｄである。図１３に示すように、画像１００８は、複素指数Ｗと乗算された画像１００６と同じである（すなわち、Ｌ_ＵＳ＝Ｗ・Ｌ_Ｕ）。ここで、「・」は各点毎の乗算（pointwise multiplication）を示す。複素指数Ｗの値は、以下の式ＸＶによって与えられる。
式ＸＶ

式中、
ｋ_１＝ＦＦＴ領域における行の座標、
ｋ_２＝ＦＦＴ領域における列の座標、
Ｍ＝画像の列数、及び
Ｎ＝画像の行数である。

図８に示すシステム５００は、以下の式ＸＶＩによる誤差コスト関数によって数学的に表すことができる。
式ＸＶＩ

式中、
（Ｌ^＊ _Ａ，Ｌ^＊ _Ｂ）＝それぞれ、図８に示すサブフレーム３０Ｆ及び３０Ｇの最適なＦＦＴを表すベクトル、
Ｊ＝最小化されるべき誤差コスト関数、
ｉ＝平均されるＦＦＴブロックを特定するインデックス（たとえば、図１２の画像９０８の場合、ｉ＝１がブロック９１０Ａに対応し、ｉ＝２がブロック９１０Ｂに対応し、ｉ＝３がブロック９１０Ｃに対応し、ｉ＝４がブロック９１０Ｄに対応する４つのブロックが平均される）、
Ｆ＝補間フィルタｆのＦＦＴを表す行列、
Ｌ_Ａ＝図８に示すサブフレーム３０ＦのＦＦＴを表すベクトル、
Ｌ_Ｂ＝図８に示すサブフレーム３０ＧのＦＦＴを表すベクトル、
Ｗ＝式ＸＶによって与えられる複素係数のＦＦＴを表す行列、
Ｈ＝所望の高解像度画像２８のＦＦＴを表すベクトル。

式ＸＶＩの上付き文字「Ｈ」はエルミートを表す（すなわち、Ｘ^Ｈは、Ｘのエルミートである）。式ＸＶＩの文字の上にある「ハット」は、以下の式ＸＶＩＩで定義されるように、それらの文字が対角行列を表すことを示している。
式ＸＶＩＩ

Ｌ_Ａの複素共役について式ＸＶＩの導関数を求め、この導関数を０に等しく設定すると、結果は以下の式ＸＶＩＩＩとなる。
式ＸＶＩＩＩ

Ｌ_Ｂの複素共役について式ＸＶＩの導関数を求め、この導関数を０に等しく設定すると、結果は以下の式ＸＩＸとなる。
式ＸＩＸ

式ＸＶＩＩＩ及びＸＩＸの文字の上にある水平バーは、それらの文字が、複素共役を表すことを示している（すなわち、

は、Ａの複素共役を表す）。

式ＸＶＩＩＩ及びＸＩＸをＬ_Ａ及びＬ_Ｂについて解くと、結果は、以下の式ＸＸ及びＸＸＩとなる。
式ＸＸ

式ＸＸＩ

式ＸＸ及びＸＸＩは、擬似逆フィルタリング（pseudo-inverse filtering）を使用して周波数領域で実施することができる。一実施形態では、サブフレーム生成ユニット３６が、式ＸＸ及びＸＸＩに基づいてサブフレーム３０を生成するように構成される。

ＶＩＩＩ．適応型マルチパス
一実施形態による、サブフレーム３０を生成する適応型マルチパスアルゴリズムは、過去の誤差を使用してサブフレームデータの評価を更新し、高速な収束及び低いメモリ必要量を提供する。一実施形態による適応型マルチパスの解を、図９に示すシステム６００に関連して説明する。図９に示すシステム６００は、以下の式ＸＸＩＩによる誤差コスト関数によって数学的に表すことができる。
式ＸＸＩＩ

式中、
ｎ＝現時点の反復を特定するインデックス、
Ｊ^（ｎ）（ｎ）＝反復ｎにおける誤差コスト関数、
ｅ^（ｎ）（ｎ）＝誤差コスト関数Ｊ^（ｎ）（ｎ）の平方根、
ｎ及びｋ＝画像６０４及び６１０の高解像度ピクセルの位置を特定するインデックス、
ｌ_Ｑ ^（ｎ）（ｋ）＝位置ｋにおけるアップサンプリング画像６０４からの画像データ、
ｆ（ｎ−ｋ）＝位置ｎ−ｋにおける補間フィルタのフィルタ係数、及び
ｈ（ｎ）＝位置ｎにおける所望の高解像度画像２８の画像データである。

式ＸＸＩＩから分かるように、上記式ＩＸに示すように、高解像度画像全体にわたって総和を求めることにより空間領域の大域誤差を最小化するのではなく、ｎの関数である空間領域の局所誤差が最小化されている。

一実施形態では、平均最小２乗（ＬＭＳ）アルゴリズムを使用して更新が求められる。この更新は以下の式ＸＸＩＩＩによって表される。
式ＸＸＩＩＩ

式中、
Θ＝５点形格子点（すなわち、図９のアップサンプリング画像６０４の暗ピクセル）の集合、及び
α＝鮮鋭化係数である。

式ＸＸＩＩの導関数を求めると、式ＸＸＩＩＩにおけるこの導関数の値が提供される。この式ＸＸＩＩの導関数は、以下の式ＸＸＩＶによって与えられる。
式ＸＸＩＶ

一実施形態では、以下の式ＸＸＶによって表されるように、「影響領域」にわたる平均勾配を使用するブロックＬＭＳアルゴリズムを使用して、更新が実行される。
式ＸＸＶ

式中、Ω＝影響領域である。

図１４は、本発明の一実施形態によるアップサンプリング画像１１００のピクセルの影響領域（Ω）１１０６及び１１０８を示す図である。画像１１００のピクセル１１０２は第１のサブフレームのピクセルに対応し、画像１１００のピクセル１１０４は第２のサブフレームのピクセルに対応する。領域１１０６は、ピクセル１１０２の影響領域であり、２×２アレイのピクセルを含み、この２×２アレイの左上隅にピクセル１１０２を有する。同様に、領域１１０８はピクセル１１０４の影響領域であり、２×２アレイのピクセルを含み、この２×２アレイの左上隅にピクセル１１０４を有する。

図１５は、本発明の一実施形態による適応型マルチパスアルゴリズムに基づく初期擬似高解像度画像１２０８の生成を示す図である。元の高解像度画像２８に基づいて、初期の１組の低解像度サブフレーム３０Ｋ−１及び３０Ｌ−１が生成される。図示する実施形態では、この初期の１組のサブフレーム３０Ｋ−１及び３０Ｌ−１は、図５を参照して上述した最近傍アルゴリズムの一実施形態を使用して生成される。サブフレーム３０Ｋ−１及び３０Ｌ−１はアップサンプリングされて、アップサンプリング画像１２０２が生成される。このアップサンプリング画像１２０２は補間フィルタ１２０４との畳み込み演算を受け、それによってブロック画像が生成される。次いで、このブロック画像は０．５倍にされて、擬似高解像度画像１２０８が生成される。この図示する実施形態では、補間フィルタ１２０４は、フィルタ係数「１」を有する２×２フィルタであって、畳み込み演算の中心がこの２×２行列の左上の位置にあるフィルタである。補間フィルタ１２０４の右下のピクセル１２０６は画像１２０２の各ピクセル上に配置されて、そのピクセル位置のブロック値が求められる。図１５に示すように、補間フィルタ１２０４の右下のピクセル１２０６は画像１２０２の３行４列目のピクセルの上に配置され、このピクセルは、「０」の値を有する。そのピクセル位置のブロック値は、フィルタ係数をフィルタ１２０４のウィンドウ内のピクセル値と乗算して、その結果を加算することにより求められる。フレーム外の値は、「０」とみなされる。図示する実施形態の場合、画像１２０２の第３行第４列のピクセルのブロック値は、以下の式ＸＸＶＩによって与えられる。
式ＸＸＶＩ
（１×０）＋（１×５）＋（１×５）＋（１×０）＝１０

次いで、式ＸＸＶＩの値は０．５倍されて、その結果（すなわち５）が初期擬似高解像度画像１２０８の３行４列目のピクセル１２１０のピクセル値とされる。

初期擬似高解像度画像１２０８が生成された後、補正データが生成される。図１６は、本発明の一実施形態による適応型マルチパスアルゴリズムに基づく補正データの生成を示す図である。図１６に示すように、元の高解像度画像２８から初期擬似高解像度画像１２０８が減算されて、誤差画像１３０２が生成される。この誤差画像１３０２の２×２ブロックのピクセルを平均することにより、補正サブフレーム１３１２及び１３１４が生成される。たとえば、誤差画像１３０２の１列１行目のピクセル１３０８は影響領域１３０４を有する。この影響領域１３０４内のピクセル値が平均されて、第１の補正値（すなわち０．７５）が生成される。この第１の補正値は、補正サブフレーム１３１２の第１列第１行のピクセルとして使用される。同様に、誤差画像１３０２の２列２行目のピクセル１３１０は影響領域１３０６を有する。この影響領域１３０６内のピクセル値が平均されて、第２の補正値（すなわち０．７５）が生成される。この第２の補正値は、補正サブフレーム１３１４の１列１行目のピクセルとして使用される。

補正サブフレーム１３１２の１行２列目の補正値（すなわち１．３８）は基本的には、図示する影響領域のボックス１３０４を右へ２列スライドさせて、ボックス１３０４内の４つのピクセルを平均することにより生成される。補正サブフレーム１３１２の２行１列目の補正値（すなわち０．５０）は基本的には、図示する影響領域のボックス１３０４を下へ２行スライドさせて、ボックス１３０４内の４つのピクセルを平均することにより生成される。補正サブフレーム１３１２の２行２列目の補正値（すなわち０．７５）は基本的には、図示する影響領域のボックス１３０４を右へ２列、下へ２行スライドさせて、ボックス１３０４内の４つのピクセルを平均することにより生成される。

補正サブフレーム１３１４の１行２列目の補正値（すなわち０．００）は基本的には、図示する影響領域のボックス１３０６を右へ２列スライドさせて、ボックス１３０６内のピクセルを平均することにより生成される。フレーム外の値は「０」とみなされる。補正サブフレーム１３１４の第２行第１列の補正値（すなわち０．３８）は基本的には、図示する影響領域のボックス１３０６を下へ２行スライドさせて、ボックス１３０６内のピクセルを平均することにより生成される。補正サブフレーム１３１４の２行２列目の補正値（すなわち０．００）は基本的には、図示する影響領域のボックス１３０６を右へ２列、下へ２行スライドさせて、ボックス１３０６内の４つのピクセルを平均することにより生成される。

補正サブフレーム１３１２及び１３１４を使用して、更新サブフレームが生成される。図１７は、本発明の一実施形態による適応型マルチパスアルゴリズムに基づく更新サブフレーム３０Ｋ−２及び３０Ｌ−２の生成を示す図である。図１７に示すように、更新サブフレーム３０Ｋ−２は、補正サブフレーム１３１２を鮮鋭化係数αと乗算して、初期サブフレーム３０Ｋ−１を加算することにより生成される。更新サブフレーム３０Ｌ−２は、補正サブフレーム１３１４を鮮鋭化係数αと乗算して、初期サブフレーム３０Ｌ−１を加算することにより生成される。この図示する実施形態では、鮮鋭化係数αは０．８に等しい。

一実施形態では、更新サブフレーム３０Ｋ−２及び３０Ｌ−２は、適応型マルチパスアルゴリズムの次の反復に使用されて、さらなる更新サブフレームが生成される。任意の所望の反復回数を実行することができる。何回かの反復の後、適応型マルチパスアルゴリズムを使用して生成されたサブフレームの値は、最適な値に収束する。一実施形態では、サブフレーム生成ユニット３６が、適応型マルチパスアルゴリズムに基づいてサブフレーム３０を生成するように構成される。

図１５〜図１７を参照して上述した適応型マルチパスアルゴリズムの実施形態は、２位置処理のものである。４位置処理の場合、式ＸＸＩＶは以下の式ＸＸＶＩＩとなる。
式ＸＸＶＩＩ

式中、ｌ^（ｎ）＝４つのサブフレーム３０の低解像度データである。

そして、式ＸＸＩＩＩは、以下の式ＸＸＶＩＩＩとなる。
式ＸＸＶＩＩＩ

４位置処理の場合、４つのサブフレームが存在する。したがって、低解像度データの量は高解像度データの量と同じである。それぞれの高解像度グリッド点は１つの誤差を与え、上記式ＸＸＶに表すような平均勾配の更新を行う必要はない。反対に、所与の位置の誤差が更新を直接与える。

上述したように、一実施形態では、適応型マルチパスアルゴリズムは平均最小２乗（ＬＭＳ）技法を使用して、補正データを生成する。別の実施形態では、適応型マルチパスアルゴリズムは凸射影（ＰＯＣＳ（projection on a convex set））技法を使用して、補正データを生成する。一実施形態によるＰＯＣＳ技法に基づく適応型マルチパスの解を図９に示すシステム６００に関連して説明する。図９に示すシステム６００は、以下の式ＸＸＩＸによる誤差コスト関数により数学的に表すことができる。
式ＸＸＩＸ

式中、
ｅ（ｎ）＝誤差コスト関数、
ｎ及びｋ＝高解像度ピクセルの位置を特定するインデックス、
ｌ_Ｑ（ｋ）＝位置ｋにおけるアップサンプリング画像６０４からの画像データ、
ｆ（ｎ−ｋ）＝位置ｎ−ｋにおける補間フィルタのフィルタ係数、及び
ｈ（ｎ）＝位置ｎにおける所望の高解像度画像２８の画像データである。

ＰＯＣＳ技法の制約集合は、以下の式ＸＸＸにより定義される。
式ＸＸＸ

式中、
Ｃ（ｎ）＝パラメータηによって境界が定められるアップサンプリング画像６０４からのすべてのサブフレームデータを含む制約集合、及び
η＝誤差の大きさの境界制約である。

現時点の反復のサブフレームピクセル値は、以下の式ＸＸＸＩに基づいて求められる。
式ＸＸＸＩ

式中、
ｎ＝現時点の反復を特定するインデックス、
λ＝緩和パラメータ、及び
‖ｆ‖＝補間フィルタの係数のノルムである。

式ＸＸＸＩのシンボルｎ^＊は、誤差が最大である影響領域Ωの位置を表し、以下の式ＸＸＸＩＩによって定義される。
式ＸＸＸＩＩ

図１８は、本発明の一実施形態によるＰＯＣＳ技法を使用した適応型マルチパスアルゴリズムに基づく補正データの生成を示す図である。一実施形態では、初期擬似高解像度画像１２０８が図１５を参照して上述したものと同じ方法で生成され、元の高解像度画像２８から初期擬似高解像度画像１２０８が減算されて、誤差画像１３０２が生成される。次いで、上記式ＸＸＸＩが使用されて、誤差画像１３０２のデータから更新サブフレーム３０Ｋ−３及び３０Ｌ−３が生成される。図示する実施形態の場合、式ＸＸＸＩの緩和パラメータλは０．５に等しく、誤差の大きさの境界制約ηは１に等しいと仮定される。

ＰＯＣＳ技法によると、図１６を参照して上述したように、影響領域内のピクセル値を平均して補正値を求めるのではなく、影響領域内の最大誤差ｅ（ｎ^＊）が特定される。次いで、更新ピクセル値が、式ＸＸＸＩからの適切な式を使用して生成される。この適切な式は、影響領域内の最大誤差ｅ（ｎ^＊）が（この例ではη＝１であるので）１よりも大きいか、１よりも小さいか、又は１に等しいかによって決まる。

たとえば、誤差画像１３０２の第１列第１行のピクセルは、影響領域１３０４を有する。この影響領域１３０４内における最大誤差は１である（すなわち、ｅ（ｎ^＊）＝１）。式ＸＸＸＩを参照すると、ｅ（ｎ^＊）＝１の場合には、更新ピクセル値はこのピクセルの前の値に等しい。図１５を参照すると、サブフレーム３０Ｋ−１の第１列第１行のピクセルの前の値は２である。したがって、このピクセルは、更新サブフレーム３０Ｋ−３において２の値を維持する。誤差画像１３０２の第２列第２行のピクセルは、影響領域１３０６を有する。この影響領域１３０６内における最大誤差は、１．５である（すなわち、ｅ（ｎ^＊）＝１．５）。式ＸＸＸＩを参照すると、ｅ（ｎ^＊）＞１の場合には、更新ピクセル値は、このピクセルの前の値の２分の１に、量（ｅ（ｎ^＊）−１）の２分の１を加算したものに等しく、１．２５と等しい。図１５を参照すると、サブフレーム３０Ｌ−１の第１列第１行のピクセルの前の値は２である。したがって、このピクセルの更新値は、更新サブフレーム３０Ｌ−３において１．２５となる。

影響領域のボックス１３０６及び１３０４は基本的には、図１６を参照して上述したものと同じ方法で誤差画像１３０２内を移動して回り、式ＸＸＸＩに基づいて、更新サブフレーム３０Ｋ−３及び３０Ｌ−３の残りの更新値を生成する。

ＩＸ．勾配を使用したノイズ軽減及び解像度向上
画像表示システム１０は、比較的ノイズの多いソース信号を使用して画像データ１６を受け取り、それによってノイズを含む画像フレーム２８を生成することがある。画像フレーム２８からサブフレーム３０を生成する際に、画像データ１６からのあらゆるノイズが、擬似画像と画像フレーム２８との誤差を最小化するプロセスにおいて反映され得る。その結果として、サブフレーム３０もノイズを含む恐れがある。

サブフレーム３０のあらゆるノイズの最小化を図り、画像処理ユニット２４は、サブフレーム３０生成中の誤差最小化プロセスにおいてサブフレーム３０のサブフレームピクセル値ごとに鮮鋭化係数α（上記式ＸＸＶに示す）の値を調整する。画像処理ユニット２４は、各サブフレームピクセル値の影響領域のマルチスケール勾配集合の平均を使用して鮮鋭化係数の値を調整する。画像処理ユニット２４は、マルチスケール勾配推定器を使用してマルチスケールにわたって画像フレーム２８のエッジを検出し、スケールにわたる勾配推定を相関付けてマルチスケール勾配を生成することによってマルチスケール勾配を計算する。画像処理ユニット２４は、マルチスケール勾配に基づいてサブフレーム３０の各サブフレームピクセル値の鮮鋭化係数を調整する。鮮鋭化係数の値を調整することにより、画像フレーム２８のノイズの多い領域を、サブフレーム３０を生成する際に平滑化することができる。さらに、画像フレーム２８のエッジ領域（高コントラスト領域とも呼ばれる）も、サブフレーム３０を生成する際に鮮鋭化することができる。

上述したように、影響領域にわたる平均勾配を使用するブロックＬＭＳアルゴリズムを使用して、式ＸＸＶに表されるように更新を行う。サブフレーム３０を生成する際にノイズの影響を考慮することにより、式ＸＸＶの導関数の値は、式ＸＸＸＩＩＩに示すように、ノイズのない画像を表す項ｈ（ｎ）及びノイズを表す項ψ（ｎ）を含む。
式ＸＸＸＩＩＩ

したがって、式ＸＸＶのブロックＬＭＳアルゴリズムでのノイズの影響は、式ＸＸＸＩＶに示すように項Δ_{ｎｏｉｓｅ}を使用して誤差項で表すことができる。
式ＸＸＸＩＶ

式ＸＸＸＩＶを使用して、画像処理ユニット２４は、サブフレーム３０のノイズの多い領域に対して鮮鋭化係数αを比較的低い値に調整することにより、誤差最小化プロセスにおいて反映されるノイズを平滑化する。画像処理ユニット２４はまた、鮮鋭化係数αを比較的高い値に調整することにより、サブフレーム３０のエッジ領域を鮮鋭化すなわち強調もする。ノイズが多くなく、エッジを含まないサブフレーム３０の領域では、画像処理ユニット２４は鮮鋭化係数αを比較的中間の値に調整する。鮮鋭化係数αを調整することにより、画像処理システムは効果的に、サブフレーム３０を生成する際にノイズを軽減するとともに、解像度を向上させることができる。

図１９は、ノイズ軽減及び解像度向上を使用したサブフレーム３０の生成を示すブロック図である。図１９では、画像処理ユニット２４は、勾配推定モジュール１４０２及び相関付けモジュール１４０４を含む。勾配推定モジュール１４０２及び相関付けモジュール１４０４はそれぞれ、ソフトウェア、ハードウェア、ファームウェア、又はこれらの組み合わせを含み、コンピュータ、コンピュータサーバ、又は一連の論理演算を実行できるか、又はソフトウェア命令若しくはハードウェア命令を実行できる他のプロセッサベースのシステムに含まれることができる。

勾配推定モジュール１４０２は、画像フレーム２８のピクセル値集合に対してマルチスケールで勾配を推定する。一実施形態では、勾配推定モジュール１４０２は、異なるスケールを使用してｘ方向及びｙ方向での勾配を推定するように構成されたフィルタを含む。フィルタｈ_ｘ ^{ｓｍａｌｌ}及びｈ_ｙ ^{ｓｍａｌｌ}は、比較的小さなスケール、たとえば１／１０２４を使用してｘ方向及びｙ方向での勾配をそれぞれ推定する。フィルタｈ_ｘ ^{ｌａｒｇｅ}及びｈ_ｙ ^{ｌａｒｇｅ}は、各方向で比較的大きなスケール、たとえば１／２０４８を使用してｘ方向及びｙ方向での勾配をそれぞれ推定する。図２０Ａ及び図２０Ｂに示すグラフは、フィルタｈ_ｘ ^{ｓｍａｌｌ}及びｈ_ｙ ^{ｓｍａｌｌ}それぞれの大きさ応答の例を示す。フィルタｈ_ｘ ^{ｓｍａｌｌ}、ｈ_ｙ ^{ｓｍａｌｌ}、ｈ_ｘ ^{ｌａｒｇｅ}、及びｈ_ｙ ^{ｌａｒｇｅ}はそれぞれ、サブフレーム３０からのサブフレームピクセル値の各集合に対して勾配推定ｅ_ｘ ^{ｓｍａｌｌ}、ｅ_ｙ ^{ｓｍａｌｌ}、ｅ_ｘ ^{ｌａｒｇｅ}、及びｅ_ｙ ^{ｌａｒｇｅ}を生成する。勾配推定モジュール１４０２は、サブフレーム３０からのサブフレームピクセル値の各集合の各フィルタからの勾配推定を相関付けモジュール１４０４に提供する。

相関付けモジュール１４０４は、スケールにわたる勾配推定を相関付けて、画像フレーム２８からピクセル値の各集合にマルチスケール勾配推定を生成する。スケールにわたり勾配推定を相関付けるために、相関付けモジュール１４０４は、式ＸＸＸＶ及び式ＸＸＸＶＩのそれぞれを使用してｘ方向及びｙ方向での実効勾配推定を計算する。
式ＸＸＸＶ

式ＸＸＸＶＩ

式ＸＸＸＶ及び式ＸＸＸＶＩでは、小スケールノイズの抑圧を図り、大きなスケールの勾配は、小さなスケールの勾配よりも重く加重される。

式ＸＸＸＶ及び式ＸＸＸＶＩからのｘ方向及びｙ方向での実効勾配推定を使用して、相関付けモジュール１４０４は、式ＸＸＸＶＩＩを使用してマルチスケール勾配ｅ^ｅｆｆ（ｎ）を計算する。
式ＸＸＸＶＩＩ

式ＸＸＸＶＩＩからのマルチスケール勾配を使用して、相関付けモジュール１４０４は、式ＸＸＸＶＩＩＩ及び式ＸＸＸＩＸを使用してサブフレームピクセル値の各影響領域でのマルチスケール勾配を平均化することによってサブフレーム３０の各サブフレームピクセル値の鮮鋭化係数を計算する。
式ＸＸＸＶＩＩＩ

式中、
β_１及びβ_２＝パラメータ設定、
Ω＝影響領域である。
式ＸＸＸＩＸ

式中、α_ｍｉｎ及びα_ｍａｘ＝最小及び最大鮮鋭化係数値である。

一実施形態では、β_１は０．７５であり、β_２は０．２であり、α_ｍｉｎは−０．５であり、α_ｍａｘ＝２．０である。他の実施形態では、他のパラメータ設定及び最小最大鮮鋭化係数値を使用してもよい。特に、パラメータ設定及び最小最大鮮鋭化係数値は、特定の表示装置２６に向けて調整することが可能である。

図２１は、適応型マルチパスアルゴリズムを使用したノイズ軽減及び解像度向上を有するサブフレームを生成する方法を示すフローチャートである。図２１では、画像処理ユニット２４は、ブロック１５０２で示すように画像フレーム２８からピクセル値を受け取る。画像処理ユニット２４は、ブロック１５０４に示すように、少なくとも２つのスケールを使用してピクセル値の勾配を推定する。画像処理ユニット２４は、ブロック１５０６に示すように、スケールからの勾配を相関付けてマルチスケール勾配を生成する。画像処理ユニット２４は、ブロック１５０８に示すように、マルチスケール勾配を使用してサブフレーム３０からの各サブフレームピクセル値に関連する鮮鋭化係数を調整する。画像処理ユニット２４は、ブロック１５１０に示すように、鮮鋭化係数を使用してサブフレームピクセル値を計算する。

図２２は、サブフレームピクセル値を計算する際に使用される鮮鋭化係数を調整することによってサブフレームを生成する方法を示すフローチャートである。図２２では、画像処理ユニット２４が、ブロック１６０２に示すように、画像フレーム２８のピクセル値集合に初期サブフレームのエッジ領域が関連するか否かについて判断する。ピクセル値の集合がエッジ領域に関連する場合、画像処理ユニット２４は、ブロック１６０４に示すように、サブフレーム３０の対応するサブフレームピクセル値の鮮鋭化係数を比較的高い値に設定する。ピクセル値の集合がエッジ領域に関連しない場合、画像処理ユニット２４は、ブロック１６０６に示すように、ピクセル値の集合が平滑領域に関連するか否かを判断する。ピクセル値の集合が平滑領域に関連する場合、画像処理ユニット２４は、ブロック１６０８に示すように、サブフレーム３０の対応するサブフレームピクセル値の鮮鋭化係数を比較的低い値に設定する。ピクセル値の集合が平滑領域に関連しない場合、画像処理ユニット２４は、ブロック１６１０に示すように、サブフレーム３０の対応するサブフレームピクセル値の鮮鋭化係数を比較的中間の値に設定する。

好ましい実施形態の説明を目的として、特定の実施形態を本明細書において図示し説明したが、広範囲の代替及び／又は均等の実施態様を、本発明の範囲から逸脱することなく、図示し説明した特定の実施形態に代えて使用できることが当業者に理解されよう。機械技術、電気機械技術、電気技術、及びコンピュータ技術の熟練者（当業者）には、本発明を広く多種多様な実施形態で実施できることが容易に理解されよう。本願は、本明細書で解説した好ましい実施形態のあらゆる適応又は変形を網羅することを意図している。したがって、本発明は、特許請求の範囲及びその均等物によってのみ限定されることが意図されていることは明白である。

本発明の一実施形態による、画像表示システムを示すブロック図である。 本発明の一実施形態による、サブフレームの表示を示す概略図である。 本発明の一実施形態による、サブフレームの表示を示す概略図である。 本発明の一実施形態による、２つのサブフレームの表示を示す概略図である。 本発明の一実施形態による、サブフレームの表示を示す概略図である。 本発明の一実施形態による、サブフレームの表示を示す概略図である。 本発明の一実施形態による、サブフレームの表示を示す概略図である。 本発明の一実施形態による、サブフレームの表示を示す概略図である。 本発明の一実施形態による、４つのサブフレームの表示を示す概略図である。 本発明の一実施形態による、画像表示システムを使用してのピクセルの表示を示す概略図である。 本発明の一実施形態による、画像表示システムを使用してのピクセルの表示を示す概略図である。 本発明の一実施形態による、画像表示システムを使用してのピクセルの表示を示す概略図である。 本発明の一実施形態による、画像表示システムを使用してのピクセルの表示を示す概略図である。 本発明の一実施形態による、画像表示システムを使用してのピクセルの表示を示す概略図である。 本発明の一実施形態による、最近傍アルゴリズムを使用しての元の高解像度画像からの低解像度サブフレームの生成を示す図である。 本発明の一実施形態による、双一次アルゴリズムを使用しての元の高解像度画像からの低解像度サブフレームの生成を示す図である。 本発明の一実施形態による、擬似高解像度画像を生成するシステムを示すブロック図である。 本発明の一実施形態による、分離可能なアップサンプリングに基づく２位置処理の擬似高解像度画像を生成するシステムを示すブロック図である。 本発明の一実施形態による、分離不可能なアップサンプリングに基づく２位置処理の擬似高解像度画像を生成するシステムを示すブロック図である。 本発明の一実施形態による、４位置処理の擬似高解像度画像を生成するシステムを示すブロック図である。 本発明の一実施形態による、擬似高解像度画像と所望の高解像度画像との比較を示すブロック図である。 本発明の一実施形態による、サブフレームのアップサンプリングの周波数領域での影響を示す図である。 本発明の一実施形態による、アップサンプリングサブフレームのシフトの周波数領域での影響を示す図である。 本発明の一実施形態による、アップサンプリング画像のピクセルの影響領域を示す図である。 本発明の一実施形態による、適応型マルチパスアルゴリズムに基づく初期擬似高解像度画像の生成を示す図である。 本発明の一実施形態による、適応型マルチパスアルゴリズムに基づく補正データの生成を示す図である。 本発明の一実施形態による、適応型マルチパスアルゴリズムに基づく更新サブフレームの生成を示す図である。 本発明の別の実施形態による、適応型マルチパスアルゴリズムに基づく補正データの生成を示す図である。 本発明の一実施形態による、ノイズを軽減し解像度を向上させたサブフレームの生成を示すブロック図である。 勾配の推定に使用されるフィルタを示すグラフである。 勾配の推定に使用されるフィルタを示すグラフである。 本発明の一実施形態による、ノイズを軽減し解像度を向上させたサブフレームを生成する方法を示すフローチャートである。 本発明の一実施形態による鮮鋭化係数を調整することによりサブフレームを生成する方法を示すフローチャートである。

Claims (10)

1. 表示装置（２６）を使用して画像（１４）を表示する方法であって、
   前記画像の画像データ（１６）に対応する第１のサブフレーム（３０）及び第２のサブフレーム（３０）を生成することであって、前記第１のサブフレームを生成することは、前記画像データからの第１の複数の勾配に関連する第１の鮮鋭化係数を使用して前記第１のサブフレームの第１のサブフレームピクセル値を計算することを含む、生成することと、
   第１の位置（３０１）に前記第１のサブフレームを表示することと、該第１の位置から空間的にオフセットされた第２の位置（３０２）に前記第２のサブフレームを表示することとを交互に行うこと、
   を含む、画像を表示する方法。
2. 前記第１の複数の勾配はそれぞれ、マルチスケール勾配を含む、請求項１に記載の画像を表示する方法。
3. 前記第１の複数の勾配の平均を使用して前記第１の鮮鋭化係数を生成することをさらに含む、請求項２に記載の画像を表示する方法。
4. 前記第１のサブフレームを生成することは、第１の鮮鋭化係数及び誤差項を使用して前記第１のサブフレームの前記第１のサブフレームピクセル値を計算することを含む、請求項１に記載の画像を表示する方法。
5. 前記誤差項は前記画像データと擬似画像との差を含む、請求項４に記載の画像を表示する方法。
6. 前記第１の鮮鋭化係数は、前記第１のサブフレームピクセル値を含む前記第１のサブフレームの領域を鮮鋭化するように構成される、請求項１に記載の画像を表示する方法。
7. 前記第１の鮮鋭化係数は、前記第１のサブフレームピクセル値を含む前記第１のサブフレームの領域を平滑化するように構成される、請求項１に記載の画像を表示する方法。
8. 前記第２のサブフレームを生成することは、前記画像データからの第２の複数の勾配に関連する第２の鮮鋭化係数を使用して前記第２のサブフレームの第１のサブフレームピクセル値を計算することを含む、請求項１に記載の画像を表示する方法。
9. 前記画像データに対応する第３のサブフレーム（３０）及び第４のサブフレーム（３０）を生成することをさらに含み、
   前記第１のサブフレームを表示することと、前記第２のサブフレームを表示することとを交互に行うことは、前記第１のサブフレームを前記第１の位置に表示することと、前記第２のサブフレームを前記第２の位置に表示することと、前記第３のサブフレームを、該第１の位置及び該第２の位置から空間的にオフセットされた第３の位置（３０３）に表示することと、前記第４のサブフレームを、該第１の位置、該第２の位置、及び該第３の位置から空間的にオフセットされた第４の位置（３０４）に表示することとを交互に行うことをさらに含む、請求項１に記載の画像を表示する方法。
10. 画像（１４）を表示するシステム（１０）であって、
    前記画像の画像データ（１６）に対応する第１のサブフレーム及び第２のサブフレーム（３０）を生成するように構成される画像処理ユニット（２４）であって、複数の勾配に関連する鮮鋭化係数を、前記第１のサブフレーム及び前記第２のサブフレームの各サブフレームピクセル値の誤差項に適用することにより該第１のサブフレーム及び該第２のサブフレーム（３０）を生成するように構成される、画像処理ユニット（２４）と、
    前記第１のサブフレームを第１の位置（３０１）に表示することと、前記第２のサブフレームを該第１の位置から空間的にオフセットされた第２の位置（３０２）に表示することとを交互に行うようになっている、表示装置（２６）と、
    を備える、画像を表示するシステム。

Images