JP2019036952A - シフトされた重ね合わせを使用したリアルタイム空間ベースの解像度向上 - Google Patents

Abstract

【課題】増大した見かけの解像度によりイメージを投影する投影システムが提供される。【解決手段】投影システムは、１つ以上のプロジェクタと、リサンプラモジュールと、デコンボリューションモジュールとを含む。リサンプラモジュールは、到来する高解像度信号をアップサンプリングし、信号に対して整数シフト演算を実行し、２つ以上の低解像度信号にダウンサンプリングするように構成される。デコンボリューションモジュールは、アップサンプリングされた高解像度信号を、空間領域デコンボリューション演算を使用してフィルタリングするように構成され、空間領域デコンボリューション演算は、１つ以上のプロジェクタの特徴に基づく周波数領域光学補正を近似する。好適には、空間領域デコンボリューション演算は、ウィナーフィルタの空間領域近似から得られたＮ×Ｎ空間カーネルを使用する。【選択図】図１

Description

本開示は、全般的に、投影システムに関し、特に、投影システムにおける解像度向上のための空間ベースのフィルタに関する。

高精細（ＨＤ：Ｈｉｇｈ ｄｅｆｉｎｉｔｉｏｎ）ビデオは、消費者レベルおよび事業レベルの双方で広範に利用可能となった。例えば、家庭用娯楽機器産業では、新たなＵｌｔｒａ ＨＤ（超高精細）／４Ｋビデオ技術に消費者の強い関心がある。しかしながら、より高い解像度のプロジェクタは高価である。一方、超解像度はイメージ処理研究の領域であり、低解像度の状況においてより高い解像度の画像を生成することを追求する。

例えば、イメージおよびビデオコンテンツは、非常に高い解像度のカメラを使用して獲得できるが、これに比べ現代の表示プロジェクタは、表示解像度が非常に限られている。結果として、プロジェクタの見かけの表示解像度を増大させる必要がある。プロジェクタの解像度を向上させる典型的なモデルは、高解像度信号を複数のより低い解像度の信号に分解し、それらを異なるオフセットで、さらにビデオの場合にはより高いフレームレートで表示することからなる。

低解像度の状況においてより高い解像度の画像を生成することの超解像度（ＳＲ：ｓｕｐｅｒ−ｒｅｓｏｌｕｔｉｏｎ）問題は、文献において周知であり、この問題に対処するための種々の方法論が提案されてきた。

ＳＲ方法の１つの部類は、フーリエ変換を使用してＳＲ問題を解決する。周波数ベースのＳＲ方法は、３つの基本原則、１）入力イメージが帯域制限されていること、２）連続フーリエ変換（ＣＦＴ：ｃｏｎｔｉｎｕｏｕｓ Ｆｏｕｒｉｅｒ ｔｒａｎｓｆｏｒｍ）と離散フーリエ変換（ＤＦＴ：ｄｉｓｃｒｅｔｅ Ｆｏｕｒｉｅｒ ｔｒａｎｓｆｏｒｍ）との間にエイリアス関係があること、３）フーリエ変換のシフト性が存在すること、に依拠する。ＣＦＴとＤＦＴとの間のエイリアス関係は、最小二乗法を使用して解決される。周波数ベースのＳＲモデルは、モデル誤差に影響を受けやすい傾向にある。さらに、かかるモデルは、並進運動を扱うが、非並進運動はモデル性能を著しく劣化させる。さらに、周波数ベースのＳＲ方法は、空間不変量劣化モデルに限られ、これにより、劣化モデルが空間的に変化する多くの実世界のシナリオ（例えば空間的に変化する点拡がり関数（ＰＳＦ：ｐｏｉｎｔ ｓｐｒｅａｄ ｆｕｎｃｔｉｏｎ））においてその性能が制限される。一般に、周波数ベースのＳＲ方法は、問題の正則化のために空間領域のアプリオリ知識を含めるための限られた能力を欠点として持つ。

超解像度方法の別の部類は、空間領域において問題を解決する。空間領域ＳＲ手法は、グローバルおよびローカルモーション、空間的に変化するＰＳＦ、モーションブラー、圧縮アーチファクトなどのより複雑なＳＲ関係の課題に対応することができる。空間領域ＳＲ方法の例には、反復逆投影、非反復空間領域、およびハイブリッド型方法が含まれる。確率統計的方法、特にベイズベースの方法では、ＳＲ問題が統計的推定問題として見られるが、この方法は、ＳＲ問題の十分な解を達成するためにアプリオリ制約（例えばエッジ保存画像先見情報）を含めるその能力が理由で、ＳＲ分野の研究者の注目を急速に集めた。他方、空間領域ベースの方法は計算コストが高いので、リアルタイム用途には適していない。特に、アプリオリ制約の包含は、反復逆投影関係の方法において容易に達成されない。アプリオリＳＲ制約をモデル化する柔軟かつ便利な方式として知られる確率統計的方法でさえ、イメージの高周波成分をあまりうまく再構築できないという制限がある。

さらに、多くのＳＲ方法（周波数および空間ベース両方）は、時間がかかるため、ＳＲベースの用途のリアルタイム制約に対処することができない。

光学収差を補正し元のイメージの近似を回復するために、種々のイメージ復元手法が開発された。従来の方法は、主として、表示前にフィルタによりソースイメージを変換することを伴う。しかしながら、既存の多くの手法で、フィルタリング動作は周波数領域で実施され、複雑なハードウェアを必要とする。商用プロジェクタの限定的な処理能力が原因で、リアルタイム実施において周波数領域光学収差補正を達成することは実現可能でない。

全般的に、本開示は、増大した見かけの表示解像度によりイメージを投影するシステムおよび方法を対象とする。システムは、１つ以上のプロジェクタと、リサンプラモジュールと、デコンボリューションモジュールとを含む。一部の実施において、デコンボリューションモジュールは、１つ以上のプロジェクタの特徴に基づく光学補正のために周波数領域ウィナーデコンボリューションフィルタの空間近似を備えるＮ×Ｎ空間カーネルを使用し、Ｎは小さな奇数である（例えば３、５、７・・・）。高解像度信号がリサンプラモジュールにおいて受信され、１つ以上のプロジェクタの２倍の解像度にアップサンプリングされる。デコンボリューションモジュールは、Ｎ×Ｎ空間カーネルを使用して信号をフィルタリングする。リサンプラモジュールは、フィルタリングされた信号を２つ以上の低解像度信号にダウンサンプリングする。増大した見かけの表示解像度によりイメージを投影するために、２つ以上の低解像度信号は、１つ以上のプロジェクタにおいて受信され、重ね合わされる。

一部の実施において、１つのプロジェクタが、投影されるイメージをオフセットする光学機械式シフタを使用して連続的に２つ以上の低解像度信号を表示してもよい。別の実施では、複数のプロジェクタが使用されて、それぞれが２つ以上の低解像度信号のうちの１つを受信し重ね合わせてもよい。

本開示では、構成要素は１つ以上の機能を実行する「ように構成され」または当該機能「のために構成され」ると記載されてもよい。一般に、機能を実行するように構成されまたは実行のために構成された構成要素は、その機能を実行できるか、またはその機能を実行するのに適しているか、またはその機能を実行するようになっているか、またはその機能を実行するように動作可能であるか、またはその他その機能を実行する能力がある。

本開示の一態様によれば、増大した見かけの表示解像度によりイメージを投影するシステムが提供される。システムは、リサンプラモジュールと、１つ以上のプロジェクタと、デコンボリューションモジュールとを含む。リサンプラモジュールは、高解像度信号を受信し、高解像度信号をアップサンプリングし、整数シフト演算を実行し、２つ以上の低解像度信号にダウンサンプリングするように構成される。デコンボリューションモジュールは、空間領域デコンボリューション演算を使用して高解像度信号をフィルタリングするように構成され、空間領域デコンボリューション演算は、１つ以上のプロジェクタの特徴に基づく周波数領域光学補正を近似する。１つ以上のプロジェクタは、増大した見かけの表示解像度によりイメージを投影するために、２つ以上の低解像度信号を受信して、２つ以上の低解像度信号を重ね合わせるように構成される。

一部の実施において、空間領域デコンボリューション演算は、１つ以上のプロジェクタの特徴に基づく光学補正のために周波数領域ウィナーデコンボリューションフィルタの空間近似を備える空間カーネルを使用する。

一部の実施において、空間カーネルはＮ×Ｎ空間カーネルであり、Ｎは奇数である。

一部の実施において、１つ以上のプロジェクタは、２つ以上の低解像度信号を受信するように構成された１つのプロジェクタを備え、プロジェクタは、投影されるイメージをオフセットする光学機械式シフタを有する。

一部の実施において、１つ以上のプロジェクタは、２つ以上のプロジェクタを備え、それぞれが、２つ以上の低解像度信号のうちの１つを受信してイメージを投影するように構成される。

本開示の別の態様によれば、１つ以上のプロジェクタを使用して、増大した見かけの表示解像度によりイメージを投影する方法が提供され、本方法は、高解像度信号を受信するステップと、高解像度信号をアップサンプリングするステップと、アップサンプリングされた高解像度信号を、空間領域デコンボリューション演算を使用してフィルタリングするステップであって、空間領域デコンボリューション演算は、１つ以上のプロジェクタの特徴に基づく周波数領域光学補正を近似する、ステップと、高解像度信号を第１の低解像度信号にダウンサンプリングするステップと、整数シフト演算を実行し、高解像度信号を第２の低解像度信号にダウンサンプリングするステップと、１つ以上のプロジェクタが、増大した見かけの表示解像度によりイメージを投影するために第１および第２の低解像度信号を受信し重ね合わせるステップとを含む。

一部の実施において、空間デコンボリューション演算は、１つ以上のプロジェクタの特徴に基づく光学補正のために周波数領域ウィナーデコンボリューションフィルタの空間近似を備えるデコンボリューション空間カーネルを使用する。

一部の実施において、デコンボリューション空間カーネルは、１つ以上のプロジェクタの点拡がり関数を推定し、点拡がり関数に基づきウィナーフィルタを構築し、ウィナーフィルタの逆フーリエ変換を適用して空間カーネルを得ることにより空間領域ウィナーフィルタを生成することによって生成される。

一部の実施において、本方法は、逆フーリエ変換を適用する前にウィナーフィルタに帯域制限を適用することをさらに含む。

一部の実施において、空間カーネルはＮ×Ｎ空間カーネルであり、Ｎは奇数である。

一部の実施において、本方法は、コンテンツ固有の使用事例のためにウィナーフィルタに適用される帯域制限の遮断周波数を変えるステップをさらに含む。

一部の実施において、１つ以上のプロジェクタの点拡がり関数を推定するステップは、１つ以上のプロジェクタの単一画素応答を捕捉することを含む。

一部の実施において、本方法は、２つ以上のプロジェクタそれぞれの幾何学的較正、測光較正、および色較正を実行するために前処理をするステップをさらに含む。

一部の実施において、アップサンプリングは、１つ以上のプロジェクタの解像度の２倍の解像度に実行される。

一部の実施において、２つのプロジェクタが使用され、低解像度信号はそれぞれ、高解像度信号の半分の画素を含む。

一部の実施において、２つのプロジェクタは、第１および第２の低解像度信号を２倍の速度で受信し重ね合わせる。

一部の実施において、４つのプロジェクタが使用され、本方法は、整数シフト演算を実行し、高解像度信号を第３の低解像度信号にダウンサンプリングするステップと、整数シフト演算を実行し、高解像度信号を第４の低解像度信号にダウンサンプリングするステップとをさらに含み、低解像度信号はそれぞれ、高解像度信号の４分の１の画素を含む。

一部の実施において、４つのプロジェクタは、低解像度信号を４倍の速度で受信し重ね合わせる。

本願明細書に記載の様々な実施がより深く理解されるように、さらにそれらがどのように実施され得るかをより明確に示すために、以下、例示としてのみ添付の図面を参照する。

非限定的な実施形態による、２つの低解像度信号を使用して増大した見かけの表示解像度によりイメージを投影する投影システムを示す。 非限定的な実施形態による、増大した見かけの表示解像度によりイメージを投影する方法を示す。 点拡がり関数のフーリエ変換のサンプルプロットを示す。 ウィナーフィルタのサンプルプロットを示す。 帯域制限が追加された図４のウィナーフィルタのサンプルプロットを示す。 帯域制限空間領域ウィナーフィルタのサンプルを示す。 空間領域ウィナーフィルタのサンプルを示す。 Ｎ×Ｎ帯域制限空間領域ウィナーフィルタのサンプルを示す。 Ｎ×Ｎ空間領域ウィナーフィルタのサンプルを示す。

図１は、増大した見かけの表示解像度によりイメージを投影するシステム１００を示す。システム１００は、リサンプラモジュール１０２、デコンボリューションモジュール１０４、およびプロジェクタ１０６などの１つ以上のプロジェクタを含む。リサンプラモジュール１０２、デコンボリューションモジュール１０４、およびプロジェクタ１０６は、処理および投影のためにイメージまたはビデオ信号を送信および受信するように相互に接続される。

システム１００の動作を詳細に説明する前に、システム１００のコンポーネントについてさらに記載する。

プロジェクタ１０６は、次に限定はされないが、ＤＭＤ（ｄｉｇｉｔａｌ ｍｉｃｒｏｍｉｒｒｏｒ ｄｅｖｉｃｅ：デジタルマイクロミラーデバイス）、ＬＣＯＳ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ ｏｎ Ｓｉｌｉｃｏｎ：液晶オンシリコン）デバイス、および同様のものなど、任意の適切なタイプのプロジェクタ、またはプロジェクタの組み合わせとすることができる。したがって、プロジェクタ１０６は、１つ以上の光源、所望のイメージをもたらすために光源からの光を変調する１つ以上の変調要素、および変調された光を誘導するレンズアセンブリを含む。

リサンプラモジュール１０２は、概して、高解像度信号１０８を受信し、高解像度信号をアップサンプリング済み高解像度信号１０９ａにアップサンプリングし、デコンボリューションモジュール１０４から出力された信号１０９ｂに対して整数シフト演算を実行し、デコンボリューションモジュール１０４から出力された信号１０９ｂを２つ以上の低解像度信号１１０ａおよび１１０ｂにダウンサンプリングするように構成される。

デコンボリューションモジュール１０４は、概して、アップサンプリングされた高解像度信号１０９ａを、空間領域デコンボリューション演算を使用してフィルタリングしてフィルタリングされたアップサンプリング済み信号１０９ｂを出力するように構成され、空間領域デコンボリューション演算は、プロジェクタ１０６の特徴に基づく周波数領域光学補正を近似する。空間領域デコンボリューション演算は、光学ぼけを修正するためにイメージを予め補正する。この事例において、ぼけは、プロジェクタのレンズにより引き起こされ、さらに、プロジェクタ１０６の画素がコンテンツの画素（例えば高解像度信号１０８の画素）よりも大きいことにより引き起こされる。

リサンプラモジュール１０２およびデコンボリューションモジュール１０４は、例えば既存のＦＰＧＡ（ｆｉｅｌｄ−ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ：フィールドプログラマブルゲートアレイ）ハードウェアを、リサンプラモジュール１０２およびデコンボリューションモジュール１０４の機能を実行するように構成することなどによって、プロジェクタ１０６に組み込まれるのが好ましい。

システム１００のコンポーネントについて記載したところで、以下、図２を参照してシステム１００の動作を詳細に記載する。図２は、増大した見かけの表示解像度によりイメージを投影する方法２００を示す。方法２００の説明を支援するために、方法２００は、システム１００を使用して実行されるものと想定されるが、方法２００は他の適切なシステムによっても実行可能であることが意図される。

ブロック２０２において、リサンプラモジュール１０２は高解像度信号１０８を受信する。

ブロック２０４において、リサンプラモジュール１０２は、高解像度信号１０８をアップサンプリングする。

好適には、高解像度信号は、プロジェクタ１０６の解像度の２倍の解像度にアップサンプリングされ、アップサンプリングされた高解像度信号１０９ａは、後述する通り、デコンボリューションモジュール１０４により生成される空間カーネルの解像度に一致する結果となる。

ブロック２０６において、デコンボリューションモジュール１０４は、アップサンプリングされた高解像度信号１０９ａを、空間デコンボリューション演算を使用してフィルタリングし、空間デコンボリューション演算は、プロジェクタ１０６の特徴に基づく周波数領域光学補正を近似する。

好適には、空間デコンボリューション演算は、プロジェクタ１０６の点拡がり関数を推定し、点拡がり関数に基づきウィナーフィルタを構築し、ウィナーフィルタの逆フーリエ変換または逆高速フーリエ変換（ＩＦＦＴ：ｉｎｖｅｒｓｅ ｆａｓｔ Ｆｏｕｒｉｅｒ ｔｒａｎｓｆｏｒｍ）を適用しそれにより空間カーネルを得ることで空間領域ウィナーフィルタを生成することによって導き出される空間カーネルを使用する。結果として生じる空間カーネルは、周波数領域光学収差補正フィルタの空間的近似であり、空間領域ウィナーフィルタとも呼ばれる。

空間領域ウィナーフィルタを定義するための第１のステップは、プロジェクタ１０６および光学系がどのように点光源に応答するか、すなわちインパルス応答を表す点拡がり関数（ＰＳＦ）を推定することである。プロジェクタ１０６のＰＳＦを正確に測定するために、レンズのないカメラが使用されてもよい。レンズのないカメラは、プロジェクタの単一画素応答を捕捉するように構成される。具体的には、単一画素が、レンズのないカメラの相補型金属酸化膜半導体（ＣＭＯＳ：ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ−ｏｘｉｄｅ−ｓｅｍｉｃｏｎｄｕｃｔｏｒ）能動画素センサ（ＡＰＳ：ａｃｔｉｖｅ−ｐｉｘｅｌ ｓｅｎｓｏｒ）に直接投影されてもよい。

単一のプロジェクタが使用される場合、推定は、ＰＳＦが空間的に不変で、単一画素応答が投影エリア中で均一であるとの想定のもとで獲得されてもよい。類似品質の複数のプロジェクタが使用される場合、各プロジェクタにわたってＰＳＦが空間的に不変で、一貫しているとの想定が使用されてもよい。交互に、各プロジェクタに対して別個のＰＳＦが推定されてもよく、各プロジェクタに対して異なった空間領域ウィナーフィルタが生じてもよい。

ＰＳＦおよびプロジェクタビデオコンテンツは、同じレジストレーションに移されるべきである。上述の通り、高解像度信号（すなわちプロジェクタビデオコンテンツ）は、プロジェクタの２倍の解像度にアップサンプリングされるのが好ましい。プロジェクタのＰＳＦを捕捉するカメラは一般にプロジェクタ自体よりも高い解像度を有するので、ＰＳＦイメージの画素のサイズがアップサンプリングされた高解像度信号１０９ａ（すなわちコンテンツ画素）に一致するように、カメラにより捕捉されたＰＳＦイメージはダウンサンプリングされる。

プロジェクタ１０６のＰＳＦを獲得した後、周波数領域ウィナーフィルタが構築される。ウィナーフィルタは、推定されたＰＳＦと、大域的な相加性雑音レベルｎ（ｉ，ｊ）の仮定とに基づき、次式により与えられる。

式中、Ｘ（ｕ，ｖ）、Ｈ（ｕ，ｖ）およびＮ（ｕ，ｖ）はそれぞれ原信号ｘ（ｉ，ｊ）、ＰＳＦ ｈ（ｉ，ｊ）および相加性雑音ｎ（ｉ，ｊ）のフーリエ変換である。Ｎ／Ｘを一定の相加性雑音比ｎに還元できる。ｎの小さな値により、ウィナーフィルタは、周波数領域ＰＳＦの逆数に非常に近くなる。

図３および４は、Ｈ（ＰＳＦのフーリエ変換）およびＧ（ウィナーフィルタ）のサンプルプロットを表し、３×３ ＰＳＦに対しｎ＝０．０００１である。

図４から分かるように、ウィナーフィルタは、そのコンテンツのほとんどを、アップサンプリングされた高解像度信号１０９の１画素の規模の強い特徴に対応する高周波数に有する。これらの強い高周波数項は、一般に物理的意味を有さず、それらの影響が完全に打ち消しあうまでイメージ処理中により多くの項を伝達することを要する。ウィナーフィルタのＩＦＦＴをとる結果、中央に多くのエネルギーを有する空間カーネルがもたらされる。したがって、結果として生じる空間領域ウィナーフィルタは、オーバーシャープニング効果を有する。さらに、結果の空間カーネルのエネルギーは中央に集中せず、空間的により小さいカーネルを使用して近似することを難しくする。

改善された結果を求めて、ウィナーフィルタに帯域制限が追加され、高周波数成分を弱めてもよい。図５は、設定された半径をもつ円形の帯域制限が追加された図４のウィナーフィルタを示し、項は帯域制限の円外１に設定されている。適切な帯域制限を設定することにより、ウィナーフィルタの効果がはるかに少ない高周波数コンテンツとともに保持され得る。コンテンツ固有の使用事例のためにウィナーフィルタに適用される帯域制限の遮断周波数は変えることができる。例えば帯域制限パラメータは、ゼロまたはほぼゼロのアーチファクトを伴う良好な解像度向上のために第１の値に設定されてもよく、または弱いアーチファクトを伴うさらに改善された解像度向上のために第２の値に設定されてもよい。このように、ウィナーフィルタに適用される帯域制限円のサイズを性能調整パラメータとして使用できる。

帯域制限ウィナーフィルタに対する空間的等価物は、そのＩＦＦＴを計算して空間カーネルを得ることにより発見される。

図６および７は、それぞれ、ウィナーフィルタに帯域制限が適用された状態およびされていない状態の、ウィナーフィルタのＩＦＦＴの完全な結果を示す。水平面の増分は、１／２イメージャ画素（すなわち、アップサンプリングされた高解像度信号１０９の画素）に対応する。空間カーネルは、少数の１／２イメージャ画素内に限定された項を有する。図７の帯域制限されていない空間領域ウィナーフィルタは、より多くの項、ならびにより大きな正値および負値を有する。空間カーネルにおけるより多くの項は、はるかに大きなイメージ処理資源を必要とし、項における大きな変化がイメージアーチファクトのリスクを増大させる。

空間領域ウィナーフィルタはおおむね中心に集中するので、空間カーネルのサイズを制限可能である。図８および９は、それぞれ、図６および図７のウィナーフィルタの帯域制限および非帯域制限ＩＦＦＴから得られたサンプルＮ×Ｎ空間カーネルを示す。一般に、Ｎは、フィルタが画素を中心とすることができるように、奇数であるべきである。

空間カーネルは、画素を中心として空間カーネルを置き、空間カーネルの値と対応する付近の画素値とを掛け合わせ、結果を合計することにより、アップサンプリングされた高解像度信号１０９の各画素に適用される。

再び図２を参照する。ブロック２０８において、リサンプラモジュール１０２は、フィルタリングされたアップサンプリング済み高解像度信号１０９ｂを、第１の低解像度信号１１０ａに直接ダウンサンプリングする。

ブロック２１０において、リサンプラモジュール１０２は、整数シフト演算を実行し、フィルタリングされたアップサンプリング済み高解像度信号１０９ｂを第２の低解像度信号１１０ｂにダウンサンプリングする。

或る実施形態において、２重の解像度向上が実行される。本実施形態において、リサンプラモジュール１０２は、フィルタリングされたアップサンプリング済み高解像度信号１０９ｂを、アップサンプリングされた高解像度信号の半分の画素をそれぞれが含む第１および第２の低解像度信号１１０ａおよび１１０ｂにダウンサンプリングしてもよい。別の実施形態において、４重の解像度向上が実行され、リサンプラモジュール１０２は、さらなる整数シフト演算ならびに第３および第４の低解像度信号へのダウンサンプリング演算を実行してもよい。この実施形態において、４つの低解像度信号それぞれは、アップサンプリングされた高解像度信号の４分の１の画素を含んでもよい。

図２のブロック２１２において、プロジェクタ１０６が、増大した見かけの表示解像度によりイメージを投影するために第１および第２の低解像度信号１１０ａおよび１１０ｂを受信し、それらを重ね合わせる。

２重の解像度向上の実施形態において、プロジェクタ１０６は、高解像度信号の２倍の速度で、第１および第２の低解像度信号１１０ａおよび１１０ｂを受信し重ね合わせてもよい。４重の解像度向上の実施形態において、プロジェクタ１０６は、高解像度信号の４倍の速度で、第１、第２、第３、および第４の低解像度信号を受信し重ね合わせてもよい。

或る実施形態において、１つ以上のプロジェクタは、２つ以上の低解像度信号を受信して、投影イメージをオフセットする光学機械式シフタを使用してその信号を投影する、１つのプロジェクタ１０６を備えてもよい。低解像度信号により生成されるサブフレームは、高フレームレートを所与として、人間視覚システム（ＨＶＳ：ｈｕｍａｎ ｖｉｓｕａｌ ｓｙｓｔｅｍ）により単一の高解像度イメージに結合され、観察者が、元の高解像度ソースを近似する高解像度投影を見ることができるようにする。

別の実施形態において、１つ以上のプロジェクタは、２つ以上の低解像度信号のうちの１つを受信してイメージを投影するようそれぞれが構成された２つ以上のプロジェクタ１０６を備えてもよい。本実施形態では、すべてのオフセットサブフレームが同時に投影される。複数の低解像度プロジェクタの使用は、幾何学的較正、測光較正、および色較正のための前処理を必要とすることもある。

例えば、２重の解像度向上において２つのプロジェクタ１０６が使用されてもよい。各プロジェクタ１０６は、２つの低解像度信号のうちの１つを受信して、投影されるイメージを重ね合わせるように構成される。別の例において、４つのプロジェクタ１０６が４重の解像度向上実施形態に使用されてもよい。各プロジェクタ１０６は、４つの低解像度信号のうちの１つを受信して、投影されるイメージを重ね合わせるように構成される。

光学機械式イメージシフタは、１つのプロジェクタを使用するので色および投影位置の較正を必要としないが、複数のサブフレームを同時に投影することができない。複数の低解像度プロジェクタの融合は、使用されるすべてのプロジェクタについて位置および色の較正を必要とするが、すべてのサブフレームを同時に投影することができる。

したがって、上述した通り、システム１００および方法２００は、増大した見かけの表示解像度によるイメージの投影を可能にする。計算コストの高い従来の空間ベースおよび周波数ベースの手法と異なり、Ｎ×Ｎ空間領域ウィナーフィルタの使用は、フィルタリングを、既存のＦＰＧＡ資源を使用してリアルタイムで実施可能な２Ｄ畳み込み演算に簡略化する。さらに、この手法の空間的性質は、多くの周波数ベースの制限の克服を可能にする。例えば、問題の正則化に必要なアプリオリ知識を回避できる。

記載されたシステムおよび方法は、光学機械式シフタを使用して単一プロジェクタに実装でき、さらに、複数のプロジェクタシステムに拡張もできる。このシステムおよび方法の複数のプロジェクタシステムへの拡張は、プロジェクタ間の幾何学的較正、測光較正、および色較正のための簡単な前処理であり、リサンプラモジュール、デコンボリューションモジュール、または空間カーネル計算に大きな変更は必要ない。

当業者には当然のことながら、代わりに可能な実施および変更はさらに多くあり、上記の例は１つ以上の実施の例示でしかない。したがって、範囲は、本願明細書に添付された特許請求の範囲によってのみ限定される。

Claims (18)

1. 増大した見かけの表示解像度によりイメージを投影するシステムであって、
   高解像度信号を受信し、前記高解像度信号をアップサンプリングし、整数シフト演算を実行し、２つ以上の低解像度信号にダウンサンプリングするように構成されたリサンプラモジュールと、
   増大した見かけの表示解像度により前記イメージを投影するために、前記２つ以上の低解像度信号を受信して、前記２つ以上の低解像度信号を重ね合わせるように構成された１つ以上のプロジェクタと、
   空間領域デコンボリューション演算を使用して前記高解像度信号をフィルタリングするように構成されたデコンボリューションモジュールであって、前記空間領域デコンボリューション演算は、前記１つ以上のプロジェクタの特徴に基づく周波数領域光学補正を近似する、前記デコンボリューションモジュールと、
   を備えるシステム。
2. 前記空間領域デコンボリューション演算は、前記１つ以上のプロジェクタの特徴に基づく光学補正のために周波数領域ウィナーデコンボリューションフィルタの空間近似を備えた空間カーネルを使用する、請求項１に記載のシステム。
3. 前記空間カーネルは、Ｎ×Ｎ空間カーネルであり、Ｎは奇数である、請求項２に記載のシステム。
4. 前記１つ以上のプロジェクタは、前記２つ以上の低解像度信号を受信するように構成された１つのプロジェクタを備え、前記プロジェクタは、前記投影されるイメージをオフセットする光学機械式シフタを有する、請求項１に記載のシステム。
5. 前記１つ以上のプロジェクタは、２つ以上のプロジェクタを備え、それぞれが、前記２つ以上の低解像度信号のうちの１つを受信して前記イメージを投影するように構成される、請求項１に記載のシステム。
6. １つ以上のプロジェクタを使用して、増大した見かけの表示解像度によりイメージを投影する方法であって、前記方法は、
   高解像度信号を受信するステップと、
   前記高解像度信号をアップサンプリングするステップと、
   前記アップサンプリングされた高解像度信号を、空間領域デコンボリューション演算を使用してフィルタリングするステップであって、前記空間領域デコンボリューション演算は、前記１つ以上のプロジェクタの特徴に基づく周波数領域光学補正を近似する、ステップと、
   前記高解像度信号を第１の低解像度信号にダウンサンプリングするステップと、
   整数シフト演算を実行し、前記高解像度信号を第２の低解像度信号にダウンサンプリングするステップと、
   増大した見かけの表示解像度によりイメージを投影するために、前記１つ以上のプロジェクタが、前記第１および第２の低解像度信号を受信して重ね合わせるステップと、
   を含む、方法。
7. 前記空間領域デコンボリューション演算は、前記１つ以上のプロジェクタの特徴に基づく光学補正のために周波数領域ウィナーデコンボリューションフィルタの空間近似を備えたデコンボリューション空間カーネルを使用する、請求項６に記載の方法。
8. 前記デコンボリューション空間カーネルは、前記１つ以上のプロジェクタの点拡がり関数を推定し、前記点拡がり関数に基づきウィナーフィルタを構築し、前記ウィナーフィルタの逆フーリエ変換を適用して空間カーネルを得ることにより空間領域ウィナーフィルタを生成することによって生成される、請求項７に記載の方法。
9. 前記逆フーリエ変換を適用する前に前記ウィナーフィルタに帯域制限を適用することをさらに含む、請求項８に記載の方法。
10. 前記空間カーネルは、Ｎ×Ｎ空間カーネルであり、Ｎは奇数である、請求項９に記載の方法。
11. コンテンツ固有の使用事例のために前記ウィナーフィルタに適用される前記帯域制限の遮断周波数を変えるステップをさらに含む、請求項９に記載の方法。
12. 前記１つ以上のプロジェクタの前記点拡がり関数を推定するステップは、前記１つ以上のプロジェクタの単一画素応答を捕捉するステップを含む、請求項８に記載の方法。
13. ２つ以上のプロジェクタそれぞれの幾何学的較正、測光較正、および色較正を実行するために前処理をするステップをさらに含む、請求項６に記載の方法。
14. 前記アップサンプリングは、前記１つ以上のプロジェクタの解像度の２倍の解像度に実行される、請求項６に記載の方法。
15. 前記方法は、２つのプロジェクタを使用し、前記低解像度信号はそれぞれ、前記高解像度信号の半分の画素を含む、請求項１４に記載の方法。
16. 前記２つのプロジェクタは、前記第１および第２の低解像度信号を２倍の速度で受信し重ね合わせる、請求項１５に記載の方法。
17. 前記方法は、４つのプロジェクタを使用し、前記方法は、
    整数シフト演算を実行し、前記高解像度信号を第３の低解像度信号にダウンサンプリングするステップと、
    整数シフト演算を実行し、前記高解像度信号を第４の低解像度信号にダウンサンプリングするステップと、
    をさらに含み、
    前記低解像度信号はそれぞれ、前記高解像度信号の４分の１の画素を含む、請求項１４に記載の方法。
18. 前記４つのプロジェクタは、前記低解像度信号を４倍の速度で受信し重ね合わせる、請求項１７に記載の方法。