JP2015148809A - マッピング機能の注入のためのシステムと方法 - Google Patents

Abstract

【課題】ディスプレイシステム内での画像の生成を支援して全体的なディスプレイ品質を改善する機構を提供する。【解決手段】既存の合成器４０４にコンピュータコード４１０の一部を注入し、マッピング機能を第１のデジタル画像に適用するためにコンピュータコード４１０の一部を使用し、合成器４０４内で適用されたマッピング機能を適用することによって適合された第１のデジタル画像に基づいて第２のデジタル画像を形成することによって、ディスプレイ品質を改善するための方法とシステム。【選択図】図４

Description

関連出願
本願は、２００９年６月１８日に出願された米国仮出願番号６１／２１８３９７「マッピング機能の注入のためのシステムと方法」の利益を主張するものであり、参照によりその全内容は本明細書に編入される。

技術分野
本発明は、デジタルビデオディスプレイシステムに係り、より具体的には複数の個別ディスプレイ装置からなる大型ディスプレイ用のオペレーティングシステムに関する。

デジタルイメージングシステムは、制御源とディスプレイを用いて視覚情報を表示する。コンピュータシステムなどの制御源はマッピング機能を利用して、たとえば多数の投影された画像を１つの画像に結合して超解像ディスプレイを作る応用を可能にする。ディスプレイは、情報、静止画像またはビデオ（動画像）を視覚的に示すことができる任意の装置を含む。ディスプレイは一般的に１つ以上の光源からなり、空間的に光を調節する方法は、（１）直視ディスプレイと、（２）投影ディスプレイに分割できる。直視ディスプレイは、液晶ディスプレイ（ＬＣＤ）およびプラズマディスプレイパネル（ＰＤＰ）などのフラットパネルを含む。投影ディスプレイは、マイクロディスプレイパネルを用いる技術、たとえば（１）デジタルマイクロミラー装置（ＤＭＤ）に基づくデジタル光処理（ＤＬＰ）、（２）透過型ＬＣＤパネル、および（３）シリコン上に載せた液晶（ＬＣＯＳ）を含む。デジタルイメージングシステムの品質は、目視者の期待によって決まる。品質要因は解像、コントラスト、幾何学的精度、色精度、気を散らすアーチファクトがないこと、および一般的に好ましい画像の性質に寄与し、またはオリジナルのデジタル画像もしくは自然において見出される画像を正確に再現することを可能にするその他の性能特性を含む。ディスプレイによって生産された画像の一定の不精度を、画像情報に補正措置を適用することによって補正することが望まれる。

三次元イメージングは、遠近感をもって現れるようにされたディスプレイの平面内の画像を対象とすることができる。三次元イメージングを使用して、画像がディスプレイの平面から出て三次元空間を満たす立体デジタルイメージングを対象としてもよい。立体デジタルイメージングは三次元空間で自然の画像を目視する効果を模擬するために、左目と右目に異なる画像を呈示する。立体イメージングは、三次元画像が眼精疲労を引き起こすことなく各々の目に適切に呈示されると、デジタルイメージングシステムの知覚される品質に寄与できる。一般的に、ディスプレイシステム内でのそのような画像の生成を支援して全体的なディスプレイ品質を改善する機構を提供することが望まれる。

米国特許第６４５６３３９号明細書 米国特許出願公開第２００８／０２４６７８１号

本発明は、コンピュータシステム上に作動的に配置および構成された合成器にコンピュータコードの一部を注入し、前記コンピュータコードの一部を使用してマッピング機能を第１のデジタル画像に適用し、適用されたマッピング機能を用いて第１のデジタル画像に基づき適合された前記第２のデジタル画像を形成することによって、ディスプレイ品質を改善するための方法とシステムである。次に、第２のデジタル画像は１台以上のディスプレイを介して目視者に表示され、各ディスプレイは表示されたデジタル画像の部分を形成する。各ディスプレイの寄与は、部分的な重なりからほぼ完全な重なりまで変化する重なりであってもよい。ほぼ完全に重なると立体画像の表示が可能になる。マッピング機能は、ジオメトリの修正、混合画像の生成またはディスプレイシステムの特性（たとえば色、輝度など）の補正に使用することができる。特性は検出器、たとえば表示された画像に向けられたカメラを使用して、または画像の内部感知によって感知できる。コードの一部をグラフィックスドライバ制御ハードウェアに注入して表示されたデジタル画像の一部を生成できる。全体的なディスプレイシステムは１つ以上のコンピュータシステムに基づいていてもよく、それぞれ１台以上のディスプレイ装置、たとえばプロジェクタに接続された１つ以上のグラフィックスカードを有する。

例示的な装置における、外部マッピングを有するデジタルイメージングシステムの模式図である。 例示的な実施態様におけるマッピング機能の注入のフローチャートである。 例示的な実施態様における合成器に注入するデジタルイメージングシステムの模式図である。 例示的な実施態様におけるグラフィックスドライバに注入するデジタルイメージングシステムの模式図である。

以下の本発明を添付の図面を参照して説明する。
本発明の例示的な実施態様の教示の基礎とできる超解像ディスプレイの詳細な説明は、米国特許第６，４５６，３３９号明細書に記載されており、参照によりその全内容を有益な背景情報として本明細書に組み入れる。デジタルイメージングシステムは、１台以上のディスプレイを組み合わせて、ディスプレイがそれらのピクセルを足し合わせて多数の部分からなる１つの表示されたデジタル画像を生成することにより、高解像ディスプレイを実現できる。表示されたデジタル画像の各部分は主として個別プロジェクタからのピクセルからなるが、隣接ディスプレイと重なる領域も有する。部分間の段階的混合を実行するために、表示されたデジタル画像の部分は部分的に重ねられる。部分的に重なる領域は表示されたデジタル画像の面積の約１０％〜３０％に及ぶことがある。マッピング機能をオリジナルのデジタル画像に適用して部分に分解し、表示のために部分を再び組み立てる。マッピング機能はデジタル画像を修正して、何らかの方法で変更される第２のデジタル画像を生成する数学的変換として定義される。補正機能は、所望される補正をデジタル画像に適用する特定のタイプのマッピング機能である。マッピング機能は、ワーピング、カラーマッチング、横方向色補正、またはデジタル画像に対するその他の所望される変更などの変換を含むことができる。ある場合には、マッピング機能は特定の所望される効果を達成するために、伝統的な意味で測定された画像品質を劣化させることがある。

システム構成の代替的実施態様では、多数のディスプレイからのデジタル画像のほぼ完全な重なりを利用する（ディスプレイは種々の実施態様においてしばしば２台以上の「多数」および少なくとも２台以上の「複数」で配置される）。ほぼ完全な重なりとは少なくとも９０％の重なりである。一実施態様において、ほぼ完全な重なりは、多数のディスプレイからの部分がピクセルまたはサブピクセルのレベルに至るまでの精度で一致するように正確に整合される。この構成は、多数のディスプレイを積み重ねることによって光の量を増すために用いられる。別の実施態様において、システムはほぼ完全な重なりを提供するが、諸部分は三次元画像の立体表示を可能にするために左目と右目の画像からなる。立体投影の場合は正確なピクセルアライメントは必要でないことがある。

積み重ねの特殊なケースは、単一のプロジェクタしかない場合に生じる。この場合、画像の一方の側が他方の側を包むように、レンズを使って画像を包むことができる。

システム構成の別の代替的実施態様では重ならないデジタル画像を利用する。この場合、諸部分はエッジで結合されるか、またはエッジ間にギャップ領域を有してよい。エッジ間にギャップがある場合は、表示されたデジタル画像の重要な特徴がギャップ領域に入らないように、画像をシフトできる。

システム構成の別の代替的実施態様では、第１のディスプレイと第２のディスプレイが立体イメージとしてほぼ完全に重なるときに部分的に重なる第３のディスプレイと第４のディスプレイを用いる。

ここで図１を参照するが、これは一般的にバックグラウンドの方法による外部マッピングを用いるデジタルイメージングシステムを示している。この実現においてマッピング機能は、コンピュータの外部にあるハードウェアとソフトウェアによって生み出される。デジタル画像はアプリケーションソフトウェア１１０によって作成され、合成器ソフトウェア１０４に送られる。デジタル画像は、たとえばコンピュータハードウェアメモリに記憶されている種々のソースから作成でき、または所定のアルゴリズムで生成できる。合成器ソフトウェア１０４は、コンピュータハードウェア１００上で動くオペレーティングシステムソフトウェア１０２の一部である。合成器ソフトウェア１０４はデジタル画像を、グラフィックスハードウェア１０６上で動くグラフィックスドライバソフトウェア１３０に送る。グラフィックスドライバソフトウェア１３０はデジタル画像を多数の部分に分割して、これらの部分を当業界で一般的に既述されているやり方でプロジェクタ１１４、１１６および１１８に送る。

例示的に、合成器１０４はコンピュータオペレーティングシステム１０２の部分であり、コンピュータによって示されるデジタル画像の種々の部分を整える。慣用的なコンピュータの動作により、合成器は種々のアプリケーションから表示されるウィンドウとオペレーティングシステムを組み合わせる。合成器はまた特定のオペレーティングシステム、たとえば透光性能力を有するマイクロソフトウィンドウズビスタ（登録商標）オペレーティングシステムにおいてウィンドウの透光性を処理する。

デジタル画像は、動画像（ビデオとも呼ぶ）を形成する１つの静止画像または一連の静止画像を含んでいてもよい。デジタル画像はコンピュータ内で生成されるか、または外部でコンピュータから生成することができる。デジタル画像はコンピュータによりコンピュータ内の画像キャプチャカードで取り込める。

プロジェクタ１１４、１１６および１１８はそれぞれ調光線１２０、１２２および１２４を投影する。光線１２０、１２２および１２４は、スクリーン１２６上に投影されたデジタル画像１５０を形成する。センサ１１２は投影されたデジタル画像１５０のパラメータを感知して、これらのパラメータをマッピングハードウェア１０８上で動くマッピングソフトウェア１６０に送る。マッピングソフトウェア１６０はマッピング機能を用いてマッピング信号を計算し、これらのマッピング信号をプロジェクタ１１４、１１６および１１８に送る。種々の実施態様において、マッピング機能はグラフィックスドライバソフトウェアとディスプレイを調整するように適合される。プロジェクタ１１４、１１６および１１８は、マッピング信号を用いてマッピング機能をグラフィックスドライバ１３０からのデジタル画像に適用する。マッピングハードウェア１０８はコンピュータハードウェア、たとえば慣用的なコンピュータ上で動くコンピュータカードであるか、またはマッピングハードウェア１０８はマッピング計算を実行するように特注設計された特殊なハードウェアであってもよい。マッピングハードウェア１０８がコンピュータハードウェアである一実施態様において、マッピングハードウェア１０８はコンピュータ１００にインストールされたカードであってもよく、またはマッピング計算を実行することに特化した別個のコンピュータにインストールできる。マッピングハードウェア１０８がコンピュータハードウェアである別の実施態様において、マッピングハードウェア１０８は処理ユニットと、センサから画像データストリームを受け取るように構成されたデジタル通信リンクを含んでいてもよい。図１では合成器ソフトウェアはオペレーティングシステムの一部であるものとして示されているが、あるシステムでは合成器はオペレーティングシステムの外部に駐在できる。図１ではマッピングハードウェアおよびソフトウェアはコンピュータハードウェアの外部に駐在するものとして示されているが、マッピングハードウェアおよびソフトウェアはコンピュータハードウェアの一部であってもよい。

図２は、マッピング機能の注入を実行するための手順２００を示す。マッピング機能はデジタル画像を表示しているコンピュータに注入される。ステップ２０２でデジタル画像が作成される。これは適切な機構、たとえばＭＰＥＧ、ＡＶＩなど所定のフォーマットのメディアデータファイルからピクセル情報を読み出すことによって起こり得る。さらに解凍、スケーリングまたはフォーマッティングの手順は、ピクセル情報を読み出すことの一部と見なされる。決定ステップ２０４で、デジタル画像がフルスクリーン画像として投影されるかに応じて決定される。フルスクリーン画像は、デジタルイメージングシステムの構成に応じて適切な機構により、たとえばユーザインターフェースやユーザＡＰＩを通して、コンピュータハードウェアの内部または外部にある記憶されたメモリから決定でき、本明細書に組み入れられることは当業者には明らかである。フルスクリーン画像であるならば、ステップ２０６でマッピング機能を有するコンピュータコードの一部が合成器またはグラフィックスドライバに注入される。合成器は合成ソフトウェアからなり、グラフィックスドライバはグラフィックスドライバソフトウェアからなる。デジタル画像がフルスクリーン画像として投影されない場合は、ステップ２０８でマッピング機能を有するデジタル画像が適切なアプリケーションに注入される。ステップ２１０では、マッピング機能を有するデジタル画像から投影されたデジタル画像が形成される。随意のステップ２１２において、投影されたデジタル画像のパラメータが感知され、それらのパラメータに基づく信号が、ステップ２０６または２０８のマッピング機能を有するコンピュータコードの一部に送り返される。ステップ２１２は、所望される場合は全体的なデジタルイメージングシステムがフィードバックを用いて自動補正を実行することを可能にする。

図３は、合成器に注入するデジタルイメージングシステムを示す。図３に示すデジタルイメージングシステムは、図２に示されたマッピング機能注入の手順２００を用いる。デジタル画像がアプリケーションソフトウェア３１０によって作成され、合成器ソフトウェア３０４に送られる。マッピングソフトウェア３０８は内部で（コンピュータ内で）作動して、コンピュータコードの一部を合成器ソフトウェア３０４に注入する。この注入ステップは矢印３４０で示されている。マッピングソフトウェア３０８は以下に記す慣用的な技術を用いて合成器ソフトウェア３０４の実行の流れを妨害し、実行を変えてマッピング機能を適用させ、それから動作を合成器ソフトウェア３０４に戻す。合成器ソフトウェア３０４はコンピュータハードウェア３００上で動くオペレーティングシステムソフトウェア３０２の一部である。合成器ソフトウェア３０４はマッピング機能を有するデジタル画像を、グラフィックスハードウェア３０６上で動くグラフィックスドライバソフトウェア３３０に送る。グラフィックスドライバソフトウェア３３０はデジタル画像を多数の部分に分割して、それらの部分をプロジェクタ３１４、３１６および３１８に送る。プロジェクタ３１４、３１６および３１８はそれぞれ調光線３２０、３２２および３２４を投影する。光線３２０、３２２および３２４は、スクリーン３２６に投影されたデジタル画像３５０を形成する。センサ３１２は投影されたデジタル画像３５０のパラメータを感知し、センサ３１２からの戻り矢印で表すように、これらのパラメータをマッピングソフトウェア３０８に送る。パラメータは、マッピングソフトウェアがそれらを用いてデータを修正し、それによって合成器に更新されたマッピング機能を供給するように編成される。

より具体的には、例示的な実施態様において、ドライバまたはオペレーティングシステムなどのソフトウェアとのインターフェースは、アプリケーションプログラミングインターフェース（ＡＰＩ）３６０、３６２、またはソフトウェア開発において通常の知識を有する者に周知の等効の機構を介して実現される。ＡＰＩ３６０、３６２はそれぞれ必要に応じて合成器ソフトウェア３０４、グラフィックスドライバソフトウェア３３０および／または他のアプリケーション内に駐在できる。ＡＰＩはアプリケーションの構築をサポートするために、ソフトウェアモジュール間に（そのようなモジュールが異なるソースまたは団体によって異なる時点で開発された場合）通信機構を供給する。例示的に、他のプログラムまたはプロセスによってＡＰＩを呼び出すと、呼出しに含まれた情報に応じてコードが実行される。想定されているのは、ＡＰＩ呼出しを妨害し、置換コードおよび／または異なるコードを挿入して実行することによって実行ストリームを修正し、次に（ａ）呼出しを正常に継続するか、または（ｂ）呼出し側に返すことである。これは典型的に、既存のＡＰＩインターフェースを修正することによって、すなわち既存のアプリケーションコードを指示する１つ以上の既存のＡＰＩポインタをコピーして、これらを実行するための新しいコードを指示する新規のポインタ（ＡＰＩブロック３６０、３６２内に示す）と置き換えることによって実現される。次にこの新しいコードは、（ａ）ＡＰＩを呼び出したコードに戻るか、または（ｂ）コピーされたＡＰＩポインタを介して古いコードを呼び出し続け、必要なときに戻ることができる。例示的な実施態様において、グラフィックスドライバ３３０はＡＰＩ３６２を供給して、プログラム（たとえばオペレーティングシステム３０２）がグラフィックスドライバ３３０のコードを実行させる呼出しを行うことを可能にする（たとえば特定の位置でパターンをペイントする）。本発明は、最初のＡＰＩポインタをコピーし、マッピングコード（３０８）を指示する新規のポインタを挿入することによってグラフィックスドライバ３３０へのＡＰＩ呼出しを妨害できる。このようにして、実行中に特定のＡＰＩ呼出しが行われたら、マッピングコードはＡＰＩ呼出しに含まれたデータを修正し、次にコード実行のストリームをコピーされたＡＰＩポインタを介して前から存在するＡＰＩコードに渡す。

動作例を挙げれば、データが最初に特定のタイプ／モデルのディスプレイ、たとえばフラットスクリーンで表示するために初期化される場合、グラフィックスドライバレベルでデータを妨害するようにマッピングコードを適合させて、異なるタイプ／モデルのディスプレイ、たとえば異なるジオメトリのスクリーンで表示するように修正できる。次にマッピングコードは、オリジナルのグラフィックスドライバを介して表示するように伝達され得る。図示されていないが、上記のＡＰＩおよびポインタ配置構成またはその適切な変法は図１および図４の実施態様に適用可能である。

図４は、慣用的または特注設計されたグラフィックスドライバに注入するデジタルイメージングシステムを示す。図４に示すデジタルイメージングシステムは、図２に示されたマッピング機能注入の手順２００を用いる。デジタル画像がアプリケーションソフトウェア４１０によって作成され、合成器ソフトウェア４０４に送られる。合成器ソフトウェア４０４はコンピュータハードウェア４００上で動くオペレーティングシステムソフトウェア４０２の一部である。合成器ソフトウェア４０４はデジタル画像をグラフィックスハードウェア４０６上で動くグラフィックスドライバソフトウェア４３０に送る。マッピングソフトウェア４０８はコンピュータコードの一部をグラフィックスドライバソフトウェア４３０に注入する。注入ステップは矢印４４０で示されている。マッピングソフトウェア４０８はグラフィックスドライバソフトウェア４３０の実行の流れを妨害し、実行を変えてマッピング機能を適用させ、次に動作をグラフィックスドライバソフトウェア４３０に戻す。グラフィックスドライバソフトウェア４３０はデジタル画像を多数の部分に分割し、これらの部分をプロジェクタ４１４、４１６および４１８に送る。プロジェクタ４１４、４１６および４１８はそれぞれ調光線４２０、４２２および４２４を投影する。調光線４２０、４２２および４２４はスクリーン４２６に投影されたデジタル画像４５０を形成する。センサ４１２は投影されたデジタル画像４５０のパラメータを感知して、これらのパラメータをマッピングソフトウェア４０８に送る。

図１、図３および図４の配置構成において、プロジェクタはディスプレイ装置として示されている。代替的実施態様において、プロジェクタは投影された画像以外の表示された画像を形成する他のディスプレイ装置で置き換えることができる。たとえば、そのような他のディスプレイ装置は直視ディスプレイ、たとえばフラットパネル液晶ディスプレイまたはプラズマディスプレイパネルを含んでいてもよい。

プロジェクタは多様な電子装置、たとえば携帯電話、携帯ゲームシステム、ラップトップコンピュータおよび／または他の個人用電子装置に埋め込むことができる。例示的な実現において単一のプロジェクタを有する個人用電子装置は、本発明の実施態様に従いメニューのワーピングまたは画像を他の個人用電子装置と結合する目的のためにマッピング機能を用いることができる。

また、図１、図３および図４の例示的な配置構成では３台のプロジェクタが示されているが、投影されたデジタル画像の所望される解像度、明度および他のパラメータに応じて１台、２台、３台、またはそれ以上のプロジェクタがあってもよい。デジタル画像は代替としてコンピュータ外部のソースによって作成され、アプリケーションソフトウェアまたは直接的に合成器に送られてよい。

ここで明確にしておくと、たとえば図３と図４に示されている注入に基づくデジタルイメージングシステムの１つの利点は、図１に示した例示的なデジタルイメージングシステムとは対照的に、典型的に別個のマッピングハードウェアおよびソフトウェアがないことである。注入プロセスによりデジタルイメージングシステムは、注入のないデジタルイメージングシステムに比べて廉価、シンプルおよびコンパクトであることができる。

注入に基づくデジタルイメージングシステムの別の利点は、商用オフザシェルフ（ＣＯＴＳ）プロジェクタおよびＣＯＴＳグラフィックスカードで使用できる点である。図１に示すデジタルイメージングシステムは、マッピングソフトウェアからマッピング信号を受け入れる性能を有する特殊なプロジェクタを必要とする。特殊なプロジェクタは一般的に特殊なワーピングハードウェアと一緒に用いられる。ＣＯＴＳプロジェクタおよびグラフィックスカードは廉価で、一般に入手可能であり、異なるモデルまたはタイプのプロジェクタとコンピュータの間でより容易に互換性がある。互換性は、プロジェクタとグラフィックスカードを投影環境に対して最適に改善し、また誤機能の場合に容易に交換することを可能にする。

注入に基づくデジタルイメージングシステムのさらに別の利点は、種々の市販されているコンピュータグラフィックスハードウェアで固有のハードウェアアクセラレーションを利用できる点である。マッピングのためのハードウェアとソフトウェアが別個になっているシステムは、一般的にこのハードウェアアクセラレーションを利用できない。

例示的に、マッピング機能の使用は、（１）アプリケーション依存型と（２）アプリケーション独立型の２タイプに区分される。注入により、特殊なハードウェアを要することなく、ＣＯＴＳグラフィックスカードによるアプリケーション独立型マッピングが可能になる。

以下に、マッピング機能およびシステムと方法の代替的な実施態様に関して、さらに考察する。

例示的な実施態様において、マッピング機能の計算は一般的に、デジタル画像中のピクセルをサンプリングし、各ピクセルに対する新しい位置を計算し、次にマッピングされたデジタル画像を新しい位置のピクセルと結集すること、そして呼び出されたリサンプリングも含む。マッピング機能はまたピクセルの他の変換、たとえば輝度または色の変化も含むことができる。ピクセルの輝度マッピングはシェーディングとも呼ばれる。リサンプリングの間、ピクセル間の補間が所望される。補間は慣用的なアルゴリズムに従う最近接計算、線形計算または非線形計算を用いて実行できる。デジタル画像中の空間的位置とコンテンツに応じて白色レベル（コントラスト）、黒色レベル（輝度）、または他の画像パラメータを変化させるために、マッピング機能に空間変化フィルタが含まれ得ることが想定されている。空間変化フィルタは、ディスプレイによって導入されたブルーミングまたは他の二次効果を制御するために使用できる。

デジタルイメージングシステムの要求に応じて、多様なマッピング機能を実行できる。マッピング機能はワーピング、ブレンディングおよびカラーマッチングを含んでいてもよい。ワーピングは、たとえば、多数のプロジェクタからの異なる投影角度を補償し、またはデジタル画像を湾曲したスクリーンに適合させて、投影されたデジタル画像を見るときに現れる歪みを最小とするために使用される。ツイストとズームは多数の部分から１つの投影されたデジタル画像を形成するときに、１つの画像の多数の部分を整合して互いに適合させるために使用される２タイプのワーピングと見なすことができる。ブレンディングは多数の部分から１つの投影されたデジタル画像を形成するときに、多数の部分のエッジを互いに適合させる。カラーマッチングは、投影されたデジタル画像の多数の部分を互いにマッチさせて、それらが１台のプロジェクタから出ているように見せるために使用する。カラーマッチングは特に多数のプロジェクタが異なる色出力を呈する場合に望ましい。最も廉価なＣＯＴＳプロジェクタは、緩い製造公差のために同じモデルのプロジェクタ間で大きな色の違いが生じることがあるため、しばしばカラーマッチングの恩恵を被る。マッピング機能により、おおよそのアライメントのみで多数のプロジェクタを所定の位置に置くことができる。次に、各プロジェクタによって投影された多数の部分から１つのデジタル投影画像を形成するために、マッピング機能を計算して画像の諸部分が縫い合わさせる。

マッピング機能は固定した変換であるか、または時間的に変化する変換であることができる。時間的に変化する場合、変換はセンサフィードバックから計算されるか、または他の外部パラメータに基づいて計算することができる。計算はリアルタイムか、またはほぼリアルタイムに行うことができる。

マッピング機能は全くコンピュータ計算によって（自動的に）決定されるか、または一部もしくは全部ユーザ入力によって（手動で）供給することができる。例を挙げると、ユーザはデジタル画像中の特定の要素の位置を直接制御したければ、画像を直接操作する手段、たとえばコンピュータマウスまたは他のユーザ入力装置を用いることができる。

注入に基づくデジタルイメージングシステムを用いて目視者にメッセージなどの視覚情報を提供できる。視覚情報はデジタルイメージングシステムによって生成される要素、たとえばメニュー情報、装置制御情報、通知またはシステム状態情報からなっていてもよい。視覚情報はさらにコンピュータハードウェアシステム上で作動的に動く他のソフトウェア、たとえばプレゼンテーションアプリケーション、ゲームアプリケーションまたは種々のアプリケーションＧＵＩウィジェット（これらに限定されない）によって作成されてもよい。視覚情報はさらに通信リンクもしくはネットワークリンクを通してデジタルイメージングシステムと作動的に通信されるデジタルイメージングシステム外部のコンテンツからなっていてもよい。例を挙げると、外部コンテンツ情報は情報のデータベースを保持するサーバまたはウェブサイト情報をホストするサーバから通信されることができる。情報はビデオや画像の形式またはその他のデータ形式で存在できる。さらに例を挙げると、使用される通信システムは、デジタルシステム、たとえばＷｉ−ｆｉ、ＷＩＭＡＸ、携帯システムおよび他の種々のデジタル通信システム（これらに限定されない）であってもよい。通信システムはさらにケーブルオペレータやアナログアンテナなどからアナログ信号を受け取るように構成できる。ビデオコンテンツはさらに当業者には明らかな慣用的な機構を用いてストリーム化できる。メッセージに含まれている情報は、アプリケーションソフトウェアによって、またはソフトウェアチェーンにおいて注入の時点か、それより前の任意の時点で挿入できる。視覚情報によりユーザは投影されたデジタル画像のパラメータまたは投影に使用される装置を制御できる。これらのパラメータは白色点の色または他の画像特性を含んでいてもよい。たとえば上述したコンピュータおよびオペレーティングシステムと関係するグラフィカルユーザインターフェースは、注入のオンとオフを切り替えるために利用できる。

注入はソフトウェア制御により自動的にオンまたはオフに切り替えることができる。たとえばアプリケーションが合成器を迂回する場合は、画像に対して好ましくない変化を避けるために注入をオフにしてよい。代替として、注入はコンピュータコードの一部を合成器よりむしろアプリケーションに加えることができる。

一実施態様において、合成器に注入されたコンピュータコードの一部は、他のコンピュータの外部、たとえば外部のマッピングハードウェアに置かれたマッピングソフトウェアの他の一部と通信するように構成および配置できる。

オペレーティングシステムはまた、マッピングのために使用されるコンピュータコードの一部の注入を受け入れるように適合できる。たとえばオペレーティングシステムは、コンピュータコードの一部に変数を渡すことによって注入作業を円滑に行うように設計されてもよい。

一実施態様に従い、テスト、アライメントおよび／またはフィードバックの目的のために投影されたデジタル画像にパターンを注入できる。目に見えないほど小さい変化を付けた透かしパターン、または他の目に見えないテストパターン、たとえば個別フレームを使用してもよい。センサは個別フレームに同期させることができる。三次元ユーザインターフェースは（当業者に明らかであるように）、コンピュータの制御、データの操作、ユーザに最も近接した環境との相互作用、またはユーザから最も遠隔した環境との相互作用の目的のために、投影されたデジタル画像に注入できる。

目視者の視野または目視者のその他の条件に従い、頭部追跡、視線追跡またはその他の外部パラメータを用いて、注入されたマッピング機能を変更できる。ワーピングの例において、シミュレーションの目的のために、適当なワーピング頭部追跡を用いてドーム型スクリーンまたは他の没入型スクリーン上に投影されたデジタル画像を位置決めできる。例示的ワープを実現するための適切な幾何パラメータは当業者によって理解される。

注入に基づくデジタルイメージングシステムは、投影されたデジタル画像を修正するために時間の関数としても使用できる。たとえばプロジェクタアライメントが（時間に連れて物理的ミスアライメントが起こり得るなどの理由で）特定の時間だけ認められる場合、この時間が経過した後で目に見える警告を注入できる。代替として、加熱効果など所定のパターンのアライメントドリフトを補償するために、特定の時間の後にマッピング機能を自動的に変更できる。別の実施態様において、マッピングを時刻に基づいて変更して、日中の動作では周囲光の増加を補償し、夜間の動作ではこの補償を取り除くことができる。別の実施態様において、マッピングは室温または湿度などの外部要因に依存できる。マッピングは参照テーブルであらかじめ決定できるか、またはリアルタイムまたはほぼリアルタイムに計算できる。

システムの種々の実現においてフィードバックのために用いられるセンサは、スチルカメラ、例示的に１秒当り３０フレームもしくはその他のフレームレートで動作するビデオカメラ、周囲光センサ、または投影されたデジタル画像もしくは周囲環境の特性を感知する任意のその他の装置を含んでいてもよい。スチルカメラの例では、コンピュータを使用してカメラに要求された通りに撮影させることができる。センサはプロジェクタの動作特性、たとえばそれらの温度または動作モードを決定するために使用することができる。

ラジェーフ・Ｊ．スラティ他の米国公開特許出願第２００８０／２４６７８１Ａｌ号明細書「光学フィードバックを用いるディスプレイ調節と画像処理により改善されたディスプレイ品質を提供するためのシステムおよび方法」には、ディスプレイの光学・機械・熱・電子（ＯＭＴＥ）パラメータが記載されており、その教示内容は参照により有益な背景情報として本明細書に組み入れられる。ＯＭＴＥパラメータはコンピュータ制御または手動制御によって修正してもよく、次いでマッピング機能はＯＭＴＥの変化とともに作動する画像に変換できる。

デジタルイメージングシステムに対するマッピング機能注入の特殊な例は、次の３つの条件に基づいている。（１）デジタルイメージングシステムに注入されるマッピング機能が生成されていること；（２）オペレーティングシステムがマイクロソフトウィンドウズビスタ（登録商標）に例示される合成ソフトウェアを有しており、この合成ソフトウェアはマイクロソフトウィンドウズ（登録商標）におけるデスクトップウィンドウマネージャ（ｄｗｍ．ｅｘｅ）、アップルのレオパード（登録商標）オペレーティングシステムにおける等効のウィンドウマネージャ、またはリナックス（登録商標）オペレーティングシステムにおけるコンピズ（商標）を含んでいてもよく；また、（３）合成ソフトウェアは一般的なライブラリ、たとえばダイレクトＸ（登録商標）、オープンＧＬ（商標）またはＤドロー（商標）によって策定できる。また、マッピング機能注入を可能にするために、呼び出されてスクリーンに表示する機能、たとえばダイレクトＸにおけるプレゼントまたはオープンＧＬにおけるＧＬスワップ（または下層ライブラリにおけるより低いレベルの機能）がプロセスによって知られなければならない。一実施態様において、注入を実行するコンピュータコードの一部は、初期化に関係する合成ソフトウェアによって使用される機能を上書きする。コンピュータコードの一部はさらに、オリジナル機能から呼び出す機能で特定の関連する状態を検出する。これらの呼出しに先立ち、コンピュータコードの一部は状態を初期し、検査し、もしくは設定し、またはマッピングを適切なものとして成立させる。これはダイレクト３Ｄの例では、初期化のためのクリエートデバイスの作動中、またはプレゼントの作動中に起こり得る。この成立は通常メッシュに対する１組のシェーダまたは画像の頂点に対するシェーダを初期化して利用する。これはオープンＧＬではＧＬスワップの動作を含むであろう。一実施態様において、合成ソフトウェアまたはアプリケーションソフトウェアがスタートもしくは再スタートされる度に、コンピュータコードの一部を注入できる。

また、種々の実施態様において、デジタルイメージングシステムへの注入を実現するために使用される特殊なハードウェアは、望ましくは市販のコンピュータグラフィックスボード、たとえばＮＶＩＤＩＡ（カリフォルニア州サンタクララ）によって作られたクアドラ（商標）シリーズのグラフィックスカードを利用できることにも留意されたい。

種々の実施態様において、マッピング機能の注入のその他の実現は、ディザリンの補正、ワーピング補正の前のディザリングの補正、ムラ欠陥の補正、透過型ＬＣＤプロジェクタに対するシェーディング補正、プロジェクタとカメラを埋設した携帯電話のためのマッピング、マルチレイヤシミュレーションのワーピング、たとえばマイクロソフトフライトシミュレーション（マイクロソフト社、ワシントン州レドモンド）、プロジェクタ上で動くマイクロソフトウィンドウＣＥオペレーティングシステムのメニューのワーピング、単一ディスプレイの半径方向歪み補正、単一ディスプレイの表示動作の調節、大型ディスプレイの一部のみ示すこと、たとえば方形ディスプレイの円形部分を示すこと、および１枚の壁または天井が異なる色または他の表面特性を有する場合に部屋の一角に投影して条件を補正することを含む。注入される具体的なパラメータは、当業者に明らかな慣用的なやり方で計算される。

種々の実施態様において、多重コンピュータが用いられる。例を挙げると、第１のコンピュータシステムおよび第２のコンピュータシステムは、それぞれ第１の合成器および第２の合成器を有するように構成されている。第１のコンピュータと第２のコンピュータは、当業者には明らかなやり方で慣用的な通信リンクを介して互いに通信するように構成されている。コンピュータコードはそれぞれ第１のコンピュータと第２のコンピュータに注入される。動作中、第１のコンピュータは第１のマッピング機能を用いて表示信号を第１のディスプレイに出力し、これが表示されたデジタル画像を形成する。表示信号は部分的に第２のコンピュータと通信された情報に基づいている。同様に、第２のコンピュータは第２のマッピング機能を用いて表示信号を第２のディスプレイに出力し、これが表示されたデジタル画像を形成する。表示信号は部分的に第１のコンピュータと通信された情報に基づいている。

種々の代替的実施態様において、マッピング機能はコンピュータ可読媒体に記憶されている。コンピュータコードは、当業者に明らかなように、コンピュータがコンピュータ可読媒体を読み取るとコンピュータハードウェアを制御するように作動的に構成されている。コンピュータシステムによって初期化されると、コンピュータコードは本明細書に記されていように作動的に機能するであろう。

以上、本発明の例示的な実施態様について詳細に説明した。本発明の精神と範囲から逸脱することなく、様々な修正および追加を行うことができる。多数の特徴を提供するために、上記の種々の実施態様の各々は上記の他の実施態様と組み合わせることができる。さらに、上に本発明の装置と方法の幾つかの実施態様について具体的に説明したが、ここに記されているのは本発明の原理の応用を提示するものに過ぎない。たとえば図１、図３および図４に示されているように画像表示システムにおいて１台のコンピュータが設けられてよく、または画像表示システムにおいて２台以上のコンピュータが設けられてよい。合成器は多数のコンピュータまたは多数の中央処理ユニット（ＣＰＵ）に分散させることができる。多数のコンピュータまたはＣＰＵは拡張ローカルバス上に駐在でき、またはイーサネット（登録商標）などのネットワーク構成によって接続できる。また、図１、図３および図４に示されているように、画像表示システムにおいて１個のセンサを設けてもよく、または画像表示システムにおいて複数のセンサを設けてもよい。投影されたデジタル画像からパラメータを感知することなく所定のマッピング機能が行われる例において、デジタルイメージングシステムはセンサを全く有しなくてもよい。また、システムがパラメータ、ジオメトリなどを手動調節できるように適合されている場合、システムはセンサを全く有しなくてもよい。さらに、本明細書における教示は電子的ハードウェア、コンピュータ可読プログラムからなるソフトウェア、またはハードウェアとソフトウェアとの組合せを用いて実現できることが明確に想定されている。したがってこの説明は、単なる例示として取られることを意図するものであり、他の点で本発明の範囲を制限することを意図するものではない。

Claims (39)

1. ディスプレイ品質を改善する方法であって、
   コンピュータシステム上に作動的に配置および構成された合成器にコンピュータコードの一部を注入し；
   前記コンピュータコードの一部を使用してマッピング機能を第１のデジタル画像に適用し；
   適用されたマッピング機能を有する第１のデジタル画像の第２のデジタル画像を形成するステップを含む、ディスプレイ品質を改善する方法。
2. さらに、表示されたデジタル画像を形成するために第２のデジタル画像をディスプレイに表示するステップを含む、請求項１記載の方法。
3. 表示されたデジタル画像の形成は多数のディスプレイによって実行され、各ディスプレイは表示されたデジタル画像の部分を形成する、請求項２記載の方法。
4. 多数のディスプレイはプロジェクタである、請求項３記載の方法。
5. ２台のディスプレイから表示されたデジタル画像の部分が一部重なるように、少なくとも２台のディスプレイが配置されている、請求項３記載の方法。
6. ２台のディスプレイから表示されたデジタル画像の前記部分がほぼ完全に重なるように、少なくとも２台のディスプレイが配置されている、請求項３記載の方法。
7. ２台のディスプレイから表示されたデジタル画像の前記部分が立体イメージを形成する、請求項６記載の方法。
8. 第３のディスプレイと第４のディスプレイは、第３のディスプレイと第４のディスプレイから表示されたデジタル画像の前記部分が一部重なるように配置されている、請求項６記載の方法。
9. 少なくとも２台のディスプレイは、２台のディスプレイから表示されたデジタル画像の前記部分が重ならずに結合されたエッジであるように配置されている、請求項３記載の方法。
10. 少なくとも２台のディスプレイは、２台のディスプレイから表示されたデジタル画像の前記部分がギャップ領域を有するように配置されている、請求項３記載の方法。
11. 前記ギャップ領域は多数のディスプレイのうちの１台より小さい、請求項３記載の方法。
12. 表示されたデジタル画像の特徴が前記ギャップ領域で表示されないように、表示されたデジタル画像の部分がシフトされる、請求項１０記載の方法。
13. さらに、表示されたデジタル画像の特性をセンサから感知し；
    マッピング機能を制御するために表示されたデジタル画像の特性を使用することを含む請求項２記載の方法。
14. 前記特性はピクセルの位置である、請求項１３記載の方法。
15. 前記マッピング機能はワーピング機能である、請求項１記載の方法。
16. 前記マッピング機能はカラーマッピング機能である、請求項１記載の方法。
17. 前記マッピング機能は空間変化フィルタである、請求項１記載の方法。
18. 前記マッピング機能は時間変化フィルタである、請求項１記載の方法。
19. 前記マッピング機能は輝度マッピング機能である、請求項１記載の方法。
20. さらに、前記第１のデジタル画像はフルスクリーン画像であるか決定し；
    前記デジタル画像がフルスクリーン画像であれば、コンピュータコードの一部を合成器に注入するステップを含む、請求項１記載の方法。
21. さらに、前記デジタル画像がフルスクリーン画像でなければ、コンピュータコードの一部をアプリケーションに注入するステップを含む、請求項２０記載の方法。
22. マッピング機能で前記第１のデジタル画像を合成器に注入する前に、第１のデジタル画像に視覚情報を追加することを含む、請求項１記載の方法。
23. 視覚情報は三次元ユーザインターフェースを形成する、請求項２２記載の方法。
24. コンピュータコードの一部を注入するステップは自動的にオンまたはオフにされる、請求項１記載の方法。
25. 前記マッピング機能は、グラフィックスドライバソフトウェアとディスプレイの性能を調整するように適合される、請求項１記載の方法。
26. ディスプレイ品質を改善する方法であって、
    コンピュータコードの一部をグラフィックスドライバに注入し；
    コンピュータコードの一部を使用してマッピング機能をデジタル画像に適用し；
    適用されたマッピング機能を有するデジタル画像の表示されたデジタル画像を形成するステップを含む、ディスプレイ品質を改善する方法。
27. さらに、デジタル画像がフルスクリーン画像であるか決定し；
    前記デジタル画像がフルスクリーン画像であれば、グラフィックスドライバにコンピュータコードの一部を注入するステップを含む、請求項２６記載の方法。
28. さらに、前記デジタル画像がフルスクリーン画像でなければ、コンピュータコードの一部をアプリケーションに注入するステップを含む、請求項２７記載の方法。
29. デジタルイメージングシステムであって、
    第１のコンピュータと；
    第１のコンピュータ上で作動する第１の合成器と；
    第１の合成器に注入されたコンピュータコードの一部と；
    第１のコンピュータの出力から表示されたデジタル画像を形成し；
    前記コンピュータコードの第１の部分は第１のマッピング機能を第１のコンピュータ内の第１のデジタル画像に適用することを含む、デジタルイメージングシステム。
30. さらに、第２のディスプレイを含み、第１のディスプレイは表示されたデジタル画像の第１の部分を形成し、第２のディスプレイは、表示されたデジタル画像の第２の部分を形成する、請求項２９記載のシステム。
31. さらに、第２のコンピュータと；
    第２のコンピュータ上で作動する第２の合成器とを含み、
    第１のコンピュータと第２のコンピュータとの間の通信リンクは、第１のコンピュータと第２のコンピュータとの間で信号を受け取って、第１のディスプレイが第１のコンピュータの出力と第２のコンピュータの出力から表示されたデジタル画像を形成する、請求項３０記載のシステム。
32. さらに、第２のディスプレイを含み、前記第１のディスプレイは表示されたデジタル画像の第１の部分を形成し、第２のディスプレイは、表示されたデジタル画像の第２の部分を形成する、請求項３１記載のシステム。
33. コンピュータコードの第２の部分は第２の合成器に注入される、請求項３１記載のシステム。
34. コンピュータコードの第２の部分は、第２のコンピュータ上で作動するアプリケーションに注入される、請求項３１記載のシステム。
35. コンピュータコードの第１の部分は、コンピュータ外部のマッピングソフトウェアの一部と通信する、請求項２９記載のシステム。
36. コンピュータコードの一部を使用してマッピング機能をデジタル画像に適用し；
    適用されたマッピング機能でデジタル画像の表示されたデジタル画像を形成し；
    表示されたデジタル画像の特性を感知し；
    前記特性を用いてマッピング機能を制御することを含むステップによって、ディスプレイ品質を改善するために、コンピュータシステムを作動的に制御するように構成されたコンピュータコードを含むコンピュータ可読媒体。
37. 前記特性はピクセルの位置である、請求項３６記載の方法。
38. 前記マッピング機能はワーピング機能である、請求項３７記載の方法。
39. ディスプレイ品質を改善する方法であって、コンピュータコードの一部の注入を受け入れるようにコンピュータオペレーティングシステムを適合させ；
    コンピュータオペレーティングシステムにコンピュータコードの一部を注入し；
    コンピュータコードの一部を使用してマッピング機能をデジタル画像に適用し；
    適用されたマッピング機能を有するデジタル画像の表示されたデジタル画像を形成することを含む、ディスプレイ品質を改善する方法。

Images