JP2020513699A - 自動校正投射システムおよび方法 - Google Patents

Abstract

画像を表示するためのプロジェクタのシステムを自動的に校正するための方法であって、方法は、プロジェクタから投射面に画素を選択的に投射するステップと、投射面にわたり投射された画素を感知するステップと、選択的に投射された画素および感知された画素に基づいてプロジェクタ／スクリーンマッピングを導出するステップと、プロジェクタ／スクリーンマッピングに基づいて画素補正関数を導出するステップと、グラフィックプロセッサユニット（ＧＰＵ）のグラフィカルパイプライン内のマッピングメッシュにテクスチャマップを適用することによって画素補正関数を格納するステップと、少なくともミスアライメントを補正する補正画素データを生成するために入力画像画素データに画素補正関数を適用するステップと、補正画素データを用いてプロジェクタを駆動するステップとを備える。【選択図】図１Ａ

Description

本発明は、複数のプロジェクタ自動校正システムおよび方法に関する。

水平方向に３６０度かつ垂直方向に１８０度まで投射することが可能でなくてはならない、建物の壁または大勢の人を収容することができる大型膨張式ドームにおけるような非常に大型の投射システムは、現在の投射技術に関する大きな課題である。そのような設備に関して、様々なプロジェクタからの重複するディスプレイを結合することが一般的である。米国特許第６，３７７，３０６号、６，５２５，７７２号において、Ｊｏｈｎｓｏｎ氏他は、非ランバーシアン面において重複は２５％以上でなくてはならないことを決定した。プロジェクタのレンダリング、アライメント、およびマッチングの品質を達成するために、システムの複数の校正態様を実現することが必須であり、これは、熟練者にとっても時間のかかる作業である。

投射面において高精度で配置された単一のシームレスで均一かつ大きな画像を実現するためのプロジェクタのグループに関して、克服すべき数々の問題が存在する。本明細書で一般に意図される補正の種類は、複数のプロジェクタによって重複された領域の合計強度が残りの投射面と同様の強度であるようにするプロジェクタ間でのブレンディング画像補正を含む（Ｈａｒｖｉｌｌｅ、２００６）。さらに、スクリーン、または建物の床、壁、および天井などの複雑な静止面に、あるいはたとえば膨張式ドームなどの一時的なものにおいて投射される画像の幾何学的校正を行わなければならない。手動の幾何学的校正の場合、最新技術は一般に、成し遂げるために手のかかる相当な精度の適用を伴う。米国特許第８，７７７，４１８号において、Ｗｒｉｇｈｔ氏他は、自動校正方法を提示したが、この方法は、複数回反復して動作すること、およびスクリーン上のマーカを必要とする。米国特許第９，３６９，６８３号において、Ｔｉｍｏｎｅｒ氏他は、マーカを用いる手動および半自動両方の校正方法を提示した。

投射ベースのディスプレイは、場合によっては、多くの場合プロジェクタの不完全な光学部品の結果生じる色ごとのチャネルにおける、幾何学的歪みに悩まされる。またこれらは、プロジェクタ内およびプロジェクタ間での強度のばらつき、色の光沢、プロジェクタ間での色の不一致、変化する黒レベル、様々な入力出力曲線などにも悩まされる。複数プロジェクタ構成における様々な種類のプロジェクタの使用または古いプロジェクタと真新しいプロジェクタとを組み合わせることにより、投射面における著しい強度および色の不一致が生じ得る。米国特許第７，０３８，７２７号において、Ｍａｊｕｍｄｅｒ氏他は、プロジェクタ間の強度のばらつきを補正する方法を提示した。

プロジェクタ間での、また特に各ユニットに関する色および強度の変化は、複数の投射ユニットの使用に関する補償を実現するために補正されなければならない（Ｐａｇａｎｉ、２００７）。米国特許第６，４５６，３３９号において、Ｓｕｒａｔｉ氏他は、カメラの使用、および変更されたジオメトリ、色、および明るさを有する修正画像を処理後に提供することによってプロジェクタのアライニングおよびマッチングプロセスを単純化するための画素補正関数およびルックアップテーブルによる画像処理を開示した。各プロジェクタの投射画素からのフィードバックを取得するために、たとえば校正されたカラーカメラなどの光学センサの１つまたはアレイを用いることは、投射面に単一のシームレスで均一な校正画像を実現するために投射画素の各々を見当合わせ、校正、および補正することを可能にする。高品質の色再現、均一性、および強度を有するシームレスな単一画像を生成するために複数のプロジェクタシステムを校正（見当合わせ、ブレンディング、強度、色）するための方法が存在するが、プロセスを完了するために、いくつかの手動または半手動動作を行うことが必要である。これは特に、たとえば複数の投射ショーが次々に提供されるドーム内での巡回投射の場合など、急速に移動および再設置される必要がある設備の場合、問題となる。投射システムの要素（プロジェクタ、カメラ、レンズなど）が変更され、移動され、または単にわずかに非整列である場合、２つのショーの間で急速に再校正が行われなければならない。

校正プロセス中、環境条件または妨害が、誤ったまたは誤ラベル付きの検出点を生成することにより、問題を手動で補正し、または校正プロセスを再開する人間の介入なしでは校正が不可能になり得る。米国特許第７，８９３，３９３号において、Ｗｅｂｂ氏他は、そのような誤検出されたまたは誤ラベル付きの点のための方法を提示するが、この方法は、動作するためにパラメトリック局面方程式を必要とする。

上記欠点に対処するために、所望の方法は、臨時または定期のプロジェクタおよびカメラの配置または変更の後に行われる、投射面における補正された合成画像のモーフィング、ブレンディング、色、明るさ、および高精度の配置を含む急速自動校正機能を提供しなければならない。

以下の米国特許は、本発明に関連する他のシステムを開示するものである。Ｓｕｋｔｈａｎｋａｒ氏他によるＵＳ６，６１８，０７６号、Ｃｈａｎｇ氏によるＵＳ７，３０６，３４１号、およびＳａｊａｄｉ氏他によるＵＳ９，１９５，１２１号。

他の参照文献

コンピュータグラフィックスおよびアプリケーションに関する第１０回太平洋会議（２００２）の議事録における、Ｂｒｏｗｎ, Ｍ.Ｓ.，Ｓｅａｌｅｓ, Ｗ.Ｂ.，“Ａ Ｐｒａｃｔｉｃａｌ ａｎｄ Ｆｌｅｘｉｂｌｅ Ｔｉｌｅｄ Ｄｉｓｐｌａｙ Ｓｙｓｔｅｍ”

Ｈａｒｖｉｌｌｅ, Ｍ., Ｃｕｌｂｅｒｔｓｏｎ, Ｂ. Ｓｏｂｅｌ, Ｉ., Ｇｅｌｃ, Ｄ., Ｆｉｔｚｈｕｇｈ, Ａ., Ｔａｎｇｕａｙ, Ｄ., “Ｐｒａｃｔｉｃａｌ Ｍｅｔｈｏｄｓ ｆｏｒ Ｇｅｏｍｅｔｒｉｃ ａｎｄ Ｐｈｏｔｏｍｅｔｒｉｃ Ｃｏｒｒｅｃｔｉｏｎ ｏｆ Ｔｉｌｅｄ Ｐｒｏｊｅｃｔｏｒ Ｄｉｓｐｌａｙｓ ｏｎ Ｃｕｒｖｅｄ Ｓｕｒｆａｃｅｓ,” Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ Ｗｏｒｋｓｈｏｐ（２００６）

Ｐａｇａｎｉ, Ａ., Ｓｔｒｉｃｋｅｒ, Ｄ.，“Ｓｐａｔｉａｌｌｙ ｕｎｉｆｏｒｍ ｃｏｌｏｒs ｆｏｒ ｐｒｏｊｅｃｔｏｒｓ ａｎｄ ｔｉｌｅｄ ｄｉｓｐｌａｙｓ,” Ｊｏｕｒｎａｌ ｏｆ ｔｈｅ Ｓｏｃｉｅｔｙ ｆｏｒ Ｉｎｆｏｒｍａｔｉｏｎ Ｄｉｓｐｌａｙ, Ｖｏｌ. １５, ｎｏ. ９, ｐｐ. ６７９−６８９（２００７）

Ｂｉｌｌｏｔ, Ａ., Ｇｉｌｂｏａ, Ｉ., Ｓｃｈｍｅｉｄｌｅｒ, Ｄ., “Ａｘｉｏｍａｔｉｚａｔｉｏｎ ｏｆ ａｎ Ｅｘｐｏｎｅｎｔｉａｌ Ｓｉｍｉｌａｒｉｔｙ Ｆｕｎｃｔｉｏｎ,” Ｍａｔｈｅｍａｔｉｃａｌ Ｓｏｃｉａｌ Ｓｃｉｅｎｃｅｓ, Ｖｏｌ. ５５, Ｉｓｓｕｅ ２, ｐｐ. １０７−１１５,（２００８）

１つの態様において、本発明は、投射面に適切に配置されたシームレスな単一画像を生成するために必要な校正プロセス全体を統合することによって、複数の２Ｄプロジェクタ合成画像の手動または半手動校正および配置の欠点を克服するものである。画像の配置は、投射面においてアクティブ発光ダイオード（ＬＥＤ）ビジュアルタグを用いることによって実現される。

本発明によると、複数の２Ｄビデオプロジェクタからのシームレス画像を自動的に校正および配置するためのシステムおよび方法が提供される。このプロセスは、３つのサブプロセスに副分割され得る。第１のサブプロセスは、プロジェクタの画素を少なくとも１つのカメラの画素に見当合わせすることによるカメラ／プロジェクタシステムの校正に関する。提案される見当合わせの方法は、従来技術よりも堅固であり表面の均一化を必要としない校正プロセスを提供するために、機械学習アルゴリズムによって誤検出されたまたは誤ラベル付きの点を除去するための投射された校正試験パターンの新規の整合性チェックを含む。この第１のサブプロセスは、１または複数のプロジェクタが動かされる度、または１または複数のカメラが移動されると、繰り返される。

第２のサブプロセスは、各カメラの画素に関してＬＥＤアクティブマーカの位置を見当合わせすることによる、投射面を用いるカメラの校正に関する。各ＬＥＤマーカは、プロジェクタによって表示される最終画像の座標に関連する。したがって、最終画像のジオメトリは、ＬＥＤマーカの位置およびそれらのアクティブ化順序に依存する。第２のサブプロセスは、少なくとも１つのカメラまたはＬＥＤマーカが移動された場合のみ、繰り返される。

第３のサブプロセスは、プロジェクタの全体が単一プロジェクタのみである印象を与えるためにプロジェクタの画素の画素マトリックスおよび画素の明るさを変更するために、プロジェクタの画素にマッピングおよびブレンディングパラメータを適用することに関する。画素のマトリックスおよび画素の明るさの修正は、最初の２つの校正ステップまたはサブプロセスの間に情報を収集することによって実現される。マッピングおよびブレンディングは、グラフィック処理ユニット（ＧＰＵ）のグラフィカルパイプライン内のマッピングメッシュにテクスチャマップを適用することによって実現され、これは、たとえばリアルタイムでブレンディングパラメータを補正するためまたは最終画像のジオメトリを修正するために追加の再計算を必要とする画素対応表の使用などによる他の既知の方法よりも高速である。これらの再計算ステップに要する追加の時間は、使用されているプロジェクタの数および必要な画像解像度に基づいて増加する。また、たとえばプロジェクタ間でホワイトバランスを維持することに着目する色域ブレンディングなどの他の既知の方法よりも良好な色均一性を得るために、幾何学的色ブレンディングの前にホワイトバランスが行われる。

本発明によって提案されるマッピングおよびブレンディング方法は、「幾何学的ワープ」に基づき、２つのパスしか必要としない。第１のパスにおいて、補正対象の画像はメッシュにレンダリングまたはワープされる。メッシュの各頂点の座標は、校正中に投射された構造化光点の座標に対応する。メッシュの各頂点は、２つの関連ＵＶ座標を有する。これらは、補正対象の画像のレポジトリにおける座標である。メッシュの各頂点は、補正対象の画像内の点に関連する。これらのＵＶ座標は、校正カメラのセンサにおける構造化光点の検出位置に対応する。画像ワーピングは、リアルタイムで行われ、非常に高い解像度のために最適化される。したがって、ＵＶ座標を単純に修正することによって最終画像のジオメトリをリアルタイムで修正するために本発明を使用することが全体として可能であり、これは、そのような過去の方法に必要であるようなルックアップテーブルの追加の再計算を必要としない。アンチエイリアシングフィルタリングとともに第２のパスにおいてブレンディングが起こる過去の方法とは異なり、本発明は、画素の幾何学的補正と同時にフラグメントシェーダにおいてブレンディングを実行することにより、少ない計算時間しか要さない。

本発明によると、画像を表示するためのプロジェクタのシステムを自動的に校正するための方法が提供され、この方法は、プロジェクタから投射面に画素を選択的に投射するステップと、投射面にわたり投射された画素を感知するステップと、選択的に投射された画素および感知された画素に基づいてプロジェクタ／スクリーンマッピングを導出するステップと、プロジェクタ／スクリーンマッピングに基づいて画素補正関数を導出するステップと、グラフィックプロセッサユニット（ＧＰＵ）のグラフィカルパイプライン内のマッピングメッシュにテクスチャマップを適用することによって画素補正関数を格納するステップと、少なくともミスアライメントを補正する補正画素データを生成するために、入力画像画素データに画素補正関数を適用するステップと、補正画素データを用いてプロジェクタを駆動するステップとを備える。

実施形態において、画素補正関数は、共通領域における複数の投射のミスアライメントを補正する。

実施形態において、画素補正関数は、投射画像にわたる強度のばらつきを補正する。

実施形態において、画素補正関数は、投射画像にわたる欠陥を補正する。

実施形態において、画素補正関数は、色収差を補正する。

実施形態において、画素補正関数は、回転歪みを補正する。

実施形態において、画素補正関数は、入力画像の滑らかなワーピングを実行する。

実施形態において、テクスチャマップは、画素補正関数がグラフィカルパイプラインとプロジェクタとの間で画素データに適用されるように、グラフィックプロセッサユニット（ＧＰＵ）のグラフィカルパイプライン内のマッピングメッシュに適用される。

実施形態において、テクスチャマップは、プロジェクタが、グラフィカルパイプライン内の補正画素データから駆動されるように、グラフィックプロセッサユニット（ＧＰＵ）のグラフィカルパイプライン内のマッピングメッシュに適用される。

実施形態において、複数のプロジェクタが提供され、プロジェクタの各々は、プロジェクタのグラフィカルパイプラインの各々にテクスチャマップの一部を備える。

実施形態において、画素補正関数は、重複する画素アレイのミスアライメントを補正する。

実施形態において、画素補正関数は、重複する投射領域をブレンドする。

実施形態において、各複数色に個別のテクスチャマップが提供される。

実施形態において、プロジェクタ出力は、投射面からずれた位置にある光学センサによって感知される。

実施形態において、光学センサは、少なくとも１つのカメラを備える。

実施形態において、プロジェクタ／スクリーンマッピングを導出するステップは、センサ／スクリーンマッピングを導出するステップと、プロジェクタ／センサマッピングを導出するステップと、センサ／スクリーンマッピングとプロジェクタ／センサマッピングとを構成することによってプロジェクタ／スクリーンマッピングを導出するステップとを備える。

実施形態において、センサ／スクリーンマッピングを導出するステップは、投射面に校正パターンを投射するステップと、光学センサで投射された校正パターンを見ることによってセンサ空間内の画素と投射面位置とのマッピングを作成するステップとを備える。

実施形態において、プロジェクタ／センサマッピングを導出するステップは、プロジェクタ出力を感知する間にプロジェクタ画素を選択的に駆動するステップを備える。

実施形態において、プロジェクタ出力は、平坦面に投射される。

実施形態において、プロジェクタ出力は、曲面に投射される。

実施形態において、プロジェクタ出力は、不規則面に投射される。

実施形態において、方法は更に、観察者の位置を測定するステップと、観察者の位置に応答して画像画素データにリアルタイム視差補正を実行するステップとを備える。

実施形態において、方法は更に、観察者の目の各々に異なる画像を提供するステップを備える。

実施形態において、方法は更に、観察者の目の各々にフレームトリガシャッタを提供するステップを備える。

実施形態において、方法は更に、投射偏光制御を提供するステップを備える。

実施形態において、方法は更に、赤／青色付きグラスを提供するステップを備える。

実施形態において、方法は更に、複数色を投射するステップと、観察者の目の各々に個別の狭帯域色フィルタを用いるステップとを備える。

また、画像を表示するためのプロジェクタのセットを自動的に校正するためのシステムも提供され、システムは、投射面にプロジェクタ出力を投射するためのプロジェクタと、投射面にわたり投射されたプロジェクタ出力を感知するための、投射面に対して動かすことが可能な少なくとも１つのセンサと、表示するための最終画像の投射面における位置を感知するための少なくとも２つのアクティブＬＥＤマーカと、プロジェクタ画素を選択的に駆動し、少なくとも１つのセンサからの感知されたプロジェクタ出力を読み取ることによって、プロジェクタ／スクリーンマッピングを決定し、少なくともミスアライメントを補正するために入力画像画素データに画素補正関数を適用するために構成された少なくとも１つのプロセッサであって、少なくとも１つのプロセッサは、補正画素データを用いてプロジェクタを駆動し、画素補正関数は、プロジェクタ／スクリーンマッピングに基づいてプロジェクタ座標空間とスクリーン座標空間との間でマッピングする。

実施形態において、少なくとも２つのアクティブＬＥＤマーカは、少なくとも２つのＬＥＤマーカを順にオンにすることと、センサ／マーカ位置を導出することと、マーカ／画像マッピングを導出することと、センサ／マーカ位置とマーカ／画像マッピングとを構成することとによって、表示するための最終画像の投射面における正しい位置を感知する。

また、画像を表示するためのプロジェクタのシステムを自動的に校正するための方法も提供され、方法は、プロジェクタから投射面に画素を選択的に投射するステップと、投射面にわたって投射された画素を感知するステップと、誤検出されたまたは誤ラベル付きの構造化光符号化点を除去するステップと、選択的に投射された画素および感知された画素に基づいて、プロジェクタ／スクリーンマッピングを導出するステップと、プロジェクタ／スクリーンマッピングに基づいて、画素補正関数を導出するステップと、画素補正関数を格納するステップと、少なくともミスアライメントを補正する補正画素データを生成するために、入力画像画素データに画素補正関数を適用するステップと、補正画素データを用いてプロジェクタを駆動するステップとを備える。

実施形態において、誤検出されたまたは誤ラベル付きの構造化光符号化点は、機械学習プロセスによって除去される。

実施形態において、誤検出されたまたは誤ラベル付きの構造化光符号化点を除去するステップは、プロジェクタから投射面に校正パターン画素を選択的に投射するステップと、投射面にわたり投射された上記パターン画素を感知するステップと、機械学習プロセスによって、誤ったまたは誤ラベル付きの構造化光符号化点を検出するステップと、検出された校正パターンにおける誤ったまたは誤ラベル付きの校正パターン点を補正または削除するステップとを備える。

本発明の例示的な実施形態に係る、カメラ／プロジェクタ見当合わせアルゴリズムのブロック図である。 本発明の例示的な実施形態に係る、構造化光プロセスのブロック図である。 本発明の例示的な実施形態に係る、ＬＥＤマーカ見当合わせプロセスのブロック図である。 本発明の例示的な実施形態に係る、プロジェクタ補正プロセスのブロック図である。 本発明の例示的な実施形態に係る、投射補正プロセスのためのＧＰＵシェーダのブロック図である。 本発明の例示的な実施形態に係る、校正モードでプロジェクタ校正プロセスにおいて用いられるハードウェアのブロック図である。 本発明の例示的な実施形態に係る、レンダリングモードでプロジェクタ校正プロセスにおいて用いられるハードウェアのブロック図である。

図１Ａを参照すると、プロジェクタ見当合わせプロセスのブロック図が示される。図は、プロジェクタを見当合わせするプロセスを開始する「開始」ブロック１００で始まる。「構造化光プロセス」ブロック１０１において、プロセスは、投射および構造化光検出を開始する。使用されるアルゴリズムに関わらず、目的は、カメラの基準フレーム画素（ブロック１０２を参照）においてプロジェクタの画素にわたる既知の基準点（ブロック１０３を参照）を見つけ出すことである。「点格子（カメラ座標）」ブロック１０２において、プロセスは、カメラの座標系によって検出された点の座標を含む表を用いる。各ペア（カメラ、プロジェクタ）に１つの表が存在する。Ｎ個のプロジェクタおよびＭ個のカメラが存在する場合、Ｎ×Ｍ個の表が存在する。「点格子（プロジェクタ座標）」ブロック１０３において、プロセスは、プロジェクタの座標系における既知の点の座標を含む表を用いる。各プロジェクタに１つの表が存在する。「点格子整合性チェック」ブロック１０４において、プロセスは、機械学習アルゴリズムを用いて、誤検出されたまたは誤ラベル付きの点を除去する。基準カメラ１０５は、ステッチングのための基準として用いられる。「ステッチングモデルを算出する」ブロック１０６において、プロセスは、検出された点の座標（ブロック１０２を参照）を用いてカメラのステッチングモデルを計算する。ブロック１０６の出力は、基準カメラ１０５に関してカメラのステッチングのためのモデル（ホモグラフィマトリックス）を格納するために「カメラステッチングモデル」ブロック１０７へ送信される。基準カメラ１０５を除き、各カメラに関するホモグラフィマトリックスが用いられる。「プロジェクタごとに」ブロック１０８において、各プロジェクタついてループが開始される。「点格子（カメラ座標）をマージする」ブロック１０９において、プロセスは、基準カメラ１０５の平面において特定のプロジェクタのカメラによって検出された点（ブロック１０２を参照）と、カメラステッチングモデル１０７とをマージする。「マージされた点格子（カメラ座標）」ブロック１１０において、ブロック１０９からの結果が受信される。ブロック１１０は、基準カメラ１０５によって検出された点の座標を含む表を含む。（ブロック１１２における、ループの終点において）各プロジェクタに１つの表が存在する。「マッピング」ブロック１１１において、プロジェクタのマッピング動作が実行される。各プロジェクタについて点の２Ｄ格子が構成される（ブロック１１２を参照）。格子点は、プロジェクタの座標系における既知の点である（ブロック１０３を参照）。検出されなかった点が除去される。その後、メッシュの面を形成するために、この点のセットにドローネ三角形分割が実行される。各メッシュ点に関連するテクスチャＵＶ座標は、基準カメラの座標系（ブロック１１０を参照）におけるこの点の座標である。「マッピングメッシュ」ブロック１１２において、取得されたブロック１１０のプロセス結果は、プロジェクタをマッピングするために必要な情報を含む点の２Ｄメッシュである。ループの終点において、プロジェクタと同じ数の２Ｄメッシュが存在する。「更なるプロジェクタ」ブロック１１３において、プロセスは、プロジェクタが更に存在するかを確認し、存在する場合、ブロック１０８へ戻る。そうでない場合、プロセスは、「ブレンディング」ブロック１１４へ続き、プロジェクタのブレンディング動作を進める。ブロック１０３および１１０から取得された情報を用いて、プロジェクタ間の重複がモデル化される。このように各プロジェクタに関する幾何学的ブレンディング画像を作成することができ、画像の各画素は、プロジェクタの対応する画素の光強度を決定する。カメラを用いてプロジェクタの３色型色覚を測定することによって、プロジェクタのホワイトバランスおよび色域（「測定されたプロジェクタ色域」ブロック１１９）が計算され得る。ホワイトバランスに対する補正は、「プロジェクタホワイトバランス補正」ブロック１１７において計算され、幾何学的ブレンディング画像は、「ブレンディングマップテクスチャ」ブロック１１５において算出される。「測定されたプロジェクタ強度伝達関数」ブロック１１８においてプロジェクタの強度伝達関数を構成するために、各プロジェクタの白色点の明るさは、様々なレベルの強度において測定される。各プロジェクタの各画素の最大強度の測定は、明るさ減衰画像を計算するために用いられ、この画像の各画素は、「輝度減衰マップテクスチャ」ブロック１１６におけるプロジェクタの画素の明るさの減衰レベルに対応する。画素の減衰は、プロジェクタのセットにおける最下画素の最大強度レベルに従って計算される。ブロック１２０における「ターゲット色域」は、プロジェクタセットの共通の実現可能な色域を定義する。これは、ブロック１１９における「測定されたプロジェクタ色域」全体を用いて算出される。「ブレンディングマップテクスチャ」ブロック１１５において、プロセスは、各プロジェクタに、そのプロジェクタの解像度の画像を用いる。画像の各画素は、プロジェクタに対応する画素の明るさを決定する。「輝度減衰マップテクスチャ」ブロック１１６において、プロセスは、各プロジェクタに、そのプロジェクタの解像度の画像を用いる。画像の各画素は、プロジェクタに対応する画素の明るさの減衰を決定する。「プロジェクタホワイトバランス補正」ブロック１１７において、プロセスは、各プロジェクタに、１つが赤色レベルに関し、１つが緑色レベルに関し、１つが青色レベルに関する３つの係数を用いる。「測定されたプロジェクタ強度伝達関数」ブロック１１８は、輝度入力値に関してプロジェクタ輝度応答を格納するために表を用いる。「測定されたプロジェクタ色域」ブロック１１９は、プロジェクタ色域および強度を特徴付けるために、ＣＩＥ−ＸＹＺ色空間における、１つが赤色に関し、１つが緑色に関し、１つが青色に関し、１つが黒色に関し、１つが白色に関する５つの比色測定値を用いる。「ターゲット色域」ブロック１２０は、共通の実現可能なターゲット色空間の色域を特徴付けるために、利得に関連するＣＩＥ−ｘｙ値のセットを用いる。プロジェクタごとに異なり得る利得値を除き、ＣＩＥ−ｘｙ値は、全てのプロジェクタに関して同じである。

図１Ｂを参照すると、本発明の例示的な実施形態に係る、（図１Ａにも示される）構造化光プロセス１０１が示される。構造化光を生成および検出するためのプロセスは、「全てのプロジェクタを用いて黒枠を表示する」第１のステップ１０１ｂを伴う「開始」ステップ１０１ａで始まる。プロセスは、ステップ１０１ｃにおける「プロジェクタごとの」反復を伴うステップ１０１ｃにおいて継続する。プロセスは、プロジェクタの画素のマーキングにおいて点格子を生成することによって「点格子を生成する」ステップ１０１ｄにおいて継続する。プロセスは、「点格子プロジェクタ座標」ブロック１０３（図１Ａを参照）において継続する。プロセスは、点格子を符号化するために構造化光パターンを生成することによって「構造化光パターンを生成する」ステップ１０１ｅにおいて継続する。プロセスは、各構造化光パターンについて以下のステップを反復することによって「構造化光パターンごとに」ステップ１０１ｆにおいて継続する。プロセスは、プロジェクタにパターンを投射することによって「パターンを投射する」ステップ１０１ｇにおけるステップにおいて継続する。プロセスは、各カメラについて以下のステップを反復することによって「カメラごとに」ステップ１０１ｈにおいて継続する。プロセスは、カメラによってピクチャを捕捉することによって「ピクチャを捕捉する」ステップ１０１ｉにおいて継続する。プロセスは、カメラによって構造化光パターンを検出することによって「構造化光パターンを検出する」ステップ１０１ｊにおいて継続する。プロセスは、更なるカメラがあるか否かを確認することによって「更なるカメラ？」ブロック１０１ｋにおいて継続する。ある場合、プロセスはステップ１０１ｈへ折り返す。ない場合、プロセスは、更なるパターンがあるか否かを確認することによって「更なるパターン？」ブロック１０１ｌへ続く。ある場合、プロセスはステップ１０１ｆへ折り返す。ない場合、プロセスは、「点格子カメラ座標」ブロック１０２（図１Ａを参照）へ続く。プロセスは、プロジェクタに黒枠を表示することによって「黒枠を表示する」ステップ１０１ｍにおいて継続する。プロセスは、更なるプロジェクタがあるか否かを確認することによる「更なるプロジェクタ？」ブロック１０１ｎにおいて継続する。ある場合、プロセスはステップ１０１ｃへ折り返す。ない場合、構造化光を生成および検出するためのプロセスは、「終了」ステップ１０１ｏで終わる。

図２Ａを参照すると、本発明の例示的な実施形態に係る、基準カメラ１０５（図１Ａを参照）の座標系におけるＬＥＤマーカ見当合わせプロセスのブロック図が示される。プロセスは、「全てのＬＥＤマーカをオンにする」ステップ２０１において、「開始」ステップ２００で始まる。プロセスは、各カメラを用いて画像を捕捉すること、および基準カメラ１０５（図１Ａを参照）の視点からの単一画像を取得するためにステッチングモデル１０７（図１Ａを参照）を適用することによって、「捕捉およびステッチする」ステップ２０２において継続する。プロセスは、ステップ２０２で捕捉された画像における各ＬＥＤマーカの位置を検出することによって「ＬＥＤマーカ位置を検出する」ステップ２０３において継続する。ＬＥＤマーカの位置は、「ＬＥＤマーカＲＯＩ」ブロック２０４において関心領域（ＲＯＩ）として表される。プロセスのこの段階において、偽陽性および偽陰性が存在し得る。「ＬＥＤマーカＲＯＩ」ブロック２０４は、ステップ２０２における画像捕捉における各ＬＥＤマーカの位置である、ステップ２０３の結果を受信する。プロセスは、光信号によって最終的に伝送されるＬＥＤマーカＩＤを符号化することによって「ＬＥＤマーカＩＤを符号化する」ステップ２０５において継続する。プロセスは、ステップ２０５で識別されたＬＥＤマーカＩＤを符号化する各ビットについて反復することによって「ＬＥＤマーカＩＤを符号化するビットごとに」ステップ２０６において継続する。プロセスは、各ＬＥＤマーカについて反復することによって「ＬＥＤマーカごとに」ステップ２０７において継続する。プロセスは、現在のＩＤビットが１であるかを確認することによって「現在のＩＤビットは１か？」ブロック２０８において継続する。１である場合、プロセスは、ＬＥＤマーカをオンにすることによって「ＬＥＤをオンにする」ステップ２０９において継続する。１でない場合、プロセスは、ＬＥＤマーカをオフにすることによって「ＬＥＤをオフにする」ステップ２１０において継続する。プロセスは、更なるＬＥＤマーカが存在するか否かを確認することによって「更なるＬＥＤ？」ブロック２１１において継続する。ある場合、プロセスはステップ２０７へ折り返す。ない場合、プロセスは「捕捉およびステッチする」ステップ２０２へ続く。プロセスは、ＲＯＩ内の各ＬＥＤマーカについて反復することによって「ＬＥＤ ＲＯＩごとに」ステップ２１２において継続する。プロセスは、ＲＯＩ内の白画素対黒画素の比が閾値より上か下かを確認することによって「閾値」ブロック２１３において継続する。閾値より上である場合、プロセスは、ステップ２１２においてＬＥＤマーカＩＤレジスタへビット１を押し進めることによって「１を押す」ステップ２１４において継続する。閾値より下である場合、プロセスは、ステップ２１２においてＬＥＤマーカＩＤレジスタへビット０を押し進めることによって「０を押す」ステップ２１５において継続する。プロセスは、ＬＥＤマーカＩＤの伝送中に検出されたビットをレジスタに格納することによって「検出されたＬＥＤ ＩＤレジスタ」ブロック２１６において継続する。ブロック２０４に対応する関心領域（ＲＯＩ）ごとにレジスタが存在する。プロセスは、ＲＯＩ内に更なるＬＥＤマーカが存在するかを確認することによって「更なるＬＥＤ ＲＯＩ？」ブロック２１７において継続する。ある場合、プロセスはステップ２１２へ折り返す。ない場合、プロセスは、更なるビットが存在するか否かを確認することによって「更なるビット？」ブロック２１８へと続く。ある場合、プロセスはステップ２０６へ折り返す。ない場合、プロセスは、ＬＥＤマーカＩＤを復号することによって「ＬＥＤマーカＩＤを復号する」ステップ２１９へ続く。有り得ないまたは怪しいＩＤを有するＲＯＩが削除される。プロセスは、（対応する関心領域の中心にある）ＬＥＤマーカの位置を含むステップ２１９の結果を受信する、「復号された位置付きＬＥＤマーカＩＤ」ブロック２２０において継続する。ＬＥＤマーカを見当合わせするためのプロセスは、「終了」ステップ２２１で終わる。

次に図２Ｂを参照すると、本発明の実施形態に係る、「捕捉およびステッチプロセス」２０２が示される。プロセスは、各カメラについて以下のステップを反復することによって「カメラごとに」ステップ２０２ａで始まる。プロセスは、現在の反復を有するカメラを用いて画像を捕捉することによって「フレームを捕捉する」ステップ２０２ｂにおいて継続する。プロセスは、更なるカメラが存在するか否かを確認することによって「更なるカメラ？」ブロック２０２ｃにおいて継続する。ある場合、プロセスは、ステップ２０２ａへ折り返す。ない場合、プロセスは、基準カメラ１０５（図１Ａを参照）の視点からの単一画像を取得するために、ステップ２０２ｂからの捕捉画像にステッチングモデル１０７（図１Ａを参照）を適用することによって「フレームをステッチする」ステップ２０２ｄにおいて継続する。プロセスは、ステップ２０２ｄの結果を受信する、「ステッチされたフレーム」ブロック２０２ｅにおいて継続する。

次に図２Ｃを参照すると、本発明の実施形態に係る、「ＬＥＤマーカＩＤを符号化する」プロセス２０５が示される。プロセスは、各ＬＥＤマーカについて以下のステップを反復することによって「ＬＥＤマーカごとに」ステップ２０５ａで始まる。プロセスは、ＬＥＤマーカＩＤを識別することによって「ＬＥＤマーカＩＤ」ステップ２０５ｂにおいて継続する。プロセスは、「１」ブロック２０５ｄによってＬＥＤマーカＩＤを１ずつインクリメントすることによってステップ２０５ｃにおいて継続する。プロセスは並行して、校正のために用いられるＬＥＤマーカの数を有する「ＬＥＤマーカの数」ブロック２０５ｅにおいて継続する。プロセスは、「２」ブロック２０５ｇによってＬＥＤマーカの数を２ずつインクリメントすることによってステップ２０５ｆにおいて継続する。プロセスは、ステップ２０５ｆの結果を符号化するために必要なビット数を計算することによって「２^ｎ」ステップ２０５ｈにおいて継続する。プロセスは、ステップ２０５ｈの結果を受信することによって「ＬＥＤマーカＩＤを符号化するためのビット数」ステップ２０５ｉにおいて継続する。プロセスは、ステップ２０５ｉによって決定されたビット数でステップ２０５ｃからの結果を符号化することによって「符号化する」ステップ２０５ｊにおいて継続する。プロセスは、ステップ２０５ｊの結果を受信し、符号化されたＬＥＤマーカＩＤを格納する、「符号化されたＬＥＤマーカＩＤ」ブロック２０５ｋにおいて継続する。プロセスは、更なるＬＥＤマーカが存在するかを確認することによって「更なるＬＥＤ？」ブロック２０５ｌにおいて継続する。ある場合、プロセスはステップ２０５ａへ折り返す。ない場合、プロセスはステップ２０６（図２Ａを参照）へ続く。

次に図２Ｄを参照すると、本発明の実施形態に係る、「ＬＥＤマーカＩＤを復号する」プロセス２１９が示される。プロセスは、各ＬＥＤマーカについて以下のステップを反復することによって「ＬＥＤマーカごとに」ステップ２１９ａで始まる。プロセスは、「検出されたＬＥＤ ＩＤレジスタ」ブロック２１６（図２Ａを参照）において継続する。プロセスは、「１」ブロック２１９ｃによってステップ２０５ｂから取得されたＬＥＤマーカの数を１ずつデクリメントすることによってステップ２１９ｂにおいて継続する。プロセスは、ステップ２１９ｂの結果を受信し、復号されたＬＥＤマーカＩＤを格納する、「復号されたＬＥＤマーカＩＤ」ステップ２１９ｄにおいて継続する。プロセスは、更なるＬＥＤマーカが存在するかを確認することによって「更なるＬＥＤ？」ブロック２１９ｅにおいて継続する。ある場合、プロセスはステップ２１９ａへ折り返す。ない場合、プロセスはステップ２２０（図２Ａを参照）へ続く。

図３を参照すると、本発明の例示的な実施形態に係る、プロジェクタ補正プロセスが示される。プロセスは、プロセッサの画像の補正に必要なパラメータを入力として取得することによって「開始」ステップ３００で始まる。パラメータ３０１は、入力フレームに適用された強度伝達関数の逆関数である「ソース強度伝達関数」ブロック３０１ａにおいてソース関数から取得され得る。パラメータ３０１は、補正フレームに適用される強度伝達関数である「ターゲット強度伝達関数」ブロック３０１ｂから取得され得る。パラメータ３０１は、プロジェクタ１１５（図１Ａを参照）のブレンディング画像に適用されたパラメータである、「ブレンディングマップパラメータ」ブロック３０１ｃから取得され得る。パラメータ３０１は、「測定されたプロジェクタ強度伝達関数」ブロック１１８、「測定されたプロジェクタ色域」ブロック１１９、「ターゲット色域」ブロック１２０、「プロジェクタホワイトバランス補正」ブロック１１７、「マッピングメッシュ」ブロック１１２、「ブレンディングマップテクスチャ」ブロック１１５、「輝度減衰」ブロック１１６、および「復号された位置付きＬＥＤマーカＩＤ」ブロック２２０から取得され得る。プロセスは、パラメータ３０１を入力として受信し補正パラメータをグラフィックカードに格納する「ＧＰＵメモリアップロード」ブロック３０２において継続する。プロセスは、各フレームについて以下のステップを反復することによって「フレームごとに」ステップ３０３において継続する。プロセスは、補正するための入力フレームである「入力フレーム」ブロック３０４において継続する。プロセスは、ブロック３０４からの補正するためのフレームを格納する「ＧＰＵメモリアップロード」ブロック３０５において継続する。このステップは、補正するためのフレームが既にグラフィックカードに格納されてあり得る場合、任意選択である。プロセスは、各プロジェクタについて以下のステップを反復することによって「プロジェクタごとに」ステップ３０６において継続する。プロセスは、プロジェクタのフレームを補正するためにグラフィックカードにインストールされたプログラムである「ＧＰＵシェーダ」ブロック３０７において継続する。プロセスは、プロジェクタのための補正フレームを受信する「補正プロジェクタ画像」ブロック３０８において継続する。プロセスは、更なるプロジェクタが存在するかを確認することによって「更なるプロジェクタ？」ブロック３０９において継続する。ある場合、プロセスはステップ３０６へ折り返す。ない場合、プロセスは、補正プロジェクタ画像をプロジェクタに投射することによって「補正プロジェクタ画像を投射する」ステップ３１０へ続く。プロセスは、更なるフレームが存在するか否かを確認することによって「更なるフレーム？」ブロック３１１において継続する。ある場合、プロセスはステップ３０６へ折り返す。ない場合、プロセスは「終了」ステップ３１２で終わる。

次に図４を参照すると、本発明の例示的な実施形態に係る、プロジェクタの画像を補正するためにグラフィックカードに実装される投射補正プロセスのためのＧＰＵシェーダが示される。プロセスは、「各メッシュ頂点の入力フレームテクスチャＵＶ座標を算出する」ための第１のステップ４０１を伴う「開始」ステップ４００で始まる。ステップ４０１は、「復号された位置付きＬＥＤマーカＩＤ」ブロック２２０（図２Ａを参照）からのＬＥＤマーカ座標の関数として、「マッピングメッシュ」ブロック１１２（図１Ａを参照）からのマッピングされたメッシュ頂点に関連するＵＶ座標を更新する。プロセスは、プロジェクタの各画素について以下のステップを反復することによって「プロジェクタ画素ごとに」ステップ４０２を継続する。プロセスは、「入力フレーム」ブロック３０４から取得された現在のプロジェクタ画素ＵＶ座標における入力画素値を算出することによって、「現在のプロジェクタ画素ＵＶ座標における入力画素を算出する」ステップ４０３において継続する。プロセスは、入力フレーム画素（ＲＧＢ−赤色緑色青色）を線形化することによって「線形化する」ステップ４０４において継続する。このステップ４０４は、「ソース強度伝達関数」ブロック３０１ａを入力として受信し、強度伝達関数を逆強度伝達関数で相殺する。プロセスは、「プロジェクタホワイトバランス補正」ブロック１１７（図１Ａを参照）からの三原色ＲＧＢの補正係数でホワイトバランス補正を適用することによって「ホワイトバランス補正」ステップ４０５において継続する。色補正機能が組み込まれたプロジェクタの場合、シェーダにおいてホワイトバランス補正は適用されない。プロセスは、ターゲット色域を用いて、ＲＧＢ（赤色緑色青色）色空間の画素の値をＣＩＥ−ｘｙＹ １９３０色空間に変換することによって「ＲＧＢからｘｙＹ ＣＩＥ １９３０へ」のステップ４０６において継続する。色補正機能が組み込まれたプロジェクタの場合、ターゲット色域はプロジェクタ設定において直接設定され、シェーダは、色空間変換のためにデフォルト色域（たとえばｓＲＧＢ、Ｒｅｃ．７０９、Ｒｅｃ．２０２０、ＳＭＰＴＥ−Ｃなど）を用いる。プロセスは、ブロック３０１ｃ（図３を参照）のブレンディングパラメータの関数として「プロジェクタ画素ｘｙ座標におけるブレンディングマップテクスチャ値」ブロック１１５の画素のブレンディングの値を適応させる、「ブレンディング値にブレンディングパラメータを適用する」ステップ４０７において継続する。プロセスは、ブロック１１６（図１Ａを参照）からの画素の減衰の値およびステップ４０６からのフレーム内の画素の輝度の値で、ステップ４０７からのブレンディング画素の値を乗算することを伴う、「Ｙチャネルに輝度強度補正を適用する」ステップ４０８において継続する。プロセスは、測定されたプロジェクタ色域を用いて、ＣＩＥ−ｘｙＹ １９３０色空間における画素の値をＲＧＢ（赤色青色緑色）色空間に変換することによって、「ｘｙＹ ＣＩＥ １９３０からＲＧＢへ」のステップ４０９において継続する。色補正機能が組み込まれたプロジェクタの場合、測定されたプロジェクタ色域はプロジェクタ設定において直接設定され、シェーダは、色空間変換のためにデフォルト色域（たとえばｓＲＧＢ、Ｒｅｃ．７０９、Ｒｅｃ．２０２０、ＳＭＰＴＥ−Ｃなど）を用いる。プロセスは、ステップ４０９からの結果を非線形化することによって「非線形化する」ステップ４１０において継続する。このステップ４１０は、ブロック３０１ｂ（図３を参照）のターゲット強度伝達関数を画素のＲＧＢ（赤色緑色青色）成分に適用することによって実現される。またこのステップ４１０は、測定されたプロジェクタ強度伝達関数１１８（図１Ａを参照）も入力として用いる。プロセスは、ステップ４１０の結果を受信および格納することによって「補正画素」ステップ４１１において継続する。補正画素の値ＲＧＢは、プロジェクタによって投射されるものである。プロセスは、更なる画素が存在するか否かを確認することによって「更なる画素？」ブロック４１２において継続する。ある場合、プロセスはステップ４０２へ折り返す。ない場合、プロセスは「補正プロジェクタ画像」ブロック３０８（図３を参照）へ続き、「終了」ステップ４１３で終わる。

図５Ａを参照すると、本発明の例示的な実施形態に係る、校正モードで「プロジェクタ校正プロセス」ブロック５００において用いられるハードウェアが示される。ハードウェアは、ブロック５０１における「プロジェクタ＃１」、ブロック５０２における「プロジェクタ＃２」、およびブロック５０３における「プロジェクタ＃ｎ」を含み、これらは全てブロック５００における「投射校正プロセス」にリンクされる。またハードウェアは、ブロック５０４における「カメラ＃１」、ブロック５０５における「カメラ＃２」、およびブロック５０６における「カメラ＃ｎ」も含み、これらは全てブロック５００における「投射校正プロセス」にリンクされる。またハードウェアは、ブロック５０７における「ＬＥＤマーカ＃１」、ブロック５０８における「ＬＥＤマーカ＃２」、およびブロック５０９における「ＬＥＤマーカ＃ｎ」も含み、これらは全てブロック５００における「投射校正プロセス」にリンクされる。

図５Ｂを参照すると、本発明の例示的な実施形態に係る、レンダリングモードで「プロジェクタ校正プロセス」ブロック５００において用いられるハードウェアが示される。ハードウェアは、ブロック５０１における「プロジェクタ＃１」、ブロック５０２における「プロジェクタ＃２」、およびブロック５０３における「プロジェクタ＃ｎ」を含み、これらは全てブロック５００における「投射校正プロセス」にリンクされる。

静止２次元画像の表示は、上述した技術によって改善され得るが、これらと同じ技術が、リアルタイム３次元画像の表示にも同様に適用され得る。１つのアプローチは、観察者の位置を測定し、表示画像にリアルタイム視差補正を実行することである。この技術はたとえば、隣接した部屋または部屋の一部への窓として壁面ディスプレイを出現させる方法として用いられ得る。フル壁面ディスプレイは、単一の連続したより大きな空間の一部であるような幻影をもたらし得る。屋外で観察される半球状ディスプレイは、どの角度からも見ることができる３次元物体であるように見え得る。

両眼キューは、それぞれの目に異なる画像を供給することによって提供され得る。この問題への標準的なアプローチは、それぞれの目用のフレームトリガシャッタ、投射偏光制御、赤／青色付きグラスを含む。他のアプローチは、それぞれの目に個別の狭帯域色フィルタを用いて６色を投射することであってよい。

特許請求の範囲は、例に記載された好適な実施形態によって限定されてはならず、全体として説明と一致する最も広範囲の解釈を与えられなければならない。

Claims (32)

1. 画像を表示するためのプロジェクタのシステムを自動的に校正するための方法であって、
   プロジェクタから投射面に画素を選択的に投射するステップと、
   前記投射面にわたり投射された前記画素を感知するステップと、
   前記選択的に投射された画素および前記感知された画素に基づいてプロジェクタ／スクリーンマッピングを導出するステップと、
   前記プロジェクタ／スクリーンマッピングに基づいて画素補正関数を導出するステップと、
   グラフィックプロセッサユニット（ＧＰＵ）のグラフィカルパイプライン内のマッピングメッシュにテクスチャマップを適用することによって前記画素補正関数を格納するステップと、
   少なくともミスアライメントを補正する補正画素データを生成するために、入力画像画素データに前記画素補正関数を適用するステップと、
   前記補正画素データを用いて前記プロジェクタを駆動するステップと
   を備える方法。
2. 前記画素補正関数は、共通領域における複数の投射のミスアライメントを補正する、請求項１に記載の方法。
3. 前記画素補正関数は、投射画像にわたる強度のばらつきを補正する、請求項１に記載の方法。
4. 前記画素補正関数は、投射画像にわたる欠陥を補正する、請求項１に記載の方法。
5. 前記画素補正関数は、色収差を補正する、請求項１に記載の方法。
6. 前記画素補正関数は、回転歪みを補正する、請求項１に記載の方法。
7. 前記画素補正関数は、前記入力画像の滑らかなワーピングを実行する、請求項１に記載の方法。
8. 前記テクスチャマップは、前記画素補正関数の一部が、前記グラフィカルパイプラインと前記プロジェクタとの間で、または前記プロジェクタ内で直接、前記画素データに適用されるように、前記グラフィックプロセッサユニット（ＧＰＵ）の前記グラフィカルパイプライン内の前記マッピングメッシュに適用される、請求項１に記載の方法。
9. 前記テクスチャマップは、前記プロジェクタが、前記グラフィカルパイプライン内の前記補正画素データから駆動されるように、前記グラフィックプロセッサユニット（ＧＰＵ）の前記グラフィカルパイプライン内の前記マッピングメッシュに適用される、請求項１に記載の方法。
10. 複数のプロジェクタが提供され、前記プロジェクタの各々は、前記プロジェクタの前記グラフィカルパイプラインの各々に前記テクスチャマップの一部を備える、請求項１に記載の方法。
11. 前記画素補正関数は、重複する画素アレイのミスアライメントを補正する、請求項１０に記載の方法。
12. 前記画素補正関数は、重複する投射領域をブレンドする、請求項１０に記載の方法。
13. 各複数色に個別のテクスチャマップが提供される、請求項１に記載の方法。
14. 前記プロジェクタ出力は、前記投射面からずれた位置にある光学センサによって感知される、請求項１に記載の方法。
15. 前記光学センサは、少なくとも１つのカメラを備える、請求項１４に記載の方法。
16. 前記プロジェクタ／スクリーンマッピングを導出するステップは、
    センサ／スクリーンマッピングを導出するステップと、
    プロジェクタ／センサマッピングを導出するステップと、
    前記センサ／スクリーンマッピングと前記プロジェクタ／センサマッピングとを構成することによって前記プロジェクタ／スクリーンマッピングを導出するステップと
    を備える、請求項１５に記載の方法。
17. 前記センサ／スクリーンマッピングを導出するステップは、
    前記投射面に校正パターンを投射するステップと、
    前記光学センサで前記投射された校正パターンを見ることによってセンサ空間内の画素と投射面位置とのマッピングを作成するステップと
    を備える、請求項１６に記載の方法。
18. 前記プロジェクタ／センサマッピングを導出するステップは、前記プロジェクタ出力を感知する間にプロジェクタ画素を選択的に駆動するステップを備える、請求項１７に記載の方法。
19. 前記プロジェクタ出力は、平坦面に投射される、請求項１に記載の方法。
20. 前記プロジェクタ出力は、曲面に投射される、請求項１に記載の方法。
21. 前記プロジェクタ出力は、不規則面に投射される、請求項１に記載の方法。
22. 観察者の位置を測定するステップと、
    前記観察者の位置に応答して画像画素データにリアルタイム視差補正を実行するステップと
    を更に備える、請求項１に記載の方法。
23. 前記観察者の目の各々に異なる画像を提供するステップを更に備える、請求項２２に記載の方法。
24. 前記観察者の目の各々にフレームトリガシャッタを提供するステップを更に備える、請求項２３に記載の方法。
25. 投射偏光制御を提供するステップを更に備える、請求項２３に記載の方法。
26. 赤／青色付きグラスを提供するステップを更に備える、請求項２３に記載の方法。
27. 複数色を投射するステップと、
    前記観察者の目の各々に個別の狭帯域色フィルタを用いるステップと
    を更に備える、請求項２３に記載の方法。
28. 画像を表示するためのプロジェクタのセットを自動的に校正するためのシステムであって、
    投射面にプロジェクタ出力を投射するためのプロジェクタと、
    前記投射面にわたり投射された前記プロジェクタ出力を感知するための、前記投射面に対して動かすことが可能な少なくとも１つのセンサと、
    表示するための最終画像の前記投射面における位置を感知するための少なくとも２つのアクティブＬＥＤマーカと、
    プロジェクタ画素を選択的に駆動し、前記少なくとも１つのセンサからの前記感知されたプロジェクタ出力を読み取ることによって、プロジェクタ／スクリーンマッピングを決定し、
    少なくともミスアライメントを補正するために入力画像画素データに画素補正関数を適用するために構成された少なくとも１つのプロセッサであって、前記少なくとも１つのプロセッサは、前記補正画素データを用いて前記プロジェクタを駆動し、前記画素補正関数は、前記プロジェクタ／スクリーンマッピングに基づいてプロジェクタ座標空間とスクリーン座標空間との間でマッピングする、少なくとも１つのプロセッサと
    を備えるシステム。
29. 前記少なくとも２つのアクティブＬＥＤマーカは、
    前記少なくとも２つのＬＥＤマーカを順にオンにすることと、
    センサ／マーカ位置を導出することと、
    マーカ／画像マッピングを導出することと、
    前記センサ／マーカ位置と前記マーカ／画像マッピングとを構成することと
    によって、表示するための前記最終画像の前記投射面における正しい位置を感知する、請求項２８に記載のシステム。
30. 画像を表示するためのプロジェクタのシステムを自動的に校正するための方法であって、
    プロジェクタから投射面に画素を選択的に投射するステップと、
    前記投射面にわたって投射された前記画素を感知するステップと、
    誤検出されたまたは誤ラベル付きの構造化光符号化点を除去するステップと、
    前記選択的に投射された画素および前記感知された画素に基づいて、プロジェクタ／スクリーンマッピングを導出するステップと、
    前記プロジェクタ／スクリーンマッピングに基づいて、画素補正関数を導出するステップと、
    前記画素補正関数を格納するステップと、
    少なくともミスアライメントを補正する補正画素データを生成するために、入力画像画素データに前記画素補正関数を適用するステップと、
    前記補正画素データを用いて前記プロジェクタを駆動するステップと
    を備える方法。
31. 前記誤検出されたまたは誤ラベル付きの構造化光符号化点は、機械学習プロセスによって除去される、請求項３０に記載の方法。
32. 前記誤検出されたまたは誤ラベル付きの構造化光符号化点を除去するステップは、
    前記プロジェクタから前記投射面に校正パターン画素を選択的に投射するステップと、
    前記投射面にわたり投射された前記パターン画素を感知するステップと、
    機械学習プロセスによって、誤ったまたは誤ラベル付きの構造化光符号化点を検出するステップと、
    前記検出された校正パターンにおける誤ったまたは誤ラベル付きの校正パターン点を補正または削除するステップと
    を備える、請求項３０に記載の方法。

Images