JP2004287433A - 画像を表示面上に表示する方法 - Google Patents

Abstract

【課題】方法は、表示面上に画像を表示する。
【解決手段】まず、複数のプロジェクタＰ_ｉにより、構造化パターンが表示面上に投影される。構造化パターンの入力画像が取得される。各入力画像は、プロジェクタのうちの対応する１台に対して固定の物理的関係にあるカメラＣ_ｉによって取得される。対応が三角形分解されて、二次伝達Ｔ_ＰｉＣｋが決定される。二次伝達Ｔの二次伝達パラメータが決定される。プロジェクタからの出力画像が、二次伝達および二次伝達パラメータに従ってワーピングされる。
【選択図】図１

Description

本発明は、包括的にはプロジェクタに関し、特に、表示面の様々な幾何学的形状に画像を適合させるプロジェクタに関する。

プロジェクタの最も利用される特徴は、プロジェクタの同類装置であるＣＲＴおよびＬＣＤによって生成される画像よりも大きなサイズの画像を表示する能力、およびプロジェクタから離れたところにある任意の表面上に画像を配置する能力である。ＣＲＴおよびＬＣＤベースの装置のように、プロジェクタは通常、フラットな矩形画像を表示する。残念ながら、プロジェクタベースのディスプレイに固有の多くの特徴は大方利用されていない。

プロジェクタは、ＣＲＴ装置またはＬＣＤ装置の場合とは違い、表示面から切り離されているため、プロジェクタのサイズは、プロジェクタが生成する画像のサイズよりもはるかに小さくすることができる。複数のプロジェクタからの重複する画像を表示面上に効果的にスーパーインポーズすることが可能であり、仕様およびフォームファクタのかなり異なるプロジェクタからの画像をともに混合させることが可能である。加えて、表示面は平面または剛体である必要がないため、多くの種類の表面および併合された投影画像を使用して、物理的な環境を補強することができる。

プロジェクタの傾向
プロジェクタは、小型化、軽量化、鮮明化、かつ低価格化しつつある。装置が小型化されると、フォームファクタの柔軟性により新たな使用形態および新たな用途が生まれる。たとえば、将来のプロジェクタは、固定位置あるいはモバイルセットアップで使用することが可能であろう。

分散型共有コンピューティングの傾向
ますます、コンピュテーションは、よく組織されたメインフレームの集合ではなく、異種のそれ自体で完全なコンピューティングユニットのクラスタにわたって分散されるようになっている。より低価格でより強力なコンピュータの進歩により、この傾向は加速している。

同様にプロジェクタシステムでも、大型で同質の一体型システムから異種のそれ自体で完全なプロジェクタで構成されるネットワークへの移行が望まれている。このようなプロジェクタは、ＰＣまたはＰＤＡと同様にスタンドアロンモードで使用することが可能であるか、またはコンピューティンググリッド（computing grid）と同様にクラスタで協働することが可能であろう。

最近の数年で、プロジェクタはエンターテイメント用途、フライトシミュレータ用途、およびプレゼンテーション用途における従来の役割から脱した。その結果、プロジェクタベースのシステムの進歩が大きな関心を呼び、プロジェクタは非従来的な目的で使用され始めている。

プロジェクタベースの環境
近年、物理的な環境を補強する表示装置、たとえば固定設置用の大型モニタ、投影スクリーン、ＬＣＤ、またはプラズマスクリーン、およびモバイル用途のハンドヘルドＰＤＡがより人気となっている。はめ込み(immersion)は、こういったディスプレイの大半の必須目標ではない。

サイズおよびコストの縮小により、プロジェクタは従来の表示装置および媒体にますます取って代わっている。Raskar他著「Multiprojector Displays using Camera-based Registration」IEEE Visualization、1999、Underkoffler他著「Emancipated pixels:realworld graphics in the luminous room」SIGGRAPH 99 Conference Proceedings、pp385-392、1999、Pinhanez著「The Everywhere Displays Projector:A Device to Create Ubiquitous Graphical Interfaces」Ubiquitous Computing、Ubicomp ‘01、2001、Sukthankar他著「Scalable Alignment of Large-Format Multi-Projector Displays Using Camera Homography Trees」Proceedings of Visualization、2002、およびStork著「Projection-based Augmented Reality in Engineering Applications、2002を参照のこと。

幾何学的観点から、従来技術のプロジェクタシステムは、中央演算処理装置を支援する１つまたは複数の環境センサを使用する。処理装置は、プロジェクタと表示面との間のユークリッド関係またはアフィン関係を計算する。

これとは対照的に、個々が自己完結型のプロジェクタに基づいた分散型のプロジェクタシステムを提供することが望まれる。

従来技術によるプロジェクタシステムによっては、プロジェクタのクラスタを使用してシームレス表示への自動見当合わせを提供するものがある。Yang著「PixelFlex:A Reconfigurable Multi-Projector Display System」IEEE Visualization 01、2001、およびBrown他著「A Practical and Flexible Large Format Display system」The Tenth Pacific Conference on Computer Graphics and Applications、pp178-183、2002を参照のこと。しかし、こういったシステムは環境センサを必要とし、いずれか１つのセンサの範囲を越えてプロジェクタを認めず、一次の平面の表面でしか機能しない。

環境センサを使用することなく円筒体およびドーム等、より高次の表面上に画像を表示可能なプロジェクタを提供することが望まれる。

高度プロジェクタ
従来技術による表示システムによっては、高度センサおよびさらなる演算を用いるものがあり（上記Underkoffler他によって記された「Ｉ／Ｏ ｂｕｌｂ」を参照のこと）、これは同じ場所にあるプロジェクタおよびカメラを使用する。傾斜センサを使用して、自動キーストン（keystone：台形歪み）補正を行うことができる。Raskar著「A Self Correcting Projector」IEEE Computer Vision and Pattern Recognition、2001を参照のこと。

プロジェクタが互いに通信することが可能であり、表示面および環境に存在する物体の物理的な形状を感知可能であるように、ネットワーク機能を備えたプロジェクタを提供すること、およびプロジェクタを幾何学的形状認識可能かつ自己構成可能にすることがさらに望まれる。

本発明は、幾何学的形状認識プロジェクタ、およびこういった幾何学的形状認識プロジェクタの１つまたは複数から構成される自己構成可能な表示システムを支援する新規の技法を提供する。

本発明は、他のプロジェクタが存在する中で、画像を異なる種類の表面および物体上に表示する較正技法およびレンダリング技法も提供する。

これら技法は従来のプロジェクタベースの環境に適用することが可能であり、新たな種類の用途および相互作用が可能になる。

したがって、本発明の目的は、形状適応式プロジェクタシステムを提供することにある。形状適応式、すなわち幾何学的形状認識プロジェクタは、最小の局所歪みで画像を平面の、または非平面の表面上に表示する。このシステムは、対応する正角図法の問題、および水平制約および垂直制約の変動に対処する。

本発明の目的はまた、環境センサを使用することなく、自己完結型プロジェクタによって投影される複数の画像から１つのシームレスな画像として見えるものをレンダリングすることができる自己構成式アドホックプロジェクタクラスタを提供することにもある。

本発明の目的は、シーンのマスタおよびユークリッド情報を用いて複数の画像を全体的に位置合わせする方法を提供することにある。これは、任意形状の多角形である、投影された四辺形画像の連合体内で最大の内接矩形画像を決定する方法を含む。

本発明の目的は、湾曲した表示面、特に二次面上に画像を表示するプロジェクタシステムを提供することにある。したがって、単純化したパラメータ化伝達方法が提供される。湾曲面に対処するため、本発明は、湾曲面上に投影画像の歪みによる対毎の関係にわずかな誤差が存在する中で、画像を全体的に位置合わせし、見当合わせする方法も提供する。

幾何学的形状認識プロジェクタ
図１は、本発明による幾何学的形状認識プロジェクタ１００を示す。プロジェクタ１００は、前面投影モードおよび後面投影モードの両方で使用可能であり、また単体で使用しても、または他の同様のプロジェクタと組み合わせて共同して使用してもよいことに留意されたい。

本発明のプロジェクタ１００は、バス１４０によって接続されたマイクロプロセッサ１１０、メモリ１２０、およびＩ／Ｏインタフェース１３０、全体として処理装置、を備える。処理装置の電子構造は従来のものであるが、本明細書に述べる方法ステップを実行する際のその動作は非従来的なものである。

プロジェクタは、出力画像を表示するプロジェクタサブシステム１５０、および入力画像を取得するカメラサブシステム１６０も備える。

プロジェクタは、ネットワークサブシステム１７０により、他の同様の装置、または他のコンピューティング装置とローカルに、またはリモートに通信することができる。したがって、ネットワークシステムは、通信媒体に応じてアンテナすなわち赤外線送受信器１８０に接続することができる。

プロジェクタの動作に役立てるために、ユーザインタフェース１９０が入力データおよび出力データを提供することができる。内部センサ１９５、たとえば傾斜センサまたは加速度計で、プロジェクタの位置付けを決定することができる。センサは内部のみであり、プロジェクタ外部の環境を感知しないことに留意されたい。

プロジェクタの動作
プロジェクタ１００は、スマートキーストン補正、位置付けを補償した画像輝度、自動明度、ズーム、およびフォーカス、幾何学的形状およびテクスチャキャプチャのための３Ｄスキャン、およびカメラサブシステム１６０のためのスマートフラッシュを含む複数の機能を実行することができる。この最後の機能の場合、プロジェクタの機能はカメラ機能の補助である。この場合、プロジェクタは単に、カメラで観察しているシーンの特定エリアを照らすだけである。

複数のさらなる適応機能について、以下にさらに詳細に述べる。

本発明では、プロジェクタ外部のいずれのユークリッド情報、たとえば室内のアクティブビーコン、表示スクリーン上の境界または人的補助にも頼りたくないため、完全な自己較正式プロジェクタ−カメラステレオ対を使用して「プラグアンドディスプレイ」機能をサポートする。

プロジェクタ１００は、他の装置およびシーン中の物体と通信して、必要な幾何学的関係を「学習」することができる。プロジェクタが動作しているときにこういった関係を動的に学習する能力は、予め構成された幾何学的セットアップ、複雑な較正、通信、およびユーザ補助を必要とする従来技術によるプロジェクタとの大きな違いである。

単純な平面のホモグラフィを使用し、完全な較正を回避する従来技術によるプロジェクタシステムでは、表示面についてのいくらかのユークリッド情報、たとえばスクリーンエッジまたはマーカが必要であるか、またはプロジェクタが「理想的な」場所にある、すなわち投影中心（ＣｏＰ）が平面の表示面に対して実質的に直交するものと仮定される。

自己構成可能なアドホックプロジェクタクラスタ
図２Ａおよび図２Ｂに示すように、プロジェクタ１００は、単体で使用することもでき、または無線Ｅｔｈｅｒｎｅｔ(登録商標）、ＲＦ、または赤外線等のネットワーク２１０を介して互いに通信する、自己構成可能なアドホックネットワーク化プロジェクタクラスタ２００内で使用することもできる。クラスタ２００として構成された場合、プロジェクタ１００は、図２Ｂに点描で示される１つのシームレスな複合画像２０１として知覚されるものを表示する。複合画像２０１は実際には、表示面２３０または他の物理的な物体上の複数の投影画像２２０から構成される。表面２３０は二次面であってもよいことに留意する。この例では、２台のプロジェクタが下から投影し、逆になったキーストンから観察されるように、１台のプロジェクタが上から投影している。

以下に述べるように、プロジェクタの配置に明確な意図はない。すなわち、画像の境界を位置合わせする必要はない。必要なことは、投影画像の連合体がｎ辺の多角形を表示面上に形成し、１つの複合出力画像と知覚されるものが形成されることだけである。

形状適応式プロジェクタ
プロジェクタ１００が無計画に、おそらくモバイルセットアップで使用される場合、平面の表示面を常に利用できるとは限らない。実際には、部屋の隅、円柱、またはドーム形状の天井に画像を表示することが望まれることがある。したがって、歪みが最小化されるような出力画像の補正が必要になる。複数のプロジェクタが使用される場合は、おそらく一貫しない照明強度を有するプロジェクタによって生成される複数の出力画像をシームレスに併合することがさらに問題となる。これは、「理想的な」場所に配置された、すなわち投影中心（ＣｏＰ）が平面の表示面に対して実質的に直交する状態の１台のプロジェクタに関して出力画像がプレワーピング（is pre-warped）される従来技術の問題と異なることに留意する。

表面の形状に従って１つの出力画像に見えるものを生成したい。たとえば、一方の側から湾曲した壁にあるポスターを見るとき、または円筒形の物体のラベルを読むとき、または湾曲した建造物の壁画を見るとき、三次元の刺激は、人の視覚の不可欠な部分である(three dimension cues are...of human vision)。したがって、本発明は、通常の視覚経験に合致した出力画像を投影する。

正角図法
本発明の方法は、表示面の被照明領域にわたっての歪みが最小の画像を表示する。たとえば、映画スクリーンのような平面の表面上でのソリューションは、まるで観客が正面から平行して映画を見ているかのように画像を投影することである。プロジェクタがスキューしている場合は、キーストン補正が適用される。

湾曲した表面の場合、または概して非平面の表面の場合、表示面上の各ポイントが、表面法線に沿って見たときに局所的に歪まないように、画像を表示面上に「貼り付け」たい。

表面法線は変化しうるため、出力画像の面積と表示面上の対応する面積の比が固定される等角画像を求める。

無伸張ソリューション（zero-stretch solution)は、表面が展開可能な場合にのみ可能である。可展面の例は、隅で交わる２つの平面の壁、または直円柱の一部、すなわち平面に対して直角に突出する平面の湾曲である。２つの平面の壁と隅で交わる天井、または部分的な球体等、他の場合では、最小二乗法の意味で最小伸張問題（minimum stretch problem)を解消する。

本発明の方法では、入力画像のテクスチャのスクロールは、画像領域のサイズおよび形状を変更することなく、照明面上での滑らかなスクロールとして見える。本発明では、Levy他著「Least Squares Conformal Maps for Automatic Texture Atlas Generation」SIGGRAPH2002 Proceeding、2002に記載の最小二乗等角写像（ＬＳＣＭ）を採用することによって表示面の３Ｄ形状への写像を決定する。Levyは、フラットな画像をレンダリングする間のテクスチャマッピングトライアングルに関わるが、本発明では、画像を可展面上に投影する必要がある。

ＬＳＣＭは、３Ｄ表面上の対応する領域とその２Ｄパラメータ化空間の間の角の歪みおよび非均等なスケーリングを最小化する。可展面の場合、このソリューションで完全に等角になる。３Ｄメッシュ上の所与のポイントＸについて、２Ｄテクスチャ座標（ｕ，ｖ）が複素数（ｕ＋ｉｖ）で表され、表示面が局所直交（ｘ＋ｉｙ）ベースの座標を用いる場合、等角写像の目標は、Ｘを通るｕ等曲線およびｖ等曲線に対する接ベクトルが直交する、すなわち、
∂ｕ／∂ｘ＝∂ｖ／∂ｙ、かつ∂ｕ／∂ｙ＝−∂ｖ／∂ｘ
であることを確実にすることである。

Levy他はこの問題を三角形単位で解消し、表面位相同形をいずれも（ｕ，ｖ）パラメータ化を有する円盤に写像することによって歪みを最小化する。

平面伝達方法
図３は、本発明の等角投影方法３００のステップを示す。

この方法３００は、プロジェクタサブシステム１５０によって構造化パターン、たとえば均等なチェッカー盤または正方形格子を表示面上に投影すること（３１０）から始まる。構造化パターンの入力画像が、カメラサブシステム１６０によって取得される（３１５）。

入力画像のパターン形状から、３Ｄ多角形メッシュＤ^ｐ、たとえば三角形から構成されるメッシュを生成する（３２０）。このメッシュは、プロジェクタの座標枠において生成される。このメッシュは、表示面の形状を反映しているため、可展面または湾曲面の場合に歪むことになる。

表示面の座標枠Ｄにおけるプロジェクタの位置付けが、内部センサ１９５を使用して感知され（３３０）、表示面の座標枠Ｄと位置合わせされた軸になるようにメッシュＤ^ｐを回転させる（３３５）。

次に、ＬＳＣＭを使用してテクスチャ座標Ｕが決定され（３４０）、よってユークリッド平面の座標枠Ｄの二次元埋め込みＤ^Пが見つけられる。

最大の領域が表示面上に投影されるときに、埋め込みＤ^Пにおいて、表示可能な領域、たとえば表示面の座標枠Ｄ内で可能な限り大きく、かつ可能な限り「上向き」の矩形を特定し（３４５）、これに従って、表示領域に合うようにテクスチャ座標を更新する（３５０）。

次に、出力画像がテクスチャ座標Ｕを使用してメッシュＤ^ｐ上にテクスチャマッピングされ（３５５）、このメッシュがプロジェクタの視点から表示面上にレンダリングされる（３６０）。従来のハードウェアまたはソフトウェアベースの技法を使用して、テクスチャ処理した三角形をレンダリングすることができる。

ステップ３４５において、（ｕ，ｖ）平面における出力画像の位置付けＲ^ｔｅｘを見つけようとする。表示面が垂直な壁が交わるまたは角または支柱等、垂直な直円柱、すなわち水平面における曲線が垂直に突出したものであると仮定すると、本発明の目標は、表示面上に投影されたときに、出力画像の垂直軸を表示面の垂直軸と位置合わせすることである。

さらに、本発明では、表示面の座標枠におけるプロジェクタの位置付けを使用する。これが、内部センサ１９５を使用することの理由である。表面が垂直な直円柱ではない、たとえばドームである場合、本発明のソリューションは、最小二乗の意味で出力画像を位置合わせする。

位置付け方法
図４に示すように、２Ｄ位置付けＲ^ｔｅｘを決定するステップは以下である。

３Ｄにおいて頂点ｐ_１、ｐ_２、ｐ_３を有するメッシュ中の各三角形ｔ_ｊ上で、まず、局所アフィン（２Ｄ）ｘ−ｙ座標系：
Ｘ＝ｐ_１＋ｘ（ｐ_２−ｐ_１）＋ｙ（ｐ_３−ｐ_１）
を決定する（４１０）。

三角形ｔ_ｊ上の表示面の垂直軸の投影に対応するベクトルを、最小二乗の意味で、
［０１０］^Ｔ＝ｘ_ｊ（ｐ_２−ｐ_１）＋ｙ_ｊ（ｐ_３−ｐ_１）
を解くことによって見つける。

テクスチャ空間においてすべての［ｘ_ｊ，ｙ_ｊ］を［０，１］に位置合わせしたい。これには、２Ｄ回転および平行移動が伴う。したがって、ベクトル［ｘ_ｊ，ｙ_ｊ］を正規化した後、共分散行列：

を決定する（４２０）。

行列Ｍ＝ＵＳＶ^Ｔに特異値分解を適用して、所望の２Ｄ回転をＲ^ｔ＝ＵＶ^Ｔとして取得する（４３０）。

最後に、Ｕ_{ｖｅｒｔｉｃａｌ}＝Ｒ^ｔｅｘＵＴを使用してすべてのテクスチャ座標を回転させる（４４０）。

垂直面の照明
時により、一方の方向における画像特徴の形状を、他方の方向での歪みを犠牲にして維持することが望ましいことがある。たとえば、球面セグメント等、略垂直であるが非可展面上に投影されるバナーテキストでは、キャラクタが水平方向において歪んだとしても、すべてのテキストキャラクタが同じ高さに見えなくてはならない。

したがって、本発明では、この新たな制約を考慮に入れるようにＬＳＣＭ技法を変更する。垂直という表記はセンサ１９５による読み取りによる回転においてコード化されるため、最小二乗等角写像についての費用関数を変更することができる。追加の制約を、
重み・∂ｖ／∂ｙ−定数
の形の４つの偏導関数で表現する。

通常、このような制約の１つのみが使用される。たとえば、上記制約は、垂直方向に沿っての伸張を最小に保つ、すなわち、数式は、すべての三角形にわたって∂ｖ／∂ｙの分散にペナルティーを課し、最小化する。この場合、三角形上の局所直交ｘ，ｙベースは、ｘ軸が表示面上のあらゆる場所で水平沿いを指すようなものが選択されることに留意する。

上記等角投影方法は、２つおよび３つの平面部分が隅で交わるディスプレイ、「Ｗ」字形状の表面、および凹面状のドーム等の非可展面を含め、複数の表示面に使用することが可能である。

プロジェクタクラスタ
図５に示すように、本発明の幾何学的形状認識プロジェクタ１００のクラスタ２００を使用して、平面の湾曲した表示面５０１上にレンダリングすることができる。

プロジェクタのアドホッククラスタ２００は、いくつかの利点を有する。クラスタは中央管理なしで動作するため、個々のプロジェクタはクラスタに動的に入出することができる。クラスタは外部環境センサを必要とせず、内部センサの任意の１つの範囲を超えて画像を表示する。

平面の表示面という文脈の中でクラスタ２００の基本的な動作について述べる。二次面等より高次の表示面については、新規の二次伝達方法を提供する。

アドホッククラスタを使用しての平面表示
アドホッククラスタ２００を使用してのシームレスな複数プロジェクタによる重複表示は、多くの利点を提供する。クラスタにより、非常に広いアスペクト比が可能であり（図２Ａ、図２Ｂ参照）、また、プロジェクタと表示面の間の距離が短くてもよい。また、異種のプロジェクタおよびより高次の表面を使用することも可能である。本明細書では、異種のプロジェクタにより、異なる表示特徴、たとえば、光強度、アスペクト比、およびピクセル解像度を有するプロジェクタを意味する。クラスタにより、ピクセル解像度の増大および表示の明化が可能である。さらに、複数のクラスタを使用することも可能である。

カメラベースの見当合わせを利用する、無計画に位置合わせされたプロジェクタを利用する従来技術によるシステムは、表示平面により包含される異なるプロジェクタビューにおけるホモグラフィを用いる。あるユークリッド基準枠とともにホモグラフィ関係を用いて、表示される画像がディスプレイ上で幾何学的に見当合わせされ、歪んでいないように見えるように画像をプレワーピングする。

しかし、広いアスペクト比を有する投影画像は問題であった。本発明では、１台のプロジェクタのプロジェクタサブシステムと近傍のプロジェクタのカメラサブシステムの間の対毎のホモグラフィに依拠する新規の全体位置合わせ方法を使用することによってこの問題を克服する。

近い位置にあって投影画像を同様のピクセル解像度比で見る複数の分散したカメラにより、対毎のホモグラフィを計算することができる。対毎のホモグラフィは、数式の線形系を解くことによってクラスタの全体的に一貫したホモグラフィのセットを計算するために使用される。これにより、改良されたピクセル見当合わせがもたらされる。

全体的な位置合わせ動作は、事前計画またはプログラミングをあまり必要とすることなく行われる。これは、あらゆるプロジェクタが独立して動作し、各自の観察および計算を対称的に行うことから可能である。スクリーンの隅またはマスタカメラの位置合わせ等のユークリッド情報は必要ない。内部センサおよびカメラにより、各プロジェクタに幾何学的形状を認識させることができ、またプロジェクタはクラスタに動的に入出することができる。一方、従来技術による複数プロジェクタディスプレイシステムはセットアップおよび管理が困難である。

クラスタの形成
図６は、プロジェクタのクラスタ２００を形成する方法６００を示す。この方法は「較正（calibrate:キャリブレーション）メッセージの受信（６１０）に応答する。較正メッセージは、クラスタ２００に入りたいプロジェクタＵ_ｋによって同報通信することができる。代替として、較正メッセージは、位置付けがセンサ１９５に従って変更されたときに、すでにクラスタに入っている任意のプロジェクタによって同報通信されてもよい。さらに、このメッセージは、環境中のある他の発信源によって、たとえば、表示面の形状または位置付けが変更されたことを示すために同報通信されてもよい。もちろん、ユーザがプロジェクタを無計画に配置した後で、最初の具体化でクラスタを形成する必要のあるときに、メッセージを同報通信することもできる。メッセージは、ｍ台のプロジェクタすべてが近傍にある無線Ｅｔｈｅｒｎｅｔ(登録商標）、ＲＦ、または赤外線等の近接ネットワーク２１０を介して受信される。

これにより、ｍ台のプロジェクタＵ_ｉ、ｉ＝１，・・・，ｍすべてのカメラがアテンションモードになり、受信するすべてのプロジェクタが「準備完了」メッセージを同報通信することによって応答する（６２０）。

この時点で、プロジェクタは、クラスタ２００のプロジェクタに内蔵されたｍ台のカメラＣ_ｉ、ｉ＝１，・・・，ｍのうちの１つまたは複数に可視の構造化パターンを順次投影する（６３０）。任意の数の通信プロトコル技法を使用して、構造化パターンの順次投影を同期させることができる。

既存のクラスタからのいずれか１つのカメラが投影パターンを取得する（６４０）と、クラスタ全体が、プロジェクタＵ_ｋまたは他の任意のプロジェクタを含めるように全体的な位置合わせを行う（６５０）。この位置合わせは、以下に述べるように、クラスタ中のプロジェクタ間の対毎の幾何学的関係を決定することを含む。

特定のカメラがパターンを取得することができない場合、プロジェクタは近傍にあるが、その投影パターンがクラスタによって表示される画像の範囲に重複しないものと仮定する。しかし、この方法では、すべてのプロジェクタがすべてのパターンを見る必要はない。普遍性を失うことなく、クラスタはここでｎ台のプロジェクタを包含するものと仮定する。

対毎の幾何学的アフィン関係
図７に示すように、重複する画像の画像見当合わせを行う。画像間の関係はホモグラフィとして表現される。３Ｄの不透明な平面の表面の任意の２つの透視図間の写像は、規模に応じて定義される３×３行列として表現される平面投影伝達を用いて表現することができる。

自由度８を、２つのビューにおける４つ以上の対応から計算することができる。さらに、線形関係により、ホモグラフィ行列をカスケードして、画像伝達を伝搬することができる。

ネットワーク２１０を使用して、プロジェクタＰ_ｋは、クラスタ中の各プロジェクタＰ_ｉに、構造化パターン、たとえば均等なチェッカー盤を一度に１つずつ投影するように指示する。

投影画像は同時に、クラスタ中の各プロジェクタ内のカメラ１６０によって取得される。これにより、プロジェクタは、構造化パターンをプロジェクタＰ_ｉからカメラＣ_ｊにおける入力画像中に転送するための対毎のホモグラフィＨ_ｐｉｃｊを決定することができる。信頼度Ｖもまた決定される（７４０）。

信頼度とともに各プロジェクタの対毎のホモグラフィＨ_{ｐｉ，ｐｊ}は、Ｈ_ｐｉｃｉＨ^−１ _ｐｊｃｉとして間接的に計算される。簡単のために、これをＨ_ｉｊと記す。信頼度Ｖは、表示面上で構造化パターンが重複するパーセンテージに関連する。信頼度は、全体的な位置合わせ中に使用される。

均等なチェッカー盤パターンを使用するため、信頼度の良好な近似は、（プロジェクタＰ_ｊのパターン中の特徴の総数）に対する（カメラＣ_ｉによって取得されたプロジェクタＰ_ｊの構造化パターンの特徴数）の比率ｒ_ｉｊである。本発明者らは座標ｈ_ｉｊ＝ｒ^４ _ｉｊが良好なメトリックであることを発見した。この値は、カメラＣ_ｉがプロジェクタＰ_ｊによって表示されるパターンを見なかった場合には自動的にゼロである。

全体的な位置合わせ
本発明では、環境センサがない状態で、表示スクリーンとすべてのプロジェクタの間の相対的な３Ｄ配置を計算して、シームレスな１つの表示画像にする。わかっている配置がない状態で、計算されるソリューションはホモグラフィによる変換まで正確であり、表示面上で歪んで見える。さらに、表面が垂直面である場合、本発明の手法は投影画像をそれぞれの垂直軸および水平軸に自動的に位置合わせする。

しかし、全体的な位置合わせ７５０のために３Ｄ配置を計算する際に、本発明では、プロジェクタのステレオ較正（ステレオキャリブレーション）および傾斜センサパラメータ等、信頼性の低い情報を避け、上記で決定されたホモグラフィ等、比較的頑健な画像空間計算を利用する。

したがって、本発明ではまず、全体的に一貫したホモグラフィを計算する。サイクル：

に沿ってカスケードされたホモグラフィ変換のセットの恒等式は等しいはずである。ここで、「％」記号はモジュロ演算子を示す。これは、特徴位置の不確実性によりまれなケースである。したがって、目標は、わずかな誤差が存在する有意なモザイクを生成することにある。

単純なソリューションは、表示領域を見ている１つのカメラを使用し、その空間において計算を行うことであろう。１つのカメラがディスプレイ全体を見ることができない場合は、最小全域木ベースの手法を用いることができる。この場合、プロジェクタは、グラフのエッジで重複するプロジェクタに接続されたノードであり、ホモグラフィの最小セットのみを保持する。表示の中央付近のプロジェクタをツリーのルートノードとして使用することにより、この手法はカスケードされるホモグラフィの数を低減し、それによって累積誤差を低減するにあたって有用である。

その代わりに、本発明の方法７００は、利用可能なすべてのホモグラフィからの情報を使用することによって、全体的に一貫した見当合わせを見つける。ホモグラフィのカスケードによる累積誤差も同時に、独立して計算された対毎のホモグラフィ行列から導出される数式の線形系を解くことによって、選択された基準枠または平面について低減する。本発明の方法は、Davis著「Mosaics of scenes with moving objects」IEEE Computer Vision and Pattern Recognition(CVPR)、pp354-360、1998によって記載される方法を改造している。

本発明では、測定された対毎のプロジェクタホモグラフィＨ_ｉｊにおける信頼度ｈ_ｉｊを考慮するようにその方法を変更する。全体ホモグラフィＧ_ｉは、プロジェクタＰ_ｉからの出力画像Ｉ_ｉを全体基準枠中に伝達する。これは、全体ホモグラフィＧ_ｉを有する全体枠に伝達した後のホモグラフィＨ_ｉｊを、

として有する、画像Ｉ_ｉの画像Ｉ_ｊへの伝達として表現することもできる。

したがって、各ホモグラフィＨ_ｉｊがわかっている場合、疎の数式線形系を構築して未知の全体伝達を計算する。

各ホモグラフィはスケール係数に応じて定義されるため、｜Ｇ_ｊＨ_ｉｊ−Ｇ_ｉ｜を直接最小化することができるように正規化することが重要である。正規化ホモグラフィの行列式は１、すなわち：

である。本明細書では、簡単のために「ハット」を省く。上記においてｈ_ｉｊとして計算されたホモグラフィＨ_ｉｊでの信頼度によって個々の線形式をさらにスケーリングする。したがって、各ｉ、ｊについての数式のセットは、
Ｈ_ｉｊ（Ｇ_ｊＨ_ｉｊ−Ｇ_ｉ）＝０
である。

独立した対毎のホモグラフィの数がプロジェクタの台数よりも大きい場合、数式線形系は制約過多であり、最小二乗の意味でこれを解く。これにより、計算された対毎の投影のセットからの偏差が最小の全体見当合わせ行列のセットが生成される。

対毎のホモグラフィが交換された後、各プロジェクタは、それぞれの画像を基準面として取り扱うことによって全体位置合わせを別個に並行して行う（７５０）。この段階で、全体画像伝達およびスクリーン位置合わせ投影に対する解は、各プロジェクタＰ_ｉと表示面の間の未知のホモグラフィＨ_ｉ０までわかっている。

ユークリッド再構築
環境からのユークリッド情報がない状態で、スクリーンに対するプロジェクタＰ_ｊの３Ｄ配置を計算することによってＨ_ｉ０を見つける。３Ｄでの配置決定には雑音があるが、本発明のプロジェクタ間の画像伝達は、前と同じ、すなわちシームレスな１つの出力画像を確保した全体伝達に基づいたままである。ホモグラフィＨ_ｉ０を決定する本発明の手法は、Raskar他著「A Self Correcting Projector」IEEE Computer Vision and Pattern Recognition(CVPR)、2001に記載の方法に基づいている。

図８に示す再構築を実行する本発明の方法８００は、各プロジェクタＰ_ｉによって並行して行われる。

ステップは以下の通りである。プロジェクタＰ_ｉ中およびカメラＣ_ｉ画像空間中の対応するポイントを三角形分解して、３ＤポイントＸ＝｛ｘ_１，ｘ_２，・・・｝を生成する（８１０）。

最良適合平面を特定し、局所座標間で回転Ｒ^πだけＸを変換する（８２０）。但し、表示面はｚ＝０である。

Ｘ_０がここで位置合わせされるように、すなわちｚ座標が０であるように、傾きによる回転Ｘ_０＝Ｒ^ｔｉｌｔＲ^πＸを適用する（８３０）。表示面の垂直面中のポイントは同じｘ座標を有し、水平面中のポイントは同じｙ座標を有する。

ｚ値を無視して、プロジェクタＰ_ｉ中のポイントＸの画像をＸ_０中の対応するポイントに写像するホモグラフィＨ_ｉ０を決定する（８４０）。

最後に、他のすべてのプロジェクタについて、ホモグラフィＨ_ｊ０＝Ｈ_ｉ０Ｈ_ｊｉを決定する（８５０）。但し、Ｈ_ｊｉはプロジェクタＰ_ｉによって計算された全体ホモグラフィＧ_ｊである。

レンダリング
図９に示すように、レンダリングに適した投影行列をプロジェクタに見つけることは、まず、スクリーン上のプロジェクタの寄与領域を計算すること、そしてそれから完全な表示範囲をプロジェクタ画像中に再投影することを含む。

最初のステップにおいて、クラスタ中のプロジェクタによって照明される四辺形の範囲を決定する（９１０）。この範囲は、スクリーン位置合わせ済み（Ｘ_０）の座標である。したがって、正規化されたプロジェクタ画像平面［±１±１］の四つ角が、Ｈ_ｊ０［±１±１ １］^Ｔを使用して変換される。

スクリーンＸ_０空間に投影されたすべての四辺形の連合体は、おそらく、凹面状平面の多角形Ｌである。

次に、以下に述べるように、多角形Ｌ内に収まる最大の矩形画像Ｓを特定する（９２０）。

ｎ台のプロジェクタそれぞれが、Ｘ_０のユークリッド再構築における誤差に応じてわずかに異なるＳ_ｉを計算する。Ｓの全体的な合致のため、Ｓ_ｉの４つの頂点それぞれについて加重平均をとる。重みは、その頂点からプロジェクタＰ_ｉまでの距離である。

第２のステップにおいて、Ｈ^−１ _ｊ０を使用してプロジェクタ画像空間中の矩形Ｓの角の投影を特定する（９３０）。矩形Ｓの再投影された角は、プロジェクタの物理的な画像寸法を越えて延出する可能性が最も高いことに留意する。矩形Ｓは表示可能な領域を表すため、表示すべき入力画像の範囲Ｔを示す。したがって、この範囲を超える出力画像中のピクセルは照明されない。

したがって、出力画像とその投影Ｈ_Ｔｊの間のホモグラフィを特定する（９４０）。

最後に、出力画像を正しいアスペクト比の単位矩形上にテクスチャマッピングし、Ｈ_Ｔｊから導出される投影行列を使用してレンダリングする（９５０）。

画像が重複するところでは、グラフィックスハードウェア中のアルファチャネルを使用して強度のブレンドが実施される。ブレンドの重みは、画像境界への距離に比例して割り振られる。すべてのステップは、すべてのプロジェクタにおいて対称的に行われる。

多角形中の最大内接矩形画像
図１０は、おそらく凹面状の多角形Ｌ１００１内の、所定のアスペクト比ａを有する最大の軸位置合わせされた矩形Ｓを特定する方法を示す。多角形Ｌは、投影された四辺形の連合体によって形成される。３つの未知数：位置について２つ、および矩形Ｓのスケールについて１つ、に対しての解は、不等式を書くことによって得ることができる。数式は凹面上の多角形の場合はわずかに異なる。

本発明では、この問題の単純な再パラメータ化を提供する。

エッジに付けて示される多角形Ｌ１００１は、深度値ｚ＝１を有する第１の深度面１００２に描画され、アスペクト比ａの矩形Ｒ１００６はｚ＝０の第２の深度面１００３に描画される。ｚが範囲［０，１］で、矩形Ｒをｚ＝１平面における矩形Ｓ中に写像される投影の中心１００４、Ｗ＝（ｘ，ｙ，ｚ）は、矩形Ｓが完全に多角形Ｌ内に留まっている場合に有効であるとみなされる。深度面は深度バッファに格納することができる。

最小深度ｚを有する投影中心（ＣｏＰ）を特定する。何故ならば、これが最大内接矩形Ｓを画定するからである。

陰影を付けて示される禁止ゾーン１００５をＷについて考える。ベースとして矩形Ｒを有する多角形Ｌ上のポイントによって作成される角錐のセット内にあるＣｏＰはいずれも無効である。

矩形Ｒのエッジを有する多角形Ｌのエッジを結ぶ角錐を構築する。平面ｚ＝０およびｚ＝１を結ぶ角錐の面はすべて三角形であるため、本発明の方法は各三角形三つ組みの交点を計算し、最小のｚ値を有する三角形を残す。

考慮する必要があるのは、図１０に示すように、２種類の三角形：多角形Ｌの頂点を矩形Ｒのエッジに結び付ける三角形、および多角形Ｌのエッジを矩形Ｒの頂点に結び付ける三角形のみである。

ｎ辺多角形Ｌ１００１、例えば図２Ｂではｎ＝１４、の場合、複雑度Ｏ（ｎ^４）を有する８ｎ個の三角形がある。これは明らかにＯ（ｎ^２）方法と比較して最適未満である。P. K.他P. K.著「Largest placements and motion planning of a convex polygon」2nd International Workshop on Algorithmic Foundation of Robotics、1996を参照のこと。しかし、本発明の方法は、数ラインのコードで比較的実施が容易である。ｎはＯ（プロジェクタの台数）であるため、本発明の実行時間はそれでもやはりごくわずかである。

たとえば、プロジェクタが無計画に配置され、投影画像があるべき全体エリアに向けられる場合。プロジェクタあたり、対毎のホモグラフィを見つけるのに約５秒かかる。全体的な位置合わせ、内接矩形、およびブレンドの重みの計算に、さらに３秒かかる。６台の無計画に設置されたプロジェクタクラスタの場合、動作クラスタの形成に約３０秒かかる。

アドホッククラスタを使用しての湾曲表示
このセクションでは、ドーム、円筒形のスクリーン、楕円体、または放物面等、二次面上で画像を自動的に見当合わせする方法について述べる。コンピュータビジョンでは、画像伝達に二次面を使用するいくつかの従来技術による方法が既知である。Shashua他著「The Quadric Reference Surface:Theory and Applications」International Journal of Computer Vision(IJCV)、23(2)、185-198、1997を参照のこと。

複数プロジェクタシステムでは、平面伝達、すなわち平面ホモグラフィ、の関係に基づいたシームレスな複数プロジェクタ平面表示について、いくつかの方法が述べられてきた。Chen他著「Automatic Alignment of High-Resolution Multi-Projector Displays Using An Un-Calibrated Camera」IEEE Visualization、2000を参照のこと。また、上のYang他のＰｉｘｅｌＦｌｅｘシステムを参照のこと。

しかし、より高次の表面のパラメータ化されたワーピングおよび自動見当合わせについての技法はいずれも認められない。これは、二次面は多くの形状およびプロジェクタベースの表示の形態で現れるため、省かれたようである。大型フライトシミュレータは従来から、円筒体形状またはドーム形状であり、プラネタリウムおよびＯｍｎｉＭａｘシアターは半球形のスクリーンを使用しており、多くの仮想現実システムが円筒形状のスクリーンを使用している。

従来技術において、位置合わせは概して手動で行われる。時により、「ナビゲータ」パターンを投影することによって、手動でのプロセスが補助されることがある。Jarvis「Real Time 60Hz Distortion Correction on a Silicon Graphics IG」Real Time Graphics 5、7pp6-7、February 1997を参照のこと。湾曲した表示スクリーンを使用する複数プロジェクタシステムによっては、スクリーンセグメントを区分的に平面であるものとして取り扱うものがある。

上に述べた平面の方法と同様の完全に自動的な方法を提供する。本発明のパラメトリック方法は、カメラ解像度に対する制約の低減、ピクセル局限化誤差に対する耐性の向上、較正の高速化、およびパラメータ化ワーピングプロセスのかなりの単純化をもたらす。

本発明では、二次面問題を再公式化し、シームレスディスプレイへの適用におけるソリューションを用いる。

二次伝達の単純化
３Ｄの不透明な二次面Ｑの任意の２つの透視図間の写像は、二次伝達を使用して表現することができる。平面伝達は、４つ以上のピクセルの対応から計算することができるが、二次伝達Ｔでは９つ以上の対応が必要である。

３Ｄでの同種ポイントが４×１ベクトルとして表現され、ポイントＸが二次面Ｑ上にあり、これが対称な４×４行列として表現される場合、Ｘ^ＴＱＸ＝０であり、２つのビューの対応するピクセルｘおよびｘ’の同種の座標は、

によって関連する。

ピクセルの対応（ｘ，ｘ’）が与えられる場合、この数式は従来通りに、未知数：３Ｄ二次Ｑ＝［Ｑ_３３ｑ；ｑ^Ｔ１］、３×３ホモグラフィ行列Ｂおよび同種座標におけるエビポールｅの計算に使用される。Shashua他により、またさらに最近の研究に使用されるこの形は、２１の変数を含む。Wexler他著「Q-warping:Direct Computation of Quadratic Reference Surfaces」IEEE Conf. on Computer Vision and Pattern Recognition(CVPR)、June、1999を参照のこと。これは、実際に必要なものよりも４多い。

本発明の方法は、単純な観察をベースとする。
Ａ＝Ｂ−ｅｑ^Ｔ
および
Ｅ＝ｑｑ^Ｔ−Ｑ_３３
を定義することによって、不明確な部分を除去することができ、また、本発明で使用する

の形を得ることができる。

ここで、ｘ^ＴＥｘ＝０は、準備ができていない（ｘ）ビューおよびＡにおける二次面の輪郭円錐曲線を画定し、Ａは、準備ができた（ｘ’）ビューと準備ができていない（ｘ）ビューの間の極平面を介してのホモグラフィである。

全体の規模から離れて、本発明の形態に含まれる、Ｅおよびｅの相対的なスケーリングに起因する不明確な自由度は１だけである。この不明確さは、Ｅ（３，３）＝１等、追加の正規化制約を導入することによって除去することができる。さらに、平方根の前にある符号は、画像中の輪郭円錐曲線内で固定である。

カメラについて、二次面パラメータ、すなわちＡ、Ｅ、およびｅをポイントの対応から直接計算する従来技術による方法は、３Ｄで二次Ｑを推定することを含む。Shashua他を参照のこと。カメラのための別の線形方法は、対応するピクセルの三角形分解を用いる。Cross他著「Quadric Surface Reconstruction from Dual-Space Geometry」Proceedings of 6th International Conference on Computer Vision、pp25-31、1998を参照のこと。２つのビューの内部パラメータがわからない場合、計算はすべて、基本行列を計算した後に投影空間において行われる。

しかし、本発明では、カメラではなくプロジェクタが関わる場合、従来技術による線形方法により、ＸＧＡプロジェクタの場合に２０または３０ピクセルのオーダで、非常に大きな再投影誤差がもたらされることを認めている。１台のプロジェクタが照明する二次面上のポイントが、大半の場合で有意な深度のばらつきを有さない場合、基本行列の計算には本来、不良条件が付いている。

したがって、本発明では、既知の内部パラメータおよび推定されたユークリッド剛体変換を用いる。したがって、平面の場合と異なり、この場合における正確な画像伝達の計算には、計算の初期に三次元数量が関わる。

二次伝達方法
図１１に示す本発明の方法１１００は、まず、カメラとプロジェクタの間の対応を決定する（１１１０）。次に、三角形分解し、３Ｄでの二次伝達式を生成する（１１２０）。次に、二次伝達パラメータを決定し、この二次伝達パラメータを使用して入力画像をワーピングする（１１４０）。

平面のクラスタの場合のように、各プロジェクタＰ_ｋ、ｋ＝１，・・・，ｎは、構造化パターンを二次面上に一度に１つずつ投影する。パターンはカメラＣ_ｉ、ｉ＝１，・・・，ｎによって見られる。しかし、プロジェクタＰ_ｉとカメラＣ_ｋの間の剛体変換Г_Ｐｉ ^Ｃｋをまず見つけなくては、二次伝達Ｔ_ＰｉＣｋを直接見つけることはできない。

図１２は、カメラＣ_ｋのステップを示す。Г_Ｐｉ ^Ｃｋがわかっているため、プロジェクタＰ_ｉおよびカメラＣ_ｉにおける対応するポイントを三角形分解して（１２１０）、表示面上の３ＤポイントＤ_ｉを取得し、このポイントをカメラのＣ_ｉ座標系に格納する。

プロジェクタＰ_ｉによって投影されるポイントＤ_ｉ、および近傍のプロジェクタのカメラＣ_ｋによって観察される対応するポイントが与えられると、剛体変換Г_Ｐｉ ^Ｃｋ＝Г_Ｐｉ ^ＣｋГ_Ｐｉ ^Ｃｉを決定する（１２２０）。

次に、３Ｄ二次伝達Ｑ_ｉをＣ_ｉの座標系中のポイントＤ_ｉに近似する（１２３０）。

本発明の単純化した二次伝達式を使用して、Ｑ_ｉ、投影行列Ｍ_ｃｋおよびＭ_ｐｉ、ならびにピクセルの対応から伝達パラメータＡ_ｉ、Ｅ_ｉ、およびｅ_ｉを決定する（１２４０）。

最後に、伝達パラメータＡ_ｉ、Ｅ_ｉ、およびｅ_ｉの非線形改良を行って（１２５０）、ピクセル再投影誤差を最小化する。

二次面上の既知の３Ｄポイントからカメラの配置を見つけることは、３Ｄポイントは通常平面に極めて近いことから、誤差を受けやすいことに留意する。本発明では、カメラの内部パラメータがわかっているため、まず、ホモグラフィに基づいて外部パラメータの初期推定を行い、それから反復手順を用いて推定を修正する。Lu他著「Fast and globally convergent pose estimation from video images」IEEE Transactions on Pattern Analysis and Machine Intelligence 22、6、pp610-622、2000を参照のこと。

レンダリング
レンダリングについて、二次伝達を極平面すなわちＡを介してのホモグラフィに、Ｅおよびｅによって定義されるピクセルあたりのシフトを加えたものとして取り扱う。平面表示の場合のクラスタと同様に、外部環境センサまたはシーンにおけるユークリッドマーカのいずれの助けもなく、このホモグラフィをプロジェクタＵ_ｋにおける内部センサの示度とともに利用して、出力画像を表示面の水平軸および垂直軸に位置合わせする。

カメラＣ_ｋによって得られる出力画像と入力画像の間の関係、ならびにカメラＣ_ｋとすべてのプロジェクタＰ_ｉ、ｉ＝１，・・・，ｎの間の二次伝達が与えられると、各プロジェクタは出力画像をそれぞれの画像空間中にワーピングする。二次伝達を使用しての画像のワーピングは、従来技術において既知の従来技術の二次面のレンダリングと異なることに留意する。Watson他著「A fast algorithm for rendering quadratic curves on raster displays」Proc. 27th Annual SE ACM Conference、1989を参照のこと。

単純なバーテックスシェーダ手順またはグラフィックスハードウェアを使用してレンダリングを行う。各プロジェクタ毎に、出力画像をテクスチャとして矩形形状の密な碁盤目状になった三角形メッシュ上に写像し、二次伝達を使用してメッシュの各頂点の投影を計算する。

本発明のシステムおよび方法は、高価なインフラなしで１つまたは複数のプロジェクタによるシームレスな表示に理想的である。本発明によって可能になる新たな用途としては、低コストかつ柔軟なドームディスプレイ、ショッピングアーケード、および円柱または支柱へのディスプレイが挙げられる。本発明の手法は、平面から任意の自由形状のディスプレイの間の中間ステップとしても扱うことが可能である。

本発明は好ましい実施形態の例として説明したが、本発明の精神および範囲内で他の様々な適合および変更を行いうることを理解されたい。したがって、添付の特許請求の範囲の目的は、本発明の真の精神および範囲内にあるこのような変形および変更をすべて保護範囲に含むことにある。

本発明による幾何学的形状認識プロジェクタのブロック図である。 本発明による自己構成可能なアドホックプロジェクタクラスタのブロック図である。 図２Ａのクラスタによって表示される複合画像のブロック図である。 図１のプロジェクタを使用して画像を適応的にレンダリングする方法の流れ図である。 投影する出力画像の位置付けを決定する方法の流れ図である。 プロジェクタのクラスタによって補強された円筒形物体のブロック図である。 図２Ａ及び図２Ｂのクラスタを形成する方法の流れ図である。 図２Ａ及び図２Ｂのクラスタによって投影された画像を全体的に位置合わせする方法の流れ図である。 図１のプロジェクタにおいてユークリッド的再構成を決定する方法の流れ図である。 図１のプロジェクタを使用してレンダリングする方法の流れ図である。 照明された任意形状の多角形内での最大内接矩形画像を見つけるブロック図である。 図１のプロジェクタの二次伝達を決定する方法の流れ図である。 図１のプロジェクタの剛体変換を決定する方法の流れ図である。

Claims (11)

1. 複数のプロジェクタＰ_ｉにより複数の構造化パターンを表示面上に投影すること、
   それぞれ、前記複数のプロジェクタのうちの対応する１台と固定の物理的関係にあるカメラＣ_ｉによって取得される、前記構造化パターンの複数の入力画像を取得すること、
   前記対応を三角形分解して二次伝達Ｔ_ＰｉＣｋを決定すること、
   前記二次伝達Ｔの二次伝達パラメータを決定すること、及び
   前記二次伝達及び前記二次伝達パラメータに従って、前記複数のプロジェクタの複数の入力画像をワーピングすること
   を含む画像を表示面上に表示する方法。
2. 前記複数のプロジェクタは前記構造化パターンを順次投影し、
   前記複数のカメラは、順次投影される構造化パターンそれぞれの前記入力画像を同時に取得する
   請求項１記載の画像を表示面上に表示する方法。
3. 特定のプロジェクタＰ_ｉと特定のカメラＣ_ｋの間の剛体伝達変換Г_Ｐｉ ^Ｃｋ＝Г_Ｐｉ ^ＣｋГ_Ｐｉ ^Ｃｉを決定すること
   をさらに含む請求項１記載の画像を表示面上に表示する方法。
4. ４×４行列Ｑによって前記表示面を表現すること、及び
   Ｘ^ＴＱＸ＝０となるような４×１ベクトルＸによって前記表示面上のポイントを表現すること
   をさらに含む請求項１記載の画像を表示面上に表示する方法。
5. 前記伝達パラメータを非線形的に改良すること
   をさらに含む請求項１記載の画像を表示面上に表示する方法。
6. 前記表示面は二次表示面である
   請求項１記載の画像を表示面上に表示する方法。
7. 前記二次表示面は、ドーム形状面、円筒形状面、楕円形状面、及び放物線状面からなる群から選択される
   請求項６記載の画像を表示面上に表示する方法。
8. 前記ワーピングされた出力画像をレンダリングすること
   をさらに含む請求項１記載の画像を表示面上に表示する方法。
9. 前記出力画像は、前記表示面の垂直軸及び水平軸に位置合わせされる
   請求項７記載の画像を表示面上に表示する方法。
10. 前記ドームはフライトシミュレータの構成要素である
    請求項１記載の画像を表示面上に表示する方法。
11. 前記ドームはエンターテイメントシステムの構成要素である
    請求項１記載の画像を表示面上に表示する方法。

Images