JP2016519330A - 短焦点カメラを用いてディスプレイシステムを校正するためのシステム及び方法 - Google Patents

Abstract

本発明は先行技術の短所を、１台以上のカメラを用いてディスプレイシステムの校正を可能にし、そのレンズはモデル化されておらず、あるいは限られた精度でモデル化されており、潜在的に全プロジェクタシステムを撮像することができない、システム及び方法を提供することによって克服する。例示的なシステム及び方法は、一般にカメラの既知のモデルよりもむしろプロジェクタの既知のモデルに依拠する。例示的に、カメラは主としてプロジェクタを座標系にマッピングする働きをし、カメラのレンズ特性のモデルが知られていないか、最小限しか知られていない場合でも、プロジェクタ間のオーバーラップはカメラを用いて非常に精密に確定できる。

Description

本発明はディスプレイに関し、なかんずくマルチプロジェクション・ディスプレイシステムに焦点を当てるがこれに限られず、特にレンズ特性が不正確であることが知られているか、全く知られていないカメラで、及び全ディスプレイシステムを撮像できなくてもよいカメラで、ディスプレイシステムを校正するためのシステム及び方法に関する。

カメラ及び他の光学的センサを備えたタイル型プロジェクタシステムの校正は、ますます普通のことになっている。自動校正システムの主な目標の１つは、システムの老化に伴い訓練された技術者を用いることなくシステムの品質（直線的ジオメトリ、統一的な色と強度など）を連れて維持することである。例えば、訓練を受けていない人がグラフィカルユーザインタフェース（ＧＵＩ）の「校正」ボタンを押せば、システムが再校正することが望ましい。逆に望ましくないのは、使用者がＧＵＩとの多くの相互作用を必要とする微調整プロセスを行うことを要求される場合で、プロセスは非常に時間がかかり、使用者の側に相応の訓練が求められる。

特に興味のあるタイル型ディスプレイは、会議室環境で使用するために設計されている。会議室では、ＭｘＮ短焦点プロジェクタを用いて高解像度ディスプレイを実現できることが想定されている。フロントプロジェクタ方式で使用する場合、短焦点プロジェクタは人がスクリーンに向かって真っすぐ歩いても、スクリーンに非常に近づくまではディスプレイに影が映らないので有益である。また、フロントプロジェクタ又はリアプロジェクション方式のいずれで使用しても、プロジェクタはわずかな奥行しか占めないが、これは会議室などスペースが限られている場合に有益である。

このようなシステムを校正するために、カメラをプロジェクタに非常に近づけて組み付けることがしばしば望ましい。この位置決めが望ましい理由の１つは、それにより自己完結型の設置が可能となって、設置業者の作業が簡素化され、より一般的には設置コストが下がることである。この位置決めは、室内空間を横切って置かれたカメラは通行人によって遮られる可能性が短焦点配置構成より高いという制約を回避できるという点でも望ましい。そのようなカメラを部屋を横切って置くことが望ましくないのは、典型的にシステムからカメラにケーブルを通す必要がある点、及び典型的にそのようなケーブルは壁の中や部屋の周りに通される点である。これは公共空間では障害物となり、美観的にも好ましくない。代替策としてケーブルを見えないように壁及び／又は天井内に敷設することは時間がかかり高価であることは明らかであろう。

したがってそのような設置において短焦点カメラは、自己完結型の設置を可能とし、好ましくない配線と視野の妨げを回避するために望ましい。しかしながら、そのようなカメラがディスプレイに接近すると、少なくとも２つの厄介な効果が生じる。第１に、魚眼レンズ又はその他の広角レンズを装備した複数のカメラを使用する必要があり得る。なぜならカメラはスクリーンから遠くないので、さもないと有意な視野を撮像することが難しいからである。魚眼レンズは、レンズの歪みを正確に測定することが難しいことがあるため問題であり得る。さらに、カメラ画像におけるシーンの歪みはレンズの特性に敏感であるだけでなく、カメライメージャの上部におけるレンズの位置決め、及びカメラの位置と向きにも非常に敏感である。歪みは特にレンズの外側に対して敏感である。したがってプロジェクションディスプレイの校正において魚眼レンズのレンズモデルの精度に依拠すると、その結果スクリーン上に表示される画像はしばしば歪んで見える。

別の難点は、わずか数インチであり得る短い焦点距離でスクリーン全体を撮像することが困難なことは明らかであるという事実である。

したがって、操作が簡単で、カメラシーンの歪みの正確なモデルに依拠せず、カメラがスクリーン全体を撮像できない状況に対処できる自動校正システムを作ることが望ましい。

本発明は先行技術の短所を、１台以上のカメラを用いてディスプレイシステムの校正を可能にし、そのレンズはモデル化されておらず、あるいは限られた精度でモデル化されており、潜在的に全プロジェクタシステムを撮像することができない、システム及び方法を提供することによって克服する。例示的なシステム及び方法は、一般にカメラの既知のモデルよりもむしろプロジェクタの既知のモデルに依拠する。例示的に、カメラは主としてプロジェクタを座標系にマッピングする働きをし、カメラのレンズ特性のモデルが知られていないか、最小限しか知られていない場合でも、プロジェクタ間のオーバーラップはカメラを用いて非常に精密に確定できる。

開示の１以上の側面は、１台以上のカメラを備えて、１台以上のカメラがスクリーン全体を撮像することを要しない、２台以上のプロジェクタを有するプロジェクタシステムを校正する方法において、
（ａ）プロジェクタから投影された１個以上のパターンを１台以上のカメラでキャプチャーするステップと、
各プロジェクタから投影されたピクセルを共通座標系にマッピングするステップと、ここでマッピングのステップはカメラのレンズ特性のモデルに依存せず、
（ｂ）共通座標系を、１台以上のカメラのレンズ特性のモデルに依存せずにスクリーンにマッピングするステップとを有する方法を提供する。

１例において、プロジェクタは事前に校正されている。

１例において、ステップ（ａ）又はステップ（ｂ）のいずれかのマッピングは、プロジェクタのモデルを用いて形成されている。

１例において、プロジェクタのモデルは、プロジェクタマッピングの理想化されたモデルからの歪みのモデルを含んでいる。

１例において、表面マッピングのためのモデル化されたプロジェクタは、測定によって事前に校正されている。

１例において、事前に校正された測定は推測されるのに対して、プロジェクタは校正されたシステムの一部である。

１例において、プロジェクタの共通座標系へのマッピングは、プロジェクタのオーバーラップとプロジェクタのモデル化されたオーバーラップとの差を１台以上のカメラを用いて測定するステップを含んでいる。

１例において、プロジェクタのモデルは、プロジェクタマッピングの理想化されたモデルからの歪みのモデルを含んでいる。

１例において、１台以上のカメラによって測定された差は、エッジブレンディング技術を用いて２台以上のプロジェクタと共通座標系との間に適用される。

１例において、プロジェクタはフラットスクリーン上に投影しており、共通座標系にマッピングするステップは、１台以上のカメラを用いて随意に事前に校正されたプロジェクタの間のホモグラフィを見つけることを含んでいる。

１例において、プロジェクタは既知の又はパラメータ化されたジオメトリを有する湾曲したスクリーン上に投影しており、プロジェクタは随意に事前に校正されており、共通座標系にマッピングするステップは、随意の事前に校正されたプロジェクタの表面マッピングにプロジェクタのモデルを使用することを含んでいる。

１例において、共通座標系をスクリーンにマッピングすることは、さらに１台以上のカメラを用いてスクリーン上に基準を置くことを含んでいる。

１例において、方法はさらに、強度と色の情報を保存し、１台以上のカメラによって撮像されるプロジェクタシステムの領域を用いて強度と色をバランスさせることを含んでいる。

１例において、プロジェクタは事前に校正されており、共通座標系にマッピングするステップは、１台以上のカメラを用いて事前に校正されたプロジェクタの間のホモグラフィを見つけることを含んでいる。

１例において、プロジェクタは事前に校正されており、共通座標系にマッピングするステップは、事前に校正されたプロジェクタの表面マッピングにプロジェクタのモデルを使用することを含んでいる。

１例において、測定は制御された環境においてプロジェクタからのデータを測定することを含んでいる。

１例において、１台以上のカメラはスクリーン全体の第１の部分を撮像し、これにより１台以上のカメラによって撮像されないスクリーン全体の第２の部分を定義する。

開示の他の側面は、１台以上のカメラを備え、カメラがスクリーン全体を撮像することを要しない、２台以上のプロジェクタを有する、プロジェクタシステムを校正するためのシステムにおいて、（ａ）プロジェクタから投影された１個以上のパターンの画像をキャプチャーする１台以上のカメラと、各プロジェクタから投影されたピクセルを共通座標系にマッピングするマッピングプロセスと、ここでマッピングプロセスはカメラのレンズ特性のモデルに依存せず、（ｂ）１台以上のカメラのレンズ特性のモデルに依存することなくスクリーンにマッピングされている共通座標系とを有するシステムを提供する。

例示的な実施態様において、平坦な壁上に小さいオーバーラップを持たせてタイル状に並べた２台のプロジェクタで構成されたディスプレイを校正するために短焦点カメラが使用される。カメラは各プロジェクタからパターンを撮像して、プロジェクタ間のオーバーラップ区域における一致を見つける。プロジェクタは、例えば各プロジェクタから共通座標へのホモグラフィを用いて共通座標系にマッピングされることができ、次に共通座標系がスクリーンにマッピングされる。

プロジェクタのモデルは、プロジェクタの固有パラメータと理想的プロジェクタからの歪みを測定することによって随意に事前に校正されてよい。一般性を失うことなく、プロジェクタのモデルを事前に校正するための１つの方法は、制御された環境においてプロジェクタからのデータを測定することを含んでいる。一般性を失うことなく、第２の方法は、（例えばスクリーンを校正するための十分校正されたカメラを用いて）プロジェクタの完全な構成を現場で（ｉｎｓｉｔｕ）実行し、その結果を用いて歪みパターンを逆算する。プロジェクタが事前に校正されており、プロジェクタを共通座標系にマッピングするためにホモグラフィが所望される場合は、共通座標系へのマッピングは、事前に校正された歪みパターンを除去し、次にホモグラフィを適用する２ステップとなる。

共通座標系におけるプロジェクタのオーバーラップ及び一致のモデルと、カメラによって収集されるデータとは典型的に異なる。即ち、モデルはデータと完全に一致しない。カメラによって収集されたデータは、モデルとプロジェクタの実際の一致との差を見つけるために使用される。例えば変位場として表されるその差は一部各プロジェクタに適用されて、２つの適用の組合せがカメラによって見られた差を補償する。４個のエッジを有する境界区域の単純なケースにおいて、オーバーラップ区域の左側エッジでは適用される変位場は左側プロジェクタに対して０にセットされ、右側プロジェクタに対して全量にセットされている。オーバーラップ区域の右側エッジでは適用される変位場は右側プロジェクタに対してゼロ（０）にセットされ、左側プロジェクタに対して全量にセットされている。各プロジェクタに適用すべき変位場を見つけるためにエッジブレンドスタイルアルゴリズムが使用されて、その総和がカメラによって見られた差を補償する。形状がより複雑なオーバーラップ領域にも、これらと同じエッジブレンドスタイルアルゴリズムを適用できる。

プロジェクタから共通座標系にマッピングするためにすべての補正が行なわれたら、共通座標系はスクリーンにマッピングされて全体マッピングを形成する。これは標準的なメカニズムとプロセスを用いて映像と画像を２台のプロジェクタ全体でシームレスに示すために使用できる。

例示的な実施態様において、１台以上のカメラを備えて、カメラがスクリーン全体を撮像することを要しない、２台以上のプロジェクタを有するプロジェクタシステムを校正する方法が提供される。このシステム及び方法は１台以上のカメラで、プロジェクタから１個以上の投影されたパターンをキャプチャーする。各プロジェクタから投影されたピクセルは共通座標系にマッピングされる。とりわけこのマッピングのステップはカメラのレンズ特性のモデルに依存しない。共通座標系も、カメラのレンズ特性のモデルに依存せずスクリーンにマッピングされる、１実施態様において、プロジェクタは随意に事前に校正されている。また、いずれかのマッピングはプロジェクタのモデルを用いて形成される。例示的にプロジェクタのモデルは、プロジェクタマッピングの理想化されたモデルからの歪みのモデルを含んでいる。表面マッピングのためのモデル化されたプロジェクタは、測定によって事前に校正できる。この事前に校正される測定は推測できるのに対し、プロジェクタは校正されたシステムの一部である。プロジェクタの共通座標系へのマッピングは、カメラを用いてプロジェクタのオーバーラップとプロジェクタのモデル化されたオーバーラップとの差を測定すること含むことができる。カメラによって測定された差は、エッジブレンディング技術を用いて適用できる。１実施態様において、プロジェクタはフラットスクリーン上に投影し、共通座標系へのマッピング１台以上のカメラを用いて随意に事前に校正されたプロジェクタの間のホモグラフィを見つけることを含んでいる。代替的に、プロジェクタは、既知の又はパラメータ化されたジオメトリを有する湾曲したスクリーン上に投影する。この場合、プロジェクタは随意に事前に校正され、共通座標系にマッピングするステップは、随意の事前に校正されたプロジェクタの表面マッピングにプロジェクタのモデルを使用することを含んでいる。実施態様において、スクリーン上に基準が置かれている。また実施態様において、システム及び方法は強度と色の情報を保存し、１台以上のカメラによって撮像されるプロジェクタシステムの領域を用いて強度と色をバランスさせる。

以下に本発明を図面に基づいて詳細に説明する。

プロジェクタ間のオーバーラップ領域のみ撮像できるカメラで、２台のプロジェクタによってスクリーン上にキーストーン形に重なって提供されたディスプレイのブロック図である。

オーバーラップする複数のプロジェクタを用い、カメラによって取得された画像に基づいて校正される模範的な投影構成である。

例示的な実施態様に従う全体ディスプレイ校正プロセスのブロック図である。

全体校正プロセスで使用するためのプロジェクタのレンズモデルを事前に校正する方法のブロック図である。

現場でプロジェクタのレンズモデルを事前に校正する方法のブロック図である。

フラットスクリーンで投影されたピクセルを共通座標系にマッピングするブロック図である。

プロジェクタから共通座標系へのマッピングを改良するブロック図である。

湾曲したスクリーンで投影されたピクセルを共通座標系にマッピングするブロック図である。

例示的な実施態様に従い色と強度を校正する方法を説明するブロック図である。

プロジェクタ間のオーバーラップ領域のみ撮像できるカメラと、カメラが撮像できるスクリーン上の基準マークで、２台のプロジェクタによってスクリーン上にキーストーン形に重なって提供されたディスプレイのブロック図である。

図１は、スクリーン１００の輪郭と、オーバーラップして示された２台のプロジェクタ１０１及び１０３の輪郭を示す。プロジェクタ１０１及び１０３はスクリーン上の領域１０５でオーバーラップしている。この例では、プロジェクタはスクリーンからはみ出ている。カメラによって撮像されるスクリーンの領域の卵型の輪郭は、ほぼ円形１０７で示されている。典型的には、カメラが撮像できる領域は矩形又は台形として示されよう。しかしながら、カメラが魚眼レンズを装着している場合は、カメラが撮像できる視野はより正確に円形又はキーストーン形（底部が頂部よりわずかに広いオーバーラップの外観に類似）として表される。このキーストーン形の外観は、プロジェクタとカメラ双方の光軸がスクリーンに対して直角に向けられていない結果である。それはプロジェクタとカメラがスクリーンの上方に置かれて使用者の視野の外に留まるようにしているためである。

カメラはスクリーン全体を撮像する必要がないことにも留意されたい。この場合、カメラはオーバーラップ領域１０５の全体を撮像するように位置決めされる。また、ここに記載する例示的なプロセスはそれを必要とせず、またカメラが全領域１０５を効果的に撮像できない場合でも動作する。幾つかの事例ではカメラの視野が小さいか障害物があると、全領域の画像を取得するカメラの能力を制限することがある。ここに記載する例示的なプロセスはオーバーラップ領域１０５のそのような部分的画像で動作できる。

自動校正システムはしばしば（ａ）投影されたピクセルを単一の座標系にマッピングし、次に（ｂ）その座標系をスクリーンにマッピングするという２つのステップを含むことが認識されている。有益な背景情報として米国特許出願公開第２０１２／０１２０３７２号「手動及び半自動技術を用いてディスプレイシステムを校正するためのシステム及び方法」を参照する。その教示内容は参照により本明細書に編入され、その技術は本明細書の実施態様の技術に類似している。この編入された出願は手動又は半自動技術を用いて２種類のマッピングの各々を行う。例えばその特許では「図８は、プロジェクタから共通座標系へのマッピングを更新するために追加情報が使用される実施態様を示す。最初の少数のステップは、図４で行われたものと全く同じである。ステップ８１０では、共通座標系へのマッピングが上述したように形成される。ステップ８２０では、境界、既知の基準点、エッジ及び／又はコーナーについて追加の情報が収集される（図４ではそのような情報はスクリーン及びコーナーポイントの境界について収集された）。ステップ８３０では、図４で行われたように、結合された情報が共通座標系からスクリーンへのマッピングを形成するために使用される。ステップ８４０では、共通座標系へのマッピングと共通座標系からスクリーンへのマッピングの双方が同時に更新される。例示的な実施態様において、これは上述したようにプロジェクタを光学的対象としてモデル化することによって実現される。この場合、プロジェクタから共通座標系へのマッピングは、プロジェクタの投影マトリクスを推定することによって改良されてよい。そして変更された共通座標系へのマッピングは、共通座標系からスクリーンへのマッピングに影響を与えることができる。例えば、その結果として図４との関連で述べたプロジェクタの光学特性の発見の最小化を、共通座標系へのマッピングと共通座標系のスクリーンへのマッピンを同時に変更するために使用できる。」

ここに記載する例示的な実施態様は自動技術に関する。

さらに背景情報として、図１Ａは例示的な実施態様に従って自動校正を行う模範的なディスプレイシステム１００のブロック図である。この場合、３台のプロジェクタからなるシステムを校正するために１台のカメラセンサ１１０が使用される。実施態様において、例えば上の図１に示されているように、２台のプロジェクタ（例えば１４０と１４２）が採用される。以下に述べるように、ここに記載する原理は２個以上のオーバーラップするディスプレイ画像に適用可能である。カメラ１１０は従来型のユニット（例えばデジタルＳＬＲ）であるか、あるいはシステム全体におけるプロジェクタの幾何的位置、色と強度を測定して補正を行うことができるカスタム構成であってよい。ここに記載されているように、カメラは適当な広角レンズ（例えば魚眼レンズ）アセンブリ１１１を装着した短焦点カメラとして配置されてよい。１台のカメラ１１０（又は複数台のカメラ）を組み付けるためのオーバーヘッドマウント１１５（仮想線で示す）を設けることができる。校正補正は模範的なＰＣ１２０で生成される補正に挿入される。ＰＣ１２０は、ここに記載するシステム及び方法を実施するための記憶された非一時的ソフトウェアアプリケーション（及び／又は電子ハードウェア）（ブロック１２２）を内蔵しており、生成された画像は画像生成器（ＩＧ）（従来型ＰＣであってよい）１３０、１３２、１３４に送られ、次に画像はプロジェクタ１４０、１４２、１４４（それぞれ）に中継される。あるいは補正はＩＧに直接適用されてよい。色補正の一部は相互接続されたプロジェクタ１４０、１４２、１４４（それぞれ）にアップロードできる。プロジェクタ１４０、１４２、１４４はこれによりソースからの結合された画像をスクリーン１５０上に、典型的に適当なオーバーラップ（例えば図示の１５％オーバーラップ）を持たせて投影する。例示的な実施態様において、プロジェクタ間の相互接続は、従来型ネットワークスイッチ１６０を含んでよいネットワークリンク（有線及び／又は無線）によって制御できる。

図２は、システムを校正するための手順（破線で囲んだボックス２３０によって示されている）の一般化されたブロック図を示す。上で一般的に述べたように、第１のステップ２１０、はすべてのプロジェクタから投影されたピクセルを共通座標系にマッピングすることである。第２のステップ２２０は、共通座標系をスクリーンにマッピングすることである。破線で囲んだボックス２３０は、ステップ２１０と２２０がしばしば同時に実行されることを示している。例として、２１０における共通座標系はしばしばスクリーンの座標系であり、その場合はステップ２２０は追加のプロセス又は作業を含まない。

図３ａと図３ｂは、それぞれプロジェクタ転送機能と当該モデルにおける歪みを事前に校正する２通りの方法を示す。ステップ２１０でプロジェクタレンズを事前に校正することは非常に有益であるが、そのような事前校正は要求されていない。プロジェクタはしばしばホモグラフィ又はホモグラフィと半径方向歪みを用いてピクセルをフラットスクリーン上にマッピングするようにモデル化されている。ホモグラフィはしばしば固有パラメータ（例えば焦点距離）と外部パラメータ（例えば回転及び並進）に分解されるが、ここに記載するステップを実行するためにそのような分解は要求されていない。事前校正の目標はプロジェクタの半径方向歪みをモデル化して測定するか、又はより一般的にプロジェクタの非理想性を変位場として測定することである。（しばしば固有変数も測定される。）プロジェクタレンズを事前に校正する多くの方法がある。

さらに図３ａと図３ｂを参照すると、各々事前校正のための例示的な方法を示している。図３ａで、プロセスはプロジェクタの非理想性を測定する。これは関連分野における通常の熟練に従って実行できる。図３ａのプロセスに従い、プロジェクタは使用者によって例えば平坦な壁に向けられる（ステップ３１０）。次にステップ３２０でレンズを校正したカメラを用いてプロジェクタを測定する。しばしば、（例えば）市松模様（又は類似の反復／モザイク模様）の形式の校正パターンがプロジェクタによって投影されカメラによって撮像されてその測定を実行する。プロセスは次にホモグラフィをデータに合わせてホモグラフィからの偏差を見つけ、ホモグラフィを分解してプロジェクタの固有特性を見つける。一般性を失うことなく、これらの偏差は多数の方式で保存できる。１つの普通の技術は、光線をプロジェクタまで遡って理想的ピクセルからの偏差を見つけるものであり、理想的ピクセルはホモグラフィに従って突き止められ、実際のピクセルは測定に従って突き止められる（ステップ３４０）。代替的な技術は光線をピクセルからスクリーンまで辿り、角度の理想値と測定値の間の偏差を見つけるものである。

同じモデルの多くのプロジェクタは極めて類似した歪み場と固有パラメータを持つ傾向が観察されたことに留意されたい。それゆえ例えば工場で１つの歪み場を測定し、次にこの測定を同じモデルのすべてのプロジェクタに適用することが可能である。

図３ｂは、プロジェクタの同じ事前校正を達成するための代替プロセスを示す。この代替プロセスは、ステップ３６０におけるように、例えば手動技術又は半自動技術、あるいは他の適当な方法を用いてディスプレイシステムを校正することによって始まることが想定されている。この校正ステップ（３６０）の結果を微調整して幾何的に「完璧」な校正を得ることができる。このシステムを校正するための代替方策は、レンズが非常に良く校正された１台以上のカメラを暫定的にセットアップすることである。典型的に１台以上の暫定的カメラを部屋の反対側に位置決めしてより長い視距離を設ける。校正が実行されると（ステップ３６０）、ステップ３７０で従来型技術を用いてプロジェクタからスクリーンへのマッピングを逆算できる。次にステップ３８０で、理想的レンズからの偏差が測定される。フラットスクリーンの場合、それはホモグラフィからの差である。湾曲したスクリーンの場合は、光線をプロジェクタまで遡って理想からの偏差を見つけるより一般的なモデルを容易に実行できる。

図３ｂに示すプロセスは、校正手順が現場で実行される点が有利であり得る。しかしながら１つの短所は、このプロセスはステップを実行するためにしばしば訓練された使用者を必要とすることである。しかしながら、このより複雑な校正プロセスは典型的に１回限りの操作（例えば初期システムセットアップ時）であり、システムはより一般的に訓練されていない個人によって長期的に維持可能である。

図４ａと図４ｂは、マッピングステップ２１０を実現するブロック図を示す。この説明の目的のために、図１に例示されているように、例示的に２台のプロジェクタと１台のカメラを用いてフラットスクリーン上で図４ａのプロセスが実行される。プロセスはステップ４１０で随意にプロジェクタレンズの歪みと固有値を校正することによって開始するが、これは図３ａと図３ｂで記した方式又はそれ以外の方式で実行できる。次にステップ４２０で、カメラは画像２台のプロジェクタの間のブレンド区域（１０５）の一部又は全部を撮像し、それによって２台のプロジェクタの間の一致を定義でき、そして一般的技術に従って２台のプロジェクタの間のホモグラフィを決定できる。レンズの歪みが測定されたら、次に２台のプロジェクタの間のマッピングは、（ａ）当該プロジェクタのレンズの歪みを適用せずにホモグラフィを適用し、次に（ｂ）他のプロジェクタのレンズの歪みを適用することであろう。ステップ４３０では、プロジェクタ間の共通座標系を定義できる。共通座標系を形成するために多くの利用可能な技術があり、それらは非制限的な例としてプロジェクタの１つに入力されるピクセルスペースにおいて実現できる。例えば、模範的な１０２４ｘ７６８プロジェクタ画像がプロジェクタに入力され、２つの座標における０…１０２４及び０…７６８から連続的な座標系が定義され、次に必要に応じて拡張されて他のプロジェクタにマッピングされ得る。そのような座標系は仮想カメラに極めて類似していると見なすことができる。

最後のステップはステップ２２０（図２）である。初期システムセットアップを個別に実行する際に、フィル領域を記述するためにしばしば４個のコーナーポイントを選択する。プロジェクタは（外部励振による揺れなどにより）意図しない動きを呈することによりエッジブレンド区域は不十分に見えるが、運動量はフィル領域に有意な影響を与えないほど小さいと思われるので、プロジェクタにおけるこれらの４個のコーナーポイントは引き続きプロセスにおいて使用できる。この場合、共通座標系からスクリーンへのマッピング（ステップ２２０）はホモグラフィ（又はホモグラフィと随意の歪みモデル）であり、４個のコーナーポイントはそのマッピングを実現するのに十分である。

使用者にコントロールポイントに入らせる代わりに、１台以上のカメラでスクリーンがどのように満たされるべきかを指示する検出基準マーク、典型的には線、点、印又は類似のものを自動的に検出できよう。一般性を失うことなく、ステップ２２０で共通座標系からスクリーンへのマッピングを見つけるための多くの方法がある。

ステップ４２０における共通座標系は、代替的に直接スクリーンのスペースを包含できることに留意されたい。その場合、ステップ２１０及び２２０は本質的に同時にが実行される。加えて、スクリーンにおける歪み、例えば完全に平坦でないスクリーンにおける歪みはここではまだ取り上げていないことを注記する。標準的な自動校正技術において、使用者は潜在的に、自動校正プロセスが完了したら結果を微調整する選択肢を持つことができる。この微調整はスクリーンの非理想性を代表するベクトル場として定義されて保存される。したがってステップ２２０又は後続のステップの一部として当該ベクトル場が適用されることになろう。スクリーンが時間と共に形を変えない限り、この導出されて保存されたベクトル場は一定のままであろう。

図４ｂはステップ４３０の推奨される部分を示す。エッジブレンド区域（図１の領域１０５）において所望の投影を達成するためにはプロジェクタ間の不一致は非常に小さくなければならないことが注記される。しばしばエッジブレンド区域における１０分の１のピクセル偏差でも顕著な映像劣化を引き起こすことがある。しかしながらエッジブレンド区域の外部では、許容範囲は典型的にはるかに大きい。特定のピクセルが位置する正確な場所はしばしば重要ではなく、たとえ１個の完全なピクセルが理想的な場所から欠落しても、ほとんどの（又はすべての）観測者にとって良好な投影品質を維持するには十分過ぎるほどである。

エッジブレンド区域（領域１０５）において例示的な実施態様のモデルは、ホモグラフィと随意のプロジェクタ歪みマップを用いて、典型的に非常に良く一致するが完全ではない。ステップ４５０では、プロセスがプロジェクタのオーバーラップの測定されたデータとモデルとの差、この場合はホモグラフィと随意のプロジェクタ歪みマップとの差を測定する。こららの差は、変位場として表すことができる。変位は多くの方式で適用できる。例示的に、エッジブレンディングステップ４６０から借用した技術を用いて適用できる。エッジブレンド区域１０５の左側では、プロセスはすべての歪みを右プロジェクタ１０３に適用して左プロジェクタ１０１には全く適用しない。これが行われると左プロジェクタではエッジブレンド区域の外側からエッジブレンド区域の内側まで不連続性がない。同様に、エッジブレンド区域の他方の側（反対側）では、プロセスはすべての歪みを左プロジェクタ１０１に適用して右プロジェクタには全く適用しない。中間ではプロセスが両プロジェクタにおいて歪みを左側から右側へ滑らかに変化させる。典型的に変位場を滑らかに変化させるためにエッジブレンディングで用いられる技術を採用することが望ましい。例えば、プロセスは米国特許出願第１２／０４９、２６７号「光フィードバックを用いるディスプレイ調整と画像処理により改良されたディスプレイ品質を提供するためのシステム及び方法」に記載されている種類の技術を採用でき、その教示内容は参照により有益な背景情報として本明細書に編入される。この特許は開ループ法を含む多数の方法を開示している。「シームレスなマルチプロジェクタシステムにおいて、強度がブレンド領域全体で統一的に見えるようにするためには、ディスプレイ出力の非直線的特質及びプロジェクタにおけるビネット効果を補償しなければならない。ディスプレイの非直線性は、次式の冪法則を用いて共通モデル化される。出力強度＝（入力強度）^γ、ここでγの典型値は２．５である。ビネット効果を無視する場合には、オーバーラップする２台のプロジェクタの入力は次式の補正重み付け関数を用いてブレンドされ得よう。ｗ_１（ｘ）＝ｘ^１／γ及びｗ_２（ｘ）＝（１−ｘ）^１／γ、ここでｘはブレンド領域にわたり０から１に変化する。

ビネット効果が存在すると、プロジェクタのエッジで強度が低下するのでブレンド領域のエッジはしばしば著しく暗くなる。開ループ法は、次式の重み付け関数を用いてエッジ近傍におけるプロジェクタの光寄与を重視しない。ｗ_１（ｘ）＝Ｆ（ｘ）^１／γ及びｗ_２（ｘ）＝ｘ（１−Ｆ（ｘ））^１／γ、ここでＦ（ｘ）は次の最小特性を有する。

Ｆ（０）＝０、Ｆ（１）＝１

Ｆ'（０）＝０、Ｆ'（１）＝０

ゼロ一次導関数はエッジ近傍の重みが小さいことを保証する。基準を満足する２つの関数は、（ａ）エルミート多項式：Ｆ（ｘ）＝ｘ^２（３−２ｘ）及び（ｂ）と正弦関数：Ｆ（ｘ）＝（１−ｃｏｓ（πｘ））／２である。全体基準を満足する他の関数も使用されてよい。」

しばしば目標は滑らかさであり、可能ならば一次導関数と二次導関数双方の滑らかさである。エッジブレンディング技術は典型的に強度削減に使用され、プロジェクタのオーバーラップ区域におけるスカラーは、オーバーラップ区域のある側で強度の値はゼロ（０）であり他の側で最大値である。この場合、同じ技術を変位場の各成分に独立に使用できる。

障害物のために起こるようにカメラがエッジブレンド区域の全体を撮像しない場合、カメラがを撮像しない領域に変位場を外挿できることに留意されたい。

投影された場の間に不一致が測定され、それをどのように適用するか決定されたら、ステップ４７０で各プロジェクタと共通座標系の間に結果として生じる歪み場が適用される。

再び図４ａを参照して、プロセスを３台以上のプロジェクタに、及び場合により平坦な表面における３台以上のカメラに一般化すると、プロセスの高いレベルのステップは上に説明及び例示したステップと同様である。ステップ４１０で、プロセスは前述したように随意にプロジェクタを校正できる。このプロセスはカメラを使用してプロジェクタ間の対ホモグラフィ（特にオーバーラップするプロジェクタの対）を形成する。理想的にはどのエッジブレンド区域も見られて、モデルにおけるすべての歪みがキャプチャーされて補正され得る。ステップ４２０で、プロセスは上述したようにプロジェクタ間のホモグラフィ（対）を形成する。多数のカメラを使用する場合、ステップ４５０からステップ４７０は各カメラに適用できる。カメラが計算された歪みと一致しないケースがしばしばあるが、その場合プロセスはカメラブレンディングアルゴリズムを適用して、１台のカメラからの結果が他のカメラより強く重み付けられるスクリーンの領域を定義することができる。そのようなアルゴリズムの１例として、カメラの重みはカメラの縁部に向かってゆっくり（例えば漸進的に）減少する。次に各カメラの結果はその重みに従い、エッジブレンディング技術と非常に類似した方式で適用できる。

ステップ４３０で（多数のプロジェクタの及び／又はカメラに適用される場合）、プロセスは共通座標系を２台のプロジェクタの場合と同様の方式で定義できる。上でステップ４２０を参照して説明されたものと類似又は同じカメラブレンディング技術を使用できる。多数のプロジェクタを使用する場合は複数のローカル座標系を定義することが望ましいが認識されている。即ち、全ディスプレイ場に対して単一のグローバル座標系を１つの空間にスクリーンの座標のように確定する代わりに、システムはスクリーンにマッピングされ得る複数のローカル座標系を定義できることが想定されている。例えばある画像を３６０度球面に投影する場合、ローカル座標は典型的に適用される２つのグローバル座標角より操作しやすいことがしばしばある。したがってステップ２１０との関連で用いられた共通／グローバル座標系は、互いにマッピングする複数のローカル座標系として定義されてよく、全システムはグローバルシステムの部分としてタイル状につなぎ合わされている。

例示的に、フライトシミュレーションなどで使用するファセット化されたスクリーン、例えばＷＡＳＰスクリーン（グラス・マウンテン・オプティクス製、テキサス州オースティン、フライト・セーフティー社）は、上述したのと同じプロセス／方法を用いて校正できる。即ち、結合された平坦なスクリーンはフラットスクリーンと同様に扱うことができる。カメラを恒久的に組み付けることが有益であり得る一方、これまで論じたプロセスは、取り外され、後で置き換えられ、それゆえ毎回同じように位置決めされないカメラに対しても等しく良好に機能することに留意すべきである。同様に１台以上のカメラを１個以上のパンチルトヘッドに組み付けることができる。あるいはカメラは校正するために使用し、取り外し、後でやや異なる位置に戻すことができる。より基本的に、使用者はカメラを手で持って異なる位置に移動してエッジブレンド区域の画像を取得することができよう。

ドームや円筒など既知のジオメトリの湾曲したスクリーンに対して、全体的なプロセスは類似又は同じであるが、具体的な実施ステップの一部は変わることもある。図５にプロセスが記載されている。これは図４ａ及び図４ｂのプロセスと実質的に同様である。このプロセスはステップ５１０で開始して、上で一般的に述べたように随意にプロジェクタを校正する。この場合、プロセスが設置スクリーン上で校正するときは、プロセスは光線追跡を用いてスクリーンからプロジェクタまで遡ってレンズモデルにおける歪みを見つけることができる。ステップ５２０で、プロジェクタの外部パラメータを見つけるために非直線的最小化が達成される。典型的にこのステップでは、適当なパターン及びサイズの基準が用いられ、プロジェクタ上のコントロールポイントか、カメラが撮像できるスクリーン上のマークのいずれかによって選択される。非直線的最小化は典型的に標準的なバンドル調整アルゴリズムとして実施される。ステップ５３０で、最も容易に実行できる共通座標系は典型的にスクリーンの共通座標系である。したがって上述したようにステップ２２０はステップ２１０に統合される。

ステップ５２０で、カメラのレンズ特性の良好な推定が利用できる場合、この情報はバンドル調整アルゴリズムを支援できる。利用可能ならばレンズ特性は、例えばカメラのレンズ特性が合理的に正確であることが知られている中心部に向かって重み付けして適用できる。しかしながらそのような特性はレンズの縁部に向かうとしばしばより不正確であることが知られている。代替として、レンズ特性はステップ５２０で最小化を開始するために使用できる。これらのレンズ特性値は最小化の進行と共に徐々に取り除くことができる。最小化プロセスにおいて支援することが十分知られているレンズ特性と、ピクセルのスクリーンへのマッピングを支援するために使用できるレンズ特性とを区別できる。

図６は、ディスプレイシステムの色と強度を校正する方法を記述するブロック図である。カメラによって見られないスクリーン領域があるシステムの色と強度を十全に校正するのは困難である。強度の低下が大きく、図１Ａに一般的に示されているようにスクリーンの上に組み付けたカメラで、スクリーンの強度を測定することも困難である。このようにする１つのメカニズムは、セットアップ時に手動若しくは自動で、あるいは他の適当な技術でシステムの色と強度を十全に校正する校正プロセスに対するものである（ステップ６１０）。このタスクを達成するための効果的な方策は、しばしば暫定的な第２カメラを用いるものである。この場合、システムは組み付けたカメラを用いて初期の色と強度に関する局所的な情報をキャプチャーできる。次に、時間と共にスクリーンの画像はシステム用のカメラで周期的に取得される。これらの画像はカメラが変える強度と色を決定するためにシステムによって使用される（ステップ６２０）。プロジェクタの色と強度はプロジェクタ全体にわたり乗数として変化すると概ね仮定すると、システムはプロジェクタ全体にわたり統一的な補正を適用できる（ステップ６３０）。

図７は、上述した実施態様の方策と実質的に同様の校正システム及びプロセスの別の実施態様である。したがって図７のディスプレイ構成は、図１のディスプレイ構成と実質的に同様である。ここには２台のプロジェクタで構成されたディスプレイが表現されており、プロジェクタの輪郭は７０１及び７０３で示され、共通の重なり領域７０５（即ちややキーストーン形）を有する。スクリーンの輪郭は破線７００で示されている。カメラ視野の輪郭はわずかに歪んだ円形７０７として示されている。さらに基準マークとして（例えば）「Ｘ」が追加された。これらのうち２つの基準を７０９及び７１１で標識した。カメラは基準の一部、例えば７０９は撮像できないが、基準の一部、例えば７１１は撮像できる。例示的に、特定のピクセルが画像内に表示される基準マークはスクリーン上に位置しなければならない。例えばプロジェクタスクリーン全体の１０％のスペースに基準の規則的なグリッドがあった場合、システム全体に表示されるべき画像は、その１０％がすべての基準対に含まれるように拡げるべきであることを校正システムに指示することができよう。

上述した実施態様と同様に、プロジェクタは共通座標系に、次にスクリーンにマッピングされ得る。カメラが基準を撮像できる領域には、上記の基準のない実施態様におけるより多くの画像が存在する。この場合、基準は本質的にシステムはどのように特定のピクセルをスクリーンにマッピングすべきであるかを指示する。ステップ２１０の計算が完了したら、ピクセルから共通座標系へのマッピングが達成され、次にステップ２２０に従いこれらのピクセルは共通座標系からスクリーンへマッピングされ得る。

共通座標系からスクリーンへのマッピングを計算するための既存のプロセス及び方法が既にステップ２２０のための解決策を生み出すことができ、こうして生じる新しい１組のデータが第２の解決策を生み出すことができるとすれば、これらの解決策を統合して１つの統一された解決策を見つけることが課題である。この事例では重み付けアルゴリズムを使用できる。方策としてカメラの縁部では非常に小さい重みがカメラに適用されるので、カメラの内部からカメラの外部に向かって不連続性はない（本質的に不連続性がない）であろう。カメラの中心部では、データはより大きく重み付けされ得る。カメラの重みはカメラからの基準の位置で推定されたエラーに基づいて調整されることもでき、効果的に信頼基準を提供する。

基準の間には、適当なプロセッサで実行される補間アルゴリズムがあり得ることに留意されたい。利用可能であればカメラからスクリーンへの変換の推定値をこの補間に援用できる。プロジェクタが基準をオーバーラップさせる場合は、補間はプロジェクタのモデルに基づいて行うことができる。

多様な種類の基準があり、それらの多くは人の目には見えないか、容易に気づかないようにできることに留意されたい。それらの一部は極小にできる。他の基準は透かしにして観測者から見えにくくすることができる。基準はまた人には良く見えないがカメラには見える波長に反応できる（例えば赤外線に近い波長）。基準を空間的に適当に変化させること、例えば色、反射、サイズ、形状などを変化させて、カメラがシーン全体に対して基準を決定／区別できるようにすることがしばしば望ましい。

＜追加の実施態様＞
ここに記載する一般化された原理に基づいて、開示された教示に従い、関連分野における通常の熟練と組み合わせて実施できるその他の多様な実施態様がある。

例示的に、プロジェクタはタイル状に積み重ねることができる。積み重ねは明るさを増すため、又は立体表示を生成するために実施できる。異なる実施として、プロジェクタの個々の色を別個のプロジェクタで効果的に処理して、横方向の色の歪みを補正することができる。

例示的に、システムは反復して校正されてよい。プロジェクタによって投影されるパターンは現在の一連の測定に基づいて変更でき、カメラによって収集される新しい画像が予想される画像と比較されて、補正の許容差が閾値以下であるか決定する。

一般性を失うことなく、システムは多くの異なる種類のコンテンツを見せるために運転されてよい。普通の例は、立体又は２次元ピクセルバッファを伴い、全画面に映像コンテンツを示すこと、コンテンツの一部を各プロジェクタに示すこと、単一のデスクトップコンピュータで全画面に示すこと、及びスクリーン上でプロジェクタに対する錐台に効果的にカットされたフライトシミュレータを示すことを含む。

校正プロセスの結果は、グラフィックスカードドライバ又は注入型プロセスを含む多様な処理位置にセットできる。注入型プロセス例えば米国特許出願第１２／８１８、１０２号「マッピング機能の注入のための．システム及び方法」に記載されており、その教示内容は参照により有益な背景情報として本明細書に編入される。あるいはディスプレイシステムの保存されている光学、機械、熱及び電子（ＯＭＴＥ）表示パラメータにインストールできる。

さらに背景情報として、ここに記載する実施態様は、色と強度の補正／校正のための方法及プロセスと併用して使用できる。その１例が米国特許出願第１３／５２３、８５２号「実用ディスプレイシステムの色と強度を校正するためのシステム及び方法」に記載されており、その教示内容は参照により有益な背景情報として本明細書に編入される。この特許では、図３に関連して次のように記載されている。

「幾何的マッピングステップ（３１０）おいて、ディスプレイユニットと光学センサとの間でマップが形成される。この例示的なプロセスを実行するために多くのアルゴリズム／プロセスを採用できる。１例として、スカラブル・デスクトップ（スカラブル・ディスプレイ・テクノロジーズ・オブ・ケンブリッジ（マサチューセッツ州）が生産するソフトウェア）は、そのようなマッピングを生成するために１台以上のカメラによって収集された一連のスポットパターンを提供する。より一般的に、ここで用いる「アルゴリズム」という言葉は広く解釈して、プログラム命令の非一時的コンピュータ可読媒体を用いて実行されるプロセス／手順の全部又は一部を含めるべきである。ここに記載するシステム及び方法は、ｃａｎｂｅは実施されるを用いてそのような非一時的コンピュータ可読媒体及び／又は専用処理チップ、例えばＦＰＧＡ、ＡＳＩＣ及びこれに類するものを含む電子ハードウェアを用いて実施できる。加えて、方法ステップ又はプロセスブロックが図示及び説明される場合は、それらのステップ／プロセスの全部又は一部は他の別個の離散的なステップ又はプロセスにおいて実施できることが明確に想定されている。同様に、種々のステップ／プロセス（又はその部分）は、表現された以外の様々な方法で機能的に組み合わせることができる。

測光収集フェーズ（３２０）は、例示的に１台以上のカメラから背景画像キャプチャーして、周囲照明及びプロジェクタ黒レベルを記録することによって開始できる。背景画像がキャプチャーされたら、続いてキャプチャーされた画像から周囲照明及び黒レベル照明を、種々のサブトラクション法など多様な技術を用いて除去するために使用できる。例示的な実施態様において、データ収集フェーズは続いて各プロジェクタを１台ずつ完全強度の純白（ＲＧＢ＝２５５）入力画像で照明しながら、残りのすべてのプロジェクタに黒（ＲＧＢ＝０）入力を送って、１台以上のカメラから画像をキャプチャーすることによって継続する。明画像と呼ばれるこれらの収集された画像は、ノイズを除去するために低域フィルタリングされてよく、それぞれ３×３ホワイトバランスマトリクスで拡大されたＲＧＢピクセルを有してよい。

プロセスの次のフェーズはターゲット形成である（ステップ３３０）。一般性を失うことなく、ターゲット画像を計算する多くのメカニズムがある。例示的にターゲット形成の１つの方法は、各カメラ又はセンサに対する明画像を、最大出力画像と呼ぶ単一の画像に蓄積することによって開始する。マスク又は他の方法で決定され得る活性領域は、最大出力画像から選択される。種々の実施態様において、活性領域はより低い解像度にダウンサンプリングされ得る。活性領域はＮ次元ベクトルＭに展開されており、カメラの活性領域における各有効ピクセルに１次元が割り当てられる。１実施態様において、最適ターゲットｔ＊に対する二次最適化は次式によって解決される。

ｔ*＝ａｒｇｍｉｎ0.5*ｔ^Ｔ*Ｈ*ｔ−ｗｌ*ｔ

ただし、０＜=ｔ≦Ｍ である。

ここで、Ｈ＝ｗ２＊（Ｄｘ^Ｔ＊Ｓｌ＊Ｄｘ＋Ｄｙ^Ｔ＊Ｓ２＊Ｄｙ）＋ｗ３＊（Ｄｘｘ^Ｔ＊Ｓ３＊Ｄｘｘ＋Ｄｙｙ^Ｔ＊Ｓ４＊Ｄｙｙ）であり、ｗｌ、ｗ２、ｗ３はスカラー重みであり、Ｄｘ及びＤｙは空間的ｘ及びｙ一次導関数を計算するマトリクスであり、Ｄｘｘ及びＤｙｙはｘ及びｙ二次導関数を計算するマトリクスであり、ｘ^Ｔ及びｙ^Ｔはｘ及びｙ転置行列である。Ｓ１、Ｓ２、Ｓ３、及びＳ４マトリクスは対角であり、効果的に空間的に変化する重みであって領域、強度、及び画像強度におけるヒストグラムの統計に基づいて変わり得る。それらはしばしば恒等行列として残される。ターゲット画像はＭ以下でなければならないという制約は、ターゲットが達成可能であることを効果的に保証する。

最終ステップにおいて、ターゲットＴはアップサンプリングｔ＊により、必要ならば最大出力画像活性領域の元の大きさに計算される。」

当業者であれば、現場でプロジェクタを事前に校正する多くの利点を認識するだろう。プロジェクタは現場で校正されるのであるから、プロジェクタのモデルのパラメータ及び検出される非理想性が、プロジェクタのすべての動作点ではなく実際の動作点で正確に測定される。その点において、現場での事前校正は、プロジェクタの動作点を見つけること、そしプロジェクタの小さい摂動モデルを生成することに通じる。

ジオメトリが正確に知られていない多くのタイプのスクリーンがあることが認識されている。これらは半径が知られていないドームなどのパラメータ化されたスクリーンである。これらのスクリーンに対して、ステップ５２０における最小化は、そのようなスクリーンタイプと関係した追加のスクリーンパラメータを含むことができる。

正確には「押出成形スクリーン」と呼ばれるスクリーンもあり、これは非常にしばしばスクリーンの頂部から底部に至るカットが平行直線を形成するであろうことを含意している。これらの種類のスクリーンは垂直方向をパラメータ化されたスプライン曲線として扱い、それらのパラメータはステップ５２０で決定できる。緩やかに湾曲したほぼフラットなスクリーンは、会議室に用いられる普通の押出成形スクリーンである。

正確に円筒又はドームではないが、それに近いスクリーンもある。しばしばこれらのスクリーンの最も容易な解決策は、スクリーンジオメトリを測定することである。例えば使用者はシステムに指示して校正されたカメラで２つの位置からプロジェクタシステムをを校正させることができ、スエレオ法／プロセスを用いてモデル化されたスクリーンバージョンを計算する（全体倍率はない）。

エッジブレンディング技術の記述は説明の多くの箇所で提供されているので、当業者にとってエッジブレンディング技術で用いられるアルゴリズムのタイプは明らかなはずである。ここに記載する実施態様に従い、留意すべき点は１つの境界又は領域にある１つの値と、異なる境界又は領域にある別の特徴的な値を有する関数があることである。最も普通には１つの値はゼロ（０）であり、別の１つの値は他の最大重みである。ベクトル関数に対して、しばしば最も単純なのはベクトル内の各要素をベクトルのすべての要素から切り離して扱うことである。したがって各要素はスカラーとして扱うことができる。中間で計算される重みは、多くの方法で計算できる。関連する分野の精通者は文献中に、距離、距離の二乗、都市ブロック距離などに基づいて方法を見出した。ｃｉｔｙブロック距離など例示的に、システム及びプロセスはラプラシアンに基づく計算を採用できる。重み付け関数に対して、重み付けが定義されたら、上述した技術を含め重みを結合する技術がある。

これらのエッジブレンディング技術は湾曲した表面で、プロジェクタを複雑に傾ける場合に特に価値がある。これらの設定で、形状が非常に複雑なプロジェクタオーバーラップ区域を持つことが可能である。これらのより複雑な形状に対して、既にエッジブレンディング技術グループはこれらの複雑な形状と取り組むための方法を設計した。

上述した実施態様により、利用可能なレンズモデルなしに校正を実行する短焦点カメラ及び付属の広角レンズを用いてマルチディスプレイシステムを効果的に校正することが可能であることは明らかなはずである。

以上、本発明の例示的な実施態様を詳細に説明した。本発明の精神と範囲を逸脱することなく種々の改変及び追加を行うことができる。上述した種々の実施態様の各々の特徴は、関連する新しい実施態様において多数の特徴の組み合わせを提供するのに適する限り、別の記載された実施態様の特徴と組み合わされてよい。さらに、上に本発明の装置と方法の多数の別個の実施態様を記したが、本明細書に記載されたものは本発明の原理の応用を例示したものに過ぎない。例えばここで用いる「自動的」という言葉は、一般的に人の入力又は介入なしに、記憶されたデータに基づいて作動し、電子プロセッサによって操作されることを意味するものとする。また、ここで用いる「プロセス」及び／又は「プロセッサ」という言葉も広く解釈して、種々の電子ハードウェア及び／又はソフトウェアをベースとする多様な機能及びコンポーネントントを含むものとする。さらに、表現されたプロセス又はプロセッサは他のプロセス及び／又はプロセッサと組み合わせ、又は種々のサブプロセス又はプロセッサに分割されてよい。そのようなサブ−プロセス及び／又はサブプロセッサは、ここに記載する実施態様に従って多様に組み合わせることができる。同様に、ここに記載された何らかの機能、プロセス及び／又はプロセッサは、プログラム命令の非一時的コンピュータ可読媒体からなる電子ハードウェア、ソフトウェア、あるいはハードウェアとソフトウェアの組合せを用いて実施できることが明確に想定されている。同様に、本明細書で使用される様々な方向および／または向きを表わす用語、例えば、「垂直」、「水平」、「上」、「下」、「底部」、「頂部」、「側部」、「前部」、「後部」、「左」、「右」およびこれに類するものは、相対的な表現法として用いられているに過ぎず、重力等の固定した座標系を基準とした絶対的な向きを表わすものではない。従ってこの説明は例示の方法によるものであり、本発明の範囲を別途制限することを意味するものではない。

以下に請求項を添付する。

Claims (18)

1. １台以上のカメラを備えて、１台以上のカメラがスクリーン全体を撮像することを要さずに、２台以上のプロジェクタを有するプロジェクタシステムを校正する方法であって、
   プロジェクタから投影された１個以上のパターンを１台以上のカメラでキャプチャーするステップと、
   各プロジェクタから投影されたピクセルを共通座標系にマッピングするステップであって、当該マッピングするステップはカメラのレンズ特性のモデルに依存しない、前記ステップと、
   １台以上のカメラのレンズ特性のモデルに依存せずに共通座標系をスクリーンにマッピングするステップと、
   を有する前記方法。
2. プロジェクタが事前校正されている請求項１に記載の方法。
3. いずれかのマッピングステップはプロジェクタのモデルを用いて形成されている、請求項１に記載の方法。
4. プロジェクタのモデルは、プロジェクタマッピングの理想化されたモデルからの歪みのモデルを含んでいる、請求項３に記載の方法。
5. 表面マッピングのためのモデル化されたプロジェクタは測定によって事前校正されている、請求項３に記載の方法。
6. 事前校正された測定は推測されるのに対して、プロジェクタは校正されたシステムの一部である、請求項５に記載の方法。
7. プロジェクタの共通座標系へのマッピングは、プロジェクタのオーバーラップとプロジェクタのモデル化されたオーバーラップとの差を１台以上のカメラを用いて測定するステップを含んでいる、請求項１に記載の方法。
8. プロジェクタのモデルは、プロジェクタマッピングの理想化されたモデルからの歪みのモデルを含んでいる、請求項７に記載の方法。
9. １台以上のカメラによって測定された差は、エッジブレンディング技術を用いて２台以上のプロジェクタと共通座標系との間に適用される、請求項７に記載の方法。
10. プロジェクタはフラットスクリーン上に投影しており、共通座標系にマッピングするステップは１台以上のカメラを用いてプロジェクタの間のホモグラフィを見つけることを含んでいる、請求項３に記載の方法。
11. プロジェクタは既知の又はパラメータ化されたジオメトリを有する湾曲したスクリーン上に投影しており、共通座標系にマッピングするステップはプロジェクタの表面マッピングにプロジェクタのモデルを使用することを含んでいる、請求項３に記載の方法。
12. 共通座標系をスクリーンにマッピングすることは、さらに１台以上のカメラを用いてスクリーン上に基準を置くことを含んでいる、請求項１に記載の方法。
13. さらに、強度と色の情報を保存し、１台以上のカメラによって撮像されるプロジェクタシステムの領域を用いて強度と色をバランスさせる、請求項１に記載の方法。
14. プロジェクタは事前に校正されており、共通座標系にマッピングするステップは、１台以上のカメラを用いて事前に校正されたプロジェクタの間のホモグラフィを見つけることを含んでいる、請求項１０に記載の方法。
15. プロジェクタは事前に校正されており、共通座標系にマッピングするステップは事前に校正されたプロジェクタの表面マッピングにプロジェクタのモデルを使用することを含んでいる、請求項１１に記載の方法。
16. 測定は、制御された環境においてプロジェクタからのデータを測定することを含んでいる、請求項５に記載の方法。
17. １台以上のカメラはスクリーン全体の第１の部分を撮像し、これにより１台以上のカメラによって撮像されないスクリーン全体の第２の部分を定義する、請求項１に記載の方法。
18. １台以上のカメラを備え、カメラがスクリーン全体を撮像することを要さずに、２台以上のプロジェクタを有する、プロジェクタシステムを校正するためのシステムにおいて、
    プロジェクタから投影された１個以上のパターンの画像をキャプチャーする１台以上のカメラと、
    各プロジェクタから投影されたピクセルを共通座標系にマッピングするマッピングプロセスであって、前記マッピングプロセスはカメラのレンズ特性のモデルに依存しない、前記マッピングプロセスと、
    １台以上のカメラのレンズ特性のモデルに依存することなくスクリーンにマッピングされている共通座標系と、
    を有する前記システム。

Images