JP2007199716A - デジタル・プロジェクタとデジタル・カメラとを関連づける光輸送係数を生成する方法、および少なくとも１つのデジタル・プロジェクタと１つのデジタル・カメラとを持つプロジェクタ−カメラ・システムをキャリブレートする方法 - Google Patents

Abstract

【課題】高効率デュアル・フォトグラフィー。
【解決手段】デュアル・フォトグラフィの適用が、（ｐ×ｑ）投影ピクセル・アレイに関
する光輸送行列Ｔを生成するために必要とされる捕獲画像の数を、（ｐ×ｑ）個の画像か
ら（ｐ＋ｑ）個の画像に減少させることによって簡単化される。光輸送行列の操作も、行
列Ｔを用いる代わりに、各投影ピクセルと、ゼロでない光輸送値だけとを結び付けるイン
デックスを用いることによって簡単化される。ゼロ値を持つ光輸送係数の使用を排除する
ことによって、デュアル・フォトグラフィを実装するためのメモリ要件および演算処理要
件が、大きく縮減される。
【選択図】図３

Description

本発明は、プロジェクタ−カメラ・システムにおいてプロジェクタをキャリブレートす
る方法に関し、より詳細には、デュアル・フォトグラフィの適用を簡単化する方法に関す
るものである。

本出願は、米国特許法第１１９条（ｅ）に基づいて、２００６年１月２４日に受理され
た米国仮出願第６０／７６２，１７８号の利益を主張するものである。

プロジェクタとカメラが組み合わされると、光の投影と捕獲との両方ができるハイブリ
ッドなデバイスおよびシステムが、生まれる。この画像形成デバイスおよびシステムの新
興種は、プロジェクタ−カメラ・システムとして研究団体において知られている。通常、
１つ以上のカメラによって捕獲された画像を用いて、投影面の幾何学的形状のようなディ
スプレイ環境に関する属性が評価される。その後、そのシステム中のプロジェクタが、生
じる心像を改善するように、投影される画像を適応化させる。

プロジェクタ−カメラ・システムおよびデバイスを組み立てる人が解決しなければなら
ないキー問題は、各デバイスの内部画像形成パラメータ（内因性パラメータ）の決定、お
よび、システム中の全てのプロジェクタとカメラの間の幾何学的な関係（外因性パラメー
タ）の決定である。この問題は、一般に、システムのキャリブレーション問題と呼ばれる
。

コンピュータ・ビジョン団体において、１つ以上のカメラを備えた画像形成システムの
キュリブレーションに関して、大量の研究が存在する。カメラをキャリブレートするため
に、コンピュータ・ビジョン団体において一般に用いられている方法は、参照によって、
その全体が本明細書に組み込まれる、チェンユ・チャン（Zhengyou Zhang）による論文「
A flexible new technique for camera calibration」，IEEE Transactions on Pattern
Analysis and Machine Intelligence，2000年，22巻，11号，p.1330〜1334に記述されて
いる。この方法では、いくつかの既知の特徴点（通常、格子を形成している）を印された
平面物体の複数の画像を、その平面物体をカメラに対して種々の角度に配しながら、カメ
ラによって捕獲する。各特徴点の画像位置が、抽出され、そして、各特徴点の相対的位置
が、既知であるから、したがって、特徴点位置の集合を用いて、カメラをキャリブレート
することができる。２つ以上のカメラが、システム中に存在する場合には、全てのカメラ
の間の幾何学的な関係とともに、内因性パラメータも、全てのカメラに、各配置角度にお
ける平面物体の画像を捕獲させることによって、評価することができる。

プロジェクタとカメラとは、画像形成幾何学的構造に関しては非常に類似しているから
、カメラをキャリブレートするための技術を、プロジェクタおよびプロジェクタ−カメラ
・システムのキャリブレーションに適用可能であろうということは、理に適っているよう
に見えるかもしれない。しかしながら、全てのカメラ・キャリブレーション技術は、カメ
ラ（即ち、キャリブレートされている画像形成デバイス）が、いくつかの画像を捕獲する
ことを必要とするから、カメラ・キャリブレーション技術を、画像を捕獲することができ
ないプロジェクタに、直ちに適用することはできないように思われる。

したがって、従来のシステムでは、最初に、カメラが、キャリブレートされ、次に、キ
ャリブレートされたカメラが、プロジェクタをキャリブレートするために用いられている
。これらのシステムでは、一対のキャリブレートされたカメラを、ステレオ対を形成する
ように用いる「ブートストラップ」手順が、用いられる。公知のように、カメラのステレ
オ対を用いて、そのステレオ対で見える特徴点の深度、即ち、透視図を評価することがで
きる。プロジェクタをキャリブレートするために、最初に、プロジェクタで、ディスプレ
イ環境（即ち、投影面）上に特徴点を投影し、その後、キャリブレートされたカメラのス
テレオ対を用いて、投影された点の透視深度位置を決定することによって、ディスプレイ
環境の表面の不規則性を補償するように、そのプロジェクタをキャリブレートすることが
できる。

このブートストラップ技術は、プロジェクタ−カメラ・システムの、信頼できて証明済
みのキャリブレーション方法であるが、それは、外部のステレオカメラ対の使用を必要と
するから、内蔵型のプロジェクタ−カメラ・デバイスのキャリブレーションには適用不可
能である。

デュアル・フォトグラフィ（dual photography）と呼ばれる技術が、参照によって、そ
の全体が本明細書に組み込まれる論文「Dual Photography」，Proceedings ACM SIGGRRAP
H，2005年において、セン（Sen）、その外によって提案された。デュアル・フォトグラフ
ィは、ヘルムホルツの相反性（光の相反性）を用いて、プロジェクタによって「見られる
とおりに」（即ち、実効的に「捕獲される」）画像をシミュレートする擬似画像（即ち、
双対画像）を合成するために、現実のカメラで捕獲された画像を用いる。即ち、その擬似
画像は、プロジェクタによって「観察された」ときに捕獲される画像をシミュレートし、
したがって、プロジェクタが画像を捕獲することができるとすれば、プロジェクタによっ
て捕獲される画像がどのようなものであるかを表わす。このアプローチは、プロジェクタ
を擬似カメラとして扱うことを可能にし、したがって、プロジェクタのキャリブレーショ
ンに関連する困難のいくつかを取り除くであろう。

ヘルムホルツの相反性は、輸送特性を変えることなく、光の流れを実効的に逆にするこ
とができるという考えに基づく。ヘルムホルツの相反性は、計算上の複雑さを軽減するた
めに、多くのコンピュータ・グラフィックス応用において用いられている。コンピュータ
・グラフィックス文献では、この相反性は、通常、入射方角ωｉと出射方角ωｏとの間の
放射輝度転送の相称性について記述する方程式：ｆｒ（ωｉ→ωｏ）＝ｆｒ（ωｏ→ωｉ
）によって要約されている。ここで、ｆｒは、表面の双方向反射率分布関数（ＢＲＤＦ）
を表わしている。

したがって、デュアル・フォトグラフィは、投影された画像と捕獲された画像との二重
性（即ち、双対関係）の利点を完ぺきに取り込んで、一方から他方をシミュレートする。
以下に、より詳細に記述するように、デュアル・フォトグラフィ（および、より正確には
、ヘルムホルツの相反性）は、カメラとプロジェクタの間の光輸送の捕獲を必要とする。

デジタル・カメラおよびデジタル・プロジェクタを取り扱うとき、デュアル・フォトグ
ラフィは、両デバイスの解像度で、全てのカメラ・ピクセルと全てのプロジェクタ・ピク
セルの間の各光輸送係数を捕獲することを必要とする。デジタル・プロジェクタおよびデ
ジタル・カメラは、どちらも、各々、何百万個ものピクセルを持ち得るから、おびただし
い数の光輸送係数の収集、格納、および操作のために、その使用に対して、極めて実際的
な制限が置かれる可能性がある。したがって、理論的には、デュアル・フォトグラフィは
、大きな利益を提供するように思われるかもしれないが、実際には、デュアル・フォトグ
ラフィは、極めて大量のコンピュータ・メモリ（アーカイブなディスク型メモリとアクテ
ィブ・シリコン・メモリとの両方）を必要とし、また、大規模で、高速のコンピュータに
よる処理を必要とするという、その物理的・非現実的な要求によって厳しく制限される。

図１Ａおよび１Ｂを参照すると、デュアル・フォトグラフィについての、より明瞭な理
解を得ることができる。図１Ａにおいて、「主構成」（即ち、いかなる双対変換にも先立
った、現実の物理的デバイスの構成）に、現実のデジタル・プロジェクタ１１、現実の投
影された画像１３、および、現実のデジタル・カメラ１５が、含まれている。光が、現実
のプロジェクタ１１から放出されて、現実のカメラ１５によって捕獲される。各投影され
た光ビーム（現実のプロジェクタ１１からの）を、それに対応する、捕獲された光ビーム
（現実のカメラ１５において）と関連づける係数が、光輸送係数と呼ばれる。光輸送係数
を用いると、捕獲された光ビームから、投影された光ビームの特性を決定することが可能
である。

本例において、現実のプロジェクタ１１は、ドットで描いたボックス内にシンボル的に
示されており、そして、ｓ行、ｒ列のプロジェクタ・ピクセルｅから成る、プロジェクタ
・ピクセル・アレイ１７を持つデジタル・プロジェクタである。プロジェクタ・ピクセル
・アレイ１７の規模は、現実のプロジェクタ１１の解像度に依存する。例えば、ＶＧＡ解
像度は、６４０×４８０個のピクセル（即ち、３０７，２００個のプロジェクタ・ピクセ
ルｅ）から成り、ＳＶＧＡ解像度は、８００×６００個のピクセル（即ち、４８０，００
０個のプロジェクタ・ピクセルｅ）を持ち、ＸＶＧ解像度は、１０２４×７６８個のピク
セル（即ち、７８６，７３２個のプロジェクタ・ピクセルｅ）を持ち、ＳＸＶＧ解像度は
、１２８０×１０２４個（即ち、１，３１０，７２０個のプロジェクタ・ピクセルｅ）を
持つ、等であり、より大きな解像度のプロジェクタは、より多数のプロジェクタ・ピクセ
ルｅを必要とする。

同様に、現実のカメラ１５は、ドットで描いたボックス内にシンボル的に示されており
、そして、ｕ行、ｖ列のレセプタ・ピクセルｇから成る、光レセプタ・ピクセル・アレイ
１９を持つデジタル・カメラである。レセプタ・ピクセル・アレイ１９の規模は、やはり
、現実のカメラ１５の解像度に依存する。しかしながら、現実のカメラ１５は、４メガピ
クセル（即ち、４，１９４，３０４個のレセプタ・ピクセルｇ）、または、それ以上の解
像度を持つのが一般的である。

現実のプロジェクタ１１が、個々の光投影ピクセルｅのアレイを持つデジタル・プロジ
ェクタであリ、また、現実のカメラ１５が、個々の光レセプタ・ピクセルｇのアレイを持
つデジタル・カメラであるから、行列Ｔが、現実のプロジェクタ１１内の各プロジェクタ
・ピクセルｅを、現実のカメラ１５の各レセプタ・ピクセルｇと関連づける光輸送係数の
グループを記述するために用いられる（即ち、行列Ｔの要素Ｔ_geが、個々の現実のプロジ
ェクタのピクセルｅから個々の現実のカメラのレセプタ・ピクセルｇへの輸送係数である
）。したがって、現実の捕獲された画像Ｃ'は、Ｃ'＝ＴＰ'として、投影された画像Ｐ'と
関連づけられる。

図１Ａのシステムの双対変換、即ち、双対構成が、図１Ｂに示されている。この双対構
成では、図１Ａの現実のプロジェクタ１１が、仮想カメラ１１”に変換され、図１Ａの現
実のカメラ１５が、仮想プロジェクタ１５”に変換されている。仮想カメラ１１”と仮想
プロジェクタ１５”とは、それぞれ、現実のプロジェクタ１１と現実のカメラ１５との双
対対応物を表わし、現実のデバイス自体ではないことは理解されるであろう。すなわち、
仮想カメラ１１”は、仮定上のカメラ（即ち、仮想カメラ１１”）が、図１Ａの現実のプ
ロジェクタ１１によって投影される現実の画像１３と同様の、仮定上の投影画像１３”を
捕獲するために、どのように振舞うかについての数学的表現である。同様に、仮想プロジ
ェクタ１５”は、仮定上のプロジェクタ（即ち、仮想プロジェクタ１５”）が、現実のカ
メラ１５（図１Ａの）によって捕獲される現実の画像１３と実質的に一致する、仮定上の
画像１３”を投影するために、どのように振舞うかについての数学的表現である。したが
って、図１Ａの現実のプロジェクタ１１と現実のカメラ１５の位置が、図１Ｂにおいて、
仮想カメラ１１”と仮想プロジェクタ１５”として入れ換えられている。しかしながら、
現実のデバイスのピクセル解像度は、それらの対応物である双対デバイスに繰り込まれる
。したがって、仮想カメラ１１”は、現実のプロジェクタ１１のプロジェクタ・ピクセル
・アレイ１７と一致する、ｓ行、ｒ列から成る仮想レセプタ・ピクセル・アレイ１７”を
持つ。同様に、仮想プロジェクタ１５”は、現実のカメラ１５のレセプタ・ピクセル・ア
レイ１９と一致する、ｕ行、ｖ列から成る仮想投影ピクセル・アレイ１９”を持つ。

双対輸送行列Ｔ”が、この双対構成における輸送行列であり、したがって、仮想捕獲画
像Ｃ”（仮想カメラ１１”によって捕獲される）が、Ｃ”＝ＴＰ”として、仮想投影画像
Ｐ”（仮想プロジェクタ１５”によって投影される）と関連付けられるとすると、Ｔ”_eg
は、仮想プロジェクタ・ピクセルｇ”と仮想レセプタ・ピクセルｅ”との間の双対光輸送
係数となる。

ヘルムホルツの相反性は、ピクセル対ピクセルへの輸送が、両方向（即ち、現実のプロ
ジェクタ１１から現実のカメラ１５への方向と、仮想プロジェクタ１５”から仮想カメラ
１１”への方向と）で等しいことを明示している。即ち、Ｔ”_eg＝Ｔ_geであり、それは、
Ｔ”＝Ｔ^Tである（即ち、双対行列Ｔ”が、現実の行列Ｔに対する数学的転置操作の結果
と等価である）ことを意味する。したがって、行列Ｔが与えられると、人は、Ｔ^Tを用い
て、双対構成において取得される画像を合成することができる。

「A flexible new technique for camera calibration」，IEEE Transactions on Pattern Analysis and Machine Intelligence，2000年，22巻，11号，p.1330〜1334

本発明の１つの目的は、デュアル・フォトグラフィの適用を簡単化することである。

本発明の別の１つの目的は、プロジェクタ−カメラ・システムにおける現実のプロジェ
クタのキャリブレーションでのデュアル・フォトグラフィの使用を簡単化することである
。

本発明のさらなる１つの目的は、デュアル・フォトグラフィの、非常に時間を消費し、
かつ、複雑である要件のいくつかを必要とすることなく、現実のプロジェクタのキャリブ
レーションにおいて、デュアル・フォトグラフィの利益を利用することである。

上述の目的は、双対輸送行列Ｔの生成を簡単化し、デュアル・フォトグラフィに対する
光輸送係数の実装を簡単化し、そして、緩和されたデュアル・フォトグラフィ操作と平面
射影の軽減された計算要件とを組み合わせたシステムにおいてかなえられる。

デュアル・フォトグラフィの適用が、（ｐ×ｑ）投影ピクセル・アレイに関する光輸送
行列Ｔを生成するために必要とされる捕獲画像の数を、（ｐ×ｑ）個の画像から（ｐ＋ｑ
）個の画像に減少させることによって簡単化される。光輸送行列の操作は、行列Ｔを用い
る代わりに、各投影ピクセルと、ゼロでない光輸送値だけとを結び付けるインデックスを
用いることによって簡単化される。ゼロ値を持つ光輸送係数の使用を排除することによっ
て、デュアル・フォトグラフィを実装するためのメモリ要件および演算処理要件が、大き
く縮減される。このデュアル・フォトグラフィ技術が、プロジェクタ−カメラ・システム
のキャリブレーションに適用される。

プロジェクタ−カメラ・システムをキャリブレートする第２の方法は、既知の投影テス
トパターンとキャリブレートされたカメラを用いて、投影された現実の画像上の空間的標
識と捕獲画像を結び付けることである。投影された空間的標識の現実の位置が、キャリブ
レートされたカメラによって決定され、また、テストパターン上の空間的標識の相対的位
置も、既知である（そのテストパターンが、キャリブレートされるプロジェクタによって
投影されたものであるから）から、投影された空間的標識間のその既知の関係が、キャリ
ブレートされたカメラによって決定された、投影場上の空間的標識の実際の位置に一致す
ることを確実にするように、平面射影技術を用いて、プロジェクタをキャリブレートする
ことができる。

本発明の第一の実施例において、デジタル・プロジェクタとデジタル・カメラとを関連
づける光輸送係数を生成する方法が示される。デジタル・プロジェクタが、投影ピクセル
のアレイを持ち、そして、デジタル・カメラが、センサ・ピクセルのアレイを持つ場合に
は、その方法は、前記プロジェクタ内の第１の投影ピクセルのグループを同時に駆動して
、投影場上に第１のテストパターンを投影するステップであって、前記第１のテストパタ
ーン中にない、いずれの投影ピクセルも暗く維持されるステップと、前記投影場上の、前
記第１のテストパターンの第１の画像を捕獲するステップと、前記プロジェクタ内の第２
の投影ピクセルのグループを同時に駆動して、前記投影場上に第２のテストパターンを投
影するステップであって、前記第２のテストパターン中にない、いずれの残りの投影ピク
セルも暗く維持され、前記第１および第２の投影ピクセルのグループが、ターゲット投影
ピクセルを定める、ただ１つの投影ピクセルしか共通に持たないステップと、前記投影場
上の、前記第２のテストパターンの第２の画像を捕獲するステップと、前記第１の画像の
画像ピクセルと、それに対応する、前記第２の画像の画像ピクセルとを比較するステップ
と、２つの比較された画像ピクセルのうちの、より暗い方を保持するステップであって、
前記保持された画像ピクセルが、合成画像を構成するステップと、前記合成画像中の全て
の暗くない画像ピクセルを識別するステップであって、前記暗くない画像ピクセルが、前
記ターゲット投影ピクセルに関連する、ゼロでない光輸送係数を定めるステップと、を含
んでなる。

この方法にしたがえば、前記第１のテストパターンと前記第２のテストパターンとが、
前記ターゲット投影ピクセルに関連する第１のパターン対を形成し、前記デジタル・プロ
ジェクタ内の各投影ピクセルが、それぞれの第１のテストパターンと、それぞれの第２の
テストパターンとから成る、連合したユニークなパターン対を持ち、そして、前記デジタ
ル・プロジェクタ内の任意の選択された投影ピクセルに関する前記光輸送係数が、前記選
択された投影ピクセルの、その連合したユニークなパターン対を構成する、それぞれの第
１のテストパターンと、それぞれの第２のパターンとの捕獲画像を比較するステップによ
って得られ、前記ユニークなパターン対を比較する前記ステップが、前記それぞれの第１
の画像の画像ピクセルと、それに対応する、前記それぞれの第２の画像の画像ピクセルと
を比較するステップと、２つの比較された画像ピクセルのうちの、より暗い方を保持する
ステップであって、前記保持された画像ピクセルが、それぞれの合成画像を構成するステ
ップと、前記それぞれの合成画像中の全ての暗くない画像ピクセルを識別するステップで
あって、前記暗くない画像ピクセルが、前記任意の選択された投影ピクセルに関連する前
記光輸送係数を定めるステップと、を含んでなることを、さらに明確にすることができる
。

さらに、この方法において、前記プロジェクタが、投影ピクセルの行および列のアレイ
を持ち、前記それぞれの第１のテストパターンが、前記アレイの１つの列内の全投影ピク
セルを同時に駆動することよりなり、前記それぞれの第２のテストパターンが、前記アレ
イの１つの行内の全投影ピクセルを同時に駆動することよりなるのが好ましい。

それに代えて、光輸送係数を生成する本方法は、選択された数の前記ターゲット投影ピ
クセルに対して、前記光輸送係数を識別するステップと、前記選択された数のターゲット
投影ピクセルの各々と、それらに対応して関連するゼロでない光輸送係数とを結び付ける
インデックスを生成するステップと、前記ゼロでない光輸送係数だけを格納するステップ
と、を、さらに含んでもよい。

さらなる一代替実施例において、前記デジタル・プロジェクタと前記デジタル・カメラ
とを関連づける前記光輸送係数が、デュアル・フォトグラフィにおける使用に適している
。

本発明は、少なくとも１つのデジタル・プロジェクタと１つのデジタル・カメラとを持
つプロジェクタ−カメラ・システムのキャリブレーションに適用することができ、その方
法は、投影場を識別するステップと、前記投影場に対して前記カメラをキャリブレートす
るステップと、前記デジタル・プロジェクタ内の各投影ピクセルと、前記デジタル・カメ
ラとを結び付ける、ゼロでない光輸送係数を識別するステップと、各投影ピクセルと、そ
れに対応するゼロでない光輸送係数とを結び付けるインデックスを創出するステップと、
各投影ピクセルに関する各ゼロの光輸送係数を無視するステップと、前記プロジェクタが
デュアル・フォトグラフィ技術を用いるという観点から、前記インデックスによって識別
される、ゼロでない光輸送係数を用いて、前記投影場の双対画像を生成するステップと、
前記プロジェクタを仮想カメラとして扱うことによって、前記プロジェクタにカメラ・キ
ャリブレーション技術を適用するステップと、前記双対画像を、前記プロジェクタをキャ
リブレートするためのテスト画像として用いるステップと、を含んでなる。

さらに、この方法において、前記デジタル・プロジェクタ内の各投影ピクセルと、前記
デジタル・カメラとを結び付ける、ゼロでない光輸送係数を識別する前記ステップが、第
１のテストパターンの第１のセットを識別するステップであって、各第１のテストパター
ンが、複数の投影ピクセルを含むステップと、第２のテストパターンの第２のセットを識
別するステップであって、各第２のテストパターンが、複数の投影ピクセルを含み、前記
プロジェクタ内の各投影ピクセルが、前記第１のセットからの対応する第１のテストパタ
ーンと、前記第２のセットからの対応する第２のテストパターンとから成るテストパター
ン対の交差部によってユニークに識別されるステップと、前記投影場上に、前記第１のセ
ット内の前記第１のテストパターンの各々を駆動するステップと、その結果として生じる
投影画像の画像を捕獲するステップと、前記投影場上に、前記第２のセット内の前記第２
のテストパターンの各々を駆動するステップと、その結果として生じる投影画像の画像を
捕獲するステップと、前記プロジェクタ内の各投影ピクセルに対して、それに対応する、
投影された第１のテストパターンの前記捕獲画像の画像ピクセルと、それに対応する、投
影された第２のテストパターンの前記捕獲画像の対応する画像ピクセルとを比較するステ
ップと、前記２つの比較された画像ピクセルのうちの、より暗い方を保持するステップで
あって、前記保持された画像ピクセルが合成画像を構成するステップと、前記合成画像中
の全ての暗くない画像ピクセルを識別するステップであって、前記暗くない画像ピクセル
が、ゼロでない光輸送係数を定めるステップと、を含んでもよい。

一代替実施例において、少なくとも１つのデジタル・プロジェクタと１つのデジタル・
カメラとを持つプロジェクタ−カメラ・システムをキャリブレートする方法が、投影場を
識別するステップと、前記投影場に対して、前記カメラをキャリブレートするステップと
、前記投影場に既知のテストパターンを投影するステップであって、前記既知のテストパ
ターンが、互いに既知の空間的関係を持つ空間的標識のグループを含むステップと、平面
射影技術を用いて、前記投影場上の前記空間的標識の現実の位置を識別するために、前記
カメラと前記投影場との間の関係を識別するステップと、平面射影技術を用いて、前記カ
メラを用いて決定された前記投影場上の前記空間的標識の前記現実の位置と、前記既知の
テストパターン上の前記空間的標識の前記既知の空間的関係とを関連づけ、前記既知のテ
ストパターンの前記既知の空間的関係を、前記投影場上の前記空間的標識の前記現実の位
置に合致させるように、前記プロジェクタをキャリブレートするステップと、を含んでな
る。

この方法に継続して、前記既知のテストパターンが、少なくとも４個の空間的標識を含
んでいてもよい。

さらに、前記空間的標識間の前記既知の空間的関係が、二次元投影に限定されているの
が好ましい。

本発明の、より完全な理解とともに、他の目的および達成が、添付する図面と連係して
以下の記述および特許請求の範囲を参照することによって、明らかになり、また、十分に
理解されるであろう。

以下、本発明の実施形態を図面に基づいて説明する。

プロジェクタが、画像を捕獲することができるのであれば、現実のプロジェクタと現実
のカメラを区別する必要はなく、プロジェクタ−カメラ・システムを、複数カメラ・シス
テムのように扱うことができるに違いない。次に、上述の標準的なカメラ・キャリブレー
ション技術を用いて、プロジェクタ−カメラ・システムをキャリブレートすることができ
るに違いない。言い換えれば、プロジェクタを擬似カメラとして扱うことができれば、上
述の複数カメラ・システムのカメラ・キャリブレーション・ステージと同様なやり方で、
現実のカメラとともに、プロジェクタをキャリブレートすることができるに違いなく、ま
た、「ブートストラップ」プロジェクタ・キャリブレーション・ステージを省くことがで
きるであろう。

したがって、「ブートストラップ」投影キャリブレーション技術においては、プロジェ
クタが、既知の投影面上で、あらかじめキャリブレートされたカメラのステレオ対によっ
て捕獲して、その投影面の等高線を決定するための既知の特徴点を投影するのに対して、
デュアル・フォトグラフィ技術は、ステレオ対の、あらかじめキャリブレートされたカメ
ラの必要性を取り除くことができる。

図２Ａを参照すると、本発明による画像形成編成には、現実のプロジェクタ２１および
現実のカメラ２５を含んでもよい。現実のプロジェクタ２１は、デジタル・プロジェクタ
であって、ｐ行、ｑ列の個々の画像形成投影要素（即ち、投影ピクセル）ｊから成る画像
形成投影アレイ２７を含む画像形成要素を持つのが好ましい。画像形成投影アレイ２７は
、現実のプロジェクタ２１の内部にあって、図２Ａにおけるドットで描いたボックス内の
細線で示されている。現実のプロジェクタ２１は、液晶ディスプレイ（ＬＣＤ）タイプ、
デジタル・ライト・プロセッシング（ＤＬＰ（登録商標））タイプ、液晶オン・シリコン
（ＬＣＯＳ）タイプ、または、他のデジタル投影技術タイプであるのが好ましい。

現実のカメラ２５は、（ｍ行×ｎ列）の個々の画像センサ要素（即ち、センサ・ピクセ
ル）ｉから成る画像センサ・アレイ２９を含む画像センサを持つデジタル・カメラである
のが好ましい。簡単のために、画像センサ・アレイ２９は、現実のカメラ２５の上に示さ
れているが、画像センサ・アレイ２９が、現実のカメラ２５の内部にあることは理解され
るであろう。

現実のプロジェクタ２１と現実のカメラ２５とを用いる、この物理的な編成は、「主」
編成と呼ぶのが好ましい。現実のプロジェクタ２１から放出された光線は、不規則な形状
を持っても、平坦な形状を持ってもよい投影面（即ち、ディスプレイ環境または場）２３
から跳ね返り、そして、その光線のいくらかは、最終的に、現実のカメラ２５内の画像セ
ンサに達する。一般に、各光線は、その場において、分散し、反射し、また、屈折して、
画像センサ・アレイ２９の全体にわたる、いくつかの異なる位置でカメラの画像センサを
打つ。したがって、現実のプロジェクタ２１内の１つの画像形成投影ピクセルｊから放出
された光線が、現実のカメラ２５に達すると、画像センサ・アレイ２９内の個々のセンサ
・ピクセルｉの各々が、ある量の光を受けて、投影された光線が、カメラの画像センサ・
アレイ２９上に、（ｍ行×ｎ列）の画像を形成する。したがって、現実のプロジェクタ２
１の個々の投影ピクセルｊの各々から放出された各光線は、現実のカメラ２５内のセンサ
・ピクセルｉに対して各１つずつの、（ｍ×ｎ）［即ち、ｍ掛けるｎ］個の個々の光輸送
係数を生成する。したがって、完全な光輸送行列Ｔは、（ｐ×ｑ）［即ち、ｐ掛けるｑ］
列（現実のプロジェクタ２１内の個々の投影ピクセルｊの各々に対して１つずつの）と、
（ｍ×ｎ）行（現実のカメラ２５内の画像の個々のセンサ・ピクセルｉの各々に対して１
つずつの）とから成る。

完全な現実の画像（即ち、現実のプロジェクタ２１の画像形成投影アレイ２７の全体を
用いて投影された画像）を、「ｐ×ｑベクトル」［即ち（ｐ×ｑ）ベクトル］、Ｒprjct'
と表わし、また、現実のカメラ２５の画像センサ・アレイ２９によって捕獲される、対応
する完全な現実の画像を、「ｍ×ｎベクトル」［即ち（ｍ×ｎ）ベクトル］、Ｒcptr'と
表わすと、現実のプロジェクタ２１と現実のカメラ２５の間の光輸送は、
Ｒcptr'＝ＴＲprjct'
と書くことができる。ここで、Ｔは、光輸送行列と呼ばれる。各投影ピクセルｊは、現
実のカメラ２５の画像センサ・アレイ２９の全体にわたって散乱される光線を生じるから
、画像センサ・アレイ２９内の各センサ・ピクセルｉが、各投影ピクセルｊに対して異な
る値をとる光輸送係数を持つことは理解されるであろう。したがって、各投影ピクセルｊ
は、カメラの画像センサ・アレイ２９の各センサ・ピクセルｉに対して１つずつの、（ｍ
×ｎ）個の個々の光輸送係数から成る１つの列を生じる。現実のプロジェクタ２１に、（
ｐ×ｑ）個の投影ピクセルｊがあるから、光輸送行列Ｔは、（ｐ×ｑ）列［各投影ピクセ
ルｊに対して１つずつの］、（ｍ×ｎ）行［各センサ・ピクセルｉに対して１つずつの］
の個々の光輸送係数を持つ。したがって、光輸送行列Ｔは、（ｐ×ｑ×ｍ×ｎ）個の個々
の光輸送係数値から成り、必然的に膨大になる。

図２Ｂを参照すると、「双対」編成は、現実のプロジェクタ２１が、現実の画像形成投
影アレイ２７に等しい規模の仮想画像センサ・アレイ２７”を持つ仮想カメラ２１”によ
って置き換えられたものである。したがって、仮想カメラ２１”は、ｐ行×ｑ列の画像セ
ンサ要素ｊ”から成る画像センサ・アレイ２７”を持つ。

同様に、その「双対」編成において、現実のカメラ２５が、画像センサ２９に等しい規
模の画像形成投影アレイ２９”を持つ仮想プロジェクタ２５”によって置き換えられる。
したがって、仮想プロジェクタ２５”は、ｍ行×ｎ列の画像投影要素ｉ”から成る画像形
成投影アレイを持つ。

この場合に、仮想画像２３”（仮想プロジェクタ２５”によって投影される）を、（ｍ
×ｎ）次ベクトル、Ｖprjct”によって表わす。同様に、仮想カメラ２１”によって捕獲
される仮想捕獲画像を、（ｐ×ｑ）次ベクトル、Ｖcptr”によって表わすことができる。
ヘルムホルツの相反性の原理によって、光輸送は、両方向（即ち、現実のプロジェクタ２
１から現実のカメラ２５への方向と、仮想プロジェクタ２５”から仮想カメラ２１”への
方向と）で等しい。したがって、人は、双対編成（即ち、双対変換編成）に対して、双対
光輸送行列Ｔ”を、
Ｖcptr”＝Ｔ^TＶprjct”
と書くことができる。現実の光輸送行列Ｔと、その双対光輸送行列Ｔ^Tの間の双対変換
は、行列計算の分野において知られている転置行列演算であることが、際立っている。

行列計算の分野において知られているように、一般的な［ｘｘｙ］行列Ａの転置演算は
、Ａ^Tによって表わされ、そして、その第１列が行列Ａの第１行、その第２列が行列Ａの
第２行、その第３列が行列Ａの第３行、等々である［ｙｘｘ］行列によって定義される。
容易に明らかなように、この行列演算は、最初の要素（即ち、位置（１，１））において
、不変のままである、および、第１列の底が、第１行の終端になるというように、元の行
列Ａを、単に、その最初の要素の周りで入れ替えることである。したがって、人が、主編
成に対する現実の光輸送行列Ｔを捕獲する、または、さもなければ、決定することができ
れば、記述したように、現実の光輸送行列Ｔの入れ替えを行うことによって、双対編成に
おける双対光輸送行列Ｔ^Tを、容易に計算することができる。

上に説明したように、現実の光輸送行列Ｔは、現実のプロジェクタ２１の個々の投影ピ
クセルｊの各々と、現実のカメラ２５の個々のセンサ・ピクセルｉの全てとの間に対応す
る個々の光輸送係数を保持している。したがって、個々の投影ピクセルｊと、全てのセン
サ・ピクセルｉとの間に対応する個々の光輸送係数の各々の決定には、画像形成投影アレ
イ２７内の他の投影ピクセルｊからの光線寄与を避けなければならない。

これを遂行するために、人は、最初に、値１に設定された（即ち、オンにされた）ｊ番
目のピクセル（即ち、光輸送係数を決定しようとしている、テスト下の投影ピクセル）を
除いて、画像形成投影アレイ２７内の全ての要素に対してゼロ値を持つ、完全な現実の投
影画像［即ち、（ｐ×ｑ）次投影ベクトル、Ｒprjct'］を考えてもよい。そうすると、
Ｒcptr'＝ＴＲprjct'
で定義される、捕獲された現実の画像ベクトル［即ち、（ｍ×ｎ）次ベクトル、Ｒcptr
'］は、正確に、行列Ｔの第ｊ列である。現実のプロジェクタ２１の解像度は、現実のカ
メラ２５の解像度よりも低いであろうから、テスト下のｊ番目の投影ピクセルから放出さ
れた単一の光ビームは、画像センサ・アレイ２９のいくつかのセンサ・ピクセルｉにわた
って注がれるであろうことは理解されるであろう。

この一例が、図３Ａに示されており、画像センサ・アレイ２９の部分図が、第１行にお
いて１からｎまで水平に番号を付けられ、第２行において（ｎ＋１）から（２ｎ）まで、
第３行において（２ｎ＋１）から（３ｎ）まで、等々と続くセンサ・ピクセルｉを個々に
示している。この数列にしたがえば、最下行に沿うセンサ・ピクセルｉが、［（ｍ−１）
ｎ＋１］から（ｍｎ）まで番号を付けられることは理解されるであろう。

センサ・アレイ２９に衝突する、単一の投影ピクセルｊからの単一の光線の光線フット
プリント（落下域）５０が、円で印されている。図解の目的のために、光線フットプリン
ト５０内にないセンサ・ピクセルｉ［即ち、ｊ番目の投影ピクセルから放出された単一の
投影ビームによって打たれないセンサ・ピクセルｉ］が、真っ暗く示され、フットプリン
ト５０によって部分的にカバーされているピクセルｉが、薄暗く示され、そして、完全に
フットプリント５０内にあるピクセルｉが、暗くされずに示されている。当該技術におい
て知られているように、光線フットプリント５０によって、少なくとも部分的にカバーさ
れている各センサ・ピクセルｉは、それが受ける光の量に比例した光強度値を記憶する。
この光強度値を、その個々のセンサ・ピクセルｉに対する光移送係数として割り当てても
よい。それに代えて、各センサ・ピクセルｉの光輸送係数を、個々のセンサ・ピクセルｉ
によって記憶された光強度値に比例させてもよい。どうであっても、ｊ番目の投影ピクセ
ルからの投影ビームによって直接に打たれないセンサ・ピクセルｉは、ゼロ値を持ち、し
たがって、それらに対応する光輸送係数も、同様に、ゼロ値を持つ。

図３Ｂを参照すると、画像捕獲ベクトルＲcptr'_j［即ち、行列Ｔの第ｊ列］の一例が
、図３Ａのフットプリント例に対応するように示されている。この行列Ｔの第ｊ列が、そ
れぞれが図３Ａの番号を付けられたセンサ・ピクセルｉに対応する、番号を付けられた光
輸送係数の縦列として、図解的に示されている。捕獲ベクトルＲcptr'_jの番号順は、図
３Ａに示されている画像センサ・アレイ２９中の個々のセンサ・ピクセルｉの、水平方向
に番号を付けられた順にしたがうのが好ましい。示されているように、光線フットプリン
ト５０によってカバーされているセンサ・ピクセルに対応する捕獲画像ベクトルＲcptr'_
jの要素だけが、光輸送係数としてゼロでない値、即ち、「ＮＺ」値を持つ。「ＮＺ」が
、任意のゼロでない光係数値を表わすこと、および、この値が、対応するセンサ・ピクセ
ルｉの受ける光強度の大きさに関連することは、理解されるであろう。光線フットプリン
ト５０が、画像センサ・アレイ２９のいくつかの行に及び、そして、各行が、捕獲画像ベ
クトルＲcptr'_jに順次にリストされるから、いくつかの長く連続したゼロ値の光輸送係
数が、少数のゼロでない、ＮＺ値の光輸送係数の間を占めるであろう。

そうではあるけれども、与えられたｊ番目の投影ピクセルに対する行列Ｔの光輸送係数
の列を取得するこの方法は、完全な行列Ｔを捕獲するための系統立った方法が、現実のプ
ロジェクタ２１の各投影ピクセルｊを順次に（一度に１つの投影ピクセルを）オンにし、
そして、現実のカメラ２５を用いて、その対応する現実の画像、Ｒcptr'_jを捕獲するこ
とであることを示唆している。（ｐ行×ｑ列）の投影ピクセルｊ全てが、順次にオンにさ
れ、そして、それらの対応する現実の画像、Ｒcptr'_jが、捕獲されてしまうと、全捕獲
画像ベクトルＲcptr'_（１から（ｐ×ｑ）まで）が、行列Ｔにまとめられる。各捕獲画像
ベクトルＲcptr'_jが、行列Ｔの光輸送係数エントリの列を構成する。これによって、（
ｐ×ｑ）列、（ｍ×ｎ）行の個々の光輸送係数を持つ行列Ｔが生じる。

行列Ｔを決定するための、この直接的で系統立ったプロセスは、しかしながら、（ｐ×
ｑ）回の画像投影−捕獲ステップを必要とする、明らかに時間を消費するプロセスである
。さらに、結果として生じる光輸送行列Ｔは、（ｐ×ｑ×ｍ×ｎ）個の要素から成る、非
常に大きなものになる。行列Ｔのこの規模のゆえに、双対画像の計算は、双対光輸送行列
Ｔ^T（行列Ｔと同じ数の要素を持つ）と、仮想投影画像ベクトルＶprjct”（（ｍ×ｎ）個
の要素を持つ長いベクトルである）との間の行列乗算を必要とする極めて計算集約的な演
算である。

過去において、行列Ｔを決定するプロセスの速度を上げるために、現実のプロジェクタ
の複数のピクセルを、同時に、適応的にオンにする（図１Ａのプロジェクタ１１のように
）ことによって行列Ｔを決定する案が、提案されている。しかしながら、この案は、複雑
で、かつ、投影画像が、複数のゾーンに分割されること、および、同時点灯される投影ピ
クセルが、互いの間の光干渉を排除するのに十分な距離を、互いに保つことを確実にしな
がら、同時点灯のために、各ゾーンから１つのピクセルを選択することを必要とする。さ
らに、この案は、個々の投影光線間の干渉が最小限化されることを確実にすることを必要
とするから、場依存性である（即ち、ディスプレイ環境に依存する）。したがって、その
複数のゾーンの創出は、ディスプレイ環境に依存する。したがって、この案は、投影エリ
アおよび手動による編成に関する、非常に多くの物理的な検査を必要とする。したがって
、この案は、一般的な使用に、容易には向いていない。

本発明の１つの特徴は、現実の光輸送行列Ｔの決定の手続きステップの数を減少させる
方法を提案することである。即ち、（ｐ×ｑ）回の画像投影−捕獲ステップ（および、（
ｐ×ｑ）個の捕獲画像の記憶）を必要とするのではなくて、本提案の方法は、「ｐプラス
ｑ」［即ち、（ｐ＋ｑ）個］の画像しか捕獲しない。

本方法は、以下の仮定に基づいている。ほとんどのプロジェクタ−カメラ・ディスプレ
イ応用に関しては、現実のプロジェクタ２１から放出された任意の２つの別個の光線ｂと
ｃは、通常、別個の部分で、現実のカメラ２５の画像センサ・アレイ２９を打つ。即ち、
投影される光線の各々からの光によって打たれるセンサ・ピクセルｉの重複は小さく、無
視することができると仮定されている。

もちろん、これは、一般的に正しいわけではない。例えば、場（即ち、ディスプレイ環
境または投影面／エリア）が、１杯のミルク（または、他の光拡散物質）からなっていれ
ば、投影された光線が、そのミルクによって拡散されて、カメラの画像センサ・アレイに
、相異なる光線間のかなりの光の重なりができるであろう。しかしながら、高解像度投影
を確実にするように設計されたディスプレイ編成においては、各投影されるピクセルが、
次のピクセルとはっきりと分離していることが、事実上保証されている。即ち、高解像度
投影が望まれる場所または設定では、その場所は、投影される画像の光路に沿って、光拡
散物を取り除かれているであろう。

行列Ｔを決定するための新奇な本方法を続行するために、まず、プロジェクタ・ピクセ
ルｊからの、個々の光輸送係数への寄与が、光輸送行列Ｔの第ｊ列に位置するということ
に注目する。投影ピクセル間の最小の重なりを仮定すると、画像形成投影アレイ２７内の
投影ピクセルの第１のセットＳ１、
［即ち、Ｓ１⊂{１、…、(ｐ×ｑ)}］
が、光輸送行列Ｔの、対応する列（投影ピクセル当り、一つずつの）のセットに位置す
るということになる。さらに、投影ピクセルの第１のセットＳ１が、ターゲット投影ピク
セルｊ、即ち、テスト下のターゲット・ピクセルを含むと仮定する。

Ｒcptr_S1を、投影ピクセルの第１のセットＳ１の同時駆動によって創出される投影画
像の、現実のカメラ２５によって捕獲される第１の画像であるとする。

ここで、投影ピクセルｊだけを、投影ピクセルの第１のセットＳ１と共通に共有する投
影ピクセルの第２のセットＳ２、
［即ち、Ｓ１∩Ｓ２ ＝｛ｊ｝］
を考える。Ｒcptr_S2を、投影ピクセルの第２のセットＳ２の同時駆動によって創出さ
れる投影画像の、現実のカメラ２５によって捕獲される第２の画像であるとする。光輸送
行列Ｔの第ｊ列の光輸送係数（テスト下のターゲット投影ピクセルに対応する、即ち、ピ
クセルｊに対応する）を、現実の捕獲画像Ｒcptr_S1とＲcptr_S2とが共通に共有する１つ
の光線フットプリント（即ち、図３Ａの光線フットプリント５０と同様の）を識別するこ
とによって、それらの２つの画像から直接に得ることができる。この共通の光線フットプ
リントは、第１のセットＳ１と第２のセットＳ２とが共通に共有する唯一の点灯投影ピク
セルであるターゲット投影ピクセルｊから放出された光線に対応する。

この共通の光線フットプリントを識別する方法は、両捕獲画像Ｒcptr_S1とＲcptr_S2と
のピクセルごとの比較を実施することである。例えば、第１の捕獲画像Ｒcptr_S1におい
ては、各々、投影ピクセルの第１のセットＳ１の同時点灯に対応する、光線フットプリン
ト内のセンサ・ピクセルだけが、ゼロでない（ＮＺ）光強度値を持ち、そして、捕獲画像
Ｒcptr_S1内の全ての他のピクセルは、ゼロの値を持つ、即ち、相対的に暗い。同様に、
第２の捕獲画像Ｒcptr_S2においては、投影ピクセルの第２のセットＳ２に対応する、光
線フットプリント内のセンサ・ピクセルだけが、ゼロでない（ＮＺ）光強度値を持ち、そ
して、全ての他のピクセルは、ゼロ（または、暗い）値（即ち、あらかじめ定められた閾
値未満の）を持つ。２つのセットＳ１とＳ２は、ターゲット投影ピクセルｊしか共通に共
有しないから、両捕獲画像を直接比較すると、Ｒcptr_S1とＲcptr_S2の両方に共通な、唯
一のゼロでない領域（即ち、暗くない領域）を識別することによって、投影ピクセルｊに
対応するセンサ値が、直ちに識別される。別の言い方をすれば、Ｒcptr_S1とＲcptr_S2と
の明るい領域（即ち、光線フットプリント）の交差部が、識別され、そして、この交差部
が、ターゲット投影ピクセルｊに対応する。

これを遂行する方法は、両捕獲画像Ｒcptr_S1とＲcptr_S2とのピクセルごとの比較を実
施して、それらの比較された２つのピクセルのうちの、より暗い方だけを保持することで
ある。このプロセスは、次のように表現することができる。
Ｔｊ≒ＭＩＮ（Ｒcptr_S1、Ｒcptr_S2）
ここで、Ｔｊは、行列Ｔの第ｊ列であり、「ＭＩＮ」は、Ｒcptr_S1とＲcptr_S2におい
て、より低い値を持つセンサ・ピクセル（即ち、より低い捕獲光強度値を持つ、より暗い
ピクセル）が保持されて、より高い値を持つ（即ち、より明るい）センサ・ピクセルが廃
棄されることを指示している。このようにして、保持される唯一の高強度値が、Ｓ１とＳ
２との両方に共通の明るいフットプリントに対応する。

別の言い方をすれば、個々の投影ピクセルｊの各々の寄与は、現実のカメラ２５の画像
センサ・アレイ２９の相異なる部分に写像されるから、１から（ｍ×ｎ）までのセンサ・
ピクセル中に、ターゲット・プロジェクタ・ピクセルｊに対応する、捕獲画像Ｒcptr_S1
とＲcptr_S2とに共通なセンサ・ピクセルの１つのセットＬ、
［即ち、Ｌ⊂{１、…、（ｍ×ｎ）}］
が存在する。ターゲット投影ピクセルｊが、投影ピクセルのセットＳ１とＳ２との共通
部分であり（即ち、ｊが、両セットＳ１とＳ２とに共通な、唯一の投影ピクセルであり）
、したがって、
Ｓ１∩Ｓ２＝｛ｊ｝
であることに、再び注意しなければならない。したがって、ターゲット投影ピクセルｊ
に対応しない捕獲画像ピクセル（Ｒcptr_S1とＲcptr_S2との両方における）［即ち、セッ
トＬ内にないセンサ・ピクセル、即ち、∈Ｌ］の中で、比較された捕獲センサ・ピクセル
の、少なくとも、Ｒcptr_S1中かＲcptr_S2中のどちらか一方は、光を受けていない。光を
受けているセンサ・ピクセルは、光を受けていないセンサ・ピクセルよりも明るいから、
演算［ＭＩＮ（Ｒcptr_S1、Ｒcptr_S2）］は、セットＬ内［即ち、∈Ｌ］のピクセルだけ
が明るい画像を与え、それは、Ｔｊ、即ち、行列Ｔの第ｊ列の良い近似である。

これは、画像形成投影アレイ２７中の隣接した投影ピクセルのセットが、列内、および
、行内で点灯され、捕獲画像の第１の集合Ｒcptr_Syが、点灯された投影ピクセルの列に
対して作られ、そして、捕獲画像の第２の集合Ｒcptr_Sxが、点灯された投影ピクセルの
行に対して作られると、両集合を比較し、そして、明るい列の捕獲画像が明るい行の捕獲
画像と交差する領域Ｌを識別することによって、任意の個々の投影ピクセルｊに対する光
係数を得ることができることを意味しており、その交差部は、投影ピクセルｊ単独の駆動
によって投影される光線に対応する。

したがって、輸送行列Ｔを決定する一つの方法は、ｑ個の点灯された投影ピクセルの列
のｑ個の捕獲画像に対応する画像のセットＲcptr_Sy_1、…、Ｒcptr_Sy_qを集合し、そし
て、ｐ個の点灯された投影ピクセルの行のｐ個の捕獲画像に対応するセットＲcptr_Sx_1
、…、Ｒcptr_Sx_pを構築することである。そうすると、現実のプロジェクタ２１の画像
形成投影アレイ中の全投影ピクセルｊ［投影ピクセル１、…、（ｐ×ｑ）から成る］に対
して、行および列の画像の捕獲されたセットのペアＲcptr_Sy_a、Ｒcptr_Sx_bが存在し、
セットＲcptr_Sy_aとＲcptr_Sx_bとの交差領域が、ターゲット投影ピクセルｊの駆動によ
って創出される光線フットプリントに対応する。したがって、人は、投影画像のセット（
sets）、
Ｒprjct_Sy_1、…、Ｒprjct_Sy_q、および、Ｒprjct_Sx_l、…、Ｒprjct_Sx_p
を構築する必要がある。ここで、各画像Ｒprjct_Sy_1、…、Ｒprjct_Sy_qは、ペア付け
された画像の各セットがただ一つの投影ピクセルを共有するように画像Ｒprjct_Sx_1、…
、Ｒprjct_Sx_pとペア付けされ、すなわち、
∀ｊ∈{１、…、(ｐ×ｑ)}∃Ｒprjct_Sy_a、Ｒprjct_Sx_b│Ｒprjct_Sy_a∩Ｒprjct_Sx
_b＝{j}
である。上式は、｛１、…、（ｐ×ｑ）｝内の全投影ピクセルｊに対して、投影画像の
ペアがあり、構築されたパターンが各ペアが異なるように構築されたパターンを備え、構
築されたパターンが、共通の投影ピクセルに対応する一点で交差するようになっている。
そのような構築されたパターンのペアの基本例は垂直線と水平線が投影されたペアであろ
う。このケースでは、垂直光ビームの捕獲画像と水平光ビームの捕獲画像は、ターゲット
投影ピクセルｊに対応する（即ち、投影ピクセルｊから放出される光線によって創出され
る光線フットプリント内にあるピクセルｉ）全てのセンサ・ピクセルｉを含むであろうこ
とを意味していると解釈される。

したがって、輸送行列Ｔ内の任意の列Ｔｊ［ここで、ｊ＝１、…、（ｐ×ｑ）］は、画
像Ｒcptr_Sy_l、…、Ｒcptr_Sy_q、および、Ｒcptr_Sx_1、…、Ｒcptr_Sx_pから合成する
ことができる。

この特性を満たす案は、ピクセル座標を用いることである。Ｒprjct_Sx_jを、ｊに等し
いｘ座標を持つピクセルだけがオンにされている第１の投影画像であり、そして、Ｒprjc
t_Sy_kを、ｋに等しいｙ座標を持つピクセルだけがオンにされている第２の投影画像であ
るとする。そうすると、ＭＩＮ（Ｒprjct_Sx_j、Ｒprjct_Sy_k）は、座標（ｊ，ｋ）だけ
がオンにされた画像を与える。このプロセスは、図４Ａ、４Ｂ、５Ａ、５Ｂ、６Ａおよび
６Ｂを参照すると、最もよく理解することができる。

図４Ａにおいて、場、即ち、ディスプレイ環境は、市松模様のついた平らな表面４１か
らなる。以下に、より完全に説明するように、平らな表面４１上の市松模様を作り出して
いる各暗いブロック４３、および、各明るいブロック４５の相対的位置が、既知であり、
そして、それらの既知の相対的な変位を用いて、現実のプロジェクタ２１をキャリブレー
トすることができる。

最初に、明るい垂直ビーム（即ち、光線の列）４７_ｋが、現実のプロジェクタ２１に
よって表面４１上に投影される。本例においては、垂直ビーム４７_ｋは、ｋに等しいｙ
座標を持つ、画像形成投影アレイ２７内の全ての投影ピクセルをオンにすることにより生
成される。次に、現実のカメラ２５が、点灯している投影ピクセルの列の１つの例として
、この画像Ｒcptr_Sy_kを捕獲する。

図４Ｂでは、図４Ａの要素と同様の全ての要素は、同様の参照文字を持っており、現実
のプロジェクタ２１が、表面４１上に、第２の垂直ビーム４７_ｔを投影している。この
場合には、垂直ビーム４７_ｔは、ｔに等しいｙ座標を持つ全ての投影ピクセルをオンに
することによって生成される。その後、現実のカメラ２５が、点灯している投影ピクセル
の列の別の１つの例として、この画像Ｒcptr_Sy_tを捕獲する。現実のプロジェクタ２１
が、その（ｐ行×ｑ列）画像形成投影アレイ２７の列ｑの各々についての、別々の垂直ビ
ームを投影し、そして、現実のカメラ２５が、各投影された垂直ビームの別々の画像を捕
獲することは理解されるであろう。

図５Ａを参照すると、図４Ａおよび４Ｂの要素と同様の全ての要素が、同様の参照文字
を持ち、そして、上述されている。本例においては、現実のプロジェクタ２１が、投影面
４１上に水平ビーム４９_ｊを投影する。水平ビーム４９_ｊは、ｊに等しいｘ座標を持つ
全ての投影ピクセルをオンにすることによって生成される。その後、現実のカメラ２５が
、点灯している投影ピクセルの行の１つの例として、この画像Ｒcptr_Sx_jを捕獲する。

図５Ｂにおいては、現実のプロジェクタ２１が、表面４１上に第２の水平ビーム４９_
ｒを投影している。前と同様に、水平ビーム４９_ｒは、ｒに等しいｘ座標を持つ全ての
投影ピクセルをオンにすることによって生成される。その後、現実のカメラ２５が、点灯
している投影ピクセルの行の別の１つの例として、この画像Ｒcptr_Sx_rを捕獲する。現
実のプロジェクタ２１が、その（ｐ行×ｑ列）画像形成投影アレイの行ｐの各々について
の、別々の水平ビームを投影し、そして、現実のカメラ２５が、各投影された水平ビーム
の別々の画像を捕獲することは理解されるであろう。

ここで、人が、演算ＭＩＮ（Ｒcptr_Sx_j、Ｒcptr_Sy_k）を用いて、図４Ａからの捕獲
画像Ｒcptr_Sy_kと、図５Ａからの捕獲画像Ｒcptr_Sx_jとのピクセルごとの比較を実施し
て（または、それに代えて、それらのそれぞれの垂直ビームと水平ビームだけを比較して
）、２つの比較された画像ピクセルのうちの、より暗い方だけを保持し、２つのうちの、
より明るい方を廃棄すると、人は、図６Ａに示されるような画像４１'を生成する。図４
Ａ、４Ｂ、５Ａおよび５Ｂの要素に同様な、図６Ａおよび６Ｂ中の全ての要素は、アポス
トロフィをつけた同様の参照文字を持ち、上に記述されている。

Ｒcptr_Sx_j画像のほとんどが、画像Ｒcptr_Sy_kと同じである（即ち、それらは、光線
を投影された平らな表面４１上の単純な市松模様からほとんど成っている）から、２つの
比較されたピクセルのうちの、より暗い方を保持することは、生じる画像の大部分を変化
させない。即ち、２つの比較されるピクセルが、相対的に同じであれば、どちらのピクセ
ルを他方に優先して選ぶかということは、生じる画像４１'に大きな影響を与えない。し
かしながら、画像Ｒcptr_Sy_k中の垂直光ビーム４７_ｋ上のピクセルを、水平光ビーム４
９_ｊ上にない、画像Ｒcptr_Sx_j中の対応するピクセルと比較したとき、２つの画像ピク
セルのうちの、より暗い方を保持することは、画像Ｒcptr_Sy_kからの明るいビーム・ピ
クセルを廃棄して、光ビームを示さない、画像Ｒcptr_Sx_jからの生のままのピクセルを
保持することになる。したがって、垂直光ビーム４７_ｋは、生成された画像４１'から除
去される。同様に、画像Ｒcptr_Sx_j中の水平光ビーム４９_ｊ上のピクセルを、垂直光ビ
ーム４７_ｋ上にない、画像Ｒcptr_Sy_k中の対応するピクセルと比較したとき、２つのピ
クセルのうちの、より暗い方を保持することは、画像Ｒcptr_Sx_jからの明るいビーム・
ピクセルを廃棄して、光ビームを示さない、画像Ｒcptr_Sy_kからの生のままのピクセル
を保持することになる。したがって、水平光ビーム４９_jも、生成された画像４１'から
除去される。しかしながら、垂直光ビーム４７_kが、水平光ビーム４９_jと交差する領域
内では、比較される画像ピクセルの両方ともが、光線による衝突を示している、明るいビ
ーム・ピクセルである。この交差領域内の、これら２つの画像ピクセルの比較は、２つの
明るいビーム・ピクセルのどちらかが、画像４１'に選択されるという結果に帰着する。
その結果、画像４１'は、画像形成投影アレイ２７の座標（ｊ，ｋ）から放出された投影
光線に対応する、明るく輝く領域５３を示す。したがって、座標（ｊ，ｋ）を持つ投影ピ
クセルに対する光輸送係数を、（ｊ，ｋ）の投影ピクセルから投影された光線の画像を物
理的に捕獲することを必要とすることなく、生成された画像５３から抽出することができ
る。

もう１つの例が、図６Ｂに示されており、図４Ｂおよび５Ｂに相当する現実の捕獲画像
（上述の命名規則にしたがえば、それぞれ、現実の捕獲画像Ｒcptr_Sy_tおよびＲcptr_Sx
_rに相当する）を組み合わせることによって、画像投影アレイ２７の座標（ｒ，ｔ）から
放出された投影光線に対応する、第２の明るく輝く領域５５が生じている。

同様のプロセスを続けて、各投影ピクセルｊを、一回に一個ずつ、個々にオンにして、
投影させる必要なしに、画像形成投影アレイ２７内の全ての投影ピクセルの光輸送係数を
識別することができる。仮想的に単独で駆動された投影ピクセルの画像を生成して、投影
ピクセルの光輸送係数を得る、この方法は、現実のプロジェクタ２１の画像形成投影アレ
イ２７中の投影ピクセルの各行および各列に対して１個ずつの、（ｐ＋ｑ）個の捕獲画像
しか必要としない。さらに、一旦、全てのピクセル投影位置が、識別されてしまえば、（
ｐ＋ｑ）個の捕獲画像は、廃棄してもよく、保存しなければならない全ては、インデック
ス、および、対応するフットプリント情報である。

このアプローチの一例が、図７に示されており、現実の画像形成投影アレイ２７のイン
デックスが、個々の投影ピクセルｊを表わす円１、２、３、…、（ｑ＋１）、…、（２ｑ
＋１）、…等を持つ部分的なアレイとして表わされている。同様に、現実の画像センサ・
アレイ２９が、個々に駆動された投影ピクセルｊに対応するフットプリント情報を表わす
円Ｆ１、Ｆ２、Ｆ３、…、Ｆ（ｑ＋１）、…等を持つ部分的なアレイとして表わされてい
る。本例において、フットプリントＦ１、Ｆ２、Ｆ３、…、Ｆ（ｑ＋１）、…等は、それ
ぞれ、投影ピクセル１、２、３、…、（ｑ＋１）、等に対応している。例示の目的で、現
実のカメラ２５のピクセル密度（即ち、解像度）が、現実のプロジェクタ２１の解像度よ
りもずっと高いであろうし、また、したがって、単一の投影ピクセルｊから放出された光
ビームは、いくつかのセンサ・ピクセルｉにまたがる光フットプリントを創出するであろ
うことを、よりよく例示するために、センサ・アレイ２９を表わす部分的なアレイを、画
像形成投影アレイ２７を表わすアレイよりも高密度にしている。

本アプローチにしたがえば、２つの情報のセットを格納するだけでよい。第１の情報の
セットは、投影ピクセルのインデックスに相当し、そして、第２の情報のセットは、各投
影ピクセルに対応するセンサ・ピクセルのフットプリント情報に相当する。言い換えれば
、ゼロでない係数を格納する必要はなく、それは、メモリ要件を大きく低減させる。

この情報を体系化する第２の例が、図８に示されており、投影ピクセルのインデックス
６１が、グレースケールの（即ち、ゼロでない）センサ・ピクセル情報を持つグループ６
３（即ち、生じる光ビーム・フットプリントに相当する）を指摘する、即ち、対応するよ
うに示されている。

捕獲し、格納して、デュアル・フォトグラフィに向けて必要とされる光輸送係数を生成
するために必要な画像の数を、いかにして減少させるかを示したから、ここで、以下にお
いて、デュアル・フォトグラフィを実装するについての実際的な困難のいくつかに取り組
む。上に説明したように、光輸送行列Ｔは、非常に大きくなり得るし、また、その使用（
または、その転置、即ち、双対光輸送行列Ｔ^Tの使用）には、大量のアクティブ・メモリ
［例えば、ＤＲＡＭ（ダイナミック・ランダム・アクセス・メモリ）］、および、過大な
コンピュータの演算処理能力／時間を必要とする。したがって、双対画像を一般的に使用
することは、これまで、実際的ではなかった。

双対画像を効率的に構築するために、人は、まず第一に、
Ｖcptr”＝Ｔ^TＶprjct”
であることに注目する。仮想カメラ２１”中の仮想画像センサ・アレイ２７”は、実際
には、現実のプロジェクタ２１の現実の画像形成投影アレイ２７に一致するから、同じイ
ンデックスｊを用いて、仮想のカメラ２１”によって得られるＶcptr”中のいずれの仮想
センサ・ピクセルも表示するのが好都合である。したがって、仮想捕獲画像中の各仮想投
影ピクセルｊと、Ｔ^T中の要素の対応する行との間の関係は、
Ｖcptr”(j) ＝ Ｔ^T _jＶprjct”
と表示することができる。ここで、Ｔ^T _jは、Ｔ^Tの第ｊ行を言う。

上に説明したように、Ｔ^Tは、光輸送行列Ｔの転置（即ち、その対角に関して入れかえ
られた行列Ｔ）であり、したがって、行Ｔ^T _j（ｊは、１から（ｐ×ｑ）までの任意の値）
の値は、行列Ｔの第ｊ列（即ち、Ｔ_COL_j)に一致する。Ｔの各列は、（ｍ×ｎ）個の要素
（即ち、現実のカメラ２５のピクセル解像度に等価）を持つから、これは、極めて多数の
要素であるように思われる。しかしながら、本実装においては、行列Ｔの各列内の限られ
た数の要素だけが、ゼロでない（即ち、垂直光ビームと水平光ビームとの交差部を光らせ
たカメラ・センサ・ピクセルｉ、即ち光フットプリント、に対応する要素だけ）ことを思
い起こすと、行列Ｔの各列ｊ内（および、その結果として、各行Ｔ^T _j内）の（ｍ×ｎ）個
の要素のうちのごくわずかだけが、ゼロでないことは自明である。したがって、Ｖcptr”
(j)を計算するときに、Ｔ_COL_j内の全ての要素を調べる必要はない。実際、上に説明した
ように、個々に投影されたピクセル全てを示す単一のインデックス６１と、それらに対応
する光ビーム・フットプリント情報６３とだけを、図８および７に例示するように、格納
するのが好ましい。

図８に示すように、インデックス６１は、各投影された光ビーム（現実のプロジェクタ
２１の個々の投影ピクセルｊからの）に対するグレースケール・エントリ６３の表と結び
付く。グレースケール・エントリ６３の各グループは、Ｔの各列中のゼロでないエントリ
に対応しており、それらのゼロでないグレースケール値しか、Ｔの列の各行列演算中に調
べる必要がないことは理解されるであろう。したがって、Ｖcptr”(j)＝Ｔ^T _jＶprjct”の
各値の決定のために必要とされる計算の数は、大きく低減される。

言い換えれば、処理する必要のある、行列Ｔの各列Ｇ中の要素のこのサブセットＳＶcp
tr”(Ｇ)を、Ｔ_COL_Ｇ(a)と定義してもよい。ここで、ａは、Ｖcptr”(Ｇ)中の任意の仮
想捕獲ピクセルに対するインデックス［即ち、ａ∈｛１、…、（ｐ×ｑ）｝］である。し
たがって、各ＳＶcptr”(Ｇ)に対して、人は、調べるべき要素のセットを、次のように定
義することができる。
ＳＶcptr”(Ｇ)＝｛ａ｜∀ｚ∈{１、…、（ｐ×ｑ）}Ｔ_COL_Ｇ(a)≧ＴＴ_COL_z(a)｝一
般に、‖ＳＶcptr”(j)‖≪（ｐ×ｑ）であるから、
Ｖcptr”(Ｇ)＝ΣＴ^T _G(ａ) Ｖprjct”(ａ)
ａ∈ＳＶcptr”(Ｇ)
を計算することは、
Ｖcptr”(j)＝Ｔ^T _jＶprjct”
を計算することよりも、はるかに時間をとらない。

本方法を用いて生成された双対画像の一例が、図９Ａおよび９Ｂに示されている。図９
Ａは、現実のプロジェクタによって投影された主画像を示している。図９Ｂは、本方法の
実装によって計算された双対画像の結果を示している。図９Ｂの双対画像は、現実のプロ
ジェクタ２１（即ち、仮想のカメラ２１”）によって仮想的に捕獲される画像、即ち、別
の言い方をすれば、現実のプロジェクタ２７によって「見られる」とおりの画像を表わし
ている。

上記の検討は、減縮された画像のセットから、いかにして、効率的に双対画像を計算す
るかを示しており、それは、画像捕捉時間と計算時間とを節約する。上に説明したように
、現実の捕獲画像と双対捕獲画像とを、それぞれ、現実のカメラ２５と現実のプロジェク
タ２１との両方をキャリブレートするために用いることができる。

即ち、プロジェクタの観察から画像を直接捕獲することができないから、１つの直接的
な解決法は、デュアル・フォトグラフィ技術を用いて、対応するカメラ画像から、プロジ
ェクタの観察画像（即ち、双対画像）を構築することと、次に、その構築された画像を用
いて、プロジェクタをキャリブレートすることである。例えば、特徴点を注意深く測定さ
れた既知の物体のいくつかの現実の画像を、異なる角度でとった後、その物体の既知の寸
法を用いて現実のカメラをキャリブレートして、異なる角度の観察から生じる、捕獲画像
中の歪みを補償することができる。そうすると、上述のように、デュアル・フォトグラフ
ィ技術を用いて、同じ捕獲画像から、現実のプロジェクタによって見られるとおりの仮想
画像を生成することができ、そして、現実のカメラと類似のやり方で、現実のプロジェク
タをキャリブレートすることができる。

しかしながら、この直接的な方法に関連した、見込まれる妨げは、光輸送行列Ｔを生成
して操作すること、および、多数のカメラおよびプロジェクタの画像ピクセルに起因する
膨大な画像ベクトルについて演算することの困難さである。この労働集約的で費用のかか
るプロセスは、プロジェクタ−カメラ・システムにおける現実のプロジェクタ２１をキャ
リブレートする目的に対して、図２Ａに示すような、上述のデュアル・フォトグラフィ法
を用いることによって、相当に緩和されるが、本出願者達は、現実のプロジェクタ２１の
キャリブレーションを容易にするために、双対画像（即ち、現実のプロジェクタ２１によ
って「見られる」とおりの画像）を用いることについての利益のいくつかを、依然として
利用しながら、Ｔ行列を生成する必要を回避し、そして、完全な双対画像を創出する新奇
な方法を開発した。

プロジェクタをキャリブレートするために、人は、完全な双対画像を構築する必要はな
く、プロジェクタによって見られるとおりに、平らな表面上の市松模様４１（図４Ａを参
照のこと）中の正方形のかどの位置を決定するだけでよいということに注目することによ
って、Ｔ行列の生成をすべて回避することができる。本出願者達は、この目標を達成し、
また、したがって、完全に施されたデュアル・フォトグラフィのＴ行列の生成および操作
を回避するように、平面射影に基づく方法を適応させた。本発明のこの代替実施例は、双
対画像の構築、および、構築された双対画像からのかどの検出を必要とすることなく、プ
ロジェクタの観察画像の全域で、格子のかどの特徴点の座標を直接計算する。

この新奇な方法では、最初に、現実のカメラ２５が、種々の角度において既知のパター
ンの複数の画像を捕獲する前述の方法のような、任意の既知の方法を用いてキャリブレー
トされる。より詳細には、人は、現実のカメラを用いて、種々の配置において、平面の格
子板のいくつかの画像を捕獲して、捕獲した画像の全域で、格子のかどを検出することが
できる。格子板は、純粋に、例示の目的だけのために用いられており、キーになる点の間
の物理的な距離が知られている限り、いかなる場も捕獲することができることは理解され
るであろう。本例においては、板上の格子のかどの間の物理的な距離が、あらかじめ測定
されているから、種々の配置における、それらの捕獲画像は、上述したように、内部およ
び外部のカメラ・パラメータを計算するのに十分である。

次に、プロジェクタ画像は、２つ（または、より多く）の個別の源によって見られた、
一つの場の２つ（または、より多く）の観察を関連づける、いわゆる透視投影モデルにし
たがうことが観察されている。即ち、相異なる観察源が、それらの相異なる源が場に対し
て異なる角度に位置するために、同一の場の異なる観察（即ち、画像）を「見る」。しか
しながら、ただ１つの現実の場しか存在しない（場の観察の数にかかわりなく）のである
から、人は、任意の１つの観察上の任意の点を場上の対応する現実の点に（、そして、そ
れによって、全ての他の観察に）結び付ける、それらの相異なる観察の間の数学的関係を
生成することができる。

それらの個別の観察の１つを、現実のプロジェクタによって「見られる」とおりの仮想
画像であるとし、一方、もう１つの個別の観察を、現実のカメラによって捕獲された現実
の画像であると見なすと、透視投影モデル（それは、２つの観察を、共通の現実の場に関
連づける）は、人が、完全な双対画像を生成することなく、捕獲された現実の画像から、
仮想画像に関するいくつかの情報を抽出することを可能にする。

このアプローチを用いて、本出願者達は、完全な双対画像を必要とすることなく、現実
のプロジェクタをキャリブレートするために十分な情報を抽出する方法を考案した。した
がって、双対画像が、創出されていなくても、それでもなお、人は、直接的ではないやり
方とはいえ、プロジェクタに、カメラ・キャリブレーション技術を適用することができる
。

透視投影モデルのもとでは、相異なる観察からの、平面物体の２つの画像投影の間の関
係は、単純な線形射影変換、即ち、平面射影である。この変換は、平面物体上の任意の点
の座標（即ち、同次座標）を、その平面物体の特定の観察上の対応する点の座標に関連付
ける。本実施例においては、平面格子板のプロジェクタの観察画像は、対応するカメラ画
像の平面射影である。詳細には、格子板上の任意の点Ｐに対して、プロジェクタの観察画
像内のその同次座標Ｕｐ＝（ｕｐ，ｖｐ，１）と、カメラ画像内の座標Ｕｃ＝（ｕｃ，ｖ
ｃ，１）とは、次の方程式を満たす。
Ｕｐ＝λＨＵｃ

ここで、λは、スカラであり、Ｈは、右下隅のエントリが１に設定された、３×３平面
射影変換行列（当技術分野で公知のような）である。対応する座標の対が、３個の線形方
程式を与え、それらのうちの１個が、スカラを決定し、他の２個が、Ｈ、即ち、平面射影
変換行列を決定するために用いられる。３×３行列のＨ中に８個の未知のエントリが存在
するから、格子板上のＮ個の座標点（ここで、Ｎ≧４）の間の対応が与えられれば、２Ｎ
個の線形方程式を解くことによって、プロジェクタの観察画像とカメラ画像との間の平面
射影を再生することができる。Ｎの数字が大きければ大きいほど、プロジェクタの観察画
像とカメラ画像との間の座標点を関連付けるエラーは、より低くなる。

対応する座標を得るために、１０個の白点を市松模様上に投影させ、投影された白点を
持つ格子板の画像を、現実のカメラ（現実のカメラ２５のような）を用いて捕獲し、そし
て、カメラ画像中の１０点の座標を計算するのが、好ましい。本プロセスにおいて、捕獲
された画像中の、それら１０点に対応する座標の計算中に必要なのは、それら１０点を区
別することだけである。これは、１０点を順次に投影し、それらに対応する座標を順繰り
に決定することによって、達成することができる。それに代えて、相異なる色の点を、同
時に投影して、それらの相異なる点を、色によって識別してもよい。

プロジェクタは、互いに既知の関係にある点を投影するのが好ましいから、投影された
画像中のそれらの点の座標は、既知である。これは、現実のカメラによって捕獲された１
セットと、現実のプロジェクタによって投影された、もう１つのセットとである、１０対
の対応する座標を生じる。一旦、平面射影が再生されると、カメラ画像中に検出された、
格子板のかどの座標を直接変換して、プロジェクタの観察画像中の、対応するかどの座標
を計算することができる。そうすると、上述の方法のようなカメラ・キャリブレーション
方法を用いて、プロジェクタ・パラメータをキャリブレートすることができる。

本アプローチの一例が、図１０に示されている。図１０において、特徴点捕獲結果は、
以下のとおりである。輪郭を示されていない円、または、ドット（例えば、ドット８１）
が、平面射影を評価するために用いられ、一方、輪郭を描かれた円、または、ドット（例
えば、ドット８３）は、かど点の特徴点である。見られるように、輪郭を描かれたドット
８３が、実際のかど上にあり、このことは、各検出されたかどのプロジェクタ座標が、正
確に捕獲されていることを示している。

本発明が、いくつかの特定の実施例に関連して記述されているが、当業者には、多くの
さらなる代替形態、変更形態および変形形態が、前述の記述に照らして明白に認識される
ことが明らかである。したがって、本明細書に記述されている本発明は、特許請求の範囲
の精神および範囲内に収まる限り、そのような代替形態、変更形態、出願、および変形形
態を全て包含するように意図されている。

図面において、同様の参照記号は、同様の部分を言う。
デュアル・フォトグラフィの実装の従来技術の編成。 本発明によるデュアル・フォトグラフィの編成。 プロジェクタの単一の投影ピクセルの駆動によって生じた、デジタル・カメラ内の光センサ・アレイ上に投影されたフットプリントの例示的な一例。 図３Ａの例を反映した、行列Ｔ中の光輸送係数の１つの列の例示的な一例。 市松模様を持つ場上に同時に投影された投影ピクセルの２つの行の２つの例。 図４と５との画像を組み合わせることによって創出される、単一の投影ピクセルから得られる、生成した光ビームのフットプリント。 図６Ａまたは６Ｂにおいて生成された光ビームのフットプリントによって決定される、投影ピクセルと、ゼロでない値を持つ光輸送係数とを結び付けるインデックスの第１の例。 図６Ａまたは６Ｂにおいて生成された光ビームのフットプリントによって決定される、投影ピクセルと、ゼロでない値を持つ光輸送係数とを結び付けるインデックスの第２の例。 現実のカメラによってとられた現実の捕獲画像（Ａ）および、本発明の方法を用いて生成される、現実のプロジェクタによって見られるとおりの双対捕獲画像（Ｂ）。 プロジェクタをキャリブレートするための平面射影の使用の適用の結果の一例。

符号の説明

１１…デジタル・プロジェクタ、１３…画像、１５…デジタル・カメラ、１７…プロジ
ェクタ・ピクセル・アレイ、１９…光レセプタ・ピクセル・アレイ、１１”…仮想カメラ
、１３”…投影画像、１７”…仮想レセプタ・ピクセル・アレイ、１５”…仮想プロジェ
クタ、１９”…仮想投影ピクセル・アレイ、２１…プロジェクタ、２３…投影面、２７…
画像形成投影アレイ、２５…カメラ、２９…画像センサ・アレイ、２３”…仮想画像、２
１”…仮想カメラ、２７”…仮想画像センサ・アレイ、２５”…仮想プロジェクタ、２９
”…画像形成投影アレイ、５０…光線フットプリント、ｉ…センサ・ピクセル。

Claims (10)

1. デジタル・プロジェクタとデジタル・カメラとを関連づける光輸送係数を生成する方法
   であって、前記デジタル・プロジェクタが、投影ピクセルのアレイを持ち、そして、前記
   デジタル・カメラが、センサ・ピクセルのアレイを持つ方法において、
   前記プロジェクタ内の第１の投影ピクセルのグループを同時に駆動して、投影場上に第
   １のテストパターンを投影するステップであって、前記第１のテストパターン中にない、
   いずれの投影ピクセルも暗く維持されるステップと、
   前記投影場上の、前記第１のテストパターンの第１の画像を捕獲するステップと、
   前記プロジェクタ内の第２の投影ピクセルのグループを同時に駆動して、前記投影場上
   に第２のテストパターンを投影するステップであって、前記第２のテストパターン中にな
   い、いずれの残りの投影ピクセルも暗く維持され、前記第１および第２の投影ピクセルの
   グループが、ターゲット投影ピクセルを定める、ただ１つの投影ピクセルしか共通に持た
   ないステップと、
   前記投影場上の、前記第２のテストパターンの第２の画像を捕獲するステップと、
   前記第１の画像の画像ピクセルと、それに対応する、前記第２の画像の画像ピクセルと
   を比較するステップと、２つの比較された画像ピクセルのうちの、より暗い方を保持する
   ステップであって、前記保持された画像ピクセルが、合成画像を構成するステップと、
   前記合成画像中の全ての暗くない画像ピクセルを識別するステップであって、前記暗く
   ない画像ピクセルが、前記ターゲット投影ピクセルに関連する、ゼロでない光輸送係数を
   定めるステップと、を含んでなる方法。
2. 前記第１のテストパターンと前記第２のテストパターンとが、前記ターゲット投影ピク
   セルに関連する第１のパターン対を形成し、
   前記デジタル・プロジェクタ内の各投影ピクセルが、それぞれの第１のテストパターン
   と、それぞれの第２のテストパターンとから成る、連合したユニークなパターン対を持ち
   、そして、
   前記デジタル・プロジェクタ内の任意の選択された投影ピクセルに関する前記光輸送係
   数が、前記選択された投影ピクセルの、その連合したユニークなパターン対を構成する、
   それぞれの第１のテストパターンと、それぞれの第２のパターンとの捕獲画像を比較する
   ステップによって得られ、
   前記ユニークなパターン対を比較する前記ステップが、
   前記それぞれの第１の画像の画像ピクセルと、それに対応する、前記それぞれの第２の
   画像の画像ピクセルとを比較するステップと、２つの比較された画像ピクセルのうちの、
   より暗い方を保持するステップであって、前記保持された画像ピクセルが、それぞれの合
   成画像を構成するステップと、
   前記それぞれの合成画像中の全ての暗くない画像ピクセルを識別するステップであって
   、前記暗くない画像ピクセルが、前記任意の選択された投影ピクセルに関連する前記光輸
   送係数を定めるステップと、を含んでなる、
   請求項１の方法。
3. 前記プロジェクタが、投影ピクセルの行および列のアレイを持ち、
   前記それぞれの第１のテストパターンが、前記アレイの１つの列内の全投影ピクセルを
   同時に駆動することよりなり、
   前記それぞれの第２のテストパターンが、前記アレイの１つの行内の全投影ピクセルを
   同時に駆動することよりなる、
   請求項２の方法。
4. 選択された数の前記ターゲット投影ピクセルに対して、前記光輸送係数を識別するステ
   ップと、
   前記選択された数のターゲット投影ピクセルの各々と、それらに対応して関連するゼロ
   でない光輸送係数とを結び付けるインデックスを生成するステップと、
   前記ゼロでない光輸送係数だけを格納するステップと、を、
   さらに含んでなる請求項１の方法。
5. 前記デジタル・プロジェクタと前記デジタル・カメラとを関連づける前記光輸送係数が
   、デュアル・フォトグラフィにおける使用に適している請求項１の方法。
6. 少なくとも１つのデジタル・プロジェクタと１つのデジタル・カメラとを持つプロジェ
   クタ−カメラ・システムをキャリブレートする方法であって、
   投影場を識別するステップと、
   前記投影場に対して前記カメラをキャリブレートするステップと、
   前記デジタル・プロジェクタ内の各投影ピクセルと、前記デジタル・カメラとを結び付
   ける、ゼロでない光輸送係数を識別するステップと、
   各投影ピクセルと、それに対応するゼロでない光輸送係数とを結び付けるインデックス
   を創出するステップと、各投影ピクセルに関する各ゼロの光輸送係数を無視するステップ
   と、
   前記プロジェクタがデュアル・フォトグラフィ技術を用いるという観点から、前記イン
   デックスによって識別される、ゼロでない光輸送係数を用いて、前記投影場の双対画像を
   生成するステップと、
   前記プロジェクタを仮想カメラとして扱うことによって、前記プロジェクタにカメラ・
   キャリブレーション技術を適用するステップと、前記双対画像を、前記プロジェクタをキ
   ャリブレートするためのテスト画像として用いるステップと、を含んでなる方法。
7. 前記デジタル・プロジェクタ内の各投影ピクセルと、前記デジタル・カメラとを結び付
   ける、ゼロでない光輸送係数を識別する前記ステップが、
   第１のテストパターンの第１のセットを識別するステップであって、各第１のテストパ
   ターンが、複数の投影ピクセルを含むステップと、
   第２のテストパターンの第２のセットを識別するステップであって、各第２のテストパ
   ターンが、複数の投影ピクセルを含み、前記プロジェクタ内の各投影ピクセルが、前記第
   １のセットからの対応する第１のテストパターンと、前記第２のセットからの対応する第
   ２のテストパターンとから成るテストパターン対の交差部によってユニークに識別される
   ステップと、
   前記投影場上に、前記第１のセット内の前記第１のテストパターンの各々を駆動するス
   テップと、その結果として生じる投影画像の画像を捕獲するステップと、
   前記投影場上に、前記第２のセット内の前記第２のテストパターンの各々を駆動するス
   テップと、その結果として生じる投影画像の画像を捕獲するステップと、
   前記プロジェクタ内の各投影ピクセルに対して、それに対応する、投影された第１のテ
   ストパターンの前記捕獲画像の画像ピクセルと、それに対応する、投影された第２のテス
   トパターンの前記捕獲画像の、対応する画像ピクセルとを比較するステップと、前記２つ
   の比較された画像ピクセルのうちの、より暗い方を保持するステップであって、前記保持
   された画像ピクセルが合成画像を構成するステップと、前記合成画像中の全ての暗くない
   画像ピクセルを識別するステップであって、前記暗くない画像ピクセルが、ゼロでない光
   輸送係数を定めるステップと、を含んでなる請求項６の方法。
8. 少なくとも１つのデジタル・プロジェクタと１つのデジタル・カメラとを持つプロジェ
   クタ−カメラ・システムをキャリブレートする方法であって、
   投影場を識別するステップと、
   前記投影場に対して、前記カメラをキャリブレートするステップと、
   前記投影場に既知のテストパターンを投影するステップであって、前記既知のテストパ
   ターンが、互いに既知の空間的関係を持つ空間的標識のグループを含むステップと、
   平面射影技術を用いて、前記カメラと前記投影場との間の関係を識別して、前記投影場
   上の前記空間的標識の現実の位置を識別するステップと、
   平面射影技術を用いて、前記カメラを用いて決定された前記投影場上の前記空間的標識
   の前記現実の位置と、前記既知のテストパターン上の前記空間的標識の前記既知の空間的
   関係とを関連づけ、前記既知のテストパターンの前記既知の空間的関係を、前記投影場上
   の前記空間的標識の前記現実の位置に合致させるように、前記プロジェクタをキャリブレ
   ートするステップと、を含んでなる方法。
9. 前記既知のテストパターンが、少なくとも４個の空間的標識を含む請求項８の方法。
10. 前記空間的標識間の前記既知の空間的関係が、二次元投影に限定されている請求項８の
    方法。