JP2008171431A

JP2008171431A - 基準行列の推定逆行列を生成する方法、第２のプロジェクタからの第２の投影画像を用いて第１のプロジェクタからの第１の投影画像をシミュレートする方法、投影画像を生成する方法および投影システム

Info

Publication number: JP2008171431A
Application number: JP2008002919A
Authority: JP
Inventors: Kar-Han Tan; ハンタンカー; Jing Xiao; ザオジング; Anoop Bhattacharjya; バタチャージャアヌープ
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2007-01-12
Filing date: 2008-01-10
Publication date: 2008-07-24

Abstract

【課題】複雑な表示システムにおける光輸送のモデル化。
【解決手段】第１のプロジェクタにより生成された画像は第２のプロジェクタにより、２
つのプロジェクタを共通視点、好ましくはカメラから見た視点、に関連づけることで再現
される。第１の光輸送行列Ｔ¬₁が取り込まれ第１のプロジェクタがカメラに関連付けら
れる。次に第２の光輸送行列Ｔ¬₂が取り込まれ第２のプロジェクタがカメラに関連付け
られる。第１のプロジェクタにより投影される第１画像ｐ₁を第２のプロジェクタにより
再現するために、第２のプロジェクタは（Ｔ₂ ^-1）＊（Ｔ₁＊ｐ₁）と定義される歪んだ画
像を投影する。本方程式に用いられるＴ₂の逆は、まずＴ₂と等しいサイズの中間行列Ξを
生成することにより定義される推定である。Ｔ₂の列をＴｒで示し、Ξの対応列をΞｒで
示した場合、Ξの構造および入力はΞｒ＝Ｔｒ／（‖Ｔｒ‖）²と定義され、Ｔ₂の逆はΞ
の数学的転置であると推定される。
【選択図】図２

Description

本発明はプロジェクタ−カメラ・システムにおけるプロジェクタの較正方法に関し、よ
り具体的にはデュアル・フォトグラフィの適用を簡素化する方法に関する。

プロジェクタとカメラを組み合わせると、光を投影し、かつ取り込むことができるハイ
ブリッド装置およびシステムが生まれる。この新たに台頭してきた影像装置およびシステ
ムは研究の世界でプロジェクタ−カメラ・システムとして知られている。通常投影面の幾
何学的形状など表示環境に関する属性を推定するためには１つ以上のカメラで取り込まれ
た画像が使用される。システムのプロジェクタが次に投影される影像を適合させ、もたら
される影像を向上させる。

プロジェクタ−カメラ・システムおよび装置の製作者が解決しなければならない重要な
問題は各装置の内部影像パラメータ（固有パラメータ）の判定およびシステムのすべての
プロジェクタおよびカメラ間の幾何学的関係（外的パラメータ）の判定である。この問題
は通常システム較正の問題と呼ばれる。

コンピュータ・ビジョンの世界では、１つ以上のカメラを有する影像システムの較正に
関する一連の研究がある。コンピュータ・ビジョンの世界で通常用いられる方法はＺｈｅ
ｎｇｙｏｕＺｈａｎｇ著の論文「適応性を有するカメラ較正用の新規手法」（A flexibl
e new technique for camera calibration）、ＩＥＥＥパターン分析および人工知能紀要
（Transactions on Pattern Analysis and Machine Intelligence）、22(11):1330-1334
、2000年、に記載され、引用により全体として本明細書に組み入れられる。この方法にお
いて、いくつかの既知の特徴点（通常グリッドを形成）でマークされた平たい被写体をカ
メラに対しさまざまな角度のポーズに置き、平たい被写体の複数の画像がカメラにより取
り込まれる。各特徴点の画像位置が抽出され、各特徴点の相対位置は知られているので次
に特徴点位置の集合を用いてカメラを較正することができる。システムに２つ以上のカメ
ラが存在する場合、すべてのカメラ間の幾何学的関係と併せて固有パラメータはすべての
カメラに平たい被写体の各ポーズ角度における画像を取り込ませることにより推定するこ
とができる。

プロジェクタとカメラは影像化の幾何学という点で非常に類似しているので、カメラの
較正手法をプロジェクタおよびプロジェクタ−カメラ・システムの較正に適用できること
が合理的と思われるかもしれない。しかし、カメラの較正手法はすべてカメラ（すなわち
、較正される影像装置）が画像をいくつか取り込むことが必要であるため、カメラの較正
手法は画像を取り込むことができないプロジェクタには容易に適用できないようである。

従って、従来のシステムにおいてはカメラがまず較正され、次に較正されたカメラを用
いてプロジェクタを較正する。これらのシステムでは１対の較正されたカメラを用いてス
テレオの対を形成する「ブートストラップ的」手順が使用される。周知のとおり、カメラ
のステレオの対はステレオの対が見ることのできる特徴点の奥行き、すなわち、遠近図、
を推定するのに用いることができる。プロジェクタを較正する場合、まずプロジェクタは
表示環境（すなわち、投影面）に特徴点を投影し、次に較正されたカメラのステレオの対
を用い投影された点の遠近奥行きの位置を判定することによりプロジェクタは表示環境の
表面凹凸を補正するよう較正されることができる。

このブートストラップ的手法はプロジェクタ−カメラ・システム向けの実証済みの較正
方法であるが、外付けカメラのステレオの対を必要とするため内蔵型のプロジェクタ−カ
メラ・システムには適用できない。

デュアル・フォトグラフィと呼ばれる手法がＳｅｎ他により論文「デュアル・フォトグ
ラフィ」（Dual Photography）、ACM SIGGRRAPH予稿、2005年、の中で提案されており、
引用により本明細書に全体として組み入れられる。デュアル・フォトグラフィはヘルムホ
ルツの相反定理を利用して実カメラで取り込んだ画像を用いプロジェクタから「見えた」
（または事実上「取り込んだ」）画像をシミュレートする擬似画像（すなわち、デュアル
画像）を合成する。つまり、擬似画像はプロジェクタから「見た」取り込み画像をシミュ
レートし、従ってプロジェクタが画像を取り込むことができたとした場合プロジェクタに
より取り込まれた画像がどうなるかを表す。この方法はプロジェクタを擬似カメラとして
扱うことを可能にするので、プロジェクタの較正に関わる問題のいくつかを除去できるか
もしれない。

ヘルムホルツの相反定理は光の流れはその輸送特性を変えることなく有効に逆向きにで
きるという概念に基づいている。ヘルムホルツの相反定理は計算の複雑さを低減するため
に多くのコンピュータ・グラフィックス用途に使用されている。コンピュータ・グラフィ
ックス関連の文献でこの相反定理は入射および出射方向間の反射輝度転移、ωｉおよびω
ｏ、の対称性を説明する方程式として通常要約される。ｆｒ（ωｉ→ωｏ）＝ｆｒ（ωｏ
→ωｉ）。ここでｆｒはある表面の双方向反射率分布関数、ＢＲＤＦ、を表す。

このようにデュアル・フォトグラフィは、理想的には投影画像および取り込み画像のデ
ュアルな性質（すなわち、デュアリティ関係）を利用して前者を後者からシミュレートす
る。さらに詳細に後述するように、デュアル・フォトグラフィ（より正確にはヘルムホル
ツの相反定理）はカメラとプロジェクタ間の光輸送を取り込む必要がある。

デジタル・カメラおよびデジタル・プロジェクタを扱う場合、デュアル・フォトグラフ
ィは双方の装置の解像度において各カメラ・ピクセルと各プロジェクタ・ピクセル間の光
輸送係数を取り込む必要がある。デジタル・プロジェクタおよびデジタル・カメラ双方と
も各々何百万のピクセルを有し得るので、多数の光輸送係数の獲得、格納、および操作は
この手法の実際的な使用を制限する可能性がある。従ってデュアル・フォトグラフィは理
論的に非常に利点を提供するように見えるが、実際上デュアル・フォトグラフィは非常に
大量のコンピュータ・メモリ（アーカイブ・ディスク型メモリおよびアクティブ・シリコ
ン・メモリ双方）を必要とし、広範囲かつ高速なコンピュータ処理を必要とするという物
理的かつ非実用的な要件により深刻に制限される。

デュアル・フォトグラフィのより明確な理解は図１（Ａ）および図１（Ｂ）を参照して
得られる。図１（Ａ）において「根本構成」（すなわち、デュアル変換以前の実際の物理
的な装置の構成）は実デジタル・プロジェクタ１１、実投影画像１３、および実デジタル
・カメラ１５を含む。実プロジェクタ１１から光が発射され、実カメラ１５により取り込
まれる。実プロジェクタ１１から投影された各光線を対応する実カメラ１５において取り
込まれた対応する各光線に関連づける係数は光輸送係数と呼ばれる。光輸送係数を用いる
と、取り込まれた光線から投影された光線の特徴を判定することが可能となる。

本例において、実プロジェクタ１１は点線枠内に示され、ｓ行およびｒ列のプロジェク
タ・ピクセルｅからなるプロジェクタ・ピクセル・アレイ１７を有するデジタル・プロジ
ェクタである。（プロジェクタ・ピクセル・アレイ１７とは、プロジェクタ内のデバイス
上のピクセル・アレイを意味し、例えば液晶パネルやデジタルミラーデバイスなどである
）プロジェクタ・ピクセル・アレイ１７のサイズは実プロジェクタ１１の解像度に依存す
る。例えばＶＧＡ解像度は６４０×４８０ピクセル（すなわち、３０７，２００のプロジ
ェクタ・ピクセルｅ）からなることができ、ＳＶＧＡ解像度は８００×６００ピクセル（
すなわち、４８０，０００のプロジェクタ・ピクセルｅ）を有し得、ＸＶＧ解像度は１０
２４×７６８ピクセル（すなわち、７８６，７３２のプロジェクタ・ピクセルｅ）を有し
得、ＳＸＶＧ解像度は１２８０×１０２４ピクセル（すなわち、１，３１０，７２０のプ
ロジェクタ・ピクセルｅ）を有し得、以下同様でより高い解像度のプロジェクタはより多
数のプロジェクタ・ピクセルｅを必要とする。

同様に実カメラ１５は点線枠内に示され、ｕ行およびｖ列の受容ピクセルｇからなる光
受容ピクセル・アレイ１９を有するデジタル・カメラである。（光受容ピクセル・アレイ
１９とは、デジタル・カメラ内のデバイス上のピクセル・アレイを意味し、例えばＣＣＤ
センサである）光受容ピクセル・アレイ１９のサイズもまた実カメラ１５の解像度に依存
する。但し、実カメラは４メガピクセル（すなわち、４，１９４，３０４の受容ピクセル
ｇ）以上を有しているのが普通である。

実プロジェクタ１１は個別の光投影ピクセルｅのアレイを有するデジタル・プロジェク
タで、実カメラ１５は個別の光受容ピクセルｇのアレイを有するデジタル・カメラである
ので、実プロジェクタ１１の各光投影ピクセルｅを実カメラ１５の各受容ピクセルｇに関
連付ける光輸送係数のグループを説明するのに行列Ｔが用いられる（すなわち、行列Ｔ内
の要素Ｔ_geは個別の実プロジェクタにおけるピクセルｅから個別の実カメラにおける受容
ピクセルｇへの輸送係数となる）。従って実際に取り込まれた画像Ｃ’は投影画像Ｐ’に
Ｃ’＝Ｔ＊Ｐ’という形で関係している。

図１（Ａ）のデュアリティ変換、すなわち、デュアル構成、が図１（Ｂ）に示される。
このデュアル構成において、図１（Ａ）の実プロジェクタ１１は仮想カメラ１１"に変換
され、図１（Ａ）の実カメラ１５は仮想プロジェクタ１５"に変換される。仮想カメラ１
１"および仮想プロジェクタ１５"は各々実プロジェクタ１１および実カメラ１５のデュア
ルな（相互変換可能な又は共役的な）対応を表し、それら自体実装置でないことが理解さ
れよう。つまり、仮想カメラ１１"は仮定上のカメラ（すなわち、仮想カメラ１１"）が図
１（Ａ）の実プロジェクタが投影する実画像１３に類似した仮定上の投影画像１３"を取
り込むためにどのように挙動するかを数学的に表したものである。同様に、仮想プロジェ
クタ１５"は仮定上のプロジェクタ（すなわち、仮想プロジェクタ１５"）が図１（Ａ）の
実カメラ１５で取り込まれた実画像１３に実質的に合致する仮定上の画像１３"を投影す
るためにどのように挙動するかを数学的に表したものである。このように図１（Ａ）にお
ける実プロジェクタ１１および実カメラ１５の位置は図１（Ｂ）において仮想カメラ１１
"および仮想プロジェクタ１５"に交換される。しかし実装置のピクセル解像度は対応する
仮想装置に繰り越される。従って仮想カメラ１１"はｓ行およびｒ列からなる仮想受容ピ
クセル・アレイを有し、実プロジェクタ１１の投影ピクセル・アレイ１７に合致している
。同様に仮想プロジェクタ１５"はｕ行およびｖ列からなる仮想投影ピクセル・アレイ１
９"を有し実カメラ１５に受容ピクセル・アレイ１９に合致している。

デュアル光輸送行列Ｔ"がこのデュアル構成の光輸送行列で、仮想カメラ１１"で取り込
まれる仮想取り込み画像Ｃ"は仮想プロジェクタ１５"で投影される仮想投影画像Ｐ"に対
しＣ"＝Ｔ"＊Ｐ"という形で関係していると仮定すると、Ｔ"_egが仮想プロジェクタ・ピク
セルｇ"と仮想受容ピクセルｅ"との間のデュアル光輸送係数となる。

ヘルムホルツの相反定理はピクセルからピクセルへの輸送は双方向において（すなわち
、実プロジェクタ１１から実カメラ１５へ、および仮想プロジェクタ１５"から仮想カメ
ラ１１"へ）等しいと規定している。すなわち、Ｔ"_eg＝Ｔ_geで、これはＴ"＝Ｔ^Tを意味す
る（すなわち、デュアル光輸送行列Ｔ"は実光輸送行列Ｔに対する数学的転置の結果に等
しい）。従って、行列Ｔが与えられると、Ｔ^Tを用いてデュアル構成において得られる画
像を合成することができる。

ＺｈｅｎｇｙｏｕＺｈａｎｇ著の論文「適応性を有するカメラ較正用の新規手法」（A flexible new technique for camera calibration）、ＩＥＥＥパターン分析および人工知能紀要（Transactions on Pattern Analysisand Machine Intelligence）、22(11):1330-1334、2000年

本発明の目的の１つはデュアル・フォトグラフィの適用を簡素化することである。

また、本発明の別の目的の１つはプロジェクタ−カメラ・システムにおける実プロジェ
クタの較正におけるデュアル・フォトグラフィの使用を簡素化することである。

また、本発明の別の目的の１つはデュアル・フォトグラフィのより時間のかかる複雑な
要件のいくつか必要を避けながらデュアル・フォトグラフィの利点を実プロジェクタの較
正に利用することである。

上記目的はデュアル輸送行列Ｔ"の生成を簡素化し、デュアル・フォトグラフィにおけ
る光輸送係数の実施を簡素化し、デュアル・フォトグラフィ操作の容易さとホモグラフィ
の低減された計算要件とを組み合わせるシステムで満足される。

デュアル・フォトグラフィの適用は（ｐ×ｑ）の投影ピクセル・アレイ光輸送行列Ｔを
生成するのに必要な取り込み画像数を（ｐ×ｑ）の画像から（ｐ＋ｑ）の画像に削減する
ことにより簡素化される。光輸送行列の操作は各投影ピクセルを非ゼロの光輸送値にのみ
結び付けるインデクスで置き換えることにより、行列Ｔの使用を簡素化される。ゼロ値の
光輸送係数の使用を排除することにより、デュアル・フォトグラフィを実施するためのメ
モリおよび処理要件が非常に低減される。このデュアル・フォトグラフィ手法がプロジェ
クタ−カメラ・システムの較正に適用される。

プロジェクタ−カメラ・システムを較正するための第２の方法は既知の投影テスト・パ
ターンおよび較正されたカメラを用い実画像における投影された空間マーカを取り込み画
像に結び付ける。投影された空間マーカの実際の位置は較正されたカメラにより決定され
、テスト・パターン上における空間マーカの相対位置も知られているので（較正されるプ
ロジェクタにより投影されたため）、ホモグラフィ手法を用い、投影された空間マーカ間
の既知の関係が、投影場面上で較正されたカメラにより決定される空間マーカの真の位置
と合致することを保証することにより、プロジェクタを較正することができる。

本発明の第１実施形態で、デジタル・プロジェクタをデジタル・カメラに関連付ける光
輸送係数を生成する方法を示す。デジタル・プロジェクタが投影ピクセルのアレイを有し
、デジタル・カメラがセンサ・ピクセルのアレイを有する場合、その方法は、プロジェク
タ内の投影ピクセルの第１グループを同時に駆動し（活性化し）投影面に第１テスト・パ
ターンを投影することで、前記第１テスト・パターンに入っていない投影ピクセルは暗く
維持されることと、投影面の第１テスト・パターンの第１画像を取り込むことと、プロジ
ェクタ内の投影ピクセルの第２グループを同時に駆動し投影場面上に２テスト・パターン
を投影することで、前記第２テスト・パターンに入っていない残りの投影ピクセルは暗く
維持され、投影ピクセルの第１および第２グループは目標投影ピクセルを定義する１つの
みの共通投影ピクセルを有することと、前記投影場面上の前記第２テスト・パターンの第
２画像を取り込むことと、第１画像の画像ピクセルを第２画像の対応画像ピクセルと比較
し、２つの比較された画像ピクセルの暗い方を保持することで、保持された画像ピクセル
は合成画像を形成することと、合成画像において暗くないすべての画像ピクセルを特定す
ることで、暗くない画像ピクセルは目標投影ピクセルに結び付いた非ゼロの光輸送係数を
定義することと、を含む。

この方法に続き、第１テスト・パターンおよび第２テスト・パターンは目標投影ピクセ
ルに結び付いた第１パターン対を形成することがさらに明確にされる。デジタル・プロジ
ェクタ内の各投影ピクセルには各々の第１テスト・パターンおよび各々の第２テスト・パ
ターンからなるユニークなパターン対が結び付いており、デジタル・プロジェクタ内で選
択された任意の投影ピクセルの光輸送係数は選択された投影ピクセルの結び付いたユニー
クなパターン対をなす各々の第１テスト・パターンおよび各々の第２テスト・パターンの
取り込み画像を比較して得られ、ユニークなパターン対の比較は、各々の第１画像の画像
ピクセルを前記各々の第２画像の対応画像ピクセルと比較し、比較された画像ピクセルの
暗い方を保持することで、保持された画像ピクセルは各々の合成画像を形成すること、各
々の合成画像において暗くないすべての画像ピクセルを特定することで、暗くない画像ピ
クセルは選択された任意の投影ピクセルに結び付いた非ゼロの光輸送係数を定義すること
、を含む。

さらにこの方法において、プロジェクタは投影ピクセルの行と列のアレイを有すること
が好ましい。各々の第１テスト・パターンはアレイの１列内におけるすべての投影ピクセ
ルの同時駆動からなり、各々の第２テスト・パターンはアレイの１行内におけるすべての
投影ピクセルの駆動からなる。

あるいは、光輸送係数を生成する方法はさらに選択された数の目標投影ピクセルに対す
る光輸送係数を特定することを含むことができ、これは選択された数の目標投影ピクセル
各々を対応して結び付いた非ゼロの光輸送係数に結び付けるインデクスを生成すること、
および非ゼロの光輸送係数のみを格納することからなる。

さらに別の実施形態で、デジタル・プロジェクタをデジタル・カメラに関連付ける光輸
送係数はデュアル・フォトグラフィにおける使用に適している。

本発明は少なくとも１つのデジタル・プロジェクタおよび１つのデジタル・カメラを有
するプロジェクタ−カメラ・システムの較正に適用でき、方法は、投影面を特定すること
と、カメラを投影面に較正することと、デジタル・プロジェクタ内の各投影ピクセルをデ
ジタル・カメラに結び付ける非ゼロの光輸送係数を特定することと、各投影ピクセルをそ
の対応する非ゼロの光輸送係数に結び付けるインデクスを生成し、各投影ピクセルのゼロ
の光輸送係数を無視することと、インデクスで特定された非ゼロの光輸送係数を用い、プ
ロジェクタの視点からデュアル・フォトグラフィ手法を使用して投影場面のデュアル画像
を生成することと、および前記プロジェクタを仮想カメラとして扱い前記プロジェクタの
較正にデュアル画像をテスト画像として用いることによりカメラ較正手法をプロジェクタ
に適用することを含む。

さらにこの方法において、デジタル・プロジェクタ内の各投影ピクセルをデジタル・カ
メラに結び付ける非ゼロの光輸送係数を特定する工程は、第１テスト・パターンの第１セ
ットを特定することで、各第１テスト・パターンは複数の投影ピクセルを含む。第２テス
ト・パターンの第２セットを特定することで、各第２テスト・パターンは複数の投影ピク
セルを含み、プロジェクタ内の各投影ピクセルは前記第１セットからの対応する第１テス
ト・パターンおよび前記第２セットからの対応する第２テスト・パターンからなるテスト
・パターン対の交差点により独自に特定される。第１セット内の各第１テスト・パターン
を投影面に駆動し、その結果投影された画像を取り込むことと、第２セット内の各第２テ
スト・パターンを投影面に駆動し、その結果投影された画像を取り込むことと、プロジェ
クタ内の各投影ピクセルについて投影された対応第１テスト・パターンの取り込み画像の
画像ピクセルを投影された対応第２テスト・パターンの取り込み画像の対応画像ピクセル
と比較し、比較された２つの画像ピクセルの暗い方を保持することで、保持された画像ピ
クセルで合成画像を生成し、さらに前記合成画像における暗くない画像ピクセルを特定し
、暗くない画像ピクセルは非ゼロの光輸送係数を定義することと、を含むことができる。

さらに別の実施形態で、少なくとも１つのデジタル・プロジェクタおよび１つのデジタ
ル・カメラを有するプロジェクタ−カメラを較正する方法は、投影場面を特定することと
、カメラを投影面に対し較正することと、既知のテスト・パターンを投影面に投影するこ
とで、既知のテスト・パターンは互いに既知の空間関係を有する空間マーカのグループを
含むと、ホモグラフィ手法を用いてカメラと投影面との関係を特定し、投影面上の前記空
間マーカの実位置を特定することと、ホモグラフィ手法を用いて前記カメラにより判定し
た投影面上の空間マーカの実位置を既知のテスト・パターン上の空間マーカの既知の空間
関係に関連付けし、既知のテスト・パターンの既知の空間関係が前記投影面上の前記空間
マーカの実位置に合致させるようプロジェクタを較正することと、を含む。

さらにこの方法において、既知のテスト・パターンは４つ以上の空間マーカを含むこと
ができる。

また、空間マーカ間の既知の空間関係は２次元投影に限定されることが好ましい。

さらに本発明で、２つのプロジェクタを好ましくはカメラから見たような共通の視点に
関連付けることにより第１のプロジェクタにより生成された画像が第２のプロジェクタを
用いて再現される。第１のプロジェクタをカメラに関連付けるために第１の光輸送行列Ｔ
¬₁が取り込まれる。次に第２のプロジェクタをカメラに関連付けるために第２の光輸送
行列Ｔ¬₂が取り込まれる。第１のプロジェクタにより投影される第１画像ｐ₁を第２のプ
ロジェクタで再現させるために第２のプロジェクタは(（Ｔ₂）^-1）＊（Ｔ₁）＊ｐ₁と定義
される歪んだ画像を投影する。

第１のプロジェクタが前面投射型プロジェクタで、第２のプロジェクタが没入型プロジ
ェクタ（没入感を得られる広い視野を持つプロジェクタ）である場合、没入型プロジェク
タは観衆が前面投射プロジェクタの投影路を遮ることを心配せずに観衆の視点から前面投
射された画像を再現するのに使用することができる。

計算（（Ｔ₂）^-1）＊（Ｔ₁）＊ｐ₁において、Ｔ₂の逆はＴ₂に等しいサイズの中間行列
Ξをまず生成することにより定義される推定である。Ｔ₂における列をＴｒとし、Ξにお
ける対応列をΞｒとすると、Ξの構造および入力はΞｒ＝Ｔｒ／（‖Ｔｒ‖）²と定義さ
れ、Ｔ₂の逆はΞの転置と推定される。

前述の目的を解決するために、形態１の基準行列の推定逆行列を生成する方法は、前記
基準行列は入力値の複数の列を有し、前記基準行列の各列を目標列として順に特定し、前
記目標列における選択された入力値について前記目標列に関し正規化値を計算することと
、前記基準行列に等しいサイズの中間行列を生成することと、前記中間行列の各列に前記
基準行列の対応目標列の計算された正規化値を入力することで、前記中間行列の入力され
た各列における各正規化値は前記基準行列の対応列における前記選択された入力値と１対
１の対応を維持していることと、前記中間行列に転置行列演算を適用することと、を含む
ことをその要旨とする。

また、形態２の基準行列の推定逆行列を生成する方法は、前記基準行列の対応目標列に
おける選択された入力値からの正規化値が入力されていない前記中間行列における値の入
力はゼロ値を入力される、形態１に記載の方法である。

また、形態３の基準行列の推定逆行列を生成する方法は、各目標列における所定の最小
値を越える入力値のみが正規化値を計算するのに選択される、形態１に記載の方法である
。

また、形態４の基準行列の推定逆行列を生成する方法は、前記目標列における選択され
た入力値について前記目標列に関し正規化値を計算するプロセスは前記目標列における前
記選択された入力値のみの平方の合計を生成し、前記目標列における選ばれない値をすべ
て無視し、選択された入力値各々を前記合計で割ることを含む、形態１に記載の方法であ
る。

また、形態５の基準行列の推定逆行列を生成する方法は、前記基準行列をＴで示し、前
記中間行列をΞで示し、Ｔの目標列をＴｒで示した場合、Ξの対応列をΞｒで示した場合
、Ξの構造および入力はΞｒ＝Ｔｒ／（‖Ｔｒ‖）²と定義される、形態１に記載の方法
である。

また、形態６の基準行列の推定逆行列を生成する方法は、各目標列における非ゼロ入力
のみが正規化値を計算するのに選択される、形態１に記載の方法である。

また、形態７の第２のプロジェクタからの第２の投影画像を用いて第１のプロジェクタ
からの第１の投影画像をシミュレートする方法は、前記第１のプロジェクタをカメラに関
連付ける第１の光輸送行列Ｔ₁を決定することと、前記第２のプロジェクタを前記カメラ
に関連付ける第２の光輸送行列Ｔ₂を決定することと、前記第２映写を(（Ｔ₂）^-1）＊（
Ｔ₁）掛ける第１の投影画像と定義することと、を含むことをその要旨とする。

また、形態８の第２のプロジェクタからの第２の投影画像を用いて第１のプロジェクタ
からの第１の投影画像をシミュレートする方法は、前記第１の光輸送行列Ｔ₁は前記第１
のプロジェクタからの第１の投影画像ｐ₁を前記カメラで取り込まれた第１の取り込み画
像ｃ₁に、ｃ₁＝Ｔ₁＊ｐ₁となるように関連付け、前記第２の光輸送行列Ｔ₂は前記第２の
プロジェクタからの第２の投影画像ｐ₂を前記カメラで取り込まれた第２の取り込み画像
ｃ₂に、ｃ₂＝Ｔ₂＊ｐ₂となるように関連付けることをその要旨とする。

また、形態９の第２のプロジェクタからの第２の投影画像を用いて第１のプロジェクタ
からの第１の投影画像をシミュレートする方法は、前記第１の投影画像はｐ₁で、前記第
２の投影画像はｐ₂である、形態８に記載の方法である。

また、形態１０記載の第２のプロジェクタからの第２の投影画像を用いて第１のプロジ
ェクタからの第１の投影画像をシミュレートする方法は、前記第１のプロジェクタからの
第１の視野を定義することと、前記第１の視野に重なる、前記第２のプロジェクタからの
第２の視野を定義することと、前記第１の視野および前記第２の視野と重なる第３の視野
を有するように前記カメラを配置することと、を含むことをその要旨とする。

また、形態１１の第２のプロジェクタからの第２の投影画像を用いて第１のプロジェク
タからの第１の投影画像をシミュレートする方法は、前記第１の視野は前記第２の視野の
サブセットで、前記第３の視野は前記第１の視野のスーパーセットで前記第２の視野のサ
ブセットであることをその要旨とする。

また、形態１２の第２のプロジェクタからの第２の投影画像を用いて第１のプロジェク
タからの第１の投影画像をシミュレートする方法は、前記第１のプロジェクタは前面投射
型プロジェクタで前記第２のプロジェクタは没入型プロジェクタであることをその要旨と
する。

また、形態１３の第２のプロジェクタからの第２の投影画像を用いて第１のプロジェク
タからの第１の投影画像をシミュレートする方法は、（Ｔ₂）^-1、すなわち、前記第２の
光輸送行列Ｔ₂の逆は、前記第２の光輸送行列Ｔ₂の各列を目標列として順に特定し、前記
目標列における選択された入力値について前記目標列に関し正規化値を計算することと、
前記第２の光輸送行列に等しいサイズの中間行列を生成することと、前記中間行列の各列
に前記第２の光輸送行列Ｔ₂の対応目標列の計算された正規化値を入力することで、前記
中間行列の入力された各列における各正規化値は前記第２の光輸送行列の対応列における
前記選択された入力値と１対１の対応を維持していることと、（Ｔ₂）^-1を前記中間行列
の数学的転置として定義することと、をその要旨とする。

また、形態１４の第２のプロジェクタからの第２の投影画像を用いて第１のプロジェク
タからの第１の投影画像をシミュレートする方法は、前記第２の光輸送行列の対応目標列
における選択された入力値からの正規化値が入力されていない前記中間行列における値の
入力はゼロ値を入力されることをその要旨とする。

また、形態１５の第２のプロジェクタからの第２の投影画像を用いて第１のプロジェク
タからの第１の投影画像をシミュレートする方法は、各目標列における所定の最小値を越
える入力値のみが正規化値を計算するのに選択されることをその要旨とする。

また、形態１６の第２のプロジェクタからの第２の投影画像を用いて第１のプロジェク
タからの第１の投影画像をシミュレートする方法は、前記目標列における選択された入力
値について前記目標列に関し正規化値を計算するプロセスは前記目標列における前記選択
された入力値のみの平方の合計を生成し、前記目標列における選ばれない値をすべて無視
し、選択された入力値各々を前記合計で割ることを含むことをその要旨とする。

また、形態１７の第２のプロジェクタからの第２の投影画像を用いて第１のプロジェク
タからの第１の投影画像をシミュレートする方法は、前記第２の光輸送行列Ｔ₂をＴで示
し、前記中間行列をΞで示し、Ｔの目標列をＴｒで示した場合、Ξの対応列をΞｒで示し
た場合、Ξの構造および入力はΞｒ＝Ｔｒ／（‖Ｔｒ‖）²と定義されることをその要旨
とする。

また、形態１８の第２のプロジェクタからの第２の投影画像を用いて第１のプロジェク
タからの第１の投影画像をシミュレートする方法は、各目標列における非ゼロ入力のみが
正規化値を計算するのに選択されることをその要旨とする。

また、形態１９の投影画像を生成する方法は、投影領域を定義することと、前記投影領
域に重なる第１の視野を有するようにカメラを配置することと、前記投影領域上に第２の
視野を有するようにプロジェクタを配置することと、前記プロジェクタを前記カメラに関
連づける光輸送行列Ｔ₃を決定することと、前記投影領域、カメラおよびプロジェクタの
モデルを生成することで、前記カメラおよびプロジェクタの互いおよび前記投影領域に対
する位置のモデル化を含むことと、前記モデル内で前記投影領域上の仮想画像を定義する
ことと、前記仮想画像が前記カメラのモデルに取り込まれた形の仮想取り込み画像ｃ₃"を
生成することと、前記プロジェクタから（Ｔ₃ ^-1）＊（ｃ₃"）と定義される画像を投影す
ることにより前記仮想画像の実表現を生成することを含むことをその要旨とする。

また、形態２０の投影画像を生成する方法は、光輸送行列Ｔ₃は前記第１のプロジェク
タからの第１の投影画像ｐ₃を前記カメラで取り込まれた第１の取り込み画像ｃ₃に、ｃ₃
＝Ｔ₃＊ｐ₃となるように関連付けることをその要旨とする。

また、形態２１の投影画像を生成する方法は、前記投影領域は投影室であることをその
要旨とする。

また、形態２２の投影画像を生成する方法は、前記第１の視野は前記投影領域の７０％
を超えて覆うことをその要旨とする。

また、形態２３の投影画像を生成する方法は、前記プロジェクタは没入型プロジェクタ
であることをその要旨とする。

また、形態２４の投影画像を生成する方法は、前記第１の視野は所定の観衆位置により
決定される観客視野と一致するようになされることをその要旨とする。

また、形態２５の投影画像を生成する方法は、前記モデルはコンピュータ・モデルであ
ることをその要旨とする。

また、形態２６の投影システムは、１つの平面ミラーにより提供されるものより広い反
射視野を提供するよう配置されるミラー構造と、第１のサイズを有する第１の投影領域に
投影するプロジェクタで、前記プロジェクタは前記ミラー構造に対面するように配置され
、前記プロジェクタからの投影画像は前記ミラー構造により歪み反射され前記第１のサイ
ズより大きいサイズを有する第２の投影領域に投影する、プロジェクタと、前記プロジェ
クタと通信するカメラと、を有し、前記プロジェクタは前記第２映写前記投影面上に見ら
れる前記投影画像における歪みを補正することをその要旨とする。

また、形態２７記載の、投影システムは、前記カメラは前記ミラー構造に対面するよう
配置されることをその要旨とする。

また、形態２８記載の、投影システムは、前記カメラは前記表示表面に対面するよう配
置されることをその要旨とする。

また、形態２９記載の、投影システムは、前記ミラー構造は球形ミラーを含むことをそ
の要旨とする。

また、形態３０記載の、投影システムは、前記プロジェクタの視野は前記カメラの視野
と重ならないことをその要旨とする。

また、形態３１記載の、投影システムは、前記プロジェクタの視野は前記カメラの視野
と実質的に同じであることをその要旨とする。

また、形態３２記載の、投影システムは、前記プロジェクタおよびカメラは複数のプロ
ジェクタ−カメラ対の１つを形成し、プロジェクタ−カメラ対は各々互いに連動して作動
し前記第２の投影面上に合成投影画像を生成することをその要旨とする。

また、形態３３記載の、投影システムは、前記ミラー構造はミラー・ピラミッドを含む
ことをその要旨とする。

また、形態３４記載の、投影システムは、前記プロジェクタおよびカメラは複数のプロ
ジェクタ−カメラ対の１つを形成し、前記ミラー・ピラミッドは複数の切子面を含み、各
プロジェクタ−カメラ対は前記切子面の１つに対面し、前記プロジェクタ−カメラ対は各
々互いに連動して作動し前記第２の投影面上に合成投影画像を生成することをその要旨と
する。

本方法はコンピュータ・モデルで最初に生成された実画像、または照明効果を再現する
のにも用いることができる。この場合、プロジェクタと好ましい視点位置を定義するカメ
ラを関連付ける光輸送行列が生成される。プロジェクタ、カメラ、および投影面のコンピ
ュータ・モデルなどのモデルが次に生成される。モデル内で、モデル画像またはモデル照
明効果が生成され、モデル・カメラで撮影された仮想画像が生成される。仮想画像は次に
生成された光輸送行列を用い実プロジェクトおよび実カメラを使用して生成される。

添付図面と併せて以下の説明およびクレームを参照することにより他の目的および成果
と共に発明のより深い理解が明らかになろう。

図面において類似した参照記号は類似した部分を指す。プロジェクタが画像を取り込む
ことをできたなら、実プロジェクタと実カメラとの差別化も必要なく、プロジェクタ−カ
メラ・システムはマルチカメラ・システムのように扱うことができる。従って、プロジェ
クタ−カメラ・システムを較正するのに上述の標準的なカメラ較正手法を用いることがで
きる。言い換えれば、プロジェクタを擬似カメラとして扱うことができれば、上述のマル
チカメラ・システムのカメラ較正段階に類似した方法で実カメラとともに較正することが
でき、「ブートストラップ的」プロジェクタ較正段階を排除できるかもしれない。

従って、「ブートストラップ的」プロジェクタ較正手法では、プロジェクタが既知の特
徴点を投影し、予め較正されたカメラのステレオ対により既知の投影面に取り込まれ、投
影面の曲線を判定するのに対し、デュアル・フォトグラフィ手法は予め較正されたカメラ
のステレオ対に必要を排除できる。

図２（Ａ）に関し、本発明に従った撮像構成は実プロジェクタ２１および実カメラ２１
を含み得る。実プロジェクタ２１はデジタル・プロジェクタであることが好ましく、ｐ行
およびｑ列の個別の撮像投影要素（すなわち、投影ピクセル）ｊからなる撮像投影アレイ
２７を含む撮像要素を有する。撮像投影アレイ２７は実プロジェクタ２１の内部にあり、
図２（Ａ）で点線の枠内の細い線で示される。実プロジェクタ２１は液晶表示（ＬＣＤ）
型、デジタル光処理（ＤＬＰ（登録商標））型、反射型液晶パネル（Liquid Crystal On
Silicon ＝ＬＣＯＳ）、または他のデジタル投影技術型であることが好ましい。

実カメラ２５はｍ行およびｎ列の個別の画像センサ要素（すなわち、センサ・ピクセル
）ｉからなる画像センサ・アレイ２９を含む画像センサを有するデジタル・カメラである
ことが好ましい。簡単にするため、画像センサ・アレイ２９は実カメラ２５上で示される
が、画像センサ・アレイ２９は実カメラ２５の内部にあることが理解されよう。

実プロジェクタ２１および実カメラ２５を用いたこの物理的構成は「根本」構成と呼ば
れることが好ましい。実プロジェクタ２１から発射された光線は不規則なまたは平面形状
を有し得る投影面（すなわち、表示環境または場面）２３から反射され、光線の一部は最
終的に実カメラ２５内の画像センサに到達する。一般的に各光線は場面で分散、反射、お
よび屈折し、画像センサ・アレイ２９にわたりいくつか異なった位置でカメラの画像セン
サに当たる。このように、実プロジェクタ２１の撮像投影ピクセルｊから発射された光線
が実カメラ２５に到達すると、投影光線はｍ×ｎの画像をカメラの画像センサ・アレイ２
９上で形成し、画像センサ・アレイ２９内の各個別のセンサ・ピクセルｉは一定量の光を
受ける。従って、実プロジェクタ２１の各個別の投影ピクセルは（ｍ×ｎ）［すなわち、
ｍ掛けるｎ］の、つまり実カメラ２５内の各センサ・ピクセルｉに対し１つの、個別の光
輸送係数を生成する。従って全体の光輸送行列Ｔは（ｐ×ｑ）［すなわち、ｐ掛けるｑ］
列（実プロジェクタ２１内の各個別の投影ピクセルｊに対し１つ）および（ｍ×ｎ）行（
実カメラ２５内の各個別のセンサ・ピクセルｉに対し１つ）からなる。

全面的な実画像（すなわち、実プロジェクト２１の撮像アレイ２７全体を用いて投影さ
れた画像）が「ｐ掛けるｑベクトル」［すなわち、（ｐ×ｑ）ベクトル］Ｒｐｒｊｃｔ’
として表され、実カメラ２５の画像センサ・アレイ２９により取り込まれた対応する全面
的な実画像が「ｍ掛けるｎベクトル」［すなわち、（ｍ×ｎ）ベクトル］Ｒｃｐｔｒ’と
して表される場合、実プロジェクタ２１と実カメラ２５との間の光輸送は、
Ｒｃｐｔｒ’＝Ｔ＊Ｒｐｒｊｃｔ’
と書くことができ、ここでＴは光輸送行列と呼ばれる。各投影ピクセルｊは実カメラ２
５の画像センサ・アレイ２９全体にわたり散乱される光線をもたらすので、画像センサ・
アレイ２９内の各センサ・ピクセルｉは各投影ピクセルｊに対し異なった光輸送係数を有
することが理解されよう。従って各投影ピクセルｊは（ｍ×ｎ）個の、カメラの画像セン
サ・アレイ２９の各センサ・ピクセルｉに対し１つの、個別の光輸送係数をもたらす。実
プロジェクタ２１には（ｐ×ｑ）個の投影ピクセルｊがあるので、光輸送行列Ｔは（ｐ×
ｑ）列［各投影ピクセルｊに対し１列］および（ｍ×ｎ）行［各センサ・ピクセルｉに対
し１行］の個別の光輸送係数を有することになる。このように、光輸送行列Ｔは必然的に
膨大になり、（ｐ×ｑ×ｍ×ｎ）個の個別の光輸送係数値からなることになる。

図２（Ｂ）に関し、「デュアル」な構成において実プロジェクタ２１は実撮像投影アレ
イ２７とサイズが等しい仮想センサ・アレイ２７"を有する仮想カメラ２１"で置き換えら
れる。このように仮想カメラ２１"はｐ行掛けるｑ列の画像センサ要素ｊ"からなる画像セ
ンサ・アレイ２７"を有する。

「デュアル」な構成において、同様に実カメラ２５は実画像センサ２９とサイズが等し
い仮想撮像投影アレイ２９"を有する仮想プロジェクタ２５"で置き換えられる。このよう
に仮想プロジェクタ２５"はｍ行掛けるｎ列の投影画像要素ｉ"からなる撮像投影アレイを
有する。

この場合、仮想画像２３"（仮想プロジェクタ２５"により投影される）は（ｍ×ｎ）ベ
クトルＶｐｒｊｃｔ"で表すことができることになる。同様に、仮想カメラ２１"により取
り込まれた仮想取り込み画像は（ｐ×ｑ）ベクトルＶｐｒｊｃｔ"で表すことができるこ
とになる。ヘルムホルツの相反性の原理により、光輸送は双方向において等しい（すなわ
ち、実プロジェクタ２１から実カメラ２５へ、および仮想プロジェクタ２５"から仮想カ
メラ２１"へ）。従ってデュアル構成（すなわち、デュアリティ変換構成）に対するデュ
アル光輸送行列Ｔ"を、
Ｖｃｐｔｒ"＝Ｔ^T＊Ｖｐｒｊｃｔ"
と書くことができる。ここで注目すべきことは実光輸送行列Ｔおよびそのデュアル光輸
送行列Ｔ^T間のデュアリティ変換は行列計算方法において周知の転置行列演算であること
である。

行列計算方法で周知のように、一般的な［ｘ×ｙ］行列Ａの転置演算はＡ^Tで示され、
第１列が行列Ａの第１行、第２列は行列Ａの第２行、第３列は行列Ａの第３行、以下同様
、［ｙ×ｘ］行列で定義される。容易に明らかなように、この行列演算は単に第１要素を
中心として元の行列Ａを反転させ、その第１要素（すなわち、位置（１，１）において）
は変化せず、第１列の下端が第１行の終りになるようにする。従って根本構成に対する実
光輸送行列Ｔを獲得、あるいは別途判定できれば、デュアル構成に対するデュアル光輸送
行列Ｔ^Tは上述のように実光輸送行列Ｔを反転させることにより容易に計算できる。

上記で説明されたように、実光輸送行列Ｔは実プロジェクタ２１における各個別の投影
ピクセルｊと実カメラにおけるすべての個別のセンサ・ピクセルｉとの間で対応する個別
の光輸送係数を保持している。従って、個別の投影ピクセルｊとすべてのセンサ・ピクセ
ルｉとの間で対応する各個別の光輸送係数を判定することにより、撮像投影アレイ２７に
おける他の投影ピクセルｊからの光線寄与が避けられるはずである。

これを達成するために、まず１の値に設定される（すなわち、オンになっている）ｊ番
目のピクセル（すなわち、光輸送係数を判定するためにテストされる投影ピクセル）を除
き撮像投影アレイ２７のすべての要素に対しゼロ値を有する全面的な実投影画像［すなわ
ち、（ｐ×ｑ）投影ベクトルＲｐｒｊｃｔ’］を検討することができる。そうすると、
Ｒｃｐｔｒ’＝Ｔ＊Ｒｐｒｊｃｔ’
と定義される取り込まれた実画像ベクトル［すなわち、（ｍ×ｎ）ベクトルＲｃｐｔｒ
’］はちょうど行列Ｔのｊ番目の列となる。実プロジェクタ２１の解像度は実カメラ２５
の解像度より低い可能性が高いので、テストされるｊ番目の投影ピクセルより発射される
単一光線は画像センサ・アレイ２９の数個のセンサ・ピクセルｉにわたり当たる可能性が
あることが理解されよう。

この例は図３（Ａ）に示され、画像センサ・アレイ２９の部分図は、１行目は１からｎ
まで、続いて２行目は（ｎ＋１）から（２ｎ）まで、および３行目は（２ｎ＋１）から（
３ｎ）まで、等々、と番号付けされるセンサ・ピクセルｉを個別的に示す。このシーケン
スに続き、一番下の行は（ｍ−１）ｎ＋１から（ｍｎ）まで番号付けされることが理解さ
れよう。

センサ・アレイ２９に当たる単一の投影ピクセルｊからの単一光線の光線フットプリン
ト５０は円として示される。例示の目的から、光線フットプリント５０内にないセンサ・
ピクセルｉ［すなわち、ｊ番目の投影ピクセルから発射された単一の投影ビームに当たら
ないセンサ・ピクセルｉ］は非常に暗く示され、フットプリント５０に部分的に覆われる
ピクセルｉはやや暗く示され、フットプリント５０に完全に覆われるピクセルｉは暗化な
しに示される。技術的に周知のように、光線フットプリント５０に少なくとも部分的に覆
われる各センサ・ピクセルｉは受ける光の量に比例する光強度値を記録する。この光強度
値をその個別のセンサ・ピクセルｉに対する光輸送係数として割り当てることができる。
あるいは各センサ・ピクセルｉの光輸送係数は個別センサ・ピクセルｉにより記録される
光強度値に比例するようにすることができる。しかし、ｊ番目の投影ピクセルからの投影
ビームに直接当たらないセンサ・ピクセルｉは値がゼロで、従ってこれらに対応する光輸
送係数も同様に値がゼロとなる。

図３（Ｂ）に関し、図３（Ａ）のフットプリント例に対応し得る画像取り込みベクトル
Ｒｃｐｔｒ’_ｊ［または行列Ｔの番目の列］の例が示される。この行列Ｔのｊ番目の列
は番号付けされた垂直な光輸送係数のシーケンスとして例示されており、各々の係数は図
３（Ａ）の番号付けされたピクセルｉに対応している。取り込みベクトルＲｃｐｔｒ’_
ｊの番号シーケンスは図３（Ａ）に示す画像センサ・アレイ２９における個別のセンサ・
ピクセルｉの水平に番号付けされたシーケンスに追随することが好ましい。示されるよう
に、取り込みベクトルＲｃｐｔｒ’_ｊ中、光線フットプリント５０で覆われたセンサ・
ピクセルに対応する要素のみ非ゼロ、すなわち、「ＮＺ」、の値の光輸送係数を有する。
「ＮＺ」は任意の非ゼロの光輸送係数値を表し、この値は対応するセンサ・ピクセルｉが
受ける光度の量に関係することが理解されよう。光線フトプリント５０は画像センサ・ア
レイ２９の数行にかかり、各行は取り込み画像ベクトルＲｃｐｔｒ’_ｊに順に記載され
るので、少数の非ゼロ、「ＮＺ」、の値の光輸送係数の間に長い一連のゼロ値の光輸送係
数がいくつか散在する可能性がある。

それでもなお、あるｊ番目の投影ピクセルの行列Ｔに対し光輸送係数の列を取得するこ
の方法は、行列Ｔ全体を取り込む体系的な方法として実プロジェクタ２１の各投影ピクセ
ルｊを（投影ピクセルを１つずつ）順にオンにし、その対応実画像、Ｒｃｐｔｒ’_ｊ、
を実カメラ２５で取り込むことを示唆している。ｐ×ｑの投影ピクセルｊがすべて順にオ
ンにされ、それらに対応する実画像Ｒｃｐｔｒ’_（１から（ｐ×ｑ））が取り込まれる
と、すべての取り込み画像ベクトルＲｃｐｔｒ’_（１から（ｐ×ｑ））は行列Ｔに結集
される。各取り込み画像ベクトルＲｃｐｔｒ’_ｊは行列Ｔへの光輸送係数の入力列をな
す。これは（ｐ×ｑ）列および（ｍ×ｎ）行の個別の光輸送係数を有する行列Ｔをもたら
す。

しかし行列Ｔを決定するためのこの簡単で体系的なプロセスは（ｐ×ｑ）投影画像・取
り込み工程を必要とする、明らかに時間がかかるプロセスである。さらに、結果として得
られる光輸送行列Ｔは非常に大きく、（ｐ×ｑ×ｍ×ｎ）要素からなる。行列Ｔのサイズ
のため、デュアル画像を演算することはデュアル光輸送行列Ｔ^T（行列Ｔと同数の要素を
有する）および仮想的に投影された画像ベクトルＶｐｒｊｃｔ"（（ｍ×ｎ）要素を有す
る長いベクトル）間の行列乗算を必要とする、非常に演算が集中する操作である。

従来、行列Ｔを決定するプロセスを速めるために図１（Ａ）のプロジェクタのような実
プロジェクタの複数ピクセルを一度に適応的にオンにすることにより行列Ｔを決定する方
法が提案されている。しかし、この方法は複雑で、投影画像が複数の区域に分割され、各
区域から１つのピクセルを選択して点灯させ、かつ同時に点灯された投影ピクセルはその
間の光干渉を排除するために互いに充分な距離を保つことを保証する必要がある。加えて
、この方法は個別に投影された光線間の干渉が最小限であることを保証する必要があるの
で場面に依存する（すなわち、表示環境に依存する）。このように複数区域の生成は表示
環境に依存する。従ってこの方法は投影領域のかなりの物理的な検査および手動の設定を
必要とする。そのため、この方法は一般的な使用にあまり適さない。

本発明の一特徴は実光輸送行列Ｔの決定における手順工程を削減する方法である。すな
わち、（ｐ×ｑ）の投影画像・取り込み工程を必要とする代わりに、ここで提案する方法
は「ｐ足すｑ」［すなわち、（ｐ＋ｑ）］画像しか取り込まない。

本方法はほとんどのプロジェクタ−カメラ・アプリケーションにおいて、実プロジェク
タ２５から発射される２つの任意の光線ｂおよびｃは通常実カメラ２５における画像セン
サ・アレイ２９の別個の部分にあたる、という仮定に基づいている。すなわち、各投影光
線からの光に当たるセンサ・ピクセルの重なりは少なく、無視することができると仮定さ
れる。

もちろんこれは一般的に正しくない。例えば場面（すなわち、表示環境または投影面／
区域）がコップに入った牛乳（またはその他の光拡散材料）からなる場合、投影光線は牛
乳により拡散され、カメラの画像センサ・アレイにおいて異なった光線間でかなりの重な
りが生じる。しかし高解像投影を確保するように設計された表示設定の場合各投影ピクセ
ルは次のからはっきりと分かれていることが事実上保証される。つまり、高解像投影が望
まれる場面や環境においては場面が投影画像路に沿って光拡散品目がない可能性が高い。

行列Ｔを決定する本新規方法を続けると、プロジェクタ・ピクセルｊからの個別の光輸
送係数寄与は光輸送行列Ｔのｊ列にマップすることが特記される。投影ピクセル間の最小
限の重なりを仮定すると、撮像投影アレイ２７内の投影ピクセルの第１セットＳ１［すな
わち、Ｓ１⊂｛１，…，（ｐ×ｑ）｝］は光輸送行列Ｔの対応する列のセット（投影ピク
セル毎に１列）マップすることになる。さらに投影ピクセルの第１セットＳ１は目標投影
ピクセルｊ、すなわち、テストされる目標ピクセルを含むと仮定される。

実カメラ２５により取り込まれた投影ピクセルの第１セットを同時に駆動することによ
り生成される投影画像の第１画像をＲｃｐｔｒ_Ｓ１とする。

次に投影ピクセルの第１セットＳ１と投影ピクセルｊのみ共有する投影ピクセルの第２
セット、［すなわち、Ｓ１∩Ｓ２＝｛ｊ｝］を考察する。実カメラ２５により取り込まれ
た投影ピクセルの第２セットを同時に駆動することにより生成される投影画像の第２画像
をＲｃｐｔｒ_Ｓ２とする。光輸送行列Ｔのｊ番目の列（テストされる目標投影ピクセル
に対応する、すなわち、ｊに対応する）の光輸送係数は、取り込まれた実画像Ｒｃｐｔｒ
_Ｓ１およびＲｃｐｔｒ_Ｓ２より、これらが共有する唯一の光線のフットプリント（すな
わち、図３（Ａ）の光線のフットプリント５０に類似）を特定することにより直接得られ
る。この共通する光線のフットプリントは目標投影ピクセルから発射される、第１セット
Ｓ１および第２セットＳ２が共有する、光線に対応することになる。

この共通の光線のフットプリントを特定するには取り込み画像Ｒｃｐｔｒ_Ｓ１および
Ｒｃｐｔｒ_Ｓ２双方をピクセル毎に比較する方法がある。例えば第１の取り込み画像Ｒ
ｃｐｔｒ_Ｓ１において、光線フットプリント内の、各々投影ピクセルの第１セットＳ１
の同時発光に対応する、センサ・ピクセルのみが非ゼロ（ＮＺ）の光強度値を有し、取り
込み画像Ｒｃｐｔｒ_Ｓ１内の他のすべてのピクセルはゼロ値を有する、すなわち、比較
的暗くなる。同様に第２の取り込み画像Ｒｃｐｔｒ_Ｓ２において、光線フットプリント
内の、各々投影ピクセルの第２セットＳ２の同時発光に対応する、センサ・ピクセルのみ
が非ゼロ（ＮＺ）の光強度値を有し、取り込み画像Ｒｃｐｔｒ_Ｓ２内の他のすべてのピ
クセルはゼロ値（または暗い）を有する（すなわち、所定の閾値未満）。２つのセットＳ
１およびＳ２は目標投影ピクセルｊのみを共有しているので、取り込み画像双方を直接比
較してＲｃｐｔｒ_Ｓ１およびＲｃｐｔｒ_Ｓ２双方に共通する唯一の非ゼロ領域（すなわ
ち、暗くない領域）を特定することにより迅速に投影ピクセルｊに対応するセンサ値が特
定される。言い換えれば、Ｒｃｐｔｒ_Ｓ１およびＲｃｐｔｒ_Ｓ２における点灯領域（す
なわち、光線のフットプリント）の交差点が特定され、この交差点は目標投影ピクセルｊ
に対応する。

これを達成する１つの方法は取り込み画像Ｒｃｐｔｒ_Ｓ１およびＲｃｐｔｒ_Ｓ２双方
をピクセル毎に比較し、比較された２つのピクセルの暗い方を保持することである。この
プロセスは、

と表すことができ、Ｔ_jは行列Ｔのｊ番目の列で、「ＭＩＮ」はＲｃｐｔｒ_Ｓ１および
Ｒｃｐｔｒ_Ｓ２においてより低い値のセンサ・ピクセル（すなわち、より低い取り込み
光強度値を有する、より暗いピクセル）が保持され、より高い値（すなわち、より明るい
）センサ・ピクセルは切り捨てられる。このように、保持される唯一の高光強度値はＳ１
およびＳ２双方に共通する点灯したフットプリントに対応する。

言い換えれば、各個別の投影ピクセルｊの寄与は実カメラ２５における画像センサ・ア
レイ２９のはっきりと区別された部分にマップされるため、センサ・ピクセル１から（ｍ
×ｎ）までの中に取り込み画像Ｒｃｐｔｒ_Ｓ１およびＲｃｐｔｒ_Ｓ２に共通で目標投影
ピクセルｊに対応するセンサ・ピクセルのセットＬがある。［すなわち、Ｌ⊂｛１，…，
（ｍ×ｎ）｝］。

目標投影ピクセルｊは投影ピクセルのセットＳ１およびＳ２の交差点で（すなわち、ｊ
はセットＳ１およびＳ２双方に共通する唯一の投影ピクセルである）、
Ｓ１∩Ｓ２＝｛ｊ｝
となることが再度特記される。従って、目標投影ピクセルｊに対応しない［すなわち、
セットＬに含まれない、すなわち、∈Ｌでないピクセル］取り込み画像のピクセル中（Ｒ
ｃｐｔｒ_Ｓ１およびＲｃｐｔｕｒ_Ｓ２双方において）、Ｒｃｐｔｒ_Ｓ１またはＲｃｐ
ｔｒ_Ｓ２のいずれかで比較され取り込まれたセンサ・ピクセルの少なくとも１つは光を
受けていない。光を受けるセンサ・ピクセルは光を受けないセンサ・ピクセルより明るく
なるため、演算ＭＩＮ（Ｒｃｐｔｒ_Ｓ１，Ｒｃｐｔｒ_Ｓ２）はセットＬに含まれるピク
セル［すなわち、∈Ｌ］のみ点灯され、これはＴ_j、すなわち、行列Ｔにおけるｊ番目の
列、の良好な概算となる。

これは撮像投影アレイ２７における隣接する投影ピクセルのセットが列および行で点灯
され、投影ピクセルの点灯された列に対し取り込み画像の第１集合Ｒｃｐｔｒ_Ｓｙが作
られ、投影ピクセルの点灯された行に対し取り込み画像の第２集合Ｒｃｐｔｒ_Ｓｘが作
られた場合、任意の個別の投影ピクセルに対する光輸送係数は双方の集合を比較し点灯さ
れた列の取り込み画像が点灯された行の取り込み画像と交差する領域Ｌを特定することに
より得られ、交差点は投影ピクセルｊを単独に駆動することにより投影される光線に対応
する。

このように、輸送行列Ｔを決定する一方法は点灯された投影ピクセルのｑ個の列の取り
込み画像に対応する画像のセットＲｃｐｔｒ_Ｓｙ_１，…，Ｒｃｐｔｒ_Ｓｙ_ｑ、を集め
て点灯された投影ピクセルのｐ個の行の取り込み画像に対応する画像のセットＲｃｐｔｒ
_Ｓｘ_１，…，Ｒｃｐｔｒ_Ｓｘ_ｐ、を構築することである。次に実プロジェクタ２１の
撮像投影アレイにおけるすべての投影ピクセルｊ［投影ピクセル１，…，（ｐ×ｑ）から
なる］に対し、行および列の画像取り込みセットの対、Ｒｃｐｔｒ_Ｓｙ_ａ、Ｒｃｐｔｒ
_Ｓｘ_ｂ、が存在し、セットＲｃｐｔｒ_Ｓｙ_ａおよびＲｃｐｔｒ_Ｓｘ_ｂの交差領域は
目標投影ピクセルｊの駆動により生成される光線のフットプリントに対応する。従って、
投影画像のセット
Ｒｐｒｊｃｔ_Ｓｙ_１，…，Ｒｐｒｊｃｔ_Ｓｙ_ｑ，Ｒｐｒｊｃｔ_Ｓｘ_１，…，Ｒｐ
ｒｊｃｔ_Ｓｘ_ｐ
を構築する必要があり、各画像Ｒｐｒｊｃｔ_Ｓｙ_１，…，Ｒｐｒｊｃｔ_Ｓｙ_ｑは画
像Ｒｐｒｊｃｔ_Ｓｘ_１，…，Ｒｐｒｊｃｔ_Ｓｘ_ｐのいずれかと対にされ、対にされた
画像の各セットは１つの投影ピクセルのみを共有し、

となる。上記の式は｛１，…，（ｐ×ｑ）｝におけるすべての投影ピクセルｊについて
投影ピクセルの対が存在し、各々は異なって構成されたパターンを有し、構成されたパタ
ーンの交差点は共通の投影ピクセルに対応する１点において交差することを意味すると解
釈される。構成されたパターンのこのような対の基本例として垂直な光のビームおよび水
平な光のビームの投影された対があげられる。この場合、垂直線の取り込み画像および水
平線の取り込み画像の交差点は目標投影ピクセルｊに対応するすべてのセンサ・ピクセル
ｉを含む（すなわち、投影ピクセルｊから発射された光線により生成される光線のフット
プリント内に入るピクセルｉ）。

従って輸送行列Ｔ内の任意の列Ｔ_j［ここでｊ＝１，…，（ｐ×ｑ）］は画像Ｒｃｐｔ
ｒ_Ｓｙ_１，…，Ｒｃｐｔｒ_Ｓｙ_ｑ，Ｒｃｐｔｒ_Ｓｘ_１，…，Ｒｃｐｔｒ_Ｓｘ_ｐか
ら合成することができる。
この、対にされた画像の各セットが１つの投影ピクセルのみを共有する特性を満足する
方法はピクセル座標を使用することである、Ｒｐｒｊｃｔ_Ｓｘ_ｊはｊに等しいｘ座標を
有するピクセルのみオンになる第１の投影画像とし、Ｒｐｒｊｃｔ_Ｓｙ_ｋはｋに等しい
ｙ座標を有するピクセルのみオンになる第１の投影画像とする。そうするとＭＩＮ（Ｒｐ
ｒｊｃｔ_Ｓｘ_ｊ，Ｒｐｒｊｃｔ_Ｓｙ_ｋ）はオンにされた座標（ｊ，ｋ）のみの画像を
与える。このプロセスは図４（Ａ）、図４（Ｂ）、図５（Ａ）、図５（Ｂ）、図６（Ａ）
、および図６（Ｂ）を参照すると最も良く理解できる。

図４（Ａ）において、場面または表示環境は市松パターンを有する平らな表面４１から
なる。平らな表面４１の市松パターンを構成する各暗いブロック４３および各明るいブロ
ック４５の相対位置は既知で、以下により詳細に説明するように、それらの既知の相対移
動を用いて実プロジェクタ２１を較正することができる。

まず、明るい垂直ビーム（または光線の列）４７_ｋが実プロジェクタ２１により表面
４１に投影される。この場合、垂直ビーム４７_ｋは撮像投影アレイ２７内の、ｋに等し
いｙ座標を有するすべての投影ピクセルをオンにすることにより生成される。実カメラ２
５が次にこの画像、Ｒｃｐｔｒ_Ｓｙ_ｋ、を点灯された投影ピクセル列の一例として取り
込む。

図４（Ｂ）では図４（Ａ）に類似したすべての要素が同様の参照番号を有するが、実プ
ロジェクタ２１が第２の垂直ビーム４７_ｔを表面４１に投影する。この場合、垂直ビー
ム４７_ｔはｔに等しいｙ座標を有するすべての投影ピクセルをオンにすることにより生
成される。実カメラ２５が次にこの画像、Ｒｃｐｔｒ_Ｓｙ_ｔ、を点灯された投影ピクセ
ル列の一例として取り込む。実プロジェクタ２１はその（ｐ×ｑ）の撮像投影アレイ２７
内のｑ列各々について別個の垂直ビームを投影し、実カメラ２５は各投影垂直ビームにつ
いて別個の画像を取り込むことが理解されよう。

図５（Ａ）に関し、図４（Ａ）および図４（Ｂ）に類似したすべての要素は同様の参照
番号を有し、上記に説明される。この場合実プロジェクタ２１は水平ビーム４９_ｊを投
影面４１に投影する。水平ビーム４９_ｊはｊに等しいｘ座標を有するすべての投影ピク
セルをオンにすることにより生成される。実カメラ２５は次にこの画像、Ｒｃｐｔｒ_Ｓ
ｘ_ｊ、を点灯された投影ピクセル行の一例として取り込む。

図５（Ｂ）において、実プロジェクタ２１は第２の水平ビーム４９_ｒを表面４１に投
影する。前と同じように、水平ビーム４９_ｒはｒに等しいｘ座標を有するすべての投影
ピクセルをオンにすることにより生成される。実カメラ２５は次にこの画像、Ｒｃｐｔｒ
_Ｓｘ_ｒ、を点灯された投影ピクセル行の別の例として取り込む。実プロジェクタ２１は
その（ｐ×ｑ）の撮像投影アレイ２７内のｐ行各々について別個の水平ビームを投影し、
実カメラ２５は各投影水平ビームについて別個の画像を取り込むことが理解されよう。

図４（Ａ）からの取り込み画像Ｒｃｐｔｒ_Ｓｙ_ｋおよび図５（Ａ）からの取り込み画
像Ｒｃｐｔｒ_Ｓｘ_ｊをピクセル毎に比較し（あるいは各々の垂直および水平ビームのみ
を比較する）、演算ＭＩＮ（Ｒｃｐｔｒ_Ｓｘ_ｊ，Ｒｃｐｔｒ_Ｓｙ_ｋ）を用いてで比較
された２画像のピクセルの内より暗い方のみを保持し２つの内明るい方を切り捨てると、
図６（Ａ）に示される画像４１'が生成される。図６（Ａ）および図６（Ｂ）において図
４（Ａ）、図４（Ｂ）、図５（Ａ）、および図５（Ｂ）に類似したすべての要素は同様の
参照番号を有しているがアポストロフィが加えられ、上記に説明される。

画像Ｒｃｐｔｒ_Ｓｘ_ｊのほとんどは画像Ｒｃｐｔｒ_Ｓｙ_ｋと同じであるため（すな
わち、両者ともほとんど平たい表面４１上の投影光線による単純な市松パターンからなる
）、比較された２つのピクセルの内より暗い方を保持しても結果として得られる画像の大
半は変わらない。つまり、比較された２ピクセルが比較的同じである場合、いずれのピク
セルを他方の代わりに選んでも結果として得られる画像４１'はあまり影響されない。し
かし、画像Ｒｃｐｔｒ_Ｓｙ_ｋにおける垂直光ビーム４７_ｋを画像Ｒｃｐｔｒ_Ｓｘ_ｊ
において水平光ビーム４９_ｊ上にない対応ピクセルと比較した場合、２つの画像ピクセ
ルのより暗い方を保持することはＲｃｐｔｒ_Ｓｙ_ｋからの明るいビームのピクセルを切
り捨て、画像Ｒｃｐｔｒ_Ｓｘ_ｊからの光ビームを示さないそのままのピクセルを保持す
ることになる。従って、垂直光ビームは生成画像４１'から排除される。同様に画像にＲ
ｃｐｔｒ_Ｓｘ_ｊおける水平光ビーム４９_ｊ上のピクセルを画像Ｒｃｐｔｒ_Ｓｙ_ｋに
おける垂直光ビーム４７_ｋ上にない対応ピクセルと比較した場合、２つの画像ピクセル
のより暗い方を保持することはＲｃｐｔｒ_Ｓｘ_ｊからの明るいビームのピクセルを切り
捨て、画像Ｒｃｐｔｒ_Ｓｙ_ｋからの光ビームを示さないそのままのピクセルを保持する
ことになる。これにより水平光ビーム４９_ｊも生成画像４１'から排除される。しかし、
垂直光ビーム４７_ｋが水平光ビーム４９_ｊと交差する領域内では、比較されるピクセル
は双方とも光線により影響を示す明るいビームのピクセルである。この交差点領域内のこ
れら２つの画像ピクセを比較すると、２つの明るいビームのピクセルのいずれかが画像４
１'用に選択されることになる。その結果、画像４１'は撮像投影アレイ２７の座標（ｊ，
ｋ）から発射される投影光線に対応する、明るく点灯した領域５３を示す。このように、
座標（ｊ，ｋ）を有する投影ピクセルに対する光輸送係数は（ｊ，ｋ）における投影ピク
セルから投影される光線の画像を物理的に取り込む必要なくして、生成画像５３から抽出
することができる。

図６（Ｂ）に第２の例が示され、図４（Ｂ）および図５（Ｂ）に対応する実取り込み画
像（これは各々上述の指名方法に従い実取り込み画像Ｒｃｐｔｒ_Ｓｙ_ｔおよびＲｃｐｔ
ｒ_Ｓｘ_ｒに対応する）の組み合わせが撮像投影アレイ２７の座標（ｒ，ｔ）から発射さ
れた投影光線に対応する第２の明るく点灯した領域５５をもたらす。

同様のプロセスに従い、各投影ピクセルｊを１つずつ個別的にオンにし投影することな
く、撮像投影アレイ２７のすべての投影ピクセルの光輸送係数を特定することができる。
仮定的かつ単独に駆動された投影ピクセルを生成して投影ピクセルの光輸送係数を得るこ
の方法は実プロジェクタ２１の撮像投影アレイ２７における投影ピクセルの各行および列
に対する（ｐ＋ｑ）個の取り込み画像しか必要としない。さらに、一旦、すべてのピクセ
ル投影位置が特定されると、（ｐ＋ｑ）個の取り込み画像は廃棄することができ、保存す
るのはインデクスおよび対応フットプリント情報のみである。

この方法の例が図７に示され、実撮像投影アレイ２７のインデクスが部分的アレイとし
て表され、個別の投影ピクセルｊは円１，２，３，…，（ｑ＋１），…，（２ｑ＋１），
…等々で表される。同様に実画像センサ・アレイ２９は部分的なアレイとして表され、円
Ｆ１，Ｆ２，Ｆ３，…，Ｆ（ｑ＋１）、…等々は個別的に駆動された投影ピクセルｊに対
応するフットプリント情報を表す。本例において、フットプリントＦ１，Ｆ２，Ｆ３，…
，Ｆ（ｑ＋１），…等々は各々投影ピクセル１，２，３，…，（ｑ＋１），…等々に対応
する。例示の目的から、実カメラ２５のピクセル密度（すなわち、解像度）が実プロジェ
クタ２１の解像度よりはるかに高い可能性があり、従って単一の投影ピクセルｊから発射
された光ビームは数個のセンサ・ピクセルｉにかかる光フットプリントを生成する可能性
があることをよりよく図示するために、センサ・アレイ２９を表す部分的アレイは撮像投
影アレイ２７を表すアレイより濃くなっている。

この方法に従うと、２セットの情報しか格納する必要がない。第１セットの情報は投影
ピクセルのインデクスに対応し、第２セットは各投影ピクセルに対応したセンサ・ピクセ
ルのフットプリント情報に対応する。言い換えれば、ゼロ係数は格納する必要がなく、メ
モリ要件をかなり削減する。

この情報を体系付ける第２の例が図８に示され、投影ピクセルのインデクス６１はグレ
ースケール（すなわち、非ゼロ）のセンサ・ピクセル情報のグループ６３（すなわち、結
果として得られる光ビームのフットプリントに対応する）を指す、またはそれに対応する
ように図示される。

デュアル・フォトグラフィに向けて必要な光輸送係数を生成するために取り込み、格納
する必要のある画像の数をどのように削減するかを示した上、以下にデュアル・フォトグ
ラフィを実施する際の実際的な問題のいくつかを扱う。上記で説明したとおり、光輸送行
列Ｔは非常に大きい可能性があり、その使用（またはその数学的転置のデュアル光輸送行
列Ｔ^Tの使用）には大量のアクティブ・メモリ（例えばＤＲＡＭ）および法外な演算処理
能力／時間を必要とする。従ってデュアル画像の使用は今まで実用的でなかった。

効率的にデュアル画像を構築するには、まず、
Ｖｃｐｔｒ"＝Ｔ^T＊Ｖｐｒｊｃｔ"
であることが特記される。仮想カメラ２１"における仮想画像センサ・アレイ２７"は実
際には実プロジェクタ２１における実撮像投影アレイ２７に対応するため、仮想カメラ２
１"で得たＶｃｐｔｒ"内の任意の仮想センサ・ピクセルに対し同じインデクスｊを用いる
ことが便利である。従って、仮想取り込み画像における各仮想投影ピクセルｊ間の関係対
Ｔ^Tにおける要素の対応行は、
Ｖｃｐｔｒ"（ｊ）＝Ｔ^T _j＊Ｖｐｒｊｃｔ"
と示すことができ、Ｔ^T _jはＴ^Tにおけるｊ番目の行を指す。

上述のように、Ｔ^Tは光輸送行列の数学的転置（すなわち、行列Ｔを対角線で回転させ
る）で、行Ｔ^T _jの値（ここでｊは１から（ｐ×ｑ）の任意の値）は従って行列Ｔのｊ番目
の列に対応する（すなわち、Ｔ_{COL_}ｊ）。Ｔの各列は（ｍ×ｎ）個の要素を有するので（
すなわち、実カメラ２５のピクセル解像度に等しい）、これは大量の要素のようにみえる
。しかし、本実施において行列Ｔの各列において限定数の要素しか非ゼロでない（すなわ
ち、垂直および水平光ビームの交差点が当たったカメラのセンサ・ピクセルｉ、すなわち
、光のフットプリント、に対応するもの）ことを鑑みると、行列Ｔの各列ｊ内（さらには
各行Ｔ^T _j内）における（ｍ×ｎ）個の要素の内数個のみ非ゼロであることは自明である。
従ってＶｃｐｔｒ"（ｊ）を演算する際にＴ_{COL_}ｊのすべての要素を調べる必要はない。
実際上述のように、すべての個別に投影されるピクセルおよびそれらに対応する光ビーム
のフットプリント情報６３を示す単一のインデクス６１が、図８および７に図示されるよ
うに、格納されることが好ましい。

図８に示すように、インデクス６１は各投影光ビーム（実プロジェクタ２１からの個別
の投影ピクセルｊからの）についてグレースケース入力６３のリストを結び付ける。グレ
ースケール入力６３の各グループはＴの各列内の非ゼロ入力に対応しており、Ｔのある列
の各行列演算の際これら非ゼロのグレースケール値のみ調べる必要があることが理解され
よう。このように、Ｖｃｐｔｒ"（ｊ）＝Ｔ^T _j＊Ｖｐｒｊｃｔ"の各値を決定するのに必要
な計算の数はかなり削減される。

言い換えれば、処理する必要のある行列Ｔの各列Ｇ内における要素のこのサブセットＳ
Ｖｃｐｔｒ"（Ｇ）はＴ_{COL_}Ｇ（ａ）と定義することができ、ここでａはＶｃｐｔｒ"（Ｇ
）における任意の仮想取り込みピクセルである［すなわち、ａ∈｛１，…，（ｐ×ｑ）｝
］。従って、各ＳＶｃｐｔｒ"（Ｇ）に対し調べるべき要素のセットは、

と定義することができる。
一般的に‖ＳＶｃｐｔｒ"（Ｇ）‖≪（ｐ×ｑ）であるので、

を演算する方が

を演算するよりはるかに時間がかからない。

この方法を用いて生成されたデュアル画像の例を図９（Ａ）および図９（Ｂ）に示す。
図９（Ａ）は実プロジェクタにより投影された根本画像を示す。図９（Ｂ）は本方法の実
施による演算の結果もたらされるデュアル画像を示す。図９（Ｂ）のデュアル画像は実プ
ロジェクタ２７（すなわち、仮想カメラ２１"）により仮想的に取り込まれた画像をあら
わしており、または言い換えると実プロジェクタ２１が「見た」画像である。

上記の考察はより少ない画像のセットから効率的にデュアル画像を演算する方法を示し
、これは演算時間と併せて画像取り込み時間も節約する。上述のように、実取り込み画像
およびデュアル取り込み画像は各々実カメラ２５および実プロジェクタ２１双方を較正す
るのに用いることができる。

つまり、プロジェクタ・ビューからの画像を直接取り込むことはできないため、簡単な
解決はデュアル・フォトグラフィ手法を用いて対応カメラ画像からプロジェクタ・ビュー
画像（すなわち、デュアル画像）を構築し、次に構築された画像を用いてプロジェクタを
較正することである。例えば、入念に測定した特徴を有する既知の被写体の実画像をさま
ざまな角度から数個撮った後、被写体の既知の寸法を用いて異なった角度のビューにより
生じた歪みを補正することにより実カメラを較正することができる。同じ取り込み画像か
らデュアル・フォトグラフィを用いて実プロジェクタが見た仮想画像を次に上述のように
生成し、実カメラに類似した方法で実プロジェクタを較正することができる。

しかしこの簡単な方法と結び付いた一つの問題は光輸送行列Ｔを生成し操作し、大量の
カメラおよびプロジェクタ画像ピクセルによりもたらされる大きな画像ベクトルを演算す
ることの難しさである。この労働集約的で高価なプロセスは上述のデュアル・フォトグラ
フィ方法を用いることにより相当緩和されるものの、図２（Ａ）に示すようなプロジェク
タ−カメラ・システムにおける実プロジェクタ２１を較正する目的から出願人はＴ行列を
生成し完全なデュアル画像を生成する必要を避けながらもデュアル画像（すなわち、実プ
ロジェクタ２１が「見た」画像）を用いる利点のいくつかを利用して実プロジェクタ２１
の較正を簡単にする新規な方法を開発した。

プロジェクタを較正するために完全なデュアル画像を構築することなく、プロジェクタ
から見た平らな表面４１（図４（Ａ）参照）の市松パターン内における正方形の位置を判
定することのみ必要であることに注目することによりＴ行列の生成を全く避けることがで
きる。この目標を達成し、それにより完全に適用されたデュアル・フォトグラフィのＴ行
列を生成し操作することを避けるために出願人はホモグラフィに基づく方法を適合させた
。本発明のこの別の実施形態はプロジェクタ・ビューの画像にわたり市松の角特徴の座標
を、デュアル画像の構築および構築されたデュアル画像からの角の検出を必要とすること
なく、直接的に演算する。

この新規な方法において、実カメラ２５がまず既知のパターンの複数の画像をさまざま
な角度から取り込むという前述の方法など、任意の周知の方法を用いて較正される。より
具体的には、実カメラを用いて平たい市松模様の画像をいくつか異なったアングルで取り
込み、取り込み画像にわたり市松の角を検出することができる。市松模様は全く例示的な
目的で用いられ、主要点間の物理的距離が分かっている限りどのような場面を取り込むこ
ともできることが理解されよう。本例の場合、模様上の市松の角は前以て測定されている
ので、異なったポーズで取り込まれた画像は上述のようにカメラの内部および外部パラメ
ータを演算するのに充分である。

次に、プロジェクタ画像は２つ（またはそれ以上）の視点から見た単一場面の２つ（ま
たはそれ以上）のビューを関連付けるいわゆる透視投影モデルに追随していることが観察
される。つまり、異なった視点は場面に対し異なった角度に位置しているので、同じ場面
の異なったビュー（または画像）を「見る」ことになる。しかし、実場面は１つしかない
ので（場面のビューの数に関係なく）、異なったビュー間の数学的関係を生み出し、任意
のビューにおける任意の点を場面において対応する実の点に結び付ける（かつ他のビュー
すべてに結び付ける）ことができる。

これら別個のビューの１つが実プロジェクタの「見た」仮想画像であると仮定し、第２
の別個のビューが実カメラにより取り込まれた実画像であるとみなすと、完全なデュアル
画像を生成することなく透視投影モデル（２つのビューを共通の実場面に関連付ける）に
より取り込み実画像から仮想画像に関係する何らかの情報を抽出できることになる。

この方法を用い、出願人は完全なデュアル画像を必要とせずに実プロジェクタを較正す
るために充分な情報を抽出する方法を考案した。従って、デュアル画像が生成されなくて
も、迂回的な方法ではあるがプロジェクタにカメラ較正手法を適用することができる。

透視投影モデルの下で、平たい被写体を異なったビューから投影した２つの画像間の関
係は単純な線形投影変換またはホモグラフィである。この変換は平らな被写体上の任意点
の座標（すなわち、同次座標）をその平らな被写体の具体的なビュー上で対応する点の座
標に関連付ける。本実施形態で、平らな市松模様のプロジェクタ・ビュー画像は対応する
カメラ画像のホモグラフィである。具体的には、市松模様の任意点Ｐについて、そのプロ
ジェクタ・ビュー画像Ｕｐ＝（ｕｐ，ｖｐ，１）における同次座標およびカメラ画像Ｕｃ
＝（ｕｃ，ｖｃ，１）における座標は次の方程式を満足する。

ここでλはスカラーで、Ｈは３×３ホモグラフィ変換行列（技術的に知られているよう
に）で、右下の入力は１に設定される。対応座標対は３つの線形方程式を提供し、その内
１つがスカラーを決定し、他の２つはホモグラフィ変換行列Ｈを決定するために用いられ
る。３×３行列Ｈには８つの未知の入力があるので、市松模様上のＮの座標点（ここでＮ
≧４）の対応が与えられると、プロジェクタ・ビューおよびカメラ画像間のホモグラフィ
は２Ｎの線形方程式を解くことにより再生することができる。Ｎの数が大きければ大きい
ほど、プロジェクタ・ビューおよびカメラ画像間の座標点を関連付けるエラーが低くなる
。

対応する座標を得るために、１０個の白点が市松模様上に投影されることが好ましく、
投影された白点を有する市松模様の画像が実カメラ２５などの実カメラを用いてとりこま
れ、カメラ画像における１０個の点の座標が演算される。本プロセスで、１０個の点は取
り込み画像において対応する座標の演算中区別されていることのみが必要である。これは
１０個の点を順に投影し、対応する座標を順に判定することによって達成できる。あるい
は、異なった色の点を同時に投影して、異なった点を色で識別することができる。

プロジェクタは好ましくは既知の相互関係において点を投影したので、投影画像におけ
る点の座標は既知である。これは１０対の対応座標をもたらし、１セットは実カメラで取
り込まれたもの、第２のセットは実プロジェクタで投影されたものである。一旦、ホモグ
ラフィが再生されると、カメラ画像において検出された市松模様の角の座標を直接変換し
てプロジェクタ・ビュー画像において対応する角座標を演算することができる。次に前述
のようなカメラ較正方法を用いてプロジェクタ・パラメータを較正することができる。

この方法の例を図１０に示す。図１０において、特徴取り込み結果は次のとおりである
。輪郭で示されない円、または点（例えば点８１）はホモグラフィを推定するために用い
られ、輪郭を描かれた円、または点（例えば点８３）は角の点特徴である。見られるよう
に、輪郭を描かれた点８３は実際の角上にあり、検出された各角のプロジェクタ座標が正
しく取り込まれたことを示している。

さらに別の実施形態は図２（Ａ）の設定を再度検討することにより得られる。前記に説
明したように、実取り込み画像（Ｒｃｐｔｒ’）は光輸送行列Ｔにより実投影画像Ｒｐｒ
ｊｃｔ’に関連付けられる。さらに図２（Ｂ）についえ前記に説明したように、プロジェ
クタが画像を取り込めるとした場合にプロジェクタ２１’（仮想カメラ２１"として図示
）により取り込まれる仮想取り込み画像Ｖｃｐｔｒ"は、カメラが画像を投影できるとし
た場合にカメラ２５’（仮想プロジェクタ２５"として図示）により投影される仮想投影
画像Ｖｐｒｊｃｔ"と光輸送行列Ｔの転置（すなわち、Ｔ^T）により関連付けられる。つま
り、Ｖｃｐｔｒ"＝Ｔ^T＊Ｖｐｒｊｃｔ"。しかし、光輸送行列Ｔの転置ではなく逆を用い
るのが便利である場合がある。例えば、Ｓｅｉｔｚ他による論文「逆光輸送の理論」（「
A Theory of Inverse Light Transport」）、（IEEE International Conference on Comm
unications、ICC V05）において、光輸送行列Ｔの逆を用いて任意の場面における光の跳
ね方を分析しており、引用により全体として本明細書に組み入れられる。この方法で、場
面はη−跳ね画像の総計に分解され、各画像はカメラに到達する前にη回跳ねる光の寄与
を記録する。「インパルス画像」の行列を用い、各η−跳ね画像を演算して光がどのよう
に場面を通して伝播するかを推測する。

光輸送行列Ｔの逆をどのように用い得るかの例は、Ｒｃｐｔｒ’＝Ｔ＊Ｒｐｒｊｃｔ’
である図２（Ａ）のプロジェクタ−カメラ・システムを再検討することにより理解できる
。画像（例えばＲｃｐｔｒ’など）の画像があり、この画像を生み出すことのできる未知
の投影源を推測したい場合、Ｒｐｒｊｃｔ'＝（Ｔ）^-1＊Ｒｃｐｔｒ’を演算することが
できる。Ｔ^T＊Ｒｐｒｊｃｔ"は仮想取り込み画像Ｖｃｐｔｒ"を示し、これはＲｃｐｔｒ
’の異なったビューであるが、投影画像Ｒｐｒｊｃｔ’の実源は示さないことが特記され
る。

（Ｔ）^-1はしかし転置より演算が難しく、演算リソースをはるかに多く必要とする。尚
悪いことには、任意の行列の逆を見出すことは常に可能ではない。つまり、行列によって
は逆がないこともある。幸いに、出願人は多くの表示設定において光輸送行列Ｔの逆の近
似を演算することができることを見出した。技術的に周知のように、単位行列はＩで示さ
れ、所定の行列Ａに対し次の関係が適用できる。

行列Ａが配列ｍ×ｎの行列である場合、乗法前の単位行列Ｉは配列ｍ×ｍとなり、一方
乗法後の単位行列Ｉは配列ｎ×ｎとなる。

行列の乗法的な逆は通常単位行列Ｉの点から定義される。行列Ａの左乗法的な逆はＢＡ
＝Ｉとなるような行列Ｂで、行列Ａの右乗法的な逆はＡＣ＝Ｉとなるような行列Ｃである
。行列Ａの左および右乗法的な逆が等しい場合、左および右乗法的な逆は単に「情報的な
逆」、または逆と呼ばれ、（Ａ）^-1で示される。

一般的に（Ｔ）^-1≠Ｔ^Tである。しかし上述のように、ほとんどのプロジェクタ−カメ
ラ表示用途において、プロジェクタから発射された任意の区別可能な２つの光線ｊおよび
ｋは通常カメラ・センサの区別可能な部分にあたる、すなわち、光線ｊおよびｋ各々から
の光に当たるカメラ・センサのピクセルはあまり重複していない。もちろんこれは場面が
牛乳の入ったコップからなる上述の例のように一般的に真実でなく、この場合光は牛乳に
より拡散されかなりの重複をもたらす。しかし高解像度投影を確保するような表示設定に
おいては、投影される各ピクセルは次のから区別されることはほぼ保証される。

さらに前記に説明したとおり、光輸送行列Ｔの各列はプロジェクタからの１ピクセルの
投影画像である。従って列入力のすべてはプロジェクタ・ピクセルが当たったカメラ・ピ
クセルに対応するものを除きゼロ値を有する。この表示設定の下で、かつ異なったプロジ
ェクタ・ピクセルに対応するカメラ・ピクセルは互いに重複しないと仮定すると、Ｔの列
は互いに直交し、これは特定の列の転置にその列自体以外の任意の列を乗じるとゼロ値を
もたらすことを意味する。

Ｔの逆、すなわち、（Ｔ）^-1、を決定するため、まず（ＡＡ）^-1＝Ｉで、単位行列Ｉは
数字の１が左上の角から（点０，０から始まり）右下の角まで（点ｒ，ｇで終わる）の対
角線に沿い、他の個所はすべてゼロである行列で構成されることを特記することが有益で
ある。従って（Ｔ）^-1を演算するために、Ξにおける各列がＴの対応列における対応値の
正規化値で構成されるように行列Ｔが構築される。すなわち、

ここでΞｒはΞのｒ番目の列である。演算‖Ｔｒ‖は行列Ｔの列ｒにおけるすべての値
の平方の合計の平方根を定義しているので、‖Ｔｒ‖の平方は単に列ｒにおけるすべての
値の平方の合計である。すなわち、

列ｒにおける各値の入力を列ｒにおける全値の入力の平方の合計で割ることにより、演
算｛Ｔｒ／（‖Ｔｒ‖）²｝は行列Ｔの列ｒにおける値の入力を正規化する効果を有する
。ここでΞｒの転置を取ると、すなわち、第１列が最上行になり、最後列が最下行になる
ように横に反転させると、Ｔにおける要素の対応列の正規化値である要素の行がもたらさ
れる。従ってＴの各列について次の結果が得られる。

（（Ξｒ）^T）＊（Ｔｒ）＝１
および
ｒ≠ｇの場合、（（Ξｒ）^T）＊（Ｔｇ）＝０
言い換えれば、Ｔのある列を（Ξｒ）^Tの対応行で乗じると常に数字の１となり、Ｔの
すべての列を（Ξｒ）^Tの対応行で乗じると、対角線に沿って数字の１がある行列を生み
出し、他のすべての個所にはゼロを置くことができる。

従って列が互いに直交する行列Ｔの場合、かつ行列Ξの特定の構成が与えられる場合、
Ξの転置は当然Ｔの逆に等しく（すなわち、（Ξｒ）^T＝（Ｔ）^-1）、または少なくとも
ΞはＴの左乗法的な逆である。従ってＲｐｒｊｃｔ’＝Ξ＊Ｒｃｐｔｒ’となる。

実際にカメラ・センサに当たるプロジェクタ・ピクセルの一部しか再生できないことが
特記される。いずれのカメラ・ピクセルにも当たらないプロジェクタ・ピクセルについて
、Ｔの対応列は単にゼロを含み、上記方程式はΞｒ＝Ｔｒ／（‖Ｔｒ‖）²が未定義であ
る。このような場合、Ξの対応列はゼロ列として設定されることが好ましい。このように
（Ξ）^Tはプロジェクタおよびカメラの視野で重なる領域を覆うＴの部分の逆であり、Ｒ
ｐｒｊｃｔ’において重なる領域に入るプロジェクタ・ピクセルのみ再生し、他のピクセ
ルは抹消する。

行列Ｔの逆を近似させる方法を定義した上、次に没入型表示システムにデュアル・フォ
トグラフィを用いて新型かつ複雑な設定をどのように達成できるかを説明する。

図１１について、好ましい実施形態において従来の前面投射型プロジェクタＰ１（図２
のプロジェクタ２１に類似）が没入型プロジェクタＰ２と併せて用いられる。視野線９１
で示されるように、好ましい本実施形態では前面投射型プロジェクタＰ１の視野（すなわ
ち、ＦＯＶ）で覆われる表示表面の部分は視野線９３で示される没入型プロジェクタＰ２
のＦＯＶのサブセット（部分集合）である（すなわち、前面投射型プロジェクタＰ１の視
野が、没入型プロジェクタＰ２の視野の部分であるように配置される）。前面投射型プロ
ジェクタＰ１のＦＯＶは没入型プロジェクタＰ２のＦＯＶの範囲内に入るため、没入型プ
ロジェクタＰ２が前面投射型プロジェクタＰ１により生み出された投影画像をシミュレー
トすることが望ましい。しかし、一般的に前面投射型プロジェクタＰ１のＦＯＶは没入型
プロジェクタのいずれの部分とも重なる必要は必ずしもないことが強調される。

没入型プロジェクタＰ２のＦＯＶが前面投射型プロジェクタＰ１のＦＯＶのいずれの部
分とも重なる必要はないが、カメラＣを前面投射型プロジェクタＰ１および没入型プロジ
ェクタＰ２に別個に結び付ける２つの光輸送行列が生成されることが望ましい。Ｐ１およ
びＰ２のＦＯＶが必ずしも重ならないので２つの光輸送行列は別個に生成できることが理
解されよう。

しかし好ましい本実施形態の具体例において、カメラＣはカメラＣのＦＯＶが前面投射
型プロジェクタＰ１のＦＯＶのスーパーセット（重畳集合）で没入型プロジェクタＰ２の
ＦＯＶのサブセットであるように配置される（すなわち、カメラＣはカメラＣのＦＯＶが
前面投射型プロジェクタＰ１のＦＯＶの重なりで、没入型プロジェクタＰ２のＦＯＶの部
分であるように配置される）。視野線９５で示されるように、カメラＣのＦＯＶは前面投
射型プロジェクタＰ１のＦＯＶを完全に包含するが、没入型プロジェクタＰ２のＦＯＶに
より完全に包含される。没入型プロジェクタＰ２を用いて前面投射型プロジェクタＰ１か
ら投影された画像をシミュレートするには、前面投射型プロジェクタＰ１からの第１の投
影画像ｐ₁をカメラＣからの第１の取り込み画像ｃ₁にｃ₁＝Ｔ₁＊ｐ₁となるように関連付
ける第１の光輸送行列Ｔ₁をまず決定し、没入型プロジェクタＰ２からの第２の投影画像
ｐ₂をカメラＣからの第２の取り込み画像ｃ₂にｃ₂＝Ｔ₂＊ｐ₂となるように関連付ける第
２の光輸送行列Ｔ₂を決定する。その結果、次の関係が成立する。

ｃ₁＝Ｔ₁＊ｐ₁
および

ｃ₂＝Ｔ₂＊ｐ₂
没入型プロジェクタＰ２を用いて前面投射型プロジェクタＰ１からの投影画像ｐ₁をシ
ミュレートするためには、ｃ₁（すなわち、前面投射型プロジェクタＰ１から投影された
画像の取り込み画像）がｃ₂（没入型プロジェクタＰ２から投影された画像の取り込み画
像）と同じであることが必要である、すなわち、ｃ₂＝ｃ₁
であることが必要で、これは次の関係、

につながる。ｐ₂を解くと次の関係が得られる。

これは画像ｐ₁を生成するために前面投射型プロジェクタＰ１を用いることができ、ま
たは変換された画像（（Ｔ₂）^-1）＊（Ｔ₁＊ｐ₁）を没入型プロジェクタＰ２に投影する
ことにより同じ効果が得られることを意味する。これは図１２に示され、ここで没入型プ
ロジェクタＰ２を用いて図１１のプロジェクタＰ１などの前面投射型プロジェクタがシミ
ュレートされる。図１２において、没入型プロジェクタＰ２によりシミュレートされた仮
想プロジェクタＰ１"は点線で示される。従って図１１の前面投射型プロジェクタＰ１に
より投影される画像ｐ₁は図１２の没入型プロジェクタＰ２で変換画像（（T₂）^-1）＊（
Ｔ₁＊ｐ₁）を投影することにより再現することができ、見る人１００ａ，１００ｂ，１０
０ｃが前面投射型プロジェクタＰ１を遮蔽することを心配しなくて済むように前面投射型
画像をシミュレートする。

この仮想プロジェクタ実装を用いて生成された画像例が図１３に示される。前面投射型
プロジェクタ画像１０１は大視野表示システムを用いてシミュレートされる。図１３の下
部に位置するプロジェクタ１０３は大視野表示システムの一部で、図１３中央に示される
画像１０１を生成するのに用いられる。

図１４（Ａ）から図１４（Ｃ）は実画像およびシミュレートされた画像を並べて示すこ
とによりシミュレーションの画質を図示する。図１４（Ａ）は図１１のＰ１のような実前
面投射型プロジェクタにより投影された画像の右側を示す。図１４（Ｂ）は図１４（Ａ）
に示される画像の左側を示すが、図１４（Ｂ）において画像の左側は図１２のＰ２のよう
な没入型プロジェクタにより図１２のＰ１"のような仮想前面投射型プロジェクタをシミ
ュレートするように投影される。没入型プロジェクタにより生成された、シミュレートさ
れた前面投射型投影の画質は図１４（Ｃ）でより良く図示され、ここで図１４（Ａ）の右
側画像は図１４（Ｂ）の左側画像に繋げられ、並んで示され、実前面投射型プロジェクタ
およびシミュレートされた仮想前面投射型プロジェクタにより生成された画像のシームレ
スな位置合わせをもたらす。

実前面投射型プロジェクタにより生成された画像と前面投射型プロジェクタにより生成
されたが如くに見えるよう没入型プロジェクタにより生成された画像の並んだ比較を示す
追加例が図１５に示される。図１５において、表示画像の左半分は没入型プロジェクタに
より仮想前面投射型プロジェクタからの表示をシミュレートするように生成され、表示画
像の右側半分は実前面投射型プロジェクタにより生成されている。

本手法の別の用途は図１６（Ａ）から図１６（Ｂ）を参照するとより良く理解される。
本例において、図１６（Ｃ）の没入型プロジェクタＰ２を用いて各種の周囲照明効果が生
成される。これを達成するために、図１６（Ａ）に示すようにカメラＣはそのＦＯＶが表
示部屋１１１の相当な部分を覆うように配置される。図１６（Ａ）において、カメラＣお
よび没入型プロジェクタＰ２はカメラＣのＦＯＶが没入型プロジェクタＰ２のＦＯＶの全
部と言わないまでも殆どを包含するように配置される。本例において、Ｐ２は没入型プロ
ジェクタとして示されるが、プロジェクタＰ２は前面投射型プロジェクタなど任意の種類
のプロジェクタであって良い。カメラＣおよびプロジェクタＰ２間に関係を確立するため
に、カメラＣをプロジェクタＰ２に関連付ける光輸送行列Ｔ₃が前記に説明されたいずれ
かの方法を用いて取り込まれる、すなわち、決定される。一旦、これがなされると、カメ
ラＣによりビューされる（すなわち、取り込まれる）画像ｃ₃はプロジェクタＰ２により
投影される投影画像ｐ₃に次の関係に従って関連付けられる。

これは次をもたらす。

このように、部屋１１１における表示表面の仮想モデルを構築することができる。図１
６（Ｂ）に示す仮想部屋１１１"は例えばコンピュータ・シミュレーションであって良い
。一旦、仮想部屋１１１"が生成されると、各種のシミュレートされた照明効果を仮想部
屋１１１"に加えることができる。例えば、図１６（Ｂ）は仮想部屋１１１"が大きなロウ
ソク１１３からのロウソクの光により照明されるところを示す。コンピュータ・モデルは
さらに図１６（Ｂ）で点線の枠Ｃとして示されるカメラＣ（図１６（Ａ）における）の位
置および解像度をモデル化する。コンピュータ・モデルは次にカメラＣの視点からシミュ
レートされた仮想部屋１１１"の合成ビューｃ₃"を「取り込み」（すなわち、生成し）、
図１６（Ａ）の実カメラＣにより撮られたかのように仮想部屋１１１"の実画像をシミュ
レートする。図１６（Ｂ）のシミュレートされた照明効果は次に変換画像（（Ｔ₃）^-1）
＊（ｃ₃"）を投影することによりＰ２を用いて図１６（Ｃ）の実部屋１１１において再現
することができる。

上記に説明した手法は大視野、すなわち、ＦＯＶ、表示の生成に適用することができる
。より大きいＦＯＶは没入感を高め、見る人にとってより興味の湧く体験を提供する。本
方法は非常に大きいＦＯＶを有する没入型投影システムを説明する。システムはさらに投
影ＦＯＶが覆う領域からの光を取り込むことができる内蔵型大視野カメラ／光センサを有
して設計されている。センサによりシステムは画質を最適化し、より全般的にシステムが
その環境とインタラクトできるように投影光を適合させることができる。本システムは主
にサラウンド・ビデオ・コンテンツを表示する願望に主に動機付けられているが、この新
投影システムは従来のビデオ・コンテンツをビューするためにも用いることができること
を特記することが重要である。

図１８に関し、本発明による代表的な投影システムの最小限の形態は、プロジェクタ１
２１と、デジタル・スチル・カメラまたはビデオ・カメラであり得るカメラ１２３と、球
形または別途の曲面ミラー１２５と、および上記コンポーネントの据付機構からなる。プ
ロジェクタ１２１からの光は、建物の壁、床、天井、および専用投影スクリーンを含む任
意の表面であり得る表示表面１２７に到達する前に曲面ミラー１２５から反射される。表
示表面１２７はさらに任意の形状であって良い。曲面ミラーで投影光を反射させるとプロ
ジェクタＦＯＶが拡大される。プロジェクタを源としてもしなくても良い環境からの光線
もカメラに到達する前に曲面ミラー１２５から反射される。これも同様にカメラＦＯＶを
拡大する。

図１９は図１８の設計に基づいたプロトタイプを示し、図１９の中で図１８のものに類
似した要素は類似した参照番号を有し、上記に説明される。このプロトタイプにおいて、
曲面ミラー１２５は半球形で、カメラ１２３は高解像度デジタル・スチル・カメラである
。図２０は図１９の設定の別のビューで、カメラ１２３から見た（非常に大雑把に）ミラ
ー１２３のビューを示す。図２０で見られるように、カメラ１２３はミラー１２５の反射
から床、少なくとも３つの垂直壁、および天井を見ることができる。

図２１（Ａ）において、本投影システムを設置した部屋が周辺光の下で示され、同じ部
屋が図２１（Ｂ）において本投影システムからの没入型投影照明の下で示される。見られ
るように、本投影システムは天井に加え２つの壁にも画像を投影することができる。

本実施形態において、プロジェクタ１２１のＦＯＶとカメラ１２３のＦＯＶとは一般的
に異なっており、重なっても重ならなくても良い。２つのＦＯＶが相当重なる場合、カメ
ラ１２３により取り込まれた画像は上述の方法に類似した方法でプロジェクタ１２１から
の投影画像の質を向上させるためのフィードバックとして用いることができる。例えば、
プロジェクタ１２１へのフィードバックを用いて表示表面の反射特性および形状の変化を
補正し、投影画像が平たく白い表面に投影されているが如く見えるようにすることができ
る。

カメラ１２３のＦＯＶはプロジェクタ１２１のＦＯＶで覆われない領域を含むこともで
きる。プロジェクタ１２１が図２１（Ａ）および図２１（Ｂ）に示すテスト部屋の前およ
び横の壁を覆うのに対し、カメラはプロジェクタＦＯＶ外の、場合によって見る人たちが
いる領域を含む、領域を取り込むことができる。これによりシステムは見る人達またはポ
インティング・デバイスを検出し追跡することにより見る人達に適応しインタラクトする
ことができる。カメラ１２３が例えばリモコンに搭載された小型の光を追跡してユーザ・
インタラクションを促進することも可能かもしれない。

上述の設計のいくつかにおいて、プロジェクタおよびカメラは共通の光心を有しない。
しかし、光心が同配列されたプロジェクタ−カメラ対を設計することは可能である。同配
列光心を有するシステムはプロジェクタとカメラが全く同一のＦＯＶを有することができ
るが、同配列でない光心を有するシステムは環境の３Ｄ復元ができる可能性がある。

図２２に関し、天井据付操作用の別の設計が示される。図１８に類似した要素はすべて
類似した参照番号を有し、上記に説明される。

図２３および図２４において、さらに２つの別の構成が示される。図２３および図２４
において図１８に類似した要素はすべて類似した参照番号を有し、上記に説明される。図
２３では平面ミラー１４１が光路を折ることによりプロジェクタ１２１およびカメラ１２
３を曲面ミラー１２５の下に配置することができ、より小さいフットプリントを達成して
いる。図２４は表示ブース操作のためにプロジェクタ１２１、カメラ１２３、曲面ミラー
１２５および平面ミラー１４１をブース１４３内に入れるブース設計を示す。

図２５（Ａ）および図２５（Ｂ）にはさらに本設計の２つの追加形態が示される。図２
５（Ａ）は１つの曲面ミラー１２５および複数のプロジェクタ−カメラ対１４５を用いる
設計を示す。図２５（Ｂ）は、１つのミラー・ピラミッド１５１および複数のプロジェク
タ−カメラ対１４５を用いる設計を示す。後者の場合、すべてのプロジェクタの光心をミ
ラー・ピラミッド内に同配列して、１つの仮想大ＦＯＶプロジェクタを作り出すことがで
きる。同様にカメラの光心も同配列して１つの仮想大ＦＯＶカメラを作り出すことができ
る。

最後に、図２６は複数の大ＦＯＶプロジェクタ１５３ａおよび１５３ｂを用いてより大
きい全体的投影ＦＯＶを達成することができることを示す。１つ以上の通常のプロジェク
タ１５５も組み合わせて使用することができる。見られるように、点線１５７で示される
プロジェクタ１５３ａのＦＯＶは点線１５９で示されるプロジェクタ１５４ｂのＦＯＶと
、重複量１６１だけ重なっている。

発明はいくつかの具体的な実施形態に関連して説明されたが、前述の説明に照らし当業
者であればさらに多くの代替、修正、および別形態が明らかであろう。従って、本明細書
で説明した発明は添付クレームの精神および範囲に含まれるこのような代替、修正、用途
、および別形態すべてを包含することを意図している。

（Ａ）、（Ｂ）は、デュアル・フォトグラフィを実施するための従来の構成を示す。（Ａ）、（Ｂ）は、本発明に従ったデュアル・フォトグラフィの構成を示す。（Ａ）は、プロジェクタにおける１つの投影ピクセルの駆動でもたらされるデジタル・カメラ内の光センサ・アレイに投影されたフットプリントを図示した例であり、（Ｂ）は、（Ａ）の例を反映する、行列Ｔ内の光輸送係数の列を図示した例である。（Ａ）、（Ｂ）は、一松パターンを有する場面に同時に投影された２列の投影ピクセルの２つの例を示す。（Ａ）、（Ｂ）は、一松パターンを有する場面に同時に投影された２行の投影ピクセルの２つの例を示す。（Ａ）は、図４（Ａ）および図５（Ａ）の画像を組み合わせて生成される１つの投影ピクセルによりもたらされる発生光線のフットプリントを示し、（Ｂ）は、図４（Ｂ）および図５（Ｂ）の画像を組み合わせて生成される１つの投影ピクセルによりもたらされる発生光線のフットプリントを示す。投影ピクセルを図６（Ａ）または図６（Ｂ）で発生された光線で決定される非ゼロ値の光輸送係数に結び付けたインデクスの第１例である。投影ピクセルを図６（Ａ）または図６（Ｂ）で発生された光線で決定される非ゼロ値の光輸送係数に結び付けたインデクスの第２例である。（Ａ）は、実カメラで撮影された実取り込み画像を示し、（Ｂ）は、実プロジェクタにより見られる、本発明の方法を用いて生成されたデュアル取り込み画像を示す。プロジェクタを較正するためにホモグラフィ使用を適用した結果の例である。デュアル・フォトグラフィを用いて没入型表示システムを生成するための投影構成例である。没入型プロジェクタＰ２を用いて前面投射型プロジェクタＰ１"をシミュレートするところを示す。図１２の仮想プロジェクタ実施を用いて生成された画像の例である。（Ａ）は、実前面投射型プロジェクタにより投影された画像の右側を示し、（Ｂ）は、（Ａ）に示す画像の左側を示し、画像の左側は没入型プロジェクタにより投影される。また、（Ｃ）は、（Ａ）の右側画像を（Ｂ）の左側画像に接合したところを示す。没入型プロジェクタにより生成された左側の画像を前面投射型プロジェクタにより生成された右側の画像を接合した例を示す。（Ａ）〜（Ｃ）は、実際の部屋の中に仮想モデル部屋で作り出された仮想画像を再現した、本発明の別の適用を示す。本発明の最小限の形態に従った典型的投影システムである。図１８の設計に基づくプロトタイプを示す。図１９の構成の別の眺めである。（Ａ）は、図１９および図２０の投影システムを設置した部屋を周辺光の下で示し、（Ｂ）は、（Ａ）の部屋を没入型投影照明の下で示す。天井据付運用の別の設計である。本発明の別の構成である。本発明のさらに別の構成である。（Ａ）は、１つの曲面ミラー１２５および複数のプロジェクタ−カメラ対１４５を使用する設計を示し、（Ｂ）は、１つのミラー・ピラミッド１５１および複数のプロジェクタ−カメラ対１４５を使用する設計を示す。全体により大きい投影ＦＯＶを達成するために複数の大ＦＯＶプロジェクタ１５３ａ，１５３ｂを用い得ることを示す。

符号の説明

２１…実プロジェクタ、２５…実カメラ、２７…撮像投影アレイ、２９…画像センサ・
アレイ、２１"…仮想カメラ、２５"…仮想プロジェクタ、２７"…仮想センサ・アレイ、
２９"…撮像投影アレイ。

Claims

基準行列は入力値の複数の列を有し、前記基準行列の推定逆行列を生成する方法であっ
て、
前記基準行列の各列を目標列として順に特定し、前記目標列における選択された入力値
について前記目標列に関し正規化値を計算することと、
前記基準行列に等しいサイズの中間行列を生成することと、
前記中間行列の各列に前記基準行列の対応目標列の計算された正規化値を入力すること
で、前記中間行列の入力された各列における各正規化値は前記基準行列の対応列における
前記選択された入力値と１対１の対応を維持していることと、
前記中間行列に転置行列演算を適用することと、を含む基準行列の推定逆行列を生成す
る方法。
前記基準行列の対応目標列における選択された入力値からの正規化値が入力されていな
い前記中間行列における値の入力はゼロ値を入力される、請求項１に記載の基準行列の推
定逆行列を生成する方法。
各目標列における所定の最小値を越える入力値のみが正規化値を計算するのに選択され
る、請求項１に記載の基準行列の推定逆行列を生成する方法。
前記目標列における選択された入力値について前記目標列に関し正規化値を計算するプ
ロセスは前記目標列における前記選択された入力値のみの平方の合計を生成し、前記目標
列における選ばれない値をすべて無視し、選択された入力値各々を前記合計で割ることを
含む、請求項１に記載の基準行列の推定逆行列を生成する方法。
前記基準行列をＴで示し、前記中間行列をΞで示し、Ｔの目標列をＴｒで示した場合、
Ξの対応列をΞｒで示した場合、Ξの構造および入力はΞｒ＝Ｔｒ／（‖Ｔｒ゜‖）²と
定義される、請求項１に記載の基準行列の推定逆行列を生成する方法。
各目標列における非ゼロ入力のみが正規化値を計算するのに選択される、請求項１に記
載の基準行列の推定逆行列を生成する方法。
第２のプロジェクタからの第２の投影画像を用いて第１のプロジェクタからの第１の投
影画像をシミュレートする方法であって、
前記第１のプロジェクタをカメラに関連付ける第１の光輸送行列Ｔ₁を決定することと
、
前記第２のプロジェクタを前記カメラに関連付ける第２の光輸送行列Ｔ₂を決定するこ
とと、
前記第２の投影画像と前記第１の投影画像との関連を（Ｔ₂ ^-1）＊（Ｔ₁）と定義するこ
とと、を含む第２のプロジェクタからの第２の投影画像を用いて第１のプロジェクタから
の第１の投影画像をシミュレートする方法。
前記第１の光輸送行列Ｔ₁は前記第１のプロジェクタからの第１の投影画像ｐ₁を前記カ
メラで取り込まれた第１の取り込み画像ｃ₁に、ｃ₁＝Ｔ₁＊ｐ₁となるように関連付け、
前記第２の光輸送行列Ｔ₂は前記第２のプロジェクタからの第２の投影画像ｐ₂を前記カ
メラで取り込まれた第２の取り込み画像ｃ₂に、ｃ₂＝Ｔ₂＊ｐ₂となるように関連付ける、
請求項７に記載の第２のプロジェクタからの第２の投影画像を用いて第１のプロジェク
タからの第１の投影画像をシミュレートする方法。
前記第１の投影画像はｐ₁で、前記第２の投影画像はｐ₂である、請求項８に記載の第２
のプロジェクタからの第２の投影画像を用いて第１のプロジェクタからの第１の投影画像
をシミュレートする方法。
前記第１のプロジェクタからの第１の視野を定義することと、
前記第１の視野に重なる、前記第２のプロジェクタからの第２の視野を定義することと
、
前記第１の視野および前記第２の視野と重なる第３の視野を有するように前記カメラを
配置することと、を含む、請求項７に記載の第２のプロジェクタからの第２の投影画像を
用いて第１のプロジェクタからの第１の投影画像をシミュレートする方法。
前記第１の視野は前記第２の視野のサブセットで、
前記第３の視野は前記第１の視野のスーパーセットで前記第２の視野のサブセットであ
る、
請求項１０に記載の第２のプロジェクタからの第２の投影画像を用いて第１のプロジェ
クタからの第１の投影画像をシミュレートする方法。
前記第１のプロジェクタは前面投射型プロジェクタで前記第２のプロジェクタは没入型
プロジェクタである、請求項７に記載の第２のプロジェクタからの第２の投影画像を用い
て第１のプロジェクタからの第１の投影画像をシミュレートする方法。
（Ｔ₂）^-1、すなわち、前記第２の光輸送行列Ｔ₂の逆は、
前記第２の光輸送行列Ｔ₂の各列を目標列として順に特定し、前記目標列における選択
された入力値について前記目標列に関し正規化値を計算することと、
前記第２の光輸送行列に等しいサイズの中間行列を生成することと、
前記中間行列の各列に前記第２の光輸送行列Ｔ₂の対応目標列の計算された正規化値を
入力することで、前記中間行列の入力された各列における各正規化値は前記第２の光輸送
行列の対応列における前記選択された入力値と１対１の対応を維持していることと、
（Ｔ₂）^-1を前記中間行列の数学的転置として定義することと、を含む、請求項７に記
載の第２のプロジェクタからの第２の投影画像を用いて第１のプロジェクタからの第１の
投影画像をシミュレートする方法。
前記第２の光輸送行列の対応目標列における選択された入力値からの正規化値が入力さ
れていない前記中間行列における値の入力はゼロ値を入力される、請求項１３に記載の第
２のプロジェクタからの第２の投影画像を用いて第１のプロジェクタからの第１の投影画
像をシミュレートする方法。
各目標列における所定の最小値を越える入力値のみが正規化値を計算するのに選択され
る、請求項１３に記載の第２のプロジェクタからの第２の投影画像を用いて第１のプロジ
ェクタからの第１の投影画像をシミュレートする方法。
前記目標列における選択された入力値について前記目標列に関し正規化値を計算するプ
ロセスは前記目標列における前記選択された入力値のみの平方の合計を生成し、前記目標
列における選ばれない値をすべて無視し、選択された入力値各々を前記合計で割ることを
含む、請求項１３に記載の第２のプロジェクタからの第２の投影画像を用いて第１のプロ
ジェクタからの第１の投影画像をシミュレートする方法。
前記第２の光輸送行列Ｔ₂をＴで示し、前記中間行列をΞで示し、Ｔの目標列をＴｒで
示した場合、Ξの対応列をΞｒで示した場合、Ξの構造および入力はΞｒ＝Ｔｒ／（‖Ｔ
ｒ‖）²と定義される、請求項１３に記載の第２のプロジェクタからの第２の投影画像を
用いて第１のプロジェクタからの第１の投影画像をシミュレートする方法。
各目標列における非ゼロ入力のみが正規化値を計算するのに選択される、請求項１３に
記載の第２のプロジェクタからの第２の投影画像を用いて第１のプロジェクタからの第１
の投影画像をシミュレートする方法。
投影領域を定義することと、
前記投影領域に重なる第１の視野を有するようにカメラを配置することと、
前記投影領域上に第２の視野を有するようにプロジェクタを配置することと、
前記プロジェクタを前記カメラに関連づける光輸送行列Ｔ₃を決定することと、
前記投影領域、カメラおよびプロジェクタのモデルを生成することで、前記カメラおよ
びプロジェクタの互いおよび前記投影領域に対する位置のモデル化を含むことと、
前記モデル内で前記投影領域上の仮想画像を定義することと、
前記仮想画像が前記カメラのモデルに取り込まれた形の仮想取り込み画像ｃ₃”を生成
することと、
前記プロジェクタから（Ｔ₃ ^-1）＊（ｃ₃"）と定義される画像を投影することにより前
記仮想画像の実表現を生成することを含む投影画像を生成する方法。
光輸送行列Ｔ₃は前記第１のプロジェクタからの第１の投影画像ｐ₃を前記カメラで取り
込まれた第１の取り込み画像ｃ₃に、ｃ₃＝Ｔ₃＊ｐ₃となるように関連付ける、請求項１９
に記載の投影画像を生成する方法。
前記投影領域は映写室である、請求項１９に記載の投影画像を生成する方法。
前記第１の視野は前記投影領域の７０％を超えて覆う、請求項１９に記載の投影画像を
生成する方法。
前記プロジェクタは没入型プロジェクタである、請求項１９に記載の投影画像を生成す
る方法。
前記第１の視野は所定の観衆位置により決定される観客視野と一致するようになされる
、請求項１９に記載の投影画像を生成する方法。
前記モデルはコンピュータ・モデルである、請求項１９に記載の投影画像を生成する方
法。
１つの平面ミラーにより提供されるものより広い反射視野を提供するよう配置されるミ
ラー構造と、
第１のサイズを有する第１の投影領域に投影するプロジェクタで、前記プロジェクタは
前記ミラー構造に対面するように配置され、前記プロジェクタからの投影画像は前記ミラ
ー構造により歪み反射され前記第１のサイズより大きいサイズを有する第２の投影領域を
覆う、プロジェクタと、
前記プロジェクタと通信するカメラと、を有し、
前記プロジェクタは前記第２の投影領域に見られる前記投影画像における歪みを補正す
る投影システム。
前記カメラは前記ミラー構造に対面するように配置される、請求項２６に記載の投影シ
ステム。
前記カメラは前記投影領域に対面するように配置される、請求項２６に記載の投影シス
テム。
前記ミラー構造は球形ミラーを含む、請求項２６に記載の投影システム。
前記プロジェクタの視野は前記カメラの視野と重ならない、請求項２６に記載の投影シ
ステム。
前記プロジェクタの視野は前記カメラの視野と実質的に同じである、請求項２６に記載
の投影システム。
前記プロジェクタおよびカメラは複数のプロジェクタ−カメラ対の１つを形成し、前記
プロジェクタ−カメラ対は互いに連動して作動し前記第２の投影領域に合成投影画像を生
成する、請求項２６に記載の投影システム。
前記ミラー構造はミラー・ピラミッドを含む、請求項２６に記載の投影システム。
前記プロジェクタおよびカメラは複数のプロジェクタ−カメラ対の１つを形成し、前記
ミラー・ピラミッドは複数の切子面を含み、各プロジェクタ−カメラ対は前記切子面の１
つに対面し、前記プロジェクタ−カメラ対は互いに連動して作動し前記第２の投影領域に
合成投影画像を生成する、請求項３３に記載の投影システム。