JP2008182706A - 任意の場面におけるプロジェクタ−カメラ・システムの光輸送行列ｔにシミュレートされた表示制約を課す方法、および第１プロジェクタ−カメラ・システムからの第１投影画像と、第２プロジェクタ−カメラ・システムからの第２投影画像とをモザイク化する方法 - Google Patents

Abstract

【課題】光輸送行列の生成を簡素化し、デュアル・フォトグラフィにおける光輸送係数の
実施を簡素化し、光輸送行列をさらに簡素化しながら改変して光拡散効果または光ノイズ
に対する補正を組み入れたシステムを提供する。
【解決手段】プロジェクタ−カメラ・システムにおいて光ノイズまたはプロジェクタから
カメラの画像センサへの光ビームのパスにある光散乱物体による光の歪みは光輸送行列Ｔ
に対する簡単な修正により緩和、または除去、される。光輸送行列Ｔにおける各行に対し
、共通行に沿って入力が比較され、行の最高値入力以外はすべてゼロ化、すなわち無効に
、される。光輸送行列Ｔおよびその修正されたバージョンを２つのアレイに減らすために
アレイおよび記録表記を用いることが好ましい。
【選択図】図１

Description

本発明はプロジェクタ−カメラ・システムの較正方法に関し、より具体的にはこのよう
な方法の自動化に関する。本発明はさらにプロジェクタ−カメラ・システムの補正におい
て光拡散および光ノイズの補正方法に関する。

米国特許出願６０／８８６４７５号明細書は引用により全体として本明細書に組み入れ
られる。本出願は３５Ｕ．Ｓ．Ｃ．§１１９（ｅ）の下で2007年1月24日に出願された米
国特許仮出願６０／８８６４７５号明細書の特典を主張し、Ｔｉｔｌｅ３５，Ｕ．Ｓ．Ｃ
．§１２０の下で2007年1月12日に出願された係属中の米国特許出願１１／６２３／０１
６号明細書の特典を主張する米国特許出願６０／８８６４７５号明細書は引用により全体
として本明細書に組み入れられる。本出願は３５Ｕ．Ｓ．Ｃ．§１１９（ｅ）の下で2007
年1月24日に出願された米国特許仮出願６０／８８６４７５号明細書の特典を主張し、Ｔ
ｉｔｌｅ３５，Ｕ．Ｓ．Ｃ．§１２０の下で2007年1月12日に出願された係属中の米国特
許出願１１／６２３／０１６号明細書の特典を主張する。

プロジェクタとカメラを組み合わせると、光を投射しかつ取り込むことのできるハイブ
リッド装置およびシステムが生まれる。この新たに台頭してきた撮像装置およびシステム
は研究の世界においてプロジェクタ−カメラ・システムとして知られている。通常映写表
面の幾何学的形状など表示環境に関する属性を推定するためには１台以上のカメラで取り
込まれた画像が使用される。次にこれらのプロジェクタ・カメラ・システムのプロジェク
タが映像を適合して、映写表面における歪みを補償してもたらされる影像を向上させる。
言い換えれば、カメラを使用することによりプロジェクタは投影画像における歪みを「見
る」ことができ、それにより投影画像を調節して見られた歪みを低減することができる。

これを達成するために、見られた画像の歪みは投影環境の凹凸（すなわち表面上の凹凸
）によるもので、プロジェクタまたはカメラに内在する不整または相対的な配向によるも
のではないことを確保すべく、カメラとプロジェクタは互いの画像化パラメータに対し較
正される必要がある。

このように、プロジェクタ−カメラ・システムの製作者が解決しなければならない重要
な問題は各装置の内部影像パラメータ（すなわち固有パラメータ）の判定およびシステム
内のすべてのプロジェクタおよびカメラ間の幾何学的関係（すなわち外的パラメータ）の
判定である。この問題は通常システム較正の問題と呼ばれる。

しかしシステムが実質的に較正された後でも、映写を調節して映像の歪みを補正するこ
とは簡単でない。映写歪みを識別し補正することは非常に演算集約的な作業であり得、そ
のため従来非専門分野への適用は相当限定されていた。

プロジェクタ−カメラ・システムの較正をより良く理解するために、出願者たちはコン
ピュータ・ビジョンの分野で見られるマルチ・カメラ・撮像システムを研究した。コンピ
ュータ・ビジョンの分野において、このようなマルチ・カメラ・撮像システムは画像を撮
像するデバイスのみからなり、画像を投影するデバイスは含まないが、撮像システムの較
正に関し一連の研究があり、複数の画像を撮像デバイスであったが複数のデバイスの較正
のためのアプローチから何らかの洞察が得られるかもしれないと考えた。コンピュータ・
ビジョンの世界で通常用いられる方法はZhengyou Zhang著の論文「適応性を有するカメラ
較正用の新規手法」（”A flexible new technique for camera calibration”）、ＩＥ
ＥＥパターン分析および人工知能紀要（Transactions on Pattern Analysis and Machine
Intelligence）、22(11):1330-1334、2000年、に記載され、引用により全体として本明
細書に組み入れられる。この方法において、いくつかの既知の特徴点（通常グリッドを形
成）でマークされた平たい被写体をカメラに対しさまざまな角度のポーズに置き、平たい
被写体の複数の画像がカメラにより取り込まれる。各特徴点の画像位置が抽出され、各特
徴点の相対位置は知られているので次に特徴点位置の集合を用いてカメラを較正すること
ができる。撮像システムに２台以上のカメラが存在する場合、存在するカメラ間の幾何学
的関係と併せて固有パラメータはすべてのカメラに平たい被写体の各ポーズ角度における
画像を取り込ませることにより推定することができる。

プロジェクタとカメラは影像化の幾何学という点で非常に類似しているので、カメラの
較正手法をプロジェクタ−カメラ・システムにおけるプロジェクタの較正に適用できるこ
とが合理的と思われるかもしれない。しかし、カメラの較正手法はすべて較正を必要とす
るカメラ（すなわち較正される影像装置）が画像をいくつか取り込むことが必要であるた
め、プロジェクタは画像を取り込むことができないのでカメラの較正手法はプロジェクタ
に容易に適用できないようである。

従って従来のプロジェクタ−カメラ・システムでは、プロジェクタに加え少なくとも２
台のカメラが必要であった。まず２台のカメラが通常のマルチ・カメラ・撮像システムの
較正手法を用いて較正され、ステレオ・カメラの対を確立する。より具体的に、これらの
システムは「ブートストラップ的」手順を用いて２台のカメラを較正しステレオの対を形
成する。業界で知られるように、カメラのステレオの対は深度（すなわち擬似的な遠近）
を推定し、カメラのステレオ対から見える特徴点擬似的深度知覚を確立するのに用いるこ
とができる。次に較正されたステレオ・カメラの対を用いてプロジェクタを較正する。基
本的にこの擬似的な深度知覚の確立を用い、映写表面の、従ってその映写表面に投影され
た映像の、表面深度凹凸を識別する。次にプロジェクタは投影画像内の表面深度を補償す
るために構成することができる。要するに、この擬似的深度知覚を用いてプロジェクタを
較正するためにはプロジェクタはまず特徴点を、凹凸表面を持ち得るディスプレイ環境（
すなわち映写表面）に投影する。予め較正されたカメラのステレオ対を用いて投射された
点の遠近的深度位置を解明する。次に投射された点の深度位置による判定に基づき映写表
面における表面／深度凹凸について補正するようにプロジェクタを較正することができる
。このブートストラップ的手法はプロジェクタ−カメラ・システム向けの実証済みの較正
方法であるが、予め較正され、戦略的に配置された外付けカメラのステレオの対を必要と
し、オペレータの介入を多く必要とするため内蔵型のプロジェクタ−カメラ・システムに
は適用できない。

同様に関連するものとしてデュアル・フォトグラフィと呼ばれる手法があり、Sen他に
より論文「デュアル・フォトグラフィ」（”Dual Photography”）、ACM SIGGRRAPH予稿
、2005年、の中で提案されており、引用により本明細書に全体として組み入れられる。デ
ュアル・フォトグラフィはヘルムホルツの相反定理を利用して実カメラで取り込んだ画像
を用いプロジェクタから「見えた」（または事実上「取り込んだ」）画像をシミュレート
する擬似画像（すなわちデュアル画像）を合成する。つまり、擬似画像はプロジェクタか
ら「見た」取り込み画像をシミュレートし、従ってプロジェクタが画像を取り込むことが
できたとした場合プロジェクタにより取り込まれた画像がどうなるかを表す。この方法は
プロジェクタを擬似カメラとして扱うことを可能にするので、プロジェクタの較正に関わ
る問題のいくつかを除去できるかもしれない。

ヘルムホルツの相反定理は、光の流れはその輸送特性を変えることなく有効に逆向きに
できるという概念に基づいている。ヘルムホルツの相反定理は計算の複雑さを低減するた
めに多くのコンピュータ・グラフィックス用途に使用されている。コンピュータ・グラフ
ィックス関連の文献でこの相反定理は入射（ωｉ）および出射（ωｏ）方向間の反射強度
転移の対称性を説明する方程式として通常ｆｒ（ωｉ→ωｏ）＝ｆｒ（ωｏ→ωｉ）と要
約され、ここでｆｒはある表面の双方向反射率分布関数（ＢＲＤＦ）を表す。

このようにデュアル・フォトグラフィは、理想的には映像および取り込み画像のデュア
ルな性質（すなわちデュアリティ関係）を利用して前者を後者からシミュレートする。さ
らに詳細に後述するように、デュアル・フォトグラフィ（より正確にはヘルムホルツの相
反定理）はカメラとプロジェクタ間の光輸送特性を取り込む必要がある。より具体的に、
デュアル・フォトグラフィは放射光線を取り込み光線に関連付ける光輸送特性（すなわち
光輸送係数）の判定を必要とする。

しかしデジタル・カメラおよびデジタル・プロジェクタを扱う場合、デュアル・フォト
グラフィは各プロジェクタ・ピクセル（すなわちすべての放射光線）を１つ１つのカメラ
・ピクセル（すなわち放射光線の一部を取り込むすべての光センサ）に関連づける別個の
光輸送係数を双方の装置の解像度において取り込む必要がある。デジタル・プロジェクタ
およびデジタル・カメラ双方とも各々何百万のピクセルを有し得るので、多数の光輸送係
数の獲得、格納、および操作はこの手法の実際的な使用を制限する可能性がある。従って
デュアル・フォトグラフィは理論的に非常に利点を提供するように見えるが、実際上デュ
アル・フォトグラフィは非常に大量のコンピュータ・メモリ（アーカイブ用のディスク型
メモリおよびアクティブ・ソリッドステート・メモリ双方）を必要とし、広範囲コンピュ
ータ処理能力を要し、機器を設定してプロジェクタ−カメラ・システムが使用されるすべ
ての投影環境に対する大量の光線を放射し取り込むために多くの時間とユーザ介入を必要
とするという物理的かつ非実用的な要件により深刻に制限される。

デュアル・フォトグラフィのより明確な理解は図４７（Ａ）および図４７（Ｂ）を参照
して得られる。図４７（Ａ）において「根本構成」（すなわちデュアル変換以前の実際の
物理的な装置の構成）は実デジタル・プロジェクタ１１、実映像１３、および実デジタル
・カメラ１５を含む。実プロジェクタ１１から光が発射され、実カメラ１５により取り込
まれる。映写された各投射光線（実プロジェクタ１１内の各プロジェクタ・ピクセルｅか
ら）を対応する各取り込み光線（実カメラ１５内の各カメラ・センサ・ピクセルｇにおい
て取り込まれた）に関連づける係数は光輸送係数と呼ばれる。光輸送係数を用いると、取
り込まれた光線から映写された光線の特徴を判定することが可能となる。

本例において、実プロジェクタ１１は象徴的に点線枠として示され、ｓ行およびｒ列の
個々のプロジェクタ・ピクセルｅを含むプロジェクタ・ピクセル・アレイ１７を有するデ
ジタル・プロジェクタであることが好ましい。各プロジェクタ・ピクセルｅは別個に放射
された光線の源であり得る。プロジェクタ・ピクセル・アレイ１７のサイズは実プロジェ
クタ１１の解像度に依存する。例えばＶＧＡ解像度は６４０×４８０ピクセルのアレイ（
すなわち３０７，２００個のプロジェクタ・ピクセルｅ）を含むことができ、ＳＶＧＡ解
像度は８００×６００ピクセルのアレイ（すなわち４８０，０００個のプロジェクタ・ピ
クセルｅ）を有し得、ＸＶＧ解像度は１０２４×７６８ピクセルのアレイ（すなわち７８
６，７３２個のプロジェクタ・ピクセルｅ）を有し得、ＳＸＶＧ解像度は１２８０×１０
２４ピクセルのアレイ（すなわち１，３１０，７２０個のプロジェクタ・ピクセルｅ）を
有し得、以下同様でより高い解像度のプロジェクタはより多数のプロジェクタ・ピクセル
ｅを必要とする。

同様に実カメラ１５は象徴的に点線枠として示され、ｕ行およびｖ列の個々のカメラ・
ピクセルｇを含むカメラ・センサのピクセル・アレイ１９を有するデジタル・カメラであ
る。各カメラ・ピクセルｇは放射された光線の一部を受光する、すなわち取り込む、こと
ができる。カメラ・センサのピクセル・アレイ１９のサイズもまた実カメラ１５の解像度
に依存する。但し、実カメラ１５は４メガピクセル（すなわち４，１９４，３０４の受容
ピクセルｇ）以上を有しているのが普通である。

カメラ・センサのピクセル・アレイ１９内の各カメラ・ピクセルｇは区別可能なプロジ
ェクタ・ピクセルｅから放射された光線の一部を取り込むことができ、別々のプロジェク
タ・ピクセルｅ各々は別個の光線を放射し得るので、別々のプロジェクタ・ピクセルｅ各
々をすべてのカメラ・ピクセルｇに関連付けるためには大量の光輸送係数が必要となる。
言い換えれば、単一のプロジェクタ・ピクセルｅから放射された光線はカメラ・センサの
ピクセル・アレイ１９全体を覆う可能性があり、従って各カメラ・ピクセルｇは放射され
た光線の異なった量を取り込む。従って、個々のカメラ・ピクセルｇは個別に放射された
光線をどれだけ受光したかを示す、異なった光輸送係数を有することになる。カメラ・セ
ンサのピクセル・アレイ１９が４，１９４，３０４個の個別のカメラ・ピクセルｇを有す
る（すなわち４メガピクセルの解像度を有する）場合、個別のプロジェクタ・ピクセルｅ
はカメラ・センサのピクセル・アレイ１９に関連付けられるために各々４，１９４，３０
４個の個別光輸送係数の組を別々に必要とすることになる。従って、プロジェクタ・ピク
セル・アレイ１７全体をカメラ・センサのピクセル・アレイ１９に関連付け、実プロジェ
クタ１１および実カメラ１５との間にデュアリティ関係を確立するためには別個に判定し
た何百万組の光輸送係数（プロジェクタ・ピクセルｅ毎に１組）が必要となる。

本例において別々のプロジェクタ・ピクセルｅ各々は実カメラ１５に関連付けられるた
めに４，１９４，３０４個の個別的に判定された光輸送係数の別個の組を必要とし、実プ
ロジェクタ１１は何百万個の別々のプロジェクタ・ピクセルｅを有する可能性があるので
、光輸送係数の各組を別々の光輸送係数のアレイとみなし、これらの別々のアレイを集め
て１つの光輸送行列（Ｔ）にまとめることが有益である。光輸送係数の各アレイは光輸送
行列Ｔ内で別々の列を構成する。従って、光輸送行列Ｔにおける各列は別個のプロジェク
タ・ピクセルｅに対応する１組の光輸送係数を構成する。

本例において実プロジェクタ１１は個別の光プロジェクタ・ピクセルｅのアレイを有す
るデジタル・プロジェクタで、実カメラ１５は個別のカメラ・ピクセルｇのアレイを有す
るデジタル・カメラであるので、実プロジェクタ１１および実カメラ１５の間のデュアリ
ティ関係を定義するのに光輸送行列Ｔが用いられる。以下の考察において行列要素Ｔ_geは
個別の実プロジェクタ・ピクセルｅを個別の実カメラ・ピクセルｇの関連付ける個別の光
輸送係数（光輸送行列Ｔ内の）を特定する。

実カメラ１５に取り込まれた実画像はカメラ・センサのピクセル・アレイ１９内の各カ
メラ・ピクセルｇにより個別的に取り込まれたすべての光線（すなわち光のビーム）から
なる。従ってカメラ・センサのピクセル・アレイ１９で判定された取り込み実画像を実画
像取り込み行列、Ｃ、に編成することが役に立つ。同様に、プロジェクタ・ピクセル・ア
レイ１７内の個々のプロジェクタ・ピクセルｅの活性化により構成される映写実画像を実
画像映写行列、Ｐ、に編成することが有用である。この記号を用い、取り込み実画像（実
画像取り込み行列Ｃで定義された）はＣ＝ＴＰという関係に従い光輸送行列Ｔにより映写
実画像（実画像映写行列Ｐ）に関連付けることができる。

図４７（Ａ）のデュアリティ変換、すなわちデュアル構成、が図４７（Ｂ）に示される
。このデュアル構成において、図４７（Ａ）の実プロジェクタ１１は仮想カメラ１１”に
変換され、図４７（Ａ）の実カメラ１５は仮想プロジェクタ１５”に変換される。仮想カ
メラ１１”および仮想プロジェクタ１５”は各々実プロジェクタ１１および実カメラ１５
のデュアルな対応を表し、それら自体実装置でないことが理解されよう。つまり、仮想カ
メラ１１”は仮定上のカメラ（すなわち仮想カメラ１１”）が図４７（Ａ）の実プロジェ
クタが映写する実画像１３に類似した仮定上の映像１３”を取り込むためにどのように挙
動するかを数学的に表したものである。同様に、仮想プロジェクタ１５”は仮定上のプロ
ジェクタ（すなわち仮想プロジェクタ１５”）が実カメラ１５（図４７（Ａ）の）で取り
込まれた実画像１３に実質的に合致する仮定上の画像１３”を映写するためにどのように
挙動するかを数学的に表したものである。このように図４７（Ａ）における実プロジェク
タ１１および実カメラ１５の位置は図４７（Ｂ）において仮想カメラ１１”および仮想プ
ロジェクタ１５”に交換される。

実装置のピクセル解像度は対応する仮想装置（すなわちデュアル装置）に持ち越される
ことが特記される。従って仮想カメラ１１”はｓ行およびｒ列からなる仮想光カメラ・セ
ンサのピクセル・アレイ１７”を有し、実プロジェクタ１１のプロジェクタ・ピクセル・
アレイ１７に合致している。同様に仮想プロジェクタ１５”はｕ行およびｖ列からなる仮
想プロジェクタ・ピクセル・アレイ１９”を有し実カメラ１５のカメラ・センサのピクセ
ル・アレイ１９に合致している。

デュアル光輸送行列Ｔ”がこのデュアル構成の光輸送行列で、デュアル画像取り込み行
列Ｃ”（仮想カメラ１１”で取り込まれるデュアル画像１３”を定義する）はデュアル画
像映写行列Ｐ”（仮想プロジェクタ１５”で映写されるデュアル画像１３”を定義する）
に対しＣ”＝ＴＰ”という形で関係していると仮定すると、Ｔ”_egが個別の仮想プロジェ
クタ・ピクセルｇ”を個別の仮想カメラ・ピクセルｅ”に関連付ける個別のデュアル光輸
送係数となる。

ヘルムホルツの相反定理はピクセルからピクセルへの輸送係数は双方向において（すな
わち実プロジェクタ１１から実カメラ１５へ、および仮想プロジェクタ１５”から仮想カ
メラ１１”へ）等しいと規定している。すなわちＴ”_eg＝Ｔ_geで、これはＴ”＝Ｔ^Tを意
味する（すなわちデュアル光輸送行列Ｔ”は実光輸送行列Ｔに対する数学的行列転置の結
果に等しい）。従って、光輸送行列Ｔが与えられると、Ｔ^Tを用いてデュアル構成におい
て得られるデュアル、または仮想、画像を合成することができる。

このように、光輸送行列Ｔはプロジェクタにより取り込まれたように見える画像を作り
出すことを可能にし、カメラは第２プロジェクタの役割を果たす。しかし、上記に説明す
るように、光輸送行列Ｔを生成し操作することの高度の複雑さのため今までその適用は、
特にプロジェクタ−カメラ・システムの較正分野において、非常に限定されていた。

プロジェクタ−カメラ・システムに関する他の問題はプロジェクタの視線を遮る可能性
のある光拡散物体をどのように補正するかである。関連するものとしてプロジェクタ−カ
メラ・システムが典型より複雑な画像を達成するのに用いることができるかという問題で
ある。例えば、このようなシステムは複数のプロジェクタによる複数の画像を組み合わせ
て単一の合成画像を作成することができるであろうか。あるいは、”３−Ｄ”画像または
以前はより複雑な機器およびより複雑な映写設備を必要とした他の視覚上の効果を生成す
ることができるであろうか。さらに、プロジェクタ−カメラ・システムのカメラをより有
効に活用し、カメラが画像作成プロセスの能動的な部分になることができるであろうか。
さらに、そのようなプロジェクタ・カメラ・システムの、低解像度で安価なカメラを用い
ることの意味合いはどんなものがあるだろうか。

以前の研究（Ramesh Raskarら著の論文「未来のオフィス−画像に基づくモデリングと
空間没入型ディスプレイの統合アプローチ」（The office of the future: a unified ap
proach to image-based modeling and spatially immersive displays, Proceedings of
the 25th annual conference on Computer graphics and interactive techniques, p.17
9-188, July 1998）、および John Underkofflerら著の論文「照明灯−発光する有形イン
ターフェースを有する光学設計」（Illuminating light: an optical design tool with
a luminous-tangible interface, Proceedings of the SIGCHI conference on Human fac
tors in computing systems, p.542-549, April 18-23, 1998）はインテリジェント照明
の概念を提示し、プロジェクタを用いて仕事場のやりとりを向上させ問題解決の新規ツー
ルの役割を果たせることを示している。以来プロジェクタ−カメラの世界はインテリジェ
ント・プロジェクタに関する多くの技術的問題を解決している。特に複数プロジェクタの
自動モザイク化において相当な進歩がなされている（Han Chenら著の論文「カメラ・ホモ
グラフィ・ツリーを用いた大型マルチ・プロジェクタ・ディスプレイの拡張性のある位置
合わせ」（Scalable alignment of large-format multi-projector displays using came
ra homography trees, Proceedings of the conference on Visualization '02, October
27-November 01, 2002）、Ruigang Yangら著の論文「PixelFlex−再構成可能なマルチ・
プロジェクタ・ディスプレイ・システム」（PixelFlex: a reconfigurable multi-projec
tor display system, Proceedings of the conference on Visualization '01, October
21-26, 2001）、A. Raijら著の論文「PixelFlex2−総合的に自動的にカジュアルに位置合
わせされるマルチ・プロジェクタ・システム」（PixelFlex2: A Comprehensive, Automat
ic, Casually-Aligned Multi-Projector Display. In Proc. of PROCAMS'03, 2003.）、R
. Sukthankarら著の論文「カメラ−プロジェクタ・システムにおけるホモグラフィーを活
用したよりスマートなプレゼンテーション」（”Smarter presentations: Exploiting ho
mography in camera-projector systems,” In Proceedings of International Conferen
ce on Computer Vision, 2001）およびR. Raskarら著の論文「iLamps−幾何学的認識と自
己設定可能なプロジェクタ」（iLamps: geometrically aware and selfconfiguring proj
ectors. ACM Trans. Graph., 22 (3). 809-818.）。

R. Raskarら著の論文「Shader Lamps−実在の事物に画像ベースの照明でアニメーショ
ンを加える方法」（”Shader Lamps: Animating Real Objects with Image-Based Illumi
nation”, Chapel Hill: University of North Carlina at Chapel Hill, 2000）は複雑
な物体への映写を実証している。前以て作成された物体の３Ｄモデルを用い、複数のプロ
ジェクタで些細でない複雑な形状を有する実際の物理的物体に仮想テクスチャおよびアニ
メーションを加えることができる。

Kensaku Fujiiら著の論文「動的環境に対するリアルタイムな測光適応を備えたプロジ
ェクタ−カメラシステム」（A Projector-Camera System with Real-Time Photometric A
daptation for Dynamic Environments. CVPR (1) 2005: 814-821）は同軸プロジェクタ−
カメラ・システムを用いてリアルタイムで物体の外観を改変する方法を提案した。Michae
l D. Grossbergら著の論文「一つの対象物を別のものに見せる−プロジェクタ−カメラシ
ステムを用いた外観制御方法」（Making One Object Look Like Another: Controlling A
ppearance Using a Projector-Camera System. CVPR (1) 2004: 452-459）は区分的な多
項式３Ｄモデルを組み入れて非同軸プロジェクタ−カメラ・システムがビューの映写を行
えるようにした。

L.Zhangらによる、「シーン獲得と画像表示のための投影デフォーカス分析」（Project
ion Defocus Analysis for Scene Capture and Image Display. In ACM SIGGRAPH Annual
Conference, Boston, MA, Aug., 2006）ではプロジェクタ−カメラ・システムは深度マ
ップを抽出するためにも用いられ、R. Raskarらによる「非フォトリアリズムなカメラ−
深度エッジ検出とマルチ・フラッシュ・イメージングを用いた様式化されたレンダリング
」（”Non-photorealistic Camera: Depth Edge Detection and Stylized Rendering usi
ng Multi-Flash Imaging”. ACM Transactions on Graphics (SIGGRAPH 2004), Vol. 23,
Issue 3, August 2004）では深度エッジを回復する手段として時空多重化照明が提案さ
れている。

詳細に後述されるように、本発明は望ましい画像を作成するために何をプロジェクタが
映写する必要があるかをどのように判定するかという問題に、光輸送行列の逆（ｉｎｖｅ
ｒｓｅ）を用いて対応しており、その適用はさらにプロジェクタ−カメラ・システムの較
正を簡素化する。

上記目的は光輸送行列Ｔの生成を簡素化し、デュアル・フォトグラフィにおける光輸送
係数の実施を簡素化し、光輸送行列Ｔをさらに簡素化しながら改変して光拡散効果または
光ノイズに対する補正を組み入れたシステムにより満足される。

デュアル・フォトグラフィの適用は（ｐ×ｑ）のプロジェクタ・ピクセル・アレイの光
輸送行列Ｔを生成するのに必要な取り込み画像数を（ｐ×ｑ）の画像から（ｐ＋ｑ）の画
像に削減することにより簡素化される。光輸送行列Ｔの操作は完全に入力された光輸送行
列Ｔを各プロジェクタ・ピクセルを非ゼロの光輸送係数値にのみ結び付けるインデクスで
置き換えることにより、光輸送行列Ｔの使用を簡素化される。ゼロ値の光輸送係数の使用
を排除することにより、デュアル・フォトグラフィを実施するためのメモリおよび処理要
件が非常に低減される。このデュアル・フォトグラフィ手法がプロジェクタ−カメラ・シ
ステムの較正に適用される。

本発明の第１実施形態で、デジタル・プロジェクタをデジタル・カメラに関連付ける光
輸送係数を生成する方法が示される。デジタル・プロジェクタが映写ピクセルのアレイを
有し、デジタル・カメラがセンサ・ピクセルのアレイを有する場合、方法は、プロジェク
タ内の映写ピクセルの第１グループを同時に活性化し映写場面上に第１テスト・パターン
を投影することで、前記第１テスト・パターンに入っていない映写ピクセルは暗く維持さ
れることと、映写場面上の第１テスト・パターンの第１画像を取り込むことと、プロジェ
クタ内の映写ピクセルの第２グループを同時に活性化し映写場面上に２テスト・パターン
を映写することで、前記第２テスト・パターンに入っていない残りの映写ピクセルは暗く
維持され、映写ピクセルの第１および第２グループは目標映写ピクセルを定義する１つの
みの共通映写ピクセルを有することと、前記映写場面上の前記第２テスト・パターンの第
２画像を取り込むことと、第１画像の画像ピクセルを第２画像の対応画像ピクセルと比較
し、２つの比較された画像ピクセルの暗い方を留保することで、留保された画像ピクセル
は合成画像を形成することと、および合成画像において暗くないすべての画像ピクセルを
特定することで、暗くない画像ピクセルは目標映写ピクセルに結び付いた非ゼロの光輸送
係数を定義することと、を含む。

あるいは、光輸送係数を生成する方法はさらに選択された数の目標映写ピクセルに対す
る光輸送係数を特定することを含むことができ、これは選択された数の目標映写ピクセル
各々を対応して結び付いた非ゼロの光輸送係数に結び付けるインデクスを生成すること、
および非ゼロの光輸送係数のみを格納することを含む。

光輸送行列は全行列形式または光輸送係数入力の第１アレイと、第１アレイのどの光輸
送係数が光輸送行列のどの列に対応するかを示す記録を維持する第２アレイからなる簡略
化された２アレイ形式のいずれかで書くことができるので、光ノイズおよび光拡散効果を
補正する改変プロセスも全行列形式またはまたは２アレイ形式のいずれかに適用すること
ができる。いずれの場合もプロセスは表示制約を課すことを含み、課さなければ適用する
ことができない。

従って最初の工程は任意の場面においてプロジェクタ−カメラ・システムの光輸送行列
Ｔにシミュレートされた表示制約を課すことで、表示制約はプロジェクタから放射された
光線は区別可能な部分でカメラの画像センサに当たることを規定する。これは次の方法で
行うことができる。光輸送行列Ｔの各列について、光輸送行列の共通行に沿って行列の入
力を比較し、共通行における最高値の行列入力を留保し、光輸送アレイに前記光輸送行列
Ｔの各行からの最高値の行列入力を入れ、光輸送アレイの各入力が光輸送行列のどの列か
ら由来するかの記録を維持し、必要に応じ記録および光輸送アレイを用い、プロジェクタ
の各プロジェクタ・ピクセルについて光フットプリント情報を抽出する。この方法では、
任意の場面において前記プロジェクタから前記カメラへの光のパスに光拡散物体が含まれ
ても構わず、前記方法は光拡散効果を補正するのに有効である。

さらにこの方法において、光輸送行列Ｔの各列はプロジェクタの単一のプロジェクタ・
ピクセルを活性化することにより実現されカメラの画像センサ全体で取り込まれた画像に
対応し、各光フットプリント情報はそれに対応するプロジェクタ・ピクセルの光輸送値を
構成する。

光輸送アレイおよび記録は前記光輸送行列Ｔの代わりに使用できる改変光輸送行列をな
し、改変光輸送行列はデュアル・フォトグラフィでの使用に適していることがさらに特記
される。

上述の方法は次の工程により光輸送行列の推定逆行列を生成するのに用いることができ
る。正規化光フットプリント情報を各々のプロジェクタ・ピクセルに対応するグループで
計算し、中間アレイを作成し、その中間アレイに対応する光フットプリント情報の計算さ
れた正規化値を入れ、中間アレイの各入力を対応する正規化光フットプリントに結び付け
るために中間アレイ用の中間記録を維持し、中間アレイおよび中間記録を中間行列の表記
として解釈し、前記中間アレイに転置行列演算を適用する。

この正規化光フットプリント情報を各々のプロジェクタ・ピクセルに対応するグループ
で計算するプロセスは１つの光フットプリントを構成する光輸送アレイのグループの二乗
の総計を生成し、光輸送アレイ入力の各入力を総計で割ることを含むこともさらに特記さ
れる。

任意の場面においてプロジェクタ−カメラ・システムの光輸送行列Ｔにシミュレートさ
れた表示制約を課す別の方法では次の方法に従うことができる。光輸送行列Ｔの各行につ
いて、光輸送行列Ｔの共通行に沿った行列入力を比較し、共通行における最高値の行列入
力以外をすべて無効化する。結果として得られた行列は改変光輸送行列Ｔ^*となる。この
方法で、行列入力はゼロ値を割り当てられることにより無効化される。前と同じように、
この方法は表示制約が真にサポートされていないものも含みどのような任意の場面にでも
用いることができる。従って任意の場面が前記プロジェクタから前記カメラへの光パスの
間に光を拡散する物体が含まれていても問題ない。改変光輸送行列は相変わらず光拡散効
果を補正するのに有効である。改変光輸送行列Ｔ^*は相変わらずデュアル・フォトグラフ
ィでの使用に適していることはさらに有用である。

前と同様、改変光輸送行列Ｔ^*の推定逆行列は、改変光輸送行列Ｔ^*における各列を順に
目標列として特定し、前記目標列に関し目標列の無効化されていない入力値の正規化値を
計算することと、前記改変光輸送行列Ｔ^*と等しいサイズの中間行列を作成することと、
改変光輸送行列における対応目標列の計算された正規化値を中間行列の各列に入れること
で、中間行列の埋められた各列における各正規化値は改変光輸送行列Ｔ^*の対応列におけ
る無効化されていない入力値と１対１の対応を維持することと、転置行列演算を前記中間
行列に適用することにより生成することができる。

この方法で、改変光輸送行列の対応目標列における無効化されていない入力値の正規化
値が入っていない中間行列への値の入力はゼロ値が入れられる。さらに、目標列に関し目
標列の無効化されていない入力値の正規化値を計算するプロセスは目標列の無効化されて
いない入力値のみの二乗の総計を生成し、目標値の無効化値をすべて無視し、無効化され
ていない各値を総計で割ることを含む。

別の言い方をすると、中間行列をΞとし、改変光輸送行列Ｔ^*の目標列をＴ^*ｒとし、Ξ
の対応する列をΞｒとすると、Ξの構成と入力はΞr＝Ｔ¬^*ｒ／（‖Ｔ^*ｒ‖）²と定義さ
れる。

形態１の、任意の場面におけるプロジェクタ−カメラ・システムの光輸送行列Ｔにシミ
ュレートされた表示制約を課す方法は、前記表示制約はプロジェクタから放射された任意
な２つの別個な光線はカメラの画像センサの別個な部分に当たることを規定し、前記方法
は、光輸送行列Ｔにおける各行に対し、前記光輸送行列の共通行に沿って行列入力を比較
し、共通行における最高値の行列入力を留保することと、前記光輸送行列Ｔの各行から最
高値の行列入力で光輸送アレイを埋めることと、前記光輸送行列のどの列から前記光輸送
アレイの各入力が由来したかを示す記録を維持することと、前記記録および前記光輸送ア
レイを用いて前記プロジェクタにおける各プロジェクタ・ピクセルの光フットプリント情
報を必要に応じて抽出することと、をその要旨とする。

また、形態２の、任意の場面におけるプロジェクタ−カメラ・システムの光輸送行列Ｔ
にシミュレートされた表示制約を課す方法は、表示制約は前記任意の場面でサポートされ
ていないことをその要旨とする。

また、形態３の、任意の場面におけるプロジェクタ−カメラ・システムの光輸送行列Ｔ
にシミュレートされた表示制約を課す方法は、前記任意の場面は前記プロジェクタから前
記カメラへの光パスの間に光散乱物体を含み、前記方法は光散乱効果を補正するのに有効
であることをその要旨とする。

また、形態４の、任意の場面におけるプロジェクタ−カメラ・システムの光輸送行列Ｔ
にシミュレートされた表示制約を課す方法は、前記光輸送行列Ｔにおける各列は前記プロ
ジェクタにおける１つのプロジェクタ・ピクセルを活性化することにより実現されカメラ
の画像センサ全体により取り込まれた画像に対応し、各光フットプリント情報はその対応
プロジェクタ・ピクセルに対する光輸送値をなすことをその要旨とする。

また、形態５の、任意の場面におけるプロジェクタ−カメラ・システムの光輸送行列Ｔ
にシミュレートされた表示制約を課す方法は、前記光輸送アレイおよび記録は前記光輸送
行列Ｔの代わりに用いられる修正光輸送行列をなすことをその要旨とする。

また、形態６の、任意の場面におけるプロジェクタ−カメラ・システムの光輸送行列Ｔ
にシミュレートされた表示制約を課す方法は、前記修正光輸送行列はデュアル・フォトグ
ラフィにおける使用に適していることをその要旨とする。

また、形態７の、任意の場面におけるプロジェクタ−カメラ・システムの光輸送行列Ｔ
にシミュレートされた表示制約を課す方法は、さらに、各々のプロジェクタ・ピクセルに
対応するグループとして正規化光フットプリント情報を計算することと、中間アレイを作
成し、前記中間アレイをその対応光フットプリント情報の計算された正規化値で埋めるこ
とと、前記中間アレイについて、前記中間アレイの各入力をその対応する正規化光フット
プリントに結び付ける中間記録を維持することと、前記中間アレイおよび中間記録を中間
行列の表記として解釈し、前記中間アレイに転置行列演算を適用することと、により、前
記光輸送行列の推定逆行列を生成することをその要旨とする。

また、形態８の、任意の場面におけるプロジェクタ−カメラ・システムの光輸送行列Ｔ
にシミュレートされた表示制約を課す方法は、各々のプロジェクタ・ピクセルに対応する
グループとして正規化光フットプリント情報を計算するプロセスは１つの光フットプリン
トをなす光輸送アレイ入力グループを平方した合計を出し、光輸送アレイ入力グループの
各入力を前記合計で割ることをその要旨とする。

また、形態９の、任意の場面におけるプロジェクタ−カメラ・システムの光輸送行列Ｔ
にシミュレートされた表示制約を課す方法は、前記表示制約はプロジェクタから放射され
た任意な２つの別個な光線はカメラの画像センサの別個な部分に当たることを規定し、光
輸送行列Ｔにおける各行に対し、前記光輸送行列の共通行に沿って行列入力を比較し、共
通行における最高値の行列入力以外すべて無効にされ、もたらされた行列は修正光輸送行
列Ｔ^*であることを含むことをその要旨とする。

また、形態１０の、任意の場面におけるプロジェクタ−カメラ・システムの光輸送行列
Ｔにシミュレートされた表示制約を課す方法は、行列入力はゼロ値を割り当てられること
により無効にされることをその要旨とする。

また、形態１１の、任意の場面におけるプロジェクタ−カメラ・システムの光輸送行列
Ｔにシミュレートされた表示制約を課す方法は、表示制約は前記任意の場面でサポートさ
れていないことをその要旨とする。

また、形態１２の、任意の場面におけるプロジェクタ−カメラ・システムの光輸送行列
Ｔにシミュレートされた表示制約を課す方法は、前記任意の場面は前記プロジェクタから
前記カメラへの光パスの間に光散乱物体を含み、前記修正光輸送行列は光散乱効果を補正
するのに有効であることをその要旨とする。

また、形態１３の、任意の場面におけるプロジェクタ−カメラ・システムの光輸送行列
Ｔにシミュレートされた表示制約を課す方法は、修正光輸送行列はデュアル・フォトグラ
フィにおける使用に適していることをその要旨とする。

また、形態１４の、任意の場面におけるプロジェクタ−カメラ・システムの光輸送行列
Ｔにシミュレートされた表示制約を課す方法は、前記修正光輸送行列の推定逆行列は、前
記修正光輸送行列の各列を目標列として順に特定し、前記目標列における無効にされてい
ない入力値について前記目標列に関し正規化値を計算することと、前記修正光輸送行列に
等しいサイズの中間行列を作成することと、前記中間行列の各列を前記修正光輸送行列の
対応目標列の計算された正規化値で埋めることで、前記中間行列の埋められた各列におけ
る各正規化値は前記修正光輸送行列の対応列における前記無効にされていない入力値と１
対１の対応を維持していることと、前記中間行列に転置行列演算を適用することと、によ
り生成されることをその要旨とする。

また、形態１５の、任意の場面におけるプロジェクタ−カメラ・システムの光輸送行列
Ｔにシミュレートされた表示制約を課す方法は、前記修正光輸送行列の対応目標列におけ
る無効にされていない入力値からの正規化値が入力されていない前記中間行列における値
の入力はゼロ値を入力されることをその要旨とする。

また、形態１６の、任意の場面におけるプロジェクタ−カメラ・システムの光輸送行列
Ｔにシミュレートされた表示制約を課す方法は、前記目標列における無効にされていない
入力値について前記目標列に関し正規化値を計算プロセスは前記目標列における前記無効
にされていない入力値のみ平方して合計を出し、前記目標列における無効にされた値をす
べて無視し、無効にされた入力値各々を前記合計で割ることを含むことをその要旨とする
。

また、形態１７の、任意の場面におけるプロジェクタ−カメラ・システムの光輸送行列
Ｔにシミュレートされた表示制約を課す方法は、前記中間行列をΞで示し、修正光輸送行
列Ｔ^*の目標列をＴ^*ｒで示した場合、Ξの対応列をΞｒで示した場合、Ξの構造および入
力はΞr＝Ｔｒ／（‖Ｔｒ‖）² _¬¬と定義されることをその要旨とする。

また、形態１８の、第１プロジェクタ−カメラ・システムからの第１投影画像と、第２
プロジェクタ−カメラ・システムからの第２投影画像とをモザイク化する方法で、（ａ）
前記第１プロジェクタ−カメラ・システムの第１カメラ画像ｃ₁を関係ｃ₁＝Ｔ₁ｐ₁に従い
前記第１プロジェクタ−カメラ・システムの第１プロジェクタ画像ｐ₁に関連付ける第１
光輸送行列Ｔ₁を確立することと、（ｂ）前記第２プロジェクタ−カメラ・システムの第
２カメラ画像ｃ₂を関係ｃ₂＝Ｔ₂ｐ₂に従い前記第２プロジェクタ−カメラ・システムの第
２プロジェクタ画像ｐ₂に関連付ける第２光輸送行列Ｔ₁を確立することと、（ｃ）望まし
い複合画像”ｃ”を定義することと、（ｄ）ｐ₂をゼロに等しく設定し、式ｐ₁＝Ｔ₁ ^-1＊
（ｃ−Ｔ₂ｐ₂）をｐ₁について解くことと、（ｅ）今解かれたｐ¬₁の値を用い、式ｐ₂＝
Ｔ₂ ^-1＊（ｃ−Ｔ₁ｐ₁）をｐ₂について解くことと、（ｆ）今解かれたｐ¬₂の値を用い、
式ｐ₁＝Ｔ₁ ^-1＊（ｃ−Ｔ₂ｐ₂）をｐ₁について解くことと、（ｇ）ｐ_1¬¬が第１モザイク
化画像に収束し、ｐ₂が第２モザイク化画像に収束するまで工程（ｅ）および（ｆ）を順
に繰り返すことと、を含むことをその要旨とする。

また、形態１９の、第１プロジェクタ−カメラ・システムからの第１投影画像と、第２
プロジェクタ−カメラ・システムからの第２投影画像とをモザイク化する方法は、前記望
ましい複合画像”ｃ”は”ｃ”＝ｃ₁＋ｃ₂と定義されることをその要旨とする。

また、形態２０の、第１プロジェクタ−カメラ・システムからの第１投影画像と、第２
プロジェクタ−カメラ・システムからの第２投影画像とをモザイク化する方法は、さらに
、前記第１モザイク化画像を前記第１プロジェクタ−カメラ・システムで投影し、前記第
２モザイク化画像を前記第２プロジェクタ−カメラ・システムで投影することを含むこと
をその要旨とする。

また、形態２１の、第１プロジェクタ−カメラ・システムからの第１投影画像と、第２
プロジェクタ−カメラ・システムからの第２投影画像とをモザイク化する方法は、Ｔ₁ ^-1
またはＴ₂ ^-1の少なくとも１つは一般的光輸送行列の逆Ｔ¬¬^-1の推定で、前記推定は、
前記一般的光輸送行列Ｔにおける各列を目標列として順に特定し、前記目標列における無
効にされていない入力値について、前記目標列に関し正規化値を計算することと、前記一
般的光輸送行列Ｔと等しいサイズの中間行列を作成することと、前記中間行列における各
列に、前記一般的光輸送行列Ｔにおける対応目標列の計算された正規化値を入力すること
で、前記中間行列における入力された各列における各正規化値は前記一般的光輸送行列Ｔ
の対応列における前記無効にされていない入力値と１対１の対応を保っていることと、前
記中間行列に転置行列演算を適用することと、により生成されることをその要旨とする。

また、形態２２の、第１プロジェクタ−カメラ・システムからの第１投影画像と、第２
プロジェクタ−カメラ・システムからの第２投影画像とをモザイク化する方法は、前記中
間行列をΞで示し、一般的光輸送行列Ｔにおける目標列をＴｒで示し、Ξにおける対応列
をΞｒで示した場合、Ξの構造および入力はΞr＝Ｔ¬ｒ／（‖Ｔｒ‖）² _¬¬と定義され
、Ｔ₁ ^-1が一般的光輸送行列の逆Ｔ¬¬^-1 _¬の推定である場合はｐ₁＝（Ξ₁）^T＊（ｃ−Ｔ
₂ｐ₂）で、Ｔ₂ ^-1が一般的光輸送行列の逆Ｔ¬¬^-1 _¬の推定である場合はｐ₂＝（Ξ₂）^T＊
（ｃ−Ｔ₁ｐ₁）となることをその要旨とする。

また、形態２３の、第１プロジェクタ−カメラ・システムからの第１投影画像と、第２
プロジェクタ−カメラ・システムからの第２投影画像とをモザイク化する方法は、Ｔ₁ま
たはＴ₂の少なくとも１つは各々のプロジェクタ−カメラ・システムの各々のプロジェク
タにおけるすべてのプロジェクタ・ピクセルと１対１の対応を有しない光フットプリント
情報のサンプリングから生成された推定光輸送行列であることをその要旨とする。

また、形態２４の、第１プロジェクタ−カメラ・システムからの第１投影画像と、第２
プロジェクタ−カメラ・システムからの第２投影画像とをモザイク化する方法は、さらに
、（ｈ）前記第１および第２モザイク化画像の少なくとも１つに測光的融合操作を適用す
ることを含むことをその要旨とする。

また、形態２５の、第１プロジェクタ−カメラ・システムからの第１投影画像と、第２
プロジェクタ−カメラ・システムからの第２投影画像とをモザイク化する方法は、前記測
光的融合操作は、（i）前記第１プロジェクタ−カメラ・システムの第１プロジェクタ視
野、ＦＯＶ１で専ら覆われるモザイク化画像の第１領域を特定することと、（ii）ＦＯＶ
１および前記第２プロジェクタ−カメラ・システムの第２プロジェクタ視野、ＦＯＶ２で
覆われる前記モザイク化画像の第２領域を特定することと、（iii）前記第１領域と前記
第２領域との間の第１境界を特定し、前記第１プロジェクタ−カメラからの第１投影画像
の光強度を、前記第１投影画像が前記第１境界から離れ、前記第２領域を通って伸びるに
つれ減らすことと、を含むことをその要旨とする。

また、形態２６の、第１プロジェクタ−カメラ・システムからの第１投影画像と、第２
プロジェクタ−カメラ・システムからの第２投影画像とをモザイク化する方法は、前記測
光的融合操作はさらに、（iv）前記第２プロジェクタ−カメラ・システムの第３プロジェ
クタ視野、ＦＯＶ３で専ら覆われるモザイク化画像の第３領域を特定することと、（v）
前記第３領域と前記第２領域との間の第２境界を特定し、前記第２プロジェクタ−カメラ
からの第２投影画像の光強度を、前記第２投影画像が前記第２境界から離れ、前記第２領
域を通って伸びるにつれ減らすことと、を含むことをその要旨とする。

また、形態２７の、第１プロジェクタ−カメラ・システムからの第１投影画像と、第２
プロジェクタ−カメラ・システムからの第２投影画像とをモザイク化する方法は、前記第
１投影画像の光強度は前記第２境界において実質的にゼロであることをその要旨とする。

また、形態２８の、第１プロジェクタ−カメラ・システムからの第１投影画像と、第２
プロジェクタ−カメラ・システムからの第２投影画像とをモザイク化する方法は、前記第
２投影画像の光強度は前記第１境界において実質的にゼロであることをその要旨とする。

添付図面と併せて以下の説明およびクレームを参照することにより他の目的および成果
と共に発明のより深い理解が明らかになろう。

カメラ較正手法をプロジェクタに適用するためには、プロジェクタが画像を取り込めな
ければならない。つまり、プロジェクタが画像を取り込むことができたら、プロジェクタ
−カメラ・システムはマルチ・カメラ・システムのように扱うことができ、プロジェクタ
−カメラ・システムを較正する標準的なカメラ較正手法（上記に説明）を用いることがで
きるかもしれない。言い換えれば、プロジェクタを擬似カメラとして扱うことができれば
、上述のマルチ・カメラ・システムのカメラ較正段階に類似した方法で実カメラとともに
較正することができ、以前にプロジェクタ−カメラ・システムを較正するために用いられ
た「ブートストラップ的」プロジェクタ較正段階を排除できるかもしれない。

図１（Ａ）に関し、本発明に従った撮像構成は実プロジェクタ２１および実カメラ２１
を含み得る。実プロジェクタ２１はデジタル・プロジェクタであることが好ましく、ｐ行
およびｑ列の個別の撮像映写要素（すなわち映写ピクセルｊ）を含む撮像映写アレイ（す
なわちプロジェクタ・ピクセル・アレイ２７）を含む撮像要素を有する。プロジェクタ・
ピクセル・アレイ２７は実プロジェクタ２１の内部にあり、説明の便宜上図１（Ａ）にお
いて点線の正方形内の十字線で示される。実プロジェクタ２１は液晶表示（ＬＣＤ）型、
デジタル光処理（ＤＬＰ（登録商標））型、反射型液晶パネル（Liquid Crystal On Sili
con＝ＬＣＯＳ）、または他のデジタル映写技術型であることが好ましい。

実カメラ２５はｍ行およびｎ列の個別のカメラ・ピクセルｉ（すなわち画像センサ要素
または受光ピクセル）を含むカメラ・センサのピクセル・アレイ２９（すなわち受光アレ
イまたは画像センサ・アレイ）を含む画像センサを有するデジタル・カメラであることが
好ましい。簡単にするため、カメラ・センサのピクセル・アレイ２９は実カメラ２５上に
示されるが、カメラ・センサのピクセル・アレイ２９は実カメラ２５の内部にあることが
理解されよう。

実プロジェクタ２１および実カメラ２５を用いたこの物理的構成は「根本」構成と呼ば
れることが好ましい。実プロジェクタ２１内の個別のプロジェクタ・ピクセルｊから発射
された光線は不規則なまたは平面の形状を有し得る映写表面（すなわち表示環境または場
面）から反射されることにより実画像２３を形成し、光線の一部は最終的に実カメラ２５
内の画像センサに到達する。一般的に各光線は場面で分散、反射、および屈折し、カメラ
・センサのピクセル・センサ・アレイ２９にわたりいくつか異なった位置でカメラの画像
センサに当たる。このように、実プロジェクタ２１の撮像プロジェクタ・ピクセルｊから
放射された１つの光線が実カメラ２５に到達すると、個々に投射された光線はｍ×ｎの画
像をカメラのピクセル・アレイ２９上で形成し、個々のカメラ・ピクセルｉは投射光線か
ら一定量の光を受ける。

従って理想的には１つのプロジェクタ・ピクセルｊをオンにして１つの光線を放射させ
１つのカメラ・ピクセルｉに当たるようにして１つのプロジェクタ・ピクセルｊを１つの
カメラ・ピクセルｉに関連付ける１つの光輸送係数を判定することができるように見える
かもしれないが、実際にはそうでない。実際にはカメラ・センサのピクセル・アレイ２９
全体が放射された１つの光線からの光強度の異なった寄与を受ける。従って、個々のプロ
ジェクタ・ピクセルｊ各々から放射される各光線はカメラ・センサのピクセル・アレイ２
９内のカメラ・ピクセルｉ各々に対し１つの異なった組、またはアレイ、の個別的光輸送
係数を生成する。従って、各組（すなわちアレイ）は各カメラ・ピクセルｉに対し１つと
なる（ｍ×ｎ）［すなわちｍ掛けるｎ］の個別的光輸送係数を含むことになる。

光輸送係数の各組を係数の列として配列し複合光輸送行列Ｔ、を形成すると、この複合
光輸送行列Ｔは個別のプロジェクタ・ピクセルｊ各々に対し異なった光輸送係数の列を有
することになる。さらに、各列内の各光輸送係数入力（すなわち行列要素）と各カメラ・
ピクセルとの間には１対１の対応があるので、各列は１つのプロジェクタ・ピクセルｊを
オンにした結果カメラ２５で取り込まれた画像全体を表す。従って、光輸送行列Ｔ全体（
すなわち複合光輸送行列）は（ｐ×ｑ）［すなわちｐ掛けるｑ］列（オンにされた各個別
のプロジェクタ・ピクセルｊにつき１列［すなわち取り込み画像］）および（ｍ×ｎ）行
（各個別のカメラ・ピクセルｉにつき１行）を含む。

以下の考察において実投影画像を、（ｐ×ｑ）要素（各プロジェクタ・ピクセルｊにつ
き１つ）を有する第１ベクトル、Ｒｐｒｊｃｔ、（すなわち実投影ベクトル）として、ま
た結果としてもたらされる実取り込み画像を、（ｍ×ｎ）要素（各カメラ・ピクセルｉに
つき１つ）を有する第２ベクトル、Ｒｃｐｔｒ、（すなわち実取り込みベクトル）として
見ることが役立つ。

実投影画像（すなわちプロジェクタ・ピクセル・アレイ２７全体を用いて投影した画像
）は（ｐ×ｑ）の実投影ベクトル”Ｒｐｒｊｃｔ”（すなわち「ｐ掛けるｑベクトル」）
と表される記号、および対応する実取り込み画像（すなわちカメラ・センサのピクセル・
アレイ２９全体を用いて取り込まれた画像）は（ｍ×ｎ）の実取り込みベクトル（すなわ
ち「ｍ掛けるｎベクトル」）と表される記号を用いると、実プロジェクタ２１と実カメラ
２５との間の光輸送関係は、

と書くことができ、Ｔは実プロジェクタ２１を実カメラ２５に関連付ける複合光輸送行
列である。光輸送行列Ｔは例えば個々かつ別々に各プロジェクタ・ピクセルをｊをオンに
して各個別的カメラ・ピクセルｉの対応光輸送係数を判定することにより前以て生成され
ていることが理解されよう。

要約すると、各プロジェクタ・ピクセルｊはカメラ・センサのピクセル・アレイ２９全
体にわたり拡散される光線をもたらすので、各個別のカメラ・ピクセルは各個別のプロジ
ェクタ・ピクセルｊから受けた所定の光特性の強度値を示す、異なった値の光輸送係数を
有する。本実施形態で、この光特性は光強度の尺度であることが好ましい。従って各プロ
ジェクタ・ピクセルｊは（ｍ×ｎ）の個別的光輸送係数を含む列をもたらし、各係数は各
カメラ・ピクセルｉが受けた光強度の量を示す。実プロジェクタ２１は（ｐ×ｑ）のプロ
ジェクタ・ピクセルｊを有するので、光輸送行列Ｔは（ｐ×ｑ）列［各プロジェクタ・ピ
クセルｊにつき１列］および（ｍ×ｎ）行［各カメラ・ピクセルｉにつき１行］を有する
。従って光輸送行列Ｔは従来非常に大きく、（ｐ×ｑ×ｍ×ｎ）の個別の光輸送係数から
なっていた。

図１（Ｂ）に関し、「デュアル」な構成において実プロジェクタ２１は実プロジェクタ
・ピクセル・アレイ２７とサイズが等しい仮想カメラ・センサのピクセル・アレイ２７”
を有する仮想カメラ２１”で置き換えられる。このように仮想カメラ２１”はｐ行掛ける
ｑ列の仮想カメラ・ピクセルｊ”を含む仮想カメラ・センサのピクセル・アレイ２７”を
有する。同様にこの「デュアル」な構成において、実カメラ２５は実カメラ・センサのピ
クセル・アレイ２９とサイズが等しい仮想プロジェクタ・ピクセル・アレイ２９”を有す
る仮想プロジェクタ２５”で置き換えられる。このように仮想プロジェクタ２５”はｍ行
掛けるｎ列の仮想プロジェクタ・ピクセルｉ”を含む仮想プロジェクタ・ピクセル・アレ
イ２９”を有する。

この場合、仮想画像２３”（仮想プロジェクタ２５”により投影される）は（ｍ×ｎ）
の仮想投影ベクトルＶｐｒｊｃｔ”で表すことができる。同様に、仮想カメラ２１”によ
り取り込まれた仮想取り込み画像は（ｐ×ｑ）仮想取り込みベクトルＶｃｐｔｒ”で表す
ことができる。従ってこのデュアル構成において仮想取り込みベクトルＶｃｐｔｒ”は「
デュアル」光輸送行列Ｔ”により仮想投影ベクトルＶｐｒｊｃｔ”に関連付けられる。ヘ
ルムホルツの相反性の原理により、光輸送は双方向において等しい。従ってデュアル構成
（すなわちデュアリティ変換構成）に対するデュアル光輸送行列Ｔ”は次の関係で仮想取
り込みベクトルＶｃｐｔｒ”を仮想投影ベクトルＶｐｒｊｃｔ”に関連づける。

しかしこの関係はデュアル光輸送行列Ｔ”を構成し、仮想的に投影された画像を仮想的
に取り込まれた画像に関連付ける大量の「仮想」光輸送係数をどのように判定できるかと
いう問題を提起する。注目すべきは、実光輸送行列Ｔからそのデュアル光輸送行列Ｔ”へ
のデュアリティ変換は実光輸送行列に対し転置行列演算を行うことにより達成される。従
って、Ｔ”はＴの転置で、Ｔ”＝Ｔ^TおよびＶｃｐｔｒ”＝Ｔ^T＊Ｖｐｒｊｃｔ”となる。

行列計算方法で周知のように、一般的な［ｘ×ｙ］行列Ａの転置行列演算は上付き文字
”Ｔ”を加えることにより示され（例えばＡ^Tのように）、第１列が行列Ａの第１行、第
２列は行列Ａの第２行、第３列は行列Ａの第３行、以下同様、である［ｙ×ｘ］の行列で
定義される。容易に明らかなように、この行列演算は単に第１要素を中心として元の行列
Ａを反転させ、その第１要素（すなわち位置（１，１）において）は変化せず、第１列の
下端が第１行の終りになるようにする。従って根本構成に対する実光輸送行列Ｔを獲得、
あるいは別途判定できれば、デュアル構成に対するデュアル光輸送行列Ｔ”は上述のよう
に実光輸送行列Ｔを反転させてその転置Ｔ^Tを得ることにより容易に計算できる。以下の
さらなる考察において、デュアル光輸送行列および転置光輸送行列Ｔ^Tは互換的に用いる
ことができる。

しかしＴを判定するのに簡略化された方法を提供できれば、デュアリティ変換について
はＴから直接Ｔ^Tを判定できることが特記される。Ｔの判定を簡略化する方法を提案する
前に、まずＴを判定するための従来の方法の難しさをいくつか考察することが有益である
。

上記で説明されたように、実光輸送行列Ｔは実プロジェクタ２１の各個別のプロジェク
タ・ピクセルｊと実カメラの個別のカメラ・ピクセルｉすべてとの間で対応する個別の光
輸送係数を留保している。従って、個別のプロジェクタ・ピクセルｊとすべてのカメラ・
ピクセルｉとの間で対応する各個別の光輸送係数の判定はプロジェクタ・ピクセル・アレ
イ２７における他のプロジェクタ・ピクセルｊからの光線寄与を避けるべきである。

これを達成するために、まずｊ番目のプロジェクタ・ピクセルを１の値に設定し（すな
わちオンにし）、プロジェクタ・ピクセル・アレイ２７における他のすべての要素をゼロ
値に設定する（すなわちオフにする）ことにより作成された初期の実投影画像_ｊを検討
することができる。この場合、ｊ番目のピクセルは光輸送係数を判定するためにテストさ
れるプロジェクタ・ピクセルである。これらのテスト条件はｊ番目のプロジェクタ・ピク
セルに結び付いた入力位置において１の値を有し、すべての他のプロジェクタ・ピクセル
をゼロの値に設定している実投影ベクトルＲｐｒｊｃｔ_ｊとして記号化することができ
る。次に実投影画像_ｊを取り込み対応する（ｍ×ｎ）の実取り込みベクトル_ｊを判定す
ることができ、これは行列Ｔのｊ番目の列を定義する。

所定のｊ番目のプロジェクタ・ピクセルに対する行列Ｔの光輸送係数の列を得るこの方
法は行列Ｔ全体を取り込む系統だった方法は実プロジェクタ２１の各プロジェクタ・ピク
セルｊを順にオンにし（プロジェクタ・ピクセルを１つずつ）、実カメラでその対応する
実画像Ｒｃｐｔｒ_ｊを取り込むことであることを示唆している。ｐ×ｑ個のプロジェク
タ・ピクセルｊがすべて順にオンにされ、それらに対応する実画像Ｒｃｐｔｒ_ｊが取り
込まれると、取り込まれたすべての取り込み画像ベクトルＲｃｐｔｒ_１からＲｃｐｔｒ_
（ｐ×ｑ）はグループ化され行列Ｔを形成する。各取り込み画像ベクトルＲｃｐｔｒ_ｊ
は行列Ｔにおいて光輸送係数入力の１列をなす。これは（ｐ×ｑ）列および（ｍ×ｎ）行
の個別の光輸送係数を有する行列Ｔをもたらす。

しかし行列Ｔを判定するためのこの簡単で系統だったプロセスは（ｐ×ｑ）の画像投影
・取り込み工程を必要とする、明らかに時間のかかるプロセスである。さらに、得られる
光輸送行列Ｔは非常に大きく、（ｐ×ｑ×ｍ×ｎ）の要素を含む。行列Ｔのサイズから、
デュアル画像を計算するのはデュアル光輸送行列Ｔ^T（行列Ｔと同数の要素を有する）と
仮想投影ベクトルＶｐｒｊｃｔ”（（ｍ×ｎ）の要素を有する長いベクトルである）との
間で行列乗算を必要とする極めて計算集中的な演算である。

過去において、行列Ｔを判定するプロセスを速めるために実プロジェクタ（図４７（Ａ
）のプロジェクタ１１のような）の複数ピクセルをいちどきに適応的にオンにすることに
より行列Ｔを判定する仕組みが提案されている。しかし、この方法は複雑で、投影される
画像が複数の区域に分割され、各区域から１つのプロジェクタ・ピクセルを選択する必要
がある。選択されたプロジェクタ・ピクセルはすべて同時に点灯され、かつ同時に点灯さ
れたプロジェクタ・ピクセルはその間の光干渉を排除するために互いに充分な距離を確保
するようにする。従って、この仕組みは選択された個々のプロジェクタ・ピクセル間の光
干渉が最小限であることを確保する必要があるので場面に依存する（すなわち表示環境に
依存する）。このように複数区域の作成は表示環境に依存する。この仕組みは投影区域の
物理的な検査および手動の設定を必要とするので、一般的な使用または自動化にあまり適
さない。

本発明の一特徴は実光輸送行列Ｔの決定における手順工程を削減する方法を提案する。
すなわち、（ｐ×ｑ）の画像投影・取り込み工程（およびｐ×ｑの取り込み画像の格納）
を必要とする代わりに、ここで提案される方法は”ｐ足すｑ”［すなわち（ｐ＋ｑ）］画
像しか取り込まず、以下に説明する特定の状況においてこの数はさらに劇的に減らすこと
ができる。

本方法は次の仮定に基づいている。つまり殆どのプロジェクタ−カメラ表示用途におい
て、実プロジェクタ２１から放射される任意の別個の光線ｂおよびｃは通常カメラ・セン
サのピクセル・アレイ２９における別個の部分に当たる。すなわち、プロジェクタ・ピク
セルｊから放射された任意の光線はカメラ・センサのピクセル・アレイ２９全体にわたっ
て拡散されず、カメラ・センサのピクセル・アレイ２９内の明確な部分で光フットプリン
トを形成する小グループのカメラ・ピクセル内に主に集中する。さらに、隣接する光フッ
トプリントにおいて重なり合いはないか無視できる（すなわち別個のプロジェクタ・ピク
セルｊから投射された別個の光線が当たるカメラ・ピクセルｉに重複が殆どない）。この
理想的な光線分布条件は実カメラ２５の解像度が実プロジェクタ２１の解像度よりはるか
に高い（すなわち少なくとも２倍高い）場合に仮定できる。

別個の光線が重ならないというこの仮定はもちろん一般的に正しくない。例えば、実カ
メラ２５の解像度が実プロジェクタ２１の解像度に匹敵するか、またはそれより小さい場
合、または光拡散材料が実プロジェクタ２１からカメラ・センサのピクセル・アレイ２９
に投影された光線の光パスの間に位置する場合理想的な光線分布条件は達成できないかも
しれない。例えば、映写場面（すなわち表示環境または映写表面／領域）がコップ一杯の
牛乳など光拡散材料を含む場合、投射された光線は拡散され、カメラ・センサのピクセル
・アレイ２９において異なった光線間でかなり光の重なり合いがある可能性は非常に増え
る。しかし高解像度の映写を確保するよう設計された表示構成はこのような光拡散材料が
ない可能性が高く、投射された光のフットプリントは各々隣とは実質的に区別されること
が殆ど保証される。つまり、高解像度の映写が望ましい会場や設定の場合、投影画像の光
パスに沿って光拡散物品はない可能性が高い。

本第１実施形態において、実カメラ２５のピクセル解像度は実プロジェクタ２１のそれ
より少なくとも４倍高く、映写場面には光拡散材料がなく、理想的な光線分布状態の条件
が満足されると仮定される。しかし、実カメラ２５の解像度が実プロジェクタ２１より高
いものに限定されず、または実プロジェクタ２１と実カメラ２５との間の光パスが光拡散
材料のないものに限定されない、より一般的な状況に関する別の実施形態も下記に説明さ
れる。

この仮定およびベクトル生成方法の最初の図形的描写が図２、図３、図４に示される。
図２を参照すると、本発明の図示例は実カメラ・センサ・ピクセル・アレイ２９より低い
ピクセル解像度を有する実プロジェクタ・ピクセル・アレイ２７を示す。説明の便宜上、
プロジェクタ・ピクセル・アレイ２７は６行と７列（すなわちｐ＝６でｑ＝７）のみから
なり合計解像度が４２プロジェクタ・ピクセルｊ（すなわち（６×７）要素）となるよう
に図示される。同様に説明の便宜上、カメラ・センサのピクセル・アレイ２９は１２行と
１４列（すなわちｍ＝１２でｎ＝１４）のみからなり合計解像度が１６８カメラ・ピクセ
ルｉ（すなわち（１２×１４）要素）となるように図示される。カメラ・センサのピクセ
ル・アレイ２９の解像度はプロジェクタ・ピクセル・アレイ２７の解像度より４倍高く、
プロジェクタ・ピクセル・アレイ２７からカメラ・センサのピクセル・アレイ２９への光
パス内に光拡散材料は存在せず、従って本第１実施形態の理想的な光線分布条件が満足さ
れていることが特記される。

図２にプロジェクタ・ピクセル・アレイ２７内の各正方形は異なるプロジェクタ・ピク
セルｊを表す。本例において、第３行と第５列に位置するプロジェクタ・ピクセルｊの光
輸送係数を得ることが求められる（すなわちプロジェクタ・ピクセルｊ＝（５，３）がテ
ストされるピクセルである）。上記に説明されるように光拡散、または光散乱、は無視さ
れる。このように、プロジェクタ・ピクセルｊ＝（５，３）はオンにされている、すなわ
ち点灯されている、ことが白い正方形で示されるように図示され、他のすべてのプロジェ
クタ・ピクセルは濃い灰色の正方形で示されるようにオフのままとして図示される。プロ
ジェクタ・ピクセルｊ＝（５，３）は光線１を放射し、これはプロジェクタ・レンズ３を
通過した後映写表面５（これは基本的に実プロジェクタ２１および実カメラ２５が位置す
る環境で決定される一般的な映写場面である）に当たる。光拡散は本例において無視され
るので、光線１は映写表面５から反射し、カメラ・レンズ７を通過した後カメラ・ピクセ
ルｉのグループに当たり、円Ｆｔ１で示されるように光線フットプリントを形成する。各
プロジェクタ・ピクセルｊの解像度はカメラ・ピクセルｉのそれよりはるかに粗いので、
カメラ・センサのピクセル・アレイ２９に作成された光線フットプリントＦｔ１は数個の
カメラ・ピクセルｉを覆い、光線フットプリントＦｔ１の中央にあるカメラ・ピクセルｉ
（白い正方形で示される）がもっとも高い光強度を受け、光線フットプリントＦｔ１の周
辺部にあるカメラ・ピクセルｉ（薄い灰色の正方形で示される）はより少ない光強度を受
け、光線フットプリントＦｔ１内にないカメラ・ピクセルｉ（濃い灰色の正方形で示され
る）は光を受けない。次に、カメラ・センサのピクセル・アレイ２９内のすべてのカメラ
・ピクセルの光強度測定を判定することによりテストされるプロジェクタ・ピクセルｊ＝
（５，３）に対応する各カメラ・ピクセルｉの光輸送係数を決定することができる。

上記に説明されたように、プロジェクタ・ピクセル・アレイ２７を第１ベクトル（実投
影ベクトルＲｐｒｊｃｔ）と見て、得られるカメラ・センサのピクセル・アレイ２９にわ
たる取り込み画像を第２ベクトル（実取り込みベクトルＲｃｐｔｒ）と見ることが役に立
つ。実プロジェクタ・ベクトルＲｐｒｊｃｔをどのように構築できるかを図示したものが
図３に示される。まずプロジェクタ・ピクセル・アレイ２７を６つの行、ｒｏｗ_１から
ｒｏｗ_６に分け、次に各行を９０度回転させ６つの列セグメントｃｏｌ_ｓｅｇ_ｒ１か
らｃｏｌ_ｓｅｇ_ｒ６を形成する。６つの列セグメントｃｏｌ_ｓｅｇ_ｒ１からｃｏｌ_
ｓｅｇ_ｒ６を次に端と端をつないで（ｐ×ｑ）要素（すなわち（６×７）または４２要
素）を含む１つの合成列を形成する。本例において、要素ｃｏｌ_１_ｒｏｗ_１９（すな
わち列ｃｏｌ_１の上から１９番目の要素）はプロジェクタ・ピクセル・アレイ２７のア
レイ位置（５，３）にあるプロジェクタ・ピクセルｊに対応する。要素ｃｏｌ_１_ｒｏｗ
_１９は白い正方形として示され、他の要素はすべて暗くされた正方形で、要素ｃｏｌ_１
_ｒｏｗ_１９がオンになっている唯一のプロジェクタ・ピクセルであることを示している
。

同様のプロセスが図４においてカメラ・センサのピクセル・アレイ２９に適用され、実
取り込みベクトルＲｃｐｔｒが構築される。本例の場合、カメラ・センサのピクセル・ア
レイ２９はｍ行（すなわち１２行）に分けられ、各々９０度回転させられ図示されていな
い１２の列セグメントを形成する。図３でプロジェクタ・ピクセル・アレイ２７の配置を
変えたのと同じように、１２個の列セグメントは端と端をつないで（ｍ×ｎ）要素（すな
わち（１２×１４）または１６８要素）を含む１つの合成列ｃｍｒａ_ｃｏｌ_１（すなわ
ちベクトルＲｃｐｔｒ）を形成する。

本例において、アレイ位置（５，３）にあるプロジェクタ・ピクセルｊから放射される
光線はカメラ・センサのピクセル・アレイ２７上に光線フットプリントＦｔ１を形成する
と仮定される。光線フットプリントＦｔ１の範囲は円で示され、カメラ・センサのピクセ
ル・アレイ２９の４つの異なる行の１２個のカメラ・ピクセルｉを包含する。光線フット
プリントＦｔ１内のカメラ・ピクセルｉは図２または図３のプロジェクタ・ピクセルｊ＝
（５，３）（すなわち行列要素ｃｏｌ_ｌ_ｒｏｗ_１９）により放射された光線からの光
強度の少なくとも一部を受ける。光フットプリントＦｔ１の中央にあるカメラ・ピクセル
はもっとも多く光強度を受け、白い正方形で識別され、光フットプリントＦｔ１の周辺部
にあるカメラ・ピクセルはより少なく光強度を受け、薄い灰色の正方形として識別される
。光線フットプリントＦｔ１内にないカメラ・ピクセルは濃い灰色の正方形で示される。
図４に図示されるように、これらの白および薄い灰色の正方形は取り込み画像内の非ゼロ
要素をなし、ベクトルＲｃｐｔｒ（すなわち列ｃｍｒａ_ｃｏｌ_１）内で多数のゼロ値要
素（すなわち濃い灰色の正方形）の間に散在する白および薄い灰色の正方形（すなわち非
ゼロ値のＮＺ要素）として示される。

プロジェクタ・ピクセルｊからの１つの光線の光フットプリントがどのように数個のカ
メラ・ピクセルｉを覆うかの拡大図を提供する第２の例が図５（Ａ）および図５（Ｂ）に
示される。図５（Ａ）において、別の典型的なカメラ・センサのピクセル・アレイ２９の
部分図は第１行において１からｎまで、第２行において（ｎ＋１）から（２ｎ）まで、お
よび第３行において（２ｎ＋１）から（３ｎ）まで等々と水平に番号が付けられた個々の
カメラ・ピクセルｉを示す。このシーケンスを続けると、最下段の行に沿ったカメラ・ピ
クセルｉは（（ｍ−１）ｎ）＋１から（ｍｎ）まで番号が付けられることが理解されよう
。

別の典型的な１つのプロジェクタ・ピクセルｊからでカメラ・センサのピクセル・アレ
イ２９に作用する１つの光線の光線フットプリントＦｔ２が円として示される。例示の目
的から、光線フットプリントＦｔ２内にないカメラ・ピクセルｉ［すなわちｊ番目のプロ
ジェクタ・ピクセルから放射された１つの投射ビームが当たらないカメラ・ピクセルｉ］
は非常に暗く示され、フットプリントＦｔ２により部分的に覆われるカメラ・ピクセルｉ
は多少暗く示され、完全にフットプリントＦｔ２内にあるカメラ・ピクセルｉは暗くされ
ずに示される。技術的に周知のように、光線フットプリントＦｔ２に少なくとも部分的に
覆われる各カメラ・ピクセルｉは受けた光の量に比例する光強度値を記録する。この光強
度値はその個別的カメラ・ピクセルｉの光輸送係数として割り当てることができる。ある
いは、各カメラ・ピクセルｉの光輸送係数は個々のカメラ・ピクセルｉにより記録された
光強度値に比例するようにすることもできる。しかし、ｊ番目のプロジェクタ・ピクセル
からの投射ビームが直接当たらないカメラ・ピクセルｉは光強度値がゼロ（またはゼロに
近く、または所定の閾値光強度値未満）になるはずで、これらに対応する光輸送係数も同
様に光強度値がゼロ（またはゼロに近く）になるはずである。

図５（Ｂ）を参照すると、図５（Ａ）のフットプリントＦｔ２に対応するような画像取
り込みベクトルＲｃｐｔｒ_ｊ［または行列Ｔのｊ番目の列］が示される。この行列Ｔの
ｊ番目の列は図５（Ａ）のカメラ・センサのピクセル・アレイ２９において番号の付けら
れたカメラ・ピクセルｉに各々対応する、光輸送係数の番号付けされた垂直シーケンスと
して図示される。取り込みベクトルＲｃｐｔｒ_ｊの数のシーケンスは図５（Ａ）に示さ
れるカメラ・センサのピクセル・アレイにおける個々のカメラ・ピクセルｉの水平に番号
付けされたシーケンスに追従することが好ましい。図示されるように、取り込み画像化ベ
クトル内で光線フットプリントＦｔ２により覆われたカメラ・ピクセルｉに対応する要素
のみ光輸送係数として非ゼロ値、すなわち”ＮＺ”、を有する。他のカメラ・ピクセルは
すべて光輸送係数として”ＺＥＲＯ”値を有する。「は任意の非ゼロ光輸送値を表し、こ
の値は対応するカメラ・ピクセルｉが受けた光強度の量に関連することが理解されよう。
光線フットプリントＦｔ２はカメラ・ピクセル・アレイ２９の数行にまたがるため、各行
は取り込み画像ベクトルＲｃｐｔｒ_ｊに順に記載されており、ゼロ値光輸送係数の数個
の長いシーケンスが３，４個の非ゼロ、ＮＺ、値光輸送変数の間に散在する。

行列Ｔを決定する本新規方法に戻ると、まずプロジェクタ・ピクセルｊの個別の光輸送
係数は光輸送行列Ｔのｊ列にマップすることが特記される。プロジェクタ・ピクセル間の
最小限の重なりを仮定すると、撮像プロジェクタ・ピクセル・アレイ２７内のプロジェク
タ・ピクセルの第１組Ｓ１は光輸送行列Ｔの対応する列の組（プロジェクタ・ピクセル毎
に１つ）にマップすることになる。すなわち、

さらにプロジェクタ・ピクセルの第１組Ｓ１は目標プロジェクタ・ピクセルｊ、すなわ
ちテストされる目標プロジェクタ・ピクセル、を含むと仮定される。

実カメラ２５により取り込まれたプロジェクタ・ピクセルの第１組を同時に活性化する
ことにより作成される投影画像の第１実画像をＲｃｐｔｒ_Ｓ１とする。

次にプロジェクタ・ピクセルの第１セットＳ１とはテストされるプロジェクタ・ピクセ
ルｊのみ共有するプロジェクタ・ピクセルの第２セット、すなわち、

を考える。実カメラ２５により取り込まれたプロジェクタ・ピクセルの第２セットを同
時に活性化することにより作成される投影画像の第２実画像をＲｃｐｔｒ_Ｓ２とする。
光輸送行列Ｔのｊ番目の列の（テストされる目標プロジェクタ・ピクセルに対応する、す
なわちｊに対応する）光輸送係数は、取り込まれた実画像Ｒｃｐｔｒ_Ｓ１およびＲｃｐ
ｔｒ_Ｓ２より、これらが共有する唯一の光線フットプリント（すなわち図２、図４、ま
たは図５（Ａ）の光線フットプリントＦｔ１またはＦｔ２に類似）を特定することにより
直接得られる。この共通光線フットプリントは第１組Ｓ１および第２組Ｓ２が共有する唯
一の点灯されたプロジェクタ・ピクセルｊである、目標プロジェクタ・ピクセルｊから放
射された光線に対応することになる。

従って次のステップは取り込み実画像Ｒｃｐｔｒ_Ｓ１およびＲｃｐｔｒ_Ｓ２が共有す
る１つの光線フットプリントをどのように特定するかを判定することである。この共通の
光線のフットプリントを特定するには取り込み画像Ｒｃｐｔｒ_Ｓ１およびＲｃｐｔｒ_Ｓ
２Ａ双方をピクセル毎に比較して、比較した２つのピクセルの暗い方を特定する方法があ
る。例えば第１の取り込み画像Ｒｃｐｔｒ_Ｓ１において、個々の光線フットプリント内
の、各々プロジェクタ・ピクセルの第１セットＳ１の同時点灯に対応する、センサ・ピク
セルのみが非ゼロ（ＮＺ）の光強度値を有し、取り込み画像Ｒｃｐｔｒ_Ｓ１内の他のす
べてのピクセルはゼロ値を有する、すなわち比較的暗くなる。同様に第２の取り込み画像
Ｒｃｐｔｒ_Ｓ２において、光線フットプリント内の、同時点灯されたプロジェクタ・ピ
クセルの第２組Ｓ２に対応するセンサ・ピクセルのみが非ゼロ（ＮＺ）の光強度値を有し
、他のすべてのピクセルはゼロ値（または暗い）を有する（すなわち所定の閾値未満）。
２つの組Ｓ１およびＳ２は目標プロジェクタ・ピクセルｊのみを共有しているので、取り
込み画像双方の直接比較でＲｃｐｔｒ_Ｓ１およびＲｃｐｔｒ_Ｓ２双方に共通する唯一の
非ゼロ領域（すなわち暗くない領域）を特定することにより光線フットプリント内でプロ
ジェクタ・ピクセルｊに対応するカメラ・ピクセルが迅速に特定される。言い換えれば、
Ｒｃｐｔｒ_Ｓ１およびＲｃｐｔｒ_Ｓ２における点灯領域（すなわち光線フットプリント
）の交差点が特定され、この特定された光線フットプリントはテストされる目標プロジェ
クタ・ピクセルｊに対応する。

これを達成する一方法は取り込み画像Ｒｃｐｔｒ_Ｓ１およびＲｃｐｔｒ_Ｓ２Ａ双方を
ピクセル毎に比較し、比較された２つのピクセルの暗い方を留保することである。このプ
ロセスは、

と表すことができ、Ｔｊは行列Ｔのｊ番目の列で、”ＭＩＮ”はＲｃｐｔｒ_Ｓ１およ
びＲｃｐｔｒ_Ｓ２においてより低い値のカメラ・ピクセル（すなわちより低い取り込み
光強度値を有する、より暗いピクセル）が留保され、より高い値（すなわちより明るい）
カメラ・ピクセルは切り捨てられる。このように、留保される唯一の高光強度値はＳ１お
よびＳ２双方に共通する光線フットプリントに対応する。

言い換えれば、各個別のプロジェクタ・ピクセルｊの寄与はカメラ・センサのピクセル
・アレイ２９のはっきりと区別された部分にマップされるため、センサ・ピクセルｉ＝１
からｉ＝（ｍ×ｎ）までの中に取り込み画像Ｒｃｐｔｒ_Ｓ１およびＲｃｐｔｒ_Ｓ２に共
通で目標プロジェクタ・ピクセルｊに対応するカメラ・ピクセルｉの組Ｌがある。すなわ
ち、

目標プロジェクタ・ピクセルｊはプロジェクタ・ピクセルの組Ｓ１およびＳ２の交差点
で（すなわちｊは組Ｓ１およびＳ２双方に共通する唯一のプロジェクタ・ピクセルである
）、

となることが再度特記される。従って、目標プロジェクタ・ピクセルｊに対応しない（
すなわち組Ｌに含まれない、つまり∈Ｌでないピクセル）取り込みピクセル中（Ｒｃｐｔ
ｒ_Ｓ１およびＲｃｐｔｕｒ_Ｓ２双方において）、Ｒｃｐｔｒ_Ｓ１またはＲｃｐｔｒ_Ｓ
２のいずれかで比較されたカメラ・ピクセルの少なくとも１つは光を受けていない。光を
受けるカメラ・ピクセルは光を受けないカメラ・ピクセルより明るくなるため、演算ＭＩ
Ｎ（Ｒｃｐｔｒ_Ｓ１，Ｒｃｐｔｒ_Ｓ２）はセットＬに含まれるピクセル［すなわち∈Ｌ
］のみ点灯され、これはＴｊ、すなわち行列Ｔにおけるｊ番目の列、の良好な概算となる
。

これはプロジェクタ・ピクセル・アレイ２７における隣接プロジェクタ・ピクセルの組
が列および行（または１点のみで交差する、すなわち１つのプロジェクタ・ピクセルｊの
みを共有する、任意のパターンの対）で点灯され、プロジェクタ・ピクセルの点灯された
列に対し取り込み画像の第１集合Ｒｃｐｔｒ_Ｓｙが作られ、プロジェクタ・ピクセルの
点灯された行に対し取り込み画像の第２集合Ｒｃｐｔｒ_Ｓｘが作られた場合、任意の個
別のプロジェクタ・ピクセルに対する光輸送係数は双方の集合を比較し点灯された列の取
り込み画像が点灯された行の取り込み画像と交差する領域Ｌを特定することにより得られ
、交差点はプロジェクタ・ピクセルｊを単独に活性化することにより映写される光線に対
応する。

このように、輸送行列Ｔを決定する一方法は点灯されたｑ列のプロジェクタ・ピクセル
のｑ個の取り込み画像に対応する画像Ｒｃｐｔｒ_Ｓｙ_１からＲｃｐｔｒ_Ｓｙ_ｑの第１
セットを集め、点灯されたプロジェクタ・ピクセルの点灯されたｐ行のｐ個の取り込み画
像に対応する画像Ｒｃｐｔｒ_Ｓｘ_１からＲｃｐｔｒ_Ｓｘ_ｐの第２組を構築することで
ある。次にプロジェクタ・ピクセル・アレイ２７におけるすべてのプロジェクタ・ピクセ
ルｊ＝１からｊ＝（ｐ×ｑ）に対し、行および列の取り込み画像の対、Ｒｃｐｔｒ_Ｓｙ_
ａおよびＲｃｐｔｒ_Ｓｘ_ｂが存在し、組Ｒｃｐｔｒ_Ｓｙ_ａおよびＲｃｐｔｒ_Ｓｘ_ｂ
の交差点は目標プロジェクタ・ピクセルｊの活性化により作成される光線フットプリント
に対応する。従って、投影画像のセット
Ｒｐｒｊｃｔ_Ｓｙ_１からＲｐｒｊｃｔ_Ｓｙ_ｑ、およびＲｐｒｊｃｔ_Ｓｘ_１からＲ
ｐｒｊｃｔ_Ｓｘ_ｐ
を構築する必要があり、ここで各投影画像Ｒｐｒｊｃｔ_Ｓｙ_１からＲｐｒｊｃｔ_Ｓ
ｙ_ｑは任意の投影画像Ｒｐｒｊｃｔ_Ｓｘ_１からＲｐｒｊｃｔ_Ｓｘ_ｐと対にされ、対
になった投影画像の各組は１つの光線フットプリントのみを共有する。すなわち、

となる。上記の式は｛１，…，（ｐ×ｑ）｝におけるすべてのプロジェクタ・ピクセル
ｊについて投影画像の対が存在し、各々は異なって構成されたパターンを有し、構成され
たパターンの交差点は共通のプロジェクタ・ピクセルｊに対応する１点（すなわちパター
ンの区分、または１つの光フットプリント領域）において交差することを意味すると解釈
される。構成されたパターンのこのような対の基本例として垂直な光の線および水平な光
の線の投影対があげられる。この場合、垂直な光の線の取り込み画像と、水平な光の線の
取り込み画像との交差点はテストされる目標プロジェクタ・ピクセルｊに対応するすべて
のカメラ・ピクセルｉ（すなわちテストされるプロジェクタ・ピクセルｊから放射された
光線により作成される光線フットプリント内に入るすべてのカメラ・ピクセルｉ）を含む
。

従って輸送行列Ｔ内の任意の列Ｔｊ［ここでｊ＝１から（ｐ×ｑ）］は画像Ｒｃｐｔｒ
_Ｓｙ_１からＲｃｐｔｒ_Ｓｙ_ｑおよびＲｃｐｔｒ_Ｓｘ_１からＲｃｐｔｒ_Ｓｘ_ｐによ
り合成することができる。この特性を満足する方法はピクセル座標を使用することである
。Ｒｐｒｊｃｔ_Ｓｘ_ｊはｊに等しいｘ座標を有するピクセルのみオンになる第１投影画
像とし、Ｒｐｒｊｃｔ_Ｓｙ_ｋはｋに等しいｙ座標を有するピクセルのみオンになる第２
投影画像とする。そうするとＭＩＮ（Ｒｐｒｊｃｔ_Ｓｘ_ｊ，Ｒｐｒｊｃｔ_Ｓｙ_ｋ）は
プロジェクタ・ピクセル（ｊ，ｋ）がオンにされたことに対応する画像を与える。このプ
ロセスは図６（Ａ）、図６（Ｂ）、図７（Ａ）、図７（Ｂ）、図８（Ａ）、および図８（
Ｂ）を参照するとより良く理解できる。

図６（Ａ）において、場面または表示環境は市松格子パターンを有する平たい表面４１
として例示される。市松格子パターンは投影光線の対比を提供することにより単に本説明
を分かり易くするために示され、表示環境は全くパターンがなくても良く、不規則な形状
をしていても良いことが理解されよう。各垂直な光の線および水平な光の線の相対位置は
、これらを作成する時にどのプロジェクタ・ピクセルがオンにされたか分かっているため
、既知のもので、以下により詳細に説明するように、それらの既知の相対移動を用いて実
プロジェクタ２１を較正することができる。

まず、光ビームの明るい垂直線（すなわち光線の列）４７_ｋが実プロジェクタ２１に
より表面４１に投影される。この場合、明るい垂直線４７_ｋはプロジェクタ・ピクセル
・アレイ２７内の、ｋに等しいｙ座標を有するすべてのプロジェクタ・ピクセルをオンに
することにより生成される。実カメラ２５が次にこの画像、Ｒｃｐｔｒ_Ｓｙ_ｋ、をプロ
ジェクタ・ピクセルの点灯された列の一例として取り込む。

図６（Ｂ）では図６（Ａ）に類似したすべての要素が同様の参照番号を有するが、実プ
ロジェクタ２１が光線の第２の明るい垂直線４７_ｔを表面４１に投影する。この場合、
明るい垂直線４７_ｔはｔに等しいｙ座標を有するすべてのプロジェクタ・ピクセルをオ
ンにすることにより生成される。実カメラ２５が次にこの画像、Ｒｃｐｔｒ_Ｓｙ_ｔ、を
点灯された映写ピクセル列の別例として取り込む。実プロジェクタ２１はプロジェクタ・
ピクセル・アレイ２７のｑ列各々に対し光線の別の明るい垂直線を投影でき、実カメラ２
５は投影された明るい垂直線各々の別の画像を取り込めることが理解されよう。

図７（Ａ）に関し、図６（Ａ）および図６（Ｂ）に類似したすべての要素は同様の参照
番号を有し、上記に説明される。この場合実プロジェクタ２１は光線の明るい水平線４９
_ｊを映写表面４１に投影することが好ましい。明るい水平線４９_ｊはｊに等しいｘ座標
を有するすべてのプロジェクタ・ピクセルをオンにすることにより生成される。実カメラ
２５は次にこの画像、Ｒｃｐｔｒ_Ｓｘ_ｊ、をプロジェクタ・ピクセルの点灯された行の
一例として取り込む。

図７（Ｂ）において、実プロジェクタ２１は光線の第２の明るい水平線ム４９_ｒを表
面４１に映写する。前と同じように、水平ビーム４９_ｒはｒに等しいｘ座標を有するす
べての映写ピクセルをオンにすることにより生成される。実カメラ２５は次にこの画像、
Ｒｃｐｔｒ_Ｓｘ_ｒ、をプロジェクタ・ピクセルの点灯された行の別例として取り込む。
実プロジェクタ２１はプロジェクタ・ピクセル・アレイ２７のｐ行各々に対し光線の別の
明るい水平線を投影でき、実カメラ２５は投影された明るい水平線各々の別の画像を取り
込めることが理解されよう。

図６（Ａ）からの取り込み画像Ｒｃｐｔｒ_Ｓｙ_ｋおよび図７（Ａ）からの取り込み画
像Ｒｃｐｔｒ_Ｓｘ_ｊをピクセル毎に比較し（あるいは各々の明るい垂直線および明るい
水平線のみを比較する）、演算ＭＩＮ（Ｒｃｐｔｒ_Ｓｘ_ｊ，Ｒｃｐｔｒ_Ｓｙ_ｋ）を用
いてで比較された２画像のピクセルの内より暗い方のみを留保し２つの内明るい方を切り
捨てると、図８（Ａ）に示される画像４１’が生成される。図８（Ａ）および図８（Ｂ）
において図６（Ａ）、図６（Ｂ）、図７（Ａ）、および図７（Ｂ）に類似したすべての要
素は同様の参照番号を有しているがアポストロフィが加えられ、上記に説明される。

画像Ｒｃｐｔｒ_Ｓｘ_ｊのほとんどは画像Ｒｃｐｔｒ_Ｓｙ_ｋと同じであるため（すな
わち、両者ともほとんど平たい表面４１上の投影光線による単純な市松格子パターンを含
む）、比較された２つのピクセルの内より暗い方を留保しても結果として得られる画像の
大半は変わらない。つまり、比較された２つのピクセルが比較的同じである場合、いずれ
のピクセルを他方の代わりに選んでも結果として得られる画像４１’はあまり影響されな
い。しかし、取り込み画像Ｒｃｐｔｒ_Ｓｙ_ｋの明るい垂直線４７_ｋを取り込み画像Ｒ
ｃｐｔｒ_Ｓｘ_ｊの明るい水平線４９_ｊ上にない対応ピクセルと比較した場合、２つの
画像ピクセルのより暗い方を留保することは画像Ｒｃｐｔｒ_Ｓｙ_ｋからの明るい垂直線
のピクセルを切り捨て、画像Ｒｃｐｔｒ_Ｓｘ_ｊからの、プロジェクタ・ピクセルではな
く周辺光で照明されたそのままのピクセルを留保することになる。従って、明るい垂直線
は生成画像４１’から取り除かれる。同様に画像Ｒｃｐｔｒ_Ｓｘ_ｊの明るい水平線４９
_ｊ上のピクセルを画像Ｒｃｐｔｒ_Ｓｙ_ｋの明るい垂直線４７_ｋ上にない対応ピクセル
と比較した場合、２つの画像ピクセルのより暗い方を留保することは画像Ｒｃｐｔｒ_Ｓ
ｘ_ｊからの明るい水平線上のピクセルを切り捨て、画像Ｒｃｐｔｒ_Ｓｙ_ｋからの、プ
ロジェクタ・ピクセルではなく周辺光で照明されたそのままのピクセルを留保することに
なる。これにより水平線４９_ｊも生成画像４１’から取り除かれる。しかし、明るい垂
直線４７_ｋが明るい水平線４９_ｊと交差する領域内では、比較される画像ピクセルは双
方とも光線による影響を示す明るく点灯されたピクセルである。この交差点領域内のこれ
ら２つの画像ピクセルを比較すると、２つの明るいビームのピクセルのいずれかが画像４
１’用に選択されることになる。その結果、画像４１’は撮像映写アレイ２７の座標（ｊ
，ｋ）から放射される投影光線に対応する、明るく点灯した領域５３を示す。このように
、座標（ｊ，ｋ）を有するプロジェクタ・ピクセルに対する光輸送係数は（ｊ，ｋ）にお
けるプロジェクタ・ピクセルから個別的に投射される光線の画像を物理的に取り込む必要
なくして、生成画像５３から抽出することができる。

図８（Ｂ）に第２の例が示され、図６（Ｂ）および図７（Ｂ）に対応する実取り込み画
像（これは上述の指名方法に従い各々実取り込み画像Ｒｃｐｔｒ_Ｓｙ_ｔおよびＲｃｐｔ
ｒ_Ｓｘ_ｒに対応する）の組み合わせがプロジェクタ・ピクセル・アレイ２７の座標（ｒ
，ｔ）から放射された投影光線に対応する第２の明るく点灯した領域５５をもたらす。

同様のプロセスに従い、各投影ピクセルｊを１つずつ個別的にオンにし投影することな
く、プロジェクタ・ピクセル・アレイ２７におけるすべての投影ピクセルの光輸送係数を
特定することができる。仮定的かつ単独的に活性化されたプロジェクタ・ピクセルを生成
してプロジェクタ・ピクセルの光輸送係数を得るこの方法は実プロジェクタ２１の撮像映
写アレイ２７におけるプロジェクタ・ピクセルの各行および列に対する（ｐ＋ｑ）個の取
り込み画像しかせいぜい必要としない。さらに、一旦、すべてのピクセル映写位置が特定
されると、（ｐ＋ｑ）個の取り込み画像は廃棄することができ、保存するのはインデクス
および対応フットプリント情報のみである。

この方法の例が図９に示され、プロジェクタ・ピクセル・アレイ２７（網目パターンと
して図示）の部分図がカメラ・センサのピクセル・アレイ２９（同様に網目パターンとし
て図示）と比較される。本例において実カメラ２５のピクセル密度（すなわち解像度）が
実プロジェクタ２１の解像度より高いことが好ましく、従って単一のプロジェクタ・ピク
セルｊから放射された光ビームは数個のカメラ・ピクセルｉにかかる光フットプリント（
Ｆ１などの）を作り出す可能性があることをよりよく示すために図解上、部分的なカメラ
・センサのピクセル・アレイ２９を図示する網目パターンはプロジェクタ・ピクセル・ア
レイ２７をあらわす網目パターンより濃くなっている。

図９の本例において、実プロジェクタ・ピクセル・アレイ２７のインデクスは円１，２
，３，…，（ｑ＋１），…，（２ｑ＋１），…等々が個々のプロジェクタ・ピクセルｊを
表す部分アレイで表される。同様に実カメラ・センサのピクセル・アレイ２９は個々に活
性化されたプロジェクタ・ピクセルｊに対応するフットプリント情報を表した円形光フッ
トプリントＦ１，Ｆ２，Ｆ３，…，Ｆ（ｑ＋１），…等々の対応部分アレイが重ねられて
示される（光散乱は無視すると仮定して）。このように、フットプリントＦ１，Ｆ２，Ｆ
３，…，Ｆ（ｑ＋１），…等々は各々プロジェクタ・ピクセル１，２，３，…，（ｑ＋１
），…等々に対応する。

この方法に従うと、２組の情報しか格納する必要がない。第１組の情報はプロジェクタ
・ピクセルｊのインデクスに対応し、第２組はカメラ・ピクセルｉのグループを各プロジ
ェクタ・ピクセルｊに結び付けたフットプリント情報に対応する。言い換えれば、ゼロ値
の係数は格納する必要がなく、メモリ要件がかなり削減される。

この情報を体系付ける第２の例が図９に示され、プロジェクタ・ピクセルｊのインデク
ス６１はグレースケール（すなわち非ゼロ値、または”ＮＺグレースケール”）のカメラ
・ピクセルｉの情報のグループ６３（すなわちもたらされた光ビームのフットプリントに
対応する）を指す、またはそれに対応するように図示される。

デュアル・フォトグラフィに向けて必要な光輸送係数を生成するために格納する必要の
ある画像数をどのように削減するか、および格納し操作する必要のあるデータの量をどの
ように削減するかを示した上、以下次の部分ではデュアル・フォトグラフィを実施する際
の実際的な問題のいくつかを扱う。上記で説明したとおり、光輸送行列Ｔは非常に大きい
可能性があり、その使用（またはその数学的転置のデュアル光輸送行列Ｔ^Tの使用）には
大量のアクティブ・メモリ（例えばＤＲＡＭ）および法外な演算処理能力／時間を必要と
する。従ってデュアル画像の一般的な使用は今まで実用的でなかった。

効率的にデュアル画像を構築するにはまず、

であることが特記される。仮想カメラ２１”における仮想カメラ・センサのピクセル・
アレイ２７”は実際には実プロジェクタ２１における実プロジェクタ・ピクセル・アレイ
２７に対応するため、仮想カメラ２１”で得たＶｃｐｔｒ”内の任意の仮想カメラ・ピク
セルに対し同じインデクスｊを用いることが便利である。従って、仮想取り込み画像にお
ける各仮想プロジェクタ・ピクセルｊ対Ｔ^Tにおいて対応する要素の行の関係は、

と示すことができ、Ｔ^T _jはＴ^Tにおけるｊ番目の行を指す。

上述のように、Ｔ^Tは光輸送行列の数学的転置（すなわち行列Ｔを対角線で回転させる
）で、行Ｔ^T _jの値（ここでｊは１から（ｐ×ｑ）の任意の値）は従って行列Ｔのｊ番目の
列に対応する（すなわちＴ_{COL_}ｊ）。Ｔの各列は（ｍ×ｎ）個の要素を有するので（すな
わち実カメラ２５のピクセル解像度に等しい）、これは大量の要素のようにみえる。しか
し、本実施において行列Ｔの各列において限定数の要素しか非ゼロでない（すなわち垂直
および水平線の交差点が当たったカメラ・ピクセルｉ、すなわち光のフットプリント、に
対応するもの）ことを鑑みると、行列Ｔの各列ｊ内（さらには各行Ｔ^T _j内）における（ｍ
×ｎ）個の要素の内数個のみ非ゼロであることは自明である。従ってＶｃｐｔｒ”（ｊ）
を演算する際にＴ_{COL_}ｊのすべての要素を調べる必要はない。実際、図８および図９に関
連して上述のように、すべての個別に活性化されるプロジェクタ・ピクセルｊおよびそれ
らに対応する光ビームのフットプリント情報６３を示す単一のインデクス６１が格納され
ることが好ましい。

図１０に示すように、インデクス６１は投影された各光ビーム（実プロジェクタ２１の
個別のプロジェクタ・ピクセルｊからの）についてグレースケール入力６３のリストを結
び付ける。グレースケール入力６３の各グループはＴの各列内の非ゼロ入力に対応してお
り、光輸送行列Ｔのある列の各行列演算の際にはこれら非ゼロのグレースケール値のみ調
べる必要があることが理解されよう。このように、Ｖｃｐｔｒ”（ｊ）＝Ｔ^T _j＊Ｖｐｒｊ
ｃｔ”の各値を決定するのに必要な計算の数はかなり削減される。

言い換えれば、処理する必要のある行列Ｔの各列Ｇ内における要素のこのサブセットＳ
Ｖｃｐｔｒ”（Ｇ）はＴ_{COL_}Ｇ（ａ）と定義することができ、ここでａはＶｃｐｔｒ”（
Ｇ）における任意の仮想取り込みピクセルである［すなわちａ∈｛１，…，（ｐ×ｑ）｝
］。従って、各ＳＶｃｐｔｒ”（Ｇ）に対し調べるべき要素のセットは、

と定義することができる。一般的に‖ＳＶｃｐｔｒ”（Ｇ）‖≪（ｐ×ｑ）であるので
、

を演算する方が

を演算するよりはるかに時間がかからない。

この方法を用いて生成されたデュアル画像の例を図１１（Ａ）および図１１（Ｂ）に示
す。図１１（Ａ）は実プロジェクタにより投影された根本画像を示す。図１１（Ｂ）は本
方法の実施による演算の結果もたらされるデュアル画像を示す。図１１（Ｂ）のデュアル
画像は実プロジェクタ２７（すなわち仮想カメラ２１”）により仮想的に取り込まれた画
像を表しており、または言葉を変えると実プロジェクタ２１が「見た」画像である。

上記の考察はより少ない画像の組から効率的にデュアル画像を演算する方法を示し、こ
れは演算時間と併せて画像取り込み時間も節約する。上述のように、実取り込み画像およ
びデュアル取り込み画像は各々実カメラ２５および実プロジェクタ２１双方を較正するの
に用いることができる。

つまり、プロジェクタ・ビューからの画像を直接取り込むことはできないため、簡単な
解決はデュアル・フォトグラフィ手法を用いて対応カメラ画像からプロジェクタ・ビュー
画像（すなわちデュアル画像）を構成し、次に構成された画像を用いてプロジェクタを較
正することである。例えば、入念に測定した特徴を有する既知の被写体の実画像をさまざ
まな角度からいくつか撮った後、被写体の既知の寸法を用いて異なった角度のビューによ
り生じた歪みを補正することにより実カメラを較正することができる。同じ取り込み画像
からデュアル・フォトグラフィを用いて実プロジェクタが見た仮想画像を次に上述のよう
に生成し、実カメラに類似した方法で実プロジェクタを較正することができる。

しかしこの簡単な方法と結び付いた一つの問題は光輸送行列Ｔを生成し操作し、大量の
カメラおよびプロジェクタ画像ピクセルによりもたらされる大きな画像ベクトルを演算す
る難しさである。この労働集約的で高価なプロセスは上述のデュアル・フォトグラフィ方
法を用いることにより相当緩和されるものの、図１（Ａ）に示すようなプロジェクタ−カ
メラ・システムにおける実プロジェクタ２１を較正する目的から出願者は完全なＴ行列を
生成し完全なデュアル画像を作成する必要を避けながらもデュアル画像（すなわち実プロ
ジェクタ２１が「見た」画像）を用いる利点のいくつかを利用して実プロジェクタ２１の
較正を簡単にする新規な方法を開発した。

映写場面が比較的平たいと仮定すると、光輸送係数を判定しなければならない光フット
プリントの数を大幅に減らすことができる。言い換えれば、プロジェクタを較正するため
に完全なデュアル画像を構築することなく、特に映写表面にあまり凹凸がない場合戦略的
な点の組の位置を判定するだけで良いことに注目することにより完全なＴ行列の生成を全
く避けることができる。例えば、戦略的な点の組は図６（Ａ）におけるプロジェクタから
見た平たい表面４１の市松格子パターン内における正方形の角であることができる。映写
場面の表面凹凸が大きいほど、戦略的に選ばれた点の組における点の数が多くなる。逆に
映写場面が平たいほど、戦略的な点の組における点の数が少なくなる。

この戦略的な組における点の数を減らすという目標を達成し、それにより完全なＴ行列
を生成し操作することを避け、さらにデュアル画像生成プロセスのいくつかの特徴を較正
プロセスそのものに組み入れるために出願者はホモグラフィに基づく方法を適合させた。
本発明のこの別の実施形態はプロジェクタ・ビューの画像にわたり市松の角の特徴（また
は他の既知の特徴）の座標を、デュアル画像の構築および構築されたデュアル画像からの
角の検出を必要とすることなく、直接的に演算する。

この新規な方法において、実カメラを用いて平面状の市松格子の画像を取り込み、取り
込み画像にわたり市松格子の角を検出することができる。市松模様は全く例示的な目的で
用いられ、どのような場面を取り込むこともできることが理解されよう。本件の場合、投
影された垂直および水平線の配向は知られているので、場面にかかわらず投影線の変動を
特定し補正することができる。このように、プロジェクタ−カメラ・システムの構成要素
はすべて同時に較正される。

次に、プロジェクタ画像は２つ（またはそれ以上）の別個の視点から見た単一場面の２
つ（またはそれ以上）のビューを関連付ける、いわゆる透視映写モデルに追随しているこ
とが観察される。つまり、異なった視点は場面に対し異なった角度に位置しているので、
同じ場面の異なったビュー（または画像）を「見る」ことになる。しかし、実場面は１つ
しかないので（場面のビューの数に関係なく）、異なったビュー間の数学的関係を実現し
、任意のビューにおける任意の点を実場面において対応する点に結び付ける（かつ他のビ
ュー各々において対応する点に結び付ける）ことができる。

これら別個のビューの１つが実プロジェクタの「見た」仮想画像であると仮定し、第２
の別個のビューが実カメラにより取り込まれた実画像であるとみなすと、完全なデュアル
画像を生成することなく透視映写モデル（２つのビューを共通の実場面に関連付ける）に
より取り込み実画像から仮想画像に関係する何らかの情報を抽出できることになる。

この方法を用い、出願者は完全なデュアル画像を必要とせずに実プロジェクタを較正す
るために充分な情報を抽出する方法を考案した。従って、デュアル画像が完全に作成され
なくても、迂回的な方法ではあるがプロジェクタにカメラ較正手法を適用することができ
る。

透視映写モデルの下で、平たい被写体を異なったビューから映写した２つの画像間の関
係は単純な線形投影変換またはホモグラフィである。この変換は平たい被写体上の任意点
の座標（すなわち同次座標）をその平たい被写体の具体的なビュー上で対応する点の座標
に関連付ける。本実施形態で、平たい市松格子のプロジェクタ・ビュー画像は対応するカ
メラ画像のホモグラフィである。具体的には、実場面（すなわち市松格子）の任意点Ｐに
ついて、そのプロジェクタ・ビュー画像Ｕｐ＝（ｕｐ，ｖｐ，１）における同次座標およ
びカメラ画像Ｕｃ＝（ｕｃ，ｖｃ，１）における座標は次の方程式を満足する。

ここでλはスカラーで、Ｈは３×３ホモグラフィ変換行列（技術的に知られているよう
に）で、右下の入力は１に設定される。対応座標対は３つの線形方程式を提供し、方程式
の内１つがスカラーを決定し、他の２つはホモグラフィ変換行列Ｈを決定するために用い
られる。３×３行列Ｈには８つの未知の入力があるので、市松模様上のＮの座標点（ここ
でＮ≧４）の対応が与えられると、プロジェクタ・ビューおよびカメラ画像間のホモグラ
フィは２Ｎの線形方程式を解くことにより再生することができる。Ｎの数が大きければ大
きいほど、プロジェクタ・ビューおよびカメラ画像間の座標点を関連付けるエラーが低く
なる。

対応する座標を得るために、１０個の白点が市松格子パターンなどの場面上に投影され
ることが好ましい。投影された白点を有する市松格子パターンの画像が実カメラ２５など
の実カメラを用いて取り込まれ、カメラ画像における１０個の点の座標が演算される。本
プロセスで、１０個の点は取り込み画像において対応する座標の演算中区別されているこ
とのみが必要である。これは１０個の点を順に投影し、対応する座標を順に判定すること
によって達成できる。あるいは、異なった色の点を同時に投影して、異なった点を色で識
別することができる。

プロジェクタは好ましくは既知の相互関係において点を投影したので、投影画像におけ
る点の座標は分かっている。これは１０対の対応座標をもたらし、１組は実カメラで取り
込まれたもの、第２組は実プロジェクタで投影されたものである。一旦、ホモグラフィが
再生されると、カメラ画像において検出された市松格子の角の座標を直接変換してプロジ
ェクタ・ビュー画像において対応する角座標を演算することができる。次に前述のような
カメラ較正方法を用いてプロジェクタ・パラメータを較正することができる。

この方法の例を図１２に示す。図１２において、特徴取り込み結果は次のとおりである
。輪郭で示されない円、または点（例えば点８１）はホモグラフィを推定するために用い
られ、輪郭を描かれた円、または点（例えば点８３）は角の点特徴である。見られるよう
に、輪郭を描かれた点８３は実際の角上にあり、検出された各角のプロジェクタ座標が正
しく取り込まれたことを示している。

しかし点を投影する代わりに、１点で交差する複数対の線（すなわち上述の水平および
垂直線）を投影する上述の方法を使用し、線の各対の１交差点から点情報を抽出すること
ができることが理解されよう。さらに、投影された線の対の空間関係は既に分かっている
ので、線を上述の市松格子パターンのような既知のパターン上に投影する必要はない。つ
まり、プロジェクタ・ピクセル・アレイのどの列と行が同時に点灯されたか分かっている
ので、その空間関係も分かっている。さらに、カメラはその特定の場面に対し予め較正さ
れている必要はないことが特記される。逆にプロジェクタとカメラは同時に較正されるこ
とができる。

前記に説明したとおり、点情報を抽出するためにパターンを使用するこの方法は一連の
パターン投影および画像取り込み工程を含む。従って、較正されていないカメラが各投影
パターン（すなわち垂直または水平線）を取り込む際、映写表面の凹凸による投影パター
ンの歪みをその時点では無視することができる。すべてのパターンが取り込まれると、垂
直および水平線間の空間関係が分かっているのでプロジェクタとカメラとの間の空間関係
（または変換）を設定することができる。つまり、投影された垂直および水平線間の空間
関係は、それらを生成する際どのプロジェクタ・ピクセルが点灯されたか分かっているの
で、分かる。さらに、垂直および水平線の真の配向が分かっているので、映写場面上の凹
凸およびビューの角度を補正することができる。

垂直線の取り込み画像を水平線の取り込み画像と組み合わせて点情報を抽出する際、ど
のプロジェクタ・ピクセルが抽出された点に関連しているかが分かっており、さらにカメ
ラ・ピクセルのどのグループが抽出された点（垂直および水平線の交差点で判定される）
に対応するかを判定することができる。このようにプロジェクタとカメラとの間のホモグ
ラフィ関係（すなわち一方のビューを他方に変換）はいずれかの装置を個別に特定の映写
場面（または映写表面）に対し較正する必要なく達成することができる。

この方法は上述の輸送行列Ｔを生成する簡略化された方法を取り入れているが、必要な
画像投影・取り込み工程の数を（ｐ＋ｑ）から、望ましい点の数で決定される、（ｐ＋ｑ
）のほんの一部にまで削減する。場面環境が平たい映写表面であるプロジェクタ−カメラ
・システムを較正するのに最小限４個の点が用いられるが、映写表面の凹凸、画像取り込
み工程におけるエラーの可能性、および投影された光の線またはパターンの周辺光ノイズ
の存在による識別エラーを考慮に入れるため、７つの水平線および７つの垂直線を投影し
て多ければ１４から４９個の点を生成すればほとんどのエラーを克服するのに十分である
ことが見出されている。映写場面の表面凹凸が多いほど、交差する線の対の必要数が多い
ことが理解されるであろうが、この７つの垂直線と７つの水平線という数は多くの実在す
る状況に十分であることが見出されている。（ｐ＋ｑ）個よりはるかに少ない点の数しか
必要でない１つの理由は、デュアル・フォトグラフィで使用するために完全な輸送行列を
生成しようとしているのではなく、むしろ２つのビュー、すなわち実カメラの実ビューと
実プロジェクタからの仮想ビュー、の間のホモグラフィ関係を見出すために既知の関係の
点を数個特定することに関心があるからである。しかし、完全な光輸送行列Ｔの推定は点
の間に円滑な遷移を仮定すれば数個の関係する点から生成できることが強調される。つま
り、一旦、ホモグラフィ関係が得られると、Ｕｐ＝λ＊Ｈ＊Ｕｃの同じ関係を用いて推定
光輸送行列Ｔを構築する際に隙間を埋めることができる。

上述の輸送行列Ｔを生成する方法のさらに別の用途は以下の問題、つまりプロジェクタ
とカメラの対があるとして、カメラが特定場面（すなわち投影環境）上で望ましいビュー
を「見る」ようにしたい場合望ましいビューを実現するためにプロジェクタは何を場面に
照らすべきか、を解決するために適用することができる。この課題は以下「ビュー投影」
と呼ぶ。

投影に必要な画像を見つけることは明らかに場面の幾何学的形状およびプロジェクタ装
置の投影特性とともに、プロジェクタからの光の反射が正確な望ましいビューを実現する
よう場面の測光特性の詳細かつ正確な知識を必要とする。均一なアルベド、すなわち反射
性、およびパラメトリック形状を有する表示表面の場合、これら必要な測定は明示的にな
すことができる。

しかし恣意的に複雑で、不均一な表面反射率特性を有するノンパラメトリック形状上で
高画質の画像を実現するのはまだ困難な課題で、幅広い種類のツールに精通していること
と人間による相当な介入を必要とする本発明の一目的は完全に自動的で、平常通りのハー
ドウェア設定以上のユーザ介入またはパラメータの微調整を必要としない測定を考案する
ことである。言い換えれば、「ビュー投影」能力を達成したプロジェクタ−カメラ・シス
テムはボタンを押すだけで完全に自ら較正すべきである。

困難な周囲環境の下で複雑な表面に正しく表示できる映写システムは多くの実社会の用
途を有する。これを完全に自動化すると、専門的な表示設定が必ずしもないような周囲環
境において使用することができる。本発明の別の目的は非標準的な機器の必要性を減らし
、普通の消費者が入手できるような市販部品で良質な較正を達成することである。この目
標はこれまでの実施形態の特徴および利点を自動化され簡略化されたプロセスに組み合わ
せることにより達成することができる。

図１（Ａ）における、１台のプロジェクタ２１および１台のカメラ２５を含む画像設定
に関連して前記に説明したように、プロジェクタ２１はｐ行ｘｑ列のプロジェクタ・ピク
セル・アレイ２７を有し、カメラはｍ行×ｎ列のカメラ・センサのピクセル・アレイ２９
を有する。プロジェクタ２１から放射される光線は場面（すなわち映写表面）から反射し
、ある部分は最終的にカメラ・センサのピクセル・アレイ２９に到達する。一般的に、各
光線は場面において分散、反射、屈折され、カメラ・センサのピクセル・アレイ２９のい
くつか異なった箇所に当たる。このように、プロジェクタ・ピクセルｊを通過する光線は
カメラ２５に到達し、カメラ・センサのピクセル・アレイ２９全体にわたりｍ×ｎの画像
を形成し、各カメラ・ピクセルｉはある程度の光の量を受ける。投影された画像を（ｐ×
ｑ）要素のベクトルＲｐｒｊｃｔと表し、取り込まれた画像を（ｍ×ｎ）要素のベクトル
Ｒｃｐｔｒと表すと、プロジェクタ２１およびカメラ２５間の光輸送は以下のように記述
することができる。

ここでＴは光輸送行列である。図１（Ｂ）に図示されるように、ヘルムホルツの相反定
理によると、方程式、

を用い、実プロジェクタ２１はｐ行×ｑ列の仮想カメラ２１”とみなされ、実カメラ２
５はｍ行×ｎ列の仮想プロジェクタ２５”とみなされる「デュアル」な設定をモデル化で
きることが示されている。これにより「デュアル・フォトグラフィ」が可能になり、実プ
ロジェクタ２１により取り込まれたように見える画像を合成することができ、場面は実カ
メラ２５から発せられた光で照らされるように見える。

本実施形態の目的である「ビュー投影」は別の問題に取り組んでいる。「ビュー投影」
における関心は場面を照らすために用いた場合、カメラが所定の望ましい画像を取り込め
るようなプロジェクタ画像を見出すことである。光輸送の見地からすると、Ｔおよび望ま
しいＲｃｐｔｒが与えられ、Ｒｐｒｊｃｔを再生、すなわち生成、したいわけである。光
輸送行列Ｔの逆、Ｔ^-1、を判定できればＲｐｒｊｃｔは明らかに次の方程式で見出すこと
ができる。

光輸送行列Ｔの逆は過去において他の目的に用いられている。例えば、Seitz他による
論文「逆光輸送の理論」（”A Theory of Inverse Light Transport”）、（IEEE Intern
ational Conference on Communications、ICC V05）は引用により全体として本明細書に
組み入れられるが、これにおいて、光輸送行列Ｔの逆を用いて任意の場面における光の跳
ね方を分析している。この方法において、場面はη個の跳ね画像の総計に分解され、各画
像はカメラに到達する前にη回跳ねる光の寄与を記録する。「インパルス画像」の行列を
用い、各η個の跳ね画像を演算して光がどのように場面を通して伝播するかを推測する。

Seitz他が取り組んでいる問題はもちろん「ビュー投影」が課すものとは異なり、後者
の場合は望ましい画像（例えばＲｃｐｔｒ）が提供または想定され、望ましい画像を実現
できる未知の投影源を推測しようとする。この場合はＲｐｒｊｃｔ＝Ｔ^-1＊Ｒｃｐｔｒを
演算することが有益である。デュアル・フォトグラフィのＴ^T＊Ｒｐｒｊｃｔ”は仮想取
り込み画像Ｖｃｐｔｒ”を具現し、これはＲｃｐｔｒの異なったビューであるが、投影画
像Ｒｐｒｊｃｔの実際の源は示されないことが特記される。

しかし輸送行列Ｔの逆、Ｔ^-1、は転置より演算が難しく、演算リソースをはるかに多く
必要とする。事実、Ｔの全体の大きさが故にＴ^-1の演算は甚大な演算リソースを必要とす
る極めて困難なタスクである。尚悪いことには、任意の行列の逆を見出すことは常に可能
ではない。つまり、行列によっては逆がないこともある。

技術的に周知のように、恒等行列、または単位行列はＩで示され、所定の行列Ａに対し
次の関係が適用できる。

行列Ａが配列ｍ×ｎの行列である場合、乗法前の恒等行列Ｉは配列ｍ×ｍとなり、一方
乗法後の恒等行列Ｉは配列ｎ×ｎとなる。

行列の乗法的な逆は通常単位行列Ｉの点から定義される。行列Ａの左乗法的な逆はＢＡ
＝Ｉとなるような行列Ｂで、行列Ａの右乗法的な逆はＡＣ＝Ｉとなるような行列Ｃである
。行列Ａの左および右乗法的な逆が等しい場合、左および右乗法的な逆は単に「乗法的な
逆」、または逆と呼ばれ、Ａ^-1で示される。

幸いに、出願者は多くの表示設定において、輸送行列Ｔの逆の近似はより簡単に演算さ
れ得、充分かもしれないことを見出した。しかし行列の逆に対する適当な近似を作成する
ことは一般的に光輸送行列Ｔにない特定の基準を満足することが必要となる。従って逆Ｔ
^-1の近似を作成する前に、適当に修正された光輸送行列Ｔを作成する必要がある。

一般的にＴ^-1≠Ｔ^Tである。しかし上記Ｔ^Tの推定を生成するのに用いられた制約の１つ
は同様にＴ^-1の構築にも有用である。上述のように、ほとんどのプロジェクタ−カメラの
表示用途において、プロジェクタから発射された任意の区別可能な２つの光線ｊおよびｋ
は通常カメラ・センサの区別可能な部分にあたる、すなわち光線ｊおよびｋ各々からの光
に当たるカメラ・ピクセルはあまり重複していないという限定を一般的に用いることがで
きる。この特徴は以下「表示制約」と呼ばれる。

場面が牛乳の入ったコップからなり、光が牛乳により拡散されかなりの重複をもたらす
上述の例のように、一般的に場面においてかなりの光散乱がある場合「表示制約」に違反
する可能性がある。「表示制約」に違反する場面の例が図１３に示され、ここでは２個の
ワイン・グラスがプロジェクタと映写場面の間に含まれかなりの光散乱をもたらす。この
例で文字を含む投影画像が場面に投影され、ワイングラスによる多くの光学的歪みを受け
ることが示される。以下にこのような表示制約に違反したときの光散乱を補正する方法が
提供されるが、本考察の場合、設計された表示設定においては、表示制約を満足し投影さ
れる各ピクセルは次のピクセルから区別されることがまず想定される。

さらに前記に説明したとおり、輸送行列Ｔの各列はプロジェクタからの１ピクセルによ
りもたらされる投影画像である。従って列入力のすべては対応するプロジェクタ・ピクセ
ルから放射される光が当たったカメラ・ピクセルに対応するものを除きゼロ値を有する。

隣接する光フットプリント（隣接して点灯されたプロジェクタ・ピクセルにより作成）
に重複がない場合Ｔの列は直交することに出願者たちは気が付いた。表示制約による実世
界の用途においては、隣接する光フットプリント間の重複は最小限で、これは異なったプ
ロジェクタ・ピクセルからの光は主に異なったカメラ・ピクセルに当たることを意味して
いる。この結果、２列のＴが隣り合わせに配置されると、非ゼロ入力は殆どの場合並ばず
、点の積はゼロに近くなる。これはＴの列が互いにほぼ直交していることを意味している
。本手法において、これらの最小限に重なりあるピクセルはＴ行列の作成から取り除かれ
、その結果定義上直交する近似Ｔ行列がもたらされる。より詳細に後述されるように、こ
の手法によりＴ行列の作成および操作をさらに簡略化することが可能になる。

表示制約により、異なったプロジェクタ・ピクセルによる光は主に異なったカメラ・ピ
クセルに当たる、すなわち異なったプロジェクタ・ピクセルに対応するカメラ・ピクセル
は互いにあまり重複しない。この例は図１４に示され、ここで第１プロジェクタ・ピクセ
ルからの第１光フットプリントは第２プロジェクタ・ピクセルからの第２光フットプリン
トと２つの周辺カメラ・ピクセル２ｉを共有する。これは光輸送行列Ｔの列が互いの隣に
配置されると、異なった列の間で非ゼロ入力は殆どの場合並ばず（すなわちより暗い非ゼ
ロ入力がある程度の重複がある）、点の積はゼロに近くなる。

この例が図１５に示され、ここで列Ｃ１から列Ｃ４の４列の光輸送行列Ｔが互いに隣接
して図示される。列Ｃ１において、円Ｐｉｘｅｌ_１ｃおよびＰｉｘｅｌ_１ｄは列Ｃ１内
に画像として記録されている第１ピクセルの光フットプリントの最も明るい部分（すなわ
ち中央部分）を特定する。図示されるように、完全な光フットプリントは他のそれほど明
るくないピクセルＰｉｘｅｌ_１ｂ、およびＰｉｘｅｌ_１ｅを含む。しかし説明の便宜上
、各列Ｃ１−Ｃ４内の各光フットプリントの最も明るい部分のみ円で特定され、円は修正
（すなわち推定）光輸送行列Ｔの構築の際、留保されるピクセル係数入力を特定する。図
１４に示されたように、任意の光フットプリントの最も明るい部分は他のいずれの光フッ
トプリントの最も明るい部分とも重なり合わない。従って光フットプリントのより暗い、
周辺部分（すなわちＰｉｘｅｌ_１ｂおよびＰｉｘｅｌ_１ｅ）を無視してサイズを変更し
た光フットプリントを形成すると、サイズを変更した光フットプリント間には重複が存在
しないことが保証される。図１５に示すように、隣接する列に沿って円で囲まれたピクセ
ルのグループを比較すると、隣接する列の円に囲まれたピクセルはいずれも重複しないこ
とが特記される。例えば、列Ｃ１における部分的光フットプリントＰｉｘｅｌ_１ｃは列
Ｃ２における部分的光フットプリントＰｉｘｅｌ_２ｃとは水平方向にオフセットされ、
後者は順に列Ｃ３の部分的光フットプリントＰｉｘｅｌ_３ｃとオフセットされており、
同様にこれは列Ｃ４における部分的光フットプリントＰｉｘｅｌ_４ｃとオフセットされ
ており、以下同様である。同様に各列内の他の明るい部分的光フットプリントの円で囲ま
れた部分（すなわちＰｉｘｅｌ_１ｄ、Ｐｉｘｅｌ_２ｂ、Ｐｉｘｅｌ_３ｂ、およびＰｉ
ｘｅｌ_４ｂ）のいずれも互いに水平方向に並ばない。

表示制約のため異なったプロジェクタ・ピクセルからの光は主に異なってカメラ・ピク
セルに当たるので、対応プロジェクタ・ピクセルから放射された光に当たるカメラ・ピク
セルを定義する光フットプリント以外、列入力の殆どはゼロ値入力である。これは２列の
Ｔが互いに隣接して配置された場合非ゼロの入力は殆どの場合並ばず、点の積はゼロに近
くなることを意味する。これはＴの列が互いに直交することを意味する。

これは光フットプリントの暗い周辺部を無視し、光フットプリントの最も明るい部分を
含む、サイズを変更した光フットプリントを扱う場合は特に当てはまる。この場合、Ｔの
列は互いに真に直交することになり、特定の列に自己以外の任意の列を掛けたものの変換
はゼロ結果になることを意味する。

このように、Ｔの直交的性質は修正Ｔを生成する上述のプロセスにおいてＴの構築され
方により確保されることができる。上記に説明するとおり、各列内の非ゼロ値のみを格納
することによりＴを格納するのに必要なメモリの量も同様に削減することができる。修正
Ｔでこのプロセスは格納される非ゼロ値がＴの各行内の最も明るい値のみを格納すること
により迅速に特定でき、これによりサイズを変更した光フットプリントが自動的に作成さ
れることから単純化される。たとえば図１５において、円Ｐｉｘｅｌ_１ｃからＰｉｘｅ
ｌ_４ｃ、Ｐｉｘｅｌ_２ｂからＰｉｘｅｌ_４ｂ、およびＰｉｘｅｌ_１ｄで示される、Ｔ
の行に沿った（すなわち別個のプロジェクタ・ピクセルに対応しＴの隣接する列に配列さ
れる隣接画像情報の中）最も明るいピクセルを特定することができる。各行内の最も明る
い値の入力のみが留保されると、図１６の構造が得られる。特定された明るい部分は次に
修正行列Ｔ（以後、光輸送行列Ｔと修正光輸送行列Ｔは別段の記載がない限り同義として
用いられる。）のベクトル表示４０に組み合わせることができる。図示されるように、ベ
クトル表示４０はＴの各行内の最も明るいピクセル値のみに自らを限定することによりＴ
の隣接する列の間の重複を取り除き、任意の場面に対し表示制約を有効に課す。従ってＴ
のこの構成は意図的に直交している。修正光輸送行列Ｔを完全に定義するためには、どの
部分的光フットプリント部分のグループがサイズの変更された同じ光フットプリントに属
するかを示すインデックス情報を保持する第２の行列の列またはアレイのみが必要である
ことが理解されよう。例えば本例の場合、グループＰｉｘｅｌ_１ｃとＰｉｘｅｌ_１ｄは
第１ピクセルに対応する、サイズが変更された１つの光フットプリントの一部である。同
様に光フットプリント部分Ｐｉｘｅｌ_２ｂとＰｉｘｅｌ_２ｃは合わせて第２ピクセルに
対する第２のサイズが変更された光フットプリントを形成し、以下同様である。

Ｔの逆の近似を決定（すなわちＴ^-1を決定）するため、まずＡＡ^-1＝Ｉで、恒等行列Ｉ
は左上の角から（行列位置（１，１）から始まり）右下の角まで（行列位置（ｒ，ｇ）で
終わる）の対角線に沿い１に設定された入力値を有し、他の個所はすべてゼロ（すなわち
０）に設定された入力値を有する行列を含むことを特記することが有益である。Ｔ^-1を演
算するために、まず行列Ξを定義し、Ξにおける各列は正規化値で構成され、Ξの各列が
光輸送行列Ｔ（又は修正光輸送行列Ｔ）の列における列に対応する。つまり、

ここでΞｒはΞのｒ番目の列である。演算‖Ｔｒ‖は行列Ｔの列ｒにおける全値の平方
した合計の平方根を定義しているので、‖Ｔｒ‖の平方は単に列ｒにおける全値の平方の
合計である。つまり、

列ｒにおける各値の入力を列ｒにおける全値の入力を平方した合計で割ることにより、
演算｛Ｔｒ／（‖Ｔｒ‖）²｝は行列Ｔの列ｒにおける値の入力を正規化する効果を有す
る。ここでΞｒの転置を取ると、すなわち第１列が最上行になり、最後列が最下行になる
ように横に反転させると、Ｔにおける要素の対応列の正規化値である要素の行がもたらさ
れる。従ってＴの各列について次の結果が得られる。

および
ｒ≠ωの場合、

言い換えれば、Ｔのある列をΞｒ^Tの対応行で乗じると常に数字の１となり、Ｔのすべ
ての列をΞｒ^Tの対応行で乗じると、対角線に沿って数字の１がある行列を実現し、他の
すべての個所にゼロを置いて実現された行列を完全に埋めることができる。

従って列が互いに直交する行列Ｔの場合、かつ行列Ξの特定の構成が与えられる場合、
Ξの転置は当然Ｔの逆に等しく（すなわちΞ^T＝Ｔ^-1）、または少なくともΞはＴの左乗
法的な逆であることが得られる。従ってＲｐｒｊｃｔ’＝Ξ^T＊Ｒｃｐｔｒ’となる。

実際にカメラ・センサに当たるプロジェクタ・ピクセルの部分のみ再生できることが特
記される。いずれのカメラ・ピクセルにも当たらないプロジェクタ・ピクセルに対し、Ｔ
の対応列はゼロを含み、上記方程式Ξｒ＝Ｔｒ／（‖Ｔｒ‖）²は未定義である。このよ
うな場合、Ξの対応列はゼロ列として設定されることが好ましい。このようにΞ^Tはプロ
ジェクタおよびカメラの視野で重なる領域を覆うＴの部分の逆であり、Ｒｐｒｊｃｔ’に
おいて重なる領域に入るプロジェクタ・ピクセルのみ再生し、他のピクセルは抹消する。

以下の考察において、行列Ξ^Tはビュー投影行列と呼ばれ、望ましいビューｃが与えら
れた場合ｐ＝（Ξ^T＊ｃ）と定義される画像ｐを見出すことができ、画像ｐを投影すると
基準カメラ位置から見た場合ｃと同じ外観を有する場面を実現する。Ξ^Tは事実上逆行列
Ｔ^-1の近似であり、本明細書ではそのように用いられるので、以下考察の残りの部分で逆
行列Ｔ^-1とビュー投影行列Ξ^Tは別途の指示がない限り互換的に用いられる。

真の逆行列Ｔ^-1の近似を演算する効率的な方法が原形において実証されたが、行列は未
だに膨大で、大量の記憶および言うまでもなく行列乗算を行うだけでも相当な演算能力を
必要とする。ここでも、真の逆行列Ｔ^-1は表示制約に支配されている。

従ってＴ^Tを縮小するための上記に記述された圧縮手法に類似したものをビュー投影行
列Ξ^Tに適用することが望ましい。このように、Ξ^Tは非ゼロ入力の第１列および対応する
インデックス値の第２列を含む表示に縮小することができる。表示制約はＴの別個の列に
おける非ゼロ入力が同じ行に並ばないことが要件であることが想起されよう。これはＴの
各行において非ゼロ入力が１つのみ（または所定の閾値を１入力越えて）存在し、行列Ｔ
を表示するにはその入力とともにその列インデックスのみを格納すれば良い（格納されな
いＴの入力位置はデフォルトでゼロ値が指定されるという了解のもとで）。従って、Ｔを
格納するために必要な空間は非ゼロのＴ入力の１列とインデックス値の第２列に縮小する
ことができる。

しかし実世界の状況ではＴの点灯されていない入力の多く（すなわち光フットプリント
内にないカメラ・ピクセルｉ）はセンサ・ノイズ（すなわちカメラ・ピクセルが捕らえた
ものの１つの指定された、すなわちオンにされた、プロジェクタ・ピクセルに由来しない
光）のため厳密にゼロではない。従って各行に複数の非ゼロ値が存在する可能性があり、
単一の非ゼロ値入力は光フットプリントに対応し、残りの非ゼロ入力は光ノイズによるも
のである。この場合、光フットプリントに対応する単一の非ゼロ入力は行内で最高の値を
有する（すなわち最も明るい値を有する）可能性が高い。従って、光ノイズを除去するた
めに各行の最高値の入力（すなわち行最高値）を、その行において光フットプリントに対
応する単一の非ゼロ入力として特定し指定することができる。これは光ノイズによる低い
値の入力を除去する。これらの行最高入力値を特定することにより、各列の非ゼロ値が得
られる。従って各プロジェクタ・ピクセルに対し、対応するカメラ・ピクセルの組ととも
にこれらカメラ・ピクセル間の光強度の分布が特定される。通常の対応カメラ・ピクセル
の組（任意の所定プロジェクタ・ピクセルに結び付いた）はカメラ画像全体の非常に小さ
いサブセットである。行列演算の際これらの対応カメラ・ピクセルからの入力のみを考慮
すれば良いので、この疎行列表示を用いてビュー投影画像変換を行うのは非常に効率的で
ある。

実際には、表示制約を活用してプロセスを速める固定パターン走査手法を用いることが
好ましい。上述のように、プロジェクタ・ピクセルｊからの寄与は光輸送行列Ｔの列ｊに
マップされる。従ってプロジェクタ・ピクセルの組⊂｛１，…，ｐ×ｑ｝はＴにおける対
応する列の組にマップされる。このような、Ｓ１∩Ｓ２＝｛ｊ｝であるような２組のピク
セルを考え、２組のピクセルを点灯した時に取り込まれる２つの画像をＣ_S1およびＣ_S2と
する。そうすると、

となることが示され、ここでＴｊはＴのｊ番目の列である。Ｃ_S1、Ｃ_S2はＴにおける各
々の列の総計、すなわちＣ_S＝Σ_j∈SＴｊ、である。各個別的プロジェクタ・ピクセルｊ
の寄与がカメラ・センサの別個の部分にマップされるとすると、取り込まれた画像Ｃ_S1、
Ｃ_S2においてプロジェクタ・ピクセルｊに対応するピクセルの共通の組ｌ⊂｛１，…，ｍ
×ｎ｝が存在する。次に、Ｓ１∩Ｓ２＝｛ｊ｝であるので、取り込まれた残りの画像ピク
セル（∈ｌでないもの）について、画像の少なくとも１つはプロジェクタ・ピクセルの組
Ｓ１またはＳ２の１つから光を受けなかったことになる。光を受けたピクセルは光を受け
ないピクセルより明るくなるので、ＭＩＮ（Ｃ_S1，Ｃ_S2）はピクセル∈ｌのみが点灯され
た画像を実現し、これはＴｊの良好な近似である。
これは、

の組を構築することができ、ここで、

の場合、ｊ＝画像Ｃ_X1，…，Ｃ_Xq、およびＣ_Y1，…，Ｃ_Ypからの１，…，ｐ×ｑである
Ｔｊを合成することができる。

上述の考察において、投影画像の各対は１つの交差点しか共通していない。この特性を
満足する一構成は次のピクセル座標を指標として用いる。Ｘ_jはｘ座標がｊに等しいすべ
てのピクセルがオンになっている画像とし、Ｙ_kはｋに等しいｙ座標がオンにされた画像
とする。そうするとＭＩＮ（Ｘ_j，Ｙ_k）は座標（ｊ，ｋ）がオンである画像を与える。こ
の方法を用い、ｐ＋ｑ個の画像を取り込むことはＴのｐ×ｑ列をすべて合成できることに
なる。Ｔを取り込むためのこの方法が各ピクセルを個別に取り込むより速く、上述のSen
他、2005年、に関して説明された適合的仕組みより簡単ではあるが、この方法は文献で既
に提案されている他の仕組みに比べまだ遅い可能性があることが特記される。特にプロジ
ェクタ−カメラのピクセルの対応を確立する１つの方法はＸおよびＹ座標を時間系列的な
バイナリ・コードで投影することで、理論的はすべての対応がｌｏｇ（Ｎ）時間で取り込
むことができ、ここでＮは最大座標値である。実際には、この方法は特に最小有効ビット
が投影される際にカメラ・センサの解像度に厳しい条件を課す。必要な画像数を減らすた
めに同時に複数の縞を投影することも提案できる。しかしこれは画像において取り込まれ
た各縞を特定する何らかの方法、例えば目印となる縞のサブセットを特定すること、また
は色分けもしくは他の区別できるパターンを活用すること、が必要である。これらの仕組
みは事実取り込みプロセスを速めるかもしれないが、さらに複雑さや脆弱性をもたらし、
しばしば仕組みが正しく機能するように特徴検出パラメータを微調整しなくてはならない
。本明細書の好ましい実施形態において微調整するパラメータはなく、ハードウェアの故
障がない限り通常一度の取り込みでビュー投影行列の良好なコピーが得られる。

上記に説明されたように、ビュー投影行列Ξ^Tは投影光学系、表示表面、およびこれら
の相対位置付けにより導入される幾何学的および測光的歪みを補正することができる。Ξ
^Tのビュー投影能力の有効性はいくつかの実験を通して試験された。

ある場面の望ましい外観を制御できることを示すために、印刷されたポスターの外観を
動的に変え得ることが示された。図１７に例を示す。左側のポスター画像は白光の下で示
される。右側のポスター画像はビュー投影照明の下で示される。キューブの面は同じ色に
見えるようにされている。右側のポスター画像の上に１枚の白い紙を置くとこの望ましい
ビューを実現するために用いられた実際の投影画像が明らかになる。見る人たちは動画を
見た後すぐポスターの元の外観を忘れることが見出された。紙上で示すのは難しいが、カ
メラで観察されたこの場面は人間の目で観察されたものにかなり近い。ポスターはポスタ
ー内の色をサイクルして色が均一であるがごとく見せるようにして動画化された。測光的
補正がリアルタイムで行われる間ポスターの上に映画も映写して、下のポスター画像の跡
をすべて取り除いた。

前述のように、現在好まれる輸送行列Ｔの構成は隣接して点灯されたプロジェクタ・ピ
クセルによりもたらされた隣接する光フットプリント間で最小限の重複を規定する表示制
約に依存する。表示制約が守られない状況の例が図１３に関し上記で考察され、ここでは
２つのワイン・グラスがプロジェクタと映写表面の間に配置される。しかしさらに上記に
説明されるように、ビュー投影行列Ξ^TはＴの逆の近似を作成する際、Ｔの各列内の最も
明るいピクセルのみを選択することにより任意の場面に表示制約を執行し得る（すなわち
強要し得る）。本発明のアルゴリズムの有効性を各種条件の下（その有効性と正当化の基
となる表示制約の下だけではなく）で試験するために表示制約が満足されない場合にどの
ように挙動するかを判定する実験が行われた。図１３に図示する実験が設定され、１対の
ワイン・グラスがプロジェクタとその表示表面との間に置かれた。ガラスにより導入され
た相当量の歪みのため、別個のプロジェクタ・ピクセルによるセンサの光フットプリント
に多くの重複がある。この場面にビュー投影行列Ξ^Tの生成において表示制約を執行する
のと同じ取得方法および同じアルゴリズムを適用した。結果として演算されたビュー投影
行列Ξ^Tは図１８に示すように、望ましくない歪みのほとんどを取り除くことができ、プ
ロジェクタは指定表示表面に補正された画像を表示できることが見出された。

別の言葉で述べると、表示制約が保証できない場合、投影環境に擬似表示制約を強要す
る、ビュー投影行列Ξ^Tの生成方法を光輸送行列Ｔの生成に適用することができる。具体
的に、図１４〜図１６に関し上述された簡略化光輸送行列Ｔを生成する際、光フットプリ
ントのコンポーネントを特定するのに各行の最も明るいピクセルを選ぶことができ、それ
により光拡散によるエラーおよび光ノイズによるエラーを大幅に削減し、または取り除く
ことができる。

行列Ｔの逆を近似させる方法を定義した上、次に没入型表示システムにデュアル・フォ
トグラフィを用いて新型かつ複雑な設定をどのように達成できるかを説明する。

図１９について、好ましい実施形態において従来の前面投射型プロジェクタＰ１（図１
（Ａ）の実プロジェクタ２１に類似）が没入型プロジェクタＰ２と併せて用いられる。視
野線９１で示されるように、好ましい本実施形態では前面投射型プロジェクタＰ１の視野
（すなわちＦＯＶ）で覆われる表示表面の部分は視野線９３で示される没入型プロジェク
タＰ２のＦＯＶのサブセットである。前面投射型プロジェクタＰ１のＦＯＶ９１は没入型
プロジェクタＰ２のＦＯＶ９３の範囲内に入るため、没入型プロジェクタＰ２が前面投射
型プロジェクタＰ１により生み出された投影画像をシミュレートすることが望ましい。し
かし、一般的に前面投射型プロジェクタＰ１のＦＯＶ９１は没入型プロジェクタのＦＯＶ
９３のいずれの部分とも重なる必要は必ずしもないことが強調される。

没入型プロジェクタＰ２のＦＯＶ９３が前面投射型プロジェクタＰ１のＦＯＶ９１の一
部と重なる必要はないが、カメラＣを前面投射型プロジェクタＰ１および没入型プロジェ
クタＰ２に別個に結び付ける２つの輸送行列が作成されることが望ましい。Ｐ１およびＰ
２のＦＯＶが必ずしも重ならないので２つの輸送行列は別個に生成できることが理解され
よう。

しかし好ましい本実施形態の具体例において、カメラＣはカメラＣのＦＯＶ９５が前面
投射型プロジェクタＰ１のＦＯＶ９１のスーパーセットで没入型プロジェクタＰ２のＦＯ
Ｖ９３のサブセットであるように配置される。ＦＯＶ線９５で示されるように、カメラＣ
の視野は前面投射型プロジェクタＰ１のＦＯＶ９１を完全に包含するが、没入型プロジェ
クタＰ２のＦＯＶ９３により完全に包含される。没入型プロジェクタＰ２を用いて前面投
射型プロジェクタＰ１から投影された画像をシミュレートするには、前面投射型プロジェ
クタＰ１からの第１投影画像ｐ₁をカメラＣからの第１取り込み画像ｃ₁にｃ₁＝Ｔ₁ｐ₁と
なるように関連付ける第１光輸送行列Ｔ₁をまず決定する。次に、没入型プロジェクタＰ
２からの第２投影画像ｐ₂をカメラＣからの第２取り込み画像ｃ₂にｃ₂＝Ｔ₂ｐ₂となるよ
うに関連付ける第２光輸送行列Ｔ₂を決定する。その結果、次の関係が成立する。

および

没入型プロジェクタＰ２を用いて前面投射型プロジェクタＰ１からの投影画像ｐ₁をシ
ミュレートするためには、ｃ₁（すなわち前面投射型プロジェクタＰ１から投影された画
像の取り込み画像）がｃ₂（すなわち没入型プロジェクタＰ２から投影された画像の取り
込み画像）と同じであることが必要である、すなわち、

であることが必要で、これは次の関係、

につながる。ｐ₂（すなわち没入型プロジェクタＰ２により投影された画像）を解くと
次の関係が得られる。

これは画像ｐ₁を作成するために前面投射型プロジェクタＰ１を用いて画像を直接投影
することができ、または変換された画像［（Ｔ₂ ^-1）＊（Ｔ₁ｐ₁）と定義］を没入型プロ
ジェクタＰ２で投影することにより同じ効果が得られることを意味する。ビュー投影行列
は自然にプロジェクタ−カメラ対応をプロジェクタ−プロジェクタ対応に移すことが特記
される。

このような投影は図２０に示され、没入型プロジェクタＰ２を用いて図１９のプロジェ
クタＰ１のような前面投射型プロジェクタがシミュレートされる。図２０において、プロ
ジェクタＰ２によりシミュレートされる仮想プロジェクタＰ１”は点線で示される。従っ
て図１９の前面投射型プロジェクタＰ１により投影される画像ｐ₁は図２０の没入型プロ
ジェクタＰ２で変換画像（Ｔ₂ ^-1）＊（Ｔ₁ｐ₁）を投影することにより再現することがで
きる。これにより、見る人１００Ａ、１００Ｂ、および１００Ｃは前面投射型プロジェク
タ、すなわちＰ１またはＰ１”、を遮蔽することを心配しなくて済む。画像は明らかに歪
みがなく、仮想プロジェクタによる映画の再生はリアルタイムで流すことができる。上述
のようにＴ₂ ^-1は近似行列Ξ^T ₂で置き換え得ることが理解されよう。上記で述べたように
、逆行列Ｔ^-1を近似するビュー投影行列Ξ^Tは以下の考察において別途記述されない限り
自由にＴ^-1を置き換えることができる。

この仮想プロジェクタ実装を用いて生成された画像例が図２１に示される。前面投射型
プロジェクタ画像１０１が大視野表示システムを用いてシミュレートされる。図２１の下
部に位置するプロジェクタ１０３は大視野表示システムの一部で、図２１中央に示される
画像１０１を生成するのに用いられる。

図２２（Ａ）、図２２（Ｂ）、図２２（Ｃ）は前面投射の実画像（図２２（Ａ））およ
び前面投射のシミュレートされた画像（図２２（Ｂ））を並べてシームレスに連結したも
の（図２２（Ｃ））を示すことによりシミュレーションの画質を図示する。図２２（Ａ）
は図１９のＰ１のような実前面投射型プロジェクタにより投影された画像の右側を示す。
図２２（Ｂ）は図２２（Ａ）の前面投射画像の左側を示すが、図２２（Ｂ）において画像
の左側は図２０のＰ２のような没入型プロジェクタにより図２０のＰ１”のような仮想前
面投射型プロジェクタをシミュレートするように投影される。没入型プロジェクタにより
作成される、左側のシミュレートされた前面投射画像の画質は図２２（Ｃ）でより良く図
示され、ここで図２２（Ａ）の右側の前面投射画像は図２２（Ｂ）の左側の前面投射画像
に繋げられ、並んで示され、実前面投射型プロジェクタおよびシミュレートされた仮想前
面投射型プロジェクタにより各々作成された画像のシームレスな位置合わせがもたらされ
る。

実前面投射型プロジェクタにより作成された実前面投射画像と没入型プロジェクタによ
り作成された、シミュレートされた前面投射画像を図２３に示す。図２３において、表示
画像の左半分は没入型プロジェクタにより仮想前面投射型プロジェクタからの表示をシミ
ュレートするように作成され、表示画像の右側半分は実前面投射型プロジェクタにより作
成されている。

本手法の別の用途は図２４（Ａ）、図２４（Ｂ）、図２４（Ｃ）を参照するとより良く
理解される。本例において、図２４（Ｃ）の没入型プロジェクタＰ２を用いて各種の周囲
照明効果（すなわち仮想環境）が作成される。カメラを、そのＦＯＶが表示部屋のかなり
の部分を覆うように配置すれば、ビュー投影を用いて壁が仮想モデルに従い照明されるよ
うな没入型環境を作り出すことができる。これを達成するために、図２４（Ａ）に示すよ
うにカメラＣはそのＦＯＶが表示部屋１１１の相当な部分を覆うように配置される。図２
４（Ａ）において、カメラＣおよび没入型プロジェクタＰ２はカメラＣのＦＯＶが没入型
プロジェクタＰ２のＦＯＶの全部（好ましくはより多く）と言わないまでも殆どを包含す
るように配置される。本例において、Ｐ２は没入型プロジェクタとして示されるが、プロ
ジェクタＰ２は前面投射型プロジェクタなど任意の種類のプロジェクタであって良い。カ
メラＣおよびプロジェクタＰ２間に関係を確立するために、カメラＣをプロジェクタＰ２
に関連付ける光輸送行列Ｔ₃が前記に説明されたいずれかの方法を用いて取り込まれる、
すなわち決定される。一旦、これがなされると、カメラＣにより見られる（すなわち取り
込まれる）画像ｃ₃はプロジェクタＰ２により投影される投影画像ｐ₃に次の関係に従って
関連付けられる。

これは次をもたらす。

このように、部屋１１１における表示表面の仮想モデルを構築することができる。図２
４（Ｂ）に示す構築された仮想部屋１１１”は例えばコンピュータ・シミュレーションで
あって良い。一旦、仮想部屋１１１”が作成されると、各種のシミュレートされた照明効
果（または投影画像または浮遊画像）を仮想部屋１１１”に加えることができる。例えば
、図２４（Ｂ）は仮想部屋１１１”が大きなロウソク１１３からのロウソクの光により照
明されるところを示す。コンピュータ・モデルはさらにカメラＣの位置および解像度（図
２４（Ａ）における）をモデル化し、図２４（Ｂ）で点線の枠Ｃとして示される。コンピ
ュータ・モデルは次にカメラＣの視点からシミュレートされた仮想部屋１１１”の合成ビ
ューｃ₃”を「取り込み」（すなわち作成し）、図２４（Ａ）の実カメラＣにより取り込
まれたかのように仮想部屋１１１”の実画像をシミュレートする。図２４（Ｂ）のシミュ
レートされた照明効果は次にＰ２を用いて変換画像（Ｔ₃ ^-1）＊（ｃ₃”）を投影すること
により図２４（Ｃ）の実部屋１１１において再現することができる。

この手法の適用例が図２５に示される。この場合、実部屋１１１の壁より大きい画像１
１７を映写することが望ましい。上記で考察したように、映写壁に対する実部屋１１１の
壁および天井の角度を補正するために各種の方法を用いて実プロジェクタを較正すること
ができるが、本発明は異なった方法を用いてこの問題を解決する。本例において、仮想部
屋１１１”（図２４（Ｂ）の）は実部屋１１１（図２４（Ｃ）および図２５の）に類似し
た寸法を有し、画像１１７は歪みのない形で仮想部屋１１１”に重ね合わせられる。次に
カメラＣの視点から仮想部屋１１１”上の歪みなしの画像１１７の合成ビューｃ₃”（す
なわち合成取り込み画像）が作成される。次に没入型プロジェクタＰ２に変換画像（Ｔ₃ ^-
1）＊（ｃ₃”）を投影させ、実部屋１１１の壁に歪みのない特大画像１１７を再現させる
。図２５に示すように、結果は映写表面上の曲面（または他の凹凸）を補正するためにプ
ロジェクタＰ２を較正する必要がなかった歪みのない投影が得られる。

示されたように、仮想プロジェクタおよび環境を組み合わせ、没入型映画ビュアーを作
成することができる。仮想環境はアクティブな視界でもあるので、より大きい視野の表示
を動画化し、より興味の湧く体験を作り出すことができる。

上記に説明した手法は大視野（すなわち大きいＦＯＶ）表示の作成に適用することがで
きる。大きいＦＯＶは没入感を作り出し、見る人にとってより興味の湧く体験を提供する
。本方法は非常に大きいＦＯＶを有する没入型映写システムを説明する。システムはさら
に映写のＦＯＶが覆う領域からの光を取り込むことができる内蔵型大ＦＯＶカメラ／光セ
ンサを有して設計されている。センサによりシステムは画質を最適化し、より全般的にシ
ステムがその環境とインタラクトできるように映写光を適合させることができる。本シス
テムは主にサラウンド・ビデオ・コンテンツを表示したいことから主に動機付けられてい
るが、この新映写システムは従来のビデオ・コンテンツを見るためにも用いることができ
ることを特記することが重要である。

図２６に関し、本発明による代表的な映写システムの最小限の形態は次のコンポーネン
ト、プロジェクタ１２１と、デジタル・スチル・カメラまたはデジタル・ビデオ・カメラ
であり得るカメラ１２３と、球形または別途の曲面ミラー１２５と、上記コンポーネント
の据付機構を含む。プロジェクタ１２１からの光は曲面ミラー１２５から反射されてから
、建物の壁、床、天井、および専用映写スクリーンを含む任意の表面であり得る表示表面
１２７に到達する。表示表面１２７はさらに任意の形状であって良い。曲面ミラーで投射
光を反射させるとプロジェクタのＦＯＶが拡大される。プロジェクタを元とする場合もし
ない場合もある、環境からの光線も曲面ミラー１２５から反射されてからカメラに到達す
る。これも同様にカメラＦＯＶを拡大する。

図２７は図２６の設計に基づいたプロトタイプを示し、図２７の中で図２６のものに類
似した要素は類似した参照番号を有し、上記に説明される。本構成は、マルチ・ウォール
の没入型仮想環境を構築するという、スマート・プロジェクタ−カメラ・システムの主要
な用途を際、立てさせている。従って、本例は従来の前面投射型プロジェクタ１２１、高
解像度のデジタル・スチル・カメラ１２３、および半球形の曲面ミラー１２５を含む簡単
なパノラマ映写設定を用いている。本設定において、曲面ミラー１２５（「ドーム型プロ
ジェクタ」と呼ぶことができる）は地域のコンビニ店で使用されるような低価格のプラス
チック製半球型警備用ミラー・ドームである。このようなミラー・ドームは専門的に設計
され製作された光学グレードのミラーに比べ少なくとも３桁は安い。さらに、据付機構も
通常の金物・建材店で入手できる安価な部品で作られた。この構成で実験した際、ミラー
・ドーム１２５は真の半球面からは（さらに言えばいずれの単純なパラメトリック形状か
らも）程遠いことが見出された。

図２８は図２７における設定の別のビューで、カメラ１２３の観点から見た（非常に大
雑把に）ミラー１２５のビューを示す。図２８においてミラー１２５の反射で見られるよ
うに、カメラ１２３はミラー１２５の反射により床、少なくとも３つの垂直な壁、および
天井を見ることができる。

図２９（Ａ）において、本映写システムを設置した部屋が周辺光の下で示される。図３
０（Ａ）は較正されていないドーム型プロジェクタが市松格子の画像を表示するところを
図示する。表示画像には明らかに相当な量の非線形幾何学的な歪みがある。図３０（Ｂ）
は同じ設定を示すが、ビュー投影行列を用いて幾何学的補正がなされている。画像は基準
カメラの位置から撮られたので、ビューにおける直線は複数の壁にわたり直線のままであ
る。

ビュー投影行列はさらに色および強度の変動とともに表示表面のアルベド／反射率特性
の不均一に対しても測光的に補正する。図３１（Ａ）は較正されていないドーム型プロジ
ェクタが均一強度の画像を表示するところを図示する。見られるように、もたらされた画
像は前方壁の左上および右上方向においてかなり暗い。図３１（Ｂ）では同じ均一強度の
画像が較正されたドーム型プロジェクタで投影され、より均一な強度を実現することが示
される。

ビュー投影に必要なものすべてについて小型な代表があると、他の方法で較正するのが
極めて困難な可能性のある表示システムを分析するのが容易になる。また、これらのシス
テムを構築して表示および撮像ハードウェアの限度まで精密に較正させるのに役に立つ。
ここでは、前面投射型プロジェクタと組み合わせて上述のドーム型プロジェクタを用いた
いくつかの例によりＴ^-1の有用性を示す。本例で使用されるような低予算のパノラマ・プ
ロジェクタを用いた場合でも、ビュー投影行列は人を引き付ける没入型表示設定を組み立
て得ることが見出された。

さらに、図２６〜図３１における本例のドーム型プロジェクタ設定は図１９および図２
０の没入型プロジェクタＰ２の代わりに用いて上述のように前面投射型プロジェクタのシ
ミュレーションを実現し、または図２４（Ａ）〜図２４（Ｃ）における没入型プロジェク
タＰ２の代わりに用いて上述のように仮想環境を作り出すために使用できることが理解さ
れよう。

本プロジェクタ−カメラ・システムを用いた没入型投影照明の例を図２９（Ｂ）に示す
。見られるように、本プロジェクタ−カメラ・システムは天井に加え２つの壁にも画像を
投影することができる。この効果がビュー投影行列Ξ^Tを用いてどのように達成されるか
の例を図３２〜図３４に示す。

ビュー投影行列Ξ^Tがまず上述のいずれかの方法を用いて生成される。上記に説明され
る通り、映写表面が主に平たい表面（または結合された平たい表面）を含む場合、７本の
光の垂直線および交差する７本の光の水平線を用いて完全なビュー投影行列Ξ^Tを近似す
ることにより４９以下の基準点を生成することができ、かつプロジェクタ対カメラの良好
なレベルの較正を実現することができる。この場合、映写表面は平たいと仮定されるので
、抜けている行列入力値は４９の基準点から外挿することができる。

しかし、図２６〜図３１の例において映写表面は曲面ミラーを含むため、プロジェクタ
の解像度で完全なビュー投影行列Ξ^Tが生成されることが好ましい。本例においてプロジ
ェクタ１２１はｐ×ｑ個のプロジェクタ・ピクセルの解像度を有するので、プロジェクタ
１２１とカメラ１２３との間の較正はｐ×ｑ個の光輸送基準点を生成することにより達成
できるはずである。

図３２に関し、図２７のプロジェクタ１２１はｑ本の一連の垂直線ＶＬ_１からＶＬ_ｑ
を個別的に映写表面（すなわちこの場合は図２７のミラー１２５）に投影し、これらは個
別的かつ自動的に図２７のカメラ１２３により取り込まれる。図３３で、プロジェクタ１
２１は次にｐ本の一連の水平線を個別的に投影し、続いてこれらも個別的かつ自動的にカ
メラ１２３により取り込まれる。上記に説明されるように、取り込まれた垂直および水平
線は各々個別的に組み合わされそのユニークに一致する基準点Ｆｔ（すなわち光フットプ
リント）が特定される。このプロセスはすべてのユニークな交差点が特定され（図３４中
の白い丸で示される）、その光輸送情報が抽出されるまで続けられる。プロジェクタ１２
１から放射される垂直および水平線は完全に垂直および水平であるが、もたらされるドー
ム型ミラー１２５の投影線はドーム・ミラー１２５の湾曲に追随することが理解されよう
。

上述のように、ビュー投影行列Ξ^Tの構築に表示制約が執行されることが好ましい。従
って、望ましい画像、Ｃ、があり、ミラー１２５経由で部屋１１１に望ましい画像Ｃを歪
みなしに表示するためにどのように投影画像Ｐを変換するか判定したい場合、Ｐ＝Ξ^T＊
Ｃと定義される画像Ｃの歪んだバージョンを投影する必要がある。

これは図３５に図示され、ここで望ましい画像Ｃはｍ×ｎ個の画像ピクセル入力値、Ｃ
₁からＣ_m×n、を含むベクトル２００として書かれている。ベクトル２００に（ｐ×ｑ）
行および（ｍ×ｎ）列を含む、作成されたビュー投影行列Ξ^Tを掛け、（ｐ×ｑ）の変換
画像Ｐが生み出され、これはベクトル２０１として書かれ、各々プロジェクタ１２１の（
ｐ×ｑ）個のプロジェクタ・ピクセルで対応する１つに適用される（ｐ×ｑ）個の画像ピ
クセル入力値を含む。もたらされる変換画像Ｐはｐ行およびｑ列を含むように図示されて
いる。

図３６に関し、図３５からの変換画像ＰはプロジェクタＬＣＤ画像Ｐとしてプロジェク
タ１２１に送られ、ミラー１２５（図２７）に投影される。部屋１１１にもたらされる画
像２０３は図３６の望ましい画像Ｃの歪んでいない表示である。

本例の場合、カメラ１２３およびプロジェクタ１２１は変換画像Ｐを作成される前に較
正されなかったことが特記される。逆に変換画像Ｐの歪みは、カメラ−プロジェクタ対の
較正補正情報を含むビュー投影行列Ξ^Tを用いて構築されたのでカメラ１２３とプロジェ
クタ１２１間で較正されていないことに関連する問題を本質的に補正している。

望ましい画像がビデオ画像である場合、ビュー投影行列Ξ^Tはビデオ画像に適用される
ことが理解されよう。つまり、ビデオ画像は順に並べられた複数のスチル画像を含むので
、ビュー投影行列変換Ξ^Tを順序付けられたスチル画像の各々に適用して変換ビデオ投影
を実現することになる。

さらに強調すべきは、プロジェクタ１２１のＦＯＶとカメラ１２３のＦＯＶとは一般的
に異なっており、重なっても重ならなくても良い点である。２つのＦＯＶが相当重なる場
合、カメラ１２３により取り込まれた画像は上述の方法に類似した方法でプロジェクタ１
２１からの投影画像の質を向上させるためのフィードバックとして用いることができる。
例えば、カメラ１２３からプロジェクタ１２１へのフィードバックを用いて表示表面の反
射特性および形状の変化（カメラ１２３から見た）を補正し、投影画像が平たく白い表面
に投影されているが如く見えるようにすることができる。

カメラ１２３のＦＯＶはプロジェクタ１２１のＦＯＶで覆われない領域を含むこともで
きる。例えば、プロジェクタ１２１が図２９（Ａ）および図２９（Ｂ）に示すテスト部屋
の前および横の壁を覆うのに対し、カメラはプロジェクタＦＯＶ外の、場合によって見る
人たちがいる領域を含む、領域を取り込むことができる。これによりシステムは見る人達
または見る人達のポインティング・デバイスを検出し追跡することにより見る人達に適応
しインタラクトすることができる。カメラ１２３が例えばリモコンに搭載された小型の光
を追跡してユーザ・インタラクションを促進することも可能かもしれない。

図３７に関し、図２６の構成に基づくが天井据付操作を対象とした別の構成が図示され
る。図２６に類似した要素はすべて類似した参照番号を有し、上記に説明される。

図３８および図３９において、さらに２つの別の構成が示される。図３８および図３９
において図１９に類似した要素はすべて類似した参照番号を有し、上記に説明される。

図３８では平面ミラー１４１が光路を折ることによりプロジェクタ１２１およびカメラ
１２３を曲面ミラー１２５の下に配置することができ、より小さいフットプリントを達成
している。図３９は展示ブース操作のためにプロジェクタ１２１、カメラ１２３、曲面ミ
ラー１２５、および平面ミラー１４１をブース１４３内に入れるブース用設計を示す。こ
の構成を用いると、同時に２つの投影画像、すなわち第１表示表面Ａ上の第１の前方（ま
たは後方）投影画像および第２表示表面Ｂ上の第２の後方投影画像を実現することができ
る。

上述の設計のいくつかにおいて、プロジェクタおよびカメラは共通の光心を有しない。
しかし、光心が同配列されたプロジェクタ−カメラ対を設計することは可能である。同配
列光心を有するシステムはプロジェクタとカメラが全く同一の視野を有することができる
が、同配列でない光心を有するシステムは環境の３Ｄ再現ができる可能性がある。

ここまでは、提供された例は１台のカメラと１台のプロジェクタで構成されていたが、
上記に示唆するように、複数のカメラおよびプロジェクタの組み合わせを使用することも
できる。これは異なった視野を有する２台以上のプロジェクタからの２つ以上の投影画像
をどのようにシームレスに統合もしくは組み合わせるか、または複数のプロジェクタを組
み合わせてどのように大型視野の表示を作成するかという問題を呈する。従って複数のプ
ロジェクタを用いることにより可能になる視覚効果をいくつか説明する前に、まず複数の
プロジェクタをどのようにシームレスにいっしょに使えるかを考察することが有用であろ
う。つまり、本発明を１台のプロジェクタと１台のカメラを含むシステムに適用された場
合の効果は複数のプロジェクタおよび１台（またはそれ以上）のカメラを有するシステム
にも拡大できるのである。

プロジェクタ−カメラ・システムを較正し、上述の「ビュー投影問題」を解決するため
のノンパラメトリック方法の開発は上記で考察している。つまり、カメラが望ましいビュ
ーを見るように、プロジェクタがどのように場面を照明すべきかを定義すること（すなわ
ちプロジェクタが場面に何を投影すべきかを定義すること）のビュー投影問題は上記で考
察される。要約すると、上述の開発はまず、プロジェクタから投影された画像ｐをカメラ
で取り込まれた画像ｃにｃ＝Ｔｐという関係で関連付ける光輸送行列Ｔについて複数の構
成を提供した。次に中間作業行列Ξが次の関係により、埋められると定義された。

ここでΞｒはΞのｒ番目の列で、ｐｑはＴにおける列の数である。次に表示制約の下で
はビュー投影行列Ξ^Tを次のように定義できることが示され、

これは次の関係をもたらす。

上記に説明されたとおり、表示制約は情報表示を目的とした通常のプロジェクタとカメ
ラの設定において、別個のプロジェクタ・ピクセルから放射された任意の２つの光線は通
常カメラ・センサのピクセル・アレイにおいて別々の部分に当たる、すなわち別個の光線
の各々からの光に当たったカメラ・ピクセルｉにあまり重複がないという観察に由来する
。これはＴの列が互いに直交していることを意味し、方程式（１）の正規化プロセスによ
りＴの逆をもたらすことができる。さらに上記に説明されるように、表示制約が自然に守
られない状況において、Ｔの構成を修正し、Ｔの各行における最も明るいピクセルが別個
の光線によりもたらされる光フットプリントと一部であると宣言し、同じＴの行の他のピ
クセルすべてがゼロ値の入力であると宣言することにより表示制約を人工的に強要するこ
とができる。この操作によりＴは強制的に直交にされ、方程式（１）の適用が可能になる
。

このようにビュー投影行列Ξ^Tは、望ましいビューｃが与えられた場合、ｐ＝Ξ^Tであり
、ｐを投影すると基準カメラから見た場合ｃと同じ外観を有する場面を実現する画像ｐ＝
Ξ^Tを見出すという、ビュー投影問題を解決する。

実際上、大型視野表示装置など多くの用途は個別プロジェクタ各々の限られた視野のた
め１台より多いプロジェクタの使用を必要とする。一般的に、これらのプロジェクタの視
野は互いに部分的に重なり合う。このような２台以上のプロジェクタを含む表示システム
を用いてビュー投影を達成するには、個々のプロジェクタのビュー投影をモザイク化して
望ましいカメラビューを生成する必要がある。本発明を用いたモザイク化の例が２台のプ
ロジェクタ・システムを使用して提示される。より多くのプロジェクタを有するシステム
への拡張は簡単なので、モザイク表示を構築する本方法は３台以上のプロジェクタを有す
る表示システムにも拡張できることが理解されよう。つまり、第１プロジェクタからの第
１投影画像を第２プロジェクタからの第２投影画像と組み合わせるという、以下に説明す
るプロセスは第２プロジェクタからの第２投影画像を第３プロジェクタからの第３投影画
像を組み合わせるのに適用でき、第１、第２、および第３投影画像を組み合わせたモザイ
ク画像が作成される。同様に同じプロセスが第３投影画像を第４プロジェクタからの第４
投影画像と組み合わせるのに適用でき、第１、第２、第３、および第４投影画像を組み合
わせたモザイク画像が作成される。

重なり合う視野（ＦＯＶ）および双方のプロジェクタのスーパーセットとなるＦＯＶを
有するカメラを含むマルチ・プロジェクタ表示システムを検討する。各々各プロジェクタ
画像ｐ₁およびｐ₂をカメラで取り込まれた対応画像ｃ₁およびｃ₂に関連付けつ光輸送行列
Ｔ₁およびＴ₂（別個に決定）は次の方程式をもたらす。

および

双方のプロジェクタの視野、ＦＯＶ、にわたる画像を表示するには、複合画像ｃ、がシ
ームレスな形でｃ₁およびｃ₂を組み合わせるようなｃ₁およびｃ₂を見出す必要がある。つ
まり、ｃ＝ｃ₁＋ｃ₂と定義される複合画像ｃはカメラから見た望ましい画像である。より
具体的に、望ましい複合画像ｃを表示するために次の線形方程式を解いて適当なプロジェ
クタ画像ｐ₁およびｐ₂を演算する必要がある。

または

このような設定において、カメラ・ピクセルは１台のプロジェクタからの１個のプロジ
ェクタ・ピクセルにより、または各々のプロジェクタからの２個のプロジェクタ・ピクセ
ルにより同時に、点灯される。前者の場合、カメラ・ピクセルはｐ₁またはｐ₂における対
応プロジェクタ・ピクセルについて線形方程式を呈する。カメラ・ピクセルが２台のプロ
ジェクタのＦＯＶで重なる部分に当たる後者の場合、ｐ₁またはｐ₂における２個の対応プ
ロジェクタ・ピクセルについて線形方程式を呈する。各プロジェクタ・ピクセルはいくつ
かのカメラ・ピクセルを覆うので、いくつかの線形方程式により制約される。従ってすべ
てのカメラ・ピクセルからのこのような方程式はプロジェクタ画像ｐ₁またｈｐ₂に対し制
約過剰の線形システムを形成する。

しかし、２台のプロジェクタ・システムの場合、上述の単独プロジェクタ・システムで
できるようにビュー投影行列を直接演算することができなくなる（すなわち［Ｔ₁Ｔ₂］の
逆を直接演算できない）。異なったプロジェクタからのピクセルの投影は重なり合うこと
ができるため、表示制約も複数のプロジェクタ間では成立しない、すなわちＴ₁における
列はＴ₂における列と必ずしも直交せず、従って［Ｔ₁Ｔ₂］に対するビュー投影行列を演
算するのに方程式（１）を用いることができない。従って、方程式（２）の線形システム
を直接解く代わりに、収束するまで次の２工程を反復する交互性の線形解法が開発された
。
１．ｐ₂の現行推定を仮定し、ｐ₁＝（Ξ₁）^T＊（ｃ−Ｔ₂ｐ₂）を演算
２．ｐ₁の現行推定を仮定し、ｐ₂＝（Ξ₂）^T＊（ｃ−Ｔ₁ｐ₁）を演算

ここで、直前で述べた式（Ξ₁）^Tおよび（Ξ₂）^Tは２台のプロジェクタのビュー投影行
列で、最初の工程においてｐ₂はゼロに等しく設定される。ビュー投影行列はプロジェク
タとカメラとの画像間の対応とマッピングを自然に伝えるので、このプロセスは収束する
まで数回（典型的には各々５回以下）の反復しか必要としない。すなわち、ｐ₁は第１の
算出画像を、又ｐ₂は第２の算出画像に収束する。

図４０に関し、このプロセスを実施したシステムの例は第１プロジェクタ−カメラ・シ
ステム対２２１および第２プロジェクタ−カメラ・システム対２２３を含む。第１カメラ
・システム対２２１は、上述方法のいずれかを用いて構築された第１ビュー投影行列Ξ₁
により関連付けられた第１プロジェクタ２１ａおよび第１カメラ２５ａを含む。同様に、
第２カメラ・システム対２２３は、同じく上述方法のいずれかを用いて構築された第２ビ
ュー投影行列Ξ₂により関連付けられた第２プロジェクタ２１ｂおよび第２カメラ２５ｂ
を含む。さらにΞ₁およびΞ₂は各々独立して生成され、Ξ₁が生成される間第２プロジェ
クタ・システム対２２３は消されており、Ξ₂が生成される間第１プロジェクタ−カメラ
・システム対２２１は消されていることが理解されよう。

第１プロジェクタ−カメラ・システム対２２１は第１投影領域Ｒｅｇ_１を定義する第
１視野ＦＯＶ_１を有し、第２プロジェクタ−カメラ・システム対２２３は第２投影領域
Ｒｅｇ_２を定義する第２視野ＦＯＶ_２を有する。図示されるように、領域Ｒｅｇ_１と
Ｒｅｇ_２は網目印で特定される区域内で互いに重なり合う。この重複領域はさらにＲｅ
ｇ_１＋２という記号が付けられている。重複領域Ｒｅｇ_１＋２のサイズは説明の便宜上
大きくされており、小さい重複領域の方がより典型的であるが、重複の量は本用途にとっ
て重要ではないことが理解されよう。

式ｐ₁＝（Ξ₁)^T＊（ｃ−Ｔ₂ｐ₂）およびｐ₂＝（Ξ₂）^T＊（ｃ−Ｔ₁ｐ₁）は、幾何学的
および測光的補正を考慮したものであり、従って隣接する表示画像間の融合に関するニー
ズに対処する。上記の通り、光輸送行列Ｔ（および従ってビュー投影行列Ξ）が幾何学的
情報を盛り込む。更に、各カメラのピクセル（例えば、図２のＦｔ１または図５（Ａ）の
Ｆｔ２の光フットプリントを構成する白またはグレーのブロック）の３色（ＲＧＢ）のサ
ブコンポーネントの光強度のバリエーションを含む光フットプリントから、光輸送行列Ｔ
のための光フットプリント情報を特定するときに完全な測光情報も得られる。しかしなが
ら、もし光輸送行列Ｔが２元のオン・オフ様式であった場合、すなわち、ある光フットプ
リント内のピクセルが全て完全にオンで（０から２５５までの典型的な階調のうち２５５
の光強度を以って）その光フットプリントの外のピクセルが完全にオフであった場合、こ
のオン・オフ・タイプの光輸送行列Ｔの構造はなお幾何学情報を含み、ｐ¬₁について上
記式（１）およびｐ₂について式（２）は、なお複数の投影画像の幾何学的モザイク化が
可能であるが、測光情報を多く持たない。そのような場合には、追加的なステップが複数
の投影画像の光強度を融合させるのに役立つ。

複数のプロジェクタの光強度を融合するための、この追加的なステップが有用な別の状
況は、光輸送行列Ｔが限られた数の光フットプリント情報から生成された場合である。上
で説明したように、映写表面（または背景）が平坦な場合は光輸送行列Ｔが、限られた数
の光フットプリントを生成する、限られた数の交差パターンを使って予測し得る。この映
写表面が平坦なので、光輸送行列Ｔ内の欠落情報はホモグラフィー技術を用いて推定され
得る。このアプローチは完全な幾何学的情報は提供するが、特定された有限の光フットプ
リント間の測光情報については確信が持てない。もし映写表面が単色（典型的な白い映写
生地など）であることが分かっている場合は、白情報を、真に特定された光フットプリン
ト間に推定された全ての光フットプリント情報のための測光情報として挿入することがで
きる。あるいは、もし映写表面がほぼ均一な色の場合は、真に生成された、いずれの（ま
たは２以上の）光フットプリント情報から重要な測光情報を得ることができ、推定された
全ての光フットプリント情報の測光情報として、得られたこの重要な測光情報を入力する
ことができる。

更に、もし全てのピクセル情報（推定された光輸送行列Ｔではなく完全な光輸送行列Ｔ
）を用いて生成された光輸送行列を持っていたとしても、投影された画像が、複数のプロ
ジェクタの光強度を融合するためのこの追加ステップを式ｐ₁＝（Ξ₁)^T＊（ｃ−Ｔ₂ｐ₂）
およびｐ₂＝（Ξ₂）^T＊（ｃ−Ｔ₁ｐ₁）の色融合能力への追加パラメータとして追加する
ことの利益を受けることが更に見出された。

この追加的な光融合技術を示す複数の投影領域の簡略化されたビューを図４１に示す。
前と同様に、領域Ｒｅｇ_１はプロジェクタ・カメラ・システム対２２１が提供する投影
領域で、領域Ｒｅｇ_２はプロジェクタ・カメラ・システム対２２３が提供する投影領域
である。説明の便宜上、領域Ｒｅｇ_１は垂直な破線で示され、領域Ｒｅｇ_２は水平な破
線で示される。重複領域Ｒｅｇ_１＋２はしたがって垂直および水平な破線の交差で示さ
れる。特に興味があるのは、領域Ｒｅｇ_１、Ｒｅｇ_２および重複領域Ｒｅｇ_１＋２の
部分にかかる濃い輪郭で示された、所望の投影領域２２５の定義である。所望の投影領域
２２５は所望の組合せ画像が表示される領域を定義する。所望の投影領域２２５はプロジ
ェクタ・カメラ・システム対２２１および２２３の両方から画像の寄与がある。所望の投
影領域２２５のうち、領域Ｒｅｇ_Ａはプロジェクタ・カメラ・システム対２２１のみに
よって提供された投影領域２２５の部分を特定し、領域Ｒｅｇ_Ｃはプロジェクタ・カメ
ラ・システム対２２３のみによって提供された投影領域２２５の部分を特定し、領域Ｒｅ
ｇ_Ｂはプロジェクタ・カメラ・システム対２２１および２２３の組合せによって提供さ
れた投影領域２２５の部分を特定する。領域Ｒｅｇ_Ｂもプロジェクタ・カメラ・システ
ム対２２１および２２３のいずれか一方のみによって提供され得るが、一つのプロジェク
タ・カメラ・システム対によって提供された画像が終わり第２のプロジェクタ・カメラ・
システム対によって投影された第２の画像が始まる画像の境界での視覚的なアーチファク
トはプロジェクタ・カメラ・システム対間の遷移部分を融合することによって軽減または
排除され得ることが理解されよう。したがって、本実施形態では、プロジェクタ・カメラ
・システム対２２１と２２３の両方が領域Ｒｅｇ_Ｂ内に作成された画像に貢献する。目
先の問題は各プロジェクタ・カメラ・システム対２２１と２２３が領域Ｒｅｇ_Ｂ内にど
れほど多くの画像を提供するかである。

説明の便宜上、図４２は領域Ｒｅｇ_１と、その一部でプロジェクタ・カメラ・システ
ム対２２１によって提供され、領域Ｒｅｇ_Ｂ内を含む所望の投影領域２２５を示す。垂
直な破線は、濃い色で示された部分の領域Ｒｅｇ_１は所望の投影領域２２５に寄与しな
いことを示す。矢印１Ａ、１Ｂ、１Ｃおよび１Ｄは、正規化光強度が所望の投影領域２２
５の境界から領域Ｒｅｇ_Ｂに向かって移動するのにつれていかに変化し、プロジェクタ
・カメラ・システム対２２３によって提供された所望の投影領域２２５の境界に近づくか
を示す。領域Ｒｅｇ_１ａは組合せによる領域Ｒｅｇ_Ｂの外にあり、プロジェクタ・カメ
ラ・システム対２２１のみによって提供される。領域Ｒｅｇ_Ｂに入ると、矢印１Ａは画
像強度（the image intensity）が当初プロジェクタ・カメラ・システム対２２１により
強く提供されることを示すが、矢印１Ａに沿って領域Ｒｅｇ_Ｂの右の境界の方向に左か
ら右に横切るにつれて光強度は低下する。矢印１Ｄは領域Ｒｅｇ_Ｂの右端では当初プロ
ジェクタ・カメラ・システム対２２１からは光強度は提供されないが、領域Ｒｅｇ_Ｂ内
で右から左へ横切るにつれてプロジェクタ・カメラ・システム対２２１の光強度は増すこ
とを示す。同様に、矢印１Ｂは矢印１Ｂ上を所望の投影領域２２５の境界から離れる方向
に横切るにつれて光強度が低下することを示す。同様に、矢印１Ｃは所望の投影領域２２
５の境界から離れる方向に横切るにつれて光強度が低下することを示す。

言い換えれば、画像における光強度の変動は定義された最高光強度値、すなわち正規化
値、の係数として表現することができる。この正規化値に１を掛けると定義された最高光
強度値が提供され、同じ正規化値に係数０．５を掛けることによりその定義された最大光
強度値の半分の値が提供される。所与の領域内で正規化値を変更することによって、与え
られた領域内での画像の明るさを変更することができる。本例の場合、境界においてピク
セルの光強度を急に変えるよりむしろ画像の境界を緩やかに融合することによって、境界
における望まれない光のアーチファクトが回避される。

プロジェクタ・カメラ・システム対２２３の視点からの類似の構図が図４３に示される
。再び、水平な破線は、領域Ｒｅｇ_２の部分で濃く色づけされた部分が所望の投影領域
２２５に寄与しないことが示される。以前と同様に、領域Ｒｅｇ_Ｂは、プロジェクタ・
カメラ・システム対２２１と２２３の両方の組合せによって画像が提供される融合エリア
を示し、領域Ｒｅｇ_２Ａは投影領域２２５のこの部分がプロジェクタ・カメラ・システ
ム対２２３のみによって提供されることを示す。矢印２Ａ、２Ｂ、２Ｃおよび２Ｄは、領
域Ｒｅｇ_Ｂ内で領域Ｒｅｇ_２Ａから、投影領域２２５の境界に向けて、およびプロジェ
クタ・カメラ・システム対２２１で提供された部分の所望の投影領域２２５に向けて、正
規化光強度がいかに変化するかを示す。領域Ｒｅｇ_２ａは組合せによる領域Ｒｅｇ_Ｂの
外に位置し、プロジェクタ・カメラ・システム対２２３のみによって提供される。領域Ｒ
ｅｇ_Ｂに入ると、矢印２Ａは画像強度（the image intensity）が当初プロジェクタ・カ
メラ・システム対２２３により強く提供されることを示すが、矢印２Ａに沿って領域Ｒｅ
ｇ_Ｂの左の境界の方向に右から左へ横切るにつれて光強度は低下する。矢印２Ｄは領域
Ｒｅｇ_Ｂの左端では当初プロジェクタ・カメラ・システム対２２３からは光強度は提供
されないが、領域Ｒｅｇ_Ｂ内で左から右へ横切るにつれてプロジェクタ・カメラ・シス
テム対２２３の光強度が増すことを示す。同様に、矢印２Ｂは領域Ｒｅｇ_Ｂ内で矢印２
Ｂ上を所望の投影領域２２５の境界から離れる方向に横切るにつれて光強度が低下するこ
とを示す。同様に、矢印２Ｃは矢印２Ｃ上を所望の投影領域２２５の境界から離れる方向
に横切るにつれて光強度が低下することを示す。

プロジェクタ・カメラ・システム対２２１によって投影された各ピクセルに対して投影
されたピクセルの領域Ｒｅｇ_１と領域Ｒｅｇ_Ｂの左、右、上、および下の境界への近接
度が判断される。これらのパラメータは投影されたピクセルの正規化光強度に影響する。
プロジェクタ・カメラ・システム対２２１から投影されたピクセルが領域Ｒｅｇ_１のい
ずれの境界に近いほど、その境界にそのパラメータが高い寄与をし、より明るい正規化強
度に貢献する。プロジェクタ・カメラ・システム対２２３から投影されたピクセルも領域
Ｒｅｇ_２と領域Ｒｅｇ_Ｂの左、右、上、および下の境界への近接度が判断される点で同
じである。更に、境界近くに投影されたピクセルの光強度は、境界で光強度が急に変化す
るのを避けるため境界に近づくにつれて調整される。

例えば図４１において、領域Ｒｅｇ_Ａで矢印Ａ１に沿って左から右に進むとプロジェ
クタ−カメラ・システム対２２１により完全に提供される望ましい投影領域２２５の左の
境界から、プロジェクタ−カメラ・システム対２２１および２２３双方により提供される
領域Ｒｅｇ_２および領域Ｒｅｇ_Ｂの左の境界に移ることになる。矢印１Ａに沿って左か
ら右に進むと領域Ｒｅｇ_１の左の境界から離れて行くが、画像はプロジェクタ−カメラ
・システム対２２１のみによって提供され、プロジェクタ・カメラ・システム対２２１に
よって提供されたピクセルの正規化光強度は正規化され最も高くなる。矢印Ａ１の終りに
到達し矢印Ａ２の始まりに到達すると、光の融合がまさに始まろうとするため、プロジェ
クタ−カメラ・システム対２２１は最も高い正規化光強度値を出す。矢印Ａ２のスタート
地点でプロジェクタ・カメラ・システム対２２３は最も低い正規化光強度を出す。矢印Ａ
２に沿って左から右に進むと（言い換えれば、プロジェクタ・カメラ・システム対２２１
によって独占的に供給された領域Ｒｅｇ_Ａから、プロジェクタ・カメラ・システム対２
２３によって独占的に供給された領域Ｒｅｇ_Ｃへ）、プロジェクタ・カメラ・システム
対２２１の正規化光強度値は最も明るいものから最も暗いものへ下がる。逆に、矢印Ａ２
に沿って左から右に進むと、プロジェクタ・カメラ・システム対２２３の正規化光強度は
最も低い正規化光強度値から最も高い値へと上がる。この光の遷移は必ずしもリニアでは
ないことが理解されるべきである。例えば、プロジェクタ・カメラ・システム対２２１の
正規化光強度は好ましくは矢印Ａ２に沿って右の境界または領域Ｒｅｇ_Ｂに近づくにつ
れて大きく変化する。

従って、矢印Ａ２の端で、プロジェクタ・カメラ・システム対２２３は最も明るい正規
化光強度を出し、プロジェクタ・カメラ・システム対２２１は最も暗い正規化光強度を出
す。矢印Ａ３に沿って左から右へ進むと、プロジェクタ・カメラ・システム対２２３が全
ての投影光を提供し、プロジェクタ・カメラ・システム対２２１による光の寄与はない。
このように、領域Ｒｅｂ_Ｃ内では、プロジェクタ・カメラ・システム対２２３は最も高
い正規化光強度で維持され得る。

幾何学的情報と測光的情報の両方を用いて上記の式ｐ₁＝（Ξ₁)^T＊（ｃ−Ｔ₂ｐ₂）およ
びｐ₂＝（Ξ₂）^T＊（ｃ−Ｔ₁ｐ₁）を、図４４に示すように２台のプロジェクタをモザイ
ク化することによってテストした。２台のプロジェクタはカメラから見えるすべての表面
を覆う必要がある。この設定を用い、シームレスで（カメラの視点から見て）歪みのない
画像が塑像上に投影することに成功した。さまざまな照明条件の下で塑像の画像をビュー
投影することにより簡単に照明を変えることもできる。

複数のプロジェクタを組み合わせる上記方法を用いて大型ＦＯＶプロジェクタ・システ
ムの構成を図４５（Ａ）および図４５（Ｂ）に示す。図４５（Ａ）では１つの曲面ミラー
１２５が複数のプロジェクタ−カメラ対１４５と組み合わせて用いられる。図４５（Ｂ）
では１つのミラー・ピラミッド１５１が複数のプロジェクタ−カメラ対１４５と共に用い
られ、大きいＦＯＶを実現する。図４５（Ｂ）の構成の場合、すべてのプロジェクタの光
心をミラー・ピラミッド内に配置して、１つの仮想大型ＦＯＶプロジェクタを作り出すこ
とができる。同様にカメラの光心も配置して１つの仮想大型ＦＯＶカメラを作り出すこと
ができる。

図４６は複数の大きいＦＯＶプロジェクタ１５３ａおよび１５３ｂ（図４５（Ａ）、図
４５（Ｂ）に示されたプロジェクタまたはその他の大きいＦＯＶプロジェクタ・システム
のようなもの）を用いてより大きい全体的投影ＦＯＶを達成することができることを示す
。１つ以上の通常のプロジェクタ１５５も組み合わせて使用することができる。見られる
ように、点線１５７で示されるプロジェクタ１５３ａのＦＯＶは点線１５９で示されるプ
ロジェクタ１５４ｂのＦＯＶと、重複量１６１だけ重なっている。プロジェクタ１５３ａ
および１５３ｂからの画像は複数のプロジェクタを組み合わせるための上述の方法を用い
て組合すことができる。

発明はいくつかの具体的な実施形態に関連して説明されたが、前述の説明に照らし当業
者であればさらに多くの代替、修正、および別形態が明らかであろう。従って、本明細書
で説明した発明は添付特許請求の範囲に含まれるこのような代替、修正、用途、および別
形態すべてを包含することを意図している。

図面において類似した参照記号は類似した部分を指す。
（Ａ）および（Ｂ）は、本発明によるデュアル・フォトグラフィの構成。 １つのプロジェクタ・ピクセルから投射される光線が場面から反射されカメラ・センサのピクセル・アレイに小さな光フットプリントを形成する例。 映像が情報のアレイとしてどのように表示され得るかの例。 カメラ・センサのピクセル・アレイに取り込まれた光フットプリントが情報のアレイとしてどのように表示され得るかの例。 （Ａ）は、プロジェクタにおける１つのプロジェクタ・ピクセルの活性化によりもたらされるデジタル・カメラ内の光センサ・アレイに投影されるフットプリントを図示した例であり、（Ｂ）は、（Ａ）の例を反映した、行列Ｔ内における光輸送係数の列を図示した例。 （Ａ）、（Ｂ）は、市松格子パターンを有する場面に同時に投影される２列のプロジェクタ・ピクセルの２つの例。 （Ａ）、（Ｂ）は、市松格子パターンを有する場面に同時に投影される２行のプロジェクタ・ピクセルの２つの例。 （Ａ）は、図５（Ａ）および図６（Ａ）の画像を組み合わせることにより作成される、１つのプロジェクタ・ピクセルによりもたらされる発生光ビームのフットプリントであり、（Ｂ）は、図５（Ｂ）および図６（Ｂ）の画像を組み合わせることにより作成される、１つのプロジェクタ・ピクセルによりもたらされる発生光ビームのフットプリント。 映写ピクセルを図７（Ａ）または図７（Ｂ）で発生された光ビームで決定される非ゼロ値の光輸送係数に結び付けたインデクスの第１例。 映写ピクセルを図７（Ａ）または図７（Ｂ）で発生された光ビームで決定される非ゼロ値の光輸送係数に結び付けたインデクスの第２例。 （Ａ）は、実カメラで撮影した実取り込み画像であり、（Ｂ）は、実プロジェクタから見た、本発明の方法を用いて生成されたデュアル取り込み画像。 プロジェクタを較正するためにホモグラフィの使用を適用した結果の例。 プロジェクタと場面の間に置かれた２つのワイン・グラスにより歪められた映像。 ２つの別個のプロジェクタ・ピクセルにより実現された２つの重なり合った隣接光フットプリントの例。 本発明による、任意の場面に表示制約を課すためのプロセスの例。 図１５に示された表示制約賦課におけるさらなる工程。 本発明がポスター画像の色補正に適用される例。 図１３の映写場面で、本発明の光歪みを補正する方法を適用した状態。 没入型表示システムの作成にデュアル・フォトグラフィを用いる典型的な映写設定。 没入型プロジェクタＰ２が前面投射型プロジェクタＰ１”をシミュレートするために用いられるところ。 図２０の仮想プロジェクタ実施を用いて生成された画像の例。 （Ａ）は、実前面投射型プロジェクタにより投影された画像の右側であり、（Ｂ）は、（Ａ）に示す画像の左側を示すが、（Ｂ）においては画像の左側は没入型プロジェクタにより投影され、また、（Ｃ）は、（Ａ）の右側画像を（Ｂ）の左側画像に接合したところを示す。 さらに没入型プロジェクタにより生成された左側の画像を前面投射型プロジェクタにより生成された右側の画像を接合した例。 （Ａ）、（Ｂ）、（Ｃ）は、実際の部屋の中に仮想モデル部屋で作り出された仮想画像を再現した、本発明の別の適用。 画像の歪みなしに実際の部屋における映写空間より大きい画像を投影する、図２４（Ａ）、図２４（Ｂ）、図２４（Ｃ）の手法の例。 本発明の最小限の形態に従った典型的映写システム。 図２６の設計に基づくプロトタイプ。 図２７の構成を別の角度から示したもの。 （Ａ）は、図２７および図２８の映写システムを設置した部屋を周辺光の下で示したものであり、（Ｂ）は、（Ａ）の部屋を没入型映写照明の下で示したもの。 （Ａ）は、較正されていない画像を投影した図２９（Ａ）の部屋を示したものであり、（Ｂ）は、較正された画像を投影した図２９（Ａ）の部屋を示したもの。 （Ａ）は、較正されていない空白の映像を投影した図２９（Ａ）の部屋を示したものであり、（Ｂ）は、較正された空白の映像を投影した図２９（Ａ）の部屋を示したもの。 本発明をドーム型ミラー・プロジェクタに適用する第１工程。 本発明をドーム型ミラー・プロジェクタに適用する第２工程。 本発明をドーム型ミラー・プロジェクタに適用する第３工程。 ドーム型ミラー・プロジェクタの投影用に正確に歪められた画像を実現するために本発明を望ましい画像に適用したところ。 図３５で生成された、歪んだ画像を投影した結果。 天井据付運転の別の設計。 本発明の別の構成。 本発明のさらに別の構成。 ２つ以上のプロジェクタ−カメラ・システムをモザイク化して合成画像を作成する設定。 複数のプロジェクタ−カメラ・システムによる画像の合成。 マルチ・プロジェクタ−カメラ・システムにおける２つのプロジェクタ−カメラ・システムの内１つ目により投影された画像。 マルチ・プロジェクタ−カメラ・システムにおける２つのプロジェクタ−カメラ・システムの内２つ目により投影された画像。 複雑な表面に市松格子パターンを投影することに本発明を適用した例。 （Ａ）は、１つの曲面ミラー１２５および複数のプロジェクタ−カメラ対１４５を使用する設計であり、（Ｂ）は、１つのミラー・ピラミッド１５１および複数のプロジェクタ−カメラ対１４５を使用する設計。 全体により大きい映写ＦＯＶを達成するために複数の大ＦＯＶプロジェクタ１５３ａおよび１５３ｂを用い得ることを示したもの。 （Ａ）および（Ｂ）は、デュアル・フォトグラフィを実施するための従来の構成。

符号の説明

１２７…表示表面、１２５…曲面ミラー、１４１…平面ミラー、１２１…プロジェクタ
、１２３…カメラ、１２５…曲面ミラー、１４５…カメラ・プロジェクタ、１５１…ミラ
ー・ピラミッド、１４５…カメラ・プロジェクタ、１５７…適合没入型プロジェクタＸの
ＦＯＶ、１５９…適合没入型プロジェクタＹのＦＯＶ、１５３ａ…適合没入型プロジェク
タＸ、１５３ｂ…適合没入型プロジェクタＹ。

Claims (28)

1. 任意の場面におけるプロジェクタ−カメラ・システムの光輸送行列Ｔにシミュレートさ
   れた表示制約を課す方法であって、
   前記表示制約はプロジェクタから放射された任意な２つの別個な光線はカメラの画像セ
   ンサの別個な部分に当たることを規定し、
   前記光輸送行列Ｔの各行に対し、前記光輸送行列Ｔの共通行に沿って行列入力を比較し
   、共通行における最高値の行列入力を留保することと、
   前記光輸送行列Ｔの各行から最高値の行列入力で光輸送アレイを埋めることと、
   前記光輸送行列Ｔのどの列から前記光輸送アレイの各入力が由来したかを示す記録を維
   持することと、
   前記記録および前記光輸送アレイを用いて前記プロジェクタの各プロジェクタ・ピクセ
   ルの光フットプリント情報を必要に応じて抽出することと、
   を含むことを特徴とする任意の場面におけるプロジェクタ−カメラ・システムの光輸送
   行列Ｔにシミュレートされた表示制約を課す方法。
2. 表示制約は前記任意の場面でサポートされていないことを特徴とする請求項１に記載の
   任意の場面におけるプロジェクタ−カメラ・システムの光輸送行列Ｔにシミュレートされ
   た表示制約を課す方法。
3. 前記任意の場面は前記プロジェクタから前記カメラへの光パスの間に光散乱物体を含み
   、前記方法は光散乱効果を補正するのに有効であることを特徴とする請求項１に記載の任
   意の場面におけるプロジェクタ−カメラ・システムの光輸送行列Ｔにシミュレートされた
   表示制約を課す方法。
4. 前記光輸送行列Ｔの各列は前記プロジェクタの１つのプロジェクタ・ピクセルを活性化
   することにより実現され、カメラの画像センサ全体により取り込まれた画像に対応し、各
   光フットプリント情報はその対応プロジェクタ・ピクセルに対する光輸送値をなすことを
   特徴とする請求項１に記載の任意の場面におけるプロジェクタ−カメラ・システムの光輸
   送行列Ｔにシミュレートされた表示制約を課す方法。
5. 前記光輸送アレイおよび記録は前記光輸送行列Ｔの代わりに用いられる修正光輸送行列
   をなすことを特徴とする請求項１に記載の任意の場面におけるプロジェクタ−カメラ・シ
   ステムの光輸送行列Ｔにシミュレートされた表示制約を課す方法。
6. 前記修正光輸送行列はデュアル・フォトグラフィに適用することを特徴とする請求項５
   に記載の任意の場面におけるプロジェクタ−カメラ・システムの光輸送行列Ｔにシミュレ
   ートされた表示制約を課す方法。
7. 各々のプロジェクタ・ピクセルに対応するグループとして正規化光フットプリント情報
   を計算することと、
   中間アレイを作成し、前記中間アレイをその対応光フットプリント情報の計算された正
   規化値で埋めることと、
   前記中間アレイについて、前記中間アレイの各入力をその対応する正規化光フットプリ
   ントに結び付ける中間記録を維持することと、
   前記中間アレイおよび中間記録を中間行列の表記として解釈し、前記中間アレイに転置
   行列演算を適用することと、により、前記光輸送行列の推定逆行列を生成することを含む
   ことを特徴とする請求項４に記載の任意の場面におけるプロジェクタ−カメラ・システム
   の光輸送行列Ｔにシミュレートされた表示制約を課す方法。
8. 各々のプロジェクタ・ピクセルに対応するグループとして正規化光フットプリント情報
   を計算するプロセスは１つの光フットプリントをなす光輸送アレイ入力グループを平方し
   た合計を出し、光輸送アレイ入力グループの各入力を前記合計で割ることを含むことを特
   徴とする請求項７に記載の任意の場面におけるプロジェクタ−カメラ・システムの光輸送
   行列Ｔにシミュレートされた表示制約を課す方法。
9. 任意の場面におけるプロジェクタ−カメラ・システムの光輸送行列Ｔにシミュレートさ
   れた表示制約を課す方法であって、
   前記表示制約はプロジェクタから放射された任意な２つの別個な光線はカメラの画像セ
   ンサの別個な部分に当たることを規定し、
   光輸送行列Ｔにおける各行に対し、前記光輸送行列の共通行に沿って行列入力を比較し
   、共通行における最高値の行列入力以外すべて無効にされ、もたらされた行列は修正光輸
   送行列Ｔ^*であること
   を含むことを特徴とする任意の場面におけるプロジェクタ−カメラ・システムの光輸送
   行列Ｔにシミュレートされた表示制約を課す方法。
10. 行列入力はゼロ値を割り当てられることにより無効にされることを特徴とする請求項９
    に記載の任意の場面におけるプロジェクタ−カメラ・システムの光輸送行列Ｔにシミュレ
    ートされた表示制約を課す方法。
11. 前記表示制約は前記任意の場面でサポートされていないことを特徴とする請求項９に記
    載の任意の場面におけるプロジェクタ−カメラ・システムの光輸送行列Ｔにシミュレート
    された表示制約を課す方法。
12. 前記任意の場面は前記プロジェクタから前記カメラへの光パスの間に光散乱物体を含み
    、前記修正光輸送行列は光散乱効果を補正するのに有効であることを特徴とする請求項９
    に記載の任意の場面におけるプロジェクタ−カメラ・システムの光輸送行列Ｔにシミュレ
    ートされた表示制約を課す方法。
13. 前記修正光輸送行列はデュアル・フォトグラフィに適していることを特徴とする請求項
    ９に記載の任意の場面におけるプロジェクタ−カメラ・システムの光輸送行列Ｔにシミュ
    レートされた表示制約を課す方法。
14. 前記修正光輸送行列の推定逆行列は、
    前記修正光輸送行列の各列を目標列として順に特定し、前記目標列における無効にされ
    ていない入力値について前記目標列に関し正規化値を計算することと、
    前記修正光輸送行列に等しいサイズの中間行列を作成することと、
    前記中間行列の各列を前記修正光輸送行列の対応目標列の計算された正規化値で埋める
    ことで、前記中間行列の埋められた各列における各正規化値は前記修正光輸送行列の対応
    列における前記無効にされていない入力値と１対１の対応を維持していることと、
    前記中間行列に転置行列演算を適用することと、により生成されることを特徴とする請
    求項９に記載の任意の場面におけるプロジェクタ−カメラ・システムの光輸送行列Ｔにシ
    ミュレートされた表示制約を課す方法。
15. 前記修正光輸送行列の対応目標列における無効にされていない入力値からの正規化値が
    入力されていない前記中間行列における値の入力はゼロ値を入力されることを特徴とする
    請求項１４に記載の任意の場面におけるプロジェクタ−カメラ・システムの光輸送行列Ｔ
    にシミュレートされた表示制約を課す方法。
16. 前記目標列における無効にされていない入力値について前記目標列に関し正規化値を計
    算プロセスは前記目標列における前記無効にされていない入力値のみ平方して合計を出し
    、前記目標列における無効にされた値をすべて無視し、無効にされた入力値各々を前記合
    計で割ることを含むことを特徴とする請求項１４に記載の任意の場面におけるプロジェク
    タ−カメラ・システムの光輸送行列Ｔにシミュレートされた表示制約を課す方法。
17. 前記中間行列をΞで示し、修正光輸送行列Ｔ^*の目標列をＴ^*ｒで示した場合、Ξの対応
    列をΞｒで示した場合、Ξの構造および入力はΞｒ＝Ｔｒ／（‖Ｔｒ‖）² _¬¬と定義さ
    れることを特徴とする請求項１４に記載の任意の場面におけるプロジェクタ−カメラ・シ
    ステムの光輸送行列Ｔにシミュレートされた表示制約を課す方法。
18. 第１プロジェクタ−カメラ・システムからの第１投影画像と、第２プロジェクタ−カメ
    ラ・システムからの第２投影画像とをモザイク化する方法であって、
    （ａ）前記第１プロジェクタ−カメラ・システムの第１カメラ画像ｃ₁を関係ｃ₁＝Ｔ₁
    ｐ₁に従い前記第１プロジェクタ−カメラ・システムの第１プロジェクタ画像ｐ₁に関連付
    ける第１光輸送行列Ｔ₁を確立することと、
    （ｂ）前記第２プロジェクタ−カメラ・システムの第２カメラ画像ｃ₂を関係ｃ₂＝Ｔ₂
    ｐ₂に従い前記第２プロジェクタ−カメラ・システムの第２プロジェクタ画像ｐ₂に関連付
    ける第２光輸送行列Ｔ₁を確立することと、
    （ｃ）望ましい複合画像”ｃ”を定義することと、
    （ｄ）ｐ₂をゼロに等しく設定し、式ｐ₁＝Ｔ₁ ^-1＊（ｃ−Ｔ₂ｐ₂）をｐ₁について解くこ
    とと、
    （ｅ）今解かれたｐ¬₁の値を用い、式ｐ₂＝Ｔ₂ ^-1＊（ｃ−Ｔ₁ｐ₁）をｐ₂について解く
    ことと、
    （ｆ）今解かれたｐ¬₂の値を用い、式ｐ₁＝Ｔ₁ ^-1＊（ｃ−Ｔ₂ｐ₂）をｐ₁について解く
    ことと、
    （ｇ）ｐ_1¬¬が第１モザイク化画像に収束し、ｐ₂が第２モザイク化画像に収束するま
    で工程（ｅ）および（ｆ）を順に繰り返すことと、を含むことを特徴とする第１プロジェ
    クタ−カメラ・システムからの第１投影画像と、第２プロジェクタ−カメラ・システムか
    らの第２投影画像とをモザイク化する方法。
19. 前記望ましい複合画像”ｃ”は”ｃ”＝ｃ₁＋ｃ₂と定義されることを特徴とする請求項
    １８に記載の第１プロジェクタ−カメラ・システムからの第１投影画像と、第２プロジェ
    クタ−カメラ・システムからの第２投影画像とをモザイク化する方法。
20. 前記第１モザイク化画像を前記第１プロジェクタ−カメラ・システムで投影し、前記第
    ２モザイク化画像を前記第２プロジェクタ−カメラ・システムで投影すること
    を含むことを特徴とする請求項１８に記載の第１プロジェクタ−カメラ・システムから
    の第１投影画像と、第２プロジェクタ−カメラ・システムからの第２投影画像とをモザイ
    ク化する方法。
21. Ｔ₁ ^-1またはＴ₂ ^-1の少なくとも１つは一般的光輸送行列の逆Ｔ¬¬^-1の推定で、
    前記推定は、前記一般的光輸送行列Ｔにおける各列を目標列として順に特定し、前記目
    標列における無効にされていない入力値について、前記目標列に関し正規化値を計算する
    ことと、
    前記一般的光輸送行列Ｔと等しいサイズの中間行列を作成することと、
    前記中間行列における各列に、前記一般的光輸送行列Ｔにおける対応目標列の計算され
    た正規化値を入力することで、前記中間行列における入力された各列における各正規化値
    は前記一般的光輸送行列Ｔの対応列における前記無効にされていない入力値と１対１の対
    応を保っていることと、
    前記中間行列に転置行列演算を適用することと、により生成されることを特徴とする請
    求項１９に記載の第１プロジェクタ−カメラ・システムからの第１投影画像と、第２プロ
    ジェクタ−カメラ・システムからの第２投影画像とをモザイク化する方法。
22. 前記中間行列をΞで示し、一般的光輸送行列Ｔにおける目標列をＴｒで示し、Ξにおけ
    る対応列をΞｒで示した場合、Ξの構造および入力はΞｒ＝Ｔ¬ｒ／（‖Ｔｒ‖）² _¬¬
    と定義され、Ｔ₁ ^-1が一般的光輸送行列の逆Ｔ¬¬^-1 _¬の推定である場合はｐ₁＝（Ξ₁）^T
    ＊（ｃ−Ｔ₂ｐ₂）で、Ｔ₂ ^-1が一般的光輸送行列の逆Ｔ¬¬^-1 _¬の推定である場合はｐ₂＝
    （Ξ₂）^T＊（ｃ−Ｔ₁ｐ₁）となることを特徴とする請求項２１に記載の第１プロジェクタ
    −カメラ・システムからの第１投影画像と、第２プロジェクタ−カメラ・システムからの
    第２投影画像とをモザイク化する方法。
23. Ｔ₁またはＴ₂の少なくとも１つは各々のプロジェクタ−カメラ・システムの各々のプロ
    ジェクタにおけるすべてのプロジェクタ・ピクセルと１対１の対応を有しない光フットプ
    リント情報のサンプリングから生成された推定光輸送行列であることを特徴とする請求項
    １８に記載の第１プロジェクタ−カメラ・システムからの第１投影画像と、第２プロジェ
    クタ−カメラ・システムからの第２投影画像とをモザイク化する方法。
24. （ｈ）前記第１および第２モザイク化画像の少なくとも１つに測光的融合操作を適用す
    ることを含むことを特徴とする請求項１８に記載の第１プロジェクタ−カメラ・システム
    からの第１投影画像と、第２プロジェクタ−カメラ・システムからの第２投影画像とをモ
    ザイク化する方法。
25. 前記測光的融合操作は、
    （i）前記第１プロジェクタ−カメラ・システムの第１プロジェクタ視野、ＦＯＶ１で
    専ら覆われるモザイク化画像の第１領域を特定することと、
    （ii）ＦＯＶ１および前記第２プロジェクタ−カメラ・システムの第２プロジェクタ視
    野、ＦＯＶ２で覆われる前記モザイク化画像の第２領域を特定することと、
    （iii）前記第１領域と前記第２領域との間の第１境界を特定し、前記第１プロジェク
    タ−カメラからの第１投影画像の光強度を、前記第１投影画像が前記第１境界から離れ、
    前記第２領域を通って伸びるにつれ減らすことと、
    を含むことを特徴とする請求項２４に記載の第１プロジェクタ−カメラ・システムから
    の第１投影画像と、第２プロジェクタ−カメラ・システムからの第２投影画像とをモザイ
    ク化する方法。
26. 前記測光的融合操作はさらに、
    （iv）前記第２プロジェクタ−カメラ・システムの第３プロジェクタ視野、ＦＯＶ３で
    専ら覆われるモザイク化画像の第３領域を特定することと、
    （v）前記第３領域と前記第２領域との間の第２境界を特定し、前記第２プロジェクタ
    −カメラからの第２投影画像の光強度を、前記第２投影画像が前記第２境界から離れ、前
    記第２領域を通って伸びるにつれ減らすことと、
    を含むことを特徴とする請求項２５に記載の第１プロジェクタ−カメラ・システムから
    の第１投影画像と、第２プロジェクタ−カメラ・システムからの第２投影画像とをモザイ
    ク化する方法。
27. 前記第１投影画像の光強度は前記第２境界において実質的にゼロであることを特徴とす
    る請求項１８に記載の第１プロジェクタ−カメラ・システムからの第１投影画像と、第２
    プロジェクタ−カメラ・システムからの第２投影画像とをモザイク化する方法。
28. 前記第２投影画像の光強度は前記第１境界において実質的にゼロであることを特徴とす
    る請求項２７に記載の第１プロジェクタ−カメラ・システムからの第１投影画像と、第２
    プロジェクタ−カメラ・システムからの第２投影画像とをモザイク化する方法。