JP2011035898A

JP2011035898A - プロジェクターシステムを設定する方法、コンピューター読み取り可能な記憶媒体およびビュー位置とプロジェクターとの間の光輸送行列を得るシステム

Info

Publication number: JP2011035898A
Application number: JP2010153666A
Authority: JP
Inventors: Chenyu Wu; ウーチェニュ; Jing Xiao; ザオジング
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2009-07-31
Filing date: 2010-07-06
Publication date: 2011-02-17
Also published as: US8243144B2; US20110025929A1

Abstract

【課題】投影および視聴者が存在する表示環境に対して、プロジェクターシステムが正し
く設定される方法を提供すること。
【解決手段】プロジェクターおよびカメラ間の光輸送は行列として表され、プロジェクタ
ーが面状または少なくとも実質的に面状の表面に表示すると仮定して得られる。光輸送行
列はプロジェクターおよびカメラ間にホモグラフィーを見出すことにより得られる。ホモ
グラフィーを用いてカメラおよびプロジェクターピクセルを相関させ、取り込まれた無地
色の画像における色値を用いることにより光輸送行列を得ることができる。
【選択図】図１

Description

関連出願
本出願はＴｉｔｌｅ３５，Ｕ．Ｓ．Ｃ．§１１９（ｅ）の下で2006年1月24日に出願さ
れた米国特許仮出願番号60/762,178の特典を主張した、2006年12月19日に出願された米国
特許出願番号11/613,129の特典を主張する、2007年1月12日に出願された米国特許出願番
号11/623,016（公開番号US2007/0171382A1）に関連し、各々は引用により全体として本明
細書に組み入れられる。

本出願はさらにＴｉｔｌｅ３５，Ｕ．Ｓ．Ｃ．§１１９（ｅ）の下で2006年1月24日に
出願された米国特許仮出願番号60/762,178の特典を主張した、2006年12月19日に出願され
た米国特許出願番号11/613,129の特典を主張する、2007年1月12日に出願された米国特許
出願番号11/623,016の継続出願でありその特典を主張する2008年12月5日に出願された米
国特許出願番号12/329,099（公開番号US2009/0086081A1）に関連し、各々は引用により全
体として本明細書に組み入れられる。
本発明は一般的に画像処理に関わり、より具体的に光輸送行列を取得することに関する
。

コンピューターの普及およびマルチメディアコンテンツの量と利用可能性双方の劇的な
増加の結果プロジェクターシステムは至る所にみられる。プロジェクターはもはや劇場な
ど専門的な環境のみにみられるものではない。むしろプロジェクターは会社（大企業およ
び小企業双方）、学校、および住宅にもみられる。
プロジェクターは異なる環境において存在し、異なる形で用いられ得るので、これらが
画像を正しく表示するよう設定できることが重要である。画像を正しく表示するために、
画像は対象となる視聴者により正しく知覚されるよう投影されなければならない（例えば
特許文献１参照。）。

米国特許第７１３７７０７号明細書

プロジェクターシステムの設定は画像が意図されるように見られるようどのように投影
すべきかを判定することが関わるので難しいことがある。画像が投影されたときに正しけ
れば同じように知覚されると仮定することはできない。投影および視聴者が存在する表示
環境は歪んだ画像をもたらすかもしれない。従って、プロジェクターシステムがその表示
環境に対し正しく設定されることが重要である。

本発明のプロジェクターシステムを設定する方法は、各々ピクセルのアレイを有するプ
ロジェクターとカメラとを用いたプロジェクターシステムを設定する方法であって、
前記プロジェクターを用いて、面状と仮定される表面上に特徴のセットを投影するステ
ップと、
前記カメラを用いて前記特徴のセットを取り込むステップと、
前記特徴のセットを用いて前記プロジェクターのピクセルから前記カメラのピクセルへ
のホモグラフィー変換を計算するステップと、
前記プロジェクターを用いて均質な色画像を投影するステップと、
前記カメラを用いて前記投影された均質な色画像の画像を取り込むステップと、
カメラピクセルのセットにおける各カメラピクセルについて、ホモグラフィー変換の逆
を用いて対応するプロジェクターピクセルを特定し、前記均質な色画像の取り込み画像か
らの前記カメラのピクセルの色情報に基づく色値を光輸送行列における対応する入力に加
えるステップとを有することを特徴とする。

また、本発明のプロジェクターシステムを設定する方法において、前記光輸送行列にお
ける対応する入力は、前記カメラピクセルの位置およびプロジェクターピクセルの位置か
ら判定されることを特徴とする。

また、本発明のプロジェクターシステムを設定する方法において、前記光輸送行列にお
ける対応する入力は、前記カメラピクセルに等しい行位置を有するとともに、前記対応す
るプロジェクターピクセルの行位置に等しい列位置を有することを特徴とする。

また、本発明のプロジェクターシステムを設定する方法において、前記光輸送行列を用
いて前記光輸送行列の逆の少なくとも近似値を得るステップをさらに有することを特徴と
する。

また、本発明のプロジェクターシステムを設定する方法において、前記光輸送行列の逆
の少なくとも近似値を得るステップは、前記光輸送行列を正規化するステップと、前記正
規化された光輸送行列を転置するステップとを含むことを特徴とする。

また、本発明のプロジェクターシステムを設定する方法において、前記光輸送行列の逆
の近似値を用いて、前記プロジェクターを用いて投影される画像を変更することを特徴と
する。

また、本発明のプロジェクターシステムを設定する方法において、前記特徴のセットは
少なくとも４つの特徴点を有することを特徴とする。
一方、本発明のコンピューター読み取り可能な記憶媒体は、命令の1つ以上のシーケン
スを搭載するコンピューター読み取り可能な記憶媒体であって、
プロジェクターにより少なくとも実質的に面状の表面に投影され、ビュー位置における
カメラにより取り込まれた特徴のセットを用いてカメラピクセルの第1セットをプロジェ
クターピクセルのセットに相関させるステップと、
前記プロジェクターピクセルに相関され前記カメラピクセルの第1セットを用いて、前
記カメラピクセルから前記プロジェクターピクセルへのホモグラフィー変換を計算するス
テップと、
前記カメラピクセルの第２セットにおける各カメラピクセルについて、前記ホモグラフ
ィー変換を用いて対応するプロジェクターピクセルを特定するステップと、前記カメラピ
クセルおよび前記対応するプロジェクターピクセルを用いて光輸送行列における対応する
入力を特定するステップと、前記光輸送行列における前記対応する入力に色値を加えるス
テップであって前記色値は前記プロジェクターにより投影された均質な色画像の取り込み
画像からのカメラピクセルの色情報に基づくステップとを実施するステップと、を実施し
て１つ以上のプロセッサーに前記プロジェクターと前記ビュー位置との間の光輸送行列を
得させることを特徴とする。

また、本発明のコンピューター読み取り可能な記憶媒体において、前記光輸送行列にお
ける前記対応する入力は、前記カメラピクセルの位置および前記プロジェクターピクセル
の位置から判定されることを特徴とする。

また、本発明のコンピューター読み取り可能な記憶媒体において、前記光輸送行列を用
いて前記光輸送行列の逆の少なくとも近似値を得るステップをさらに有することを特徴と
する。

また、本発明のコンピューター読み取り可能な記憶媒体において、前記光輸送行列の逆
の少なくとも近似値を得るステップは、前記光輸送行列を正規化するステップと、前記正
規化された光輸送行列を転置するステップとを有することを特徴とする。

また、本発明のコンピューター読み取り可能な記憶媒体において、前記光輸送行列の逆
の前記近似値を用いて、前記プロジェクターを用いて投影される画像を変更するステップ
をさらに有することを特徴とする。

また、本発明のコンピューター読み取り可能な記憶媒体において、前記プロジェクター
に、特徴のセットを少なくとも実質的に面状である表面に投影させるステップと、
前記カメラに前記特徴のセットを取り込ませるステップと、
前記プロジェクターに前記均質な色画像を投影させるステップと、
前記プロジェクターにより投影された前記均質な色画像の取り込み画像を前記カメラに取
り込ませるステップとをさらに有することを特徴とする。

また、本発明のコンピューター読み取り可能な記憶媒体において、前記各ステップが異
なるビュー位置について繰り返されることを特徴とする。

また、本発明のコンピューター読み取り可能な記憶媒体において、前記プロジェクター
ピクセルに相関された前記カメラピクセルの第1セットを用いて前記カメラピクセルから
前記プロジェクターピクセルへのホモグラフィー変換を計算するステップは、
前記プロジェクターピクセルに相関された前記カメラピクセルの第1セットを用いて前
記プロジェクターピクセルから前記カメラピクセルへのホモグラフィー変換を計算するス
テップと、
前記プロジェクターピクセルから前記カメラピクセルへのホモグラフィー変換の逆を演
算して前記カメラピクセルから前記プロジェクターピクセルへのホモグラフィー変換を得
るステップとを有することを特徴とする。

さらに、本発明のビュー位置とプロジェクターとの間の光輸送行列を得るシステムは、
前記プロジェクターにより少なくとも実質的に面状の表面に投影された、前記ビュー位
置におけるカメラにより取り込まれた特徴のセットを用いて、カメラピクセルの第1セッ
トをプロジェクターピクセルのセットに相関させる特徴点検出器と、
前記相関されたカメラピクセルの第1セットと前記プロジェクターピクセルとを受信す
るよう通信上連結されたホモグラフィー計算器であって、前記プロジェクターピクセルの
セットと前記相関されたカメラピクセルの第1セットを用いて前記カメラピクセルおよび
前記プロジェクターピクセル間のホモグラフィー変換を得るホモグラフィー計算器と、
前記カメラピクセルと前記プロジェクターピクセルとの間のホモグラフィー変換を受信
するよう通信上連結された光輸送計算器とを有し、
前記光輸送計算器は、前記カメラピクセルの第２セットにおける各カメラピクセルにつ
いて、前記ホモグラフィー変換を用いて対応するプロジェクターピクセルを特定するステ
ップと、前記カメラピクセルおよび前記対応するプロジェクターピクセルを用いて前記カ
メラを前記プロジェクターに関連付ける光輸送行列における対応する入力を特定するステ
ップと、前記光輸送行列における対応する入力に色値を加えるステップであって前記色値
は前記プロジェクターにより投影された均質な色画像の取り込み画像からの前記カメラピ
クセルの色情報に基づくステップとを実施することを特徴とする。

また、本発明のビュー位置とプロジェクターとの間の光輸送行列を得るシステムは、前
記光輸送行列を受信するよう通信上連結され、前記光輸送行列の逆の少なくとも近似値を
演算する逆光輸送計算器をさらに有することを特徴とする。

また、本発明のビュー位置とプロジェクターとの間の光輸送行列を得るシステムにおい
て、前記光輸送行列の逆の少なくとも近似値を受信するよう連結され、前記光輸送行列の
逆の前記近似値に従って投影用に画像を調節するプロジェクタードライバーをさらに有す
ることを特徴とする。

また、本発明のビュー位置とプロジェクターとの間の光輸送行列を得るシステムにおい
て、前記プロジェクターに少なくとも実質的に面状である表面に特徴のセットを投影させ
るとともに前記プロジェクターに均質な色画像を投影させる、前記プロジェクターに通信
上連結されたプロジェクタードライバーと、
前記カメラに特徴のセットを取り込ませるとともに前記プロジェクターにより投影され
た前記均質な色画像の取り込み画像を取り込ませる、前記カメラに通信上連結されたカメ
ラドライバーとをさらに有することを特徴とする。

また、本発明のビュー位置とプロジェクターとの間の光輸送行列を得るシステムにおい
て、前記ホモグラフィー計算器は、
前記プロジェクターピクセルのセットに相関された前記カメラピクセルの第1セットを
用いて前記プロジェクターピクセルからカメラピクセルへのホモグラフィー変換を計算す
るステップと、前記カメラピクセルと前記プロジェクターピクセルとの間のホモグラフィ
ー変換の逆を演算して前記カメラピクセルと前記プロジェクターピクセルとの間のホモグ
ラフィー変換を得るステップと、を実施することによって、前記カメラピクセルと前記プ
ロジェクターピクセルとの間の前記ホモグラフィー変換を得るものである、請求項１６に
記載のビュー位置とプロジェクターとの間の光輸送行列を得るシステム。

本発明の各種実施形態によるプロジェクターおよびカメラの環境を描く図である。本発明の各種実施形態により光輸送行列および光輸送行列の逆の少なくとも近似値を得る方法を描く図である。本発明の各種実施形態によりカメラからプロジェクターへのホモグラフィー変換を得る方法を描く図である。本発明の各種実施形態により光輸送行列を得る方法を描く図である。本発明の各種実施形態による均質な色プロジェクター画像の例および対応する取り込み画像の例を描く図である。本発明の各種実施形態により光輸送行列の入力を得ることを描く図である。本発明の各種実施形態によるプロジェクターシステムを描く図である。本発明の各種実施形態によるプロジェクターシステムを描く図である。本発明の各種実施形態による演算システムを描く図である。

以下の記述では説明の目的から、発明の理解を提供すべく具体的な詳細が述べられる。
しかし当業者であれば発明はこれらの詳細なしでも実施できることが明らかであろう。当
業者であればいくつか以下に説明される本発明の実施形態は表示またはカメラ機能を有す
るシステムおよび装置、マルチメディア装置、等々、を含むいくつかの異なるシステムお
よび装置に組み入れ得ることを理解しよう。本発明の態様はソフトウェア、ハードウェア
、ファームウェア、またはこれらの組み合わせにおいて実施することができる。

ブロック図に示される構成要素またはモジュールは発明の代表的実施形態を図示し、発
明を曖昧にするのを避けることを意図している。本考察を通じ、構成要素はサブユニット
を有してなり得る別個の機能装置として説明され得ることも理解されようが、当業者であ
れば各種構成要素またはその一部は別個の構成要素に分割され得、または単一のシステム
または構成要素内への統合を含め、一体化されることができることを理解しよう。

さらに、図中における構成要素／モジュール間の接続は直接接続に限定されることを意
図していない。逆にこれらの構成要素間のデータは中間の構成要素により改変、再フォー
マット、または他の方法で変えられることができる。またより多い、またはより少ない接
続を用いることができる。「連結された」または「通信上連結された」の用語は直接接続
、1つ以上の中間装置経由の間接接続、および無線接続を含むものと理解される。

明細書において「一実施形態」または「実施形態」の言及はその実施形態に関連して説
明される特定の特長、構造、特性、または機能が発明の少なくとも1つの実施形態に含ま
れ、1つを超える実施形態に含まれ得ることを意味する。明細書の各所に現れる「一実施
形態において」または「実施形態において」の語句は必ずしも同じ実施形態を指すもので
はない。

プロジェクターとカメラを組み合わせて光の投影および取り込み双方ができるプロジェ
クター−カメラシステムを形成することができる。1つ以上のカメラにより取り込まれた
画像を用いて表示環境に関する属性を推定することができる。「デュアルフォトグラフィ
ー」、Proceedings ACM SIGGRRAPH、2005年（本論文は引用により全体として本明細書に
組み入れられる）においてPradeep Sen他は光輸送を行列により表せることを考察した。
例示として図1のプロジェクター−カメラシステム100を検討する。図1にはプロジェクタ
ー110、面状の画面130に投影される画像135、およびデジタルカメラ120が描かれている。
光はプロジェクター110から放射され、カメラ120により取り込まれる。本例において、プ
ロジェクター110は点線の枠内に象徴的に示されp行とq列のプロジェクターピクセルから
なるプロジェクターピクセルのアレイ115を有するデジタルプロジェクターである。プロ
ジェクターピクセルのアレイ115のサイズはプロジェクター110の解像度に依存する。例え
ば、SVGA解像度は800×600ピクセル（すなわち480,000プロジェクターピクセル）、XVG解
像度は1024×768ピクセル（すなわち786,732プロジェクターピクセル）、SXVG解像度は12
80×1024ピクセル（すなわち1,310,720プロジェクターピクセル）、等々、を有すること
ができ、より高い解像度は通常より多数のプロジェクターピクセルを必要とする。

図1に描かれる例において、カメラは点線の枠内に象徴的に示されm行とn列の受容ピク
セルからなる光受容ピクセルのアレイ125を有するデジタルカメラ120である。受容ピクセ
ルのアレイ125のサイズはカメラ120の解像度に依存する。カメラが4メガピクセル（すな
わち4,194,304受容ピクセル）以上であることはめずらしくない。

プロジェクター110から放射される光線は画面130に向けられ、一部は最終的にカメラセ
ンサー125に届く。一般的に各光線は場面において分散、反射、および屈折されいくつか
異なる位置においてカメラセンサーに当たる。従ってプロジェクターにおけるピクセルか
らの光線はカメラに到達してm×nの画像を形成し、カメラにおける各ピクセルiはある一
定の光を受光する。投影される画像を(p×q)×1のベクトルp'、および取り込まれた画像
を(m×n)×1のベクトルc'として表すと、プロジェクターおよびカメラ間の光輸送は次の
ように書くことができる。

c'=Tp' (1)
ここでTは光輸送行列と呼ばれる。
光輸送行列Tを形成するためにはp×qのプロジェクター画像のセットで各々が照らされ
たピクセルを1つのみ有し、対応するカメラ画像はTの1列を表す（例、列j）セットを生成
することができる。

カメラとプロジェクターが交換された場合、カメラおよびプロジェクター間の関係は図
1において150で描かれる逆光輸送行列T^-1で表すことができる。
逆光輸送行列T^-1は未知のプロジェクター画像を推測したり恣意的な場面において光が
跳ねる方法を分析したりなど多くの用途に有用である。例えば、c=Tpでcが与えられてい
るようなプロジェクター−カメラシステムを仮定すると、未知のpを推測するためにはp=T
^-1cを演算するのに逆光輸送行列T^-1が必要である。逆光輸送行列はしかし転置より演算す
るのがはるかに難しく、はるかに多い演算リソースを必要とする。さらに、恣意的な行列
に対し逆を必ずしも見出すことができない。

2007年1月12に申請され、引用により全体として本明細書に組み入れられる米国特許出
願番号11/623,016（公開番号US2007/0171382A1）は逆光輸送T^-1の近似値を見出す方法を
開示している。同特許文書に記述されるように、行列の逆は一般的にその転置と等しくな
い。すなわちT^-1≠T^Tである。しかし、ほとんどのプロジェクター−カメラ表示用途に関
し、プロジェクターから放射される任意の2つの区別可能な光線jおよびkは通常区別可能
な部分においてカメラセンサーに当たる、すなわち通常各光線からの光に当たるカメラセ
ンサーにおけるピクセルにはあまり重なり合いがない。高解像度投影を保証するよう設計
された表示設定においては投影される各ピクセルが別のと区別可能であることはほとんど
保証されている。輸送行列Tの各列はプロジェクターからの1ピクセルの投影画像である。
従って、列入力はプロジェクターピクセルにより当てられたカメラピクセルに対応するも
のを除いてすべてゼロ値を有する。表示設定の下で、異なるプロジェクターピクセルに対
応するカメラピクセルは互いに重なり合わない。従って、Tの列は互いに直交している。

方法の実施形態
図2は本発明の各種実施形態により光輸送行列および光輸送行列の逆の少なくとも近似
値を得る方法200を描く。図2に図示される方法はプロジェクターを用いて面状と仮定され
る表面に特徴点のセットを投影すること（205）およびカメラを用いて特徴点のセットを
取り込むこと（205）で開始する。実施形態において、特徴点のセットは1つ以上の画像を
表示および／または取り込むことにより得られる。実施形態において、特徴点のセットは
4つ以上の特徴点を有してなる。実施形態において、特徴点は1ピクセルであって良い。少
なくとも4つの特徴点のセットを投影し取り込んだ後、特徴点のセットを用いてカメラか
らプロジェクターへのホモグラフィーが計算される（210）。

図3は本発明の各種実施形態によりカメラからプロジェクターへのホモグラフィー変換
を得る方法を描く。プロジェクターにより投影され（305）カメラにより取り込まれた（3
05）特徴点はプロジェクターピクセルをカメラピクセルに相関させるために用いられる。
特徴のプロジェクターピクセルは既知で、カメラにおいて対応する特徴は1つまたは複数
の取り込み画像を調べることにより得られる（310）。実施形態において、投影された特
徴が1つを超えるカメラピクセルにある領域において値を記録させる場合、ある領域にお
いて局部的最大値のカメラピクセルがプロジェクターピクセルに相関するカメラピクセル
として選択される。少なくとも4つの特徴点のセットを投影し取り込み、特徴点のセット
を用いてプロジェクターピクセルとカメラピクセルを相関させた後、プロジェクターから
カメラへのホモグラフィーを計算することができる（315）。実施形態において、ホモグ
ラフィー変換H_pc、は次の方程式を用いて得ることができる。

既知のプロジェクターピクセルおよび検出されたカメラピクセルが与えられると、ホモ
グラフィーH_pcはプロジェクター−カメラのピクセルペアを用いて直接演算することがで
きる。実施形態において、ホモグラフィーH_pcは最小自乗の解を用いて得ることができる
。前述のとおり、特徴の数（従ってさらにプロジェクター−カメラのピクセルペア）は少
なくとも4つである。しかし、より多数のプロジェクター−カメラのピクセルペアは通常
より強健なホモグラフィーをもたらすことに留意されたい。

カメラおよびプロジェクターピクセルの対応を演算する際、プロジェクターおよびカメ
ラ間の異なる解像度のため行と列の指数は非整数値をもたらす可能性がある。実施形態に
おいて、平滑さを向上させるために双一次補間を用いてカメラピクセルの強度を演算する
ことができる。限定ではなく例示の目的から、プロジェクターピクセル(p_x=5, p_y=7)がカ
メラピクセル(c_x=6.2, c_y=7.5)に対応すると仮定する。カメラ画像行列において非整数指
数の入力がないので、周囲の4つの画像ピクセル（(c_x=6, c_y=7)、(c_x=6, c_y=8)、(c_x=7,
c_y=7)、および(c_x=7, c_y=8)）を使用した双一次補間を用いて(c_x=6.2, c_y=7.5)における
強度を補間することができる。

図2に描かれる方法に戻ると、描かれた方法における次の工程はプロジェクターを用い
て無地色の画像、p'、を投影し（215）カメラで対応する画像、c'、を取り込むことであ
る。取り込まれた無地色の画像からの色値を用い、ホモグラフィー変換を用いてカメラピ
クセルおよびプロジェクターピクセル間の対応を特定することにより、光輸送行列を演算
することができる（220）。図4はさらに光輸送行列を得る工程について詳しく述べている
。

図4は本発明の各種実施形態により光輸送行列を得る方法を描く。工程220に関して前述
のとおり、非ゼロの（すなわち黒でない）、無地色の画像がプロジェクターを用いて投影
され、カメラで対応する画像が取り込まれる（405）。図5は本発明の各種実施形態による
均質な色プロジェクター画像510の例および対応する取り込み画像520の例を描く。描かれ
た例において、無地色は白であるが、他の色を用いることもできる。

取り込まれた無地色の画像からの色値を用い、ホモグラフィー変換を用いてカメラピク
セルおよびプロジェクターピクセル間の対応を特定することにより、光輸送行列を生成す
ることができる。通常カメラの解像度の方がプロジェクターの解像度より高い。従って1
つのプロジェクターピクセルはカメラピクセルの1つのセットに対応し得る。言い換えれ
ば、プロジェクターからカメラへは1対多数の対応である。このような実施形態において
は、カメラからプロジェクターへのホモグラフィーH_cp、を演算することが有利である。
特徴点を用いて先に計算されたホモグラフィー変換H_pc、はプロジェクターからカメラへ
のホモグラフィー変換である。この変換の逆がカメラからプロジェクターへのホモグラフ
ィー変換を表す。すなわち、カメラピクセルが与えられると、カメラからプロジェクター
へのホモグラフィー変換H_cp、を用いて次の方程式に従い対応するプロジェクターピクセ
ルを見つけることができる。

このように、カメラピクセルが与えられた場合、カメラからプロジェクターへのホモグ
ラフィー変換、H_cp、を用いて対応するプロジェクターピクセルを特定することができる
。そしてカメラピクセルとその対応プロジェクターピクセルが与えられた場合、カメラピ
クセルの色値を用いて光輸送行列における対応入力を埋めることができる。投影画像、p'
、および対応する取り込み画像、c'、間の関係はc'=Tp'と表すことができることを想起さ
れたい。プロジェクターから放射される任意の2つの区別可能な光線jとkはカメラセンサ
ーの区別可能な部分に当たるという表示制約を仮定すると、光輸送行列の列は互いに直交
するとみなすことができる。jの指数を与えられているプロジェクターピクセルについて
、対応するカメラ画像はTのj番目の列である（方程式(2)を参照）。
ピクセルの値は白画像について1であるので、各画像ピクセルの色はTのj番目の列にお
ける行要素の値に等しい。

限定ではなく例示の目的で、図6に描かれる例を考察されたい。図6は本発明の各種実施
形態により光輸送行列の入力を得ることを図式的に描く。図6において無地色の取り込み
画像からの色値のn×1ベクトル、c、610がある。さらに投影された無地色の画像を表すm
×1ベクトル、p、630が描かれている。無地色の画像が白であった場合、pにおける各入力
の値は1である。1より低い強度の白でない色が用いられる場合、入力は値を正規化するた
めにカメラピクセルの色をこの無地色で割ったもので埋められる必要がある。従って方程
式(11)はやはり有効である。

本例の目的から、検討されるカメラピクセルは第3ピクセル640でc3の正規化色値を有す
ると仮定する。さらに、このカメラピクセルの位置を逆ホモグラフィーに入力後（方程式
(10)を参照）、対応するプロジェクターピクセルはp2660と判定されたと仮定する。従っ
て、光輸送行列620における位置T32650の値は正規化色値c3である。

光輸送行列の入力を埋めるこのプロセス（工程410および415）はカメラピクセル（c₁乃
至c_n）の一部またはすべてについて繰り返して光輸送行列、T.を得ることができる（420
）。実施形態において、光輸送行列においてプロジェクターおよび画像ピクセル間の対応
がない入力はゼロに設定される。

図2に戻り、一旦光輸送行列、T、が得られると、光輸送行列の逆（または少なくとも逆
の近似値）を得ることができる。プロジェクター−カメラシステムにおいて、プロジェク
ターおよびカメラ間の逆光輸送は多数の表示用途に対し有用であり得る。例えば、望まれ
る表示に対応する特定のプロジェクター画像を生成することは逆光輸送を利用する用途で
ある。

プロジェクターから放射される任意の2つの区別可能な光線は通常カメラセンサーの区
別可能な部分に当たるという表示制約を仮定すると、異なるプロジェクターピクセルに対
応するカメラピクセルは互いに重なり合わない。従って、光輸送行列、T、の列は互いに
直交している。直交行列が与えられた場合、逆光輸送行列T^-1の少なくとも近似値を演算
するためには上記に得られた光輸送行列が正規化される。

光輸送行列（および実施形態によりその逆）を得るための上述の方法は異なるビューの
位置について繰り返し得ることに留意されたい。すなわち、カメラを異なる位置に動かし
、新しい光輸送行列を得ることができる。

システムの実施
図7は本発明の各種実施形態によるプロジェクターシステム700を描く。図7にはプロジ
ェクター710、カメラ720、双方に通信上連結される演算システム730、および面状画面740
が示される。実施形態において、演算システムはプロジェクター710およびカメラ720双方
を制御する。実施形態において、演算システムはプロジェクター、カメラ、またはその何
らかの組み合わせの中に含まれ、または一体化されていることができる。

実施形態において、演算システム730は上記に呈示される方法のいずれかを実施するよ
う構成される。例えば、実施形態において、演算システム730はプロジェクター710に特徴
点のセットを面状画面740上に表示されることにより光輸送行列を得ることができる。演
算システム730はカメラ720を用いて1つ以上の画像における特徴のセットを取り込む。演
算システム730は取り込まれた1つまたは複数の画像を調べ対応する取り込まれた特徴のセ
ットを特定する。例えば、演算システム730はプロジェクターに第1セットの線を表示させ
、カメラ720を用いて第1画像を取り込むことができる。演算システム730は第1セットの線
に直交する第2セットの線に対しこれらの工程を繰り返すことができる。これら2セットの
線の交差点は特徴点を形成する。プロジェクターにおける特徴点のピクセル位置は既知で
、カメラにおける特徴点のピクセル位置は実施形態において第1および第2画像のピクセル
値をいっしょに加え、領域のセット各々内における局部最大値を有するピクセルを特定す
ることにより特定することができる。当業者であれば、プロジェクターおよびカメラ間で
特徴点を相関させる方法はいくつかあり、いずれの特定の方法も本発明に肝要ではないこ
とを理解しよう。例えば、2008年12月5日に申請され、「色に基づく特徴特定」（“Color
‐Based Feature Identification”）と題される米国特許出願番号12/329,099に記載され
るように固有の色パターンを用いて特定することはプロジェクターおよびカメラ間で特徴
点を相関させることにも用いることができ、同出願は引用により全体として本明細書に組
み入れられる。

相関された特徴点を用い、演算システム730はプロジェクターからカメラへのホモグラ
フィーおよびその逆を計算することができる。演算システム730はさらにプロジェクター7
10に無地色の画像を投影させカメラ720を用いて投影された無地色の画像の画像を取り込
むことができる。

ホモグラフィーおよび無地色の投影の取り込み画像が与えられると、演算システム730
は無地色の投影の取り込み画像の色値を用い、逆ホモグラフィー変換を用いてカメラピク
セルおよびプロジェクターピクセル間の対応を特定することによりて光輸送行列を演算す
ることができる。実施形態において、演算システム730は逆光輸送行列も計算することが
できる。演算システム730は計算された光輸送行列を用いてカメラがあり、または位置さ
れたビュー位置にいる視聴者が意図されるとおりに画像を見るようにプロジェクター710
により投影される画像を調節することができる。

図8は本発明の各種実施形態によるプロジェクターシステムを描く。プロジェクター810
およびカメラ820に通信上連結される撮像システム850が描かれる。図8に描かれる実施形
態において、撮像システム850はプロジェクター810とインターフェイスをとるプロジェク
タードライバー815を有してなる。プロジェクタードライバー815は、限定ではなく例示と
して、特徴のセットを有してなる1つ以上の画像、無地色の画像、および逆光変換により
調節された画像を含み、画像をプロジェクター810に供給する。図8に描かれる実施形態に
おいて、撮像システム850はカメラ820とインターフェイスをとるカメラドライバー825を
有してなる。カメラドライバー825は、限定ではなく例示として、特徴のセットを有して
なる1つ以上の画像および無地色の投影の画像を含み、画像をカメラ820から受信する。

実施形態において、撮像システム850はカメラにより取り込まれた1つまたは複数の画像
を受信するよう通信上連結される特徴点検出器830も有してなる。特徴点検出器830は取り
込み画像を調べ特徴点のカメラピクセル位置を特定する。例えば、実施形態において、プ
ロジェクタードライバー815はプロジェクター810に第1セットの線を表示させ、カメラド
ライバー825はカメラ820に第1画像を取り込ませる。撮像システム850はこれらの工程を第
1セットの線に直交する第2セットの線に対し繰り返す。2セットの線の交差点は特徴点を
形成する。実施形態において、特徴点検出器830は取り込み画像を受信し、第1および第2
画像のピクセル値をいっしょに加え局部的最大値を有するピクセルを特定する。実施形態
において、特徴点検出器830は特徴点の位置を受信し、その情報を用いて取り込まれた1つ
または複数の画像における特徴を見つけるのに役立てる。

実施形態において、撮像システム850はさらにプロジェクターピクセルおよび取り込み
画像ピクセル間で相関された特徴点に関する情報を受信するホモグラフィー計算器835を
有してなる。ホモグラフィー計算器835は相関されたピクセル位置を用いてホモグラフィ
ー変換を演算する。実施形態において、ホモグラフィー変換、H_pc、は次に再現される方
程式(7)を用いて得ることができる。

既知のプロジェクターピクセルおよび検出されたカメラピクセルが与えられると、ホモ
グラフィーH_pcはプロジェクター−カメラのピクセルペアを用いて直接演算することがで
きる。実施形態において、ホモグラフィー計算器835は最小自乗の解を用いてホモグラフ
ィーH_pcを得る。前述のとおり、特徴の数（従ってさらにプロジェクター−カメラのピク
セルペア）は少なくとも4つである。しかし、より多数のプロジェクター−カメラのピク
セルペアは通常より強健なホモグラフィーをもたらすことに留意されたい。実施形態にお
いて、ホモグラフィー計算器はホモグラフィー変換H_cpの逆も計算する。

実施形態において、撮像システム850はさらに取り込まれた無地色の画像からの色値を
用い、逆ホモグラフィー変換を用いてカメラピクセルおよびプロジェクターピクセル情報
間の対応を特定することにより、光輸送行列を演算する光輸送計算器840を有してなる。
実施形態において、光輸送計算器840は図4に関して開示された方法を用いて光輸送行列を
得る。すなわち、カメラピクセルおよび対応するプロジェクターピクセルが与えられると
、光輸送計算器840はカメラピクセルの正規化色値に基づき光輸送行列において対応する
入力を埋める。

実施形態において、撮像システム850はさらに光輸送行列を受信し、逆光輸送の少なく
とも近似値を演算する逆光輸送計算器845を有してなる。実施形態において、逆光輸送計
算器845は光輸送行列を正規化して転置することにより逆光輸送の少なくとも近似値を演
算する。実施形態において、もたらされた逆光輸送はプロジェクタードライバー815に供
給され、そこで投影画像がカメラの区域におけるビュー位置において正しく見られるよう
に逆光輸送を用いて画像が調節される。実施形態において、逆光輸送を得た後、カメラを
取り除き、または移転されることができ、そうするとカメラの元の位置は視聴者のビュー
位置になる。撮像システムはプロジェクター810、カメラ820と一体化され、またはこれら
の一部であって良く、またはモジュールを2つの装置間で分け得ることに留意されたい。

演算システムの実施
本発明は汎用コンピューターおよび画像処理用の特定コンピューターが含まれるがこれ
らに限定されず、画像データを処理し得る任意の命令実行／演算装置またはシステムにお
いて実施できることに留意されたい。本発明の態様はさらに他の演算装置およびシステム
に実装することができ、これにはデジタルカメラ、プロジェクター、マルチメディア装置
、および画像を投影し、処理し、取り込み、伝送し、または記憶する他の任意の装置が含
まれるがこれらに限定されないことに留意されたい。さらに、本発明の態様はいずれの装
置内においてもソフトウェア、ハードウェア、ファームウェア、またはこれらの組み合わ
せを含み、広範囲な形で実施することができる。例えば、本発明の様々な態様を実施する
機能は個々の論理部品、1つ以上の特定用途向け集積回路（ASIC）、および／またはプロ
グラム制御プロセッサーを含み広範囲な形で実装される部品により実施することができる
。これらの部品が実装される形は本発明に肝要ではないことに留意されたい。

図9は本発明の実施形態を実施または具現し得る命令実行／演算装置900の実施形態の機
能的ブロック図を描く。図9に示すように、プロセッサー902がソフトウェア命令を実行し
、他のシステムコンポーネントとやりとりする。一実施形態において、プロセッサーは（
限定ではなく例として）AMD（登録商標）プロセッサー、INTEL（登録商標）プロセッサー
、SUNMICROSYSTEMS（登録商標）プロセッサー、またはPOWERPC（登録商標）対応CPUなど
汎用プロセッサー、またはプロセッサーは特定用途向けの1つまたは複数のプロセッサー
であることができる。プロセッサー902に連結された記憶装置904はデータおよびソフトウ
ェアプログラムの長期的記憶を提供する。記憶装置904はハードディスクドライブおよび
／またはコンピューター読み取り可能な記憶媒体（例、ディスケット、テープ、コンパク
トディスク、DVD、等々）またはソリッドステート記憶装置などデータを記憶できる別の
装置であって良い。記憶装置904はプロセッサー902で使用するプログラム、命令、および
／またはデータを収納することができる。一実施形態において、記憶装置904に記憶され
そこからロードされるプログラムまたは命令はメモリー906にロードされ、プロセッサー9
02により実行される。一実施形態において、記憶装置904はプロセッサー902でオペレーテ
ィングシステムを実施するプログラムまたは命令を収納する。一実施形態において、考え
られるオペレーティングシステムはUNIX（登録商標）、AIX（登録商標）、LINUX、Micros
oft（登録商標）Windows（登録商標）、およびApple（登録商標）Macintosh（登録商標）
OSが含まれるが、これらに限定されない。実施形態において、オペレーティングシステム
は演算システム900上で実行し、システムの稼動を制御する。

プロセッサー902に連結されるアドレス可能なメモリー906はデータおよびプロセッサー
902により実行されるソフトウェア命令を記憶するのに使用することができる。メモリー9
06は例えばファームウェア、読み取り専用メモリー（ROM）、フラッシュメモリー、不揮
発性ランダムアクセスメモリー（NVRAM）、ランダムアクセスメモリー（RAM）、またはこ
れらの任意の組み合わせであって良い。一実施形態において、メモリー906は別途サービ
ス、ユーティリティー、コンポーネント、またはモジュールとして知られるソフトウェア
オブジェクトをいくつか記憶している。当業者であれば、さらに記憶904およびメモリー9
06は同じ品目で双方の立場で機能し得ることを理解しよう。一実施形態において、図8の1
つ以上の要素がメモリー904、906に記憶されプロセッサー902により実行されるモジュー
ルであることができる。

一実施形態において、演算システム900は他の装置、他のネットワーク、または双方と
通信する能力を提供する。演算システム900は1つ以上のネットワークインターフェイスま
たはアダプター912、914を含むことができ、演算システム900を他のネットワークおよび
装置と通信できるよう連結する。例えば、演算システム900はネットワークインターフェ
イス912、通信ポート914、または双方、を含むことができ、これらの各々はプロセッサー
902に通信できるよう連結され、演算システム900を他のコンピューターシステム、ネット
ワーク、および装置に連結するために使用することができる。

一実施形態において、演算システム900はプロセッサー902に連結されグラフィックスお
よびテキストの表示を容易にする1つ以上の出力装置908を含むことができる。出力装置90
8はディスプレイ、LCD画面、CRTモニター、プリンター、タッチ画面、または情報を表示
する他の装置を含むことができるが、これらに限定されない。演算システム900はさらに
出力装置908に情報または画像を表示するのを助けるグラフィックスアダプター（図示せ
ず）を含むことができる。

プロセッサー902に通信できるよう連結される1つ以上の入力装置910を用いてユーザー
入力を円滑にすることができる。入力装置910はマウス、トラックボール、またはタッチ
パッドなどのポインター装置を含むことができるが、これらに限定されず、さらにデータ
または命令を演算システム900に入力するためにキーボードまたはキーパッドを含むこと
ができる。

一実施形態において、演算システム900は通信ポート914、ネットワークインターフェイ
ス912、メモリー904/906に記憶されるデータ、または入力装置910を通してにせよ、スキ
ャナー、コピー機、ファクシミリ機、または他の演算装置から入力を受信することができ
る。

当業者であれば、本発明の実施にいずれの演算システムも重要ではないことを理解しよ
う。当業者であればさらに上述の要素のいくつかはサブモジュールに物理的および／また
は機能的に分けられ、または組み合わせられることを理解しよう。

本発明の実施形態はさらに各種コンピューター実施の操作を行なうためのコンピュータ
ーコードを有するコンピューター読み取り可能な記憶媒体を有するコンピューター製品に
関わることができることが特記される。記憶媒体およびコンピューターコードは本発明の
目的のために特別に設計され構築されたものでも良く、または該当技術の当事者に知られ
、利用可能な種類のものであっても良い。コンピューター読み取り可能な記憶媒体の例は
、ハードディスク、フロッピー（登録商標）ディスク、および磁気テープなどの磁気記憶
媒体；CD‐ROMおよびホログラフィー装置などの光記憶媒体、光磁気記憶媒体および特定
用途向け集積回路（ASIC）、プログラマブル論理装置（PLD）、フラッシュメモリー装置
、およびROMやRAM装置など、プログラムコードを記憶し、または記憶して実行するよう特
別に構成されるハードウェア装置を含むがこれらに限定されない。コンピューターコード
の例はコンパイラーにより作成されるような機械コード、およびインタープリターを用い
てコンピューターにより実行されるより高レベルのコードを含むファイルを含む。本発明
の実施形態は全体としてまたは一部コンピューターにより実行されるプログラムモジュー
ルになっている機械実行可能な命令として実施することができる。プログラムモジュール
の例はライブラリー、プログラム、ルーチン、オブジェクト、コンポーネント、およびデ
ータ構造を含む。分散型演算環境において、プログラムモジュールは物理的にローカル、
リモート、または双方の設定に存在することができる。

発明は各種の改変および代わりの形を許すが、その具体的な例が図面に示され、本明細
書において詳細に説明される。しかし、発明は開示される特定の形に限定されるものでは
なく、逆に発明は添付クレームの範囲内に入るすべての改変、等価物、および代替物を包
含することが理解されよう。

１００プロジェクター−カメラシステム
１１０プロジェクター
１１５プロジェクターピクセルのアレイ
１２０カメラ
１３０面状の画面
１３５画像
１２０デジタルカメラ

Claims

各々ピクセルのアレイを有するプロジェクターとカメラとを用いたプロジェクターシス
テムを設定する方法であって、
前記プロジェクターを用いて、面状と仮定される表面上に特徴のセットを投影するステ
ップと、
前記カメラを用いて前記特徴のセットを取り込むステップと、
前記特徴のセットを用いて前記プロジェクターのピクセルから前記カメラのピクセルへ
のホモグラフィー変換を計算するステップと、
前記プロジェクターを用いて均質な色画像を投影するステップと、
前記カメラを用いて前記投影された均質な色画像の画像を取り込むステップと、
カメラピクセルのセットにおける各カメラピクセルについて、ホモグラフィー変換の逆
を用いて対応するプロジェクターピクセルを特定し、前記均質な色画像の取り込み画像か
らの前記カメラのピクセルの色情報に基づく色値を光輸送行列における対応する入力に加
えるステップとを有するプロジェクターシステムを設定する方法。
前記光輸送行列における対応する入力は、前記カメラピクセルの位置およびプロジェク
ターピクセルの位置から判定される請求項１に記載のプロジェクターシステムを設定する
方法。
前記光輸送行列における対応する入力は、前記カメラピクセルに等しい行位置を有する
とともに、前記対応するプロジェクターピクセルの行位置に等しい列位置を有する請求項
２に記載のプロジェクターシステムを設定する方法。
前記光輸送行列を用いて前記光輸送行列の逆の少なくとも近似値を得るステップをさら
に有する請求項１に記載のプロジェクターシステムを設定する方法。
前記光輸送行列の逆の少なくとも近似値を得るステップは、前記光輸送行列を正規化す
るステップと、前記正規化された光輸送行列を転置するステップとを含む請求項４に記載
のプロジェクターシステムを設定する方法。
前記光輸送行列の逆の近似値を用いて、前記プロジェクターを用いて投影される画像を
変更する請求項４に記載のプロジェクターシステムを設定する方法。
前記特徴のセットは少なくとも４つの特徴点を有する請求項１に記載のプロジェクター
システムを設定する方法。
命令の1つ以上のシーケンスを搭載するコンピューター読み取り可能な記憶媒体であっ
て、
プロジェクターにより少なくとも実質的に面状の表面に投影され、ビュー位置における
カメラにより取り込まれた特徴のセットを用いてカメラピクセルの第1セットをプロジェ
クターピクセルのセットに相関させるステップと、
前記プロジェクターピクセルに相関され前記カメラピクセルの第1セットを用いて、前
記カメラピクセルから前記プロジェクターピクセルへのホモグラフィー変換を計算するス
テップと、
前記カメラピクセルの第２セットにおける各カメラピクセルについて、前記ホモグラフ
ィー変換を用いて対応するプロジェクターピクセルを特定するステップと、前記カメラピ
クセルおよび前記対応するプロジェクターピクセルを用いて光輸送行列における対応する
入力を特定するステップと、前記光輸送行列における前記対応する入力に色値を加えるス
テップであって前記色値は前記プロジェクターにより投影された均質な色画像の取り込み
画像からのカメラピクセルの色情報に基づくステップとを実施するステップと、を実施し
て１つ以上のプロセッサーに前記プロジェクターと前記ビュー位置との間の光輸送行列を
得させるコンピューター読み取り可能な記憶媒体。
前記光輸送行列における前記対応する入力は、前記カメラピクセルの位置および前記プ
ロジェクターピクセルの位置から判定される請求項８に記載のコンピューター読み取り可
能な記憶媒体。
前記光輸送行列を用いて前記光輸送行列の逆の少なくとも近似値を得るステップをさら
に有する請求項８に記載のコンピューター読み取り可能な記憶媒体。
前記光輸送行列の逆の少なくとも近似値を得るステップは、前記光輸送行列を正規化す
るステップと、前記正規化された光輸送行列を転置するステップとを有する請求項１０に
記載のコンピューター読み取り可能な記憶媒体。
前記光輸送行列の逆の前記近似値を用いて、前記プロジェクターを用いて投影される画
像を変更するステップをさらに有する請求項１０に記載のコンピューター読み取り可能な
記憶媒体。
前記プロジェクターに、特徴のセットを少なくとも実質的に面状である表面に投影させ
るステップと、
前記カメラに前記特徴のセットを取り込ませるステップと、
前記プロジェクターに前記均質な色画像を投影させるステップと、
前記プロジェクターにより投影された前記均質な色画像の取り込み画像を前記カメラに
取り込ませるステップとをさらに有する請求項８に記載のコンピューター読み取り可能な
記憶媒体。
前記各ステップが異なるビュー位置について繰り返される請求項８に記載のコンピュー
ター読み取り可能な記憶媒体。
前記プロジェクターピクセルに相関された前記カメラピクセルの第1セットを用いて前
記カメラピクセルから前記プロジェクターピクセルへのホモグラフィー変換を計算するス
テップは、
前記プロジェクターピクセルに相関された前記カメラピクセルの第1セットを用いて前
記プロジェクターピクセルから前記カメラピクセルへのホモグラフィー変換を計算するス
テップと、
前記プロジェクターピクセルから前記カメラピクセルへのホモグラフィー変換の逆を演
算して前記カメラピクセルから前記プロジェクターピクセルへのホモグラフィー変換を得
るステップとを有する請求項８に記載のコンピューター読み取り可能な記憶媒体。
ビュー位置とプロジェクターとの間の光輸送行列を得るシステムであって、
前記プロジェクターにより少なくとも実質的に面状の表面に投影された、前記ビュー位
置におけるカメラにより取り込まれた特徴のセットを用いて、カメラピクセルの第1セッ
トをプロジェクターピクセルのセットに相関させる特徴点検出器と、
前記相関されたカメラピクセルの第1セットと前記プロジェクターピクセルとを受信す
るよう通信上連結されたホモグラフィー計算器であって、前記プロジェクターピクセルの
セットと前記相関されたカメラピクセルの第1セットを用いて前記カメラピクセルおよび
前記プロジェクターピクセル間のホモグラフィー変換を得るホモグラフィー計算器と、
前記カメラピクセルと前記プロジェクターピクセルとの間のホモグラフィー変換を受信
するよう通信上連結された光輸送計算器とを有し、
前記光輸送計算器は、前記カメラピクセルの第２セットにおける各カメラピクセルにつ
いて、前記ホモグラフィー変換を用いて対応するプロジェクターピクセルを特定するステ
ップと、前記カメラピクセルおよび前記対応するプロジェクターピクセルを用いて前記カ
メラを前記プロジェクターに関連付ける光輸送行列における対応する入力を特定するステ
ップと、前記光輸送行列における対応する入力に色値を加えるステップであって前記色値
は前記プロジェクターにより投影された均質な色画像の取り込み画像からの前記カメラピ
クセルの色情報に基づくステップとを実施する、ビュー位置とプロジェクターとの間の光
輸送行列を得るシステム。
前記光輸送行列を受信するよう通信上連結され、前記光輸送行列の逆の少なくとも近似
値を演算する逆光輸送計算器をさらに有する請求項１６に記載のビュー位置とプロジェク
ターとの間の光輸送行列を得るシステム。
前記光輸送行列の逆の少なくとも近似値を受信するよう連結され、前記光輸送行列の逆
の前記近似値に従って投影用に画像を調節するプロジェクタードライバーをさらに有する
請求項１７に記載のビュー位置とプロジェクターとの間の光輸送行列を得るシステム。
前記プロジェクターに少なくとも実質的に面状である表面に特徴のセットを投影させる
とともに前記プロジェクターに均質な色画像を投影させる、前記プロジェクターに通信上
連結されたプロジェクタードライバーと、
前記カメラに特徴のセットを取り込ませるとともに前記プロジェクターにより投影され
た前記均質な色画像の取り込み画像を取り込ませる、前記カメラに通信上連結されたカメ
ラドライバーとをさらに有する請求項１６に記載のビュー位置とプロジェクターとの間の
光輸送行列を得るシステム。
前記ホモグラフィー計算器は、
前記プロジェクターピクセルのセットに相関された前記カメラピクセルの第1セットを
用いて前記プロジェクターピクセルからカメラピクセルへのホモグラフィー変換を計算す
るステップと、前記カメラピクセルと前記プロジェクターピクセルとの間のホモグラフィ
ー変換の逆を演算して前記カメラピクセルと前記プロジェクターピクセルとの間のホモグ
ラフィー変換を得るステップと、を実施することによって、前記カメラピクセルと前記プ
ロジェクターピクセルとの間の前記ホモグラフィー変換を得るものである、請求項１６に
記載のビュー位置とプロジェクターとの間の光輸送行列を得るシステム。