JP2007199716A - デジタル・プロジェクタとデジタル・カメラとを関連づける光輸送係数を生成する方法、および少なくとも1つのデジタル・プロジェクタと1つのデジタル・カメラとを持つプロジェクタ−カメラ・システムをキャリブレートする方法 - Google Patents
デジタル・プロジェクタとデジタル・カメラとを関連づける光輸送係数を生成する方法、および少なくとも1つのデジタル・プロジェクタと1つのデジタル・カメラとを持つプロジェクタ−カメラ・システムをキャリブレートする方法 Download PDFInfo
- Publication number
- JP2007199716A JP2007199716A JP2007008841A JP2007008841A JP2007199716A JP 2007199716 A JP2007199716 A JP 2007199716A JP 2007008841 A JP2007008841 A JP 2007008841A JP 2007008841 A JP2007008841 A JP 2007008841A JP 2007199716 A JP2007199716 A JP 2007199716A
- Authority
- JP
- Japan
- Prior art keywords
- projection
- image
- projector
- pixels
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B21/00—Projectors or projection-type viewers; Accessories therefor
- G03B21/14—Details
- G03B21/26—Projecting separately subsidiary matter simultaneously with main image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
- H04N9/3185—Geometric adjustment, e.g. keystone or convergence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3191—Testing thereof
- H04N9/3194—Testing thereof including sensor feedback
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Geometry (AREA)
- General Physics & Mathematics (AREA)
- Projection Apparatus (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
【課題】高効率デュアル・フォトグラフィー。
【解決手段】デュアル・フォトグラフィの適用が、(p×q)投影ピクセル・アレイに関
する光輸送行列Tを生成するために必要とされる捕獲画像の数を、(p×q)個の画像か
ら(p+q)個の画像に減少させることによって簡単化される。光輸送行列の操作も、行
列Tを用いる代わりに、各投影ピクセルと、ゼロでない光輸送値だけとを結び付けるイン
デックスを用いることによって簡単化される。ゼロ値を持つ光輸送係数の使用を排除する
ことによって、デュアル・フォトグラフィを実装するためのメモリ要件および演算処理要
件が、大きく縮減される。
【選択図】図3
【解決手段】デュアル・フォトグラフィの適用が、(p×q)投影ピクセル・アレイに関
する光輸送行列Tを生成するために必要とされる捕獲画像の数を、(p×q)個の画像か
ら(p+q)個の画像に減少させることによって簡単化される。光輸送行列の操作も、行
列Tを用いる代わりに、各投影ピクセルと、ゼロでない光輸送値だけとを結び付けるイン
デックスを用いることによって簡単化される。ゼロ値を持つ光輸送係数の使用を排除する
ことによって、デュアル・フォトグラフィを実装するためのメモリ要件および演算処理要
件が、大きく縮減される。
【選択図】図3
Description
本発明は、プロジェクタ−カメラ・システムにおいてプロジェクタをキャリブレートす
る方法に関し、より詳細には、デュアル・フォトグラフィの適用を簡単化する方法に関す
るものである。
る方法に関し、より詳細には、デュアル・フォトグラフィの適用を簡単化する方法に関す
るものである。
本出願は、米国特許法第119条(e)に基づいて、2006年1月24日に受理され
た米国仮出願第60/762,178号の利益を主張するものである。
た米国仮出願第60/762,178号の利益を主張するものである。
プロジェクタとカメラが組み合わされると、光の投影と捕獲との両方ができるハイブリ
ッドなデバイスおよびシステムが、生まれる。この画像形成デバイスおよびシステムの新
興種は、プロジェクタ−カメラ・システムとして研究団体において知られている。通常、
1つ以上のカメラによって捕獲された画像を用いて、投影面の幾何学的形状のようなディ
スプレイ環境に関する属性が評価される。その後、そのシステム中のプロジェクタが、生
じる心像を改善するように、投影される画像を適応化させる。
ッドなデバイスおよびシステムが、生まれる。この画像形成デバイスおよびシステムの新
興種は、プロジェクタ−カメラ・システムとして研究団体において知られている。通常、
1つ以上のカメラによって捕獲された画像を用いて、投影面の幾何学的形状のようなディ
スプレイ環境に関する属性が評価される。その後、そのシステム中のプロジェクタが、生
じる心像を改善するように、投影される画像を適応化させる。
プロジェクタ−カメラ・システムおよびデバイスを組み立てる人が解決しなければなら
ないキー問題は、各デバイスの内部画像形成パラメータ(内因性パラメータ)の決定、お
よび、システム中の全てのプロジェクタとカメラの間の幾何学的な関係(外因性パラメー
タ)の決定である。この問題は、一般に、システムのキャリブレーション問題と呼ばれる
。
ないキー問題は、各デバイスの内部画像形成パラメータ(内因性パラメータ)の決定、お
よび、システム中の全てのプロジェクタとカメラの間の幾何学的な関係(外因性パラメー
タ)の決定である。この問題は、一般に、システムのキャリブレーション問題と呼ばれる
。
コンピュータ・ビジョン団体において、1つ以上のカメラを備えた画像形成システムの
キュリブレーションに関して、大量の研究が存在する。カメラをキャリブレートするため
に、コンピュータ・ビジョン団体において一般に用いられている方法は、参照によって、
その全体が本明細書に組み込まれる、チェンユ・チャン(Zhengyou Zhang)による論文「
A flexible new technique for camera calibration」,IEEE Transactions on Pattern
Analysis and Machine Intelligence,2000年,22巻,11号,p.1330〜1334に記述されて
いる。この方法では、いくつかの既知の特徴点(通常、格子を形成している)を印された
平面物体の複数の画像を、その平面物体をカメラに対して種々の角度に配しながら、カメ
ラによって捕獲する。各特徴点の画像位置が、抽出され、そして、各特徴点の相対的位置
が、既知であるから、したがって、特徴点位置の集合を用いて、カメラをキャリブレート
することができる。2つ以上のカメラが、システム中に存在する場合には、全てのカメラ
の間の幾何学的な関係とともに、内因性パラメータも、全てのカメラに、各配置角度にお
ける平面物体の画像を捕獲させることによって、評価することができる。
キュリブレーションに関して、大量の研究が存在する。カメラをキャリブレートするため
に、コンピュータ・ビジョン団体において一般に用いられている方法は、参照によって、
その全体が本明細書に組み込まれる、チェンユ・チャン(Zhengyou Zhang)による論文「
A flexible new technique for camera calibration」,IEEE Transactions on Pattern
Analysis and Machine Intelligence,2000年,22巻,11号,p.1330〜1334に記述されて
いる。この方法では、いくつかの既知の特徴点(通常、格子を形成している)を印された
平面物体の複数の画像を、その平面物体をカメラに対して種々の角度に配しながら、カメ
ラによって捕獲する。各特徴点の画像位置が、抽出され、そして、各特徴点の相対的位置
が、既知であるから、したがって、特徴点位置の集合を用いて、カメラをキャリブレート
することができる。2つ以上のカメラが、システム中に存在する場合には、全てのカメラ
の間の幾何学的な関係とともに、内因性パラメータも、全てのカメラに、各配置角度にお
ける平面物体の画像を捕獲させることによって、評価することができる。
プロジェクタとカメラとは、画像形成幾何学的構造に関しては非常に類似しているから
、カメラをキャリブレートするための技術を、プロジェクタおよびプロジェクタ−カメラ
・システムのキャリブレーションに適用可能であろうということは、理に適っているよう
に見えるかもしれない。しかしながら、全てのカメラ・キャリブレーション技術は、カメ
ラ(即ち、キャリブレートされている画像形成デバイス)が、いくつかの画像を捕獲する
ことを必要とするから、カメラ・キャリブレーション技術を、画像を捕獲することができ
ないプロジェクタに、直ちに適用することはできないように思われる。
、カメラをキャリブレートするための技術を、プロジェクタおよびプロジェクタ−カメラ
・システムのキャリブレーションに適用可能であろうということは、理に適っているよう
に見えるかもしれない。しかしながら、全てのカメラ・キャリブレーション技術は、カメ
ラ(即ち、キャリブレートされている画像形成デバイス)が、いくつかの画像を捕獲する
ことを必要とするから、カメラ・キャリブレーション技術を、画像を捕獲することができ
ないプロジェクタに、直ちに適用することはできないように思われる。
したがって、従来のシステムでは、最初に、カメラが、キャリブレートされ、次に、キ
ャリブレートされたカメラが、プロジェクタをキャリブレートするために用いられている
。これらのシステムでは、一対のキャリブレートされたカメラを、ステレオ対を形成する
ように用いる「ブートストラップ」手順が、用いられる。公知のように、カメラのステレ
オ対を用いて、そのステレオ対で見える特徴点の深度、即ち、透視図を評価することがで
きる。プロジェクタをキャリブレートするために、最初に、プロジェクタで、ディスプレ
イ環境(即ち、投影面)上に特徴点を投影し、その後、キャリブレートされたカメラのス
テレオ対を用いて、投影された点の透視深度位置を決定することによって、ディスプレイ
環境の表面の不規則性を補償するように、そのプロジェクタをキャリブレートすることが
できる。
ャリブレートされたカメラが、プロジェクタをキャリブレートするために用いられている
。これらのシステムでは、一対のキャリブレートされたカメラを、ステレオ対を形成する
ように用いる「ブートストラップ」手順が、用いられる。公知のように、カメラのステレ
オ対を用いて、そのステレオ対で見える特徴点の深度、即ち、透視図を評価することがで
きる。プロジェクタをキャリブレートするために、最初に、プロジェクタで、ディスプレ
イ環境(即ち、投影面)上に特徴点を投影し、その後、キャリブレートされたカメラのス
テレオ対を用いて、投影された点の透視深度位置を決定することによって、ディスプレイ
環境の表面の不規則性を補償するように、そのプロジェクタをキャリブレートすることが
できる。
このブートストラップ技術は、プロジェクタ−カメラ・システムの、信頼できて証明済
みのキャリブレーション方法であるが、それは、外部のステレオカメラ対の使用を必要と
するから、内蔵型のプロジェクタ−カメラ・デバイスのキャリブレーションには適用不可
能である。
みのキャリブレーション方法であるが、それは、外部のステレオカメラ対の使用を必要と
するから、内蔵型のプロジェクタ−カメラ・デバイスのキャリブレーションには適用不可
能である。
デュアル・フォトグラフィ(dual photography)と呼ばれる技術が、参照によって、そ
の全体が本明細書に組み込まれる論文「Dual Photography」,Proceedings ACM SIGGRRAP
H,2005年において、セン(Sen)、その外によって提案された。デュアル・フォトグラフ
ィは、ヘルムホルツの相反性(光の相反性)を用いて、プロジェクタによって「見られる
とおりに」(即ち、実効的に「捕獲される」)画像をシミュレートする擬似画像(即ち、
双対画像)を合成するために、現実のカメラで捕獲された画像を用いる。即ち、その擬似
画像は、プロジェクタによって「観察された」ときに捕獲される画像をシミュレートし、
したがって、プロジェクタが画像を捕獲することができるとすれば、プロジェクタによっ
て捕獲される画像がどのようなものであるかを表わす。このアプローチは、プロジェクタ
を擬似カメラとして扱うことを可能にし、したがって、プロジェクタのキャリブレーショ
ンに関連する困難のいくつかを取り除くであろう。
の全体が本明細書に組み込まれる論文「Dual Photography」,Proceedings ACM SIGGRRAP
H,2005年において、セン(Sen)、その外によって提案された。デュアル・フォトグラフ
ィは、ヘルムホルツの相反性(光の相反性)を用いて、プロジェクタによって「見られる
とおりに」(即ち、実効的に「捕獲される」)画像をシミュレートする擬似画像(即ち、
双対画像)を合成するために、現実のカメラで捕獲された画像を用いる。即ち、その擬似
画像は、プロジェクタによって「観察された」ときに捕獲される画像をシミュレートし、
したがって、プロジェクタが画像を捕獲することができるとすれば、プロジェクタによっ
て捕獲される画像がどのようなものであるかを表わす。このアプローチは、プロジェクタ
を擬似カメラとして扱うことを可能にし、したがって、プロジェクタのキャリブレーショ
ンに関連する困難のいくつかを取り除くであろう。
ヘルムホルツの相反性は、輸送特性を変えることなく、光の流れを実効的に逆にするこ
とができるという考えに基づく。ヘルムホルツの相反性は、計算上の複雑さを軽減するた
めに、多くのコンピュータ・グラフィックス応用において用いられている。コンピュータ
・グラフィックス文献では、この相反性は、通常、入射方角ωiと出射方角ωoとの間の
放射輝度転送の相称性について記述する方程式:fr(ωi→ωo)=fr(ωo→ωi
)によって要約されている。ここで、frは、表面の双方向反射率分布関数(BRDF)
を表わしている。
とができるという考えに基づく。ヘルムホルツの相反性は、計算上の複雑さを軽減するた
めに、多くのコンピュータ・グラフィックス応用において用いられている。コンピュータ
・グラフィックス文献では、この相反性は、通常、入射方角ωiと出射方角ωoとの間の
放射輝度転送の相称性について記述する方程式:fr(ωi→ωo)=fr(ωo→ωi
)によって要約されている。ここで、frは、表面の双方向反射率分布関数(BRDF)
を表わしている。
したがって、デュアル・フォトグラフィは、投影された画像と捕獲された画像との二重
性(即ち、双対関係)の利点を完ぺきに取り込んで、一方から他方をシミュレートする。
以下に、より詳細に記述するように、デュアル・フォトグラフィ(および、より正確には
、ヘルムホルツの相反性)は、カメラとプロジェクタの間の光輸送の捕獲を必要とする。
性(即ち、双対関係)の利点を完ぺきに取り込んで、一方から他方をシミュレートする。
以下に、より詳細に記述するように、デュアル・フォトグラフィ(および、より正確には
、ヘルムホルツの相反性)は、カメラとプロジェクタの間の光輸送の捕獲を必要とする。
デジタル・カメラおよびデジタル・プロジェクタを取り扱うとき、デュアル・フォトグ
ラフィは、両デバイスの解像度で、全てのカメラ・ピクセルと全てのプロジェクタ・ピク
セルの間の各光輸送係数を捕獲することを必要とする。デジタル・プロジェクタおよびデ
ジタル・カメラは、どちらも、各々、何百万個ものピクセルを持ち得るから、おびただし
い数の光輸送係数の収集、格納、および操作のために、その使用に対して、極めて実際的
な制限が置かれる可能性がある。したがって、理論的には、デュアル・フォトグラフィは
、大きな利益を提供するように思われるかもしれないが、実際には、デュアル・フォトグ
ラフィは、極めて大量のコンピュータ・メモリ(アーカイブなディスク型メモリとアクテ
ィブ・シリコン・メモリとの両方)を必要とし、また、大規模で、高速のコンピュータに
よる処理を必要とするという、その物理的・非現実的な要求によって厳しく制限される。
ラフィは、両デバイスの解像度で、全てのカメラ・ピクセルと全てのプロジェクタ・ピク
セルの間の各光輸送係数を捕獲することを必要とする。デジタル・プロジェクタおよびデ
ジタル・カメラは、どちらも、各々、何百万個ものピクセルを持ち得るから、おびただし
い数の光輸送係数の収集、格納、および操作のために、その使用に対して、極めて実際的
な制限が置かれる可能性がある。したがって、理論的には、デュアル・フォトグラフィは
、大きな利益を提供するように思われるかもしれないが、実際には、デュアル・フォトグ
ラフィは、極めて大量のコンピュータ・メモリ(アーカイブなディスク型メモリとアクテ
ィブ・シリコン・メモリとの両方)を必要とし、また、大規模で、高速のコンピュータに
よる処理を必要とするという、その物理的・非現実的な要求によって厳しく制限される。
図1Aおよび1Bを参照すると、デュアル・フォトグラフィについての、より明瞭な理
解を得ることができる。図1Aにおいて、「主構成」(即ち、いかなる双対変換にも先立
った、現実の物理的デバイスの構成)に、現実のデジタル・プロジェクタ11、現実の投
影された画像13、および、現実のデジタル・カメラ15が、含まれている。光が、現実
のプロジェクタ11から放出されて、現実のカメラ15によって捕獲される。各投影され
た光ビーム(現実のプロジェクタ11からの)を、それに対応する、捕獲された光ビーム
(現実のカメラ15において)と関連づける係数が、光輸送係数と呼ばれる。光輸送係数
を用いると、捕獲された光ビームから、投影された光ビームの特性を決定することが可能
である。
解を得ることができる。図1Aにおいて、「主構成」(即ち、いかなる双対変換にも先立
った、現実の物理的デバイスの構成)に、現実のデジタル・プロジェクタ11、現実の投
影された画像13、および、現実のデジタル・カメラ15が、含まれている。光が、現実
のプロジェクタ11から放出されて、現実のカメラ15によって捕獲される。各投影され
た光ビーム(現実のプロジェクタ11からの)を、それに対応する、捕獲された光ビーム
(現実のカメラ15において)と関連づける係数が、光輸送係数と呼ばれる。光輸送係数
を用いると、捕獲された光ビームから、投影された光ビームの特性を決定することが可能
である。
本例において、現実のプロジェクタ11は、ドットで描いたボックス内にシンボル的に
示されており、そして、s行、r列のプロジェクタ・ピクセルeから成る、プロジェクタ
・ピクセル・アレイ17を持つデジタル・プロジェクタである。プロジェクタ・ピクセル
・アレイ17の規模は、現実のプロジェクタ11の解像度に依存する。例えば、VGA解
像度は、640×480個のピクセル(即ち、307,200個のプロジェクタ・ピクセ
ルe)から成り、SVGA解像度は、800×600個のピクセル(即ち、480,00
0個のプロジェクタ・ピクセルe)を持ち、XVG解像度は、1024×768個のピク
セル(即ち、786,732個のプロジェクタ・ピクセルe)を持ち、SXVG解像度は
、1280×1024個(即ち、1,310,720個のプロジェクタ・ピクセルe)を
持つ、等であり、より大きな解像度のプロジェクタは、より多数のプロジェクタ・ピクセ
ルeを必要とする。
示されており、そして、s行、r列のプロジェクタ・ピクセルeから成る、プロジェクタ
・ピクセル・アレイ17を持つデジタル・プロジェクタである。プロジェクタ・ピクセル
・アレイ17の規模は、現実のプロジェクタ11の解像度に依存する。例えば、VGA解
像度は、640×480個のピクセル(即ち、307,200個のプロジェクタ・ピクセ
ルe)から成り、SVGA解像度は、800×600個のピクセル(即ち、480,00
0個のプロジェクタ・ピクセルe)を持ち、XVG解像度は、1024×768個のピク
セル(即ち、786,732個のプロジェクタ・ピクセルe)を持ち、SXVG解像度は
、1280×1024個(即ち、1,310,720個のプロジェクタ・ピクセルe)を
持つ、等であり、より大きな解像度のプロジェクタは、より多数のプロジェクタ・ピクセ
ルeを必要とする。
同様に、現実のカメラ15は、ドットで描いたボックス内にシンボル的に示されており
、そして、u行、v列のレセプタ・ピクセルgから成る、光レセプタ・ピクセル・アレイ
19を持つデジタル・カメラである。レセプタ・ピクセル・アレイ19の規模は、やはり
、現実のカメラ15の解像度に依存する。しかしながら、現実のカメラ15は、4メガピ
クセル(即ち、4,194,304個のレセプタ・ピクセルg)、または、それ以上の解
像度を持つのが一般的である。
、そして、u行、v列のレセプタ・ピクセルgから成る、光レセプタ・ピクセル・アレイ
19を持つデジタル・カメラである。レセプタ・ピクセル・アレイ19の規模は、やはり
、現実のカメラ15の解像度に依存する。しかしながら、現実のカメラ15は、4メガピ
クセル(即ち、4,194,304個のレセプタ・ピクセルg)、または、それ以上の解
像度を持つのが一般的である。
現実のプロジェクタ11が、個々の光投影ピクセルeのアレイを持つデジタル・プロジ
ェクタであリ、また、現実のカメラ15が、個々の光レセプタ・ピクセルgのアレイを持
つデジタル・カメラであるから、行列Tが、現実のプロジェクタ11内の各プロジェクタ
・ピクセルeを、現実のカメラ15の各レセプタ・ピクセルgと関連づける光輸送係数の
グループを記述するために用いられる(即ち、行列Tの要素Tgeが、個々の現実のプロジ
ェクタのピクセルeから個々の現実のカメラのレセプタ・ピクセルgへの輸送係数である
)。したがって、現実の捕獲された画像C'は、C'=TP'として、投影された画像P'と
関連づけられる。
ェクタであリ、また、現実のカメラ15が、個々の光レセプタ・ピクセルgのアレイを持
つデジタル・カメラであるから、行列Tが、現実のプロジェクタ11内の各プロジェクタ
・ピクセルeを、現実のカメラ15の各レセプタ・ピクセルgと関連づける光輸送係数の
グループを記述するために用いられる(即ち、行列Tの要素Tgeが、個々の現実のプロジ
ェクタのピクセルeから個々の現実のカメラのレセプタ・ピクセルgへの輸送係数である
)。したがって、現実の捕獲された画像C'は、C'=TP'として、投影された画像P'と
関連づけられる。
図1Aのシステムの双対変換、即ち、双対構成が、図1Bに示されている。この双対構
成では、図1Aの現実のプロジェクタ11が、仮想カメラ11”に変換され、図1Aの現
実のカメラ15が、仮想プロジェクタ15”に変換されている。仮想カメラ11”と仮想
プロジェクタ15”とは、それぞれ、現実のプロジェクタ11と現実のカメラ15との双
対対応物を表わし、現実のデバイス自体ではないことは理解されるであろう。すなわち、
仮想カメラ11”は、仮定上のカメラ(即ち、仮想カメラ11”)が、図1Aの現実のプ
ロジェクタ11によって投影される現実の画像13と同様の、仮定上の投影画像13”を
捕獲するために、どのように振舞うかについての数学的表現である。同様に、仮想プロジ
ェクタ15”は、仮定上のプロジェクタ(即ち、仮想プロジェクタ15”)が、現実のカ
メラ15(図1Aの)によって捕獲される現実の画像13と実質的に一致する、仮定上の
画像13”を投影するために、どのように振舞うかについての数学的表現である。したが
って、図1Aの現実のプロジェクタ11と現実のカメラ15の位置が、図1Bにおいて、
仮想カメラ11”と仮想プロジェクタ15”として入れ換えられている。しかしながら、
現実のデバイスのピクセル解像度は、それらの対応物である双対デバイスに繰り込まれる
。したがって、仮想カメラ11”は、現実のプロジェクタ11のプロジェクタ・ピクセル
・アレイ17と一致する、s行、r列から成る仮想レセプタ・ピクセル・アレイ17”を
持つ。同様に、仮想プロジェクタ15”は、現実のカメラ15のレセプタ・ピクセル・ア
レイ19と一致する、u行、v列から成る仮想投影ピクセル・アレイ19”を持つ。
成では、図1Aの現実のプロジェクタ11が、仮想カメラ11”に変換され、図1Aの現
実のカメラ15が、仮想プロジェクタ15”に変換されている。仮想カメラ11”と仮想
プロジェクタ15”とは、それぞれ、現実のプロジェクタ11と現実のカメラ15との双
対対応物を表わし、現実のデバイス自体ではないことは理解されるであろう。すなわち、
仮想カメラ11”は、仮定上のカメラ(即ち、仮想カメラ11”)が、図1Aの現実のプ
ロジェクタ11によって投影される現実の画像13と同様の、仮定上の投影画像13”を
捕獲するために、どのように振舞うかについての数学的表現である。同様に、仮想プロジ
ェクタ15”は、仮定上のプロジェクタ(即ち、仮想プロジェクタ15”)が、現実のカ
メラ15(図1Aの)によって捕獲される現実の画像13と実質的に一致する、仮定上の
画像13”を投影するために、どのように振舞うかについての数学的表現である。したが
って、図1Aの現実のプロジェクタ11と現実のカメラ15の位置が、図1Bにおいて、
仮想カメラ11”と仮想プロジェクタ15”として入れ換えられている。しかしながら、
現実のデバイスのピクセル解像度は、それらの対応物である双対デバイスに繰り込まれる
。したがって、仮想カメラ11”は、現実のプロジェクタ11のプロジェクタ・ピクセル
・アレイ17と一致する、s行、r列から成る仮想レセプタ・ピクセル・アレイ17”を
持つ。同様に、仮想プロジェクタ15”は、現実のカメラ15のレセプタ・ピクセル・ア
レイ19と一致する、u行、v列から成る仮想投影ピクセル・アレイ19”を持つ。
双対輸送行列T”が、この双対構成における輸送行列であり、したがって、仮想捕獲画
像C”(仮想カメラ11”によって捕獲される)が、C”=TP”として、仮想投影画像
P”(仮想プロジェクタ15”によって投影される)と関連付けられるとすると、T”eg
は、仮想プロジェクタ・ピクセルg”と仮想レセプタ・ピクセルe”との間の双対光輸送
係数となる。
像C”(仮想カメラ11”によって捕獲される)が、C”=TP”として、仮想投影画像
P”(仮想プロジェクタ15”によって投影される)と関連付けられるとすると、T”eg
は、仮想プロジェクタ・ピクセルg”と仮想レセプタ・ピクセルe”との間の双対光輸送
係数となる。
ヘルムホルツの相反性は、ピクセル対ピクセルへの輸送が、両方向(即ち、現実のプロ
ジェクタ11から現実のカメラ15への方向と、仮想プロジェクタ15”から仮想カメラ
11”への方向と)で等しいことを明示している。即ち、T”eg=Tgeであり、それは、
T”=TTである(即ち、双対行列T”が、現実の行列Tに対する数学的転置操作の結果
と等価である)ことを意味する。したがって、行列Tが与えられると、人は、TTを用い
て、双対構成において取得される画像を合成することができる。
ジェクタ11から現実のカメラ15への方向と、仮想プロジェクタ15”から仮想カメラ
11”への方向と)で等しいことを明示している。即ち、T”eg=Tgeであり、それは、
T”=TTである(即ち、双対行列T”が、現実の行列Tに対する数学的転置操作の結果
と等価である)ことを意味する。したがって、行列Tが与えられると、人は、TTを用い
て、双対構成において取得される画像を合成することができる。
「A flexible new technique for camera calibration」,IEEE Transactions on Pattern Analysis and Machine Intelligence,2000年,22巻,11号,p.1330〜1334
本発明の1つの目的は、デュアル・フォトグラフィの適用を簡単化することである。
本発明の別の1つの目的は、プロジェクタ−カメラ・システムにおける現実のプロジェ
クタのキャリブレーションでのデュアル・フォトグラフィの使用を簡単化することである
。
クタのキャリブレーションでのデュアル・フォトグラフィの使用を簡単化することである
。
本発明のさらなる1つの目的は、デュアル・フォトグラフィの、非常に時間を消費し、
かつ、複雑である要件のいくつかを必要とすることなく、現実のプロジェクタのキャリブ
レーションにおいて、デュアル・フォトグラフィの利益を利用することである。
かつ、複雑である要件のいくつかを必要とすることなく、現実のプロジェクタのキャリブ
レーションにおいて、デュアル・フォトグラフィの利益を利用することである。
上述の目的は、双対輸送行列Tの生成を簡単化し、デュアル・フォトグラフィに対する
光輸送係数の実装を簡単化し、そして、緩和されたデュアル・フォトグラフィ操作と平面
射影の軽減された計算要件とを組み合わせたシステムにおいてかなえられる。
光輸送係数の実装を簡単化し、そして、緩和されたデュアル・フォトグラフィ操作と平面
射影の軽減された計算要件とを組み合わせたシステムにおいてかなえられる。
デュアル・フォトグラフィの適用が、(p×q)投影ピクセル・アレイに関する光輸送
行列Tを生成するために必要とされる捕獲画像の数を、(p×q)個の画像から(p+q
)個の画像に減少させることによって簡単化される。光輸送行列の操作は、行列Tを用い
る代わりに、各投影ピクセルと、ゼロでない光輸送値だけとを結び付けるインデックスを
用いることによって簡単化される。ゼロ値を持つ光輸送係数の使用を排除することによっ
て、デュアル・フォトグラフィを実装するためのメモリ要件および演算処理要件が、大き
く縮減される。このデュアル・フォトグラフィ技術が、プロジェクタ−カメラ・システム
のキャリブレーションに適用される。
行列Tを生成するために必要とされる捕獲画像の数を、(p×q)個の画像から(p+q
)個の画像に減少させることによって簡単化される。光輸送行列の操作は、行列Tを用い
る代わりに、各投影ピクセルと、ゼロでない光輸送値だけとを結び付けるインデックスを
用いることによって簡単化される。ゼロ値を持つ光輸送係数の使用を排除することによっ
て、デュアル・フォトグラフィを実装するためのメモリ要件および演算処理要件が、大き
く縮減される。このデュアル・フォトグラフィ技術が、プロジェクタ−カメラ・システム
のキャリブレーションに適用される。
プロジェクタ−カメラ・システムをキャリブレートする第2の方法は、既知の投影テス
トパターンとキャリブレートされたカメラを用いて、投影された現実の画像上の空間的標
識と捕獲画像を結び付けることである。投影された空間的標識の現実の位置が、キャリブ
レートされたカメラによって決定され、また、テストパターン上の空間的標識の相対的位
置も、既知である(そのテストパターンが、キャリブレートされるプロジェクタによって
投影されたものであるから)から、投影された空間的標識間のその既知の関係が、キャリ
ブレートされたカメラによって決定された、投影場上の空間的標識の実際の位置に一致す
ることを確実にするように、平面射影技術を用いて、プロジェクタをキャリブレートする
ことができる。
トパターンとキャリブレートされたカメラを用いて、投影された現実の画像上の空間的標
識と捕獲画像を結び付けることである。投影された空間的標識の現実の位置が、キャリブ
レートされたカメラによって決定され、また、テストパターン上の空間的標識の相対的位
置も、既知である(そのテストパターンが、キャリブレートされるプロジェクタによって
投影されたものであるから)から、投影された空間的標識間のその既知の関係が、キャリ
ブレートされたカメラによって決定された、投影場上の空間的標識の実際の位置に一致す
ることを確実にするように、平面射影技術を用いて、プロジェクタをキャリブレートする
ことができる。
本発明の第一の実施例において、デジタル・プロジェクタとデジタル・カメラとを関連
づける光輸送係数を生成する方法が示される。デジタル・プロジェクタが、投影ピクセル
のアレイを持ち、そして、デジタル・カメラが、センサ・ピクセルのアレイを持つ場合に
は、その方法は、前記プロジェクタ内の第1の投影ピクセルのグループを同時に駆動して
、投影場上に第1のテストパターンを投影するステップであって、前記第1のテストパタ
ーン中にない、いずれの投影ピクセルも暗く維持されるステップと、前記投影場上の、前
記第1のテストパターンの第1の画像を捕獲するステップと、前記プロジェクタ内の第2
の投影ピクセルのグループを同時に駆動して、前記投影場上に第2のテストパターンを投
影するステップであって、前記第2のテストパターン中にない、いずれの残りの投影ピク
セルも暗く維持され、前記第1および第2の投影ピクセルのグループが、ターゲット投影
ピクセルを定める、ただ1つの投影ピクセルしか共通に持たないステップと、前記投影場
上の、前記第2のテストパターンの第2の画像を捕獲するステップと、前記第1の画像の
画像ピクセルと、それに対応する、前記第2の画像の画像ピクセルとを比較するステップ
と、2つの比較された画像ピクセルのうちの、より暗い方を保持するステップであって、
前記保持された画像ピクセルが、合成画像を構成するステップと、前記合成画像中の全て
の暗くない画像ピクセルを識別するステップであって、前記暗くない画像ピクセルが、前
記ターゲット投影ピクセルに関連する、ゼロでない光輸送係数を定めるステップと、を含
んでなる。
づける光輸送係数を生成する方法が示される。デジタル・プロジェクタが、投影ピクセル
のアレイを持ち、そして、デジタル・カメラが、センサ・ピクセルのアレイを持つ場合に
は、その方法は、前記プロジェクタ内の第1の投影ピクセルのグループを同時に駆動して
、投影場上に第1のテストパターンを投影するステップであって、前記第1のテストパタ
ーン中にない、いずれの投影ピクセルも暗く維持されるステップと、前記投影場上の、前
記第1のテストパターンの第1の画像を捕獲するステップと、前記プロジェクタ内の第2
の投影ピクセルのグループを同時に駆動して、前記投影場上に第2のテストパターンを投
影するステップであって、前記第2のテストパターン中にない、いずれの残りの投影ピク
セルも暗く維持され、前記第1および第2の投影ピクセルのグループが、ターゲット投影
ピクセルを定める、ただ1つの投影ピクセルしか共通に持たないステップと、前記投影場
上の、前記第2のテストパターンの第2の画像を捕獲するステップと、前記第1の画像の
画像ピクセルと、それに対応する、前記第2の画像の画像ピクセルとを比較するステップ
と、2つの比較された画像ピクセルのうちの、より暗い方を保持するステップであって、
前記保持された画像ピクセルが、合成画像を構成するステップと、前記合成画像中の全て
の暗くない画像ピクセルを識別するステップであって、前記暗くない画像ピクセルが、前
記ターゲット投影ピクセルに関連する、ゼロでない光輸送係数を定めるステップと、を含
んでなる。
この方法にしたがえば、前記第1のテストパターンと前記第2のテストパターンとが、
前記ターゲット投影ピクセルに関連する第1のパターン対を形成し、前記デジタル・プロ
ジェクタ内の各投影ピクセルが、それぞれの第1のテストパターンと、それぞれの第2の
テストパターンとから成る、連合したユニークなパターン対を持ち、そして、前記デジタ
ル・プロジェクタ内の任意の選択された投影ピクセルに関する前記光輸送係数が、前記選
択された投影ピクセルの、その連合したユニークなパターン対を構成する、それぞれの第
1のテストパターンと、それぞれの第2のパターンとの捕獲画像を比較するステップによ
って得られ、前記ユニークなパターン対を比較する前記ステップが、前記それぞれの第1
の画像の画像ピクセルと、それに対応する、前記それぞれの第2の画像の画像ピクセルと
を比較するステップと、2つの比較された画像ピクセルのうちの、より暗い方を保持する
ステップであって、前記保持された画像ピクセルが、それぞれの合成画像を構成するステ
ップと、前記それぞれの合成画像中の全ての暗くない画像ピクセルを識別するステップで
あって、前記暗くない画像ピクセルが、前記任意の選択された投影ピクセルに関連する前
記光輸送係数を定めるステップと、を含んでなることを、さらに明確にすることができる
。
前記ターゲット投影ピクセルに関連する第1のパターン対を形成し、前記デジタル・プロ
ジェクタ内の各投影ピクセルが、それぞれの第1のテストパターンと、それぞれの第2の
テストパターンとから成る、連合したユニークなパターン対を持ち、そして、前記デジタ
ル・プロジェクタ内の任意の選択された投影ピクセルに関する前記光輸送係数が、前記選
択された投影ピクセルの、その連合したユニークなパターン対を構成する、それぞれの第
1のテストパターンと、それぞれの第2のパターンとの捕獲画像を比較するステップによ
って得られ、前記ユニークなパターン対を比較する前記ステップが、前記それぞれの第1
の画像の画像ピクセルと、それに対応する、前記それぞれの第2の画像の画像ピクセルと
を比較するステップと、2つの比較された画像ピクセルのうちの、より暗い方を保持する
ステップであって、前記保持された画像ピクセルが、それぞれの合成画像を構成するステ
ップと、前記それぞれの合成画像中の全ての暗くない画像ピクセルを識別するステップで
あって、前記暗くない画像ピクセルが、前記任意の選択された投影ピクセルに関連する前
記光輸送係数を定めるステップと、を含んでなることを、さらに明確にすることができる
。
さらに、この方法において、前記プロジェクタが、投影ピクセルの行および列のアレイ
を持ち、前記それぞれの第1のテストパターンが、前記アレイの1つの列内の全投影ピク
セルを同時に駆動することよりなり、前記それぞれの第2のテストパターンが、前記アレ
イの1つの行内の全投影ピクセルを同時に駆動することよりなるのが好ましい。
を持ち、前記それぞれの第1のテストパターンが、前記アレイの1つの列内の全投影ピク
セルを同時に駆動することよりなり、前記それぞれの第2のテストパターンが、前記アレ
イの1つの行内の全投影ピクセルを同時に駆動することよりなるのが好ましい。
それに代えて、光輸送係数を生成する本方法は、選択された数の前記ターゲット投影ピ
クセルに対して、前記光輸送係数を識別するステップと、前記選択された数のターゲット
投影ピクセルの各々と、それらに対応して関連するゼロでない光輸送係数とを結び付ける
インデックスを生成するステップと、前記ゼロでない光輸送係数だけを格納するステップ
と、を、さらに含んでもよい。
クセルに対して、前記光輸送係数を識別するステップと、前記選択された数のターゲット
投影ピクセルの各々と、それらに対応して関連するゼロでない光輸送係数とを結び付ける
インデックスを生成するステップと、前記ゼロでない光輸送係数だけを格納するステップ
と、を、さらに含んでもよい。
さらなる一代替実施例において、前記デジタル・プロジェクタと前記デジタル・カメラ
とを関連づける前記光輸送係数が、デュアル・フォトグラフィにおける使用に適している
。
とを関連づける前記光輸送係数が、デュアル・フォトグラフィにおける使用に適している
。
本発明は、少なくとも1つのデジタル・プロジェクタと1つのデジタル・カメラとを持
つプロジェクタ−カメラ・システムのキャリブレーションに適用することができ、その方
法は、投影場を識別するステップと、前記投影場に対して前記カメラをキャリブレートす
るステップと、前記デジタル・プロジェクタ内の各投影ピクセルと、前記デジタル・カメ
ラとを結び付ける、ゼロでない光輸送係数を識別するステップと、各投影ピクセルと、そ
れに対応するゼロでない光輸送係数とを結び付けるインデックスを創出するステップと、
各投影ピクセルに関する各ゼロの光輸送係数を無視するステップと、前記プロジェクタが
デュアル・フォトグラフィ技術を用いるという観点から、前記インデックスによって識別
される、ゼロでない光輸送係数を用いて、前記投影場の双対画像を生成するステップと、
前記プロジェクタを仮想カメラとして扱うことによって、前記プロジェクタにカメラ・キ
ャリブレーション技術を適用するステップと、前記双対画像を、前記プロジェクタをキャ
リブレートするためのテスト画像として用いるステップと、を含んでなる。
つプロジェクタ−カメラ・システムのキャリブレーションに適用することができ、その方
法は、投影場を識別するステップと、前記投影場に対して前記カメラをキャリブレートす
るステップと、前記デジタル・プロジェクタ内の各投影ピクセルと、前記デジタル・カメ
ラとを結び付ける、ゼロでない光輸送係数を識別するステップと、各投影ピクセルと、そ
れに対応するゼロでない光輸送係数とを結び付けるインデックスを創出するステップと、
各投影ピクセルに関する各ゼロの光輸送係数を無視するステップと、前記プロジェクタが
デュアル・フォトグラフィ技術を用いるという観点から、前記インデックスによって識別
される、ゼロでない光輸送係数を用いて、前記投影場の双対画像を生成するステップと、
前記プロジェクタを仮想カメラとして扱うことによって、前記プロジェクタにカメラ・キ
ャリブレーション技術を適用するステップと、前記双対画像を、前記プロジェクタをキャ
リブレートするためのテスト画像として用いるステップと、を含んでなる。
さらに、この方法において、前記デジタル・プロジェクタ内の各投影ピクセルと、前記
デジタル・カメラとを結び付ける、ゼロでない光輸送係数を識別する前記ステップが、第
1のテストパターンの第1のセットを識別するステップであって、各第1のテストパター
ンが、複数の投影ピクセルを含むステップと、第2のテストパターンの第2のセットを識
別するステップであって、各第2のテストパターンが、複数の投影ピクセルを含み、前記
プロジェクタ内の各投影ピクセルが、前記第1のセットからの対応する第1のテストパタ
ーンと、前記第2のセットからの対応する第2のテストパターンとから成るテストパター
ン対の交差部によってユニークに識別されるステップと、前記投影場上に、前記第1のセ
ット内の前記第1のテストパターンの各々を駆動するステップと、その結果として生じる
投影画像の画像を捕獲するステップと、前記投影場上に、前記第2のセット内の前記第2
のテストパターンの各々を駆動するステップと、その結果として生じる投影画像の画像を
捕獲するステップと、前記プロジェクタ内の各投影ピクセルに対して、それに対応する、
投影された第1のテストパターンの前記捕獲画像の画像ピクセルと、それに対応する、投
影された第2のテストパターンの前記捕獲画像の対応する画像ピクセルとを比較するステ
ップと、前記2つの比較された画像ピクセルのうちの、より暗い方を保持するステップで
あって、前記保持された画像ピクセルが合成画像を構成するステップと、前記合成画像中
の全ての暗くない画像ピクセルを識別するステップであって、前記暗くない画像ピクセル
が、ゼロでない光輸送係数を定めるステップと、を含んでもよい。
デジタル・カメラとを結び付ける、ゼロでない光輸送係数を識別する前記ステップが、第
1のテストパターンの第1のセットを識別するステップであって、各第1のテストパター
ンが、複数の投影ピクセルを含むステップと、第2のテストパターンの第2のセットを識
別するステップであって、各第2のテストパターンが、複数の投影ピクセルを含み、前記
プロジェクタ内の各投影ピクセルが、前記第1のセットからの対応する第1のテストパタ
ーンと、前記第2のセットからの対応する第2のテストパターンとから成るテストパター
ン対の交差部によってユニークに識別されるステップと、前記投影場上に、前記第1のセ
ット内の前記第1のテストパターンの各々を駆動するステップと、その結果として生じる
投影画像の画像を捕獲するステップと、前記投影場上に、前記第2のセット内の前記第2
のテストパターンの各々を駆動するステップと、その結果として生じる投影画像の画像を
捕獲するステップと、前記プロジェクタ内の各投影ピクセルに対して、それに対応する、
投影された第1のテストパターンの前記捕獲画像の画像ピクセルと、それに対応する、投
影された第2のテストパターンの前記捕獲画像の対応する画像ピクセルとを比較するステ
ップと、前記2つの比較された画像ピクセルのうちの、より暗い方を保持するステップで
あって、前記保持された画像ピクセルが合成画像を構成するステップと、前記合成画像中
の全ての暗くない画像ピクセルを識別するステップであって、前記暗くない画像ピクセル
が、ゼロでない光輸送係数を定めるステップと、を含んでもよい。
一代替実施例において、少なくとも1つのデジタル・プロジェクタと1つのデジタル・
カメラとを持つプロジェクタ−カメラ・システムをキャリブレートする方法が、投影場を
識別するステップと、前記投影場に対して、前記カメラをキャリブレートするステップと
、前記投影場に既知のテストパターンを投影するステップであって、前記既知のテストパ
ターンが、互いに既知の空間的関係を持つ空間的標識のグループを含むステップと、平面
射影技術を用いて、前記投影場上の前記空間的標識の現実の位置を識別するために、前記
カメラと前記投影場との間の関係を識別するステップと、平面射影技術を用いて、前記カ
メラを用いて決定された前記投影場上の前記空間的標識の前記現実の位置と、前記既知の
テストパターン上の前記空間的標識の前記既知の空間的関係とを関連づけ、前記既知のテ
ストパターンの前記既知の空間的関係を、前記投影場上の前記空間的標識の前記現実の位
置に合致させるように、前記プロジェクタをキャリブレートするステップと、を含んでな
る。
カメラとを持つプロジェクタ−カメラ・システムをキャリブレートする方法が、投影場を
識別するステップと、前記投影場に対して、前記カメラをキャリブレートするステップと
、前記投影場に既知のテストパターンを投影するステップであって、前記既知のテストパ
ターンが、互いに既知の空間的関係を持つ空間的標識のグループを含むステップと、平面
射影技術を用いて、前記投影場上の前記空間的標識の現実の位置を識別するために、前記
カメラと前記投影場との間の関係を識別するステップと、平面射影技術を用いて、前記カ
メラを用いて決定された前記投影場上の前記空間的標識の前記現実の位置と、前記既知の
テストパターン上の前記空間的標識の前記既知の空間的関係とを関連づけ、前記既知のテ
ストパターンの前記既知の空間的関係を、前記投影場上の前記空間的標識の前記現実の位
置に合致させるように、前記プロジェクタをキャリブレートするステップと、を含んでな
る。
この方法に継続して、前記既知のテストパターンが、少なくとも4個の空間的標識を含
んでいてもよい。
んでいてもよい。
さらに、前記空間的標識間の前記既知の空間的関係が、二次元投影に限定されているの
が好ましい。
が好ましい。
本発明の、より完全な理解とともに、他の目的および達成が、添付する図面と連係して
以下の記述および特許請求の範囲を参照することによって、明らかになり、また、十分に
理解されるであろう。
以下の記述および特許請求の範囲を参照することによって、明らかになり、また、十分に
理解されるであろう。
以下、本発明の実施形態を図面に基づいて説明する。
プロジェクタが、画像を捕獲することができるのであれば、現実のプロジェクタと現実
のカメラを区別する必要はなく、プロジェクタ−カメラ・システムを、複数カメラ・シス
テムのように扱うことができるに違いない。次に、上述の標準的なカメラ・キャリブレー
ション技術を用いて、プロジェクタ−カメラ・システムをキャリブレートすることができ
るに違いない。言い換えれば、プロジェクタを擬似カメラとして扱うことができれば、上
述の複数カメラ・システムのカメラ・キャリブレーション・ステージと同様なやり方で、
現実のカメラとともに、プロジェクタをキャリブレートすることができるに違いなく、ま
た、「ブートストラップ」プロジェクタ・キャリブレーション・ステージを省くことがで
きるであろう。
のカメラを区別する必要はなく、プロジェクタ−カメラ・システムを、複数カメラ・シス
テムのように扱うことができるに違いない。次に、上述の標準的なカメラ・キャリブレー
ション技術を用いて、プロジェクタ−カメラ・システムをキャリブレートすることができ
るに違いない。言い換えれば、プロジェクタを擬似カメラとして扱うことができれば、上
述の複数カメラ・システムのカメラ・キャリブレーション・ステージと同様なやり方で、
現実のカメラとともに、プロジェクタをキャリブレートすることができるに違いなく、ま
た、「ブートストラップ」プロジェクタ・キャリブレーション・ステージを省くことがで
きるであろう。
したがって、「ブートストラップ」投影キャリブレーション技術においては、プロジェ
クタが、既知の投影面上で、あらかじめキャリブレートされたカメラのステレオ対によっ
て捕獲して、その投影面の等高線を決定するための既知の特徴点を投影するのに対して、
デュアル・フォトグラフィ技術は、ステレオ対の、あらかじめキャリブレートされたカメ
ラの必要性を取り除くことができる。
クタが、既知の投影面上で、あらかじめキャリブレートされたカメラのステレオ対によっ
て捕獲して、その投影面の等高線を決定するための既知の特徴点を投影するのに対して、
デュアル・フォトグラフィ技術は、ステレオ対の、あらかじめキャリブレートされたカメ
ラの必要性を取り除くことができる。
図2Aを参照すると、本発明による画像形成編成には、現実のプロジェクタ21および
現実のカメラ25を含んでもよい。現実のプロジェクタ21は、デジタル・プロジェクタ
であって、p行、q列の個々の画像形成投影要素(即ち、投影ピクセル)jから成る画像
形成投影アレイ27を含む画像形成要素を持つのが好ましい。画像形成投影アレイ27は
、現実のプロジェクタ21の内部にあって、図2Aにおけるドットで描いたボックス内の
細線で示されている。現実のプロジェクタ21は、液晶ディスプレイ(LCD)タイプ、
デジタル・ライト・プロセッシング(DLP(登録商標))タイプ、液晶オン・シリコン
(LCOS)タイプ、または、他のデジタル投影技術タイプであるのが好ましい。
現実のカメラ25を含んでもよい。現実のプロジェクタ21は、デジタル・プロジェクタ
であって、p行、q列の個々の画像形成投影要素(即ち、投影ピクセル)jから成る画像
形成投影アレイ27を含む画像形成要素を持つのが好ましい。画像形成投影アレイ27は
、現実のプロジェクタ21の内部にあって、図2Aにおけるドットで描いたボックス内の
細線で示されている。現実のプロジェクタ21は、液晶ディスプレイ(LCD)タイプ、
デジタル・ライト・プロセッシング(DLP(登録商標))タイプ、液晶オン・シリコン
(LCOS)タイプ、または、他のデジタル投影技術タイプであるのが好ましい。
現実のカメラ25は、(m行×n列)の個々の画像センサ要素(即ち、センサ・ピクセ
ル)iから成る画像センサ・アレイ29を含む画像センサを持つデジタル・カメラである
のが好ましい。簡単のために、画像センサ・アレイ29は、現実のカメラ25の上に示さ
れているが、画像センサ・アレイ29が、現実のカメラ25の内部にあることは理解され
るであろう。
ル)iから成る画像センサ・アレイ29を含む画像センサを持つデジタル・カメラである
のが好ましい。簡単のために、画像センサ・アレイ29は、現実のカメラ25の上に示さ
れているが、画像センサ・アレイ29が、現実のカメラ25の内部にあることは理解され
るであろう。
現実のプロジェクタ21と現実のカメラ25とを用いる、この物理的な編成は、「主」
編成と呼ぶのが好ましい。現実のプロジェクタ21から放出された光線は、不規則な形状
を持っても、平坦な形状を持ってもよい投影面(即ち、ディスプレイ環境または場)23
から跳ね返り、そして、その光線のいくらかは、最終的に、現実のカメラ25内の画像セ
ンサに達する。一般に、各光線は、その場において、分散し、反射し、また、屈折して、
画像センサ・アレイ29の全体にわたる、いくつかの異なる位置でカメラの画像センサを
打つ。したがって、現実のプロジェクタ21内の1つの画像形成投影ピクセルjから放出
された光線が、現実のカメラ25に達すると、画像センサ・アレイ29内の個々のセンサ
・ピクセルiの各々が、ある量の光を受けて、投影された光線が、カメラの画像センサ・
アレイ29上に、(m行×n列)の画像を形成する。したがって、現実のプロジェクタ2
1の個々の投影ピクセルjの各々から放出された各光線は、現実のカメラ25内のセンサ
・ピクセルiに対して各1つずつの、(m×n)[即ち、m掛けるn]個の個々の光輸送
係数を生成する。したがって、完全な光輸送行列Tは、(p×q)[即ち、p掛けるq]
列(現実のプロジェクタ21内の個々の投影ピクセルjの各々に対して1つずつの)と、
(m×n)行(現実のカメラ25内の画像の個々のセンサ・ピクセルiの各々に対して1
つずつの)とから成る。
編成と呼ぶのが好ましい。現実のプロジェクタ21から放出された光線は、不規則な形状
を持っても、平坦な形状を持ってもよい投影面(即ち、ディスプレイ環境または場)23
から跳ね返り、そして、その光線のいくらかは、最終的に、現実のカメラ25内の画像セ
ンサに達する。一般に、各光線は、その場において、分散し、反射し、また、屈折して、
画像センサ・アレイ29の全体にわたる、いくつかの異なる位置でカメラの画像センサを
打つ。したがって、現実のプロジェクタ21内の1つの画像形成投影ピクセルjから放出
された光線が、現実のカメラ25に達すると、画像センサ・アレイ29内の個々のセンサ
・ピクセルiの各々が、ある量の光を受けて、投影された光線が、カメラの画像センサ・
アレイ29上に、(m行×n列)の画像を形成する。したがって、現実のプロジェクタ2
1の個々の投影ピクセルjの各々から放出された各光線は、現実のカメラ25内のセンサ
・ピクセルiに対して各1つずつの、(m×n)[即ち、m掛けるn]個の個々の光輸送
係数を生成する。したがって、完全な光輸送行列Tは、(p×q)[即ち、p掛けるq]
列(現実のプロジェクタ21内の個々の投影ピクセルjの各々に対して1つずつの)と、
(m×n)行(現実のカメラ25内の画像の個々のセンサ・ピクセルiの各々に対して1
つずつの)とから成る。
完全な現実の画像(即ち、現実のプロジェクタ21の画像形成投影アレイ27の全体を
用いて投影された画像)を、「p×qベクトル」[即ち(p×q)ベクトル]、Rprjct'
と表わし、また、現実のカメラ25の画像センサ・アレイ29によって捕獲される、対応
する完全な現実の画像を、「m×nベクトル」[即ち(m×n)ベクトル]、Rcptr'と
表わすと、現実のプロジェクタ21と現実のカメラ25の間の光輸送は、
Rcptr'=TRprjct'
と書くことができる。ここで、Tは、光輸送行列と呼ばれる。各投影ピクセルjは、現
実のカメラ25の画像センサ・アレイ29の全体にわたって散乱される光線を生じるから
、画像センサ・アレイ29内の各センサ・ピクセルiが、各投影ピクセルjに対して異な
る値をとる光輸送係数を持つことは理解されるであろう。したがって、各投影ピクセルj
は、カメラの画像センサ・アレイ29の各センサ・ピクセルiに対して1つずつの、(m
×n)個の個々の光輸送係数から成る1つの列を生じる。現実のプロジェクタ21に、(
p×q)個の投影ピクセルjがあるから、光輸送行列Tは、(p×q)列[各投影ピクセ
ルjに対して1つずつの]、(m×n)行[各センサ・ピクセルiに対して1つずつの]
の個々の光輸送係数を持つ。したがって、光輸送行列Tは、(p×q×m×n)個の個々
の光輸送係数値から成り、必然的に膨大になる。
用いて投影された画像)を、「p×qベクトル」[即ち(p×q)ベクトル]、Rprjct'
と表わし、また、現実のカメラ25の画像センサ・アレイ29によって捕獲される、対応
する完全な現実の画像を、「m×nベクトル」[即ち(m×n)ベクトル]、Rcptr'と
表わすと、現実のプロジェクタ21と現実のカメラ25の間の光輸送は、
Rcptr'=TRprjct'
と書くことができる。ここで、Tは、光輸送行列と呼ばれる。各投影ピクセルjは、現
実のカメラ25の画像センサ・アレイ29の全体にわたって散乱される光線を生じるから
、画像センサ・アレイ29内の各センサ・ピクセルiが、各投影ピクセルjに対して異な
る値をとる光輸送係数を持つことは理解されるであろう。したがって、各投影ピクセルj
は、カメラの画像センサ・アレイ29の各センサ・ピクセルiに対して1つずつの、(m
×n)個の個々の光輸送係数から成る1つの列を生じる。現実のプロジェクタ21に、(
p×q)個の投影ピクセルjがあるから、光輸送行列Tは、(p×q)列[各投影ピクセ
ルjに対して1つずつの]、(m×n)行[各センサ・ピクセルiに対して1つずつの]
の個々の光輸送係数を持つ。したがって、光輸送行列Tは、(p×q×m×n)個の個々
の光輸送係数値から成り、必然的に膨大になる。
図2Bを参照すると、「双対」編成は、現実のプロジェクタ21が、現実の画像形成投
影アレイ27に等しい規模の仮想画像センサ・アレイ27”を持つ仮想カメラ21”によ
って置き換えられたものである。したがって、仮想カメラ21”は、p行×q列の画像セ
ンサ要素j”から成る画像センサ・アレイ27”を持つ。
影アレイ27に等しい規模の仮想画像センサ・アレイ27”を持つ仮想カメラ21”によ
って置き換えられたものである。したがって、仮想カメラ21”は、p行×q列の画像セ
ンサ要素j”から成る画像センサ・アレイ27”を持つ。
同様に、その「双対」編成において、現実のカメラ25が、画像センサ29に等しい規
模の画像形成投影アレイ29”を持つ仮想プロジェクタ25”によって置き換えられる。
したがって、仮想プロジェクタ25”は、m行×n列の画像投影要素i”から成る画像形
成投影アレイを持つ。
模の画像形成投影アレイ29”を持つ仮想プロジェクタ25”によって置き換えられる。
したがって、仮想プロジェクタ25”は、m行×n列の画像投影要素i”から成る画像形
成投影アレイを持つ。
この場合に、仮想画像23”(仮想プロジェクタ25”によって投影される)を、(m
×n)次ベクトル、Vprjct”によって表わす。同様に、仮想カメラ21”によって捕獲
される仮想捕獲画像を、(p×q)次ベクトル、Vcptr”によって表わすことができる。
ヘルムホルツの相反性の原理によって、光輸送は、両方向(即ち、現実のプロジェクタ2
1から現実のカメラ25への方向と、仮想プロジェクタ25”から仮想カメラ21”への
方向と)で等しい。したがって、人は、双対編成(即ち、双対変換編成)に対して、双対
光輸送行列T”を、
Vcptr”=TTVprjct”
と書くことができる。現実の光輸送行列Tと、その双対光輸送行列TTの間の双対変換
は、行列計算の分野において知られている転置行列演算であることが、際立っている。
×n)次ベクトル、Vprjct”によって表わす。同様に、仮想カメラ21”によって捕獲
される仮想捕獲画像を、(p×q)次ベクトル、Vcptr”によって表わすことができる。
ヘルムホルツの相反性の原理によって、光輸送は、両方向(即ち、現実のプロジェクタ2
1から現実のカメラ25への方向と、仮想プロジェクタ25”から仮想カメラ21”への
方向と)で等しい。したがって、人は、双対編成(即ち、双対変換編成)に対して、双対
光輸送行列T”を、
Vcptr”=TTVprjct”
と書くことができる。現実の光輸送行列Tと、その双対光輸送行列TTの間の双対変換
は、行列計算の分野において知られている転置行列演算であることが、際立っている。
行列計算の分野において知られているように、一般的な[xxy]行列Aの転置演算は
、ATによって表わされ、そして、その第1列が行列Aの第1行、その第2列が行列Aの
第2行、その第3列が行列Aの第3行、等々である[yxx]行列によって定義される。
容易に明らかなように、この行列演算は、最初の要素(即ち、位置(1,1))において
、不変のままである、および、第1列の底が、第1行の終端になるというように、元の行
列Aを、単に、その最初の要素の周りで入れ替えることである。したがって、人が、主編
成に対する現実の光輸送行列Tを捕獲する、または、さもなければ、決定することができ
れば、記述したように、現実の光輸送行列Tの入れ替えを行うことによって、双対編成に
おける双対光輸送行列TTを、容易に計算することができる。
、ATによって表わされ、そして、その第1列が行列Aの第1行、その第2列が行列Aの
第2行、その第3列が行列Aの第3行、等々である[yxx]行列によって定義される。
容易に明らかなように、この行列演算は、最初の要素(即ち、位置(1,1))において
、不変のままである、および、第1列の底が、第1行の終端になるというように、元の行
列Aを、単に、その最初の要素の周りで入れ替えることである。したがって、人が、主編
成に対する現実の光輸送行列Tを捕獲する、または、さもなければ、決定することができ
れば、記述したように、現実の光輸送行列Tの入れ替えを行うことによって、双対編成に
おける双対光輸送行列TTを、容易に計算することができる。
上に説明したように、現実の光輸送行列Tは、現実のプロジェクタ21の個々の投影ピ
クセルjの各々と、現実のカメラ25の個々のセンサ・ピクセルiの全てとの間に対応す
る個々の光輸送係数を保持している。したがって、個々の投影ピクセルjと、全てのセン
サ・ピクセルiとの間に対応する個々の光輸送係数の各々の決定には、画像形成投影アレ
イ27内の他の投影ピクセルjからの光線寄与を避けなければならない。
クセルjの各々と、現実のカメラ25の個々のセンサ・ピクセルiの全てとの間に対応す
る個々の光輸送係数を保持している。したがって、個々の投影ピクセルjと、全てのセン
サ・ピクセルiとの間に対応する個々の光輸送係数の各々の決定には、画像形成投影アレ
イ27内の他の投影ピクセルjからの光線寄与を避けなければならない。
これを遂行するために、人は、最初に、値1に設定された(即ち、オンにされた)j番
目のピクセル(即ち、光輸送係数を決定しようとしている、テスト下の投影ピクセル)を
除いて、画像形成投影アレイ27内の全ての要素に対してゼロ値を持つ、完全な現実の投
影画像[即ち、(p×q)次投影ベクトル、Rprjct']を考えてもよい。そうすると、
Rcptr'=TRprjct'
で定義される、捕獲された現実の画像ベクトル[即ち、(m×n)次ベクトル、Rcptr
']は、正確に、行列Tの第j列である。現実のプロジェクタ21の解像度は、現実のカ
メラ25の解像度よりも低いであろうから、テスト下のj番目の投影ピクセルから放出さ
れた単一の光ビームは、画像センサ・アレイ29のいくつかのセンサ・ピクセルiにわた
って注がれるであろうことは理解されるであろう。
目のピクセル(即ち、光輸送係数を決定しようとしている、テスト下の投影ピクセル)を
除いて、画像形成投影アレイ27内の全ての要素に対してゼロ値を持つ、完全な現実の投
影画像[即ち、(p×q)次投影ベクトル、Rprjct']を考えてもよい。そうすると、
Rcptr'=TRprjct'
で定義される、捕獲された現実の画像ベクトル[即ち、(m×n)次ベクトル、Rcptr
']は、正確に、行列Tの第j列である。現実のプロジェクタ21の解像度は、現実のカ
メラ25の解像度よりも低いであろうから、テスト下のj番目の投影ピクセルから放出さ
れた単一の光ビームは、画像センサ・アレイ29のいくつかのセンサ・ピクセルiにわた
って注がれるであろうことは理解されるであろう。
この一例が、図3Aに示されており、画像センサ・アレイ29の部分図が、第1行にお
いて1からnまで水平に番号を付けられ、第2行において(n+1)から(2n)まで、
第3行において(2n+1)から(3n)まで、等々と続くセンサ・ピクセルiを個々に
示している。この数列にしたがえば、最下行に沿うセンサ・ピクセルiが、[(m−1)
n+1]から(mn)まで番号を付けられることは理解されるであろう。
いて1からnまで水平に番号を付けられ、第2行において(n+1)から(2n)まで、
第3行において(2n+1)から(3n)まで、等々と続くセンサ・ピクセルiを個々に
示している。この数列にしたがえば、最下行に沿うセンサ・ピクセルiが、[(m−1)
n+1]から(mn)まで番号を付けられることは理解されるであろう。
センサ・アレイ29に衝突する、単一の投影ピクセルjからの単一の光線の光線フット
プリント(落下域)50が、円で印されている。図解の目的のために、光線フットプリン
ト50内にないセンサ・ピクセルi[即ち、j番目の投影ピクセルから放出された単一の
投影ビームによって打たれないセンサ・ピクセルi]が、真っ暗く示され、フットプリン
ト50によって部分的にカバーされているピクセルiが、薄暗く示され、そして、完全に
フットプリント50内にあるピクセルiが、暗くされずに示されている。当該技術におい
て知られているように、光線フットプリント50によって、少なくとも部分的にカバーさ
れている各センサ・ピクセルiは、それが受ける光の量に比例した光強度値を記憶する。
この光強度値を、その個々のセンサ・ピクセルiに対する光移送係数として割り当てても
よい。それに代えて、各センサ・ピクセルiの光輸送係数を、個々のセンサ・ピクセルi
によって記憶された光強度値に比例させてもよい。どうであっても、j番目の投影ピクセ
ルからの投影ビームによって直接に打たれないセンサ・ピクセルiは、ゼロ値を持ち、し
たがって、それらに対応する光輸送係数も、同様に、ゼロ値を持つ。
プリント(落下域)50が、円で印されている。図解の目的のために、光線フットプリン
ト50内にないセンサ・ピクセルi[即ち、j番目の投影ピクセルから放出された単一の
投影ビームによって打たれないセンサ・ピクセルi]が、真っ暗く示され、フットプリン
ト50によって部分的にカバーされているピクセルiが、薄暗く示され、そして、完全に
フットプリント50内にあるピクセルiが、暗くされずに示されている。当該技術におい
て知られているように、光線フットプリント50によって、少なくとも部分的にカバーさ
れている各センサ・ピクセルiは、それが受ける光の量に比例した光強度値を記憶する。
この光強度値を、その個々のセンサ・ピクセルiに対する光移送係数として割り当てても
よい。それに代えて、各センサ・ピクセルiの光輸送係数を、個々のセンサ・ピクセルi
によって記憶された光強度値に比例させてもよい。どうであっても、j番目の投影ピクセ
ルからの投影ビームによって直接に打たれないセンサ・ピクセルiは、ゼロ値を持ち、し
たがって、それらに対応する光輸送係数も、同様に、ゼロ値を持つ。
図3Bを参照すると、画像捕獲ベクトルRcptr'_j[即ち、行列Tの第j列]の一例が
、図3Aのフットプリント例に対応するように示されている。この行列Tの第j列が、そ
れぞれが図3Aの番号を付けられたセンサ・ピクセルiに対応する、番号を付けられた光
輸送係数の縦列として、図解的に示されている。捕獲ベクトルRcptr'_jの番号順は、図
3Aに示されている画像センサ・アレイ29中の個々のセンサ・ピクセルiの、水平方向
に番号を付けられた順にしたがうのが好ましい。示されているように、光線フットプリン
ト50によってカバーされているセンサ・ピクセルに対応する捕獲画像ベクトルRcptr'_
jの要素だけが、光輸送係数としてゼロでない値、即ち、「NZ」値を持つ。「NZ」が
、任意のゼロでない光係数値を表わすこと、および、この値が、対応するセンサ・ピクセ
ルiの受ける光強度の大きさに関連することは、理解されるであろう。光線フットプリン
ト50が、画像センサ・アレイ29のいくつかの行に及び、そして、各行が、捕獲画像ベ
クトルRcptr'_jに順次にリストされるから、いくつかの長く連続したゼロ値の光輸送係
数が、少数のゼロでない、NZ値の光輸送係数の間を占めるであろう。
、図3Aのフットプリント例に対応するように示されている。この行列Tの第j列が、そ
れぞれが図3Aの番号を付けられたセンサ・ピクセルiに対応する、番号を付けられた光
輸送係数の縦列として、図解的に示されている。捕獲ベクトルRcptr'_jの番号順は、図
3Aに示されている画像センサ・アレイ29中の個々のセンサ・ピクセルiの、水平方向
に番号を付けられた順にしたがうのが好ましい。示されているように、光線フットプリン
ト50によってカバーされているセンサ・ピクセルに対応する捕獲画像ベクトルRcptr'_
jの要素だけが、光輸送係数としてゼロでない値、即ち、「NZ」値を持つ。「NZ」が
、任意のゼロでない光係数値を表わすこと、および、この値が、対応するセンサ・ピクセ
ルiの受ける光強度の大きさに関連することは、理解されるであろう。光線フットプリン
ト50が、画像センサ・アレイ29のいくつかの行に及び、そして、各行が、捕獲画像ベ
クトルRcptr'_jに順次にリストされるから、いくつかの長く連続したゼロ値の光輸送係
数が、少数のゼロでない、NZ値の光輸送係数の間を占めるであろう。
そうではあるけれども、与えられたj番目の投影ピクセルに対する行列Tの光輸送係数
の列を取得するこの方法は、完全な行列Tを捕獲するための系統立った方法が、現実のプ
ロジェクタ21の各投影ピクセルjを順次に(一度に1つの投影ピクセルを)オンにし、
そして、現実のカメラ25を用いて、その対応する現実の画像、Rcptr'_jを捕獲するこ
とであることを示唆している。(p行×q列)の投影ピクセルj全てが、順次にオンにさ
れ、そして、それらの対応する現実の画像、Rcptr'_jが、捕獲されてしまうと、全捕獲
画像ベクトルRcptr'_(1から(p×q)まで)が、行列Tにまとめられる。各捕獲画像
ベクトルRcptr'_jが、行列Tの光輸送係数エントリの列を構成する。これによって、(
p×q)列、(m×n)行の個々の光輸送係数を持つ行列Tが生じる。
の列を取得するこの方法は、完全な行列Tを捕獲するための系統立った方法が、現実のプ
ロジェクタ21の各投影ピクセルjを順次に(一度に1つの投影ピクセルを)オンにし、
そして、現実のカメラ25を用いて、その対応する現実の画像、Rcptr'_jを捕獲するこ
とであることを示唆している。(p行×q列)の投影ピクセルj全てが、順次にオンにさ
れ、そして、それらの対応する現実の画像、Rcptr'_jが、捕獲されてしまうと、全捕獲
画像ベクトルRcptr'_(1から(p×q)まで)が、行列Tにまとめられる。各捕獲画像
ベクトルRcptr'_jが、行列Tの光輸送係数エントリの列を構成する。これによって、(
p×q)列、(m×n)行の個々の光輸送係数を持つ行列Tが生じる。
行列Tを決定するための、この直接的で系統立ったプロセスは、しかしながら、(p×
q)回の画像投影−捕獲ステップを必要とする、明らかに時間を消費するプロセスである
。さらに、結果として生じる光輸送行列Tは、(p×q×m×n)個の要素から成る、非
常に大きなものになる。行列Tのこの規模のゆえに、双対画像の計算は、双対光輸送行列
TT(行列Tと同じ数の要素を持つ)と、仮想投影画像ベクトルVprjct”((m×n)個
の要素を持つ長いベクトルである)との間の行列乗算を必要とする極めて計算集約的な演
算である。
q)回の画像投影−捕獲ステップを必要とする、明らかに時間を消費するプロセスである
。さらに、結果として生じる光輸送行列Tは、(p×q×m×n)個の要素から成る、非
常に大きなものになる。行列Tのこの規模のゆえに、双対画像の計算は、双対光輸送行列
TT(行列Tと同じ数の要素を持つ)と、仮想投影画像ベクトルVprjct”((m×n)個
の要素を持つ長いベクトルである)との間の行列乗算を必要とする極めて計算集約的な演
算である。
過去において、行列Tを決定するプロセスの速度を上げるために、現実のプロジェクタ
の複数のピクセルを、同時に、適応的にオンにする(図1Aのプロジェクタ11のように
)ことによって行列Tを決定する案が、提案されている。しかしながら、この案は、複雑
で、かつ、投影画像が、複数のゾーンに分割されること、および、同時点灯される投影ピ
クセルが、互いの間の光干渉を排除するのに十分な距離を、互いに保つことを確実にしな
がら、同時点灯のために、各ゾーンから1つのピクセルを選択することを必要とする。さ
らに、この案は、個々の投影光線間の干渉が最小限化されることを確実にすることを必要
とするから、場依存性である(即ち、ディスプレイ環境に依存する)。したがって、その
複数のゾーンの創出は、ディスプレイ環境に依存する。したがって、この案は、投影エリ
アおよび手動による編成に関する、非常に多くの物理的な検査を必要とする。したがって
、この案は、一般的な使用に、容易には向いていない。
の複数のピクセルを、同時に、適応的にオンにする(図1Aのプロジェクタ11のように
)ことによって行列Tを決定する案が、提案されている。しかしながら、この案は、複雑
で、かつ、投影画像が、複数のゾーンに分割されること、および、同時点灯される投影ピ
クセルが、互いの間の光干渉を排除するのに十分な距離を、互いに保つことを確実にしな
がら、同時点灯のために、各ゾーンから1つのピクセルを選択することを必要とする。さ
らに、この案は、個々の投影光線間の干渉が最小限化されることを確実にすることを必要
とするから、場依存性である(即ち、ディスプレイ環境に依存する)。したがって、その
複数のゾーンの創出は、ディスプレイ環境に依存する。したがって、この案は、投影エリ
アおよび手動による編成に関する、非常に多くの物理的な検査を必要とする。したがって
、この案は、一般的な使用に、容易には向いていない。
本発明の1つの特徴は、現実の光輸送行列Tの決定の手続きステップの数を減少させる
方法を提案することである。即ち、(p×q)回の画像投影−捕獲ステップ(および、(
p×q)個の捕獲画像の記憶)を必要とするのではなくて、本提案の方法は、「pプラス
q」[即ち、(p+q)個]の画像しか捕獲しない。
方法を提案することである。即ち、(p×q)回の画像投影−捕獲ステップ(および、(
p×q)個の捕獲画像の記憶)を必要とするのではなくて、本提案の方法は、「pプラス
q」[即ち、(p+q)個]の画像しか捕獲しない。
本方法は、以下の仮定に基づいている。ほとんどのプロジェクタ−カメラ・ディスプレ
イ応用に関しては、現実のプロジェクタ21から放出された任意の2つの別個の光線bと
cは、通常、別個の部分で、現実のカメラ25の画像センサ・アレイ29を打つ。即ち、
投影される光線の各々からの光によって打たれるセンサ・ピクセルiの重複は小さく、無
視することができると仮定されている。
イ応用に関しては、現実のプロジェクタ21から放出された任意の2つの別個の光線bと
cは、通常、別個の部分で、現実のカメラ25の画像センサ・アレイ29を打つ。即ち、
投影される光線の各々からの光によって打たれるセンサ・ピクセルiの重複は小さく、無
視することができると仮定されている。
もちろん、これは、一般的に正しいわけではない。例えば、場(即ち、ディスプレイ環
境または投影面/エリア)が、1杯のミルク(または、他の光拡散物質)からなっていれ
ば、投影された光線が、そのミルクによって拡散されて、カメラの画像センサ・アレイに
、相異なる光線間のかなりの光の重なりができるであろう。しかしながら、高解像度投影
を確実にするように設計されたディスプレイ編成においては、各投影されるピクセルが、
次のピクセルとはっきりと分離していることが、事実上保証されている。即ち、高解像度
投影が望まれる場所または設定では、その場所は、投影される画像の光路に沿って、光拡
散物を取り除かれているであろう。
境または投影面/エリア)が、1杯のミルク(または、他の光拡散物質)からなっていれ
ば、投影された光線が、そのミルクによって拡散されて、カメラの画像センサ・アレイに
、相異なる光線間のかなりの光の重なりができるであろう。しかしながら、高解像度投影
を確実にするように設計されたディスプレイ編成においては、各投影されるピクセルが、
次のピクセルとはっきりと分離していることが、事実上保証されている。即ち、高解像度
投影が望まれる場所または設定では、その場所は、投影される画像の光路に沿って、光拡
散物を取り除かれているであろう。
行列Tを決定するための新奇な本方法を続行するために、まず、プロジェクタ・ピクセ
ルjからの、個々の光輸送係数への寄与が、光輸送行列Tの第j列に位置するということ
に注目する。投影ピクセル間の最小の重なりを仮定すると、画像形成投影アレイ27内の
投影ピクセルの第1のセットS1、
[即ち、S1⊂{1、…、(p×q)}]
が、光輸送行列Tの、対応する列(投影ピクセル当り、一つずつの)のセットに位置す
るということになる。さらに、投影ピクセルの第1のセットS1が、ターゲット投影ピク
セルj、即ち、テスト下のターゲット・ピクセルを含むと仮定する。
ルjからの、個々の光輸送係数への寄与が、光輸送行列Tの第j列に位置するということ
に注目する。投影ピクセル間の最小の重なりを仮定すると、画像形成投影アレイ27内の
投影ピクセルの第1のセットS1、
[即ち、S1⊂{1、…、(p×q)}]
が、光輸送行列Tの、対応する列(投影ピクセル当り、一つずつの)のセットに位置す
るということになる。さらに、投影ピクセルの第1のセットS1が、ターゲット投影ピク
セルj、即ち、テスト下のターゲット・ピクセルを含むと仮定する。
Rcptr_S1を、投影ピクセルの第1のセットS1の同時駆動によって創出される投影画
像の、現実のカメラ25によって捕獲される第1の画像であるとする。
像の、現実のカメラ25によって捕獲される第1の画像であるとする。
ここで、投影ピクセルjだけを、投影ピクセルの第1のセットS1と共通に共有する投
影ピクセルの第2のセットS2、
[即ち、S1∩S2 ={j}]
を考える。Rcptr_S2を、投影ピクセルの第2のセットS2の同時駆動によって創出さ
れる投影画像の、現実のカメラ25によって捕獲される第2の画像であるとする。光輸送
行列Tの第j列の光輸送係数(テスト下のターゲット投影ピクセルに対応する、即ち、ピ
クセルjに対応する)を、現実の捕獲画像Rcptr_S1とRcptr_S2とが共通に共有する1つ
の光線フットプリント(即ち、図3Aの光線フットプリント50と同様の)を識別するこ
とによって、それらの2つの画像から直接に得ることができる。この共通の光線フットプ
リントは、第1のセットS1と第2のセットS2とが共通に共有する唯一の点灯投影ピク
セルであるターゲット投影ピクセルjから放出された光線に対応する。
影ピクセルの第2のセットS2、
[即ち、S1∩S2 ={j}]
を考える。Rcptr_S2を、投影ピクセルの第2のセットS2の同時駆動によって創出さ
れる投影画像の、現実のカメラ25によって捕獲される第2の画像であるとする。光輸送
行列Tの第j列の光輸送係数(テスト下のターゲット投影ピクセルに対応する、即ち、ピ
クセルjに対応する)を、現実の捕獲画像Rcptr_S1とRcptr_S2とが共通に共有する1つ
の光線フットプリント(即ち、図3Aの光線フットプリント50と同様の)を識別するこ
とによって、それらの2つの画像から直接に得ることができる。この共通の光線フットプ
リントは、第1のセットS1と第2のセットS2とが共通に共有する唯一の点灯投影ピク
セルであるターゲット投影ピクセルjから放出された光線に対応する。
この共通の光線フットプリントを識別する方法は、両捕獲画像Rcptr_S1とRcptr_S2と
のピクセルごとの比較を実施することである。例えば、第1の捕獲画像Rcptr_S1におい
ては、各々、投影ピクセルの第1のセットS1の同時点灯に対応する、光線フットプリン
ト内のセンサ・ピクセルだけが、ゼロでない(NZ)光強度値を持ち、そして、捕獲画像
Rcptr_S1内の全ての他のピクセルは、ゼロの値を持つ、即ち、相対的に暗い。同様に、
第2の捕獲画像Rcptr_S2においては、投影ピクセルの第2のセットS2に対応する、光
線フットプリント内のセンサ・ピクセルだけが、ゼロでない(NZ)光強度値を持ち、そ
して、全ての他のピクセルは、ゼロ(または、暗い)値(即ち、あらかじめ定められた閾
値未満の)を持つ。2つのセットS1とS2は、ターゲット投影ピクセルjしか共通に共
有しないから、両捕獲画像を直接比較すると、Rcptr_S1とRcptr_S2の両方に共通な、唯
一のゼロでない領域(即ち、暗くない領域)を識別することによって、投影ピクセルjに
対応するセンサ値が、直ちに識別される。別の言い方をすれば、Rcptr_S1とRcptr_S2と
の明るい領域(即ち、光線フットプリント)の交差部が、識別され、そして、この交差部
が、ターゲット投影ピクセルjに対応する。
のピクセルごとの比較を実施することである。例えば、第1の捕獲画像Rcptr_S1におい
ては、各々、投影ピクセルの第1のセットS1の同時点灯に対応する、光線フットプリン
ト内のセンサ・ピクセルだけが、ゼロでない(NZ)光強度値を持ち、そして、捕獲画像
Rcptr_S1内の全ての他のピクセルは、ゼロの値を持つ、即ち、相対的に暗い。同様に、
第2の捕獲画像Rcptr_S2においては、投影ピクセルの第2のセットS2に対応する、光
線フットプリント内のセンサ・ピクセルだけが、ゼロでない(NZ)光強度値を持ち、そ
して、全ての他のピクセルは、ゼロ(または、暗い)値(即ち、あらかじめ定められた閾
値未満の)を持つ。2つのセットS1とS2は、ターゲット投影ピクセルjしか共通に共
有しないから、両捕獲画像を直接比較すると、Rcptr_S1とRcptr_S2の両方に共通な、唯
一のゼロでない領域(即ち、暗くない領域)を識別することによって、投影ピクセルjに
対応するセンサ値が、直ちに識別される。別の言い方をすれば、Rcptr_S1とRcptr_S2と
の明るい領域(即ち、光線フットプリント)の交差部が、識別され、そして、この交差部
が、ターゲット投影ピクセルjに対応する。
これを遂行する方法は、両捕獲画像Rcptr_S1とRcptr_S2とのピクセルごとの比較を実
施して、それらの比較された2つのピクセルのうちの、より暗い方だけを保持することで
ある。このプロセスは、次のように表現することができる。
Tj≒MIN(Rcptr_S1、Rcptr_S2)
ここで、Tjは、行列Tの第j列であり、「MIN」は、Rcptr_S1とRcptr_S2におい
て、より低い値を持つセンサ・ピクセル(即ち、より低い捕獲光強度値を持つ、より暗い
ピクセル)が保持されて、より高い値を持つ(即ち、より明るい)センサ・ピクセルが廃
棄されることを指示している。このようにして、保持される唯一の高強度値が、S1とS
2との両方に共通の明るいフットプリントに対応する。
施して、それらの比較された2つのピクセルのうちの、より暗い方だけを保持することで
ある。このプロセスは、次のように表現することができる。
Tj≒MIN(Rcptr_S1、Rcptr_S2)
ここで、Tjは、行列Tの第j列であり、「MIN」は、Rcptr_S1とRcptr_S2におい
て、より低い値を持つセンサ・ピクセル(即ち、より低い捕獲光強度値を持つ、より暗い
ピクセル)が保持されて、より高い値を持つ(即ち、より明るい)センサ・ピクセルが廃
棄されることを指示している。このようにして、保持される唯一の高強度値が、S1とS
2との両方に共通の明るいフットプリントに対応する。
別の言い方をすれば、個々の投影ピクセルjの各々の寄与は、現実のカメラ25の画像
センサ・アレイ29の相異なる部分に写像されるから、1から(m×n)までのセンサ・
ピクセル中に、ターゲット・プロジェクタ・ピクセルjに対応する、捕獲画像Rcptr_S1
とRcptr_S2とに共通なセンサ・ピクセルの1つのセットL、
[即ち、L⊂{1、…、(m×n)}]
が存在する。ターゲット投影ピクセルjが、投影ピクセルのセットS1とS2との共通
部分であり(即ち、jが、両セットS1とS2とに共通な、唯一の投影ピクセルであり)
、したがって、
S1∩S2={j}
であることに、再び注意しなければならない。したがって、ターゲット投影ピクセルj
に対応しない捕獲画像ピクセル(Rcptr_S1とRcptr_S2との両方における)[即ち、セッ
トL内にないセンサ・ピクセル、即ち、∈L]の中で、比較された捕獲センサ・ピクセル
の、少なくとも、Rcptr_S1中かRcptr_S2中のどちらか一方は、光を受けていない。光を
受けているセンサ・ピクセルは、光を受けていないセンサ・ピクセルよりも明るいから、
演算[MIN(Rcptr_S1、Rcptr_S2)]は、セットL内[即ち、∈L]のピクセルだけ
が明るい画像を与え、それは、Tj、即ち、行列Tの第j列の良い近似である。
センサ・アレイ29の相異なる部分に写像されるから、1から(m×n)までのセンサ・
ピクセル中に、ターゲット・プロジェクタ・ピクセルjに対応する、捕獲画像Rcptr_S1
とRcptr_S2とに共通なセンサ・ピクセルの1つのセットL、
[即ち、L⊂{1、…、(m×n)}]
が存在する。ターゲット投影ピクセルjが、投影ピクセルのセットS1とS2との共通
部分であり(即ち、jが、両セットS1とS2とに共通な、唯一の投影ピクセルであり)
、したがって、
S1∩S2={j}
であることに、再び注意しなければならない。したがって、ターゲット投影ピクセルj
に対応しない捕獲画像ピクセル(Rcptr_S1とRcptr_S2との両方における)[即ち、セッ
トL内にないセンサ・ピクセル、即ち、∈L]の中で、比較された捕獲センサ・ピクセル
の、少なくとも、Rcptr_S1中かRcptr_S2中のどちらか一方は、光を受けていない。光を
受けているセンサ・ピクセルは、光を受けていないセンサ・ピクセルよりも明るいから、
演算[MIN(Rcptr_S1、Rcptr_S2)]は、セットL内[即ち、∈L]のピクセルだけ
が明るい画像を与え、それは、Tj、即ち、行列Tの第j列の良い近似である。
これは、画像形成投影アレイ27中の隣接した投影ピクセルのセットが、列内、および
、行内で点灯され、捕獲画像の第1の集合Rcptr_Syが、点灯された投影ピクセルの列に
対して作られ、そして、捕獲画像の第2の集合Rcptr_Sxが、点灯された投影ピクセルの
行に対して作られると、両集合を比較し、そして、明るい列の捕獲画像が明るい行の捕獲
画像と交差する領域Lを識別することによって、任意の個々の投影ピクセルjに対する光
係数を得ることができることを意味しており、その交差部は、投影ピクセルj単独の駆動
によって投影される光線に対応する。
、行内で点灯され、捕獲画像の第1の集合Rcptr_Syが、点灯された投影ピクセルの列に
対して作られ、そして、捕獲画像の第2の集合Rcptr_Sxが、点灯された投影ピクセルの
行に対して作られると、両集合を比較し、そして、明るい列の捕獲画像が明るい行の捕獲
画像と交差する領域Lを識別することによって、任意の個々の投影ピクセルjに対する光
係数を得ることができることを意味しており、その交差部は、投影ピクセルj単独の駆動
によって投影される光線に対応する。
したがって、輸送行列Tを決定する一つの方法は、q個の点灯された投影ピクセルの列
のq個の捕獲画像に対応する画像のセットRcptr_Sy_1、…、Rcptr_Sy_qを集合し、そし
て、p個の点灯された投影ピクセルの行のp個の捕獲画像に対応するセットRcptr_Sx_1
、…、Rcptr_Sx_pを構築することである。そうすると、現実のプロジェクタ21の画像
形成投影アレイ中の全投影ピクセルj[投影ピクセル1、…、(p×q)から成る]に対
して、行および列の画像の捕獲されたセットのペアRcptr_Sy_a、Rcptr_Sx_bが存在し、
セットRcptr_Sy_aとRcptr_Sx_bとの交差領域が、ターゲット投影ピクセルjの駆動によ
って創出される光線フットプリントに対応する。したがって、人は、投影画像のセット(
sets)、
Rprjct_Sy_1、…、Rprjct_Sy_q、および、Rprjct_Sx_l、…、Rprjct_Sx_p
を構築する必要がある。ここで、各画像Rprjct_Sy_1、…、Rprjct_Sy_qは、ペア付け
された画像の各セットがただ一つの投影ピクセルを共有するように画像Rprjct_Sx_1、…
、Rprjct_Sx_pとペア付けされ、すなわち、
∀j∈{1、…、(p×q)}∃Rprjct_Sy_a、Rprjct_Sx_b│Rprjct_Sy_a∩Rprjct_Sx
_b={j}
である。上式は、{1、…、(p×q)}内の全投影ピクセルjに対して、投影画像の
ペアがあり、構築されたパターンが各ペアが異なるように構築されたパターンを備え、構
築されたパターンが、共通の投影ピクセルに対応する一点で交差するようになっている。
そのような構築されたパターンのペアの基本例は垂直線と水平線が投影されたペアであろ
う。このケースでは、垂直光ビームの捕獲画像と水平光ビームの捕獲画像は、ターゲット
投影ピクセルjに対応する(即ち、投影ピクセルjから放出される光線によって創出され
る光線フットプリント内にあるピクセルi)全てのセンサ・ピクセルiを含むであろうこ
とを意味していると解釈される。
のq個の捕獲画像に対応する画像のセットRcptr_Sy_1、…、Rcptr_Sy_qを集合し、そし
て、p個の点灯された投影ピクセルの行のp個の捕獲画像に対応するセットRcptr_Sx_1
、…、Rcptr_Sx_pを構築することである。そうすると、現実のプロジェクタ21の画像
形成投影アレイ中の全投影ピクセルj[投影ピクセル1、…、(p×q)から成る]に対
して、行および列の画像の捕獲されたセットのペアRcptr_Sy_a、Rcptr_Sx_bが存在し、
セットRcptr_Sy_aとRcptr_Sx_bとの交差領域が、ターゲット投影ピクセルjの駆動によ
って創出される光線フットプリントに対応する。したがって、人は、投影画像のセット(
sets)、
Rprjct_Sy_1、…、Rprjct_Sy_q、および、Rprjct_Sx_l、…、Rprjct_Sx_p
を構築する必要がある。ここで、各画像Rprjct_Sy_1、…、Rprjct_Sy_qは、ペア付け
された画像の各セットがただ一つの投影ピクセルを共有するように画像Rprjct_Sx_1、…
、Rprjct_Sx_pとペア付けされ、すなわち、
∀j∈{1、…、(p×q)}∃Rprjct_Sy_a、Rprjct_Sx_b│Rprjct_Sy_a∩Rprjct_Sx
_b={j}
である。上式は、{1、…、(p×q)}内の全投影ピクセルjに対して、投影画像の
ペアがあり、構築されたパターンが各ペアが異なるように構築されたパターンを備え、構
築されたパターンが、共通の投影ピクセルに対応する一点で交差するようになっている。
そのような構築されたパターンのペアの基本例は垂直線と水平線が投影されたペアであろ
う。このケースでは、垂直光ビームの捕獲画像と水平光ビームの捕獲画像は、ターゲット
投影ピクセルjに対応する(即ち、投影ピクセルjから放出される光線によって創出され
る光線フットプリント内にあるピクセルi)全てのセンサ・ピクセルiを含むであろうこ
とを意味していると解釈される。
したがって、輸送行列T内の任意の列Tj[ここで、j=1、…、(p×q)]は、画
像Rcptr_Sy_l、…、Rcptr_Sy_q、および、Rcptr_Sx_1、…、Rcptr_Sx_pから合成する
ことができる。
像Rcptr_Sy_l、…、Rcptr_Sy_q、および、Rcptr_Sx_1、…、Rcptr_Sx_pから合成する
ことができる。
この特性を満たす案は、ピクセル座標を用いることである。Rprjct_Sx_jを、jに等し
いx座標を持つピクセルだけがオンにされている第1の投影画像であり、そして、Rprjc
t_Sy_kを、kに等しいy座標を持つピクセルだけがオンにされている第2の投影画像であ
るとする。そうすると、MIN(Rprjct_Sx_j、Rprjct_Sy_k)は、座標(j,k)だけ
がオンにされた画像を与える。このプロセスは、図4A、4B、5A、5B、6Aおよび
6Bを参照すると、最もよく理解することができる。
いx座標を持つピクセルだけがオンにされている第1の投影画像であり、そして、Rprjc
t_Sy_kを、kに等しいy座標を持つピクセルだけがオンにされている第2の投影画像であ
るとする。そうすると、MIN(Rprjct_Sx_j、Rprjct_Sy_k)は、座標(j,k)だけ
がオンにされた画像を与える。このプロセスは、図4A、4B、5A、5B、6Aおよび
6Bを参照すると、最もよく理解することができる。
図4Aにおいて、場、即ち、ディスプレイ環境は、市松模様のついた平らな表面41か
らなる。以下に、より完全に説明するように、平らな表面41上の市松模様を作り出して
いる各暗いブロック43、および、各明るいブロック45の相対的位置が、既知であり、
そして、それらの既知の相対的な変位を用いて、現実のプロジェクタ21をキャリブレー
トすることができる。
らなる。以下に、より完全に説明するように、平らな表面41上の市松模様を作り出して
いる各暗いブロック43、および、各明るいブロック45の相対的位置が、既知であり、
そして、それらの既知の相対的な変位を用いて、現実のプロジェクタ21をキャリブレー
トすることができる。
最初に、明るい垂直ビーム(即ち、光線の列)47_kが、現実のプロジェクタ21に
よって表面41上に投影される。本例においては、垂直ビーム47_kは、kに等しいy
座標を持つ、画像形成投影アレイ27内の全ての投影ピクセルをオンにすることにより生
成される。次に、現実のカメラ25が、点灯している投影ピクセルの列の1つの例として
、この画像Rcptr_Sy_kを捕獲する。
よって表面41上に投影される。本例においては、垂直ビーム47_kは、kに等しいy
座標を持つ、画像形成投影アレイ27内の全ての投影ピクセルをオンにすることにより生
成される。次に、現実のカメラ25が、点灯している投影ピクセルの列の1つの例として
、この画像Rcptr_Sy_kを捕獲する。
図4Bでは、図4Aの要素と同様の全ての要素は、同様の参照文字を持っており、現実
のプロジェクタ21が、表面41上に、第2の垂直ビーム47_tを投影している。この
場合には、垂直ビーム47_tは、tに等しいy座標を持つ全ての投影ピクセルをオンに
することによって生成される。その後、現実のカメラ25が、点灯している投影ピクセル
の列の別の1つの例として、この画像Rcptr_Sy_tを捕獲する。現実のプロジェクタ21
が、その(p行×q列)画像形成投影アレイ27の列qの各々についての、別々の垂直ビ
ームを投影し、そして、現実のカメラ25が、各投影された垂直ビームの別々の画像を捕
獲することは理解されるであろう。
のプロジェクタ21が、表面41上に、第2の垂直ビーム47_tを投影している。この
場合には、垂直ビーム47_tは、tに等しいy座標を持つ全ての投影ピクセルをオンに
することによって生成される。その後、現実のカメラ25が、点灯している投影ピクセル
の列の別の1つの例として、この画像Rcptr_Sy_tを捕獲する。現実のプロジェクタ21
が、その(p行×q列)画像形成投影アレイ27の列qの各々についての、別々の垂直ビ
ームを投影し、そして、現実のカメラ25が、各投影された垂直ビームの別々の画像を捕
獲することは理解されるであろう。
図5Aを参照すると、図4Aおよび4Bの要素と同様の全ての要素が、同様の参照文字
を持ち、そして、上述されている。本例においては、現実のプロジェクタ21が、投影面
41上に水平ビーム49_jを投影する。水平ビーム49_jは、jに等しいx座標を持つ
全ての投影ピクセルをオンにすることによって生成される。その後、現実のカメラ25が
、点灯している投影ピクセルの行の1つの例として、この画像Rcptr_Sx_jを捕獲する。
を持ち、そして、上述されている。本例においては、現実のプロジェクタ21が、投影面
41上に水平ビーム49_jを投影する。水平ビーム49_jは、jに等しいx座標を持つ
全ての投影ピクセルをオンにすることによって生成される。その後、現実のカメラ25が
、点灯している投影ピクセルの行の1つの例として、この画像Rcptr_Sx_jを捕獲する。
図5Bにおいては、現実のプロジェクタ21が、表面41上に第2の水平ビーム49_
rを投影している。前と同様に、水平ビーム49_rは、rに等しいx座標を持つ全ての
投影ピクセルをオンにすることによって生成される。その後、現実のカメラ25が、点灯
している投影ピクセルの行の別の1つの例として、この画像Rcptr_Sx_rを捕獲する。現
実のプロジェクタ21が、その(p行×q列)画像形成投影アレイの行pの各々について
の、別々の水平ビームを投影し、そして、現実のカメラ25が、各投影された水平ビーム
の別々の画像を捕獲することは理解されるであろう。
rを投影している。前と同様に、水平ビーム49_rは、rに等しいx座標を持つ全ての
投影ピクセルをオンにすることによって生成される。その後、現実のカメラ25が、点灯
している投影ピクセルの行の別の1つの例として、この画像Rcptr_Sx_rを捕獲する。現
実のプロジェクタ21が、その(p行×q列)画像形成投影アレイの行pの各々について
の、別々の水平ビームを投影し、そして、現実のカメラ25が、各投影された水平ビーム
の別々の画像を捕獲することは理解されるであろう。
ここで、人が、演算MIN(Rcptr_Sx_j、Rcptr_Sy_k)を用いて、図4Aからの捕獲
画像Rcptr_Sy_kと、図5Aからの捕獲画像Rcptr_Sx_jとのピクセルごとの比較を実施し
て(または、それに代えて、それらのそれぞれの垂直ビームと水平ビームだけを比較して
)、2つの比較された画像ピクセルのうちの、より暗い方だけを保持し、2つのうちの、
より明るい方を廃棄すると、人は、図6Aに示されるような画像41'を生成する。図4
A、4B、5Aおよび5Bの要素に同様な、図6Aおよび6B中の全ての要素は、アポス
トロフィをつけた同様の参照文字を持ち、上に記述されている。
画像Rcptr_Sy_kと、図5Aからの捕獲画像Rcptr_Sx_jとのピクセルごとの比較を実施し
て(または、それに代えて、それらのそれぞれの垂直ビームと水平ビームだけを比較して
)、2つの比較された画像ピクセルのうちの、より暗い方だけを保持し、2つのうちの、
より明るい方を廃棄すると、人は、図6Aに示されるような画像41'を生成する。図4
A、4B、5Aおよび5Bの要素に同様な、図6Aおよび6B中の全ての要素は、アポス
トロフィをつけた同様の参照文字を持ち、上に記述されている。
Rcptr_Sx_j画像のほとんどが、画像Rcptr_Sy_kと同じである(即ち、それらは、光線
を投影された平らな表面41上の単純な市松模様からほとんど成っている)から、2つの
比較されたピクセルのうちの、より暗い方を保持することは、生じる画像の大部分を変化
させない。即ち、2つの比較されるピクセルが、相対的に同じであれば、どちらのピクセ
ルを他方に優先して選ぶかということは、生じる画像41'に大きな影響を与えない。し
かしながら、画像Rcptr_Sy_k中の垂直光ビーム47_k上のピクセルを、水平光ビーム4
9_j上にない、画像Rcptr_Sx_j中の対応するピクセルと比較したとき、2つの画像ピク
セルのうちの、より暗い方を保持することは、画像Rcptr_Sy_kからの明るいビーム・ピ
クセルを廃棄して、光ビームを示さない、画像Rcptr_Sx_jからの生のままのピクセルを
保持することになる。したがって、垂直光ビーム47_kは、生成された画像41'から除
去される。同様に、画像Rcptr_Sx_j中の水平光ビーム49_j上のピクセルを、垂直光ビ
ーム47_k上にない、画像Rcptr_Sy_k中の対応するピクセルと比較したとき、2つのピ
クセルのうちの、より暗い方を保持することは、画像Rcptr_Sx_jからの明るいビーム・
ピクセルを廃棄して、光ビームを示さない、画像Rcptr_Sy_kからの生のままのピクセル
を保持することになる。したがって、水平光ビーム49_jも、生成された画像41'から
除去される。しかしながら、垂直光ビーム47_kが、水平光ビーム49_jと交差する領域
内では、比較される画像ピクセルの両方ともが、光線による衝突を示している、明るいビ
ーム・ピクセルである。この交差領域内の、これら2つの画像ピクセルの比較は、2つの
明るいビーム・ピクセルのどちらかが、画像41'に選択されるという結果に帰着する。
その結果、画像41'は、画像形成投影アレイ27の座標(j,k)から放出された投影
光線に対応する、明るく輝く領域53を示す。したがって、座標(j,k)を持つ投影ピ
クセルに対する光輸送係数を、(j,k)の投影ピクセルから投影された光線の画像を物
理的に捕獲することを必要とすることなく、生成された画像53から抽出することができ
る。
を投影された平らな表面41上の単純な市松模様からほとんど成っている)から、2つの
比較されたピクセルのうちの、より暗い方を保持することは、生じる画像の大部分を変化
させない。即ち、2つの比較されるピクセルが、相対的に同じであれば、どちらのピクセ
ルを他方に優先して選ぶかということは、生じる画像41'に大きな影響を与えない。し
かしながら、画像Rcptr_Sy_k中の垂直光ビーム47_k上のピクセルを、水平光ビーム4
9_j上にない、画像Rcptr_Sx_j中の対応するピクセルと比較したとき、2つの画像ピク
セルのうちの、より暗い方を保持することは、画像Rcptr_Sy_kからの明るいビーム・ピ
クセルを廃棄して、光ビームを示さない、画像Rcptr_Sx_jからの生のままのピクセルを
保持することになる。したがって、垂直光ビーム47_kは、生成された画像41'から除
去される。同様に、画像Rcptr_Sx_j中の水平光ビーム49_j上のピクセルを、垂直光ビ
ーム47_k上にない、画像Rcptr_Sy_k中の対応するピクセルと比較したとき、2つのピ
クセルのうちの、より暗い方を保持することは、画像Rcptr_Sx_jからの明るいビーム・
ピクセルを廃棄して、光ビームを示さない、画像Rcptr_Sy_kからの生のままのピクセル
を保持することになる。したがって、水平光ビーム49_jも、生成された画像41'から
除去される。しかしながら、垂直光ビーム47_kが、水平光ビーム49_jと交差する領域
内では、比較される画像ピクセルの両方ともが、光線による衝突を示している、明るいビ
ーム・ピクセルである。この交差領域内の、これら2つの画像ピクセルの比較は、2つの
明るいビーム・ピクセルのどちらかが、画像41'に選択されるという結果に帰着する。
その結果、画像41'は、画像形成投影アレイ27の座標(j,k)から放出された投影
光線に対応する、明るく輝く領域53を示す。したがって、座標(j,k)を持つ投影ピ
クセルに対する光輸送係数を、(j,k)の投影ピクセルから投影された光線の画像を物
理的に捕獲することを必要とすることなく、生成された画像53から抽出することができ
る。
もう1つの例が、図6Bに示されており、図4Bおよび5Bに相当する現実の捕獲画像
(上述の命名規則にしたがえば、それぞれ、現実の捕獲画像Rcptr_Sy_tおよびRcptr_Sx
_rに相当する)を組み合わせることによって、画像投影アレイ27の座標(r,t)から
放出された投影光線に対応する、第2の明るく輝く領域55が生じている。
(上述の命名規則にしたがえば、それぞれ、現実の捕獲画像Rcptr_Sy_tおよびRcptr_Sx
_rに相当する)を組み合わせることによって、画像投影アレイ27の座標(r,t)から
放出された投影光線に対応する、第2の明るく輝く領域55が生じている。
同様のプロセスを続けて、各投影ピクセルjを、一回に一個ずつ、個々にオンにして、
投影させる必要なしに、画像形成投影アレイ27内の全ての投影ピクセルの光輸送係数を
識別することができる。仮想的に単独で駆動された投影ピクセルの画像を生成して、投影
ピクセルの光輸送係数を得る、この方法は、現実のプロジェクタ21の画像形成投影アレ
イ27中の投影ピクセルの各行および各列に対して1個ずつの、(p+q)個の捕獲画像
しか必要としない。さらに、一旦、全てのピクセル投影位置が、識別されてしまえば、(
p+q)個の捕獲画像は、廃棄してもよく、保存しなければならない全ては、インデック
ス、および、対応するフットプリント情報である。
投影させる必要なしに、画像形成投影アレイ27内の全ての投影ピクセルの光輸送係数を
識別することができる。仮想的に単独で駆動された投影ピクセルの画像を生成して、投影
ピクセルの光輸送係数を得る、この方法は、現実のプロジェクタ21の画像形成投影アレ
イ27中の投影ピクセルの各行および各列に対して1個ずつの、(p+q)個の捕獲画像
しか必要としない。さらに、一旦、全てのピクセル投影位置が、識別されてしまえば、(
p+q)個の捕獲画像は、廃棄してもよく、保存しなければならない全ては、インデック
ス、および、対応するフットプリント情報である。
このアプローチの一例が、図7に示されており、現実の画像形成投影アレイ27のイン
デックスが、個々の投影ピクセルjを表わす円1、2、3、…、(q+1)、…、(2q
+1)、…等を持つ部分的なアレイとして表わされている。同様に、現実の画像センサ・
アレイ29が、個々に駆動された投影ピクセルjに対応するフットプリント情報を表わす
円F1、F2、F3、…、F(q+1)、…等を持つ部分的なアレイとして表わされてい
る。本例において、フットプリントF1、F2、F3、…、F(q+1)、…等は、それ
ぞれ、投影ピクセル1、2、3、…、(q+1)、等に対応している。例示の目的で、現
実のカメラ25のピクセル密度(即ち、解像度)が、現実のプロジェクタ21の解像度よ
りもずっと高いであろうし、また、したがって、単一の投影ピクセルjから放出された光
ビームは、いくつかのセンサ・ピクセルiにまたがる光フットプリントを創出するであろ
うことを、よりよく例示するために、センサ・アレイ29を表わす部分的なアレイを、画
像形成投影アレイ27を表わすアレイよりも高密度にしている。
デックスが、個々の投影ピクセルjを表わす円1、2、3、…、(q+1)、…、(2q
+1)、…等を持つ部分的なアレイとして表わされている。同様に、現実の画像センサ・
アレイ29が、個々に駆動された投影ピクセルjに対応するフットプリント情報を表わす
円F1、F2、F3、…、F(q+1)、…等を持つ部分的なアレイとして表わされてい
る。本例において、フットプリントF1、F2、F3、…、F(q+1)、…等は、それ
ぞれ、投影ピクセル1、2、3、…、(q+1)、等に対応している。例示の目的で、現
実のカメラ25のピクセル密度(即ち、解像度)が、現実のプロジェクタ21の解像度よ
りもずっと高いであろうし、また、したがって、単一の投影ピクセルjから放出された光
ビームは、いくつかのセンサ・ピクセルiにまたがる光フットプリントを創出するであろ
うことを、よりよく例示するために、センサ・アレイ29を表わす部分的なアレイを、画
像形成投影アレイ27を表わすアレイよりも高密度にしている。
本アプローチにしたがえば、2つの情報のセットを格納するだけでよい。第1の情報の
セットは、投影ピクセルのインデックスに相当し、そして、第2の情報のセットは、各投
影ピクセルに対応するセンサ・ピクセルのフットプリント情報に相当する。言い換えれば
、ゼロでない係数を格納する必要はなく、それは、メモリ要件を大きく低減させる。
セットは、投影ピクセルのインデックスに相当し、そして、第2の情報のセットは、各投
影ピクセルに対応するセンサ・ピクセルのフットプリント情報に相当する。言い換えれば
、ゼロでない係数を格納する必要はなく、それは、メモリ要件を大きく低減させる。
この情報を体系化する第2の例が、図8に示されており、投影ピクセルのインデックス
61が、グレースケールの(即ち、ゼロでない)センサ・ピクセル情報を持つグループ6
3(即ち、生じる光ビーム・フットプリントに相当する)を指摘する、即ち、対応するよ
うに示されている。
61が、グレースケールの(即ち、ゼロでない)センサ・ピクセル情報を持つグループ6
3(即ち、生じる光ビーム・フットプリントに相当する)を指摘する、即ち、対応するよ
うに示されている。
捕獲し、格納して、デュアル・フォトグラフィに向けて必要とされる光輸送係数を生成
するために必要な画像の数を、いかにして減少させるかを示したから、ここで、以下にお
いて、デュアル・フォトグラフィを実装するについての実際的な困難のいくつかに取り組
む。上に説明したように、光輸送行列Tは、非常に大きくなり得るし、また、その使用(
または、その転置、即ち、双対光輸送行列TTの使用)には、大量のアクティブ・メモリ
[例えば、DRAM(ダイナミック・ランダム・アクセス・メモリ)]、および、過大な
コンピュータの演算処理能力/時間を必要とする。したがって、双対画像を一般的に使用
することは、これまで、実際的ではなかった。
するために必要な画像の数を、いかにして減少させるかを示したから、ここで、以下にお
いて、デュアル・フォトグラフィを実装するについての実際的な困難のいくつかに取り組
む。上に説明したように、光輸送行列Tは、非常に大きくなり得るし、また、その使用(
または、その転置、即ち、双対光輸送行列TTの使用)には、大量のアクティブ・メモリ
[例えば、DRAM(ダイナミック・ランダム・アクセス・メモリ)]、および、過大な
コンピュータの演算処理能力/時間を必要とする。したがって、双対画像を一般的に使用
することは、これまで、実際的ではなかった。
双対画像を効率的に構築するために、人は、まず第一に、
Vcptr”=TTVprjct”
であることに注目する。仮想カメラ21”中の仮想画像センサ・アレイ27”は、実際
には、現実のプロジェクタ21の現実の画像形成投影アレイ27に一致するから、同じイ
ンデックスjを用いて、仮想のカメラ21”によって得られるVcptr”中のいずれの仮想
センサ・ピクセルも表示するのが好都合である。したがって、仮想捕獲画像中の各仮想投
影ピクセルjと、TT中の要素の対応する行との間の関係は、
Vcptr”(j) = TT jVprjct”
と表示することができる。ここで、TT jは、TTの第j行を言う。
Vcptr”=TTVprjct”
であることに注目する。仮想カメラ21”中の仮想画像センサ・アレイ27”は、実際
には、現実のプロジェクタ21の現実の画像形成投影アレイ27に一致するから、同じイ
ンデックスjを用いて、仮想のカメラ21”によって得られるVcptr”中のいずれの仮想
センサ・ピクセルも表示するのが好都合である。したがって、仮想捕獲画像中の各仮想投
影ピクセルjと、TT中の要素の対応する行との間の関係は、
Vcptr”(j) = TT jVprjct”
と表示することができる。ここで、TT jは、TTの第j行を言う。
上に説明したように、TTは、光輸送行列Tの転置(即ち、その対角に関して入れかえ
られた行列T)であり、したがって、行TT j(jは、1から(p×q)までの任意の値)
の値は、行列Tの第j列(即ち、TCOL_j)に一致する。Tの各列は、(m×n)個の要素
(即ち、現実のカメラ25のピクセル解像度に等価)を持つから、これは、極めて多数の
要素であるように思われる。しかしながら、本実装においては、行列Tの各列内の限られ
た数の要素だけが、ゼロでない(即ち、垂直光ビームと水平光ビームとの交差部を光らせ
たカメラ・センサ・ピクセルi、即ち光フットプリント、に対応する要素だけ)ことを思
い起こすと、行列Tの各列j内(および、その結果として、各行TT j内)の(m×n)個
の要素のうちのごくわずかだけが、ゼロでないことは自明である。したがって、Vcptr”
(j)を計算するときに、TCOL_j内の全ての要素を調べる必要はない。実際、上に説明した
ように、個々に投影されたピクセル全てを示す単一のインデックス61と、それらに対応
する光ビーム・フットプリント情報63とだけを、図8および7に例示するように、格納
するのが好ましい。
られた行列T)であり、したがって、行TT j(jは、1から(p×q)までの任意の値)
の値は、行列Tの第j列(即ち、TCOL_j)に一致する。Tの各列は、(m×n)個の要素
(即ち、現実のカメラ25のピクセル解像度に等価)を持つから、これは、極めて多数の
要素であるように思われる。しかしながら、本実装においては、行列Tの各列内の限られ
た数の要素だけが、ゼロでない(即ち、垂直光ビームと水平光ビームとの交差部を光らせ
たカメラ・センサ・ピクセルi、即ち光フットプリント、に対応する要素だけ)ことを思
い起こすと、行列Tの各列j内(および、その結果として、各行TT j内)の(m×n)個
の要素のうちのごくわずかだけが、ゼロでないことは自明である。したがって、Vcptr”
(j)を計算するときに、TCOL_j内の全ての要素を調べる必要はない。実際、上に説明した
ように、個々に投影されたピクセル全てを示す単一のインデックス61と、それらに対応
する光ビーム・フットプリント情報63とだけを、図8および7に例示するように、格納
するのが好ましい。
図8に示すように、インデックス61は、各投影された光ビーム(現実のプロジェクタ
21の個々の投影ピクセルjからの)に対するグレースケール・エントリ63の表と結び
付く。グレースケール・エントリ63の各グループは、Tの各列中のゼロでないエントリ
に対応しており、それらのゼロでないグレースケール値しか、Tの列の各行列演算中に調
べる必要がないことは理解されるであろう。したがって、Vcptr”(j)=TT jVprjct”の
各値の決定のために必要とされる計算の数は、大きく低減される。
21の個々の投影ピクセルjからの)に対するグレースケール・エントリ63の表と結び
付く。グレースケール・エントリ63の各グループは、Tの各列中のゼロでないエントリ
に対応しており、それらのゼロでないグレースケール値しか、Tの列の各行列演算中に調
べる必要がないことは理解されるであろう。したがって、Vcptr”(j)=TT jVprjct”の
各値の決定のために必要とされる計算の数は、大きく低減される。
言い換えれば、処理する必要のある、行列Tの各列G中の要素のこのサブセットSVcp
tr”(G)を、TCOL_G(a)と定義してもよい。ここで、aは、Vcptr”(G)中の任意の仮
想捕獲ピクセルに対するインデックス[即ち、a∈{1、…、(p×q)}]である。し
たがって、各SVcptr”(G)に対して、人は、調べるべき要素のセットを、次のように定
義することができる。
SVcptr”(G)={a|∀z∈{1、…、(p×q)}TCOL_G(a)≧TTCOL_z(a)}一
般に、‖SVcptr”(j)‖≪(p×q)であるから、
Vcptr”(G)=ΣTT G(a) Vprjct”(a)
a∈SVcptr”(G)
を計算することは、
Vcptr”(j)=TT jVprjct”
を計算することよりも、はるかに時間をとらない。
tr”(G)を、TCOL_G(a)と定義してもよい。ここで、aは、Vcptr”(G)中の任意の仮
想捕獲ピクセルに対するインデックス[即ち、a∈{1、…、(p×q)}]である。し
たがって、各SVcptr”(G)に対して、人は、調べるべき要素のセットを、次のように定
義することができる。
SVcptr”(G)={a|∀z∈{1、…、(p×q)}TCOL_G(a)≧TTCOL_z(a)}一
般に、‖SVcptr”(j)‖≪(p×q)であるから、
Vcptr”(G)=ΣTT G(a) Vprjct”(a)
a∈SVcptr”(G)
を計算することは、
Vcptr”(j)=TT jVprjct”
を計算することよりも、はるかに時間をとらない。
本方法を用いて生成された双対画像の一例が、図9Aおよび9Bに示されている。図9
Aは、現実のプロジェクタによって投影された主画像を示している。図9Bは、本方法の
実装によって計算された双対画像の結果を示している。図9Bの双対画像は、現実のプロ
ジェクタ21(即ち、仮想のカメラ21”)によって仮想的に捕獲される画像、即ち、別
の言い方をすれば、現実のプロジェクタ27によって「見られる」とおりの画像を表わし
ている。
Aは、現実のプロジェクタによって投影された主画像を示している。図9Bは、本方法の
実装によって計算された双対画像の結果を示している。図9Bの双対画像は、現実のプロ
ジェクタ21(即ち、仮想のカメラ21”)によって仮想的に捕獲される画像、即ち、別
の言い方をすれば、現実のプロジェクタ27によって「見られる」とおりの画像を表わし
ている。
上記の検討は、減縮された画像のセットから、いかにして、効率的に双対画像を計算す
るかを示しており、それは、画像捕捉時間と計算時間とを節約する。上に説明したように
、現実の捕獲画像と双対捕獲画像とを、それぞれ、現実のカメラ25と現実のプロジェク
タ21との両方をキャリブレートするために用いることができる。
るかを示しており、それは、画像捕捉時間と計算時間とを節約する。上に説明したように
、現実の捕獲画像と双対捕獲画像とを、それぞれ、現実のカメラ25と現実のプロジェク
タ21との両方をキャリブレートするために用いることができる。
即ち、プロジェクタの観察から画像を直接捕獲することができないから、1つの直接的
な解決法は、デュアル・フォトグラフィ技術を用いて、対応するカメラ画像から、プロジ
ェクタの観察画像(即ち、双対画像)を構築することと、次に、その構築された画像を用
いて、プロジェクタをキャリブレートすることである。例えば、特徴点を注意深く測定さ
れた既知の物体のいくつかの現実の画像を、異なる角度でとった後、その物体の既知の寸
法を用いて現実のカメラをキャリブレートして、異なる角度の観察から生じる、捕獲画像
中の歪みを補償することができる。そうすると、上述のように、デュアル・フォトグラフ
ィ技術を用いて、同じ捕獲画像から、現実のプロジェクタによって見られるとおりの仮想
画像を生成することができ、そして、現実のカメラと類似のやり方で、現実のプロジェク
タをキャリブレートすることができる。
な解決法は、デュアル・フォトグラフィ技術を用いて、対応するカメラ画像から、プロジ
ェクタの観察画像(即ち、双対画像)を構築することと、次に、その構築された画像を用
いて、プロジェクタをキャリブレートすることである。例えば、特徴点を注意深く測定さ
れた既知の物体のいくつかの現実の画像を、異なる角度でとった後、その物体の既知の寸
法を用いて現実のカメラをキャリブレートして、異なる角度の観察から生じる、捕獲画像
中の歪みを補償することができる。そうすると、上述のように、デュアル・フォトグラフ
ィ技術を用いて、同じ捕獲画像から、現実のプロジェクタによって見られるとおりの仮想
画像を生成することができ、そして、現実のカメラと類似のやり方で、現実のプロジェク
タをキャリブレートすることができる。
しかしながら、この直接的な方法に関連した、見込まれる妨げは、光輸送行列Tを生成
して操作すること、および、多数のカメラおよびプロジェクタの画像ピクセルに起因する
膨大な画像ベクトルについて演算することの困難さである。この労働集約的で費用のかか
るプロセスは、プロジェクタ−カメラ・システムにおける現実のプロジェクタ21をキャ
リブレートする目的に対して、図2Aに示すような、上述のデュアル・フォトグラフィ法
を用いることによって、相当に緩和されるが、本出願者達は、現実のプロジェクタ21の
キャリブレーションを容易にするために、双対画像(即ち、現実のプロジェクタ21によ
って「見られる」とおりの画像)を用いることについての利益のいくつかを、依然として
利用しながら、T行列を生成する必要を回避し、そして、完全な双対画像を創出する新奇
な方法を開発した。
して操作すること、および、多数のカメラおよびプロジェクタの画像ピクセルに起因する
膨大な画像ベクトルについて演算することの困難さである。この労働集約的で費用のかか
るプロセスは、プロジェクタ−カメラ・システムにおける現実のプロジェクタ21をキャ
リブレートする目的に対して、図2Aに示すような、上述のデュアル・フォトグラフィ法
を用いることによって、相当に緩和されるが、本出願者達は、現実のプロジェクタ21の
キャリブレーションを容易にするために、双対画像(即ち、現実のプロジェクタ21によ
って「見られる」とおりの画像)を用いることについての利益のいくつかを、依然として
利用しながら、T行列を生成する必要を回避し、そして、完全な双対画像を創出する新奇
な方法を開発した。
プロジェクタをキャリブレートするために、人は、完全な双対画像を構築する必要はな
く、プロジェクタによって見られるとおりに、平らな表面上の市松模様41(図4Aを参
照のこと)中の正方形のかどの位置を決定するだけでよいということに注目することによ
って、T行列の生成をすべて回避することができる。本出願者達は、この目標を達成し、
また、したがって、完全に施されたデュアル・フォトグラフィのT行列の生成および操作
を回避するように、平面射影に基づく方法を適応させた。本発明のこの代替実施例は、双
対画像の構築、および、構築された双対画像からのかどの検出を必要とすることなく、プ
ロジェクタの観察画像の全域で、格子のかどの特徴点の座標を直接計算する。
く、プロジェクタによって見られるとおりに、平らな表面上の市松模様41(図4Aを参
照のこと)中の正方形のかどの位置を決定するだけでよいということに注目することによ
って、T行列の生成をすべて回避することができる。本出願者達は、この目標を達成し、
また、したがって、完全に施されたデュアル・フォトグラフィのT行列の生成および操作
を回避するように、平面射影に基づく方法を適応させた。本発明のこの代替実施例は、双
対画像の構築、および、構築された双対画像からのかどの検出を必要とすることなく、プ
ロジェクタの観察画像の全域で、格子のかどの特徴点の座標を直接計算する。
この新奇な方法では、最初に、現実のカメラ25が、種々の角度において既知のパター
ンの複数の画像を捕獲する前述の方法のような、任意の既知の方法を用いてキャリブレー
トされる。より詳細には、人は、現実のカメラを用いて、種々の配置において、平面の格
子板のいくつかの画像を捕獲して、捕獲した画像の全域で、格子のかどを検出することが
できる。格子板は、純粋に、例示の目的だけのために用いられており、キーになる点の間
の物理的な距離が知られている限り、いかなる場も捕獲することができることは理解され
るであろう。本例においては、板上の格子のかどの間の物理的な距離が、あらかじめ測定
されているから、種々の配置における、それらの捕獲画像は、上述したように、内部およ
び外部のカメラ・パラメータを計算するのに十分である。
ンの複数の画像を捕獲する前述の方法のような、任意の既知の方法を用いてキャリブレー
トされる。より詳細には、人は、現実のカメラを用いて、種々の配置において、平面の格
子板のいくつかの画像を捕獲して、捕獲した画像の全域で、格子のかどを検出することが
できる。格子板は、純粋に、例示の目的だけのために用いられており、キーになる点の間
の物理的な距離が知られている限り、いかなる場も捕獲することができることは理解され
るであろう。本例においては、板上の格子のかどの間の物理的な距離が、あらかじめ測定
されているから、種々の配置における、それらの捕獲画像は、上述したように、内部およ
び外部のカメラ・パラメータを計算するのに十分である。
次に、プロジェクタ画像は、2つ(または、より多く)の個別の源によって見られた、
一つの場の2つ(または、より多く)の観察を関連づける、いわゆる透視投影モデルにし
たがうことが観察されている。即ち、相異なる観察源が、それらの相異なる源が場に対し
て異なる角度に位置するために、同一の場の異なる観察(即ち、画像)を「見る」。しか
しながら、ただ1つの現実の場しか存在しない(場の観察の数にかかわりなく)のである
から、人は、任意の1つの観察上の任意の点を場上の対応する現実の点に(、そして、そ
れによって、全ての他の観察に)結び付ける、それらの相異なる観察の間の数学的関係を
生成することができる。
一つの場の2つ(または、より多く)の観察を関連づける、いわゆる透視投影モデルにし
たがうことが観察されている。即ち、相異なる観察源が、それらの相異なる源が場に対し
て異なる角度に位置するために、同一の場の異なる観察(即ち、画像)を「見る」。しか
しながら、ただ1つの現実の場しか存在しない(場の観察の数にかかわりなく)のである
から、人は、任意の1つの観察上の任意の点を場上の対応する現実の点に(、そして、そ
れによって、全ての他の観察に)結び付ける、それらの相異なる観察の間の数学的関係を
生成することができる。
それらの個別の観察の1つを、現実のプロジェクタによって「見られる」とおりの仮想
画像であるとし、一方、もう1つの個別の観察を、現実のカメラによって捕獲された現実
の画像であると見なすと、透視投影モデル(それは、2つの観察を、共通の現実の場に関
連づける)は、人が、完全な双対画像を生成することなく、捕獲された現実の画像から、
仮想画像に関するいくつかの情報を抽出することを可能にする。
画像であるとし、一方、もう1つの個別の観察を、現実のカメラによって捕獲された現実
の画像であると見なすと、透視投影モデル(それは、2つの観察を、共通の現実の場に関
連づける)は、人が、完全な双対画像を生成することなく、捕獲された現実の画像から、
仮想画像に関するいくつかの情報を抽出することを可能にする。
このアプローチを用いて、本出願者達は、完全な双対画像を必要とすることなく、現実
のプロジェクタをキャリブレートするために十分な情報を抽出する方法を考案した。した
がって、双対画像が、創出されていなくても、それでもなお、人は、直接的ではないやり
方とはいえ、プロジェクタに、カメラ・キャリブレーション技術を適用することができる
。
のプロジェクタをキャリブレートするために十分な情報を抽出する方法を考案した。した
がって、双対画像が、創出されていなくても、それでもなお、人は、直接的ではないやり
方とはいえ、プロジェクタに、カメラ・キャリブレーション技術を適用することができる
。
透視投影モデルのもとでは、相異なる観察からの、平面物体の2つの画像投影の間の関
係は、単純な線形射影変換、即ち、平面射影である。この変換は、平面物体上の任意の点
の座標(即ち、同次座標)を、その平面物体の特定の観察上の対応する点の座標に関連付
ける。本実施例においては、平面格子板のプロジェクタの観察画像は、対応するカメラ画
像の平面射影である。詳細には、格子板上の任意の点Pに対して、プロジェクタの観察画
像内のその同次座標Up=(up,vp,1)と、カメラ画像内の座標Uc=(uc,v
c,1)とは、次の方程式を満たす。
Up=λHUc
係は、単純な線形射影変換、即ち、平面射影である。この変換は、平面物体上の任意の点
の座標(即ち、同次座標)を、その平面物体の特定の観察上の対応する点の座標に関連付
ける。本実施例においては、平面格子板のプロジェクタの観察画像は、対応するカメラ画
像の平面射影である。詳細には、格子板上の任意の点Pに対して、プロジェクタの観察画
像内のその同次座標Up=(up,vp,1)と、カメラ画像内の座標Uc=(uc,v
c,1)とは、次の方程式を満たす。
Up=λHUc
ここで、λは、スカラであり、Hは、右下隅のエントリが1に設定された、3×3平面
射影変換行列(当技術分野で公知のような)である。対応する座標の対が、3個の線形方
程式を与え、それらのうちの1個が、スカラを決定し、他の2個が、H、即ち、平面射影
変換行列を決定するために用いられる。3×3行列のH中に8個の未知のエントリが存在
するから、格子板上のN個の座標点(ここで、N≧4)の間の対応が与えられれば、2N
個の線形方程式を解くことによって、プロジェクタの観察画像とカメラ画像との間の平面
射影を再生することができる。Nの数字が大きければ大きいほど、プロジェクタの観察画
像とカメラ画像との間の座標点を関連付けるエラーは、より低くなる。
射影変換行列(当技術分野で公知のような)である。対応する座標の対が、3個の線形方
程式を与え、それらのうちの1個が、スカラを決定し、他の2個が、H、即ち、平面射影
変換行列を決定するために用いられる。3×3行列のH中に8個の未知のエントリが存在
するから、格子板上のN個の座標点(ここで、N≧4)の間の対応が与えられれば、2N
個の線形方程式を解くことによって、プロジェクタの観察画像とカメラ画像との間の平面
射影を再生することができる。Nの数字が大きければ大きいほど、プロジェクタの観察画
像とカメラ画像との間の座標点を関連付けるエラーは、より低くなる。
対応する座標を得るために、10個の白点を市松模様上に投影させ、投影された白点を
持つ格子板の画像を、現実のカメラ(現実のカメラ25のような)を用いて捕獲し、そし
て、カメラ画像中の10点の座標を計算するのが、好ましい。本プロセスにおいて、捕獲
された画像中の、それら10点に対応する座標の計算中に必要なのは、それら10点を区
別することだけである。これは、10点を順次に投影し、それらに対応する座標を順繰り
に決定することによって、達成することができる。それに代えて、相異なる色の点を、同
時に投影して、それらの相異なる点を、色によって識別してもよい。
持つ格子板の画像を、現実のカメラ(現実のカメラ25のような)を用いて捕獲し、そし
て、カメラ画像中の10点の座標を計算するのが、好ましい。本プロセスにおいて、捕獲
された画像中の、それら10点に対応する座標の計算中に必要なのは、それら10点を区
別することだけである。これは、10点を順次に投影し、それらに対応する座標を順繰り
に決定することによって、達成することができる。それに代えて、相異なる色の点を、同
時に投影して、それらの相異なる点を、色によって識別してもよい。
プロジェクタは、互いに既知の関係にある点を投影するのが好ましいから、投影された
画像中のそれらの点の座標は、既知である。これは、現実のカメラによって捕獲された1
セットと、現実のプロジェクタによって投影された、もう1つのセットとである、10対
の対応する座標を生じる。一旦、平面射影が再生されると、カメラ画像中に検出された、
格子板のかどの座標を直接変換して、プロジェクタの観察画像中の、対応するかどの座標
を計算することができる。そうすると、上述の方法のようなカメラ・キャリブレーション
方法を用いて、プロジェクタ・パラメータをキャリブレートすることができる。
画像中のそれらの点の座標は、既知である。これは、現実のカメラによって捕獲された1
セットと、現実のプロジェクタによって投影された、もう1つのセットとである、10対
の対応する座標を生じる。一旦、平面射影が再生されると、カメラ画像中に検出された、
格子板のかどの座標を直接変換して、プロジェクタの観察画像中の、対応するかどの座標
を計算することができる。そうすると、上述の方法のようなカメラ・キャリブレーション
方法を用いて、プロジェクタ・パラメータをキャリブレートすることができる。
本アプローチの一例が、図10に示されている。図10において、特徴点捕獲結果は、
以下のとおりである。輪郭を示されていない円、または、ドット(例えば、ドット81)
が、平面射影を評価するために用いられ、一方、輪郭を描かれた円、または、ドット(例
えば、ドット83)は、かど点の特徴点である。見られるように、輪郭を描かれたドット
83が、実際のかど上にあり、このことは、各検出されたかどのプロジェクタ座標が、正
確に捕獲されていることを示している。
以下のとおりである。輪郭を示されていない円、または、ドット(例えば、ドット81)
が、平面射影を評価するために用いられ、一方、輪郭を描かれた円、または、ドット(例
えば、ドット83)は、かど点の特徴点である。見られるように、輪郭を描かれたドット
83が、実際のかど上にあり、このことは、各検出されたかどのプロジェクタ座標が、正
確に捕獲されていることを示している。
本発明が、いくつかの特定の実施例に関連して記述されているが、当業者には、多くの
さらなる代替形態、変更形態および変形形態が、前述の記述に照らして明白に認識される
ことが明らかである。したがって、本明細書に記述されている本発明は、特許請求の範囲
の精神および範囲内に収まる限り、そのような代替形態、変更形態、出願、および変形形
態を全て包含するように意図されている。
さらなる代替形態、変更形態および変形形態が、前述の記述に照らして明白に認識される
ことが明らかである。したがって、本明細書に記述されている本発明は、特許請求の範囲
の精神および範囲内に収まる限り、そのような代替形態、変更形態、出願、および変形形
態を全て包含するように意図されている。
図面において、同様の参照記号は、同様の部分を言う。
デュアル・フォトグラフィの実装の従来技術の編成。
本発明によるデュアル・フォトグラフィの編成。
プロジェクタの単一の投影ピクセルの駆動によって生じた、デジタル・カメラ内の光センサ・アレイ上に投影されたフットプリントの例示的な一例。
図3Aの例を反映した、行列T中の光輸送係数の1つの列の例示的な一例。
市松模様を持つ場上に同時に投影された投影ピクセルの2つの行の2つの例。
図4と5との画像を組み合わせることによって創出される、単一の投影ピクセルから得られる、生成した光ビームのフットプリント。
図6Aまたは6Bにおいて生成された光ビームのフットプリントによって決定される、投影ピクセルと、ゼロでない値を持つ光輸送係数とを結び付けるインデックスの第1の例。
図6Aまたは6Bにおいて生成された光ビームのフットプリントによって決定される、投影ピクセルと、ゼロでない値を持つ光輸送係数とを結び付けるインデックスの第2の例。
現実のカメラによってとられた現実の捕獲画像(A)および、本発明の方法を用いて生成される、現実のプロジェクタによって見られるとおりの双対捕獲画像(B)。
プロジェクタをキャリブレートするための平面射影の使用の適用の結果の一例。
11…デジタル・プロジェクタ、13…画像、15…デジタル・カメラ、17…プロジ
ェクタ・ピクセル・アレイ、19…光レセプタ・ピクセル・アレイ、11”…仮想カメラ
、13”…投影画像、17”…仮想レセプタ・ピクセル・アレイ、15”…仮想プロジェ
クタ、19”…仮想投影ピクセル・アレイ、21…プロジェクタ、23…投影面、27…
画像形成投影アレイ、25…カメラ、29…画像センサ・アレイ、23”…仮想画像、2
1”…仮想カメラ、27”…仮想画像センサ・アレイ、25”…仮想プロジェクタ、29
”…画像形成投影アレイ、50…光線フットプリント、i…センサ・ピクセル。
ェクタ・ピクセル・アレイ、19…光レセプタ・ピクセル・アレイ、11”…仮想カメラ
、13”…投影画像、17”…仮想レセプタ・ピクセル・アレイ、15”…仮想プロジェ
クタ、19”…仮想投影ピクセル・アレイ、21…プロジェクタ、23…投影面、27…
画像形成投影アレイ、25…カメラ、29…画像センサ・アレイ、23”…仮想画像、2
1”…仮想カメラ、27”…仮想画像センサ・アレイ、25”…仮想プロジェクタ、29
”…画像形成投影アレイ、50…光線フットプリント、i…センサ・ピクセル。
Claims (10)
- デジタル・プロジェクタとデジタル・カメラとを関連づける光輸送係数を生成する方法
であって、前記デジタル・プロジェクタが、投影ピクセルのアレイを持ち、そして、前記
デジタル・カメラが、センサ・ピクセルのアレイを持つ方法において、
前記プロジェクタ内の第1の投影ピクセルのグループを同時に駆動して、投影場上に第
1のテストパターンを投影するステップであって、前記第1のテストパターン中にない、
いずれの投影ピクセルも暗く維持されるステップと、
前記投影場上の、前記第1のテストパターンの第1の画像を捕獲するステップと、
前記プロジェクタ内の第2の投影ピクセルのグループを同時に駆動して、前記投影場上
に第2のテストパターンを投影するステップであって、前記第2のテストパターン中にな
い、いずれの残りの投影ピクセルも暗く維持され、前記第1および第2の投影ピクセルの
グループが、ターゲット投影ピクセルを定める、ただ1つの投影ピクセルしか共通に持た
ないステップと、
前記投影場上の、前記第2のテストパターンの第2の画像を捕獲するステップと、
前記第1の画像の画像ピクセルと、それに対応する、前記第2の画像の画像ピクセルと
を比較するステップと、2つの比較された画像ピクセルのうちの、より暗い方を保持する
ステップであって、前記保持された画像ピクセルが、合成画像を構成するステップと、
前記合成画像中の全ての暗くない画像ピクセルを識別するステップであって、前記暗く
ない画像ピクセルが、前記ターゲット投影ピクセルに関連する、ゼロでない光輸送係数を
定めるステップと、を含んでなる方法。 - 前記第1のテストパターンと前記第2のテストパターンとが、前記ターゲット投影ピク
セルに関連する第1のパターン対を形成し、
前記デジタル・プロジェクタ内の各投影ピクセルが、それぞれの第1のテストパターン
と、それぞれの第2のテストパターンとから成る、連合したユニークなパターン対を持ち
、そして、
前記デジタル・プロジェクタ内の任意の選択された投影ピクセルに関する前記光輸送係
数が、前記選択された投影ピクセルの、その連合したユニークなパターン対を構成する、
それぞれの第1のテストパターンと、それぞれの第2のパターンとの捕獲画像を比較する
ステップによって得られ、
前記ユニークなパターン対を比較する前記ステップが、
前記それぞれの第1の画像の画像ピクセルと、それに対応する、前記それぞれの第2の
画像の画像ピクセルとを比較するステップと、2つの比較された画像ピクセルのうちの、
より暗い方を保持するステップであって、前記保持された画像ピクセルが、それぞれの合
成画像を構成するステップと、
前記それぞれの合成画像中の全ての暗くない画像ピクセルを識別するステップであって
、前記暗くない画像ピクセルが、前記任意の選択された投影ピクセルに関連する前記光輸
送係数を定めるステップと、を含んでなる、
請求項1の方法。 - 前記プロジェクタが、投影ピクセルの行および列のアレイを持ち、
前記それぞれの第1のテストパターンが、前記アレイの1つの列内の全投影ピクセルを
同時に駆動することよりなり、
前記それぞれの第2のテストパターンが、前記アレイの1つの行内の全投影ピクセルを
同時に駆動することよりなる、
請求項2の方法。 - 選択された数の前記ターゲット投影ピクセルに対して、前記光輸送係数を識別するステ
ップと、
前記選択された数のターゲット投影ピクセルの各々と、それらに対応して関連するゼロ
でない光輸送係数とを結び付けるインデックスを生成するステップと、
前記ゼロでない光輸送係数だけを格納するステップと、を、
さらに含んでなる請求項1の方法。 - 前記デジタル・プロジェクタと前記デジタル・カメラとを関連づける前記光輸送係数が
、デュアル・フォトグラフィにおける使用に適している請求項1の方法。 - 少なくとも1つのデジタル・プロジェクタと1つのデジタル・カメラとを持つプロジェ
クタ−カメラ・システムをキャリブレートする方法であって、
投影場を識別するステップと、
前記投影場に対して前記カメラをキャリブレートするステップと、
前記デジタル・プロジェクタ内の各投影ピクセルと、前記デジタル・カメラとを結び付
ける、ゼロでない光輸送係数を識別するステップと、
各投影ピクセルと、それに対応するゼロでない光輸送係数とを結び付けるインデックス
を創出するステップと、各投影ピクセルに関する各ゼロの光輸送係数を無視するステップ
と、
前記プロジェクタがデュアル・フォトグラフィ技術を用いるという観点から、前記イン
デックスによって識別される、ゼロでない光輸送係数を用いて、前記投影場の双対画像を
生成するステップと、
前記プロジェクタを仮想カメラとして扱うことによって、前記プロジェクタにカメラ・
キャリブレーション技術を適用するステップと、前記双対画像を、前記プロジェクタをキ
ャリブレートするためのテスト画像として用いるステップと、を含んでなる方法。 - 前記デジタル・プロジェクタ内の各投影ピクセルと、前記デジタル・カメラとを結び付
ける、ゼロでない光輸送係数を識別する前記ステップが、
第1のテストパターンの第1のセットを識別するステップであって、各第1のテストパ
ターンが、複数の投影ピクセルを含むステップと、
第2のテストパターンの第2のセットを識別するステップであって、各第2のテストパ
ターンが、複数の投影ピクセルを含み、前記プロジェクタ内の各投影ピクセルが、前記第
1のセットからの対応する第1のテストパターンと、前記第2のセットからの対応する第
2のテストパターンとから成るテストパターン対の交差部によってユニークに識別される
ステップと、
前記投影場上に、前記第1のセット内の前記第1のテストパターンの各々を駆動するス
テップと、その結果として生じる投影画像の画像を捕獲するステップと、
前記投影場上に、前記第2のセット内の前記第2のテストパターンの各々を駆動するス
テップと、その結果として生じる投影画像の画像を捕獲するステップと、
前記プロジェクタ内の各投影ピクセルに対して、それに対応する、投影された第1のテ
ストパターンの前記捕獲画像の画像ピクセルと、それに対応する、投影された第2のテス
トパターンの前記捕獲画像の、対応する画像ピクセルとを比較するステップと、前記2つ
の比較された画像ピクセルのうちの、より暗い方を保持するステップであって、前記保持
された画像ピクセルが合成画像を構成するステップと、前記合成画像中の全ての暗くない
画像ピクセルを識別するステップであって、前記暗くない画像ピクセルが、ゼロでない光
輸送係数を定めるステップと、を含んでなる請求項6の方法。 - 少なくとも1つのデジタル・プロジェクタと1つのデジタル・カメラとを持つプロジェ
クタ−カメラ・システムをキャリブレートする方法であって、
投影場を識別するステップと、
前記投影場に対して、前記カメラをキャリブレートするステップと、
前記投影場に既知のテストパターンを投影するステップであって、前記既知のテストパ
ターンが、互いに既知の空間的関係を持つ空間的標識のグループを含むステップと、
平面射影技術を用いて、前記カメラと前記投影場との間の関係を識別して、前記投影場
上の前記空間的標識の現実の位置を識別するステップと、
平面射影技術を用いて、前記カメラを用いて決定された前記投影場上の前記空間的標識
の前記現実の位置と、前記既知のテストパターン上の前記空間的標識の前記既知の空間的
関係とを関連づけ、前記既知のテストパターンの前記既知の空間的関係を、前記投影場上
の前記空間的標識の前記現実の位置に合致させるように、前記プロジェクタをキャリブレ
ートするステップと、を含んでなる方法。 - 前記既知のテストパターンが、少なくとも4個の空間的標識を含む請求項8の方法。
- 前記空間的標識間の前記既知の空間的関係が、二次元投影に限定されている請求項8の
方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US76217806P | 2006-01-24 | 2006-01-24 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007199716A true JP2007199716A (ja) | 2007-08-09 |
Family
ID=38454339
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007008841A Withdrawn JP2007199716A (ja) | 2006-01-24 | 2007-01-18 | デジタル・プロジェクタとデジタル・カメラとを関連づける光輸送係数を生成する方法、および少なくとも1つのデジタル・プロジェクタと1つのデジタル・カメラとを持つプロジェクタ−カメラ・システムをキャリブレートする方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US7794090B2 (ja) |
JP (1) | JP2007199716A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009077396A (ja) * | 2007-09-18 | 2009-04-09 | Seiko Epson Corp | 画像処理方法および投影システム |
JP2009095015A (ja) * | 2007-10-05 | 2009-04-30 | Seiko Epson Corp | 異なるデータ間の相互関係を物理的メモリ内で配列する方法 |
JP2016529532A (ja) * | 2013-08-02 | 2016-09-23 | オムニヴィジョン テクノロジーズ インコーポレイテッド | 特定用途向けのデュアルモード投射システム及び方法 |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8197070B2 (en) * | 2006-01-24 | 2012-06-12 | Seiko Epson Corporation | Color-based feature identification |
US7901093B2 (en) * | 2006-01-24 | 2011-03-08 | Seiko Epson Corporation | Modeling light transport in complex display systems |
US8310525B2 (en) * | 2008-10-07 | 2012-11-13 | Seiko Epson Corporation | One-touch projector alignment for 3D stereo display |
US8248410B2 (en) * | 2008-12-09 | 2012-08-21 | Seiko Epson Corporation | Synthesizing detailed depth maps from images |
US8106949B2 (en) * | 2009-03-26 | 2012-01-31 | Seiko Epson Corporation | Small memory footprint light transport matrix capture |
US7901095B2 (en) * | 2009-03-27 | 2011-03-08 | Seiko Epson Corporation | Resolution scalable view projection |
US9600855B2 (en) * | 2009-07-11 | 2017-03-21 | Hewlett-Packard Development Company, L.P. | View projection |
US8243144B2 (en) * | 2009-07-31 | 2012-08-14 | Seiko Epson Corporation | Light transport matrix from homography |
US8355601B2 (en) * | 2010-01-15 | 2013-01-15 | Seiko Epson Corporation | Real-time geometry aware projection and fast re-calibration |
US8406556B2 (en) | 2010-06-10 | 2013-03-26 | Microsoft Corporation | Light transport reconstruction from sparsely captured images |
US8976256B2 (en) * | 2011-03-21 | 2015-03-10 | The United States Of America As Represented By The Secretary Of The Air Force | Remote sensing of hidden objects |
JP7151126B2 (ja) * | 2018-03-29 | 2022-10-12 | セイコーエプソン株式会社 | プロジェクター、及び、プロジェクターの制御方法 |
US10638104B2 (en) * | 2018-09-14 | 2020-04-28 | Christie Digital Systems Usa, Inc. | Device, system and method for generating updated camera-projector correspondences from a reduced set of test patterns |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6527395B1 (en) * | 2001-12-10 | 2003-03-04 | Mitsubishi Electric Research Laboratories, Inc. | Method for calibrating a projector with a camera |
US6903738B2 (en) * | 2002-06-17 | 2005-06-07 | Mitsubishi Electric Research Laboratories, Inc. | Image-based 3D modeling rendering system |
US7242818B2 (en) * | 2003-01-17 | 2007-07-10 | Mitsubishi Electric Research Laboratories, Inc. | Position and orientation sensing with a projector |
US6715888B1 (en) * | 2003-03-21 | 2004-04-06 | Mitsubishi Electric Research Labs, Inc | Method and system for displaying images on curved surfaces |
US6811264B2 (en) * | 2003-03-21 | 2004-11-02 | Mitsubishi Electric Research Laboratories, Inc. | Geometrically aware projector |
US7175285B2 (en) * | 2003-07-29 | 2007-02-13 | Sharp Laboratories Of America, Inc. | Projection system that adjusts for keystoning |
US7001023B2 (en) * | 2003-08-06 | 2006-02-21 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for calibrating projectors to arbitrarily shaped surfaces with discrete optical sensors mounted at the surfaces |
US7574067B2 (en) * | 2003-10-03 | 2009-08-11 | General Electric Company | Surface reconstruction and registration with a helmholtz reciprocal image pair |
US7496229B2 (en) * | 2004-02-17 | 2009-02-24 | Microsoft Corp. | System and method for visual echo cancellation in a projector-camera-whiteboard system |
US7252387B2 (en) * | 2005-03-21 | 2007-08-07 | Mitsubishi Electric Research Laboratories, Inc. | System and method for mechanically adjusting projector pose with six degrees of freedom for image alignment |
US9122946B2 (en) * | 2006-01-24 | 2015-09-01 | The Trustees Of Columbia University In The City Of New York | Systems, methods, and media for capturing scene images and depth geometry and generating a compensation image |
US7763836B2 (en) * | 2006-04-21 | 2010-07-27 | Mersive Technologies, Inc. | Projector calibration using validated and corrected image fiducials |
US7978928B2 (en) * | 2007-09-18 | 2011-07-12 | Seiko Epson Corporation | View projection for dynamic configurations |
US8218003B2 (en) * | 2007-10-05 | 2012-07-10 | Seiko Epson Corporation | Optimization strategies for GPU view projection matrix implementation |
US8009930B2 (en) * | 2008-03-26 | 2011-08-30 | City University Of Hong Kong | Auto-calibration method for a projector-camera system |
-
2006
- 2006-12-19 US US11/613,129 patent/US7794090B2/en not_active Expired - Fee Related
-
2007
- 2007-01-18 JP JP2007008841A patent/JP2007199716A/ja not_active Withdrawn
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009077396A (ja) * | 2007-09-18 | 2009-04-09 | Seiko Epson Corp | 画像処理方法および投影システム |
JP2009095015A (ja) * | 2007-10-05 | 2009-04-30 | Seiko Epson Corp | 異なるデータ間の相互関係を物理的メモリ内で配列する方法 |
JP2016529532A (ja) * | 2013-08-02 | 2016-09-23 | オムニヴィジョン テクノロジーズ インコーポレイテッド | 特定用途向けのデュアルモード投射システム及び方法 |
Also Published As
Publication number | Publication date |
---|---|
US7794090B2 (en) | 2010-09-14 |
US20070171381A1 (en) | 2007-07-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2007199716A (ja) | デジタル・プロジェクタとデジタル・カメラとを関連づける光輸送係数を生成する方法、および少なくとも1つのデジタル・プロジェクタと1つのデジタル・カメラとを持つプロジェクタ−カメラ・システムをキャリブレートする方法 | |
US7901093B2 (en) | Modeling light transport in complex display systems | |
US8197070B2 (en) | Color-based feature identification | |
US7901094B2 (en) | View projection: one-touch setup of light displays on arbitrary surfaces | |
US8218003B2 (en) | Optimization strategies for GPU view projection matrix implementation | |
JP5338217B2 (ja) | 画像処理方法および投影システム | |
US8310525B2 (en) | One-touch projector alignment for 3D stereo display | |
US8106949B2 (en) | Small memory footprint light transport matrix capture | |
US7901095B2 (en) | Resolution scalable view projection | |
US11210839B2 (en) | Photometric image processing | |
US11774769B2 (en) | Depth measurement using a pulsed structured light projector | |
CN100382592C (zh) | 用于确定具有任意形状的显示面上的各位置与投影仪的输出图像中的各像素之间的对应关系的方法和系统 | |
JP5486113B2 (ja) | パノラマ投影デバイスによって実施される投影方法 | |
US11526067B2 (en) | Lighting assembly for producing realistic photo images | |
JP2019012090A (ja) | 画像処理方法、画像表示装置 | |
JP2008171431A (ja) | 基準行列の推定逆行列を生成する方法、第2のプロジェクタからの第2の投影画像を用いて第1のプロジェクタからの第1の投影画像をシミュレートする方法、投影画像を生成する方法および投影システム | |
JP2011075336A (ja) | 3次元形状計測装置、3次元形状計測方法 | |
Kern et al. | Projector-based augmented reality for quality inspection of scanned objects | |
KR101649051B1 (ko) | 멀티 프로젝터 기반의 반사형 집적 영상 시스템에서 키스톤 효과를 제거하기 위한 요소영상 보정방법 | |
JP6327556B2 (ja) | 三次元形状計測システム | |
JP6291382B2 (ja) | Lt行列生成装置、方法、プログラム、及び記録媒体 | |
JP2017083778A (ja) | 画像投影装置、方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070523 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20070523 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090602 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20110125 |