JP2009524849A

JP2009524849A - シーン画像および奥行き形状を取り込んで補償画像を生成するためのシステム、方法、および媒体

Info

Publication number: JP2009524849A
Application number: JP2008552409A
Authority: JP
Inventors: リーザン; シュリーケイナヤル
Original assignee: ザトラスティーズオブコロンビアユニヴァーシティインザシティオブニューヨーク
Priority date: 2006-01-24
Filing date: 2007-01-24
Publication date: 2009-07-02
Also published as: US9122946B2; WO2007087405A3; WO2007087405A2; US20090244090A1

Abstract

いくつかの実施形態において、プロジェクタ、光センサ、およびデジタル処理装置を含む、シーン画像および奥行き形状を取り込むシステムが提供される。プロジェクタはシーンに対してデフォーカスが可能であり、移動する周期的照明パターンを持つ光をシーン上に投影する。光センサは複数の画素を持ち、該画素の各々におけるシーンの少なくとも１つの画像の放射輝度の一部を検出する。デジタル処理装置は光センサに接続可能であり、画素の各々の放射輝度から時間的な放射輝度プロファイルをある期間にわたって取得し、時間的な放射輝度プロファイルを用いて画素の各々の投影デフォーカス量を算出し、画素の各々において、画素の投影デフォーカス量を用いて画素のシーンの奥行きを算出する。
【選択図】図１

Description

本開示された主題は、シーン画像および奥行き(depth)形状(geometry)を取り込み、補償画像を生成するシステム、方法、および媒体に関する。

デジタルライトプロセッシング（ＤＬＰ）（登録商標）および液晶ディスプレイ（ＬＣＤ）のようなデジタル投影技術が、多くの通例とは違う民生、商業、および科学的応用においてますます使用されつつある。コンピュータグラフィックスおよびコンピュータビジョンでは、例えばビデオプロジェクタが、リアルタイムでの形状取得と複雑な外観の取り込みおよび制御のために、画素ごとに制御可能な光源として近年使用されている。これらの応用のほとんどは、焦点を合わせることに最高の性能を発揮できるようなプロジェクタを求めている。実際に、ほとんどすべてのプロジェクタは、被写界深度をより浅くしてもその明るさを最大にするように大口径で作られ、したがって、単一の前額平行スクリーン、すなわちプロジェクタの従来の用途、の上に焦点が合わされた画像を生成するように設計されている。

米国仮特許出願番号６０／７６１，９７７号Ｓｃｈａｒｓｔｅｉｎ他、Ｐｒｏｃ．ＩＥＥＥＣｏｎｆ．ｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ、１９５−２０２、２００３年Ｚｈａｎｇ、ＩＥＥＥＴｒａｎｓ．ｏｎＰａｔｔｅｒｎＡｎａｌｙｓｉｓａｎｄＭａｃｈｉｎｅＩｎｔｅｌｌｉｇｅｎｃｅ２２、１１、１３３０−１３３４、２０００年

しかしながら、いくつかの応用では、複数の平面またはドームのような非平面の構造上に画像を投影して、例えば仮想環境を作ることが望ましい。このような場合、投影された画像の大部分は投影デフォーカスによりぼやけるが、それは被写界深度が浅いことに起因している。この問題を解決する１つの方法は、画像が投影される特別な投影構造体のために高度な光学系を設計することである。しかしながら、そのような光学系を投影構造体の変化に合わせて後で変更するのは難しい。別の手法は複数のプロジェクタを使用することであるが、この手法では、投影画像に焦点を合わることができる奥行きの数は、要求されるプロジェクタの数と等しくなる。しかしながら、使用すべきプロジェクタの数は、投影構造体の大きさおよび複雑さが増大するにつれて増加する必要がある。

他の応用では、デジタルプロジェクタによって投影された画像は、ピクセレーション(pixelation)・アーティファクトを受けることが多い。該ピクセレーションは２つの要因によって引き起こされることができる。第１の要因は、デジタルプロジェクタの有限解像度による空間デジタル化である。第２の要因は、画素フィルファクタ(fill factor)が決して完全なものではないために生じるデジタルプロジェクタにおける物理的な画像面上の隣接画素間の隙間である。ピクセレーションは、投影される画像の解像度が画像を投影するために使用されるデジタルプロジェクタの解像度よりはるかに高い場合に画素の境界をより明確に示してしまう傾向がある。

シーン画像および奥行き形状を取り込み、補償画像を生成するシステム、方法、および媒体が提供される。いくつかの実施形態では、プロジェクタ、光センサ、およびデジタル処理装置を含む、シーン画像および奥行き形状を取り込むシステムが提供される。プロジェクタはシーンに対してデフォーカスが可能であり、移動する周期的照明パターンを持つ光をシーン上に投影する。光センサは複数の画素を持ち、該画素の各々におけるシーンの少なくとも１つの画像の放射輝度の一部を検出する。デジタル処理装置は光センサに接続可能であり、画素の各々の放射輝度から時間的な放射輝度プロファイルをある期間にわたって取得し、時間的な放射輝度プロファイルを使用して画素の各々の投影デフォーカス量を算出し、前記画素の各々において、該画素の前記投影デフォーカス量を用いて前記画素における前記シーンに対する奥行きを算出する。

いくつかの実施形態では、プロジェクタと、光センサと、デジタル処理装置とを含む、補償画像を生成するシステムが提供される。該プロジェクタは投影構造体に画像を投影する。光センサは、複数の画素を持ち、画素の各々における画像の放射輝度の一部を検出する。デジタル処理装置は、光センサおよびプロジェクタに接続可能であり、画素の各々のデフォーカスカーネルを算出し、放射輝度およびデフォーカスカーネルを用いて補償画像を生成する。

いくつかの実施形態では、シーン画像および奥行き形状を取り込む方法が提供される。これらの方法は、移動する周期的照明パターンを持つデフォーカス画像をシーン上に投影し、複数の画素の各々におけるデフォーカス画像の放射輝度の一部を検出し、画素の各々の放射輝度から時間的な放射輝度プロファイルをある期間にわたって取得し、時間的な放射輝度プロファイルを用いて画素の各々の投影デフォーカス量を算出し、算出された投影デフォーカス量を用いて画素の各々のシーンの奥行きを算出する。

いくつかの実施形態では、補償画像を生成する方法が提供される。これらの方法は、画像を投影し、複数の画素の各々における画像の放射輝度の一部を検出し、画素の各々のデフォーカスカーネルを算出し、放射輝度および該デフォーカスカーネルを用いて補償画像を生成する。

いくつかの実施形態では、プロセッサによって実行される場合に、プロセッサにシーン画像および奥行き形状を取り込む方法を実行させるコンピュータ実行可能な命令を含んだコンピュータ可読媒体が提供される。該方法は、移動する周期的照明パターンを持つデフォーカス画像をシーン上に投影し、複数の画素の各々におけるデフォーカス画像の放射輝度の一部を検出し、画素の各々の放射輝度から時間的な放射輝度プロファイルをある期間にわたって取得し、時間的な放射輝度プロファイルを用いて画素の各々の投影デフォーカス量を算出し、算出された投影デフォーカス量を用いて画素の各々のシーンの奥行きを算出する。

いくつかの実施形態では、プロセッサによって実行される場合に、プロセッサに補償画像を生成する方法を実行させるコンピュータ実行可能な命令を含んだコンピュータ可読媒体が提供される。この方法は、画像を投影し、複数の画素の各々における画像の放射輝度の一部を検出し、画素の各々のデフォーカスカーネルを算出し、放射輝度およびデフォーカスカーネルを用いて補償画像を生成する。

いくつかの実施形態では、シーン画像および奥行き形状を取り込むシステムが提供される。これらのシステムは、移動する周期的照明パターンを持つデフォーカス画像をシーン上に投影する手段と、複数の画素の各々におけるデフォーカス画像の放射輝度の一部を取り込む手段と、画素の各々の放射輝度から時間的な放射輝度プロファイルをある期間にわたって取得する手段と、時間的な放射輝度プロファイルを用いて画素の各々の投影デフォーカス量を測定する手段と、算出された投影デフォーカス量を用いて画素の各々のシーンの奥行きを推定する手段と、を含んでいる。

いくつかの実施形態では、補償画像を生成するシステムが提供される。これらのシステムは、画像を投影する手段と、複数の画素の各々における画像の放射輝度の一部を取り込む手段と、画素の各々のデフォーカスカーネルを推定する手段と、放射輝度および該デフォーカスカーネルを用いて補償画像を算出する手段とを含んでいる。

(関連出願の相互参照)
本出願は、２００６年１月２４日に出願された米国仮特許出願番号第６０／７６１，９７７号の利益を主張し、その全体は参照により本書に組み込まれる。

シーン画像および奥行き形状を取り込み、補償画像を生成するシステム、方法、および媒体が提供される。開示された主題のいくつかの実施形態では、時間的なデフォーカス解析を通して光センサの各画素の投影面の奥行きを推定するシステム、方法、および媒体が提供される。構造化パターンを含んだ光がシーン上に投影され、その結果生じたシーンの放射輝度の一部が検出される。シーンの表面の点の単純な線形モデルを使用して、プロジェクタのデフォーカス量を表すことができる。この線形モデルでは、投影されたパターンは入力であり、該シーンの放射輝度は出力である。シーンの表面の点のデフォーカスカーネルは、点単位で起こるデフォーカスぼやけ量を表すフィルタであり、デジタルカメラのような光センサの各画素において算出することができる。線形モデルの出力は、表面の点におけるデフォーカスカーネルの入力に対する時間的な応答である。デフォーカスカーネルはこの表面の点と投影レンズとの間の距離に依存するので、光センサの各画素の奥行きは、投影された移動するパターンの時間的な強度変化を用いて算出できる。

図１は、本開示された主題のいくつかの実施形態に係る、プロジェクタのデフォーカス特性を使用して、光センサの各画素の奥行きを正常な状態に戻すシステム１００の概略図である。図示のように、システム１００は、プロジェクタ１０２と、ビームスプリッタ１０４と、光センサ１０６と、デジタル処理装置１０８とを含んでいる。プロジェクタ１０２は、該プロジェクタ１０２のレンズから異なる距離に置かれたオブジェクト１１０Ａ〜１１０Ｃがあるシーン１１４上に、構造化パターン１１６を含んだ光１１２Ａを投影する。光１１２Ａは、シーン１１４の後方またはシーン１１４の前方に焦点を合わせることができる。プロジェクタ１０２は、ＮＥＣＬＴ２６０ＫＤＬＰプロジェクタのような市販のプロジェクタ、または構造化パターン１１６のような構造化パターンを含んだ画像または光を投影するのに好適な任意の他の装置であってもよい。光センサ１０６は、ＢａｓｌｅｒＡ３１１ｆの白黒カメラのような市販のカメラ、またはシーンを取り込むのに好適な任意の他の装置であってもよい。ビームスプリッタ１０４は、単純なハーフミラー、ＥｄｍｕｎｄＯｐｔｉｃｓ＃ＮＴ３９−４９３ビームスプリッタのような市販のスプリッタ、または反対方向からの入射光を反射しながら一方向からの入射光を通すのに好適な任意の他の装置であってもよい。いくつかの実施形態では、ビームスプリッタは、あらゆる形態の迷光を吸収して背景からの光の影響を低減する特注のチャンバ内に置かれている。デジタル処理装置１０８は、マイクロプロセッサ、デジタル信号プロセッサ、ビデオプロセッサ、またはデータを処理および／または格納するのに好適な任意の他の装置であってもよい。光センサ１０６がカメラであるいくつかの実施形態においては、カメラの絞りは、カメラがほぼピンホールカメラとして働くようにＦ１１まで絞られ、それにより極めて明るいプロジェクタ１０２のデフォーカスと比較して、カメラによってもたらされるどのようなデフォーカスも無視することができる。

焦点がはずれている点については、その放射照度は、プロジェクタ１０２の画像面上の構造化パターン１１６を含んだ光１１２Ａとそのデフォーカスカーネルの畳み込みに等しくなる。オブジェクト１１０Ａ〜１１０Ｃの表面が不透明であると仮定すると、任意の出射方向に沿ったオブジェクト１１０Ａ〜１１０Ｃのいずれかの上にある点の放射輝度Iは、一次方程式である式（１）：
Ｉ＝αｆ（ｘ；ｚ）＊Ｐ（ｘ）＋β
として書くことができ、ここで、＊は畳み込みを示し、αは表面の反射率に依存する要因、βは周辺光による放射輝度、ｆ（ｘ；ｚ）はデフォーカスカーネル、ｘはプロジェクタの画素座標、Ｐ（ｘ）は、構造化された光パターン１１６の数学的表現である。式（１）は、構造化パターン１１６を含んだ光１１２Ａが入力であり、シーンの放射輝度が出力である線形モデルを定義している。デフォーカスカーネルはシーンの奥行きｚに依存するので、該奥行きはデフォーカスカーネルから正常な状態に戻すことができ、そのデフォーカスカーネルもやはり算出されたシーンの放射輝度から算出できる。その時のシーン１１４内の各点の放射輝度は、構造化パターン１１６による励起に対するデフォーカスカーネルの応答である。

ビームスプリッタ１０４を使用して、シーンのどの部分も逃すことなく、光センサ１０６のすべての画素において奥行きを算出できるように、プロジェクタ１０２および光センサ１０６は、該光センサ１０６およびプロジェクタ１０２が同一光学中心を共有する光学的に同軸の構成で配置することができる。このような同軸の構成を使用することにより、影およびオクルージョン(occlusion)を回避することもできる。

ここで図１、図２、図３Ａ〜図３Ｄ、および図４を共に参照し、シーンの奥行き形状を維持しながらシーンの画像を取り込む方法が示されている。

ステップ４０２で、プロジェクタ１０２は点２０２で焦点を合わせられているが、この点は、オブジェクト１１０Ａ〜１１０Ｃがあるシーン１１４の後方に位置している。プロジェクタ１０２の焦点をシーン１１４の後方に合わせることにより、シーン１１４上に投影された光１１２Ａは投影デフォーカスが原因でぼやけ、双方向のデフォーカスによる曖昧さが回避される。ステップ４０４で、構造化パターン１１６がシーン１１４を横切って移動されるように、光１１２Ａはシーン１１４上に投影される。いくつかの実施形態では、構造化パターン１１６は、ストライプパターンとして符号化される０１１０１１０１１０１１．．．のような、２値の周期シーケンスであってもよい。他の実施形態では、構造化パターン１１６は異なるパターンで符号化することができる。いくつかの実施形態では、２値の周期シーケンスは３ビットごとの周期性を持っており、ストライプパターンの各ビットは８画素幅のストライプに相当する。他の実施形態では、２値のシーケンス周期は上記周期性より小さいかまたは大きくてもよく、ストライプパターンはより広いまたはより狭いストライプに相当してもよい。いくつかの実施形態では、構造化パターン１１６は一度に１画素移動され、合計２４のシーン１１４の画像が撮られる。他の実施形態では、構造化パターン１１６は異なる速度で移動されることができ、異なる数の画像を撮ることができる。

ステップ４０６で、シーン１１４内の表面の各点の放射輝度が、光センサ１０６の各画素においてある期間にわたって検出され、表面の各点の時間的な放射輝度プロファイルを取得する。構造化パターン１１６を持つ光１１２Ａが、シーン１１４を横切って移動されると、オブジェクト１１０Ｂおよび１１０Ｃはプロジェクタ１０２の焦点面２１６により近いので、すなわちこの光がオブジェクト１１０Ｂまたはオブジェクト１１０Ｃ越える場合、構造化パターン１１６はより良く焦点を合わせられているので、光は、オブジェクト１１０Ｂまたはオブジェクト１１０Ｃを横切る場合よりもオブジェクト１１０Ａを横切る場合に、（ぼやけたセクション１１３Ａ、１１３Ｂ、および１１３Ｃによって表されるように）よりぼけたように見える。

図２は、このことをより詳細に示している。オブジェクト１１０Ｃ、１１０Ｂ、および１１０Ａの表面の点にそれぞれ対応している３点２０４、２０６、および２０８は、構造化パターン２１２を持つ光が投影されるレンズ２１０による焦点面２１６の焦点ポイント２０２から異なる距離に位置している。プロジェクタ１０２の焦点ポイント２０２に投影された光は投影デフォーカスを起こさず、その放射輝度は図３Ａに示すように投影された光と等しい。しかしながら、点２０４上に投影された光は焦点が合っていないので、投影面２１４上に示されるような投影デフォーカスを起こし、図３Ｂに示すようにその放射輝度は小さくなる。点２０６上に投影された光は、焦点面２１６からさらに離れ、図３Ｃに示すようにその放射輝度がさらに小さくなるので、より大きな投影デフォーカス量を発生する。図３Ｄに示すように、点２０８の放射輝度は、さらに大きな投影デフォーカス量およびその結果生じたぼやけの影響を受ける。

図１は、シーン１１４の後方に位置する焦点面２１６から異なる距離にあるオブジェクト１１０Ａ〜１１０Ｃによって発生する異なる投影デフォーカス量も示している。焦点面２１６上に投影された光１１２Ａは、明瞭であり焦点が合っているように見える。光１１２Ａは、シーンを横切って移動されると、オブジェクト１１０Ａ〜１１０Ｃに当たる。オブジェクト１１０Ａ〜１１０Ｃはプロジェクタ１０２の被写界深度外にあり、したがって焦点がはずれているので、オブジェクト１１０Ａ〜１１０Ｃに当たる投影された光１１２Ｂ〜１１２Ｄは、ぼやけてしまう。オブジェクト１１０Ａがプロジェクタ１０２の焦点面２１６から最も遠くに位置しているので、オブジェクト１１０Ａ上に当たる投影光１１２Ｂは、（この場合もまた、ぼやけたセクション１１３Ａ、１１３Ｂ、および１１３Ｃによって表されるように）オブジェクト１１０Ｂおよびオブジェクト１１０Ｃにそれぞれ当たる投影光１１２Ｃまたは１１２Ｄよりもぼやけて見える。シーン１１４内の点の時間的な放射輝度プロファイルの強さは、図３Ａ〜図３Ｄに示すように、投影光１１２Ａ〜１１２Ｄがデフォーカスされる程度によって変わる。

ステップ４０８で、投影デフォーカス量が光センサ１０６の画素ごとに算出される。いくつかの実施形態では、周波数領域手法を用いて投影デフォーカス量を算出する。例えば、シーン１１４内の点の時間的な放射輝度プロファイルが与えられると、その点での投影デフォーカスすなわちぼやけは、その点の時間的な放射輝度プロファイルを式（２）：

ここで、

で表される離散時間フーリエ級数に分解することにより、量子化することができる。
デフォーカスカーネルｆ（ｘ；ｚ）はローパスフィルタなので、係数Ａ_Kがｋに関して小さくなる速さがデフォーカス量の尺度であり、そしてそれは次にその点での奥行きを算出するのに使用される。Ａ₀は周辺光βに依存するので、奥行きを算出するのに使用できず、残りの係数はすべてアルベドαによって変化するが、最初の２つの係数Ａ₁およびＡ₂の比率を用いて、投影デフォーカスが１次高調波に対してどれくらい激しく２次高調波を減衰させるかを決定することができる。したがって、奥行きは、式（３）：
θ＝Ａ₂／Ａ₁
ここで、Ａ₁＞Ａ₂＞０およびθ∈［０，１］
として表されるＡ₁およびＡ₂の比率を用いて算出することができる。

ステップ４１０で、光センサ１０６の各画素のシーンの奥行きが、画素ごとに算出された投影デフォーカス量を用いて算出される。いくつかの実施形態では、この奥行きの算出は、式（３）中のθの奥行きへのマッピングを較正することにより行われる。

図５は、異なる量の算出された投影デフォーカスに対応する奥行きを推定する説明図であるが、θの奥行きへのマッピングの較正をどのように行うことができるかを説明するのに参照される。最初に、プロジェクタ１０２の画素と光センサ１０６の画素との対応関係が算出される。この算出は、移動される正弦波を水平・垂直の両方向に投影することにより行われる。この技術は、非特許文献１に詳細に記載されており、その内容全体は参照により本明細書に組み込まれる。次に、発泡スチロール板のような均一な投影面５０２が同軸の光センサプロジェクタシステムの前に傾けられ、表面５０２上の各点の奥行きすなわち投影レンズ２１０からの各点の距離が、基準マーカ５０６Ａ〜５０６Ｄを備えた投影面５０２の画像を撮影することおよび表面５０２から投影レンズ２１０までのホモグラフィ(homography)を算出することにより算出される。表面５０２上のすべての点の奥行きはホモグラフィから算出することができ、それは表面５０２の位置および方向を推定する助けとなる。ホモグラフィから奥行きを算出する方法は、非特許文献２に記載されており、その内容全体は参照により本書に組み込まれる。

次に、表面５０２を横切る構造化パターン１１６のような構造化パターンを含んだ光５０４を切り替えること、および光センサ１０６の各画素の時間的な放射輝度プロファイルの離散フーリエ級数から最初の２つの係数を算出することにより、表面５０２上のすべての点のθ値を算出できる。次に、算出されたθに対する算出された奥行きのマッピングが、各画素または各列のルックアップテーブルに作表される。

再び図４を参照して、ステップ４１２で、シーン１１４の奥行きマップは、各画素のシーンの算出された奥行きを用いて生成される。図１に示すように、奥行きマップ１１８は、３つのオブジェクト１１０Ａ〜１１０Ｃを持つシーン１１４の正常な状態に戻された奥行き形状を示している。奥行きマップ１１８は、オブジェクト１１０Ａ〜１１０Ｃに対応する３つの２次元形状、１１９Ａ、１１９Ｂ、および１１９Ｃを含んでいる。オブジェクト１１９Ａ〜１１９Ｃの形状内の異なるテクスチャは、３つのオブジェクトの各々が異なる奥行き形状を持っていることを示している。

ステップ４１４で、シーン１１４の取り込まれた画像は、奥行きマップ１１８を使用して画質を向上させることができる。いくつかの実施形態では、シーンから取り込まれた画像とシーンを層に分割する奥行きマップとを使用して、任意の所望の奥行きに焦点が合っている画像を生成できる。例えば、３つのオブジェクト１１０Ａ〜１１０Ｃを持つシーン１１４から取り込まれた画像と、シーン１１４を３つの異なる層に分割する奥行きマップ１１８とを使用して、オブジェクト１１０Ａ〜１１０Ｃの各々に焦点が合った、再度焦点が合わせられた画像を生成できる。いくつかの実施形態では、原画像の奥行きマップを参照として用いて原画像を編集することにより、追加のオブジェクトを正しいオクルージョン効果で原画像に挿入することができる。

図６は、本開示された主題のいくつかの実施形態に係る、シーンの奥行きマップを用いてシーンから取り込まれた画像にオブジェクトを挿入するグラフィカルな説明図である。図示のように、複数の奥行き層に配置された５枚のポーカーカードを含んだシーン６０２の奥行きマップ６０４を使用して、ポーカーカードの第１層と第２層との間のシーン６０２に三角形６０６を挿入することにより、新しい画像６０８を生成することができる。奥行きマップ６０４を参照することにより、三角形６０６を正しいオクルージョン効果で画像６０２に挿入することができる。他の可能な画質の向上として、ビューモーフィング、マッティング(matting)のセグメント化、オブジェクトの置換、および影の除去のための複合シーンの階層表現の生成が挙げられる。

ここで、図７および図８を共に参照して補償画像を生成する方法を説明する。図７Ａは、投影面形状に基づいて投影デフォーカスを補償するシステム７００の概略図である。図示のように、システム７００は、プロジェクタ７０２と、ビームスプリッタ７０４と、光センサ７０６と、デジタル処理装置７０８とを含んでいる。プロジェクタ７０２、ビームスプリッタ７０４、光センサ７０６、およびデジタル処理装置７０８は、図１のプロジェクタ１０２、ビームスプリッタ１０４、光センサ１０６、およびデジタル処理装置１０８と同一またはほぼ類似のものであってもよい。プロジェクタ７０２は、非平面の投影構造体７１０上に画像を投影するのに使用される。いくつかの実施形態では、デジタル処理装置７０８は、プロジェクタ７０２および光センサ７０６に接続されている。ビームスプリッタ７０４を用いて、プロジェクタ７０２、および光センサ７０６は、光センサ７０６とプロジェクタ７０２とが同一光学中心を共有する光学的に同軸の構成で配置されている。非平面の投影構造体７１０は、種々の奥行きの複数の表面を持つ構造、ドーム、または好適な形状を持つ任意の他の構造であってもよい。

図８は、投影デフォーカスを補償する方法８００の簡単な説明図である。ステップ８０２で、入力された画像は非平面の投影構造体７１０のような投影構造体上に投影される。プロジェクタ７０２からの照明による表面の点の放射輝度は、投影デフォーカス方程式すなわち式（１）によって表すことができる。ステップ８０４で、投影された画像のシーンの放射輝度が光センサ７０６の各画素で検出される。光センサ７０６は人間の目の代わりに使用される。方法８００は、補償画像を投影することにより、光センサ７０６によって検出されたシーンの放射輝度を入力された画像と同じになるようにする。補償画像は、補償画像を取得する方程式として、投影デフォーカス方程式すなわち式（１）を解くことにより得ることができる。この解は、式（４）として下に示されている。
Ｐ^*＝（αｆ）^-1＊（Ｉ−β）
ここで、（αｆ）^-1はカーネルαｆの逆数である。

ステップ８０６で、光センサ７０６の各画素のデフォーカスカーネルが算出される。いくつかの実施形態では、周辺項βは、プロジェクタ７０２を消して画像を撮影することにより得られる。光センサ７０６の各画素に対するカーネルαｆを得るために、光センサ７０６が光センサ７０６の各画素において投影構造体７１０からのドットパターンの放射輝度を検出するように、プロジェクタ７０２は、投影構造体７０８にわたって図７Ｂに示されたパターンのようなドットパターンをある期間にわたって投影することができる。デジタル処理装置７０８によって得られた光センサ６０６の各画素の時間的な放射輝度プロファイルは、各画素のデフォーカスカーネルとして使用することができる。

ステップ８０８で、補償画像が、検出された放射輝度および算出されたデフォーカスカーネルを用いて生成される。いくつかの実施形態では、補償画像を算出する問題が、式（５）：

ここで、ｘはプロジェクタ７０２中の画素の座標であり、ｄ（・，・）は像距離行列によって表される制約された最小化問題として提示される。式（５）は、プロジェクタ７０２のダイナミックレンジ内のすべての輝度値を使用して、入力された画像Ｉに最もよく適合する補償画像Ｐ^*を見つける。いくつかの実施形態では、画素差の二乗和が像距離行列ｄ（・，・）を構築するのに使用される。デフォーカス畳み込みαｆ＊Ｐが行列乗算ＦＰとして表される反復、制約、最急降下アルゴリズムを適用することにより、補償画像を見つけることができるが、ここでＦの各行はそのアルベドによって変調された対応する画素のデフォーカスカーネルである。アルゴリズムはＰ₀＝Ｉで始まり、次の２つの方程式、式（６）および式（７）をそれぞれ反復する。

ここで、Ｇ_i＝Ｆ^T（Ｉ−β−ＦＰ_i）、η_i＝‖Ｇ_i‖²／‖ＦＧ_i‖²、ＣＬＡＭＰは画素に関するクランプ演算である。Ｇ_iは、Ｐに対する像距離‖ＰＦ＋β−Ｉ‖²の勾配である。Ｇ_iを評価することは、カーネル行列ＦおよびＦ^Tによる２つの画像フィルタリングをそれぞれ包含する。これらのフィルタリングは、空間により変化し、シーンに依存する。式（６）は、式（４）の解に収束する標準の最急降下アルゴリズムである。しかしながら、式（６）および式（７）を組み合わせることにより、焦点がぼけた補償画像とプロジェクタ７０２のダイナミックレンジを持つ入力された原画像との間の差が最小化される。ステップ８１０で、補償画像を投影面上に投影することができる。

ここで、図９および１０を共に参照してピクセレーション・アーティファクトを補償する方法を説明する。図９は、いくつかの実施形態に係る、ピクセレーション・アーティファクトを補償するシステム９００の概略図である。図示のように、システム９００は、プロジェクタ９０２と、ビームスプリッタ９０４と、光センサ９０６と、デジタル処理装置９０８とを含んでいる。プロジェクタ９０２、ビームスプリッタ９０４、光センサ９０６、およびデジタル処理装置９０８は、図１のプロジェクタ１０２、ビームスプリッタ１０４、光センサ１０６、およびデジタル処理装置１０８と同一またはほぼ類似のものであってもよい。プロジェクタ９０２は、単一の前額平行スクリーン９１０上、すなわち従来の投影面上に画像を投影するのに使用されている。いくつかの実施形態では、デジタル処理装置９０８は、プロジェクタ９０２および光センサ９０６に接続されている。ビームスプリッタ９０４、プロジェクタ９０２、および光センサ９０６は、光センサ９０６とプロジェクタ９０２とが同一光学中心を共有する光学的に同軸の構成で配置されている。

図１０は、ピクセレーション・アーティファクトを補償する方法１０００の簡単な説明図である。ステップ１００２で、ピクセレーション・アーティファクト９１２の影響を受けている画像が投影スクリーン９１０上に投影される。ステップ１００４で、プロジェクタ９０２は、該プロジェクタ９０２を投影スクリーン９１０の少し前方または後方に焦点を合わせることによりデフォーカスされ、その結果投影スクリーン９１０上の画像がわずかにぼやけ、それにより少量の光が画素間のデッドゾーンに漏れる。しかしながら、その結果、画像はここで、投影デフォーカスおよびその結果生じたぼやけ効果の影響を受ける。しかし、生じたぼやけは非常にわずかなので補償可能である。ステップ１００６で、デフォーカスされたプロジェクタ９０２によって投影された画像のシーンの放射輝度は、各画素において光センサ９０６により検出される。ステップ１００８で、各画素におけるデフォーカスカーネルは、図８のステップ８０６に関連して説明した方法と同一またはほぼ同一の方法で算出できる。ステップ１０１０で、補償画像は、図８のステップ８０８に関連して説明した方法と同一またはほぼ同一の方法で、検出された放射輝度および光センサ９０６の各画素において算出されたカーネルを使用して生成される。ステップ１０１２で、補償画像を投影スクリーン９１０上に投影することができる。

本発明を前述の実例となる実施形態において説明および図示したが、本開示は例示としてのみなされたものであり、本発明の実施の詳細における多くの変更を本発明の精神および範囲から逸脱することなく行うことができることは理解されるべきであろう。本開示された実施形態の特徴を種々の方法で組み合わせおよび再配置することができる。

本開示された主題のいくつかの実施形態に係る、プロジェクタのデフォーカス特性を用いて光センサの各画素において奥行きを正常な状態に戻すためのシステムの概略図である。本開示された主題のいくつかの実施形態に係る、各点の時間的な放射輝度プロファイルを得ることによりシーン内の各点の奥行きを推定する原理の説明図である。本開示された主題のいくつかの実施形態に係る、プロジェクタの投影面から異なる距離にある点においてある期間にわたり取得された時間的な放射輝度プロファイルの説明図である。本開示された主題のいくつかの実施形態に係る、プロジェクタの投影面から異なる距離にある点においてある期間にわたり取得された時間的な放射輝度プロファイルの説明図である。本開示された主題のいくつかの実施形態に係る、プロジェクタの投影面から異なる距離にある点においてある期間にわたり取得された時間的な放射輝度プロファイルの説明図である。本開示された主題のいくつかの実施形態に係る、プロジェクタの投影面から異なる距離にある点においてある期間にわたり取得された時間的な放射輝度プロファイルの説明図である。本開示された主題のいくつかの実施形態に係る、シーンの奥行きマップを生成および使用する方法の簡単な説明図である。本開示された主題のいくつかの実施形態に係る、異なる量に対して算出された投影デフォーカスに対応する奥行きを推定する説明図である。本開示された主題のいくつかの実施形態に係る、シーンの奥行きマップを用いてシーンから取り込まれた画像にオブジェクトを挿入するグラフィカルな説明図である。本開示された主題のいくつかの実施形態に係る、投影面形状に基づいて投影デフォーカスを補償するシステムの概略図である。本開示された主題のいくつかの実施形態に係る、光センサの各画素のデフォーカスカーネルを推定するのに使用されるドットパターンの説明図である。本開示された主題のいくつかの実施形態に係る、投影デフォーカスを補償する方法の簡単な説明図である。本開示された主題のいくつかの実施形態に係る、ピクセレーション・アーティファクトを補償するシステムの概略図である。本開示された主題のいくつかの実施形態に係る、ピクセレーション・アーティファクトを補償する方法の簡単な説明図である。

Claims

シーン画像および奥行き形状を取り込むシステムであって、
シーンに対してデフォーカス可能であり、移動する周期的照明パターンを持つ光を前記シーン上に投影するプロジェクタと、
複数の画素を持ち、該画素の各々において前記シーンの少なくとも１つの画像の放射輝度の一部を検出する光センサと、
該光センサに接続可能なデジタル処理装置と、
を有し、該デジタル処理装置は、
前記画素の各々の前記放射輝度から時間的な放射輝度プロファイルをある期間にわたって取得し、
前記時間的な放射輝度プロファイルを用いて前記画素の各々の投影デフォーカス量を算出し、
前記画素の各々において、該画素の前記投影デフォーカス量を用いて前記画素における前記シーンに対する奥行きを算出する、
シーン画像および奥行き形状を取り込むシステム。
前記シーンの取り込まれた画像を表示する、前記デジタル処理装置に接続された表示装置をさらに有する、請求項１に記載のシステム。
前記デジタル処理装置は又、前記画素の各々における前記シーンに対する前記奥行きを用いて前記シーンを層に分割する奥行きマップを生成する、請求項１に記載のシステム。
前記デジタル処理装置は又、前記奥行きマップを用いて種々の焦点の前記シーンの画像を生成する、請求項３に記載のシステム。
前記デジタル処理装置は又、前記奥行きマップを用いて前記シーンの画像を変更する、請求項３に記載のシステム。
前記移動する周期的照明パターンは、一度に少なくとも１画素移動される複数画素幅のストライプパターンを有する、請求項１に記載のシステム。
前記プロジェクタおよび前記光センサは、ビームスプリッタを使用して光学的に同軸上に配置される、請求項１に記載のシステム。
前記ビームスプリッタは迷光を吸収するチャンバ内に置かれる、請求項７に記載のシステム。
前記プロジェクタは、前記プロジェクタの焦点を前記シーンの後方に合わせることにより該シーンに対してデフォーカスされる、請求項１に記載のシステム。
前記光センサはカメラを含む請求項１に記載のシステム。
補償画像を生成するシステムであって、
投影構造体に画像を投影するプロジェクタと、
複数の画素を持ち、該画素の各々において前記画像の前記放射輝度の一部を検出する光センサと、
前記光センサおよび前記プロジェクタに接続可能なデジタル処理装置と、
を有し、該デジタル処理装置は、
前記画素の各々のデフォーカスカーネルを算出し、
前記放射輝度および前記デフォーカスカーネルを用いて補償画像を生成する、
補償画像を生成するシステム。
前記プロジェクタは、前記画像がピクセレーションを持っているかどうかに基づいてデフォーカスされる、請求項１１に記載のシステム。
前記投影構造体は、異なる奥行き層において複数の表面を持った非平面の投影構造体を有する、請求項１１に記載のシステム。
前記投影構造体は平面の投影スクリーンを含む請求項１１に記載のシステム。
前記プロジェクタは又、前記投影構造体に前記補償画像を投影する、請求項１１に記載のシステム。
前記プロジェクタは、ビームスプリッタを使用して前記光センサと光学的に同軸上に配置される、請求項１１に記載のシステム。
シーン画像および奥行き形状を取り込む方法であって、
移動する周期的照明パターンを持つデフォーカス画像をシーン上に投影するステップと、
複数の画素の各々において前記デフォーカス画像の放射輝度の一部を検出するステップと、
前記画素の各々の前記放射輝度から時間的な放射輝度プロファイルをある期間にわたって取得するステップと、
前記時間的な放射輝度プロファイルを用いて前記画素の各々の投影デフォーカス量を算出するステップと、
前記算出された投影デフォーカス量を用いて前記画素の各々における前記シーンに対する奥行きを算出するステップと、
を含むシーン画像および奥行き形状を取り込む方法。
前記シーンの取り込まれた画像を表示するステップをさらに含む、請求項１７に記載の方法。
前記画素の各々における前記シーンに対する前記奥行きを用いて、前記シーンを層に分割する奥行きマップを生成するステップをさらに含む、請求項１７に記載の方法。
前記奥行きマップを用いて種々の焦点の前記シーンの画像を生成するステップをさらに含む、請求項１９に記載の方法。
前記奥行きマップを用いて前記シーンの画像を変更することにより新しい画像を生成するステップをさらに含む、請求項１９に記載の方法。
前記画像を変更することは、前記画像に少なくとも１つの新しいオブジェクトを挿入することを含む、請求項２１に記載の方法。
前記移動する周期的照明パターンは、一度に少なくとも１画素移動される複数画素幅のストライプパターンを有する、請求項１７に記載の方法。
前記デフォーカス画像は前記シーンの前方に焦点を合わせられている、請求項１７に記載の方法。
補償画像を生成する方法であって、
画像を投影するステップと、
複数の画素の各々において前記画像の放射輝度の一部を検出するステップと、
前記画素の各々のデフォーカスカーネルを算出するステップと、
前記放射輝度および前記デフォーカスカーネルを用いて補償画像を生成するステップと、
を含む補償画像を生成する方法。
前記画像がピクセレーションを持っているかどうかに基づいて、投影された前記画像をデフォーカスするステップをさらに含む、請求項２５に記載の方法。
前記画素の各々の前記デフォーカスカーネルを推定するステップは、前記画像を投影して該画像の前記放射輝度を検出する前に完了する、請求項２５に記載の方法。
前記画素の各々の周辺光に基づいて周辺の放射輝度を検出するステップをさらに含む、請求項２５に記載の方法。
前記画素の各々の前記デフォーカスカーネルを推定するステップは、
移動する周期的照明パターンを持つ光を投影するステップと、
前記画素の各々の時間的な放射輝度プロファイルをある期間にわたって生成するステップと、
を含む請求項２５に記載の方法。
前記移動する周期的照明パターンはドットパターンを含む請求項２９に記載の方法。
前記補償画像を投影するステップをさらに含む請求項２５に記載の方法。
プロセッサによって実行される場合に、前記プロセッサにシーン画像および奥行き形状を取り込む方法を実行させるコンピュータ実行可能な命令を含んだコンピュータ可読媒体であって、前記方法が、
移動する周期的照明パターンを持つデフォーカス画像をシーン上に投影するステップと、
複数の画素の各々において前記デフォーカス画像の放射輝度の一部を検出するステップと、
前記画素の各々の前記放射輝度から時間的な放射輝度プロファイルをある期間にわたって取得するステップと、
前記時間的な放射輝度プロファイルを用いて前記画素の各々の投影デフォーカス量を算出するステップと、
投影デフォーカスの前記測定量を用いて、前記画素の各々における前記シーンに対する奥行きを算出するステップと、
を含むコンピュータ可読媒体。
前記方法が、前記シーンの取り込まれた画像を表示するステップをさらに含む、請求項３２に記載のコンピュータ可読媒体。
前記画素の各々における前記シーンに対する前記奥行きを用いて、前記シーンを層に分割する奥行きマップを生成するステップをさらに含む、請求項３２に記載のコンピュータ可読媒体。
前記奥行きマップを用いて種々の焦点の前記シーンの画像を生成するステップをさらに含む、請求項３４に記載のコンピュータ可読媒体。
前記奥行きマップを用いて前記シーンの画像を変更することにより新しい画像を生成するステップをさらに含む、請求項３４に記載のコンピュータ可読媒体。
前記画像を変更することは、前記画像に少なくとも１つの新しいオブジェクトを挿入することを含む、請求項２１に記載の方法。
前記移動する周期的照明パターンは、一度に少なくとも１画素移動される複数画素幅のストライプパターンを有する、請求項３２に記載のコンピュータ可読媒体。
前記デフォーカス画像は前記シーンの前方に焦点を合わせられている、請求項３２に記載のコンピュータ可読媒体。
プロセッサによって実行される場合に、前記プロセッサに補償画像を生成する方法を実行させるコンピュータ実行可能な命令を含んだ、コンピュータ可読媒体であって、前記方法が、
画像を投影するステップと、
複数の画素の各々において前記画像の放射輝度の一部を検出するステップと、
前記画素の各々のデフォーカスカーネルを算出するステップと、
前記放射輝度および前記デフォーカスカーネルを用いて補償画像を生成するステップと、
を含むコンピュータ可読媒体。
前記画像がピクセレーションを持っているかどうかに基づいて、投影された前記画像をデフォーカスするステップをさらに含む、請求項４０に記載のコンピュータ可読媒体。
前記画素の各々の前記デフォーカスカーネルを推定するステップは、前記画像を投影して該画像の前記放射輝度を検出する前に完了する、請求項４０に記載のコンピュータ可読媒体。
前記画素の各々の周辺光に基づいて周辺の放射輝度を検出ステップことをさらに含む、請求項４０に記載のコンピュータ可読媒体。
前記画素の各々の前記デフォーカスカーネルを推定するステップは、
移動する周期的照明パターンを持つ光を投影するステップと、
前記画素の各々の時間的な放射輝度プロファイルをある期間にわたって生成するステップと、
を含む請求項４０に記載のコンピュータ可読媒体。
前記移動する周期的照明パターンはドットパターンを含む、請求項４４に記載のコンピュータ可読媒体。
前記方法は前記補償画像を投影するステップをさらに含む、請求項４０に記載のコンピュータ可読媒体。
シーン画像および奥行き形状を取り込むシステムであって、
移動する周期的照明パターンを持つデフォーカス画像をシーン上に投影する手段と、
複数の画素の各々において前記デフォーカス画像の放射輝度の一部を検出する手段と、
前記画素の各々の前記放射輝度から時間的な放射輝度プロファイルをある期間にわたって取得する手段と、
前時間的な放射輝度プロファイルを用いて前記画素の各々の投影デフォーカス量を算出する手段と、
前記算出された投影デフォーカス量を用いて前記画素の各々における前記シーンに対する奥行きを算出する手段と、
を有するシーン画像および奥行き形状を取り込むシステム。
前記シーンの取り込まれた画像を表示する手段をさらに有する請求項４７に記載のシステム。
前記画素の各々における前記シーンに対する前記奥行きを用いて、前記シーンを層に分割する奥行きマップを生成する手段をさらに有する、請求項４７に記載のシステム。
前記奥行きマップを用いて種々の焦点の前記シーンの画像を生成する手段をさらに有する、請求項４９に記載のシステム。
前記奥行きマップを用いて前記シーンの画像を変更することにより新しい画像を生成する手段をさらに有する、請求項４９に記載のシステム。
前記画像を変更する手段は、前記画像に少なくとも１つの新しいオブジェクトを挿入する手段を有する、請求項５１に記載のシステム。
前記移動する周期的照明パターンは、一度に少なくとも１画素移動される複数画素幅のストライプパターンを有する、請求項４７に記載のシステム。
前記デフォーカス画像は前記シーンの前方に焦点を合わせられている、請求項４７に記載のシステム。
補償画像を生成するシステムであって、
画像を投影する手段と、
複数の画素の各々において前記画像の放射輝度の一部を検出する手段と、
前記画素の各々のデフォーカスカーネルを算出する手段と、
前記放射輝度および前記デフォーカスカーネルを用いて補償画像を生成する手段と、
を有する補償画像を生成するシステム。
前記画像がピクセレーションを持っているかどうかに基づいて、投影された前記画像をデフォーカスする手段をさらに有する、請求項５５に記載のシステム。
前記画素の各々の前記デフォーカスカーネルは、前記画像が投影されて前記放射輝度の一部が検出される前に完了する、請求項５５に記載のシステム。
前記画素の各々の周辺光に基づいて周辺の放射輝度を検出する手段をさらに有する、請求項５５に記載のシステム。
前記画素の各々の前記デフォーカスカーネルを算出する手段は、
移動する周期的照明パターンを持つ光を投影する手段と、
前記画素の各々の時間的な放射輝度プロファイルをある期間にわたって生成する手段と、
を有する請求項５５に記載のシステム。
前記移動する周期的照明パターンはドットパターンを含む請求項５９に記載のシステム。
前記補償画像を投影する手段をさらに有する、請求項５５に記載のシステム。