JP2010025927A - 物体の３ｄ形状を求める装置および方法 - Google Patents

Abstract

【課題】シーン内の物体から取得される単一画像から視体積交差領域を生成し、３Ｄ形状を求める装置および方法を提供する。
【解決手段】物体１０１は、照明され、複数のシルエットが、マスクと同一平面状にあるとともに、当該マスクに密に近接している拡散スクリーン上に投じられる。このような拡散スクリーンから取得される単一画像は、シルエットに従って、複数のサブビューに分割される。次いで、二値画像の等値面に従って、物体の視体積交差領域が構築され、物体の３Ｄ形状１０３が近似されることとなる。
【選択図】図１

Description

本発明は、包括的には物体の画像を取得することに関し、より詳細には、単一画像から物体の３Ｄ形状を求めることに関する。

光場
光場は、空間内のすべての点を通じて全方向において進行する光を記述する関数である。光場は、ピンホールカメラアレイ、プリズムおよびレンズ、小型レンズアレイを有する多数のカメラ、またはヘテロダイン式カメラによって取得することができ、小型レンズアレイは減衰マスクに置き換えられる。

符号化開口画像形成
天文画像形成および医学画像形成においては、符号化開口を使用してＸ線およびガンマ線を取得する。高周波減衰パターンは、全体照明の影響と直接照明の影響とを分離し、焦点がぼけた画像からの強度および深度を推定し、グレアの影響を最小限に抑えることができる。

シルエット
シーン内の物体が点光源によって照明されると、投じられる影が物体の輪郭すなわちシルエットを形成する。本明細書において、影およびシルエットという用語は交換可能に使用される。本明細書において使用される場合、シルエットの分析は多数のコンピュータビジョン用途にとって重要である。１つの方法は、照明を含む全体、および表面の反射特性、並びに可視性制約を使用する。フーリエベースの関数によってシルエットを分析することができる。

視体積交差領域
これまで、視体積交差領域は、一般的に複数の画像から生成されてきた。視体積交差領域は、特徴マッチングを一切実施することなく物体の３Ｄ形状を近似する。しかしながら、視体積交差領域はカメラ較正誤差の影響をかなり受けやすい。この影響の受けやすさは、画像の数が増加するに従ってますます顕著になり、結果としてモデルの品質が乏しくなる。１つの方法は、物体を回転させながら固定カメラを用いて物体の複数の画像を取得することによってこの問題を回避する。

シーン内の物体から取得される単一画像から視体積交差領域を生成することが望まれている。

装置および方法は、シーン内の物体の３Ｄ形状を求める。物体は複数の光源によって照明され、それによって、複数のシルエットが、ピンホールマスク、および当該マスクと同一平面上にあるとともに当該マスクの後ろに密に近接している拡散スクリーン上に見える。拡散スクリーンから取得される単一画像は、シルエットに従って複数のサブビューに分割される。すなわち、各サブビューは１つのシルエットを含み、各サブビューがセグメント化されて、シルエットの対応する二値画像が得られる。次いで、二値画像内のシルエットの等値面に従って物体の視体積交差領域が構築され、物体の形状が近似される。

本発明者らの知識の限りでは、本発明は、視体積交差領域を生成する最初の単一カメラ、ワンショット手法を提供する。

本方法は、移動照明またはプラグラム可能照明を必要としない。本明細書において定義される遮蔽場（shield fields）は、効率的な影の計算、容積マスクおよびホログラフィマスクを含む多数の実際的用途、並びに４Ｄ光場変換のような一般的な放射線減衰効果のモデル化に利用することができる。

本発明の実施形態による、物体の３Ｄ姿勢を求めるシステムの概略図である。 本発明の実施形態による、２つの平面を使用する光場パラメータ化の概略図である。 本発明の実施形態による、図２の平面における遮蔽関数の概略図である。 本発明の実施形態による、さまざまな遮蔽物構成の遮蔽場に対応する影関数の概略図である。 本発明の実施形態による、平行且つ同一空間を占める２つの平面として分解される複合遮蔽物の近似の概略図である。 本発明の実施形態による、さまざまな分解能における例示的なマスキングパターンの概略図である。 本発明の実施形態による、図６のさまざまなパターンの角度分解能の関数としての平均透過率を比較するグラフである。 本発明の実施形態による、視体積交差領域の生成の流れ図である。

図１は、本発明の実施形態による、シーン１０２内の物体１０１の３Ｄ形状１０３を求める遮蔽場カメラシステム１００を概略的に示す。単一画像から構築される視体積交差領域が物体の３Ｄ形状を近似する。

本明細書において定義される場合、視体積交差領域１０３は、本発明の、形状−シルエット３Ｄ再構築方法（shape-from-silhouette 3D reconstruction method）８００によって生成される幾何モデルである。図８を参照されたい。シルエットは、３Ｄ物体の、画像平面上への２Ｄ投影すなわち影である。この画像を前景二値画像と背景二値画像とにセグメント化することができる。前景すなわちシルエットは、対応する３Ｄ前景物体の２Ｄ投影である。カメラビューイングパラメータとともに、シルエットは、実際の物体を含む、背面投影される一般化円錐を画定する。

システムは、照明源１１０と、減衰マスク１２０と、拡散スクリーン１３０と、センサ１４０とを備える。

照明源１１０は、大型ライトボックス、または点光源１１１のセットとすることができる。たとえば、このセットは、点光源の６×６アレイを１．２ｍ×１．２ｍスカフォールド１１２上に均一に含む。各点光源は、７００ｍＡにおいて１８０ルーメンを生成する３ｍｍＬＥＤである。

マスク１２０は、エマルジョンプリンタを使用して、たとえば５０８０ＤＰＩで１００μｍポリエステル基材上に印刷される。物体源とマスクとの間の距離は約１メートルである。ピンホールパターン、正弦和（sum-of-sinusoidal）（ＳｏＳ）ヘテロダインパターン、および、修正均一冗長アレイ（ＭＵＲＡ）符号のような二値広帯域パターンを含む、マスクの多数の可能なパターンは後述する。図６を参照されたい。

拡散スクリーンは照明源に対してマスクの後ろに配置される。７５ｃｍ×５５ｃｍ拡散スクリーン１３０は、Ｇｒａｆｉｘ ＧＦＸ透明ベラム紙から形成される。マスクおよびスクリーンは、３枚の３ｍｍ厚積層安全ガラス１２５の板の間に挿入される。任意の数の異なる交換可能なマスクを使用することができる。図６を参照されたい。このガラス板によって、マスクおよび拡散スクリーンが同一平面上にあり、互いに密に近接する、すなわち分離がごく数ミリメートルであることが確実となる。

センサ１４０は、単一の８．０メガピクセルデジタルカメラである。センサは、シーンの単一画像Ｉ １４１を取得する。カメラは、本明細書において説明される方法８００を実施するプロセッサ１５０に結合される。プロセッサは、当該技術分野において既知であるような、必要な計算を実施するためのメモリと、入出力構成要素とを備える。

物体１０１の３Ｄ形状を求めるために、カメラは単一の３４５６×２３０４ピクセル画像１４１を記録する。一実施形態において、マスク１２０内のピンホールは、空間分解能Ｎ_ｘ＝１５１ピクセルで、且つ角度分解能Ｎ_θ＝１１ピクセルで均一に離間されている。これらの値はより詳細に後述する。こうして、カメラは、ナイキストサンプリング定理に従って空間寸法および角度寸法の両方を２倍にオーバーサンプリングする。これらの設計パラメータおよびシステムの物理寸法を下記の式（１４）に代入すると、マスクと当該マスクの後ろの拡散スクリーンとの間の距離は約３ｍｍになり、それによって、ＬＥＤのそれぞれによって生成される陰影像（shadowgrams）が復元される。

遮蔽場
光線空間および周波数領域における遮蔽場分析を使用して容積（volumetric）遮蔽を説明する。簡潔にするために、１Ｄ画像平面に入射する２Ｄ光場を説明するが、これは２Ｄ画像平面に入射する４Ｄ光場に容易に拡張することができる。入射光は、単一波長を有し、遮蔽物、たとえば物体１０１は、光を反射せず、また屈折させない。

図２に示すように、光場は２平面パラメータ化を使用してパラメータ化される。第１の面２０１の空間寸法がｘであり、入射光線２１０が、第１の平面に平行であるとともに当該第１の平面からある角度単位距離だけ離れている第２の平面２０２と交差する位置がθである。遮蔽物がない場合、受光器平面における入射光場はｌ_{ｒｅｃｅｉｖｅｒ}（ｘ、θ）と規定される。

ここで、受光器平面の正面に配置されている遮蔽物１０１を考える。

遮蔽物がない場合、受光器平面は入射光場ｌ_{ｉｎｃｉｄｅｎｔ}（ｘ、θ）を記録する。おそらくは非二値減衰体である遮蔽物ｏ（ζ）が、受光器平面の正面に距離ｚだけ離れている別の平行な遮蔽物平面に位置しているものと仮定する。

まず、この遮蔽物の入射光場に対する影響を求める。光線（ｘ、θ）を後方へたどることによって、光線がζ＝ｘ−ｚθで遮蔽物平面に交差することが分かる。結果として、遮蔽物ｏ（ζ）が存在する場合の受け取られる光場ｌ_{ｒｅｃｅｉｖｅｒ}（ｘ、θ）は、入射光場にｏ（ｘ−ｚθ）を乗算することによって与えられる。

概して、遮蔽場ｓ（ｘ、θ）を以下のように入射光場に適用される減衰関数として定義する。

入射角の関数としての均等な減衰の場合について、平面的遮蔽物の遮蔽場はｓ（ｘ、θ）＝ｏ（ｘ）である。この場合、ｏ（ζ）を、既知のランバート反射体の例と同様の「ランバート遮蔽物」と呼ぶ。この場は、放射器から受光器平面までの各光線の経路に沿って衝突する遮蔽平面に起因する各光線の減衰を定量化する。

物理的には、遮蔽場は、入射照明が均一である、すなわちすべての光線が等しい放射輝度を有する場合には、遮蔽物（またはシーン全体の複数の遮蔽物）に起因する、結果として生じる光場である。遮蔽場は、均一な照明下での４Ｄ減衰を説明するため、遮蔽場は遮蔽物の空間減衰のみに依存することが分かる。これによって、遮蔽物と光場とを分離することができる。

平面的遮蔽物
遮蔽場のスペクトル特性は周波数領域分析を使用して説明される。この分析を、遮蔽場を取得するとともに、本発明の設計に関連するサンプリング問題を理解するために、本発明の光場カメラシステム１００の設計に適用する。

以下の説明において、ｓ（ｘ、θ）の２Ｄフーリエ変換ＳはＳ（ｆ_ｘ、ｆ_θ）であり、ｆ_ｘは空間寸法ｘにおける周波数であり、ｆ_θは角度寸法θにおける周波数である。

遮蔽物平面
遮蔽物平面において減衰パターンｏ（ζ）を有する平面的遮蔽物に起因する遮蔽場はｓ（ｘ、θ）＝ｏ（ｘ）である。これは、遮蔽物平面における遮蔽場が空間寸法ｘに依存するが、角度寸法θには依存しないことを意味する。フーリエ変換は、ｆ_ｘ軸に沿って集中されるスペクトルＯ（ｆ_ｘ）におけるすべてのエネルギーを集中させる。したがって、以下のようになる。

これはθ≠０の場合はゼロになる。ディラックのデルタ関数δは、ｘ＝０の場合はδ（ｘ）＝１、その他の場合はδ（ｘ）＝０と定義される。

受光器平面
受光器平面において、ｓ（ｘ、θ）＝ｏ（ｘ−ｚθ）である。２Ｄフーリエ変換を行うことによって、以下が得られる。

式中、ｊ＝√（−１）である。

ｕ＝ｘ−ｚθおよびｖ＝θを代入することによって、ｘ＝ｕ＋ｚｖが得られる。変数を変更することによって、上記積分は以下をもたらす。

遮蔽物平面２０１に関して図３に示すように、遮蔽関数ｏ（ζ）は方形波である。遮蔽物平面において、遮蔽場はθに平行な線を有する。これは、減衰が空間寸法のみに依存するためである。受光器平面において、線は平行なままであるが、距離ｚに応じて回転している。遮蔽場のフーリエ変換は線３０１に集中し、受光器平面における遮蔽場スペクトルのすべてのエネルギーは、ｆ_θ＋ｆ_ｘｚ＝０によって与えられる線に沿って存在する。この線の傾斜は、遮蔽物と受光器平面との間の距離によって決まる。ｚ＝０の場合、この線はｆ_ｘ軸に一致する。ｚ＝∞において、この線はｆ_θ軸に一致する。ｚが０から無限大に増大するにつれて、線の傾斜は０ラジアンからπ／２ラジアンまで増大する。

一般遮蔽物
一般遮蔽物をモデル化する。一般遮蔽物とは、シーン１０２内の任意の位置にある半透明な物体または不透明な物体の任意の集まりを意味するものとする。このような一般的なシナリオに関する遮蔽場の分析表現を導出することは困難である。本発明では、受光器平面に平行な複数の平面から成るセットを使用することによって一般遮蔽物を近似することを選択する。これらの平面のそれぞれの影響は、単一平面の遮蔽場方程式を使用して分析的に求めることができる。次いで、遮蔽場全体を個々の遮蔽場の積として求めることができる。

図４は、さまざまな遮蔽物構成の遮蔽場に対応する影関数を示す。図４に示すように、遮蔽物４０１または複数の遮蔽物４０１’が受光器平面（ＲＰ）からｚ_ｍｉｎ〜ｚ_ｍａｘの距離に配置されている。この場合、遮蔽場４０２のスペクトルは、ｚ_ｍｉｎおよびｚ_ｍａｘに対応する、フーリエ領域における２本の傾斜した線の間にある。遮蔽場は、遮蔽物の形状およびそのＲＰからの距離のみに依存する。また、遮蔽場のフーリエ変換は、ｚ_ｍｉｎおよびｚ_ｍａｘ、すなわち遮蔽物の深度範囲に依存する２本の傾斜線の間にあることに留意されたい。

遮蔽物（物体）を、距離｛ｚ_１、・・・、ｚ_ｋ｝にあるｋ個の平行な平面の組合せとして近似する。受光器平面座標系における組合せ遮蔽場ｓ（ｘ、θ）は、個々の遮蔽場の積によって与えられる。したがって、以下のようになる。

図５はこの近似を示し、複雑な遮蔽物が平行且つ同一空間を占める２つの平面として分解されている。すなわち、一般遮蔽物は、ｋ個の平行な平面にあるいくつかの遮蔽物の組合せとみなすことができる。図２は、ｋ＝２個の平面として近似された遮蔽物を示している。受光器平面における組合せ遮蔽場を、ｋ個の平面のそれぞれに対応する個々の遮蔽場を単純に乗算する（×）ことによって得ることができる。

この例において、また一般的に、遮蔽場の組合せフーリエ変換を、以下のような、この近似における各平行平面の個々の遮蔽場のフーリエ変換の畳み込みとして計算することができる。

受光器平面のモデル化
受光器の表面が平面である場合、照明源１１０によって投じられるシルエットは、単純にθ方向に沿った受け取られる光場の投影である。これは、周波数領域技法を使用して効率的に計算することができる。

フーリエスライス定理は、２Ｄ光場の投影の１Ｄフーリエ変換は、その２Ｄフーリエ変換の１Ｄスライスと等価であると述べている。結果として、投じられるシルエットは、入射光場のフーリエ変換のスライスを評価して、その逆フーリエ変換を計算することによって計算することができる。

一般に、受光器表面は非平面的であり得る。このような表面に関して、シルエットは遮蔽場の積分として得られる。積分の領域は受光器表面の形状に依存する。特定の表面構成に関して、これらの積分を数値的に評価することができる。代替的に、任意の複雑な受光器を、別の一連の平行平面によって処理することができる。

光場カメラ
このセクションでは、本発明の遮蔽場カメラ１００を使用した遮蔽場の取得に焦点を当てる。遮蔽場カメラは、実世界の物体によって投じられるシルエットの画像を取得するのに最適化された光場カメラおよび関連付けられる照明源１１０である。物体の遮蔽場を測定した後、単一の測定値（画像）からその視体積交差領域１０３を構築して、リアルタイムの視体積交差領域の適用を容易にする。

本発明の遮蔽場カメラ１００の１つの設計は、上記の分析に直接に基づいている。単一光場カメラ１４０は物体１０１を含むシーン１０２に向けられる。シーンは大面積照明源１１０によって照明される。本発明のシステムにおいて、物体１０１の遮蔽場ｓ_{ｏｃｃｌｕｄｅｒ}（ｘ、θ）を、シーン内に遮蔽物が存在していない状態で撮影される較正画像を使用して復元することができる。この場合、カメラは入射光場ｌ_{ｉｎｃｉｄｅｎｔ}（ｘ、θ）を直接記録する。

式１から、遮蔽物を、遮蔽物の光場ｌ_{ｏｃｃｌｕｄｅｒ}（ｘ、θ）によって、および入射光場によって、以下のように復元することができることが分かる。

入射光場は、すべてのサンプリングされた光線（ｘ、θ）に関して非ゼロであるはずである。したがって、光場カメラ１４０の視野をカバーする大面積照明源を使用する。角度サンプリングビン当たり１つの光源を有する点光源アレイを使用することもできる。

本発明の遮蔽場システムは、２つの一次要素を有する。大判光場カメラ１４０が受光表面としての役割を果たす。受光器−物体基線ｌ_{ｒｅｃｅｉｖｅｒ}は約１メートルである。照明源の面積は受光表面の面積よりも大きく、それによって、視野が満たされる。大きな２ｍ×２ｍライトボックス、または点光源（ＬＥＤ１１１）の均一なアレイｌ_{ｅｍｉｔｔｅｒ}を使用する。これらの表面が約１メートルの距離ｄ_{ｅｍｉｔｔｅｒ}だけ離れている場合、直径約１／２メートル以下の物体の遮蔽場を取得することができる。

本発明のカメラの１つの基準は、非常に大きな受光器基線を達成することである。遮蔽場を離散的にサンプリングするために、容易に制御可能な空間サンプリングレートおよび角度サンプリングレートを有するカメラも必要である。従来技術において、カメラアレイは、基線が大きい光場を記録して視体積交差領域モデルを構築するのに使用されてきた。本発明では、単一センサカメラを使用して同様の基線を達成する。単一カメラを使用することによって、多カメラシステムに固有の較正および同期の問題をなくす。

拡散スクリーンの正面の小型レンズアレイを使用して画像の均一なアレイを形成する代わりに、減衰マスク１２０を使用する。利点として、プリントマスクは比較的容易に作成され、任意の大きなサイズに拡大することができる。

ヘテロダインパターン
これまで、光場を取得するための２種類の減衰パターン、すなわち、ピンホールの均一なアレイ、および正弦ヘテロダインパターンのみを説明してきた。

これらのパターンの両方を、本発明の遮蔽場カメラに採用する。上記の周波数領域分析を適用することによって、より広いクラスの等価なタイル化広帯域（tiled-broadband）符号の形成に一般化する。

本発明において説明されるパターン群は網羅的であり、マスクベースの光場カメラのためのすべての可能な平面減衰パターンを含み、そのうちの１つが正弦和（ＳｏＳ）パターンまたは高周波パターンである。

この説明を簡潔にするために再び、２Ｄ光場をサンプリングするための１Ｄ減衰パターンを使用する。４Ｄ光場取得のための２Ｄパターンへの一般化はこの分析に直接従う。

ピンホールアレイ
平面遮蔽物１０１がマスク１２０から短い距離ｄ_{ｐｉｎｈｏｌｅ}を置いて配置される。一実施形態において、マスクは均一に離間されたピンホールを含む。ピンホールアレイ遮蔽物関数ｏ_{ｐｉｎｈｏｌｅ}（ζ）は以下の通りである。

式中、ａ_０はピンホール間の距離であり、隣接するピンホールからの画像が重ならないことを確実にするように選択される。したがって、以下のようになる。

この構成において、各ピンホールの後ろの画像は、シーンのわずかに異なるビューであり、したがって入射光場の空間的変化および角度的変化をサンプリングする。周波数領域分析をピンホールアレイに適用する。入来する光場は

および

に帯域を制限される。

フーリエスライス定理から、センサにおける画像は、ｆ_θ＝０の入射光場スペクトルに沿った水平スライスである。マスクがない場合、１Ｄセンサは、２Ｄ光場スペクトルのスライスを取得することしかできない。マスクが含まれる場合、遮蔽場ｓ_{ｐｉｎｈｏｌｅ}（ｘ、θ）は以下のようになる。

したがって、ピンホールアレイ遮蔽場のフーリエ変換は以下のようになる。

式中、ω_０＝２π＝ａ_０である。受光平面における遮蔽場スペクトルは、ｆ_θ＋ｆ_ｘｄ_{ｐｉｎｈｏｌｅ}＝０によって与えられる線に沿った一連のパルスを有する。この遮蔽場の全体的な効果は、入射光場を、各パルスの中心におけるスペクトル複製を生成することによって変調することである。変調後、センサスライスは、光場スペクトル全体の情報を含む。

正弦和
本発明の用途にはピンホールアレイで十分であるが、ピンホールアレイは入射光を大幅に減衰させる。これによって、非常に明るい光源または長い露出が必要になり、それによって、リアルタイムの適用が妨げられ得る。しかしながら、上記分析から、その遮蔽場のスペクトルが規則的な一連のパルスから成っている限り、あらゆる減衰パターンを使用することができることが分かっている。

代替的な減衰パターンを得る１つの方法は、式１１によって与えられる所望の遮蔽場スペクトルＳ_{ｐｉｎｈｏｌｅ}（ｆ_ｘ、ｆ_θ）の打ち切り（truncated）逆フーリエ変換を評価する。この場合、以下の遮蔽場は結果として、ピンホールアレイと等価な変調をもたらし、但し、Ｎ_ｘはｘ寸法における所望のサンプリングレートであり、Ｎ_θはθ寸法における所望のサンプリングレートである。

この遮蔽場スペクトルは、「正弦和」（ＳｏＳ）パターンをセンサから距離ｄ_ＳｏＳを置いて配置することによって、以下の遮蔽関数を用いて達成することができる。

ここで、マスクの位置は以下のようになる。

式中、ｆ_ｘ０＝Ｎ_ｘ＝（２ｌ_{ｒｅｃｅｉｖｅｒ}）であり、ｆ_θＲ＝１＝ｌ_{ｅｍｉｔｔｅｒ}である。この減衰パターンは、基本周波数ω_０および（ｎ−１）＝２個の高調波を有する等位相正弦波関数の総和である。

したがって、本発明の遮蔽場分析は、従来の光場取得方法を統一し、ＳｏＳマスクがピンホールアレイを自然に発展させたものであることを示す。ＳｏＳパターンは、全透過率に関して大幅により効率的である。一般に、４Ｄ光場取得のための２Ｄ ＳｏＳマスクは、１１×１１ピクセル以上の角度分解能で入射光の約１８％を透過する。

一般タイル化広帯域パターン
ＳｏＳパターンはピンホールよりも優れているが、本発明の適用に対しては依然として制限を提示する場合があることが認められる。まず、ＳｏＳパターンは連続値関数である。ライトバルブ技術（ＬＶＴ）印刷工程のように、連続階調フィルムレコーダを使用してこのようなパターンを印刷することを検討した。市販のＬＶＴプリンタは通常、１５２４ＤＰＩで最大約２５ｃｍ×２０ｃｍの印刷を可能にする。本発明では、約１メートルの本発明の所望のセンサ基線ｄ_{ｓｅｎｓｏｒ}を達成するために、いくつかの印刷パターンをタイル化する必要がある。ピンホールアレイとＳｏＳマスクとの主要な共通点は、それらがともに周期関数であることである。

代替的に、２つの主要な特性、すなわち、最小減衰、および、１メートルを超える幅を有する継ぎ目のないマスクを生成することが可能な、関連付けられる複数の市販の印刷工程を有する、等価なヘテロダインパターンを使用することができる。

フーリエ変換の基本的な結果として、連続周期関数のスペクトルは、そのフーリエ級数によって与えられる離散値のセットから成る。周期Ｔの周期関数によって定義される、単一タイルの遮蔽関数がｏ_ｔｉｌｅ（ζ、Ｔ）であると仮定すると、フーリエ変換Ｏｔｉｌｅ（ｆζ、Ｔ）は以下のようになる。

式中、ｆ_ζ０＝２π／Ｔであり、離散フーリエ級数の係数Ｏ_ｔｉｌｅ［ｋ；Ｔ］は以下の通りである。

任意の周期関数のスペクトルは複数のパルスの重み付き組合せから成る。ピンホールアレイおよびＳｏＳ関数の係数Ｏ_ｔｉｌｅ［ｋ；Ｔ］を検査すると、これらの係数はすべてのｋに対してほぼ一定であることが分かる。換言すれば、任意のヘテロダインパターンの個々のタイルは、広帯域になるはずである。加えて、すべてのマスク関数は正の実数値関数でなければならないため、この級数内の係数の数は（Ｎ_θ−１）／２に等しいと結論付けられる。但し、Ｎ_θは所望の角度分解能である。

この条件が下記の式（１５）を使用して満たされる場合、マスクによって生成される遮蔽場は、既知の位相シフトまではピンホールアレイと常に等価である。加えて、一般広帯域符号はセンサから、ＳｏＳ符号と同じ距離を置いて配置することができ、等しい周期を有する。

すべてのヘテロダインマスクの一般特性を求めた後、最小減衰を達成するとともに大判印刷工程を使用して生成することができるパターンを発見することができる。一般に、二値パターンは印刷が容易である。たとえば、フォトリソグラフィ印刷に使用される市販のプリンタは、７０ｃｍ×５０ｃｍまでで５０８０ＤＰＩの透明度を生成することが可能である。

修正均一冗長アレイ（ＭＵＲＡ）パターンは既知の二値広帯域符号であり、天文画像形成および医学画像形成に使用されている。ＭＵＲＡパターンは入射光の約５０％を透過する。これによって、露出時間を、ＳｏＳパターンと比較して約２．７倍削減することができる。

このパターンは、Ｘ線画像形成においてピンホール開口と等価であることが既知である。本発明者らは、このようなパターンのタイル化アレイがピンホールのタイル化アレイを近似することもできると認識している。この結論は重要である。本発明の遮蔽場の統一理論およびタイル化広帯域符号が本発明者らをこの認識に至らしめたことを強調しておく。

本発明のシステムに使用される特定のタイル化ＭＵＲＡ減衰パターンを定義する。素寸法ｐ×ｐの二次元ＭＵＲＡ遮蔽関数は以下のようになる。

但し、（ｎ、ｍ）はマスク平面における直交ピクセル座標であり、Ｃ_ｐ［ｋ］は以下のようなヤコビ記号である。

ＳｏＳパターンまたはピンホールパターンと異なり、ＭＵＲＡパターンは角度分解能ｐ＝Ｎ_θが素数である場合にのみ使用することができる。タイル化ＭＵＲＡパターンは、本発明の適用および一般的なヘテロダイン光場取得に対して、光全透過率に関して最適な減衰パターンを提供する。ＭＵＲＡパターンは、低コスト且つよりスケーラブルな印刷工程を使用しながら、他の符号よりも大幅に小さい減衰を提供する。

図６は、さまざまな分解能におけるいくつかの例示的なマスキングパターンを示しており、明瞭にするために黒と白とを反転させている。

図７は、図６に示すさまざまなパターンの角度分解能の関数としての平均透過率を比較するグラフである。ＳｏＳタイルは、大きな角度分解能に向かって約１８％の透過率に収束する。対照的に、タイル化ＭＵＲＡ符号は、所望のあらゆる角度分解能に対して約５０％の透過率を維持する。結果として、ＭＵＲＡタイルによる露出時間は、等価なＳｏＳマスクよりも約２．７倍短い。

遮蔽場からの視体積交差領域
物体１０１の３Ｄ視体積交差領域１０３を構築するために、拡散スクリーンの画像を、本発明のヘテロダイン復号方法８００を使用して復号する。これによって、入射光場の推定値が生成される。十分に高い角度サンプリングレートでは、放出器表面に沿った各サンプルは、小さい面積のソースに対応する。一定の角度分解能素子に関する４Ｄ光場の各２Ｄスライスは、各放出器素子によって生成される個別の陰影像を含む。

不都合なことに、拡散スクリーンは、本発明の角度分解能を約１１×１１ピクセルに制限する。この理由から、照明源１０１が点光源１１１の均一なアレイである場合に、より良好な結果を得ることができる。ここで、単一の光場画像は、隣接する角度サンプル間のクロストークが最小である各点光源によって生成される陰影像１３１を含む。本発明の解決策は、所与の画像のために単一の点光源しか使用しない従来の形状−シルエットシステムの主要な制限を効率的に解決する。

図８に示すように、本発明の形状−シルエット３Ｄ再構築方法８００を使用して、物体１０１の３Ｄ形状１０３を求めることができる。

画像１４１内の検知された光場は、シルエットに従ってＮ個の個別の陰影像すなわちサブビュー｛Ｉ_１（ｕ_１）、・・・、Ｉ_Ｎ（ｕ_Ｎ）｝８１１に分割され（８１０）、ここでｕ_ｊはｊ番目のサブビュー内のピクセルであり、Ｉ_ｊ（ｕ_ｊ）は正規化画像強度である。

各サブビューの投影式はｕ_ｊ＝π_ｊ（ｑ）であり、これは、再構築容積内の３Ｄ点ｑに関して、ｑをｊ番目のサブビュー内のある位置にマッピングする。

空間カービングを使用して、各サブビューＩ_ｊ（ｕ_ｊ）をセグメント化して（８２０）対応する二値画像ｐ_ｊ（ｕ_ｊ）８２１を得る。セグメント化は、クラスタリング、領域拡張、および、対応する二値画像を表現する確率論的方法のような他の方法を使用することもできる。空間カービング手法は、再構築される物体を包含する初期再構築を生成する。次いで、再構築の表面の、入力画像と一致しない点が除去される。各二値画像において、物体内に含まれる各点ｑはｐ_ｊ（π（ｑ））＝１である。ｐ_ｊ（ｕ_ｊ）＝０の場合、πｊ（ｑ）＝ｕ_ｊである３Ｄ点ｑのいずれも物体内に存在しない。これはｊ＝｛１、・・・、Ｎ｝に対して当てはまるため、物体内のすべての点ｑに対してｐ（ｑ）＝１であることが分かる。ここで、以下のようになる。

点ｑが物体の外側にある条件は、この積の係数のうちの１つがゼロであることである。複数の二値画像を有することで、視体積交差領域は十分復元される。したがって、次いで、物体１０１の視体積交差領域１０３を、二値画像の等値面に従って構築する（８５０）ことができる。

しかしながら、本発明のサブビューは分解能が低いため、閾値化操作によって、正規化画像強度に含まれる物体の３Ｄ形状に関する有用な情報が失われる可能性がある。したがって、任意選択で各ピクセルｐ_ｊ（ｕ_ｊ）＝Ｉ_ｊ（ｕ_ｊ）を設定して、ｐ（ｑ）を、当該ピクセルを表す確率密度関数とみなすことができる。確率ｐ（ｑ）が低い場合、ピクセルｑが物体の外側にある可能性が非常に高い。

本発明の画像は、スクリーンの拡散構築に起因する、変化する信号対雑音比（ＳＮＲ）を有する場合がある。このＳＮＲを低減するために、確率論的方法、およびシーン内に物体がない状態で取得される較正光場画像８３２を使用して、任意選択で確度画像ｃ_ｊ（ｕ_ｊ）８３１を推定する（８３０）こともでき、それによって高ＳＮＲピクセルの場合はｃ_ｊ（ｕ_ｊ）≒１となり、低ＳＮＲピクセルの場合はｃ_ｊ（ｕ_ｊ）≒０となる。

次いで、確度重み付き確率密度関数（ＰＤＦ）８４１を以下のように形成する（８４０）。

次いで、この改良における物体１０１の視体積交差領域１０３が、確率密度関数の等値面に従って構築される（８５０）。

分析
遮蔽場の離散的なサンプリングに起因する影響を説明する。遮蔽場ｓ_０（ｘ、ｙ）を平行な平面に関連付けられる２つの座標系、すなわち放出器平面上のｙ座標、および受光器平面上のｘ座標の関数とみなす。変数ｓ（ｘ、θ）＝ｓ_０（ｘ、ｙ）の変化は関係式ｄ_{ｅｍｉｔｔｅｒ}θ＝ｘ−ｙによって得られる。

角周波数！＝２πｆの正弦減衰パターンｏ（ζ）＝ｃｏｓ（ω ζ）を有する、放出器平面および受光器平面に平行に、且つ受光器平面から距離ｚを置いて放出器平面と受光器平面との間に配置される遮蔽物平面を考える。

まず、以下のように定義される離散遮蔽場のパルスサンプリングを考える。

式中、ｎおよびｍは整数であり、Δｘは受光器平面のサンプリング周期であり、Δｙは放出器平面におけるサンプリング周期である。

連続領域において、以下の式が得られる。

その結果、以下のようになる。

ナイキストサンプリング定理は、エイリアシングを回避するために、サイクルごとに少なくとも２回サンプリングすることを必要とする。これによって、以下の２つの不等式がもたらされる。

これらの制約から、深度ｚにおける、復元することができる最短波長が以下のようになることが分かる。

サンプリングプロセスのためのより現実的なモデルを、積分サンプリングを使用して達成することができる。ここで、以下のようになる。

この場合、直接的導出によって以下がもたらされる。

式中、ｓ［ｎ、ｍ］は上記で導出されたパルスサンプリングの表現である。

角周波数ωがパルスサンプリング制約を満たす場合、これらの２つの追加の係数は常に非ゼロであるため、補償することができる。この結果、最短波長に対する制約はパルスサンプリングの場合と同じになる。

カメラ内のレンズの歪みを補正した後、一次システムの制限が拡散スクリーン１３０から生じる。その設計に起因して、拡散スクリーン１３０はある量の表面下散乱を有し、システムの点広がり関数（ＰＳＦ）を増大させる。このＰＳＦは、記録された画像内の１．４×１．４ピクセル領域に対応する拡散器平面における約３００μｍの半値幅を有するものと仮定する。

ガラス板１２５を完全に平坦に形成することはできないため、マスクと拡散器との間の距離は画像にわたってゆるやかに変化する。この制限からサブビュー内の低周波変動が生じ、隣接するサブビュー間にさらなるクロストークももたらされる。

各点光源１１１の較正画像を記録することによって、これらの影響を低減することができる。代わりに、本発明の視体積交差領域手法が、陰影像推定値において確度の低いピクセルを拒絶することが可能となる。

Claims (21)

1. シーン内の物体の３Ｄ形状を求める装置であって、
   照明源と、
   前記物体が、前記シーン内で前記照明源との間に配置されるマスクと、
   前記マスクと同一平面上にあるとともに、該マスクに密に近接しており、前記光源に対して該マスクの後ろにある拡散スクリーンと、
   前記物体が前記照明源によって照明されて前記拡散スクリーン上に複数のシルエットを投じている間に、前記拡散スクリーンの単一画像を取得するように構成されるセンサと、
   前記画像を、それぞれが前記複数のシルエットのうちの１つを含む、複数のサブビューに分割する手段と、
   前記サブビュー内の前記シルエットに従って、前記物体の前記３Ｄ形状を近似する視体積交差領域を構築する手段と
   を備えるシーン内の物体の３Ｄ形状を求める装置。
2. 前記照明源は、点光源のアレイを含む請求項１に記載の装置。
3. 前記照明源は、高周波照明パターンを放射する請求項１に記載の装置。
4. 前記マスクは、ポリエステル基材上に印刷される請求項１に記載の装置。
5. 前記マスクは、ピンホールのパターンを含む請求項１に記載の装置。
6. 前記マスクは、正弦和ヘテロダインパターン、または周波数領域におけるパルスを生じる任意の他の連続パターンを含む請求項１に記載の装置。
7. 前記マスクは、周波数領域におけるパルスを生じる任意の二値パターンを含む請求項１に記載の装置。
8. 前記二値パターンは、修正均一冗長アレイ符号のタイル化である請求項１に記載の装置。
9. 前記拡散スクリーンは、透明ベラム紙から形成される請求項１に記載の装置。
10. 前記マスクと前記拡散スクリーンとの間の距離は、略３ミリメートルである請求項１に記載の装置。
11. 前記マスクと前記拡散スクリーンとの間の距離は、遮蔽場の所望の角度分解能および空間分解能に基づく請求項１に記載の装置。
12. 前記センサは、デジタルカメラである請求項１に記載の装置。
13. 前記ピンホールは、ある空間分解能およびある角度分解能で均一に離間される請求項５に記載の装置。
14. 前記照明源は、前記拡散スクリーンの面積よりも大きい面積を有するライトボックスである請求項１に記載の装置。
15. 前記構築する手段は、
    対応する二値画像を得るために、各前記サブビューを閾値化する手段と、
    前記二値画像の等値面に従って前記物体の前記視体積交差領域を構築する手段と
    をさらに備える請求項１に記載の装置。
16. シーン内の物体の３Ｄ形状を求める方法であって、
    マスク、および該マスクと同一平面上にあるとともに、該マスクに密に近接し、前記照明源に対して該マスクの後ろにある拡散スクリーン上に複数のシルエットが投じられるように、前記シーン内の前記物体を照明することと、
    前記拡散スクリーンの単一画像を取得することと、
    前記画像を前記シルエットに従って複数のサブビューに分割することと、
    前記サブビュー内の前記シルエットに従って前記物体の前記３Ｄ形状を近似する視体積交差領域を構築することと
    を含むシーン内の物体の３Ｄ形状を求める方法。
17. 前記構築することは、
    対応する二値画像を得るために、各前記サブビューを閾値化することと、
    前記二値画像の等値面に従って前記物体の前記視体積交差領域を構築することと
    をさらに含む請求項１６に記載の方法。
18. 前記マスクは、ピンホールのパターンを含む請求項１６に記載の方法。
19. 前記マスクは、正弦和ヘテロダインパターン、または周波数領域におけるパルスを生じる任意の他の連続パターンを含む請求項１６に記載の方法。
20. 前記マスクは、二値広帯域パターンを含む請求項１６に記載の方法。
21. 各前記画像内のピクセルは、確率密度関数によって表される請求項１６に記載の方法。

Images