JP2010504522A - 3次元モデル取得のための方法及びシステム - Google Patents

3次元モデル取得のための方法及びシステム Download PDF

Info

Publication number
JP2010504522A
JP2010504522A JP2009529162A JP2009529162A JP2010504522A JP 2010504522 A JP2010504522 A JP 2010504522A JP 2009529162 A JP2009529162 A JP 2009529162A JP 2009529162 A JP2009529162 A JP 2009529162A JP 2010504522 A JP2010504522 A JP 2010504522A
Authority
JP
Japan
Prior art keywords
image
illuminated
depth
shape information
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009529162A
Other languages
English (en)
Other versions
JP5317206B2 (ja
Inventor
チヤン,ドン−チン
ヘクマツト イザツト,イザツト
アーサー デレンバーガー,マイク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2010504522A publication Critical patent/JP2010504522A/ja
Application granted granted Critical
Publication of JP5317206B2 publication Critical patent/JP5317206B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

画像から形状情報を取得するシステム及び方法は、人間の目では知覚できないレートで光エネルギを供給するように構成された変調光の光源を含んでいる。カメラが、一方の画像には光源からの光が含まれており、他方の画像には光源からの光が含まれていない差分画像ペアが得られるレートで画像を取得するように構成されている。比較モジュールが、差分画像ペアを比較して、3次元モデルの作成用の奥行きマップを作成するように構成されている。

Description

本発明は、概してデジタル・グラフィックスに関し、より詳しくは画像の3次元モデルを取得するシステム及び方法に関する。
3次元(3D)モデルの取得は、3Dジオメトリ・リカバリー(3次元形状復元)、3Dシェープ・リコンストラクション(3次元形状再構成)等と呼ばれているが、例えばイメージ・センサにより撮られた画像からの物体及びシーンの3次元形状(多くの場合、多項式メッシュとして表される)の復元を伴う難易度の高い課題である。物体の奥行き情報、即ち3次元(3D)形状の復元については、相当な研究が為されている。ある技術は、ストラクチャードライト法(structured_light_method)と呼ばれる各手法のカテゴリーに属している。ストラクチャードライト法とは、物体の表面に特殊な設計の光パターンを投射し、その被投射パターンの変形を分析することによって奥行き(即ち、物体の表面上の点とカメラとの距離)を推定することによって、物体の3次元形状を復元する方法である。
多数の3次元形状復元技術の中で、構造化光(ストラクチャードライト)による手法は、精度が高く、且つ、リアルタイムで実施できるので、実際の各アプリケーションにとって有望である。それにもかかわらず、現在の構造化光による手法には、実際のモデルへの適用を妨げる制約が幾つかある。例えば、正確な取得を実現する為には、高出力光と高コントラスト・パターンを物体の表面に投射する必要がある。これは、多くの場合、映画のシーンに於ける俳優等の人間の被写体にとっては受け入れ難い。
また、現在の構造化光の技術は、通常、物体表面上にはテクスチャ(texture)が殆ど無いか、或いは、全く無いことが前提として必要である。物体にテクスチャが存在すると、それは構造化光パターンの様相に影響を及ぼすことになる。従って、テクスチャによって精度が著しく低下することが有り得る。更に、取り込まれた画像やビデオが、例えば映画製作のようなコンテンツ作成にも使用される場合、画像及びビデオ内に構造化光が存在することは多くの場合において望ましくない。
種々の3D取得技術は、能動的手法と受動的手法に分類することが出来る。受動的手法は、通常の照明条件下で撮られた画像又はビデオから3D形状を取得する。3D形状は、画像及びビデオから抽出された形状的特徴又は測光学的特徴を用いて計算される。非常に広く使用されている手法の2つとして、ステレオ・アルゴリズム技術と測光学的技術がある。ステレオ・アルゴリズム技術は、視角が異なる2台のカメラで撮ったステレオ画像ペアの差異に基づいて奥行きを推定する。差異は、ステレオ画像ペア内の各ピクセルを比較し、座標差を計算することによって、推定される。測光学的技術は、各表面方位によって生ずる陰影効果(shading_effect)に基づいて表面の垂線を推定する。実際の画像については、両技術とも、不正確であり、計算コストが高くなる。ステレオ・アルゴリズムは、平坦な領域(テクスチャの無い領域)上の各ピクセルの奥行きを推定することが出来ない。測光学的技術は、物体表面のデータ(即ち、双方向反射率分布関数(BRDF:Bidirectional_Reflectance_Distribution_Function))がアプリオリに既知である必要がある。
一方、能動的手法によれば、高精度とリアルタイム・スピードを実現することができる。例えばレーザ走査は、表面にレーザ光を投射して、飛行時間原理に基づいて、或いは、光パターンの変形に基づいて奥行きを推定する処理を含む技術である。しかしながら、レーザ走査は、その適用範囲が非常に限られている。
構造化光と呼ばれるもう1つの技術が、当業分野において好適である。構造化光の技術は、可視パターン又は非可視(赤外線)パターンを物体の表面に投射して、そのパターンの変形に従って奥行きを推定する。構造化光の方式は、コンピュータ映像の研究者の間で広範囲に研究されている。現時点での先進技術としては複合構造化光があり、これは、単一のストライプに代わる複数のストライプとカラー構造化光とを用いて、色により各ストライプを区別及び識別する。しかしながら、高精度の奥行き推定を実現するには、表面テクスチャが構造化光パターンに干渉しないように、この手法では、構造化光の強度が高く、且つ/又は、表面が滑らかである必要がある。従って、現時点で利用できる技術を用いた実際の物体の3D形状の復元は、煩わしさがあり、且つ、不正確である。
本発明のコンセプトは、実際の物体の3次元形状情報及び画像を、高精度かつリアルタイム・スピードで取得する方法及びシステムを提供することによって、従来技術の不具合に対処することにある。
本発明の一態様では、画像の形状情報を取得する方法が、人間の目では知覚できない変調レートの構造化パターンで物体を照光することと、第1の画像が照光されており、第2の画像が照光されていない差分画像ペアが得られるレートで物体の画像を取り込むことと、差分画像ペアを比較して物体についての形状情報を求めることとを含んでいる。この方法には、更に、照光されなかった画像のシーケンスを復元するためにフレーム選択プロセスを実施することを含むことが出来る。
本発明の他の態様では、画像の形状情報を取得するシステムが、人間の目では知覚できないレートで光エネルギを供給して物体を照光するように構成された変調光の光源と、第1の画像が照光されており、第2の画像が照光されていない差分画像ペアが得られるレートで物体の画像を取り込むように構成されたカメラと、差分画像ペアを比較して物体についての形状情報を求めるように構成された比較モジュールとを備えている。このシステムの比較モジュールは、上記変調光の求められた構造化パターンの変形に従って、物体の奥行きを推定するように構成された奥行き推定器と、奥行きマップから各3次元メッシュを求めて物体の3次元モデルを求めるように構成された変換モジュールと、変調光により照光されたフレームを除去して、変調光により照光されなかった画像のシーケンスを再生用又は表示用に生成するように構成されたフレーム選択モジュールと、を備えることが出来る。
本発明の開示事項は、以下に述べる詳細な説明と添付の図面とにより容易に理解できる。
本発明の一実施形態に従って画像から形状情報を取得するシステムのハイレベルのブロック図である。 本発明の一実施形態に従って画像の形状情報を取得する方法を示す図である。 本発明の一実施例に従って奥行きマップを生成する差分分析プロセスを示す図である。 本発明の一実施形態に従って画像の形状情報を取得する方法のフロー図である。 本発明の一実施形態に従って照光画像を含まない画像シーケンス、即ち、ビデオを生成する為に実施されるフレーム選択プロセスを示す図である。
尚、各図面は、本発明のコンセプトを例示する為のものであって、必ずしも本発明を説明する唯一可能な構成であるという訳ではないことを理解されたい。理解を容易にする為、各図に共通の同一要素は、可能な場合、同一参照番号を用いて示している。
本発明は、画像から3次元モデルを取得する方法及びシステムを提供することによって、従来技術の不具合に対処するものである。本発明を主にビデオ記録システムの範囲内で説明するが、本発明の特定の実施形態が本発明の権利範囲を制限するものであると見なすべきではない。当業者であれば、本発明の開示事項の説明により、本発明のコンセプトが、形状情報の取得に使用できる実質的にあらゆるデジタル撮像システムに有利に適用可能であり、且つ/又は、電話機、デジタル・カメラ、ムービーカメラ等によるデータの記録を含むあらゆる記録システムに適用可能であることが理解できるであろう。即ち、以下の説明は本発明の原理を例示するものであり、従って、当業者であれば、本明細書に明示的に示されていなくても、本発明の原理を具現化する、本発明の範囲内に含まれる様々な構成を案出できることが理解できるであろう。
各図に示されている各要素は、ハードウェア、ソフトウェア、或いは、それらの組み合わせの形態で実施できる。好ましくは、これらの要素は、ハードウェアとソフトウェアとの組み合わせの形態で、1つ以上の適切にプログラミングされた汎用装置により実施される。当該汎用装置は、プロセッサ、メモリ、及び、入力/出力インタフェースを備えることが出来る。従って、例えば、当業者であれば、本願に於けるブロック図が、本発明の原理を具現化する回路例の概念図を表していることが理解できるであろう。同様に、フローチャート、フロー図、状態遷移図、及び、擬似コード等が種々のプロセスを表しており、その種々のプロセスは、実質的にコンピュータで読み取り可能な媒体内において表現することができ、従って、明示されているか否かに関らず、コンピュータまたはプロセッサによって実行することが出来ることが理解できるであろう。
図1には、本発明の一実施形態に従って画像から形状情報を取得するシステムのハイレベルのブロック図が示されている。図1のシステム100は、例として、コンピュータ105、光源104、カメラ108、及び、記録すべき画像、即ちシーン103を含んでいる。図1のシステム100に於いて、コンピュータは、例として、光制御モジュール102を含んでおり、この光制御モジュール102には、光源104と比較モジュール110とを制御する種々のプログラムが記憶されている。コンピュータ105の比較モジュール110には、例として、奥行き推定器112、変換モジュール114、及び、フレーム選択モジュール116が含まれている。
図1のシステム100に於いて、点滅(フリッカリング)光、即ち変調光の光源104が、シーン103内の物体113上に構造化光パターンを投射する。カメラ108は、構造化光によって照光されるシーンを取り込む比較的高いフレーム・レートを有している。本発明の一実施形態では、カメラのフレーム・レートは、構造化光の点滅レートに等しいか、或いは、それより高い。図1の光源104は、PC105に接続されており、PC105は、構造化光パターンの生成を制御し、フリッカリング効果をシミュレートする。構造化パターンは、例えば、光制御モジュール102内の格納プログラム107によって生成することが出来る。即ち、フリッカリング効果は、プログラム107内に含まれているディテールに従って光パターンのオン/オフを切り替えることによって得られる。
光源に起因して物体上に生じる光擾乱を最小限に抑える為に、本発明の一実施形態では、図1のシステム100は、人間の視覚系が知覚できないように十分に高い点滅周波数(例えば、60Hz以上)の光源104を用いている。即ち、当該光源は、点滅光の光源の周波数がある閾値を超えると人間の目の知覚が実質的に低下する現象に基づいて、人間の目に見えない構造化光を発生する。従って、カメラ108を使用して物体を撮像する場合、その光は目に見えず、擾乱は、たとえあっても最小限となる。画像は、比較的高いフレーム・レートで、差分画像ペアとして取り込まれる。差分画像ペアは、一方が構造化光によって照光されており、他方が照光されていない、取り込まれた画像シーケンスに於ける2枚の連続画像から成る。この差分画像ペアに於ける画像相互間の差分を分析することによって、物体表面上のテクスチャの除去が可能になる一方、構造化光パターンの形と色が保持される。
例えば本発明の一実施形態では、コンピュータ105の比較モジュール110は、差分画像ペアに於ける画像相互間の差分を分析して、シーン内の物体の非照光部分を除去する。即ち、本発明の一実施形態では、差分分析には、構造化光パターンを含む画像と構造化光パターンを含まない画像とを比較して、あらゆる差分を求める処理が含まれている。
図2には、本発明の一実施形態に従って、画像の形状情報を取得する方法の適用例の図が示されている。図2に於いて、本発明の実施形態に従う構造化光パターン126が、カメラ108によって差分画像ペア120の第1の画像128内で取得される。カメラ108によって取り込まれる各ペア120の第2の画像130には構造化光パターンが含まれていない。
例えば、本発明の一実施形態に於いて、カラー構造化光が、被照光物体の奥行きを推定するのに使用されるカラー・ストライプをシーン上に投射する。より詳しくは、カメラ108が見た表面上の点に於けるカラー・ベクトルをS=[S,S,Sと定義すると、プロジェクタ・クロストーク行列は次の等式(1)の通りに記述することができ、
Figure 2010504522
そして、シーンのアルベド行列は次の等式(2)の通りに記述することができ、
Figure 2010504522
更に、プロジェクタの照光ベクトルはP=[pcosθ,pcosθ,pcosθ]と記述することができ(ここで、θは表面垂線とプロジェクタの入射光との間の角度)、環境照明ベクトルはE=[e,e,eと記述することができ、周辺光ベクトルはO=[o,o,oと記述することができる。上述の数量は、次の等式(3)に従って関連付けることができる。
Figure 2010504522
カメラによって観測されるカラー・ベクトルSが与えられると、照光ベクトルP内の構造化光カラーp,p,pが求められる。p,p,pが求められると、その各値は、構造化光パターンにマッチングされ、物体の表面上の相対点の奥行きの推定に使用される。差分画像ペアに於ける2つのフレームの差分を求めることによって、環境照明光及び周辺光の各々の作用は、次の等式(4)の通りに記述することができる。
Figure 2010504522
ここで、S(t)及びS(t+1)は、カメラが時間t及びt+1で取り込むフレームである。クロストーク行列Xを推定して、δSにX−1を乗算することによって、カメラ・プロジェクタ修正ステージFPを求めることが出来る。しかしながら、シーンのアルベド・ベクトルFと、照光ベクトルに於ける表面配向項とは、依然として除去する必要がある。これを実現するには、空間差分に基づく方法を用いてアルベド及び表面配向を取り除く。本発明の一実施形態では、シーンのアルベド・ベクトルFPは、次の等式(5)の通りに記述することができる。
Figure 2010504522
通常、アルベド・マップは区分的にコンスタントであり、かつ表面は滑らかであるので、隣接ピクセルのアルベドが上記と実質的に同じであると仮定すると、上記等式(5)に於いて、θは局部領域内でコンスタントに近い。更に、ピクセル1とピクセル2が隣接ピクセルであると仮定すると、シーン・アルベドと表面配向項とを除外して書き換えた等式(5)は、次の等式(6)の通りに記述することができる。
Figure 2010504522
従って、対数差分δlogFPを用いて対応関係を計算して奥行き推定を行う場合、シーンのアルベドと局部表面配向は、このような算出に対して不変であると考えられる。この奥行き推定の例をカラー構造化光を実施するものとして説明したが、当業者であれば、本明細書に於ける開示事項から、奥行きの算定を、複合の、即ちカラーのストラクチャードライト法等による奥行き推定技術を使用して実現できることを理解できるであろう。
例えば、再び図1を参照すると、比較モジュール110には奥行き推定器112が含まれており、これは、一実施形態では、上記等式(6)に記述された対数差分δlogFPを用いて、構造化パターンの変形に従って、奥行きを推定する。奥行き推定器112は、シーンとその中の物体との奥行きマップを出力する。
図3には、本発明の一実施例に従って奥行きマップを生成する差分分析プロセスの図が示されている。図3では、差分分析が差分画像ペア120に適用され、被照光物体画像128から物体画像130の各部分が分離されて、構造化パターン134が求められる。次に、例えば、図1の奥行き推定器112が構造化パターン134を用いて奥行きマップ136を求める。
次に、奥行き情報(例えば、奥行きマップ)を用いて、被照光物体についての3次元(3D)モデルを求める。図1の実施形態を参照してより具体的に説明すると、比較モジュール110には変換モジュール114が含まれている。本発明の一実施形態に於いて、変換モジュール114は、奥行きマップを3Dメッシュに変換して、相異なる視点から撮られた複数のメッシュを1つの3Dメッシュに合成して、被照光物体についての3Dモデルを生成する。レンジ・マップ又は奥行きマップを1つの3Dメッシュに変換する周知の技術が当業分野において幾つか存在しており、従って、本明細書では、そのような技術の詳細については説明しない。例えば、一実施形態では、奥行きマップから3Dメッシュへの変換は、相異なる角度からレンジ画像を取り込み、次に、それらのレンジ画像を位置合わせして繋ぎ合わせて、完全な3Dメッシュ/モデルを作成する。
その後、構造化光パターンを含まない画像シーケンス、即ちビデオを、後処理段階で完全に復元することができる。より詳しくは、フレーム選択プロセス116を例えば図1のフレーム選択モジュール116によって行うことができ、構造化光によって照光されたフレームから構造化光によって照光されなかったフレームを分離して、構造化光によって照光された画像を含まない画像シーケンスを生成することによって、シーンの再生及び表示が悪影響を受けないようにできる。このようなプロセスを、以下に更に詳しく説明する。
図4には、本発明の一実施形態に従って画像の形状情報を取得する方法のフロー図が示されている。方法400が、ステップ402で開始し、このステップに於いて、物体が、上述のように点滅光によって照光される。一実施形態では、点滅光は、人間の目には見えず、その周波数を60Hzとすることが出来る。ただし、他の周波数を用いることもできる。従って、たとえ高強度のテクスチャを有する物体であっても、高精度とリアルタイム・スピード(実時間速度)が実現できる。次に、方法400はステップ404に進む。
ステップ404に於いて、点滅光が基準物体を照光する際に生成された各画像が、前述のようにカメラによって取り込まれる。次に、方法400はステップ406に進む。
ステップ406に於いて、差分分析が、生成された差分画像ペア(例えば、第1の画像が点滅構造化光により照明されており、第2の画像が点滅構造化光により照明されていない一対の画像)に適用され、被照光物体上に生成された構造化光パターンを識別して分離する。次に、方法400はステップ408に進む。
ステップ408に於いて、奥行きマップが、ステップ406の差分画像分析の結果から生成される。次に、当該方法はステップ410に進む。
ステップ410に於いて、物体の3Dモデルが、奥行きマップのメッシュ・オブジェクトから作成される。そして、方法400は終了する。
本発明の方法400には、更にステップ412を含めることが出来る。即ち、ステップ412に於いて、フレーム選択プロセスを用いて、点滅構造化光によって照光された画像フレームを破棄し、その結果、照光されなかったフレームの画像シーケンスを復元できる。
更に具体的に述べると、フレーム選択プロセス116を、例えば図1のフレーム選択モジュール116により行うことができ、構造化光によって照光されたフレームから構造化光によって照光されなかったフレームを分離して、構造化光によって照光された画像を含まない画像シーケンスを生成することによって、シーンの再生及び表示が照光によって悪影響を及ぼされないように、即ち損なわれないようにすることができる。
例えば、図5には、本発明の一実施形態に従って、照光画像を含まない画像シーケンスを生成する為に実施されるフレーム選択プロセスの図が示されている。図5の選択プロセスは、構造化光パターンを含むフレームを識別する。例えば、本発明の一実施形態に於いて、照光画像の識別は、前述の如く、差分推定器112により行われる差分分析から復元された各パターンを各画像フレームにマッチングして、構造化光パターンを含む画像フレームを識別することによって、行うことが出来る。構造化光パターンを含む各フレームを識別した後、これらのフレームをオリジナルの画像シーケンスから除外でき、照光画像を含まない画像シーケンスを生成できる。図5を参照すると、構造化光を含む各フレーム128が削除され、即ち、破棄されて、各フレーム130がフレーム選択プロセスにより選択される。従って、復元シーケンス140には、ビデオ、動画、静止画等の再生、或いは、表示に必要な各フレームが含まれている。
以上、実際の物体とシーンの3次元形状情報の取得についての好ましい実施形態(これらの実施形態は単なる例であって本発明を制限するものではない)を説明したが、当業者であれば、上述の開示事項を参照して、種々の修正及び変形を行うことが出来る。従って、本明細書に開示した本発明の特定の各実施形態に於いて、本願の特許請求の範囲に規定された本発明の範囲内で、種々の変更を行うことが出来る。上述の説明は本発明の種々の実施形態についてのものであるが、本発明のその他の更なる実施形態を、本発明の基本的な範囲から逸脱することなく案出できるであろう。従って、本発明の範囲は本願の特許請求の範囲に従って適切に特定されるべきである。

Claims (23)

  1. 画像の形状情報を取得する方法であって、
    人間の目では知覚できない変調レートの構造化パターンで物体を照光することと、
    第1の画像が照光されており、第2の画像が照光されていない差分画像ペアが得られるレートで前記物体の画像を取り込むことと、
    前記差分画像ペアを比較して前記物体についての形状情報を求めることと、
    を含む前記方法。
  2. 前記形状情報は、前記第1の画像から前記第2の画像を減算して、その結果得られた光パターンの変形を評価することによって求められる、請求項1に記載の方法。
  3. 物体の奥行きが、前記得られた光パターンの前記変形を評価することによって求められる、請求項2に記載の方法。
  4. 奥行きマップが、求められた前記形状情報から作成される、請求項1に記載の方法。
  5. 各3次元メッシュが前記奥行きマップから求められ、該3次元メッシュが前記物体の3次元モデルを構成することに使用にされる、請求項4に記載の方法。
  6. 対数差分法を用いてアルベド効果、環境照明、及び陰影のうちの少なくとも1つを除去して、前記奥行きマップを生成することを含む、請求項4に記載の方法。
  7. 照光されなかった画像のシーケンスを復元するためにフレーム選択プロセスを実施することを含む、請求項1に記載の方法。
  8. 前記照光されなかった画像のシーケンスがシーンの再生及び表示に使用される、請求項7に記載の方法。
  9. 前記物体の画像が、前記変調レートに等しいか、或いは、それより高いフレーム・レートで取り込まれる、請求項1に記載の方法。
  10. 前記物体のモデルを作成するためにアルベド効果、環境照明、及び陰影のうちの少なくとも1つを除去することを含む、請求項1に記載の方法。
  11. 画像の形状情報を取得するシステムであって、
    人間の目では知覚できないレートで光エネルギを供給して物体を照光するように構成された変調光の光源と、
    第1の画像が照光されており、第2の画像が照光されていない差分画像ペアが得られるレートで前記物体の画像を取り込むように構成されたカメラと、
    前記差分画像ペアを比較して前記物体についての形状情報を求めるように構成された比較モジュールと、
    を備えた前記システム。
  12. 前記変調光により照光されたフレームを除去して、前記変調光により照光されなかった画像のシーケンスを生成するように構成されたフレーム選択モジュールを備えた、請求項11に記載のシステム。
  13. 前記変調光の構造化パターンの変形に従って、前記物体に於ける奥行きを推定するように構成された奥行き推定器を備えた、請求項11に記載のシステム。
  14. 前記奥行き推定器は、前記第1の画像から前記第2の画像を減算して、その結果得られた光パターンの変形を評価して前記物体の奥行きを求める、請求項13に記載のシステム。
  15. 奥行きマップが、求められた前記形状情報から作成される、請求項11に記載のシステム。
  16. 前記奥行きマップから各3次元メッシュを求めて前記物体の3次元モデルを求めるように構成された変換モジュールを備えた、請求項15に記載のシステム。
  17. 前記物体が相異なる視点から照光され、前記カメラが該相異なる視点からの前記物体の画像を取り込む、請求項11に記載のシステム。
  18. 各奥行きマップが前記相異なる視点の求められた前記形状情報から作成され、各3次元メッシュが該奥行きマップから求められる、請求項17に記載のシステム。
  19. 相異なるメッシュが合成されて、前記物体の3次元モデルが求められる、請求項18に記載のシステム。
  20. 前記変調光の光源はコンピュータにより制御されるプロジェクタを含む、請求項11に記載のシステム。
  21. 前記カメラは、前記変調光の前記レートに等しいか、或いは、それより高いフレーム・レートで画像を取り込む、請求項11に記載のシステム。
  22. 前記カメラはビデオ・カメラを含む、請求項11に記載のシステム。
  23. 前記物体はテクスチャを有し、前記比較モジュールはアルベド効果、環境照明、及び陰影のうちの少なくとも1つを除去する、請求項11に記載のシステム。
JP2009529162A 2006-09-21 2006-09-21 3次元モデル取得のための方法及びシステム Expired - Fee Related JP5317206B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2006/036839 WO2008036092A1 (en) 2006-09-21 2006-09-21 A method and system for three-dimensional model acquisition

Publications (2)

Publication Number Publication Date
JP2010504522A true JP2010504522A (ja) 2010-02-12
JP5317206B2 JP5317206B2 (ja) 2013-10-16

Family

ID=38042922

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009529162A Expired - Fee Related JP5317206B2 (ja) 2006-09-21 2006-09-21 3次元モデル取得のための方法及びシステム

Country Status (6)

Country Link
US (1) US8284194B2 (ja)
EP (1) EP2064676B1 (ja)
JP (1) JP5317206B2 (ja)
CN (1) CN101512599B (ja)
BR (1) BRPI0621997A2 (ja)
WO (1) WO2008036092A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011080843A (ja) * 2009-10-06 2011-04-21 Honda Motor Co Ltd 立体形状測定システム及び立体形状測定方法
JP2013546222A (ja) * 2010-09-28 2013-12-26 マイクロソフト コーポレーション 低電力深度カメラおよび投射デバイスの統合
JP2015501416A (ja) * 2011-09-28 2015-01-15 コーニンクレッカ フィリップス エヌ ヴェ 画像からの物体距離決定
KR20150140838A (ko) * 2013-04-15 2015-12-16 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 이동 패턴 프로젝터에 의한 초고해상도 깊이 맵
JP2017091574A (ja) * 2011-10-10 2017-05-25 インヴィサージ テクノロジーズ インコーポレイテッドInvisage Technologies,Inc. 空間および時間内のイベントのキャプチャ
KR101765257B1 (ko) 2016-08-12 2017-08-04 한국과학기술원 삼차원 영상 정보 획득 방법 및 이를 구현한 컴퓨팅 장치
KR101809346B1 (ko) * 2016-01-19 2017-12-14 전자부품연구원 스테레오스코픽 카메라의 최적 깊이 인식을 위한 조명 제어 방법 및 시스템

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2687213C (en) * 2007-06-20 2015-12-22 Thomson Licensing System and method for stereo matching of images
WO2009125883A1 (en) * 2008-04-10 2009-10-15 Hankuk University Of Foreign Studies Research And Industry-University Cooperation Foundation Image reconstruction
US8643641B2 (en) * 2008-05-12 2014-02-04 Charles G. Passmore System and method for periodic body scan differencing
JP2010210585A (ja) * 2009-03-12 2010-09-24 Omron Corp 3次元視覚センサにおけるモデル表示方法および3次元視覚センサ
CN102597798B (zh) * 2009-09-17 2014-09-03 加尔·维拉雷特 太阳跟踪器设备和系统
EP2510504A4 (en) * 2009-12-07 2013-08-14 Photon X Inc 3D VISUALIZATION SYSTEM
RU2453922C2 (ru) * 2010-02-12 2012-06-20 Георгий Русланович Вяхирев Способ представления исходной трехмерной сцены по результатам съемки изображений в двумерной проекции (варианты)
CN101872491B (zh) * 2010-05-21 2011-12-28 清华大学 基于光度立体的自由视角重光照方法和系统
US8526734B2 (en) * 2011-06-01 2013-09-03 Microsoft Corporation Three-dimensional background removal for vision system
US8436853B1 (en) * 2012-07-20 2013-05-07 Google Inc. Methods and systems for acquiring and ranking image sets
US9002719B2 (en) 2012-10-08 2015-04-07 State Farm Mutual Automobile Insurance Company Device and method for building claim assessment
US11509880B2 (en) * 2012-11-14 2022-11-22 Qualcomm Incorporated Dynamic adjustment of light source power in structured light active depth sensing systems
US9405376B2 (en) 2012-12-10 2016-08-02 Invisage Technologies, Inc. Sensors and systems for the capture of scenes and events in space and time
WO2014111391A1 (en) * 2013-01-16 2014-07-24 Van De Velde Nv Fitting room mirror
US20140240469A1 (en) * 2013-02-28 2014-08-28 Motorola Mobility Llc Electronic Device with Multiview Image Capture and Depth Sensing
US9407837B2 (en) 2013-02-28 2016-08-02 Google Inc. Depth sensor using modulated light projector and image sensor with color and IR sensing
US9398287B2 (en) 2013-02-28 2016-07-19 Google Technology Holdings LLC Context-based depth sensor control
US20150002734A1 (en) * 2013-07-01 2015-01-01 Motorola Mobility Llc Electronic Device with Modulated Light Flash Operation for Rolling Shutter Image Sensor
US8818572B1 (en) 2013-03-15 2014-08-26 State Farm Mutual Automobile Insurance Company System and method for controlling a remote aerial device for up-close inspection
US8874454B2 (en) 2013-03-15 2014-10-28 State Farm Mutual Automobile Insurance Company Systems and methods for assessing a roof
US9082015B2 (en) 2013-03-15 2015-07-14 State Farm Mutual Automobile Insurance Company Automatic building assessment
US8872818B2 (en) 2013-03-15 2014-10-28 State Farm Mutual Automobile Insurance Company Methods and systems for capturing the condition of a physical structure
US9542749B2 (en) * 2014-01-06 2017-01-10 Microsoft Technology Licensing, Llc Fast general multipath correction in time-of-flight imaging
WO2015188146A2 (en) 2014-06-05 2015-12-10 Edward Hartley Sargent Sensors and systems for the capture of scenes and events in space and time
US9692968B2 (en) 2014-07-31 2017-06-27 Invisage Technologies, Inc. Multi-mode power-efficient light and gesture sensing in image sensors
US9325876B1 (en) * 2014-09-08 2016-04-26 Amazon Technologies, Inc. Selection of a preferred image from multiple captured images
US9521365B2 (en) 2015-04-02 2016-12-13 At&T Intellectual Property I, L.P. Image-based techniques for audio content
KR101892168B1 (ko) * 2015-05-13 2018-08-27 페이스북, 인크. 반사도 맵 표현을 이용한 깊이 맵 표현의 증강
US9936151B2 (en) 2015-10-16 2018-04-03 Capsovision Inc Single image sensor for capturing mixed structured-light images and regular images
US10832333B1 (en) 2015-12-11 2020-11-10 State Farm Mutual Automobile Insurance Company Structural characteristic extraction using drone-generated 3D image data
US10257505B2 (en) * 2016-02-08 2019-04-09 Microsoft Technology Licensing, Llc Optimized object scanning using sensor fusion
US10007971B2 (en) 2016-03-14 2018-06-26 Sensors Unlimited, Inc. Systems and methods for user machine interaction for image-based metrology
US9928592B2 (en) 2016-03-14 2018-03-27 Sensors Unlimited, Inc. Image-based signal detection for object metrology
US10176527B1 (en) 2016-04-27 2019-01-08 State Farm Mutual Automobile Insurance Company Providing shade for optical detection of structural features
KR102529120B1 (ko) 2016-07-15 2023-05-08 삼성전자주식회사 영상을 획득하는 방법, 디바이스 및 기록매체
KR20180047367A (ko) * 2016-10-31 2018-05-10 삼성전자주식회사 영상 처리 장치 및 방법
KR102546990B1 (ko) * 2018-03-16 2023-06-23 엘지전자 주식회사 신호 처리 장치 및 이를 구비하는 영상표시장치
EP3561776A1 (en) 2018-04-24 2019-10-30 InterDigital CE Patent Holdings Method and apparatus for processing a 3d scene
US10909373B1 (en) * 2018-08-24 2021-02-02 Snap Inc. Augmented reality system using structured light
CN110012206A (zh) * 2019-05-24 2019-07-12 Oppo广东移动通信有限公司 图像获取方法、图像获取装置、电子设备和可读存储介质
CN110213413B (zh) * 2019-05-31 2021-05-14 Oppo广东移动通信有限公司 电子装置的控制方法及电子装置
CN112019674B (zh) * 2019-05-31 2021-10-15 Oppo广东移动通信有限公司 电子装置的控制方法及电子装置
CN112019660B (zh) 2019-05-31 2021-07-30 Oppo广东移动通信有限公司 电子装置的控制方法及电子装置
CN110686652B (zh) * 2019-09-16 2021-07-06 武汉科技大学 一种基于深度学习和结构光相结合的深度测量方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000068077A (ja) * 1998-08-12 2000-03-03 Yoshikazu Ichiyama 投光照明システム
JP2000512012A (ja) * 1996-06-13 2000-09-12 ケイ・ユー・リューヴェン・リサーチ・アンド・デヴェロップメント 三次元形状の表示を得る方法とシステム
JP2001298655A (ja) * 2000-04-13 2001-10-26 Sony Corp 撮像装置および方法、並びに記録媒体
JP2003061936A (ja) * 2001-08-27 2003-03-04 Sanyo Electric Co Ltd 動立体モデル生成装置及び方法
JP2003083730A (ja) * 2001-06-26 2003-03-19 Olympus Optical Co Ltd 3次元情報取得装置、3次元情報取得における投影パターン、及び、3次元情報取得方法
JP2003207324A (ja) * 2002-01-16 2003-07-25 Olympus Optical Co Ltd 3次元情報取得装置及び3次元情報取得方法
JP2003324751A (ja) * 2002-05-07 2003-11-14 Toshiba Corp 情報入力装置
JP2004302524A (ja) * 2003-03-28 2004-10-28 Kitakyushu Foundation For The Advancement Of Industry Science & Technology 3次元モデリング・プログラム、3次元モデリング制御プログラム、3次元モデリング・データ伝送プログラム、記録媒体および3次元モデリング方法
WO2006054230A1 (en) * 2004-11-19 2006-05-26 Koninklijke Philips Electronics N.V. A feedback control system for controlling the light output of a led unit
JP2007510966A (ja) * 2003-11-07 2007-04-26 三菱電機株式会社 表示面上の位置を求める方法及び対話型ディスプレイシステム
WO2007102195A1 (ja) * 2006-03-07 2007-09-13 Fujitsu Limited 撮影装置、及び撮影方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0615968B2 (ja) * 1986-08-11 1994-03-02 伍良 松本 立体形状測定装置
EP1067362A1 (en) * 1999-07-09 2001-01-10 Hewlett-Packard Company Document imaging system
US6974373B2 (en) * 2002-08-02 2005-12-13 Geissler Technologies, Llc Apparatus and methods for the volumetric and dimensional measurement of livestock
CN1176351C (zh) * 2002-10-09 2004-11-17 天津大学 动态多分辨率的三维数字成像的方法及装置
JP4115801B2 (ja) * 2002-10-10 2008-07-09 オリンパス株式会社 3次元撮影装置
US8050491B2 (en) * 2003-12-17 2011-11-01 United Technologies Corporation CAD modeling system and method
CN1267766C (zh) * 2003-12-26 2006-08-02 四川大学 用频闪结构照明实现高速运动物体三维面形测量的方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000512012A (ja) * 1996-06-13 2000-09-12 ケイ・ユー・リューヴェン・リサーチ・アンド・デヴェロップメント 三次元形状の表示を得る方法とシステム
JP2000068077A (ja) * 1998-08-12 2000-03-03 Yoshikazu Ichiyama 投光照明システム
JP2001298655A (ja) * 2000-04-13 2001-10-26 Sony Corp 撮像装置および方法、並びに記録媒体
JP2003083730A (ja) * 2001-06-26 2003-03-19 Olympus Optical Co Ltd 3次元情報取得装置、3次元情報取得における投影パターン、及び、3次元情報取得方法
JP2003061936A (ja) * 2001-08-27 2003-03-04 Sanyo Electric Co Ltd 動立体モデル生成装置及び方法
JP2003207324A (ja) * 2002-01-16 2003-07-25 Olympus Optical Co Ltd 3次元情報取得装置及び3次元情報取得方法
JP2003324751A (ja) * 2002-05-07 2003-11-14 Toshiba Corp 情報入力装置
JP2004302524A (ja) * 2003-03-28 2004-10-28 Kitakyushu Foundation For The Advancement Of Industry Science & Technology 3次元モデリング・プログラム、3次元モデリング制御プログラム、3次元モデリング・データ伝送プログラム、記録媒体および3次元モデリング方法
JP2007510966A (ja) * 2003-11-07 2007-04-26 三菱電機株式会社 表示面上の位置を求める方法及び対話型ディスプレイシステム
WO2006054230A1 (en) * 2004-11-19 2006-05-26 Koninklijke Philips Electronics N.V. A feedback control system for controlling the light output of a led unit
WO2007102195A1 (ja) * 2006-03-07 2007-09-13 Fujitsu Limited 撮影装置、及び撮影方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011080843A (ja) * 2009-10-06 2011-04-21 Honda Motor Co Ltd 立体形状測定システム及び立体形状測定方法
JP2013546222A (ja) * 2010-09-28 2013-12-26 マイクロソフト コーポレーション 低電力深度カメラおよび投射デバイスの統合
JP2015501416A (ja) * 2011-09-28 2015-01-15 コーニンクレッカ フィリップス エヌ ヴェ 画像からの物体距離決定
JP2017091574A (ja) * 2011-10-10 2017-05-25 インヴィサージ テクノロジーズ インコーポレイテッドInvisage Technologies,Inc. 空間および時間内のイベントのキャプチャ
KR20150140838A (ko) * 2013-04-15 2015-12-16 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 이동 패턴 프로젝터에 의한 초고해상도 깊이 맵
US10816331B2 (en) 2013-04-15 2020-10-27 Microsoft Technology Licensing, Llc Super-resolving depth map by moving pattern projector
KR102207768B1 (ko) * 2013-04-15 2021-01-25 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 이동 패턴 프로젝터에 의한 초고해상도 깊이 맵
US10929658B2 (en) 2013-04-15 2021-02-23 Microsoft Technology Licensing, Llc Active stereo with adaptive support weights from a separate image
US10928189B2 (en) 2013-04-15 2021-02-23 Microsoft Technology Licensing, Llc Intensity-modulated light pattern for active stereo
KR101809346B1 (ko) * 2016-01-19 2017-12-14 전자부품연구원 스테레오스코픽 카메라의 최적 깊이 인식을 위한 조명 제어 방법 및 시스템
KR101765257B1 (ko) 2016-08-12 2017-08-04 한국과학기술원 삼차원 영상 정보 획득 방법 및 이를 구현한 컴퓨팅 장치

Also Published As

Publication number Publication date
US8284194B2 (en) 2012-10-09
EP2064676A1 (en) 2009-06-03
EP2064676B1 (en) 2011-09-07
WO2008036092A1 (en) 2008-03-27
CN101512599B (zh) 2012-07-18
CN101512599A (zh) 2009-08-19
US20090322745A1 (en) 2009-12-31
BRPI0621997A2 (pt) 2011-12-27
JP5317206B2 (ja) 2013-10-16

Similar Documents

Publication Publication Date Title
JP5317206B2 (ja) 3次元モデル取得のための方法及びシステム
JP7003994B2 (ja) 画像処理装置および方法
Zollmann et al. Image-based ghostings for single layer occlusions in augmented reality
Wang et al. Estimation of multiple directional light sources for synthesis of augmented reality images
Matsuyama et al. 3D video and its applications
Hernandez et al. Laser scan quality 3-d face modeling using a low-cost depth camera
KR100695174B1 (ko) 가상 입체음향을 위한 청취자 머리위치 추적방법 및 장치
Shen et al. Virtual mirror rendering with stationary rgb-d cameras and stored 3-d background
US20030202120A1 (en) Virtual lighting system
US20170084075A1 (en) Reflectance parameter estimation in real scenes using an rgb-d sequence
WO2007076890A1 (en) Segmentation of video sequences
Riegler et al. Connecting the dots: Learning representations for active monocular depth estimation
JP2009074836A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
WO2019047985A1 (zh) 图像处理方法和装置、电子装置和计算机可读存储介质
Liu-Yin et al. Better together: Joint reasoning for non-rigid 3d reconstruction with specularities and shading
JP2016537901A (ja) ライトフィールド処理方法
US11676252B2 (en) Image processing for reducing artifacts caused by removal of scene elements from images
Yagi et al. Diminished reality for privacy protection by hiding pedestrians in motion image sequences using structure from motion
Kim et al. Compensated visual hull for defective segmentation and occlusion
Chen et al. Accurate human body reconstruction for volumetric video
JP2011134133A (ja) 画像処理装置、画像処理方法およびプログラム
JP2004013869A (ja) 3次元形状生成装置及びそれに用いる3次元形状生成方法並びにそのプログラム
Feldmann et al. Online full body human motion tracking based on dense volumetric 3D reconstructions from multi camera setups
Bimber et al. Digital illumination for augmented studios
CN111583155B (zh) 用于图像中人像的布光方法、系统、介质以及电子设备

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110706

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110929

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20111006

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121031

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130124

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130131

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130423

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130703

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130704

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees