JP2014507723A - 三次元環境の再現 - Google Patents

三次元環境の再現 Download PDF

Info

Publication number
JP2014507723A
JP2014507723A JP2013552531A JP2013552531A JP2014507723A JP 2014507723 A JP2014507723 A JP 2014507723A JP 2013552531 A JP2013552531 A JP 2013552531A JP 2013552531 A JP2013552531 A JP 2013552531A JP 2014507723 A JP2014507723 A JP 2014507723A
Authority
JP
Japan
Prior art keywords
voxel
model
coefficient
environment
capture device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013552531A
Other languages
English (en)
Other versions
JP5906258B2 (ja
JP2014507723A5 (ja
Inventor
ニューカム，リチャード
イザディ，シャフラム
モリノー，デヴィッド
ヒリゲス，オトマール
キム，デヴィッド
ショットン，ジェイミー・ダニエル・ジョセフ
ホッジス，スティーヴン・エドワード
バトラー，デヴィッド・アレキサンダー
フィッツィボン，アンドリュー
コーリ，プシュミート
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2014507723A publication Critical patent/JP2014507723A/ja
Publication of JP2014507723A5 publication Critical patent/JP2014507723A5/ja
Application granted granted Critical
Publication of JP5906258B2 publication Critical patent/JP5906258B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Image Generation (AREA)

Abstract

三次元環境の再現について記載する。一例では、現実世界環境の３Ｄモデルを、メモリー・デバイス上に格納されているボクセルで構成された３Ｄ立体空間において生成する。このモデルは、カメラの位置および方位を記述するデーター、ならびにカメラから環境内の１点までの距離を示す画素を有する深度画像とから構築する。この立体空間の平面内にある各ボクセルに別個の実行スレッドを割り当てる。各スレッドは、カメラの位置および向きを用いて、その関連付けられたボクセルに対して対応する深度画像を判別し、関連付けられたボクセルと環境内の対応する位置における点との間の距離に関係する係数を決定し、この係数を用いて、関連付けられたボクセルに格納されている値を更新する。各スレッドは、立体空間の残っている平面内にある等価のボクセル毎に反復し、本プロセスを繰り返して、格納されている値を更新する。
【選択図】図１

Description

[0001] 現実世界環境の三次元コンピューター・モデルは、広範囲の多様な用途において有用である。例えば、このようなモデルは、没入型ゲーミング、拡張現実、建築／計画ロボット、および設計原型作成というような用途において用いることができる。
[0002] 深度カメラ（ｚ−カメラとしても知られている）は、現実世界環境のリアル・タイム深度マップを生成することができる。これらの深度マップにおける各画素は、環境における３Ｄ点からカメラによって取り込まれた離散距離測定値に対応する。これが意味するのは、これらのカメラは、１組の順序付けられていない点（点クラウドとしても知られている）によって構成される深度マップを、リアル・タイムのレートで供給するということである。
[0003] しかしながら、深度カメラによって供給される深度マップを用いて、環境の有用な３Ｄモデルを生成するのは、複雑である。多くの深度カメラを用いると、個々の深度マップは各々解像度が低すぎ、更にノイズが多すぎて、十分に精度が高く詳細な３Ｄモデルを生成することができない。更に、多くの用途では、点クラウドではなく、検知した環境の表面再現(surface reconstruction)を利用する。例えば、３Ｄ再現表面モデルは、物理シミュレーションにおいて、仮想物体と、環境において深度カメラによって取り込まれた実物体との間における物理的相互作用の効果をモデリングするために用いることができる。点クラウドは、点クラウドにおける個々の点間に接続がないため、モデル全体にわたって孔(hole)があるので、このシナリオではしかるべく作用しない。
[0004] 深度カメラからの点クラウドの多数のフレームを組み合わせて、コヒーレントで使用可能なモデルを作り、これらの点クラウドにおける点間の接続を判断することによって表面外形を推論するのは、非常に計算集約的である。表面再現は、この接続を推論することによって、カメラに見ることができる表面を抽出するプロセスである。深度カメラからリアル・タイムで受け取るデーター量を仮定し、そして対話処理できる速度 (interactive rate)をサポートすることが望ましいとすると、ポアソン表面再現のような既知のアルゴリズムは、リアル・タイム処理をサポートするには計算集約的過ぎる。
[0005] 以下で説明する実施形態は、既知の３Ｄ再現技法の欠点のうちいずれかを解決する実施態様にも、その全てを解決する実施態様にも限定されない。
[0006] 以下に、基本的な理解を読み手に与えるために、本開示を簡略化した摘要を紹介する。この摘要は、本開示の広範な全体像ではなく、本発明の主要な／重要な要素を特定するのでも、本発明の範囲を明確に定めるのでもない。その唯一の目的は、本明細書において開示する概念から選択したものを、簡略化した形態で、後に紹介する更に詳細な説明に対する序説として提示することである。
[0007] 三次元環境の再現について記載する。一例では、現実世界環境の３Ｄモデルを、メモリー・デバイス上に格納されているボクセルで構成された３Ｄ立体空間に生成する。このモデルは、カメラの位置および向きを記述するデーター、ならびにカメラから環境における１点までの距離を示す画素を有する深度画像から構築する。立体空間の平面における各ボクセルに、別個の実行スレッドを割り当てる。各スレッドは、このカメラ位置および向きを用いて、それと関連付けられたボクセルについて対応する深度画像位置を判定し、関連付けられたボクセルと環境内の対応する位置における点との間の距離に関係する係数を決定し、この係数を用いて、関連付けられたボクセルにおいて格納されている値を更新する。各スレッドは、立体空間の残りの平面における同等のボクセル毎に反復し、格納されている値を更新するプロセスを繰り返す。
[0008] 付帯する特徴の多くは、以下の詳細な説明を参照し、添付図面と合わせて検討することによって一層深く理解されていくに連れて、一層容易に認められるようになるであろう。
[0009] この記載は、添付図面を参照しながら以下の詳細な説明を読むことによって、一層深く理解できよう。
添付図面における同様の部分を示すために、同様の参照番号を用いる。
図１は、部屋の３Ｄモデルを生成するために用いることができる可動深度カメラを保持して、この部屋の中にいる人の模式図を示す。 図２は、可動深度カメラを保持している人によって調べられている建物のフロアの平面図を示す。 図３は、リアル・タイム・カメラ追跡システム、緻密３Ｄモデル形成システム、およびゲーム・システムに接続された可動深度カメラの模式図を示す。 図４は、３Ｄ環境モデルを生成する並列化可能なプロセスのフローチャートを示す。 図５は、線形間隔メモリー(linear pitched memory)で構成された３Ｄ立体空間を示す。 図６は、並列化可能な符合付き距離関数計算の一例を示す。 図７は、４Ｄ立体空間からレイキャスティング(raycasting)する並列化可能なプロセスのフローチャートを示す。 図８は、並列化可能な３Ｄモデリング技法の実施形態を実現することができる計算主体デバイス(computing-based device)の一例を示す。
[0010] 添付図面と合わせて以下に示す詳細な説明は、本例の説明であることを意図するのであって、本例を構成または利用することができる唯一の形態を表すことを意図するのではない。この説明では、本例の機能、および本例を構成し動作させるためのステップのシーケンスを明記する。しかしながら、同じまたは等価な機能およびシーケンスが、異なる例によって遂行されてもよい。
[0011] 本明細書では、コンピューター・ゲーミング・システムにおいて実現するものとして、本例について説明し図示するが、説明するシステムは、一例として示すのであって限定ではない。当業者には認められようが、本例は、３Ｄモデルを用いる種々の異なるタイプの計算システムにおける用途に適している。
[0012] 図１は、部屋の中で起立して可動深度カメラ１０２を保持している人１００の模式図である。この部屋には、椅子、扉、窓、植物、他の人１０４、および猫１０８というような種々の物体１０６が入っている。物体１０６の多くは静止しているが、人１０４および猫１０８のように、物体の一部は動くこともできる。人が部屋を動き回ると、可動深度カメラは部屋および物体の深度画像を取り込む。
[0013] 可動深度カメラ１０２は、緻密環境モデリング・システム１１０と通信する（この場合、環境とは部屋のことである）。この例における「緻密」とは、暗示的に表面を記述するための、入ってくる深度マップからの点の全てまたは多くの使用によって得られるモデルの精度および解像度が高度であることを指す。これは、計算を高速化しメモリー・フットプリントを削減するために点の部分集合のみを取り込む「疎」モデルとは対照をなすことができる。例えば、可動深度カメラ１０２によって取り込まれた画像は、人が部屋の中で動き回り、可動深度カメラ１０２をあちこち動かすに連れて、環境の緻密３Ｄモデルを形成し構築するために用いられる。
[0014] リアル・タイム・カメラ追跡システム１１２は、部屋におけるカメラの位置および向きを監視する。リアル・タイム・カメラ追跡システム１１２は、可動深度カメラ１０２と一体化されてもよく、または可動深度カメラ１０２から直接または間接的に通信を受信することができるのであれば、他の場所にあってもよい。例えば、リアル・タイム・カメラ追跡システム１１２は、パーソナル・コンピューター、専用コンピューター・ゲーム装置、または部屋の中にあり可動深度カメラ１０２とワイヤレスで通信する他の計算デバイスに設けることもできる。他の例では、リアル・タイム・カメラ追跡システム１１２は、建物のどこにあってもよく、またはいずれかの適したタイプの通信ネットワークを用いて可動深度カメラ１０２と通信できる他の離れた場所にあってもよい。
[0015] リアル・タイム・カメラ追跡システム１１２は、個々の深度画像を全体的な３Ｄモデル内に組み立てることを可能にするために、入力を緻密３Ｄモデリング・システムに供給する。また、リアル・タイム・カメラ追跡システム１１２は、環境の３Ｄモデルに対するカメラの位置を追跡することもできる。カメラ追跡および３Ｄモデリングの組み合わせは、同時定位およびマッピング（ＳＬＡＭ：simultaneous localization and mapping）として知られている。尚、他の例では、例えば、マッピングとは独立したカメラ測位技法を用いることによって、マッピングおよび定位を独立して（即ち、ＳＬＡＭシステムを用いずに）実行することもできることを注記しておく。
[0016] リアル・タイム・カメラ追跡システム１１２および緻密３Ｄモデリング・システム１１０の出力は、ゲーム・システムまたは他のアプリケーションによって用いることができるが、これは必須ではない。例えば、モデリングした現実世界物体をゲーミング環境に含ませることができる。他の例では、現実世界カメラ追跡システム１１２および３Ｄモデリング・システム１１０の出力に応じて画像を投影するように、可動深度カメラ１０２におけるプロジェクタを構成することもできる。
[0017] 更に他の例として、図２は、建物のフロア２００の平面図を示す。可動深度カメラ２０４を保持している人２０２が、点線矢印で示すように、フロア上を動き回っている。この人は、部屋および家具２１０を通り過ぎて廊下２０６に沿って歩く。リアル・タイム・カメラ追跡システム１１２は、可動深度カメラ２０４が動くに連れて、その位置を追跡することができ、３Ｄモデリング・システムは、フロアの３Ｄモデルまたはマップを生成する。人２０２が可動深度カメラ２０４を携行することは必須ではない。他の例では、可動深度カメラ２０４は、ロボットまたは車両上に装着される。これも図１の例に該当する。
[0018] 図３は、リアル・タイム・カメラ追跡システム３１６、緻密モデル形成システム３２４、および任意にゲーム・システム３３２と共に使用するための可動環境キャプチャー・デバイス３００の模式図である。可動環境キャプチャー・デバイス３００は、場面の深度画像のシーケンス（または連続）を取り込むように構成されている深度カメラ３０２を備えている。各深度画像３１４（または深度マップ・フレーム）は、二次元画像を構成し、各画像エレメント（即ち、画素）は、カメラから取り込まれた場面において、その画像エレメントを生じさせたある物体までの長さ即ち距離というような深度値を含む。この深度値は、メートル、またはセンチメートルというような、指定された測定単位で与えられる絶対値であってもよく、または相対的な深度値でもよい。取り込まれた各深度画像３１４において、約３００，０００個以上の画像エレメントがあることもあり、その各々が深度値を有する。深度カメラ３０２のフレーム・レートは、作業ロボット(working robotics)、コンピューター・ゲーム、または他のアプリケーションに深度画像を用いることを可能にするのに十分な高さである。例えば、フレーム・レートは、毎秒２０から１００フレームの範囲にするとよい。
[0019] 深度情報は、適した技法であればそのいずれを用いてでも得ることができる。これらの技法には、飛行時間、構造化光、およびステレオ画像が含まれるが、これらに限定されるのではない。また、可動環境キャプチャー・デバイス３００は、深度情報を深度カメラ３０２によって確認できるように、場面を照らすように構成された発光器３０４も備えることができる。
[0020] 例えば、深度カメラ３０２が赤外線（ＩＲ）飛行時間カメラである場合、発光器３０４はＩＲ光を場面に発光し、深度カメラ３０２は、場面における１つ以上の物体の表面からの後方散乱光を検出するように構成される。例の中には、パルス状赤外線光を発光器３０４から発光し、出立光パルスと対応する到来光パルスとの間の時間を深度カメラによって検出し、これを測定して、環境キャプチャー・デバイス３００から場面における物体上の位置までの物理的距離を判定するために用いるとよい場合がある。加えて、例の中には、発光器３０４からの出立光波の位相を、深度カメラ３０２における到来光波の位相と比較して、位相ずれを判定するとよい場合もある。この位相ずれは、次に、例えば、散乱光パルス撮像(shuttered light pulse imaging)を含む種々の技法によって経時的に反射光ビームの強度を分析することによって、可動環境キャプチャー・デバイス３００から物体上の位置までの物理距離を判定するために用いることができる。
[0021] 他の例では、可動環境キャプチャー・デバイス３００は、構造化光を用いて深度情報を取り込むことができる。このような技法では、パターン化光（例えば、スポット、格子、または縞模様パターンのような既知のパターンとして表示される光。これらは時間可変であってもよい）を、発光器３０４を用いて場面上に投影することができる。場面における物体の表面に衝突すると、このパターンは変形する。このようなパターンの変形を分析して、深度カメラ３０２から場面における物体までの絶対距離または相対距離を判定する。
[0022] 他の例では、深度カメラ３０２は、１対のステレオ・カメラを備え、視覚的ステレオ・データーを入手し、解明して相対的深度情報を生成する。この場合、発光器３０４は、場面を照らすために用いることができ、あるいは省略してもよい。
[0023] 例の中には、深度カメラ３０２に加えて、可動環境キャプチャー・デバイス３００が、ＲＧＢカメラ３０６と呼ばれる、カラー・ビデオ・カメラを備えている場合もある。ＲＧＢカメラ３０６は、可視光周波数で場面の画像のシーケンスを取り込むように構成されている。
[0024] 可動環境キャプチャー・デバイス３００は、慣性測定ユニット（ＩＭＵ）のような方位センサー３０８、加速度計、ジャイロスコープ、コンパス、あるいは他の方位センサーまたは動きセンサー３０８を備えることができる。しかしながら、方位センサーを用いることは必須ではない。可動環境キャプチャー・デバイス３００は、ＧＰＳのような位置追跡デバイスを備えることもできるが、これも必須ではない。
[0025] 可動環境キャプチャー・デバイスは、前述のようなプロジェクタ３１２を備えることもできるが、これは必須ではない。また、可動環境キャプチャー・デバイスは、以下で更に詳細に説明するように、１つ以上のプロセッサー、メモリー、および通信インフラストラクチャも備えている。可動環境キャプチャー・デバイスは、ユーザーが手の中に収めるまたはユーザーが装着するような形状およびサイズに作られた筐体内に設けることもできる。他の例では、可動環境キャプチャー・デバイスは、車両、おもちゃ、または他の移動可能な装置に組み込むまたは装着するようなサイズおよび形状に作られる。
[0026] 可動環境キャプチャー・デバイス３００は、リアル・タイム追跡装置３１６に接続されている。この接続は、物理的な有線接続とするとよく、またはワイヤレス通信を用いてもよい。例の中には、インターネットのような１つ以上の通信ネットワークを通じて、可動環境キャプチャー・デバイス３００を間接的にリアル・タイム追跡装置３１６に接続する場合もある。
[0027] リアル・タイム追跡装置３１６は、１つ以上のグラフィクス処理ユニット（ＧＰＵ）または他の並列計算ユニットを制御する汎用マイクロプロセッサーを用いて、コンピューターで実現する。これは、フレーム整列エンジン３１８と、任意に、ループ閉鎖エンジン３２０および再定位エンジン(relocalization engine)３２２とを備えている。リアル・タイム追跡装置３１６は、深度カメラ３０２からの深度画像フレームを取り込み、任意に可動環境キャプチャー・デバイス３００からの入力、および任意のマップ・データー３３４も取り込む。リアル・タイム追跡装置３１６は、深度カメラ３０２の一連のリアル・タイム６自由度（６ＤＯＦ）姿勢推定値を生成するために、深度画像フレームを空間的に整列するように動作する。また、１対の深度画像フレーム間における変換のための変換パラメーターも生成することができる。例の中には、リアル・タイム追跡装置が、深度カメラからの深度画像フレーム３１４に１対毎に動作する場合もある。他の例では、リアル・タイム追跡装置３１６は、１つの深度画像３１４を取り込み、それを、他の深度画像とではなく、環境の緻密３Ｄモデル３２６と整列する。
[0028] リアル・タイム追跡装置３１６は、カメラ姿勢を出力として緻密３Ｄモデル生成システム３２４に供給する。緻密３Ｄモデル生成システム３２４は、この情報を、深度画像フレームと共に用いて、可動環境キャプチャー・デバイス３００が動いている場面即ち環境の緻密３Ｄモデル３２６を形成し格納する。例えば、図１の場合、３Ｄモデルは部屋における表面および物体の３Ｄモデルである。図２の場合、３Ｄモデルは、建物のフロアの３Ｄモデルである。以下で説明するように、緻密３Ｄモデルは、ＧＰＵメモリーに格納することができる。緻密３Ｄモデルは、リアル・タイムで組み立てることができ、または緻密３Ｄモデル生成システム３２４がカメラの姿勢についてのデーターおよび深度画像を収集し、後の時点において３Ｄモデルを組み立てることもできる。
[0029] 可動環境キャプチャー・デバイス３００は、ディスプレイ３３０に接続されているゲーム・システム３３２と共に用いることもできる。例えば、ゲームは、ＦＰＳゲーム、ゴルフ・ゲーム、ボクシング・ゲーム、自動車レース・ゲーム、またはその他のタイプのコンピューター・ゲームとすることができる。緻密３Ｄモデルは、ゲーム・システム３３２に供給することができ、モデルの側面をゲームに組み込むことができる。例えば、３Ｄモデルは、部屋の中にある物体の形状および向きを判定するために用いることができる。これらは、背景の除去を改善するために、カメラに基づくゲームと共に用いることができ、あるいはゲーム自体に組み込むことができる（例えば、プレーヤが対話処理することができるゲーム内物体）。ゲーム状態またはゲームについてのメタデーターというようなゲーム・システム３３２からのデーターは、リアル・タイム・カメラ追跡装置３１６に供給することもできる。
[0030] ユーザーが緻密３Ｄモデルを構築するのを補助するために、緻密３Ｄモデルのリアル・タイム・レンダリングの形態で、ユーザーにフィードバックを提供することができる。これによって、ユーザーは緻密モデルの状態を、これが組み立てられていくに連れて見ることが可能になり、これによって、失われていた領域をユーザーが取り込むのを補助する。これによって、一層対話処理し易い環境をユーザーに提供する。緻密３Ｄモデルからの光景(view)をレンダリングする技法の一例について、以下で図７を参照して論ずる。また、失われているエリアまたは緻密３Ｄモデルの中では品質が劣るエリアにユーザーを導くために、聴覚または視覚的キューをユーザーに供給することもできる。
[0031] マップ・データー３３４は、任意に、リアル・タイム・カメラ追跡装置３１６にも利用可能になる。例えば、これは、建築家の環境の図面（例えば、建物の部屋またはフロア）、環境内において知られている陸標、他のソースから入手可能な建物のマップとすることもできる。
[0032] リアル・タイム追跡装置のフレーム整列エンジン３１８は、深度画像フレームの対を整列するように、または深度画像フレームと緻密３Ｄモデルからの深度画像フレームの推定値とを整列するように構成されている。これは、フレーム整列エンジンがリアル・タイムで動作するために、１つ以上のグラフィクス処理ユニットを用いて実現される反復プロセスを用いる。ループ閉鎖エンジン３２０は、可動環境キャプチャー・デバイスが移動してループ内に入って、現在の深度フレーム内において描かれている場面が、モデルに既に統合されている以前の深度フレームのそれと少なくとも部分的に重なり合っているときを検出するように構成されている。例えば、これは、ユーザーが図２の建物のフロア全体を歩き回り、再度出発地点に達したときに起こると考えられる。また、ユーザーがある家具の背後で部屋内を動き回り、元の出発地点に再度戻ったとき、またはその元の出発地点の近くに戻ったときにも起こると考えられる。再定位エンジン３２２は、リアル・タイム追跡装置が可動環境キャプチャー・デバイス３００の現在の位置を失い、再度現在の位置を再定位または発見するという状況に対処するように構成されている。
[0033] 前述のように、リアル・タイム追跡装置３１６および／または緻密３Ｄモデル生成システム３２４によって実行する処理は、一例では、可動環境キャプチャー・デバイス３００の位置から離れて実行することができる。例えば、可動環境キャプチャー・デバイス３００を、比較的処理パワーが低い計算デバイスに接続すること（またはこれを備えること）ができ、深度画像をサーバーに通信ネットワークを通じてストリーミングする。サーバーは、比較的高い処理パワーを有し、リアル・タイム追跡装置３１６および／または緻密３Ｄモデル生成システム３２４の計算的に複雑なタスクを実行する。サーバーは、レンダリングした緻密再現画像をフレーム毎に戻して、ユーザーに対話処理体験を提供し、更にモデルの完成時における最終的な３Ｄ再現を、今後のローカルな使用（例えば、ゲームにおいて）のために戻すこともできる。このような構成は、ユーザーが高パワーのローカル計算デバイスを所有する必要性を回避する。
[0034] 更に他の例では、ローカルおよびリモート計算デバイス間で、処理を分割することができる。例えば、高解像度緻密３Ｄモデルを組み立てるために、通信ネットワークを通じて深度画像を送信することができ、前述のように、この高解像度緻密３Ｄモデルが完成したときに戻す。これと同時に、少ない処理パワーおよびメモリーを用いて、このモデルの低解像度版をローカルに組み立てる。これらは、ユーザーが見るために、モデルのリアル・タイムの光景をレンダリングするために用いられる。これによって、ユーザーはローカル・プロセッサーからのモデル組み立てから視覚的フィードバックを得ることができ、ネットワーク・レイテンシーの問題を回避することができる。
[0035] これより図４を参照すると、図４は、３Ｄ環境モデルを生成する平行化可能なプロセスのフローチャートを示す。一例では、図４のプロセスは、ＧＰＵプロセッサー、マルチコア・プロセッサー、または高度な実行並列性を可能にする他のタイプのプロセッサー上で実行する。他の例では、単一コア・プロセッサーが十分に速いのであれば、これを用いることもできる。最初に、モデルを格納するためのメモリー・デバイス上に、３Ｄ立体空間(volume)を作成する（４００）。一例では、この３Ｄ立体空間は、グラフィクス処理システムのメモリー上に作成する。このグラフィクス処理システムは、ＧＰＵからの高速並列アクセスを可能にする。
[0036] ３Ｄ立体空間は、メモリーの直方体として可視化することができ、各メモリー位置は、モデル化する環境の空間内における一点を表すボクセルとなる。したがって、３Ｄ立体空間は現実世界環境の空間部分を直接表す。３Ｄ立体空間は現実世界立体空間に直接対応するので、固定サイズのメモリーにおいて表される現実世界立体空間のサイズが、モデルの解像度を決定する。例えば、大きな現実世界立体空間をモデル化しようとする場合、メモリーの各ボクセルは、それよりも小さな現実世界立体空間をモデル化する場合よりも、現実世界空間において大きな領域を表し、したがって、解像度は低くなる。しかしながら、利用可能なメモリーが多い程、大きな現実世界立体空間をもっと高い解像度でモデル化することができる。また、メモリーのフットプリントを縮小し空間解像度を高めるために、効率的なデーター格納の計画的実施(strategies)および／または圧縮アルゴリズムも用いることができる。
[0037] 図５は、ＧＰＵメモリー内においてどのように３Ｄ立体空間を組み立てることができるかを示す一例である。図５は、４×４×４の３Ｄ立体空間例５００を示す。これは単なる代表例に過ぎず、実際の３Ｄ立体空間はこれよりも大きくてもまたは小さくても可能である。この３Ｄ空間はｘ−軸５０２、ｙ−軸５０４、およびｚ−軸５０６を有する。ｘ−軸５０２に沿ったボクセルの数がこの立体空間の幅５０８（この例では４つ）を定め、ｙ−軸５０４に沿ったボクセルの数がこの立体空間の高さ５１０（この例では、これも４つ）を定める。次いで、ｘ、ｙ、ｚ−座標を用いて、個々のボクセルを特定することができる。例えば、ボクセル５１２は、座標（０，３，２）を有する。３Ｄ立体空間とこれが表す現実世界の立体空間との間の関係は分かっているので、３Ｄ立体空間におけるボクセルは、３Ｄ立体空間の座標と現実世界の座標との間で、その位置を変換することができる。
[0038] しかしながら、モデルを格納するために用いられる物理的なメモリー・デバイスは、一般に、図５に示すような、直方体として配列されていない。代わりに、メモリー・デバイスは、一般に、メモリー・アレイ５１４のように、メモリー位置の線形アレイを構成する。メモリー・アレイ上に３Ｄ立体空間を作成するために、x+(y×幅）+(z×幅×高さ)にしたがって、メモリー・アレイ・インデックスに各ボクセルをマッピングする。例えば、座標（０，３，２）を有するボクセル５１２では、これは、図５に示すように、４４のインデックスに変換する。この配列を線形間隔メモリー(linear pitched memory)と呼び、以下で説明するように、ＧＰＵメモリー上に格納されているデーターに対して、高速で並列なアクセスを可能にする手段となる。また、メモリー上に格納されているデーターは、例えば、データーを膨らして(pad out)これらの境界と揃えることによって、そのデーターの格納アドレスが２乗の歩幅(stride)で離間されるように、位置合わせすることもできる。これによって、包括的な乗算の使用を伴わずに、データーに対して処理を実行することが可能になることにより、計算速度を更に高めることができる。
[0039] 尚、代替例では、先に説明したような３Ｄ立体空間とは異なるやり方でモデルを格納できることを注記しておく。例えば、オクトツリーのようなデーター構造を用いると、更にメモリー消費を低減し、計算を高速化することができる。あるいは、３Ｄ空間とそれよりも低い次元の表現との間における伝達関数を適用すると、格納効率を高めることができる。このタイプの伝達関数の一例に「幾何学的画像」(geometry images)と呼ばれるものがある。
[0040] 再度図４に戻ると、一旦３Ｄ立体空間をメモリーにおいて作成したなら（４００）、モデリング・プロセスを開始して、可動環境キャプチャー・デバイス３００からインド画像４１４を受け取り、その深度画像を取り込むときの深度カメラ３０２の６ＤＯＦ姿勢推定値を受け取る（４０２）。６ＤＯＦ姿勢推定値は、深度カメラ３０２の位置および向きを示し、リアル・タイム追跡装置３１６によって供給することができる。一例では、６ＤＯＦ姿勢推定値は、現実世界座標に対する深度カメラ３０２の回転および並進を記述するＳＥ３マトリクスの形態とすることができる。更に形式的には、この変換マトリクスは、次のように表すことができる。
Figure 2014507723
[0041] ここで、Ｔｋは深度画像フレームｋに対する変換マトリクスであり、Ｒｋはフレームｋに対するカメラの回転であり、ｔｋはフレームｋにおけるカメラの並進であり、ユークリッド集合ＳＥ３は、次のようになる。
Figure 2014507723
この変換マトリクスを乗算することによって、カメラ空間における座標（即ち、カメラ視線からの）を現実世界座標にマッピングすることができ、更に逆変換を適用することによってその逆も行うことができる。
[0042] ３Ｄ立体空間の平面における各ボクセルに、別個の実行スレッドを割り当てることができる（４０４）。例えば、立体空間の平面がｚ−平面である場合、３Ｄ立体空間のｘ−座標およびｙ−座標の各組み合わせに実行スレッドを割り当てる。図５の３Ｄ立体空間について考えると、この結果、１６個のスレッドが得られ、（０，０）、（１．０）、（２．０）、...、（１，３）、（２，３）、（３，３）のｘ、ｙ座標を有するボクセルに割り当てられる。
[0043] 次いで、別個の実行スレッドは各々、図４における点線ボックス４０６で示すように、同じ動作を実行する。各スレッドによって実行する動作を図６に模式的に示す。図６は、３Ｄ立体空間の上面図(top-down view)を示す（即ち、ｘ−軸５０２およびｚ−軸６を示し、ｙ−軸は、明確さの目的上、無視する）。この立体空間のｚ−平面上にある各座標に、実行スレッドを割り当て、Ｔ１ ６０２、Ｔ２ ６０４、...、Ｔｎ−１ ６０６、Ｔｎ ６０８で示す。ボックス４０６において各スレッドによって実行する動作を、最初にＴ１ ６０２を参照して示す。
[0044] 実行スレッドに対するｚ−座標をゼロに設定し（４０８）、このスレッドに関連付けられたボクセルに対するｘ、ｙ、ｚ座標を、現実世界座標に変換する（４１０）。例えば、スレッドＴ１ ６０２の場合、このスレッドに関連付けられたｘ、ｙ座標は（０，０）であるので、ｚ−座標をゼロに設定すると、これによって（０，０，０）の座標が得られる（即ち、図６におけるボクセル６１０）。これを現実世界座標に変換することができる。一旦ボクセル６１０に対する現実世界座標が決定されたなら、深度カメラの６ＤＯＦ位置および向きを用いてこれらを変換し、このボクセルに対する深度画像３１４における対応位置を判定することができる。これが意味するのは、このスレッドに関連付けられた現在のボクセルに対する現実世界座標が、深度カメラの投影によって投影された全体像(perspective)になるということである。言い換えると、現実世界におけるこの点を表すボクセルが、位置および向きを有する深度カメラによって捉えられているとすると、これによって、深度画像４１４におけるその点に対する座標を決定する。このボクセルに対する深度カメラの視野における座標をｐＸ、ｐＹ、ｐＺで示す。深度カメラの視野における座標を、ｕ＝ｐＸ／ｐＺおよびｖ＝ｐＹ／ｐＺによって、深度画像画素座標（ｕ、ｖによって示す）に変換する。
[0045] 深度カメラ３０２の台形６１２を示す破線によって、深度カメラ３０２の視野を図６に示す。また、図６は、深度カメラから出力された画像３１４における表面６１４も示す。
[0046] 現在スレッドに関連付けられたボクセルに対する深度画像座標（ｕ、ｖ）を用いて、このボクセルが深度カメラの台形６１２内部に位置するか否か判定を行う（４１４）。位置していない場合、このボクセルを飛ばすことができる。図６を参照すると、スレッドＴ１の場合、現ボクセル６１０はカメラの台形６１２内部にあることに気付く。これは、例えば、スレッドＴｎ−１によって考慮される第１ボクセルがカメラの台形６１２の外側にあり、したがって飛ばされるのとは対照をなすことができる。
[0047] 現在のボクセルがカメラの台形６１２の内部にあると判定した場合、このボクセルと、カメラの視線からのこのボクセルに対応する位置における環境内の点との間の距離に関係する係数を判定する。この対応する位置における環境内の点は、深度画像における深度値によって（ｕ，ｖ）において与えることができる。したがって、図６を参照すると、この係数は、ボクセル６１０とボクセル６１０上にマッピングする深度画像３１４の表面６１４上にある点との間の距離６１６を考慮する。
[0048] 一例では、計算した係数（４２０）は、符合付きの距離関数であるが、いずれの暗黙的な表面表現も適用可能とすることができる（例えば、正確な表面位置を、数値法(numerical method)および規則的な格子上に格納されている有限数の点の間における補間によって決定することができるもの）。符合付き距離関数の計算は、現在のボクセルと深度画像３１４における対応点との間の距離の値を与え、深度画像（カメラの視線からの）における対応点の外側（即ち、外部）にあるボクセルには正の距離が与えられ、深度画像（カメラの視線からの）における対応点の内側（即ち、内部）にあるボクセルには負の距離が与えられるように、符合が付けられる。ゼロの値は、関連付けられたボクセルが正確に対応点と一致することを示す。この符合付き距離関数は、深度画像内の（ｕ，ｖ）における深度値からｐＺを減算することによって、容易に計算することができる。
[0049] 例えば、図６におけるボクセル６１０は、表面６１４上の対応点の前にあり、したがって、正の符号がついた距離関数値を有する。逆に、図６におけるボクセル６１８は、表面６１４上でその対応点の背後にあり、したがって、負の符号がついた距離関数値を有する。
[0050] 次に、この符号付き距離関数値を、既定の距離値に対して正規化する（４２２）。一例では、この既定値は、５ｃｍというような小さな距離にすることができるが、適した値であればいずれでも用いることができる。例えば、正規化は、再現されるノイズ・レベルおよび物体の厚さに応じて適応させることができる。これは、ユーザーによって手動で定めることができ、またはデーター内におけるノイズの分析によって自動的に導き出すことができる。次に、正規化した距離が正の閾値よりも大きいか（符合付き距離が正の場合）、または負の閾値よりも小さいか（符合付き距離が負の場合）判定を行う（４２４）。そうである場合、符合付き距離関数値を最大値または最小値に切り上げ（切り下げ）る（４２６）。例えば、正規化した距離が正の閾値よりも大きい場合、この値を＋１（正規化後の正の閾値）に切り上げることができ、正規化した距離が負の閾値よりも小さい場合、この値を−１（正規化後の負の閾値）に切り下げることができる。この計算の結果は、丸め符合付き距離関数（ＴＳＤＦ）として知られている。
[0051] 例えば、図６を参照すると、ボクセル６１０は、表面６１４の外側の比較的大きな距離にあり、したがって＋１に切り上げることができる。逆に、ボクセル６１８は表面６１４の内側の比較的短い距離にあり、したがって切り下げられず、その正規化した距離（例えば、−０．６）を維持すればよい。
[0052] 正規化した（そして、該当する場合には、丸めた）符合付き距離関数値を、次に、現在のボクセルに格納されている以前の値があればそれと組み合わせる。これが３Ｄ立体空間に組み込まれた最初の深度画像である場合、以前の値は存在しない。しかしながら、深度カメラから別のフレームを受け取り組み込んでいくと、ボクセルにおいて値が既に存在する可能性がある。
[0053] 一例では、符合付き距離関数値を以前の値と平均化によって組み合わせる（４２８）。これは、移動物体で環境のモデルを構築するのを補助することができる。何故なら、これによって、追加された測定値が古くなりもっと新しい測定値と平均化されるに連れて、移動した物体がときの経過とともに消えていくことが可能になるからである。例えば、指数的に減衰する移動平均を用いることができる。他の例では、この平均は、深度カメラから関連付けられたボクセルの距離に関係する重み関数を用いる加重平均とすることができる。平均符合付き距離関数値は、次に、現在のボクセルに格納することができる（４３０）。
[0054] 代替例では、各ボクセルに２つの値を格納することができる。符合付き距離関数値の加重和を計算して格納することができ、更に重みの総和も計算して格納することができる。次いで、（加重和）／（重みの総和）として、加重平均を計算することができる。
[0055] 次いで、３Ｄ立体空間の全てのｚ−平面がこのスレッドによって考慮されたか否か判定を行う（４１６）。されていない場合、ｚ−座標を増分し（４１８）、ｚ方向における次のボクセルに対して、本プロセスを繰り返す。言い換えると、スレッドは、立体空間のｚ方向に沿って同等のボクセル（即ち、同じｘ、ｙ座標を有するもの）にわたって繰り返して、丸め符合付き距離関数値を決定し、以前の値とこれらとの平均を取る。
[0056] スレッドが全てのｚ−平面にわたって繰り返し終えるまで、これを繰り返す。これは各スレッドによって実行され、その各々がｚ−平面上にある異なるｘ、ｙ座標に割り当てられる。一度に立体空間の１つ平面ずつ順次行うことは、図５におけるメモリー・レイアウトには、相応しいメモリー・アクセス効率特性を有することになる。何故なら、１つのｚ−平面は線形間隔アレイ(linearly pitched array)の小さな連続領域に対応するからである。したがって、一旦全てのスレッドによってこれを完了したなら、３Ｄ立体空間全体が分析されたことになり、深度画像３１４に関するボクセル毎に、丸め符合付き距離関数が計算されたことになる。次いで、本プロセスは、深度カメラから次の深度画像が受け取られるのを待ち、可能な場合には、再び更に多くの値を３Ｄ立体空間に追加し始める。
[0057] このプロセスの結果、１と＋１との間の平均値を有するボクセルを含む３Ｄ立体空間が得られる（しかし、この平均値は、以上の「加重和」および「重みの総和」値というような、多数の値によって表すことができることを注記しておく）。平均値がゼロである場合、環境における表面がその位置に存在することを示す。ときの経過と共に深度画像の多数のフレームが立体空間に追加されるので、この立体空間に格納されるモデルは、徐々に増々詳しく構築されていく。環境の同じ領域の測定を繰り返すことによって、更なる詳細が追加され、深度カメラによって提供される情報の解像度が効果的に高められる。更に、平均を取ることによって、深度画像からノイズも効果的に消し去られ、遙かに平滑な表面が残る。これによって、個々の深度画像からは見ることができない詳細を、モデルにおいて見ることが可能になる。
[0058] このような別個に実行するスレッドの使用によって、３Ｄ立体空間全体にわたって計算的に効率的な処理が可能になる。例えば、ＧＰＵプロセッサーは、並列プログラム・スレッドを効率的に実行するように構成され、各スレッドが同じ動作を実行する。これによって、図４を参照して以上で説明したモデル生成プロセスをリアル・タイムで実行することが可能になり、深度カメラのフレーム・レートでモデルが組み立てられるようになる。
[0059] 一旦以上で説明したように３Ｄ立体空間においてモデルが組み立てられたなら、多数の方法でこれを利用することができる。例えば、この立体空間に格納されているモデルの光景(view)は、図７に示すようなレイキャスティング技法を用いてレンダリングすることができる。図７のフローチャートは、３Ｄ立体空間からレイキャスティングする並列化可能なプロセスを示す。これは、以上のモデル生成プロセスと同様なやり方でＧＰＵまたはマルチコアＣＰＵ上で実行するのに適している。
[0060] モデルの光景をレンダリングするために、最初に、レンダリングしようとする画像に対して視点を定める仮想カメラの姿勢を受け取る（７００）。この姿勢は、仮想カメラの６ＤＯＦ位置および向きの形態とすることができる。次いで、レンダリングしようとする画像における各画素に、別個の実行スレッドを割り当てる（７０２）。
[0061] 次いで、ボックス７０４に示す動作を各実行スレッドによって実行して、スレッドの関連付けられた画素に適用する値（例えば、陰影、色等）を決定する。このスレッドと関連付けられている画素のｘ−およびｙ−座標を、既定の初期ｚ−値と組み合わせて、この画素に３Ｄ座標を与え、仮想カメラの姿勢を用いて、この画素の３Ｄ ｘ、ｙ、ｚ座標を、Ｘ，Ｙ，Ｚで示す現実世界座標に変換する。次いで、現実世界座標Ｘ，Ｙ，Ｚを３Ｄ立体空間におけるボクセル座標に変換する（７０８）。
[0062] これらの座標は、仮想カメラの位置から発して３Ｄ立体空間を通る経路を有する、画素に対する光線上において１つの点を定める。次いで、３Ｄ立体空間におけるどのボクセルにこの光線が最初に接触したのか判断し（７１０）、これをレイキャスティングの開始ボクセルとして設定する。レイキャスティング動作は、この光線に沿って（開始ボクセルから）移動し（７１２）、光線が接触したボクセルの平均符合付き距離関数値を各ボクセルにおいて読み取り、ボクセル値においてゼロ交差が生じたか否か判定を行う（７１４）（即ち、光線上の１つのボクセルに格納されている平均符合付き距離関数値と、光線に沿った次のボクセルに格納されている平均符合付き距離関数値との間の符合変化）。任意に、これは、正から０を通って負への符合変化の存在のみを判定するように構成することもできる。これによって、前方から見た表面と、物体の「内側」から見た表面との間で区別を行うことが可能になる。
[0063] ゼロ交差が検出された場合、これは、モデルにおける表面の存在を示す（前述のように）。したがって、これは、表面が光線と交差するボクセルを示す。ゼロ交差の両側における光線上のボクセルの符合付き距離関数値間に、適した線形補間技法を用いると、正確にゼロ交差の位置を突き止めることができ、したがって、ゼロ交差表面との交点の位置を突き止めることができる。一例では、光線に沿った表面交点は、検出したゼロ交差の両側において３つの線に囲まれてサンプリングされた点(trilinearly sampled points)を仮定して、単純な線形補間を用いて計算して、ゼロが生ずる点を発見することができる。ゼロ交差が発生した点において、法線曲面を計算する（７１６）。これは、近隣ボクセルからの勾配を用いて実行することができる。また、線形補間は、近隣ボクセルからの勾配を一層精度高く決定するため、したがって一層正確な法線曲面を生成するためにも用いることができる。一例では、法線曲面は、後方差分数値微分(backward difference numerical derivatives)を用いて、次のように計算することができる。
Figure 2014507723
[0064] ここで、n^(x)は、ボクセルｘに対する法線であり、f(x)はボクセルｘに対する符合付き距離関数値である。この微分は、各次元において調整し、潜在的に任意のボクセル解像度および再現次元を仮定して、正しい等方性を確保することができる。
[0065] ゼロ交差が生じたボクセルの座標を、現実世界座標に変換し（７１８）、モデルにおける表面の位置に現実世界座標を与える。この表面の現実世界座標から、その法線曲面を加えて、陰影および／または色を計算することができる（７２０）。計算する陰影および／または色は、適した陰影モデルであればいずれにでも基づくことができ、仮想光源の位置を考慮することができる。
[0066] 前述のように、ボックス７０４における動作は、各実行スレッドによって並列に実行され、最終出力画像における画素毎に、陰影および／または色を与える。次いで、画素毎に計算したデーターを組み合わせて出力画像を与えることができる（７２２）。これは、仮想カメラからのモデルの光景(view)のレンダリングとなる。
[0067] 以上で説明したレイキャスティングの並列性によって、３Ｄ環境の光景をリアル・タイムでレンダリングすることが可能になる。モデルをＧＰＵメモリーの３Ｄ立体空間に格納するときにＧＰＵ上でレイキャスティング動作を実行することは、高速で計算上効率的である。
[0068] また、レイキャスティング動作は、空き空間飛び越しアルゴリズムを採用することによって、更に改良することができる。各光線はその経路に沿って数百ものボクセルと接触するので、空のボクセル（モデルについて何の情報も収容していないボクセル）を分析することによって計算リソースを浪費するのを回避することは有効である。一例では、光線に沿ってボクセルを１つずつ分析することを回避するために、ボクセルにおける値が既定値よりも大きい場合、その光線に沿った１つよりも多いボクセルを飛ばす。飛ばすボクセルの数、および既定値は、空間を飛ばすことによってゼロ交差が失われないことを確保するように、先に論じた既定距離値（正規化を制御する）の知識を用いてこれらのパラメーターを選択するのであれば、効率およびレイキャスティングの精度の間で折衷案を得るように定めることができる。
[0069] 他の例では、Ｎ次ツリー、例えば、オクトツリーのような、多レベル・データー構造を利用することによって、空間飛ばしを実行することができる。ここでは、主要な３Ｄ立体空間から、この３Ｄ立体空間よりも解像度が低い、少なくとも１つの追加の立体空間を生成する。低解像度の立体空間を最初に分析して、光線に沿ってどこに空き空間があるか判断し、主要な３Ｄ立体空間を分析して、空でないボクセルを通過する光線の部分を求めることができる。
[0070] 更に他の例では、３Ｄ立体空間に格納したモデルを用いて、環境のポリゴン・メッシュ表現を抽出することができる。これは、例えば、マーチング・キューブ・アルゴリズム(marching cube algorithm)、マーチング・テトラへドロン・アルゴリズム(marching tetrahedron algorithm)、ブルーメントール・ポリゴナイザー(Bluementhal Polygonizer)、またはモデルの部分を表すポリゴンを選択するための適したアルゴリズムであれば他のいずれを用いても遂行することができる。モデルのポリゴン表現は、一定の「水密」表面を利用する物理に基づくアプリケーションまたは他のアプリケーションには有用であることができる。
[0071] 例の中には、ポリゴン・メッシュが、モデルを表す格納効率を更に高める方法になることができる場合もあるが、深度カメラからの新たな測定値によって容易に更新することができない。したがって、ポリコン・メッシュは、深度カメラから３Ｄ立体空間内にモデルが作られた後に、このモデルを効率的に格納するために用いることができる。例えば、ポリゴン・メッシュは、ＧＰＵメモリー内ではなく、ＣＰＵメモリーのような記憶デバイス、またはディスク上に格納することができる。例の中には、モデルを組み立てた後、ポリゴン・メッシュ形態で「キャッシュし」、必要に応じて変換して符合付き距離関数形態に戻すことができる。例えば、ポリゴン・メッシュは、３Ｄ立体空間メモリーに収容(fit)できるよりも大きな現実世界エリアをカバーする大きなモデルを組み立てるために用いることができる。ある現実世界領域に対してモデルを３Ｄ立体空間において完成すると、これをポリゴン・メッシュ形態で書き出すことができ、３Ｄ立体空間をクリアして新たな現実世界領域をモデリングすることができる。これは、任意に、ポリゴン・メッシュに後から追加することができる。例の中には、先に説明したレイキャスティング動作を、３Ｄ立体空間からではなく、ポリゴン・メッシュから実行できる場合もある。更に他の例では、モデルの光景は、表充填機なグラフィクス・レンダリング・ラスタ化パイプラインのような代替技法を用いて、ポリゴン・メッシュから生成することができる。
[0072] また、ポリゴン・メッシュとして格納した「キャッシュ」モデル(cached model)は、立体空間上に格納されている３Ｄモデルに変換することができる。例えば、格納されているキャッシュ・モデルを３Ｄ立体空間に「シード」(seed)として書き出すことができ、これに対して更に多くの深度画像を追加して、モデルの精度および詳細を更に高めることができる。
[0073] 尚、例の中には、暗黙的な表面表現が適用可能であるかもしれない場合もあることを注記しておく（例えば、正確な表面位置が、数値方法および規則的な格子上に格納された有限数の点間の補間によって決定することができるもの）。
[0074] これより図８を参照すると、図８は、いずれかの形態の計算および／または電子デバイスとして実現することができ、以上で説明した３Ｄ環境モデリング技法の実施形態を実現することができる計算主体デバイス例１０００の種々のコンポーネントを示す。
[0075] 計算主体デバイス８００は、１つ以上のプロセッサー８０２を備えている。プロセッサー８０２は、マイクロプロセッサー、コントローラー、または３Ｄ再現を実験するためにデバイスの動作を制御する計算実行可能命令を処理するのに適したタイプのプロセッサーであれば他のいずれでもよい。例の中には、例えば、チップ・アーキテクチャ上のシステムを用いる場合、プロセッサー８０２は、本明細書において説明した方法の一部をハードウェアで実現する（ソフトウェアでもファームウェアでもなく）１つ以上の固定機能ブロック（アクセレレーターとも呼ぶ）を含むのでもよい。
[0076] また、計算主体デバイス８００は、グラフィクス処理システム８０４も備えることができる。グラフィクス処理システム８０４は、通信インターフェース８０６を通じてプロセッサー８０２と通信し、１つ以上のグラフィクス処理ユニット８０８を備えている。グラフィクス処理ユニット８０８は、高速でしかも効率的に並列なスレッド動作を実行するように構成されている。また、グラフィクス処理システム８０４は、メモリー・デバイス８１０も備えている。メモリー・デバイス８１０は、ＧＰＵ８０８からの高速並列アクセスを可能にするように構成されている。例では、メモリー・デバイス８１０は３Ｄ立体空間を格納することができ、グラフィクス処理ユニット８０８は、以上で説明したモデル生成およびレイキャスティング動作を実行することができる。
[0077] また、計算主体デバイス８００は、入力／出力インターフェース８１２も備えている。入力／出力インターフェース８１２は、可動環境キャプチャー・デバイス（深度カメラを備えている）、および任意に１つ以上のユーザー入力デバイス（例えば、ゲーム・コントローラ、マウス、キーボード等）というような１つ以上のデバイスから入力を受け取り、これらを処理するように構成されている。また、Ｉ／Ｏインターフェース８１２は、通信インターフェースとして動作することもできる。通信インターフェースは、１つ以上のネットワーク（例えば、インターネット）と通信するように構成することができる。
[0078] また、表示インターフェース８１４も設けられ、表示情報をディスプレイ・デバイスに出力するように構成されている。ディスプレイ・デバイスは、計算主体デバイスと一体化されているかまたはこれと通信する。ディスプレイ・システムは、グラフィカル・ユーザー・インターフェース、またはいずれかの適したタイプの他のユーザー・インターフェースを設けるとよいが、これは必須ではない。
[0079] 計算主体デバイス８００によってアクセスすることができるいずれかのコンピューター読み取り可能媒体を用いて、コンピューター実行可能命令を供給することもできる。コンピューター読み取り可能媒体は、例えば、メモリー８１６のようなコンピューター記憶媒体、および通信媒体を含むことができる。メモリー８１６のようなコンピューター記憶媒体は、揮発性および不揮発性、リムーバブルおよび非リムーバブル媒体を含み、コンピューター読み取り可能命令、データー構造、プログラム・モジュール、またはその他のデーターというような情報の格納のためのいずれかの方法または技術で実現される。コンピューター記憶媒体は、限定ではなく、ＲＡＭ、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ，フラッシュ・メモリーまたは他のメモリー技術、ＣＤ−ＲＯＭ、ディジタル・バーサタイル・ディスク（ＤＶＤ）またはその他の光学ストレージ、磁気カセット、磁気テープ、磁気ディスク・ストレージまたは他の磁気記憶デバイス、あるいは計算デバイスによるアクセスのために情報を格納することができる他のあらゆる媒体を含むことができる。対照的に、通信媒体は、コンピューター読み取り可能命令、データー構造、プログラム・モジュール、または他のデーターを、搬送波というような変調データー信号、または他の伝達メカニズム内に具体化することができる。本明細書において定義する場合、コンピューター記憶媒体は通信媒体を含まないこととする。コンピューター記憶媒体（メモリー８１６）は計算主体デバイス８００内部に示されているが、記憶媒体は、分散することまたは離れて配置することもでき、ネットワークまたは他の通信リンクを通じてアクセスできる（例えば、Ｉ／Ｏインターフェース８１２を用いる）ことは認められよう。
[0080] オペレーティング・システム８１８を構成するプラットフォーム・ソフトウェアまたは他のいずれかの適したプラットフォーム・ソフトウェアは、アプリケーション・ソフトウェア８２０を計算主体デバイス上で実行することを可能にするために、計算主体デバイスにおいて設けることができる。メモリー８１６は、緻密モデル統合エンジン８２２（例えば、図４を参照して説明したプロセスを用いて３Ｄモデル内にモデルを構築するように構成されている）、緻密モデル可視化エンジン８２４（例えば、図７のレイキャスティング・プロセスを用いてレンダリングしたモデルの画像を出力するように構成されている）、および緻密モデル・クエリー・エンジン８２６（例えば、ポリゴン・メッシュを組み立てるために、モデルからデーターを得るように構成されている）の機能を実現するための実行可能命令を格納することができる。また、メモリー８１６は、データー・ストア８３０も設けることができる。データー・ストア８３０は、ポリゴン・メッシュを格納するためにというように、３Ｄモデリング技法を実行するときに、プロセッサー８０２によって用いられるデーターのためのストレージを設けるために用いることができる。
[0081] 「コンピューター」という用語は、本明細書では、命令を実行することができるような処理能力を有するあらゆるデバイスを指すために用いられる。このような処理能力が多くの異なるデバイスに組み込まれており、したがって、「コンピューター」という用語はＰＣ、サーバー、移動体電話機、パーソナル・ディジタル・アシスタント、および多くの他のデバイスを含むことが、当業者にはわかるであろう。
[0082] 本明細書において記載した方法は、有形記憶媒体上における機械読み取り可能な形態としたソフトウェアによって実行することができ、例えば、コンピューター・プログラムの形態をなし、このプログラムをコンピューター上で実行すると、本明細書において記載した方法のいずれでも、全てのステップを実行するように構成されたコンピューター・プログラム・コードを備えており、このコンピューター・プログラムは、コンピューター読み取り可能媒体上に具体化することができる。有形（または、非一時的）記憶媒体の例には、ディスク、サム・ドライブ(thumb drive)、メモリー等が含まれ、伝搬信号は含まれない。ソフトウェアは、本方法ステップをいずれかの適した順序で、または同時に実行することができるように、並列プロセッサーまたは直列プロセッサー上で実行するのに適していると言うことができる。
[0083] これは、ソフトウェアが、価値があり、別個に取引可能な産物であることができることを認めるものである。所望の機能を実行するために、「ダムターミナル」(dumb)または標準的なハードウェア上で実行するまたはこれを制御するソフトウェアを包含することを意図している。また、所望の機能を実行するために、シリコン・チップを設計するためあるいはユニバーサル・プログラマブル・チップを構成するために用いられる、ＨＤＬ（ハードウェア記述言語）ソフトウェアのような、ハードウェアの構成を「記述する」または定義するソフトウェアを包含することも意図している。
[0084] 当業者には、プログラム命令を格納するために利用する記憶デバイスはネットワークを跨がって分散できることは分かるであろう。例えば、リモート・コンピューターが、ソフトウェアとして記述されたプロセスの一例を格納することができる。ローカル・コンピューター即ち端末コンピューターがこのリモート・コンピューターにアクセスして、そのソフトウェアの一部または全部をダウンロードしてプログラムを実行することができる。あるいは、ローカル・コンピューターが必要に応じて複数のソフトウェア(pieces of software)をダウンロードすることもでき、または一部のソフトウェア命令をローカル端末において実行し、一部をリモート・コンピューター（またはコンピューター・ネットワーク）で実行することもできる。また、当業者には周知の従来の技術を利用することによって、ソフトウェア命令の全部または一部が、ＤＳＰ、プログラマブル・ロジック・アレイ等のような専用回路によって実行するのでもよいことは、当業者には分かるであろう。
[0085] 本明細書において示した範囲またはデバイス値はいずれも、求めようとする効果を失うことなく、広げることまたは変更することもでき、これは当業者には明白であろう。
[0086] 尚、以上で記載した効果および利点は、一実施形態に関する場合もあり、または様々な実施形態に関する場合もあることは言うまでもない。実施形態は、記載した問題のいずれを解決するものにも、またその全てを解決するものにも限定されず、更には記載した効果および利点のいずれかを有するものにも、またその全てを有するものにも限定されない。更に、「１つの」品目に対する引用は、１つ以上のこれらの品目にも言及することは言うまでもない。
[0087] 本明細書において記載した方法のステップは、いずれの順序でも実行することができ、またしかるべき場合には同時に実行することもできる。加えて、本明細書に記載した主題の主旨および範囲から逸脱することなく、個々のブロックを前述の方法のいずれからでも削除することもできる。以上で説明した例のいずれの態様も、求めようとする効果を失うことなく、更に他の例を形成するために、説明した他の例のいずれの態様とでも組み合わせることができる。
[0088] 「備えている」(comprising)という用語は、本明細書では、特定された方法のブロックまたはエレメントを含むことを意味するが、このようなブロックまたはエレメントが排他的なリストを構成するのではなく、方法または装置が追加のブロックまたはエレメントを含んでもよいことを意味する。
[0089] 尚、好ましい実施形態についての以上の説明は、一例として示したに過ぎず、種々の変更が当業者によってなされてもよいことは言うまでもない。以上の明細書、例、およびデーターは、本発明の代表的実施形態の構造および使用についての完全な説明を提供する。以上では本発明の種々の実施形態についてある程度の特定性をもって、または１つ以上の個々の実施形態を参照して説明したが、当業者であれば、本発明の主旨または範囲から逸脱することなく、開示した実施形態に対して多数の変更を行うことができよう。

Claims (10)

  1. 現実世界環境の３Ｄモデルを生成するコンピューター実装方法であって、
    前記モデルを格納するためのメモリー・デバイスに三次元立体空間を作成するステップであって、前記立体空間が複数のボクセルを含む、ステップと、
    キャプチャー・デバイスの位置および向きを記述するデーターと、前記キャプチャー・デバイスから出力された前記環境の少なくとも一部の深度画像とを受け取るステップであって、前記深度画像が複数の画素を含み、各画素が、前記キャプチャー・デバイスから前記環境内における１つの点までの距離を示す、ステップと、
    前記立体空間の平面内にある各ボクセルに、別個の実行スレッドを割り当てるステップと、
    各実行スレッドが、前記キャプチャー・デバイスの位置および向きを用いて、前記深度画像においてそれに関連付けられたボクセルに対する対応位置を判定し、前記関連付けられたボクセルと前記環境内の前記対応位置における点との間の距離に関係する係数を決定し、前記係数を用いて前記関連付けられたボクセルに格納されている値を更新するステップと、
    各実行スレッドが、前記ボリュームの残っている平面の各々において同等のボクセル毎に反復して、ボクセル毎に、前記係数を決定するステップと、格納されている値を更新するステップを繰り返すステップと、
    を備えている、コンピューター実装方法。
  2. 請求項１記載の方法であって、更に、前記係数を判定するステップの前に、前記対応位置が前記キャプチャー・デバイスの台形の内部にあるか否か判定するステップを備えている、方法。
  3. 請求項１記載の方法において、前記キャプチャー・デバイスの位置および向きを用いて、前記深度画像においてそれに関連付けられたボクセルに対する対応位置を判定するステップが、
    現実世界座標において前記ボクセルの位置を判定するステップと、
    前記深度画像において前記関連付けられたボクセルに対する対応座標を決定するために、前記位置および向きを用いて、前記キャプチャー・デバイスの投影によって前記現実世界座標を投影するステップと、
    を備えている、方法。
  4. 請求項１記載の方法であって、更に、レイキャスティングを用いて、ディスプレイ・デバイス上における表示のために前記モデルの画像を生成するステップを備えており、前記モデルの画像を生成する前記ステップが、
    仮想カメラについての姿勢データーを受け取るステップと、
    実行スレッドを各画像画素に割り当てるステップと、
    各画像画素実行スレッドが、前記仮想カメラから発して前記関連付けられた画素を通る経路を決定し、前記経路を前記立体空間における座標に変換し、表面においてボクセルが検出されるまで前記経路に沿って前記立体空間内を動き、当該ボクセルに格納されている値を用いて、前記関連付けられたボクセルに対して陰影を計算するステップと、
    を含む、方法。
  5. 請求項１記載の方法であって、更に、前記モデルからポリゴン・メッシュを生成し、前記ポリゴン・メッシュを記憶デバイスに格納するステップを備えており、前記モデルからポリゴン・メッシュを生成する前記ステップが、前記モデルの一部を表すポリゴンを選択するために、マーチング・キューブ・アルゴリズムを用いるステップを含む、方法。
  6. 請求項１記載の方法において、前記係数を用いて前記関連付けられたボクセルに格納されている前記値を更新する前記ステップが、前記係数と、前記関連付けられたボクセルに格納されている以前の値とを合算するステップを含み、この方法が、更に、前記格納されている値と、前記関連付けられたボクセルの前記キャプチャー・デバイスからの距離に関係する重み付け関数とを用いて、加重平均を決定するステップを備えている、方法。
  7. 請求項１記載の方法において、前記係数を決定するステップが、
    前記関連付けられたボクセルが前記点の第１側に位置する場合、前記係数が正の値を有し、前記関連付けられたボクセルが前記点の反対側に位置する場合、前記係数が負の値を有するように、前記関連付けられたボクセルと、前記環境内の前記対応する位置における前記点との間における符合付き距離を計算するステップと、
    前記係数が既定の正の閾値よりも大きいか否か判定を行い、大きい場合、前記係数を前記正の閾値に切り上げるステップと、
    前記係数が既定の負の閾値よりも小さいか否か判定を行い、小さい場合、前記係数を前記負の第２閾値に切り下げるステップと、
    を含む、方法。
  8. 現実世界環境の３Ｄモデルを生成するグラフィクス処理システムであって、
    キャプチャー・デバイスの位置および向きを記述するデーターと、前記キャプチャー・デバイスからの出力された前記環境の少なくとも一部の深度画像とを受け取るように構成されている通信インターフェースであって、前記深度画像が複数の画素を含み、各画素が、前記キャプチャー・デバイスから前記環境における１つの点までの距離を示す、通信インターフェースと、
    複数のスレッドの同時実行に備えるように構成されているグラフィクス処理ユニットと、
    メモリー・デバイスと、
    を備えており、
    前記グラフィクス処理ユニットが、前記モデルを格納するための前記メモリー・デバイスに三次元立体空間を作成し、前記立体空間が複数のボクセルを含み、前記立体空間の平面内にある各ボクセルに、別個の実行スレッドを割り当て、実行スレッド毎に、前記キャプチャー・デバイスの位置および向きを用いて、その関連付けられたボクセルに対する、前記深度画像における対応位置を判定し、前記関連付けられたボクセルと前記環境内の前記対応位置における点との間の距離に関係する係数を決定し、前記係数を用いて前記関連付けられたボクセルに格納されている値を更新し、前記ボリュームの残っている平面の各々において同等のボクセル毎に反復し、ボクセル毎に、前記係数の決定および格納されている値の更新を繰り返すように構成されている、グラフィクス処理システム。
  9. 請求項８記載のシステムにおいて、前記キャプチャー・デバイスが、あるフレーム・レートで複数の深度画像を供給するビデオ・カメラであり、前記グラフィクス処理ユニットが、更に、前記フレーム・レートで、前記立体空間内にある各ボクセルの前記格納値を繰り返し更新するように構成されている、システム。
  10. 請求項８記載のシステムにおいて、前記キャプチャー・デバイスが、構造化光発光器、飛行時間カメラ、およびステレオ・カメラの内少なくとも１つを備えている、システム。
JP2013552531A 2011-01-31 2012-01-09 三次元環境の再現 Active JP5906258B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/017,690 US8587583B2 (en) 2011-01-31 2011-01-31 Three-dimensional environment reconstruction
US13/017,690 2011-01-31
PCT/US2012/020686 WO2012106069A2 (en) 2011-01-31 2012-01-09 Three-dimensional environment reconstruction

Publications (3)

Publication Number Publication Date
JP2014507723A true JP2014507723A (ja) 2014-03-27
JP2014507723A5 JP2014507723A5 (ja) 2015-02-26
JP5906258B2 JP5906258B2 (ja) 2016-04-20

Family

ID=46562677

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013552531A Active JP5906258B2 (ja) 2011-01-31 2012-01-09 三次元環境の再現

Country Status (7)

Country Link
US (1) US8587583B2 (ja)
EP (1) EP2671210B1 (ja)
JP (1) JP5906258B2 (ja)
KR (1) KR101861313B1 (ja)
CN (1) CN102622776B (ja)
HK (1) HK1172131A1 (ja)
WO (1) WO2012106069A2 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017146952A (ja) * 2016-02-15 2017-08-24 キヤノン株式会社 情報処理装置、情報処理装置の制御方法およびプログラム
WO2018062251A1 (ja) * 2016-09-30 2018-04-05 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置
JP2018528509A (ja) * 2015-07-08 2018-09-27 コリア ユニバーシティ リサーチ アンド ビジネス ファウンデーションＫｏｒｅａ Ｕｎｉｖｅｒｓｉｔｙ Ｒｅｓｅａｒｃｈ Ａｎｄ Ｂｕｓｉｎｅｓｓ Ｆｏｕｎｄａｔｉｏｎ 投影イメージ生成方法およびその装置、イメージピクセルと深度値との間のマッピング方法
JP2020507853A (ja) * 2017-02-17 2020-03-12 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ ３次元点群の再構成のための方法および装置
JP2021507409A (ja) * 2017-12-22 2021-02-22 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． レイキャスティングおよびライブ深度を使用したオクルージョンレンダリングの方法
JP2021051537A (ja) * 2019-09-25 2021-04-01 ミストウォーカー・コーポレーション 画像表示システム、方法、およびプログラム
KR20210064115A (ko) * 2019-08-23 2021-06-02 상 하이 이워 인포메이션 테크놀로지 컴퍼니 리미티드 촬영을 기반으로 하는 3d 모델링 시스템 및 방법, 자동 3d 모델링 장치 및 방법
KR20210064536A (ko) * 2019-11-26 2021-06-03 서울과학기술대학교 산학협력단 사용자 위치 연산 장치
JP2021170341A (ja) * 2017-09-08 2021-10-28 ナイアンティック, インコーポレイテッドNiantic, Inc. ゲームプレイを介して環境の詳細データセットを生成する方法およびシステム
JP2022501684A (ja) * 2019-08-23 2022-01-06 上海亦我信息技術有限公司 撮影に基づく３ｄモデリングシステムおよび方法、自動３ｄモデリング装置および方法

Families Citing this family (194)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8525825B2 (en) 2008-02-27 2013-09-03 Google Inc. Using image content to facilitate navigation in panoramic image data
US8427424B2 (en) 2008-09-30 2013-04-23 Microsoft Corporation Using physical objects in conjunction with an interactive surface
US8503720B2 (en) 2009-05-01 2013-08-06 Microsoft Corporation Human body pose estimation
US8730309B2 (en) 2010-02-23 2014-05-20 Microsoft Corporation Projectors and depth cameras for deviceless augmented reality and interaction
US8725476B1 (en) * 2010-05-04 2014-05-13 Lucasfilm Entertainment Company Ltd. Applying details in a simulation
US8773946B2 (en) * 2010-12-30 2014-07-08 Honeywell International Inc. Portable housings for generation of building maps
US8587583B2 (en) 2011-01-31 2013-11-19 Microsoft Corporation Three-dimensional environment reconstruction
US8942917B2 (en) 2011-02-14 2015-01-27 Microsoft Corporation Change invariant scene recognition by an agent
US9329469B2 (en) 2011-02-17 2016-05-03 Microsoft Technology Licensing, Llc Providing an interactive experience using a 3D depth camera and a 3D projector
US9480907B2 (en) 2011-03-02 2016-11-01 Microsoft Technology Licensing, Llc Immersive display with peripheral illusions
US8970592B1 (en) 2011-04-19 2015-03-03 Lucasfilm Entertainment Company LLC Simulating an arbitrary number of particles
US8849030B2 (en) 2011-04-22 2014-09-30 Microsoft Corporation Image retrieval using spatial bag-of-features
US9053571B2 (en) 2011-06-06 2015-06-09 Microsoft Corporation Generating computer models of 3D objects
US9597587B2 (en) 2011-06-08 2017-03-21 Microsoft Technology Licensing, Llc Locational node device
US8564595B1 (en) 2011-08-03 2013-10-22 Zynga Inc. Delivery of projections for rendering
US9274595B2 (en) 2011-08-26 2016-03-01 Reincloud Corporation Coherent presentation of multiple reality and interaction models
US9628843B2 (en) * 2011-11-21 2017-04-18 Microsoft Technology Licensing, Llc Methods for controlling electronic devices using gestures
US20130141433A1 (en) * 2011-12-02 2013-06-06 Per Astrand Methods, Systems and Computer Program Products for Creating Three Dimensional Meshes from Two Dimensional Images
EP2602587A1 (en) * 2011-12-06 2013-06-12 Hexagon Technology Center GmbH Method and device for determining 3D coordinates of an object
KR101850027B1 (ko) * 2011-12-08 2018-04-24 한국전자통신연구원 실시간 3차원 실 환경 복원장치 및 그 방법
KR101929451B1 (ko) * 2012-02-03 2018-12-14 삼성전자주식회사 로봇의 제어 장치 및 방법
EP2815251B1 (en) * 2012-02-15 2017-03-22 Heptagon Micro Optics Pte. Ltd. Time of flight camera with stripe illumination
EP2660781A1 (en) * 2012-05-03 2013-11-06 Alcatel Lucent Three-dimensional model generation
US20130317901A1 (en) * 2012-05-23 2013-11-28 Xiao Yong Wang Methods and Apparatuses for Displaying the 3D Image of a Product
US9420265B2 (en) 2012-06-29 2016-08-16 Mitsubishi Electric Research Laboratories, Inc. Tracking poses of 3D camera using points and planes
KR101839035B1 (ko) * 2012-11-26 2018-03-19 한국전자통신연구원 멀티 ｇｐｕ를 기반으로 하는 ３차원 복원을 위한 장치 및 그 방법
EP2936393B1 (en) * 2012-12-24 2019-06-19 Harman International Industries, Inc. User location system
US9857470B2 (en) 2012-12-28 2018-01-02 Microsoft Technology Licensing, Llc Using photometric stereo for 3D environment modeling
US9251590B2 (en) 2013-01-24 2016-02-02 Microsoft Technology Licensing, Llc Camera pose estimation for 3D reconstruction
WO2014125502A2 (en) * 2013-02-18 2014-08-21 Tata Consultancy Services Limited Segmenting objects in multimedia data
US9224368B2 (en) * 2013-02-20 2015-12-29 Google Inc. Merging three-dimensional models of varying resolution
US9940553B2 (en) 2013-02-22 2018-04-10 Microsoft Technology Licensing, Llc Camera/object pose from predicted coordinates
US20140247263A1 (en) * 2013-03-04 2014-09-04 Microsoft Corporation Steerable display system
US8892358B2 (en) * 2013-03-14 2014-11-18 Robert Bosch Gmbh System and method for distortion correction in three-dimensional environment visualization
US9227323B1 (en) * 2013-03-15 2016-01-05 Google Inc. Methods and systems for recognizing machine-readable information on three-dimensional objects
US9674507B2 (en) * 2013-04-30 2017-06-06 Qualcomm Incorporated Monocular visual SLAM with general and panorama camera movements
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
US20140368504A1 (en) 2013-06-12 2014-12-18 Microsoft Corporation Scalable volumetric 3d reconstruction
US9536339B1 (en) * 2013-06-13 2017-01-03 Amazon Technologies, Inc. Processing unordered point cloud
US9377294B2 (en) * 2013-06-18 2016-06-28 Xerox Corporation Handheld cellular apparatus for volume estimation
CN105659170B (zh) * 2013-06-27 2019-02-12 Abb瑞士股份有限公司 用于向远程用户传送视频的方法及视频通信装置
US10330931B2 (en) * 2013-06-28 2019-06-25 Microsoft Technology Licensing, Llc Space carving based on human physical data
US9984498B2 (en) 2013-07-17 2018-05-29 Microsoft Technology Licensing, Llc Sparse GPU voxelization for 3D surface reconstruction
US9998684B2 (en) * 2013-08-16 2018-06-12 Indiana University Research And Technology Corporation Method and apparatus for virtual 3D model generation and navigation using opportunistically captured images
KR102115930B1 (ko) * 2013-09-16 2020-05-27 삼성전자주식회사 디스플레이 장치 및 영상 처리 방법
CN105593856B (zh) 2013-09-23 2019-05-31 英派尔科技开发有限公司 适应位置图的视频游戏
US20150103146A1 (en) * 2013-10-16 2015-04-16 Qualcomm Incorporated Conversion of at least one non-stereo camera into a stereo camera
US8818081B1 (en) * 2013-10-16 2014-08-26 Google Inc. 3D model updates using crowdsourced video
US10242400B1 (en) 2013-10-25 2019-03-26 Appliance Computing III, Inc. User interface for image-based rendering of virtual tours
US9547838B2 (en) * 2013-11-06 2017-01-17 Oracle International Corporation Automated generation of a three-dimensional space representation and planogram verification
US10002640B2 (en) 2014-02-28 2018-06-19 Microsoft Technology Licensing, Llc Hyper-lapse video through time-lapse and stabilization
CN104933755B (zh) 2014-03-18 2017-11-28 华为技术有限公司 一种静态物体重建方法和系统
CN103942832B (zh) * 2014-04-11 2016-07-06 浙江大学 一种基于在线结构分析的室内场景实时重建方法
US9704289B2 (en) 2014-05-06 2017-07-11 Whitecap Scientific Corporation Indexing method and system
US9613298B2 (en) 2014-06-02 2017-04-04 Microsoft Technology Licensing, Llc Tracking using sensor data
US9311565B2 (en) * 2014-06-16 2016-04-12 Sony Corporation 3D scanning with depth cameras using mesh sculpting
US9589362B2 (en) 2014-07-01 2017-03-07 Qualcomm Incorporated System and method of three-dimensional model generation
AU2015302917B2 (en) * 2014-08-13 2020-09-17 C 3 Limited Log scanning system
US9483879B2 (en) * 2014-09-18 2016-11-01 Microsoft Technology Licensing, Llc Using free-form deformations in surface reconstruction
US11013451B2 (en) 2014-09-19 2021-05-25 Brigham Young University Marker-less monitoring of movement disorders
US9607388B2 (en) 2014-09-19 2017-03-28 Qualcomm Incorporated System and method of pose estimation
US9938092B2 (en) * 2014-10-03 2018-04-10 Wynright Corporation Perception-based robotic manipulation system and method for automated truck unloader that unloads/unpacks product from trailers and containers
EP3219098B1 (en) 2014-11-14 2021-10-06 PCMS Holdings, Inc. System and method for 3d telepresence
US9710960B2 (en) 2014-12-04 2017-07-18 Vangogh Imaging, Inc. Closed-form 3D model generation of non-rigid complex objects from incomplete and noisy scans
KR102106889B1 (ko) * 2014-12-11 2020-05-07 한화디펜스 주식회사 소형통합제어장치
US10091015B2 (en) 2014-12-16 2018-10-02 Microsoft Technology Licensing, Llc 3D mapping of internet of things devices
US9710878B2 (en) * 2014-12-17 2017-07-18 Microsoft Technoloy Licensing, LLC Low power DMA labeling
US20160245641A1 (en) * 2015-02-19 2016-08-25 Microsoft Technology Licensing, Llc Projection transformations for depth estimation
KR20170127505A (ko) * 2015-03-01 2017-11-21 넥스트브이알 인코포레이티드 환경 측정들을 하고 및/또는 ３ｄ 이미지 렌더링에서 이러한 측정들을 사용하기 위한 방법들 및 장치
US10838207B2 (en) 2015-03-05 2020-11-17 Magic Leap, Inc. Systems and methods for augmented reality
EP3265845A4 (en) * 2015-03-05 2019-01-09 Commonwealth Scientific and Industrial Research Organisation STRUCTURE MODELING
EP3265866B1 (en) 2015-03-05 2022-12-28 Magic Leap, Inc. Systems and methods for augmented reality
US10180734B2 (en) 2015-03-05 2019-01-15 Magic Leap, Inc. Systems and methods for augmented reality
US9558760B2 (en) * 2015-03-06 2017-01-31 Microsoft Technology Licensing, Llc Real-time remodeling of user voice in an immersive visualization system
US9754413B1 (en) 2015-03-26 2017-09-05 Google Inc. Method and system for navigating in panoramic images using voxel maps
US9984519B2 (en) * 2015-04-10 2018-05-29 Google Llc Method and system for optical user recognition
US10055888B2 (en) 2015-04-28 2018-08-21 Microsoft Technology Licensing, Llc Producing and consuming metadata within multi-dimensional data
US9911242B2 (en) 2015-05-14 2018-03-06 Qualcomm Incorporated Three-dimensional model generation
US10304203B2 (en) 2015-05-14 2019-05-28 Qualcomm Incorporated Three-dimensional model generation
US10373366B2 (en) 2015-05-14 2019-08-06 Qualcomm Incorporated Three-dimensional model generation
GB2538751A (en) * 2015-05-27 2016-11-30 Imp College Of Science Tech And Medicine Modelling a three-dimensional space
US20160358382A1 (en) * 2015-06-04 2016-12-08 Vangogh Imaging, Inc. Augmented Reality Using 3D Depth Sensor and 3D Projection
US10366534B2 (en) * 2015-06-10 2019-07-30 Microsoft Technology Licensing, Llc Selective surface mesh regeneration for 3-dimensional renderings
WO2016204740A1 (en) 2015-06-17 2016-12-22 United Technologies Corporation System and method for processing captured images
WO2017008226A1 (zh) * 2015-07-13 2017-01-19 深圳大学 一种三维人脸重建方法及系统
KR101666561B1 (ko) 2015-07-13 2016-10-24 한국과학기술원 증강 공간 내 부분 공간 획득 시스템 및 방법
CN105261060A (zh) * 2015-07-23 2016-01-20 东华大学 基于点云压缩和惯性导航的移动场景实时三维重构方法
EP3335418A1 (en) 2015-08-14 2018-06-20 PCMS Holdings, Inc. System and method for augmented reality multi-view telepresence
RU2642167C2 (ru) * 2015-08-14 2018-01-24 Самсунг Электроникс Ко., Лтд. Устройство, способ и система для реконструкции 3d-модели объекта
US10360718B2 (en) 2015-08-14 2019-07-23 Samsung Electronics Co., Ltd. Method and apparatus for constructing three dimensional model of object
CN108475433B (zh) * 2015-11-20 2021-12-14 奇跃公司 用于大规模确定rgbd相机姿势的方法和系统
CA3007367A1 (en) 2015-12-04 2017-06-08 Magic Leap, Inc. Relocalization systems and methods
US10045144B2 (en) 2015-12-09 2018-08-07 Microsoft Technology Licensing, Llc Redirecting audio output
US10293259B2 (en) 2015-12-09 2019-05-21 Microsoft Technology Licensing, Llc Control of audio effects using volumetric data
US9937422B2 (en) 2015-12-09 2018-04-10 Microsoft Technology Licensing, Llc Voxel-based, real-time acoustic adjustment
US20170171525A1 (en) 2015-12-14 2017-06-15 Sony Corporation Electronic system including image processing unit for reconstructing 3d surfaces and iterative triangulation method
WO2017111860A1 (en) 2015-12-26 2017-06-29 Intel Corporation Identification of objects for three-dimensional depth imaging
IL311123A (en) 2016-02-23 2024-04-01 Deka Products Lp Control system for the mobility facility
US10926756B2 (en) 2016-02-23 2021-02-23 Deka Products Limited Partnership Mobility device
US10908045B2 (en) 2016-02-23 2021-02-02 Deka Products Limited Partnership Mobility device
US11399995B2 (en) 2016-02-23 2022-08-02 Deka Products Limited Partnership Mobility device
US10841491B2 (en) 2016-03-16 2020-11-17 Analog Devices, Inc. Reducing power consumption for time-of-flight depth imaging
US10762712B2 (en) 2016-04-01 2020-09-01 Pcms Holdings, Inc. Apparatus and method for supporting interactive augmented reality functionalities
MX2018012565A (es) 2016-04-14 2019-07-08 Deka Products Lp Dispositivo de control de usuario para un transportador.
CN105976306B (zh) 2016-04-28 2019-06-04 浙江大学 一种基于能耗-误差预算的实时绘制方法
US10950039B2 (en) 2016-06-16 2021-03-16 Sony Interactive Entertainment Inc. Image processing apparatus
JP6088094B1 (ja) * 2016-06-20 2017-03-01 株式会社Ｃｙｇａｍｅｓ 複合現実環境を作成するためのシステム等
US10134182B1 (en) * 2016-06-23 2018-11-20 Zoox, Inc. Large scale dense mapping
CA3032567A1 (en) 2016-08-02 2018-02-08 Magic Leap, Inc. Fixed-distance virtual and augmented reality systems and methods
EP3494447B1 (en) 2016-08-04 2021-05-19 Reification Inc. Methods for simultaneous localization and mapping (slam) and related apparatus and systems
CN106407985B (zh) * 2016-08-26 2019-09-10 中国电子科技集团公司第三十八研究所 一种三维人体头部点云特征提取方法及其装置
US10013798B2 (en) * 2016-08-30 2018-07-03 The Boeing Company 3D vehicle localizing using geoarcs
TWI588685B (zh) * 2016-08-31 2017-06-21 宅妝股份有限公司 虛擬實境與擴增實境的建置系統及其方法
US10380762B2 (en) 2016-10-07 2019-08-13 Vangogh Imaging, Inc. Real-time remote collaboration and virtual presence using simultaneous localization and mapping to construct a 3D model and update a scene based on sparse data
US10341568B2 (en) 2016-10-10 2019-07-02 Qualcomm Incorporated User interface to assist three dimensional scanning of objects
AT16852U1 (de) * 2016-10-13 2020-11-15 A Tron3D Gmbh Verfahren zum Erfassen und Optimieren von dreidimensionalen Oberflächengeometrien
CN106504073A (zh) * 2016-11-09 2017-03-15 大连文森特软件科技有限公司 基于ar虚拟现实技术的待售房屋考察及装修方案竞价系统
CN108235053B (zh) * 2016-12-19 2020-07-07 中国电信股份有限公司 交互式渲染方法、设备、终端和系统
US11300964B2 (en) * 2016-12-20 2022-04-12 Korea Advanced Institute Of Science And Technology Method and system for updating occupancy map for a robotic system
US11430148B2 (en) 2016-12-28 2022-08-30 Datalogic Ip Tech S.R.L. Apparatus and method for pallet volume dimensioning through 3D vision capable unmanned aerial vehicles (UAV)
CN106530395A (zh) * 2016-12-30 2017-03-22 碰海科技（北京）有限公司 深度及彩色成像一体式手持三维建模装置
US10721578B2 (en) * 2017-01-06 2020-07-21 Microsoft Technology Licensing, Llc Spatial audio warp compensator
US10812936B2 (en) 2017-01-23 2020-10-20 Magic Leap, Inc. Localization determination for mixed reality systems
CA3052961A1 (en) * 2017-02-07 2018-08-16 Veo Robotics, Inc. Workspace safety monitoring and equipment control
EP3596702A4 (en) 2017-03-17 2020-07-22 Magic Leap, Inc. MIXED REALITY SYSTEM WITH MULTI-SOURCE VIRTUAL CONTENT COMPOSITION AND ASSOCIATED VIRTUAL CONTENT GENERATION PROCESS
KR20230149347A (ko) 2017-03-17 2023-10-26 매직 립, 인코포레이티드 컬러 가상 콘텐츠 워핑을 갖는 혼합 현실 시스템 및 이를 사용하여 가상 콘텐츠를 생성하는 방법
EP3596703A4 (en) 2017-03-17 2020-01-22 Magic Leap, Inc. VIRTUAL CONTENT DEFORMATION MIXED REALITY SYSTEM AND VIRTUAL CONTENT GENERATION METHOD USING THE SAME
US11423005B2 (en) 2017-04-03 2022-08-23 Mitsubishi Electric Corporation Map data generator and method for generating map data
US11317966B2 (en) 2017-07-19 2022-05-03 Biosense Webster (Israel) Ltd. Impedance-based position tracking performance using scattered interpolant
US10915114B2 (en) * 2017-07-27 2021-02-09 AI Incorporated Method and apparatus for combining data to construct a floor plan
WO2019075473A1 (en) 2017-10-15 2019-04-18 Analog Devices, Inc. METHODS AND SYSTEMS FOR PROCESSING FLIGHT TIME DEPTH IMAGE
US10594917B2 (en) 2017-10-30 2020-03-17 Microsoft Technology Licensing, Llc Network-controlled 3D video capture
KR102129458B1 (ko) * 2017-11-22 2020-07-08 한국전자통신연구원 객체의 3차원 정보 복원 방법 및 장치
EP3489627B1 (en) 2017-11-24 2020-08-19 Leica Geosystems AG True to size 3d-model conglomeration
CN108122281B (zh) * 2017-12-22 2021-08-24 洛阳中科众创空间科技有限公司 一种大范围实时人体三维重建方法
US10839585B2 (en) 2018-01-05 2020-11-17 Vangogh Imaging, Inc. 4D hologram: real-time remote avatar creation and animation control
US11537139B2 (en) 2018-03-15 2022-12-27 Nvidia Corporation Determining drivable free-space for autonomous vehicles
CN108537844B (zh) * 2018-03-16 2021-11-26 上海交通大学 一种融合几何信息的视觉slam回环检测方法
US11080540B2 (en) 2018-03-20 2021-08-03 Vangogh Imaging, Inc. 3D vision processing using an IP block
US10977856B2 (en) 2018-03-29 2021-04-13 Microsoft Technology Licensing, Llc Using a low-detail representation of surfaces to influence a high-detail representation of the surfaces
US10810783B2 (en) 2018-04-03 2020-10-20 Vangogh Imaging, Inc. Dynamic real-time texture alignment for 3D models
US11170224B2 (en) 2018-05-25 2021-11-09 Vangogh Imaging, Inc. Keyframe-based object scanning and tracking
EP3752986B1 (en) * 2018-06-01 2023-08-30 Hewlett-Packard Development Company, L.P. Boundary maps for virtual reality systems
US11681293B2 (en) 2018-06-07 2023-06-20 Deka Products Limited Partnership System and method for distributed utility service execution
US11386614B2 (en) * 2018-06-15 2022-07-12 Google Llc Shading images in three-dimensional content system
WO2020001041A1 (zh) 2018-06-28 2020-01-02 Oppo广东移动通信有限公司 深度处理器和三维图像设备
WO2020023383A1 (en) 2018-07-23 2020-01-30 Magic Leap, Inc. Mixed reality system with virtual content warping and method of generating virtual content using same
CN112470464B (zh) 2018-07-23 2023-11-28 奇跃公司 场顺序显示器中的场内子码时序
US10636114B2 (en) * 2018-08-04 2020-04-28 Beijing Jingdong Shangke Information Technology Co., Ltd. System and method for scan-matching oriented visual slam
KR102521221B1 (ko) * 2018-09-12 2023-04-13 주식회사 케이티 단말의 싱글 카메라를 이용한 혼합 현실 제작 방법, 장치 및 컴퓨터 프로그램
US10733800B2 (en) * 2018-09-17 2020-08-04 Facebook Technologies, Llc Reconstruction of essential visual cues in mixed reality applications
KR102108170B1 (ko) * 2018-09-19 2020-05-08 인하대학교 산학협력단 골프 드론
CN109387204B (zh) * 2018-09-26 2020-08-28 东北大学 面向室内动态环境的移动机器人同步定位与构图方法
KR102158323B1 (ko) * 2018-10-22 2020-09-21 에스케이텔레콤 주식회사 공간 스캔 장치 및 그 정보 처리 방법
KR102195965B1 (ko) * 2018-12-14 2020-12-28 한국전자기술연구원 3차원 재구성 방법, 이를 위한 장치 및 시스템
CN113498530A (zh) * 2018-12-20 2021-10-12 艾奎菲股份有限公司 基于局部视觉信息的对象尺寸标注系统和方法
KR102169243B1 (ko) * 2018-12-27 2020-10-23 포항공과대학교 산학협력단 이차원 의미론적 분할 정보의 점진적인 혼합을 통한 삼차원 복원 모델의 의미론적 분할 방법
US10740960B2 (en) 2019-01-11 2020-08-11 Microsoft Technology Licensing, Llc Virtual object placement for augmented reality
US11288842B2 (en) * 2019-02-15 2022-03-29 Interaptix Inc. Method and system for re-projecting and combining sensor data for visualization
US11648945B2 (en) 2019-03-11 2023-05-16 Nvidia Corporation Intersection detection and classification in autonomous machine applications
US11968393B2 (en) 2019-03-20 2024-04-23 Lg Electronics Inc. Point cloud data transmitting device, point cloud data transmitting method, point cloud data receiving device, and point cloud data receiving method
CN109978931B (zh) * 2019-04-04 2021-12-31 中科海微(北京)科技有限公司 三维场景重建方法及设备、存储介质
US11816854B2 (en) 2019-04-08 2023-11-14 Sony Group Corporation Image processing apparatus and image processing method
US11170552B2 (en) 2019-05-06 2021-11-09 Vangogh Imaging, Inc. Remote visualization of three-dimensional (3D) animation with synchronized voice in real-time
US11232633B2 (en) 2019-05-06 2022-01-25 Vangogh Imaging, Inc. 3D object capture and object reconstruction using edge cloud computing resources
US11455771B2 (en) 2019-05-15 2022-09-27 Electronic Theatre Controls, Inc. Venue survey using unmanned aerial vehicle
WO2020237089A1 (en) 2019-05-21 2020-11-26 Magic Leap, Inc. Caching and updating of dense 3d reconstruction data
US11030772B2 (en) * 2019-06-03 2021-06-08 Microsoft Technology Licensing, Llc Pose synthesis
US11436837B2 (en) * 2019-06-25 2022-09-06 Nvidia Corporation Intersection region detection and classification for autonomous machine applications
US11726209B2 (en) * 2019-06-25 2023-08-15 Faro Technologies, Inc. Artifact filtering using artificial intelligence
CN110286906B (zh) * 2019-06-25 2024-02-02 网易（杭州）网络有限公司 用户界面显示方法、装置、存储介质与移动终端
CN114051629A (zh) 2019-06-26 2022-02-15 奇跃公司 密集3d重建数据的缓存和更新
EP3991142A4 (en) 2019-06-28 2023-06-28 Magic Leap, Inc. Fast hand meshing for dynamic occlusion
CN114041169A (zh) * 2019-07-03 2022-02-11 Lg 电子株式会社 点云数据发送设备、点云数据发送方法、点云数据接收设备、以及点云数据接收方法
US10818071B1 (en) * 2019-07-26 2020-10-27 Google Llc Image-based geometric fusion of multiple depth images using ray casting
US11423602B2 (en) * 2019-08-07 2022-08-23 Magic Leap, Inc. Fast 3D reconstruction with depth information
WO2021042051A1 (en) 2019-08-31 2021-03-04 Nvidia Corporation Map creation and localization for autonomous driving applications
WO2021054342A1 (ja) * 2019-09-20 2021-03-25 ソニー株式会社 情報処理装置および制御方法
US11335063B2 (en) 2020-01-03 2022-05-17 Vangogh Imaging, Inc. Multiple maps for 3D object scanning and reconstruction
US11501489B2 (en) 2020-02-27 2022-11-15 Magic Leap, Inc. Cross reality system for large scale environment reconstruction
US11688073B2 (en) 2020-04-14 2023-06-27 Samsung Electronics Co., Ltd. Method and system for depth map reconstruction
CN111583391B (zh) * 2020-04-29 2023-07-14 北京深测科技有限公司 一种物体三维重建方法和系统
JP2022021027A (ja) * 2020-07-21 2022-02-02 ソニーグループ株式会社 情報処理装置、情報処理方法、及びコンピュータが読み取り可能な記録媒体
US11978266B2 (en) 2020-10-21 2024-05-07 Nvidia Corporation Occupant attentiveness and cognitive load monitoring for autonomous and semi-autonomous driving applications
US11615594B2 (en) 2021-01-21 2023-03-28 Samsung Electronics Co., Ltd. Systems and methods for reconstruction of dense depth maps
WO2022191373A1 (en) * 2021-03-11 2022-09-15 Samsung Electronics Co., Ltd. Electronic device and controlling method of electronic device
CN113117344B (zh) * 2021-04-01 2023-07-18 广州虎牙科技有限公司 体素建筑的生成方法、装置、电子设备及存储介质
CN113190515B (zh) * 2021-05-14 2022-11-29 重庆市勘测院 基于异构并行计算的城市级海量点云坐标转换方法
CN113284251B (zh) * 2021-06-11 2022-06-03 清华大学深圳国际研究生院 一种自适应视角的级联网络三维重建方法及系统
US11580734B1 (en) * 2021-07-26 2023-02-14 At&T Intellectual Property I, L.P. Distinguishing real from virtual objects in immersive reality
US20230215108A1 (en) * 2021-12-31 2023-07-06 Samsung Electronics Co., Ltd. System and method for adaptive volume-based scene reconstruction for xr platform applications
US11908080B2 (en) * 2022-04-04 2024-02-20 Tencent America LLC Generating surfaces with arbitrary topologies using signed distance fields
CN115268646A (zh) * 2022-08-02 2022-11-01 清华大学 一种人机协同建造过程感知系统、装置、分析方法和介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0854219A (ja) * 1994-06-29 1996-02-27 Toshiba Corp 画像処理装置
JPH11149576A (ja) * 1997-09-09 1999-06-02 Sanyo Electric Co Ltd ３次元モデリング装置、３次元モデリング方法、３次元モデリングプログラムを記録した媒体、および３次元形状推定プログラムを記録した媒体
US6084979A (en) * 1996-06-20 2000-07-04 Carnegie Mellon University Method for creating virtual reality
JP2002140721A (ja) * 2000-10-04 2002-05-17 Terarikon Inc ボリュームレンダリングシステムにおけるレンダリングメモリ
JP2002334346A (ja) * 2001-03-16 2002-11-22 Mitsubishi Electric Research Laboratories Inc オブジェクトのレンジデータをオブジェクトのモデルに変換する方法
JP2003085584A (ja) * 2001-06-11 2003-03-20 Canon Inc ３ｄコンピュータモデリング装置
JP2005507109A (ja) * 2001-10-22 2005-03-10 ユニバーシティ オブ サウザーン カリフォルニア 線の自動較正によって拡張可能な追跡システム
JP2006503379A (ja) * 2002-10-15 2006-01-26 ユニバーシティ・オブ・サザン・カリフォルニア 拡張仮想環境
JP2010508570A (ja) * 2006-10-31 2010-03-18 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 結合された強度の投影

Family Cites Families (203)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4695953A (en) 1983-08-25 1987-09-22 Blair Preston E TV animation interactively controlled by the viewer
US4630910A (en) 1984-02-16 1986-12-23 Robotic Vision Systems, Inc. Method of measuring in three-dimensions at high speed
US4627620A (en) 1984-12-26 1986-12-09 Yang John P Electronic athlete trainer for improving skills in reflex, speed and accuracy
US4645458A (en) 1985-04-15 1987-02-24 Harald Phillip Athletic evaluation and training apparatus
US4702475A (en) 1985-08-16 1987-10-27 Innovating Training Products, Inc. Sports technique and reaction training system
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4711543A (en) 1986-04-14 1987-12-08 Blair Preston E TV animation interactively controlled by the viewer
US4796997A (en) 1986-05-27 1989-01-10 Synthetic Vision Systems, Inc. Method and system for high-speed, 3-D imaging of an object at a vision station
US5184295A (en) 1986-05-30 1993-02-02 Mann Ralph V System and method for teaching physical skills
US4751642A (en) 1986-08-29 1988-06-14 Silva John M Interactive sports simulation system with physiological sensing and psychological conditioning
US4809065A (en) 1986-12-01 1989-02-28 Kabushiki Kaisha Toshiba Interactive system and related method for displaying data to produce a three-dimensional image of an object
US4817950A (en) 1987-05-08 1989-04-04 Goo Paul E Video game control unit and attitude sensor
US5239464A (en) 1988-08-04 1993-08-24 Blair Preston E Interactive video system providing repeated switching of multiple tracks of actions sequences
US5239463A (en) 1988-08-04 1993-08-24 Blair Preston E Method and apparatus for player interaction with animated characters and objects
US4901362A (en) 1988-08-08 1990-02-13 Raytheon Company Method of recognizing patterns
US4893183A (en) 1988-08-11 1990-01-09 Carnegie-Mellon University Robotic vision system
JPH02199526A (ja) 1988-10-14 1990-08-07 David G Capper 制御インターフェース装置
US4925189A (en) 1989-01-13 1990-05-15 Braeunig Thomas F Body-mounted video game exercise device
US5229756A (en) 1989-02-07 1993-07-20 Yamaha Corporation Image control apparatus
US5469740A (en) 1989-07-14 1995-11-28 Impulse Technology, Inc. Interactive video testing and training system
JPH03103822U (ja) 1990-02-13 1991-10-29
US5101444A (en) 1990-05-18 1992-03-31 Panacea, Inc. Method and apparatus for high speed object location
US5148154A (en) 1990-12-04 1992-09-15 Sony Corporation Of America Multi-dimensional user interface
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5417210A (en) 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US5295491A (en) 1991-09-26 1994-03-22 Sam Technology, Inc. Non-invasive human neurocognitive performance capability testing method and system
US6054991A (en) 1991-12-02 2000-04-25 Texas Instruments Incorporated Method of modeling player position and movement in a virtual reality system
EP0590101B1 (en) 1991-12-03 1999-06-23 French Sportech Corporation Interactive video testing and training system
US5875108A (en) 1991-12-23 1999-02-23 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
JPH07325934A (ja) 1992-07-10 1995-12-12 Walt Disney Co:The 仮想世界に向上したグラフィックスを提供する方法および装置
US5999908A (en) 1992-08-06 1999-12-07 Abelow; Daniel H. Customer-based product design module
US5320538A (en) 1992-09-23 1994-06-14 Hughes Training, Inc. Interactive aircraft training system and method
IT1257294B (it) 1992-11-20 1996-01-12 Dispositivo atto a rilevare la configurazione di un'unita' fisiologicadistale,da utilizzarsi in particolare come interfaccia avanzata per macchine e calcolatori.
US5495576A (en) 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5690582A (en) 1993-02-02 1997-11-25 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
JP2799126B2 (ja) 1993-03-26 1998-09-17 株式会社ナムコ ビデオゲーム装置及びゲーム用入力装置
US5405152A (en) 1993-06-08 1995-04-11 The Walt Disney Company Method and apparatus for an interactive video game with physical feedback
US5454043A (en) 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5423554A (en) 1993-09-24 1995-06-13 Metamedia Ventures, Inc. Virtual reality game method and apparatus
US5980256A (en) 1993-10-29 1999-11-09 Carmein; David E. E. Virtual reality system with enhanced sensory apparatus
JP3419050B2 (ja) 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
US5347306A (en) 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
JP2552427B2 (ja) 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
US5577981A (en) 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
US5580249A (en) 1994-02-14 1996-12-03 Sarcos Group Apparatus for simulating mobility of a human
US5597309A (en) 1994-03-28 1997-01-28 Riess; Thomas Method and apparatus for treatment of gait problems associated with parkinson's disease
US5385519A (en) 1994-04-19 1995-01-31 Hsu; Chi-Hsueh Running machine
US5524637A (en) 1994-06-29 1996-06-11 Erickson; Jon W. Interactive system for measuring physiological exertion
US5563988A (en) 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
US5516105A (en) 1994-10-06 1996-05-14 Exergame, Inc. Acceleration activated joystick
US5638300A (en) 1994-12-05 1997-06-10 Johnson; Lee E. Golf swing analysis system
JPH08161292A (ja) 1994-12-09 1996-06-21 Matsushita Electric Ind Co Ltd 混雑度検知方法およびそのシステム
US5594469A (en) 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5682229A (en) 1995-04-14 1997-10-28 Schwartz Electro-Optics, Inc. Laser range camera
US5913727A (en) 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
US6229913B1 (en) 1995-06-07 2001-05-08 The Trustees Of Columbia University In The City Of New York Apparatus and methods for determining the three-dimensional shape of an object using active illumination and relative blurring in two-images due to defocus
US5682196A (en) 1995-06-22 1997-10-28 Actv, Inc. Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers
US5702323A (en) 1995-07-26 1997-12-30 Poulton; Craig K. Electronic exercise enhancer
US6430997B1 (en) 1995-11-06 2002-08-13 Trazer Technologies, Inc. System and method for tracking and assessing movement skills in multidimensional space
US6098458A (en) 1995-11-06 2000-08-08 Impulse Technology, Ltd. Testing and training system for assessing movement and agility skills without a confining field
US6073489A (en) 1995-11-06 2000-06-13 French; Barry J. Testing and training system for assessing the ability of a player to complete a task
US6308565B1 (en) 1995-11-06 2001-10-30 Impulse Technology Ltd. System and method for tracking and assessing movement skills in multidimensional space
US6176782B1 (en) 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US5933125A (en) 1995-11-27 1999-08-03 Cae Electronics, Ltd. Method and apparatus for reducing instability in the display of a virtual environment
US5696591A (en) 1996-01-05 1997-12-09 Eastman Kodak Company Apparatus and method for detecting longitudinally oriented flaws in a moving web
US5641288A (en) 1996-01-11 1997-06-24 Zaenglein, Jr.; William G. Shooting simulating process and training device using a virtual reality display screen
US5754180A (en) 1996-03-11 1998-05-19 Avid Technology, Inc. Computer system and process for defining and manipulating images using structured objects with variable edge characteristics
CA2253626A1 (en) 1996-05-08 1997-11-13 Real Vision Corporation Real time simulation using position sensing
US6173066B1 (en) 1996-05-21 2001-01-09 Cybernet Systems Corporation Pose determination and tracking by matching 3D objects to a 2D sensor
US5989157A (en) 1996-08-06 1999-11-23 Walton; Charles A. Exercising system with electronic inertial game playing
WO1998007129A1 (fr) 1996-08-14 1998-02-19 Latypov Nurakhmed Nurislamovic Procede de suivi et de representation de la position et de l'orientation d'un sujet dans l'espace, procede de presentation d'un espace virtuel a ce sujet, et systemes de mise en oeuvre de ces procedes
JP3064928B2 (ja) 1996-09-20 2000-07-12 日本電気株式会社 被写体抽出方式
US7098435B2 (en) * 1996-10-25 2006-08-29 Frederick E. Mueller Method and apparatus for scanning three-dimensional objects
DE69626208T2 (de) 1996-12-20 2003-11-13 Hitachi Europ Ltd Verfahren und System zur Erkennung von Handgesten
US6009210A (en) 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
US6100896A (en) 1997-03-24 2000-08-08 Mitsubishi Electric Information Technology Center America, Inc. System for designing graphical multi-participant environments
US5877803A (en) 1997-04-07 1999-03-02 Tritech Mircoelectronics International, Ltd. 3-D image detector
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
JP3077745B2 (ja) 1997-07-31 2000-08-14 日本電気株式会社 データ処理方法および装置、情報記憶媒体
US6188777B1 (en) 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6289112B1 (en) 1997-08-22 2001-09-11 International Business Machines Corporation System and method for determining block direction in fingerprint images
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
AUPO894497A0 (en) 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
EP0905644A3 (en) 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6141463A (en) 1997-10-10 2000-10-31 Electric Planet Interactive Method and system for estimating jointed-figure configurations
WO1999019828A1 (en) 1997-10-15 1999-04-22 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
US6130677A (en) 1997-10-15 2000-10-10 Electric Planet, Inc. Interactive computer vision system
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
US6101289A (en) 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
AU9808298A (en) 1997-10-15 1999-05-03 Electric Planet, Inc. A system and method for generating an animatable character
US6181343B1 (en) 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US6504569B1 (en) 1998-04-22 2003-01-07 Grass Valley (U.S.), Inc. 2-D extended image generation from 3-D data extracted from a video sequence
US6159100A (en) 1998-04-23 2000-12-12 Smith; Michael D. Virtual reality game
US6077201A (en) 1998-06-12 2000-06-20 Cheng; Chau-Yang Exercise bicycle
US7036094B1 (en) 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
US6801637B2 (en) 1999-08-10 2004-10-05 Cybernet Systems Corporation Optical body tracker
US7121946B2 (en) 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
US20010008561A1 (en) 1999-08-10 2001-07-19 Paul George V. Real-time object tracking system
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6950534B2 (en) 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
IL126284A (en) 1998-09-17 2002-12-01 Netmor Ltd System and method for three dimensional positioning and tracking
EP0991011B1 (en) 1998-09-28 2007-07-25 Matsushita Electric Industrial Co., Ltd. Method and device for segmenting hand gestures
JP3740865B2 (ja) * 1998-10-08 2006-02-01 コニカミノルタホールディングス株式会社 多視点３次元データの合成方法および記録媒体
AU1930700A (en) 1998-12-04 2000-06-26 Interval Research Corporation Background estimation and segmentation based on range and color
US6147678A (en) 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
DE69840608D1 (de) 1998-12-16 2009-04-09 3Dv Systems Ltd Selbsttastende photoempfindliche oberfläche
US6570555B1 (en) 1998-12-30 2003-05-27 Fuji Xerox Co., Ltd. Method and apparatus for embodied conversational characters with multimodal input/output in an interface device
US6363160B1 (en) 1999-01-22 2002-03-26 Intel Corporation Interface using pattern recognition and tracking
US7003134B1 (en) 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
US6299308B1 (en) 1999-04-02 2001-10-09 Cybernet Systems Corporation Low-cost non-imaging eye tracker system for computer control
US20040075738A1 (en) 1999-05-12 2004-04-22 Sean Burke Spherical surveillance system architecture
US6503195B1 (en) 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US6476834B1 (en) 1999-05-28 2002-11-05 International Business Machines Corporation Dynamic creation of selectable items on surfaces
US6873723B1 (en) 1999-06-30 2005-03-29 Intel Corporation Segmenting three-dimensional video images using stereo
US6738066B1 (en) 1999-07-30 2004-05-18 Electric Plant, Inc. System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display
US7113918B1 (en) 1999-08-01 2006-09-26 Electric Planet, Inc. Method for video enabled electronic commerce
US7050606B2 (en) 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
US6373487B1 (en) * 1999-09-17 2002-04-16 Hewlett-Packard Company Methods and apparatus for constructing a 3D model of a scene from calibrated images of the scene
US6663491B2 (en) 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
US6633294B1 (en) 2000-03-09 2003-10-14 Seth Rosenthal Method and apparatus for using captured high density motion for animation
EP1152261A1 (en) 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
US6640202B1 (en) 2000-05-25 2003-10-28 International Business Machines Corporation Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications
US6731799B1 (en) 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
US6788809B1 (en) 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
US20020024517A1 (en) * 2000-07-14 2002-02-28 Komatsu Ltd. Apparatus and method for three-dimensional image production and presenting real objects in virtual three-dimensional space
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US7058204B2 (en) 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US7039676B1 (en) 2000-10-31 2006-05-02 International Business Machines Corporation Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session
US6735387B1 (en) 2001-01-10 2004-05-11 Tim Schnell Motion detector camera
US6539931B2 (en) 2001-04-16 2003-04-01 Koninklijke Philips Electronics N.V. Ball throwing assistant
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
JP3420221B2 (ja) 2001-06-29 2003-06-23 株式会社コナミコンピュータエンタテインメント東京 ゲーム装置及びプログラム
US6940538B2 (en) 2001-08-29 2005-09-06 Sony Corporation Extracting a depth map from known camera and model tracking data
US7023432B2 (en) 2001-09-24 2006-04-04 Geomagic, Inc. Methods, apparatus and computer program products that reconstruct surfaces from data point sets
US6937742B2 (en) 2001-09-28 2005-08-30 Bellsouth Intellectual Property Corporation Gesture activated home appliance
US7607509B2 (en) 2002-04-19 2009-10-27 Iee International Electronics & Engineering S.A. Safety device for a vehicle
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US7489812B2 (en) 2002-06-07 2009-02-10 Dynamic Digital Depth Research Pty Ltd. Conversion and encoding techniques
US6974373B2 (en) * 2002-08-02 2005-12-13 Geissler Technologies, Llc Apparatus and methods for the volumetric and dimensional measurement of livestock
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
US7774158B2 (en) 2002-12-17 2010-08-10 Evolution Robotics, Inc. Systems and methods for landmark generation for visual simultaneous localization and mapping
JP4235729B2 (ja) 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
US7257237B1 (en) * 2003-03-07 2007-08-14 Sandia Corporation Real time markerless motion tracking using linked kinematic chains
GB0305315D0 (en) 2003-03-07 2003-04-09 Weber Martin Image processing system
DE602004006190T8 (de) 2003-03-31 2008-04-10 Honda Motor Co., Ltd. Vorrichtung, Verfahren und Programm zur Gestenerkennung
US7098910B2 (en) 2003-05-14 2006-08-29 Lena Petrovic Hair rendering method and apparatus
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
WO2004107266A1 (en) 2003-05-29 2004-12-09 Honda Motor Co., Ltd. Visual tracking using depth data
US7620202B2 (en) 2003-06-12 2009-11-17 Honda Motor Co., Ltd. Target orientation estimation using depth sensing
EP1671216B1 (en) 2003-10-09 2016-12-07 Honda Motor Co., Ltd. Moving object detection using low illumination depth capable computer vision
US7536032B2 (en) 2003-10-24 2009-05-19 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
US8134637B2 (en) 2004-01-28 2012-03-13 Microsoft Corporation Method and system to increase X-Y resolution in a depth (Z) camera using red, blue, green (RGB) sensing
US7450122B2 (en) 2004-03-25 2008-11-11 Pixar Volumetric hair rendering
US7379563B2 (en) 2004-04-15 2008-05-27 Gesturetek, Inc. Tracking bimanual movements
US7831094B2 (en) 2004-04-27 2010-11-09 Honda Motor Co., Ltd. Simultaneous localization and mapping using multiple view feature descriptors
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
ATE484811T1 (de) * 2004-06-23 2010-10-15 Koninkl Philips Electronics Nv Virtuelle endoskopie
US7697748B2 (en) * 2004-07-06 2010-04-13 Dimsdale Engineering, Llc Method and apparatus for high resolution 3D imaging as a function of camera position, camera trajectory and range
US7525543B2 (en) * 2004-08-09 2009-04-28 Siemens Medical Solutions Usa, Inc. High performance shading of large volumetric data using screen-space partial derivatives
US7704135B2 (en) 2004-08-23 2010-04-27 Harrison Jr Shelton E Integrated game system, method, and device
KR20060070280A (ko) 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
WO2006074310A2 (en) 2005-01-07 2006-07-13 Gesturetek, Inc. Creating 3d images of objects by illuminating with infrared patterns
CN101137996A (zh) 2005-01-07 2008-03-05 格斯图尔泰克股份有限公司 基于光流的倾斜传感器
WO2006074289A2 (en) 2005-01-07 2006-07-13 Gesturetek, Inc. Detecting and tracking objects in images
WO2006086508A2 (en) 2005-02-08 2006-08-17 Oblong Industries, Inc. System and method for genture based control system
US7860301B2 (en) 2005-02-11 2010-12-28 Macdonald Dettwiler And Associates Inc. 3D imaging system
JP4686595B2 (ja) 2005-03-17 2011-05-25 本田技研工業株式会社 クリティカルポイント解析に基づくポーズ推定
BRPI0613165A2 (pt) 2005-05-17 2010-12-21 Gesturetek Inc saìda de sinal sensìvel à orientação
ATE412882T1 (de) 2005-08-12 2008-11-15 Mesa Imaging Ag Hochempfindliches, schnelles pixel für anwendung in einem bildsensor
US20080026838A1 (en) 2005-08-22 2008-01-31 Dunstan James E Multi-player non-role-playing virtual world games: method for two-way interaction between participants and multi-player virtual world games
US7944454B2 (en) 2005-09-07 2011-05-17 Fuji Xerox Co., Ltd. System and method for user monitoring interface of 3-D video streams from multiple cameras
WO2007050707A2 (en) 2005-10-27 2007-05-03 Nec Laboratories America, Inc. Video foreground segmentation method
US7450736B2 (en) 2005-10-28 2008-11-11 Honda Motor Co., Ltd. Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers
US8401264B2 (en) * 2005-12-08 2013-03-19 University Of Washington Solid modeling based on volumetric scans
US7539557B2 (en) 2005-12-30 2009-05-26 Irobot Corporation Autonomous mobile robot
US7701439B2 (en) 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
US9348463B2 (en) 2006-08-03 2016-05-24 New York University Retroreflection based multitouch sensor, method and program
JP5395323B2 (ja) 2006-09-29 2014-01-22 ブレインビジョン株式会社 固体撮像素子
US8023726B2 (en) * 2006-11-10 2011-09-20 University Of Maryland Method and system for markerless motion capture using multiple cameras
US8351646B2 (en) 2006-12-21 2013-01-08 Honda Motor Co., Ltd. Human pose estimation and tracking using label assignment
US7412077B2 (en) 2006-12-29 2008-08-12 Motorola, Inc. Apparatus and methods for head pose estimation and head gesture detection
US7729530B2 (en) 2007-03-03 2010-06-01 Sergey Antonov Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system
JP5380789B2 (ja) 2007-06-06 2014-01-08 ソニー株式会社 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
US20090027396A1 (en) 2007-07-26 2009-01-29 Tufts University Method for fitting a parametric representation to a set of objects
US7912266B2 (en) 2007-08-07 2011-03-22 Siemens Medical Solutions Usa, Inc. System and method for robust segmentation of tubular structures in 2D and 3D images
US7852262B2 (en) 2007-08-16 2010-12-14 Cybernet Systems Corporation Wireless mobile indoor/outdoor tracking system
GB2458305B (en) * 2008-03-13 2012-06-27 British Broadcasting Corp Providing a volumetric representation of an object
BRPI0917864A2 (pt) 2008-08-15 2015-11-24 Univ Brown aparelho e método para estimativa da forma corporal
CN201254344Y (zh) 2008-08-20 2009-06-10 中国农业科学院草原研究所 植物标本及种子存贮器
US8610706B2 (en) 2008-10-04 2013-12-17 Microsoft Corporation Parallel surface reconstruction
US9245382B2 (en) 2008-10-04 2016-01-26 Microsoft Technology Licensing, Llc User-guided surface reconstruction
US8855819B2 (en) 2008-10-09 2014-10-07 Samsung Electronics Co., Ltd. Method and apparatus for simultaneous localization and mapping of robot
US9600067B2 (en) 2008-10-27 2017-03-21 Sri International System and method for generating a mixed reality environment
US9377857B2 (en) 2009-05-01 2016-06-28 Microsoft Technology Licensing, Llc Show body position
US8503720B2 (en) 2009-05-01 2013-08-06 Microsoft Corporation Human body pose estimation
US8379101B2 (en) 2009-05-29 2013-02-19 Microsoft Corporation Environment and/or target segmentation
CN101605211B (zh) * 2009-07-23 2011-01-05 杭州镭星科技有限公司 将虚拟三维建筑与现实环境实拍视频无缝合成的方法
US8682053B2 (en) * 2010-01-08 2014-03-25 Siemens Aktiengesellschaft Method for sampling volume data of an object in an imaging device
US8587583B2 (en) 2011-01-31 2013-11-19 Microsoft Corporation Three-dimensional environment reconstruction

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0854219A (ja) * 1994-06-29 1996-02-27 Toshiba Corp 画像処理装置
US6084979A (en) * 1996-06-20 2000-07-04 Carnegie Mellon University Method for creating virtual reality
JPH11149576A (ja) * 1997-09-09 1999-06-02 Sanyo Electric Co Ltd ３次元モデリング装置、３次元モデリング方法、３次元モデリングプログラムを記録した媒体、および３次元形状推定プログラムを記録した媒体
JP2002140721A (ja) * 2000-10-04 2002-05-17 Terarikon Inc ボリュームレンダリングシステムにおけるレンダリングメモリ
JP2002334346A (ja) * 2001-03-16 2002-11-22 Mitsubishi Electric Research Laboratories Inc オブジェクトのレンジデータをオブジェクトのモデルに変換する方法
JP2003085584A (ja) * 2001-06-11 2003-03-20 Canon Inc ３ｄコンピュータモデリング装置
JP2005507109A (ja) * 2001-10-22 2005-03-10 ユニバーシティ オブ サウザーン カリフォルニア 線の自動較正によって拡張可能な追跡システム
JP2006503379A (ja) * 2002-10-15 2006-01-26 ユニバーシティ・オブ・サザン・カリフォルニア 拡張仮想環境
JP2010508570A (ja) * 2006-10-31 2010-03-18 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 結合された強度の投影

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018528509A (ja) * 2015-07-08 2018-09-27 コリア ユニバーシティ リサーチ アンド ビジネス ファウンデーションＫｏｒｅａ Ｕｎｉｖｅｒｓｉｔｙ Ｒｅｓｅａｒｃｈ Ａｎｄ Ｂｕｓｉｎｅｓｓ Ｆｏｕｎｄａｔｉｏｎ 投影イメージ生成方法およびその装置、イメージピクセルと深度値との間のマッピング方法
JP2017146952A (ja) * 2016-02-15 2017-08-24 キヤノン株式会社 情報処理装置、情報処理装置の制御方法およびプログラム
WO2018062251A1 (ja) * 2016-09-30 2018-04-05 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置
JPWO2018062251A1 (ja) * 2016-09-30 2019-06-24 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置
JP2020507853A (ja) * 2017-02-17 2020-03-12 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ ３次元点群の再構成のための方法および装置
JP2021170341A (ja) * 2017-09-08 2021-10-28 ナイアンティック, インコーポレイテッドNiantic, Inc. ゲームプレイを介して環境の詳細データセットを生成する方法およびシステム
US11398081B2 (en) 2017-12-22 2022-07-26 Magic Leap, Inc. Method of occlusion rendering using raycast and live depth
JP2021507409A (ja) * 2017-12-22 2021-02-22 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． レイキャスティングおよびライブ深度を使用したオクルージョンレンダリングの方法
JP7220717B2 (ja) 2017-12-22 2023-02-10 マジック リープ， インコーポレイテッド レイキャスティングおよびライブ深度を使用したオクルージョンレンダリングの方法
US11580705B2 (en) 2017-12-22 2023-02-14 Magic Leap, Inc. Viewpoint dependent brick selection for fast volumetric reconstruction
KR20210064115A (ko) * 2019-08-23 2021-06-02 상 하이 이워 인포메이션 테크놀로지 컴퍼니 리미티드 촬영을 기반으로 하는 3d 모델링 시스템 및 방법, 자동 3d 모델링 장치 및 방법
JP2022501684A (ja) * 2019-08-23 2022-01-06 上海亦我信息技術有限公司 撮影に基づく３ｄモデリングシステムおよび方法、自動３ｄモデリング装置および方法
KR102580961B1 (ko) * 2019-08-23 2023-09-20 상 하이 이워 인포메이션 테크놀로지 컴퍼니 리미티드 촬영을 기반으로 하는 3d 모델링 시스템 및 방법, 자동 3d 모델링 장치 및 방법
JP2021051537A (ja) * 2019-09-25 2021-04-01 ミストウォーカー・コーポレーション 画像表示システム、方法、およびプログラム
KR20210064536A (ko) * 2019-11-26 2021-06-03 서울과학기술대학교 산학협력단 사용자 위치 연산 장치
KR102335817B1 (ko) 2019-11-26 2021-12-07 서울과학기술대학교 산학협력단 사용자 위치 연산 장치

Also Published As

Publication number Publication date
EP2671210A2 (en) 2013-12-11
EP2671210B1 (en) 2019-08-07
HK1172131A1 (zh) 2013-04-12
US20120194516A1 (en) 2012-08-02
CN102622776B (zh) 2016-01-13
JP5906258B2 (ja) 2016-04-20
US8587583B2 (en) 2013-11-19
KR20140007367A (ko) 2014-01-17
CN102622776A (zh) 2012-08-01
WO2012106069A3 (en) 2012-10-18
WO2012106069A2 (en) 2012-08-09
KR101861313B1 (ko) 2018-05-28
EP2671210A4 (en) 2017-03-29

Similar Documents

Publication Publication Date Title
JP5906258B2 (ja) 三次元環境の再現
JP7364809B2 (ja) レイキャスティングおよびライブ深度を使用したオクルージョンレンダリングの方法
US20220196840A1 (en) Using photometric stereo for 3d environment modeling
US9053571B2 (en) Generating computer models of 3D objects
KR101881620B1 (ko) 게임플레이에서의 3차원 환경 모델 사용
TWI467494B (zh) 使用深度圖進行移動式攝影機定位
JP2022539314A (ja) 稠密３ｄ再構築データのキャッシュおよび更新
US9251590B2 (en) Camera pose estimation for 3D reconstruction
US20160364907A1 (en) Selective surface mesh regeneration for 3-dimensional renderings
JP2022533207A (ja) 稠密３ｄ再構築データのキャッシュおよび更新
Kunert et al. Efficient point cloud rasterization for real time volumetric integration in mixed reality applications

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150106

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150106

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20150518

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151026

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151028

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160128

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160318

R150 Certificate of patent or registration of utility model

Ref document number: 5906258

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250