JP2014511591A - 奥行きマップを使用したモバイルカメラの自己位置推定 - Google Patents
奥行きマップを使用したモバイルカメラの自己位置推定 Download PDFInfo
- Publication number
- JP2014511591A JP2014511591A JP2013552530A JP2013552530A JP2014511591A JP 2014511591 A JP2014511591 A JP 2014511591A JP 2013552530 A JP2013552530 A JP 2013552530A JP 2013552530 A JP2013552530 A JP 2013552530A JP 2014511591 A JP2014511591 A JP 2014511591A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- mobile
- depth
- depth camera
- depth map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims description 86
- 230000008569 process Effects 0.000 claims description 53
- 230000033001 locomotion Effects 0.000 claims description 19
- 238000005070 sampling Methods 0.000 claims description 12
- 238000012804 iterative process Methods 0.000 claims description 11
- 238000007637 random forest analysis Methods 0.000 claims description 7
- 238000009826 distribution Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 4
- 230000003190 augmentative effect Effects 0.000 abstract description 3
- 238000012545 processing Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 13
- 239000011159 matrix material Substances 0.000 description 13
- 230000006870 function Effects 0.000 description 12
- 238000003860 storage Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 11
- 230000009466 transformation Effects 0.000 description 9
- 238000005457 optimization Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 7
- 238000005259 measurement Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 239000002609 medium Substances 0.000 description 5
- 230000002829 reductive effect Effects 0.000 description 5
- 239000013598 vector Substances 0.000 description 5
- 238000005266 casting Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000011109 contamination Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000010363 phase shift Effects 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007850 degeneration Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000013209 evaluation strategy Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000005295 random walk Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000004441 surface measurement Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 239000006163 transport media Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B35/00—Stereoscopic photography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Processing Or Creating Images (AREA)
- Studio Devices (AREA)
Abstract
Description
[0008]添付の図面に照らして以下の詳細な説明を読むことから、本説明をより良好に理解されよう。
[0009]添付の図面に関して下で提供される詳細な説明は、本例の説明として意図され、本例が構築または利用され得る形態だけを表すことが意図されない。本説明は、その例の機能とその例を構築し動作させるためのステップの順序とを説明する。しかし、異なる例によって、同じまたは均等の機能および順序が達成され得る。
[0012]「高密度3Dモデル」という用語は、本書で、オブジェクトおよび表面を含む三次元シーンの表現を示すために使用され、この場合、その表現はそのシーンの画像要素に関する詳細を含む。対照的に、低密度3Dモデルは、オブジェクトのフレームベースの表現を含むことが可能である。高密度3Dモデルは、ポリゴンメッシュ表現、または3Dモデルを記憶するために必要とされる冗長性とメモリとを削減する様式でのその他の表現などの低密度3Dモデルに変換されることが可能である。ある例示的な高密度3Dモデルは、その環境内の表面を説明するために、入射奥行きマップからのすべての点または多くの点が使用されるモデルであり得る。低密度モデルは、それらの点のサブセットを利用して、計算を加速し、メモリフットプリントを削減することになる。
[0023]モバイル環境センサーは、下でより詳細に説明されるように、1つまたは複数のプロセッサー、メモリ、および通信基盤も備える。
[0040]現在の奥行きマップのパッチに対して、かつ環境の3Dモデルから取得された複数の以前の奥行きマップのパッチに対して、ランダム決定フォレスト(random decision forest)など、高速クラスタリングアルゴリズムが適用される。レイキャスティング技法を使用して、3Dモデルから奥行きマップをレンダリングすることによって、または任意のその他の方法で、以前の奥行きマップが環境の3Dモデルから取得され得る。ランダム決定フォレスト内のそれぞれの葉ノードは構造的特徴要素(texton)を表す。構造的特徴要素はカラー画像のテクスチャ特徴であるが、この例では、奥行きマップが使用され、したがって、構造的特徴要素は奥行きマップのテクスチャ特徴である。現在の奥行きマップの複数のパッチが無作為に、または任意のその他の方法で選択される。それぞれのパッチは、複数の隣接する画像要素である。パッチは複数の以前の奥行きマップのそれぞれからも選択される。それぞれのパッチは、そのパッチに関する構造的特徴要素を識別するために、ランダム決定フォレストの葉に処理される。次いで、画像内に見出されたすべての構造的特徴要素のヒストグラムが構築される。
[0047]次に、図3のループ閉鎖エンジン320でのある方法が図8を参照して説明される。ループ閉鎖検出プロセス804は、環境の現在の奥行きマップ800および3Dモデル802からの入力を利用する。場合によっては、ループ閉鎖検出プロセス804はRGBカメラ306によって捕捉された現在のカラー画像からの入力を利用するが、これは必須ではない。ループ閉鎖検出プロセス804は、特徴整合プロセス806、語の袋(bag of words)プロセス808、またはその他のループ閉鎖検出プロセスなど、任意の適切なループ閉鎖検出方法を使用する。上で述べたように、モバイル環境センサーがある位置に再度戻るとき、ループ閉鎖が発生する。語の袋プロセスは、2つの画像がいつ同じシーンを示すかを効率的に認識し、それによりループ閉鎖を検出することができる。語の袋プロセスは、特徴記述子(例えば、線、縁、角、ブロブ、SIFT特徴、SURF特徴)の(動的またはオフライン)辞書を生成し、その辞書を使用して、画像内で見出された特徴にラベル付けする。次いで、これらの画像は非常に迅速に比較されて、これらの画像が多くの共通する特徴を有するかどうか、したがって、同じオブジェクトまたは位置のものであり得るかを確認することができる。特徴整合プロセスは、辞書を使用せずに、2つの画像内で同じである特徴を識別する任意のプロセスである。
[0068]ある例では、対応する点の対に関して点平面エラー基準が演算され1300、この基準が最適化されて、更新された登録パラメータを取得する。次に、このプロセスのある例が図13を参照して説明される。このプロセスは、次に説明されるような、リアルタイム処理を取得するために、GPUなど、少なくとも1つの並列演算装置を使用して実施されるように設計される。
[0071]対応する点のそれぞれの対に関して、数値的な最小二乗最適化を使用してエラー基準を最適化するために、複数の連立方程式を含む線形システムが並列演算装置上で形成される1306。それぞれの線形システムは、6×6行列の形であってよい。複数の行列は並行演算装置上で単一の6×6行列に削減され得る。フレームレートが高い(例えば、毎秒20フレーム以上)ため、任意の2つの連続的なフレーム同士の間の角度に関して微小角近似(カメラ姿勢の変化)を行うことが可能である。すなわち、フレームレートはあまりにも高いため、カメラはフレーム間で少量だけ移動したことになる。この近似を行うことによって、システムのリアルタイム動作が円滑にされる。
[0088]本主題は構造的特徴および/または方法論的活動に特定の言語で記述されているが、添付の請求項で定義される主題は、上で説明された特定の機能または活動に限定されるとは限らない点を理解されたい。むしろ、上で説明された特定の特徴および活動は、請求項を実施する例示的な形態として開示される。
Claims (10)
- リアルタイムカメラの自己位置再推定の方法であって、
移動しているモバイルデプスカメラから奥行きマップフレームのシーケンスを受信するステップであって、それぞれの奥行きマップフレームが、それぞれが前記モバイルデプスカメラから前記モバイルデプスカメラによって捕捉されたシーン内の表面までの距離に関係している奥行き値を有する複数の画像要素を備えた、受信するステップと、
前記奥行きマップフレームを使用して、前記モバイルデプスカメラの位置および姿勢を追跡し、前記奥行きマップフレームを使用して、前記モバイルデプスカメラが移動している環境の3Dモデルを同時に形成するステップと、
前記モバイルデプスカメラの位置および姿勢の追跡における失敗を検出するステップと、
前記モバイルデプスカメラによって捕捉された現在の奥行きマップを使用して、前記モバイルデプスカメラの位置および姿勢を再演算することによって、前記モバイルデプスカメラの自己位置を再推定するステップとを含む方法。 - 前記追跡における失敗を検出するステップが、前記モバイルデプスカメラの現在の追跡された位置内および以前に追跡された位置内の変化を閾値と比較するステップ、前記モバイルデプスカメラの位置および姿勢を追跡するために使用された反復プロセスの収束の失敗を検出するステップ、ならびに前記モバイルデプスカメラの現在の追跡された位置および姿勢を前記モバイルデプスカメラの動きのモデルを使用して予測された位置および姿勢と比較するステップのうちのいずれかを含む、請求項1に記載の方法。
- 前記モバイルデプスカメラの自己位置を再推定するステップが、それぞれが関連するカメラの位置および姿勢を有する、前記モバイルデプスカメラによって以前に収集された奥行きマップフレームである複数のキーフレームから前記現在の奥行きマップに類似するキーフレームを見出すステップを含み、キーフレームを見出すステップが、現在のフレームと類似する垂直表面および水平表面の構成および位置を有するキーフレームを選択するための形状推定プロセスを使用するステップ、ならびに前記モバイルデプスカメラの最後に知られている位置に関係する順序で前記複数のキーフレームを検索するステップのうちのいずれかを含む、請求項1または2に記載の方法。
- 前記モバイルデプスカメラの自己位置を再推定するステップが、前記モバイルデプスカメラの知られている以前の動きを前提として、予測される姿勢の分布である、前記モバイルデプスカメラの姿勢の追跡分布を演算するステップと、前記追跡分布から姿勢をサンプリングして、そのサンプリングされた姿勢を使用して、前記現在の奥行きマップおよび以前の奥行きマップを整列させるステップとを含む、請求項1に記載の方法。
- 前記モバイルデプスカメラの自己位置を再推定するステップが、前記現在の奥行きマップからのパッチおよび前記環境の前記3Dモデルから取得された複数の以前の奥行きマップからのパッチにランダム決定フォレストを適用して、奥行きマップのテクスチャ特徴である構造的特徴要素のヒストグラムを取得するステップと、前記ヒストグラムの点で前記現在の奥行きマップに類似する以前の奥行きマップを選択するステップとを含む、請求項1に記載の方法。
- 移動しているモバイルデプスカメラから奥行きマップフレームのシーケンスを受信するように構成された入力部であって、それぞれの奥行きマップフレームが、それぞれが前記モバイルデプスカメラから前記モバイルデプスカメラによって捕捉されたシーン内の表面までの距離に関係している奥行き値を有する複数の画像要素を備えた、入力部と、
前記奥行きマップフレームを使用して、前記モバイルデプスカメラの位置および姿勢を追跡するように構成されたフレーム整列エンジンと、
前記奥行きマップフレームを使用して、前記モバイルデプスカメラが移動している環境内の3Dモデルを形成するように構成された3Dモデル形成システムと、
前記モバイルデプスカメラの位置および姿勢の追跡における失敗を検出し、かつ、前記モバイルデプスカメラによって捕捉された現在の奥行きマップと、前記3Dモデルから取得された少なくとも1つの以前の奥行きマップとを使用して、前記モバイルデプスカメラの位置および姿勢を再演算することによって、前記モバイルデプスカメラの自己位置を再推定するように構成された自己位置再推定エンジンと
を備えるリアルタイムカメラの自己位置再推定システム。 - 前記自己位置再推定エンジンが、前記現在の奥行きマップからのパッチおよび前記環境の前記3Dモデルから取得された複数の以前の奥行きマップからのパッチにランダム決定フォレストを適用して、奥行きマップのテクスチャ特徴である構造的特徴要素のヒストグラムを取得し、かつ、前記ヒストグラムの点で前記現在の奥行きマップに類似する以前の奥行きマップを選択するように構成される、請求項6に記載のシステム。
- 前記自己位置再推定エンジンが、それぞれが関連するカメラの位置および姿勢を有する、前記モバイルデプスカメラによって以前に収集された奥行きマップフレームである複数のキーフレームから前記現在の奥行きマップに類似するキーフレームを見出すように構成される、請求項6に記載のシステム。
- 前記自己位置再推定エンジンが、現在のフレームと類似する垂直表面および水平表面の構成および位置を有するキーフレームを選択するための形状推定プロセスを使用するステップ、ならびに前記モバイルデプスカメラの最後に知られている位置に関係する順序で前記複数のキーフレームを検索するステップのうちのいずれかによってキーフレームを見出すように構成される、請求項8に記載のシステム。
- 立体照明を使用するモバイル赤外線タイムオブフライトデプスカメラと、前記モバイルデプスカメラを追跡するための、請求項6に記載されたシステムとを備え、前記モバイルデプスカメラおよびリアルタイムトラッカーが、毎秒少なくとも30フレームで動作するように構成されており、前記ゲームシステムが、前記モバイルデプスカメラの追跡に関連してゲームの進行に影響を及ぼすように構成されているゲームシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/017,474 | 2011-01-31 | ||
US13/017,474 US8711206B2 (en) | 2011-01-31 | 2011-01-31 | Mobile camera localization using depth maps |
PCT/US2012/020681 WO2012106068A2 (en) | 2011-01-31 | 2012-01-09 | Mobile camera localization using depth maps |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014511591A true JP2014511591A (ja) | 2014-05-15 |
JP5881743B2 JP5881743B2 (ja) | 2016-03-09 |
Family
ID=46527288
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013552530A Active JP5881743B2 (ja) | 2011-01-31 | 2012-01-09 | 奥行きマップを使用したモバイルカメラの自己位置推定 |
Country Status (9)
Country | Link |
---|---|
US (1) | US8711206B2 (ja) |
EP (1) | EP2671384B1 (ja) |
JP (1) | JP5881743B2 (ja) |
KR (1) | KR101896131B1 (ja) |
CN (1) | CN102609942B (ja) |
AR (1) | AR084952A1 (ja) |
HK (1) | HK1171853A1 (ja) |
TW (1) | TWI467494B (ja) |
WO (1) | WO2012106068A2 (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016514384A (ja) * | 2013-01-30 | 2016-05-19 | クアルコム,インコーポレイテッド | 電力効率の良い深度センサーの使用によるリアルタイム3d再構成 |
WO2016181687A1 (ja) * | 2015-05-14 | 2016-11-17 | ソニー株式会社 | 画像処理装置と画像処理方法およびプログラム |
US9832432B2 (en) | 2015-06-05 | 2017-11-28 | Canon Kabushiki Kaisha | Control apparatus, image pickup apparatus, control method, and non-transitory computer-readable storage medium |
JP2018014579A (ja) * | 2016-07-20 | 2018-01-25 | 株式会社日立製作所 | カメラトラッキング装置および方法 |
JP2018519733A (ja) * | 2015-06-17 | 2018-07-19 | トムソン ライセンシングThomson Licensing | 画像の鮮鋭レベルを表わす位置合わせ誤差マップを得るための装置および方法 |
JP2018520425A (ja) * | 2015-05-27 | 2018-07-26 | インペリアル カレッジ オブ サイエンス,テクノロジー アンド メディスン | 三次元空間のモデリング |
JP2021507409A (ja) * | 2017-12-22 | 2021-02-22 | マジック リープ, インコーポレイテッドMagic Leap,Inc. | レイキャスティングおよびライブ深度を使用したオクルージョンレンダリングの方法 |
Families Citing this family (224)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8506404B2 (en) * | 2007-05-07 | 2013-08-13 | Samsung Electronics Co., Ltd. | Wireless gaming method and wireless gaming-enabled mobile terminal |
US8503720B2 (en) | 2009-05-01 | 2013-08-06 | Microsoft Corporation | Human body pose estimation |
US9772394B2 (en) | 2010-04-21 | 2017-09-26 | Faro Technologies, Inc. | Method and apparatus for following an operator and locking onto a retroreflector with a laser tracker |
US8942917B2 (en) | 2011-02-14 | 2015-01-27 | Microsoft Corporation | Change invariant scene recognition by an agent |
US10972680B2 (en) * | 2011-03-10 | 2021-04-06 | Microsoft Technology Licensing, Llc | Theme-based augmentation of photorepresentative view |
US9686532B2 (en) | 2011-04-15 | 2017-06-20 | Faro Technologies, Inc. | System and method of acquiring three-dimensional coordinates using multiple coordinate measurement devices |
US9482529B2 (en) | 2011-04-15 | 2016-11-01 | Faro Technologies, Inc. | Three-dimensional coordinate scanner and method of operation |
WO2012141868A1 (en) | 2011-04-15 | 2012-10-18 | Faro Technologies, Inc. | Enhanced position detector in laser tracker |
US8760499B2 (en) * | 2011-04-29 | 2014-06-24 | Austin Russell | Three-dimensional imager and projection device |
US20120293613A1 (en) * | 2011-05-17 | 2012-11-22 | Occipital, Inc. | System and method for capturing and editing panoramic images |
KR101366860B1 (ko) * | 2011-09-20 | 2014-02-21 | 엘지전자 주식회사 | 이동 로봇 및 이의 제어 방법 |
US8831337B2 (en) * | 2011-11-11 | 2014-09-09 | Texas Instruments Incorporated | Method, system and computer program product for identifying locations of detected objects |
US20130155048A1 (en) * | 2011-12-14 | 2013-06-20 | Advanced Micro Devices, Inc. | Three-dimensional graphics construction and user interface |
DE102012201193B3 (de) * | 2012-01-27 | 2013-06-13 | Sirona Dental Systems Gmbh | Verfahren und Referenzmodell zur Überprüfung eines Vermessungssystems |
US10600235B2 (en) * | 2012-02-23 | 2020-03-24 | Charles D. Huston | System and method for capturing and sharing a location based experience |
US9536338B2 (en) * | 2012-07-31 | 2017-01-03 | Microsoft Technology Licensing, Llc | Animating objects using the human body |
KR101893788B1 (ko) * | 2012-08-27 | 2018-08-31 | 삼성전자주식회사 | 다시점 카메라간 정합 장치 및 방법 |
US8633970B1 (en) | 2012-08-30 | 2014-01-21 | Google Inc. | Augmented reality with earth data |
WO2014040081A1 (en) | 2012-09-10 | 2014-03-13 | Aemass, Inc. | Multi-dimensional data capture of an environment using plural devices |
US9332243B2 (en) | 2012-10-17 | 2016-05-03 | DotProduct LLC | Handheld portable optical scanner and method of using |
US10674135B2 (en) * | 2012-10-17 | 2020-06-02 | DotProduct LLC | Handheld portable optical scanner and method of using |
DE202012104890U1 (de) | 2012-12-14 | 2013-03-05 | Faro Technologies, Inc. | Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung |
DE102012112321B4 (de) | 2012-12-14 | 2015-03-05 | Faro Technologies, Inc. | Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung |
DE102012112322B4 (de) * | 2012-12-14 | 2015-11-05 | Faro Technologies, Inc. | Verfahren zum optischen Abtasten und Vermessen einer Umgebung |
CN103903219A (zh) * | 2012-12-26 | 2014-07-02 | 联想(北京)有限公司 | 一种信息处理方法及系统 |
US9857470B2 (en) | 2012-12-28 | 2018-01-02 | Microsoft Technology Licensing, Llc | Using photometric stereo for 3D environment modeling |
US9251590B2 (en) * | 2013-01-24 | 2016-02-02 | Microsoft Technology Licensing, Llc | Camera pose estimation for 3D reconstruction |
US9940553B2 (en) | 2013-02-22 | 2018-04-10 | Microsoft Technology Licensing, Llc | Camera/object pose from predicted coordinates |
US20140240469A1 (en) * | 2013-02-28 | 2014-08-28 | Motorola Mobility Llc | Electronic Device with Multiview Image Capture and Depth Sensing |
US9142019B2 (en) * | 2013-02-28 | 2015-09-22 | Google Technology Holdings LLC | System for 2D/3D spatial feature processing |
US9398287B2 (en) * | 2013-02-28 | 2016-07-19 | Google Technology Holdings LLC | Context-based depth sensor control |
US20150002734A1 (en) | 2013-07-01 | 2015-01-01 | Motorola Mobility Llc | Electronic Device with Modulated Light Flash Operation for Rolling Shutter Image Sensor |
US9407837B2 (en) | 2013-02-28 | 2016-08-02 | Google Inc. | Depth sensor using modulated light projector and image sensor with color and IR sensing |
US9025823B2 (en) | 2013-03-12 | 2015-05-05 | Qualcomm Incorporated | Tracking texture rich objects using rank order filtering |
US9041914B2 (en) | 2013-03-15 | 2015-05-26 | Faro Technologies, Inc. | Three-dimensional coordinate scanner and method of operation |
CN104103062A (zh) * | 2013-04-08 | 2014-10-15 | 富士通株式会社 | 图像处理设备和图像处理方法 |
WO2014169238A1 (en) | 2013-04-11 | 2014-10-16 | Digimarc Corporation | Methods for object recognition and related arrangements |
US20140324400A1 (en) * | 2013-04-30 | 2014-10-30 | Marquette University | Gesture-Based Visualization System for Biomedical Imaging and Scientific Datasets |
EP2800055A1 (en) * | 2013-04-30 | 2014-11-05 | 3DDynamics Bvba | Method and system for generating a 3D model |
US9674507B2 (en) * | 2013-04-30 | 2017-06-06 | Qualcomm Incorporated | Monocular visual SLAM with general and panorama camera movements |
US9367960B2 (en) * | 2013-05-22 | 2016-06-14 | Microsoft Technology Licensing, Llc | Body-locked placement of augmented reality objects |
WO2014204330A1 (en) * | 2013-06-17 | 2014-12-24 | 3Divi Company | Methods and systems for determining 6dof location and orientation of head-mounted display and associated user movements |
CN105339981B (zh) * | 2013-06-19 | 2019-04-12 | 三菱电机株式会社 | 用于使用一组基元配准数据的方法 |
US9965893B2 (en) * | 2013-06-25 | 2018-05-08 | Google Llc. | Curvature-driven normal interpolation for shading applications |
KR102137264B1 (ko) * | 2013-07-09 | 2020-07-24 | 삼성전자주식회사 | 카메라 포즈 추정 장치 및 방법 |
US9286717B2 (en) * | 2013-07-30 | 2016-03-15 | Hewlett-Packard Development Company, L.P. | 3D modeling motion parameters |
US9646384B2 (en) | 2013-09-11 | 2017-05-09 | Google Technology Holdings LLC | 3D feature descriptors with camera pose information |
US20160210785A1 (en) * | 2013-10-03 | 2016-07-21 | Sulon Technologies Inc. | Augmented reality system and method for positioning and mapping |
CN104574349B (zh) * | 2013-11-14 | 2017-04-12 | 广东朗呈医疗器械科技有限公司 | 恢复相机位置的方法 |
US9489765B2 (en) * | 2013-11-18 | 2016-11-08 | Nant Holdings Ip, Llc | Silhouette-based object and texture alignment, systems and methods |
US9336440B2 (en) * | 2013-11-25 | 2016-05-10 | Qualcomm Incorporated | Power efficient use of a depth sensor on a mobile device |
US9432636B2 (en) * | 2013-11-26 | 2016-08-30 | Microsoft Technology Licensing, Llc | Large-scale surface reconstruction that is robust against tracking and mapping errors |
US9747680B2 (en) | 2013-11-27 | 2017-08-29 | Industrial Technology Research Institute | Inspection apparatus, method, and computer program product for machine vision inspection |
CN103677211B (zh) * | 2013-12-09 | 2016-07-06 | 华为软件技术有限公司 | 实现增强现实应用的装置及方法 |
EP2895819B1 (en) | 2013-12-10 | 2020-05-20 | SZ DJI Technology Co., Ltd. | Sensor fusion |
US9303999B2 (en) * | 2013-12-30 | 2016-04-05 | Google Technology Holdings LLC | Methods and systems for determining estimation of motion of a device |
TWI530909B (zh) | 2013-12-31 | 2016-04-21 | 財團法人工業技術研究院 | 影像合成系統及方法 |
KR101793485B1 (ko) | 2014-01-03 | 2017-11-03 | 인텔 코포레이션 | 깊이 카메라를 사용하는 실시간 3d 재구성 |
CN103745498B (zh) * | 2014-01-16 | 2017-01-04 | 中国科学院自动化研究所 | 一种基于图像的快速定位方法 |
KR102209008B1 (ko) | 2014-02-17 | 2021-01-28 | 삼성전자주식회사 | 카메라 포즈 추정 장치 및 카메라 포즈 추정 방법 |
US9626766B2 (en) * | 2014-02-28 | 2017-04-18 | Microsoft Technology Licensing, Llc | Depth sensing using an RGB camera |
US9158971B2 (en) * | 2014-03-03 | 2015-10-13 | Xerox Corporation | Self-learning object detectors for unlabeled videos using multi-task learning |
US20150332464A1 (en) * | 2014-05-19 | 2015-11-19 | Occipital, Inc. | Methods for automatic registration of 3d image data |
US9613298B2 (en) | 2014-06-02 | 2017-04-04 | Microsoft Technology Licensing, Llc | Tracking using sensor data |
US9311565B2 (en) * | 2014-06-16 | 2016-04-12 | Sony Corporation | 3D scanning with depth cameras using mesh sculpting |
US9373190B2 (en) | 2014-07-09 | 2016-06-21 | Google Inc. | High-quality stereo reconstruction featuring depth map alignment and outlier identification |
JP2016045874A (ja) * | 2014-08-26 | 2016-04-04 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
CN105447886A (zh) * | 2014-08-26 | 2016-03-30 | 上海云罡同汇视觉艺术设计有限公司 | 动感影院播放控制方法 |
JP6181300B2 (ja) | 2014-09-05 | 2017-08-16 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | 無人航空機の速度を制御するシステム |
CN110174903B (zh) * | 2014-09-05 | 2023-05-09 | 深圳市大疆创新科技有限公司 | 用于在环境内控制可移动物体的系统和方法 |
JP6220323B2 (ja) * | 2014-09-05 | 2017-10-25 | 株式会社東芝 | オブジェクト検索装置およびその検索方法 |
EP3399381A1 (en) | 2014-09-05 | 2018-11-07 | SZ DJI Technology Co., Ltd. | Context-based flight mode selection |
US9773155B2 (en) * | 2014-10-14 | 2017-09-26 | Microsoft Technology Licensing, Llc | Depth from time of flight camera |
TWI552597B (zh) * | 2014-11-12 | 2016-10-01 | 觸動創意股份有限公司 | 行動無線環物攝影之系統及其方法 |
US9792521B2 (en) * | 2014-12-26 | 2017-10-17 | Here Global B.V. | Extracting feature geometries for localization of a device |
EP3040941B1 (en) * | 2014-12-29 | 2017-08-02 | Dassault Systèmes | Method for calibrating a depth camera |
WO2016118499A1 (en) | 2015-01-19 | 2016-07-28 | The Regents Of The University Of Michigan | Visual localization within lidar maps |
CN107209565B (zh) * | 2015-01-20 | 2020-05-05 | 微软技术许可有限责任公司 | 用于显示固定大小的增强现实对象的方法和系统 |
US9779512B2 (en) * | 2015-01-29 | 2017-10-03 | Microsoft Technology Licensing, Llc | Automatic generation of virtual materials from real-world materials |
US9684831B2 (en) * | 2015-02-18 | 2017-06-20 | Qualcomm Incorporated | Adaptive edge-like feature selection during object detection |
US9852543B2 (en) * | 2015-03-27 | 2017-12-26 | Snap Inc. | Automated three dimensional model generation |
EP3198350B1 (en) * | 2015-03-31 | 2021-11-10 | SZ DJI Technology Co., Ltd. | System and method for mobile platform operation |
EP3078935A1 (en) * | 2015-04-10 | 2016-10-12 | The European Atomic Energy Community (EURATOM), represented by the European Commission | Method and device for real-time mapping and localization |
US9984519B2 (en) * | 2015-04-10 | 2018-05-29 | Google Llc | Method and system for optical user recognition |
US9964402B2 (en) * | 2015-04-24 | 2018-05-08 | Faro Technologies, Inc. | Two-camera triangulation scanner with detachable coupling mechanism |
KR102114969B1 (ko) * | 2015-06-08 | 2020-06-08 | 삼성전자주식회사 | 광학 장치 및 깊이 정보 생성 방법 |
US20160379405A1 (en) * | 2015-06-26 | 2016-12-29 | Jim S Baca | Technologies for generating computer models, devices, systems, and methods utilizing the same |
WO2017007166A1 (ko) * | 2015-07-08 | 2017-01-12 | 고려대학교 산학협력단 | 투영 이미지 생성 방법 및 그 장치, 이미지 픽셀과 깊이값간의 매핑 방법 |
KR101835434B1 (ko) | 2015-07-08 | 2018-03-09 | 고려대학교 산학협력단 | 투영 이미지 생성 방법 및 그 장치, 이미지 픽셀과 깊이값간의 매핑 방법 |
US9738399B2 (en) * | 2015-07-29 | 2017-08-22 | Hon Hai Precision Industry Co., Ltd. | Unmanned aerial vehicle control method and unmanned aerial vehicle using same |
CN107850445B (zh) * | 2015-08-03 | 2021-08-27 | 通腾全球信息公司 | 用于生成及使用定位参考数据的方法及系统 |
CN106528398B (zh) * | 2015-09-15 | 2019-09-06 | 网易(杭州)网络有限公司 | 游戏软件性能的可视分析方法 |
CN105204808B (zh) * | 2015-09-25 | 2018-09-04 | 小米科技有限责任公司 | 图片的投射方法、装置及终端设备 |
CN105352508A (zh) * | 2015-10-22 | 2016-02-24 | 深圳创想未来机器人有限公司 | 机器人定位导航方法及装置 |
US10580198B2 (en) * | 2015-11-16 | 2020-03-03 | Nvidia Corporation | System and method for optimized sparse volume rendering |
US10341633B2 (en) * | 2015-11-20 | 2019-07-02 | Qualcomm Incorporated | Systems and methods for correcting erroneous depth information |
US10220172B2 (en) | 2015-11-25 | 2019-03-05 | Resmed Limited | Methods and systems for providing interface components for respiratory therapy |
US11010956B2 (en) * | 2015-12-09 | 2021-05-18 | Imagination Technologies Limited | Foveated rendering |
US20170171525A1 (en) | 2015-12-14 | 2017-06-15 | Sony Corporation | Electronic system including image processing unit for reconstructing 3d surfaces and iterative triangulation method |
US9996933B2 (en) | 2015-12-22 | 2018-06-12 | Qualcomm Incorporated | Methods and apparatus for outlier detection and correction of structured light depth maps |
CN106997582A (zh) * | 2016-01-22 | 2017-08-01 | 北京三星通信技术研究有限公司 | 飞行时间三维传感器的运动模糊消除方法和设备 |
US10372968B2 (en) | 2016-01-22 | 2019-08-06 | Qualcomm Incorporated | Object-focused active three-dimensional reconstruction |
US10229502B2 (en) | 2016-02-03 | 2019-03-12 | Microsoft Technology Licensing, Llc | Temporal time-of-flight |
US10257505B2 (en) | 2016-02-08 | 2019-04-09 | Microsoft Technology Licensing, Llc | Optimized object scanning using sensor fusion |
US10482681B2 (en) | 2016-02-09 | 2019-11-19 | Intel Corporation | Recognition-based object segmentation of a 3-dimensional image |
US10373380B2 (en) | 2016-02-18 | 2019-08-06 | Intel Corporation | 3-dimensional scene analysis for augmented reality operations |
US11232583B2 (en) * | 2016-03-25 | 2022-01-25 | Samsung Electronics Co., Ltd. | Device for and method of determining a pose of a camera |
US10890600B2 (en) | 2016-05-18 | 2021-01-12 | Google Llc | Real-time visual-inertial motion tracking fault detection |
US10802147B2 (en) * | 2016-05-18 | 2020-10-13 | Google Llc | System and method for concurrent odometry and mapping |
US11017610B2 (en) | 2016-05-18 | 2021-05-25 | Google Llc | System and method for fault detection and recovery for concurrent odometry and mapping |
CN106095773B (zh) * | 2016-05-19 | 2019-04-23 | 西安电子科技大学 | 基于最短联合路径的深度图上采样方法 |
US10237531B2 (en) | 2016-06-22 | 2019-03-19 | Microsoft Technology Licensing, Llc | Discontinuity-aware reprojection |
US10129523B2 (en) | 2016-06-22 | 2018-11-13 | Microsoft Technology Licensing, Llc | Depth-aware reprojection |
US10573018B2 (en) * | 2016-07-13 | 2020-02-25 | Intel Corporation | Three dimensional scene reconstruction based on contextual analysis |
KR102529120B1 (ko) * | 2016-07-15 | 2023-05-08 | 삼성전자주식회사 | 영상을 획득하는 방법, 디바이스 및 기록매체 |
EP3494447B1 (en) | 2016-08-04 | 2021-05-19 | Reification Inc. | Methods for simultaneous localization and mapping (slam) and related apparatus and systems |
EP3800618B1 (en) * | 2016-08-30 | 2022-12-07 | Snap Inc. | Systems and methods for simultaneous localization and mapping |
US10447998B2 (en) * | 2016-09-30 | 2019-10-15 | Intel Corporation | Power efficient long range depth sensing |
US11195132B2 (en) * | 2016-10-31 | 2021-12-07 | International Business Machines Corporation | System, method and computer program product for characterizing object status and determining a maintenance schedule |
US11042161B2 (en) | 2016-11-16 | 2021-06-22 | Symbol Technologies, Llc | Navigation control method and apparatus in a mobile automation system |
EP3343502B1 (en) * | 2016-12-28 | 2019-02-20 | Dassault Systèmes | Depth sensor noise |
US10552981B2 (en) | 2017-01-16 | 2020-02-04 | Shapetrace Inc. | Depth camera 3D pose estimation using 3D CAD models |
US10843068B2 (en) * | 2017-01-18 | 2020-11-24 | Xvisio Technology Corp. | 6DoF inside-out tracking game controller |
US10535156B2 (en) * | 2017-02-03 | 2020-01-14 | Microsoft Technology Licensing, Llc | Scene reconstruction from bursts of image data |
CN106940186B (zh) * | 2017-02-16 | 2019-09-24 | 华中科技大学 | 一种机器人自主定位与导航方法及系统 |
KR102309297B1 (ko) * | 2017-03-31 | 2021-10-06 | 엘지전자 주식회사 | 단말기 및 그 제어 방법 |
CN107440712A (zh) * | 2017-04-13 | 2017-12-08 | 浙江工业大学 | 一种基于深度感应器的脑电信号电极采集方法 |
US11449059B2 (en) | 2017-05-01 | 2022-09-20 | Symbol Technologies, Llc | Obstacle detection for a mobile automation apparatus |
US10949798B2 (en) | 2017-05-01 | 2021-03-16 | Symbol Technologies, Llc | Multimodal localization and mapping for a mobile automation apparatus |
US11367092B2 (en) * | 2017-05-01 | 2022-06-21 | Symbol Technologies, Llc | Method and apparatus for extracting and processing price text from an image set |
AU2018261257B2 (en) | 2017-05-01 | 2020-10-08 | Symbol Technologies, Llc | Method and apparatus for object status detection |
US10726273B2 (en) | 2017-05-01 | 2020-07-28 | Symbol Technologies, Llc | Method and apparatus for shelf feature and object placement detection from shelf images |
US11093896B2 (en) | 2017-05-01 | 2021-08-17 | Symbol Technologies, Llc | Product status detection system |
WO2018204740A1 (en) * | 2017-05-04 | 2018-11-08 | Mim Software, Inc. | System and method for predictive fusion |
WO2018201423A1 (en) | 2017-05-05 | 2018-11-08 | Symbol Technologies, Llc | Method and apparatus for detecting and interpreting price label text |
CN107123142B (zh) * | 2017-05-09 | 2020-05-01 | 北京京东尚科信息技术有限公司 | 位姿估计方法和装置 |
US10325409B2 (en) | 2017-06-16 | 2019-06-18 | Microsoft Technology Licensing, Llc | Object holographic augmentation |
US10467804B2 (en) | 2017-06-29 | 2019-11-05 | Open Space Labs, Inc. | Automated spatial indexing of images based on floorplan features |
WO2019014861A1 (en) * | 2017-07-18 | 2019-01-24 | Hangzhou Taruo Information Technology Co., Ltd. | INTELLIGENT FOLLOWING OF OBJECTS |
US11364637B2 (en) | 2017-07-18 | 2022-06-21 | Hangzhou Taro Positioning Technology Co., Ltd. | Intelligent object tracking |
CN109308678B (zh) * | 2017-07-28 | 2023-10-27 | 株式会社理光 | 利用全景图像进行重定位的方法、装置及设备 |
CN111093907B (zh) * | 2017-08-30 | 2023-07-04 | 高通股份有限公司 | 机器人式运载工具的稳健导航 |
CN107767417B (zh) * | 2017-09-11 | 2021-06-25 | 广州慧玥文化传播有限公司 | 基于特征点确定mr头显设备输出的虚拟景象的方法及系统 |
US10296798B2 (en) * | 2017-09-14 | 2019-05-21 | Ncku Research And Development Foundation | System and method of selecting a keyframe for iterative closest point |
KR102671902B1 (ko) * | 2017-09-22 | 2024-06-03 | 에스케이텔레콤 주식회사 | 지도 생성 장치 및 방법 |
US10839547B2 (en) * | 2017-09-28 | 2020-11-17 | Samsung Electronics Co., Ltd. | Camera pose determination and tracking |
CN111247390B (zh) | 2017-10-06 | 2023-09-01 | 高通股份有限公司 | Vslam的并发的重新定位和重新初始化 |
US10921127B2 (en) | 2017-11-02 | 2021-02-16 | Sony Corporation | Augmented reality based electronic device to provide location tagging assistance in an indoor or outdoor area |
CN107886129B (zh) * | 2017-11-13 | 2021-06-08 | 湖南大学 | 一种基于视觉词袋的移动机器人地图闭环检测方法 |
WO2019108748A1 (en) * | 2017-11-29 | 2019-06-06 | Tactacam LLC | Camera mount system |
CN109328456B (zh) * | 2017-11-30 | 2020-10-16 | 深圳配天智能技术研究院有限公司 | 一种拍摄装置及拍摄位置寻优的方法 |
US10698413B2 (en) | 2017-12-28 | 2020-06-30 | Savioke Inc. | Apparatus, system, and method for mobile robot relocalization |
US10885659B2 (en) | 2018-01-15 | 2021-01-05 | Samsung Electronics Co., Ltd. | Object pose estimating method and apparatus |
CN108537876B (zh) * | 2018-03-05 | 2020-10-16 | 清华-伯克利深圳学院筹备办公室 | 三维重建方法、装置、设备及存储介质 |
US10528133B2 (en) | 2018-03-13 | 2020-01-07 | Facebook Technologies, Llc | Bracelet in a distributed artificial reality system |
US10572002B2 (en) * | 2018-03-13 | 2020-02-25 | Facebook Technologies, Llc | Distributed artificial reality system with contextualized hand tracking |
CN108398787B (zh) * | 2018-03-20 | 2023-05-16 | 京东方科技集团股份有限公司 | 增强现实显示设备、方法和增强现实眼镜 |
CN110314377B (zh) * | 2018-03-28 | 2022-10-28 | 苏宁易购集团股份有限公司 | 三维空间中物体移动路径随机生成方法和装置 |
US10809078B2 (en) | 2018-04-05 | 2020-10-20 | Symbol Technologies, Llc | Method, system and apparatus for dynamic path generation |
US10740911B2 (en) * | 2018-04-05 | 2020-08-11 | Symbol Technologies, Llc | Method, system and apparatus for correcting translucency artifacts in data representing a support structure |
US10832436B2 (en) | 2018-04-05 | 2020-11-10 | Symbol Technologies, Llc | Method, system and apparatus for recovering label positions |
US10823572B2 (en) | 2018-04-05 | 2020-11-03 | Symbol Technologies, Llc | Method, system and apparatus for generating navigational data |
US11327504B2 (en) | 2018-04-05 | 2022-05-10 | Symbol Technologies, Llc | Method, system and apparatus for mobile automation apparatus localization |
CN110415329B (zh) | 2018-04-26 | 2023-10-13 | 财团法人工业技术研究院 | 三维建模装置及应用于其的校准方法 |
CN109272021B (zh) * | 2018-08-22 | 2022-03-04 | 广东工业大学 | 一种基于宽度学习的智能移动机器人导航方法 |
KR102682524B1 (ko) | 2018-09-11 | 2024-07-08 | 삼성전자주식회사 | 증강 현실에서 가상 객체를 표시하기 위한 측위 방법 및 장치 |
US11010920B2 (en) | 2018-10-05 | 2021-05-18 | Zebra Technologies Corporation | Method, system and apparatus for object detection in point clouds |
US11506483B2 (en) | 2018-10-05 | 2022-11-22 | Zebra Technologies Corporation | Method, system and apparatus for support structure depth determination |
EP3881163A4 (en) | 2018-11-12 | 2022-08-03 | Open Space Labs, Inc. | AUTOMATED SPATIAL INDEXING OF IMAGES ON VIDEO |
US11090811B2 (en) | 2018-11-13 | 2021-08-17 | Zebra Technologies Corporation | Method and apparatus for labeling of support structures |
US11003188B2 (en) | 2018-11-13 | 2021-05-11 | Zebra Technologies Corporation | Method, system and apparatus for obstacle handling in navigational path generation |
US11079240B2 (en) | 2018-12-07 | 2021-08-03 | Zebra Technologies Corporation | Method, system and apparatus for adaptive particle filter localization |
US11416000B2 (en) | 2018-12-07 | 2022-08-16 | Zebra Technologies Corporation | Method and apparatus for navigational ray tracing |
US11100303B2 (en) | 2018-12-10 | 2021-08-24 | Zebra Technologies Corporation | Method, system and apparatus for auxiliary label detection and association |
US11015938B2 (en) | 2018-12-12 | 2021-05-25 | Zebra Technologies Corporation | Method, system and apparatus for navigational assistance |
US10731970B2 (en) | 2018-12-13 | 2020-08-04 | Zebra Technologies Corporation | Method, system and apparatus for support structure detection |
CN111368860B (zh) * | 2018-12-25 | 2024-04-26 | 深圳市优必选科技有限公司 | 重定位方法及终端设备 |
CA3028708A1 (en) | 2018-12-28 | 2020-06-28 | Zih Corp. | Method, system and apparatus for dynamic loop closure in mapping trajectories |
EP3707473A4 (en) * | 2019-01-30 | 2020-12-30 | Baidu.com Times Technology (Beijing) Co., Ltd. | REAL-TIME MAP GENERATION SYSTEM FOR AUTONOMOUS VEHICLES |
EP3707467A1 (en) * | 2019-01-30 | 2020-09-16 | Baidu.com Times Technology (Beijing) Co., Ltd. | A rgb point clouds based map generation system for autonomous vehicles |
US11238604B1 (en) | 2019-03-05 | 2022-02-01 | Apple Inc. | Densifying sparse depth maps |
WO2020202163A1 (en) * | 2019-04-02 | 2020-10-08 | Buildots Ltd. | Determining position of an image capture device |
CN110188809B (zh) * | 2019-05-22 | 2021-04-06 | 浙江大学 | 一种基于图像分块的回环检测方法 |
US11402846B2 (en) | 2019-06-03 | 2022-08-02 | Zebra Technologies Corporation | Method, system and apparatus for mitigating data capture light leakage |
US11341663B2 (en) | 2019-06-03 | 2022-05-24 | Zebra Technologies Corporation | Method, system and apparatus for detecting support structure obstructions |
US11662739B2 (en) | 2019-06-03 | 2023-05-30 | Zebra Technologies Corporation | Method, system and apparatus for adaptive ceiling-based localization |
US11960286B2 (en) | 2019-06-03 | 2024-04-16 | Zebra Technologies Corporation | Method, system and apparatus for dynamic task sequencing |
US11200677B2 (en) | 2019-06-03 | 2021-12-14 | Zebra Technologies Corporation | Method, system and apparatus for shelf edge detection |
US11151743B2 (en) | 2019-06-03 | 2021-10-19 | Zebra Technologies Corporation | Method, system and apparatus for end of aisle detection |
US11080566B2 (en) | 2019-06-03 | 2021-08-03 | Zebra Technologies Corporation | Method, system and apparatus for gap detection in support structures with peg regions |
US11958183B2 (en) | 2019-09-19 | 2024-04-16 | The Research Foundation For The State University Of New York | Negotiation-based human-robot collaboration via augmented reality |
FI3795798T3 (fi) * | 2019-09-20 | 2023-12-14 | Sandvik Mining & Construction Oy | Liikkuvan koneen paikannus maanalaisella työmaalla |
US11275453B1 (en) | 2019-09-30 | 2022-03-15 | Snap Inc. | Smart ring for manipulating virtual objects displayed by a wearable device |
CN111724439B (zh) * | 2019-11-29 | 2024-05-17 | 中国科学院上海微系统与信息技术研究所 | 一种动态场景下的视觉定位方法及装置 |
US11507103B2 (en) | 2019-12-04 | 2022-11-22 | Zebra Technologies Corporation | Method, system and apparatus for localization-based historical obstacle handling |
US11107238B2 (en) | 2019-12-13 | 2021-08-31 | Zebra Technologies Corporation | Method, system and apparatus for detecting item facings |
WO2021173850A1 (en) | 2020-02-27 | 2021-09-02 | Magic Leap, Inc. | Cross reality system for large scale environment reconstruction |
CN111340707B (zh) * | 2020-02-27 | 2023-07-14 | 创新奇智(重庆)科技有限公司 | 基于关键帧的图像拼接系统及拼接方法 |
US11822333B2 (en) | 2020-03-30 | 2023-11-21 | Zebra Technologies Corporation | Method, system and apparatus for data capture illumination control |
US11798429B1 (en) | 2020-05-04 | 2023-10-24 | Snap Inc. | Virtual tutorials for musical instruments with finger tracking in augmented reality |
US11520399B2 (en) | 2020-05-26 | 2022-12-06 | Snap Inc. | Interactive augmented reality experiences using positional tracking |
KR102298098B1 (ko) * | 2020-05-29 | 2021-09-03 | 이화여자대학교 산학협력단 | Rgb-d 카메라의 트래킹을 통한 3d 모델의 생성 방법 및 장치 |
US11436812B2 (en) | 2020-05-29 | 2022-09-06 | Open Space Labs, Inc. | Machine learning based object identification using scaled diagram and three-dimensional model |
US11450024B2 (en) | 2020-07-17 | 2022-09-20 | Zebra Technologies Corporation | Mixed depth object detection |
US11508080B2 (en) | 2020-09-15 | 2022-11-22 | Toyota Research Institute, Inc. | Systems and methods for generic visual odometry using learned features via neural camera models |
US11615544B2 (en) | 2020-09-15 | 2023-03-28 | Toyota Research Institute, Inc. | Systems and methods for end-to-end map building from a video sequence using neural camera models |
US11494927B2 (en) | 2020-09-15 | 2022-11-08 | Toyota Research Institute, Inc. | Systems and methods for self-supervised depth estimation |
US11321862B2 (en) | 2020-09-15 | 2022-05-03 | Toyota Research Institute, Inc. | Systems and methods for multi-camera modeling with neural camera networks |
US11925863B2 (en) | 2020-09-18 | 2024-03-12 | Snap Inc. | Tracking hand gestures for interactive game control in augmented reality |
KR102472568B1 (ko) * | 2020-10-15 | 2022-12-01 | 한국전자기술연구원 | 포즈 정보와 뎁스 정보를 기초로 증강 현실을 제공하기 위한 3차원 맵을 구성하기 위한 장치 및 이를 위한 방법 |
KR102392606B1 (ko) | 2020-10-20 | 2022-04-29 | (주)심스리얼리티 | 실내 혼합현실 매칭 시스템 |
US11593915B2 (en) | 2020-10-21 | 2023-02-28 | Zebra Technologies Corporation | Parallax-tolerant panoramic image generation |
US11392891B2 (en) | 2020-11-03 | 2022-07-19 | Zebra Technologies Corporation | Item placement detection and optimization in material handling systems |
US11847832B2 (en) | 2020-11-11 | 2023-12-19 | Zebra Technologies Corporation | Object classification for autonomous navigation systems |
CN116724285A (zh) | 2020-12-29 | 2023-09-08 | 美国斯耐普公司 | 用于控制虚拟和图形元素的微手势 |
EP4272051A1 (en) | 2020-12-30 | 2023-11-08 | Snap, Inc. | Augmented reality precision tracking and display |
US11740313B2 (en) * | 2020-12-30 | 2023-08-29 | Snap Inc. | Augmented reality precision tracking and display |
US11710272B2 (en) * | 2021-03-24 | 2023-07-25 | Disney Enterprises, Inc. | Volumetric representation of digital objects from depth renderings |
CN115147536B (zh) * | 2021-03-31 | 2024-07-12 | 四川大学 | 基于层级位姿图优化的实时室内三维重建方法 |
EP4327185A1 (en) | 2021-04-19 | 2024-02-28 | Snap, Inc. | Hand gestures for animating and controlling virtual and graphical elements |
US11954882B2 (en) | 2021-06-17 | 2024-04-09 | Zebra Technologies Corporation | Feature-based georegistration for mobile computing devices |
WO2024063589A1 (en) * | 2022-09-23 | 2024-03-28 | Samsung Electronics Co., Ltd. | System and method for intelligent user localization in metaverse |
US20240169673A1 (en) * | 2022-11-21 | 2024-05-23 | Samsung Electronics Co., Ltd. | Mesh transformation with efficient depth reconstruction and filtering in passthrough augmented reality (ar) systems |
KR102663992B1 (ko) * | 2024-01-22 | 2024-05-10 | 주식회사 딥핑소스 | 비디오 분석을 통해 사람의 행동을 검출하는 딥러닝 기반의 행동 검출 모델을 학습하는 방법 및 테스트하는 방법, 그리고, 이를 이용한 학습 장치 및 테스트 장치 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009117311A2 (en) * | 2008-03-17 | 2009-09-24 | Sony Computer Entertainment America Inc. | Controller with an integrated camera and methods for interfacing with an interactive application |
JP2010079453A (ja) * | 2008-09-24 | 2010-04-08 | Canon Inc | 位置姿勢推定用モデル生成装置、位置姿勢算出装置、画像処理装置及びそれらの方法 |
JP2010279023A (ja) * | 2009-04-30 | 2010-12-09 | Canon Inc | 情報処理装置およびその制御方法 |
Family Cites Families (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5696591A (en) | 1996-01-05 | 1997-12-09 | Eastman Kodak Company | Apparatus and method for detecting longitudinally oriented flaws in a moving web |
US6504569B1 (en) | 1998-04-22 | 2003-01-07 | Grass Valley (U.S.), Inc. | 2-D extended image generation from 3-D data extracted from a video sequence |
US20010008561A1 (en) | 1999-08-10 | 2001-07-19 | Paul George V. | Real-time object tracking system |
JP3593466B2 (ja) | 1999-01-21 | 2004-11-24 | 日本電信電話株式会社 | 仮想視点画像生成方法およびその装置 |
US20040075738A1 (en) | 1999-05-12 | 2004-04-22 | Sean Burke | Spherical surveillance system architecture |
US6587783B2 (en) | 2000-10-05 | 2003-07-01 | Siemens Corporate Research, Inc. | Method and system for computer assisted localization, site navigation, and data navigation |
US6735387B1 (en) | 2001-01-10 | 2004-05-11 | Tim Schnell | Motion detector camera |
US6940538B2 (en) | 2001-08-29 | 2005-09-06 | Sony Corporation | Extracting a depth map from known camera and model tracking data |
US7023432B2 (en) | 2001-09-24 | 2006-04-04 | Geomagic, Inc. | Methods, apparatus and computer program products that reconstruct surfaces from data point sets |
US7135992B2 (en) | 2002-12-17 | 2006-11-14 | Evolution Robotics, Inc. | Systems and methods for using multiple hypotheses in a visual simultaneous localization and mapping system |
US7620218B2 (en) * | 2006-08-11 | 2009-11-17 | Fotonation Ireland Limited | Real-time face tracking with reference images |
US7366325B2 (en) | 2003-10-09 | 2008-04-29 | Honda Motor Co., Ltd. | Moving object detection using low illumination depth capable computer vision |
US8134637B2 (en) | 2004-01-28 | 2012-03-13 | Microsoft Corporation | Method and system to increase X-Y resolution in a depth (Z) camera using red, blue, green (RGB) sensing |
US7831094B2 (en) | 2004-04-27 | 2010-11-09 | Honda Motor Co., Ltd. | Simultaneous localization and mapping using multiple view feature descriptors |
US7697748B2 (en) | 2004-07-06 | 2010-04-13 | Dimsdale Engineering, Llc | Method and apparatus for high resolution 3D imaging as a function of camera position, camera trajectory and range |
US7944454B2 (en) | 2005-09-07 | 2011-05-17 | Fuji Xerox Co., Ltd. | System and method for user monitoring interface of 3-D video streams from multiple cameras |
US7440615B2 (en) | 2005-10-27 | 2008-10-21 | Nec Laboratories America, Inc. | Video foreground segmentation method |
US8094928B2 (en) * | 2005-11-14 | 2012-01-10 | Microsoft Corporation | Stereo video for gaming |
WO2008013568A2 (en) | 2005-12-30 | 2008-01-31 | Irobot Corporation | Autonomous mobile robot |
US8577538B2 (en) * | 2006-07-14 | 2013-11-05 | Irobot Corporation | Method and system for controlling a remote vehicle |
US20070188501A1 (en) * | 2006-01-30 | 2007-08-16 | Yee Yangli H | Graphical computer simulation system and method |
US9348463B2 (en) | 2006-08-03 | 2016-05-24 | New York University | Retroreflection based multitouch sensor, method and program |
US8351646B2 (en) | 2006-12-21 | 2013-01-08 | Honda Motor Co., Ltd. | Human pose estimation and tracking using label assignment |
US7627447B2 (en) | 2007-01-23 | 2009-12-01 | The Boeing Company | Method and apparatus for localizing and mapping the position of a set of points on a digital model |
JP5380789B2 (ja) | 2007-06-06 | 2014-01-08 | ソニー株式会社 | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム |
US9189886B2 (en) | 2008-08-15 | 2015-11-17 | Brown University | Method and apparatus for estimating body shape |
US9245382B2 (en) | 2008-10-04 | 2016-01-26 | Microsoft Technology Licensing, Llc | User-guided surface reconstruction |
US8610706B2 (en) | 2008-10-04 | 2013-12-17 | Microsoft Corporation | Parallel surface reconstruction |
US8855819B2 (en) | 2008-10-09 | 2014-10-07 | Samsung Electronics Co., Ltd. | Method and apparatus for simultaneous localization and mapping of robot |
US9600067B2 (en) | 2008-10-27 | 2017-03-21 | Sri International | System and method for generating a mixed reality environment |
KR101030317B1 (ko) * | 2008-12-10 | 2011-04-19 | 재단법인대구경북과학기술원 | 스테레오 비전을 이용하여 장애물을 추적하는 장치 및 방법 |
KR101639053B1 (ko) * | 2009-02-17 | 2016-07-13 | 코닌클리케 필립스 엔.브이. | 3d 이미지 및 그래픽 데이터의 조합 |
US9377857B2 (en) | 2009-05-01 | 2016-06-28 | Microsoft Technology Licensing, Llc | Show body position |
US8503720B2 (en) | 2009-05-01 | 2013-08-06 | Microsoft Corporation | Human body pose estimation |
US8379101B2 (en) | 2009-05-29 | 2013-02-19 | Microsoft Corporation | Environment and/or target segmentation |
-
2011
- 2011-01-31 US US13/017,474 patent/US8711206B2/en not_active Expired - Fee Related
-
2012
- 2012-01-09 EP EP12741545.3A patent/EP2671384B1/en active Active
- 2012-01-09 WO PCT/US2012/020681 patent/WO2012106068A2/en active Application Filing
- 2012-01-09 KR KR1020137019975A patent/KR101896131B1/ko active IP Right Grant
- 2012-01-09 JP JP2013552530A patent/JP5881743B2/ja active Active
- 2012-01-17 TW TW101101731A patent/TWI467494B/zh not_active IP Right Cessation
- 2012-01-30 AR ARP120100292A patent/AR084952A1/es not_active Application Discontinuation
- 2012-01-31 CN CN201210021582.2A patent/CN102609942B/zh active Active
- 2012-12-07 HK HK12112660.0A patent/HK1171853A1/zh unknown
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009117311A2 (en) * | 2008-03-17 | 2009-09-24 | Sony Computer Entertainment America Inc. | Controller with an integrated camera and methods for interfacing with an interactive application |
JP2010079453A (ja) * | 2008-09-24 | 2010-04-08 | Canon Inc | 位置姿勢推定用モデル生成装置、位置姿勢算出装置、画像処理装置及びそれらの方法 |
JP2010279023A (ja) * | 2009-04-30 | 2010-12-09 | Canon Inc | 情報処理装置およびその制御方法 |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9443350B2 (en) | 2013-01-30 | 2016-09-13 | Qualcomm Incorporated | Real-time 3D reconstruction with power efficient depth sensor usage |
JP2016514384A (ja) * | 2013-01-30 | 2016-05-19 | クアルコム,インコーポレイテッド | 電力効率の良い深度センサーの使用によるリアルタイム3d再構成 |
WO2016181687A1 (ja) * | 2015-05-14 | 2016-11-17 | ソニー株式会社 | 画像処理装置と画像処理方法およびプログラム |
JPWO2016181687A1 (ja) * | 2015-05-14 | 2018-03-01 | ソニー株式会社 | 画像処理装置と画像処理方法およびプログラム |
US10529076B2 (en) | 2015-05-14 | 2020-01-07 | Sony Corporation | Image processing apparatus and image processing method |
JP2018520425A (ja) * | 2015-05-27 | 2018-07-26 | インペリアル カレッジ オブ サイエンス,テクノロジー アンド メディスン | 三次元空間のモデリング |
US9832432B2 (en) | 2015-06-05 | 2017-11-28 | Canon Kabushiki Kaisha | Control apparatus, image pickup apparatus, control method, and non-transitory computer-readable storage medium |
JP7013244B2 (ja) | 2015-06-17 | 2022-01-31 | インターディジタル・シーイー・パテント・ホールディングス・ソシエテ・パ・アクシオンス・シンプリフィエ | 画像の鮮鋭レベルを表わす位置合わせ誤差マップを得るための装置および方法 |
JP2018519733A (ja) * | 2015-06-17 | 2018-07-19 | トムソン ライセンシングThomson Licensing | 画像の鮮鋭レベルを表わす位置合わせ誤差マップを得るための装置および方法 |
US10818020B2 (en) | 2015-06-17 | 2020-10-27 | Interdigital Ce Patent Holdings | Apparatus and a method for obtaining a registration error map representing a level of sharpness of an image |
US11694349B2 (en) | 2015-06-17 | 2023-07-04 | Interdigital Ce Patent Holdings | Apparatus and a method for obtaining a registration error map representing a level of sharpness of an image |
JP2018014579A (ja) * | 2016-07-20 | 2018-01-25 | 株式会社日立製作所 | カメラトラッキング装置および方法 |
US11398081B2 (en) | 2017-12-22 | 2022-07-26 | Magic Leap, Inc. | Method of occlusion rendering using raycast and live depth |
JP7220717B2 (ja) | 2017-12-22 | 2023-02-10 | マジック リープ, インコーポレイテッド | レイキャスティングおよびライブ深度を使用したオクルージョンレンダリングの方法 |
US11580705B2 (en) | 2017-12-22 | 2023-02-14 | Magic Leap, Inc. | Viewpoint dependent brick selection for fast volumetric reconstruction |
JP2021507409A (ja) * | 2017-12-22 | 2021-02-22 | マジック リープ, インコーポレイテッドMagic Leap,Inc. | レイキャスティングおよびライブ深度を使用したオクルージョンレンダリングの方法 |
Also Published As
Publication number | Publication date |
---|---|
KR20140000315A (ko) | 2014-01-02 |
CN102609942B (zh) | 2015-12-02 |
TW201234278A (en) | 2012-08-16 |
KR101896131B1 (ko) | 2018-09-07 |
EP2671384B1 (en) | 2018-07-18 |
HK1171853A1 (zh) | 2013-04-05 |
US8711206B2 (en) | 2014-04-29 |
WO2012106068A2 (en) | 2012-08-09 |
WO2012106068A3 (en) | 2012-10-18 |
EP2671384A4 (en) | 2014-07-30 |
AR084952A1 (es) | 2013-07-10 |
JP5881743B2 (ja) | 2016-03-09 |
CN102609942A (zh) | 2012-07-25 |
TWI467494B (zh) | 2015-01-01 |
EP2671384A2 (en) | 2013-12-11 |
US20120194644A1 (en) | 2012-08-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5881743B2 (ja) | 奥行きマップを使用したモバイルカメラの自己位置推定 | |
US9242171B2 (en) | Real-time camera tracking using depth maps | |
KR102427921B1 (ko) | 실시간 맵핑 및 로컬리제이션을 위한 장치 및 방법 | |
US8401225B2 (en) | Moving object segmentation using depth images | |
JP6001562B2 (ja) | ゲーム・プレイにおける三次元環境モデルの使用 | |
US9053571B2 (en) | Generating computer models of 3D objects | |
US9251590B2 (en) | Camera pose estimation for 3D reconstruction | |
US8971612B2 (en) | Learning image processing tasks from scene reconstructions | |
KR20140007367A (ko) | 삼차원 환경 재구성 | |
US11595568B2 (en) | System for generating a three-dimensional scene of a physical environment | |
Li-Chee-Ming et al. | Augmenting visp’s 3d model-based tracker with rgb-d slam for 3d pose estimation in indoor environments | |
Gui et al. | Robust direct visual inertial odometry via entropy-based relative pose estimation | |
Wibowo et al. | Position Data Estimation System Based on Recognized Field Landmark Using Deep Neural Network for ERSOW Soccer Robot. | |
Pereira | High precision monocular visual odometry |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150106 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20150521 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150928 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151104 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151207 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160104 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160202 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5881743 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |