JP2023022841A - クラウド支援型の新しい視点を利用したローカルマップデータの生成 - Google Patents
クラウド支援型の新しい視点を利用したローカルマップデータの生成 Download PDFInfo
- Publication number
- JP2023022841A JP2023022841A JP2022183332A JP2022183332A JP2023022841A JP 2023022841 A JP2023022841 A JP 2023022841A JP 2022183332 A JP2022183332 A JP 2022183332A JP 2022183332 A JP2022183332 A JP 2022183332A JP 2023022841 A JP2023022841 A JP 2023022841A
- Authority
- JP
- Japan
- Prior art keywords
- map data
- image
- client device
- environment
- map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013507 mapping Methods 0.000 claims abstract description 44
- 238000000034 method Methods 0.000 claims description 14
- 238000001914 filtration Methods 0.000 claims description 3
- 230000002123 temporal effect Effects 0.000 claims 1
- 230000003190 augmentative effect Effects 0.000 abstract description 11
- 230000001404 mediated effect Effects 0.000 abstract description 3
- 238000013135 deep learning Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000001953 sensory effect Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000001052 transient effect Effects 0.000 description 3
- 241000196324 Embryophyta Species 0.000 description 2
- 230000003416 augmentation Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000209504 Poaceae Species 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2004—Aligning objects, relative positioning of parts
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Remote Sensing (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
Claims (20)
- クライアントデバイス上でマップデータを生成するための命令を格納した非一時的コンピュータ可読記録媒体であって、前記命令は、前記クライアントデバイスによって実行されると、前記クライアントデバイスに、
環境の視界を描く画像を受信することと、
前記環境の予め存在する画像と前記画像との比較に基づいて、前記環境の前記視界を新しい視点として識別することと、
前記画像から新しいローカルマップデータを生成することであって、前記新しいローカルマップデータは3次元(3D)ポイントクラウドを含む、ことと、
アグリゲートされたマップデータと融合するためにサーバに前記新しいローカルマップデータを提供することと、
を含む動作を実行させる、非一時的コンピュータ可読記録媒体。 - 前記アグリゲートされたマップデータは、前記環境の前記予め存在する画像に少なくとも対応するデータから生成される、請求項1に記載の非一時的コンピュータ可読記録媒体。
- 前記動作は、
前記サーバから前記アグリゲートされたマップデータの部分を受信することと、
アグリゲートされたマップデータデータの前記部分におけるマッピングポイントとアグリゲートされたマップデータデータの前記部分における前記クライアントデバイスの空間的な位置との間の距離を決定することと、
前記マッピングポイントと前記クライアントデバイスの前記空間的な位置との間の前記距離に少なくとも部分的に基づいて、アグリゲートされたマップデータの前記部分における前記マッピングポイントにおいてコンピュータを利用した現実画像を生成することと、
前記マッピングポイントでの前記コンピュータを利用した現実画像を表示することと、
をさらに含む、請求項1に記載の非一時的コンピュータ可読記録媒体。 - 前記動作は、
アグリゲートされたマップデータの前記部分における前記マッピングポイントとアグリゲートされたマップデータの前記部分における前記クライアントデバイスの後続の空間的な位置との間の後続の距離を決定することと、
前記後続の距離に基づいて、アグリゲートされたマップデータの前記部分における前記マッピングポイントにおいて前記コンピュータを利用した現実画像を調整することと、
前記マッピングポイントにおいて調整された前記コンピュータを利用した現実画像を表示することと、
をさらに含む、請求項3に記載の非一時的コンピュータ可読記録媒体。 - 前記動作は、前記サーバへ前記画像を送信することをさらに含み、アグリゲートされたマップデータの前記部分は、前記画像に基づいて選択される、請求項3に記載の非一時的コンピュータ可読記録媒体。
- 前記環境の前記視界を新しい視点として識別することは、
前記画像の視野と前記予め存在する画像の視野との間のオーバーラップがオーバーラップ閾値未満であると決定すること、
を含む、請求項1に記載の非一時的コンピュータ可読記録媒体。 - 前記環境の前記視界を新しい視点として識別することは、
前記予め存在する画像および1つまたは複数の他の予め存在する画像を取り出すこと、であって、前記予め存在する画像は、前記クライアントデバイスの地理的な位置の閾値半径内の地理的な位置と関連付け有れている、ことと、
前記予め存在する画像において識別された特徴に対するに前記画像において識別された特徴のセットの比較に基づいて前記予め存在する画像をフィルタリングすることと、
前記画像がフィルタリングされた前記予め存在する画像に一致しないと決定することと
を含む、請求項1に記載の非一時的コンピュータ可読記録媒体。 - 前記環境の前記視界を新しい視点として識別することは、
前記環境の前記視界が時間の閾値の間受信されていないと決定すること
を含む、請求項1に記載の非一時的コンピュータ可読記録媒体。 - 前記新しいローカルマップデータを生成することは、
前記画像から前記環境内の1つまたは複数のオブジェクトを識別することと、
前記画像から前記オブジェクトの空間的な位置を決定することと、
前記オブジェクトの各々についての3-Dポイントのセットを含む3Dポイントクラウドを生成することと
を含む、請求項1に記載の非一時的コンピュータ可読記録媒体。 - 前記新しいローカルマップデータを生成することは、
複数のオブジェクトタイプのうちの1つに各オブジェクトを分類することであって、前記複数のオブジェクトのタイプは、実質的に同じ空間位置にとどまると予想されるオブジェクトを記述する静止タイプを含む、こと、をさらに含む、請求項9に記載の非一時的コンピュータ可読記録媒体。 - 前記複数のオブジェクトのタイプは、実質的に同じ空間位置にとどまると予想されないオブジェクトを記述する一時的なタイプをさらに含む、請求項10に記載の非一時的コンピュータ可読記録媒体。
- 前記アグリゲートされたマップデータは、タイルの層に細分化され、前記層は、様々なズームレベルに関連している、請求項1に記載の非一時的コンピュータ可読記録媒体。
- 命令を格納した非一時的コンピュータ可読記録媒体であって、前記命令は、コンピューティングデバイスによって実行されると、前記コンピューティングデバイスに、
環境を記述するマップデータを格納することであって、前記マップデータは、前記環境内の1つまたは複数の視点からキャプチャされた画像から導出される、ことと、
前記環境における新しい視点からキャプチャされた画像から生成された新しいローカルマップデータを受信することであって、前記新しいローカルマップは、前記環境を空間的に記述する3Dポイントクラウドを含む、ことと、
前記環境を記述する前記マップデータの部分と前記画像を比較することにより、前記視点の新規性を確認することと、
受信した前記新しいローカルマップデータに基づいて、前記環境を記述する前記マップデータを更新することと、
を含む動作を実行させる、非一時的コンピュータ可読記録媒体。 - 前記動作は、
クライアントデバイスへ前記マップデータの前記部分を送信すること
をさらに含む、請求項13に記載の非一時的コンピュータ可読記録媒体。 - 前記動作は、
前記環境内のクライアントデバイスによって表示される仮想オブジェクトを生成することと、
前記クライアントデバイスへ前記仮想オブジェクトを送信することと
をさらに含む、請求項13に記載の非一時的コンピュータ可読記録媒体。 - 前記マップデータと前記画像を比較することは、
前記環境内の前記1つまたは複数の視点からキャプチャされた前記画像の視野の間のオーバーラップがオーバーラップ閾値未満であると決定すること
を含む、請求項13に記載の非一時的コンピュータ可読記録媒体。 - 前記マップデータと前記画像を比較することは、
前記新しいローカマップデータを提供したクライアントデバイスの地理的な位置を受信することと、
前記クライアントデバイスの前記地理的な位置に対応する前記マップデータの部分を取得することであって、前記マップデータの部分は、前記クライアントデバイスの前記地理的な位置の閾値半径内の1つまたは複数の視点からキャプチャされた1つまたは複数の対応する画像から取得される、ことと、
前記1つまたは複数の視点からキャプチャされた前記1つまたは複数の対応する画像において識別された特徴に対する前記画像内において識別された特徴のセットの比較に基づいて、前記1つまたは複数の視野をフィルタリングすることと、
前記新しい視点がフィルタリングされた前記1つまたは複数の視点に一致しないと決定することと、
を含む、請求項13に記載の非一時的コンピュータ可読記録媒体。 - マップデータを生成する方法であって、
環境の視界を描く画像を受信することと、
前記環境の予め存在する画像と前記画像との比較に基づいて、前記環境の前記視界を新しい視点として識別することと、
前記画像から新しいローカルマップデータを生成することであって、前記新しいローカルマップデータは3次元(3D)ポイントクラウドを含む、ことと、
アグリゲートされたマップデータと融合するためにサーバに前記新しいローカルマップデータを提供することと、
を含む方法。 - 前記サーバから前記アグリゲートされたマップデータの部分を受信することと、
アグリゲートされたマップデータデータの前記部分におけるマッピングポイントとアグリゲートされたマップデータデータの前記部分におけるクライアントデバイスの空間的な位置との間の距離を決定することと、
前記マッピングポイントと前記クライアントデバイスの前記空間的な位置との間の前記距離に少なくとも部分的に基づいて、アグリゲートされたマップデータの前記部分における前記マッピングポイントにおいてコンピュータを利用した現実画像を生成することと、
前記マッピングポイントでの前記コンピュータを利用した現実画像を表示することと、
をさらに含む、請求項18に記載の方法。 - アグリゲートされたマップデータの前記部分における前記マッピングポイントとアグリゲートされたマップデータの前記部分における前記クライアントデバイスの後続の空間的な位置との間の後続の距離を決定することと、
前記後続の距離に基づいて、アグリゲートされたマップデータの前記部分における前記マッピングポイントにおいて前記コンピュータを利用した現実画像を調整することと、
前記マッピングポイントにおいて調整された前記コンピュータを利用した現実画像を表示することと、
をさらに含む、請求項19に記載の方法。
Applications Claiming Priority (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762529492P | 2017-07-07 | 2017-07-07 | |
US62/529,492 | 2017-07-07 | ||
US16/029,530 | 2018-07-06 | ||
US16/029,530 US10885714B2 (en) | 2017-07-07 | 2018-07-06 | Cloud enabled augmented reality |
JP2020500105A JP7179819B2 (ja) | 2017-07-07 | 2018-07-07 | クラウド対応の拡張現実 |
PCT/US2018/041164 WO2019010466A1 (en) | 2017-07-07 | 2018-07-07 | INCREASED REALITY THAT CAN USE THE CLOUD |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020500105A Division JP7179819B2 (ja) | 2017-07-07 | 2018-07-07 | クラウド対応の拡張現実 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023022841A true JP2023022841A (ja) | 2023-02-15 |
JP7486565B2 JP7486565B2 (ja) | 2024-05-17 |
Family
ID=
Also Published As
Publication number | Publication date |
---|---|
EP3649576A1 (en) | 2020-05-13 |
US20220351476A1 (en) | 2022-11-03 |
AU2018297358B2 (en) | 2022-09-15 |
US11430189B2 (en) | 2022-08-30 |
US20190012840A1 (en) | 2019-01-10 |
EP3649576A4 (en) | 2020-11-04 |
AU2022268310A1 (en) | 2022-12-15 |
CN110892410A (zh) | 2020-03-17 |
KR102480362B1 (ko) | 2022-12-22 |
US20210082202A1 (en) | 2021-03-18 |
JP7179819B2 (ja) | 2022-11-29 |
KR20230003646A (ko) | 2023-01-06 |
AU2018297358A1 (en) | 2020-02-20 |
KR20200020937A (ko) | 2020-02-26 |
CA3068645C (en) | 2024-01-02 |
CA3068645A1 (en) | 2019-01-10 |
JP2020526829A (ja) | 2020-08-31 |
WO2019010466A1 (en) | 2019-01-10 |
US10885714B2 (en) | 2021-01-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7179819B2 (ja) | クラウド対応の拡張現実 | |
KR102338560B1 (ko) | 장치 위치 측정을 위한 다중 동기화 통합 모델 | |
US11969651B2 (en) | Merging local maps from mapping devices | |
JP7486565B2 (ja) | クラウド支援型の新しい視点を利用したローカルマップデータの生成 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221122 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231002 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231017 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20240117 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240125 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240305 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20240404 |