JP7114686B2 - 拡張現実装置及び位置決め方法 - Google Patents
拡張現実装置及び位置決め方法 Download PDFInfo
- Publication number
- JP7114686B2 JP7114686B2 JP2020215384A JP2020215384A JP7114686B2 JP 7114686 B2 JP7114686 B2 JP 7114686B2 JP 2020215384 A JP2020215384 A JP 2020215384A JP 2020215384 A JP2020215384 A JP 2020215384A JP 7114686 B2 JP7114686 B2 JP 7114686B2
- Authority
- JP
- Japan
- Prior art keywords
- point
- point cloud
- read
- obtaining
- feature values
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
- G01C21/1652—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with ranging devices, e.g. LIDAR or RADAR
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/64—Analysis of geometric attributes of convexity or concavity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Computer Hardware Design (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- Automation & Control Theory (AREA)
- Human Computer Interaction (AREA)
- Length Measuring Devices With Unspecified Measuring Means (AREA)
- Position Fixing By Use Of Radio Waves (AREA)
- Navigation (AREA)
Description
110 工作機械
210 プロセッサ
220 慣性測定ユニット
230 デプスセンサ
240 通信モジュール
250 ディスプレイ
300 屋内環境
310 視野
301 初期方向
410 拡張現実モジュール
420、430、440、450、460、470、510、520、530、540、550、560、710、720、730、740 工程
610 近傍点
Claims (2)
- デプスセンサ及び慣性測定ユニットを含む電気装置用の位置決め方法であって、
前記慣性測定ユニットから取得した信号に基づいて、前記電気装置の初期位置や初期方向を計算する工程と、
データベースから環境点群を取得し、且つ前記初期位置及び前記初期方向に基づいて、前記環境点群から局所環境点群を取得する工程と、
前記デプスセンサによって読込点群を取得する工程と、
前記読込点群と前記局所環境点群とをマッチングして、前記電気装置の更新位置や更新方向を計算する工程と、
を備え、
前記読込点群と前記局所環境点群とをマッチングすることは、下記の方程(1)を解くことを含み、
p i は前記読込点群のi個目の点であり、q i は前記局所環境点群のi個目の点であり、前記点q i と前記点p i とがマッチングし、w i は前記点p i 及び前記点q i に対応する重みであり、Rは平行移動行列であり、tは変位ベクトルであり、且つNは前記読込点群の点数であり、
前記重みw i は前記点q i と(Rp i +t)との間の距離と逆相関であり、
前記点p i 及び前記点q i の各々は、X座標、Y座標、Z座標、法線ベクトル及び曲率因子を含み、
前記読込点群から前記点p i 及びその複数の近傍点を取得する工程と、
前記点p i 及び前記近傍点に対して主成分分析を実行して、複数の特徴値及び複数の主成分を取得し、且つ前記特徴値のうちの最小となる方に対応する前記主成分を前記点p i の前記法線ベクトルとして設置する工程と、
前記特徴値のうちの前記最小となる方を前記特徴値の合計で割って、前記曲率因子を計算する工程を更に備える位置決め方法。
- 拡張現実装置であって、
慣性測定ユニットと、
デプスセンサと、
複数の工程を実行するように配置されるプロセッサと、
を含み、
前記複数の工程は、
前記慣性測定ユニットから取得した信号に基づいて、前記拡張現実装置の初期位置や初期方向を計算する工程と、
データベースから環境点群を取得し、且つ前記初期位置及び前記初期方向に基づいて、前記環境点群から局所環境点群を取得する工程と、
前記デプスセンサによって読込点群を取得する工程と、
前記読込点群と前記局所環境点群とをマッチングして、電気装置の更新位置や更新
方向を計算する工程と、
を備え、
前記読込点群と前記局所環境点群とをマッチングすることは、下記の方程(1)を解くことを含み、
p i は前記読込点群のi個目の点であり、q i は前記局所環境点群のi個目の点であり、前記点q i と前記点p i とがマッチングし、w i は前記点p i 及び前記点q i に対応する重みであり、Rは平行移動行列であり、tは変位ベクトルであり、Nは前記読込点群の点数であり、且つ前記重みw i は前記点q i と(Rp i +t)との間の距離と逆相関であり、
前記点p i 及び前記点q i の各々は、X座標、Y座標、Z座標、法線ベクトル及び曲率因子を含み、且つ前記複数の工程は、
前記読込点群から前記点p i 及びその複数の近傍点を取得する工程と、
前記点p i 及び前記近傍点に対して主成分分析を実行して、複数の特徴値及び複数の主成分を取得し、且つ前記特徴値のうちの最小となる方に対応する前記主成分を前記点p i の前記法線ベクトルとして設置する工程と、
前記特徴値のうちの前記最小となる方を前記特徴値の合計で割って、前記曲率因子を計算する工程を更に含む、拡張現実装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW108147692 | 2019-12-25 | ||
TW108147692A TWI722738B (zh) | 2019-12-25 | 2019-12-25 | 擴增實境裝置與定位方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021103168A JP2021103168A (ja) | 2021-07-15 |
JP7114686B2 true JP7114686B2 (ja) | 2022-08-08 |
Family
ID=71616102
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020215384A Active JP7114686B2 (ja) | 2019-12-25 | 2020-12-24 | 拡張現実装置及び位置決め方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US11158081B2 (ja) |
JP (1) | JP7114686B2 (ja) |
KR (1) | KR102585821B1 (ja) |
GB (1) | GB2590745B (ja) |
NL (1) | NL2025743B1 (ja) |
TW (1) | TWI722738B (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI795764B (zh) * | 2021-04-22 | 2023-03-11 | 政威資訊顧問有限公司 | 基於擴增實境視景的呈現設施物件定位方法及伺服端 |
CN113345023B (zh) * | 2021-07-05 | 2024-03-01 | 北京京东乾石科技有限公司 | 箱体的定位方法、装置、介质和电子设备 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2961264B1 (ja) | 1998-09-21 | 1999-10-12 | 工業技術院長 | 3次元物体モデル生成方法及び3次元物体モデル生成プログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP2015184056A (ja) | 2014-03-20 | 2015-10-22 | 株式会社東芝 | 計測装置、方法及びプログラム |
JP2017191351A (ja) | 2016-04-11 | 2017-10-19 | 株式会社日立製作所 | 作業支援システム及び方法 |
JP2018126862A (ja) | 2018-05-14 | 2018-08-16 | キヤノン株式会社 | 干渉判定装置、干渉判定方法、コンピュータプログラム |
JP2019101694A (ja) | 2017-11-30 | 2019-06-24 | 大成建設株式会社 | 位置特定装置、位置特定プログラム及び位置特定方法、並びに、撮影画像登録装置、撮影画像登録プログラム及び撮影画像登録方法 |
WO2019155719A1 (ja) | 2018-02-09 | 2019-08-15 | ソニー株式会社 | キャリブレーション装置とキャリブレーション方法およびプログラム |
JP2019168976A (ja) | 2018-03-23 | 2019-10-03 | 株式会社ジオ技術研究所 | 3次元モデル生成装置 |
US20190323844A1 (en) | 2018-04-18 | 2019-10-24 | Faraday&Future Inc. | System and method for lidar-based vehicular localization relating to autonomous navigation |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006083297A2 (en) * | 2004-06-10 | 2006-08-10 | Sarnoff Corporation | Method and apparatus for aligning video to three-dimensional point clouds |
TW201447235A (zh) * | 2011-11-22 | 2014-12-16 | Core Wireless Licensing Sarl | 用於決定位置偏移資訊之方法、設備和電腦可讀儲存媒體 |
TWI475191B (zh) * | 2012-04-03 | 2015-03-01 | Wistron Corp | 用於實景導航之定位方法、定位系統及電腦可讀取儲存媒體 |
CN103047981B (zh) * | 2012-12-22 | 2017-03-15 | 江苏车视杰电子有限公司 | 电子装置及其导航定位方法和系统 |
KR102516124B1 (ko) * | 2013-03-11 | 2023-03-29 | 매직 립, 인코포레이티드 | 증강 및 가상 현실을 위한 시스템 및 방법 |
US9582516B2 (en) * | 2013-10-17 | 2017-02-28 | Nant Holdings Ip, Llc | Wide area augmented reality location-based services |
EP3094806B1 (en) * | 2014-01-14 | 2019-07-24 | Sandvik Mining and Construction Oy | Mine vehicle and method of initiating mine work task |
US10180734B2 (en) * | 2015-03-05 | 2019-01-15 | Magic Leap, Inc. | Systems and methods for augmented reality |
TWI616829B (zh) * | 2015-08-21 | 2018-03-01 | 緯創資通股份有限公司 | 物品定位追蹤的方法及其系統與電腦可讀取記錄媒體 |
US9984499B1 (en) * | 2015-11-30 | 2018-05-29 | Snap Inc. | Image and point cloud based tracking and in augmented reality systems |
US9918204B1 (en) * | 2015-12-08 | 2018-03-13 | Bentley Systems, Incorporated | High accuracy indoor tracking |
US11297346B2 (en) * | 2016-05-28 | 2022-04-05 | Microsoft Technology Licensing, Llc | Motion-compensated compression of dynamic voxelized point clouds |
TWI597513B (zh) * | 2016-06-02 | 2017-09-01 | 財團法人工業技術研究院 | 定位系統、車載定位裝置及其定位方法 |
US9906885B2 (en) * | 2016-07-15 | 2018-02-27 | Qualcomm Incorporated | Methods and systems for inserting virtual sounds into an environment |
US11037369B2 (en) * | 2017-05-01 | 2021-06-15 | Zimmer Us, Inc. | Virtual or augmented reality rehabilitation |
US10762707B2 (en) * | 2017-11-17 | 2020-09-01 | Thales Canada, Inc. | Point cloud rail asset data extraction |
KR102098929B1 (ko) * | 2018-02-26 | 2020-04-08 | 성균관대학교산학협력단 | 수술용 내비게이션의 표면 정합 방법 및 장치 |
TWM598411U (zh) * | 2019-12-25 | 2020-07-11 | 亞達科技股份有限公司 | 擴增實境裝置 |
-
2019
- 2019-12-25 TW TW108147692A patent/TWI722738B/zh active
-
2020
- 2020-04-13 US US16/847,637 patent/US11158081B2/en active Active
- 2020-06-03 NL NL2025743A patent/NL2025743B1/en active
- 2020-06-04 GB GB2008424.0A patent/GB2590745B/en active Active
- 2020-12-24 KR KR1020200182939A patent/KR102585821B1/ko active IP Right Grant
- 2020-12-24 JP JP2020215384A patent/JP7114686B2/ja active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2961264B1 (ja) | 1998-09-21 | 1999-10-12 | 工業技術院長 | 3次元物体モデル生成方法及び3次元物体モデル生成プログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP2015184056A (ja) | 2014-03-20 | 2015-10-22 | 株式会社東芝 | 計測装置、方法及びプログラム |
JP2017191351A (ja) | 2016-04-11 | 2017-10-19 | 株式会社日立製作所 | 作業支援システム及び方法 |
JP2019101694A (ja) | 2017-11-30 | 2019-06-24 | 大成建設株式会社 | 位置特定装置、位置特定プログラム及び位置特定方法、並びに、撮影画像登録装置、撮影画像登録プログラム及び撮影画像登録方法 |
WO2019155719A1 (ja) | 2018-02-09 | 2019-08-15 | ソニー株式会社 | キャリブレーション装置とキャリブレーション方法およびプログラム |
JP2019168976A (ja) | 2018-03-23 | 2019-10-03 | 株式会社ジオ技術研究所 | 3次元モデル生成装置 |
US20190323844A1 (en) | 2018-04-18 | 2019-10-24 | Faraday&Future Inc. | System and method for lidar-based vehicular localization relating to autonomous navigation |
JP2018126862A (ja) | 2018-05-14 | 2018-08-16 | キヤノン株式会社 | 干渉判定装置、干渉判定方法、コンピュータプログラム |
Also Published As
Publication number | Publication date |
---|---|
TWI722738B (zh) | 2021-03-21 |
GB202008424D0 (en) | 2020-07-22 |
US20210201525A1 (en) | 2021-07-01 |
KR102585821B1 (ko) | 2023-10-10 |
GB2590745A (en) | 2021-07-07 |
GB2590745B (en) | 2022-01-05 |
KR20210083198A (ko) | 2021-07-06 |
TW202124917A (zh) | 2021-07-01 |
US11158081B2 (en) | 2021-10-26 |
NL2025743B1 (en) | 2021-09-09 |
JP2021103168A (ja) | 2021-07-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200273256A1 (en) | Accurate positioning of augmented reality content | |
Svärm et al. | City-scale localization for cameras with known vertical direction | |
US10636168B2 (en) | Image processing apparatus, method, and program | |
JP6255085B2 (ja) | 位置特定システムおよび位置特定方法 | |
JP5920352B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP5987823B2 (ja) | 画像センサおよび運動または位置センサから生じたデータを融合するための方法およびシステム | |
KR100855657B1 (ko) | 단안 줌 카메라를 이용한 이동로봇의 자기위치 추정 시스템및 방법 | |
US10451403B2 (en) | Structure-based camera pose estimation system | |
CN113048980B (zh) | 位姿优化方法、装置、电子设备及存储介质 | |
JP7131994B2 (ja) | 自己位置推定装置、自己位置推定方法、自己位置推定プログラム、学習装置、学習方法及び学習プログラム | |
CN105103089B (zh) | 用于基于视频输入生成准确传感器校正的系统和方法 | |
JP2009252112A (ja) | 画像処理装置、画像処理方法 | |
US9858669B2 (en) | Optimized camera pose estimation system | |
JP7114686B2 (ja) | 拡張現実装置及び位置決め方法 | |
CN111459269B (zh) | 一种增强现实显示方法、系统及计算机可读存储介质 | |
CN104848861A (zh) | 一种基于图像消失点识别技术的移动设备姿态测量方法 | |
TW202238449A (zh) | 室內定位系統及室內定位方法 | |
Masiero et al. | Toward the use of smartphones for mobile mapping | |
Viejo et al. | A robust and fast method for 6DoF motion estimation from generalized 3D data | |
Briskin et al. | Estimating pose and motion using bundle adjustment and digital elevation model constraints | |
TWM598411U (zh) | 擴增實境裝置 | |
Walvoord et al. | Geoaccurate three-dimensional reconstruction via image-based geometry | |
Qian | Weighted optimal linear attitude and translation estimator: Theory and application | |
Liu et al. | Absolute orientation and localization estimation from an omnidirectional image | |
Grant | Cloud to cloud registration for 3D point data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210205 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211129 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211207 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220228 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220705 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220727 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7114686 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |