JP2021508393A - 同時に位置特定およびマッピングを実行するためのデバイスおよび方法 - Google Patents
同時に位置特定およびマッピングを実行するためのデバイスおよび方法 Download PDFInfo
- Publication number
- JP2021508393A JP2021508393A JP2020534243A JP2020534243A JP2021508393A JP 2021508393 A JP2021508393 A JP 2021508393A JP 2020534243 A JP2020534243 A JP 2020534243A JP 2020534243 A JP2020534243 A JP 2020534243A JP 2021508393 A JP2021508393 A JP 2021508393A
- Authority
- JP
- Japan
- Prior art keywords
- graph
- frame
- sequence
- feature set
- keypoints
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/579—Depth or shape recovery from multiple images from motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Navigation (AREA)
- Studio Devices (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
Description
・ソフトウェアアーキテクチャ:デバイスの処理アーキテクチャ(3つの処理段階への分離)により、リアルタイム分散SLAMに使用され得るモジュラー手法が可能になる。このようにして、位置特定中に完全グラフ(グローバルマップ)が常に更新され得、画像全体ではなく、抽出された特徴のみを送信する必要がある(データレートが低くなる)。
et=λer(xLBA),λ≧1
et=λer(ξLBA),λ≧1
別の可能性は、バリア項なしで最適化を実行することである。
101 データシーケンス
102 第1の処理段階
103 フレームシーケンス
104 第2の処理段階、シーケンスマッピングプロセス
105 シーケンスマッピンググラフ
106 第3の処理段階、最終処理段階
107 完全グラフ
200 画像抽出器ユニット
201 修正ユニット
202 GPS/IMUパーサ
203 分類器ユニット
204 特徴抽出器ユニット
205 動的オブジェクトフィルタリングユニット
206 外観記述子ユニット
207 コンテナユニット
300 視覚特徴パーサユニット
301 カメラ追跡、カメラ追跡ユニット
302 GPS/IMUパーサユニット
303 標準ローカルバンドル調整、標準LBAユニット
304 拡張カルマンフィルター(EKF)ユニット
305 EKFユニット、融合LBAユニット
400 グラフ
401 ループ検出およびマージ、ループ検出およびマージユニット
402 完全グラフ最適化ユニット
500 端末デバイス
501 センサ
502 センサ読み取り値
503 リアルタイム位置特定処理段階
510 ネットワークデバイス
511 マップサーバ
600 融合追跡
700 方法
Claims (15)
- 同時に位置特定およびマッピング(SLAM)を実行するためのデバイス(100)であって、
前記デバイス(100)は、
−第1の処理段階(102)において、フレームシーケンス(103)を取得するために、カメラによって記録された複数の画像および複数のセンサ(501)からのセンサ読み取り値を含む受信データシーケンス(101)を前処理し、
各フレームは、決定された時間インスタンスでの前記画像の1つに関連する視覚特徴セットと、その時間インスタンスからのセンサ読み取り値(502)と、を含み、
−第2の処理段階(104)において、シーケンスマッピンググラフ(105)を生成するために、前記視覚特徴セットおよびそのフレームに含まれる前記センサ読み取り値(502)に基づいて前記フレームシーケンス(103)の各フレームを順次処理し、
−第3の処理段階(106)において、完全グラフ(107)を生成または更新するために、前記シーケンスマッピンググラフ(105)を少なくとも1つの他のグラフ(400)とマージする、
ように構成される少なくとも1つのプロセッサを含む、デバイス(100)。 - 視覚特徴セットは、前記関連画像から抽出された1つまたは複数の2Dキーポイント、前記2Dキーポイントに対応する記述子、ならびに前記2Dキーポイントの視差および/または奥行き情報を含む画像特徴セットを含む、
請求項1に記載のデバイス(100)。 - 前記少なくとも1つのプロセッサは、前記第1の処理段階(102)において、
−前記データシーケンス(101)から画像を抽出し(200)、
−前記画像を修正し(201)、
−前記修正された画像から2Dキーポイントを抽出し(204)、
−前記抽出された2Dキーポイントに基づいて画像特徴セットを生成する(206)、
ように構成される、請求項2に記載のデバイス(100)。 - 前記少なくとも1つのプロセッサは、前記第1の処理段階(102)において、
−前記修正された画像のピクセルに1つまたは複数の意味論的ラベルを割り当て(203)、
−動的オブジェクトとしてラベル付けされたオブジェクトに関連する前記画像特徴セットから2Dキーポイントを除去するように、前記意味論的ラベルに基づいて前記画像特徴セットをフィルタリングする(205)、
ように構成される、請求項3に記載のデバイス(100)。 - 前記少なくとも1つのプロセッサは、前記第1の処理段階(102)において、
−前記フィルタリングされた画像特徴セットにバッグオブワード記述子を追加することにより、視覚特徴セットを、および任意選択で前記2Dキーポイントを検索するためのハッシュテーブルを生成し(206)、
−前記視覚特徴セットを前記画像の同じ時間インスタンスからのセンサ読み取り値(502)と組み合わせることによりフレームを生成する(207)、
ようにさらに構成される、請求項4に記載のデバイス(100)。 - 前記少なくとも1つのプロセッサは、前記第2の処理段階(104)において、
−フレームに関連付けられたカメラポーズを取得するために、視覚特徴セットの2Dキーポイントを局所的に保存された3Dキーポイントにマッチングさせることにより、前記フレームに含まれる前記視覚特徴セットに基づいてカメラ追跡を実行する(301)、
ように構成される、請求項1から5のいずれか一項に記載のデバイス(100)。 - 前記少なくとも1つのプロセッサは、
−いくつかのマッチングされた2Dキーポイントに基づいて、前記フレームがキーフレームであるかどうかを判定する、
ように構成される、請求項6に記載のデバイス(100)。 - 前記少なくとも1つのプロセッサは、前記第2の処理段階(104)において、前記フレームがキーフレームであると判定された場合には、
−視覚オドメトリ情報およびLBAグラフを取得するために、前記カメラポーズに基づいて第1のローカルバンドル調整LBAを実行し(303)、
−前記視覚オドメトリ情報、および前記フレームに含まれる前記センサ読み取り値(502)に基づいて融合カメラポーズを計算し(304)、
−前記シーケンスマッピンググラフ(105)を取得するために、前記融合カメラポーズおよび前記LBAグラフに基づいて第2のLBAを実行する(305)、
ようにさらに構成される、請求項7に記載のデバイス(100)。 - 前記少なくとも1つのプロセッサは、前記第3の処理段階(106)において、
−前記シーケンスマッピンググラフ(105)と前記少なくとも1つのさらなるグラフ(400)との間で共有される1つまたは複数のループおよび/または重複領域の存在を検出し(400)、
−中間グラフを取得するために、前記シーケンスマッピンググラフ(105)と前記少なくとも1つのさらなるグラフ(400)をマージし(400)、
−前記完全グラフ(107)を取得するために、前記検出されたループおよび/または重複領域に基づいて前記中間グラフに対してグラフ最適化を実行する(401)、
ようにさらに構成される、請求項1から8のいずれか一項に記載のデバイス(100)。 - 前記3つの処理段階(102、104、106)のうちの前記少なくとも2つは、異なるプロセッサで実行される、
請求項1から9のいずれか一項に記載のデバイス(100)。 - 前記デバイス(100)は分散デバイスであり、少なくとも1つの端末デバイス(500)と、少なくとも1つのネットワークデバイス(510)と、を含み、
前記端末デバイス(500)のプロセッサは、前記第1の処理段階(102)を実行し、前記取得されたフレームシーケンス(103)を前記ネットワークデバイス(510)に送信するように構成され、
前記ネットワークデバイス(510)のプロセッサは、前記第2および第3の処理段階(104、106)を実行するように構成される、
請求項1から10のいずれか一項に記載のデバイス(100)。 - 前記端末デバイス(500)の前記プロセッサは、
−前記第1の処理段階(102)で取得された前記フレームシーケンス(103)に基づいてリアルタイム位置特定を実行する(503)
ようにさらに構成される、請求項11に記載のデバイス(100)。 - 前記端末デバイス(500)の前記プロセッサは、
−請求項8に記載された前記第2の処理段階(106)に従って前記リアルタイム位置特定を実行し(503)、前記第2のLBAは、現在のカメラポーズを取得するために、前記融合カメラポーズ、前記LBAグラフ、および現在の完全グラフに基づいて、融合追跡手順に置き換えられる、
ようにさらに構成される、請求項12に記載のデバイス(100)。 - 前記端末デバイス(500)は車両内に配置され、前記車両は前記少なくとも1つのカメラおよび複数のセンサ(501)を含む、
請求項11から13のいずれか一項に記載のデバイス(100)。 - 同時に位置特定とマッピング(SLAM)を実行するための方法(700)であって、前記方法は、
−第1の処理段階(102)において、フレームシーケンス(103)を取得するために、カメラによって記録された複数の画像および複数のセンサ(501)からのセンサ読み取り値を含む受信データシーケンス(101)を前処理するステップ(701)であって、
各フレームは、決定された時間インスタンスでの前記画像の1つに関連する視覚特徴セットと、その時間インスタンスからのセンサ読み取り値(502)と、を含む、ステップ(701)と、
−第2の処理段階(104)において、シーケンスマッピンググラフ(105)を生成するために、前記視覚特徴セットおよびそのフレームに含まれる前記センサ読み取り値(502)に基づいて前記フレームシーケンス(103)の各フレームを順次処理するステップ(702)と、
−第3の処理段階(106)において、完全グラフ(107)を生成または更新するために、前記シーケンスマッピンググラフ(105)を少なくとも1つの他のグラフ(400)とマージするステップ(703)と、
を含む、方法(700)。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022177535A JP7472235B2 (ja) | 2018-09-07 | 2022-11-04 | 同時に位置特定およびマッピングを実行するためのデバイスおよび方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/EP2018/074205 WO2020048618A1 (en) | 2018-09-07 | 2018-09-07 | Device and method for performing simultaneous localization and mapping |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022177535A Division JP7472235B2 (ja) | 2018-09-07 | 2022-11-04 | 同時に位置特定およびマッピングを実行するためのデバイスおよび方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021508393A true JP2021508393A (ja) | 2021-03-04 |
Family
ID=63557457
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020534243A Pending JP2021508393A (ja) | 2018-09-07 | 2018-09-07 | 同時に位置特定およびマッピングを実行するためのデバイスおよび方法 |
JP2022177535A Active JP7472235B2 (ja) | 2018-09-07 | 2022-11-04 | 同時に位置特定およびマッピングを実行するためのデバイスおよび方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022177535A Active JP7472235B2 (ja) | 2018-09-07 | 2022-11-04 | 同時に位置特定およびマッピングを実行するためのデバイスおよび方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US11410322B2 (ja) |
EP (1) | EP3818499A1 (ja) |
JP (2) | JP2021508393A (ja) |
CN (1) | CN112567429A (ja) |
BR (1) | BR112021004229A2 (ja) |
WO (1) | WO2020048618A1 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11210804B2 (en) * | 2018-02-23 | 2021-12-28 | Sony Group Corporation | Methods, devices and computer program products for global bundle adjustment of 3D images |
CN108717710B (zh) * | 2018-05-18 | 2022-04-22 | 京东方科技集团股份有限公司 | 室内环境下的定位方法、装置及系统 |
US11372115B2 (en) * | 2018-05-24 | 2022-06-28 | Cyngn, Inc. | Vehicle localization |
CN110986968B (zh) * | 2019-10-12 | 2022-05-24 | 清华大学 | 三维重建中实时全局优化和错误回环判断的方法及装置 |
US20220413512A1 (en) * | 2019-11-29 | 2022-12-29 | Sony Group Corporation | Information processing device, information processing method, and information processing program |
US11435756B2 (en) * | 2019-12-01 | 2022-09-06 | Nvidia Corporation | Visual odometry in autonomous machine applications |
CN113701766A (zh) * | 2020-05-20 | 2021-11-26 | 浙江欣奕华智能科技有限公司 | 一种机器人地图的构建方法、机器人的定位方法及装置 |
CN112114966A (zh) * | 2020-09-15 | 2020-12-22 | 杭州未名信科科技有限公司 | 一种视觉slam的光束平差计算方法 |
KR20220090597A (ko) * | 2020-12-22 | 2022-06-30 | 한국전자기술연구원 | 특징 매칭을 이용한 위치추적장치 및 방법 |
CN112985404A (zh) * | 2021-02-09 | 2021-06-18 | 广州小鹏自动驾驶科技有限公司 | 一种停车场众包地图生成方法、装置、设备和介质 |
GB202110950D0 (en) * | 2021-07-29 | 2021-09-15 | Five Ai Ltd | Perception of 3d objects in sensor data |
CN114429495B (zh) * | 2022-03-14 | 2022-08-30 | 荣耀终端有限公司 | 一种三维场景的重建方法和电子设备 |
CN114862949B (zh) * | 2022-04-02 | 2024-05-17 | 华南理工大学 | 一种基于点线面特征的结构化场景视觉slam方法 |
CN117237451B (zh) * | 2023-09-15 | 2024-04-02 | 南京航空航天大学 | 一种基于轮廓重建和几何引导的工业零件6d位姿估计方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017208038A (ja) * | 2016-05-20 | 2017-11-24 | 株式会社リコー | 画像処理装置、画像処理方法、画像処理システム及びプログラム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150092048A1 (en) | 2013-09-27 | 2015-04-02 | Qualcomm Incorporated | Off-Target Tracking Using Feature Aiding in the Context of Inertial Navigation |
US9811756B2 (en) * | 2015-02-23 | 2017-11-07 | Mitsubishi Electric Research Laboratories, Inc. | Method for labeling images of street scenes |
CN107687850B (zh) * | 2017-07-26 | 2021-04-23 | 哈尔滨工业大学深圳研究生院 | 一种基于视觉和惯性测量单元的无人飞行器位姿估计方法 |
US11064178B2 (en) * | 2018-06-16 | 2021-07-13 | Artisense Corporation | Deep virtual stereo odometry |
-
2018
- 2018-09-07 BR BR112021004229-6A patent/BR112021004229A2/pt unknown
- 2018-09-07 JP JP2020534243A patent/JP2021508393A/ja active Pending
- 2018-09-07 CN CN201880096440.8A patent/CN112567429A/zh active Pending
- 2018-09-07 WO PCT/EP2018/074205 patent/WO2020048618A1/en unknown
- 2018-09-07 EP EP18769130.8A patent/EP3818499A1/en active Pending
-
2020
- 2020-07-02 US US16/920,058 patent/US11410322B2/en active Active
-
2022
- 2022-11-04 JP JP2022177535A patent/JP7472235B2/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017208038A (ja) * | 2016-05-20 | 2017-11-24 | 株式会社リコー | 画像処理装置、画像処理方法、画像処理システム及びプログラム |
Non-Patent Citations (3)
Title |
---|
DONG WANG, ET AL.: "SLAM-based cooperative calibration for optical sensors array with GPS/IMU aided", 2016 INTERNATIONAL CONFERENCE ON UNMANNED AIRCRAFT SYSTEMS (ICUAS), JPN6021032657, 2016, ISSN: 0004575271 * |
RAUL MUR-ARTAL, ET AL.: "ORB-SLAM: A Versatile and Accurate Monocular SLAM System", IEEE TRANSACTIONS ON ROBOTICS, vol. Volume: 31, Issue: 5, JPN6021032659, 2015, ISSN: 0004575273 * |
RAUL MUR-ARTAL, ET AL.: "ORB-SLAM2: An Open-Source SLAM System for Monocular, Stereo, and RGB-D Cameras", IEEE TRANSACTIONS ON ROBOTICS, vol. Volume: 33, Issue: 5, JPN6021032658, 2017, ISSN: 0004575272 * |
Also Published As
Publication number | Publication date |
---|---|
JP7472235B2 (ja) | 2024-04-22 |
WO2020048618A1 (en) | 2020-03-12 |
US20200334841A1 (en) | 2020-10-22 |
BR112021004229A2 (pt) | 2021-05-25 |
EP3818499A1 (en) | 2021-05-12 |
CN112567429A (zh) | 2021-03-26 |
US11410322B2 (en) | 2022-08-09 |
JP2023017924A (ja) | 2023-02-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7472235B2 (ja) | 同時に位置特定およびマッピングを実行するためのデバイスおよび方法 | |
Qiu et al. | Cross view fusion for 3d human pose estimation | |
Zhan et al. | Visual odometry revisited: What should be learnt? | |
CN107025662B (zh) | 一种实现增强现实的方法、服务器、终端及系统 | |
Feng et al. | 2d3d-matchnet: Learning to match keypoints across 2d image and 3d point cloud | |
Hu et al. | A sliding-window visual-IMU odometer based on tri-focal tensor geometry | |
JP6430064B2 (ja) | データを位置合わせする方法及びシステム | |
Yang et al. | Concrete defects inspection and 3D mapping using CityFlyer quadrotor robot | |
JP6976350B2 (ja) | 静的物体及び動的物体を含むシーンの位置特定及びマッピングに関するイメージングシステム | |
CN112634451A (zh) | 一种融合多传感器的室外大场景三维建图方法 | |
Maffra et al. | Real-time wide-baseline place recognition using depth completion | |
US20230099521A1 (en) | 3d map and method for generating a 3d map via temporal and unified panoptic segmentation | |
Zhang et al. | Feature matching for multi-epoch historical aerial images | |
KR101942646B1 (ko) | 영상 특징점 기반의 실시간 카메라 자세 추정 방법 및 그 장치 | |
EP2828620A1 (en) | Generating navigation data | |
Shao et al. | Faster R-CNN learning-based semantic filter for geometry estimation and its application in vSLAM systems | |
JP2020006788A (ja) | 建築限界判定装置 | |
CN113570716A (zh) | 云端三维地图构建方法、系统及设备 | |
Li et al. | Driver drowsiness behavior detection and analysis using vision-based multimodal features for driving safety | |
Kasper et al. | Unsupervised metric relocalization using transform consistency loss | |
US20230117498A1 (en) | Visual-inertial localisation in an existing map | |
CN116977189A (zh) | 一种同步定位与建图方法、装置及存储介质 | |
Pęszor et al. | Facial reconstruction on the basis of video surveillance system for the purpose of suspect identification | |
CN113421332A (zh) | 一种三维重建方法、装置、电子设备及存储介质 | |
White et al. | Extending motion detection to track stopped objects in visual multi-target tracking |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200619 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210729 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210823 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20211117 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220224 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220704 |