JP2019522288A - Rgb−dカメラに基づく追跡システム及びその方法 - Google Patents
Rgb−dカメラに基づく追跡システム及びその方法 Download PDFInfo
- Publication number
- JP2019522288A JP2019522288A JP2018567158A JP2018567158A JP2019522288A JP 2019522288 A JP2019522288 A JP 2019522288A JP 2018567158 A JP2018567158 A JP 2018567158A JP 2018567158 A JP2018567158 A JP 2018567158A JP 2019522288 A JP2019522288 A JP 2019522288A
- Authority
- JP
- Japan
- Prior art keywords
- graph
- keyframe
- key frame
- loop
- generating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/579—Depth or shape recovery from multiple images from motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20072—Graph-based image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Library & Information Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Instructional Devices (AREA)
Abstract
Description
本出願は、2016年6月24日に出願された米国仮特許出願第62/354251号明細書(U.S. provisional patent application Ser. No. 62/354,251)の優先権を主張するものであり、同明細書の内容は、参照により本明細書に完全に包含されるように本明細書に組み込まれる。
本開示は、概して追跡システムに関し、より詳細には、RGB−Dカメラに基づく追跡システム及びその方法に関する。
本明細書中において別段の指示がない限り、本セクションに記載する題材は、本出願の特許請求の範囲の先行技術ではなく、本セクションに含められることによって先行技術であると認められることはない。
本明細書で開示される特定の実施形態の概要を以下に示す。それらの態様は、単にそれらの特定の実施形態の簡潔な概要を読者に提供するために提示されたものに過ぎず、それらの態様が、本開示の範囲を限定することを意図したものではないことを理解すべきである。実際に、本開示は、以下で説明されない可能性がある種々の態様を包含し得る。
本開示の上記の特徴、態様及び利点、並びに、他の特徴、態様及び利点は、添付の図面を参照しながら以下の特定の例示的な実施形態の詳細な説明を読むことにより、より良好に理解されるであろう。なお、添付の図面では、各図を通して同様の参照符号が同様のものを表している。
以下の説明は、記載された実施形態を当業者が実現及び使用することを可能にするために提示されており、特定の用途及びその要件の文脈において提供されている。記載された実施形態に対する種々の修正は、当業者には容易に理解可能であり、本明細書で規定される一般的な原理を、記載された実施形態の精神及び範囲から逸脱することなく他の実施形態及び用途に適用することができる。従って、記載された実施形態は、示された実施形態に限定されているわけではなく、記載された実施形態には、本明細書で開示される原理及び特徴に一致する最も広い範囲が認容されるべきである。
Claims (10)
- 視覚的同時位置推定及び地図作成(SLAM)を計算するための方法において、
視覚オドメトリモジュールによってローカルオドメトリ推定値を生成することと、
キーフレーム生成器によってキーフレームを生成することと、
キーフレームグラフを作成することと、
ループ制約評価器を使用して前記キーフレームグラフに制約を加えることと、
軌跡を有する前記キーフレームグラフを最適化することと、
を含む、方法。 - ローカルオドメトリ推定値を生成する前に、キーフレームと現在のフレームとの間に新しいキーフレームを生成することをさらに含む、
請求項1に記載の方法。 - ループ制約評価器を使用して前記キーフレームグラフに制約を加えることは、ループクロージャに基づいており、
前記ループクロージャは、以前に訪問した場所へのリターンである、
請求項2に記載の方法。 - 最適化の後に、前記キーフレームグラフにおける種々の制約のエッジ高さに基づいて姿勢グラフを調整することをさらに含む、
請求項3に記載の方法。 - 高密度視覚オドメトリのための確率的センサモデルを適用する方法において、
キーフレーム生成器によってキーフレームを生成することと、
キーフレームグラフを作成することと、
ループ制約評価器を使用して前記キーフレームグラフに制約を加えることと、
軌跡を有する前記キーフレームグラフを最適化することと、
を含む、方法。 - ローカルオドメトリ推定値を生成する前に、キーフレームと現在のフレームとの間に新しいキーフレームを生成することをさらに含む、
請求項5に記載の方法。 - ループ制約評価器を使用して前記キーフレームグラフに制約を加えることは、ループクロージャに基づいており、
前記ループクロージャは、以前に訪問した場所へのリターンである、
請求項6に記載の方法。 - 最適化の後に、前記キーフレームグラフにおける種々の制約のエッジ高さに基づいて姿勢グラフを調整することをさらに含む、
請求項7に記載の方法。 - 視覚的SLAMシステムにおいて、
キーフレームと、現在のキーフレームと、以前のキーフレームとを含む複数のキーフレームと、
前記複数のキーフレームのうちの2つのキーフレームの間でのペアワイズ変換推定を提供するように構成されたデュアル高密度視覚オドメトリと、
キーフレームグラフを作成するように構成されたフレーム生成器と、
受信した前記キーフレームグラフに制約を加えるループ制約評価器と、
軌跡を有する地図を生成するように構成されたグラフ最適化器と、
を含む、視覚的SLAMシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662354251P | 2016-06-24 | 2016-06-24 | |
US62/354,251 | 2016-06-24 | ||
PCT/EP2017/065677 WO2017220815A1 (en) | 2016-06-24 | 2017-06-26 | Rgb-d camera based tracking system and method thereof |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019522288A true JP2019522288A (ja) | 2019-08-08 |
Family
ID=59227732
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018567158A Pending JP2019522288A (ja) | 2016-06-24 | 2017-06-26 | Rgb−dカメラに基づく追跡システム及びその方法 |
Country Status (7)
Country | Link |
---|---|
US (1) | US11093753B2 (ja) |
EP (1) | EP3475917B1 (ja) |
JP (1) | JP2019522288A (ja) |
KR (1) | KR102471301B1 (ja) |
CN (1) | CN109478330B (ja) |
ES (1) | ES2911400T3 (ja) |
WO (1) | WO2017220815A1 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3474230B1 (en) * | 2017-10-18 | 2020-07-22 | Tata Consultancy Services Limited | Systems and methods for edge points based monocular visual slam |
CN108564625B (zh) * | 2018-04-27 | 2019-08-23 | 百度在线网络技术(北京)有限公司 | 图优化方法、装置、电子设备及存储介质 |
CN108648274B (zh) * | 2018-05-10 | 2020-05-22 | 华南理工大学 | 一种视觉slam的认知点云地图创建系统 |
TWI679511B (zh) * | 2018-08-22 | 2019-12-11 | 和碩聯合科技股份有限公司 | 軌跡規劃方法與系統 |
CA3028708A1 (en) * | 2018-12-28 | 2020-06-28 | Zih Corp. | Method, system and apparatus for dynamic loop closure in mapping trajectories |
CN110516527B (zh) * | 2019-07-08 | 2023-05-23 | 广东工业大学 | 一种基于实例分割的视觉slam回环检测改进方法 |
CN110956651B (zh) * | 2019-12-16 | 2021-02-19 | 哈尔滨工业大学 | 一种基于视觉和振动触觉融合的地形语义感知方法 |
CN111292420B (zh) * | 2020-02-28 | 2023-04-28 | 北京百度网讯科技有限公司 | 用于构建地图的方法和装置 |
CN112016612A (zh) * | 2020-08-26 | 2020-12-01 | 四川阿泰因机器人智能装备有限公司 | 一种基于单目深度估计的多传感器融合slam方法 |
US11899469B2 (en) | 2021-08-24 | 2024-02-13 | Honeywell International Inc. | Method and system of integrity monitoring for visual odometry |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2619742B1 (en) * | 2010-09-24 | 2018-02-28 | iRobot Corporation | Systems and methods for vslam optimization |
US8913055B2 (en) * | 2011-05-31 | 2014-12-16 | Honda Motor Co., Ltd. | Online environment mapping |
GB201202344D0 (en) * | 2012-02-10 | 2012-03-28 | Isis Innovation | Method of locating a sensor and related apparatus |
US9269003B2 (en) * | 2013-04-30 | 2016-02-23 | Qualcomm Incorporated | Diminished and mediated reality effects from reconstruction |
US9607401B2 (en) | 2013-05-08 | 2017-03-28 | Regents Of The University Of Minnesota | Constrained key frame localization and mapping for vision-aided inertial navigation |
CN104374395A (zh) * | 2014-03-31 | 2015-02-25 | 南京邮电大学 | 基于图的视觉slam方法 |
WO2015194864A1 (ko) * | 2014-06-17 | 2015-12-23 | (주)유진로봇 | 이동 로봇의 맵을 업데이트하기 위한 장치 및 그 방법 |
-
2017
- 2017-06-26 WO PCT/EP2017/065677 patent/WO2017220815A1/en unknown
- 2017-06-26 US US16/312,039 patent/US11093753B2/en active Active
- 2017-06-26 JP JP2018567158A patent/JP2019522288A/ja active Pending
- 2017-06-26 CN CN201780038684.6A patent/CN109478330B/zh active Active
- 2017-06-26 ES ES17733432T patent/ES2911400T3/es active Active
- 2017-06-26 KR KR1020187037380A patent/KR102471301B1/ko active IP Right Grant
- 2017-06-26 EP EP17733432.3A patent/EP3475917B1/en active Active
Also Published As
Publication number | Publication date |
---|---|
CN109478330A (zh) | 2019-03-15 |
EP3475917B1 (en) | 2022-01-26 |
WO2017220815A1 (en) | 2017-12-28 |
US20190377952A1 (en) | 2019-12-12 |
ES2911400T3 (es) | 2022-05-19 |
CN109478330B (zh) | 2022-03-29 |
KR102471301B1 (ko) | 2022-11-29 |
US11093753B2 (en) | 2021-08-17 |
EP3475917A1 (en) | 2019-05-01 |
KR20190021257A (ko) | 2019-03-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2019522288A (ja) | Rgb−dカメラに基づく追跡システム及びその方法 | |
Yang et al. | Tracking the orientation and axes lengths of an elliptical extended object | |
US10553026B2 (en) | Dense visual SLAM with probabilistic surfel map | |
Geneva et al. | Openvins: A research platform for visual-inertial estimation | |
WO2019174377A1 (zh) | 一种基于单目相机的三维场景稠密重建方法 | |
US8913055B2 (en) | Online environment mapping | |
US9179047B2 (en) | Systems and methods for estimating the structure and motion of an object | |
US20200043189A1 (en) | Simultaneous positioning and dense three-dimensional reconstruction method | |
JP2021518622A (ja) | 自己位置推定、マッピング、およびネットワークトレーニング | |
CN105654492A (zh) | 基于消费级摄像头的鲁棒实时三维重建方法 | |
CN108829116B (zh) | 基于单目摄像头的避障方法及设备 | |
EP2179398A1 (en) | Estimating objects proper motion using optical flow, kinematics and depth information | |
Anderson et al. | A hierarchical wavelet decomposition for continuous-time SLAM | |
CN103139568A (zh) | 基于稀疏度和保真度约束的视频稳像方法 | |
Niu et al. | An online solution of LiDAR scan matching aided inertial navigation system for indoor mobile mapping | |
WO2018214086A1 (zh) | 场景的三维重建方法、装置及终端设备 | |
CN105527968A (zh) | 信息处理方法和信息处理装置 | |
Mehralian et al. | EKFPnP: extended Kalman filter for camera pose estimation in a sequence of images | |
Liu et al. | Robust keyframe-based dense SLAM with an RGB-D camera | |
Kim et al. | Absolute motion and structure from stereo image sequences without stereo correspondence and analysis of degenerate cases | |
Huai et al. | Collaborative monocular SLAM with crowdsourced data | |
US20220165029A1 (en) | Computer Vision Systems and Methods for High-Fidelity Representation of Complex 3D Surfaces Using Deep Unsigned Distance Embeddings | |
Nguyen et al. | CKF‐Based Visual Inertial Odometry for Long‐Term Trajectory Operations | |
Klippenstein et al. | Feature initialization for bearing-only visual slam using triangulation and the unscented transform | |
CN110807818A (zh) | 基于关键帧的rgb-dslam方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190301 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190121 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200205 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200218 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20200518 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20200720 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200817 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20201214 |