CN110426035B - 一种基于单目视觉和惯导信息融合的定位及建图方法 - Google Patents

一种基于单目视觉和惯导信息融合的定位及建图方法 Download PDF

Info

Publication number
CN110426035B
CN110426035B CN201910746007.0A CN201910746007A CN110426035B CN 110426035 B CN110426035 B CN 110426035B CN 201910746007 A CN201910746007 A CN 201910746007A CN 110426035 B CN110426035 B CN 110426035B
Authority
CN
China
Prior art keywords
information
fusion
positioning
image
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910746007.0A
Other languages
English (en)
Other versions
CN110426035A (zh
Inventor
秦勇
刘芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin University of Science and Technology
Original Assignee
Harbin University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin University of Science and Technology filed Critical Harbin University of Science and Technology
Priority to CN201910746007.0A priority Critical patent/CN110426035B/zh
Publication of CN110426035A publication Critical patent/CN110426035A/zh
Application granted granted Critical
Publication of CN110426035B publication Critical patent/CN110426035B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Automation & Control Theory (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于单目视觉和惯导信息融合的定位及建图方法，涉及信息融合技术领域；它的方法如下：步骤一：信息采集：首先对信息进行采集，在采集时，通过传感器与摄像机来同时采集信息，摄像机对图像的采集，而传感器进行轨道信息的采集，同时摄像机在使用时通过三维运动支架来支撑；步骤二：获取信息的参数；步骤三：分析、处理信息；步骤四：建模；步骤五：图像深度处理；步骤六：信息的融合；步骤七：确认信息的准确性；步骤八：微调节与修正；本发明能够实现信息的快速采集与获取，并且能够实现信息的分解与重组，减少错误率，不易出现混乱的现象；提高了效率与准确率，稳定性高，同时能够节省时间，使得数据能够直接使用。

Description

一种基于单目视觉和惯导信息融合的定位及建图方法
技术领域
本发明属于信息融合技术领域，具体涉及一种基于单目视觉和惯导信息融合的定位及建图方法。
背景技术
目前，视觉惯导融合技术广泛应用在三维重建、无人车和无人机的定位导航、自动驾驶等领域，旨在提供实时鲁棒精确的位置和姿态。主流的视觉惯导融合技术为基于滤波器方法。基于滤波器的方法主要采用卡尔曼滤波器及其变种，将惯导信息根据惯性测量单元的运动学模型得到系统状态向量的先验分布，在使用视觉传感器的观测模型更新卡尔曼增益，进而得到系统状态向量的后验分布。具体处理中，按照系统状态向量是否包含特征点坐标向量来分类，可分为松耦合和紧耦合两类。松耦合是指惯性测量单元和视觉传感器分别对系统状态量进行估计，然后在进行融合。这样可以有效减小计算量，方便融合。紧耦合是指系统状态量不仅包含惯性测量单元的状态量还包含有特征点坐标向量，统一进行状态估计。基于滤波器的方法，无论采用松耦合或者紧耦合的方式，普遍存在的问题是无法有效消除累积误差，无法处理回环问题。
但是现有的信息融合的定位及建图方式进行融合时会出现误差，而且不能够直接使用，导致其容易出现混乱的现象。
发明内容
为解决现有技术的信息融合的定位及建图方式进行融合时会出现误差，而且不能够直接使用，导致其容易出现混乱的现象的问题；本发明的目的在于提供一种基于单目视觉和惯导信息融合的定位及建图方法。
本发明的一种基于单目视觉和惯导信息融合的定位及建图方法，它的方法如下：
步骤一：信息采集：首先对信息进行采集，在采集时，通过传感器与摄像机来同时采集信息，摄像机对图像的采集，而传感器进行轨道信息的采集，同时摄像机在使用时通过三维运动支架来支撑，并且通过实时传感器进行检测位置；
步骤二：获取信息的参数：对步骤一中采集的信息进行获取，在获取时，并对其信息进行加密，其在加密时通过多位运算加密方式进行加密，同时信息通过无线加密式传输；
步骤三：分析、处理信息：将步骤二获取的信息进行分析与处理，在接收到信息后对信息进行解密，然后将信息进行分类并进行标记，标记后对信息进行定位；
步骤四：建模：根据分析后的信息进行建模，并且分析出图形，分析后根据图像进行初步修改处理，且处理时进行对色彩对照式处理；
步骤五：图像深度处理：将建图的图像进行深度处理，并获取其位置，根据位置与图像进行确定信息的准确性，当出现信息误差时，通过修正的方式进行修改；
步骤六：信息的融合：将所有获取的信息进行融合，在融合时对其进行统计，统计后进行融合；
步骤七：确认信息的准确性：根据融合的信息进行信息的确认，且确认后进行模拟运行，当运行时无错误最终确定；
步骤八：微调节与修正：根据运行时运行信息获取并进行统计，根据获取的信息进行定位信息的微调节与修正。
作为优选，所述摄像机采集信息时为运动式采集，通过运动支架来实现摄像机的连接。
作为优选，所述建模为三维建模，在初次建模时，采用模糊建模的方式。
作为优选，所述图像深度处理为将图像采用分解再次重组。
作为优选，所述信息进行融合时先提取信息的特征，然后根据信息的特征进行重新组合。
作为优选，所述融合的信息进行信息的确认为通过对比并标记的方式进行确认，保证同类数据的融合，不同数据的分类。
作为优选，所述运行信息获取并进行统计的方法为：将获取的信息进行标号，类似数据进行连续标号，并且根据数据的大小进行压缩。
与现有技术相比，本发明的有益效果为：
一、能够实现信息的快速采集与获取，并且能够实现信息的分解与重组，减少错误率，不易出现混乱的现象；
二、提高了效率与准确率，稳定性高，同时能够节省时间，使得数据能够直接使用。
附图说明
为了易于说明，本发明由下述的具体实施及附图作以详细描述。
图1为本发明的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面通过附图中示出的具体实施例来描述本发明。但是应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
在此，还需要说明的是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的结构和/或处理步骤，而省略了与本发明关系不大的其他细节。
如图1所示，本具体实施方式采用以下技术方案：它的方法如下：
步骤一：信息采集：首先对信息进行采集，在采集时，通过传感器与摄像机来同时采集信息，摄像机对图像的采集，而传感器进行轨道信息的采集，同时摄像机在使用时通过三维运动支架来支撑，并且通过实时传感器进行检测位置；
步骤二：获取信息的参数：对步骤一中采集的信息进行获取，在获取时，并对其信息进行加密，其在加密时通过多位运算加密方式进行加密，同时信息通过无线加密式传输；
步骤三：分析、处理信息：将步骤二获取的信息进行分析与处理，在接收到信息后对信息进行解密，然后将信息进行分类并进行标记，标记后对信息进行定位；
步骤四：建模：根据分析后的信息进行建模，并且分析出图形，分析后根据图像进行初步修改处理，且处理时进行对色彩对照式处理；
步骤五：图像深度处理：将建图的图像进行深度处理，并获取其位置，根据位置与图像进行确定信息的准确性，当出现信息误差时，通过修正的方式进行修改；
步骤六：信息的融合：将所有获取的信息进行融合，在融合时对其进行统计，统计后进行融合；
步骤七：确认信息的准确性：根据融合的信息进行信息的确认，且确认后进行模拟运行，当运行时无错误最终确定；
步骤八：微调节与修正：根据运行时运行信息获取并进行统计，根据获取的信息进行定位信息的微调节与修正。
进一步的，所述摄像机采集信息时为运动式采集，通过运动支架来实现摄像机的连接。
进一步的，所述建模为三维建模，在初次建模时，采用模糊建模的方式。
进一步的，所述图像深度处理为将图像采用分解再次重组。
进一步的，所述信息进行融合时先提取信息的特征，然后根据信息的特征进行重新组合。
进一步的，所述融合的信息进行信息的确认为通过对比并标记的方式进行确认，保证同类数据的融合，不同数据的分类。
进一步的，所述运行信息获取并进行统计的方法为：将获取的信息进行标号，类似数据进行连续标号，并且根据数据的大小进行压缩。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (4)

1.一种基于单目视觉和惯导信息融合的定位及建图方法，其特征在于：它的方法如下：
步骤一：信息采集：首先对信息进行采集，在采集时，通过传感器与摄像机来同时采集信息，摄像机对图像的采集，而传感器进行轨道信息的采集，同时摄像机在使用时通过三维运动支架来支撑，并且通过实时传感器进行检测位置；
步骤二：获取信息的参数：对步骤一中采集的信息进行获取，在获取时，并对其信息进行加密，其在加密时通过多位运算加密方式进行加密，同时信息通过无线加密式传输；
步骤三：分析、处理信息：将步骤二获取的信息进行分析与处理，在接收到信息后对信息进行解密，然后将信息进行分类并进行标记，标记后对信息进行定位；
步骤四：建模：根据分析后的信息进行建模，并且分析出图形，分析后根据图形进行初步修改处理，且处理时进行对色彩对照式处理；
步骤五：图像深度处理：将建图的图像进行深度处理，并获取其位置，根据位置与图像进行确定信息的准确性，当出现信息误差时，通过修正的方式进行修改；所述图像深度处理为将图像采用分解再次重组；
步骤六：信息的融合：将所有获取的信息进行融合，在融合时对所有获取的信息进行统计，统计后进行融合；
步骤七：确认信息的准确性：根据融合的信息进行信息的确认，且确认后进行模拟运行，当运行时无错误最终确定；所述融合的信息进行信息的确认为通过对比并标记的方式进行确认，保证同类数据的融合，不同数据的分类；
步骤八：微调节与修正：根据运行时运行信息获取并进行统计，根据获取的信息进行定位信息的微调节与修正；所述运行信息获取并进行统计的方法为：将获取的信息进行标号，同类数据进行连续标号，并且根据数据的大小进行压缩。
2.根据权利要求1所述的一种基于单目视觉和惯导信息融合的定位及建图方法，其特征在于：所述摄像机采集信息时为运动式采集，通过运动支架来实现摄像机的连接。
3.根据权利要求1所述的一种基于单目视觉和惯导信息融合的定位及建图方法，其特征在于：所述建模为三维建模，在初次建模时，采用模糊建模的方式。
4.根据权利要求1所述的一种基于单目视觉和惯导信息融合的定位及建图方法，其特征在于：所述信息进行融合时先提取信息的特征，然后根据信息的特征进行重新组合。
CN201910746007.0A 2019-08-13 2019-08-13 一种基于单目视觉和惯导信息融合的定位及建图方法 Active CN110426035B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910746007.0A CN110426035B (zh) 2019-08-13 2019-08-13 一种基于单目视觉和惯导信息融合的定位及建图方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910746007.0A CN110426035B (zh) 2019-08-13 2019-08-13 一种基于单目视觉和惯导信息融合的定位及建图方法

Publications (2)

Publication Number Publication Date
CN110426035A CN110426035A (zh) 2019-11-08
CN110426035B true CN110426035B (zh) 2023-01-24

Family

ID=68414433

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910746007.0A Active CN110426035B (zh) 2019-08-13 2019-08-13 一种基于单目视觉和惯导信息融合的定位及建图方法

Country Status (1)

Country Link
CN (1) CN110426035B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107504969A (zh) * 2017-07-24 2017-12-22 哈尔滨理工大学 基于视觉和惯性组合的四旋翼室内导航方法
CN107688821A (zh) * 2017-07-11 2018-02-13 西安电子科技大学 基于视觉显著性与语义属性跨模态图像自然语言描述方法
CN107967457A (zh) * 2017-11-27 2018-04-27 全球能源互联网研究院有限公司 一种适应视觉特征变化的地点识别与相对定位方法及系统
CN108981692A (zh) * 2018-06-14 2018-12-11 兰州晨阳启创信息科技有限公司 一种基于惯导/视觉里程计的列车定位方法及系统
CN109117718A (zh) * 2018-07-02 2019-01-01 东南大学 一种面向道路场景的三维语义地图构建和存储方法
CN109215487A (zh) * 2018-08-24 2019-01-15 宽凳（北京）科技有限公司 一种基于深度学习的高精地图制作方法
CN109345542A (zh) * 2018-09-18 2019-02-15 重庆大学 一种穿戴式视觉注视目标定位装置及方法
CN109405824A (zh) * 2018-09-05 2019-03-01 武汉契友科技股份有限公司 一种适用于智能网联汽车的多源感知定位系统
CN109767422A (zh) * 2018-12-08 2019-05-17 深圳市勘察研究院有限公司 基于深度学习的管道检测识别方法、存储介质及机器人
CN109945858A (zh) * 2019-03-20 2019-06-28 浙江零跑科技有限公司 用于低速泊车驾驶场景的多传感融合定位方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105516654B (zh) * 2015-11-25 2018-10-26 华中师范大学 一种基于场景结构分析的城市监控视频融合方法
WO2018026544A1 (en) * 2016-07-22 2018-02-08 Regents Of The University Of Minnesota Square-root multi-state constraint kalman filter for vision-aided inertial navigation system
AU2018292610B2 (en) * 2017-06-28 2022-11-17 Magic Leap, Inc. Method and system for performing simultaneous localization and mapping using convolutional image transformation
CN108763287B (zh) * 2018-04-13 2021-11-12 同济大学 大规模可通行区域驾驶地图的构建方法及其无人驾驶应用方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107688821A (zh) * 2017-07-11 2018-02-13 西安电子科技大学 基于视觉显著性与语义属性跨模态图像自然语言描述方法
CN107504969A (zh) * 2017-07-24 2017-12-22 哈尔滨理工大学 基于视觉和惯性组合的四旋翼室内导航方法
CN107967457A (zh) * 2017-11-27 2018-04-27 全球能源互联网研究院有限公司 一种适应视觉特征变化的地点识别与相对定位方法及系统
CN108981692A (zh) * 2018-06-14 2018-12-11 兰州晨阳启创信息科技有限公司 一种基于惯导/视觉里程计的列车定位方法及系统
CN109117718A (zh) * 2018-07-02 2019-01-01 东南大学 一种面向道路场景的三维语义地图构建和存储方法
CN109215487A (zh) * 2018-08-24 2019-01-15 宽凳（北京）科技有限公司 一种基于深度学习的高精地图制作方法
CN109405824A (zh) * 2018-09-05 2019-03-01 武汉契友科技股份有限公司 一种适用于智能网联汽车的多源感知定位系统
CN109345542A (zh) * 2018-09-18 2019-02-15 重庆大学 一种穿戴式视觉注视目标定位装置及方法
CN109767422A (zh) * 2018-12-08 2019-05-17 深圳市勘察研究院有限公司 基于深度学习的管道检测识别方法、存储介质及机器人
CN109945858A (zh) * 2019-03-20 2019-06-28 浙江零跑科技有限公司 用于低速泊车驾驶场景的多传感融合定位方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Vision-Aided Absolute Trajectory Estimation Using an Unsupervised Deep Network with Online Error Correction;E. Jared Shamwell 等;《2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)》;20190106;第2524-2531页 *
视觉辅助无人直升机自主着降技术研究;袁斌;《中国优秀硕士学位论文全文数据库 信息科技辑》;20110515(第5期);I138-965 *

Also Published As

Publication number Publication date
CN110426035A (zh) 2019-11-08

Similar Documents

Publication Publication Date Title
Klingner et al. Street view motion-from-structure-from-motion
Strecha et al. On benchmarking camera calibration and multi-view stereo for high resolution imagery
CN108519102B (zh) 一种基于二次投影的双目视觉里程计算方法
CN105844696A (zh) 基于射线模型三维重构的图像定位方法以及装置
US11783443B2 (en) Extraction of standardized images from a single view or multi-view capture
CN110073362A (zh) 用于车道标记检测的系统及方法
CN103345751A (zh) 一种基于鲁棒特征跟踪的视觉定位方法
CN112505065A (zh) 一种实现室内无人机对大部件表面缺陷进行检测的方法
CN103150728A (zh) 一种动态环境中的视觉定位方法
CN110751123B (zh) 一种单目视觉惯性里程计系统及方法
CN105719352A (zh) 人脸三维点云超分辨率融合方法及应用其的数据处理装置
CN112419497A (zh) 基于单目视觉的特征法与直接法相融合的slam方法
CN116309813A (zh) 一种固态激光雷达-相机紧耦合位姿估计方法
Ruf et al. Real-time on-board obstacle avoidance for UAVs based on embedded stereo vision
CN111060006A (zh) 一种基于三维模型的视点规划方法
CN114638909A (zh) 基于激光slam和视觉融合的变电站语义地图构建方法
WO2024007485A1 (zh) 基于视觉特征的空地多机器人地图融合方法
CN106534833A (zh) 一种联合空间时间轴的双视点立体视频稳定方法
CN106056121A (zh) 基于sift图像特征匹配的卫星装配工件快速识别方法
CN113532420A (zh) 一种融合点线特征的视觉惯性里程计方法
CN113359154A (zh) 一种室内外通用的高精度实时测量方法
CN110426035B (zh) 一种基于单目视觉和惯导信息融合的定位及建图方法
Zhu et al. PairCon-SLAM: Distributed, online, and real-time RGBD-SLAM in large scenarios
Sheng et al. Mobile robot localization and map building based on laser ranging and PTAM
CN111899277A (zh) 运动目标检测方法及装置、存储介质、电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant