CN116124144A - 融合注意力的目标检测与几何约束的视觉惯性室内动态环境定位系统 - Google Patents

融合注意力的目标检测与几何约束的视觉惯性室内动态环境定位系统 Download PDF

Info

Publication number
CN116124144A
CN116124144A CN202211699736.3A CN202211699736A CN116124144A CN 116124144 A CN116124144 A CN 116124144A CN 202211699736 A CN202211699736 A CN 202211699736A CN 116124144 A CN116124144 A CN 116124144A
Authority
CN
China
Prior art keywords
map
module
positioning system
attention
visual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211699736.3A
Other languages
English (en)
Inventor
杨海波
曹雏清
赵立军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhu Robot Technology Research Institute of Harbin Institute of Technology
Original Assignee
Wuhu Robot Technology Research Institute of Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhu Robot Technology Research Institute of Harbin Institute of Technology filed Critical Wuhu Robot Technology Research Institute of Harbin Institute of Technology
Priority to CN202211699736.3A priority Critical patent/CN116124144A/zh
Publication of CN116124144A publication Critical patent/CN116124144A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/383—Indoor data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3841—Data obtained from two or more sources, e.g. probe vehicles
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Navigation (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种融合注意力的目标检测与几何约束的视觉惯性室内动态环境定位系统，包括视觉模块、局部建图模块及回环检测与地图合并模块，所述的定位系统从摄像数据采集，经过过视觉模块得到关键帧，再通过局部建图模块及回环检测与地图合并模块，获得地图更新。采用上述技术方案，采用以视觉为主，惯导为辅的融合模式，通过视觉惯导进行辅助建图，惯导系统可以精确表示出AGV当前的运动位姿信息，更好地在室外场景进行定位；而基于注意力机制的视觉系统可在室外场景建立更加鲁棒的八叉树3D点云地图，填补激光雷达的不足，更加精确鲁棒的地图在后面AGV的路径规划与避障设计起到至关重要的作用。

Description

融合注意力的目标检测与几何约束的视觉惯性室内动态环境定位系统
技术领域
本发明属于工业AGV智能控制与导航的技术领域。更具体地，本发明涉及一种融合注意力的目标检测与几何约束的视觉惯性室内动态环境定位系统。
背景技术
1、相关技术发展背景介绍：
如今工业AGV大多以激光雷达与视觉为主要定位导航模块，而激光雷达与视觉在遇到长走廊，或者玻璃墙等极端环境下会导致定位失效，工业机器人AGV是依赖于可靠、连续的生产过程，每一分钟的停工都是极其昂贵的，任何停机都会立即导致生产力和收入的损失。一旦成线后使用厂家极为不愿意看到由于设备故障而导致的停产，造成非常大的经济损失。然而经行业研究表明，工业AGV宕机仍在频频发生，几乎每一家工厂都会因停工而损失至少5％的生产能力，而许多工厂损失高达20％。大多数已有的SLAM方法是在静止环境下实现的，针对传统视觉里程计容易收到人，车等动态物体的影响，导致较大误差等问题，在视觉融入基于目标检测以及几何约束的动态剔除模块与基于注意力机制的匹配是一种非常鲁棒的导航算法模型。
2、在现有技术文献中检索到以下对比文件：
“基于几何约束和目标检测的室内动态SLAM”，其技术方案是：
针对在室内动态环境下定位精度低和地图效果差的问题，提出一种基于几何约束和目标检测的室内动态SLAM方法，使用目标检测网络获取语义信息，提出运动物体漏检的方法；根据先验知识，提出准确识别动态区域的信息判定方法；结合几何约束和深度学习方法剔除动态点，利用静态点估计相机位姿。
3、上述公开的文献中记载的技术方案存在的问题和缺陷是：
没有IMU惯导系统对机器人的位姿进行优化，这可能使得AGV的定位精度不高，影响到后续在特殊高精度的路径规划需求；其视觉系统是基于传统的ORB特征点提取，在容易收到光照、视角、气候等环境因素导致相机采集模块出现不稳定的情况。
与本发明的最本质的区别是在前端视觉提取与匹配采用的是传统ORB与最近邻匹配算法。
发明内容
本发明提供一种融合注意力的目标检测与几何约束的视觉惯性室内动态环境定位系统，其目的是解决激光融合视觉AGV在特殊环境下定位失效的问题。
为了实现上述目的，本发明采取的技术方案为：
本发明的融合注意力的目标检测与几何约束的视觉惯性室内动态环境定位系统，包括视觉模块、局部建图模块及回环检测与地图合并模块，所述的定位系统从摄像数据采集，经过过视觉模块得到关键帧，再通过局部建图模块及回环检测与地图合并模块，获得地图更新。
所述的视觉模块包括视觉单目摄像机采集模块、注意力匹配模块、目标检测模块、几何约束优化模块。
所述的局部建图模块包括动态物体剔除模块、地图跟踪模块、局部优化模块。
所述的回环检测与地图合并模块包括后端优化模块和全局优化模块。
所述的定位系统的词袋模型采用DBOW2高效的回环检测算法，是在自然语言处理和信息检索(IR)下被简化的表达模型。
所述的词袋模型包括激活地图、未激活地图、视觉词典和离线数据识别库。
所述的激活地图和未激活地图均分别包括特征点、关键帧、生成树和共视图。
其导航方法是：
首先，在视觉跟踪模块对采集的摄像头视频流数据，使用基于注意力机制的特征匹配算法进行预处理，将视觉语义信息转换在同一坐标系下；
在导航定位工作时，视频流的每一帧图像都进行了特征提取，使用目标检测与几何约束，对动态特征点进行剔除。
当这一帧图像的合格特征点超过规定的阈值，则认定为关键帧，插入到局部建图模块进行处理；
然后，基于DBOW2词袋模型中加入注意力机制，构建新的词典库进行回环检测优化位姿，以及使用ATLAS多地图管理第三方库进行地图合并优化位姿；
最后，通过融入IMU惯导进行全局BA优化位姿更新3D点云地图与激光雷达扫描出的3D点云地图进行匹配、拼接、优化。
在所述的定位系统中加入轻量级目标检测网络，对动态物体进行检测，剔除3D点云地图中的动态特征点，使得AGV在室外场景更加鲁棒。
本发明采用上述技术方案，采用以视觉为主，惯导为辅的融合模式，通过视觉惯导进行辅助建图，惯导系统可以精确表示出AGV当前的运动位姿信息，更好地在室外场景进行定位；而基于注意力机制的视觉系统可在室外场景建立更加鲁棒的八叉树3D点云地图，填补激光雷达的不足，更加精确鲁棒的地图在后面AGV的路径规划与避障设计起到至关重要的作用。
附图说明
附图所示内容简要说明如下：
图1为本发明的模块框图。
具体实施方式
下面对照附图，通过对实施例的描述，对本发明的具体实施方式作进一步详细的说明，以帮助本领域的技术人员对本发明的发明构思、技术方案有更完整、准确和深入的理解。
如图1所表达的本发明的模块框图，为一种融合注意力的目标检测与几何约束的视觉惯性室内动态环境定位系统。
为了解决现有技术存在的问题并克服其缺陷，实现解决激光融合视觉AGV在特殊环境下定位失效的问题的发明目的，本发明采取的技术方案为：
如图1所示，本发明的融合注意力的目标检测与几何约束的视觉惯性室内动态环境定位系统，包括视觉模块、局部建图模块及回环检测与地图合并模块，所述的定位系统从摄像数据采集，经过过视觉模块得到关键帧，再通过局部建图模块及回环检测与地图合并模块，获得地图更新。
本发明为了解决传统激光融合视觉AGV在特殊环境下定位失效等问题，提出了以上所述的融合注意力机制的目标检测与几何约束的视觉惯性室内动态环境定位系统，适用于室内导航。
所述的视觉模块包括视觉单目摄像机采集模块、注意力匹配模块、目标检测模块、几何约束优化模块。
所述的视觉模块，进行注意力匹配；通过几何约束，进行YOLO动态特征检测；通过IMU，确定初始化位置；提取关键帧。
所述的局部建图模块包括动态物体剔除模块、地图跟踪模块、局部优化模块。
所述的局部建图模块在获得关键帧后，对其进行处理，然后剔除地图点，接着局部BA优化，最后，进行局部关键帧剔除。
所述的回环检测与地图合并模块包括后端优化模块和全局优化模块。
所述的回环检测与地图合并模块完成地图合并、回环修正，包括词典库查询、计算位姿、回环融合、合并地图位姿优化。
所述的定位系统的词袋模型采用DBOW2高效的回环检测算法，是在自然语言处理和信息检索(IR)下被简化的表达模型。
所述的词袋模型包括激活地图、未激活地图、视觉词典和离线数据识别库。
所述的激活地图和未激活地图均分别包括特征点、关键帧、生成树和共视图。
其导航方法是：
首先，在视觉跟踪模块对采集的摄像头视频流数据，使用基于注意力机制的特征匹配算法进行预处理，将视觉语义信息转换在同一坐标系下；
在导航定位工作时，视频流的每一帧图像都进行了特征提取，使用目标检测与几何约束，对动态特征点进行剔除。
当这一帧图像的合格特征点超过规定的阈值，则认定为关键帧，插入到局部建图模块进行处理；
然后，基于DBOW2词袋模型中加入注意力机制，构建新的词典库进行回环检测优化位姿，以及使用ATLAS多地图管理第三方库进行地图合并优化位姿；
最后，通过融入IMU惯导进行全局BA优化位姿更新3D点云地图与激光雷达扫描出的3D点云地图进行匹配、拼接、优化。
本发明的技术效果是：
本发明以视觉为主，惯导为辅的融合模式，通过视觉惯导进行辅助建图；惯导系统可以精确表示出AGV当前的运动位姿信息，更好地在室外场景进行定位，而基于注意力机制的视觉系统可在室外场景建立更加鲁棒的八叉树3D点云地图，填补激光雷达的不足，更加精确鲁棒的地图在后面AGV的路径规划与避障设计起到至关重要的作用。
本发明进一步优化的技术方案：
该方法采用了基于注意力机制的视觉惯导系统进行辅助，传统目标检测算法运行速度慢，例如检测人，车子等的速度会对定位导航系统进行影响。在所述的定位系统中进一步加入轻量级目标检测网络对动态物体进行检测，剔除3D点云地图中的动态特征点，使得AGV在室外场景更加鲁棒。
本发明的视觉系统融入注意力机制，可以提出更多高质量的特征点用于建图；在导航系统加入目标检测，剔除3D点云地图的动态地图点；添加几何约束条件，保障系统在动态环境下的鲁棒性。
上面结合附图对本发明进行了示例性描述，显然本发明具体实现并不受上述方式的限制，只要采用了本发明的方法构思和技术方案进行的各种非实质性的改进，或未经改进将本发明的构思和技术方案直接应用于其它场合的，均在本发明的保护范围之内。

Claims (10)

1.融合注意力的目标检测与几何约束的视觉惯性室内动态环境定位系统，其特征在于：所述的定位系统包括视觉模块、局部建图模块及回环检测与地图合并模块，所述的定位系统从摄像数据采集，经过过视觉模块得到关键帧，再通过局部建图模块及回环检测与地图合并模块，获得地图更新。
2.按照权利要求1所述的融合注意力的目标检测与几何约束的视觉惯性室内动态环境定位系统，其特征在于：所述的视觉模块包括视觉单目摄像机采集模块、注意力匹配模块、目标检测模块、几何约束优化模块。
3.按照权利要求1所述的融合注意力的目标检测与几何约束的视觉惯性室内动态环境定位系统，其特征在于：所述的局部建图模块包括动态物体剔除模块、地图跟踪模块、局部优化模块。
4.按照权利要求1所述的融合注意力的目标检测与几何约束的视觉惯性室内动态环境定位系统，其特征在于：所述的回环检测与地图合并模块包括后端优化模块和全局优化模块。
5.按照权利要求1所述的融合注意力的目标检测与几何约束的视觉惯性室内动态环境定位系统，其特征在于：所述的定位系统的词袋模型采用DBOW2高效的回环检测算法，是在自然语言处理和信息检索(IR)下被简化的表达模型。
6.按照权利要求5所述的融合注意力的目标检测与几何约束的视觉惯性室内动态环境定位系统，其特征在于：所述的词袋模型包括激活地图、未激活地图、视觉词典和离线数据识别库。
7.按照权利要求6所述的融合注意力的目标检测与几何约束的视觉惯性室内动态环境定位系统，其特征在于：所述的激活地图和未激活地图均分别包括特征点、关键帧、生成树和共视图。
8.按照权利要求1所述的融合注意力的目标检测与几何约束的视觉惯性室内动态环境定位系统，其特征在于：
首先，在视觉跟踪模块对采集的摄像头视频流数据，使用基于注意力机制的特征匹配算法进行预处理，将视觉语义信息转换在同一坐标系下；
在导航定位工作时，视频流的每一帧图像都进行了特征提取，使用目标检测与几何约束，对动态特征点进行剔除。
9.按照权利要求8所述的融合注意力的目标检测与几何约束的视觉惯性室内动态环境定位系统，其特征在于：
当这一帧图像的合格特征点超过规定的阈值，则认定为关键帧，插入到局部建图模块进行处理；
然后，基于DBOW2词袋模型中加入注意力机制，构建新的词典库进行回环检测优化位姿，以及使用ATLAS多地图管理第三方库进行地图合并优化位姿；
最后，通过融入IMU惯导进行全局BA优化位姿更新3D点云地图与激光雷达扫描出的3D点云地图进行匹配、拼接、优化。
10.按照权利要求1所述的融合注意力的目标检测与几何约束的视觉惯性室内动态环境定位系统，其特征在于：在所述的定位系统中加入轻量级目标检测网络，对动态物体进行检测，剔除3D点云地图中的动态特征点，使得AGV在室外场景更加鲁棒。
CN202211699736.3A 2022-12-28 2022-12-28 融合注意力的目标检测与几何约束的视觉惯性室内动态环境定位系统 Pending CN116124144A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211699736.3A CN116124144A (zh) 2022-12-28 2022-12-28 融合注意力的目标检测与几何约束的视觉惯性室内动态环境定位系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211699736.3A CN116124144A (zh) 2022-12-28 2022-12-28 融合注意力的目标检测与几何约束的视觉惯性室内动态环境定位系统

Publications (1)

Publication Number Publication Date
CN116124144A true CN116124144A (zh) 2023-05-16

Family

ID=86309435

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211699736.3A Pending CN116124144A (zh) 2022-12-28 2022-12-28 融合注意力的目标检测与几何约束的视觉惯性室内动态环境定位系统

Country Status (1)

Country Link
CN (1) CN116124144A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117036408A (zh) * 2023-08-22 2023-11-10 哈尔滨理工大学 一种动态环境下联合多目标跟踪的物体slam方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117036408A (zh) * 2023-08-22 2023-11-10 哈尔滨理工大学 一种动态环境下联合多目标跟踪的物体slam方法
CN117036408B (zh) * 2023-08-22 2024-03-29 哈尔滨理工大学 一种动态环境下联合多目标跟踪的物体slam方法

Similar Documents

Publication Publication Date Title
CN110261870B (zh) 一种用于视觉-惯性-激光融合的同步定位与建图方法
Zhao et al. A robust laser-inertial odometry and mapping method for large-scale highway environments
CN109186606B (zh) 一种基于slam和图像信息的机器人构图及导航方法
CN112965063B (zh) 一种机器人建图定位方法
CN111161318A (zh) 一种基于yolo算法及gms特征匹配的动态场景slam方法
CN116124144A (zh) 融合注意力的目标检测与几何约束的视觉惯性室内动态环境定位系统
CN114004869A (zh) 一种基于3d点云配准的定位方法
CN109242899B (zh) 一种基于在线视觉词典的实时定位与地图构建方法
Liu A robust and efficient lidar-inertial-visual fused simultaneous localization and mapping system with loop closure
CN113920198A (zh) 一种基于语义边缘对齐的由粗到精的多传感器融合定位方法
CN114998276A (zh) 一种基于三维点云的机器人动态障碍物实时检测方法
CN115014338A (zh) 一种基于二维码视觉和激光slam的移动机器人定位系统及方法
CN117218195A (zh) 基于点、线特征约束的同时定位与建图方法
CN116563376A (zh) 基于深度学习的lidar-imu紧耦合语义slam方法及相关装置
CN115631247A (zh) 一种移动机器人的相机与固态激光雷达在线标定方法
CN113947636B (zh) 一种基于深度学习的激光slam定位系统及方法
CN114565726A (zh) 一种非结构化动态环境下的同时定位与建图方法
CN114353799A (zh) 搭载多线激光雷达的无人驾驶平台室内快速全局定位方法
CN114821363A (zh) 一种基于语义信息匹配的无人机定位建图方法及系统
CN115046543A (zh) 一种基于多传感器的组合导航方法及系统
Wei et al. Improved Hector-SLAM Algorithm Based on Data Fusion of LiDAR and IMU for a Wheeled Robot Working in Machining Workshop
CN113741550A (zh) 移动机器人跟随方法和系统
Wang et al. ULSM: Underground Localization and Semantic Mapping with Salient Region Loop Closure under Perceptually-Degraded Environment
Yin et al. Added the odometry optimized SLAM loop closure detection system
CN114674308B (zh) 基于安全出口指示牌视觉辅助激光长廊定位方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination