CN113763548B - 基于视觉-激光雷达耦合的贫纹理隧洞建模方法及系统 - Google Patents

基于视觉-激光雷达耦合的贫纹理隧洞建模方法及系统 Download PDF

Info

Publication number
CN113763548B
CN113763548B CN202110939893.6A CN202110939893A CN113763548B CN 113763548 B CN113763548 B CN 113763548B CN 202110939893 A CN202110939893 A CN 202110939893A CN 113763548 B CN113763548 B CN 113763548B
Authority
CN
China
Prior art keywords
map model
information
unmanned aerial
aerial vehicle
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110939893.6A
Other languages
English (en)
Other versions
CN113763548A (zh
Inventor
何斌
朱琪琪
李刚
沈润杰
程斌
王志鹏
陆萍
朱忠攀
周艳敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN202110939893.6A priority Critical patent/CN113763548B/zh
Publication of CN113763548A publication Critical patent/CN113763548A/zh
Priority to US17/808,117 priority patent/US20230087467A1/en
Application granted granted Critical
Publication of CN113763548B publication Critical patent/CN113763548B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0094—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1652—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with ranging devices, e.g. LIDAR or RADAR
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/106—Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/35—Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U20/00—Constructional aspects of UAVs
    • B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
    • B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30184—Infrastructure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Abstract

本发明涉及一种基于视觉‑激光雷达耦合的贫纹理隧洞建模方法及系统，包括以下步骤：获取深度相机采集的点云信息、激光雷达采集的激光信息以及无人机的运动信息；基于激光信息生成栅格地图，基于运动信息得到无人机的位姿信息；采用贝叶斯融合方法将点云信息、栅格地图和位姿信息进行融合，得到地图模型；基于上一时刻的地图模型，通过特征匹配对最新的地图模型进行修正。与现有技术相比，本发明融合深度相机和激光雷达进行SLAM建图，充分利用激光雷达较大的范围信息和深度相机较为丰富的局部信息，互补提高了信息的精确度，使地图模型的建立更加接近于真实隧洞环境。

Description

基于视觉-激光雷达耦合的贫纹理隧洞建模方法及系统
技术领域
本发明涉及无人机隧洞建模技术领域，尤其是涉及一种基于视觉-激光雷达耦合的贫纹理隧洞建模方法及系统。
背景技术
隧洞的检修和建模工作是地质工程安全中必不可少的一部分，关系到整个工程的正常运转。传统的隧洞建模方法一般要先到隧洞实地采集数据信息，在人无法进入的狭小区域使用无人机采集数据信息，然后利用3D建模软件将信息转换为3D模型。但是，在隧洞纹理缺失的条件下，信息的采集变得十分困难。另外，在某些狭小黑暗区域，信息采集与建模的难度进一步上升，而3D建模的质量完全依赖于原地采集的信息，因此这种方法很可能导致建模与实际场景有较大差距，建模的精确度有待提高。
SLAM(simultaneous localization and mapping)即即时定位与地图构建，可以理解为搭载特定传感器的主体，如机器人和无人机系统，在未知的环境中估计自身姿态同时建立周围环境地图。SLAM主要用于解决移动机器人在未知环境中运行时定位导航与地图构建的问题。使用无人机在隧洞中进行建模主要使用的就是SLAM算法。常用的SLAM算法有视觉SLAM、激光SLAM等，基本原理是通过相邻帧中的特征点匹配进行位姿估算和建图，在纹理缺失、画面重复性高的隧洞环境下，建模精度有待提高。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于视觉-激光雷达耦合的贫纹理隧洞建模方法及系统，融合深度相机和激光雷达进行SLAM建图，充分利用激光雷达较大的范围信息和深度相机较为丰富的局部信息，互补提高了信息的精确度，使地图模型的建立更加接近于真实隧洞环境。
本发明的目的可以通过以下技术方案来实现：
一种基于视觉-激光雷达耦合的贫纹理隧洞建模方法，通过搭载深度相机和激光雷达的无人机进行建模，包括以下步骤：
S1、获取深度相机采集的点云信息、激光雷达采集的激光信息以及无人机的运动信息；
S2、对激光信息进行滤波处理后生成栅格地图，基于运动信息得到无人机的位姿信息；
S3、采用贝叶斯融合方法将点云信息、栅格地图和位姿信息进行融合，得到地图模型；
S4、重复步骤S1至步骤S3，得到新的地图模型，基于上一时刻的地图模型，通过特征匹配对最新的地图模型进行修正，重复步骤S4，直至完成地图模型的构建。
进一步的，步骤S1之前还包括：根据深度相机和激光雷达在无人机上的位置关系，确定点云信息和激光信息之间的相对变换关系。
进一步的，激光雷达坐标系下的点云至深度相机坐标系的变换关系为：
其中，(X，Y，Z)T表示激光雷达坐标系下的坐标，(Xc，Yc，Yc)T表示深度相机坐标系下的坐标，(u，v，1)T表示深度相机成像平面上的像素坐标，r是基于深度相机和激光雷达在无人机上的位置确定的旋转矩阵，t是基于深度相机和激光雷达在无人机上的位置确定的平移矩阵，K表示深度相机的内参数矩阵。
进一步的，无人机的运动信息是由惯性测量单元IMU和里程计测量得到的，包括速度、加速度和距离；由于隧洞中GPS信号差甚至丢失，因此基于惯性测量单元IMU和里程计测量得到的运动信息，通过卡尔曼滤波融合运动信息得到无人机的位姿估计。
进一步的，步骤S4中，基于上一时刻的地图模型，通过特征匹配对最新的地图模型进行修正具体为：
S41、获取上一时刻的地图模型，作为参考帧；获取最新的地图模型，自最新的地图模型中找到与上一时刻的地图模型所对应的区域，作为当前帧；
S42、参考帧中的特征点使用{Pi}表示，当前帧中的特征点使用{Qi}表示，当前帧和参考帧中的特征点数量相同；
S43、建立帧间变化模型：
{Qi}＝R{Pi}+T
其中，R表示旋转参数，T表示平移参数；
S44、代入参考帧中的特征点和当前帧中的特征点，迭代求解旋转参数和平移参数；
S45、基于旋转参数和平移参数得到上一时刻的地图模型与最新的地图模型之间的匹配关系，对最新的地图模型进行修正。
进一步的，由于地图模型是在无人机飞行过程中构建的，两个时刻构建得到地图模型一定会存在误差。理论上，如果旋转参数和平移参数准确，那么参考帧中的每一个特征点都会与当前帧中的特征点重合，但是考虑到噪声和误差的存在，不可能做到百分百重合，因此定义目标函数；步骤S44中，迭代求解旋转参数和平移参数具体为：
将参考帧中的特征点和当前帧中的特征点代入帧间变化模型，基于帧间变化模型建立目标函数，令目标函数的函数值取最小值的旋转参数和平移参数即最终求得的旋转参数和平移参数，所述目标函数的公式为：
其中，L表示目标函数的函数值，pi表示参考帧中的一个特征点，qi表示当前帧中的一个特征点，N表示特征点的数量。
一种基于视觉-激光雷达耦合的贫纹理隧洞建模系统，采用如上所述的基于视觉-激光雷达耦合的贫纹理隧洞建模方法，包括无人机本体，其上搭载有深度相机、激光雷达、计算单元和控制器，所述控制器与深度相机、激光雷达和计算单元通信连接，在无人机飞行过程中执行以下步骤：
T1、控制器获取深度相机采集的点云信息、激光雷达采集的激光信息以及无人机的运动信息，发送至计算单元；
T2、计算单元对激光信息进行滤波处理后生成栅格地图，基于运动信息得到无人机的位姿信息；
T3、采用贝叶斯融合方法将点云信息、栅格地图和位姿信息进行融合，得到地图模型；
T4、重复步骤T1至步骤T3，得到新的地图模型，基于上一时刻的地图模型，通过特征匹配对最新的地图模型进行修正，重复步骤T4，直至完成地图模型的构建。
进一步的，步骤T4中，基于上一时刻的地图模型，通过特征匹配对最新的地图模型进行修正具体为：
T41、获取上一时刻的地图模型，作为参考帧；获取最新的地图模型，自最新的地图模型中找到与上一时刻的地图模型所对应的区域，作为当前帧；
T42、参考帧中的特征点使用{Pi}表示，当前帧中的特征点使用{Qi}表示，当前帧和参考帧中的特征点数量相同；
T43、建立帧间变化模型：
{Qi}＝R{Pi}+T
其中，R表示旋转参数，T表示平移参数；
T44、代入参考帧中的特征点和当前帧中的特征点，迭代求解旋转参数和平移参数；
T45、基于旋转参数和平移参数得到上一时刻的地图模型与最新的地图模型之间的匹配关系，对最新的地图模型进行修正。
进一步的，步骤T44中，迭代求解旋转参数和平移参数具体为：
将参考帧中的特征点和当前帧中的特征点代入帧间变化模型，基于帧间变化模型建立目标函数，令目标函数的函数值取最小值的旋转参数和平移参数即最终求得的旋转参数和平移参数，所述目标函数的公式为：
其中，L表示目标函数的函数值，pi表示参考帧中的一个特征点，qi表示当前帧中的一个特征点，N表示特征点的数量。
进一步的，所述无人机本体上还搭载有存储单元，所述存储单元与控制单元和计算单元连接，用于存储构建的地图模型。
与现有技术相比，本发明具有以下有益效果：
(1)融合深度相机和激光雷达进行SLAM建图，充分利用激光雷达较大的范围信息和深度相机较为丰富的局部信息，互补提高了信息的精确度，使地图模型的建立更加接近于真实隧洞环境。
(2)使用贝叶斯融合方法将点云信息、栅格地图和位姿信息进行融合，得到地图模型，适用于具有可加高斯噪声的不确定性信息，得到的地图模型的误差更小。
(3)最新的地图模型与前一时刻的地图模型之间通过特征点匹配的方法，计算旋转参数和平移参数，从而进行地图模型修正，进一步提升了精确度。
附图说明
图1为基于视觉-激光雷达耦合的贫纹理隧洞建模方法的流程图；
图2为SLAM的框架示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
在附图中，结构相同的部件以相同数字标号表示，各处结构或功能相似的组件以相似数字标号表示。附图所示的每一组件的尺寸和厚度是任意示出的，本发明并没有限定每个组件的尺寸和厚度。为了使图示更清晰，附图中有些地方适当夸大了部件。
实施例1：
一种基于视觉-激光雷达耦合的贫纹理隧洞建模系统，包括无人机本体，其上搭载有深度相机、激光雷达、计算单元和控制器，控制器与深度相机、激光雷达和计算单元通信连接；该建模系统采用基于视觉-激光雷达耦合的贫纹理隧洞建模方法，通过搭载深度相机和激光雷达的无人机进行建模，其基本流程如图1所示，包括以下步骤：
S1、获取深度相机采集的点云信息、激光雷达采集的激光信息以及无人机的运动信息；
S2、对激光信息进行滤波处理后生成栅格地图，基于运动信息得到无人机的位姿信息；
S3、采用贝叶斯融合方法将点云信息、栅格地图和位姿信息进行融合，得到地图模型；
S4、重复步骤S1至步骤S3，得到新的地图模型，基于上一时刻的地图模型，通过特征匹配对最新的地图模型进行修正，重复步骤S4，直至完成地图模型的构建。
无人机本体上还搭载有存储单元，存储单元与控制单元和计算单元连接，用于存储构建的地图模型。
激光雷达具有精度高、稳定性好以及获取信息范围大等特点，但获取的数据信息不够丰富；视觉传感器具有价格低、重量轻、获取环境信息丰富以及易于数据关联等优点，但存在深度估计能力差的特点，由于视觉传感器对光照变化或低纹理环境敏感，在缺乏光照和纹理特征的环境中，视觉SLAM表现较差，甚至无法完成任务。由于激光SLAM和视觉SLAM在单独使用的条件下存在一定的局限性，因此本申请考虑将二者融合进行建图，使用深度相机和激光雷达融合建图，弥补二者各自的不足，最终提高了SLAM建图的精度和鲁棒性，提高了建图的精确度和速度。
以视觉SLAM为例，SLAM框架基本如图2所示，传感器数据->前端视觉里程计->后端非线性优化->回环检测->建图。传感器数据即接收到的数据；在视觉SLAM中主要是图像信息，前端视觉里程计的任务是从获取的图像信息中，根据相邻时间上的图像信息计算出相机的运动信息，构建局部地图；后端非线性优化主要是减小视觉里程计构建的地图的误差；回环检测判断是否之前曾经达到过这个位置，主要解决位置估计随时间漂移。
由于深度相机和激光雷达的位置不一样，采集到的点云信息和激光信息处于不同的坐标系下，因此需要进行坐标变化以统一坐标。可以在无人机飞行前，通过标定的方法确定坐标的相对变化关系。即根据深度相机和激光雷达在无人机上的位置关系，确定点云信息和激光信息之间的相对变换关系。
激光雷达坐标系下的点云至深度相机坐标系的变换关系为：
其中，(X，Y，Z)T表示激光雷达坐标系下的坐标，(Xc，Yc，Yc)T表示深度相机坐标系下的坐标，(u，v，1)T表示深度相机成像平面上的像素坐标，r是基于深度相机和激光雷达在无人机上的位置确定的旋转矩阵，t是基于深度相机和激光雷达在无人机上的位置确定的平移矩阵，K表示深度相机的内参数矩阵，是固定值。
无人机的运动信息是由惯性测量单元IMU和里程计测量得到的，包括速度、加速度和距离；由于隧洞中GPS信号差甚至丢失，因此基于惯性测量单元IMU和里程计测量得到的运动信息，再通过卡尔曼滤波融合运动信息得到无人机的位姿估计。
贝叶斯估计是基于Bayes定理的条件或后验概率的统计数据融合算法，它适用于具有可加高斯噪声的不确定性信息，可以通过已知的向量，估计出未知状态下n维向量。本申请考虑了深度相机采集的点云信息、基于激光雷达构建的栅格地图以及基于运动相机得到的位姿信息，使用贝叶斯融合得到地图模型，综合考虑了深度相机和激光雷达的优缺点，并融合了无人机的运动，进一步缩小了误差。
在步骤S4中，基于上一时刻的地图模型，通过特征匹配对最新的地图模型进行修正具体为：
S41、获取上一时刻的地图模型，作为参考帧；获取最新的地图模型，自最新的地图模型中找到与上一时刻的地图模型所对应的区域，作为当前帧；
S42、参考帧中的特征点使用{Pi}表示，当前帧中的特征点使用{Qi}表示，当前帧和参考帧中的特征点数量相同；
S43、建立帧间变化模型：
{Qi}＝R{Pi}+T
其中，R表示旋转参数，T表示平移参数；
S44、代入参考帧中的特征点和当前帧中的特征点，迭代求解旋转参数和平移参数；
S45、基于旋转参数和平移参数得到上一时刻的地图模型与最新的地图模型之间的匹配关系，对最新的地图模型进行修正。
由于地图模型是在无人机飞行过程中构建的，两个时刻构建得到地图模型一定会存在误差。理论上，如果旋转参数和平移参数准确，那么参考帧中的每一个特征点都会与当前帧中的特征点重合，但是考虑到噪声和误差的存在，不可能做到百分百重合，因此定义目标函数；步骤S44中，迭代求解旋转参数和平移参数具体为：
将参考帧中的特征点和当前帧中的特征点代入帧间变化模型，基于帧间变化模型建立目标函数，令目标函数的函数值取最小值的旋转参数和平移参数即最终求得的旋转参数和平移参数，目标函数的公式为：
其中，L表示目标函数的函数值，pi表示参考帧中的一个特征点，qi表示当前帧中的一个特征点，N表示特征点的数量。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (6)

1.一种基于视觉-激光雷达耦合的贫纹理隧洞建模方法，通过搭载深度相机和激光雷达的无人机进行建模，其特征在于，包括以下步骤：
S1、获取深度相机采集的点云信息、激光雷达采集的激光信息以及无人机的运动信息；
S2、对激光信息进行滤波处理后生成栅格地图，基于运动信息得到无人机的位姿信息；
S3、采用贝叶斯融合方法将点云信息、栅格地图和位姿信息进行融合，得到地图模型；
S4、重复步骤S1至步骤S3，得到新的地图模型，基于上一时刻的地图模型，通过特征匹配对最新的地图模型进行修正，重复步骤S4，直至完成地图模型的构建；
步骤S4中，基于上一时刻的地图模型，通过特征匹配对最新的地图模型进行修正具体为：
S41、获取上一时刻的地图模型，作为参考帧；获取最新的地图模型，自最新的地图模型中找到与上一时刻的地图模型所对应的区域，作为当前帧；
S42、参考帧中的特征点使用{Pi}表示，当前帧中的特征点使用{Qi}表示，当前帧和参考帧中的特征点数量相同；
S43、建立帧间变化模型：
{Qi}＝R{Pi}+T
其中，R表示旋转参数，T表示平移参数；
S44、代入参考帧中的特征点和当前帧中的特征点，迭代求解旋转参数和平移参数；
S45、基于旋转参数和平移参数得到上一时刻的地图模型与最新的地图模型之间的匹配关系，对最新的地图模型进行修正；
步骤S44中，迭代求解旋转参数和平移参数具体为：
将参考帧中的特征点和当前帧中的特征点代入帧间变化模型，基于帧间变化模型建立目标函数，令目标函数的函数值取最小值的旋转参数和平移参数即最终求得的旋转参数和平移参数，所述目标函数的公式为：
其中，L表示目标函数的函数值，pi表示参考帧中的一个特征点，qi表示当前帧中的一个特征点，N表示特征点的数量。
2.根据权利要求1所述的基于视觉-激光雷达耦合的贫纹理隧洞建模方法，其特征在于，步骤S1之前还包括：根据深度相机和激光雷达在无人机上的位置关系，确定点云信息和激光信息之间的相对变换关系。
3.根据权利要求2所述的基于视觉-激光雷达耦合的贫纹理隧洞建模方法，其特征在于，激光雷达坐标系下的点云至深度相机坐标系的变换关系为：
其中，(X，Y，Z)T表示激光雷达坐标系下的坐标，(Xc，Yc，Yc)T表示深度相机坐标系下的坐标，(u，v，1)T表示深度相机成像平面上的像素坐标，r是基于深度相机和激光雷达在无人机上的位置确定的旋转矩阵，t是基于深度相机和激光雷达在无人机上的位置确定的平移矩阵，K表示深度相机的内参数矩阵。
4.根据权利要求1所述的基于视觉-激光雷达耦合的贫纹理隧洞建模方法，其特征在于，无人机的运动信息是由惯性测量单元IMU和里程计测量得到的，包括速度、加速度和距离；步骤S2中通过卡尔曼滤波融合运动信息得到无人机的位姿信息。
5.一种基于视觉-激光雷达耦合的贫纹理隧洞建模系统，其特征在于，采用如权利要求1-4中任一所述的基于视觉-激光雷达耦合的贫纹理隧洞建模方法，包括无人机本体，其上搭载有深度相机、激光雷达、计算单元和控制器，所述控制器与深度相机、激光雷达和计算单元通信连接，在无人机飞行过程中执行以下步骤：
T1、控制器获取深度相机采集的点云信息、激光雷达采集的激光信息以及无人机的运动信息，发送至计算单元；
T2、计算单元对激光信息进行滤波处理后生成栅格地图，基于运动信息得到无人机的位姿信息；
T3、采用贝叶斯融合方法将点云信息、栅格地图和位姿信息进行融合，得到地图模型；
T4、重复步骤T1至步骤T3，得到新的地图模型，基于上一时刻的地图模型，通过特征匹配对最新的地图模型进行修正，重复步骤T4，直至完成地图模型的构建；
步骤T4中，基于上一时刻的地图模型，通过特征匹配对最新的地图模型进行修正具体为：
T41、获取上一时刻的地图模型，作为参考帧；获取最新的地图模型，自最新的地图模型中找到与上一时刻的地图模型所对应的区域，作为当前帧；
T42、参考帧中的特征点使用{Pi}表示，当前帧中的特征点使用{Qi}表示，当前帧和参考帧中的特征点数量相同；
T43、建立帧间变化模型：
{Qi}＝R{Pi}+T
其中，R表示旋转参数，T表示平移参数；
T44、代入参考帧中的特征点和当前帧中的特征点，迭代求解旋转参数和平移参数；
T45、基于旋转参数和平移参数得到上一时刻的地图模型与最新的地图模型之间的匹配关系，对最新的地图模型进行修正；
步骤T44中，迭代求解旋转参数和平移参数具体为：
将参考帧中的特征点和当前帧中的特征点代入帧间变化模型，基于帧间变化模型建立目标函数，令目标函数的函数值取最小值的旋转参数和平移参数即最终求得的旋转参数和平移参数，所述目标函数的公式为：
其中，L表示目标函数的函数值，pi表示参考帧中的一个特征点，qi表示当前帧中的一个特征点，N表示特征点的数量。
6.根据权利要求5所述的基于视觉-激光雷达耦合的贫纹理隧洞建模系统，其特征在于，所述无人机本体上还搭载有存储单元，所述存储单元与控制单元和计算单元连接，用于存储构建的地图模型。
CN202110939893.6A 2021-08-17 2021-08-17 基于视觉-激光雷达耦合的贫纹理隧洞建模方法及系统 Active CN113763548B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110939893.6A CN113763548B (zh) 2021-08-17 2021-08-17 基于视觉-激光雷达耦合的贫纹理隧洞建模方法及系统
US17/808,117 US20230087467A1 (en) 2021-08-17 2022-06-22 Methods and systems for modeling poor texture tunnels based on vision-lidar coupling

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110939893.6A CN113763548B (zh) 2021-08-17 2021-08-17 基于视觉-激光雷达耦合的贫纹理隧洞建模方法及系统

Publications (2)

Publication Number Publication Date
CN113763548A CN113763548A (zh) 2021-12-07
CN113763548B true CN113763548B (zh) 2024-02-27

Family

ID=78789957

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110939893.6A Active CN113763548B (zh) 2021-08-17 2021-08-17 基于视觉-激光雷达耦合的贫纹理隧洞建模方法及系统

Country Status (2)

Country Link
US (1) US20230087467A1 (zh)
CN (1) CN113763548B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114689046B (zh) * 2022-05-27 2022-10-04 浙江智慧视频安防创新中心有限公司 一种无人机巡检隧道的方法与系统
CN116660916B (zh) * 2023-05-26 2024-02-02 广东省农业科学院设施农业研究所 一种用于果园移动机器人的定位方法、建图方法及电子设备
CN116823737A (zh) * 2023-06-05 2023-09-29 中铁九局集团电务工程有限公司 一种低纹理环境下隧道壁异常检测方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021035669A1 (zh) * 2019-08-30 2021-03-04 深圳市大疆创新科技有限公司 位姿预测方法、地图构建方法、可移动平台及存储介质
WO2021114764A1 (zh) * 2019-12-10 2021-06-17 亿嘉和科技股份有限公司 基于局部地图的地图修正方法及系统
CN112985416A (zh) * 2021-04-19 2021-06-18 湖南大学 激光与视觉信息融合的鲁棒定位和建图方法及系统
CN113108773A (zh) * 2021-04-22 2021-07-13 哈尔滨理工大学 一种融合激光与视觉传感器的栅格地图构建方法
CN113253297A (zh) * 2021-06-21 2021-08-13 中国人民解放军国防科技大学 融合激光雷达和深度相机的地图构建方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021035669A1 (zh) * 2019-08-30 2021-03-04 深圳市大疆创新科技有限公司 位姿预测方法、地图构建方法、可移动平台及存储介质
WO2021114764A1 (zh) * 2019-12-10 2021-06-17 亿嘉和科技股份有限公司 基于局部地图的地图修正方法及系统
CN112985416A (zh) * 2021-04-19 2021-06-18 湖南大学 激光与视觉信息融合的鲁棒定位和建图方法及系统
CN113108773A (zh) * 2021-04-22 2021-07-13 哈尔滨理工大学 一种融合激光与视觉传感器的栅格地图构建方法
CN113253297A (zh) * 2021-06-21 2021-08-13 中国人民解放军国防科技大学 融合激光雷达和深度相机的地图构建方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种融合激光与视觉传感器的栅格地图构建方法;曾键;夏益民;蔡锦炜;方祺;杨子林;蔡奕峻;;工业控制计算机(09);全文 *

Also Published As

Publication number Publication date
CN113763548A (zh) 2021-12-07
US20230087467A1 (en) 2023-03-23

Similar Documents

Publication Publication Date Title
CN109887057B (zh) 生成高精度地图的方法和装置
Dellenbach et al. Ct-icp: Real-time elastic lidar odometry with loop closure
CN113763548B (zh) 基于视觉-激光雷达耦合的贫纹理隧洞建模方法及系统
CN110068335B (zh) 一种gps拒止环境下无人机集群实时定位方法及系统
CN111156998B (zh) 一种基于rgb-d相机与imu信息融合的移动机器人定位方法
CN110044354A (zh) 一种双目视觉室内定位与建图方法及装置
CN110726406A (zh) 一种改进的非线性优化单目惯导slam的方法
CN112461210B (zh) 一种空地协同建筑测绘机器人系统及其测绘方法
CN110187375A (zh) 一种基于slam定位结果提高定位精度的方法及装置
CN111366153B (zh) 一种激光雷达与imu紧耦合的定位方法
CN111077907A (zh) 一种室外无人机的自主定位方法
CN114019552A (zh) 一种基于贝叶斯多传感器误差约束的定位置信度优化方法
CN112669354A (zh) 一种基于车辆非完整约束的多相机运动状态估计方法
CN112179338A (zh) 一种基于视觉和惯导融合的低空无人机自身定位方法
US20220057517A1 (en) Method for constructing point cloud map, computer device, and storage medium
CN116182855A (zh) 一种弱光强环境下仿复眼偏振视觉无人机组合导航方法
CN111145267A (zh) 基于imu辅助的360度全景视图多相机标定方法
CN115218889A (zh) 一种基于点线特征融合的多传感器室内定位方法
CN115015956A (zh) 一种室内无人车的激光与视觉slam系统
CN115344033A (zh) 一种基于单目相机/imu/dvl紧耦合的无人船导航与定位方法
Henawy et al. Piecewise linear de-skewing for lidar inertial odometry
CN116380057B (zh) 一种gnss拒止环境下无人机自主着陆定位方法
CN117168441B (zh) 一种多传感器融合的slam定位和重建方法及系统
CN113503872B (zh) 一种基于相机与消费级imu融合的低速无人车定位方法
CN115574816B (zh) 仿生视觉多源信息智能感知无人平台

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant