CN111583136B - 一种救援场景下自主移动平台同时定位与建图方法 - Google Patents
一种救援场景下自主移动平台同时定位与建图方法 Download PDFInfo
- Publication number
- CN111583136B CN111583136B CN202010336146.9A CN202010336146A CN111583136B CN 111583136 B CN111583136 B CN 111583136B CN 202010336146 A CN202010336146 A CN 202010336146A CN 111583136 B CN111583136 B CN 111583136B
- Authority
- CN
- China
- Prior art keywords
- imu
- map
- pose
- camera
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000013507 mapping Methods 0.000 title claims abstract description 37
- 238000005457 optimization Methods 0.000 claims abstract description 27
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 16
- 238000000605 extraction Methods 0.000 claims abstract description 16
- 238000005259 measurement Methods 0.000 claims abstract description 14
- 238000012937 correction Methods 0.000 claims abstract description 10
- 230000001133 acceleration Effects 0.000 claims description 43
- 239000011159 matrix material Substances 0.000 claims description 40
- 239000013598 vector Substances 0.000 claims description 17
- 238000001514 detection method Methods 0.000 claims description 16
- 230000005484 gravity Effects 0.000 claims description 15
- 230000000007 visual effect Effects 0.000 claims description 15
- 238000010586 diagram Methods 0.000 claims description 13
- 230000004927 fusion Effects 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 10
- 230000015556 catabolic process Effects 0.000 claims description 7
- 238000006731 degradation reaction Methods 0.000 claims description 7
- 230000033001 locomotion Effects 0.000 claims description 7
- 238000013519 translation Methods 0.000 claims description 6
- 238000009499 grossing Methods 0.000 claims description 5
- 230000004807 localization Effects 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000000149 argon plasma sintering Methods 0.000 claims description 3
- 230000008878 coupling Effects 0.000 claims description 3
- 238000010168 coupling process Methods 0.000 claims description 3
- 238000005859 coupling reaction Methods 0.000 claims description 3
- 230000008030 elimination Effects 0.000 claims description 3
- 238000003379 elimination reaction Methods 0.000 claims description 3
- 230000010354 integration Effects 0.000 claims description 3
- 238000000691 measurement method Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000002834 transmittance Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims 1
- 238000013461 design Methods 0.000 abstract description 2
- 230000010365 information processing Effects 0.000 abstract description 2
- 238000012805 post-processing Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 7
- 239000000779 smoke Substances 0.000 description 6
- 238000005286 illumination Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000011423 initialization method Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20164—Salient point detection; Corner detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种救援场景下的自主移动平台同时定位与建图方法，本方法应用于搜救自主移动平台，可以在火灾救援现场、复杂危险事故现场等极端环境下进行定位和建图。本方法主要分为传感器信息处理、位姿估计、位姿校正三大部分。首先，对四目摄像头模组获取的全方位图像信息进行去模糊、特征提取等操作。然后，与惯性导航传感器测量信息进行融合并估计位姿，最后，进行全局位姿优化校正。本方法基于卷积神经网络设计了一种全自动、端到端的去雾方法，不需要后处理步骤，适用范围广，可同时应用于室内和自然场景的去雾中。同时，采用较稳定的基于特征点法的双目视觉SLAM方法融合IMU传感器数据进行自主移动平台的定位与建图。
Description
技术领域
本发明属于自主移动平台定位导航技术领域，涉及到一种基于多摄像头立体视觉和IMU传感器的自主移动平台在救援场景下的定位与建图方法。
背景技术
近年来，火灾、化工等特殊环境的安全问题引起越来越大的关注。火灾救援现场、复杂危险事故现场等极端环境事故突发环境具有复杂、危险系数高的特点，并且易造成光照和烟雾污染。考虑到环境的复杂性和危险性，本发明提出一种救援场景下自主移动平台定位与建图方法通过自主定位与建图对环境进行探索，并且一定程度上提高了该环境下定位与建图的鲁棒性和精度。
即时定位与地图构建(SLAM，Simultaneous Localization and Mapping)是使机器人在未知环境中自动创建地图，并根据对自身状态的估计和地图进行自定位的技术。高精度的自定位信息是自主移动平台拥有智能，进行路径规划、地图绘制等任务的前提条件。惯性导航算法具有定位精度高、自适应性强和适用环境广泛的优点，同时视觉具有传感器价格低廉、易于维护、所利用的纹理信息丰富的特点，在重定位和场景分类上具有巨大优势。结合多种传感器的优势，多传感器融合技术成为SLAM领域的研究热点。
对于基于多摄像头全方位视觉和IMU的救援场景下的定位与建图，难点在于解决随机噪声，危险下光照不均匀和烟雾影响。因此，如何解决以上问题，是解决自主移动平台应用在救援环境中定位与建图的关键问题。
发明内容
本发明的目的在于提供一种救援场景下自主移动平台同时定位与建图方法，以解决上述背景技术中提出的问题。
针对救援场景下随机噪声多，光照不均匀和烟雾情况，采用结合图像去雾预处理的全方位双目视觉和IMU联合定位与建图方法。对比SURF、ORB和SIFT特征点的性能，对左图像和右图像分别提取点、线特征，点特征采用ORB进行检测描述，线特征采用LSD进行检测，LBD进行描述。ORB描述子和LBD描述子均为256位二进制描述子，存储结构相同，为建立综合点线特征的离线字典和查询图像数据库等操作提供了便利。同时，使用一种轻量式深度学习网络进行图像去雾预处理，随后采用双目视觉结合IMU的方法进行救援场景下移动机器人的定位和建图，提高了环境中定位和建图的鲁棒性。
本发明公开一种救援场景下自主移动平台定位与建图方法，包括如下步骤：
S1、通过摄像头获取全方位图像，并对图像进行预处理，获得去雾图；
S2、将双目视觉SLAM和IMU联合初始化，先进行双目视觉初始化，然后利用双目SLAM测量的每个关键帧的位置和旋转来初始化IMU；
S3、双目相机特征提取和跟踪并估计相机位姿构建双目相机位姿图；
S4、将双目图像和IMU加速度与角速度数据进行融合，将拍摄的前后两帧图像、IMU前后两帧数据进行匹配，根据匹配结果对自身进行定位，形成局部地图，后端优化重投影误差项和IMU的时间误差项；
S5、利用双目相机位姿图和局部地图里的IMU信息通过全局BA算法进行联合优化，并实时更新相机和IMU位姿；
S6、通过全局BA算法进行实时位姿更新后，建立全局地图，从初始的关键帧开始增量地构建一个生成树；对于每一个新的关键帧进行闭环搜索，使用视觉词袋进行回环检测和相机的重定位，并利用相似性约束对位姿图进行优化。
进一步地，步骤S1中所述通过摄像头获取全方位图像，并对图像进行预处理，获得去雾图,包括：
收集自然图片作为无雾图样本，在收集到的无雾图的不同区域随机生成不同取值的透射率和大气光，并通过大气光散射模型合成人工有雾图；
让产生的有雾图无雾图对构成一组训练数据，所有数据构成训练集；
构建用于预测雾浓度图的雾天退化卷积神经网络；利用训练集训练雾天退化卷积神经网络；
输入待预测的有雾图，利用所述雾天退化卷积神经网络计算得到雾浓度图，用有雾图减去雾浓度图即得到最终的去雾图。
考虑到危险救援场景下会有大量烟雾存在，摄像头采集到的图片也会便模糊，同时，在机器人运行过程中，因为相机抖动、景物移动等原因，都会造成图像模糊。无论是特征点法还是直接法，模糊的图像输入都会直接影响视觉SLAM系统，降低系统整体的运行效率，因此需要对四目摄像头采集的图片进行去雾、去模糊处理。
进一步地，所述雾天退化卷积神经网络包括特征提取层、特征融合层和特征映射层，通过特征提取层提取有雾图的特征信息并进行下采样获得特征图；通过特征融合层将特征图放大到原图大小，同时使用短路连接融合深层信息和特征提取层中的浅层信息；通过特征映射层减少特征图的维度，并最终输出雾浓度图。由于网络结构简单网络层次少，可以将训练好的权重通过迁移学习移植到自主移动平台上。
进一步地，步骤S2中所述双目视觉初始化包括：
对摄像头进行标定得到相机的参数；
通过匹配选取两个可以作为起始两帧的初始帧，根据匹配计算两帧之间的位姿；
通过选取每个像素点的视差，组成一个视差图，设置一个和视差图相关的全局能量函数，其一般形式为
E＝Edata+Esmooth
其中，数据项Edata描述了匹配程度，一般用视差图各个像素点之间的差值的总和来表示，平滑项Esmooth描述了场景中的各种约束，一般用相邻8个像素之间差值之和来描述，数据项主要是测量像素之间的相似性问题，而平滑项是平滑像素之间的视差关系，保证相邻像素之间视差的平滑性。
通过最小化全局能量函数来求解每个像素的最优视差，然后通过左右图像之间视差来获取点云深度，进而获得点云地图。
由于自主移动平台上搭载的四目摄像头是由前后两个双目摄像头组成，可以在四目摄像头采集的全方位图像进行去雾操作的基础上，采用双目视觉和IMU联合初始化。
进一步地，步骤S2中所述利用双目SLAM测量的每个关键帧的位置和旋转来初始化IMU，包括根据多个连续帧之间的位姿信息进行陀螺仪的偏置估计，计算尺度、重力方向、速度、加速度和陀螺仪的偏置，具体步骤如下：
利用多个连续关键帧进行陀螺仪偏置估计，假设在一个常量bg的基础上加上一个微小的
改变，通过最小化旋转误差来计算陀螺仪偏置的更新量：
其中N是关键帧的个数，T表示矩阵的转置，i是指第i个关键帧，
由相机旋转/>
乘上刚体到相机的旋转变换矩阵RCB得到，R(·) BW代表IMU传感器坐标系到世界坐标系的旋转矩阵，ΔRi,i+1是两个连续关键帧预积分旋转测量，给以零初始值，上述函数通过高斯牛顿迭代，求解得到最小目标函数对应的/>
为陀螺仪的初始偏置，
利用3个连续关键帧关系，构造线性方程A3(N-2)×4X4×1＝b3(N-2)×1，其中A为系数矩阵，由IMU采集到的数据构成，b为常数项矩阵，由上述求得的初始偏置构成，X代表3个连续关键帧组成的未知数矩阵，然后通过SVD求解非齐次方程，得到尺度和重力加速度方向粗略估计，这里共有3(N-2)个方程，只有4个未知量，因此至少需要4个关键帧，
同样的，用3个连续关键帧关系，构造线性方程A3(N-2)×6X6×1＝b3(N-2)×1，其中A为系数矩阵，由IMU采集到的数据构成，b为常数项矩阵，由上述求得的初始偏置构成，X代表3个连续关键帧组成的未知数矩阵，通过SVD求解得到尺度、重力加速度方向纠正量和加速度偏置更新量，从而得到加速度偏置估计、尺度和重力方向精确估计，共有3(N-2)个方程和6个未知量，因此至少需要4个关键帧，
最终，将已知的尺度、重力方向、加速度和陀螺仪的偏置带入IMU测量模型计算出初始化关键帧的旋转RWB、位置和速度量，完成IMU初始化。其中，IMU坐标系通常由B来表示，以一定的时间间隔Δt来采样，测量IMU的加速度Wa(t)和角速度BωWB(t)，IMU测量模型为：
其中
表示在坐标系B下B相对于世界坐标系W的瞬时角速度真值，
代表IMU的角速度，bg(t)为随时间t缓慢变化的IMU内部误差，ηg(t)为重力矢量测量白噪声，Wa(t)∈R3表示W世界坐标下IMU的瞬时加速度，gW表示W坐标系下重力矢量，/>
表示在坐标系B下B相对于世界坐标系W的瞬时加速度真值，/>
代表在坐标系B下B相对于世界坐标系W的旋转矩阵的转置，ba(t)表示随时间t缓慢变化的IMU的加速度误差，ηa(t)为加速度的测量白噪声。
进一步地，步骤S3具体包括：
S3-1、通过双目相机获取左图像和右图像，分别提取点特征、线特征，点特征采用ORB算法进行检测描述，线特征采用LSD算法进行检测，LBD进行描述；
S3-2、进行相机的跟踪并估计相机位姿，得到双目相机位姿图。
进一步地，在步骤S3-1中，
所述ORB算法进行检测描述，具体包括：先利用FAST特征点检测的方法来检测角点，然后利用Harris角点的度量方法，从FAST特征点中挑选出Harris角点响应值最大的M个特征点，最后使用RANSAC算法进行ORB特征点的误匹配消除；
所述线特征采用LSD算法进行检测，LBD算法进行描述，具体包括：采用LSD对关键线特征进行提取，进行帧到帧的线特征匹配，两匹配线段的方向夹角小于φ，计算两线段的长度的比值和两线段重叠区域的长度，从而通过计算取LBD特征向量的距离最小的进行匹配。
进一步地，步骤S3-2中，
S3-2-1、如果上一帧图像跟踪成功，获得当前帧和局部地图的匹配；如果不成功则搜索附近的点云地图中的匹配点，根据寻找到的对应匹配点估计当前相机位姿；
S3-2-2、如果无法在扩大范围的情况下找到匹配点，计算当前帧的词袋向量BoW的值，匹配关键帧，采用PnP算法估计相机位姿。
进一步地，步骤S4中，
S4-1、视觉惯性局部地图耦合优化，运用局部的BA算法，通过最小化重投影误差和IMU时间误差来优化相机位姿，形成局部地图。IMU+视觉优化的是重投影误差项+IMU的时间误差项：
其中
包含当前帧的旋转、平移、速度、重力加速度偏置信息、融合后的IMU加速度偏置信息，其中，Eproj(j)代表重投影误差项，Eimu(i,j)代表IMU的时间误差项；
S4-2、跟踪局部地图，融合IMU数据，根据地图点是否被更新，采用不同的优化方式，如果地图点更新，IMU预积分误差项建立在当前帧和最近一个关键帧之间，最小化重投影误差；如果地图点未更新，优化方程建立在当前帧和上一帧。
S4-3、判断是否加入新的关键帧到局部地图。判定条件包括距离上一次关键帧的插入已经过了20帧或者局部地图构建线程空闲，当前帧至少跟踪到了50个特征点和15条空间直线，当前帧包含关键帧中的特征要少于75％，如果判定条件为真则加入新的关键帧。
进一步地，步骤S6中所述对于每一个新的关键帧进行闭环搜索，使用视觉词袋进行回环检测和相机的重定位，并利用相似性约束对位姿图进行优化，包括：
S6-1、计算当前帧的视觉词袋向量BoW，并设定初始位姿为上一帧的位姿；根据位姿和BoW词典来寻找特征匹配进行回环检测；
S6-2、回环融合，融合重复的地图点云，为了有效的闭合回环，通过本质图优化位姿图。优化过后，每个地图点云根据关键帧的校正进行变换；
S6-3、在位姿优化之后，执行全局BA算法优化，来计算整个系统最优结构和运动的结果。
本发明方法应用于搜救自主移动平台，可以在火灾救援现场、复杂危险事故现场等极端环境下进行定位和建图。本方法主要分为传感器信息处理、位姿估计、位姿校正三大部分。首先，对四目摄像头模组获取的全方位图像信息进行去模糊、特征提取等操作。然后，与惯性导航传感器测量信息进行融合并估计位姿，最后，进行全局位姿优化校正。本方法基于卷积神经网络设计了一种全自动、端到端的去雾方法，不需要后处理步骤，适用范围广，可同时应用于室内和自然场景的去雾中。同时，采用较稳定的基于特征点法的双目视觉SLAM方法融合IMU传感器数据进行自主移动平台的定位与建图。该方法通过将去雾算法和即时定位与建图方法相结合，一方面去雾算法缓解了危险环境下烟雾影响，为自主移动平台的自定位和实时对环境建图提供了保障，另一方面，即时定位与建图方法为自主移动平台在危险场景下对环境的建模和自我定位奠定了基础，同时双目SLAM中特征的提取的鲁棒性为解决救援场景下光照不均匀问题提供了保障。
附图说明
图1为系统框架示意图；
图2为本发明中整体系统的流程图；
图3为图像去雾预处理环节流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
步骤S1、通过四目摄像头获取全方位图像，并对图像进行预处理，获得去雾图。
针对救援场景下的烟雾现象，烟雾会使得图片亮度提高而饱和度降低。采用基于深度学习算法进行图像去雾处理，利用深度卷积神经网络直接对有雾图像进行端到端输出，是一种自适应的去雾方法，产生的去雾结果比较自然，且鲁棒性强，适用范围广，可同时应用于室内和自然场景的去雾中。同时，可以充分利用卷积神经网络强大的特征提取和学习能力，改进了传统去雾方法存在的纹理细节丢失，颜色失真等问题。获得去雾图的具体过程如下：
S1-1、收集自然图片作为无雾图样本，将收集到的无雾图划分为128*128大小的矩形区域，对于每个所述矩形区域，随机生成不同取值的透射率和大气光，并通过大气光散射模型合成相应无雾图的人工有雾图；将无雾图和对应的有雾图缩放到128*128大小，产生的有雾图无雾图对构成一组训练数据，所有数据构成全部的训练集；
S1-2、构建用于预测雾浓度图的雾天退化卷积神经网络。雾天退化卷积神经网络包括特征提取层、特征融合层、特征映射层，共有10层。在特征提取部分，使用4个卷积核大小为3的卷积层充分提取有雾图中的特征信息，并通过两个卷积核为1的卷积层进行两次下采样；在特征融合部分，使用两个步长为2的反卷积层将特征图放大到原图大小，同时使用短路连接融合深层信息和特征提取部分中的浅层信息；在特征映射部分，使用两个卷积核大小为1的卷积层减少特征图的维度，最终输出128*128*3的雾浓度图；
S1-3、从双目相机中获取左右图像帧数据，作为等待预测的有雾图，利用所述雾天退化卷积神经网络计算得到雾浓度图，用有雾图减去雾浓度图即得到最终的去雾图。
步骤S2、将双目视觉SLAM和IMU联合初始化，先进行双目视觉初始化，然后利用双目SLAM测量的每个关键帧的位置和旋转来初始化IMU；
由于自主移动平台上搭载的四目摄像头是由前后两个双目摄像头组成，可以在四目摄像头采集的全方位图像进行去雾操作的基础上，采用双目视觉和IMU联合初始化。先进行双目视觉初始化，然后利用双目SLAM测量的每个关键帧的位置和旋转来初始化IMU，得到较为准确的重力加速度的方向、速度、陀螺仪和加速度的偏置等参数值。
S2-1、双目立体视觉的初始化，采用针孔相机模型，分别对四目摄像头模块中的四个摄像头进行单独标定。相机坐标系到世界坐标系的对应关系如下：
其中，[dx,dy]表示像素坐标系相对于原点的平移，焦距为f单位是像素，中间量组成的矩阵K为相机内参数矩阵，现实世界中的空间点P的归一化坐标[Xc/Zc,Yc/Zc,1]T与对应的像素坐标[u,v]T。
相机坐标系下坐标Puv世界坐标系下位姿Pw的变换，由其外参数旋转矩阵R和平移向量t来描述：
其中，Z代表尺度矩阵，T代表转换矩阵，包含外参旋转矩阵R和平移矩向量t。
系统采用基于模型选择的自动初始化方法，对平面场景算法选择单应矩阵来计算，而对于非平面矩阵，选择基础矩阵计算。通过匹配选取两个可以作为起始两帧的初始帧，根据匹配计算两帧之间的位姿，然后，通过选取每个像素点的视差，组成一个视差图，设置一个和视差图相关的全局能量函数，使这个能量函数最小化，以达到求解每个像素最优视差的目的，然后通过左右图像之间视差来获取点云深度。进而获得点云地图。最后通过BA优化来初始化点云地图，完成双目立体视觉的初始化。
S2-2、运行纯视觉SLAM，利用双目SLAM测量的每个关键帧的位姿来初始化IMU，计算尺度、重力方向、速度、加速度和陀螺仪的偏置。IMU坐标系通常由B来表示，以一定的时间间隔Δt来采样，测量IMU的加速度Wa(t)和角速度BωWB(t)，IMU测量模型：
其中
表示在坐标系B下B相对于世界坐标系W的瞬时角速度真值，
代表IMU的角速度，bg(t)为随时间t缓慢变化的IMU内部误差，ηg(t)为重力矢量测量白噪声，Wa(t)∈R3表示W世界坐标下IMU的瞬时加速度，gW表示W坐标系下重力矢量，/>
表示在坐标系B下B相对于世界坐标系W的瞬时加速度真值，/>
代表在坐标系B下B相对于世界坐标系W的旋转矩阵的转置，ba(t)表示随时间t缓慢变化的IMU的加速度误差，ηa(t)为加速度的测量白噪声。
IMU的初始化包括以下几个步骤：
S2-2-1、利用多个连续关键帧进行陀螺仪偏置估计，假设在一个常量bg的基础上加上一个微小的改变，通过最小化旋转误差来计算陀螺仪偏置的更新量：
其中N是关键帧的个数，T表示矩阵的转置。上式中
由相机旋转/>
乘上刚体到相机的旋转变换矩阵RCB，R(·) BW代表IMU传感器坐标系到世界坐标系的旋转矩阵，ΔRi,i+1是两个连续关键帧预积分旋转测量。给以零初始值，上述函数通过高斯牛顿迭代，求解得到最小目标函数对应的/>
为陀螺仪的初始偏置。
S2-2-2、利用3个连续关键帧关系，构造线性方程A3(N-2)×4X4×1＝b3(N-2)×1，其中A为系数矩阵，由IMU采集到的数据构成，b为常数项矩阵，由上述求得的初始偏置构成，X代表3个连续关键帧组成的未知数矩阵，然后通过SVD求解非齐次方程，得到尺度和重力加速度方向粗略估计，这里共有3(N-2)个方程，只有4个未知量，因此至少需要4个关键帧。
S2-2-3、同样的，用3个连续关键帧关系，构造线性方程A3(N-2)×6X6×1＝b3(N-2)×1，其中A为系数矩阵，由IMU采集到的数据构成，b为常数项矩阵，由上述求得的初始偏置构成，X代表3个连续关键帧组成的未知数矩阵，通过SVD求解得到尺度、重力加速度方向纠正量和加速度偏置更新量，从而得到加速度偏置估计、尺度和重力方向精确估计，共有3(N-2)个方程和6个未知量，因此至少需要4个关键帧。此外可以根据条件数(最大奇异值和最小奇异值的比值)来检查传感器是否进行充足的运动来让所有的变量可观测到。
S2-2-4、估计速度，将已知尺度、重力方向、加速度和陀螺仪的偏置代入IMU测量模型方程计算出初始化关键帧的旋转RWB、位置和速度量，完成IMU初始化。
步骤S3、双目相机特征提取与跟踪，估计相机的位姿，构建双目相机位姿图。
S3-1、双目摄像头左图像和右图像分别提取点特征、线特征，点特征采用ORB进行检测描述，线特征采用LSD进行检测、LBD进行描述。ORB描述子和LBD描述子均为256位二进制描述子，存储结构相同，为建立综合点线特征的离线字典和查询图像数据库等操作提供了便利。
S3-1-1、采用ORB特征点来进行关键点特征提取。首先，利用FAST特征点检测的方法来检测角点，然后利用Harris角点的度量方法，从FAST特征点中挑选出Harris角点响应值最大的N个特征点。特征点描述选择BRIEF作为特征描述方法，但在此基础上加上了旋转不变性。
S3-1-2、帧到帧的点特征匹配，使用RANSAC算法进行ORB特征点的误匹配消除。将运动平滑度封装起来，作为局域对之间的具有一定数量的特征匹配的统计可能性。进一步消除高噪声条件下特征点误匹配。
S3-1-3、关键线特征提取，线特征采用LSD进行检测、LBD进行描述。LSD是一种局部提取直线的算法，速度比Hough要快，它能在线性的时间内得出亚像素级精度的检测结果。该算法被设计成可以在任何数字图像上都无需参数调节。它可以自己控制误检的数量：平均而言，每张图有一个误检。LBD描述子则在尺度空间里提取线段，这样可以使匹配算法对尺度变化更具有鲁棒性，使用LBD描述符，描述线段的局部外观，在构建线段对关系图的时候，结合线段的局部外观和几何约束两种特征。
S3-1-4、帧到帧的线特征匹配，由于LSD检测的线段具有方向性，两匹配线段的方向夹角小于φ，计算两线段的长度的比值和两线段重叠区域的长度，从而通过计算取LBD特征向量的距离最小的进行匹配。
S3-2、进行相机的跟踪并估计相机位姿。基于双目视觉传感器，采用PnP算法进行相机位姿估计。
S3-2-1、如果上一帧图像跟踪成功，获得当前帧和局部地图的匹配。如果不成功则搜索附近的点云地图中的匹配点，根据寻找到的对应匹配点估计当前相机位姿。
S3-2-2、如果无法在附近的地图点云中找到匹配点，计算当前帧词袋向量BoW的值，匹配关键帧，并采用PnP算法估计相机位姿。
步骤4、将双目图像和IMU加速度与角速度数据进行融合，将拍摄的前后两帧图像、IMU前后两帧数据进行匹配，根据匹配结果对自身进行定位，形成局部地图，后端优化重投影误差项和IMU的时间误差项。
S4-1、视觉惯性局部地图耦合优化，运用局部的BA算法，通过最小化重投影误差和IMU时间误差来优化相机位姿，形成局部地图。IMU+视觉优化的是重投影误差项+IMU的时间误差项：
其中
包含当前帧的旋转、平移、速度、重力加速度偏置信息、融合后的IMU加速度偏置信息，其中，Eproj(j)代表重投影误差项，Eimu(i,j)代表IMU的时间误差项。
S4-2、跟踪局部地图，融合IMU数据，根据地图点是否被更新，采用不同的优化方式，如果地图点更新，IMU预积分误差项建立在当前帧和最近一个关键帧之间，最小化重投影误差；如果地图点未更新，优化方程建立在当前帧和上一帧。
S4-3、判断是否加入新的关键帧到局部地图。判定条件包括距离上一次关键帧的插入已经过了20帧或者局部地图构建线程空闲，当前帧至少跟踪到了50个特征点和15条空间直线，当前帧包含关键帧中的特征要少于75％，如果判定条件为真则加入新的关键帧。
步骤S5、利用双目相机位姿图和局部地图里的IMU信息通过全局BA算法进行联合优化，并实时更新相机和IMU位姿；
步骤S6、通过全局BA算法进行实时位姿更新后，建立全局地图，从初始的关键帧开始增量地构建一个生成树；对于每一个新的关键帧进行闭环搜索，使用视觉词袋进行回环检测和相机的重定位，并利用相似性约束对位姿图进行优化来确保全局地图的一致性。
对于每一个新的关键帧进行闭环搜索，使用视觉词袋进行回环检测和相机的重定位，并利用相似性约束对位姿图进行优化，包括：
S6-1、计算当前帧的视觉词袋向量BoW，并设定初始位姿为上一帧的位姿；根据位姿和BoW词典来寻找特征匹配进行回环检测；
S6-2、回环融合，融合重复的地图点云，为了有效的闭合回环，通过本质图优化位姿图。优化过后，每个地图点云根据关键帧的校正进行变换；
S6-3、在位姿优化之后，执行全局BA算法优化，来计算整个系统最优结构和运动的结果。
系统分为四个线程，其中第一与第二线程并行计算，第三线程顺序执行。第一线程为对四目摄像头模组采集的RGB图像进行通过卷积神经网络进行去雾操作，并在无雾图上进行点、线特征提取，初始化相机；第二线程为IMU数据的采集、滤波，并对IMU数据进行预积分用于和图像数据进行时空配准；第三线程则完成位姿的估计，通过融合后的图像数据和IMU数据信息进行最小化重投影误差和时间误差操作；第四线程确保全局地图的一致性，利用相似性约束对位姿图进行优化，执行全局BA算法，来计算整个系统最优结构和运动的结果。
为了使得本发明的解释更简单化，已将上述的图文描述为一系列步骤，但是应该理解并领会，这些方法不受操作的次序所限制，因为按照一个或多个步骤进行实施，一些动作可按不同的顺序发生，但本领域技术人员可以理解其动作发生的原理。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (9)
1.一种救援场景下自主移动平台同时定位与建图方法，其特征在于，包括如下步骤：
S1、通过摄像头获取全方位图像，并对图像进行预处理，获得去雾图；
S2、将双目视觉SLAM和IMU联合初始化，先进行双目视觉初始化，然后利用双目SLAM测量的每个关键帧的位置和旋转来初始化IMU；所述利用双目SLAM测量的每个关键帧的位置和旋转来初始化IMU，包括根据多个连续帧之间的位姿信息进行陀螺仪的偏置估计，计算尺度、重力方向、速度、加速度和陀螺仪的偏置，具体步骤如下：
利用多个连续关键帧进行陀螺仪偏置估计，假设在一个常量bg的基础上加上一个微小的
改变，通过最小化旋转误差来计算陀螺仪偏置的更新量：
其中N是关键帧的个数，T表示矩阵的转置，i是指第i个关键帧，
R(·) WB由相机旋转/>
乘上刚体到相机的旋转变换矩阵RCB得到，R(·) BW代表IMU传感器坐标系到世界坐标系的旋转矩阵，ΔRi,i+1是两个连续关键帧预积分旋转测量，给以零初始值，函数通过高斯牛顿迭代，求解得到最小目标函数对应的/>
为陀螺仪的初始偏置，
利用3个连续关键帧关系，构造线性方程A3(N-2)×4X4×1＝b3(N-2)×1，其中A为系数矩阵，由IMU采集到的数据构成，b为常数项矩阵，由求得的初始偏置构成，X代表3个连续关键帧组成的未知数矩阵，然后通过SVD求解非齐次方程，得到尺度和重力加速度方向粗略估计，这里共有3(N-2)个方程，只有4个未知量，因此至少需要4个关键帧，
同样的，用3个连续关键帧关系，构造线性方程A3(N-2)×6X6×1＝b3(N-2)×1，其中A为系数矩阵，由IMU采集到的数据构成，b为常数项矩阵，由求得的初始偏置构成，X代表3个连续关键帧组成的未知数矩阵，通过SVD求解得到尺度、重力加速度方向纠正量和加速度偏置更新量，从而得到加速度偏置估计、尺度和重力方向精确估计，共有3(N-2)个方程和6个未知量，因此至少需要4个关键帧，
最终，将已知的尺度、重力方向、加速度和陀螺仪的偏置带入IMU测量模型计算出初始化关键帧的旋转RWB、位置和速度量，完成IMU初始化，其中，IMU坐标系通常由B来表示，以一定的时间间隔Δt来采样，测量IMU的加速度Wa(t)和角速度BωWB(t)，IMU测量模型为：
其中
表示在坐标系B下B相对于世界坐标系W的瞬时角速度真值，BωWB(t)代表IMU的角速度，bg(t)为随时间t缓慢变化的IMU内部误差，ηg(t)为重力矢量测量白噪声，Wa(t)∈R3表示W世界坐标下IMU的瞬时加速度，gW表示W坐标系下重力矢量，/>
表示在坐标系B下B相对于世界坐标系W的瞬时加速度真值，/>
代表在IMU坐标系B下B相对于世界坐标系W的旋转矩阵的转置，ba(t)表示随时间t缓慢变化的IMU的加速度误差，ηa(t)为加速度的测量白噪声；
S3、双目相机特征提取和跟踪并估计相机位姿构建双目相机位姿图；
S4、将双目图像和IMU加速度与角速度数据进行融合，将拍摄的前后两帧图像、IMU前后两帧数据进行匹配，根据匹配结果对自身进行定位，形成局部地图，后端优化重投影误差项和IMU的时间误差项；
S5、利用双目相机位姿图和局部地图里的IMU信息通过全局BA算法进行联合优化，并实时更新相机和IMU位姿；
S6、通过全局BA算法进行实时位姿更新后，建立全局地图，从初始的关键帧开始增量地构建一个生成树；对于每一个新的关键帧进行闭环搜索，使用视觉词袋进行回环检测和相机的重定位，并利用相似性约束对位姿图进行优化。
2.根据权利要求1所述的一种救援场景下自主移动平台同时定位与建图方法，其特征在于，步骤S1中所述通过摄像头获取全方位图像，并对图像进行预处理，获得去雾图,包括：
收集自然图片作为无雾图样本，在收集到的无雾图的不同区域随机生成不同取值的透射率和大气光，并通过大气光散射模型合成人工有雾图；
让产生的有雾图无雾图对构成一组训练数据，所有数据构成训练集；
构建用于预测雾浓度图的雾天退化卷积神经网络；利用训练集训练雾天退化卷积神经网络；
输入待预测的有雾图，利用所述雾天退化卷积神经网络计算得到雾浓度图，用有雾图减去雾浓度图即得到最终的去雾图。
3.根据权利要求2所述的一种救援场景下自主移动平台同时定位与建图方法，其特征在于，所述雾天退化卷积神经网络包括特征提取层、特征融合层和特征映射层，通过特征提取层提取有雾图的特征信息并进行下采样获得特征图；通过特征融合层将特征图放大到原图大小，同时使用短路连接融合深层信息和特征提取层中的浅层信息；通过特征映射层减少特征图的维度，并最终输出雾浓度图。
4.根据权利要求1所述的一种救援场景下自主移动平台同时定位与建图方法，其特征在于，步骤S2中所述双目视觉初始化包括：
对摄像头进行标定得到相机的参数；
通过匹配选取两个可以作为起始两帧的初始帧，根据匹配计算两帧之间的位姿；
通过选取每个像素点的视差，组成一个视差图，设置一个和视差图相关的全局能量函数E，其一般形式为
E＝Edata+Esmooth
其中，数据项Edata描述了匹配程度，一般用视差图各个像素点之间的差值的总和来表示，平滑项Esmooth描述了场景中的各种约束，一般用相邻8个像素之间差值之和来描述，数据项主要是测量像素之间的相似性问题，而平滑项是平滑像素之间的视差关系，
通过最小化全局能量函数E来求解每个像素的最优视差，然后通过左右图像之间视差来获取点云深度，进而获得点云地图；
通过BA优化来初始化点云地图，完成双目立体视觉的初始化。
5.根据权利要求1所述的一种救援场景下自主移动平台同时定位与建图方法，其特征在于，步骤S3具体包括：
S3-1、通过双目相机获取左图像和右图像，分别提取点特征、线特征，并分别进行点特征匹配和线特征匹配，点特征采用ORB算法进行检测，BRIEF进行描述，线特征采用LSD算法进行检测，LBD进行描述；
S3-2、进行相机的跟踪并估计相机位姿，得到双目相机位姿图。
6.根据权利要求1所述的一种救援场景下自主移动平台同时定位与建图方法，其特征在于，在步骤S3-1中，
所述ORB算法进行检测描述，具体包括：先利用FAST特征点检测的方法来检测角点，然后利用Harris角点的度量方法，从FAST特征点中挑选出Harris角点响应值最大的M个特征点，所述点特征匹配算法使用RANSAC算法进行ORB特征点的误匹配消除；
所述线特征采用LSD算法进行检测，LBD算法进行描述，并进行线特征匹配，具体包括：采用LSD对关键线特征进行提取，LBD算法进行描述，然后进行帧到帧的线特征匹配，两匹配线段的方向夹角小于φ，计算两线段的长度的比值和两线段重叠区域的长度，从而通过计算取LBD特征向量的距离最小的进行匹配。
7.根据权利要求1所述的一种救援场景下自主移动平台同时定位与建图方法，其特征在于，步骤S3-2中，
S3-2-1、如果上一帧图像跟踪成功，获得当前帧和局部地图的匹配；如果不成功则搜索附近的点云地图中的匹配点，根据寻找到的对应匹配点估计当前相机位姿；
S3-2-2、如果无法在扩大范围的情况下找到匹配点，计算当前帧的词袋向量BoW的值，匹配关键帧，采用PnP算法估计相机位姿。
8.根据权利要求1所述的一种救援场景下自主移动平台同时定位与建图方法，其特征在于，步骤S4包括：
S4-1、视觉惯性局部地图耦合优化，运用局部的BA算法，通过最小化重投影误差和IMU时间误差来优化相机位姿，形成局部地图，IMU和视觉融合后，优化的是重投影误差项+IMU的时间误差项：
其中
包含当前帧的旋转、平移、速度、重力加速度偏置信息、融合后IMU的加速度偏置，其中，Eproj(j)代表重投影误差项，Eimu(i,j)代表IMU的时间误差项；
S4-2、跟踪局部地图，融合IMU数据，根据地图点是否被更新，采用不同的优化方式，如果地图点更新，IMU预积分误差项建立在当前帧和最近一个关键帧之间，最小化重投影误差；如果地图点未更新，最小化重投影误差建立在当前帧和上一帧；
S4-3、判断是否加入新的关键帧到局部地图，判定条件包括距离上一次关键帧的插入已经过了20帧或者局部地图构建线程空闲，当前帧至少跟踪到了50个特征点和15条空间直线，当前帧包含关键帧中的特征要少于75％，如果判定条件为真则加入新的关键帧。
9.根据权利要求1所述的一种救援场景下自主移动平台同时定位与建图方法，其特征在于，步骤S6中所述对于每一个新的关键帧进行闭环搜索，使用视觉词袋进行回环检测和相机的重定位，并利用相似性约束对位姿图进行优化，包括：
S6-1、计算当前帧的视觉词袋向量BoW，并设定初始位姿为上一帧的位姿；根据位姿和BoW词典来寻找特征匹配进行回环检测；
S6-2、回环融合，融合重复的地图点云，为了有效的闭合回环，通过本质图优化位姿图；优化过后，每个地图点云根据关键帧的校正进行变换；
S6-3、在位姿优化之后，执行全局BA算法优化，来计算整个系统最优结构和运动的结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010336146.9A CN111583136B (zh) | 2020-04-25 | 2020-04-25 | 一种救援场景下自主移动平台同时定位与建图方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010336146.9A CN111583136B (zh) | 2020-04-25 | 2020-04-25 | 一种救援场景下自主移动平台同时定位与建图方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111583136A CN111583136A (zh) | 2020-08-25 |
| CN111583136B true CN111583136B (zh) | 2023-05-23 |
Family
ID=72120634
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010336146.9A Active CN111583136B (zh) | 2020-04-25 | 2020-04-25 | 一种救援场景下自主移动平台同时定位与建图方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111583136B (zh) |
Families Citing this family (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112085794B (zh) * | 2020-09-11 | 2022-05-17 | 中德（珠海）人工智能研究院有限公司 | 空间定位方法及应用该空间定位方法的三维重建方法 |
| CN112146647B (zh) * | 2020-09-11 | 2022-11-15 | 珠海一微半导体股份有限公司 | 一种地面纹理的双目视觉定位方法及芯片 |
| CN112149567A (zh) * | 2020-09-23 | 2020-12-29 | 中国科学院长春光学精密机械与物理研究所 | 一种海上目标检测方法、装置及设备 |
| CN112162559B (zh) * | 2020-09-30 | 2021-10-15 | 杭州海康机器人技术有限公司 | 用于多机器人混行的方法、装置及存储介质 |
| CN112200869B (zh) * | 2020-10-09 | 2023-12-19 | 浙江大学 | 一种基于点线特征的机器人全局最优视觉定位方法及装置 |
| CN112697158A (zh) * | 2020-12-03 | 2021-04-23 | 南京工业大学 | 一种用于室内外场景的人为回环即时定位和建图方法及系统 |
| CN112509006A (zh) * | 2020-12-11 | 2021-03-16 | 北京华捷艾米科技有限公司 | 一种子地图恢复融合方法及装置 |
| CN112686105B (zh) * | 2020-12-18 | 2021-11-02 | 云南省交通规划设计研究院有限公司 | 一种基于视频图像多特征融合的雾浓度等级识别方法 |
| CN112509051A (zh) * | 2020-12-21 | 2021-03-16 | 华南理工大学 | 一种基于仿生学的自主移动平台环境感知与建图方法 |
| CN112731503B (zh) * | 2020-12-25 | 2024-02-09 | 中国科学技术大学 | 一种基于前端紧耦合的位姿估计方法及系统 |
| CN112767546B (zh) * | 2021-01-22 | 2022-08-02 | 湖南大学 | 移动机器人基于双目图像的视觉地图生成方法 |
| CN113012196B (zh) * | 2021-03-05 | 2023-03-24 | 华南理工大学 | 一种基于双目相机与惯导传感器信息融合的定位方法 |
| CN113063432B (zh) * | 2021-04-13 | 2023-05-09 | 清华大学 | 一种烟雾环境下的可见光视觉导航方法 |
| CN113140040B (zh) * | 2021-04-26 | 2024-09-17 | 北京天玛智控科技股份有限公司 | 一种多传感器融合的煤矿井下空间定位及建图方法与装置 |
| CN113298692B (zh) * | 2021-05-21 | 2024-04-16 | 北京索为云网科技有限公司 | 基于移动端浏览器实现实时设备位姿解算的增强现实方法 |
| CN113358112B (zh) * | 2021-06-03 | 2023-01-17 | 北京超星未来科技有限公司 | 一种地图构建方法及一种激光惯性里程计 |
| CN113793378B (zh) * | 2021-06-21 | 2023-08-11 | 紫东信息科技(苏州)有限公司 | 基于层次分组的语义slam对象关联和位姿更新方法及系统 |
| CN113706626B (zh) * | 2021-07-30 | 2022-12-09 | 西安交通大学 | 一种基于多传感器融合及二维码校正的定位与建图方法 |
| CN114359388A (zh) * | 2022-01-06 | 2022-04-15 | 闽都创新实验室 | 一种基于dnn立体匹配模块的双目视觉slam稠密建图方法 |
| CN114596360B (zh) * | 2022-02-22 | 2023-06-27 | 北京理工大学 | 一种基于图拓扑的双阶段主动即时定位与建图算法 |
| CN114519472B (zh) * | 2022-04-20 | 2022-07-22 | 南京信息工程大学 | 一种基于三维模型的应急管理监测方法 |
| CN116147618B (zh) * | 2023-01-17 | 2023-10-13 | 中国科学院国家空间科学中心 | 一种适用动态环境的实时状态感知方法及系统 |
| CN116468858B (zh) * | 2023-06-19 | 2023-08-15 | 中色蓝图科技股份有限公司 | 一种基于人工智能的地图融合方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109307508A (zh) * | 2018-08-29 | 2019-02-05 | 中国科学院合肥物质科学研究院 | 一种基于多关键帧的全景惯导slam方法 |
| CN109781092A (zh) * | 2019-01-19 | 2019-05-21 | 北京化工大学 | 一种危险化工事故中移动机器人定位与建图方法 |
| CN110044354A (zh) * | 2019-03-28 | 2019-07-23 | 东南大学 | 一种双目视觉室内定位与建图方法及装置 |
-
2020
- 2020-04-25 CN CN202010336146.9A patent/CN111583136B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109307508A (zh) * | 2018-08-29 | 2019-02-05 | 中国科学院合肥物质科学研究院 | 一种基于多关键帧的全景惯导slam方法 |
| CN109781092A (zh) * | 2019-01-19 | 2019-05-21 | 北京化工大学 | 一种危险化工事故中移动机器人定位与建图方法 |
| CN110044354A (zh) * | 2019-03-28 | 2019-07-23 | 东南大学 | 一种双目视觉室内定位与建图方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111583136A (zh) | 2020-08-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111583136B (zh) | 一种救援场景下自主移动平台同时定位与建图方法 | |
| CN112258618B (zh) | 基于先验激光点云与深度图融合的语义建图与定位方法 | |
| Sarlin et al. | Back to the feature: Learning robust camera localization from pixels to pose | |
| CN111968129B (zh) | 具有语义感知的即时定位与地图构建系统及方法 | |
| CN109166149B (zh) | 一种融合双目相机与imu的定位与三维线框结构重建方法与系统 | |
| Huang et al. | Visual odometry and mapping for autonomous flight using an RGB-D camera | |
| CN111311666B (zh) | 一种融合边缘特征和深度学习的单目视觉里程计方法 | |
| Won et al. | Sweepnet: Wide-baseline omnidirectional depth estimation | |
| CN109781092B (zh) | 一种危险化工事故中移动机器人定位与建图方法 | |
| CN109815847B (zh) | 一种基于语义约束的视觉slam方法 | |
| CN103886107B (zh) | 基于天花板图像信息的机器人定位与地图构建系统 | |
| Barfoot et al. | Into darkness: Visual navigation based on a lidar-intensity-image pipeline | |
| CN205426175U (zh) | 一种融合车载多传感器的slam装置 | |
| CN112734765A (zh) | 基于实例分割与多传感器融合的移动机器人定位方法、系统及介质 | |
| CN111862673A (zh) | 基于顶视图的停车场车辆自定位及地图构建方法 | |
| CN111798373A (zh) | 一种基于局部平面假设及六自由度位姿优化的快速无人机图像拼接方法 | |
| CN112949452B (zh) | 一种基于多任务共享网络的机器人弱光环境抓取检测方法 | |
| CN109900274B (zh) | 一种图像匹配方法及系统 | |
| CN112767546B (zh) | 移动机器人基于双目图像的视觉地图生成方法 | |
| CN115115859A (zh) | 基于无人机航拍的长线性工程施工进度智能识别与分析方法 | |
| CN111998862A (zh) | 一种基于bnn的稠密双目slam方法 | |
| CN111145255A (zh) | 一种结合深度学习和几何优化的位姿计算方法和系统 | |
| CN112541423A (zh) | 一种同步定位与地图构建方法和系统 | |
| CN117367427A (zh) | 一种适用于室内环境中的视觉辅助激光融合IMU的多模态slam方法 | |
| Wang et al. | Edge-based monocular thermal-inertial odometry in visually degraded environments |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |