CN112396595B - 一种动态环境下基于点线特征的语义slam方法 - Google Patents

Abstract

本发明涉及一种动态环境下基于点线特征的语义SLAM方法，有如下步骤：通过语义分割网络对输入图像进行分割，获得各物体掩码，并将将动态物体的掩码部分去除，得到初步的去除动态物体后的图像；对去除先验动态的图像进行提取点特征，所述的点特征提取采用ORB特征点；对去除先验动态的RGB图片进行线特征提取，所述的线特征提取采用LSD直线特征提取；计算ORB特征点的描述子，采用快速最近邻算法进行特征点匹配；计算直线段的LBD二进制描述子，采用外观一致性验证和几何一致性验证进行线特征匹配。本发明通过点线特征和语义信息结合去除动态的方式，提高了SLAM方法在高动态的环境中运行的精度和鲁棒性，在高动态环境下精度大幅度提高。

Description

一种动态环境下基于点线特征的语义SLAM方法

技术领域

本发明涉及无人机自主巡检中基于视觉的定位与导航领域，更具体地，涉及一种动态环境下基于点线特征的语义SLAM方法。

背景技术

无人机智能巡检过程中需要无人机根据当前所处环境的实时信息、自主确定下一步操作。因此对无人机进行实时定位与工作环境建图是无人机智能巡检过程中的重要环节。尤其是在网格化布置的多无人机协同工作中，每个无人机所检测到的环境都是动态场景(包含时有时无的移动物体)，因此在定位和环境建图过程中还需针对动态场景开发专用算法。

同时定位与建图(Simultaneous Localization and Mapping,SLAM)是一种在没有任何环境先验信息的情况下，能通过传感器由相应的运动估计算法估计出当前的位置和姿态，并建立环境的三维地图的技术。随着计算机视觉和深度学习技术的发展，以及硬件计算能力的提高，基于视觉的SLAM研究不断深化，并广泛应用于自主驾驶、移动机器人和无人机等领域。

公开号为“CN110322511A”，公开日为2019年10月11日的中国专利申请文件公开了一种基于物体和平面特征的语义SLAM方法和系统，获取场景的RGB-D图像流，利用RGB-D图像流进行逐帧跟踪得到关键帧图像；利用关键帧图像构建关于场景的局部地图，对关键帧图像的深度图进行平面分割得到当前平面，利用当前平面构建全局平面地图，对关键帧图像进行物体检测，得到检测框和置信度，利用检测框和置信度重建物体的点云，将检测框中的特征点归并到物体，得到全局物体地图；利用关键帧图像进行回环检测，得到回环帧，利用回环帧进行回环修正优化平面约束与物体约束，得到场景的平面地图和物体地图。本发明可以提升SLAM优化性能，并增强对环境的语义描述。但是在上述的方法中，采用了点特征提取匹配的方式，但是点特征提取的场景信息少，一旦在缺少重复、可靠点特征的低纹理场景，可能出现初始化失败，重定位失败等问题。如果在一些高动态场景下，动态特征点被删除过多，无法找到足够多可靠的点特征匹配对，会造成系统定位精度下降，鲁棒性差等问题。

发明内容

本发明为克服上述现有技术中高动态场景下SLAM方法检测精度和鲁棒性低的问题，提供一种动态环境下基于点线特征的语义SLAM方法，通过点线特征和语义信息结合去除动态的方式和采用点线特征结合的提取特征方式，在高动态场景下具有高精度和高鲁棒性。

为解决上述技术问题，本发明采用的技术方案是：一种动态环境下基于点线特征的语义SLAM方法，包括以下步骤：

步骤一：标定相机，去除图像畸变，获得去畸变之后的图像序列；

步骤二：通过语义分割网络对输入图像进行分割，获得各物体掩码，并将将动态物体的掩码部分去除，得到初步的去除动态物体后的图像；

步骤三：对去除先验动态的图像进行提取点特征，所述的点特征提取采用ORB特征点；对去除先验动态的RGB图片进行线特征提取，所述的线特征提取采用LSD直线特征提取；

步骤四：计算ORB特征点的描述子，采用快速最近邻算法进行特征点匹配；计算直线段的LBD二进制描述子，采用外观一致性验证和几何一致性验证进行线特征匹配；

步骤五：点线特征匹配策略进行相机初始位姿估计，包括恒速模型估计、参考关键帧估计以及重定位；

步骤六：通过跟踪线程获得相机位姿；

步骤七：通过局部建图线程进行点云处理，获得稀疏点云地图；

步骤八：利用回环检测来优化位姿，更正漂移误差。

优选的，在所述步骤一中，标定相机，去除图像畸变具体的步骤为：

S1.1：首先获取相机内参，其中内参包括f_x,f_y,c_x,c_y，将三维坐标(X,Y,Z)归一化为齐次坐标(x,y)；

S1.2：去除畸变对图像的影响,其中[k₁,k₂,k₃,p₁,p₂]为该镜头的畸变系数，人为该点到坐标系原点的距离：

S1.3：将该摄像机坐标系下的坐标转到像素坐标系下：

优选的，所述语义分割网络为轻量级语义分割网络FcHarDnet。通过HDB块连接1x1的卷积来减少模型大小，该网络在相同硬件环境下，比其他的网络结构图像处理速度快30％左右。通过FcHarDnet分割出图像的潜在动态区域，并生成掩模。

优选的，ORB特征点提取的具体步骤为：

S3.1：当当点P周围有超过N个的点的灰度值I(x)与该点P的灰度值I(p)相差大于阈值ε就认为该点为目标角点，具体表示为：

通过计算质心保持特征点方向不变性，通过对原图像序列以一定比例缩放，构成图像金字塔，以保持特征点尺度不变性：同时为了使特征点在图像中均匀分布采用四叉树均匀算法；

S3.3：计算BRIEF描述子，通过二进制进行描述特征点周围的信息。

优选的，在所述步骤三中，LSD直线特征提取的具体步骤为：

S3.4：采用LSD算法线段检测算法提取特征；以设定的尺度对图像进行高斯下采样，并计算点的梯度值和方向，根据梯度值对所有点进行排序后建立状态列表，将梯度值小于阈值的点在修改状态表中进行标志；

S3.5：取出列表中梯度最大的点作为种子点，以种子点为起点，搜索周围方向一定范围内所有未改变状态的点，并修改状态标志，最后生成线段L。

优选的，在所述步骤四中，通过快速最近邻法对相邻帧中的特征点进行匹配，计算特征点之间的汉明距离，通过特征点间的相似程度进行匹配，并用采用PROSAC算法去除误匹配的特征点。

优选的，在所述步骤四中，LSD直线特征的匹配的步骤具体为：

S4.1：对线特征进行匹配，l_sj和l_mk表示特征线段和参考帧内的特征线段，

表示特征线段的角度；

S4.2：判断两线端是否匹配，具体的判断条件为：

l_sj和l_mk的LBD描述算子之间距离小于给定阈值γ；

l_sj和l_mk的方向角度差小于给定阈值

即：

l_sj和l_mk的长度近似与给定阈值

即：

l_sj线段中点到另一条线段l_mk的距离小于给定阈值

即：

优选的，在所述步骤六中，跟踪线程具体为：根据步骤五的运动模型估计当前帧位姿，根据匀速运动模型对上一帧的地图点进行跟踪，确定位姿。

优选的，通过局部建图线程进行点云处理，并通过局部BA优化，获得稀疏点云地图。

优选的，在所述步骤八中，利用词袋模型判断是否产生回环，如果产生，通过回环更正累计误差，来优化位姿。

与现有技术相比，本发明的有益效果是：本发明通过点线特征和语义信息结合去除动态的方式，提高了视觉SLAM系统在高动态的环境中运行的精度和鲁棒性，在高动态环境下精度大幅度提高。采用点线特征结合方式提取特征，使系统在缺少重复、可靠点特征的低纹理场景运行时不会出现初始化失败等情况，增加系统的鲁棒性。另外，采用轻量语义分割网络FcHarDnet提取图像语义信息，作为系统先验信息，输入图像剔除动态物体的图像序列，轻量级减少图像分割上的时间开销。为增加图像纹理信息，采用了点线特征结合的方式提取特征，使本发明在动态低纹理下保证高精度的同时保持较高的实时性。

附图说明

图1是本发明的一种动态环境下基于点线特征的语义SLAM方法的流程图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。附图中描述位置关系仅用于示例性说明，不能理解为对本专利的限制。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”“长”“短”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

下面通过具体实施例，并结合附图，对本发明的技术方案作进一步的具体描述：

实施例

如图1所示为一种动态环境下基于点线特征的语义SLAM方法的实施例，包括如下步骤：

步骤一：标定相机，去除图像畸变；获取环境图像并输入；标定相机，去除图像畸变具体的步骤为：

S1.1：首先获取相机内参，其中内参包括f_x,f_y,c_x,c_y，将三维坐标(X,Y,Z)归一化为齐次坐标(x,y)；

S1.2：去除畸变对图像的影响,其中[k₁,k₂,k₃,p₁,p₂]为该镜头的畸变系数，r为该点到坐标系原点的距离：

S1.3：将该摄像机坐标系下的坐标转到像素坐标系下：

步骤二：通过语义分割网络对输入图像进行分割，获得各物体掩码，实现初步动态分割；语义分割网络为轻量级语义分割网络FcHarDnet。通过HDB块连接1x1的卷积来减少模型大小，该网络在相同硬件环境下，比其他的网络结构图像处理速度快30％左右。通过FcHarDnet分割出图像的潜在动态区域，并生成掩模。

步骤三：对去除先验动态的图像进行提取点特征，所述的点特征提取采用ORB特征点；对去除先验动态的RGB图片进行线特征提取，所述的线特征提取采用LSD直线特征提取；具体步骤为：

S3.1：当点P周围有超过N个的点的灰度值I(x)与该点P的灰度值I(p)相差大于阈值ε就认为该点为目标角点，具体表示为：

通过计算质心保持特征点方向不变性，通过对原图像序列以一定比例缩放，构成图像金字塔，以保持特征点尺度不变性：同时为了使特征点在图像中均匀分布采用四叉树均匀算法；

S3.3：计算BRIEF描述子，通过二进制进行描述特征点周围的信息；

S3.4：采用LSD算法线段检测算法提取特征；以设定的尺度对图像进行高斯下采样，并计算点的梯度值和方向，根据梯度值对所有点进行排序后建立状态列表，将梯度值小于阈值的点在修改状态表中进行标志；

S3.5：取出列表中梯度最大的点作为种子点，以种子点为起点，搜索周围方向一定范围内所有未改变状态的点，并修改状态标志，最后生成线段L。

步骤四：计算ORB特征点的描述子，采用快速最近邻算法进行特征点匹配；计算直线段的LBD二进制描述子，采用外观一致性验证和几何一致性验证进行线特征匹配；

通过快速最近邻法对相邻帧中的特征点进行匹配，计算特征点之间的汉明距离，通过特征点间的相似程度进行匹配，并用采用PROSAC算法去除误匹配的特征点。

LSD直线特征的匹配的步骤具体为：

S4.1：对线特征进行匹配，l_sj和l_mk表示特征线段和参考帧内的特征线段，

表示特征线段的角度；

S4.2：判断两线端是否匹配，具体的判断条件为：

l_sj和l_mk的LBD描述算子之间距离小于给定阈值γ；l_sj和l_mk的方向角度差小于给定阈值

l_sj和l_mk的长度近似与给定阈值

l_sj线段中点到另一条线段l_mk的距离小于给定阈值

步骤五：点线特征匹配策略进行相机初始位姿估计，包括恒速模型估计、参考关键帧估计以及重定位；

步骤六：通过跟踪线程获得相机位姿，根据步骤五的运动模型估计当前帧位姿，根据匀速运动模型对上一帧的地图点进行跟踪，确定位姿。

步骤七：通过局部建图线程进行点云处理，并通过局部BA优化，获得稀疏点云地图；

步骤八：利用回环检测来优化位姿，更正漂移误差。利用词袋模型判断是否产生回环，如果产生，通过回环更正累计误差，来优化位姿。

本实例的有益效果：本发明通过点线特征和语义信息结合去除动态的方式，提高了视觉SLAM系统在高动态的环境中运行的精度和鲁棒性，在高动态环境下精度大幅度提高。采用点线特征结合方式提取特征，使系统在缺少重复、可靠点特征的低纹理场景运行时不会出现初始化失败等情况，增加系统的鲁棒性。另外，采用轻量语义分割网络FcHarDnet提取图像语义信息，作为系统先验信息，输入图像剔除动态物体的图像序列，轻量级减少图像分割上的时间开销。为增加图像纹理信息，采用了点线特征结合的方式提取特征，使本发明在动态低纹理下保证高精度的同时保持较高的实时性。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种动态环境下基于点线特征的语义SLAM方法，其特征在于，包括以下步骤：

步骤一：标定相机，去除图像畸变，获得去畸变之后的图像序列；

步骤二：通过语义分割网络对输入图像进行分割，获得各物体掩码，并将动态物体的掩码部分去除，得到初步的去除动态物体后的图像；

步骤三：对去除先验动态的图像进行提取点特征，所述的点特征提取采用ORB特征点；对去除先验动态的RGB图片进行线特征提取，所述的线特征提取采用LSD直线特征提取；

步骤四：计算ORB特征点的描述子，采用快速最近邻算法进行特征点匹配；计算直线段的LBD二进制描述子，采用外观一致性验证和几何一致性验证进行线特征匹配；

步骤五：点线特征匹配策略进行相机初始位姿估计，包括恒速模型估计、参考关键帧估计以及重定位；

步骤六：通过跟踪线程获得相机位姿；

步骤七：通过局部建图线程进行点云处理，获得稀疏点云地图；

步骤八：利用回环检测来优化位姿，更正漂移误差。

2.根据权利要求1所述的一种动态环境下基于点线特征的语义SLAM方法，其特征在于，在所述步骤一中，标定相机，去除图像畸变具体的步骤为：

S1.1：首先获取相机内参，其中内参包括f_x,f_y,c_x,c_y，将三维坐标(X,Y,Z)归一化为齐次坐标(x,y)；

S1.2：去除畸变对图像的影响,其中[k₁,k₂,k₃,p₁,p₂]为该镜头的畸变系数，r为该点到坐标系原点的距离：

S1.3：将该摄像机坐标系下的坐标转到像素坐标系下：

3.根据权利要求1所述的一种动态环境下基于点线特征的语义SLAM方法，其特征在于，所述语义分割网络为轻量级语义分割网络FcHarDnet。

4.根据权利要求1所述的一种动态环境下基于点线特征的语义SLAM方法，其特征在于，在所述步骤三中，ORB特征点提取的步骤为：

S3.1：当图像当点P周围有超过N个的点的灰度值I(x)与该点P的灰度值I(p)相差大于阈值ε就认为该点为目标角点，具体表示为：

S3.2：通过计算质心保持特征点方向不变性，通过对原图像序列以一定比例缩放，构成图像金字塔，以保持特征点尺度不变性：同时为了使特征点在图像中均匀分布采用四叉树均匀算法；

S3.3：计算BRIEF描述子，通过二进制进行描述特征点周围的信息。

5.根据权利要求4所述的一种动态环境下基于点线特征的语义SLAM方法，其特征在于，在所述步骤三中，LSD直线特征提取的具体步骤为：

S3.4：采用LSD算法线段检测算法提取特征；以设定的尺度对图像进行高斯下采样，并计算点的梯度值和方向，根据梯度值对所有点进行排序后建立状态列表，将梯度值小于阈值的点在修改状态表中进行标志；

S3.5：取出列表中梯度最大的点作为种子点，以种子点为起点，搜索周围方向一定范围内所有未改变状态的点，并修改状态标志，最后生成线段L。

6.根据权利要求1所述的一种动态环境下基于点线特征的语义SLAM方法，其特征在于，在所述步骤四中，通过快速最近邻法对相邻帧中的特征点进行匹配，计算特征点之间的汉明距离，通过特征点间的相似程度进行匹配，并用采用PROSAC算法去除误匹配的特征点。

7.根据权利要求6所述的一种动态环境下基于点线特征的语义SLAM方法，其特征在于，在所述步骤四中，LSD直线特征的匹配的步骤具体为：

S4.1：对线特征进行匹配，l_sj和l_mk表示特征线段和参考帧内的特征线段，

表示特征线段的角度；

S4.2：判断两线端是否匹配，具体的判断条件为：

l_sj和l_mk的LBD描述算子之间距离小于给定阈值γ；l_sj和l_mk的方向角度差小于给定阈值

l_sj和l_mk的长度近似与给定阈值

l_sj线段中点到另一条线段l_mk的距离小于给定阈值

8.根据权利要求1所述的一种动态环境下基于点线特征的语义SLAM方法，其特征在于，在所述步骤六中，跟踪线程具体为：根据步骤五的运动模型估计当前帧位姿，根据匀速运动模型对上一帧的地图点进行跟踪，确定位姿。

9.根据权利要求1所述的一种动态环境下基于点线特征的语义SLAM方法，其特征在于，通过局部建图线程进行点云处理，并通过局部BA优化，获得稀疏点云地图。

10.根据权利要求1所述的一种动态环境下基于点线特征的语义SLAM方法，其特征在于，在所述步骤八中，利用词袋模型判断是否产生回环，如果产生，通过回环更正累计误差，来优化位姿。

Images