CN108681711A - 一种面向移动机器人的自然路标提取方法 - Google Patents

Abstract

本发明创造涉及智能机器人导航领域，特别是一种面向移动机器人的自然路标提取方法。该方法首先利用图像熵理论自适应选取平滑因子平滑图像，随后在对立色彩空间上，利用频域显著性计算方法得到三通道色彩空间的显著图，并对其进行加权融合。同时考虑到路标一致性和噪声的因素，利用优化的聚类结果，对最终的显著图进行掩膜操作，筛选出可供机器人导航应用的自然路标，本方法仅通过在视觉注意算法提取的显著路标区域来进行后续特征提取与匹配，在提供有效地机器人导航所需路标信息的同时，间接降低了特征提取的复杂性，提升导航系统性能。

Description

一种面向移动机器人的自然路标提取方法

技术领域

本发明创造涉及智能机器人导航领域，特别是一种面向移动机器人的自然路标提取方法。

背景技术

路标检测提取是移动机器人场景认知与导航的重要前提。机器人所使用的路标可分为人工路标和自然路标两类。其中，人工路标多是指经过特殊设计的颜色或纹理结构信息图案，也包括数字、字母以及二维条码等。这些图案一般都是用纸片打印制作，通过环境光照明使移动机器人摄像机感光成像，容易受环境光照变化的影响，稳定性较差，其存在也对原始环境有所改变，具有一定的局限性。

自然路标是指利用环境中原有的场景作为标记进行定位导航。常规做法包括利用地图几何特征，抽取Voronoi图交叉点作为显著地点；从激光测距与视觉等传感器提取环境中门框、告示牌、物品等标志物体，并从物体特征中学习地点模型等。上述方法的优点是不破坏原有环境，普适性好，但计算复杂、鲁棒性不强。

究其原因，主要是因为自然路标的检测和提取比较复杂，常需要保存机器人视野中的所有图像信息，然后进行特征的提取，存储，检测，匹配等。考虑到一个典型的室内场景图像中往往存在太多的特征点，或者在室内导航过程中，检测到数据库中存在类似的场景，再加上局部特征点维度等种种因素，往往会导致应用所需的计算复杂度过高。为了解决上述问题，有前人将聚类方法引入路标识别上来，取得了一定的效果。然而，由于此类方法依然是在整幅图像上提取特征，还是存在较大的计算量。同时，如果场景图像发生动态变化，基于聚类的结果往往也会存在稳定性不够的缺陷。因此，如何选择有意义的场景并兼顾环境拓扑特征稀疏分布性日益成为了一个重要的问题。

发明创造内容

鉴于上述问题，本发明提出一种面向移动机器人导航的自然路标提取方法。不同于在整个图像场景提取和匹配视觉特征，本方法仅通过在视觉注意算法提取的显著路标区域来进行后续特征提取与匹配，在提供有效地机器人导航所需路标信息的同时，间接降低了特征提取的复杂性，提升导航系统性能。

实现本发明创造目的的技术方案如下：

1.一种面向移动机器人导航的自然路标的提取方法，其特征在于，包括以下步骤：

1).对图像的平滑处理，包括：首先计算图像熵值，并根据熵值确定平滑系数，再根据梯度最小化算法对图像进行平滑处理；

2).对经过步骤1得到的平滑图像进行显著区域的提取，包括通过高斯差分带通滤波器对图像进行滤波，再在滤波后的图像上，分别在对立色彩颜色空间计算像素的显著性，并得到相应通道显著图，所述的对立色彩颜色包括I、RG和BY；

3).对经过步骤2得到的通道显著图，包括计算各个通道显著图的平均显著值，并统计超过该通道显著图上平均显著值的像素数量百分比，根据上述百分比，计算各个通道显著图的加权系数，再通过归一化计算得到整体图像的显著图；

4).对经过步骤3得到的整体图像的显著图，基于颜色直方图的像素点个数进行聚类，然后据此进行分割；

5).对经过步骤4得到的分割后的显著图，结合步骤3后得到的整体图像的显著图，两者进行掩膜操作，得到多个整体图像的显著图和分隔后图像显著图的交集；

6).对经过步骤5得到的交集，计算交集中每个交集图像的显著值和自适应阈值，并对比显著值和自适应阈值，当交集图像的显著值大于自适应阈值，则保留该交集图像，反之则丢弃。

进一步的，步骤1中，所述的平滑系数根据图像熵值自适应选定，所述的熵值计算公式为：

其中，p_v是图像强度v的直方图形式概率表示；

所述的平滑系数计算公式为：λ＝0.005*H，其中λ表示平滑系数；

所述的梯度最小化算法公式为：min_f∑_p(f_p-g_p)²+λ·c(f)。

进一步的，步骤2中，通过高斯差分带通滤波器滤波，在平滑图像上保留鲁棒性稳定的自然路标区域，所述的高斯分差公式为：

其中，σ₁和σ₂是对应高斯的标准差(σ₁＞σ₂)。

进一步的，所述的高斯分差公式至少有2个，且当多于2个时，每2个之间的高斯分差公式可以联合成：

进一步的，所述各个通道显著图的加权系数算法为：

其中其中N是每各个通道显著图上平均显著值的像素数量百分比，r是参考系数；

所述的归一化计算算法为：S_gs＝Norm(∑W_I·S_I，W_RG·S_RG，W_BY·S_BY)。

进一步的，所述的r值取0.3。

进一步的，步骤6中，所述的交集图像的显著值计算算法为：

其中|r_k|代表分割区域的像素面积，m_i，j代表区域中所有的显著值；所述自适应阈值的计算算法为：其中，W和H是显著图的宽度和高度，S(x，y)是对应坐标(x,y)点的显著值。

采用上述结构后，本发明创造的有益效果是：

不同于在整个图像场景提取和匹配视觉特征，本方法仅通过在视觉注意算法提取的显著路标区域来进行后续特征提取与匹配，在提供有效地机器人导航所需路标信息的同时，间接降低了特征提取的复杂性，提升导航系统性能。

附图说明

图1为本发明创造的流程示意图。

图2为本发明创造的对立颜色空间各个通道显著图。

图3为实施方式中实验场景示意图。

图4为实施方式中显著图显著像素区域检测结果对比图。

图5为实施方式中图书馆场景不同方法导航轨迹图。

图6为实施方式中不同方法导航效率对比图。

具体实施方式

下面结合附图和具体实施方式对本发明创造作进一步详细的说明。

一种面向移动机器人导航的自然路标提取方法，如图1，如包括：

步骤1：利用图像的熵理论自适应选取平滑因子，并对图像进行平滑。

本发明利用L₀梯度最小化算法来进行图像平滑，该算法是一种基于稀疏策略的全局平滑滤波器，具有通过去除小的非零梯度，抚平不重要的细节信息，以及增强图像显著性边缘的优点。其中算法中用于约束图像水平和垂直方向梯度数目的核心公式如下所示：

min_f∑_p(f_p-g_p)²+λ·c(f)

其中λ在式中是平滑系数，λ值越大，图像越平滑。相应的，图像细节保留的就越少。

在采用该方式进行图像平滑操作时，由于平滑系数λ需要人工设定，这样往往就需要针对固定的场景图像进行反复测试才能找到最佳的值，一旦更换了机器人运动场景，则需要重新测试。联想到实际的场景应用，每个场景里的图片数量都比较多，同时每张图片的复杂度又都不尽相同，因此人工设定平滑参数方式缺乏实际可操作性。

考虑到背景单一的图像需要平滑的程度较小，复杂图像则需要较大的平滑力度，因此如果能够大致衡量出单张图像的内容复杂度，就可以依据此来设计对应的平滑系数，达到自适应平滑的目的。

发明中提出一种基于图像熵理论的自动计算平滑参数的方法。图像熵是一种图像特征的统计形式，熵值可以用于衡量图像的信息复杂度。由于在图像中，背景区域往往拥有统一的纹理信息，因此熵是确定的。前景目标出现后，它就破坏了背景的纹理结构的特性，从而引起了图像熵的变化。通常物体所在区域的熵值会比较大，而背景则具有一致性的特点。发明中采用下式计算单张图像的熵值：

其中，p_v是图像强度v的直方图形式概率表示。在实际的计算中，根据经验将图像熵值映射到[0,9]之间，同时为了避免过度平滑现象，本发明采用λ＝0.005*H来计算最终的平滑系数值。

步骤2，包括通过高斯差分带通滤波器对图像进行滤波，再在滤波后的图像上，分别在对立色彩颜色空间计算像素的显著性，并得到相应通道显著图。

对于移动机器人导航应用环境，一个鲁棒性稳定的自然路标区域，应满足以下5点要求：

1.区域所占图像的比例尺寸上有一定的要求，不能太小，也不能过大。

2.能够均匀突出显示整个路标区域。

3.具有明确的对象边界。

4.忽略由纹理，噪声引起的高频块效应。

5.有效输出全分辨率显著图。

根据上述理论，并结合图像频域信息特性，如果设Wlt为低频阈值，Wht为高频阈值。为了满足第一点，强调最大的显著性目标，那么Wlt必须非常小，这也同时满足第二点要求，强调整体显著性区域。另外，为了很好的定义显著性目标的边界，也需要保留高频部分，满足第三个要求。同时，考虑到第四个对于噪声的限定，因此，最终应该指定较宽的频率范围[Wlt，Wht]。算法在该部分使用多个高斯差分的结合作为带通滤波器。公式如式下所示：

其中，σ₁和σ₂是对应高斯的标准差(σ₁＞σ₂)。当设定两个高斯方差成一定比例时，则高斯差分的联合可由下面公式:

当本发明取的比例为1.6时，每做一次高斯差分，就是一个边缘检测器，那么将所有的高斯差分结合起来，就相当于把所有的边缘检测器从不同的尺度空间中结合起来。也就是说，每做一次高斯差分就保留一定范围的频率，把所有的高斯差分结合起来就是把所有的频率搜集起来，就达到显著性检测的要求了。本发明参照FT方法的设置，σ₁取值无穷大(相当于计算整幅图像的均值)，而σ₂取一个小的高斯核，可以滤去一些噪声。最后得到方程为：

S(x，y)＝||I_u-I_wht(x，y)||

在对图像进行高斯滤波，得到滤波后的图像之后，同时，本发明选择在对立色彩颜色空间(Opponent Color Space)计算像素的显著性值。对立色彩空间的三个通道与RGB空间的转换关系如下式所示：

目前，大多数视觉注意模型都是在CIELab颜色空间上进行显著性值的计算。在对立色彩空间上计算显著性的研究不多。但是该颜色模型依据视觉信息处理机制，可以模拟视网膜神经节细胞的响应，更加贴切人类视觉对于颜色的反应机制，并且在前期视觉显著性的计算中也得到了部分验证。

与大多数文献将I、RG、BY三个通道同等对待不同，实际的研究过程中发现，当在该颜色空间上进行像素显著性值计算的时候，一般都是一个或两个通道表现的非常好，另外的通道对于最终的计算不起或者起到副作用。

如图2所示，从(a)到(h)分别代表了原始输入图像，I，RG，BY通道图像，对应的在I，RG，BY通道上计算得到的显著图以及GT(Groud Truth)标准参考图。在第一行邮箱图片中可以看出，RG通道是最有用的，RG通道的显著图与参考标准图非常接近。而BY通道看上去对于最终的融合显著图并没有什么贡献。再比如旗帜图像中的I通道，帆船图像中的BY通道，可以看出他们都应该对图像最终的显著图有比较重要的贡献，而对应旗帜图像的RG通道以及帆船图像的I通道对于最终结果则并不重要。因此本发明考虑，在此种情况下不应该将三通道同等对待，而应该根据某种原则进行加权组合。

由于并不是每个对立颜色空间通道都对最终的显著图提供了有用的信息，不适宜采用简单的取最大值或者平均值的方式来融合各个通道的显著图信息。另一方面，考虑整幅图像中的像素数量，显著性像素的数量相较于背景区域会占据较小的比例份额，即显著物体或区域在整幅图像中应占据少部分。

步骤3，包括计算各个通道显著图的平均显著值，并统计超过该通道显著图上平均显著值的像素数量百分比，根据上述百分比，计算各个通道显著图的加权系数，再通过归一化计算得到整体图像的显著图。

基于上述步骤1和步骤2，本发明提出一种加权融合的方式来解决通道显著图融合的问题，并取得较为满意的效果，具体的步骤如下所示：

Step 1：分别计算出I、RG、BY通道的显著图。

Step 2：分别计算出各个通道显著图像的平均显著值，并统计超过该平均值的像素数量百分比，分别用N_I，N_RG，N_BY表示。

Step 3：计算各通道的加权系数，计算公式所示。其中N是Step 2中每通道超平均值的像素百分比，r是人工根据经验设定的参考系数，发明中根据后期的实验效果，选用r＝0.3。

Step 4：计算最终的图像显著图，计算公式下所示。其中S_I，S_RG，S_BY分别代表对立颜色空间I，RG，BY的显著图，w_I，w_RG，w_BY分别代表对应的权重系数(由Step 3计算得到)，Norm代表归一化。

S_gs＝Norm(∑W_I·S_I，W_RG·S_RG，W_BY·S_BY)。

步骤5，对经过步骤3得到的整体图像的显著图，基于颜色直方图的像素点个数进行聚类，然后据此进行分割；

同时，结合步骤3后得到的整体图像的显著图，两者进行掩膜操作，得到多个整体图像的显著图和分隔后图像显著图的交集，计算交集中每个交集图像的显著值和自适应阈值，并对比显著值和自适应阈值，当交集图像的显著值大于自适应阈值，则保留该交集图像，反之则丢弃。

各个通道频域显著图进行加权融合之后，考虑到路标一致性和噪声的因素，引入聚类方法进行模型优化，并对于图像的聚类结果和最终的显著图进行分割提取，从而得到最终的自然路标候选区域。发明中采用Hill-Climbing K-means方法进行聚类。该算法可以自动确定聚类数量，其主要是基于颜色直方图的像素点个数，将能到达同一个峰值的颜色区域认为是同一类，并据此进行图像分割。

在得到图像的分割结果之后，结合频域显著性检测得到的三通道显著图进行显著图优化工作。利用图像聚类的结果对于最终的显著图进行掩膜操作，得到显著图与每类聚类图像的交集图像。然后，利用下列计算每类交集图像的显著性值。

其中，|r_k|代表分割区域的像素面积，m_i，j代表区域中所有的显著值。

在得到每类交集图交集图像的显著值之后，利用下列设定自适应阈值T，进行交集图像的选择。

其中，W和H是显著图的宽度和高度，S(x，y)是对应坐标(x,y)点的显著值。当V_k大于T时，则认为该交集图像为具有显著性，从而保留，否则丢弃，最终得到待选路标区域。

实验效果如下：

移动机器人导航要求自然路标在环境发生一定程度变化时，能够被稳定地被检测到。为了验证显著性在路标检测中的意义，在非结构环境下，利用美国NI公司的DaNI机器人配备单目摄像头和测距传感器等获得图像和距离信息，图像分辨率为320x240，导航阶段采用RootSIFT特征。机器人直行最大运动速度为500毫米/秒。旋转速度最大为4度/秒,上位机硬件配置为八核2.2GHZ，8G内存PC机，不使用GPU加速。本发明利用改装的DaNI机器人硬件平台，选取了校园办公室、活动区、图书馆走廊三个室内场景，以及一个室外场景，采集分辨率为320*240的环境图像进行显著路标的稳定性验证。部分场景范例如图3所示。

图4是活动室范例场景的定性分析结果。

其中第一行和第三行对应活动区电梯和走廊间的不同帧图像，第二行和第四行代表原图对应的显著图。

右侧的两幅XY图代表对应场图景中，机器人行动距离的变化与对应显著像素区域检出率之间的关系。

由图可以看出，显著性区域在不同帧中被持续检出，当尺度或者机器人视角发生改变时，相比较于其他方法，可以保持较高的识别率。另外，当机器人远离的时候，尽管当前显著像素区域的检出率有所下降，但是此时往往有新的显著区域被检出(新的路标候选区域)，不会影响到最终的机器人状态定位和导航准确率。

导航阶段，选取校园的图书馆场景验证本发明算法的有效性。如图5所示，实验开始前，首先需要手动操控机器人沿既定路径行走一次，期间机器人自动提取显著性路标，并按照路标发现时间顺序存储对应路标特征点以及坐标信息。也就是说，当机器人穿过测试环境时，保持了区域的时间顺序，这主要是为了后期基于路标的导航应用。当完成了全部环境的漫游之后，采用显著场景路标点为全局拓扑节点，以连接边连接了相邻的拓扑节点构成图结构，结合机器人的位姿信息，将相邻节点之间的基坐标关系附加在节点间的连接边区域，离线利用路径学习方法形成路标数据库，并构建环境拓扑地图。

当机器人实际导航过程中，系统首先识别至少一个显著路标来进行自定位。一旦机器人成功地完成了定位工作，它就可以仅仅利用简单的搜索算法计算出可行路径。然后，导航系统使用最初识别的路标，以及数据库中记忆的下一个路标和当前路标的坐标关系进行逐步导航，随后不断重复该过程，直到机器人到达其指定目的地。本发明选取了经典的fastSLAM方法以及最近的ORB-SLAM方法进行比较。其中本发明方法运行在Windows10系统中，对比方法都是开源代码，可在GitHub中下载。其中，fastSLAM基于ubuntu 14.04，ORB-SLAM方法基于在ubuntu 14.04和ros indigo环境。

对于每个测试环境，首先运行机器人通过所有路径一次进行训练。然后本发明在两个场景分别运行机器人五次进行测试。在测试过程中，记录了机器人测距的轨迹，通过使用手动校准的测距读数设置机器人位置。并规定理想导航本身的基准是路径的中心。

图5是图书馆二层场景下完成的导航任务的轨迹记录，其中路标节点是代表性的拓扑节点，不同方法用不同形状图形表示。

从图中可以看出，尽管三种方法都可以完成导航任务，但是效率和准确率都有所区别。机器人导航执行效率如图6所示。其中fastSLAM算法关注的是移动机器人运动路径的递归估计和基于估计路径的对于环境特征位置的独立估计问题，其中的机器人定位问题采用粒子滤波算法解决，建图问题采用扩展卡尔曼滤波算法解决。然而，由于扩展卡尔曼滤波算法的线性化处理误差较大和移动机器人系统的噪声不是高斯白噪声等问题，其位姿估计的误差会比较大。同时，fastSLAM方法的导航轨迹相对比较偏离，这与fastSLAM方法固有的诸如其需要计算雅可比矩阵，难以满足一致性要求，容易产生粒子退化等缺陷也有一定关系。而ORB-SLAM方法近年来的比较完备的单目slam算法。该方法利用ORB特征完成了机器人的定位和导航任务。ORB-SLAM优化了关键帧选取和地图构建的方法，在处理速度、追踪效果和地图精度上都取得了不错的效果。但是，由于ORB构建的地图比较稀疏，这也会造成基于该地图的机器人应用遇到比较大的困难。同时，ORB方法中诸如特征匹配的阈值，回环图像对比的阈值等关键参数都是经验设定，在不同场景下对应值不同，效果会产生比较大的差异。本发明方法基于前期的路标数据库信息，在拓扑地图的指引下，不考虑机器人的全局定位，具有较强的鲁棒性，准确度也是几种方法中最好的。

本发明创造并不局限于所述的实施例，本领域的技术人员在不脱离本发明创造的精神即公开范围内，仍可作一些修正或改变，故本发明创造的权利保护范围以权利要求书限定的范围为准。

Claims (7)

1.一种面向移动机器人导航的自然路标的提取方法，其特征在于，包括以下步骤：

1).对图像的平滑处理，包括：首先计算图像熵值，并根据熵值确定平滑系数，再根据梯度最小化算法对图像进行平滑处理；

2).对经过步骤1得到的平滑图像进行显著区域的提取，包括通过高斯差分带通滤波器对图像进行滤波，再在滤波后的图像上，分别在对立色彩颜色空间计算像素的显著性，并得到相应通道显著图，所述的对立色彩颜色包括I、RG和BY；

3).对经过步骤2得到的多个通道显著图，计算各个通道显著图的平均显著值，并统计超过该通道显著图上平均显著值的像素数量的百分比，根据上述百分比，计算各个通道显著图的加权系数，再通过归一化算法计算得到整体图像的显著图；

4).对经过步骤3得到的整体图像的显著图，基于颜色直方图的像素点个数进行聚类，然后据此进行分割；

5).对经过步骤4得到的分割后的显著图，结合步骤3后得到的整体图像的显著图，两者进行掩膜操作，得到多个整体图像的显著图和分割后图像显著图的交集；

6).对经过步骤5得到的交集，计算交集中每个交集图像的显著值和自适应阈值，并对比该显著值和自适应阈值，当交集图像的显著值大于自适应阈值，则保留该交集图像，反之则丢弃。

2.根据权利要求1所述的一种面向移动机器人的自然路标提取方法，其特征在于，步骤1中，所述的平滑系数根据图像熵值自适应选定，所述的熵值计算公式为：

其中，p_v是图像强度v的直方图形式概率表示；

所述的平滑系数计算公式为：λ＝0.005*H，其中λ表示平滑系数；

所述的梯度最小化算法公式为：min_f∑_p(f_p-g_p)²+λ·c(f)。

3.根据权利要求1所述的一种面向移动机器人导航的自然路标的提取方法，其特征在于，步骤2中，通过高斯差分带通滤波器滤波，在平滑图像上保留鲁棒性稳定的自然路标区域，所述的高斯分差公式为：

其中，σ₁和σ₂是对应高斯的标准差(σ₁＞σ₂)。

4.根据权利要3所述的一种面向移动机器人导航的自然路标的提取方法，其特征在于，所述的高斯分差公式至少有2个，且当多于2个时，每2个之间的高斯分差公式可以联合成：

5.根据权利要求1所述的一种面向移动机器人导航的自然路标的提取方法，其特征在于，步骤3中所述各个通道显著图的加权系数算法为：

其中其中N是每各个通道显著图上平均显著值的像素数量百分比，r是人工设定系数；

所述的归一化计算算法为：S_gs＝Norm(∑W_I·S_I，W_RG·S_RG，W_BY·S_BY)。

6.根据权利要求5所述的一种面向移动机器人导航的自然路标的提取方法，其特征在于，所述的r值取0.3。

7.根据权利要求1所述的一种面向移动机器人导航的自然路标的提取方法，其特征在于，步骤6中，所述的交集图像的显著值计算算法为：

其中|r_k|代表分割区域的像素面积，m_i，j代表区域中所有的显著值；所述自适应阈值的计算算法为：其中，W和H是显著图的宽度和高度，S(x，y)是对应坐标(x,y)点的显著值。