CN102313547B - 基于手绘轮廓语义地图的移动机器人视觉导航方法 - Google Patents

Abstract

本发明公开了一种基于手绘轮廓语义地图的移动机器人视觉导航方法，包括如下步骤：绘制手绘轮廓语义地图；选择对应的子数据库；标签的设计与识别；目标分割；将子数据库包括的图像和分割区域进行匹配；机器人粗定位；机器人导航。本发明通过在复杂环境中的可能参考目标上贴统一的标签，根据手绘轮廓语义地图的指导，利用机器人自带的单目摄像机作为主要的传感器来引导机器人运行，利用声纳来辅助机器人进行避障，并融合里程计信息来粗略定位，最终在它们的相互协作下完成导航任务。机器人利用本发明的方法，不需要精确环境地图及精确运行路径就能顺利导航，并能实时有效地避开动态障碍物。

Description

基于手绘轮廓语义地图的移动机器人视觉导航方法

技术领域

本发明属于智能机器人导航技术领域，特别是一种基于手绘轮廓语义地图的移动机器人视觉导航方法。

背景技术

随着越来越多的家庭机器人走进人类家庭，当机器人面对新环境，即具有个性化、差异化室内装修的家居环境，“脑海”一片空白，也就是说，机器人面向一个未知家居环境，由于室内的物品的摆放也不是固定不变的，或者室内人员的任意走动，导致该环境也是动态的。对于非机器人专家，或者一般的家庭成员(机器人使用新手)来说，想轻松地操作机器人学习周围的环境，传统作法依靠精确地图的绘制指导机器人导航，由于机器人定位精度的固有局限性，随着环境的复杂程度的提高，越来越显得力不从心。在这种情况下，探索一种直接简单的交互导航方式非常关键。

自从上个世纪60年代以来，移动机器人的导航研究一直是各国学者研究的重要领域。随着计算机处理水平的不断提高，视觉导航方法由于其自主性、廉价性和可靠性成为导航策略领域的研究热点，逐步成为机器人导航过程中的一种重要的传感器。对于移动机器人的视觉导航研究，DeSouza“Vision for mobilerobot navigation：a survey”(DeSouza G.N.，Kak，A.C.IEEE Trans.PatternAnal.Mach.Intell.，2002，24(2)：237-267)和Bonin-Font“VisualNavigation for Mobile Robots：A Survey”(Bonin-Font F.，Ortiz A.，andOliver G.J.Intell.Robotics Syst.2008，53，(3)：263-296.)等文章对过去几十年来的发展状况进行了总结：导航的目的是使机器人到达指定的地点，因而大多数导航过程都需要相应的环境地图来引导机器人。目前，米制地图、拓扑地图以及混合地图是应用最为广泛的地图表示方式。对于米制地图，它表示环境的精确坐标信息，因而当环境比较大时对于计算机的存储能力以及环境的测量过程都是一个考验；对于拓扑地图，它表示环境中关键点的连通信息，对于环境的实际大小没有明确的表示，因而对于环境的描述并不是很完善；而将米制地图和拓扑地图综合起来而得到的混合地图则能够将环境在整体上用拓扑地图表示，在感兴趣的局部地区构建米制地图，从而丰富了环境信息，然而真正在导航过程中，机器人在拓扑节点之间的运行却很容易受到外界干扰的影响。

假想这样一种情形，当别人向我们问路时，我们通常会这样说：沿着某条路往前走，走大概多远或到达某个目标前，转向某个方向，继续往某个地方走，绕过某个目标，再走多远就到达了目的地，从开始到目的地的距离大概有多少等等。这就是人类在陌生环境下的问路导航方式。Tversky等人“How Space StructuresLanguage，in Spatial Cognition：An Interdisciplinary Approach toRepresenting and Processing Spatial Knowledge”(B.Tversky，and P.Lee，in Proceedings of the Spatial Cognition：An Interdisciplinary Approachto Representing and Processing Spatial Knowledge，Berlin，1998：157-176.)，“What do Sketches Say about Thinking？”(in Proceedingsof the AAAI Spring Symposium，Sketch Understanding Workshop，StanfordUniversity，2002：148-151.)从人类认知学的角度出发，分析了手绘地图在人类导航过程中的作用，并指出路线图和路线方向对人类导航的关键作用，以及手绘地图与实际地图的偏差程度对导航结果带来的影响。

发明内容

发明目的：针对上述现有存在的问题和不足，本发明的目的是提供一种直接简单的基于手绘轮廓语义地图的移动机器人视觉导航方法，实现了在不知道环境目标实际图像信息的前提下，依靠这些目标与路径信息指导机器人进行导航。

技术方案：为实现上述发明目的，本发明采用的技术方案为一种基于手绘轮廓语义地图的移动机器人视觉导航方法，包括如下步骤：

1)先绘制手绘轮廓语义地图：①根据参考目标在实际环境中所处的大体位置，在绘图面板中对应的大致位置手绘参考目标的轮廓，并标注该轮廓的语义信息，这里的语义信息是指该轮廓所代表的物体名称，比如餐盘，抱枕等；②根据机器人在实际地图中的概略位置和方向，绘制机器人的大致位姿信息和运行路径的起点，然后绘制运行路径和目标点；再选出对应的子数据库：计算手绘轮廓包围的区域的特征向量和语义轮廓数据库中同类目标的轮廓图像的特征向量，依次比较两个特征向量的欧氏距离，将欧氏距离小于2的轮廓图像作为该区域对应的子数据库；同时，先设计与识别标签：将导航环境中可能的参考目标贴上统一的标签，标签大小，外观必须一致，且至少包含颜色A和颜色B两种不同颜色，利用HSI颜色空间的色调信息H和饱和度信息S对标签进行识别，其中颜色A和颜色B满足|H_A-H_B|≥40且S≥40，式中，H_A表示颜色A的色调，H_B表示颜色B的色调；再进行目标分割：将标签的中心位置设置为种子点，而后检查该种子点的8邻域，将与种子点的色调和饱和度都相差不小于20的像素点扩展为该种子的区域，接着继续检查该种子区域的8邻域，直至该种子区域的8邻域不再存在满足上述条件的点，就得到了该标签对应参考目标的分割区域。

2)将步骤1)中子数据库包括的图像和分割区域进行匹配：对子数据库中的图像计算其特征向量均值和和协方差矩阵S，计算分割区域的特征向量V，并计算V与

的马氏距离d_M：

$d_M=\sqrt{(V-\stackrel{\‾}{V})\·S^{-1}\·{(V-\stackrel{\‾}{V})}^{\′}}$

式中，S^-1表示协方差矩阵S的逆矩阵；表示

的转置矩阵；

若马氏距离d_M小于5.0，则认为匹配成功；

3)机器人粗定位：设摄像机在距离标签D_m处拍摄到的标签边长的平均像素为L_m，则若机器人在实时运行中检测到的标签的平均边长为L_n，那么摄像机距目标的大致距离D_n：

$D_n\≈\frac{L_m}{L_n}{D}_m.$

所述步骤1)中，可从所绘路径的延伸趋势出发，将所述路径分成几段，每段都有一个关键引导点，将机器人引导到关键引导点附近，然后向着下一个关键引导点运行。

为了便于机器人的控制，所述关键引导点间的运行方式为直线运行，这样可以有效地避免机器人频繁旋转所带来的累积误差。在原始路径上提取关键引导点的较小偏差原则是：既能反映出机器人原有的运动趋势，又能减少机器人整体的旋转频率，即选取的关键引导点的数目尽量少。

所述标签可包括外围蓝色边框和里面交错设置的红色和绿色小矩形框各两个，将H、S分量线性扩展到[0，255]中：

在对标签的识别过程中，首先找到外围的蓝色边框，若存在蓝色边框，则对其内部小矩形框进行分析，若满足下式之一，则认为标签识别成功：

$\left\{\begin{array}{c}{k}_g^1=1,k_r^2=1,k_r^3=1,k_g^4=1\\ A_g^1>A_t,A_r^2>A_t,A_r^3>A_t,A_g^4>A_t\end{array}\right.$

$\left\{\begin{array}{c}{k}_r^1=1,k_g^2=1,k_g^3=1,k_r^4=1\\ A_r^1>A_t,A_g^2>A_t,A_g^3>A_t,A_r^4>A_t\end{array}\right.$

式中

和

分别表示第x个小矩形框中红色区域的个数和红色区域的面积，和

分别表示第x个小矩形框中绿色区域的个数和绿色区域的面积，A_t表示面积阈值，取为小矩形框面积的0.15倍。

所述步骤1)和步骤2)中特征向量的计算方法可为：

Pseudo-Zernike矩的离散形式为：

$A_{\mathrm{nl}}=\mathrm{\α}\·\frac{n+1}{\mathrm{\π}}\underset{x=0}{\overset{N-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{M-1}{\mathrm{\Σ}}}{\left[V_{\mathrm{nl}}(r_{\mathrm{xy}},{\mathrm{\θ}}_{\mathrm{xy}})\right]}^{*}f(x,y)$

$=\mathrm{\α}\·\frac{n+1}{\mathrm{\π}}\underset{x=0}{\overset{N-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{M-1}{\mathrm{\Σ}}}{R}_{\mathrm{nl}}\left(r_{\mathrm{xy}}\right)\exp \left({-\mathrm{jl\θ}}_{\mathrm{xy}}\right)f(x,y)$

式中，n为阶数，l为重复度，f(x，y)表示分辨率为M×N的二值图像中坐标点(x，y)处的值；α表示图像映射到单位圆内时相应的比例系数；r_xy和θ_xy分别为图像坐标点(x，y)处的极坐标表示，A_nl代表n阶l重复度的伪Zernike矩，V_nl代表n阶l重复度的伪Zernike多项式，R_nl代表n阶l重复度的径向多项式；

对于M×N的图像f(x，y)，其归一化转动惯量NMI特征为：

$\mathrm{NMI}=\frac{\sqrt{\underset{y=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{x=0}{\overset{N-1}{\mathrm{\Σ}}}[{(x-\stackrel{\‾}{x})}^2+{(y-\stackrel{\‾}{y})}^2]f(x,y)}}{\underset{y=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{x=0}{\overset{N-1}{\mathrm{\Σ}}}f(x,y)}$

式中，

和

分别表示图像质心的横坐标和纵坐标：

$\stackrel{\‾}{x}=\frac{\underset{y=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{x=0}{\overset{N-1}{\mathrm{\Σ}}}x\·f(x,y)}{\underset{y=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{x=0}{\overset{N-1}{\mathrm{\Σ}}}f(x,y)},$ $\stackrel{\‾}{y}=\frac{\underset{y=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{x=0}{\overset{N-1}{\mathrm{\Σ}}}y\·f(x,y)}{\underset{y=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{x=0}{\overset{N-1}{\mathrm{\Σ}}}f(x,y)}$

选择3阶Pseudo-Zernike矩以及NMI值为图像的特征描述子，则该图像就对应于如下的11维向量V：

V＝(v₁，v₂，v₃，v₄，v₅，v₆，v₇，v₈，v₉，v₁₀，v₁₁)

＝(|A₀₀|，|A₁₀|，|A₁₁|，|A₂₀|，|A₂₁|，|A₂₂|，

|A₃₀|，|A₃₁|，|A₃₂|，|A₃₃|，NMI)

该11维向量V即为图像的特征向量。

还可包括步骤4)基于预测估计的机器人导航：

(1)预测估计方法：两个黑色节点表示此时的关键引导点和下一个关键引导点，设机器人Robot已经处在关键引导点N_this并且朝向两关键引导点N_this和N_next之间连线

的方向，关键引导点N_this和N_next线段之间的两个灰色节点N_0.5和N_0.75分别表示在矢量

方向上与关键引导点N_this相距在0.5Dist(N_this，N_next)和0.75Dist(N_this，N_next)的位置，其中Dist(N_this，N_next)表示两点N_this和N_next之间的距离；目标1至目标4是点N_next周围与其相距在一定摄像机视野范围内的环境中的目标，d₁至d₄以及α₁至α₄分别表示各个目标与点N_next的距离以及各个目标与机器人运行方向

的夹角，提出了两个约束函数和

它们分别表示目标与N_next的距离，以及与矢量

方向偏离程度对其作为参考目标的影响，D表示原始图像的平均拍摄距离，α表示参考目标与矢量的偏离角，d表示参考目标与关键引导点N_next的距离，作为每个参考目标i的综合可能性程度F(i)，可通过下式计算：F(i)＝f₁(d_i)·f₂(α_i)，根据经验，若综合可能性程度的最大值则认为点N_next附近不存在参考目标，否则，使F(i)取最大值的目标i可以作为参考目标；若存在多个目标都能使F(i)取得最大值，则选择这些目标中α最小的作为参考目标；

(2)比例尺更新：设更新前地图的比例尺是Ruler_old，该段运行开始的关键引导点位置为L₁，结束点位置为L₂，机器人根据图像信息定位结束点在地图上的位置为L′₂，则更新后的比例尺Ruler_new利用下面的函数关系式进行计算：

${\mathrm{Ruler}}_{\mathrm{new}}=\left\{\begin{array}{cc}\frac{\mathrm{Dist}(L_1,L_2)}{\mathrm{Dist}(L_1,L_2^{\′})}\·{\mathrm{Ruler}}_{\mathrm{old}},& \mathrm{RC}\\ {\mathrm{Ruler}}_{\mathrm{old}},& \mathrm{other}\end{array}\right.$

其中，Dist(.)表示两点间的距离，RC表示比例更新条件，根据经验这里设为0.33＜Dist(L₁，L₂)/Dist(L₁，L′₂)＜3；

(3)无约束导航，归纳为以下3个步骤：

a)按照地图比例尺计算本关键引导点与下一个关键引导点间的距离，并据此确定在这两个关键点之间的运行模式，

b)按照a)中的模式进行运行，并按照预测估计的方法在必要的时候旋转摄像头寻找或跟踪参考目标，

c)机器人运行到下一个关键引导点附近后，根据图像信息或里程计信息进行定位，而后更新此关键引导点的位置以及地图比例尺，最后返回到a)中继续下一阶段的运行，直到运行到最后一个关键引导点；

(4)避障导航：

当机器人在行进的过程中遇到静态或者动态障碍物时，为了有效地避开环境中的静态或动态障碍物，并能在避障的过程中同时进行基于视觉的导航，机器人能够对避障前的状态进行记忆，避障之后，机器人返回到避障前的状态继续运行或者是进入一个新的状态。

有益效果：本发明通过在复杂环境中的可能参考目标上贴统一的标签，根据手绘轮廓语义地图的指导，利用机器人自带的单目摄像机作为主要的传感器来引导机器人运行，利用声纳来辅助机器人进行避障，并融合里程计信息来粗略定位，最终在它们的相互协作下完成导航任务。机器人利用本发明的方法，不需要精确环境地图及精确运行路径就能顺利导航，并能实时有效地避开动态障碍物。

附图说明

图1为圆角餐盘的实物图；

图2为手绘交互界面图；

图3为手绘轮廓语义地图；

图4为绘制的路径及提取的关键引导点；

图5为候选点选取流程图；

图6为关键引导点选取流程图；

图7为标签图像；

图8为标签识别示意图；

图9为由直角坐标转化为极坐标的示意图；

图10为目标分割流程图；

图11为真实实验环境图；

图12为本发明的总体流程图；

图13为参考目标的预测估计示意图；

图14为与距离有关的约束函数；

图15为与偏离方向有关的约束函数；

图16为机器人无约束导航流程图；

图17为机器人动态避障流程图。

具体实施方式

本项目受到国家自然科学基金(青年基金)资助项目(60804063)；江苏省自然科学基金资助项目(BK2010403)；图像信息处理与智能控制教育部重点实验室开放基金资助项目(200902)；东南大学优秀青年教师教学、科研资助计划资助项目(3208001203)；东南大学创新基金资助项目(3208000501)资助。

下面结合附图和具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

本发明的总体流程图如图12所示，下面分步骤详细描述：

手绘地图的绘制与表示：

按照“仿人问路导航”的模式，机器人在陌生环境中导航时所需的导航信息包括：环境中的主要参考目标、导航机器人的初始位置和方向、导航路径、起始点与终点间的距离等。

如图1所示的圆角餐盘，若以其为环境中的参考目标，则可以利用“餐盘”定义其目标语义信息，实时绘制的图案作为其目标轮廓信息，机器人在导航过程中可以通过对实时图像与该轮廓信息匹配来得到机器人与该目标的相对位置关系。然而，由于手绘轮廓是实时绘制出来的不精确信息，不同的人对同一个目标的绘制结果很可能会有所不同，因此，若以此手绘轮廓作为匹配依据就可能会影响到定位效果。鉴于此，设计了轮廓数据库，其中包含有各种同类目标的大致轮廓信息，匹配过程中首先利用手绘轮廓与数据库中的轮廓进行比较，得到与其相似的轮廓图像，然后再用这些图像的总体特征与实时图像进行比较，就可以消除单个手绘轮廓的不精确性，从而使得匹配效果更佳。

手绘的交互界面如图2所示，本发明提出的手绘交互数据库中包含的不是真实的图像信息，而是图像的轮廓信息，这些信息不用预先拍摄实际图像，甚至可以通过互联网获得。另外，交互界面中包含了目标的语义信息，摒弃了以往用图标表示的方法。实际所绘制的基于某种任务的手绘轮廓语义地图如图3所示。

手绘地图的绘制比较简单，打开交互绘制界面，根据参考目标在实际环境中所处的大体位置，在绘图面板中对应的大致位置手绘其轮廓，并标注其语义信息；根据机器人在实际地图中的概略位置和方向，在手绘地图中对应位置绘制它，并同时确定路径的起点，然后绘制路径和目标点。手绘地图与实际环境地图之间存在“松散”的映射关系。这是因为环境的精确大小无法获知，地图也没有精确的比例尺，所以手工绘制的路径无法表示机器人要走的精确路线。另一方面，绘制的路径对机器人起到的只是指引作用，机器人导航的最终目的是到达目标区域，因此机器人没有必要完全按照指定路径运行。于是本发明从所绘路径的延伸趋势出发，将原始路径分成几段，每段都有一个关键引导点，将机器人引导到关键引导点附近，然后向着下一个关键引导点运行。为了便于控制机器人，关键引导点间的运动采用直线运行方式，这样可以有效地避免机器人频繁旋转所带来的累积误差。在原始路径上提取关键引导点的较小偏差原则是：既能反映出机器人原有的运动趋势，又能减少机器人整体的旋转频率，即选取的关键引导点的数目尽量少。

关键引导点的提取结果如图4所示，图中的曲线表示所绘制的原始路径，最小的圆圈表示曲线的数字化表示，次小的圆圈表示关键引导点的候选点，最大的圆圈表示所提取的关键引导点，虚线表示机器人的大致引导方向，它可以与原始的路径进行比较。无论是候选点还是关键引导点，都是从原始的用于表示曲线的离散数字点中提取出来的。具体的提取过程如下：

(A)候选点的提取。从起点开始，沿着路径的方向依次检测各个离散数字点，设置角度变化阈值为M，候选点最小和最大距离阈值分别为D_min和D_max。

根据经验选取M为20度，D_min为1，D_max为8。根据以上参数，按照图5流程图计算，就可以得到如图3所示的次小圆圈所示的候选点。

(B)关键引导点的提取。图6是从候选点中得到关键引导点的流程图。其中，T_i表示第i个候选点，T表示候选点的总数，i_b和i_e表示临时的开始的检测点和结束检测点，H表示两个关键引导点之间的最大候选点个数，

表示第i_b和第i_e个候选点之间的直线，

表示第i_b和第i_e个候选点之间的所有原始离散点p至的距离的最大值，D表示原始曲线上任意两个相邻离散点之间的像素距离，α表示确定关键引导点的阈值。

通过多次试验，决定选取H为4，α为1.0。

通过(A)、(B)两个步骤，就可以从原始路径上获得关键引导点。

对手绘轮廓和语义轮廓数据库中同类目标的轮廓图像进行轮廓匹配：

计算手绘轮廓包围的区域的特征向量和语义轮廓数据库中同类目标的轮廓图像的特征向量，依次比较两个特征向量的欧氏距离，将欧氏距离小于阈值的轮廓图像作为该区域对应的子数据库。实验中，该阈值通常可取1.2，至多不超过2。

本发明中，图像特征向量的描述方法如下：

矩技术是图像分析和表示以及轮廓匹配的常用方法“基于Pseudo-Zernike矩的数字识别研究”(王勃飞.[硕士学位论文].武汉：华中科技大学，2007)，如规则矩、Legendre矩、Zernike矩、Pseudo-Zernike矩、旋转矩、复数矩等。The和Chin“On Image Analysis by the Methods of Moments”(The C H，Chin R T.IEEETransactions on Pattern Analysis and Machine Intelligence，1988，10(4)：496-513)对上述各种矩技术进行了分析与评估，并讨论了一些基本问题，如图像的表示能力、噪声敏感度和信息冗余度等，得出结论：Zernike和Pseudo-Zernike矩在这三个方面表现最好。上述两种矩均具有良好的正交性和旋转不变性；然而，同前者相比，后者Pseudo-Zernike矩具有更好的抗噪声能力，其不变性主要体现在它的旋转不变性上，并不具有平移不变性和比例不变性；不过在计算中，可以通过将坐标系原点平移到目标的重心和对图像中的目标进行大小归一化等方法来间接地使Pseudo-Zernike矩达到平移和比例不变性“用Zernike矩来确定字符的旋转不变性特征”(王有伟，刘捷.计算机工程与应用，2004(13)：81-83)。

由于Pseudo-Zernike矩的一系列优点，本发明考虑利用该描述子作为图像的表示方法。为了增加图像的特征信息，本发明还应用了杨小冈等人提出的归一化转动惯量(NMI)特征“基于图像NMI特征的目标识别新方法”(杨小冈，付光远，缪栋等.计算机工程，2002(6)：149-151)来对图像进行表示，这种特征同样具有旋转不变性、平移不变性和比例不变性。

①Pseudo-Zernike矩

根据文献“伪Zernike矩不变性分析及其改进研究”(叶斌，彭嘉雄.中国图像图形学报，2003，8(3)：246-252)，阶数为n，重复度为l的Pseudo-Zernike矩定义为：

$A_{\mathrm{nl}}=\frac{n+1}{\mathrm{\π}}{\∫}_0^{2\mathrm{\π}}{\∫}_0^1{\left[V_{\mathrm{nl}}(r,\mathrm{\θ})\right]}^{*}\·f(r\cos \mathrm{\θ},r\sin \mathrm{\θ})\mathrm{rdrd\θ}---\left(5\right)$

其中，f(r，θ)是一幅灰度图像的极坐标表示，V_nl(x，y)定义为：

V_nl(x，y)＝V_nl(rcosθ，rsinθ)＝R_nl(r)exp(jlθ)，

$R_{\mathrm{nl}}\left(r\right)=\underset{s=0}{\overset{n-\left|l\right|}{\mathrm{\Σ}}}{(-1)}^s\·\frac{(2n+1-s)!}{s!\·(n-|l|-s)!\·(n+|l|+1-s)!}\·r^{n-s}---\left(7\right)$

其中，n＝0，1，2，L；l∈Z，|l|≤n。

在对二值图像的处理过程中，通常会用到Pseudo-Zernike矩的离散形式：

$A_{\mathrm{nl}}=\mathrm{\α}\·\frac{n+1}{\mathrm{\π}}\underset{x=0}{\overset{N-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{M-1}{\mathrm{\Σ}}}{\left[V_{\mathrm{nl}}(r_{\mathrm{xy}},{\mathrm{\θ}}_{\mathrm{xy}})\right]}^{*}f(x,y)$ (8)

$=\mathrm{\α}\·\frac{n+1}{\mathrm{\π}}\underset{x=0}{\overset{N-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{M-1}{\mathrm{\Σ}}}{R}_{\mathrm{nl}}\left(r_{\mathrm{xy}}\right)\exp \left({-\mathrm{jl\θ}}_{\mathrm{xy}}\right)f(x,y)$

其中，f(x，y)表示分辨率为M×N的二值图像中坐标点(x，y)处的值；α表示图像映射到单位圆内时相应的比例系数；r_xy和θ_xy分别表示图像坐标点(x，y)处的极坐标表示。

可以看出，Pseudo-Zernike矩在计算过程中需要将原始图像映射到单位圆内。本发明首先计算分割图像的质心，而后以质心为圆心，计算包含分割图像的最小外接圆，最后将圆内各个像素至质心的距离归一化到[0，1]内即可，如图9所示，这里α可以取为分割图像中像素的个数。

由于图像的Pseudo-Zernike矩是复数，可以用其模值表示图像的特征。由于低阶矩表示图像的整体特征，高阶矩表示图像的细节特征，于是根据实际应用，选择相应的阶数，并计算此阶数下的所有特征来表示该图像。

②归一化转动惯量(NMI)

基于NMI特征的图像识别方法是一种基于区域的全局方法，它将区域形状看作一个整体，来提取描述形状的特征量。

对于M×N的图像f(x，y)，其NMI特征可以表示为：

$\mathrm{NMI}=\frac{\sqrt{J(\stackrel{\‾}{x},\stackrel{\‾}{y})}}{m}=\frac{\sqrt{\underset{y=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{x=0}{\overset{N-1}{\mathrm{\Σ}}}[{(x-\stackrel{\‾}{x})}^2+{(y-\stackrel{\‾}{y})}^2]f(x,y)}}{\underset{y=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{x=0}{\overset{N-1}{\mathrm{\Σ}}}f(x,y)}---\left(9\right)$

其中，

和

分别表示图像质心的横坐标和纵坐标，可以通过下式求出：

$\stackrel{\‾}{x}=\frac{\underset{y=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{x=0}{\overset{N-1}{\mathrm{\Σ}}}x\·f(x,y)}{\underset{y=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{x=0}{\overset{N-1}{\mathrm{\Σ}}}f(x,y)},$ $\stackrel{\‾}{y}=\frac{\underset{y=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{x=0}{\overset{N-1}{\mathrm{\Σ}}}y\·f(x,y)}{\underset{y=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{x=0}{\overset{N-1}{\mathrm{\Σ}}}f(x,y)}---\left(10\right)$

③基于Pseudo-Zernike矩与NMI特征匹配

用Pseudo-Zernike矩与NMI特征对区域进行描述和进行目标的匹配，则需要首先对手绘轮廓进行相应的转化，得到其区域描述，而后利用区域间的匹配。即计算手绘轮廓包围的区域的特征向量和语义轮廓数据库中同类目标的轮廓图像的特征向量，依次比较两个特征向量的欧氏距离，将欧氏距离小于2的轮廓图像作为该区域对应的子数据库。

这里，3阶Pseudo-Zernike矩以及NMI值被选择作为区域的特征描述子，则该区域就对应于如下的11维向量V：

V＝(v₁，v₂，v₃，v₄，v₅，v₆，v₇，v₈，v₉，v₁₀，v₁₁)

＝(|A₀₀|，|A₁₀|，|A₁₁|，|A₂₀|，|A₂₁|，|A₂₂|，    (11)

|A₃₀|，|A₃₁|，|A₃₂|，|A₃₃|，NMI)

标签的设计与识别

人类在复杂背景环境中搜索目标物体，总是在意识中先思考一下它的显著特征，然后利用显著特征进行快速搜索。借鉴这种思想，本发明利用标签信息辅助机器人进行目标搜寻和识别，并最终根据识别结果完成自身的概略定位。不过需要特别指出，这里并不需要对不同的环境、参考目标设计不同的标签，所有标签都是统一的，标签并不具有特殊的物理意义，仅仅用于判定当前视野内是否存在目标，但标签处具体表示什么东西，单纯从标签上反映不出来，需要后期的轮廓识别过程来完成。标签的这种无具体含义性，使其可以任意粘贴在环境中的各种可能参考目标上，从而避免了对不同参考目标设计不同标签的复杂性。

由于需要借助于标签分割出目标的形状，所以要对导航环境进行必要的假设：

导航环境中的可能的参考目标必须要贴上统一的标签；且被贴标签的物体必须要有相对单一的色彩，大小适中，背景也要相对单一。

在这种环境下，机器人利用视觉信息分析目标则需要两个步骤：首先，查看摄像机视野中是否存在参考目标；其次，分析该参考目标是否是手绘地图中相应的参考目标。

本发明设计了一种如图7所示的标签，使用该标签，机器人便可以定位摄像机视野中的目标信息。此标签由三部分组成：外围蓝色边框以及里面红色和绿色小块。

本发明对标签的识别结果如图8所示，首先找到外层的蓝色矩形框，若摄像机视野中存在蓝色边框，则进一步检测与该矩形框对应的四个小矩形框1、2、3、4中是否存在两个红色小块和两个绿色小块。

对图7中颜色块的分析过程中要用到颜色空间的概念，常用的颜色空间有RGB空间、HSI空间等。其中HSI空间是一个非常有用的颜色空间模型，它最大的特点就是其适合人眼认识颜色的习惯。该空间由三个分量表示：H表示色调信息，S表示饱和度信息，I表示亮度信息；色彩信息主要体现在H分量上，S分量表示颜色的纯度，可以作为辅助信息对图像进行分割。本发明是结合H分量和S分量对标签进行识别。

通常CCD摄像机采集到的彩色图像都是基于RGB空间，可以通过式(1)将图像转化到HSI空间。

$\left\{\begin{array}{c}H=\arccos \left\{\frac{(2R-G-B)/2}{{[{(R-G)}^2+(R-G)g(G-B)]}^{1/2}}\right\}\\ I=(R+G+B)/3\\ S=1-\min (R,G,B)/I\end{array}\right.---\left(1\right)$

为了方便分析，这里将H、S分量线性扩展到[0，255]中。根据先验知识以及实验测试结果，可以得到各个颜色块的分割依据，如式(2)所示。

若在图像中检测到蓝色方形边框，则对其内部小矩形框进行分析，若满足式(3)或者式(4)，则认为标签识别成功。

$\left\{\begin{array}{c}{k}_g^1=1,k_r^2=1,k_r^3=1,k_g^4=1\\ A_g^1>A_t,A_r^2>A_t,A_r^3>A_t,A_g^4>A_t\end{array}\right.---\left(3\right)$

$\left\{\begin{array}{c}{k}_r^1=1,k_g^2=1,k_g^3=1,k_r^4=1\\ A_r^1>A_t,A_g^2>A_t,A_g^3>A_t,A_r^4>A_t\end{array}\right.---\left(4\right)$

其中

和

分别表示第x个小矩形框中红色区域的个数与红色区域的面积，同理

和

代表绿色区域；A_t表示面积阈值，这里取为小矩形框面积的0.15倍数。

实验表明，标签具有抗旋转能力，并且对于复杂的背景以及小部分的遮挡具有较好的鲁棒性。

目标分割：

这里采用区域生长的方法对目标进行分割。区域生长是一种根据事先定义的准则将像素或子区域聚合成更大区域的过程，以一组“种子”点开始，将与种子性质相似(如灰度级)的相邻像素附加到生长区域的每个种子上“数字图像处理”(Gonzalez R C，Woods R E.第2版.阮秋琦，阮宇智等译.北京：电子工业出版社，2003.496-498)。

本发明中，将标签的中心位置设置为“种子”点，而后检查其8邻域，将与“种子”点的色度和饱和度都相差小于20的像素点扩展为该“种子”的区域，接着继续检查该“种子”区域的8邻域，直至该区域的8邻域不再存在满足上述条件的点，就得到了该目标的分割区域。

本发明的目标分割方法流程框图如图10所示，图中对区域分割后的结果进行了修正，修正的方法是根据检测到的标签外接矩形框的长宽比，对分割图像进行相应比例的拉伸。

将子数据库中包括的图像和分割区域进行匹配：

对子数据库中的图像计算其特征向量均值

和和协方差矩阵S，作为该语义目标的参考特征；计算实时图像分割结果的Pseudo-Zernike矩以及NMI特征，计算分割区域的特征向量V，并将它与

计算马氏距离d_M：

$d_M=\sqrt{(V-\stackrel{\‾}{V})\·S^{-1}\·{(V-\stackrel{\‾}{V})}^{\′}}---\left(12\right)$

式中，S^-1表示协方差矩阵S的逆矩阵；

表示

的转置矩阵；

根据距离大小设定相应的阈值就可以得到该实时图像的匹配结果。实验中，该阈值一般可取2.0，但最大不超过5.0。

机器人粗定位：

前面介绍了环境中参考目标的识别过程，而识别的最终目的是为了机器人定位。本发明将在不需对摄像机进行标定的情况下，实现机器人基于匹配结果的粗定位。这里，还需要已知摄像机在距离标签某个固定距离d_o时，标签在图像中的像素高度p₁。则根据针孔模型，空间中的任一点由摄像机坐标系向图像坐标系的转换过程都符合中心射影或透视投影理论“计算机视觉中三维重构的研究与应用”(姜大志.[博士学位论文].南京：南京航空航天大学，2001)，在摄像机焦距不变的情况下，可以得到下面的结论：

$d_r\≈\frac{p_1}{p_2}{d}_o---\left(13\right)$

这里d_r表示实时获取的目标与摄像头之间的距离，p₂表示目标的原始图像在距离d_r时的像素高度。因此，只需要得到实时图像在原始图像中的大致位置，根据原始图像与摄像头的距离信息，就可以求出摄像机与实时图像的距离。但这里需要注意的是：目标所在平面与摄像机平面应大致保持平行。

由于采用了统一的标签，标签的大小又可以通过标签检测过程实时得到，因此可以利用实时检测到的标签大小来计算摄像机的位置。在摄像机焦距f不变的情况下，标签在不同环境下的大小满足式(13)。

设摄像机在距离标签D_m处拍摄到的标签边长的平均像素为L_m，则若机器人在实时运行中检测到的标签的平均边长为L_n，那么同样可以容易得出摄像机距目标的大致距离D_n。

$D_n\≈\frac{L_m}{L_n}{D}_m---\left(14\right)$

当利用式(14)计算出机器人的相对位置之后，就可以根据该参考目标在地图中的位置推算出机器人在地图中的位置，进而根据手绘地图信息进一步得到相关的控制指令。

基于预测估计的机器人导航

本发明所提出的导航方法，对于机器人的传感器要求是：带有里程计设备、声纳设备及车载可水平旋转摄像头。在导航过程中，图像信息用于粗略地描述机器人与参考目标的相对位置，而里程计信息是在图像信息不够充分或不需要图像处理的阶段，用于辅助机器人运行的。

1)预测估计方法的提出

本发明提出了一种预测估计的方法，该方法具体表现在两个方面：

(1)预测摄像头视野内图像是否需要处理；若当前视野内的图像不需要处理，则可以省略(a)标签的检测(b)分割目标轮廓，并将得到的轮廓图像与数据库中候选轮廓图像的匹配。

(2)当视野内出现需要处理的图像时，预测它最可能是哪类图像。若预测到实时图像属于某种图像，则可以缩小待匹配图像的范围，减小待匹配图像的数目，因而可以缩短图像处理过程图像匹配的运算时间。因此，这种预测估计的方法可以有效地提高机器人的实时控制性能，在探测目标时具有主动性，而不是被动的，所以这种预测估计的方法也可以允许地图中出现两个或两个以上的相同目标，这是因为它能够事先确定要处理的是哪一个目标。下面详细介绍这种方法：

图13中，两个黑色节点表示此时的关键引导点和下一个关键引导点，假设机器人Robot已经处在关键引导点N_this并且朝向矢量的方向，两个灰色节点N_0.5和N_0.75分别表示向量上与N_this相距在0.5Dist(N_this，N_next)和0.75Dist(N_this，N_next)的位置。目标1至目标4是点N_next周围与其相距在一定摄像机视野范围内的环境中的目标，d₁至d₄以及α₁至α₄分别表示各个目标与点N_next的距离(通过像素距离以及地图比例尺可以计算得出)以及各个目标与机器人运行方向

的夹角。经过分析，作为参考目标与该目标和关键引导点的距离以及该目标偏离机器人的运动方向的程度有关：距离太近或太远，受困于图像的识别能力，均不宜识别图像；方向偏离太多，也不便于机器人控制摄像头来识别图像。基于这种考虑，我们提出了两个约束函数

和

它们分别表示目标的距离与方向偏离对其作为参考目标的影响，建模如图14和图15所示。图14中D表示原始图像的平均拍摄距离，α表示参考目标与矢量

的偏离角，d表示参考目标与关键引导点N_next的距离。对于图13中的每个目标i，其可以作为参考目标的综合可能性程度F，可通过下式计算：

F(i)＝f₁(d_i)·f₂(α_i)    (15)

根据经验，若综合可能性程度最大值

则认为点N_next附近不存在参考目标。否则，使F(i)取最大值的目标i可以作为参考目标，若存在多个目标都能使F(i)取得最大值，则选择这些目标中α最小的做为参考目标。例如，在图13中，通过计算可知目标2可以作为参考目标。

2)更新比例尺

在手绘地图中，已经给出了各个目标的像素位置，以及起点至终点的大致直线距离，再根据起点至终点的像素距离，就可以得到手绘地图与实际环境的初始比例尺；机器人在关键引导点附近基于图像的定位与里程计信息进行比较，则可以更新地图的比例尺。

若更新后机器人在地图上的位置有了变化，则可以通过该变化更新地图的比例尺。

设更新前地图的比例尺是Ruler_old，该段运行开始的关键引导点位置为L₁，结束点位置为L₂，机器人根据图像信息定位结束点在地图上的位置为L′₂，则更新后的比例尺Ruler_new利用下面的函数关系式进行计算：

${\mathrm{Ruler}}_{\mathrm{new}}=\left\{\begin{array}{cc}\frac{\mathrm{Dist}(L_1,L_2)}{\mathrm{Dist}(L_1,L_2^{\′})}\·{\mathrm{Ruler}}_{\mathrm{old}},& \mathrm{RC}\\ {\mathrm{Ruler}}_{\mathrm{old}},& \mathrm{other}\end{array}\right.---\left(16\right)$

其中，Dist(.)表示两点间的距离，RC表示比例更新条件，根据经验这里设为0.33＜Dist(L₁，L₂)/Dist(L₁，L′₂)＜3；

3)无约束导航

这里的无约束导航即在导航中无需考虑避障。机器人导航的过程可以归纳以下3个步骤：

a)按照地图比例尺计算本关键引导点与下一个关键引导点间的距离，并据此确定在这两个关键点之间的运行模式。

b)按照a)中的模式进行运行，并按照预测估计的方法在必要的时候旋转摄像头寻找或跟踪参考目标。

c)机器人运行到下一个关键引导点附近后，根据图像信息或里程计信息进行定位，而后更新此关键引导点的位置以及地图比例尺，最后返回到a)中继续下一阶段的运行，直到运行到最后一个关键引导点。

根据上面的步骤，可以将机器人的控制方式看成是分段进行的，即每个阶段的运行都是从当前的关键引导点开始，到下一个关键引导点结束；在结束之前，对机器人信息与地图信息进行更新，为下一个阶段的运行做准备。机器人无约束导航的流程图如图16所示，其中N_this表示当前的关键引导点，N_next表示下一个关键引导点，N_last表示最后一个关键引导点，Dist(N_this，N_next)表示N_this和N_next的距离，D_T用于表示判别机器人在两个关键引导点间运行模式的距离阈值，Ruler表示关于手绘地图像素与实际距离的比例尺，ImageFlag用于保存当前需要检测的轮廓图像类别，D_R-O表示该参考关键引导点与其参考目标之间的距离。根据图中的标号所示，下面对其具体解释如下：

(1)是每段运行的开始，明确机器人的位置(也就是N_this)、方向R_θ，以及N_next，这一步就是要使R_θ转向

的方向，为下一步机器人直行做准备。

(2)确定运行的模式，Dist(N_this，N_next)是根据两关键点的像素位置及比例尺计算出来的，D_T可以根据运行环境的大小适当选取，这里将其设置为1米，即当这两个关键点的距离小于1米时，直接按照里程计信息控制机器人进行直行，而不需要依靠视觉信息进行控制，增强了机器人的实时控制性能。

(3)按照里程计信息到达这个关键引导点，若是在前面的运行中一直是直行，则不需要更新，但是需要考虑环境中存在障碍物的情形(第4)节中讨论)，在这种情况下，若机器人没有一直直行，则需要更新N_this的相关位置信息。

(4)是参考目标的预测估计，详见3)。

(5)为了便于(8)、(9)对参考目标进行搜索跟踪，首先应将摄像头旋转至适当的角度，然后以此角度为基准进行目标搜索。如图13中的角度β，即可以作为摄像头相对于机器人运行方向的基准角度。

(6)基于预测估计的方法，当机器人运行的距离小于0.5Dist(N_this，N_next)时，也即机器人运行到图13中的N_0.5之前时，对环境进行图像识别处理意义不是很大，因此在这一段只对机器人进行直行控制，而不进行图像处理，当机器人运行到N_0.5之后时再进行图像搜索与跟踪。

(7)这一模块在ImageFlag中保存(4)中所得到的参考目标的轮廓图像集合，而数据库中的其他轮廓图像则不包含在内。

(8)是2)中所介绍的图像匹配部分，它的功能是：检测实时图像中是否出现标签，如果出现标签，则提取标签所在的物体轮廓图像，与参考目标的轮廓图像进行匹配，估计参考目标相对机器人的位置，并检查位置的合理性。如果不合理，则说明实时图像没有可用信息。在第(9)步应进行目标的搜寻工作；如果合理，则根据参考目标相对机器人的位置，于下一步调整摄像头方向以跟踪参考目标。

(9)寻找目标过程，就是以(5)中所计算出的角度β为基准，在一定的角度范围η内搜索目标的过程，即不停地旋转机器人上的摄像头，使其方向与机器人相对方向保持在[β-0.5η，β+0.5η]内，直到找到目标为止。

(10)对前两个模块的处理结果进行分析的过程。如果(8)、(9)给出的结果：若实时分割的轮廓图像与参考目标的轮廓图像的不匹配，则说明没有找到目标，则程序转到(13)步进行处理；如果(8)、(9)计算出参考目标相对机器人的位置，也不一定能肯定找到了目标，由于环境的复杂性可能存在很多未知的干扰。例如：环境中的某个物体恰好在某个角度下观察得到的轮廓与参考目标的轮廓相似，进而判断出其相对机器人的位置，干扰了机器人的决策。因此，为了避免这种情况的不利影响，采取多次检测的策略，对前n次合理的检测结果不作分析，而只是将结果(如原始参考目标在实时图像中的高度)保存在一个队列中，当第n+1次检测的匹配图像时，则认为找到了目标，并同样将结果保存在队列中，以便用于(11)步的处理。

(11)这个模块是判断机器人是否到达本阶段的后一个关键引导点。由于在前一步中已经找到了目标，并且将相应的结果保存在队列中，因此，可以根据队列中保存的结果计算机器人与目标的距离。

当机器人找到目标并靠近目标的过程中，也可以根据上面已经计算出的机器人与目标的距离预测还需直行多少距离才能达到目标，这种方法用于机器人将要到达目标，突然遇到强烈的干扰而无法识别环境时，临时利用里程计信息辅助运行到目标的情形。

(12)此时，机器人已经到达参考目标附近。这里需要在参考目标方向附近旋转摄像头，多次多方位扫描参考目标信息，以得到更精确的目标距离和方向。

(13)判别是否有必要继续直行来寻找该阶段的后一个关键引导点。在Dist(N_this，N_next)前面存在一个系数1.2，这是为了增加目标检测的时间，这是根据地图的不精确性而给予的补偿处理。

(14)此时，机器人的视野范围内所存在的信息不足以确定机器人的位置，需要在机器人周围360°范围内搜索信息来完成机器人的定位。同(12)中的过程相似，将扫描范围设定在[-180°，180°]，并在此范围内只扫描一次。在扫描过程中，记录所扫描到的相应参考目标的高度信息与角度信息。扫描完成后，根据所扫描到的每个参考目标，利用中值滤波计算机器人的位置，而后，将各个参考目标所计算出来的机器人位置求取均值，以得到最终的机器人位置。

(15)是利用预测估计的方法为(14)中的扫描过程提供参考目标。当机器人开始360°扫描时，假设周围与其相距在一定摄像机视野范围内的环境中存在k个目标，第i个目标中心相对于机器人当前位置的角度为α_i。考虑到地图的不精确性，我们将第i个目标可能出现的方向设定在集合Ψ_i内，其中Ψ_i＝{x|α_i-60°＜x＜α_i+60°，x∈Z}。则在扫描过程中，对于每个扫描周期，首先清空ImageFlag，然后检测当前摄像头的方向φ与每个Ψ_i的关系，当φ∈Ψ_i时，将第i个目标所表示的图像类别保存入ImageFlag中，最后根据ImageFlag中的信息进行扫描过程。

(16)更新ImageFlag的过程，即是清空ImageFlag中保存的信息的过程，为下一个阶段的运行提前做好初始化。

(17)是每段运行的终点。根据(12)或者(14)中所定位出的机器人位置信息和比例映射关系，更新机器人在地图上的位置，并将此点更新为下一阶段的初始关键引导点。

(18)此时，机器人已经到达最后一个关键引导点附近。由于在(17)中可能更新了最后一个关键引导点的位置，因此，为了到达原始的最后一个关键引导点，需要在这一步根据更新前后的位置做补偿运行，使机器人到达原始终点。

4)避障导航

为了有效地避开环境中的静态或动态障碍物，并能在避障的过程中同时进行基于视觉的导航，避障之后，机器人会返回到避障前的状态继续运行或者是进入一个新的状态。图17为避障导航的流程图，其避障步骤如下：

(1)在机器人的直行过程中利用声纳实时检测前方是否存在障碍物，若不存在，则继续直行，否则，记录当前机器人的方向R_θ并转向步骤2。

(2)根据声纳数据判断机器人旋转方向以避开障碍物，转向步骤3。

(3)机器人旋转一定角度，根据声纳数据判断此时其前方是否存在障碍物，若不存在，则机器人停止旋转并前行一小段距离，转向步骤4，否则，继续转向步骤3。

(4)机器人按照3)中避障前无约束导航中的运行模式继续运行(例如，前行并调整摄像头检测跟踪参考目标等)，转向步骤5。

(5)根据里程计信息与图像信息判断机器人是否到达下一个关键引导点，若是，则转向步骤8，否则，转向步骤6。

(6)根据机器人上的声纳信息检测Rθ方向处是否存在障碍物，若是，则转向步骤7，否则，转向步骤9。

(7)根据机器人上的声纳信息检测机器人前方是否存在障碍物，若是，则转向步骤2，否则，转向步骤4。

(8)退出避障状态，转入无约束导航状态，并进行下一阶段的运行分析。

(9)机器人转向R_θ方向，退出避障状态，转入无约束导航状态，并按照避障前的模式继续运行。

将避障导航模块结合无约束导航导航模块，机器人就可以在复杂的环境中有效地完成导航任务。

实验结果

本实验采用美国ActivMediaRobotics公司的Pioneer3-DX机器人作为实验平台来实现上面介绍的导航方法。采用C/S模式对机器人进行控制，其中将机器人作为服务器端，负责图像、声纳和自身里程计信息数据的采集与传输以及控制命令的接收及执行；将高性能PC机作为客户机端，负责人机交互和各种不同数据的计算分析，并发送控制指令，从而可以完成机器人的自主导航。

该实验真实环境如图11所示，所需的硬件设备包括：内置PC的机器人一台、PTZ摄像头、声纳传感器、图像采集卡、无线网卡、无线路由器、高性能PC机一台等。

客户机端的软件设计包括地图的绘制模块、机器人状态显示模块、通信模块、导航算法设计模块等。考虑到Visual C#环境对于界面开发的易用性以及Visual C++环境开发项目的通用性，这里考虑利用C#和C++语言在Visual Studio 2008开发环境下的混合编程。即基于Windows Forms窗体应用程序，利用C#语言开发机器人的运行环境地图，用于用户地图的绘制、参数的设置以及机器人运行状态的显示；基于Win32Console应用程序，利用C++语言导航系统中其他模块的设计，例如通信、图像检测匹配、导航算法设计等部分。

在服务器端，软件设计部分主要包括通信模块、传感器信息获取模块、底层驱动模块等，由于ActivMedia Robotics公司提供了一套关于Pioneer3-DX上的传感器及电机的API接口软件ARIA，结合此软件利用C#/C++语言可以很容易地编写出导航系统的各个模块。

为了验证本发明提出的导航算法，本发明从五个不同角度进行了如下实验。

实验一：在其他信息不变的情况下，改变关键目标上标签的旋转方向，观察机器人的实际运行情况。

当标签在环境关键目标上随意旋转放置时，机器人均能够检测到标签，进而对图像进行分割，并根据分割结果识别出参考目标，从而对机器人的运行提供指导作用，最终使得机器人可以顺利到达目标区域。

实验二：在其他信息不变的情况下，改变关键目标上标签的位置，观察机器人的实际运行情况。

当标签粘贴在环境参考目标上各个不同的位置时，机器人都能够检测到标签，进而对图像进行分割，并根据分割结果识别出参考目标，从而对机器人的运行提供指导作用，最终使得机器人可以顺利到达目标区域；但是，标签不能粘贴在目标的边缘位置，因为这样很可能会影响图像分割效果，进而影响整个导航过程。

实验三：改变所设置的机器人从起点至终点的大致距离，而不改变其他因素，观察机器人的实际运行情况。

当所设置的起点至终点的距离与实际距离相差不大时，机器人能够根据视觉定位信息更新地图比例尺来提高地图的准确性，进而指导机器人最终运行到正确的目标区域。但若设置距离与实际距离相差比较悬殊时，则很可能会使机器人“迷失”在环境中，进而影响到导航效果。

实验四：改变手绘地图中关键目标的实时手绘轮廓，而不改变其他因素，观察机器人的实际运行情况。

当手绘轮廓发生变化时，机器人仍然可以正确地识别出环境关键目标，从而根据它们的指导，顺利达到终点区域。这是由于环境参考目标的特征并不是确切由该实时手绘轮廓表示的，而是由与其相对应的轮廓数据库中的综合轮廓特征表示的，因此，轮廓的绘制可以不必太精确。

实验五：改变手绘地图中关键目标对应的轮廓数据库中图像的数量，而不改变其他因素，观察机器人的实际运行情况。

当轮廓数据库中的图像数量发生改变时，机器人同样可以正确地识别出环境参考目标，从而根据它们的指导作用顺利达到终点区域。这是因为每个环境参考目标是由轮廓数据库中一些图像的总体特征表示的，而不是由某个轮廓的特征单独表征的；所以，轮廓数量发生较小的变化并不会影响环境目标的总体特征，也就不会对机器人的导航效果产生很大的影响。

实验结果总结如下：

大量的实验结果表明，通过改变标签的位置与方向、设置起点与终点的初始距离、手绘参考目标的轮廓、数据库图像的数量等，导航依然能够顺利进行，可以看出本发明提出的导航方法具有较强的鲁棒性。

大量的实验结果表明，自然语言用于机器人导航，具有较强的灵活性和简单易操作性，便于人-机交互。

从实验的结果中可以看出，本发明提出的导航方法可以用语义和轮廓信息来表示参考目标，更有利于在未知环境下导航。

Claims (6)

1.一种基于手绘轮廓语义地图的移动机器人视觉导航方法，其特征在于，包括如下步骤：

1)先绘制手绘轮廓语义地图：①根据参考目标在实际环境中所处的大体位置，在绘图面板中对应的大致位置手绘参考目标的轮廓，并标注该轮廓的语义信息；②根据机器人在实际地图中的概略位置和方向，绘制机器人的大致位姿信息和运行路径的起点，然后绘制运行路径和目标点；再选出对应的子数据库：计算手绘轮廓包围的区域的特征向量和语义轮廓数据库中同类目标的轮廓图像的特征向量，依次比较两个特征向量的欧氏距离，将欧氏距离小于2的轮廓图像作为该区域对应的子数据库；同时，先设计与识别标签：将导航环境中可能的参考目标贴上统一的标签，该标签至少包含颜色A和颜色B两种不同颜色，利用HSI颜色空间的色调信息H和饱和度信息S对标签进行识别，其中颜色A和颜色B满足|H_A-H_B|≥40且S≥40，式中，H_A表示颜色A的色调，H_B表示颜色B的色调；再进行目标分割：将标签的中心位置设置为种子点，而后检查该种子点的8邻域，将与种子点的色调和饱和度都相差不小于20的像素点扩展为该种子的区域，接着继续检查该种子区域的8邻域，直至该种子区域的8邻域不再存在满足上述条件的点，就得到了该标签对应参考目标的分割区域；

2)将步骤1)中子数据库包括的图像和分割区域进行匹配：对子数据库中的图像计算其特征向量均值

和和协方差矩阵S，计算分割区域的特征向量V，并计算V与

的马氏距离d_M： $d_M=\sqrt{(V-\stackrel{\‾}{V})\·S^{-1}\·{(V-\stackrel{\‾}{V})}^{\′}}$

式中，S^-1表示协方差矩阵S的逆矩阵；表示

的转置矩阵；

若马氏距离d_M小于5.0，则认为匹配成功；

3)机器人粗定位：设摄像机在距离标签D_m处拍摄到的标签边长的平均像素为L_m，则若机器人在实时运行中检测到的标签的平均边长为L_n，那么摄像机距目标的大致距离D_n：

2.根据权利要求1所述一种基于手绘轮廓语义地图的移动机器人视觉导航方法，其特征在于：所述步骤1)中，将所述路径分成几段，每段都有一个关键引导点，将机器人引导到关键引导点附近，然后向着下一个关键引导点运行。

3.根据权利要求2所述一种基于手绘轮廓语义地图的移动机器人视觉导航方法，其特征在于：所述关键引导点间的运行方式为直线运行。

4.根据权利要求1所述一种基于手绘轮廓语义地图的移动机器人视觉导航方法，其特征在于：所述标签包括外围蓝色边框和里面交错设置的红色和绿色小矩形框各两个，将H、S分量线性扩展到[0,255]中：

在对标签的识别过程中，首先找到外围的蓝色边框，若存在蓝色边框，则对其内部小矩形框进行分析，若满足下式之一，则认为标签识别成功：

$\left\{\begin{array}{c}{k}_g^1=1,k_r^2=1,k_r^3=1,k_g^4=1\\ A_g^1>A_t,A_r^2>A_t,A_r^3>A_t,A_g^4>A_t\end{array}\right.$

$\left\{\begin{array}{c}{k}_r^1=1,k_g^2=1,k_g^3=1,k_r^4=1\\ A_r^1>A_t,A_g^2>A_t,A_g^3>A_t,A_r^4>A_t\end{array}\right.$

式中和

分别表示第x个小矩形框中红色区域的个数和红色区域的面积，

和分别表示第x个小矩形框中绿色区域的个数和绿色区域的面积，A_t表示面积阈值，取为小矩形框面积的0.15倍。

5.根据权利要求1所述一种基于手绘轮廓语义地图的移动机器人视觉导航方法，其特征在于：所述步骤1)和步骤2)中特征向量的计算方法为：

Pseudo-Zernike矩的离散形式为：

$A_{\mathrm{nl}}=\mathrm{\α}\·\frac{n+1}{\mathrm{\π}}\underset{x=0}{\overset{N-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{M-1}{\mathrm{\Σ}}}{\left[V_{\mathrm{nl}}(r_{\mathrm{xy}},{\mathrm{\θ}}_{\mathrm{xy}})\right]}^{*}f(x,y)$

$=\mathrm{\α}\·\frac{n+1}{\mathrm{\π}}\underset{x=0}{\overset{N-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{M-1}{\mathrm{\Σ}}}{R}_{\mathrm{nl}}\left(r_{\mathrm{xy}}\right)\exp (-\mathrm{jl}{\mathrm{\θ}}_{\mathrm{xy}})f(x,y)$

式中，n为阶数，l为重复度，f(x,y)表示分辨率为M×N的二值图像中坐标点(x,y)处的值；α表示图像映射到单位圆内时相应的比例系数；r_xy和θ_xy分别为图像坐标点(x,y)处的极坐标表示，A_nl代表n阶l重复度的伪Zernike矩，V_nl代表n阶l重复度的伪Zernike多项式，R_nl代表n阶l重复度的径向多项式， $j=\sqrt{-1};$

对于M×N的图像f(x,y)，其归一化转动惯量NMI特征为：

$\mathrm{NMI}=\frac{\sqrt{\underset{y=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{x=0}{\overset{N-1}{\mathrm{\Σ}}}[{(x-\stackrel{\‾}{x})}^2+{(y-\stackrel{\‾}{y})}^2]f(x,y)}}{\underset{y=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{x=0}{\overset{N-1}{\mathrm{\Σ}}}f(x,y)}$

式中，

和

分别表示图像质心的横坐标和纵坐标：

$\stackrel{\‾}{x}=\frac{\underset{y=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{x=0}{\overset{N-1}{\mathrm{\Σ}}}x\·f(x,y)}{\underset{y=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{x=0}{\overset{N-1}{\mathrm{\Σ}}}f(x,y)},\stackrel{\‾}{y}=\frac{\underset{y=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{x=0}{\overset{N-1}{\mathrm{\Σ}}}y\·f(x,y)}{\underset{y=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{x=0}{\overset{N-1}{\mathrm{\Σ}}}f(x,y)}$

选择3阶Pseudo-Zernike矩以及NMI值为图像的特征描述子，则该图像就对应于如下的11维向量V：

V＝(v₁，v₂，v₃，v₄，v₅，v₆，v₇，v₈，v₉，v₁₀，v₁₁)

＝(|A₀₀|，|A₁₀，|A₁₁|，|A₂₀|，A₂₁|，|A₂₂|，

  |A₃₀|，|A₃₁|，|A₃₂|，|A₃₃，NMI)

该11维向量V即为图像的特征向量。

6.根据权利要求1所述一种基于手绘轮廓语义地图的移动机器人视觉导航方法，其特征在于：还包括步骤4)基于预测估计的机器人导航：

(1)预测估计方法：两个黑色节点表示此时的关键引导点和下一个关键引导点，设机器人Robot已经处在关键引导点N_this并且朝向两关键引导点N_this和N_next之间连线

的方向，关键引导点N_this和N_next线段之间的两个灰色节点N_0.5和N_0.75分别表示在矢量

方向上与关键引导点N_this相距在0.5Dist(N_this，N_next)和0.75Dist(N_this，N_next)的位置，其中Dist(N_this，N_next)表示两点N_this和N_next之间的距离；目标1至目标4是点N_next周围与其相距在一定摄像机视野范围内的环境中的目标，d₁至d₄以及α₁至α₄分别表示各个目标与点N_next的距离以及各个目标与机器人运行方向

的夹角，提出了两个约束函数 $f_1\left(d\right)=\left\{\begin{array}{cc}0& d<0.5D\\ 0.5d/D+0.25& 0.5D\&le;d\&le;1.5D\\ 0.4d/D+1.6& 1.5D\&le;d\&le;4D\\ 0& 4D<d\&le;6D\end{array}\right.$ 和 $f_2\left(\mathrm{\&alpha;}\right)\left\{\begin{array}{cc}-3\mathrm{\&alpha;}/\left(2\mathrm{\&pi;}\right)+1& 0<\mathrm{\&alpha;}\&le;2\mathrm{\&pi;}/3\\ 0& 2\mathrm{\&pi;}/3<\mathrm{\&alpha;}\&le;\mathrm{\&pi;}\end{array}\right.,$ 它们分别表示目标与N_next的距离，以及与矢量

方向偏离程度对其作为参考目标的影响，D表示原始图像的平均拍摄距离，α表示参考目标与矢量的偏离角，d表示参考目标与关键引导点N_next的距离，作为每个参考目标i的综合可能性程度F(i)，可通过下式计算：F(i)＝f₁(d_i)·f₂(α_i)，根据经验，若综合可能性程度的最大值

则认为点N_next附近不存在参考目标，否则，使F(i)取最大值的目标i可以作为参考目标；若存在多个目标都能使F(i)取得最大值，则选择这些目标中α最小的作为参考目标；

(2)比例尺更新：设更新前地图的比例尺是Ruler_old，该段运行开始的关键引导点位置为L₁，结束点位置为L₂，机器人根据图像信息定位结束点在地图上的位置为

则更新后的比例尺Ruler_new利用下面的函数关系式进行计算：

${\mathrm{Ruler}}_{\mathrm{new}}=\left\{\begin{array}{cc}\frac{\mathrm{Dist}(L_1,L_2)}{\mathrm{Dist}(L_1,L_2^{\&prime;})}\&CenterDot;{\mathrm{Ruler}}_{\mathrm{old}},& \mathrm{RC}\\ {\mathrm{Ruler}}_{\mathrm{old}},& \mathrm{other}\end{array}\right.$

其中，Dist(.)表示两点间的距离，RC表示比例更新条件，根据经验这里设为 $0.33<\mathrm{Dist}(L_1,L_2)/\mathrm{Dist}(L_1,L_2^{\&prime;})<3;$

(3)无约束导航，归纳为以下3个步骤：

a)按照地图比例尺计算本关键引导点与下一个关键引导点间的距离，并据此确定在这两个关键点之间的运行模式，

b)按照a)中的模式进行运行，并按照预测估计的方法在必要的时候旋转摄像头寻找或跟踪参考目标，

c)机器人运行到下一个关键引导点附近后，根据图像信息或里程计信息进行定位，而后更新此关键引导点的位置以及地图比例尺，最后返回到a)中继续下一阶段的运行，直到运行到最后一个关键引导点；

(4)避障导航：

当机器人在行进的过程中遇到静态或者动态障碍物时，为了有效地避开环境中的静态或动态障碍物，并能在避障的过程中同时进行基于视觉的导航，机器人能够对避障前的状态进行记忆，避障之后，机器人返回到避障前的状态继续运行或者是进入一个新的状态。

Images