CN106643725A - 一种基于地面砖轮廓线的机器人定位导航方法 - Google Patents

Abstract

本方法公开了一种基于地面砖缝隙识别的机器人定位导航方法，该方法提出通过检测地面砖缝隙和十字交叉点来做机器人定位和导航。先是通过lsd和Hough变换检测出画面中的直线，然后通过运动信息和直线周围颜色纹理信息检测出地面缝隙和十字交叉处。最后根据直线和十字交叉点来算出机器人的局部位置，并充分结合轮式里程计进行定位，最后使用基于地面砖线建立栅格地图，使用耕牛式覆盖算法，覆盖大范围区域。实验结果表明，该方法的定位和导航精度在10cm以内，完全适合大范围的公共场合的定位和导航。

Description

一种基于地面砖轮廓线的机器人定位导航方法

技术领域

本发明涉及图像识别和机器人导航领域，尤其涉及一种基于通用地面砖轮廓线的线识别方法，以及机器人的定位导航方法。

背景技术

近年来，在大范围的机器人定位导航问题一直是机器人的研究热点。但在面积较大的公共场合，例如车站等人流量较大的场合，激光和一般的视觉定位导航失去了有效的作用。经实际场地发现，现在大部分的公共场合都使用了规则统一化的地面砖，如果能识别出每个地面砖之间的缝隙和缝隙交叉处，则可以保证机器人沿着地面线保持直线行走，并可判断出当前机器人相对于这块地面砖的位置，实现局部定位。

提取地面线就要用到直线提取算法，而经典的直线提取算法就是霍夫变换(Hough变换)提取。Hough变换由Paul Hough提出，它实现一种从图像空间到参数空间的映射关系，并已广泛用于直线检测和定位系统。但是它也有许多缺点，例如耗时久实时性差，容易受到噪声干扰。由于大理石的地面有着许多细小的花纹，会造成大量直线提取的噪声，所以单单Hough变换无法满足地面缝隙直线的提取。近年来，Rafael Grompone von Gioi等人又提出lsd—一种新的直线提取算法。他们先对图像进行高斯下采样，再计算每一个点的梯度值以及梯度方向，再对梯度值进行伪排序，然后根据阈值选出要进行区域生长的梯度值，最后计算出当前梯度值的矩形。虽然线段分割检测器(lsd)算法效率上快了很多，并且对误检率也有了一定控制，但是还是会检测出地面花纹的直线，如何从这么多直线中提取出需要的地面线缝隙合十字交叉点是一个值得考虑的问题。

在提取出缝隙和十字交叉点之后，如何结合机器人的运动控制，使得机器人保持直线的行走和确定自身局部位置，也是一个值得考虑的问题。

发明内容

本发明所要解决的技术问题是提供基于地面砖轮廓线的机器人定位导航方法，为此，本发明提供以下技术方案：

一种基于地面砖轮廓线的机器人定位导航方法，包括如下步骤：

首先提取地面砖的直线，在提取出至少一条直线后，即可使机器人沿着直线行走，使机器人自身保持直线行走；

当提取到两条线后，即能提取出地面砖的十字后，则可算出两条线的斜率和截距，则可根据直线相交公式提取出十字交叉点的位置；根据相机内参和外参可以计算出十字交叉点相对于相机的实际距离；

再参考相机和机器人中心的相对位置，则可以算出当前机器人距离图像中的十字交叉点的距离，假设确定机器人初始位置，并确定一块地面砖的宽和高，则每次提取出十字交叉点后都可以确定机器人相对于初始位置的相对距离，形成局部定位。

在上述技术方案的基础上，本发明还可以采用一下进一步的技术方案：

步骤一，基于线段分割检测器直线提取算法和霍夫变换提取地面砖的直线，并确定直线中的主线：

先对输入的地面图像进行灰度化处理、图像锐化处理和多级边缘检测边缘提取处理，再使用线段分割检测器直线提取算法提取出当前画面的全部直线；将这些直线全部变换到霍夫空间，寻找霍夫空间的最大值，并且判断这个最大值是否大于一个阈值，如大于，则确定为垂直方向的地面缝隙，并作为主线；

步骤二，基于机器人的运动跟踪确定地面线和十字：

在第一次使用全画面去提取出垂直方向的地面缝隙后，以后每一次小范围搜索寻找地面缝隙，结合轮式里程计的和上一时刻垂直方向的地面砖的直线的信息确定当前寻找范围，根据主线角度相差80度～90度，包括90度的差值去搜索水平缝隙，搜索得到的这一范围中最大值，且在霍夫空间的值大于一个阈值则作为水平方向的地面缝隙；

步骤三，基于像素直方图和纹理特征分类剔除错误线：

当地面上存在标签或者图案时，将线周围的10到20像素范围图像作为输入的地面图像，提取此地面图像的局部二值模式特征向量，与没有标签或者图案的地面缝隙周围的局部二值模式特征向量进行比较，比较方法使用线性距离作为比较函数，若比较值过大，则说明提取的为错误线，剔除该错误线。

当确定机器人相对于初始位置的相对距离，形成局部定位后，设定每次导航覆盖的区域，并且全部路径都是沿着地面线行走，形成连续的机器人导航。

则每次提取出十字交叉点后，没有寻找到十字交叉点时，则用轮式里程计来估计当前位置。

由于采用本发明的技术方案，可以在大范围具有规则地板的公共场合实现厘米级的精确定位，和实现机器人的自动覆盖，具体有如下优点：可以实现大范围的定位，在大范围的定位中实现地板交叉点的闭环，实现无累积误差；可以在人流量较大地区进行地位，周围图像对其无干扰；可以实现有效的大范围机器人覆盖和避障。

附图说明

图1为原始图像；

图2a为lsd提取结果；

图2b为霍夫空间图像；

图2c为主线提取结果；

图2d为线和十字交叉点提取结果；

图3为本发明整体流程图；

图4为基于地面砖轮廓线的栅格地图导航的流程图；

图5为整个方法的框架结构图。

具体实施方式

为了更好的理解本发明的技术方案,以下结合附图作进一步描述。

首先提取地面砖的直线，在提取出至少一条直线后，即可使机器人沿着直线行走，使机器人自身保持直线行走；

当提取到两条线后，即能提取出地面砖的十字后，则可算出两条线的斜率和截距，则可根据直线相交公式提取出十字交叉点的位置；根据相机内参和外参可以计算出十字交叉点相对于相机的实际距离；

则可以算出当前机器人距离图像中的十字交叉点的距离，相机像素坐标转换为物理坐标具体公式如下：

x＝(u/f_x+u_o)*z

y＝(v/f_y+v_o)*z

z＝(RT)(3)

x和y为实际物理坐标，(u,v)为像素在图像上的坐标，u_o和v_o为物理坐标轴和像素坐标轴的偏移。Z为相机实际高度，这里通过RT矩阵来计算，R为旋转矩阵，T为平移向量，z为两者相乘的第三位。

假设确定机器人初始位置，并确定一块地面砖的宽和高，则每次提取出十字交叉点后都可以确定机器人相对于初始位置的相对距离，形成局部定位；当没有寻找到十字交叉点时，则用轮式里程计来估计当前位置。

图1及图2a-2d展示了提取地面线的例子。其中，图1所示的原图像，图2d为提取出的地面线和十字交叉点。

步骤一，基于线段分割检测器(lsd)提取算法和霍夫变换(Hough变换)提取直线。先用lsd算法初步提取直线，即先使用2*2模板进行梯度计算，i(x,y)处的梯度计算公式如下：

i(x,y)指图像(x,y)处的像素值，x为图像横坐标，y为图像纵坐标，g_x(x,y)指水平方向的梯度值，g_y(x,y)指竖直方向的梯度值。

再进行梯度的排序和梯度的阈值筛选，则最后留下的梯度像素处进行区域增长，最后分割的区域对应一个矩形，矩形的中心计算方式如下：

G(j)为像素j的梯度幅值，下标j被用于遍历矩形区域内所有的像素，C_x和C_y为矩形中心的坐标。

图2a展示了在图1中利用lsd提取出的直线，可见提取的直线是十分杂乱的，许多地面花纹都被提取出来。为了提取出最关键的地面砖缝隙，将全部的直线都变换到霍夫(Hough)空间，霍夫变换直线公式如下：

r＝xcosθ+ysinθ。

r为直线距离图像中心的极径，θ为直线的极角。x为点横坐标，y为纵坐标。

则可以转换到极坐标下的r和θ。每一根直线可以得到一个r和θ值，建立一个θ为横坐标r为纵坐标的图，每个像素值代表其统计r和θ值的个数。再对这个图进行高斯模糊，使得附近的一些值可以聚合在一起，如图2(b)所示。再遍历出其中的最大值，并判断其最大值是否大于阈值1，再将对应的直线在原图中显示出来，即可提取出竖直中心方向地面砖轮廓线，这里称为主线。如图2(c)所示。

步骤二，基于运动跟踪确定地面线和十字。根据当前轮式里程计得到的机器人运行信息可以限制竖直方向的地面线的搜索范围，则每次搜索主线的范围为上次检测到的主线的r'和θ'值的10误差范围，搜索范围的r'和θ'值的计算公式如下:

r'＝r+k_rv_y/dt

θ'＝θ+k_θv_θ/dt

r为前一帧的极径，θ为前一帧的极角，v_y和v_θ为里程计得到当时横向和转向速度，k_r和k_θ为一个转换系数，是定值。

在这个范围之内再用步骤一搜索最大值，则可得到主线。在得到主线后，在主线θ值相差80以上的Hough空间搜索水平方向的缝隙线，并判断其统计值是否大于阈值2。当找到这两根线后，则可以计算出十字交叉点的像素位置。

步骤三，基于像素直方图和纹理特征分类剔除错误线。将得到的两根线或一根线的周围20个像素范围的图像提出转化为图像，例如线竖直长度为160，则其图像为160*20。将此其转换到Hsv空间，并那其中的色调空间作直方图统计，再提取周围的局部二值模式特征向量(lbp)纹理特征向量，将颜色特征向量和纹理特征向量结合为特征向量，将每一帧的特征向量进行比较。使用相关性比较，线性比较公式如下：

其中

H₁指当前特征向量，H₂指模板特征向量，N指特征向量的维数。d(H₁,H₂)为两者线性距离比较的结果。

若相差过大，说明此时检测到的是地面上的一些标签或贴纸，则剔除之。

当确定机器人相对于初始位置的相对距离，形成局部定位后，基于地面砖轮廓线的在线栅格地图的建立与导航。设定每次覆盖的区域，并且全部路径都是沿着地面线行走。首先，沿着地面线在设定的区域边框进行大致的范围覆盖，即确定这块区域的覆盖边缘，并建立了以地面砖为栅格大小的边缘。再在区域边缘里进行弓形绕圈覆盖方法，并同时建立这块区域的栅格地图，并将已覆盖的栅格设为已走栅格。并用激光获取当前的障碍，当遇到障碍时，对这个障碍进行一个绕圈，以获得障碍的大小，并将有障碍的栅格设为不可通行区域，当绕完障碍后，再继续弓形覆盖。当从区域初始位置绕行后到区域对立角结束点，判断整个区域的可通行栅格是否都已填满，若填满，则将结束点作为下一个区域的初始点进行覆盖。否则，继续填充这块区域。

上述实施例是对本发明的说明，不是对本发明的限定，任何对本发明简单变换后的方案均属于本发明的保护范围。

Claims (4)

1.一种基于地面砖轮廓线的机器人定位导航方法，其特征在于，包括如下步骤：

首先提取地面砖的直线，在提取出至少一条直线后，即可使机器人沿着直线行走，使机器人自身保持直线行走；

当提取到两条线后，即能提取出地面砖的十字后，则可算出两条线的斜率和截距，则可根据直线相交公式提取出十字交叉点的位置；根据相机内参和外参可以计算出十字交叉点相对于相机的实际距离；

再参考相机和机器人中心的相对位置，则可以算出当前机器人距离图像中的十字交叉点的距离，假设确定机器人初始位置，并确定一块地面砖的宽和高，则每次提取出十字交叉点后都可以确定机器人相对于初始位置的相对距离，形成局部定位。

2.如权利要求1所述的一种基于地面砖轮廓线的机器人定位导航方法，其特征在于，地面砖的直线提取包括以下步骤：

步骤一，基于线段分割检测器直线提取算法和霍夫变换提取地面砖的直线，并确定直线中的主线：

先对输入的地面图像进行灰度化处理、图像锐化处理和多级边缘检测边缘提取处理，再使用线段分割检测器直线提取算法提取出当前画面的全部直线；将这些直线全部变换到霍夫空间，寻找霍夫空间的最大值，并且判断这个最大值是否大于一个阈值，如大于，则确定为垂直方向的地面缝隙，并作为主线；

步骤二，基于机器人的运动跟踪确定地面线和十字：

在第一次使用全画面去提取出垂直方向的地面缝隙后，以后每一次小范围搜索寻找地面缝隙，结合轮式里程计的速度值和上一时刻垂直方向的地面砖的直线的信息确定当前寻找范围，根据主线角度相差80度~90度，包括90度的差值去搜索水平缝隙，搜索得到的这一范围中最大值，且在霍夫空间的值大于一个阈值则作为水平方向的地面缝隙；

步骤三，基于像素直方图和纹理特征分类剔除错误线：

当地面上存在标签或者图案时，将线周围的10到20像素范围图像作为输入的地面图像，提取此地面图像的局部二值模式特征向量，与没有标签或者图案的地面缝隙周围的局部二值模式特征向量进行比较，比较方法使用线性距离作为比较函数，若比较值过大，则说明提取的为错误线，剔除该错误线。

3.如权利要求1所述的一种基于地面砖轮廓线的机器人定位导航方法，其特征在于，当确定机器人相对于初始位置的相对距离，形成局部定位后，设定每次导航覆盖的区域，并且全部路径都是沿着地面线行走，形成连续的机器人导航。

4.如权利要求1所述的一种基于地面砖轮廓线的机器人定位导航方法，其特征在于，则每次提取出十字交叉点后，没有寻找到十字交叉点时，则用轮式里程计来估计当前位置。