CN102135429B - 一种基于视觉的机器人室内定位导航方法 - Google Patents

Abstract

本发明公开了一种基于视觉的机器人室内定位导航方法，属于视觉导航领域。该方法是根据二维码的思路，设计了一种简单方便、易于识别、内含绝对位置坐标且具有一定纠错能力的人工路标，将路标设置于天花板上，由安装在机器人上且光轴与天花板垂直的摄像机进行拍摄，再通过图像的阈值分割、连通域提取、轮廓曲线匹配以及路标特征识别一系列步骤定位路标，解析路标中所包含的坐标信息，最终通过机器人的位置估计算法获得机器人当前的绝对位置和航向角。本发明方法减少了遮挡及噪声干扰，大大降低了图像处理方法、时间以及周围环境的复杂度。

Description

一种基于视觉的机器人室内定位导航方法

技术领域

本发明涉及一种导航方法，尤其涉及一种基于视觉的机器人室内定位导航方法，属于视觉导航领域。

背景技术

室内机器人的定位定向是室内机器人领域的一个重要研究热点。由于室内存在卫星信号屏蔽，因此GPS等卫星定位方法在室内无法发挥其定位快速准确的优势。利用无线传感网进行室内定位是当前的热门研究方向，然而该方法一般采用基于链路质量指标或接收信号强度获取节点相对位置的方法实现节点定位，定位精度差，误差甚至可达25％，无法满足室内精确定位的要求。

随着图像处理技术的发展，基于人工路标的机器人视觉导航定位得到了广泛应用。如文献“章小兵，宋爱国，唐鸿儒.基于视觉的室内移动机器人精确定位方法[J].数据采集与处理，2007，22(2)：196-200.”提出了利用贴在天花板上的人工混合编码路标进行定位的方法，路标上标有序号编码和不对称方向沟道，能识别360度航向角，并容易进行扩展；文献“陆军，穆海军，朱齐丹等.全景视觉在机器人自主定位中的应用[J].计算机应用，2007，27(7)：1677-1679.”及文献“Chih Jen Wu，Wen Hsiang Tsai.Location estimation for indoor autonomousvehicle navigation by omni-directional vision using circular landmarks on ceilings[J].Robotics andAutonomous Systems，2009，57(5)：546-555.”提出了基于全景视觉的机器人自主定位方法，通过全景摄像机拍摄机器人周围环境的全方位景物图像，从中识别出机器人周围环境的已知路标，通过三角定位法获得机器人的当前坐标；文献“Weiguo Lin，Songmin Jia，Takafumi Abe，et al..Localization of mobile robot based on ID tag and WEB camera[C].Proceeding of the 2004IEEE Conference on Robotics，Automation and Mechatronics，Singapore，2004，2：851-856.”提出了RFID技术与计算机视觉相结合的定位方法，将室内环境用节点树表示，每个节点由ID标签和颜色卡片两个路标组成，将其安装于天花板，通过RFID技术识别ID标签，并通过摄像机识别路标位置和方向，从而实现机器人准确可靠的定位；文献“Jinwook Huh，Woong SikChung，Sang Yep Nam，et al..Mobile Robot Exploration in Indoor Environment Using TopologicalStructure with Invisible Barcodes[C].IEEE/RSJ International Conference on Intelligent Robots andSystems，Beijing，2006，29(2)：5265-5272.”提出了一种用于小型地面清洁机器人的定位方法，将包含绝对位置信息的二维条形码粘贴在地面上作为路标，路标只有在紫外灯照射下可见，并采用红外测距模块测量机器人和路标间的距离。

上述这些方法存以下缺点：1)路标常常放置于地面上，容易被周围过往的其它机器人所干扰；2)一些简单的路标虽然图像处理简单，但是不具备纠错性，而一些复杂路标虽然具有完整数据纠错性，但是图案过于复杂，实时性差；3)不容易扩展到大环境下的机器人室内定位导航。

发明内容

本发明针对现有技术的不足，而提出一种自动化程度高、路标设计简单且图像处理实时性高的基于视觉的机器人室内定位导航方法。

该方法包括如下内容：

(1)设计一种基于二维条形码的人工路标，该人工路标是采用两种不同颜色的方块组成的正方形，一种颜色代表二进制的1，另一种颜色代表二进制的0，该种路标包含隔离区、判别区和数据区三个部分，将此种路标作为机器人室内定位定向的路标；

(2)假设室内天花板是一个矩形，在天花板平面根据导航定位的需求进行网格划分，并构建全局坐标系，该全局坐标系的坐标轴离散为m’列n’行，形成m’×n’个网格交叉点，每个网格交叉点的坐标为(X_i’，Y_i’)，1≤i’≤m’，1≤j’≤n’，其中i’、j’、m’、n’均为自然数，然后将路标中心对准网格交叉点粘贴在天花板上；

(3)在机器人上安装有光轴垂直于天花板平面的摄像机，由该摄像机拍摄天花板的图像，机器人根据拍摄的图像进行路标检测、识别和解析，并计算出机器人当前位置和航向角，从而实现机器人在室内环境中的导航定位。

与现有技术相比，本发明具有以下技术效果：

(1)本发明采用相对空旷和背景简单的天花板作为人工路标的摆放位置，周围没有其它活动物体的影响，有利于减少遮挡以及噪声干扰。

(2)本发明中所设计的二维码人工路标包含了平面坐标，并采用Hamming码进行数据编码。与现有的不带数据编码功能的人工路标相比，本发明中的人工路标具有一定的纠错性；与采用MR Code和QR Code进行数据编码的人工路标相比，本发明中的人工路标所需的图像处理方法、时间复杂度以及周围环境复杂度的要求都大大降低。

(3)本发明中涉及的机器人位置估计算法属于一种绝对定位方法，只要在摄像机视野中出现一个完整的路标，即可根据简单的数学计算公式推导出机器人当前位置和航向。

附图说明

图1为本发明中人工路标的构造示意图。

图2为本发明中的人工路标粘贴在天花板上的示意图。

图3为本发明中基于极值特征不变性的机器人定位导航功能算法的流程图。

图4为两个直线组生成新直线的示意图。

图5(a)～(d)分别为人工路标的四种摆放方式示意图。

图6为机器人位置估计示意图，图中：A表示拍摄的图像中的路标中心；B表示拍摄的图像中心；C表示拍摄的图像中的路标判别区原点。

具体实施方式

下面结合附图对本发明作进一步说明。

本发明的基于视觉的机器人室内定位导航方法，主要包括如下内容：

(1)设计一种基于二维条形码的人工路标，并将此种路标作为机器人室内定位定向的路标；

该人工路标的构造如图1所示，其是由两种不同颜色的方块组成的正方形，两种颜色应尽量有强烈对比，图中以黑白两种颜色为例，黑色方块代表二进制的1，白色方块代表二进制的0；

(2)假设室内天花板是一个宽度w米、长度h米的矩形，在天花板平面根据导航定位的需求进行网格划分，并构建全局坐标系，该全局坐标系的坐标轴离散为m’列n’行，形成m’×n’个网格交叉点，每个网格交叉点的坐标为(X_i’，Y_i’)，1≤i’≤m’，1≤j’≤n’，其中i’、j’、m’、n’均为自然数，然后将路标中心对准网格交叉点粘贴在天花板上，如图2所示；

(3)在机器人上安装有光轴垂直于(不要求严格垂直)天花板平面的摄像机，由该摄像机拍摄天花板的图像，机器人根据拍摄的图像进行路标检测、识别和解析，并计算出机器人当前位置和航向角，从而实现机器人在室内环境中的导航定位。

本发明所设计的路标包含隔离区、判别区和数据区三个部分，每个部分的具体含义如下：

i)隔离区。在路标判别区的外围保留一定宽度的空白区，称之为隔离区，它的作用是进行图像二值化分割操作时能够保证将路标区域完整地分割出来；

ii)判别区。判别区具有两个作用：①根据判别区的存在与否来判断图像中某个连通域是否属于路标；②判别区规定了数据区中数据的读取规则，比如当判别区处于如图1所示的方位时(图中判别区原点C在路标的左下角)，此时将按照从下到上、从左到右的顺序读取数据，图1中数据区的数据为000000001110000000110010000000000111000001100110；

iii)数据区。数据区表示路标在天花板平面上所处的平面坐标，共由8×6个黑白方块组成。为了提高路标识别的鲁棒性，采用带自纠错功能的Hamming编码方法对数据进行编码，当数据出现单比特错误时能进行自动纠错，采用Hamming编码是因为目前能够进行任意位数据纠错的编码方法(如QR编码等)存在如下不足：①算法十分复杂，实时性差，难以进行实时定位导航；②经过编码后的数据长度很长，这样在一定面积区域中，黑白方块数量过于集中，降低了路标可视性，大大提高了图像的处理难度。而采用Hamming编码方法后，算法相对简单，只需不到1毫秒的时间即可完成单比特错误的检测和自动纠错，实时性高；而且8bit长度的数据经过Hamming编码后长度仅为12bit，保证了路标的可视性。综上所述，数据区中的8×6个黑白方块一共可以表示4个字节长度的数据(8×6/12＝4)，分别表示平面坐标X的高字节和低字节以及平面坐标Y的高字节和低字节。即平面坐标X、Y各用两个字节表示，这样最多可以代表65536×65536个位置，由此可见其可以适用于大环境下的定位导航。

本发明中机器人的定位导航功能算法流程如图3所示，具体包括如下步骤：

步骤1：根据不同颜色漫反射不同的原理进行图像阈值分割，获得黑白二值化图像；

步骤2：采用基于邻域搜索的连通域检测算法，在黑白二值化图像中检测所有可能属于路标目标的区域，记录这些区域内的目标点，并提取这些区域的轮廓；

该检测算法的具体内容如下：

1)在所获得的二值化图像中找出一个目标像素，并对其标记，再将其置于先入先出的堆栈中；

2)从先入先出的堆栈中取出一个目标像素，在二值化图像中的该目标像素周围5×5邻域中再次寻找未标记的目标像素，对此次找出的目标像素进行标记，并将其置于先入先出的堆栈中；

3)按步骤2)所述，遍历先入先出堆栈中的各个目标像素；

4)对步骤3)所得的目标像素进行噪声判断，将总数量小于阈值T的目标像素作为噪声，并将其颜色改为背景色；反之，将目标像素作为一类可能的路标目标上的点予以保存，并将其颜色改为背景色，上述阈值T的计算公式为：

$T=0.3{(\frac{f\×W_L}{D}\×\frac{1}{d_p})}^2$

其中：f表示摄像机的焦距，d_p表示摄像机CCD上每个像素的大小，D表示摄像机与天花板的距离，W_L表示路标的实际边长，f和d_p可以根据所采用摄像机型号的参数指标获得；

5)重复步骤1)～4)，得到各类可能的路标目标上的点，并分别予以保存；

步骤3：对步骤2所获得的各类可能的路标目标进行初步判别，方法为：分别统计每个可能路标目标最小横坐标x_min，最大横坐标x_max，最小纵坐标y_min和最大纵坐标y_max，得到包含这个可能路标目标的最小外接矩形，最小外接矩形的四个点坐标分别为(x_min，y_min)，(x_max，y_min)，(x_max，y_max)和(x_min，y_max)，最小外接矩形的两个边长W₁和W₂分别为(x_max-x_min)和(y_max-y_min)；若边长W₁大于边长W₂，令σ＝W₂/W₁，否则，令σ＝W₁/W₂；若σ＜0.6，则说明该可能路标目标不是真实路标，予以剔除，否则予以保留，通过后续步骤进一步判断；

步骤4：对于步骤3判别后的各类可能的路标目标，分别提取它们的闭合轮廓，具体方法如下：

1)对于某类可能的路标目标，在图像上按照从上到下的顺序进行扫描，将遇到的第一个该类可能路标目标上的点保存起来；

2)对于同一类可能的路标目标，在图像上依次按照从下到上、从左到右和从右到左的顺序进行扫描，判断扫描到的第一个该类可能路标目标上的点是否已经保存过，如果未保存，则保存该点，否则继续扫描操作；

3)重复步骤1)和步骤2)，直至遍历完所有可能的路标目标；

步骤1)～3)所保存的各类点集就构成了各类可能的路标目标的闭合轮廓；

步骤5：由于实际路标为正方形，判断步骤4所获得的各类可能路标目标的闭合轮廓是否近似于正方形；

这里采用基于极值特征的形状匹配算法进行外廓形状判别，若闭合轮廓符合正方形形状，则执行下一步骤，从而进一步剔除了虚假目标；

步骤6：对于经过步骤5外廓形状判别后的可能路标目标的闭合轮廓，利用Hough直线提取算法获得闭合轮廓的四条轮廓直线，此时闭合轮廓近似于正方形，所以这四条轮廓直线可以分为两组相互近似垂直的直线组，且每组直线内包含两条近似平行的直线，即假设四条轮廓直线为l₁₁、l₁₂、l₂₁、l₂₂，可分为两组，其中l₁₁、l₁₂为一组，l₂₁、l₂₂为另一组，对应的角度和幅值分别为l_θ11、l_θ12、l_θ21、l_θ22和l_A11、l_A12、l_A21、l_A22，则它们应满足下面三个判别条件：①|l_θ11-l_θ12|＜ε₁ and |l_θ21-l_θ22|＜ε₁，(②|l_θ11-l_θ21-90|＜ε₂ and |l_θ11-l_θ22-90|＜ε₂and |l_θ12-l_θ21-90|＜ε₂and|l_θ12-l_θ22-90|＜ε₂，③||l_A11-l_A12|-|l_A21-l_A22||＜ε₃，其中ε₁、ε₂、ε₃为阈值，分别取10、20、15；

步骤7：对上述生成的两组直线分别进行新直线生成处理，假设直线l₁₁、l₁₂、l₂₁、l₂₂的斜率和节距分别为ka₁₁、ka₁₂、ka₂₁、ka₂₂和ba₁₁、ba₁₂、ba₂₁、ba₂₂，以直线组中两条近似平行的直线为基础，生成9条新直线，这样包括原先的两条直线，每组直线各自包含11条直线(如图4所示)；

两组直线l¹ _i和l² _i(i＝1，2...11)的斜率k_ji和节距b_ji的计算公式如下：

$k_{\mathrm{ji}}=\frac{{\mathrm{ka}}_{j2}-{\mathrm{ka}}_{j1}}{10}i+\frac{{11\mathrm{ka}}_{j1}-{\mathrm{ka}}_{j2}}{10}$

$b_{\mathrm{ji}}=\frac{{\mathrm{ba}}_{j2}-{\mathrm{ba}}_{j1}}{10}i+\frac{{11\mathrm{ba}}_{j1}-{\mathrm{ba}}_{j2}}{10}$

如图4所示，此时在直线组中，原先的4条轮廓直线l₁₁、l₁₂、l₂₁、l₂₂分别对应于l¹ ₁、l¹ ₁₁、l² ₁、l² ₁₁；

步骤8：如图4所示，利用两组直线l¹ _i和l² _i将可能路标目标分割成10行10列共100个子方块，假设某个子方块位于第m行、第n列，则该子方块四个顶点的坐标可由直线l¹ _m、l¹ _m+1和l² _n、l² _n+1分别计算交点获得，这样就获得了每个子方块四个顶点的坐标；

步骤9：将分割后的10行10列共100个子方块用10×10的二维数组A表示，假设位于第m行、第n列子方块四个顶点的坐标分别为(x₁，y₁)、(x₂，y₂)、(x₃，y₃)和(x₄，y₄)，子方块的长度和宽度分别为w_s和h_s，则子方块质心(x₀，y₀)＝((x₁+x₂+x₃+x₄)/4，(y₁+y₂+y₃+y₄)/4)；在以质心(x₀，y₀)为中心、长和宽分别为(w_s/2+1)和(h_s/2+1)的区域内，统计黑色像素的个数，记为N_t，如果满足N_t/((w_s/2+1)×(h_s/2+1))≥70％，则A[m，n]＝1，否则A[m，n]＝0；

步骤10：根据路标的判别区特征，其最外面一圈为黑色，则二值化图像中其对应的子方块为黑色像素构成，因此判断二维数组A的第1行、第1列、第10行、第10列共36个数组元素是否都等于1，如果是，执行后续步骤，否则说明该可能的路标目标并不是路标；

步骤11：确定判别区原点C的位置；

根据路标设计时判别区的特点可知，判别区原点C可以是路标四个角点中的一个，如图5所示，图5(a)中判别区原点C位于路标的左下角，图5(b)中判别区原点C位于路标的右下角，图5(c)中判别区原点C位于路标的右上角，图5(d)中判别区原点C位于路标的左上角；

图5中路标外部的数字代表二维数组A的下标，路标内部方块上标注的数字表示二维数组A中该位置元素的值，箭头方向表示数据读取方向；

根据路标设计时数据判别区的特征，判断该可能的路标目标是否满足如下的某个条件：

①以A[2，1]和A[3，1]为首的两列元素分别等于1010101011和1101010101；

②以A[10，2]和A[10，3]为首的两行元素分别等于1010101011和1101010101；

③以A[9，10]和A[8，10]为首的两列元素分别等于1010101011和1101010101；

④以A[1，9]和A[1，8]为首的两行元素分别等于1010101011和1101010101；

如果该可能的路标目标满足条件①，则说明该可能的路标目标是真正的路标目标，且判别区原点C位于如图5(a)所示的位置；如果满足条件②，则说明该可能的路标目标是真正的路标目标，且判别区原点C位于位于如图5(b)所示的位置；如果满足条件③，则说明该可能的路标目标是真正的路标目标，且判别区原点C位于位于如图5(c)所示的位置；如果满足条件④，则说明该可能的路标目标是真正的路标目标，且判别区原点C位于位于如图5(d)所示的位置；如果不满足上述①～④中任何一个条件，则说明该可能的路标目标不是真实路标目标；

步骤12：经过上述步骤后即可确定真正的路标目标，然后根据步骤11获得的路标目标的判别区原点C和数据读取规则得到数据区中的数值，进而利用Hamming码进行数据验证、纠错和解码，从而获得路标中所包含的平面坐标(X_i’，Y_j’)；

步骤13：获得路标的平面坐标后，计算机器人在当前环境中的位置坐标和航向角；

图6为机器人位置估计示意图，图6中B点表示图像的中心，其坐标为(x_b，y_b)＝(Width/2，Height/2)，其中Width为图像的宽度，Height为图像的高度；A点表示图像中路标的中心，其坐标为(x_a，y_a)＝((x_c1+x_c2+x_c3+x_c4)/4，(y_c1+y_c2+y_c3+y_c4)/4)，其中(x_c1，y_c1)、(x_c2，y_c2)、(x_c3，y_c3)和(x_c4，y_c4)分别为路标目标轮廓直线l₁₁和l₂₁的交点坐标、l₁₁和l₂₂的交点坐标、l₁₂和l₂₁的交点坐标以及l₁₂和l₂₂的交点坐标；XAY坐标系代表自定义的路标坐标系，X轴和Y轴分别与路标的两条边平行，且判别区原点C位于XAY坐标系的第三象限中；

机器人的位置和航向的计算步骤如下：

1)根据计算图像中心点B和图像中路标中心点A之间的欧式距离|AB|；

2)计算路标坐标系X轴和图像行方向的夹角α，该夹角α即为机器人行驶的航向角；

3)计算向量AB和图像行方向的夹角β，计算公式如下

$\mathrm{\β}=a\tan \left(\frac{y_b-y_a}{x_b-x_a}\right)$

4)计算向量AB和路标坐标系X轴的夹角θ，计算公式如下

θ＝β-α

5)采用如下公式计算路标坐标系XAY中图像中心点B的像素坐标(x_B，y_B)，

$\left\{\begin{array}{c}{x}_B=\left|\mathrm{AB}\right|\cos \mathrm{\θ}=\left|\mathrm{AB}\right|\cos (\mathrm{\β}-\mathrm{\α})\\ y_B=\left|\mathrm{AB}\right|\sin \mathrm{\θ}=\left|\mathrm{AB}\right|\sin (\mathrm{\β}-\mathrm{\α})\end{array}\right.$

6)假设由步骤1～步骤12所获得的某个路标的平面坐标为(X_g，Y_g)，该坐标即为路标在全局坐标系下的坐标，则根据下式可以获得机器人在全局坐标系下的坐标(X_R，Y_R)：

$\left\{\begin{array}{c}{X}_R=X_g+{\mathrm{Sx}}_B=X_g+S\left|\mathrm{AB}\right|\cos (\mathrm{\β}-\mathrm{\α})\\ Y_R=Y_g+{\mathrm{Sy}}_B=Y_g+S\left|\mathrm{AB}\right|\sin (\mathrm{\β}-\mathrm{\α})\end{array}\right.$

其中，变量S是比例因子；

假设M_r为实际路标边长，M_b表示图像中路标的边长，其计算公式为：

$M_b=\frac{\left(\right|x_1-x_2\left|\right)}{4}$

其中(x_c1，y_c1)、(x_c2，y_c2)、(x_c3，y_c3)和(x_c4，y_c4)分别为步骤13中所提及的路标目标轮廓直线的交点；

变量S通过如下公式获得：

S＝M_b/M_r

通过上述步骤，即可获得机器人当前的全局位置坐标(X_R，Y_R)以及航向角α，从而实现了机器人的室内定位导航。

Claims (1)

1.一种基于视觉的机器人室内定位导航方法，其特征在于：

该方法包括以下内容：

(1)设计一种基于二维条形码的人工路标，并将此种路标作为机器人室内定位定向的路标；

所述基于二维条形码的人工路标是采用两种不同颜色的方块组成的正方形，一种颜色代表二进制的1，另一种颜色代表二进制的0，该种路标包含隔离区、判别区和数据区三个部分；

(2)假设室内天花板是一个矩形，在天花板平面根据导航定位的需求进行网格划分，并构建全局坐标系，确定每个网格交叉点的平面坐标，然后将路标中心对准网格交叉点粘贴在天花板上；

所述全局坐标系的坐标轴离散为m’列n’行，形成m’×n’个网格交叉点，每个网格交叉点的坐标为(X_i’，Y_j’)，1≤i’≤m’，1≤j’≤n’，其中i’、j’、m’、n’均为自然数；

(3)在机器人上安装有光轴垂直于天花板平面的摄像机，由该摄像机拍摄天花板的图像，机器人根据拍摄的图像进行路标检测、识别和解析，并计算出机器人当前位置和航向角，从而实现机器人在室内环境中的导航定位。

Images