CN108827316A - 基于改进的Apriltag标签的移动机器人视觉定位方法 - Google Patents

Abstract

本发明提出了一种基于改进的Apriltag标签的虚拟演播室移动机器人视觉定位方法，在标签四边形的对角线延长线的合适长度处共添加4个大小一致的圆环标记物；对相机进行标定；采集标签图像：对采集的图像进行预处理；ROI区域提取的阈值化处理；识别椭圆标记物；提取ROI区域；再以得到的改进的标签上的4个椭圆中心坐标为基准，做包围这4个点的最小矩形区域为标签图像的ROI对标签区域的阈值化处理；提取标签角点利用加权最小二乘法拟合提取直线，计算直线交点得到亚像素级的角点坐标，提取标签角点的图像坐标；根据提取的角点图像坐标，读取标签的编码信息，得到角点的世界坐标，利用坐标转换得到机器人的位姿；本发明减少了识别标签的数据量，提高了识别的实时性。

Description

基于改进的Apriltag标签的移动机器人视觉定位方法

技术领域

本发明属于机器视觉领域，特别是一种基于改进的Apriltag标签的移动机器人视觉定位方法。

背景技术

随着社会的发展与科技的进步，机器人的应用领域越来越广泛，其中室内移动机器人为当前重点发展与研究的对象。为了让移动机器人按照预先设定的命令完成相应的运动，首先应该确定当前状态下，机器人的位置信息。因此定位技术的研究是移动机器人研究的核心。

相比室外环境，室内环境的特点是光线较弱，视野范围小，环境结构化。室内移动机器人通过视觉系统识别视野范围内经过特殊形状化、颜色化的人工标记物，大大降低了识别的难度，即使在工作环境复杂、光照条件变化较大的条件下也能得到准确的识别结果。尽管国内外学者针对人工标记物的设计与识别做了大量的研究工作，但基于人工标记物的室内移动机器人定位技术还是普遍面临以下关键问题：(1)定位精度问题：机器人必须能够准确地实现自我定位，从而指导下一步的动作，提高机器人的定位精度，是移动机器人定位的首要问题；(2)实时性问题：移动机器人定位过程中，必须能够实时进行自我定位，保证机器人快速进行动态决策；(3)鲁棒性问题：移动机器人对标记物进行识别定位时，要有足够的能力客服光线等外在环境干扰，提高定位的鲁棒性。

现有的室内移动机器人视觉定位方法多基于密歇根州立大学的April实验室开发的Apriltag人工标签系统，对一帧包含有完整标签的图片完成识别及定位操作，耗时较长。现有的标签识别的核心思想是先根据梯度差值聚类边缘点，再拟合边缘直线，然后根据拟合得到的线段得到闭合的四边形，判断四边形是不是标签，最后进行解码定位，系统花费大量时间和资源去遍历图片中标签之外的背景信息，并且通常背景中的直线特征较多，无疑增加了系统处理的时间。

发明内容

本发明的目的在于提供一种基于改进的Apriltag标签的室内移动机器人视觉定位方法，以实现室内移动机器人定位的实时性及精度要求。

实现本发明目的的技术解决方案为：

一种基于改进的Apriltag标签的虚拟演播室移动机器人视觉定位方法，在标签四边形的对角线延长线的合适长度处共添加4个大小一致的圆环标记物，标记物为黑色圆环中包含白色圆；并包括以下步骤：

步骤1、对CCD相机进行标定：对CCD相机进行标定，得到CCD相机的内参数以及镜头畸变参数；

步骤2、采集标签图像：利用CCD相机采集相机视场中包含有完整标签信息的图片；

步骤3、对采集的图像进行预处理：消除无关信息，简化图像；

步骤4、ROI区域提取的阈值化处理：设置阈值，忽略标签信息，使得图像中有用部分只有包含目标ROI；

步骤5、识别椭圆标记物：提取椭圆的中心；

步骤6、提取ROI区域：根据得到的所有椭圆中心坐标，通过两点之间距离、相对直线之间的夹角等约束条件判断哪4个点代表改进的标签的位置；再以得到的改进的标签上的4个椭圆中心坐标为基准，做包围这4个点的最小矩形区域为标签图像的ROI

步骤7、对标签区域的阈值化处理；

步骤8、提取标签角点利用加权最小二乘法拟合提取直线，再计算直线角点得到亚像素级的角点坐标，提取标签的4个角点的图像坐标；

步骤9、标签的识别与定位：根据提取的角点图像坐标，读取标签的编码信息，得到角点的世界坐标，利用坐标转换得到机器人的位姿。

与现有技术相比，本发明具有下列显著优点：

(1)本发明通过在标签上设置标志性的4个圆环标记物，使得在整个视场图片中能够快速有效的发现标签的大致位置，找到图片中包含有标签信息的ROI(region ofinterest)，减少识别标签的数据量，提高了识别的实时性。

(2)本发明对圆环标志物的黑色圆环部分与标签黑色位及黑色边缘填充不同灰度值的设计方案，使得标签处理可以通过简单快捷的阈值化处理，让标签在不同的处理阶段呈现不同的状态，如在椭圆识别时，去除标签边缘直线像素的影响，而在提取得到ROI后，重新填充标签的黑色位及黑色边缘，在减少数据处理量提高处理的实时性的同时保持标签提取的精度和鲁棒性。

(3)本发明通过探针法，利用探针与圆形边缘梯度相结合的方法提取6个椭圆特征在图像上的边缘点，然后利用最小二乘拟合法，得到椭圆的圆心位置，在保证一定的椭圆中心提取精度的前提下，减少了传统椭圆提取算法的时间。

附图说明

图1为本发明基于改进的Apriltag标签的虚拟演播室移动机器人视觉定位方法流程图。

图2为现有的Apriltag标签系统tag25h9示意图。

图3为本发明的改进的Apriltag标签示意图。

图4为ROI提取阶段的阈值化处理结果图。

图5为标签识别阶段的阈值化处理结果图。

图6为添加的圆环特征结构图。

图7为椭圆边缘提取的探针示意图。

图8为椭圆边缘提取的过程图。

图9为椭圆提取结果图。

具体实施方式

为了说明本发明的技术方案及技术目的，下面结合附图及具体实施例对本发明做进一步的介绍。

结合图1-图9，本发明的基于改进的Apriltag标签的虚拟演播室移动机器人视觉定位方法，在六轴室内摄影机器人平台上搭载basler工业相机，对视场内已经提前布置好的人工标签图像，完成采集、识别、定位的方法。在原标签四边形的对角线延长线的合适长度处共添加4个大小一致的圆环标记物，如图3所示，考虑为标签增加能够快速定位的标记物来标识图片中ROI的位置，考虑到室内环境中会存在一定的直线特征，以及原有标签内部的大量直线特征，为了区别便于ROI标志特征的提取，选取圆特征。并且为了使得在不同光照条件下，标记物可以轻松被识别，黑色圆环中包含白色圆的标记物是为了凸显白色圆形的边缘信息，便于特征的提取。

结合图1，本发明的一种基于改进的Apriltag标签的虚拟演播室移动机器人视觉定位方法，包括以下步骤：

步骤1、对CCD相机进行标定：对CCD相机进行标定，得到CCD相机的内参数以及镜头畸变参数。

步骤2、采集标签图像：利用CCD相机采集相机视场中包含有完整标签信息的图片。

步骤3、对采集的图像进行预处理：由于环境等因素影响，采集得到的图像包含有许多无用信息，不利于对图像特征信息的提取。对图像进行预处理，消除无关信息，简化图像，增强有用的特征信息。

3.1、均衡化处理：

由于虚拟演播室中各种灯光因素的影响造成采集图片的灰度值分布不均匀，偏暗或偏亮，从而引起图像信息的丢失，使得后续处理失真。所以为了提高图像处理的鲁棒性，对采集到的图片进行均衡化，使得图像灰度分布均匀。

将整幅图像的灰度值平均分布在0-255的范围内，使得图像细节信息更清晰，提高图像处理的鲁棒性。

3.2、降噪处理：

图像采集过程中，环境中不可避免的有各种噪声的影响，例如椒盐噪声、高斯噪声。这些噪声的存在对图像的细节信息提取影响较大，在标签识别过程中涉及到对边缘信息以及角点信息的提取，所以应该在细节信息提取之前应该在保留图像细节的前提下尽量去除标签图像中的各种噪声。

在保留图像边缘信息的前提下，去除图像采集阶段环境中的噪声影响，使得图像变得平滑，提高图像特征提取的精度。

步骤4、ROI区域提取的阈值化处理：

为了减少图像处理的数据量，通过选择合适的阈值，忽略标签信息，使得图像中有用部分只有包含目标ROI，即标签的椭圆环标记物。

设定提取的阈值，将图像中灰度值高于该阈值的区域变成白色，保留低于该阈值的灰度的像素，即仅保留下包含标签ROI的圆环标记物。

对原有标签添加4个圆环标记物的改进，为了提高ROI区域提取的速度，减少无关边缘数据对后续“探针”法提取椭圆特征时的系统资源的浪费，本发明采取了对Apriltag标签内部填充像素的淡化改进方案，例如设置标签时，将标签内部白色位的像素的灰度值填充为255，黑色位以及外部边框位像素的灰度值填充为125，而圆环的黑色区域填充为0，圆环内部白色区域填充为255，如图3所示。

这样的改进方案使得标签在不同的处理阶段，通过合理的设置阈值呈现出不同的状态。在ROI区域提取阶段，为了去除在ROI区域提取时无关的标签图像边缘的影响。通过实验验证选择合适的阈值，使得标签部分仅保留图像的4个圆环部分，如图4所示。方便后续利用新型的“探针”方法对椭圆的提取。

步骤5、识别椭圆标记物：

在实际应用中由于相机镜头的畸变，工作时相机的抖动以及标签坐标平面与图像的成像平面不平行等问题，使得标签中的正圆经过透视投影变换后变成类似椭圆。

步骤5.1、采用隔行扫描的方法，快速查找椭圆环标记物所在的位置：

每隔N行进行一次探针采集工作，其中N的值需要提前根据圆标的大小以及相机与标记物距离大小确定，N的值必须小于内部亮圆在图像列方向的跨度，这样才不会漏检测。

步骤5.2、对正在扫描的行取出来一段像素，分成三段：S1、S2、S3；如图7所示，判断S1、S2、S3区域内像素灰度值和的大小关系，以判断探针此时是否处于图像的边缘位置。

S1、S2、S3各段的像素个数同样需要根据圆标的成像信息确定，为了减少噪声对边缘提取的影响，可以适当的增加每段区域包含像素点数量，但是必须保证各段区域的宽度小于黑色圆环的环宽的2/3。

优选的，所述S1、S2、S3三段的像素个数分别是5、7、5。

建立约束条件：

其中SUM(S_X)表示S_X段区域包含像素点灰度值的和(X＝1,2,3)，同样考虑到噪点对边缘提取结果的影响。公式中的“＝”“<”“>”并不是严格数值意义上的大小关系，而是对各段的SUM值进行比较，只有当差值超过阈值才认为不等关系成立。

当探针满足第一个约束条件时，探针处于均匀的像素区域内，并不存在边缘，继续在扫描所在行取下一段连续像素，判断是否满足椭圆环边缘约束条件；当探针满足第二个约束条件时，探针正在由圆环区域环进入到圆环内的亮白区域的状态，此时区域S2正处在亮白区域的左侧边缘位置A；当探针满足第三个约束条件时，探针正在由亮白区域再次进入圆环区域，同样的S2处于亮白区域的右侧边缘位置B。

步骤5.3、获取椭圆环亮白区域的六个边缘点坐标，并拟合得到椭圆方程，求取椭圆中心：

步骤5.3.1、获取亮白区域的左侧边缘点A的坐标(X_a,Y_a)和右侧边缘点B的坐标(X_b,Y_b)：

在确定A、B位于探针的S₂区域后，就需要进一步确定边缘点是S₂区域内的具体哪个像素点，得到边缘点的具体坐标值。利用像素梯度的方法确定边缘点的坐标，求取当前探针的S2区域内包含的每个像素点的梯度，比较梯度的大小方向，最终确定椭圆边缘点坐标，即得到亮白区域的左侧边缘点A的坐标(X_a,Y_a)和右侧边缘点B的坐标(X_b,Y_b)。

步骤5.3.2、获取亮白区域的第一上边缘点C的坐标(X_c,Y_c)和第一下边缘点D的坐标(X_d,Y_d)：

在分别得到扫描行所在的亮圆左右测边缘点A、B的坐标后，计算线段AB的长度，判断是否在合适的范围内，若长度满足亮圆弦长范围，计算AB弦的中点O(i,j)——i,j为O点所在行列值，再以O点所在列j为基础，在[j-N,j+N]的行范围内利用类似的“探针”法，分别寻找亮白区域的上边缘点C和下边缘点D所在的S₂区域，同理利用像素梯度法分别确定第一上、下边缘点的坐标(X_c,Y_c)、(X_d,Y_d)。若长度不满足亮白区域弦长范围，则舍弃亮白区域的左侧边缘位置A、右侧边缘位置B，则重新获取新的左侧边缘位置A、右侧边缘位置B，直到满足亮白区域弦长范围。

步骤5.3.3、获取亮白区域的第二上边缘点E的坐标(X_e,Y_e)和第二下边缘点F的坐标(X_f,Y_f)：

同理以O所在列j向左或者右偏移N/2得到列m，在[m-N,m+N]的行范围内利用探针分别寻找亮白区域的第二上边缘点E和第二下边缘点F所在的S₂区域，然后利用像素梯度法分别确定第二上、下边缘点的坐标(X_e,Y_e)、(X_f,Y_f)，得到如图9所示6个点坐标。

步骤5.3.4、计算椭圆的中心坐标：将得到椭圆边缘的六个点之后，代入椭圆一般方程，

K₁X²+K₂XY+K₃Y²+K₄X+K₅Y+1＝0

得到

经过最小二乘拟合后得到椭圆的一般方程，求解出K₁、K₂、K₃、K₄、K₅的值从而得到椭圆的中心Q的坐标(X_q,Y_q)；

其中X_q＝(K₂K₅-2K₃K₄)/(4K₁K₄-K₂ ²)；Y_q＝(K₂K₄-2K₁K₅)/(4K₁K₄-K₂ ²)，

完成一个椭圆中心的提取，同理依次提取其他椭圆的中心。

步骤6、提取ROI区域：

根据得到的所有椭圆中心坐标，通过两点之间距离、相对直线之间的夹角等约束条件判断哪4个点代表改进的标签的位置。

再以判断后得到的改进的标签上的4个椭圆中心坐标为基准，做包围这4个点的最小矩形区域为标签图像的ROI，作为后续处理的数据源。

步骤7、对标签区域的阈值化处理：为了保持原标签系统的精度与鲁棒性，在提取完图像的ROI之后，要对图像进行阈值化处理，将改进的标签图像中原来的位以及边缘像素由改进填充的灰度值变成255，如图5所示。

例如将步骤5中的黑色位以及外部边框位像素的灰度值由125变成255。

步骤8、提取标签角点：在得到一帧图片的ROI之后，便无需在整副图像中寻找包络标签信息的四边形Quads，而是直接利用加权最小二乘法拟合提取直线，再计算直线交点得到亚像素级的角点坐标，提取标签的4个角点的图像坐标。

步骤9、标签的识别与定位：根据提取的角点图像坐标，通过仿射变换寻找标签相应数据位的位置，然后判断相应位的数据是0还是1，读取标签的编码信息。结合在标签布置阶段已知的标签坐标系与世界坐标系的相对位置关系得到标签4个角点的世界坐标，以及标定得到的相机内参数和相机镜头畸变参数，通过PNP算法得到机器人在世界坐标系下的旋转、平移矩阵即位姿。

本发明合理利用Apriltag标签的定位精度与鲁棒性，主要在标签提取的实时性方面做出较大的改善。首先，改进的标签系统为标签添加用于ROI提取的标记圆环，节约了大量原始标签系统中用于反复遍历整幅图片来寻找标签细节信息的资源。并且通过淡化原标签黑色像素来与圆环标记物形成一定比例差值的方案，去除在椭圆标记物边缘提取时标签内边缘的影响，并在ROI提取完成之后，使得原标签部分不失真。在保证了原有标签系统识别定位的精度与鲁棒性不变的前提下，减少了大量边缘提取的数据量，改善了特征提取的时间条件。最后，利用新型的探针法粗提取椭圆特征，改善HOUGH变换法在圆的半径未知下易出现重复查找与理想偏差较大，计算量大；灰度重心法亮度低且不均匀的情况下提取精度差；传统的边缘检测算法受环境噪声影响大，且边缘检测会检测出图像中所有边缘信息，增加了系统资源的浪费等问题。在保证适当的提取精度的前提下，快速准确的提取椭圆特征。

Claims (5)

1.一种基于改进的Apriltag标签的虚拟演播室移动机器人视觉定位方法，其特征在于，在标签四边形的对角线延长线的合适长度处共添加4个大小一致的圆环标记物，标记物为黑色圆环中包含白色圆；并包括以下步骤：

步骤1、对CCD相机进行标定：对CCD相机进行标定，得到CCD相机的内参数以及镜头畸变参数；

步骤2、采集标签图像：利用CCD相机采集相机视场中包含有完整标签信息的图片；

步骤3、对采集的图像进行预处理：消除无关信息，简化图像；

步骤4、ROI区域提取的阈值化处理：设置阈值，忽略标签信息，使得图像中有用部分只有包含目标ROI；

步骤5、识别椭圆标记物：提取椭圆的中心；

步骤6、提取ROI区域：根据得到的所有椭圆中心坐标，通过两点之间距离、相对直线之间的夹角等约束条件判断哪4个点代表改进的标签的位置；再以得到的改进的标签上的4个椭圆中心坐标为基准，做包围这4个点的最小矩形区域为标签图像的ROI

步骤7、对标签区域的阈值化处理；

步骤8、提取标签角点利用加权最小二乘法拟合提取直线，再计算直线角点得到亚像素级的角点坐标，提取标签的4个角点的图像坐标；

步骤9、标签的识别与定位：根据提取的角点图像坐标，读取标签的编码信息，得到角点的世界坐标，利用坐标转换得到机器人的位姿。

2.根据权利要求1所述的基于改进的Apriltag标签的虚拟演播室移动机器人视觉定位方法，其特征在于，步骤3对采集的图像进行预处理，具体包括以下步骤：

3.1、均衡化处理，使得图像灰度分布均匀；

3.2、降噪处理：在保留图像边缘信息的前提下，去除图像采集阶段环境中的噪声影响。

3.根据权利要求1所述的基于改进的Apriltag标签的虚拟演播室移动机器人视觉定位方法，其特征在于，步骤4ROI区域提取的阈值化处理，采取对Apriltag标签内部填充像素的淡化改进方案，将标签内部白色位的像素的灰度值填充为255，黑色位以及外部边框位像素的灰度值填充为125，而圆环的黑色区域填充为0，圆环内部白色区域填充为255。

4.根据权利要求1所述的基于改进的Apriltag标签的虚拟演播室移动机器人视觉定位方法，其特征在于，步骤5识别椭圆标记物，具体包括以下步骤：

步骤5.1、采用隔行扫描的方法，快速查找椭圆环标记物所在的位置：每隔N行进行一次探针采集工作，其中N的值需要提前根据圆标的大小以及相机与标记物距离大小确定，N的值小于内部亮圆在图像列方向的跨度；

步骤5.2、对正在扫描的行取出来一段像素，分成三段：S1、S2、S3；判断S1、S2、S3区域内像素灰度值和的大小关系，以判断探针此时是否处于图像的边缘位置；

建立约束条件：

其中SUM(S_X)表示S_X段区域包含像素点灰度值的和；

当探针满足第一个约束条件时，探针处于均匀的像素区域内，并不存在边缘，继续在扫描所在行取下一段连续像素，判断是否满足椭圆环边缘约束条件；当探针满足第二个约束条件时，探针正在由圆环区域环进入到圆环内的亮白区域的状态，此时区域S2正处在亮白区域的左侧边缘位置A；当探针满足第三个约束条件时，探针正在由亮白区域再次进入圆环区域，同样的S2处于亮白区域的右侧边缘位置B

步骤5.3、获取椭圆环亮白区域的六个边缘点坐标，并拟合得到椭圆方程，求取椭圆中心。

5.根据权利要求4所述的基于改进的Apriltag标签的虚拟演播室移动机器人视觉定位方法，其特征在于，步骤5.3求取椭圆中心具体包括以下步骤：

步骤5.3.1、获取亮白区域的左侧边缘点A的坐标(X_a,Y_a)和右侧边缘点B的坐标(X_b,Y_b)：

利用像素梯度的方法确定边缘点的坐标，求取当前探针的S2区域内包含的每个像素点的梯度，比较梯度的大小方向，最终确定椭圆边缘点坐标，即得到亮白区域的左侧边缘点A的坐标(X_a,Y_a)和右侧边缘点B的坐标(X_b,Y_b)

步骤5.3.2、获取亮白区域的第一上边缘点C的坐标(X_c,Y_c)和第一下边缘点D的坐标(X_d,Y_d)：

计算线段AB的长度，判断是否在合适的范围内，若长度满足亮圆弦长范围，计算AB弦的中点O(i,j)——i,j为O点所在行列值，再以O点所在列j为基础，在[j-N,j+N]的行范围内，分别寻找亮白区域的上边缘点C和下边缘点D所在的S₂区域，同理利用像素梯度法分别确定第一上、下边缘点的坐标(X_c,Y_c)、(X_d,Y_d)；

步骤5.3.3、获取亮白区域的第二上边缘点E的坐标(X_e,Y_e)和第二下边缘点F的坐标(X_f,Y_f)：以O所在列j向左或者右偏移N/2得到列m，在[m-N,m+N]的行范围内利用探针分别寻找亮白区域的第二上边缘点E和第二下边缘点F所在的S₂区域，然后利用像素梯度法分别确定第二上、下边缘点的坐标(X_e,Y_e)、(X_f,Y_f)；

步骤5.3.4、计算椭圆的中心坐标：将得到椭圆边缘的六个点之后，代入椭圆一般方程，

K₁X²+K₂XY+K₃Y²+K₄X+K₅Y+1＝0

得到

经过最小二乘拟合后得到椭圆的一般方程，求解出K₁、K₂、K₃、K₄、K₅的值从而得到椭圆的中心Q的坐标(X_q,Y_q)；

其中X_q＝(K₂K₅-2K₃K₄)/(4K₁K₄-K₂ ²)；Y_q＝(K₂K₄-2K₁K₅)/(4K₁K₄-K₂ ²)。