CN113160075A - Apriltag视觉定位的加工方法、系统、爬壁机器人及存储介质 - Google Patents

Abstract

本发明公开Apriltag视觉定位加工方法、系统、爬壁机器人及存储介质。包括采集工业相机视场中的标签图像，均衡化处理标签图像，将均衡化处理后的标签图像去噪，根据去噪后的标签图像，基于Apriltag定位算法确定爬壁机器人的位姿，根据位姿规划机器人的移动路径，机器人沿规划路径移动时在曲面法线方向上对待加工件进行加工，实时接收机器人的工作状态参数并发出工作指令。本发明将Apriltag视觉定位运用到特定的曲面移动吸附加工机器人上，从而实现对移动加工爬壁机器人在目标曲面上的实时自主定位和精准定位，同时节约成本，提高加工性能，减小环境对定位的影响。

Description

Apriltag视觉定位的加工方法、系统、爬壁机器人及存储介质

技术领域

本发明属于工业爬壁机器人技术领域，特别是Apriltag视觉定位的加工方法、系统、爬壁机器人及存储介质。

背景技术

随着社会的发展与科技的进步,机器人的应用领域越来越广泛,其中工业机器人成为当前重点发展与研究的对象。为了让机器人按照预先设定的命令完成相应的运动,首先应该确定当前状态下,机器人的位置信息。因此定位技术的研究是机器人研究的核心。爬壁机器人是特种机器人典型代表之一，它有着超大的工作空间与灵活的部署模式，在大型结构、建筑的巡检、探伤以及清洁领域得到广泛应用。

尽管国内外学者针对人工标记物的设计与识别做了大量的研究工作,但基于人工标记物的移动机器人定位技术还是普遍存在以下关键问题:(1)爬壁机器人不能在目标物曲面上准确地实现自我定位,从而指导下一步的动作；(2)爬壁机器人定位过程中不能快速进行动态决策；3)爬壁机器人对标记物进行识别定位时,由于存在外部环境的干扰，定位的鲁棒性较低。因此，如何使爬壁机器人在工件曲面上实现实时精准定位以便全覆盖地移动打磨待加工件是待解决的问题。

发明内容

针对现有技术中爬壁机器人定位精度低、不能实时自我定位的问题，本发明公开基于Apriltag视觉定位的加工方法、系统、爬壁机器人及存储介质，以实现室内或室外爬壁机器人定位的实时性及精度要求。

根据本发明的一个方面，公开了一种Apriltag视觉定位的加工方法，包括：

采集视场中的标签图像；

均衡化处理所述标签图像；

将均衡化处理后的标签图像去噪；

根据去噪后的标签图像，基于Apriltag定位算法确定位姿；

根据所述位姿规划移动路径；

所述规划路径进行移动，并在移动过程中在待加工件曲面的法线方向上对待加工件进行加工；

进一步地，采用自适应阈值法分割所述去噪后的标签图像；

查找所述去噪后的标签图像的轮廓，使用Union-find算法查找连通域；

对所述轮廓进行直线拟合，获取拟合四边形；

对所述拟合四边形进行解码，从而识别去噪后的图像标签；

通过对识别后的图像标签进行坐标变换确定所述爬壁机器人位姿。

进一步地，实时接收位姿参数，根据所述位姿参数生成决策指令，根据所述决策指令进行定位。

进一步地，利用规划调度算法调整所述位姿。

根据本发明的另一个方面，还公开Apriltag视觉定位的加工系统，如前所述的任意一种Apriltag视觉定位的加工方法能够在加工系统中运行：

所述Apriltag视觉定位的加工系统由视觉标签、信息交互模块、爬壁机器人模块、工业相机、视觉定位模块组成；

所述爬壁机器人模块、所述工业相机、所述视觉定位模块分别与所述信息交互模块电连接；

所述视觉定位模块包括基于Apriltag算法的视觉里程记和光流传感器模块，用于确定所述爬壁机器人模块的位姿。

进一步地，所述爬壁机器人模块和所述视觉定位模块电连接。

进一步地，所述视觉标签为预先在所述工业相机视场内张贴的Apriltag标签。

进一步地，所述工业相机为USB单目摄像机。

根据本发明的再一个方面，还公开一种Apriltag视觉定位的爬壁机器人，其上载有如前所述的任意一种Apriltag视觉定位的加工系统。

根据本发明的再一个方面，还公开一种计算机存储介质，其上存储有如前所述的任意一种Apriltag视觉定位的加工方法。

本发明采用基于Apriltag人工标签系统,对一帧包含有完整标签的图片完成识别及定位操作，即根据梯度差值聚类边缘点,再拟合边缘直线,然后根据拟合得到的线段得到闭合的四边形,判断四边形是不是标签,最后进行解码确定爬壁机器人定位，光流传感器同时追踪移动爬壁机器人的运动位姿，交互软件实时接收并存储移动爬壁机器人的位姿信息，同时发出决策指令，从而实现对移动加工爬壁机器人在目标曲面上的实时自主定位和精准定位，继而使得移动加工爬壁机器人能够灵活地自主运动，并根据决策指令实行自主加工。

附图说明

图1为本发明实施例中Apriltag视觉定位方法图；

图2为本发明实施例中Apriltag算法处理标签图像的示意图；

图3是本发明实施例中阈值化处理后的标签图像；

图4是本发明实施例中Apriltag视觉定位的加工系统示意图；

图5是本发明实施例中曲面移动吸附爬壁机器人结构示意图；

图6为本发明实施例中靶标板示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明，应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本实施例中，基于Apriltag码的视觉辅助定位爬壁机器人加工方法，利用在特定机器人上搭载basler工业相机，对视场内已经提前布置好的人工标签图像，完成采集、识别、定位并加工待加工件。

结合图1，本发明的一种基于Apriltag码视觉辅助定位的曲面移动吸附加工机器人定位加工方法，包括以下步骤：

1)首先，在待加工构件周围布置视觉标签并对机器人所携带的工业相机进行参数标定；

2)将吸附模块主动调整回零复位，启动吸附腔风机，人为地将机器人放置于待加工型表面，利用吸附模块顺应吸附与所述加工型曲面上；

3)机器人上的工业相机检测场景靶标，所述靶标板如图6所示，以工件的设计CAD型线作为先验信息(先验信息指获得样本的试验之前获得的经验和历史资料)，对机器人位姿进行确定，并调整吸附腔姿态顺应该位置的曲面；

4)在基于Apriltag算法的视觉里程计和光流传感器的共同作用下，实现机器人在相应工件型表面处的精准定位，并规划其移动路径，同时跟踪机器人踪迹；

5)在机器人移动过程中，通过在外接气阀上设定恒定气压，来驱动打磨磨盘旋转并实现在曲面法线方向上的被动顺应；

6)将机器人的各类工作状态参数实时回传到信息交互软件、或信息处理器中，分析处理机器人的工作状态参数，并对机器人发送工作指令；

7)多个机器人通过规划调度算法实现对大尺寸、变曲率工件的无死角全覆盖精准打磨。

如图1和图2所示，对机器人进行定位的方法包括：

步骤1、在环境空间中张贴Apriltag标记：在与曲面移动吸附加工机器人移动的空间全覆盖范围内布置Apriltag标记；

步骤2、标定USB相机：进行单目摄像头标定后，可得到USB相机的内参数以及镜头畸变参数；

步骤3、设置合适的地标，记录初始时刻时移动机器人的初始位姿以及Apriltag码的初始位姿，求解相机外参数：

在输出位姿的过程中，一共存在两个坐标系，相机坐标系和世界坐标系(w)，Apriltag所在坐标系是标签坐标系和机器人坐标系；

其中，世界坐标系的z轴方向与重力方向相反，x和y轴平行于地面，具体方向是由人为决定的，即根据在tag.yaml设置的Apriltag图的位姿来确定；

由于已经对Apriltag的位姿进行了预先设置，最后输出的其实是从定义的世界坐标系(w)到相机坐标系的矩阵变换，即最后从机器人坐标系(b)到世界坐标系(w)的变换得到机器人位姿；

Tag坐标系原点为标签正中心，右下方分别为x和y轴，相机正前方为z轴；

在选取并设定地标后，以地标为原点建立坐标系，设定好相机的位置和姿态后开启摄像头，检测空间中的标签，记录初始时刻时移动机器人的初始位姿以及Apriltag码的初始位姿。

步骤4、对采集的图像进行预处理：消除图像中无关的信息，恢复有用的真实信息，增强有关信息的可检测性和最大限度地简化数据；

步骤4.1、均衡化处理：

由于室内或室外各种灯光因素的影响造成采集图片的灰度值分布不均匀，偏暗或偏亮，从而引起图像信息的丢失，使得后续处理失真；为了提高图像处理的鲁棒性，机器人携带的视觉测量板块对采集到的图片进行均衡化，采用灰度级变换方法，使得每个灰度级上都具有相同的象素点数，将整幅图像的灰度值平均分布在0-255的范围内，增加像素灰度值的动态范围，从而达到增强图像整体对比度的效果，使得图像细节信息更清晰，提高图像处理的鲁棒性；

步骤4.2、去噪处理：在保留图像边缘信息的前提下，去除图像采集阶段环境中的噪声影响；

图像采集过程中，环境中不可避免的有各种噪声的影响，例如高斯噪声，这些噪声的存在对图像的细节信息提取影响较大，在标签识别过程中涉及到对边缘信息以及角点信息的提取，所以应该在细节信息提取之前应该在保留图像细节的前提下尽量去除标签图像中的各种噪声，在保留图像边缘信息的前提下，去除图像采集阶段环境中的噪声影响，使得图像变得平滑，提高图像特征提取的精度；

具体去噪步骤包括：先接收待处理图像，其中待处理图像包括多数个待处理像素；选取待处理像素的其中之一作为目标像素，并对此目标像素进行纹理分析，以判断此目标像素是否位于阴影区域；当此目标像素并非位于阴影区域内，则对此目标像素执行三边噪声去除处理，以产生处理后像素。

步骤5、输入图像阈值化：

如图3所示，采用自适应阈值方法，忽略标签信息，将灰度输入图像阈值化为黑白图像；

根据图像不同区域亮度分布，计算其局部阈值，这是一种利用图像局部阈值替换全局阈值进行图像计算的一种方法，具体针对光影变化过大的图片，或者范围内颜色差异不太明显的图片，自适应是指保证计算机能够通过判断和计算取得该图像区域的平均阈值进行迭代。

首先，将图像分成较小的块，然后分别计算每块的直方图，根据每个直方图的峰值，然后为每个块计算其阈值，之后，根据相邻的块的阈值进行插值获得每个像素点的阈值，即通过遍历图像，计算一个移动的平均值，如果某个像素明显的低于这个平均值，则设置为黑色，否则设置为白色，仅需一个遍历就可以，用硬件去实现算法也很简单，处理后的图像如图3所示。

步骤6、查找标签轮廓，提取标签角点：利用加权最小二乘法拟合提取直线，再计算直线角点得到亚像素级的角点坐标，提取标签的4个角点的图像坐标。

步骤7、标签的识别与定位：

根据提取的角点图像坐标，通过单应变换寻找标签相应数据位的位置，然后判断相应位的数据是0还是1，读取标签的编码信息，结合在标签布置阶段已知的标签坐标系与世界坐标系的相对位置关系得到标签角点的世界坐标，以及标定得到的相机内参数和相机镜头畸变参数，通过PNP算法得到机器人在世界坐标系下的旋转、平移矩阵即位姿：

步骤7.1、对于每一个对应的点对，存在如下关系(公式2-1)，理论点坐标等于变换矩阵乘以实际图像点坐标：

其中s是尺度因子，(u2，v2)是指理论点坐标，(u1，v2)是实际图像点坐标，H是变换矩阵，h11、h21、h31都是矩阵内的要素常数；

步骤7.2、将公式(2-1)展开得到公式(2-2)：

步骤7.3、进一步变换，消去尺度因子s，将H矩阵的元素看作一个列向量，可得到公式(2-3)：

结合图1，现通过在Apriltag Family 36h11标签的真实图像上运行该算法来说明Apriltag算法：

1、自适应阈值分割：

先将图像进行4x4网格分块，求出每个分块的灰度最大值和最小值，然后对所有分块计算的最大最小灰度值进行一个3邻域最大最小滤波处理，将滤波后的最大最小均值((max+min)/2)作为分块区域的阈值，分块的目的主要是增加鲁棒性，区域的特征总比单一像素的更加稳定，减少随机噪声的干扰，同时提升计算效率；算法中采用自适应阈值进行图像分割，主要考虑了光照不均和黑暗照明对图像的影响，提高分割的准确性，而自适应阈值的主要思想就是在像素领域内寻找一个合理的阈值进行分割，选取灰度均值和中值。

2、查找轮廓，使用Union-find查找连通域：

通过自适应阈值后，得到一张二值图像，接下来就是要寻找可能组成tag标志的轮廓，由于连通域查找的简单方法就是计算二值图像中的黑白边缘，但是这样查找的连通域很容易出现两个tag公用一条边时导致连通域查找错误，因此Apriltag算法中采用了Union-find算法来求连通域，使得每个连通域都有一个唯一的ID。

3、拟合四边：

轮廓有了之后，对每一个轮廓进行分割，产生一个残差最小的凸四边形，作为tag位置的候选，首先对无序的轮廓点按照对重心的角度进行排序，然后就是按部就班的按照顺序选取距离中心点一定范围内的点进行直线拟合，不断迭代索引，计算每条直线的误差总和；对误差总和进行一个低通滤波，使系统更加鲁棒，然后选取误差总和最大的四条直线对应的角点索引作为四边形角点，然后取角点间的点拟合直线，求得四条直线的角点作为Tag的顶点。

4、标签解码：

利用Apriltag编解码方法，先做透视校正，再找到标签的期望姿势和实际姿势之间的坐标转换，从而确定爬壁机器人的位姿。

如图4所示，在另一个实施例中，公开了Apriltag码的视觉辅助定位加工吸附机器人系统，加工系统由视觉标签、信息交互软件、爬壁机器人、单目工业相机以及视觉定位模块组成；其中，爬壁机器人、工业相机、视觉定位模块分别与信息交互模块电连接；视觉定位模块包括基于Apriltag算法的视觉里程记和光流传感器模块，用于确定所述爬壁机器人的位姿，信息交互软件用来接收爬壁机器人以及相机等模块的位姿信息并向爬壁机器人发出决策指令，爬壁机器人还能够根据视觉定位模块反馈的最优位姿信息进行自我调整。

在另一个实施例中，如图5所示，还公开了基于Apriltag码的视觉辅助定位的加工吸附机器人，所述移动吸附加工机器人搭载有基于Apriltag码的视觉辅助定位系统，具体包括：与电源相连接的吸附部件、移动轮、圆形底盘、电路板、加工执行器和工业相机；圆形底盘下表面设置有吸附模块，用于解决变曲率表面的顺应吸附；加工执行模块，用于搭载多种刀具实现加工；移动模块，用于实现高效可靠的曲面移动；吸附部件固定于圆形底盘下表面；移动轮固定在圆形底盘周向边缘，并使底盘远离工件表面；所述电路板设置在所述圆形底盘上表面，并与所述吸附部件、所述移动轮、所述相机和所述加工执行器电连接，用于承载储存有基于Apriltag码视觉辅助定位的加工方法的计算机存储器、处理器、信息交互模块等，用于接收并处理数据信息，根据处理后的数据信息进而发出决策指令，控制机器人的运动；所述加工执行器固定于所述圆形底盘上表面中间；工业相机固定于加工执行器上。

本发明合理利用Apriltag标签的定位精度与鲁棒性，使爬壁加工机器人准确地实现自我定位,从而指导下一步的动作,也可提高机器人的定位精度。交互软件接收并存储移动机器人的位姿信息，同时发出决策指令，从而实现对移动加工机器人在目标曲面上的实时自主定位和精准定位，继而使得移动加工机器人能够灵活地自主运动并根据决策指令实行自主加工。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种Apriltag视觉定位的加工方法，其特征在于，包括：

采集视场中的标签图像；

均衡化处理所述标签图像；

将均衡化处理后的标签图像去噪；

根据去噪后的标签图像，基于Apriltag定位算法确定位姿：采用自适应阈值法分割所述去噪后的标签图像；

查找所述去噪后的标签图像的轮廓，使用Union-find算法查找连通域；

对所述轮廓进行直线拟合，获得拟合四边形；

对所述拟合四边形进行解码，以识别去噪后的图像标签；

通过对识别后的图像标签进行坐标变换确定位姿；

根据所述位姿规划移动路径；

沿所述规划路径进行移动，并在移动过程中在待加工件曲面的法线方向上对待加工件进行加工；

实时接收位姿参数，根据所述位姿参数生成决策指令，根据所述决策指令进行定位；

利用规划调度算法调整所述位姿。

2.一种Apriltag视觉定位的加工系统，如权利要求1所述的任意一种Apriltag视觉定位的加工方法能够在所述Apriltag视觉定位的加工系统中运行，其特征在于：

所述Apriltag视觉定位的加工系统由视觉标签、信息交互模块、爬壁机器人、工业相机、视觉定位模块组成；

所述爬壁机器人、所述工业相机、所述视觉定位模块分别与所述信息交互模块电连接；

所述视觉定位模块包括基于Apriltag算法的视觉里程记和光流传感器模块，用于确定所述爬壁机器人的位姿。

3.如权利要求2所述的一种Apriltag视觉定位的加工系统，其特征在于：

所述爬壁机器人和所述视觉定位模块电连接。

4.如权利要求2所述的一种Apriltag视觉定位的加工系统，其特征在于：

所述视觉标签为预先在所述工业相机视场内张贴的Apriltag标签。

5.如权利要求2所述的一种Apriltag视觉定位的加工系统，其特征在于：

所述工业相机为USB单目摄像机。

6.一种爬壁机器人，其特征在于，其上载有如权利要求2-5所述的任意一种Apriltag视觉定位的加工系统。

7.一种计算机存储介质，其上存储有如权利要求1所述的任意一种Apriltag视觉定位的加工方法。

Images