CN111667429B

CN111667429B - 一种巡检机器人目标定位校正方法

Info

Publication number: CN111667429B
Application number: CN202010508666.3A
Authority: CN
Inventors: 张路; 张飞; 徐湖滨; 徐洪彬
Original assignee: Nanjing Uni Specialized Robot Technology Co ltd
Current assignee: Nanjing Uni Specialized Robot Technology Co ltd
Priority date: 2020-06-06
Filing date: 2020-06-06
Publication date: 2023-05-23
Anticipated expiration: 2040-06-06
Also published as: CN111667429A

Abstract

本发明公开了一种巡检机器人目标定位校正方法，包括：获取包含标志物和待检测设备的图像，其中，所述标志物与待检测设备共面设置；通过对所述包含标志物和待检测设备的图像进行处理获得所述待检测设备区域的图像；通过多点单应性矩阵对所述待检测设备区域图像进行校正；该方法通过在待检测设备旁增加标志物，在通过包含对标志物和带检测设备搜索定位和图像校正，能显著减小机器人后端图像处理难度，提升待检测设备图像提取的准确性，从而提高了巡检机器人目标定位的精度，具有良好的经济性和实用性。

Description

一种巡检机器人目标定位校正方法

技术领域

本发明涉及巡检机器人技术领域，特别涉及一种巡检机器人在搜索目标过程中的目标定位以及校正的方法。

背景技术

巡检机器人普遍运行在距离、光照、观测角度多变，待检测设备样式复杂的工作环境，且需长期执行无人干预巡检任务，机器人视觉处理过程面临干扰因素多，不确定性强。若不能准确、高效地从复杂设备环境中搜索、定位和提取待检测设备图像，机器人巡检效能将受到较大影响。

发明内容

为了解决现有的巡检机器人目标定位不准确的问题，本发明提供一种通过减少后端图像处理难度从而提高定位精度的巡检机器人目标定位校正方法。

为了实现上述目的，本发明提供一种巡检机器人目标定位校正方法，包括：

获取包含标志物和待检测设备的图像，其中，所述标志物与待检测设备共面设置；

通过对所述包含标志物和待检测设备的图像进行处理获得所述待检测设备区域的图像；

通过多点单应性矩阵对所述待检测设备区域图像进行校正。

在上述方法中，优选的，所述标志物表面包括多个黑色和白色的正方形。

可选的，所述标志物中正方形所构成的图案包括对称图案或/和非对称图案。

在上述方法中，可选的，所述通过对所述包含标志物和待检测设备的图像进行处理获得待检测设备区域的图像包括：

获取所述标志物的图像轮廓；

提取所述标志物的图像轮廓中各个正方形角点在图像坐标系中的坐标；

利用所述的各个正方形角点在图像坐标中的坐标与参考标志物模板角点坐标计算当前图像中的透视几何变换的单应性矩阵；

根据待检测设备在真实空间中与标志物之间的相对位置关系，在所述包含标志物和待检测设备的图像中定位并提取待检测设备区域。

可选的，所述获取所述标志物的图像轮廓是利用Canny算子或Sobel算子提取所述标志物的图像轮廓。

在上述方法中，优选的，所述提取所述标志物的图像轮廓中各个正方形角点在图像坐标系中的坐标包括：利用Douglas–Peucker算法的多边形拟合，筛选得到图像中的正方形轮廓，并根据所述正方形轮廓得到正方形角点在图像坐标系中的坐标。

可选的，所述利用所述的各个正方形角点的图像坐标与参考标志物模板角点坐标计算当前图像中的透视几何变换单应性矩阵，进一步包括：

根据公式

得出所述单应性矩阵，式中，x'_i为标志物在世界坐标系中的横坐标；y'_i为标志物在世界坐标系中的纵坐标；x_i为标志物在图像坐标系中的横坐标；y_i为标志物在图像坐标系中的纵坐标；/>

即单应性矩阵。

可选的，所述根据待检测设备在真实空间中与标志物之间的相对位置关系，在图像中定位并提取待检测设备区域包括：

通过在世界坐标系测量待检测设备与标志物之间相对位置关系，得到待检测设备在世界坐标系中的位置坐标；

获取待检测设备在所述包含标志物和待检测设备的图像中的位置坐标；裁剪得到待检测设备区域图像。

在上述方法中，作为一种可选的技术方案，所述通过多点单应性矩阵对所述待检测设备区域图像进行校正包括：

通过Harris角点算法提取标志物内的多个正方形的角点；

利用Levenberg-Marquardt算法迭代求解多点单应性矩阵。

作为另外一种可选的技术方案，所述通过多点单应性矩阵对所述待检测设备区域图像进行校正包括：

通过Hough直线提取算法，提取标志物内部及外部直线；通过求直线交点得到多组标志物角点；

利用Levenberg-Marquardt算法迭代求解多点单应性矩阵。

本发明相对于现有技术的有益效果是：该方法通过在待检测设备旁增加标志物，在通过包含对标志物和带检测设备搜索定位和图像校正，能显著减小机器人后端图像处理难度，提升待检测设备图像提取的准确性，从而提高了巡检机器人目标定位的精度，具有良好的经济性和实用性。

附图说明

图1是本发明的整体流程图；

图2是本发明中部分流程图；

图3和图4是标志物的正视图；

图5是未经过处理的标志物与待检测设备的图像；

图6、7是经过处理的待检测设备的图像。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。

除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

此外，需要说明的是，使用“第一”、“第二”等词语来限定零部件，仅仅是为了便于对相应零部件进行区别，如没有另行声明，上述词语并没有特殊含义，因此不能理解为对本申请保护范围的限制。此外，尽管本申请中所使用的术语是从公知公用的术语中选择的，但是本申请说明书中所提及的一些术语可能是申请人按他或她的判断来选择的，其详细含义在本文的描述的相关部分中说明。此外，要求不仅仅通过所使用的实际术语，而是还要通过每个术语所蕴含的意义来理解本申请。

如图1所示，本发明提供一种巡检机器人目标定位校正方法，包括：

S10：获取包含标志物和待检测设备的图像，其中，所述标志物与待检测设备共面设置；具体的，将先将每个需要检测的设备旁安装一个标志物，标志物与待检测设备处于同一平面，巡检机器人在巡检过程中会通过摄像头进行不断的拍摄图像，当检测到包含有标志物与待检测的设备同时出现在同一图像上时，则对该图像进行后续的处理。其中，标志物的具体颜色的选择对比度较高的黑白双色，根据背景颜色状况，可以选择边缘黑色或边缘白色设计；标志物的形状由方格集合组成；标志物内容根据用途可以采用对称设计如图2所示，也可以非对称设计如图3所示，在此需要说明的是，标志物包括但不限于上述图像；对称性标志物具有更好的中心特性，中心定位精度更高；非对称标志具有更好的方向特性，更适用于相机-物体相对姿态测量，标志物的图形亦可采用现有二维码标准如Aruco二维码、QR二维码等。

S20：通过对所述包含标志物和待检测设备的图像进行处理获得所述待检测设备区域的图像；具体的包含以下步骤，如图4所示：

S201：获取所述标志物的图像轮廓；具体的是将包含标志物和待检测设备的图像进行通过Canny算子或Sobel算子提取所述标志物的图像轮廓。其中，Canny算子的原理是：首先是降噪，对原始数据与高斯平滑模板作卷积，得到的图像与原始图像相比有些轻微的模糊(blurred)。这样，单独的一个像素噪声在经过高斯平滑的图像上变得几乎没有影响。

其次是寻找梯度，图像中的边缘可能会指向不同的方向，所以Canny算法使用4个mask检测水平、垂直以及对角线方向的边缘。原始图像与每个mask所作的卷积都存储起来。对于每个点我们都标识在这个点上的最大值以及生成的边缘的方向。这样我们就从原始图像生成了图像中每个点亮度梯度图以及亮度梯度的方向。

接着跟踪边缘，较高的亮度梯度比较有可能是边缘，但是没有一个确切的值来限定多大的亮度梯度是边缘多大又不是，所以Canny使用了滞后阈值。

滞后阈值需要两个阈值——高阈值与低阈值。假设图像中的重要边缘都是连续的曲线，这样我们就可以跟踪给定曲线中模糊的部分，并且避免将没有组成曲线的噪声像素当成边缘。所以我们从一个较大的阈值开始，这将标识出我们比较确信的真实边缘，使用前面导出的方向信息，我们从这些真正的边缘开始在图像中跟踪整个的边缘。在跟踪的时候，我们使用一个较小的阈值，这样就可以跟踪曲线的模糊部分直到我们回到起点。

一旦这个过程完成，我们就得到了一个二值图像，每点表示是否是一个边缘点。

Sobel算子一种用于边缘检测的离散微分算子，它结合了高斯平滑和微分求导。该算子用于计算图像明暗程度近似值。根据图像边缘旁边明暗程度把该区域内超过某个数的特定点记为边缘。Sobel算子在Prewitt算子的基础上增加了权重的概念，认为相邻点的距离远近对当前像素点的影响是不同的，距离越近的像素点对应当前像素的影响越大，从而实现图像锐化并突出边缘轮廓。

其主要用于边缘检测，在技术上它是以离散型的差分算子，用来运算图像亮度函数的梯度的近似值，Sobel算子是典型的基于一阶导数的边缘检测算子，由于该算子中引入了类似局部平均的运算，因此对噪声具有平滑作用，能很好的消除噪声的影响。

Sobel算子包含两组3x3的矩阵，分别为横向及纵向模板，将之与图像作平面卷积，即可分别得出横向及纵向的亮度差分近似值。

计算公式为：

实际使用中，常用如下两个模板来检测图像边缘。

检测水平边沿横向模板：

检测垂直平边沿纵向模板：

Sobel算子根据像素点上下，左右邻点灰度加权差，在边缘处达到极值这一现象检测边缘，对噪声具有平滑作用，提供较为精确的边缘方向信息。因为Sobel算子结合了高斯平滑和微分求导(分化)，因此结果会具有更多的抗噪性，当对精度要求不是很高时，Sobel算子是一种较为常用的边缘检测方法。

在此需要说明的是，虽然在本实施例中指公开了Canny算子Sobel算子两者算法来进行边缘计算，但本发明的保护范围不局限于此，其他算子也在本发明的保护范围内，例如Roberts Cross算子，Prewitt算子，Krisch算子，罗盘算子，有Marr-Hildreth算子等等都在本发明的保护范围内，在此就不再赘述。

S202：提取所述标志物的图像轮廓中各个正方形角点在图像坐标系中的坐标；具体的利用Douglas–Peucker算法的多边形拟合，筛选得到图像中的正方形轮廓，并根据所述正方形轮廓得到正方形角点在图像坐标系中的坐标。Douglas–Peucke算法是将曲线近似表示为一系列点，并减少点的数量的一种算法，具体的步骤如下：首先在曲线首尾两点A，B之间连接一条直线AB，该直线为曲线的弦；接着得到曲线上离该直线段距离最大的点C，计算其与AB的距离d；接着比较该距离与预先给定的阈值threshold的大小，如果小于threshold，则该直线段作为曲线的近似，该段曲线处理完毕；如果距离大于阈值，则用C将曲线分为两段AC和BC，并分别对两段取信进行1～3的处理；所有曲线都处理完毕时，依次连接各个分割点形成的折线，即可以作为曲线的近似。

S203：利用所述的各个正方形角点在图像坐标中的坐标与参考标志物模板角点坐标计算当前图像中的透视几何变换的单应性矩阵；具体的，若正方形四个顶点在图像坐标系中的坐标为(x₁,y₁)，(x₂,y₂)，(x₃,y₃)，(x₄,y₄)，对应标志物为实际长度为m的矩形，则以标志物左上角为原点建立世界坐标系，标志物在世界坐标系中四个顶点坐标为(x'₁,y'₁)，(x'₂,y'₂)，(x'₃,y'₃)，(x'₄,y'₄)，则根据透视投影变换得到公式

根据该公式得出所述单应性矩阵，式中，x'_i为标志物在世界坐标系中的横坐标；y'_i为标志物在世界坐标系中的纵坐标；x_i为标志物在图像坐标系中的横坐标；y_i为标志物在图像坐标系中的纵坐标；/>

即单应性矩阵。

S204：根据待检测设备在真实空间中与标志物之间的相对位置关系，在所述包含标志物和待检测设备的图像中定位并提取待检测设备区域。具体的包括：

首先通过在世界坐标系测量待检测设备与标志物之间相对位置关系，得到待检测设备在世界坐标系中的位置坐标，(x'_r,y'_r)，(x'_r,y'_r)，(x'_r,y'_r)，(x'_r,y'_r)；

接着通过上述的公式

获取待检测设备在所述包含标志物和待检测设备的图像中的位置坐标；

最后裁剪得到待检测设备区域图像。

S30：通过多点单应性矩阵对所述待检测设备区域图像进行校正。

待检测设备图像精细校正的关键是精确提取图像与实物坐标之间的单应性矩阵。而实际摄影成像时，由于光照、相机畸变，以及上述的Douglas–Peucker算法顶点拟合精度等因素，导致该方法提取的标志物角点精度不高，直接影响了待检测设备的畸变校正效果。根据透视变换原理，标志物内部方格与整体具有相同的单应性变换矩阵，如果采用多点单应性矩阵校正，能够减少由光学成像像差、背景噪声等多种因素引起的单应性矩阵数值计算误差，从而提高图像校正精度。

校正有两种方法，第一种是通过Harris角点算法提取标志物内的多个正方形的角点；Harris角点算法的原理是如果某一点向任一方向小小偏移都会引起灰度的很大变化,这就说明该点是角点。考虑的是用一个高斯窗或矩形窗在图像上移动,由模板窗口取得原图像衍生出2×2的局部结构矩阵。该方法计算图像X方向和Y方向上的梯度自相关函数相联系的矩阵M及M的两个特征值，而矩阵M的特征值是自相关函数的一阶曲率，若两个曲率值都很高，则认为该点为角点。主要包括以下步骤：首先计算图矩阵M；接着对图像进行高斯滤波，得到新的M，高斯滤波窗口可选9×9；接着用CRF＝Det(M)－kTrace^2(M)计算原图像上各个点的CRF值；接着选取局部极值点；最后设定阈值，CRF值大于阈值的点作为最终选取的角点。

当正方形的角点选取完成后，利用Levenberg-Marquardt算法迭代求解多点单应性矩阵。Levenberg-Marquardt算法是使用最广泛的非线性最小二乘算法，中文为列文伯格-马夸尔特法。它是利用梯度求最大(小)值的算法，形象的说，属于“爬山”法的一种。它同时具有梯度法和牛顿法的优点。当λ很小时，步长等于牛顿法步长，当λ很大时，步长约等于梯度下降法的步长。

第二种是通过Hough直线提取算法，提取标志物内部及外部直线；通过求直线交点得到多组标志物角点；Hough直线提取算法，即霍夫变换，霍夫变换是图像处理中的一种特征提取技术，它通过一种投票算法检测具有特定形状的物体。该过程在一个参数空间中通过计算累计结果的局部最大值得到一个符合该特定形状的集合作为霍夫变换结果。经典霍夫变换用来检测图像中的直线，后来霍夫变换扩展到任意形状物体的识别，多为圆和椭圆。

霍夫变换运用两个坐标空间之间的变换将在一个空间中具有相同形状的曲线或直线映射到另一个坐标空间的一个点上形成峰值，从而把检测任意形状的问题转化为统计峰值问题

接着利用Levenberg-Marquardt算法迭代求解多点单应性矩阵。

如图5所示，巡检机器人通过扫描周边环境图像获取到包含标志物和待检测设备的图像，经过上述的步骤处理过后得到图6和图7所示的待检测设备的图像，进而进行后续的图像处理，由两者对比可以看出，未经过处理的图像呈倾斜状态，而经过处理的图像非常的端正，大大的方便了后续的图像处理。

该方法通过在待检测设备旁增加标志物，在通过包含对标志物和带检测设备搜索定位和图像校正，能显著减小机器人后端图像处理难度，提升待检测设备图像提取的准确性，从而提高了巡检机器人目标定位的精度，具有良好的经济性和实用性。

以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。