CN114119644A

CN114119644A - 一种基于边缘特征的模板匹配方法

Info

Publication number: CN114119644A
Application number: CN202111516108.2A
Authority: CN
Inventors: 李志博; 靳开轩; 宋明安; 郭强; 麻辉
Original assignee: Ningxia Juneng Robot Co Ltd
Current assignee: Ningxia Juneng Robot Co Ltd
Priority date: 2021-12-06
Filing date: 2021-12-06
Publication date: 2022-03-01

Abstract

本发明提供一种基于边缘特征的模板匹配方法，制作模板过程中，通过边缘提取算法提取出零件的边缘特征，匹配过程中，通过边缘提取算法，将整张图像的边缘特征突显出来，使用模板优化算法将原模板逐个像素对比、逐个角度对比，找到最合适的匹配点和角度，再将该位置乘以标定参数矩阵，获得机器人坐标系下的坐标。本方法通过自加工与采购搭建的视觉测量系统较为廉价，具有非接触式、速度快、精度高等优点。

Description

一种基于边缘特征的模板匹配方法

技术领域

本发明涉及计算技术领域，具体涉及一种基于边缘特征的模板匹配方法。

背景技术

模板匹配是2D视觉定位的常用方法，是根据已知模块在搜索图像中寻找逼近模块匹配的过程，是一种简单有效、使用广泛的图像处理方法。

传统的模板匹配因自身的局限性，主要表现在它只能进行平行移动，若原图像中的匹配目标发生旋转或大小变化，该算法无效。而国内外著名软件包如Cognex公司的Patmax、Matron公司的MILGMF、MVtec的HALCON HMatchlt、EURESYS的eVisonasyFind、Adept的AdeptSight及DALSA的Sapera等已开发出性能良好的几何模板匹配算法，但由于商业保密的原因，其所有采用的技术核心鲜有公开。

发明内容

本发明是为了解决模板配的问题，提供一种基于边缘特征的模板匹配方法：制作模板过程中，通过边缘提取算法提取出零件的边缘特征，匹配过程中，通过边缘提取算法，将整张图像的边缘特征突显出来，使用模板优化算法将原模板逐个像素对比、逐个角度对比，找到最合适的匹配点和角度，再将该位置乘以标定参数矩阵，获得机器人坐标系下的坐标。本方法通过自加工与采购搭建的视觉测量系统较为廉价，具有非接触式、速度快、精度高等优点。

本发明提供一种基于边缘特征的模板匹配方法，包括以下步骤：

S1、提取模板：使用边缘特征算法处理凸显零件特征的照片，确定特征区域，然后手动屏蔽不需要的边缘特征，得到初步模板；

S2、训练模板：使用模板优化算法提取初步模板中有代表性的特征点，并制作成粗模板和精模板，通过训练得到边缘特征和数组索引；

S3、图像预处理：使用边缘特征算法处理待测图像，获得具有边缘特征的图像，降低具有边缘特征的图像分辨率得到粗图像；

S4、粗定位：将粗模板与粗图像进行逐点匹配，获得每个像素位置的得分值，得分最高的位置为粗定位获取的位置；

S5、精定位：根据粗定位获取的位置，将精模板与粗图像进行匹配，得到精模板区域内各像素位置的得分，得分最高位置为精定位获取的位置，再将精定位获取的位置乘以标定参数矩阵得到机器人坐标下的待测图像坐标。

本发明所述的一种基于边缘特征的模板匹配方法，作为优选方式，步骤S1、S3中，边缘特征算法为使用Sobel算子提取照片边缘特征，Sobel算子为：

Gx＝[f(x+1，y-1)+2*f(x+1，y)+f(x+1，y+1)]-[f(x-1，y-1)+2*f(x-1，y)+f(x-1，y+1)]；

Gy＝[f(x-1，y-1)+2*f(x，y-1)+f(x+1，y-1)]-[f(x-1，y+1)+2*f(x，y+1)+f(x+1，y+1)]；

其中，f(x，y)为图像(x，y)点的灰度值，Gx为横向边缘检测的图像灰度值，Gy为纵向边缘检测的图像灰度值，G为边缘检测的综合图像灰度值。

本发明所述的一种基于边缘特征的模板匹配方法，作为优选方式，步骤S1包括以下步骤：

S11、载入零件特征凸显较好的照片；

S12、使用边缘特征算法的Sobel算子提取照片边缘特征的ROI区域；

S13、手动屏蔽不需要的边缘特征，将灰度值设为0，得到初步模板。

本发明所述的一种基于边缘特征的模板匹配方法，作为优选方式，步骤S2包括以下步骤：

S21、使用Sobel算子处理ROI区域内的灰度图像，灰度值与变化梯度成正比；

S22、以阈值对灰度图像进行二值化，过滤梯度变化小的像素点；

S23、以掩膜对像素点进行简化，使用模板优化算法提取有代表性的特征点，并制作成粗模板和精模板；

S24、将特征点以二维数组的形式保存在文本文件中，得到边缘特征和数组索引。

本发明所述的一种基于边缘特征的模板匹配方法，作为优选方式，步骤S2中，模板优化算法包括以下内容：

对分辨率为M*N的二值化图像数组每k行k列截取k行k列的数组A_i，得到M/k*N/k个k*k个数组，当不能整除时，剩余部分按照M％k或者N％k截取；

提取数组A_i中像素为1的索引值，并按照行的大小进行排序，提取索引中值；

将索引中值设定为特征点，重新放到图像中，继续其他数组的索引中值提取，直至全部数组的索引值提取完成。

本发明所述的一种基于边缘特征的模板匹配方法，作为优选方式，步骤S4和步骤S5中，粗模板、精模板与粗图像进行匹配的方法为：

设粗模板或精模板旋转θ角度之后，粗模板或精模板的宽*高＝n*m，粗模板或精模板的矩阵为：

当模板矩阵起始点在源矩阵(X_i，Y_j)点处做对比时，提取到的待对比矩阵

A1矩阵中，特征点为1，其他为0，B1矩阵中，像素值为255时，对应矩阵值为1，否则为0；

构建新的一个矩阵C1，C1矩阵为n*m的矩阵，矩阵中的每个值为A1矩阵并B1矩阵中的值，获得每个像素位置的得分值。

本发明所述的一种基于边缘特征的模板匹配方法，作为优选方式，验证匹配效果的软件包括以下功能：载入图片功能、参数调节功能、添加ROI区域功能、结果显示功能和快速加载图片功能。

本发明所述的一种基于边缘特征的模板匹配方法，作为优选方式，参数调节功能用于调节以下任意一种参数：拍照环境、零件特性、Sobel算子后的二值化阈值、分数阈值和扩充倍数。

本发明所述的一种基于边缘特征的模板匹配方法，作为优选方式，结果显示功能用于显示粗匹配、精匹配和匹配所用的总时间；结果显示功能用显示查找坐标，坐标包括横坐标、纵坐标和旋转角度。

本发明所述的一种基于边缘特征的模板匹配方法，作为优选方式，快速加载图片功能用于加载图片同时触发模板匹配功能，找到特征在图像中的位置。

本发明以LabVIEW为开发平台，研究了一种基于边缘特征的模板匹配方法，编制了模板的制作算法、匹配算法、得分算法等。最后通过对比Congex的Patmax算法得出结论：该算法可满足自动化领域在视觉定位中的要求，不仅定位平面坐标，而且可以计算零件的旋转角度，同时具有高成功率、高精度、通用性强等特点。

具体方案为：

提取模板：将零件特征凸显较好的照片经过Sobel算子处理，确定特征区域，手动屏蔽不需要的边缘特征；

训练模板：由于模板特征点较多，会影响后续的计算速度，所以经过模板优化算法，提取出“有代表性”的特征点，同时制作两个模板，一个粗模板，供全局查找使用；一个精模板，供精查找使用；

图像预处理：使用Sobel算子处理待测图像，获得具有边缘特征的图像；同时再将该图像分辨率降低，得到一个粗图像，供后续粗匹配使用。

粗定位：将粗模板与粗图像进行逐点匹配，获得每个像素位置的得分值，得分最高的位置为粗定位获取的位置。

精定位：根据粗定位获取的位置，将精模板与预处理后的图像在一定区域内进行匹配，得到该区域内各像素位置的得分，得分最高位置为精定位获取的位置；

首先该程序要具有人机交互性，所以按照操作分类，将分为两个Demo：模板制作Demo和匹配验证Demo，其中模板制作

Demo用来制作模板，屏蔽标准图像的非边缘位置，提取边缘特征点，以文本方式记录这些点位，以便后续计算使用。

制作模板的过程分为以下几步：

1.载入一张标准图片，用来制作模板。

2.提取边缘特征的ROI区域，屏蔽其他干扰(其他区域的灰度值设为0)。

使用Sobel算子处理ROI区域内的灰度图像，灰度值与变化梯度成正比。

3.以一定阈值对图像进行二值化，过滤掉梯度变化小的像素点。

4.以一定掩膜大小对像素点进行简化，即提取出有“代表性”的像素点，减少特征点数，以提高模板匹配时的计算速度。

5.将这些点以二维数组的形式保存在文本文件中，完成模板训练。

匹配验证Demo用来验证匹配效果，可分为以下几个功能：

载入图片功能。在界面中点击“选择文件夹”，选择素材图片的基路径，即可将图片载入到存储图片的一维数组中，并显示在正下方。

参数调节功能。根据拍照环境和零件特性调节，比如零件的旋转角度区间，如果减少角度查找区间，可提高准确率和查找速度；还可调节Sobel算子后的二值化阈值，提高识别成功率；调节分数阈值，过滤掉不满足分数区间的查找结果；调节扩充倍数，可将原图像扩大，

这样查找时可索引到行列小于0的位置，即零件即使跑出图像一部分，也能找到。

添加ROI区域功能。添加一个矩形的感兴趣区域，在加载图片前，将图片进行裁剪，只保留ROI区域内的图像。

结果显示功能。可将粗匹配、精匹配和匹配所用的总时间显示在图像上方；将查找坐标(X、Y、θ)显示在图像中。

快速加载图片功能。将文件夹中的图片按名称进行排序，点击上一张或下一张，即可加载图片，同时触发模板匹配功能，找到特征在图像中的位置。

0.1算法库

Sobel算子

Sobel算子可将边缘特征提取出来(前后对比见图4)，即：

式中：

f(x，y)—图像(x，y)点的灰度值；

Gx—横向边缘检测的图像灰度值；

Gy—纵向边缘检测的图像灰度值；

G—边缘检测的综合图像灰度值。

“代表性”特征点提取

特征点太多，不仅对精度的提高没有太大帮助，而且增加了计算量，降低了运算效率，所以提出了如下方法提取更具“代表性”的特征点：

1.对分辨率为M*N的二值化图像数组每k行k列截取k行k列的数组A_i，这样就会得到M/k*N/k个k*k个数组，当不能整除时，则剩余部分按照M％k或者N％k截取；

2.将A_i中像素为1的索引值提取，并按照行的大小进行排序，提取索引中值；

3.认为该中值为“代表性的”点，重新放到新的图像中，以此类推。

将所有的A_i数组处理，提取前有1781个像素点，提取后仅136个。

模板匹配

将模板图像与当前图像进行匹配运算，分为如下步骤：

1设模板旋转θ角度之后，模板A1的宽*高＝n*m，A1的矩阵为

2当模板矩阵起始点在源矩阵(X_i，Y_j)点处做对比时，提取到的待对比矩阵

3A1矩阵中，特征点为1，其他为0，B1矩阵中，像素值为255是，对应矩阵值为1，否则为0。

构建新的一个矩阵C1，C1矩阵为n*m的矩阵，矩阵中的每个值为A1矩阵并B1矩阵中的值，统计C1矩阵中为1的个数，除以A1矩阵中1的个数，即为识别率

本发明具有以下优点：

(1)本发明提出了一种基于边缘特征的模板匹配方法，与传统的算法相比，这种算法不仅能计算图像坐标，并计算角度，具有高精度、抗干扰能力强、通用性强的特点。

(2)同时本发明根据角向算法，以Lab VIEW为开发平台，编制了人机交互软件，验证了该算法的可行性。

(3)本发明通过实验对比了权威算法Congex的Patmax与该算法的计算结果，得出2.64(像素)，Y方向平均误差为2.83(像素)，角度误差为0.234(度)的结论，满足3-5个像素差值的正常误差。

附图说明

图1为一种基于边缘特征的模板匹配方法流程图；

图2为一种基于边缘特征的模板匹配方法屏蔽外界干扰示意图；

图3a为一种基于边缘特征的模板匹配方法提取的边缘特征示意图；

图3b为一种基于边缘特征的模板匹配方法各像素点数组索引；

图4a为一种基于边缘特征的模板匹配方法图像预处理前示意图；

图4b为一种基于边缘特征的模板匹配方法图像预处理后示意图；

图5为一种基于边缘特征的模板匹配方法粗定位示意图；

图6a为一种基于边缘特征的模板匹配方法精定位前示意图；

图6b为一种基于边缘特征的模板匹配方法精定位后示意图；

图7为一种基于边缘特征的模板匹配方法模板训练Demo示意图；

图8为一种基于边缘特征的模板匹配方法匹配验证Demo示意；

图9为一种基于边缘特征的模板匹配方法代表性特征点提取流程图；

图10为一种基于边缘特征的模板匹配方法模板匹配示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

实施例1

如图1所示，一种基于边缘特征的模板匹配方法，包括以下步骤：

步骤S1包括以下步骤：

S11、载入零件特征凸显较好的照片；

S13、手动屏蔽不需要的边缘特征，将灰度值设为0，得到初步模板；

步骤S2包括以下步骤：

S24、将特征点以二维数组的形式保存在文本文件中，得到边缘特征和数组索引；

S5、精定位：根据粗定位获取的位置，将精模板与粗图像进行匹配，得到精模板区域内各像素位置的得分，得分最高位置为精定位获取的位置，再将精定位获取的位置乘以标定参数矩阵得到机器人坐标下的待测图像坐标；

步骤S1、S3中，边缘特征算法为使用Sobel算子提取照片边缘特征，Sobel算子为：

其中，f(x，y)为图像(x，y)点的灰度值，Gx为横向边缘检测的图像灰度值，Gy为纵向边缘检测的图像灰度值，G为边缘检测的综合图像灰度值；

步骤S2中，模板优化算法包括以下内容：

将索引中值设定为特征点，重新放到图像中，继续其他数组的索引中值提取，直至全部数组的索引值提取完成；

步骤S4和步骤S5中，粗模板、精模板与粗图像进行匹配的方法为：

构建新的一个矩阵C1，C1矩阵为n*m的矩阵，矩阵中的每个值为A1矩阵并B1矩阵中的值，获得每个像素位置的得分值；

验证匹配效果的软件包括以下功能：载入图片功能、参数调节功能、添加ROI区域功能、结果显示功能和快速加载图片功能；

参数调节功能用于调节以下任意一种参数：拍照环境、零件特性、Sobel算子后的二值化阈值、分数阈值和扩充倍数；

结果显示功能用于显示粗匹配、精匹配和匹配所用的总时间；结果显示功能用显示查找坐标，坐标包括横坐标、纵坐标和旋转角度；

快速加载图片功能用于加载图片同时触发模板匹配功能，找到特征在图像中的位置。

实施例2

如图1所示，一种基于边缘特征的模板匹配方法，包括以下步骤：提取模板：将零件特征凸显较好的照片经过Sobel算子处理，确定特征区域，手动屏蔽不需要的边缘特征，如图2所示：

训练模板：由于模板特征点较多，会影响后续的计算速度，所以经过模板优化算法，提取出“有代表性”的特征点，同时制作两个模板，一个粗模板，供全局查找使用；一个精模板，供精查找使用，训练后可以得到如图3所示的数组，图3a为提取的边缘特征，图3b为各像素点的数组索引(保存在文本文档中)：

如图4所示，图像预处理：使用Sobel算子处理待测图像，获得具有边缘特征的图像；同时再将该图像分辨率降低，得到一个粗图像，供后续粗匹配使用。

如图5所示，粗定位：将粗模板与粗图像进行逐点匹配，获得每个像素位置的得分值，得分最高的位置为粗定位获取的位置。

精定位：根据粗定位获取的位置，将精模板与预处理后的图像在一定区域内进行匹配，得到该区域内各像素位置的得分，得分最高位置为精定位获取的位置，如图6所示，图6a所示为原始图像，图6b所示为经Sobel算子处理并二值化，再经过精匹配获得的图像。

制作模板的过程分为以下几步：

载入一张标准图片，用来制作模板。

提取边缘特征的ROI区域，屏蔽其他干扰(其他区域的灰度值设为0)。

以一定阈值对图像进行二值化，过滤掉梯度变化小的像素点。

以一定掩膜大小对像素点进行简化，即提取出有“代表性”的像素点，减少特征点数，以提高模板匹配时的计算速度。

将这些点以二维数组的形式保存在文本文件中，完成模板训练。

模板训练的Demo如图7所示：

匹配验证Demo用来验证匹配效果，可分为以下几个功能：

匹配验证Demo如图8所示：

Sobel算子

Sobel算子，可将边缘特征提取出来(前后对比见图5)，即：

式中：

f(x，y)—图像(x，y)点的灰度值；

Gx—横向边缘检测的图像灰度值；

Gy—纵向边缘检测的图像灰度值；

G—边缘检测的综合图像灰度值。

“代表性”特征点提取

对分辨率为M*N的二值化图像数组每k行k列截取k行k列的数组A_i，这样就会得到M/k*N/k个k*k个数组，当不能整除时，则剩余部分按照M％k或者N％k截取；

将A_i中像素为1的索引值提取，并按照行的大小进行排序，提取索引中值；

认为该中值为“代表性的”点，重新放到新的图像中，以此类推。

将所有的A_i数组处理，将得到图9中的结果，提取前有1781个像素点，提取后仅136个。

模板匹配

如图10所示，将模板图像与当前图像进行匹配运算，分为如下步骤：

设模板旋转θ角度之后，模板A1的宽*高＝n*m，A1的矩阵为

A1矩阵中，特征点为1，其他为0，B1矩阵中，像素值为255是，对应矩阵值为1，否则为0。

构建新的一个矩阵C1，C1矩阵为n*m的矩阵，矩阵中的每个值为A1矩阵并B1矩阵中的值，统计C1矩阵中为1的个数，除以A1矩阵中1的个数，即为识别率。

以34张实际项目中保存的图片为素材，使用Congex的PatMax算法对图片中的零件进行查找；同时用当前边缘查找算法对图片中的零件进行查找，对比两者的查找结果，及基于边缘特征的模板匹配算法计算结果。

如下表所示，提供了Congex的Patmax算法对素材查找及基于边缘特征的模板匹采用130万像素相机拍照测试，可以得出X方向平均误差为2.64(像素)，Y方向平均误差为2.83(像素)，角度误差为0.234(度)，当换算成100mm*100mm视野，其精度为X方向0.258mm/dm^2，Y方向0.221mm/dm^2。

实际位置

基于边缘特征的匹配算法识别结果

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims

1.一种基于边缘特征的模板匹配方法，其特征在于：包括以下步骤：

S2、训练模板：使用模板优化算法提取所述初步模板中有代表性的特征点，并制作成粗模板和精模板，通过训练得到边缘特征和数组索引；

S3、图像预处理：使用边缘特征算法处理待测图像，获得具有边缘特征的图像，降低所述具有边缘特征的图像分辨率得到粗图像；

S4、粗定位：将所述粗模板与所述粗图像进行逐点匹配，获得每个像素位置的得分值，得分最高的位置为粗定位获取的位置；

S5、精定位：根据所述粗定位获取的位置，将所述精模板与所述粗图像进行匹配，得到所述精模板区域内各像素位置的得分，得分最高位置为精定位获取的位置，再将所述精定位获取的位置乘以标定参数矩阵得到机器人坐标下的待测图像坐标。

2.根据权利要求1所述的一种基于边缘特征的模板匹配方法，其特征在于：步骤S1、S3中，边缘特征算法为使用Sobel算子提取照片边缘特征，Sobel算子为：

3.根据权利要求1所述的一种基于边缘特征的模板匹配方法，其特征在于：步骤S1包括以下步骤：

S11、载入零件特征凸显较好的照片；

S13、手动屏蔽不需要的边缘特征，将灰度值设为0，得到所述初步模板。

4.根据权利要求1所述的一种基于边缘特征的模板匹配方法，其特征在于：步骤S2包括以下步骤：

S23、以掩膜对像素点进行简化，使用模板优化算法提取有代表性的所述特征点，并制作成所述粗模板和所述精模板；

S24、将所述特征点以二维数组的形式保存在文本文件中，得到所述边缘特征和所述数组索引。

5.根据权利要求1所述的一种基于边缘特征的模板匹配方法，其特征在于：步骤S2中，模板优化算法包括以下内容：

将所述索引中值设定为所述特征点，重新放到图像中，继续其他数组的所述索引中值提取，直至全部数组的索引值提取完成。

6.根据权利要求1所述的一种基于边缘特征的模板匹配方法，其特征在于：步骤S4和步骤S5中，所述粗模板、所述精模板与所述粗图像进行匹配的方法为：

设所述粗模板或所述精模板旋转θ角度之后，所述粗模板或所述精模板的宽*高＝n*m，所述粗模板或所述精模板的矩阵为：

7.根据权利要求1所述的一种基于边缘特征的模板匹配方法，其特征在于：验证匹配效果的软件包括以下功能：载入图片功能、参数调节功能、添加ROI区域功能、结果显示功能和快速加载图片功能。

8.根据权利要求7所述的一种基于边缘特征的模板匹配方法，其特征在于：所述参数调节功能用于调节以下任意一种参数：拍照环境、零件特性、Sobel算子后的二值化阈值、分数阈值和扩充倍数。

9.根据权利要求7所述的一种基于边缘特征的模板匹配方法，其特征在于：所述结果显示功能用于显示粗匹配、精匹配和匹配所用的总时间；所述结果显示功能用显示查找坐标，所述坐标包括横坐标、纵坐标和旋转角度。

10.根据权利要求7所述的一种基于边缘特征的模板匹配方法，其特征在于：所述快速加载图片功能用于加载图片同时触发模板匹配功能，找到特征在图像中的位置。