CN104568986A - 基于surf算法的遥控器面板印刷缺陷自动检测方法 - Google Patents

Abstract

本发明公开了一种基于SURF算法的遥控器面板印刷缺陷自动检测方法，通过制作遥控器模板图像，对待检测样品图像进行直方图均衡化，通过SURF算法分别求得模板图和待测图的特征点，利用分块加速后的最近邻匹配法来匹配特征点，根据匹配的结果求得单应性矩阵，利用单应性矩阵对待测图进行仿射变换得到校正图，对叠加掩膜后的模板图和校正图做差影处理，对差影结果进行二值化和形态学处理，判断待检测样品是否合格，如果待检测样品有缺陷，定位缺陷位置，如果待检测样品没有缺陷，判断为合格样品，完成检测。该方法能有效地检测出待测样品中的缺陷，并准确定位缺陷位置。

Description

基于SURF算法的遥控器面板印刷缺陷自动检测方法

技术领域

本发明涉及图像处理技术领域，特别是一种基于SURF算法的遥控器面板印刷缺陷自动检测方法。

背景技术

随着中国制造业的不断发展，对产品表面的缺陷检测受到了越来越多的关注，与我们的生活息息相关的遥控器就是其中的代表。在遥控器的生产过程中，面板和按键上的字符主要是通过丝网印刷机印刷出来的，不可避免地会出现文字模糊、污渍、漏印、错位等问题，传统的人工检测由于检测量大、人力成本高、速度慢、漏检率高等问题已不能得到令人满意的结果，对缺陷检测的自动化需求便应运而生。

近年来，随着计算机技术和图像处理的发展，视觉检测技术越来越多地应用于各生产领域。其基本原理是将在线采集的待测图像和预先采集好的模板图像匹配后进行差影操作得到缺陷图像，再对缺陷图像进行分析处理。这种技术也为遥控器缺陷的自动检测提供了可能。但由于受成像系统和机械系统条件的限制，待测样品在传动过程中难免会发生变动，导致采集到的待测样品图像难免会发生平移、旋转、或尺度变化。这对图像匹配过程提出了难度，如果不能对待测图像进行有效的配准，将会在数字减影图像中造成移位假象和伪轮廓，给图像缺陷信息的检测和识别造成困难。

目前遥控器面板和按键上的字符检测中所用到的图像匹配方法大都是互相关匹配法。互相关匹配法通过模板图像和待测图像的互相关值来确定匹配程度，互相关值最大时的搜索窗口位置决定了模板图像在待匹配图像中的位置。互相关匹配法不易找到待测品发生旋转等变化后与模板图的最佳匹配位置，并且计算量大，难以达到实时性的要求。而基于特征点的图像匹配算法计算量相对小，对灰度变化、形变及遮挡有较好的适应性，应用前景广阔。

本发明基于SURF(Speeded Up Robust Feature，快速鲁棒特征)算法的遥控器面板印刷缺陷自动检测方法，以标准样品为模板，利用SURF算法求得模板图和待测图的特征点后通过最近邻匹配法进行匹配，通过标准图和根据匹配结果得出的校正图的差影结果实现对遥控器样品面板和按键上的字符的检测，并对缺陷位置进行标记。

发明内容

本发明的目的在于提出一种基于SURF算法的遥控器面板印刷缺陷自动检测方法。该方法能有效地检测出待测样品中的缺陷，并准确定位缺陷位置。

本发明提供一种基于SURF算法的遥控器面板印刷缺陷自动检测方法，包括如下步骤：

步骤1：制作遥控器模板图像；

步骤2：对待检测样品图像进行预处理；

步骤3：通过SURF算法分别求得模板图像和待测图的特征点，利用分块加速后的最近邻匹配法来匹配特征点；

步骤4：根据匹配的结果求得单应性矩阵，利用单应性矩阵对待测图进行仿射变换得到校正图；

步骤5：对叠加掩膜后的模板图像和校正图做差影处理；

步骤6：对差影结果进行二值化和形态学处理，判断待检测样品是否合格。如果待检测样品有缺陷，定位缺陷位置，如果待检测样品没有缺陷，判断为合格样品，完成检测。

从上述技术方案可以看出，本发明具有以下技术效果：

1、本发明提供的基于SURF算法的遥控器面板印刷缺陷自动检测方法，能够准确检测缺陷并定位缺陷位置。

2、本发明提供的基于SURF算法的遥控器面板印刷缺陷自动检测方法，采用分块的方法对特征点匹配过程进行了改进，提高了匹配速度，减少了误匹配点。

3、本发明提供的基于SURF算法的遥控器面板印刷缺陷自动检测方法，对发生旋转、平移或尺度变化的待测图有鲁棒的处理结果。

4、本发明提供的基于SURF算法的遥控器面板印刷缺陷自动检测方法，采用基于特征的匹配方法，计算速度快，能够满足实时性要求。

附图说明

为进一步说明本发明的技术内容，以下结合附图及实施案例对本发明详细说明如下，其中：

图1是本发明提供的一种基于SURF算法的遥控器面板印刷缺陷自动检测方法的具体实施步骤；

图2是本发明提供的通过SURF算法提取特征点并匹配的具体实施步骤；

图3是本发明实施案例中的实验模板图；

图4是本发明实施案例中的实验样品图，是发生了旋转的待检测遥控器图的数字按键区域；

图5是本发明实施案例中通过SURF算法提取特征点并使用分块加速改进匹配过程后的匹配结果图；

图6是本发明实施案例中待测样品的校正图；

图7是本发明实施案例中模板图和校正图的差影结果图；

图8是本发明实施案例中的缺陷检测结果图。

具体实施方式

如图1所示，本发明提供的一种基于SURF算法的遥控器面板印刷缺陷自动检测方法，包括如下步骤：

步骤101：制作遥控器模板图(参阅图3)，所述的模板图是取多个无缺陷的标准遥控器图片进行灰度值平均化并裁剪不规则的边缘后得到的。

步骤102：对待检测样品的图像做预处理(参阅图4)，所述对待检测样品图像的预处理是采用直方图均衡化方法增加像素灰度值的动态范围从而达到增强图像整体对比度的效果。

步骤103：通过SURF算法分别求得模板图和待测图的特征点描述向量；然后利用分块加速后的最近邻匹配法进行匹配，具体实施步骤为：

步骤1a：利用Hessian矩阵行列式的局部最大值来检测候选极值点的位置(参阅图2)。给定图像I中的点x＝(x，y)，则Hessian矩阵H(x，σ)在x处尺度为σ处的定义为：

$H(x,\mathrm{\σ})=\left[\begin{array}{cc}{L}_{\mathrm{xx}}(x,\mathrm{\σ})& L_{\mathrm{xy}}(x,\mathrm{\σ})\\ L_{\mathrm{xy}}(x,\mathrm{\σ})& L_{\mathrm{yy}}(x,\mathrm{\σ})\end{array}\right]---\left(4\right)$

这里，高斯滤波器L_xy(x，σ)是高斯二阶偏导数在x处与图像的卷积。为了进一步加速卷积的速度，SURF采用盒子滤波器和积分图来简化计算。分别用盒子滤波器模板与图像的卷积D_xx，D_yy，D_xy来代替L_xx(x，σ)，L_yy(x，σ)，L_xy(x，σ)，则Hessian近似矩阵H_approx的行列式为：

det(H_approx)＝D_xxD_yy-(0.9D_xy)² (5)

其中0.9为经验调节参数。在得到候选极值点后再进行精确定位。构建尺度空间，比较候选极值点及其周围尺度空间和邻域空间内的26个像素点，只有都大于或都小于这26个像素点才被确定为极值点。

步骤2a：基于半径为6s(s为特征点所在的尺度值)的邻域内的像素点的x方向和y方向的Haar小波响应值(Harr小波边长取4s)来描述SURF的特征点(参阅图2)。Haar小波特征模板内有白色和黑色两种矩形，定义该模板的特征响应值为白色矩形像素和减去黑色矩形像素和。首先计算特征点的主方向，然后以特征点为中心，将坐标轴旋转到主方向。按照主方向选取20s×20s的正方形区域，将该区域划分成16(4×4)个子区域。对每个子区域计算25(5×5)个空间归一化的采样点的Haar小波响应，对每个子区域，分别计算四个量：∑dx、∑dy、∑|dx|、∑|dy|。这样每个特征点将得到一个64(16×4)维的矢量。然后对得到的64维向量进行归一化。

步骤3a：通过特征描述向量间的欧氏距离找到匹配点对(参阅图2)，设定一个阈值，当最小欧氏距离和次最小欧氏距离的比值小于设定的阈值时，认为这两个特征点是匹配的。考虑到实际应用场景中遥控器图像不会出现过大的偏移和旋转，所以本发明采用分块的方法来加速匹配和消除误匹配点。具体做法是对于模板图中的特征点，假设其像素位置为(x_i，y_i)，则只匹配待检测图中分布在以(x_i，y_i)为中心，40×40大小区域内的特征点。

步骤104：根据匹配的结果求得单应性矩阵，利用单应性矩阵对待测图像进行仿射变换得到校正图(参阅图6)。其中的单应性变换矩阵如公式(6)所示：

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}{m}_1& m_2& t_y\\ m_3& m_4& t_y\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]---\left(6\right)$

其中，(u，v)为变换后的点坐标，(x，y)为变换前的点坐标，通过匹配点对坐标求得变换矩阵，由此得到校正后的图形。

步骤105：对叠加掩膜后的模板图和校正图做差影处理，所述的差影处理要先对模板图像和待测图像进行叠加掩膜的处理，保证差影结果处理的只是有效按键区域。

步骤106：对差影结果进行二值化和形态学处理，定位缺陷位置。所述的二值化过程是通过最大类间方差法求出二值化区域的阈值，然后进行二值化的。所述的形态学处理主要是形态学开运算，用来消除噪点和小的区域(参阅图7)。由此结果来定位缺陷位置(参阅图8)。

实施例1

为验证本发明提供的基于SURF算法的遥控器缺陷自动检测方法的测量效果，进行了如下实验：考虑到原始的遥控器图片太大，因此选取遥控器样本图片的一部分作为实验结果的例子。通过选取多张无缺陷的标准遥控器样品，计算平均灰度值并裁剪掉不规则的边缘后，制作出的标准模板如图3所示。图4是成像系统采集的待检测的遥控器样品图，该图发生了旋转，并且有3处明显的内容缺陷，分别是右上角圆形按钮的白色区域、数字1键和数字8键旁边的韩语字母。根据SURF算法计算出的两幅完整图像的特征点数量分别为624和636个。

SURF算法采取欧氏距离最小的原则来匹配对应点，会产生匹配错误的情况，考虑到实际应用场景中遥控器图像不会出现过大的偏移和旋转，所以本发明采用分块的方法来加速匹配和消除误匹配点。具体做法是针对模板图像中的每一个特征点，只匹配待检测图中对应位置为中心的一定矩形区域内的特征点。这样做的好处是，模板图像中的特征点在匹配时，不必搜索整个待测图像的特征点集，从而加快匹配速度，也降低了误匹配的几率。通过分块加速以后得到了166个正确的匹配点对，分块之后得到的匹配结果如图5所示。

根据匹配结果对图像进行单应性矩阵变换可以得到校正后的图形，如图6所示。

对于实际生产中未经过组装的遥控器键盘，会出现彩色喷墨扩散到遥控器底面板上的情况，如果直接使用差分法将造成很大的误差。所以，我们对模板图像和待测图像进行掩膜处理，以保证在后续步骤中只处理有效按键区域。然后利用校正后的图像用来与标准图做差分运算，对差分结果进行二值化和形态学处理之后，结果如图7所示，根据检测到的缺陷，在原待测图上标示出来，如图8所示，即为检测到的缺陷。

该实施案例证明本发明提供的一种基于SURF算法的遥控器面板印刷缺陷自动检测方法过程简单，计算速度快；实验表明该算法是有效的，可以检测出遥控器键盘上的缺陷，并且满足实时性的要求。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于SURF算法的遥控器面板印刷缺陷自动检测方法，包括如下步骤：

步骤1：通过对多张无缺陷的标准遥控器图像进行灰度值平均化并裁剪不规则的边缘来制作遥控器模板图像；

步骤2：对待检测样品图像进行直方图均衡化；

步骤3：通过SURF算法分别求得模板图像和待测图的特征点，利用分块加速后的最近邻匹配法来匹配特征点，具体实施步骤为：

1)步骤1a：利用Hessian矩阵行列式的局部最大值来检测候选极值点的位置，在得到候选极值点后再在尺度空间和邻域空间进行精确定位，给定图像I中的点x＝(x，y)，则Hessian矩阵H(x，σ)在尺度为σ处x点的定义为：

$H(x,\mathrm{\σ})=\left[\begin{array}{cc}{L}_{\mathrm{xx}}(x,\mathrm{\σ})& L_{\mathrm{xy}}(x,\mathrm{\σ})\\ L_{\mathrm{xy}}(x,\mathrm{\σ})& L_{\mathrm{yy}}(x,\mathrm{\σ})\end{array}\right]---\left(1\right)$

为了加速卷积的速度，SURF算法用盒子滤波器模板与图像的卷积D_xx，D_yy，D_xy来代替L_xx(x，σ)，L_yy(x，σ)，L_xy(x，σ)，则Hessian近似矩阵H_approx的行列式为：

det(H_approx)＝D_xxD_yy-(0.9D_xy)² (2)

其中0.9为经验调节参数，确定候选极值点后再比较候选极值点及其周围尺度空间和邻域空间内的26个像素点，只有都大于或都小于这26个像素点才被确定为极值点；

2)步骤2a：利用半径为6s的邻域内的像素点的Haar小波响应值来描述SURF的特征点，其中s为特征点所在的尺度值，Haar小波边长为4s；按照主方向选取20s×20s的正方形区域，将该区域划分成16(4×4)个子区域，对每个子区域计算25(5×5)个空间归一化的采样点的Haar小波响应，对每个子区域，分别计算四个量：∑dx、∑dy、∑|dx|、∑|dy|，这样每个特征点将得到一个64(16×4)维的矢量，然后对得到的64维向量进行归一化；

3)步骤3a：针对模板图像中的每一个特征点像素位置为(x_i，y_i)，则只搜索待检测图中分布在以(x_i，y_i)为中心，40×40大小区域内的特征点；

步骤4：根据匹配的结果求得单应性矩阵，利用单应性矩阵对待测图进行仿射变换得到校正图；

步骤5：对模板图像和校正图叠加掩膜后做差影处理；

步骤6：对差影结果进行二值化和形态学处理，判断待检测样品是否合格，如果待检测样品有缺陷，定位缺陷位置；如果待检测样品没有缺陷，判断为合格样品，完成检测。

2.如权利要求1所述的基于SURF算法的遥控器面板印刷缺陷自动检测方法，其中步骤4中，单应性变换矩阵如公式(3)所示：

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}{m}_1& m_2& t_x\\ m_3& m_4& t_y\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]---\left(3\right)$

其中，(u，v)为变换后的点坐标，(x，y)为变换前的点坐标，通过匹配点对坐标求得变换矩阵，由此得到校正后的图形。

3.如权利要求2所述的基于SURF算法的遥控器面板印刷缺陷自动检测方法，其中步骤5中的差影处理是叠加了掩膜的模板图和校正图通过相减做差实现的。

4.如权利要求2所述的基于SURF算法的遥控器面板印刷缺陷自动检测方法，其中步骤6是通过最大类间方差法求出二值化区域的阈值进行二值化，并进行形态学开运算后定位缺陷位置的。