CN110706293B - 基于surf特征匹配的电子元器件定位和检测方法 - Google Patents

Abstract

本发明公开了基于SURF特征匹配的电子元器件定位和检测方法，所述方法包括：采集样本电路板的图像和待测电路板的图像，对原始样本图像和原始待测图像建立坐标系，分别对两个图像进行均值降采样，得到参考样本图像和参考待测图像；分别对参考样本图像和参考待测图像进行SURF特征点提取以及特征点的匹配，得到匹配点，计算出参考样本图像和参考待测图像之间的几何变换关系，定位出原始待测图像中的电子元器件的坐标，判断原始待测图像中的电子元器件是否存在缺陷；本发明对图像进行降采样后定位待测电路板上的电子元器件，并根据颜色矩差异检测出电子元器件的缺陷，大大缩短定位时间，降低图像数据处理复杂程度，且提高检测准确性和检测精度。

Description

基于SURF特征匹配的电子元器件定位和检测方法

技术领域

本发明涉及电子元器件的定位和检测技术领域，更具体地说涉及基于SURF特征匹配的电子元器件定位和检测方法。

背景技术

随着现代科技的不断进步和发展，电子产品功能日益复杂，其性能提高、元件体积变小、密度增大，电路板生产过程中不免出现元件缺失、偏移以及错件等缺陷，导致通过人工视觉以及传统方法检测电路板元件困难，无法满足实际应用的要求。运用图像匹配技术检测方法实现工业自动化，对提高产品质量和生产率、节约成本意义重大。印刷电路板(PCB)表观缺陷检测是机器视觉检测领域的一个重要问题，印刷电路板表观检测与识别系统中，图像的配准方法十分重要。

现有技术有将SURF算法应用到电子元器件的机器视觉检测中，如专利“一种基于SURF的高密度封装元器件定位方法”，申请号为：CN201210119476.8，但是该专利并没有将电路板的几何变换精确地转换为元器件的坐标，没有对电路板的缺陷进行检测，无法定位到元器件的缺失，同时常规的SURF算法的计算量较大，不合适在线监测。

发明内容

本发明型要解决的技术问题是：自动检测、定位和识别电路板的缺陷，简化计算，提高检测精确度。

本发明提供基于SURF特征匹配的电子元器件定位和检测方法，基于SURF算法对电路板图像匹配和定位，同时通过颜色矩来判断电路板上电子元器件的缺陷。

本发明解决其技术问题的解决方案是：

基于SURF特征匹配的电子元器件定位和检测方法，所述方法包括：

采集样本电路板的图像和待测电路板的图像，得到原始样本图像和原始待测图像；

对原始样本图像建立坐标系，得到第一坐标系，标出原始样本图像中的电子元器件的坐标；

对原始待测图像建立坐标系，得到第二坐标系；

分别对原始样本图像和原始待测图像进行均值降采样，得到参考样本图像和参考待测图像；

分别对所述参考样本图像和参考待测图像进行SURF特征点提取，通过描述符的欧氏距离作为相似性度量测度进行特征点匹配得到匹配点，根据所述匹配点计算出所述参考样本图像和参考待测图像之间的几何变换关系，定位出所述原始待测图像中的电子元器件的坐标；

对比所述原始样本图像和原始待测图像中的电子元器件的颜色矩判断原始待测图像中的电子元器件是否存在缺陷。

作为上述技术方案的进一步改进，所述进行SURF特征点提取的过程包括：

生成给定图像的积分图像；

构建Hessian矩阵H(x，σ)，根据Hessian矩阵构建尺度空间，利用所述积分图像得到三维尺度空间响应图，采用极大值抑制来寻找候选特征点，利用三维二次拟合函数对特征点进行临近像素插值，得到特征点的位置；

在特征点区域内统计其haar小波特征，确定特征点的主方向，生成给定图像的描述符。

所述给定图像包括参考样本图像和参考待测图像。

作为上述技术方案的进一步改进，所述通过描述符的欧氏距离作为相似性度量测度进行特征点匹配得到匹配点的过程包括：

设

为参考样本图像的特征点的特征向量，

为参考样本图像的特征点的特征向量，其中

对应的特征点(x₁,y₁)、(x₂,y₂)为相互匹配的特征点对；

比较特征点

最近邻与次近邻的欧式距离，若距离比率小于预设的第一阈值则

对应的特征点(x₁,y₁)、(x₂,y₂)为匹配点。

作为上述技术方案的进一步改进，所述根据所述匹配点计算出所述参考样本图像和参考待测图像之间的几何变换关系的过程包括：

设参考样本图像旋转θ度、x方向上平移Δx、在y方向上平移Δy后的位置与参考待测图像重合，两张图像之间的变换可以设为：

x'＝x cosθ+y sinθ+Δx

y'＝y cosθ-x sinθ+Δy

其中(x，y)是参考样本图像上的点坐标，(x’，y’)是参考待测图像上与所述参考样本图像上的点坐标(x，y)相匹配的点坐标；在SURF特征点匹配后有n对匹配点的坐标，且所述n对匹配点的坐标都满足同一个坐标变换关系式，对于水平方向坐标：

同理可得垂直方向坐标满足下列关系：

把上述式(1)、式(2)写成矩阵的形式：

对矩阵求伪逆解出方程，得到旋转度θ、x方向上的平移量Δx、在y方向上的平移量Δy，进而得到代表所述参考样本图像和参考待测图像之间几何变换关系的仿射变换函数f(x，y)。

作为上述技术方案的进一步改进，定位出所述原始待测图像中的电子元器件的坐标的过程包括：

对所述原始样本图像的像素点的位置进行所述仿射变换函数f(x，y)的变化，根据所述原始样本图像上标出的电子元器件的坐标，定位出所述原始待测图像中的电子元器件的坐标。

作为上述技术方案的进一步改进，所述对比所述原始样本图像和原始待测图像中的电子元器件的颜色矩判断原始待测图像中的电子元器件是否存在缺陷的过程包括：

提取出原始样本图像中的电子元器件和已定位出的原始待测图像中的电子元器件的颜色矩，通过加权的欧拉距离来计算原始待测图像中的电子元器件和原始样本图像的电子元器件的前三阶颜色矩的颜色相似度，若颜色相似度超过颜色阈值，则判断所述原始待测图像中的电子元器件没有缺陷。

本发明的有益效果是：本发明对图像进行降采样后定位待测电路板上的电子元器件，并根据颜色矩差异检测出电子元器件的缺陷，大大缩短定位时间，降低图像数据处理复杂程度，且提高检测准确性和检测精度。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单说明。显然，所描述的附图只是本发明的一部分实施例，而不是全部实施例，本领域的技术人员在不付出创造性劳动的前提下，还可以根据这些附图获得其他设计方案和附图。

图1是本发明方法的流程示意图；

图2是原始样本图像经过仿射变换函数f(x，y)中的旋转和平移的变化示意图。

具体实施方式

以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本发明的目的、特征和效果。显然，所描述的实施例只是本发明的一部分实施例，而不是全部实施例，基于本发明的实施例，本领域的技术人员在不付出创造性劳动的前提下所获得的其他实施例，均属于本发明保护的范围。另外，文中所提到的所有连接关系，并非单指构件直接相接，而是指可根据具体实施情况，通过添加或减少连接辅件，来组成更优的连接结构。本发明创造中的各个技术特征，在不互相矛盾冲突的前提下可以交互组合。

实施例1，参照图1，基于SURF特征匹配的电子元器件定位和检测方法，所述方法包括：

采集样本电路板的图像和待测电路板的图像，得到原始样本图像和原始待测图像；

对原始样本图像建立坐标系，得到第一坐标系，标出原始样本图像中的电子元器件的坐标；可在控制终端通过人工手动框选原始样本图像中的电子元器件，进行得到原始样本图像中的电子元器件的坐标。所述控制终端可为电脑PC端或平板电脑。

对原始待测图像建立坐标系，得到第二坐标系；

分别对原始样本图像和原始待测图像进行均值降采样，得到参考样本图像和参考待测图像；均值降采样使得图像的尺寸变小，减少数据处理的复杂程度，缩短计算时间，并且两幅图像之间的旋转角度差异不变，只是平移变量发生相应比例的改变，计算得到的平移量的乘以对应的系数即可。

下一步，分别对所述参考样本图像和参考待测图像进行SURF特征点提取。

在提取SURF特征点的过程中，对于参考样本图像提取一次特征点，保存下来；对于采集得到的每一张参考待测图像提取SURF特征点，与保存下来的参考样本图像的SURF特征点进行特征点匹配匹配。而对参考样本图像和参考待测图像提取SURF特征点的步骤一样的，以参考样本图像为例子，具体步骤为：

步骤一，尺度空间极值点检测：

生成所述参考样本图像的积分图像；

构建Hessian矩阵H(x，σ)，根据Hessian矩阵构建尺度空间，所述参考样本图像的每一个像素点都可以求出一个Hessian矩阵，其中点X(x,y)的Hessian矩阵定义为：

其中，σ表示尺度，L_xx(X,σ)是图像在点X处与高斯二阶偏导

的卷积，L_xy(X,σ)是图像在点X处与高斯二阶偏导

的卷积，L_yy(X,σ)是图像在点X处与高斯二阶偏导

的卷积；

为了简化计算，使用盒子滤波器作为二阶高斯滤波器的近似替代，并利用积分图像对图像卷积进行加速。设用盒子滤波器代替二阶高斯滤波器后得到的Hessian矩阵参数D_xx，D_yy和D_xy，其中D_xx，D_yy和D_xy是x方向、y方向和xy方向上经过盒子滤波器与图像卷积的结果，则Hessian矩阵的矩阵式可近似为：

Det(H)＝D_xxD_yy-(0.9D_xy)²

改变盒子滤波器的大小即可获得不同尺度下的卷积输出，对大小为N×N的滤波模板，对应选择的尺度σ＝1.2×N/9。利用所述积分图像得到三维尺度空间响应图，在尺度空间中取每个点的Det(H)值与该尺度相邻位置和相邻尺度周边的26个邻域比较，采用极大值抑制来寻找候选特征点，得到候选的局部极大值点，利用三维二次拟合函数对特征点进行临近像素插值，得到特征点的位置。

步骤二，特征点主方向的确定：

在特征点区域内统计其haar小波特征，以π/3扇形为单位，统计该扇形区域内所有特征点的水平和垂直haar小波特征总和，然后π/3扇形以一定间隔进行旋转，旋转一周后以小波特征最大的扇形方向作为该特征点的主方向。

步骤三，生成描述符：

获得特征点主方向后，以主方向为x轴，选取20σ×20σ大小的区域，将其等分为4×4的子区域，在每个子区域内计算Haar小波响应，分别记平行于主方向、垂直于主方向的Haar小波响应为dx、dy，赋予高斯权重后统计每个子区域里响应的总和及响应绝对值之和，则每个子区域可由特征向量为：

V＝(∑d_x,∑d_y,∑|d_x|,∑|d_y|)

每个特征点就由4×4个子区域的特征向量组合而成，对特征向量做归一化处理，最终生成总计64维的描述符。

完成SURF特征点提取后，通过描述符的欧氏距离作为相似性度量测度进行特征点匹配得到匹配点。

进一步作为优选的实施方式，所述通过描述符的欧氏距离作为相似性度量测度进行特征点匹配得到匹配点的过程包括：

设

为参考样本图像的特征点的特征向量，

为参考样本图像的特征点的特征向量，其中

对应的特征点(x₁,y₁)、(x₂,y₂)为相互匹配的特征点对；

比较特征点

最近邻与次近邻的欧式距离，若距离比率小于预设的第一阈值则

对应的特征点(x₁,y₁)、(x₂,y₂)为匹配点。

所述参考待测图像上的特征点和参考样本图像上的特征点进行特征点匹配，得到特征点对，从参考待测图像中搜索与参考样本图像的特征点最邻近和次邻近的参考待测图像的特征点，并得到最邻近的特征点对的距离和次邻近的特征点对的距离，通过距离函数作为特征的相似度量，如果最邻近的距离除以次近的距离低于设定的第一阈值，则接受特征点对为匹配点。这一步骤匹配到了参考样本图像和参考待测图像。

距离函数的相似度量可以量化表示，其取值范围介于0和1000之间。本实施例中的第一阈值为800，其中所述第一阈值可调。

根据上述步骤得到的匹配点进行计算，得出所述参考样本图像和参考待测图像之间的几何变换关系，定位出所述原始待测图像中的电子元器件的坐标；

进一步作为优选的实施方式，所述根据所述匹配点计算出所述参考样本图像和参考待测图像之间的几何变换关系的过程包括：

取参考待测图像的第二坐标系为参考坐标系，所述参考样本图像的第一坐标系为待变换坐标系，所述参考坐标系和待变换坐标系可通过几何变换来完成，在采集样本电路板和待测电路板的图像的采集模块是固定的情况下，电路板几乎不发生形变的，所以可以认为所述待检测的电路板和样本电路板没有发生缩放形变，只发生旋转和平移。

设参考样本图像旋转θ度、x方向上平移Δx、在y方向上平移Δy后的位置与参考待测图像重合，两张图像之间的变换可以设为：

x'＝x cosθ+y sinθ+Δx

y'＝y cosθ-x sinθ+Δy

其中(x，y)是参考样本图像上的点坐标，(x’，y’)是参考待测图像上与所述参考样本图像上的点坐标(x，y)相匹配的点坐标；在SURF特征点匹配后有n对匹配点的坐标，且所述n对匹配点的坐标都满足同一个坐标变换关系式，对于水平方向坐标：

同理可得垂直方向坐标满足下列关系：

把上述式(1)、式(2)写成矩阵的形式：

对矩阵求伪逆解出方程，得到旋转度θ、x方向上的平移量Δx、在y方向上的平移量Δy，进而得到代表所述参考样本图像和参考待测图像之间几何变换关系的仿射变换函数f(x，y)，再用双线性插值，参考样本图像和参考待测图像发生重合。

所述原始样本图像和原始待测图像在降采样的过程中坐标系不变，因此所述原始样本图像和原始待测图像之间的机和变换关系亦为仿射变换函数f(x，y)。

进一步作为优选的实施方式，定位出所述原始待测图像中的电子元器件的坐标的过程包括：

对所述原始样本图像的像素点的位置进行所述仿射变换函数f(x，y)的变化，使得所述原始样本图像的第一坐标系转变为所述第二坐标系，所述原始样本图像的像素点的坐标转变为所述第二坐标系的坐标，根据所述原始样本图像上标出原始样本图像中的电子元器件的坐标，定位出所述原始待测图像中的电子元器件的坐标。

参考图2，其中左侧图像为原始样本图像，右侧图像为原始样本图像中所有像素点经过进行所述仿射变换函数f(x，y)中的旋转和平移后得到的图像，则右侧的图像与原始待测图像重合。

本发明对原始样本图像与原始待测图像建立几何变换模型，利用匹配的特征点，得到旋转平移的变化量和平移量，得到几何变换模型的参数，利用这个几何变换模型，完成原始待测图像上的电子元器件的定位。

匹配好所述原始样本图像和原始待测图像的电子元器件的坐标位置，对比所述原始样本图像和原始待测图像中的电子元器件的颜色矩判断原始待测图像中的电子元器件是否存在缺陷。

进一步作为优选的实施方式，所述对比所述原始样本图像和原始待测图像中的电子元器件的颜色矩判断原始待测图像中的电子元器件是否存在缺陷的过程包括：

提取出原始样本图像中的电子元器件和已定位出的原始待测图像中对应的的电子元器件的颜色矩，通过加权的欧拉距离来计算原始待测图像中的电子元器件和原始样本图像的电子元器件的前三阶颜色矩的颜色相似度，若颜色相似度超过颜色阈值，则判断所述原始待测图像中的电子元器件没有缺陷。所述颜色阈值可调，本实施例的颜色阈值范围为400-600，选择400-600作为颜色阈值范围，高于此颜色阈值范围则判断所述原始待测图像中的电子元器件没有缺陷。

颜色矩是一种简单有效的颜色特征表示方法，可表示图像中的颜色分布，且不需对颜色空间量化，特征向量维数低，便于进行搜寻。

彩色图像前三阶颜色矩的数学定义如下：

其中p_i,j表示彩色图像第j个像素的第i个维度，N表示图像中的像素个数。

彩色元器件图像在R、G、B三个维度下的前三阶颜色矩可组成一个9维直方图向量。因此图像的颜色特征可由以下矩阵表示。

F_color＝[μ_R,σ_R,s_R,μ_G,σ_G,s_G,μ_B,σ_B,s_B]

通过分析原始样本图像和原始待测图像中对应的电子元器件的颜色矩差异即可检测出其缺陷，有效定位待测电路板上电子元器件的缺陷，提高检测准确性和检测精度。

本文提出在降采样下再进行电路板上的电子元器件的定位处理，大大缩短定位所需时间，克服了高分辨率图像数据处理复杂，消耗内存等问题，为生产线上电路板的在线检测提供一种高效的定位方法。

本发明采用的特征点提取方式是基于图像整体，而不是图像中某区域的匹配，所以对于元器件缺失、错件的区域，依然能够把坐标定位出来。对于处理实际电路板生产过程中出现电子元件的缺失、错件、偏移、极性错误的问题具有重大意义。

以上对本发明的较佳实施方式进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可作出种种的等同变型或替换，这些等同的变型或替换均包含在本申请权利要求所限定的范围内。

Claims (4)

1.基于SURF特征匹配的电子元器件定位和检测方法，其特征在于：所述方法包括：

采集样本电路板的图像和待测电路板的图像，得到原始样本图像和原始待测图像；

对原始样本图像建立坐标系，得到第一坐标系，标出原始样本图像中的电子元器件的坐标；

对原始待测图像建立坐标系，得到第二坐标系；

分别对原始样本图像和原始待测图像进行均值降采样，得到参考样本图像和参考待测图像；

分别对所述参考样本图像和参考待测图像进行SURF特征点提取，通过描述符的欧氏距离作为相似性度量测度进行特征点匹配得到匹配点，根据所述匹配点计算出所述参考样本图像和参考待测图像之间的几何变换关系，定位出所述原始待测图像中的电子元器件的坐标；

对比所述原始样本图像和原始待测图像中的电子元器件的颜色矩判断原始待测图像中的电子元器件是否存在缺陷；

所述根据所述匹配点计算出所述参考样本图像和参考待测图像之间的几何变换关系的过程包括：

取参考待测图像的第二坐标系为参考坐标系，所述参考样本图像的第一坐标系为待变换坐标系，所述待测电路板和样本电路板没有发生缩放形变，只发生旋转和平移；

设参考样本图像旋转θ度、x方向上平移Δx、在y方向上平移Δy后的位置与参考待测图像重合，两张图像之间的变换设为：

x′＝xcosθ+ysinθ+Δx

y′＝ycosθ-xsinθ+Δy

其中(x，y)是参考样本图像上的点坐标，(x’，y’)是参考待测图像上与所述参考样本图像上的点坐标(x，y)相匹配的点坐标；在SURF特征点匹配后有n对匹配点的坐标，且所述n对匹配点的坐标都满足同一个坐标变换关系式，对于水平方向坐标：

同理可得垂直方向坐标满足下列关系：

把上述式(1)、式(2)写成矩阵的形式：

对矩阵求伪逆解出方程，得到旋转度θ、x方向上的平移量Δx、在y方向上的平移量Δy，进而得到代表所述参考样本图像和参考待测图像之间几何变换关系的仿射变换函数f(x，y)；

定位出所述原始待测图像中的电子元器件的坐标的过程包括：

对所述原始样本图像的像素点的位置进行所述仿射变换函数f(x，y)的变化，使得所述第一坐标系转换为所述第二坐标系，所述原始样本图像的像素点的坐标转变为所述第二坐标系的坐标，根据所述原始样本图像上标出的电子元器件的坐标，定位出所述原始待测图像中的电子元器件的坐标；

所述原始样本图像中的所有像素点经过所述仿射变换函数f(x，y)中的旋转和平移后得到的图像与所述原始待测图像重合。

2.根据权利要求1所述的基于SURF特征匹配的电子元器件定位和检测方法，其特征在于，所述进行SURF特征点提取的过程包括：

生成给定图像的积分图像；

构建Hessian矩阵H(x，σ)，根据Hessian矩阵构建尺度空间，利用所述积分图像得到三维尺度空间响应图，采用极大值抑制来寻找候选特征点，利用三维二次拟合函数对特征点进行临近像素插值，得到特征点的位置；

在特征点区域内统计其haar小波特征，确定特征点的主方向，生成给定图像的描述符。

3.根据权利要求1所述的基于SURF特征匹配的电子元器件定位和检测方法，其特征在于，所述通过描述符的欧氏距离作为相似性度量测度进行特征点匹配得到匹配点的过程包括：

设为参考样本图像的特征点的特征向量，为参考样本图像的特征点的特征向量，其中对应的特征点(x₁，y₁)、(x₂，y₂)为相互匹配的特征点对；

比较特征点最近邻与次近邻的欧式距离，若距离比率小于预设的第一阈值，则对应的特征点(x₁，y₁)、(x₂，y₂)为匹配点。

4.根据权利要求1所述的基于SURF特征匹配的电子元器件定位和检测方法，其特征在于，所述对比所述原始样本图像和原始待测图像中的电子元器件的颜色矩判断原始待测图像中的电子元器件是否存在缺陷的过程包括：

提取出原始样本图像中的电子元器件和已定位出的原始待测图像中的电子元器件的颜色矩，通过加权的欧拉距离来计算原始待测图像中的电子元器件和原始样本图像的电子元器件的前三阶颜色矩的颜色相似度，若颜色相似度超过颜色阈值，则判断所述原始待测图像中的电子元器件没有缺陷。

Images