CN115861259A - 一种基于模板匹配的引线框架表面缺陷检测方法及装置 - Google Patents

Abstract

本发明提供一种基于模板匹配的引线框架表面缺陷检测方法及装置，所述方法包括：建立以亮度划分等级的模板库；获取引线框架上下表面图片，通过模板匹配进行检测区域定位；将模板与ROI区域进行动态差分，采用改进后的孪生神经网络模型对图片相似度进行比较，进行缺陷检测；根据缺陷检测的结果进行产品判定。本发明方法实现简单、误检率低、检测精度高，可实现多种引线框架型号的缺陷检测。

Description

一种基于模板匹配的引线框架表面缺陷检测方法及装置

技术领域

本发明涉及引线框架缺陷检测技术领域，具体地，涉及一种基于模板匹配的引线框架表面缺陷检测方法及装置。

背景技术

在进行半导体缺陷检测时，我们通常需要提前进行定位芯片区域并裁剪以便于后续检测流程。模板匹配是机器视觉领域常用的定位方法，主要用于定位ROI区域。很显然，半导体缺陷检测中芯片区域即为ROI区域。

由于图片采集环境的影响，所获得的图像往往存在噪声、亮度不均匀等缺点，不能保证人工选取的模板质量，给后续的图像定位和缺陷检测带来困扰。因此，从半导体制造行业的实际需求及引线框架的结构特征出发，提出一种基于模板匹配的引线框架表面缺陷检测方法，在实现缺陷的精准检测与判断的同时也满足了实际生产需求。

发明内容

针对现有技术中的缺陷，本发明的目的在于提供一种实现简单、误检率低、检测精度高的基于模板匹配的引线框架表面缺陷检测方法及装置。

为解决上述问题，本发明的技术方案为：

一种基于模板匹配的引线框架表面缺陷检测方法，包括以下步骤：

建立以亮度划分等级的模板库；

获取引线框架上下表面图片，通过模板匹配进行检测区域定位；

将模板与ROI区域进行动态差分，采用改进后的孪生神经网络模型对图片相似度进行比较，进行缺陷检测；

根据缺陷检测的结果进行产品判定。

优选地，所述建立以亮度划分等级的模板库具体包括：首先获取一张缺陷较少的产品上下表面图片，从图片中手动截取与ROI区域对应的模板，通过模板匹配获取所有ROI区域，并根据亮度划分为亮、正常、暗三个等级，对每一个亮度级，将所有该亮度级的ROI区域进行数值叠加、取平均操作，获取该亮度级下的无缺陷模板图片并存入模板数据库中。

优选地，所述获取引线框架上下表面图片，通过模板匹配进行检测区域定位的步骤具体包括：获取待检测的引线框架上下表面图片，从所建立的模板库中随机挑选某一亮度级下的对应模板，通过模板匹配获取所有ROI区域。

优选地，所述将模板与ROI区域进行动态差分，采用改进后的孪生神经网络模型对图片相似度进行比较，进行缺陷检测的步骤具体包括：对每一张ROI区域图片，与模板库中不同亮度等级的模板进行图片相似度判定，选取相似度得分最高模板，将最匹配的模板与ROI区域亚像素对齐后进行动态差分，差异过大的部分判定为缺陷区域并在原图标记。

优选地，所述将模板与ROI区域进行动态差分，采用改进后的孪生神经网络模型对图片相似度进行比较，进行缺陷检测的步骤中，所述改进后的孪生神经网络模型包括两条分支，两条分支共享参数结构，每条分支包含4个卷积段、SENet模块、全连接层，在两条分支之后共用一个全连接层。

优选地，所述4个卷积段的每个卷积段包含2个卷积层，1个最大池化层，卷积层的通道数均为64的倍数，卷积步长均为1；所述每个卷积段的卷积核尺寸分别为10*10，7*7，5*5，3*3；最大池化层的池化窗口为2*2。

优选地，所述SENet模块包括Squeeze部分和Excitation部分，Squeeze部分是把H*W*C压缩为1*1*C，Excitation部分在得到Squeeze部分的1*1*C的表示后，加入一个全连接层，对每个通道的重要性进行预测，得到不同通道的重要性大小后再作用到之前的featuremap的对应通道上，再进行后续操作。

优选地，所述改进后的孪生神经网络模型经过SENet模块后的特征图展开的一维特征向量经过全连接层后压缩为长度为4096的一维特征向量，并计算与另一个分支的L1距离，共同全连接层则是将L1距离向量压缩为一个值，并利用sigmoid函数转化为相似程度得分。

优选地，所述改进后的孪生神经网络模型的学习训练过程为：

数据集制作与划分：收集N组图片和对应的N个标签成为数据集，按照7:3划分为训练集与测试集；

建立孪生神经网络模型：所述孪生神经网络模型包含两条分支，两条分支共享参数结构，每条分支包含4个卷积段、SENet模块、全连接层，在两条分支之后共用一个全连接层；

训练：将训练集图片通过反向传播训练，使分类器能够通过获得一个合适的权重，能够在运算后输出的两张图片相似度得分和标签尽可能相同；

测试：输入测试集一组图片，经过改进的孪生神经网络模型，能够在运算后输出两张图片相似度得分。

进一步地，本发明还提供一种基于模板匹配的引线框架表面缺陷检测装置，其特征在于，所述装置包括处理器以及用于存储所述处理器的可执行指令的存储器，所述处理器配置为经由执行所述可执行指令来执行如上所述的基于模板匹配的引线框架表面缺陷检测方法。

与现有技术相比，本发明的基于模板匹配的引线框架表面缺陷检测方法具有实现简单、误检率低、检测精度高、可实现多种引线框架型号的缺陷检测，与其他亮度不均匀算法相比，本发明的引线框架表面缺陷检测方法对不同产品具有鲁棒性，可满足实际生产检测需求，具有在该行业推广应用价值。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明实施例提供的基于模板匹配的引线框架表面缺陷检测方法流程框图；

图2为本发明实施例提供的基于模板匹配的引线框架表面缺陷检测方法详细流程图；

图3为本发明实施例提供的改进的孪生神经网络模型图；

图4为本发明实施例提供的待检测的引线框架上下表面图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

具体地，本发明提供一种基于模板匹配的引线框架表面缺陷检测方法，如图1和图2所示，所述方法包括以下步骤：

S1：建立以亮度划分等级的模板库；

具体地，模板库建立：首先获取一张产品上下表面图片，从图片中手动截取与感兴趣区域(ROI区域)对应的模板，通过模板匹配获取所有ROI区域，并根据亮度划分为亮、正常、暗三个等级，对每一个亮度级，将所有该亮度级的ROI区域进行数值叠加、取平均操作，获取该亮度级下的无缺陷模板图片并存入模板数据库中。

S2：获取引线框架上下表面图片，通过模板匹配进行检测区域定位；

检测区域定位：在实际生产流程中，获取待检测的引线框架上下表面图片如图4所示，从所建立的模板库中随机挑选某一亮度级下的对应模板，通过模板匹配获取所有ROI区域。

模板匹配是数字图像处理的重要算法之一。把不同传感器或同一传感器在不同时间、不同成像条件下对同一景物获取的两幅或多幅图像在空间上对准，或根据已知模式到另一幅图中寻找相应模式的处理方法叫做模板匹配。简单而言，模板就是一幅已知的小图像，模板匹配就是在一幅大图像中搜寻目标，已知该图中有要找的目标，且该目标同模板有相同的尺寸、方向和图像，通过一定的算法可以在图中找到目标，确定其坐标位置。通过模板匹配操作，可以用模板从图片中选取待检测区域。

S3：将模板与ROI区域进行动态差分，采用改进后的孪生神经网络模型对图片相似度进行比较，进行缺陷检测；

具体地，对每一张ROI区域图片，与模板库中不同亮度等级的模板进行图片相似度判定，选取相似度得分最高模板，将最匹配的模板与ROI区域亚像素对齐后进行动态差分，差异过大的部分判定为缺陷区域并在原图标记。

动态差分就是把两幅图像的对应像素值相减，以削弱图像的相似部分，突出显示图像的变化部分。实际检测时需要将模板与ROI区域动态差分，此时需要对图像相似度比较以选择最相似的模板，具体采用改进后的孪生神经网络模型对图片相似度进行比较，以此选择该型号模板库中与ROI区域相似度得分最高的模板进行差分。

具体的孪生神经网络模型如图3所示，本实施例中所述的改进的孪生神经网络的改进之处在于：将图片转换为YCbCr格式，并在网络中加入通道注意力模块。YCbCr是色彩空间的一种，Y为颜色的亮度成分，而Cb和Cr则为蓝色和红色的浓度偏移量成份。

在本实施例中，通道注意力模块使用SENet(Squeeze-and-Excitation Networks，压缩和激励网络)模块，主要由两部分组成：

1.Squeeze部分：即为压缩部分，原始feature map的维度为H*W*C，其中H是高度(Height)，W是宽度(width)，C是通道数(channel)。Squeeze部分就是把H*W*C压缩为1*1*C，相当于把H*W压缩成一维了，H*W压缩成一维后，相当于这一维参数获得了之前H*W全局的视野，感受区域更广。

2.Excitation部分：得到Squeeze部分的1*1*C的表示后，加入一个全连接层(Fully Connected)，对每个通道的重要性进行预测，得到不同通道的重要性大小后再作用(激励)到之前的feature map的对应通道上，再进行后续操作。

相似度对比主要对象是以亮度进行等级划分的模板，Y通道分量又代表着图像亮度。通过通道注意力模块使网络更加关注图像亮度的相似度，所述通道注意力模块能够通过另一层新的权重，将图片数据中关键的特征标识出来，通过学习训练，让深度神经网络学到每一张新图片中需要关注的区域，也就形成了注意力。

具体的网络模型学习训练流程如下：

(1)数据集制作与划分：

收集模板库建立阶段获取的亮、正常、暗所有ROI区域图像，每次从中随机选取两张图片组成一组图片，两张图片亮度等级相同则标签为1，不同则为0。收集N组图片和对应的N个标签成为数据集，并按照7:3划分为训练集与测试集。

(2)建立孪生神经网络模型：

如图3所示，所述孪生神经网络模型包含两条分支，两条分支共享参数结构，每条分支包含4个卷积段、SENet模块、全连接层，在两条分支之后共用一个全连接层。

每个卷积段包含2个卷积层，1个最大池化层，卷积层的通道数均为64的倍数，卷积步长均为1；所述每个卷积段的卷积核尺寸分别为10*10，7*7，5*5，3*3；最大池化层的池化窗口为2*2。

经过SENet模块后的特征图展开的一维特征向量经过全连接层后压缩为长度为4096的一维特征向量，并计算与另一个分支的L1距离；共同全连接层则是将L1距离向量压缩为一个值，并利用sigmoid函数转化为相似程度得分。

所述3个全连接层采用sigmoid激活函数，所述卷积层均采用ReLU激活函数。

(3)训练：

将训练集图片通过反向传播训练，使分类器能够通过获得一个合适的权重，能够在运算后输出的两张图片相似度得分和标签尽可能相同。

(4)测试：

输入测试集一组图片，经过改进的孪生神经网络模型，能够在运算后输出两张图片相似度得分。

S4：根据缺陷检测的结果进行产品判定。

具体地，根据实际生产需求，如缺陷数量，缺陷大小，缺陷严重程度等判定该产品为合格还是不合格。

综上所述，本发明的基于模板匹配的引线框架表面缺陷检测方法具有实现简单、误检率低、检测精度高、可实现多种引线框架型号的缺陷检测，与其他亮度不均匀算法相比，本发明的引线框架表面缺陷检测方法对不同产品具有鲁棒性。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种基于模板匹配的引线框架表面缺陷检测方法，其特征在于，所述方法包括以下步骤：

建立以亮度划分等级的模板库；

获取引线框架上下表面图片，通过模板匹配进行检测区域定位；

将模板与ROI区域进行动态差分，采用改进后的孪生神经网络模型对图片相似度进行比较，进行缺陷检测；

根据缺陷检测的结果进行产品判定。

2.根据权利要求1所述的基于模板匹配的引线框架表面缺陷检测方法，其特征在于，所述建立以亮度划分等级的模板库具体包括：首先获取一张缺陷较少的产品上下表面图片，从图片中手动截取与ROI区域对应的模板，通过模板匹配获取所有ROI区域，并根据亮度划分为亮、正常、暗三个等级，对每一个亮度级，将所有该亮度级的ROI区域进行数值叠加、取平均操作，获取该亮度级下的无缺陷模板图片并存入模板数据库中。

3.根据权利要求2所述的基于模板匹配的引线框架表面缺陷检测方法，其特征在于，所述获取引线框架上下表面图片，通过模板匹配进行检测区域定位的步骤具体包括：获取待检测的引线框架上下表面图片，从所建立的模板库中随机挑选某一亮度级下的对应模板，通过模板匹配获取所有ROI区域。

4.根据权利要求1所述的基于模板匹配的引线框架表面缺陷检测方法，其特征在于，所述将模板与ROI区域进行动态差分，采用改进后的孪生神经网络模型对图片相似度进行比较，进行缺陷检测的步骤具体包括：对每一张ROI区域图片，与模板库中不同亮度等级的模板进行图片相似度判定，选取相似度得分最高模板，将最匹配的模板与ROI区域亚像素对齐后进行动态差分，差异过大的部分判定为缺陷区域并在原图标记。

5.根据权利要求1所述的基于模板匹配的引线框架表面缺陷检测方法，其特征在于，所述将模板与ROI区域进行动态差分，采用改进后的孪生神经网络模型对图片相似度进行比较，进行缺陷检测的步骤中，所述改进后的孪生神经网络模型包括两条分支，两条分支共享参数结构，每条分支包含4个卷积段、SENet模块、全连接层，在两条分支之后共用一个全连接层。

6.根据权利要求5所述的基于模板匹配的引线框架表面缺陷检测方法，其特征在于，所述4个卷积段的每个卷积段包含2个卷积层，1个最大池化层，卷积层的通道数均为64的倍数，卷积步长均为1；所述每个卷积段的卷积核尺寸分别为10*10，7*7，5*5，3*3；最大池化层的池化窗口为2*2。

7.根据权利要求5所述的基于模板匹配的引线框架表面缺陷检测方法，其特征在于，所述SENet模块包括Squeeze部分和Excitation部分，Squeeze部分是把H*W*C压缩为1*1*C，Excitation部分在得到Squeeze部分的1*1*C的表示后，加入一个全连接层，对每个通道的重要性进行预测，得到不同通道的重要性大小后再作用到之前的feature map的对应通道上，再进行后续操作。

8.根据权利要求5所述的基于模板匹配的引线框架表面缺陷检测方法，其特征在于，所述改进后的孪生神经网络模型经过SENet模块后的特征图展开的一维特征向量经过全连接层后压缩为长度为4096的一维特征向量，并计算与另一个分支的L1距离，共同全连接层则是将L1距离向量压缩为一个值，并利用sigmoid函数转化为相似程度得分。

9.根据权利要求1所述的基于模板匹配的引线框架表面缺陷检测方法，其特征在于，所述改进后的孪生神经网络模型的学习训练过程为：

数据集制作与划分：收集N组图片和对应的N个标签成为数据集，按照7:3划分为训练集与测试集；

建立孪生神经网络模型：所述孪生神经网络模型包含两条分支，两条分支共享参数结构，每条分支包含4个卷积段、SENet模块、全连接层，在两条分支之后共用一个全连接层；

训练：将训练集图片通过反向传播训练，使分类器能够通过获得一个合适的权重，能够在运算后输出的两张图片相似度得分和标签尽可能相同；

测试：输入测试集一组图片，经过改进的孪生神经网络模型，能够在运算后输出两张图片相似度得分。

10.一种基于模板匹配的引线框架表面缺陷检测装置，其特征在于，所述装置包括处理器以及用于存储所述处理器的可执行指令的存储器，所述处理器配置为经由执行所述可执行指令来执行如权利要求1至9中任意一项所述的基于模板匹配的引线框架表面缺陷检测方法。

Images