CN110929795B - 高速焊线机焊点快速识别与定位方法 - Google Patents

Abstract

本发明公开了高速焊线机焊点快速识别与定位方法，首先通过高速焊线机由光学镜头、CCD相机以及光源（同轴光以及环形光照明）组成的机器视觉系统获取工作台上LED支架上的微芯片图像，并通过USB连接工业PC进行简单的图像预处理。然后将图像送入提前训练好的基于CNN的HD‑FSD模型中提取焊点特征，并进行焊点识别与定位，得到各个焊点的中心坐标。最后配合机器运动控制系统完成焊线工作。与传统图像处理方法相比，该方法是有效的，可以识别不同支架、不同场景、不同曝光程度以及不同清晰度等情况下的微芯片图像焊点，识别速度达到了每张约0.005s,平均精确度达到了99.67%，解决传统方法识别微芯片焊点识别精度不高以及识别速度不快的问题，且该方法对灯光模式、质量以及支架芯片形状无一致性要求。

Description

高速焊线机焊点快速识别与定位方法

技术领域

本发明涉及半导体封装设备、深度学习及图像处理领域，具体是一种高速焊线机焊点快速识别与定位方法。

背景技术

近年来，随着半导体产业的不断壮大，其封装设备的需求量也在不断增加，高速焊线机作为半导体封装核心设备之一，主要由机械模块、电路模块、运动控制模块及图像处理模块组成，其中，微芯片的识别和定位是图像处理模块的核心，同时也是整个高速焊线线焊线工艺中极为重要的一环，微芯片焊点的快速识别和精确定位是高速焊线机生产效率和焊线质量的重要保障。但由于微芯片图像对比度较低，焊点体积小，且受到生产环境的干扰，势必会加大微芯片焊点的识别难度，影响机器生产效率。

目前高速焊线机主要采用传统图像处理方法来识别和定位微芯片焊点，如：对预处理的微芯片图像使用自适应阈值算法将其二值化后，利用邻域检测对图像进行加权，最后通过质心定位焊点；或采用模板匹配，即每个芯片图像设定n+1个模板来进行处理，n为焊点数量；或采用图案匹配，即获取物体图像的边界特征点，拟合出一条不依赖像素灰度的边界形状几何曲线；文献“丁婷婷.基于机器视觉的IC芯片焊点定位检测与误差分析[D].西安工业大学，2015”、“施辉，陈先桥，杨英.改进YOLO v3的安全帽佩戴检测方法[J/OL].计算机工程与应用：1-9[2019-05-16]”及其“尧三品.图像识别技术研究及在LED焊线机上的应用[D].广东工业大学，2011.”基于机器视觉上对几种传统模板匹配进行深入研究，发现其中存在两个问题：一是识别速度慢；二是无法适应多样性环境(芯片形状、灯光模式和芯片图像质量)生产。随着科学技术的快速发展，CPU计算性能不断提高，将深度卷积神经网络实时应用在工业上成为可能，深度卷积神经网络可自动对需要识别的目标图片进行学习，完成其特征提取，整个过程无需人工干预。

目前主要应用于目标对象识别与检测的深度学习卷积神经网络算法主要分为两大类：一类是基于候选框的目标检测算法，如R-CNN系列，该算法在预测阶段首先选出包含目标概率较大的区域，之后对所选区域进行预测，这类算法检测精度高，但识别速度慢；而另一类是基于回归的目标检测算法，如YOLO系列，该算法将检测问题看成回归问题，避免上千个候选框的复杂计算量，一步完成预测，这类目标检测算法速度比较快，可满足实时性要求。

发明内容

针对上述现有技术的分析，本发明的目的是提供一种高速机焊点快速识别与定位方法，该方法不仅能提高焊点的定位精度及识别速度，还对微芯片的形状、相机的灯光方式及生产环境无一致性要求。

实现本发明目的的技术方案是：基于回归的目标检测算法(YOLO系列)，构建高速焊线机LED微芯片图像焊点识别和定位模型，使用高速焊线机正常工作下捕捉的图片，对其做相应的处理，制作微芯片图像数据集，同时在训练阶段，通过模拟高速焊线机图像处理实验台拍摄不同分辨率的图片加入训练，提高模型的适应性。

本发明高速焊线机焊点快速识别与定位方法，包括如下步骤：

(1)获取各类焊点图像数据：通过高速焊线机捕捉保存及使用模拟实验台拍摄获取焊点图像数据；

(2)焊点图像数据预处理：将由高速焊线机上采集的图片统一转化成同一图片格式，并对其进行筛选、编号；

(3)制作目标图像数据集：使用LabelImg工具对预处理好的图片进行手工标注，对焊点目标进行自定义画框，并添加分类标签，标注完成后按VOC格式进行保存，形成.xml文件，再将图片数据和标注文件按VOC2007数据结构进行制作和存放，采用数据增强技术对目标数据集进行数量扩增，形成最后的训练集和验证集；

(4)构建FSD模型：在基于YOLO V3基础网络上进行构建FSD模型，整个FSD模型分为特征提取网络、特征交互网络以及目标检测与识别三部分；首先特征提取网络是去掉残差结构，引入深度分离卷积思想，将卷积层Con2D(3x3Conv+BN+Relu)当作两个模块来进行计算，分别是(3x3深度分离卷积+BN+ReLu)和(1x1卷积+BN+Relu)，利用卷积计算公式：

D_K×D_K×M×D_F×D_F+M×N×D_F×D_F

通过比较计算量减少：

每个卷积层后面跟着一个BN层和一个Re1u激活函数，其中：

BN层的计算公式为：

其中x_out为BN层计算结果，γ为缩放因子，μ为均值，σ²为方差，β为偏置，x_conv为卷积计算结果：

合并卷积层和BN层：

Relu激活函数，其公式为：

f(x)＝max(0，x)；

其次是特征交互网络，将浅层特征和深层特征进行多尺度融合，更充分的表示目标特征信息，其公式为：

上式中，F₁和F₂分别为第一个单元的特征提取融合和映射操作；

和

分别表示第一个单元的特征提取融合和映射操作；n表示多尺度卷积核的数量，

和

分别表示科学系的网络权重和偏差；

表示激活函数，即等于上面的Relu激活函数，x为自变量，a＝0；

在进行目标识别与定位前，使用聚类算法确定微芯片图像训练集的先验框尺寸，针对微芯片训练集中包含N个数据样本(标注框)，N＝{(x_i，y_i，w_i，h_i)，i＝1，2，3，...，N}，其中(x_i，y_i)为标注框的中心点坐标，(w_j，h_j)是标注框的宽和高，首先进行聚类中心初始化，即给定K个聚类中心K＝{(W_j，H_j)，j＝1，2，3，...，K}，(W_j，H_j)为聚类中心的宽和高；

然后利用公式计算每个标注框与每个聚类中心的距离，根据距离将标注框归类到最近的聚类中心：

d(box，cetroid)＝1-IOU(box，cetroid)

式中，box为标注框，centroid为聚类中心，IOU为标注框与聚类中心的面积交并比：

接着所有标注框归类完成之后，重新使用公式计算6个簇的聚类中心：

两种尺度特征图输出最终将根据自己的尺寸大小来选择各自的anchor框，进行焊点位置预测，焊点坐标公式和置信度如下：

P_r(object)*IOU(b，object)＝σ(t_o)

得到预测框之后，需要进行非极大值抑制，去掉多于预测框：

Score_ij＝P(C_i|object)*Confidence_j；

(5)训练与测试FSD：将步骤(3)中的训练集输入到FSD模型中进行训练，采用ubuntu系统、CUDA、CUDNN、Opencv、Darknet框架以及python环境训练上述模型，首先读取数据配置文件，接着读取网络配置文件，设置权重参数，启动训练，终端将自动加载网络模型和数据，训练网络，最后训练结束存储中间权重和最终的权重参数，训练过程初中的损失函数设计为：

式中i为一个边界框的索引；λ_obj当cell有物体存在是为1，否则为0；truth_w、truth_h为预测框宽、高真实值；truth_conf、predict_conf为置信度的真实值、预测值；接着进行模型测试与评估，使用以下指标来进行评估：

上式中：TP(True Positive)为被模型预测为正值的正样本，FP(False Positive)为被模型预测为负值的正样本，FN(False Negative)为被模型预测为负值的负样本；

(6)HD-FSD模型：使用已经训练好的模型识别和定位微芯片焊点图片，得到的HD-FSD模型，将该模型进行测试，使用高速焊线机机器视觉系统捕捉第一帧焊点图像，放入该模型中进行识别与定位，得到各焊点的中心坐标，最后配合机器运动控制系统完成焊线。

步骤(1)所述焊点图像数据包括在不同支架、不同分辨率、不同曝光程度以及不同灯光下获取的图像数据。

步骤(3)所述数据增强技术为水平翻转、垂直翻转、旋转和模糊。

步骤(4)所述特征交互网络的设计如下表所示，第29层输出的第一个尺度特征图为13x13x255，首先经过3X3和1x1卷积后进行上采样(P＝2)输出大小为26x26x256特征图，然后经过3X3和1x1卷积后进行第二个上采样(p＝2)输出52x52x128大小特征图后，并将此处的特征图与第8层的特征图进行拼接融合形成52x52x384特征图，最后输出经过几个卷积层之后输出第二个尺度的特征图，大小为52x52x255：

步骤(4)所述非极大值抑制的步骤如下：

(1)设定一个Score的阈值，低于该阈值候选对象的将Score设为0；

(2)遍历每一个对象类别；

(3)遍历该对象所有的得分；

(4)找到得分最大的对象及其边界框，添加至输出列表；

(5)计算Sorce不为0的候选对象与输出对象的IOU；

(6)根据预先设定的IOU阈值，在将高于该阈值的候选对象排除掉；

(7)如果所有的边界框在输出列表，或是为0，则该对象类别的NMS完成，返回(3)处理下一种对象，直至所有对象结束。

本发明的积极效果是：与传统图像处理方法相比，该方法是有效的，可以识别不同支架、不同场景、不同曝光程度以及不同清晰度等情况下的微芯片图像焊点，识别速度达到了每张约0.005s，平均精确度达到了99.67％，解决传统方法识别微芯片焊点识别精度不高以及识别速度不快的问题，且该方法对灯光模式、质量以及支架芯片形状无一致性要求。

附图说明

图1为本发明的高速焊线机整体系统结构示意图；

图2为本发明实施例的具体流程图；

图3为本发明实施例的聚类算法流程图；

图4为本发明实施例中FSD模型结构示意图。

具体实施方式

下面结合附图和实施例对本发明的内容作进一步的阐述。

参照图2，高速焊线机微芯片识别与定位方法，具体流程包括(1)各类焊点图像获取；(2)焊点图像数据处理；(3)目标数据集制作；(4)构建FSD模型；(5)训练和测试FSD；(5)HD-FSD模型。其中：

(1)各类焊点图像数据获取：数据通过高速焊线机在实际生产中捕捉保存以及使用模拟实验台拍摄两种方式获得的，其中包括不同支架、不同分辨率、不同曝光程度以及不同灯光等等情况下所获得的图像；

(2)焊点图像数据预处理：高速焊线机上采集下来的图片为.bmp格式统一转化为.jpg格式，统一两种方式获得的图片尺寸，然后进行筛选，将没有用的数据删除后进行图片编号，按照000001格式进行图片重命名；

(3)目标图像数据集制作：使用LabelImg工具对处理好的图片进行手工标注，标注时对焊点目标进行自定义画框，并添加分类标签(handian)，标注完成之后按VOC格式进行保存，形成.xml文件，最后将图片数据和标注文件按照voc2007数据结构进行制作和存放。由于拍摄数据的特殊性(所有数据垂直拍摄)，所有焊点图像都呈现固定样式，为了增加数据的多样性，采用数据增强技术对目标数据集进行数量扩增，所述的数据增强技术为水平翻转、垂直翻转、旋转和模糊，形成最后的训练集和验证集；

(4)构建FSD模型：在基于yolo v3基础网络上进行构建FSD模型，整个FSD模型分为三个部分，分别是特征提取网络，特征交互网络以及目标检测与识别。首先特征提取网络去掉残差结构，引入深度分离卷积思想，将原来的卷积层Con2D(3x3Conv+BN+Relu)当作两个模块来进行计算，分别是(3x3深度分离卷积+BN+ReLu)和(1x1卷积+BN+Relu)，传统卷积计算公式为：

D_K×D_K×M×N×D_F×D_F

D_K×D_K×M×D_F×D_F+M×N×D_F×D_F

通过比较计算量减少：

整个特征提取网络没有全连接层，都是使用1*1卷积层来代替，此举好处是可以不需要考虑输入的通道数，输出固定通道数的特征矩阵，而全连接输入输出都是固定的，相比全连接层，1*1的卷积层更加灵活。

每个卷积层后面跟着一个BN层和一个Relu激活函数。

BN层的计算公式为：

其中x_out为BN层计算结果，γ为缩放因子，μ为均值，σ²为方差，β为偏置，x_conv为卷积计算结果：

合并卷积层和BN层：

BN层的加入可以降低网络对一些超参数敏感问题，使整个网络在训练过程中，训练速度和学习收敛速度加快的同时，避免网络出现过拟合现象。

Relu函数，其公式为：

f(x)＝max(0，x)

在卷积层后面加入Relu激活函数减少网络参数，算术运算数目，加快训练。

其次是特征交互网络，特征交互的目的是将浅层特征和深层特征进行多尺度融合，更充分的表示目标特征信息，其公式为：

上式中，F₁和F₂分别为第一个单元的特征提取融合和映射操作；

和

分别表示第一个单元的特征提取融合和映射操作；n表示多尺度卷积核的数量，

和

分别表示科学系的网络权重和偏差。

表示激活函数，即等于上面的Relu激活函数，x为自变量，a＝0。

具体交互网络设计如下表所示，第29层输出的第一个尺度特征图为13x13x255，首先经过3X3和1x1卷积后进行上采样(P＝2)输出大小为26x26x256特征图，然后经过3X3和1x1卷积后进行第二个上采样(p＝2)输出52x52x128大小特征图后，并将此处的特征图与第8层的特征图进行拼接融合形成52x52x384特征图，最后输出经过几个卷积层之后输出第二个尺度的特征图，大小为52x52x255：

最后进行目标识别与定位之前，需使用聚类算法确定微芯片图像训练集的先验框尺寸。

参照图3，首先针对微芯片训练集中包含N个数据样本(标注框)，N＝{(x_i，y_i，w_i，h_i)，i＝1，2，3，...，N}，其中(x_i，y_i)为标注框的中心点坐标，(w_j，h_j)是标注框的宽和高，首先进行聚类中心初始化，即给定K个聚类中心K＝{(W_j，H_j)，j＝1，2，3，...，K}，本发明选择K＝6，(W_j，H_j)为聚类中心的宽和高。

然后使用公式(1)来计算每个标注框与每个聚类中心的距离，根据距离将标注框归类到最近的聚类中心。

d(box，cetroid)＝1-IOU(box，cetroid) (1)

式中box为标注框，centroid为聚类中心，IOU为标注框与聚类中心的面积交并比，计算公式见(2)。

接着所有标注框归类完成之后，重新使用公式(3)和(4)来计算6个簇的聚类中心。

两种尺度特征图输出最终将根据自己的尺寸大小来选择各自的anchor框，进行焊点位置预测，焊点坐标公式和置信度如下：

P_r(object)*IOU(b，object)＝σ(t₀)

得到预测框之后，需要进行非极大值抑制，去掉多于预测框。具体步骤：

Score_ij＝P(C_i|object)*Confidence_j

1)设定一个Score的阈值，低于该阈值候选对象的将Score设为0.

插入：一个网格：1个对象*3个边界框的置信度＝3个得分(候选对象)

总的网格数：13x13+52x52＝2873

总的得分：2873x3＝8619

2)遍历每一个对象类别；

3)遍历该对象所有的得分；

4)找到得分最大的对象及其边界框，添加至输出列表；

5)计算Sorce不为0的候选对象与输出对象的IOU；

6)根据预先设定的IOU阈值，在将高于该阈值的候选对象排除掉；

7)如果所有的边界框在输出列表，或是为0，则该对象类别的NMS完成，返回3)处理下一种对象，直至所有对象结束。

(5)训练与测试FSD：将步骤(3)中的训练集输入到模型中进行训练，采用ubuntu系统、CUDA、CUDNN、Opencv、Darknet框架以及python环境下来训练上述模型，首先读取数据配置文件，注意类别数；接着读取网络配置文件，设置权重参数：batch为64，momentum为0.9.decay为0.0005，learning_rate为0.001，启动训练，终端将自动加载网络模型和数据，训练网络，最后训练结束存储中间权重和最终的权重参数。训练过程初中的损失函数设计为：

式中i为一个边界框的索引；λ_obj当cell有物体存在是为1，否则为0；truth_w、truth_h为预测框宽、高真实值；truth_conf、predict_conf为置信度的真实值、预测值a

接着进行模型测试与评估，使用以下指标来进行评估：

上式中其中TP(True Positive)为被模型预测为正值的正样本，FP(FalsePositive)为被模型预测为负值的正样本，FN(False Negative)为被模型预测为负值的负样本。当然还包括单张测试速度、平均测试速度以及平均精度等结果评估。

使用已经训练好的模型来识别和定位微芯片焊点图片，定位精度为99.67％，识别速度每张图片5ms，达到了实时要求，证明模型构建成功。

(6)HD-FSD模型：经过测试、评估得到最终的HD-FSD(焊点快速识别模型)，将该模型移植到机器上进行测试，使用高速焊线机机器视觉系统捕捉第一帧焊点图像，放入该模型中进行识别与定位，得到各个焊点的中心坐标，配合机器运动控制系统完成焊线。

Claims (4)

1.高速焊线机焊点快速识别与定位方法，其特征是：包括如下步骤：

(1)获取各类焊点图像数据：通过高速焊线机捕捉保存及使用模拟实验台拍摄获取焊点图像数据；

(2)焊点图像数据预处理：将由高速焊线机上采集的图片统一转化成同一图片格式，并对其进行筛选、编号；

(3)制作目标图像数据集：使用Labellmg工具对预处理好的图片进行手工标注，对焊点目标进行自定义画框，并添加分类标签，标注完成后按VOC格式进行保存，形成.xml文件，再将图片数据和标注文件按VOC2007数据结构进行制作和存放，采用数据增强技术对目标数据集进行数量扩增，形成最后的训练集和验证集；

(4)构建FSD模型：在基于YOLO V3基础网络上进行构建FSD模型，整个FSD模型分为特征提取网络、特征交互网络以及目标检测与识别三部分；首先特征提取网络是将卷积层Con2D当作两个模块来进行计算，分别是3x3深度分离卷积+BN+ReLu和1x1卷积+BN+Relu，利用卷积计算公式：

D_K×D_K×M×D_F×D_F+M×N×D_F×D_F

通过比较计算量减少：

每个卷积层后面跟着一个BN层和一个Relu激活函数，其中：

BN层的计算公式为：

其中x_out为BN层计算结果，γ为缩放因子，μ为均值，σ²为方差，β为偏置，x_conv为卷积计算结果：

合并卷积层和BN层：

Relu激活函数，其公式为：

f(x)＝max(0，x)；

其次是特征交互网络，将浅层特征和深层特征进行多尺度融合，更充分的表示目标特征信息，其公式为：

上式中，F₁和F₂分别为第一个单元的特征提取融合和映射操作；

和

分别表示第一个单元的特征提取融合和映射操作；n表示多尺度卷积核的数量，

和

分别表示科学系的网络权重和偏差；

表示激活函数，即等于上面的Relu激活函数，x为自变量，a＝0；

在进行目标识别与定位前，使用聚类算法确定微芯片图像训练集的先验框尺寸，针对微芯片训练集中包含N个数据样本，即标注框，N＝{(x_i，y_i，w_i，h_i)，i＝1，2，3，...，N}，其中(x_i，y_i)为标注框的中心点坐标，(w_j，h_j)是标注框的宽和高，首先进行聚类中心初始化，即给定K个聚类中心K＝{(W_j，H_j)，j＝1，2，3，...，K}，(W_j，H_j)为聚类中心的宽和高；

然后利用公式计算每个标注框与每个聚类中心的距离，根据距离将标注框归类到最近的聚类中心：

d(box，cetroid)＝1-IOU(box，cetroid)

式中，box为标注框，centroid为聚类中心，IOU为标注框与聚类中心的面积交并比：

接着所有标注框归类完成之后，重新使用公式计算6个簇的聚类中心：

两种尺度特征图输出最终将根据自己的尺寸大小来选择各自的anchor框，进行焊点位置预测，焊点坐标公式和置信度如下：

得到预测框之后，需要进行非极大值抑制，去掉多余预测框：

Score_ij＝P(C_i|object)*Confidence_j；

(5)训练与测试FSD：将步骤(3)中的训练集输入到FSD模型中进行训练，采用ubuntu系统、CUDA、CUDNN、Opencv、Darknet框架以及python环境训练上述模型，首先读取数据配置文件，接着读取网络配置文件，设置权重参数，启动训练，终端将自动加载网络模型和数据，训练网络，最后训练结束存储中间权重和最终的权重参数，训练过程初中的损失函数设计为：

式中i为一个边界框的索引；λ_obj当cell有物体存在是为1，否则为0；truth_w、truth_h为预测框宽、高真实值；truth_conf、predict_conf为置信度的真实值、预测值；接着进行模型测试与评估，使用以下指标来进行评估：

上式中：TP(True Positive)为被模型预测为正值的正样本，FP(False Positive)为被模型预测为负值的正样本，FN(False Negative)为被模型预测为负值的负样本；

(6)HD-FSD模型：使用已经训练好的模型识别和定位微芯片焊点图片，得到的HD-FSD模型，将该模型进行测试，使用高速焊线机机器视觉系统捕捉第一帧焊点图像，放入该模型中进行识别与定位，得到各焊点的中心坐标，最后配合机器运动控制系统完成焊线。

2.根据权利要求1所述的高速焊线机焊点快速识别与定位方法，其特征是：步骤(1)所述焊点图像数据包括在不同支架、不同分辨率、不同曝光程度以及不同灯光下获取的图像数据。

3.根据权利要求1所述的高速焊线机焊点快速识别与定位方法，其特征是：步骤(3)所述数据增强技术为水平翻转、垂直翻转、旋转和模糊。

4.根据权利要求1所述的高速焊线机焊点快速识别与定位方法，其特征是：步骤(4)所述非极大值抑制的步骤如下：

(1)设定一个Score的阈值，低于该阈值候选对象的将Score设为0；

(2)遍历每一个对象类别；

(3)遍历该对象所有的得分；

(4)找到得分最大的对象及其边界框，添加至输出列表；

(5)计算Sorce不为0的候选对象与输出对象的IOU；

(6)根据预先设定的IOU阈值，在将高于该阈值的候选对象排除掉；

(7)如果所有的边界框在输出列表，或是为0，则该对象类别的NMS完成，返回(3)处理下一种对象，直至所有对象结束。

Images