CN111899241B - 一种定量化的炉前pcb贴片缺陷在线检测方法及系统 - Google Patents

Abstract

本发明属于炉前自动光学检测领域，并具体公开了一种定量化的炉前PCB贴片缺陷在线检测方法及系统，包括如下步骤：S1提取各类型PCB图像的全局灰度特征、局部纹理特征，并融合得到融合后特征；S2将融合后特征输入卷积神经网络初始模型中训练，获得卷积神经网络模型；S3获取待检测区域中PCB图像，分别提取各图像的全局灰度特征、局部纹理特征、芯片位姿偏差值；将全局灰度特征与局部纹理特征融合，得到融合后特征；S4将融合后特征输入卷积神经网络模型中，得到分类标签，根据分类标签和芯片位姿偏差值，判断芯片贴装是否合格。本发明不仅能检测出炉前PCB贴片缺陷的类型，而且能定量化地检测芯片位姿，从而得到定量化的偏移缺陷。

Description

一种定量化的炉前PCB贴片缺陷在线检测方法及系统

技术领域

本发明属于炉前自动光学检测领域，更具体地，涉及一种定量化的炉前PCB贴片缺陷在线检测方法及系统。

背景技术

PCB(Printed Circuit Board，印制电路板)是重要的电子部件，是电子元器件的支撑体，是电子元器件电气连接的载体。炉前自动光学检测设备是PCB表面组装过程中的重要检测设备，可以检测元件的侧立、移位、浮高、翻贴、缺件和立碑等缺陷。合理地运用炉前自动光学检测设备对降低管理成本、维修成本和产品返工成本起到了至关重要的作用。

然而，现有的炉前自动光学检测方法仅能检测出PCB贴片的缺陷，但不能将“偏移”缺陷定量化，这是阻碍将贴片机与炉前AOI组成自动反馈方法的关键问题。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种定量化的炉前PCB贴片缺陷在线检测方法及系统，其目的在于，通过获取PCB图像的全局灰度特征、局部纹理特征和芯片位姿偏差值，不仅可以检测出炉前PCB贴片缺陷的类型，而且可以定量化地检测芯片位姿，从而得到定量化的“偏移”缺陷。

为实现上述目的，按照本发明的一方面，提出了一种定量化的炉前PCB贴片缺陷在线检测方法，包括如下步骤：

S1采集各类型PCB图像，分别提取各图像的全局灰度特征；通过模板匹配方法得到模板与图像的最佳匹配位置，进而得到局部纹理特征；将全局灰度特征与局部纹理特征融合，得到融合后特征；

S2将融合后特征与PCB类型一一对应以构建数据集，将数据集输入到预构建的卷积神经网络初始模型中进行训练，以获得卷积神经网络模型；

S3获取待检测区域中各PCB的图像作为待检测图像；分别提取各待检测图像的全局灰度特征；通过模板匹配方法得到模板与待检测图像的最佳匹配位置，进而得到局部纹理特征和芯片位姿偏差值；将全局灰度特征与局部纹理特征融合，得到融合后特征；

S4将融合后特征输入到卷积神经网络模型中，得到分类标签；根据分类标签和芯片位姿偏差值，判断各PCB中芯片贴装是否合格，完成PCB贴片缺陷在线检测。

作为进一步优选的，将待检测图像转化为二值图像，以该二值图像的最大连通域面积作为全局灰度特征，该全局灰度特征用以区分芯片正面、翻面、侧立和缺件情况。

作为进一步优选的，截取最佳匹配位置处一块固定大小的图像作为局部纹理特征，该局部纹理特征用以区分芯片型号。

作为进一步优选的，获取最佳匹配位置时，采用强化边缘的模板匹配方法：

设待检测图像尺寸为W×H，模板尺寸为w×h；扩充待检测图像的边缘，上下各扩充w/2，左右各扩充h/2，扩充位置灰度值设置为0；从待检测图像(w/2,h/2)至(W+w/2,H+h/2)的矩形框内定位下一个待匹配点，在每一个待匹配点处，根据计算的匹配掩膜，计算并记录匹配值；遍历记录结果，得到最佳匹配位置。

作为进一步优选的，获取最佳匹配位置时，采用基于霍夫直线检测与聚类算法的模板匹配方法：

依次对待检测图像进行灰度变换、二值化和形态学闭；然后对待检测图像进行霍夫直线检测并计算直线角度，对得到的角度进行聚类并过滤掉无用角度；对保留的角度序列进行扩充，保证角度序列中包含真实角度；依次采用角度序列中角度值的模板进行模板匹配，得到最优匹配模板和最优匹配位置。

作为进一步优选的，进行特征融合时，先将全局灰度特征区间映射到[0,1]，然后以全局灰度特征值为灰度值，在局部纹理特征图像上绘制等大的边框，以绘制后的图像作为融合后特征。

作为进一步优选的，所述卷积神经网络初始模型包括依次设置的卷积层、最大池化层、和全连接层，其中，所述卷积层和最大池化层均为三个，并且交替设置，即每个卷积层之后对应设置有一个最大池化层，所述全连接层也为三个。

作为进一步优选的，判断各PCB中芯片贴装是否合格时，首先根据分类标签判断是否存在翻面、侧立、缺件缺陷，如果是，判定贴装不合格，否则，校验分类标签与真实标签是否一致，如果是，判定贴装芯片型号正确，否则，判定贴装不合格且为错件缺陷；然后，对于贴装芯片型号正确的图像，根据芯片位姿偏差值判定其芯片位姿是否合格，如果是，判定贴装合格，否则，判定贴装不合格；对于不合格的贴装，输出缺陷类型和芯片位姿偏差值。

按照本发明的另一方面，提出了一种定量化的炉前PCB贴片缺陷在线检测系统，包括输入模块、特征提取模块、特征融合模块、特征分类模块和结果后处理模块，其中：

所述输入模块用于提取待检测区域的PCB图像，以获取待检测图像；

所述特征提取模块用于提取待检测图像的全局灰度特征和局部纹理特征，并计算芯片位姿偏差值；

所述特征融合模块用于融合全局灰度特征与局部纹理特征，得到融合后特征；

所述特征分类模块包括卷积神经网络模型，将融合后特征输入该卷积神经网络模型得到分类标签；

所述结果后处理模块用于根据分类标签和芯片位姿偏差值，判断PCB中芯片贴装是否合格，并对于不合格的贴装，输出缺陷类型和芯片位姿偏差值。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，主要具备以下的技术优点：

1.本发明通过全局灰度特征区分芯片正面、翻面、侧立和缺件情况，通过局部纹理特征区分芯片型号，从而检测出炉前PCB贴片缺陷的类型，并且可以定量化地检测芯片位姿，从而得到定量化的“偏移”缺陷，这是其它检测方法不具备的。

2本发明提供了一种强化边缘的模板匹配方法，当检测域图像中部分丢失时，该方法也可以准确地定位最佳匹配位置。

3.本发明提供了一种基于霍夫直线检测与聚类算法的模板匹配方法，提高了模板匹配的准确率和速度：通过求取芯片旋转角度的先验知识，减少了模板匹配的数量，提高了算法速度；在进行模板匹配的相似性度量时，通过计算匹配模板与待匹配图像之间更精确的掩膜，提高了元件处于图像边缘时，模板的准确率。

附图说明

图1是本发明实施例炉前PCB贴片缺陷在线检测方法示意图；

图2是本发明实施例炉前PCB贴片缺陷的二值图像，其中，(a)～(f)分别为正确、偏移、缺件、翻面、侧立、错件情况时的二值图像；

图3是本发明实施例全局灰度特征的散点分布图；

图4是本发明实施例强化边缘的模板匹配算法流程图；

图5是本发明实施例强化边缘的模板匹配的掩膜制作过程示意图；

图6中(a)～(c)是本发明实施例强化边缘的模板匹配算法匹配结果；

图7是本发明实施例基于霍夫直线检测与聚类算法的快速模板匹配流程图；

图8中(a)～(c)是本发明实施例霍夫直线检测主要过程示意图；

图9是本发明实施例位姿偏差的概率分布直方图；

图10是本发明实施例位姿偏差的累计概率分布图；

图11是本发明实施例局部纹理特征提取过程示意图；

图12中(a)～(d)分别是本发明实施例芯片正面、翻面、侧立和缺件时提取的局部纹理特征；

图13是本发明实施例线性映射函数和分段线性映射函数图像；

图14是本发明实施例幂律函数图像；

图15中(a)～(d)分别是本发明实施例融合特征后正面、翻面、侧立和缺件时的特征图像；

图16是本发明实施例卷积神经网络结构；

图17中(a)、(b)分别是本发明实施例训练过程中模型在训练集与验证集的准确率和损失值。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明实施例提供的一种定量化的炉前PCB贴片缺陷在线检测方法，包括模型训练阶段和在线检测阶段，如图1所示，具体包括如下步骤：

模型训练阶段：

S1采集各类型PCB图像，由于芯片种类有很多，这里以电阻为例，即采集贴有各类型电阻的PCB图像，共得到11种图像，分别为8种不同阻值的电阻图像、翻面图像、侧立图像和缺件图像。

S2分别将各图像转化为二值图像，以该二值图像的最大连通域面积作为全局灰度特征，该全局灰度特征用以区分芯片正面、翻面、侧立和缺件情况；通过模板匹配方法得到模板与图像的最佳匹配位置，截取最佳匹配位置处一块固定大小的图像作为局部纹理特征，该局部纹理特征用以区分芯片型号。

具体的，如图2所示，贴装芯片分别处于正面、偏移、缺件、翻面、侧立、错件情况时，其二值图像白色区域面积有所不同；如图3所示，为全局灰度特征的散点分布，可以看出当检测图像中芯片分别处于正面、缺件、翻面和侧立时，其最大连通域面积出现分层现象，这一现象表明全局灰度特征对区分芯片正面、缺件、翻面和侧立有效。

进一步的，获取最佳匹配位置时，本发明提供了两种改进的模板匹配方法：

(1)强化边缘的模板匹配方法，其算法公式为：

M_IR(x,y)＝M_R(x,y)∩M_I(x+x′,y+y′)

其中，T(x,y)为模板，M_R(x,y)为模板的掩膜，I(x,y)为待检测图像，M_I(x,y)为待检测图像的掩膜，R(x,y)为模板与待检测图像相似度，其值越小，说明相似度越高；同理可以实现标准平方差匹配、相关模板匹配、标准相关模板匹配、去均值的相关模板匹配和去均值的标准相关匹配等。

掩膜制作过程如图5所示，其中左图表示待检测图像掩膜，红色框表示待匹配区域，中间图像表示匹配模板的掩膜，右边图像表示交运算之后生成的待检测图像的掩膜。

强化边缘的模板匹配方法具体流程如图4所示，设待检测图像尺寸为W×H，模板尺寸为w×h；扩充待检测图像的边缘，上下各扩充w/2，左右各扩充h/2，扩充位置灰度值设置为0；从待检测图像(w/2,h/2)至(W+w/2,H+h/2)的矩形框内定位下一个待匹配点，在每一个待匹配点处，根据计算的匹配掩膜，计算并记录匹配值；遍历记录结果，得到最佳匹配位置。采用强化边缘的模板匹配方法的匹配结果，如图6所示，可以看出，当检测域图像中部分前景丢失时，该方法也可以准确地定位最佳匹配位置。

(2)基于霍夫直线检测与聚类算法的模板匹配方法，其流程如图7所示：依次对待检测图像进行灰度变换、二值化和形态学闭；然后对待检测图像进行霍夫直线检测并计算直线角度，对得到的角度进行聚类并过滤掉无用角度；对保留的角度序列进行扩充，保证角度序列中包含真实角度；依次采用角度序列中角度值的模板进行模板匹配，得到最优匹配模板和最优匹配位置。

霍夫直线检测流程如图8所示，其中，(a)为原图像，(b)为经过形态学闭操作后的二值图像，(c)为霍夫直线检测结果，其右侧直线为检测出的直线；霍夫直线检测算法检测出了多条斜率相近的直线，为了保证算法速度，对直线角度进行聚类操作，聚类步骤如下：

1)设定聚类精度δ；2)将第一个角度值归为类1，此时i＝1；3)遍历下一个角度值，若该角度与已存在类的均值之差处于δ误差范围内，则归为该类，否则创建新的类i+1，此时i＝i+1；4)更新每一类的均值；5)判断是否是最后一个角度？如果是，转到步骤6)，否则，转到步骤3)；6)是否迭代够三次？如果是，转到步骤7)，否则，转到步骤2)；7)输出每一类的均值。

上述过程中，对求出的角度进行四舍五入运算，精度保留到整数部分；同时，考虑到目标旋转θ°(-90≤θ≤90)与目标旋转(θ+180)°检测出的直线角度相同，本实施例对检测出的角度序列进行了扩充。

上述基于霍夫直线检测与聚类算法的模板匹配方法的准确率如表1所示，可以看出当检测域中存在检测目标时，每种电阻的正确匹配率均高于98％，综合匹配率为99.42％，故该方法对将未能正确匹配的电阻判定为错件是有效的。

表1

完成模板匹配后，根据最优匹配模板与待检测图像的位置关系可进一步计算得到芯片位姿偏差，位姿偏差的概率分布直方图和累计概率分布图如图9和图10所示；可以看出，检测结果的角度偏差集中分布在±6°以内，其在±6°时累计概率已达到了92.2％；水平偏差和垂直偏差集中分布在±4个像素以内，其在±4个像素时累计概率已分别达到了95.8％和94.6％。样本图像大小为210×84，0805封装的尺寸为9×3.5mm，此时，其水平和垂直偏差精度约为0.17mm。

基于霍夫直线检测与聚类算法的模板匹配方法的角度偏差集中分布在±6°以内，这与聚类精度δ有关，本实施例采用的聚类精度为±3°；因此，若要提高角度的定位精度，可适当提高聚类精度δ。若定义检测的位置偏差小于±4个像素，角度偏差小于±6°时为检测正确，则本实施例的位姿定位准确率为91.09％。

普通模板匹配与基于霍夫直线检测与聚类算法的模板匹配的效率对比，如表2所示，采用两种方法分别进行了1060次试验且角度精度均设为±3°，可以看出，基于霍夫直线检测与聚类算法的快速模板匹配有效地减少了模板匹配次数，提高了模板匹配效率。

表2

进一步的，如图11所示，为局部纹理特征提取过程示意图，通过将目标区域与中心掩膜“乘”运算提取局部纹理特征，其中，中心掩膜是对匹配模板掩膜腐蚀得到的。目标芯片旋转角度不同，提取的局部纹理区域大小将不同，因此需要进一步提取统一尺寸的局部纹理特征图像；本实施例通过求取图像矩心的方式进一步定位局部纹理特征的中心，即以局部纹理特征图像的矩心为中心，对图像进行旋转变换，变换角度为模板匹配时检测出的芯片的旋转角度。如图12所示，为芯片正面、翻面、侧立和缺件时提取的局部纹理特征；图像旋转变换后，以图像矩心为中心，提取固定大小的矩形区域作为局部纹理特征，本实施例提取80×70大小的矩形区域。

S3将全局灰度特征与局部纹理特征融合，得到融合后特征；具体的，先将全局灰度特征区间映射到[0,1]，然后以全局灰度特征值为灰度值，在局部纹理特征图像上绘制等大的边框，以绘制后的图像作为融合后特征，融合特征后的特征图像如图15所示，该方法可以有效地解决两种特征数据量失衡问题。

进一步的，提取了检测域图像的全局灰度特征和局部纹理特征后，针对两种特征尺度不统一问题，对特征进行区间映射。如图13所示，为线性映射函数和分段线性映射函数图像；如图14所示，为幂律函数图像，图中的伽马映射函数为y＝cr^γ，其中，c和γ为常数，r∈[0,1]，图13和图14中横坐标表示映射前的全局灰度特征，纵坐标表示映射后的全局灰度特征。通过运用分段线性映射函数和幂律函数，可以有效地拉伸全局灰度特征的低值，压缩全局灰度特征的高值。

融合特征的样本分布如表3所示，共73197个样本，包含12种特征图像，共同组成数据集；12种特征图像分别为8种不同阻值的正面向上的且局部纹理特征提取正确的样本(标签0-7)、翻面样本(标签8)、侧立样本(标签9)、缺件样本(标签10)和电阻正面向上但局部纹理特征提取失败的样本(标签11)。

表3

S4将数据集分为训练集、验证集和测试集，将训练集输入到预构建的卷积神经网络初始模型中进行训练，以获得卷积神经网络模型。

进一步的，如图16所示，所述卷积神经网络初始模型包括三个卷积层(Convolutional Layer)和三个全连接层(Fully Connected layer)；所有卷积层均采用3×3卷积核，步长为1，不采用边缘扩充；每个卷积层之后包含一个最大池化层(Max Poolinglayer)，池化核为2×2，步长为2，不采用边缘扩充；每个最大池化层之后均采用ReLU激活函数；三个卷积层之后，将特征展开为一维向量并连接三个全连接层，前两个全连接层采用ReLU激活函数，输出层采用softmax激活函数。

本发明实施例构建的训练过程中卷积神经网络模型在训练集与验证集的准确率和损失值，如图17所示，图17中(a)的纵坐标表示准确率，(b)的纵坐标表示损失值，横坐标均为训练周期，可以看出神经网络训练良好；神经网络训练好后，采用测试集对网络进行测试，准确率为99.809％。

在线检测阶段：

S5获取待检测区域中各PCB的图像作为待检测图像；分别提取各待检测图像的全局灰度特征；通过模板匹配方法得到模板与待检测图像的最佳匹配位置，进而得到局部纹理特征和芯片位姿偏差值；将全局灰度特征与局部纹理特征融合，得到融合后特征；具体处理过程与训练过程相同，在此不再赘述。

S6将融合后特征输入到卷积神经网络模型中，输出长度为12的离散概率分布，输出结果与输入的特征图像一一对应，得到分类标签；根据分类标签和芯片位姿偏差值，判断各PCB中芯片贴装是否合格。

具体的，首先判断输出标签是否为翻面(标签8)、侧立(标签9)、缺件(标签10)和错件(标签11)，如果是，判定贴装不合格，否则，校验分类标签与真实标签是否一致，如果是，判定贴装芯片型号正确，否则，判定贴装不合格且为错件缺陷；然后，对于贴装芯片型号正确的图像，根据芯片位姿偏差值判定其芯片位姿是否合格，如果是，判定贴装合格，否则，判定贴装不合格；对于不合格的贴装，输出缺陷类型和芯片位姿偏差值。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种定量化的炉前PCB贴片缺陷在线检测方法，其特征在于，包括如下步骤：

S1采集各类型PCB图像，分别提取各图像的全局灰度特征；通过模板匹配方法得到模板与图像的最佳匹配位置，进而得到局部纹理特征；将全局灰度特征与局部纹理特征融合，得到融合后特征；

S2将融合后特征与PCB类型一一对应以构建数据集，将数据集输入到预构建的卷积神经网络初始模型中进行训练，以获得卷积神经网络模型；

S3获取待检测区域中各PCB的图像作为待检测图像；分别提取各待检测图像的全局灰度特征；通过模板匹配方法得到模板与待检测图像的最佳匹配位置，进而得到局部纹理特征和芯片位姿偏差值；将全局灰度特征与局部纹理特征融合，得到融合后特征；

S4将融合后特征输入到卷积神经网络模型中，得到分类标签；根据分类标签和芯片位姿偏差值，判断各PCB中芯片贴装是否合格，完成PCB贴片缺陷在线检测；具体的，判断各PCB中芯片贴装是否合格时，首先根据分类标签判断是否存在翻面、侧立、缺件缺陷，如果是，判定贴装不合格，否则，校验分类标签与真实标签是否一致，如果是，判定贴装芯片型号正确，否则，判定贴装不合格且为错件缺陷；然后，对于贴装芯片型号正确的图像，根据芯片位姿偏差值判定其芯片位姿是否合格，如果是，判定贴装合格，否则，判定贴装不合格；对于不合格的贴装，输出缺陷类型和芯片位姿偏差值。

2.如权利要求1所述的定量化的炉前PCB贴片缺陷在线检测方法，其特征在于，将待检测图像转化为二值图像，以该二值图像的最大连通域面积作为全局灰度特征，该全局灰度特征用以区分芯片正面、翻面、侧立和缺件情况。

3.如权利要求1所述的定量化的炉前PCB贴片缺陷在线检测方法，其特征在于，截取最佳匹配位置处一块固定大小的图像作为局部纹理特征，该局部纹理特征用以区分芯片型号。

4.如权利要求1所述的定量化的炉前PCB贴片缺陷在线检测方法，其特征在于，获取最佳匹配位置时，采用强化边缘的模板匹配方法：

设待检测图像尺寸为W×H，模板尺寸为w×h；扩充待检测图像的边缘，上下各扩充w/2，左右各扩充h/2，扩充位置灰度值设置为0；从待检测图像(w/2,h/2)至(W+w/2,H+h/2)的矩形框内定位下一个待匹配点，在每一个待匹配点处，根据计算的匹配掩膜，计算并记录匹配值；遍历记录结果，得到最佳匹配位置。

5.如权利要求1所述的定量化的炉前PCB贴片缺陷在线检测方法，其特征在于，获取最佳匹配位置时，采用基于霍夫直线检测与聚类算法的模板匹配方法：

依次对待检测图像进行灰度变换、二值化和形态学闭；然后对待检测图像进行霍夫直线检测并计算直线角度，对得到的角度进行聚类并过滤掉无用角度；对保留的角度序列进行扩充，保证角度序列中包含真实角度；依次采用角度序列中角度值的模板进行模板匹配，得到最优匹配模板和最优匹配位置。

6.如权利要求1所述的定量化的炉前PCB贴片缺陷在线检测方法，其特征在于，进行特征融合时，先将全局灰度特征区间映射到[0,1]，然后以全局灰度特征值为灰度值，在局部纹理特征图像上绘制等大的边框，以绘制后的图像作为融合后特征。

7.如权利要求1所述的定量化的炉前PCB贴片缺陷在线检测方法，其特征在于，所述卷积神经网络初始模型包括依次设置的卷积层、最大池化层、和全连接层，其中，所述卷积层和最大池化层均为三个，并且交替设置，即每个卷积层之后对应设置有一个最大池化层，所述全连接层也为三个。

8.一种定量化的炉前PCB贴片缺陷在线检测系统，其特征在于，包括输入模块、特征提取模块、特征融合模块、特征分类模块和结果后处理模块，其中：

所述输入模块用于提取待检测区域的PCB图像，以获取待检测图像；

所述特征提取模块用于提取待检测图像的全局灰度特征和局部纹理特征，并计算芯片位姿偏差值；

所述特征融合模块用于融合全局灰度特征与局部纹理特征，得到融合后特征；

所述特征分类模块包括卷积神经网络模型，将融合后特征输入该卷积神经网络模型得到分类标签；

所述结果后处理模块用于根据分类标签和芯片位姿偏差值，判断PCB中芯片贴装是否合格，并对于不合格的贴装，输出缺陷类型和芯片位姿偏差值；具体的，判断各PCB中芯片贴装是否合格时，首先根据分类标签判断是否存在翻面、侧立、缺件缺陷，如果是，判定贴装不合格，否则，校验分类标签与真实标签是否一致，如果是，判定贴装芯片型号正确，否则，判定贴装不合格且为错件缺陷；然后，对于贴装芯片型号正确的图像，根据芯片位姿偏差值判定其芯片位姿是否合格，如果是，判定贴装合格，否则，判定贴装不合格；对于不合格的贴装，输出缺陷类型和芯片位姿偏差值。

Images