CN112733924A - 一种多贴片元器件检测方法 - Google Patents

Abstract

一种多贴片元器件检测方法，它属于目标检测技术领域。本发明解决了传统贴片元器件检测方法存在的检测精度低且无法同时对多种贴片元器件进行检测的问题。本发明采集不同背景、不同光照下不同型号的贴片元器件(贴片电阻和贴片电容)图像，构造贴片元器件的数据集；将MobileNet作为主干网络，使用SSD模型提取特征，同时进行分类与回归任务，从而提高检测速度。相比于传统的贴片元器件检测方法，本发明通过大量的标记数据便可自主学习，得到更高维度、更本质的特征，使得贴片元器件检测方法的鲁棒性和准确性得到了大幅提升，能够对多种贴片元器件同时进行检测。本发明可以应用于贴片元器件检测。

Description

一种多贴片元器件检测方法

技术领域

本发明属于目标检测技术领域，具体涉及一种多贴片元器件检测方法。

背景技术

贴片元器件是各种集成电路的基本组成单元，其应用十分广泛，推动着工业的发展。在贴片元器件生产、焊接、应用、检测以及回收方面，其分类与定位是一项十分重要的基础工作，但随着制造工艺水平的提高以及需求的多元化，贴片元器件朝着尺寸小型化、种类多样化的方向发展，同时，采集贴片元器件图像的背景复杂多变，光照强度也大不相同，这为贴片元器件的分类与定位增加了很大难度。

基于传统图像处理的贴片元器件检测方法需要对输入图像进行一系列的预处理操作，手工设置参数来提取目标特征，再依据获取的特征进行检测。如杜思思等利用阈值分割、边缘检测获取粗略边缘图像，再结合最小二乘法与Hough变换得到精确边缘图像，进而对贴片元器件进行检测。该类方法需要手工提取特征，费时费力，精度较低，鲁棒性较差，且无法同时对多种贴片元器件进行检测，该类方法的性能始终不能满足实际应用要求。

因此，设计一种实时的贴片元器件检测方法对于推动社会发展具有重要的意义。

发明内容

本发明的目的是为解决传统贴片元器件检测方法存在的检测精度低且无法同时对多种贴片元器件进行检测的问题，而提出了一种多贴片元器件检测方法。

本发明为解决上述技术问题采取的技术方案是：一种多贴片元器件检测方法，所述方法具体包括以下步骤：

步骤1、采集各种型号的贴片元器件图像，通过对采集的图像进行数据增强与标注来构造数据集，并将数据集分为训练集、测试集和验证集三部分；

步骤2、搭建MobileNet-SSD网络模型

MobileNet-SSD网络模型以MobileNet网络作为主干网络，去掉MobileNet网络的最后面的3个卷积层后，在最后一个点卷积层Con12_2的后面依次添加5个卷积层，其中：一个卷积层为深度可分离卷积层，其余四个卷积层均为包括点卷积层和大小为3×3的标准卷积层的组合卷积层，通过主干网络的Con12_2层与添加的5个卷积层输出的特征图来预测贴片元器件的类别和位置；

所述添加的5个卷积层分别为Cov13_2层、Cov14_2层、Cov15_2层、Cov16_2层和Cov17_2层；

步骤3、利用训练集对搭建的MobileNet-SSD网络模型进行训练，获得训练好的MobileNet-SSD网络模型；

步骤4、利用训练好的MobileNet-SSD网络模型对贴片元器件进行检测。

进一步地，所述步骤1的具体过程为：

步骤11、采集各种背景、不同光照强度下的不同型号的贴片电阻和贴片电容目标图像；

步骤12、对步骤11采集的图像进行数据增强，数据增强方式包括对比度增强、翻转、亮度增强、旋转以及添加椒盐噪声，再将数据增强后的图像裁剪为统一尺寸；

步骤13、使用labelme标注工具对裁剪后的图像进行标注；

步骤14、将标注后的图像转化为Pascal voc格式，获得标注后的数据集；

将标注后的数据集随机划分为8:2两部分，将Pascal voc 2007数据集随机划分为8:2两部分，将Pascal voc 2012数据集随机划分为8:2两部分，将各数据集中包含图像多的部分共同作为训练集，将各数据集中包含图像少的部分共同作为测试集，从训练集中随机选取M张图像作为验证集。

进一步地，所述主干网络的Con12_2层与添加的5个卷积层输出的特征图的默认框尺度因子为：

其中，S₁、S₂、S₃、S₄、S₅、S₆分别为Con12_2层、Cov13_2层、Cov14_2层、Cov15_2层、Cov16_2层和Cov17_2层输出的特征图的默认框尺度因子，S_min＝0.2，S_max＝0.9；

默认框的宽度、长度的计算公式如下：

其中，

为默认框的宽度，

为默认框的长度，

当长、宽比为1时，增加一个尺度S′_k，

即每个特征图中所有像素点有6个默认框；

默认框的中心设置为

i,j∈[0，|f_k|]，|f_k|为第k个特征图的大小。

进一步地，所述步骤3的具体过程为：

步骤31、初始化训练参数

配置训练轮数、批样本数、初始化日志记录函数及其参数；

步骤32、依次读取各个元器件类别，并将其转化为相应的数字，统计元器件总类别数目；

步骤33、加载MobileNet预训练的参数，对搭建好的MobileNet-SSD网络模型进行训练；

步骤34、定义数据读取器，分批次读取训练集中图像的标注信息；

步骤35、MobileNet-SSD网络模型输出对读取图像中目标元器件预测的类别得分、中心坐标和长、宽的偏移量；

步骤36、将默认框与标注的真实框进行匹配，匹配成功的默认框为正样本，匹配未成功的默认框为负样本；

寻找与真实框IOU最大的默认框作为正样本，将与真实框IOU大于阈值的默认框也作为正样本，其余的默认框作为负样本，IOU表示真实框与默认框的重合程度；

步骤37、根据匹配成功的默认框的索引获取目标元器件类别，并计算置信度损失；

步骤38、重复步骤34～步骤37，采用early stopping法(早停法)，在第1个批次以及每经过50个批次后，均利用验证集对训练的MobileNet-SSD网络模型进行验证；

直至通过三次验证或达到设定的训练轮数后，获得训练好的MobileNet-SSD网络模型。

进一步地，所述利用训练集对搭建的MobileNet-SSD网络模型进行训练时，利用RMSProp优化算法对训练参数进行优化，当训练轮数小于20轮时，学习率设置为0.001，当训练轮数大于等于20轮且小于40轮时，学习率设置为0.0005，当训练轮数大于等于40轮且小于60轮时，学习率设置为0.00025，使用L2权重衰减正则化，防止模型过拟合，其中正则化系数设置为0.00005，每400个批次保存一次模型。

进一步地，所述利用验证集对训练的MobileNet-SSD网络模型进行验证，其具体过程为：

读取验证集图像的标注信息，得到与真实框匹配的默认框，并使用NMS算法去除冗余的默认框，若对验证集图像的检测准确率大于设定的阈值，或置信度损失小于设置的最小损失，则认为目标识别正确，验证通过。

进一步地，所述置信度损失的计算方法为：

其中，L(x,c,l,g)为置信度损失，L_conf(x,c)为类别误差，L_loc(x,l,g)为位置误差，N为默认框的正样本数目，c为类别置信度预测值，g为真实目标的位置参数，l为默认框所对应边界框的位置预测值，α为惩罚因子。

本发明的有益效果是：本发明提出了一种多贴片元器件检测方法，本发明采集不同背景、不同光照下不同型号的贴片元器件(贴片电阻和贴片电容)图像，构造贴片元器件的数据集；将MobileNet作为主干网络，使用SSD模型提取特征，同时进行分类与回归任务，从而提高检测速度。相比于传统的贴片元器件检测方法，本发明通过大量的标记数据便可自主学习，得到更高维度、更本质的特征，使得贴片元器件检测方法的鲁棒性和准确性得到了大幅提升，能够对多种贴片元器件同时进行检测。

附图说明

图1为本发明的多贴片元器件检测方法的整体流程图；

图2(a)为贴片元器件原始图像一；

图2(b)为贴片元器件原始图像二；

图2(c)为贴片元器件原始图像三；

图2(d)为贴片元器件原始图像四；

图2(e)为贴片元器件原始图像五；

图2(f)为贴片元器件原始图像六；

其中，图2(a)-2(f)为采集的6种背景、不同光照下的不同型号的贴片元器件原始图像；

图3(a)为本发明对图2(a)进行对比度增强后的效果图；

图3(b)为本发明对图2(a)进行翻转后的效果图；

图3(c)为本发明对图2(a)进行亮度增强后的效果图；

图3(d)为本发明对图2(a)进行旋转后的效果图；

图3(e)为本发明对图2(a)进行添加椒盐噪声后的效果图；

图4(a)为本发明搭建的网络模型图；

图4(b)为本发明的网络结构图；

图5为本发明总体损失曲线图；

图6(a)为本发明对测试集样本的检测效果图图一；

图6(b)为本发明对测试集样本的检测效果图图二；

图6(c)为本发明对测试集样本的检测效果图图三；

图6(d)为本发明对测试集样本的检测效果图图四；

图6(e)为本发明对测试集样本的检测效果图图五；

图6(f)为本发明对测试集样本的检测效果图图六；

图7(a)为本发明获取的贴片电阻的PR曲线图；

图7(b)为本发明获取的贴片电容的PR曲线图。

具体实施方式

图1是本发明鲁棒的多贴片元器件检测方法一种具体实施下的整体流程图，首先采集贴片电子元器件图像，进行数据增强与标注，构造数据集；搭建MobileNet-SSD网络模型，设置默认框大小；初始化训练参数，网络正向传播计算总体损失，利用RMSProp优化算法优化训练参数；采用early stopping方法，达到设定条件则停止训练，否则进行反向误差传播，继续训练；最后对测试集样本进行预测，获取模型的mAP。

一种鲁棒的多贴片元器件检测方法包括以下步骤：

步骤1、采集贴片元器件图像，进行数据增强与标注，构造数据集；步骤1的具体步骤如下：

步骤11、采集6种背景、不同光照强度下不同型号的贴片电阻和贴片电容目标图像；

步骤12、对采集的样本进行数据增强，包括对比度增强、翻转、亮度增强、旋转以及添加椒盐噪声，最后将样本裁剪为统一大小300×300；

步骤13、使用labelme标注工具对贴片电子元器件(贴片电阻和贴片电容)图像进行多边形标注；

步骤14、将标注完的数据集转化为Pascal voc格式，并将贴片电子元器件数据集(共1637张图片)、Pascal voc 2007数据集(共9963张图片)和Pascal voc 2012数据集(共17125张图片)按8:2分别随机划分为训练集与测试集，融合三种数据集的训练集作为最终的训练集，贴片电子元器件的测试集作为最终的测试集，在最终的训练集中随机选取406张图片作为验证集。

采集的贴片元器件图像如图2(a)至图2(f)所示，对图2(a)进行对比度增强后的效果图如图3(a)所示，对图2(a)进行翻转后的效果图如图3(b)所示，对图2(a)进行亮度增强后的效果图如图3(c)所示，对图2(a)进行旋转后的效果图如图3(d)所示，对图2(a)进行添加椒盐噪声后的效果图如图3(e)所示。

步骤2、搭建MobileNet-SSD网络模型，以MobileNet网络作为主干网络，去掉其最后面的3层，在最后一个点卷积层后面添加了5个卷积层，其中一个为深度可分离卷积层，其余四个为点卷积层与大小为3×3的标准卷积层的组合卷积层，网络最终的输出维度为2×2×128。使用主干网络中的Con12_2层与辅助网络中的Cov13_2层、Cov14_2层、Cov15_2层、Cov16_2层、Cov17_2层共6个卷积层输出的特征图来预测贴片元器件的类别和位置。对于第k个特征图，默认框的尺度因子是按下式计算的：

其中，S_min＝0.2，S_max＝0.9，分别表示最低层的尺度为0.2，最高层的尺度为0.9，所有的中间层正常间隔分布。对于默认框，使用不同的长宽比，表示为

宽度、长度的计算公式如下：

对于长宽比为1的情况，增加一个尺度，其大小为

这样在每个特征图所有像素点有6个默认框。默认框的中心设置为

i,j∈[0,|f_k|)，其中|f_k|为第k个特征图的大小。

结合诸多特征图不同位置下所有不同尺度和长宽比的默认框，得到一个预测结果的集合，覆盖不同大小和形状的输入对象。

本发明搭建的网络模型图如图4(a)所示，图4(a)对应的网络结构图如图4(b)所示。

步骤3、初始化训练参数，网络正向传播计算损失函数，利用优化算法优化训练参数；步骤3的具体步骤如下：

步骤31、配置训练轮数(共训练120轮)、批样本数(每批训练64个样本)等训练参数，初始化日志记录相关的函数及其参数；

步骤32、依次读取各个类别，并将其转化为相应的数字，统计总类别数目(三种数据集共23类样本)；

步骤33、对搭建好的模型进行训练，加载MobileNet预训练的参数；

步骤34、对搭建好的模型进行训练，加载MobileNet预训练的参数，定义数据读取器，读取训练集中所有样本的分辨率、类别与真实框的左上角与右下角的坐标等标注信息；

步骤35、获取预测的类别得分以及中心坐标和宽高的偏移量；

步骤36、将默认框与真实框进行匹配，匹配成功的默认框用来预测该真实目标的类别与位置，相应的匹配原则为：第一，对于每张图片中的所有真实目标，依次寻找与其IOU(the best jaccard overlap)最大的默认框，将两者进行匹配；第二，对于剩余未匹配的默认框，若其中某个默认框与真实目标包围框的IOU大于一定阈值(一般取0.5)，那么该默认框可以选取IOU最大的真实目标包围框进行匹配。匹配成功的默认框为正样本，未匹配的为负样本。IOU表示了真实目标的边界框与默认框的重合程度，其表达式为：

其中，DB表示default box，即默认框，GT表示ground truth，即真实目标的边界框。为减少正负样本比例失衡造成的影响，对置信度损失进行排序，选取top-k个负样本，使正负样本比例接近1:3，保持训练过程的稳定以及模型的准确度。

步骤37、根据匹配的索引获取目标类别，计算置信度损失，分配分类与回归目标，计算总体的损失，其计算公式如下：

其中，N为默认框的正样本数目，c为类别置信度预测值，l为默认框所对应边界框的位置预测值，g为真实目标的位置参数。本发明的总体损失曲线图如图5所示。

定义

为一个指示参数，

表示第i个默认框与第j个真实目标匹配，且真实目标的类别为p。位置误差选用Smooth L1 loss，其表达式如下：

其中，

对于类别误差，采用Softmax Loss，定义如下：

其中，

步骤38、利用RMSProp优化算法对训练参数进行优化，当训练轮数小于20轮时，学习率设置为0.001，当训练轮数大于等于20轮且小于40轮时，学习率设置为0.0005，当训练轮数大于等于40轮且小于60轮时，学习率设置为0.00025，使用L2权重衰减正则化，防止模型过拟合，其中正则化系数设置为0.00005；

步骤4、重复步骤36～38，每400个批次保存一次模型，采用early stopping方法，每50个批次以及第1个批次进行一次验证，在验证过程中，读取验证集样本的分辨率、类别与真实框的左上角与右下角的坐标等标注信息。得到与真实框匹配的默认框，并使用NMS算法去除冗余的默认框，计算当前批次的mAP，如果计算得到的mAP大于所设定的最小mAP(0.86)，或损失小于所设置的最小损失(1.28)，则认为目标识别正确。三次目标识别正确或达到设定的训练轮数(60轮)，则停止训练。

步骤5、对测试集样本进行预测，获取模型的mAP；步骤5的具体步骤如下：

步骤51、读取测试集中的样本，依次进行预测；

步骤52、使用NMS算法去除冗余的默认框，去掉置信度小于0.1的默认框，在目标图像中画出最终的预测框，并在左上角显示预测类别及置信度，保存到指定文件夹中；

步骤53、将贴片电阻和贴片电容的检测结果分别写入txt文件，内容包括样本路径、样本置信度以及样本预测位置；

步骤54、读取每个类别目标对应的真实框；

步骤55、获取tp(真正例)和fp(假正例)数目，计算recall和precision，进而获取PR曲线；

步骤56、计算每个类别的AP，获取模型的mAP。

如图6(a)至图6(f)所示，为本发明训练好的模型对测试集样本的检测效果图，在测试集上获取的贴片电阻的PR曲线图和贴片电容的PR曲线图分别如图7(a)和7(b)所示。

本发明的上述算例仅为详细地说明本发明的计算模型和计算流程，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。

Claims (7)

1.一种多贴片元器件检测方法，其特征在于，该方法包括以下步骤：

步骤1、采集各种型号的贴片元器件图像，通过对采集的图像进行数据增强与标注来构造数据集，并将数据集分为训练集、测试集和验证集三部分；

步骤2、搭建MobileNet-SSD网络模型

MobileNet-SSD网络模型以MobileNet网络作为主干网络，去掉MobileNet网络的最后面的3个卷积层后，在最后一个点卷积层Con12_2的后面依次添加5个卷积层，其中：一个卷积层为深度可分离卷积层，其余四个卷积层均为包括点卷积层和大小为3×3的标准卷积层的组合卷积层，通过主干网络的Con12_2层与添加的5个卷积层输出的特征图来预测贴片元器件的类别和位置；

所述添加的5个卷积层分别为Cov13_2层、Cov14_2层、Cov15_2层、Cov16_2层和Cov17_2层；

步骤3、利用训练集对搭建的MobileNet-SSD网络模型进行训练，获得训练好的MobileNet-SSD网络模型；

步骤4、利用训练好的MobileNet-SSD网络模型对贴片元器件进行检测。

2.根据权利要求1所述的一种多贴片元器件检测方法，其特征在于，所述步骤1的具体过程为：

步骤11、采集各种背景、不同光照强度下的不同型号的贴片电阻和贴片电容目标图像；

步骤12、对步骤11采集的图像进行数据增强，数据增强方式包括对比度增强、翻转、亮度增强、旋转以及添加椒盐噪声，再将数据增强后的图像裁剪为统一尺寸；

步骤13、使用labelme标注工具对裁剪后的图像进行标注；

步骤14、将标注后的图像转化为Pascal voc格式，获得标注后的数据集；

将标注后的数据集随机划分为8:2两部分，将Pascal voc 2007数据集随机划分为8:2两部分，将Pascal voc 2012数据集随机划分为8:2两部分，将各数据集中包含图像多的部分共同作为训练集，将各数据集中包含图像少的部分共同作为测试集，从训练集中随机选取M张图像作为验证集。

3.根据权利要求2所述的一种多贴片元器件检测方法，其特征在于，所述主干网络的Con12_2层与添加的5个卷积层输出的特征图的默认框尺度因子为：

其中，S₁、S₂、S₃、S₄、S₅、S₆分别为Con12_2层、Cov13_2层、Cov14_2层、Cov15_2层、Cov16_2层和Cov17_2层输出的特征图的默认框尺度因子，S_min＝0.2，S_max＝0.9；

默认框的宽度、长度的计算公式如下：

其中，

为默认框的宽度，

为默认框的长度，

当长、宽比为1时，增加一个尺度S′_k，

即每个特征图中所有像素点有6个默认框；

默认框的中心设置为

i,j∈[0，|f_k|]，|f_k|为第k个特征图的大小。

4.根据权利要求3所述的一种多贴片元器件检测方法，其特征在于，所述步骤3的具体过程为：

步骤31、初始化训练参数

配置训练轮数、批样本数、初始化日志记录函数及其参数；

步骤32、依次读取各个元器件类别，并将其转化为相应的数字，统计元器件总类别数目；

步骤33、加载MobileNet预训练的参数，对搭建好的MobileNet-SSD网络模型进行训练；

步骤34、定义数据读取器，分批次读取训练集中图像的标注信息；

步骤35、MobileNet-SSD网络模型输出对读取图像中目标元器件预测的类别得分、中心坐标和长、宽的偏移量；

步骤36、将默认框与标注的真实框进行匹配，匹配成功的默认框为正样本，匹配未成功的默认框为负样本；

寻找与真实框IOU最大的默认框作为正样本，将与真实框IOU大于阈值的默认框也作为正样本，其余的默认框作为负样本，IOU表示真实框与默认框的重合程度；

步骤37、根据匹配成功的默认框的索引获取目标元器件类别，并计算置信度损失；

步骤38、重复步骤34～步骤37，采用early stopping法，在第1个批次以及每经过50个批次后，均利用验证集对训练的MobileNet-SSD网络模型进行验证；

直至通过三次验证或达到设定的训练轮数后，获得训练好的MobileNet-SSD网络模型。

5.根据权利要求4所述的一种多贴片元器件检测方法，其特征在于，所述利用训练集对搭建的MobileNet-SSD网络模型进行训练时，利用RMSProp优化算法对训练参数进行优化，当训练轮数小于20轮时，学习率设置为0.001，当训练轮数大于等于20轮且小于40轮时，学习率设置为0.0005，当训练轮数大于等于40轮且小于60轮时，学习率设置为0.00025，使用L2权重衰减正则化，防止模型过拟合，其中正则化系数设置为0.00005，每400个批次保存一次模型。

6.根据权利要求5所述的一种多贴片元器件检测方法，其特征在于，所述利用验证集对训练的MobileNet-SSD网络模型进行验证，其具体过程为：

读取验证集图像的标注信息，得到与真实框匹配的默认框，并使用NMS算法去除冗余的默认框，若对验证集图像的检测准确率大于设定的阈值，或置信度损失小于设置的最小损失，则认为目标识别正确，验证通过。

7.根据权利要求6所述的一种多贴片元器件检测方法，其特征在于，所述置信度损失的计算方法为：

其中，L(x,c,l,g)为置信度损失，L_conf(x,c)为类别误差，L_loc(x,l,g)为位置误差，N为默认框的正样本数目，c为类别置信度预测值，g为真实目标的位置参数，l为默认框所对应边界框的位置预测值，α为惩罚因子。

Images