CN114332084B - 一种基于深度学习的pcb表面缺陷检测方法 - Google Patents

Abstract

本发明涉及工业计算机领域，提供了一种基于深度学习的PCB表面缺陷检测方法，用于识别PCB表面缺陷，包括：采集PCB图像，对缺陷图像进行挑选，使用GAN扩增图像数据集，图像标注，图像预处理，图像训练及测试，对训练模型进行封装。本发明很好地解决了在PCB检测中样本数少、准确率低的问题，具有鲁棒性高，泛化能力强，准确度高的特点。

Description

一种基于深度学习的PCB表面缺陷检测方法

技术领域

本发明涉及工业计算机领域，涵盖了深度学习技术、目标检测技术，提供了一种基于深度学习的目标检测网络对PCB表面缺陷进行检测的方法。

背景技术

长期以来，工业领域质量检测是计算机视觉最有挑战性的一项任务，工业质量检测是工业检测领域中不可或缺的一部分。当前，在工业质量检测领域实际应用场景中，大多数使用以机器学习为基础的传统机器视觉技术。这种方法对噪声数据过于敏感，尤其是当图片不清晰时，识别效果会非常差。此外，这种方法需要人为提取标定特征并对其进行训练和检测，开发周期长。在大规模且快速的生产线上，这种方法不够灵活，多依赖于人工调参，误差大。深度学习可以从图像中自动学习到关键特征，去除人工因素的干预，但是需要大量的缺陷样本，很难找到如此多的缺陷样本进行训练，少量样本的深度学习是一种很好地解决方案。

发明内容

针对上述问题，本发明提供了基于深度学习的PCB表面缺陷检测方法，本发明将深度学习目标检测网络利用在印刷电路板PCB表面缺陷检测，通过设计GAN与深度学习目标检测网络，使得在少量的样本条件下也能实现深度学习模型训练，提升了模型的泛化力度，增强了识别的精度。

本发明提供如下技术方案：1、一种基于深度学习的PCB表面缺陷检测方法，包括如下步骤: 步骤1：采集PCB图像，在PCB生产线上对PCB进行拍照采集，生成图片样本数据集；步骤2：挑选图像，对采集的图片样本数据集进行缺陷图片的筛选，选出缺陷图片生成原始缺陷图片数据集；步骤3：扩增图像，使用生成式对抗网络GAN对原始缺陷数据集进行数据生成，扩增缺陷图片数据集；步骤4：图像标注，对缺陷图片数据集进行分析标注，形成XML格式的缺陷图片标签数据集，将缺陷图片标签数据集转化为TXT格式，并对缺陷图片数据集以及TXT缺陷图片标签数据集进行划分；步骤5：图像预处理，对缺陷图片数据集进行图片预处理；步骤6：图像训练及模型封装，对预处理好的图片进行深度学习目标检测模型训练，获取训练好的模型，对模型进行测试，选出测试结果最好的模型进行封装。

在步骤1中，首先，在生产线上配备CCD相机与环形光源。然后。传送带设置光电门，当PCB通过光电门触发CCD相机与环形光源进行拍摄，拍摄的样本照片存储到SD卡中。

所述的步骤 2中，在PCB挑选出缺陷的图片，并按缺陷种类对图片分为6类，分别是缺失孔，鼠标咬伤，开路，短路，杂散，伪铜，在挑选过程中，对每一类的缺陷图片进行样本均衡处理，使每一类缺陷图片的数量相同，对伪铜缺陷增加样本数目，但不超过其余种类缺陷数量的1/3。

所述的步骤 3中，还包含以下步骤：

步骤31：使用GAN对缺陷图像数据集进行扩增，输入图片尺度为[960,960]，输出尺度不变；

步骤32：GAN由两个模型构成, 判别模型和生成模型, 判别模型用于训练,生成模型用于测试，使用生成模型分析真实PCB缺陷样本的分布, 并根据分布生成新的PCB缺陷样本，随后使用判别器进行PCB缺陷图片的判别，最后将生成模型和判别模型通过不断的对抗训练，使判别模型正确判别训练样本来源，同时生成模型生成的图片缺陷样本与真实样本更相像；

步骤33：在生成式对抗网络生成PCB表面缺陷图片生成过程中，使用目标函数

计算生成的PCB表面缺陷图片与真实PCB表面缺陷图片的误差，其中，

为保证数值稳定的无穷小量；在第一项

中，x表示输入的真实数据，

是一个概率分布，表示将x分类为真实数据，而非生成数据的概率,

表示在真实数据中对

求取期望，在第二项

中，

表示把生成的样本分类成真的的概率，波

用来描述把生成的样本分类成假的的概率，

表示在生成样本中对

求期望；

步骤34：对PCB表面缺陷数据进行判别模型训练及优化，优化好判别模型后，将目标函数的第一项变成常数，调整生成模型参数的时候只有第二项在变化，对于生成模型来说，第二项要朝

缩小，即第二项要尽可能的小到

，对于生成模型的优化是目标函数

中G（生成模型）最小化，D判别模型最大化的过程，是整个目标函数最小化的过程；

步骤35：当GAN的目标函数减低到

时，生成结束，将生成图像与原始图像数据进行整合。

在步骤 4中，包括：

步骤41：使用labelimg软件对PCB缺陷数据进行分析标注，将不同类别的PCB缺陷用不同颜色的矩形框标出，方便进行训练；

步骤42：确定矩形框所标出的PCB表面缺陷物体的位置、物体类别等信息并生成XML标签数据集，标签数据中包含PCB表面缺陷物体的种类、位置以及宽高，与原图片一一对应；提取XML数据里的种类、位置、宽高信息生成TXT格式的标签数据集，TXT命名时与原图片名称一一对应；

步骤43：将PCB缺陷图片数据集以及标签数据集文件名一一对应，将其分别划分为训练集、测试集、验证集，比例为 6:2:2。

在步骤 5中，对PCB缺陷图像进行光度失真变化，将图像像素通过变换函数

进行转换，其中c、γ为常数，为了突出前景物体与背景的差别，取

。

步骤 6中，还包含以下步骤：训练PCB图片的目标检测网络使用的损失函数为CIOU：

，其中，IOU 计算的是“预测的边框”和“真实的边框”的交集和并集的比值，其中

代表了预测框和真实框的中心点的欧式距离，c 代表的是能够同时包含预测框和真实框的最小闭包区域的对角线距离，

是用于平衡比例的参数，

是用来描述预测框和真实框的长宽比的比例一致性的参数，

，

，其中，

以及

为真实框的宽高，

及

为预测框的宽高。对目标检测网络对其训练300个回合，每个回合计算AP，AP就是平均准确率；即P-R曲线上准确度的平均值；对于P-R曲线，使用积分

来计算，最后，挑选出所有回合中最高AP的模型，保留模型为ONNX格式，当目标检测网络训练完毕时，对AP最高的模型进行tensorrt加速，封装为DLL文件。

目标检测网络包括主干特征提取网络、特征融合网络、检测器；

一、主干特征提取网络：

a) 使用卷积模块Conv与卷积注意力模块CBAM搭建基本块S1\S2\S3\S4。卷积模块Conv包括3 x3，步长为2的卷积核、批正则化。C3模块包括卷积模块Conv、残差边、特征图加和节点组成。

b)基本块包括卷积模块，残差边，特征图拼接节点、注意力模块CBAM。

c) 主干特征提取网络由S1\S2\S3\S4，四个基本卷积块级联组成。

二、特征融合网络：

a)特征融合网络分为自下而上和自上而下两条路径。

b)特征融合网络分为n1~n6，共六块，前三块组成自上而下的路径，后三块组成自下而上的路径。

c)特征融合网络n1~n3三块由基本块、上采样、特征融合节点组成，n3~n6三块由基本块和特征融合节点组成。

d)其中，n1与S4和n5相连，n2与S3和n4相连，n3与S2相连，n4与n2和S2相连，n5与n1和S3相连，n6与S4相连。

三、检测器：

检测器有四个，分别为h1~h4，全部由卷积模块和Sigmoid函数构成，主要作用是进行分类以及物体位置。其中，h1与n3相连，h2与n4相连，h3与n5相连，h4与n6相连。

通过上述描述可以看出，本方案主要包括采集PCB图像，对缺陷图像进行挑选，使用GAN扩增图像数据集，图像标注，图像预处理，图像训练及测试，对训练模型进行封装等步骤，解决了在PCB检测中样本数少、准确率低的问题，具有鲁棒性高，泛化能力强，准确度高的特点。相对于现有技术，具有以下优点：1、与传统的PCB表面缺陷检测算法不同，本发明将深度学习目标检测网络利用在PCB表面缺陷检测，通过设计GAN与深度学习目标检测网络，使得在少量的样本条件下也能实现深度学习模型训练，提升了模型的泛化力度，增强了识别的精度。2、与传统的PCB表面缺陷检测算法不同，本发明运用深度学习目标检测技术，与原有的机器学习算法最大的不同是将机器学习的人工参数调节改为自动参数更新，通过CIOU损失函数计算损失并更新保存模型，大大减少了人为调参主观性对检测性能的影响，使本发明的泛化能力和准确率有了明显的提升，且本发明占用内存小，速度快，可以快速部署大型机器中进行检测，可以在不同工业检测识别场景中发挥更好的效果。

附图说明

图1是本发明具体实施方式的流程图。

图2是GAN结构图。

图3是目标检测网络结构图。

图4是主干特征提取网络结构图。

具体实施方式

下面将结合本发明具体实施方式中的附图，对本发明具体实施方式中的技术方案进行清楚、完整地描述，显然，所描述的具体实施方式仅仅是本发明一种具体实施方式，而不是全部的具体实施方式。基于本发明中的具体实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他具体实施方式，都属于本发明保护的范围。

通过附图可以看出，本发明的基于深度学习的PCB表面缺陷检测方法，包括如下步骤:

步骤1：采集PCB图像，在PCB生产线上对PCB进行拍照采集，生成图片样本数据集；

采集图像时，在生产线上配备CCD相机与环形光源，传送带设置光电门，当PCB通过光电门触发CCD相机与环形光源进行拍摄，拍摄的样本照片存储到SD卡中，8小时后结束PCB图片采集。

将上述的图片进行分析，剔除无效的图片，对图片进行图片数据标注，标注过程采用Labelimg标注软件生成多个xml图片标注信息文件，其中xml文件包括标注中心点，标注位置以及标注类型，最后将xml文件提取其位置及类别信息转化为TXT文件，与原PCB瑕疵图片文件一一对应。

步骤2：挑选图像，对采集的图片样本数据集进行缺陷图片的筛选，选出缺陷图片生成原始缺陷图片数据集；

在PCB挑选出缺陷的图片，即在SD卡中的PCB图片中挑选出缺陷的图片，并按缺陷种类对图片分为6类，分别是缺失孔，鼠标咬伤，开路，短路，杂散，伪铜，在挑选过程中，对每一类的缺陷图片进行样本均衡处理，使每一类缺陷图片的数量相同，对伪铜缺陷增加样本数目，但不超过其余种类缺陷数量的1/3。

步骤3：扩增图像，使用GAN对原始缺陷数据集进行数据生成，扩增缺陷图片数据集；

步骤31：使用GAN对缺陷图像数据集进行扩增，输入图片尺度为[960,960]，输出尺度不变；

步骤32：GAN由两个模型构成, 判别模型和生成模型, 判别模型用于训练,生成模型用于测试，由生成模型分析真实PCB缺陷样本的分布, 并根据分布生成新的PCB缺陷样本，随后使用判别器进行PCB缺陷图片的判别，生成模型和判别模型通过不断的对抗训练，使判别模型正确判别训练样本来源，同时生成模型生成的图片缺陷样本与真实样本更相像；

步骤3.3：在生成过程中，使用目标函数

进行模型参数更新，其中，

为保证数值稳定的无穷小量；在第一项

中，x表示输入的真实数据，

是一个概率分布，表示将 x分类为真实数据，而非生成数据的概率,

表示在真实数据中对

求取期望，在第二项

中，

表示把生成的样本分类成真的的概率，波

用来描述把生成的样本分类成假的的概率，

表示在生成样本中对

求期望；

步骤34：优化好判别模型后，目标函数的第一项变成常数，调整生成模型参数的时候只有第二项在变化，对于生成模型来说，第二项要尽可能的小，对于生成模型的优化是目标函数

中G（生成模型）最小化，D判别模型最大化的过程，是整个目标函数最小化的过程；

步骤35：当GAN的目标函数减低到

时，生成结束，将生成图像与原始图像数据进行整合。

步骤4：图像标注，对缺陷图片数据集进行分析标注，形成XML格式的缺陷图片标签数据集，将缺陷图片标签数据集转化为TXT格式，并对缺陷图片数据集以及TXT缺陷图片标签数据集进行划分；

步骤41：使用labelimg软件对PCB缺陷数据进行分析标注，将不同类别的PCB缺陷用不同颜色的矩形框标出，方便进行训练；

步骤42：根据矩形框的位置、物体类别等信息生成 XML标签数据集，标签数据中包含物体的种类、位置以及宽高，与原图片一一对应；提取XML数据里的种类、位置、宽高信息生成TXT格式的标签数据集；

步骤43：将PCB缺陷图片数据集以及标签数据集文件名一一对应，将其分别划分为训练集、测试集、验证集，比例为 6:2:2。

步骤5：图像预处理，对缺陷图片数据集进行图片预处理；

在步骤 5中，对PCB缺陷图像进行光度失真变化，将图像像素通过变换函数

进行转换，其中c、γ为常数，为了突出前景物体与背景的差别，取

。

步骤6：图像训练及模型封装，对预处理好的图片进行深度学习目标检测模型训练，获取训练好的模型，对模型进行测试，选出测试结果最好的模型进行封装。

训练PCB图片的目标检测网络使用的损失函数为CIOU：

，其中，IOU 计算的是“预测的边框”和“真实的边框”的交集和并集的比值，其中

代表了预测框和真实框的中心点的欧式距离，c 代表的是能够同时包含预测框和真实框的最小闭包区域的对角线距离，

，

，对其训练300个回合，每个回合计算AP，AP就是平均准确率；即P-R曲线上准确度的平均值；对于P-R曲线，使用积分

来计算，最后，挑选出所有回合中最高AP的模型，保留模型为ONNX格式，当目标检测网络训练完毕时，对AP最高的模型进行tensorrt加速，封装为DLL文件。

尽管已经示出和描述了本发明的具体实施方式，对于本领域的普通技术人员而言，可以理解在不脱离发明的原理和精神的情况下可以对这些具体实施方式进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (1)

1.一种基于深度学习的PCB表面缺陷检测方法，其特征在于包括如下步骤：

步骤1：采集PCB图像，在PCB生产线上对PCB进行拍照采集，生成图片样本数据集；

步骤2：挑选图像，对采集的图片样本数据集进行缺陷图片的筛选，选出缺陷图片生成原始缺陷图片数据集；

步骤3：扩增图像，使用GAN对原始缺陷数据集进行数据生成，扩增缺陷图片数据集；

步骤4：图像标注，对缺陷图片数据集进行分析标注，形成XML格式的缺陷图片标签数据集，将缺陷图片标签数据集转化为TXT格式，并对缺陷图片数据集以及TXT缺陷图片标签数据集进行划分；

步骤5：图像预处理，对缺陷图片数据集进行图片预处理；

步骤6：图像训练及模型封装，对预处理好的图片进行深度学习目标检测模型训练，获取训练好的模型，对模型进行测试，选出测试结果最好的模型进行封装；

所述的步骤 2中，在PCB挑选出缺陷的图片，并按缺陷种类对图片分为6类，分别是缺失孔，鼠标咬伤，开路，短路，杂散，伪铜，在挑选过程中，对每一类的缺陷图片进行样本均衡处理，使每一类缺陷图片的数量相同，对伪铜缺陷增加样本数目，但不超过其余种类缺陷数量的1/3；

所述的步骤 3中，还包含以下步骤：

步骤3.1：使用GAN对缺陷图像数据集进行扩增，输入图片尺度为960×960，输出尺度不变；

步骤3.2：GAN由两个模型构成, 判别模型和生成模型, 判别模型用于训练,生成模型用于测试，使用生成模型分析真实PCB缺陷样本的分布, 并根据分布生成新的PCB缺陷样本，随后使用判别器进行PCB缺陷图片的判别，最后将生成模型和判别模型通过不断的对抗训练，使判别模型正确判别训练样本来源，同时生成模型生成的图片缺陷样本与真实样本更相像；

步骤3.3：在生成式对抗网络生成PCB表面缺陷图片生成过程中，使用目标函数

计算生成的PCB表面缺陷图片与真实PCB表面缺陷图片的误差，其中，

为保证数值稳定的无穷小量；在第一项

中，x表示输入的真实数据，

是一个概率分布，表示将x分类为真实数据，而非生成数据的概率,

表示在真实数据中对

求取期望，在第二项

中，

表示把生成的样本分类成真的的概率，波

用来描述把生成的样本分类成假的的概率，

表示在生成样本中对

求期望；

步骤34：对PCB表面缺陷数据进行判别模型训练及优化，优化好判别模型后，将目标函数的第一项变成常数，调整生成模型参数的时候只有第二项在变化，对于生成模型来说，第二项要朝

缩小，对于生成模型的优化是目标函数

中G最小化，D判别模型最大化的过程，是整个目标函数最小化的过程；

步骤3.5：当GAN的目标函数减低到

时，生成结束，将生成图像与原始图像数据进行整合；

所述的步骤 4中，还包含以下步骤：

步骤4.1：使用labelimg软件对PCB缺陷数据进行分析标注，将不同类别的PCB缺陷用不同颜色的矩形框标出，方便进行训练；

步骤4.2：确定矩形框所标出的PCB表面缺陷物体的位置、物体类别信息并生成 XML标签数据集，标签数据中包含PCB表面缺陷物体的种类、位置以及宽高，与原图片一一对应；提取XML数据里的种类、位置、宽高信息生成TXT格式的标签数据集，TXT命名时与原图片名称一一对应；

步骤4.3：将PCB缺陷图片数据集以及标签数据集文件名一一对应，将其分别划分为训练集、测试集、验证集，比例为 6:2:2；

所述的步骤 5中，对PCB缺陷图像进行光度失真变化，将图像像素通过变换函数

进行转换，其中c、γ为常数，为了突出前景物体与背景的差别，取

；

所述的步骤 6中，还包括以下步骤：

步骤6.1，搭建目标检测网络，目标检测网络包括主干特征提取网络、特征融合网络、检测器；

一、主干特征提取网络

使用卷积模块Conv与卷积注意力模块CBAM搭建基本卷积块S1\S2\S3\S4，卷积模块Conv包括3 x3，步长为2的卷积核、批正则化，基本卷积块的C3模块包括卷积模块Conv、残差边、特征图拼接节点组成；

基本卷积块包括卷积模块，残差边，特征图拼接节点、卷积注意力模块CBAM；

主干特征提取网络由S1\S2\S3\S4，四个基本卷积块级联组成；

二、特征融合网络

特征融合网络分为自下而上和自上而下两条路径；

特征融合网络分为n1~n6，共六块，前三块组成自上而下的路径，后三块组成自下而上的路径；

特征融合网络n1~n3三块由基本块、上采样、特征融合节点组成，n4~n6三块由基本块和特征融合节点组成；

其中，n1与S4和n5相连，n2与S3和n4相连，n3与S2相连，n4与n2和S2相连，n5与n1和S3相连，n6与S4相连；

三、检测器

检测器有四个，分别为h1~h4，全部由卷积模块和Sigmoid函数构成，主要作用是进行分类以及物体位置；其中，h1与n3相连，h2与n4相连，h3与n5相连，h4与n6相连；

步骤6.2：构建目标检测网络损失函数、训练并进行模型封装，训练PCB图片的目标检测网络使用的损失函数为CIOU：

，其中，IOU 计算的是“预测的边框”和“真实的边框”的交集和并集的比值，其中

代表了预测框和真实框的中心点的欧式距离，c 代表的是能够同时包含预测框和真实框的最小闭包区域的对角线距离，

是用于平衡比例的参数，

是用来描述预测框和真实框的长宽比的比例一致性的参数，

，

，其中，

以及

为真实框的宽高，

以及

为预测框的宽高，对目标检测网络训练300个回合，每个回合计算AP，AP就是平均准确率；即P-R曲线上准确度的平均值；对于P-R曲线，使用积分

来计算，最后，挑选出所有回合中最高AP的模型，保留模型为ONNX格式，当目标检测网络训练完毕时，对AP最高的模型进行tensorrt加速，封装为DLL文件。

Images