CN111862025A - 基于深度学习的pcb缺陷自动检测方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的PCB缺陷自动检测方法，步骤如下：(1)对原始数据进行预处理，作数据格式和尺寸转换，完成数据集划分；(2)对预处理后的图像进行数据增强处理；(3)将增强后的数据输入到一种新的微小缺陷检测网络，训练出缺陷检测模型；(4)将训练后得到的模型进行性能评估；(5)参照步骤(4)评估的结果，对模型开展进一步的优化。本发明实现了PCB板缺陷的自动检测与目标识别，解决了PCB缺陷检测时效率低和精度低的问题，在节约人工成本的同时，大幅度提高缺陷检测的效率和可靠性；本发明提出的缺陷自动检测方法易于扩展到其它领域的微小缺陷检测，如织物缺陷检测和金属表面缺陷检测。

Description

基于深度学习的PCB缺陷自动检测方法

技术领域

本发明属于印制板缺陷检测与小目标识别领域，具体涉及一种基于深度学习的PCB缺陷自动检测方法。

背景技术

印刷电路板(PCB)本质上是一种通过机械支撑和电气连接的电子元器件板卡。它是所有电子产品设计过程中的基本组成部分，多年来已发展成为一个非常复杂的组件。PCB广泛应用于除最简单的电子产品外的所有产品中，据2019年全球单面印刷电路板市场分析报告估计，到2025年印刷电路板市场将达到850亿美元。然而，当前，确保PCB产品质量的视觉缺陷检测通常是PCB制造的最大成本。近年来，自动光学检测(AOI)系统已经取代了大部分的人工检测，提高了检测精度，但其误检率和漏检率仍然过高。

PCB缺陷检测主要存在三个难题，首先，电子产品中存在各种各样的PCB，不同的PCB具有不同复杂程度的布线设计规则，导致通用算法很难与各种PCB兼容，因此传统PCB缺陷检测方法可能会出现不稳定的情况；其次，PCB缺陷的种类和特征通常会有所不同；第三，在工业上收集大量PCB缺陷样品非常困难，导致某些传统方法的数据不平衡。PCB缺陷可分为两类：功能缺陷和外观缺陷。功能缺陷会严重影响PCB的性能，导致PCB的非正常使用，这些缺陷是最严重的缺陷。外观缺陷主要影响PCB的外观，但从长远来看，由于散热和电流分布异常，也会损害PCB的性能。在这两类缺陷中，有六类缺陷是工业生产中经常出现的，包括缺孔、鼠咬、开路、短路、骨刺和余铜。当前工业生产缺陷检测广泛依赖于自动光学检测和人工检测，无论是检测精度，还是人工失误都可能会带来较大的后果。实现PCB缺陷的自动识别与检测，对于节约人工成本，降低检测错误率都有着深远的影响。

发明内容

本发明的目的在于提供一种基于深度学习的PCB缺陷自动检测方法，解决PCB缺陷检测时效率低和精度低的问题，实现六大主要缺陷的自动检测和目标识别，在节约人工成本的同时，大幅度提高缺陷检测的效率和可靠性。

实现本发明目的的技术解决方案为：一种基于深度学习的PCB缺陷自动检测方法，步骤如下：

(1)对原始数据进行预处理，作数据格式和尺寸转换，完成数据集划分；

(2)对预处理后的图像进行数据增强处理；

(3)将增强后的数据输入到微小缺陷检测网络，训练出缺陷检测模型；

(4)将训练后得到的模型进行性能评估；

(5)结合步骤(4)评估的结果，对模型进行进一步的优化。

本发明与现有技术相比，其显著优点为：(1)本发明提出了一种新的微小缺陷检测网络，该网络能更好地学习微小缺陷检测的特征，解决了传统检测方法存在的一些问题；(2)本发明将深度学习算法与特征金字塔变换相结合来解决PCB缺陷检测问题，将上、下特征图相关联；(3)本发明实现了PCB缺陷的自动检测与识别，节约人工成本；(4)本发明故障检测率较高，能够达到95％以上，大幅度提升传统方法的可靠性和高效性。

附图说明

图1为本发明基于深度学习的PCB缺陷自动检测方法流程图。

具体实施方式

如图1所示，一种基于深度学习的PCB缺陷自动检测方法，步骤如下：

(1)对原始数据进行预处理，作数据格式和尺寸转换，完成数据集划分；

(2)对预处理后的图像进行数据增强处理；

(3)将增强后的数据输入到微小缺陷检测网络，训练出缺陷检测模型；

(4)将训练后得到的模型进行性能评估；

(5)参照步骤(4)评估的结果，对模型开展进一步的优化。

所述预处理将数据集格式转换为面向TensorFlow接口统一的数据输入格式，PCB图像尺寸为600×600。对数据集划分成训练数据集为8250张，测试数据集为2102张的两部分。

采用6种经典数据增强方法，高斯噪声添加、光照改变、图像旋转、翻转、随机裁剪和移位，并对图像旋转、翻转、随机裁剪和移位方法产生的结果进行阈值过滤。

所述步骤(3)构建一种新的微小缺陷检测网络，开展深度学习模型训练，具体为：

(3.1)结合PCB常见缺陷的特点，利用具有距离度量的标准k-means算法，将有框区域的比例尺设置为{15²，25²，40²，60²}，宽高比设置为{2:1，3:1，4:1，5:1}；

(3.2)使用ResNet-101作为主干卷积网络提取特征。对ResNet-101模型在ImageNet分类集中进行预训练，并在PCB缺陷数据集上进行微调；

(3.3)利用高分辨率特征图的结构信息，将低级特征图与高级特征图连接起来，创建自上而下的特征图。

借鉴迁移学习的思路，将主干卷积网络ResNet-101在ImageNet分类集中进行预训练，后期开展缺陷检测工作时只需对参数进行微调。

将深度学习方法与特征金字塔变换相结合，增加上、下特征层的联系。

所述步骤(4)中，对模型的评估主要分解为两个方面：缺陷区域定位和缺陷分类。对于缺陷区域定位，计算相交结合(IoU)作为评估指标；对于缺陷分类，将平均计算精度(mAP)作为评估指标。

所述步骤(5)中，评估的结果未能达到检测的要求时，可在增加训练样本多样性和数量的同时，精细化调整相交结合阈值、学习率和动量等参数。

缺陷自动检测流程，易于扩展到其它领域的微小缺陷检测。

下面参照附图对本发明的具体实施方式展开进一步的详细描述。

实施例

如图1所示，一种基于深度学习的PCB故障自动检测方法，步骤如下：

(1)对原始数据进行预处理，作数据格式和尺寸转换，完成数据集划分；

首先将PCB图像裁剪为600×600子图像，然后把数据集格式转换为面向TensorFlow接口统一的数据输入格式，再对数据集划分成训练和推理两部分。其中，训练数据集包含8250张，测试数据集包含2102张。

(2)对预处理后的图像进行数据增强处理；

数据增强目的：

1)扩展训练样本，降低神经网络各参数的过度拟合的风险；

2)减少采集成本，带有缺陷的PCB数量较少，收集周期长；

本发明采用了六种传统的数据增强技术，包括高斯噪声添加、光照改变、图像旋转、翻转、随机裁剪和移位。其中，高斯噪声添加或光照改变等简单操作不需要改变边界框的值。在旋转、剪切和移动图像时，边界框的相应值已更改，利用方法进一步调整。而六种数据增强方法的关键问题是随机裁剪阶段的缺陷截断，设置一个阈值并丢弃这些异常的边界框。

(3)将增强后的数据输入到一种新的微小缺陷检测网络，训练出缺陷检测模型；

(3.1)PCB缺陷图像不同于开源数据集中常见的图像。用工业相机收集的PCB图像通常具有较大的分辨率，如2777×2138，而图像中的缺陷仅占整个图像区域的一小部分。因此，需要设计合理的锚点尺寸，在PCB训练集边界框上使用k-means聚类来自动找到合理的锚点尺寸。利用具有距离度量的标准k-means算法，将有框区域的比例尺设置为{15²，25²，40²，60²}，宽高比设置为{2:1，3:1，4:1，5:1}。

(3.2)使用ResNet-101作为主干卷积网络提取特征。首先，基于ResNet-101模型在ImageNet分类集中进行了预训练，然后在PCB缺陷数据集上迁移训练，并对参数进行微调。其中，ResNets模型中设置四个残差块{conv2_x，conv3_x，conv4_x，conv5_x}，最后一个残差块的输出作为特征图参考集，将conv2，conv3，conv4和conv5这些残差块的输出分别表示为C2，C3，C4和C5。相对于输入图片，将滑动的步幅分别设置为{4,8,16,32}。

(3.3)将低层和高层的特征图连接起来。首先，为了减小通道尺寸，从下到上对每个对应特征图进行1×1的卷积运算，然后通过逐元素加法将上采样的图与相应的自下而上的图连接。过程举例如下，最后一层的最后一个输出特征图{C5}经过1×1卷积层产生分辨率最粗糙图，然后对这个特征图进行2倍上采样，最后被上采样特征图与低层特征图合并。图连接完成后，在每个合并的特征图上附加一个3×3的卷积层以生成最终的特征图。将分别对应于{C2，C3，C4，C5}特征图的最终集合表示为{P2，P3，P4，P5}，两者的空间大小保持不变。

(4)将训练后得到的模型进行性能评估；

对模型的评估主要考虑两个方面：缺陷区域定位和缺陷分类。对于缺陷区域定位，计算相交结合(IoU)作为评估指标，默认情况下，将IoU阈值设置0.5来确定PCB缺陷数据集上的真实正值。

其中GT表示基本事实，DR表示检测结果。对于缺陷分类，将平均计算精度(mAP)作为评估指标。通常情况下，使用阈值为0.5的IoU作为mAP的评估指标。

在评估过程中，为了完成基于TensorFlow的PCB缺陷检测流程，将输入图像裁剪600×600的子图像，使用预训练的ResNet-101模型在1个GPU上进行实验，每个图像包含了512个感兴趣区域，并将学习率和动量分别设置为0.0001和0.9。试验结果证明了网络的有效性，以及合理的锚点尺寸设计和多尺度特征融合的重要性。

(5)参照步骤(4)评估的结果，对模型开展进一步的优化。

当评估的结果能满足要求时，可直接对采集的PCB图像进行模型推理，完成板上六大缺陷目标的检测与识别；当评估的结果未能达到检测的要求时，可在增加训练样本多样性和数量的同时，精细化调整相交结合阈值、学习率和动量等参数。

Claims (8)

1.一种基于深度学习的PCB缺陷自动检测方法，其特征在于，步骤如下：

(1)对原始数据进行预处理，作数据格式和尺寸转换，完成数据集划分；

(2)对预处理后的图像进行数据增强处理；

(3)将增强后的数据输入到微小缺陷检测网络，训练出缺陷检测模型；

(4)将训练后得到的模型进行性能评估；

(5)结合步骤(4)评估的结果，对模型进行进一步的优化。

2.根据权利要求1所述的基于深度学习的PCB缺陷自动检测方法，其特征在于，所述预处理是将数据集格式转换为面向TensorFlow接口统一的数据输入格式，PCB图像尺寸为600×600；对数据集划分成训练数据集为8250张，测试数据集为2102张的两部分。

3.根据权利要求1所述的基于深度学习的PCB缺陷自动检测方法，其特征在于，采用6种数据增强方法：高斯噪声添加、光照改变、图像旋转、翻转、随机裁剪和移位，并对图像旋转、翻转、随机裁剪和移位方法产生的结果进行阈值过滤。

4.根据权利要求1所述的基于深度学习的PCB缺陷自动检测方法，其特征在于：步骤(3)具体为：

(3.1)利用具有距离度量的标准k-means算法，将有框区域的比例尺设置为{15²，25²，40²，60²}，宽高比设置为{2:1，3:1，4:1，5:1}；

(3.2)使用ResNet-101作为主干卷积网络提取特征；对ResNet-101模型在ImageNet分类集中进行预训练，并在PCB缺陷数据集上进行微调；

(3.3)利用高分辨率特征图的结构信息，将低级特征图与高级特征图连接起来，创建自上而下的特征图。

5.根据权利要求4所述的基于深度学习的PCB缺陷自动检测方法，其特征在于，所述步骤(3.3)具体方法为：从下到上对每个对应特征图进行1×1的卷积运算，通过逐元素加法将上采样的图与相应的自下而上的图连接；图连接完成后，在每个合并的特征图上附加一个3×3的卷积层以生成最终的特征图。

6.根据权利要求1所述的基于深度学习的PCB缺陷自动检测方法，其特征在于，对模型的评估主要分解为两个方面：缺陷区域定位和缺陷分类；对于缺陷区域定位，计算相交结合作为评估指标；对于缺陷分类，将平均计算精度作为评估指标。

7.根据权利要求6所述的基于深度学习的PCB缺陷自动检测方法，其特征在于，对于缺陷区域定位，计算相交结合作为评估指标，将IoU阈值设置为0.5来确定PCB缺陷数据集上的真实正值；对于缺陷分类，将平均计算精度作为评估指标，使用阈值为0.5的IoU作为mAP的评估指标。

8.根据权利要求1所述的基于深度学习的PCB缺陷自动检测方法，其特征在于，评估的结果未能达到检测的要求时，在增加训练样本多样性和数量的同时，调整相交结合阈值、学习率和动量。

Images