CN115511820A - 一种柔体线路板缺陷检测模型训练方法及缺陷检测方法 - Google Patents

一种柔体线路板缺陷检测模型训练方法及缺陷检测方法 Download PDF

Info

Publication number
CN115511820A
CN115511820A CN202211151164.5A CN202211151164A CN115511820A CN 115511820 A CN115511820 A CN 115511820A CN 202211151164 A CN202211151164 A CN 202211151164A CN 115511820 A CN115511820 A CN 115511820A
Authority
CN
China
Prior art keywords
circuit board
flexible circuit
defect detection
detection model
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211151164.5A
Other languages
English (en)
Inventor
章张健
周迪斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Kede Software Circuit Board Co ltd
Original Assignee
Suzhou Kede Software Circuit Board Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Kede Software Circuit Board Co ltd filed Critical Suzhou Kede Software Circuit Board Co ltd
Priority to CN202211151164.5A priority Critical patent/CN115511820A/zh
Publication of CN115511820A publication Critical patent/CN115511820A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30141—Printed circuit board [PCB]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种柔体线路板缺陷检测模型训练方法及缺陷检测方法，柔体线路板缺陷检测模型的训练方法包括：获取柔体线路板原始图像，对柔体线路板原始图像中的目标缺陷进行标注，得到一个或多个数据集；采用马赛克数据增强方法和/或随机裁剪数据增强方法对所述数据集进行数据增强扩充得到样本集；基于YOLOv4算法，构建并改进YOLOv4结构，得到改进的YOLOv4模型；利用所述样本集，对所述改进的YOLOv4模型进行训练，得到柔体线路板缺陷检测模型；利用该训练方法得到的检测模型对柔体线路板的缺陷进行检测更精确、更快速。

Description

一种柔体线路板缺陷检测模型训练方法及缺陷检测方法
技术领域
本发明涉及柔体线路板缺陷检测技术领域，尤其涉及一种柔体线路板缺陷检测模型训练方法及缺陷检测方法。
背景
柔体线路板具有可以自由弯曲、卷绕和折叠的特点，能够满足各种空间布局需求；用于电子产品中，可有效缩小电子产品的体积和重量，满足电子产品向高密度、小型化、高可靠方向发展的需要。但是，在生产柔体线路板过程中，因为工艺缺陷、环境的影响和人员操作不当等因素，会产生气泡、孔里阻焊、飞白、表面有污物、表面不均匀等缺陷，使柔体线路板良率过低。对柔体线路板缺陷的检测至关重要，是提高电子产品合格率的前提。
YOLOv4算法是在YOLO(You Only Live Once)目标检测架构的基础上，从数据处理、主干网络、网络训练、激活函数、损失函数等各个方面进行不同程度的优化，将YOLOv4算法应用于目标检测领域，有着不错的分类精度和检测精度。但是，由于柔体线路板图像种类多、位置随机、缺陷小等特征，传统的目标检测方法难以实现对柔体线路板缺陷的精确检测，通过YOLOv4网络也难以对柔体线路板表面较小的目标缺陷进行精准的定位和分类。
以上背景技术内容的公开仅用于辅助理解本发明的发明构思及技术方案，其并不必然属于本专利申请的现有技术，也不必然会给出技术教导；在没有明确的证据表明上述内容在本专利申请的申请日之前已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。
发明内容
本发明的目的是提供一种基于YoloV4-Ghost的柔体线路板缺陷检测模型训练方法及缺陷检测方法，能够对柔体线路板表面的较小的缺陷目标进行精准的定位和分类，提高了表面缺陷的检测精度和效率，节约人工成本。
为达到上述目的，本发明采用的技术方案如下：
一种基于YoloV4-Ghost的柔体线路板缺陷检测模型训练方法，包括以下步骤：
获取柔体线路板原始图像，对柔体线路板原始图像中的目标缺陷进行标注，得到一个或多个数据集；
采用马赛克数据增强方法和/或随机裁剪数据增强方法对所述数据集进行数据增强扩充操作，得到样本集；
基于YOLOv4算法，构建YOLOv4结构，并采用GhostNet网络结构作为特征提取骨干网络，使用特征金字塔CSPP模块，及将所述YOLOv4结构的neck部分改进为SPANet结构，得到改进的YOLOv4模型；
利用所述样本集，对所述改进的YOLOv4模型进行训练，得到柔体线路板缺陷检测模型。
进一步地，承前所述的任一技术方案或多个技术方案的组合，所述改进的YOLOv4模型包括特征提取骨干网络、特征金字塔CSPP模块、SPANet路径聚合网络模块和多分类器模块；
所述GhostNet网络结构被配置为生成并输出四个特征图A1、A2、A3和A4；
所述特征图A1、A2、A3和A4传输至所述特征金字塔CSPP模块，生成并输出特征图C1、C2、C3和C4；
所述特征图C1、C2、C3和C4传输至所述SPANet路径聚合网络模块，生成有效特征图。
进一步地，承前所述的任一技术方案或多个技术方案的组合，所述SPANet路径聚合网络模块对所述特征图C1、C2、C3和C4的处理步骤为：
对所述四个特征图C1、C2、C3、C4分别进行卷积运算，生成C1_0、C2_0、C3_0、C4_0；
对C4_0进行上采样操作，得到C4_1；将C3_0和C4_1进行特征融合，形成C3_1；对C3_1的有效特征层进行多次卷积运算，形成C3_2；对C3_2进行上采样，并将其上采样结果与C2_0进行特征融合，形成C2_1；将C1_0和C2_1进行特征融合，形成C1_1；对C1_1的有效特征层进行多次卷积运算，形成C1_2；对C1_2进行下采样，并将其下采样结果与C2_1进行拼接，形成C2_2；对C2_2进行下采样和卷积运算，并将其运算结果与C3_2进行拼接，形成C3_3；将C3_3与C4_1进行拼接，形成C4_2；
对C1_2进行卷积运算，生成有效特征图P1；
对所述有效特征图P1进行最大池化操作后与C2_2逐元素相加，再进行卷积运算，生成有效特征图P2；
对所述有效特征图P2进行卷积运算和最大池化操作后与C3_2逐元素相加，并对得到的结果进行卷积运算，生成有效特征图P3；
将所述有效特征图P3与C4_2逐元素相加，并对得到的结果进行卷积运算，生成有效特征图P4。
进一步地，承前所述的任一技术方案或多个技术方案的组合，所述特征金字塔CSPP模块对所述特征图A1、A2、A3和A4进行操作的步骤为：
所述特征金字塔CSPP模块将所述特征图A1、A2、A3和A4分别传输经过5、9、13的池化层，并且通过卷积核大小为5、7、9的卷积，将通过池化和卷积的六层特征图进行拼接，再进行一次卷积核为1的卷积操作，对应生成并输出特征图C1、C2、C3和C4。
进一步地，承前所述的任一技术方案或多个技术方案的组合，所述多分类器模块包括多个Yolo Head分类器，所述多个Yolo Head分类器用于接收不同大小的融合特征。
进一步地，承前所述的任一技术方案或多个技术方案的组合，对所述数据集进行数据增强扩充的操作包括：
采用对所述数据集进行加噪、平移、旋转、裁剪、仿射变换、增加灰度、融合特定背景中的一种或多种方式，实现数据增强和/或扩充。
进一步地，承前所述的任一技术方案或多个技术方案的组合，所述目标缺陷包括摺痕、压痕、异物、氧化。
进一步地，承前所述的任一技术方案或多个技术方案的组合，将所述样本集划分为训练集和验证集，所述训练集的样本数大于所述验证集的样本数；
利用所述训练集对所述改进的YOLOv4模型进行训练，得到柔体线路板缺陷检测模型；
利用所述验证集对得到的柔体线路板缺陷检测模型的检测能力进行验证，评估所述柔体线路板缺陷检测模型的性能；
验证评估所述柔体线路板缺陷检测模型的性能是否满足要求，如果满足则将当前的柔体线路板缺陷检测模型用于柔体线路板的缺陷检测；否则，需要微调模型的网络参数和/或增加所述训练集的样本数，优化所述柔体线路板缺陷检测模型，直至得到通过验证的柔体线路板缺陷检测模型。
进一步地，承前所述的任一技术方案或多个技术方案的组合，验证评估所述柔体线路板缺陷检测模型的性能包括缺陷分类评估，所述缺陷分类评估步骤为：
计算所述柔体线路板缺陷检测模型的平均精度mAP，其计算公式为：
Figure BDA0003856427840000041
其中，APi为第i个缺陷分类的精度，k为缺陷分类的数量；
若平均精度mAP≥90％，则认定所述柔体线路板缺陷检测模型能够对各类缺陷进行精确检测，否则对所述柔体线路板缺陷检测模型进行优化。
根据本发明的另一方面，本发明提供了一种柔体线路板缺陷检测方法，包括以下步骤：
获取待检测的柔体线路板的图像；
采用马赛克数据增强方法和/或随机裁剪数据增强方法对所述数据集进行数据增强扩充得到样本集；
将所述样本集输入预先完成训练的柔体线路板缺陷检测模型进行检测；
所述柔体线路板缺陷检测模型输出检测结果，输出的检测结果包括目标缺陷的位置、目标缺陷的类别以及目标缺陷的置信度；
其中，所述柔体线路板缺陷检测模型通过以下步骤完成训练：
获取柔体线路板原始图像，对柔体线路板原始图像中的目标缺陷进行标注，得到一个或多个数据集；
采用马赛克数据增强方法和/或随机裁剪数据增强方法对所述数据集进行数据增强扩充得到样本集。
基于YOLOv4算法，构建并改进YOLOv4结构，得到改进的YOLOv4模型；
利用所述样本集，对所述改进的YOLOv4模型进行训练，得到柔体线路板缺陷检测模型。
根据本发明的另一方面，提供了另一种基于YoloV4-Ghost的柔体线路板缺陷检测模型训练方法，包括以下步骤：
获取柔体线路板图像并进行预处理，标注图像中的目标缺陷，形成一个或多个数据集，并将每个数据集划分为训练集和验证集，所述训练集的样本数大于所述验证集的样本数；
基于YOLOv4算法，构建并改进YOLOv4结构，得到改进的YOLOv4模型；
将所述训练集输入所述改进的YOLOv4模型进行训练，得到柔体线路板缺陷检测模型；
将所述验证集输入柔体线路板缺陷检测模型，评估所述柔体线路板缺陷检测模型的性能；若满足要求，则当前模型用作柔体线路板缺陷检测模型，否则，优化、调整所述柔体线路板缺陷检测模型的参数和/或增加训练集样本数，优化模型，直至得到通过验证的柔体线路板缺陷检测模型。
进一步地，承前所述的任一技术方案或多个技术方案的组合，所述训练集的数据数量为X，所述验证集的数据数量为Y，4Y≤X≤8Y。
进一步地，承前所述的任一技术方案或多个技术方案的组合，采用马赛克数据增强方法和/或随机裁剪数据增强方法对所述数据集进行数据增强扩充得到样本集，将得到的样本集划分为所述训练集和所述验证集。
进一步地，承前所述的任一技术方案或多个技术方案的组合，对所述数据集进行数据增强扩充的操作包括：
对所述数据集进行加噪、平移、旋转、裁剪、仿射变换、增加灰度、融合特定背景中的一种或多种方式，实现数据增强和/或扩充。
进一步地，承前所述的任一技术方案或多个技术方案的组合，所述改进的YOLOv4模型包括特征提取骨干网络模块、特征金字塔CSPP模块、SPANet路径聚合网络模块和多分类器模块；
所述GhostNet网络结构被配置为生成并输出四个特征图A1、A2、A3和A4；
所述特征图A1、A2、A3和A4传输至所述特征金字塔CSPP模块，生成并输出特征图C1、C2、C3和C4；
所述特征图C1、C2、C3和C4传输至所述SPANet路径聚合网络模块，生成有效特征图。
进一步地，承前所述的任一技术方案或多个技术方案的组合，所述SPANet路径聚合网络模块对所述特征图C1、C2、C3和C4的处理步骤为：
对所述四个特征图C1、C2、C3、C4分别进行卷积运算，生成C1_0、C2_0、C3_0、C4_0；
对C4_0进行上采样操作，得到C4_1；将C3_0和C4_1进行特征融合，形成C3_1；对C3_1的有效特征层进行多次卷积运算，形成C3_2；对C3_2进行上采样，并将其上采样结果与C2_0进行特征融合，形成C2_1；将C1_0和C2_1进行特征融合，形成C1_1；对C1_1的有效特征层进行多次卷积运算，形成C1_2；对C1_2进行下采样，并将其下采样结果与C2_1进行拼接，形成C2_2；对C2_2进行下采样和卷积运算，并将其运算结果与C3_2进行拼接，形成C3_3；将C3_3与C4_1进行拼接，形成C4_2；
对C1_2进行卷积运算，生成有效特征图P1；
对所述有效特征图P1进行最大池化操作后与C2_2逐元素相加，再进行卷积运算，生成有效特征图P2；
对所述有效特征图P2进行卷积运算和最大池化操作后与C3_2逐元素相加，再进行卷积运算，生成有效特征图P3；
将P3与C4_2逐元素相加，再进行卷积运算，生成有效特征图P4。
进一步地，承前所述的任一技术方案或多个技术方案的组合，所述特征金字塔CSPP模块对所述特征图A1、A2、A3和A4进行操作的步骤为：
所述特征金字塔CSPP模块将所述特征图A1、A2、A3和A4分别传输经过5、9、13的池化层，并且通过卷积核大小为5、7、9的卷积，将通过池化和卷积的六层特征图进行拼接，再进行一次卷积核为1的卷积操作，对应生成并输出特征图C1、C2、C3和C4。
进一步地，承前所述的任一技术方案或多个技术方案的组合，所述多分类器模块包括多个Yolo Head分类器，所述多个Yolo Head分类器用于接收不同大小的融合特征。
进一步地，承前所述的任一技术方案或多个技术方案的组合，验证评估所述柔体线路板缺陷检测模型的性能包括缺陷分类评估，所述缺陷分类评估步骤为：
计算所述柔体线路板缺陷检测模型的平均精度mAP，其计算公式为：
Figure BDA0003856427840000061
其中，APi为第i个缺陷分类的精度，k为缺陷分类的数量；
若平均精度mAP≥90％，则认定所述柔体线路板缺陷检测模型能够对各类缺陷进行精确检测，否则对所述柔体线路板缺陷检测模型进行优化。
进一步地，承前所述的任一技术方案或多个技术方案的组合，所述目标缺陷包括摺痕、压痕、异物、氧化。
本发明提供的技术方案带来的有益效果如下：
a.柔体线路板缺陷检测模型能够检测多种目标缺陷，解决了传统算法只能检测特定缺陷的问题，提高了检测精度和效率，节约人工成本；
b.采用GhostNet网络结构作为特征提取骨干网络，使网络参数量相较于原有网络缩小了近三分之一，可适用于配置不高的工业机器；
c.采用CSPP网络结构有效避免了对图像区域裁剪、缩放操作导致的图像失真等问题，解决了卷积神经网络对图相关重复特征提取的问题，提高了检测速度和识别较小的目标缺陷的能力；
d.本发明提出SPANet路径聚合网络，进行了路径扩充和聚合以提高性能，自下而上的路径得到了增强，以使低层信息更易于传播。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1本发明的一个示例性实施例提供的柔体线路板缺陷检测模型训练的流程示意图；
图2为本发明的一个示例性实施例提供的YoloV4-Ghost网络结构图；
图3为本发明的一个示例性实施例提供的特征金字塔的CSPP模块示意图；
图4为本发明的一个示例性实施例提供的SPANet路径聚合网络模块示意图；
图5为本发明的一个示例性实施例提供的SPANet路径聚合网络模块处理特征图的流程示意图；
图6为本发明的一个示例性实施例提供的柔体线路板缺陷检测模型的验证流程图；
图7为本发明的一个示例性实施例提供的柔体线路板缺陷检测方法的流程示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、装置、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其他步骤或单元。
由于柔体线路板图像种类多、位置随机、缺陷小等特征，传统的目标检测方法难以实现对柔体线路板缺陷的精确检测，通过YOLOv4网络也难以对柔体线路板表面较小的目标缺陷进行精准的定位和分类。本发明结合YoloV4和GhostNet(一种轻量化网络模块)应用于柔体线路板缺陷检测中，能够更快、更准确地检测柔体线路板表面的目标缺陷。本发明基于YOLOv4算法，构建并改进YOLOv4结构，得到一种适用于柔体线路板缺陷检测的模型，为此，本发明提供了一种对其训练的方法，如图1所示，柔体线路板缺陷检测模型的训练方法包括以下步骤：
获取柔体线路板原始图像，对柔体线路板原始图像中的目标缺陷进行标注，得到一个或多个数据集；
采用马赛克数据增强方法和/或随机裁剪数据增强方法对所述数据集进行数据增强扩充操作，得到样本集；
基于YOLOv4算法，构建YOLOv4结构，并采用GhostNet网络结构作为特征提取骨干网络，使用特征金字塔CSPP模块，及将所述YOLOv4结构的neck部分改进为SPANet结构，得到改进的YOLOv4模型；
利用所述样本集，对所述改进的YOLOv4模型进行训练，得到柔体线路板缺陷检测模型。
在本发明的一个实施例中，采集工业现场的柔体线路板目标检测图像，经过人工对柔体线路板图像中的缺陷进行标注，得出数据集；对所述数据集进行数据增强扩充得到样本集；可采用马赛克数据增强方法和/或随机裁剪数据增强方法对数据集进行数据增强扩充。本实施例中，随机抽取50％的数据集使用马赛克数据增强方法进行扩充，随机抽取50％的数据集使用随机裁剪数据增强方法进行扩充，将上述两种数据增强方式结合对所述数据集进行加噪、平移、旋转、裁剪、仿射变换、增加灰度、融合特定背景中的一种或多种方式，实现数据增强和/或扩充，获得所述的样本集。采用两种数据增强方式进行数据增强扩充得到样本集，增强了网络的鲁棒性，防止过拟合。
获取样本集后，解析网络配置，将网络anchor的像素面积设置为{12，16，19，36，40，28，36，75，76，55，72，146，142，110，192，243，459,401}，anchor_mask的比例设置为[[6,7,8],[3,4,5],[0,1,2]]，启动加载数据的线程后开始训练网络，将所述样本集输入改进的YOLOv4模型中进行多次迭代训练，迭代次数为N+M次，其中前N代学习率设置为0.0005-0.005，后M代学习率设置为0.00005-0.0005，N和M均不小于50。本实施例中，前N代学习率设置为0.001，后M代学习率设置为0.0001，N＝M＝100。每10次迭代保存一次权重，并更新最佳权重和最后权重直到迭代次数达到最大值，该最大值可以为经验值或设定值。
在本发明的一个实施例中，将GhostNet应用于YOLOv4算法提出改进的YOLOv4模型，所述改进的YOLOv4模型包括特征提取骨干网络模块、特征金字塔CSPP模块、SPANet路径聚合网络模块和多分类器模块。参见图2，所述的特征提取骨干网络为GhostNet轻量级网络结构。在训练过程中，所述GhostNet网络结构被配置为生成并输出四个特征图A1、A2、A3和A4，每个所述特征图的尺寸大小为13*13。将所述特征图A1、A2、A3和A4传输至所述特征金字塔CSPP模块，生成并输出特征图C1、C2、C3和C4；将所述特征图C1、C2、C3和C4传输至所述SPANet路径聚合网络模块，生成有效特征图。训练结束后，得到柔体线路板缺陷检测模型。
其中，使用GhostNet网络作为本发明网络结构的特征提取骨干网络，在一定程度上大大缩小计算量和参数量，运用在工业上更加轻量化；其中，计算量和参数量的计算公式分别如下；
计算量：
Figure BDA0003856427840000101
其中，n为输出通道数，h为图片的高，w为图片的宽，c输入通道数，k卷积核大小，s加速比，d每个线性操作的核大小。
参数量：
Figure BDA0003856427840000102
其中，n为输出通道数，c输入通道数，k卷积核大小，s加速比，d每个线性操作的核大小。
参见3，为本发明的一个示例性实施例提供的特征金字塔的CSPP模块示意图；在现有的SPP模块基础上增加三层卷积操作，所述四个特征图A1、A2、A3和A4进入特征金字塔CSPP模块，先经过5、9、13的池化层，再通过卷积核大小为5、7、9的卷积，将通过池化和卷积的六层特征图进行拼接，在进行一次卷积核大小为1的卷积操作，生成并输出特征图C1、C2、C3和C4，从而达到减少通道数。采用新提出的CSPP网络结构作为本网络的Neck部分，使得网络对小目标的识别能力更准确，增强了对较小的目标缺陷特征的提取能力。
参见4，为本发明的一个示例性实施例提供的SPANet路径聚合网络模块示意图；参见图5，将所述特征图C1、C2、C3和C4输入所述SPANet路径聚合网络模块，该模块对所述四个特征图的C1、C2、C3和C4进行的操作步骤为：
对所述四个特征图C1、C2、C3、C4进行1*1卷积运算生成C1_0、C2_0、C3_0、C4_0；
对C4_0进行上采样操作，得到C4_1；将C3_0和C4_1进行特征融合形成C3_1；对C3_1的有效特征层进行五次3*3卷积运算，形成C3_2；对C3_2进行上采样，并将其采样结果与C2_0进行特征融合，形成C2_1；将C1_0和C2_1进行特征融合，形成C1_1；对C1_1的有效特征层进行五次3*3卷积，形成C1_2；对C1_2进行下采样，并将其下采样结果与C2_1进行拼接，形成C2_2；对C2_2进行下采样和卷积操作后,将得到的结果与C3_2进行拼接，形成的C3_3；将C3_3与C4_1进行拼接形成C4_2；并重复堆叠N次。
对C1_2进行3*3卷积运算，生成有效特征图P1；
对所述有效特征图P1最大池化操作后与C2_2逐元素相加，并对得到的结果进行3*3卷积运算，生成有效特征图P2；
对所述有效特征图P2进行3*3卷积运算和最大池化操作后与C3_2逐元素相加，并对得到的结果进行3*3卷积运算，生成有效特征图P3；
将P3与C4_2逐元素相加，对得到的结果进行3*3卷积运算，生成有效特征图P4然后输入至所述多分类器模块。
在本实施例中，SPANet路径聚合网络结构的输入层，增加了自顶向下的路径，使顶层信息更容易传播，且空间信息和语义信息较原YOLOv4模型更加丰富，特征图的重要特征更加突出，能够有效提高检测与识别的准确度。
在本发明的一个实施例中，所述多分类器模块包括四个Yolo Head分类器、四个多分类器模块接收特征融合模块输出不同大小的融合特征，其包括13*13、26*26、52*52、104*104的融合特征。
训练结束后，将底层特征图P1、P2、P3和P4和高层特征图C1、C2、C3和C4语义信息结合起来，创建自下而上，自左而右的特征图block；检测一张图像中会有很多预测框，预测的结果间可能存在高冗余进行非极大抑制可以过滤掉与同一检测对象中置信度分数最高的预测框超过阈值的其他预测框，即同一预测框的多个预测结果只取置信度分数最高的那个预测结果。
在柔体线路板缺陷检测模型的训练过程中，还涉及模型的验收和评估：参见图6，利用所述样本集构建训练集和验证集，具体为将所述样本集按照一定比例划分为训练集和验证集，并且训练集的样本数大于验证集的样本数，即X>Y，X为所述训练集的样本数，Y为所述验证集的样本数，优选地，4Y≤X≤8Y；利用所述训练集对所述改进的YOLOv4模型进行多次迭代训练，得到柔体线路板缺陷检测模型；
利用所述验证集对得到的柔体线路板缺陷检测模型的检测能力进行验证，评估所述柔体线路板缺陷检测模型的性能；
验证评估所述柔体线路板缺陷检测模型的性能是否满足要求，如果满足则将当前的柔体线路板缺陷检测模型用于柔体线路板的缺陷检测；否则，需要微调模型的网络参数(包括但不限于前迭代次数N、后迭代次数M、前N代学习率、后M代学习率、通道数、卷积核大小、加速比、每个线性操作的核大小和卷积运算次数中的一种或者多种的组合)和/或增加所述训练集的样本数，优化所述柔体线路板缺陷检测模型，直至得到通过验证的柔体线路板缺陷检测模型。
其中，验证评估所述柔体线路板缺陷检测模型的性能主要包括缺陷分类评估，所述缺陷分类评估步骤为：
计算所述柔体线路板缺陷检测模型的平均精度mAP，其计算公式为：
Figure BDA0003856427840000121
其中，APi为第i个缺陷分类的精度，k为缺陷分类的数量。
若平均精度mAP≥90％，则认定所述柔体线路板缺陷检测模型能够对各类缺陷进行精确检测，否则需要对所述柔体线路板缺陷检测模型进行优化，主要通过增加所述训练集样本数量、调整学习率和增加迭代次数中的一种或者多种组合来实现。
在本发明的一个实施例中，将训练集和验证集按8.5:1.5(X:Y＝8.5:1.5)的比例划分数据集，训练集的图像数据用于模型的训练，验证集的图像数据用于验证模型的检测能力，模型通过大量的训练，根据验证结果选择增加所述训练集样本数量、调整学习率和增加迭代次数中的一种或者多种组合，对所述柔体线路板缺陷检测模型进行优化。
在本发明的一个实施例中，提供了一种柔体线路板缺陷检测方法，如图7所示，检测方法包括以下步骤：
采集现场的柔体线路板图像，对柔体线路板图像中的目标缺陷进行标注，得到数据集；
采用马赛克数据增强方法和/或随机裁剪数据增强方法对所述数据集进行数据增强扩充得到样本集；
将所述样本集输入预先完成训练的柔体线路板缺陷检测模型；
所述柔体线路板缺陷检测模型输出检测结果，输出的检测结果包括目标缺陷的位置、目标缺陷的类别以及目标缺陷的置信度；
其中，所述柔体线路板缺陷检测模型通过以下步骤完成训练：
获取柔体线路板原始图像，对柔体线路板原始图像中的目标缺陷进行标注，得到一个或多个数据集；
采用马赛克数据增强方法和/或随机裁剪数据增强方法对所述数据集进行数据增强扩充得到样本集。
基于YOLOv4算法，构建并改进YOLOv4结构，得到改进的YOLOv4模型；
利用所述样本集，对所述改进的YOLOv4模型进行训练，得到柔体线路板缺陷检测模型；
对得到柔体线路板缺陷检测模型进行验证、评估，并根据验证、评估结果选择性优化柔体线路板缺陷检测模型。
本柔体线路板缺陷检测的实施是利用上述训练方法所训练得到的柔体线路板缺陷检测模型对输入的待检测的柔体线路板的图像进行检测，进而输出缺陷检测结果，检测结果包括：目标缺陷的位置、目标缺陷的类别以及目标缺陷的置信度。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本申请的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种基于YoloV4-Ghost的柔体线路板缺陷检测模型训练方法，其特征在于，包括以下步骤：
获取柔体线路板原始图像，对柔体线路板原始图像中的目标缺陷进行标注，得到一个或多个数据集；
采用马赛克数据增强方法和/或随机裁剪数据增强方法对所述数据集进行数据增强扩充操作，得到样本集；
基于YOLOv4算法，构建YOLOv4结构，并采用GhostNet网络结构作为特征提取骨干网络，使用特征金字塔CSPP模块，及将所述YOLOv4结构的neck部分改进为SPANet结构，得到改进的YOLOv4模型；
利用所述样本集，对所述改进的YOLOv4模型进行训练，得到柔体线路板缺陷检测模型。
2.根据权利要求1所述的基于YoloV4-Ghost的柔体线路板缺陷检测模型训练方法，其特征在于，所述改进的YOLOv4模型包括特征提取骨干网络、特征金字塔CSPP模块、SPANet路径聚合网络模块和多分类器模块；
所述GhostNet网络结构被配置为生成并输出四个特征图A1、A2、A3和A4；
所述特征图A1、A2、A3和A4传输至所述特征金字塔CSPP模块，生成并输出特征图C1、C2、C3和C4；
所述特征图C1、C2、C3和C4传输至所述SPANet路径聚合网络模块，生成有效特征图；
所述有效特征图传输至所述多分类器模块。
3.根据权利要求2所述的基于YoloV4-Ghost的柔体线路板缺陷检测模型训练方法，其特征在于，所述SPANet路径聚合网络模块对所述特征图C1、C2、C3和C4的处理步骤为：
对所述四个特征图C1、C2、C3、C4分别进行卷积运算，生成C1_0、C2_0、C3_0、C4_0；
对C4_0进行上采样操作，得到C4_1；将C3_0和C4_1进行特征融合，形成C3_1；对C3_1的有效特征层进行多次卷积运算，形成C3_2；对C3_2进行上采样，并将其上采样结果与C2_0进行特征融合，形成C2_1；将C1_0和C2_1进行特征融合，形成C1_1；对C1_1的有效特征层进行多次卷积运算，形成C1_2；对C1_2进行下采样，并将其下采样结果与C2_1进行拼接，形成C2_2；对C2_2进行下采样和卷积运算，并将其运算结果与C3_2进行拼接，形成C3_3；将C3_3与C4_1进行拼接，形成C4_2；
对C1_2进行卷积运算，生成有效特征图P1；
对所述有效特征图P1进行最大池化操作后与C2_2逐元素相加，再进行卷积运算，生成有效特征图P2；
对所述有效特征图P2进行卷积运算和最大池化操作后与C3_2逐元素相加，并对得到的结果进行卷积运算，生成有效特征图P3；
将所述有效特征图P3与C4_2逐元素相加，并对得到的结果进行卷积运算，生成有效特征图P4。
4.根据权利要求2所述的基于YoloV4-Ghost的柔体线路板缺陷检测模型训练方法，其特征在于，所述特征金字塔CSPP模块对所述特征图A1、A2、A3和A4进行操作的步骤为：
所述特征金字塔CSPP模块将所述特征图A1、A2、A3和A4分别传输经过5、9、13的池化层，并且通过卷积核大小为5、7、9的卷积，将通过池化和卷积的六层特征图进行拼接，再进行一次卷积核为1的卷积操作，对应生成并输出特征图C1、C2、C3和C4。
5.根据权利要求2所述的基于YoloV4-Ghost的柔体线路板缺陷检测模型训练方法，其特征在于，所述多分类器模块包括多个Yolo Head分类器，所述多个Yolo Head分类器用于接收不同大小的融合特征。
6.根据权利要求1所述的基于YoloV4-Ghost的柔体线路板缺陷检测模型训练方法，其特征在于，对所述数据集进行数据增强扩充的操作包括：
采用对所述数据集进行加噪、平移、旋转、裁剪、仿射变换、增加灰度、融合特定背景中的一种或多种方式，实现数据增强和/或扩充。
7.根据权利要求1所述的基于YoloV4-Ghost的柔体线路板缺陷检测模型训练方法，其特征在于，所述目标缺陷包括摺痕、压痕、异物、氧化。
8.根据权利要求1-7中任意一项所述的基于YoloV4-Ghost的柔体线路板缺陷检测模型训练方法，其特征在于，将所述样本集划分为训练集和验证集，所述训练集的样本数大于所述验证集的样本数；
利用所述训练集对所述改进的YOLOv4模型进行训练，得到柔体线路板缺陷检测模型；
利用所述验证集对得到的柔体线路板缺陷检测模型的检测能力进行验证，评估所述柔体线路板缺陷检测模型的性能；
验证评估所述柔体线路板缺陷检测模型的性能是否满足要求，如果满足则将当前的柔体线路板缺陷检测模型用于柔体线路板的缺陷检测；否则，需要微调模型的网络参数和/或增加所述训练集的样本数，优化所述柔体线路板缺陷检测模型，直至得到通过验证的柔体线路板缺陷检测模型。
9.根据权利要求8所述的基于YoloV4-Ghost的柔体线路板缺陷检测模型训练方法，其特征在于，验证评估所述柔体线路板缺陷检测模型的性能包括缺陷分类评估，所述缺陷分类评估步骤为：
计算所述柔体线路板缺陷检测模型的平均精度mAP，其计算公式为：
Figure RE-FDA0003952039260000031
其中，APi为第i个缺陷分类的精度，k为缺陷分类的数量；
若平均精度mAP≥90％，则认定所述柔体线路板缺陷检测模型能够对各类缺陷进行精确检测，否则对所述柔体线路板缺陷检测模型进行优化。
10.一种柔体线路板缺陷检测方法，其特征在于，包括以下步骤：
获取待检测的柔体线路板的图像；
采用马赛克数据增强方法和/或随机裁剪数据增强方法对所述数据集进行数据增强扩充得到样本集；
将所述样本集输入预先完成训练的柔体线路板缺陷检测模型进行检测；
所述柔体线路板缺陷检测模型输出检测结果，输出的检测结果包括目标缺陷的位置、目标缺陷的类别以及目标缺陷的置信度；
其中，所述柔体线路板缺陷检测模型通过以下步骤完成训练：
获取柔体线路板原始图像，对柔体线路板原始图像中的目标缺陷进行标注，得到一个或多个数据集；
采用马赛克数据增强方法和/或随机裁剪数据增强方法对所述数据集进行数据增强扩充得到样本集。
基于YOLOv4算法，构建并改进YOLOv4结构，得到改进的YOLOv4模型；
利用所述样本集，对所述改进的YOLOv4模型进行训练，得到柔体线路板缺陷检测模型。
CN202211151164.5A 2022-09-21 2022-09-21 一种柔体线路板缺陷检测模型训练方法及缺陷检测方法 Pending CN115511820A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211151164.5A CN115511820A (zh) 2022-09-21 2022-09-21 一种柔体线路板缺陷检测模型训练方法及缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211151164.5A CN115511820A (zh) 2022-09-21 2022-09-21 一种柔体线路板缺陷检测模型训练方法及缺陷检测方法

Publications (1)

Publication Number Publication Date
CN115511820A true CN115511820A (zh) 2022-12-23

Family

ID=84503746

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211151164.5A Pending CN115511820A (zh) 2022-09-21 2022-09-21 一种柔体线路板缺陷检测模型训练方法及缺陷检测方法

Country Status (1)

Country Link
CN (1) CN115511820A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116912237A (zh) * 2023-09-08 2023-10-20 江西拓荒者科技有限公司 一种基于图像识别的印制线路板缺陷检测方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116912237A (zh) * 2023-09-08 2023-10-20 江西拓荒者科技有限公司 一种基于图像识别的印制线路板缺陷检测方法及系统
CN116912237B (zh) * 2023-09-08 2023-12-12 江西麦可罗泰克检测技术有限公司 一种基于图像识别的印制线路板缺陷检测方法及系统

Similar Documents

Publication Publication Date Title
CN109299274B (zh) 一种基于全卷积神经网络的自然场景文本检测方法
CN110348319B (zh) 一种基于人脸深度信息和边缘图像融合的人脸防伪方法
CN108509978B (zh) 基于cnn的多级特征融合的多类目标检测方法及模型
CN111612807B (zh) 一种基于尺度和边缘信息的小目标图像分割方法
CN114155527A (zh) 一种场景文本识别方法和装置
CN115131797B (zh) 一种基于特征增强金字塔网络的场景文本检测方法
CN114372955A (zh) 一种基于改进神经网络的铸件缺陷x射线图自动识别法
WO2024051686A1 (zh) 缺陷检测模型的压缩训练方法和装置
CN111754507A (zh) 一种轻量化的基于强注意力机制的工业缺陷图像分类方法
CN112991364A (zh) 基于卷积神经网络跨模态融合的道路场景语义分割方法
CN111210417B (zh) 基于卷积神经网络的布匹缺陷检测方法
CN115511820A (zh) 一种柔体线路板缺陷检测模型训练方法及缺陷检测方法
CN114820541A (zh) 基于重构网络的缺陷检测方法
CN117067112B (zh) 一种水切割机及其控制方法
CN113052187B (zh) 一种基于多尺度特征融合的全局特征对齐目标检测方法
CN117853778A (zh) 一种基于改进的htc铸件dr图像缺陷识别方法
CN117218121A (zh) 一种铸件dr图像缺陷识别方法
CN117975087A (zh) 一种基于ECA-ConvNext铸件缺陷识别方法
CN111881914A (zh) 一种基于自学习阈值的车牌字符分割方法及系统
CN116524522A (zh) 一种基于卷积神经网络的女书文字识别方法及系统
CN113469984B (zh) 一种基于yolo结构的显示面板外观检测方法
CN111091550A (zh) 多尺寸自适应的pcb锡膏区域检测系统及检测方法
JP5211449B2 (ja) 認識距離を調整するプログラム、装置および方法、ならびに文字列を認識するプログラム
CN115953506A (zh) 基于图像生成模型的工业零件缺陷图像生成方法及系统
CN115761380A (zh) 基于逐通道特征融合的印花布匹瑕疵分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination