CN114494223A - Pcb缺陷检测模型训练方法、装置、电子设备和存储介质 - Google Patents

Pcb缺陷检测模型训练方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN114494223A
CN114494223A CN202210123688.7A CN202210123688A CN114494223A CN 114494223 A CN114494223 A CN 114494223A CN 202210123688 A CN202210123688 A CN 202210123688A CN 114494223 A CN114494223 A CN 114494223A
Authority
CN
China
Prior art keywords
image
fusion
training
pcb
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210123688.7A
Other languages
English (en)
Inventor
牟许东
余建波
程训
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Innovation Research Institute of Beihang University
Original Assignee
Hangzhou Innovation Research Institute of Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Innovation Research Institute of Beihang University filed Critical Hangzhou Innovation Research Institute of Beihang University
Priority to CN202210123688.7A priority Critical patent/CN114494223A/zh
Publication of CN114494223A publication Critical patent/CN114494223A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30141—Printed circuit board [PCB]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种PCB缺陷检测模型训练方法、装置、电子设备和存储介质，通过采集PCB的表面图像，对表面图像进行预处理得到表面缺陷图像，对表面缺陷图像中的缺陷进行标注，得到标注信息。将携带标注信息的表面缺陷图像划分为训练图像和测试图像，利用携带标注信息的训练图像对构建的神经网络模型进行训练，并利用测试图像队训练得到的神经网络模型进行测试，在测试结果满足预设要求时，停止训练并得到用于进行PCB表面缺陷检测的检测模型。该方法利用标注的表面缺陷图像训练得到模型，得到的模型可以用于后续的缺陷检测应用中，可以提高检测准确度的同时，提高检测方案的泛化性。

Description

PCB缺陷检测模型训练方法、装置、电子设备和存储介质
技术领域
本申请涉及图像处理技术领域，具体而言，涉及一种PCB缺陷检测模型训练方法、装置、电子设备和存储介质。
背景技术
高效、稳定且高精度的对制造过程中产生的缺陷的识别与检测是PCB(PrintedCircuit Board，印刷电路板)制造中的重要一环，PCB表面质量的好坏是判定一个PCB是否满足质量要求的重要依据。传统工业上对PCB表面缺陷的识别与检测主要是通过人工质检的方式完成，人工检测方法耗费大量人力，且存在效率低、精度低等问题，满足不了实时检测的需求。
现有技术中，基于人工特征的机器视觉检测技术在一定程度上弥补了人工质检的弊端，实现了缺陷自动检测，提高了生产PCB良品率。但是该检测方法仍然存在以下不足之处，难以满足生产的实际需求：首先，人工特征提取过程复杂且特征信息无法包含所有缺陷特征；第二，特征提取依然存在主动因素的影响，依赖于人为设计的特征，很难具有良好的可移植性；同时，在较为复杂的检测环境或者多目标的检测环境中，机器视觉的检测准确度和泛化能力较差；最后，当被检测的物体发生变化后，所有基于机器视觉的算法和参数都需要重新设计和开发。
发明内容
本申请的目的包括，例如，提供了一种PCB缺陷检测模型训练方法、装置、电子设备和存储介质，其能够提高PCB缺陷检测的准确度的同时，提升检测方案的泛化性。
本申请的实施例可以这样实现：
第一方面，本申请提供一种PCB缺陷检测模型训练方法，所述方法包括：
采集PCB的表面图像，对所述表面图像进行预处理得到表面缺陷图像；
对所述表面缺陷图像中的缺陷进行标注，得到标注信息；
将携带标注信息的表面缺陷图像划分为训练图像和测试图像；
利用携带标注信息的训练图像对构建的神经网络模型进行训练，并利用测试图像对训练得到的神经网络模型进行测试，在测试结果满足预设要求时，得到用于进行PCB表面缺陷检测的检测模型。
在可选的实施方式中，所述神经网络模型包括依次连接的特征提取模块、通道注意力机制模块、双向特征融合模块和预测子网络模块；
所述利用携带标注信息的训练图像对构建的神经网络模型进行训练的步骤，包括：
将携带标注信息的训练图像导入构建的神经网络模型包括的特征提取模块，得到所述训练图像对应的构成金字塔结构的多层特征图；
利用所述通道注意力机制模块对所述金字塔结构中的上层特征图进行增强处理，并针对每相邻两层特征图，从下至上将下层特征图与上层特征图进行融合处理，得到构成金字塔结构的多层融合图；
利用所述双向特征融合模块对所述多层融合图进行双向空间特征融合；
将经过双向空间特征融合处理后的多层融合图输入所述预测子网络模块，输出所述训练图像中PCB的缺陷信息。
在可选的实施方式中，所述利用所述通道注意力机制模块对所述金字塔结构中的上层特征图进行增强处理的步骤，包括：
针对所述金字塔结构中的任一上层特征图，利用所述通道注意力机制模块将该上层特征图与下一层的经过上采样的特征图进行逐像素相减，得到差分特征图；
对所述差分特征图进行全局平均池化处理，得到全局特征；
分别采用多个不同的激活函数对所述全局特征进行激活处理，得到各通道的激活值；
利用所述激活值乘以所述上层特征图的原始特征，得到所述上层特征图增强后的特征图。
在可选的实施方式中，所述针对每相邻两层特征图，从下至上将下层特征图与上层特征图进行融合处理，得到构成金字塔结构的多层融合图的步骤，包括：
按所述多层特征图中的自下向上的顺序进行处理，将下层特征图和位于其上一层的特征图进行融合处理，得到融合图；
对所述融合图进行上采样处理，并将所述融合图和位于其上一层的特征图进行融合处理，得到融合图，直至处理至所述多层特征图中的最顶层的特征图为止，得到构成金字塔结构的多层融合图。
在可选的实施方式中，所述利用所述双向特征融合模块对所述多层融合图进行双向空间特征融合的步骤，包括：
以所述多层融合图中的中间层融合图为基准，将所述中间层融合图之下的融合图进行上采样处理、将所述中间层融合图之上的融合图进行下采样处理，以调整至与所述中间层融合图相同的分辨率和通道数后进行融合；
依次分别从所述中间层融合图上采样和下采样以恢复至各个融合图原始的分辨率。
在可选的实施方式中，所述对所述表面图像进行预处理得到表面缺陷图像的步骤，包括：
对所述表面图像进行旋转和平移处理，以调整所述表面图像中PCB的方位；
对所述表面图像进行亮度调整以及噪声点增强处理。
在可选的实施方式中，所述方法还包括：
获取待检测PCB的待测图像；
将所述待测图像输入至训练完成的检测模型进行检测，得到所述待检测PCB的表面缺陷信息，所述表面缺陷信息包括缺陷类别和缺陷位置。
第二方面，本申请提供一种PCB缺陷检测模型训练装置，所述装置包括：
预处理模块，用于采集PCB的表面图像，对所述表面图像进行预处理得到表面缺陷图像；
标注模块，用于对所述表面缺陷图像中的缺陷进行标注，得到标注信息；
划分模块，用于将携带标注信息的表面缺陷图像划分为训练图像和测试图像；
训练模块，用于利用携带标注信息的训练图像对构建的神经网络模型进行训练，并利用测试图像对训练得到的神经网络模型进行测试，在测试结果满足预设要求时，得到用于进行PCB表面缺陷检测的检测模型。
第三方面，本申请提供一种电子设备，包括一个或多个存储介质和一个或多个与存储介质通信的处理器，一个或多个存储介质存储有处理器可执行的机器可执行指令，当电子设备运行时，处理器执行所述机器可执行指令，以执行前述实施方式中任意一项所述的方法步骤。
第四方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现前述实施方式中任意一项所述的方法步骤。
本申请实施例的有益效果包括，例如：
本申请提供一种PCB缺陷检测模型训练方法、装置、电子设备和存储介质，通过采集PCB的表面图像，对表面图像进行预处理得到表面缺陷图像，对表面缺陷图像中的缺陷进行标注，得到标注信息。将携带标注信息的表面缺陷图像划分为训练图像和测试图像，利用携带标注信息的训练图像对构建的神经网络模型进行训练，并利用测试图像队训练得到的神经网络模型进行测试，在测试结果满足预设要求时，停止训练并得到用于进行PCB表面缺陷检测的检测模型。该方法利用标注的表面缺陷图像训练得到模型，得到的模型可以用于后续的缺陷检测应用中，可以提高检测准确度的同时，提高检测方案的泛化性。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的PCB缺陷检测模型训练方法的流程图；
图2为本申请实施例提供的PCB缺陷检测模型训练方法的整体过程示意图；
图3为图1中步骤S104包含的子步骤的流程图；
图4为本申请实施例提供的检测模型的架构示意图；
图5为图3中步骤S1042包含的子步骤的流程图；
图6为本申请实施例提供的检测模型中双通道注意力机制模块的架构示意图；
图7为图3中步骤S1042包含的子步骤的另一流程图；
图8为本申请实施例提供的检测模型中双向特征融合模块的架构示意图；
图9为图3中步骤S1043包含的子步骤的流程图；
图10为本申请实施例提供的PCB缺陷检测模型训练方法中，检测方法的流程图；
图11为本申请实施例提供的电子设备的结构图；
图12为本申请实施例提供的PCB缺陷检测模型训练装置的功能模块框图。
图标：110-存储介质；120-处理器；130-PCB缺陷检测模型训练装置；131-预处理模块；132-标注模块；133-划分模块；134-训练模块；140-通信接口。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本申请的描述中，需要说明的是，在不冲突的情况下，本申请的实施例中的特征可以相互结合。
请参阅图1，为本申请实施例提供的PCB缺陷检测模型训练方法的流程图，该PCB缺陷检测模型训练方法有关的流程所定义的方法步骤可以由具备图像处理分析处理功能的电子设备所实现。下面将对图1所示的具体流程进行详细阐述。
S101，采集PCB的表面图像，对所述表面图像进行预处理得到表面缺陷图像。
S102，对所述表面缺陷图像中的缺陷进行标注，得到标注信息。
S103，将携带标注信息的表面缺陷图像划分为训练图像和测试图像。
S104，利用携带标注信息的训练图像对构建的神经网络模型进行训练，并利用测试图像对训练得到的神经网络模型进行测试，在测试结果满足预设要求时，得到用于进行PCB表面缺陷检测的检测模型。
PCB上集成有多个电子元器件，PCB上的电子元器件可能存在各种缺陷，例如断点、凸起、缺失等。电子元器件所存在的缺陷将对器件正常工作带来影响。因此，如何能够准确且便捷地实现PCB的缺陷检测十分重要。
本实施例中，可以采用图像采集设备采集PCB的表面图像，其中，图像采集设备可以是如照相机、摄像机等设备。采集到的表面图像中包含PCB的图像。可以将采集到的PCB的表面图像输入至电子设备中进行分析处理。本实施例中，该电子设备可为计算机设备，该计算机设备的配置可为GPU为NVIDIA RTX 2060 SUPER(8G内存)、CUDA 10.2.89和cuDNN7.6.5.32、基于python开源工具箱Keras和train models。
本实施例中，为了避免后续对于图像的处理，可以先对采集到的图像进行预处理。
例如，采集到的表面图像中PCB的方位并不端正，如其中PCB是倾斜一定角度的，这样将导致后续在图像识别分析处理时存在不便。此外，采集到的表面图像中还可能存在PCB图像处于边缘位置的问题，同样可能为后续的图像识别处理带来影响。
因此，本实施例中，对于表面图像的预处理的方式可以包括，如对表面图像进行旋转和平移处理，以调整表面图像中PCB的方位。如此，通过对表面图像进行旋转处理，可以将表面图像中的PCB旋转为端正的方向。也即，在PCB整体为矩形时，旋转处理后PCB的矩形边的方向为水平方向或垂直方向。
而对表面图像进行平移处理，实质为对其中的PCB图像进行平移处理，如此，将PCB图像移动至中间位置，以便于后续的分析处理。
此外，采集到的表面图像可能存在亮度上不足或者是存在噪声点。因此，对于表面图像的预处理方式还可以包括，如对表面图像进行亮度调整以及去噪处理。
如此，可将表面图像的亮度调整至适宜范围内，提高图像识别的精准度，而通过去除噪声点的处理，可以避免噪声点对于图像识别的干扰。
本实施例中，在对表面图像进行预处理得到表面缺陷图像后，可以对表面缺陷图像中的缺陷进行标注，其中，标注的方式可以是人工标注，缺陷的标注信息包括缺陷位置和缺陷类别，缺陷类别包括断点、凸起和缺失等。
本实施例中，每张表面缺陷图像中的标注信息可以生成一个标注文件，该标注文件的格式可为xml格式。可以将标注文件与对应的表面缺陷图像构建关联关系。此外，标注信息还可以包括表征表面缺陷图像是否存在缺陷的信息，也即有缺陷或无缺陷。例如，表面缺陷图像构成的集合表示为X＝{x1,…,xn}，而表征表面缺陷图像是否存在缺陷的信息的集合表示为Y＝{y1,…,yn}，其中，n为表面缺陷图像的数量。集合Y中每个信息可以转换为一个one-hot向量。
本实施例中，具有标注信息的表面缺陷图像为多张，可以将多张表面缺陷图像按一定的比例划分为训练图像和测试图像。可以利用训练图像对构建的神经网络模型进行训练，该神经网络模型可以是anchor-free深度学习FCOS模型。
在利用训练图像训练模型的过程中，可以采用损失函数作为训练的指导，本实施例中，损失函数可为CIoU(complete intersection over union)。训练图像在经过模型的处理后，可以输出训练图像的缺陷信息。而训练图像本身携带有标注信息。基于损失函数以及训练图像的标注信息、模型输出的缺陷信息，可以计算得到损失函数值。在对模型的参数进行调整并经过多次训练后，若损失函数达到收敛，可停止训练过程。
在此基础上，可以利用测试图像对训练得到的模型进行测试，得到模型的测试结果，测试结果中可包括模型对于测试图像中PCB的缺陷的检测准确率和召回率。在测试结果满足预设要求，例如检测准确率和召回率达到设定值时，则表明当前训练得到的模型可以满足一定的要求，因此，当前得到的模型可以作为检测模型，以用于后续对于PCB图像的缺陷检测。
本实施例所提供的PCB缺陷检测模型训练方法，利用标注的表面缺陷图像训练得到模型，得到的模型可以用于后续的缺陷检测应用中，可以提高检测准确度的同时，提高检测方案的泛化性。
请参阅图2，在本实施例中，预先构建的神经网络模型包括依次连接的特征提取模块、通道注意力机制模块、双向特征融合模块和预测子网络模块。
请参阅图3，在上述利用训练图像对构建的神经网络模型进行训练时，可以通过以下方式实现：
S1041，将携带标注信息的训练图像导入构建的神经网络模型包括的特征提取模块，得到所述训练图像对应的构成金字塔结构的多层特征图。
S1042，利用所述通道注意力机制模块对所述金字塔结构中的上层特征图进行增强处理，并针对每相邻两层特征图，从下至上将下层特征图与上层特征图进行融合处理，得到构成金字塔结构的多层融合图。
S1043，利用所述双向特征融合模块对所述多层融合图进行双向空间特征融合。
S1044，将经过双向空间特征融合处理后的多层融合图输入所述预测子网络模块，输出所述训练图像中PCB的缺陷信息。
本实施例中，将携带标注信息的训练图像导入至特征提取模块，也即，将训练图像以及关联的标注文件一并导入特征提取模块。特征提取模块可为卷积神经特征提取网络层，例如可为ResNet-50网络层。训练图像经过特征提取模块的处理后，可以得到多层特征图，该多层特征图中各特征图的分辨率可不同，可构成金字塔结构。得到的多层特征图可为如图4中所示的C3、C4、C5。
在上述基础上，特征图C3、C4、C5对应的通道可再通过1*1的卷积操作调整通道数为256。
对于得到的多层特征图，可以利用通道注意力机制模块对其中的上层特征图进行增强处理。其中，所述的上层特征图可以是位于金字塔结构中的较上层的特征图，例如上述特征图中的C3、C4。通道注意力机制模块可为CAM(Channel Attention)module。
请参阅图5，本实施例中，在一种可能的实现方式中，利用通道注意力机制模块对特征图进行增强处理的方式可如下：
S10421，针对所述金字塔结构中的任一上层特征图，利用所述通道注意力机制模块将该上层特征图与下一层的经过上采样的特征图进行逐像素相减，得到差分特征图。
S10422，对所述差分特征图进行全局平均池化处理，得到全局特征。
S10423，分别采用多个不同的激活函数对所述全局特征进行激活处理，得到各通道的激活值。
S10424，利用所述激活值乘以所述上层特征图的原始特征，得到所述上层特征图增强后的特征图。
本实施例中，输入到通道注意力机制模块中的每一层特征图都经过上采样处理得到相同分辨率和通道数的特征，再通过逐像素相减得到对应的差分特征图。
本实施例中，所谓的金字塔结构中的任一上层特征图，可为金字塔结构中的非底层的特征图，例如上述的C3、C4。例如，针对上层特征图C4，该上层特征图的下一层特征图为C5，将特征图C5经过上采样处理之后，将特征图C4与上采样后的C5进行逐像素相减得到差分特征图，并对该差分特征图进行全局平均池化处理得到全局特征。
可采用多个激活函数，例如激活函数ReLU和Sigmoid进行激活，得到各通道的激活值。利用激活值乘以特征图C4的原始特征即可得到注意力增强后的特征图C4。同理，上述的特征图C3可以按与特征图C4相似的增强处理方式进行增强处理。
请结合参阅图6所示的通道注意力机制模块的处理示意图。对于从特征图的金字塔结构的自下而上的各层上层特征图X(在经过1*1的卷积操作以减小通道大小之后)，以及其下一层的上采样的特征图U，将两者进行逐像素相减得到差异特征图
Figure BDA0003499503840000111
对该差异特征图执行Squeeze操作以获得通道级全局特征，该过程通过使用全局平均池化处理生成逐通道统计特征来实现的。其中，Squeeze操作如式所示：
Figure BDA0003499503840000112
其中，c表示差异特征图中的某一通道序号，Dc表示差异特征图D中的第c个通道的特征图，zc表示压缩后特征图的第c个通道的特征。Fsq表示Squeeze操作，H和W表示差异特征图D中的尺寸高和宽。
Squeeze操作获得了全局描述特征，此外还需要另外一种运算来抓取通道之间的关系，本实施例中采用sigmoid形式的gating机制：
s＝Fex(z,W)＝σ(W2δ(W1z))
其中，δ表示ReLU激活函数，
Figure BDA0003499503840000121
分别表示包含两个全连接层的bottleneck结构。其中W1中的全连接层起到特征降维的作用，r为降维系数，然后采用ReLU激活。W2中的全连接层起到的是特征升维的作用。σ表示将学习到的各个通道的sigmoid激活输出(介于0-1之间)。Fex表示Excitation特征操作，z表示压缩后特征图，W表示全连接层。
Sigmoid激活值和对应的自下向上特征图X中的原始特征相乘，得到经过DE-block增强后自下而上的特征图：
Figure BDA0003499503840000122
其中，
Figure BDA0003499503840000123
表示增强后自下而上的特征图，Frescale表示逐通道乘法操作。sc表示第c个通道的sigmoid激活输出，xc表示对应的自下向上特征图X中的原始特征的第c个通道。
本实施例中，利用上述的通道注意力机制模块实现特征图的增强处理，可以改善出卷积神经网络层到上采样过程中的特征丢失，提升小面积缺陷的检测率，进而提升精确度。
在上述基础上，可以进行特征图之间的融合处理，得到多层融合图。请参阅图7，本实施例中，在一种可能的实现方式中，该步骤可以通过以下方式实现：
S10425，按所述多层特征图中的自下向上的顺序进行处理，将下层特征图和位于其上一层的特征图进行融合处理，得到融合图。
S10426，对所述融合图进行上采样处理，并将所述融合图和位于其上一层的特征图进行融合处理，得到融合图，直至处理至所述多层特征图中的最顶层的特征图为止，得到构成金字塔结构的多层融合图。
本实施例中，以上述为例，将调整通道数之后的特征图C5作为特征图P5，特征图P5通过上采样调整分辨率后，与进行注意力增强后的特征图C4进行自适应特征融合，得到融合图P4。
对融合图P4进行上采样调整分辨率，与进行注意力增强后的特征图C3进行自适应特征融合，得到融合图P3。
而对于特征图P5可以通过两次3×3卷积操作得到更深层的融合图P6以及P7。得到的融合图P3、P4、P5、P6和P7通过构成金字塔结构。多层融合图可以输入到双向特征融合模块(Bidirectional feature fusion network，BFFN)，利用不同尺度的特征，改善特征的比例不变性，进行双向特征融合，学习并互相融合每个尺度上特征图的融合空间权重。
请结合参阅图8所示的双向特征融合模块的处理示意图，本实施例中，可以通过以下方式实现双向特征融合，请结合参阅图9：
S10431，以所述多层融合图中的中间层融合图为基准，将所述中间层融合图之下的融合图进行上采样处理、将所述中间层融合图之上的融合图进行下采样处理，以调整至与所述中间层融合图相同的分辨率和通道数后进行融合。
S10432，依次分别从所述中间层融合图上采样和下采样以恢复至各个融合图原始的分辨率。
本实施例中，在多层融合图中的中间层融合图为处于中间层级的融合图，例如以上述为例，在多层融合图P3、P4、P5、P6和P7中，融合图P5为中间层融合图。
本实施例中，在双向特征融合处理过程中包括三个阶段，例如Spread pathway、Aggregrtion pathway、Lateral connection。P3、P4、P5、P6和P7具有不同的分辨率和通道数，BFFN对应设计了每层的上采样和下采样策略。对于中间层融合图之下的融合图P6和P7进行上采样处理。在BFFN中分别应用1×1卷积层来压缩通道数和插值以提高特征分辨率。对于中间层融合图之下的融合图P3和P4进行下采样处理。在BFFN中使用步长为2的3×3卷积层，并在卷积之前添加步长为2的最大池化层。在将P3、P4、P6和P7的分辨率和通道数都调整到与P5相同后融合。
例如，可以先将P3的分辨率和通道数调整为与P4相同，并将调整后的P3和P4进行融合，将融合后的图的分辨率和通道数调整为与P5相同后，将调整后的图与P5进行融合。针对P6和P7，其处理方式与P3和P4相似。
在此基础上，依次分别从融合后的P5进行上采样和下采样重新恢复至原先分辨率的P3、P4、P6和P7。在该过程中，例如，可将从P5依次上采样后，将P3所对应的融合图与融合之前的P3分别按一定权重进行融合，其中，该权重可以由上述的通道注意力模块中进行逐像素相减时得到的差异信息进行确定。如此，按照一定的权重进行反向恢复的融合处理，最后由双向特征融合模块输出对应的经过双向空间特征融合处理后的多张融合图。
本实施例中，通过上述的双向特征融合模块的融合处理，可以进一步加深特征层的特征融合，提升检测精度。
在得到双向特征融合后的融合图后，可将各融合图输入到预测子网络模块中，经过预测子网络模块的处理后，可以输出表面缺陷图像中PCB的缺陷信息，包括缺陷类型和缺陷位置。
在损失函数的指导下，对模型的参数进行调整经过多次迭代后，在模型的损失函数达到收敛，并在利用测试图像对模型进行测试后的测试结果满足预设要求时，可以得到训练完成的检测模型。
上述为利用标注的图像进行检测模型的训练过程，得到的检测模型可以在真实应用阶段，对于需要进行缺陷检测的图像进行检测。请参阅图10，本实施例中，还可包括以下方法步骤：
S201，获取待检测PCB的待测图像。
S202，将所述待测图像输入至训练完成的检测模型进行检测，得到所述待检测PCB的表面缺陷信息，所述表面缺陷信息包括缺陷类别和缺陷位置。
本实施例中，待测图像可采用图像采集设备采集得到的，对于采集到待测图像同样可以进行上述的预处理操作，包括如待测图像的旋转和平移处理，以及待测图像的亮度调整和去噪处理等，以提高待测图像的图像质量以及调整待测图像中待检测PCB的方位。
将待测图像导入至上述训练完成的检测模型中进行检测，经过检测模型的识别处理，可以输出待检测PCB的表面缺陷信息，例如缺陷的位置信息，以及缺陷具体的类别，如是断点、凸起或缺失等。
在实施时，在训练检测模型时可以针对不同PCB缺陷类型针对性训练对应的缺陷检测模型，并存入缺陷检测器模型库中。如此，后续在应用中，可以基于待测图像中的PCB缺陷类型，调用匹配的缺陷检测模型，将其转换为推理模型实例化应用，以判断PCB缺陷的类别和缺陷位置。可用于分析各类缺陷产生源，达到提高PCB良品率的目的。
本实施例所提供的PCB缺陷检测模型训练方法，通过利用携带标注信息的训练图像对构建的FCOS深度学习模型进行训练，得到可用于实现PCB表面缺陷检测的检测模型。该方案能够对PCB的表面缺陷进行自动检测，可以判断表面缺陷的类别以及位置，进而分析各类缺陷产生源，达到提高PCB良品率的目的。该方法具有较高的泛化能力以及较高的精确度，相较于现有技术中的检测方式而言，对于各个PCB表面缺陷类型能进行较为精确的检测，且对于特定的表面缺陷类型的精确检测有着明显优良效果。该方案针对PCB的表面缺陷数据能够提高检测率、提升精确度。
请参阅图11，为本申请实施例提供的电子设备的示例性组件示意图，该电子设备可包括存储介质110、处理器120、PCB缺陷检测模型训练装置130及通信接口140。本实施例中，存储介质110与处理器120均位于电子设备中且二者分离设置。然而，应当理解的是，存储介质110也可以是独立于电子设备之外，且可以由处理器120通过总线接口来访问。可替换地，存储介质110也可以集成到处理器120中，例如，可以是高速缓存和/或通用寄存器。
PCB缺陷检测模型训练装置130可以理解为上述电子设备，或电子设备的处理器120，也可以理解为独立于上述电子设备或处理器120之外的在电子设备控制下实现上述PCB缺陷检测模型训练方法的软件功能模块。
如图12所示，上述PCB缺陷检测模型训练装置130可以包括预处理模块131、标注模块132、划分模块133和训练模块134。下面分别对该PCB缺陷检测模型训练装置130的各个功能模块的功能进行详细阐述。
预处理模块131，用于采集PCB的表面图像，对所述表面图像进行预处理得到表面缺陷图像；
可以理解，该预处理模块131可以用于执行上述步骤S101，关于该预处理模块131的详细实现方式可以参照上述对步骤S101有关的内容。
标注模块132，用于对所述表面缺陷图像中的缺陷进行标注，得到标注信息；
可以理解，该标注模块132可以用于执行上述步骤S102，关于该标注模块132的详细实现方式可以参照上述对步骤S102有关的内容。
划分模块133，用于将携带标注信息的表面缺陷图像划分为训练图像和测试图像；
可以理解，该划分模块133可以用于执行上述步骤S103，关于该划分模块133的详细实现方式可以参照上述对步骤S103有关的内容。
训练模块134，用于利用携带标注信息的训练图像对构建的神经网络模型进行训练，并利用测试图像对训练得到的神经网络模型进行测试，在测试结果满足预设要求时，得到用于进行PCB表面缺陷检测的检测模型。
可以理解，该训练模块134可以用于执行上述步骤S104，关于该训练模块134的详细实现方式可以参照上述对步骤S104有关的内容。
在一种可能的实施方式中，所述神经网络模型包括依次连接的特征提取模块、通道注意力机制模块、双向特征融合模块和预测子网络模块，所述训练模块134可以用于：
将携带标注信息的训练图像导入构建的神经网络模型包括的特征提取模块，得到所述训练图像对应的构成金字塔结构的多层特征图；
利用所述通道注意力机制模块对所述金字塔结构中的上层特征图进行增强处理，并针对每相邻两层特征图，从下至上将下层特征图与上层特征图进行融合处理，得到构成金字塔结构的多层融合图；
利用所述双向特征融合模块对所述多层融合图进行双向空间特征融合；
将经过双向空间特征融合处理后的多层融合图输入所述预测子网络模块，输出所述训练图像中PCB的缺陷信息。
在一种可能的实施方式中，所述训练模块134可以用于：
针对所述金字塔结构中的任一上层特征图，利用所述通道注意力机制模块将该上层特征图与下一层的经过上采样的特征图进行逐像素相减，得到差分特征图；
对所述差分特征图进行全局平均池化处理，得到全局特征；
分别采用多个不同的激活函数对所述全局特征进行激活处理，得到各通道的激活值；
利用所述激活值乘以所述上层特征图的原始特征，得到所述上层特征图增强后的特征图。
在一种可能的实施方式中，所述训练模块134可以用于：
按所述多层特征图中的自下向上的顺序进行处理，将下层特征图和位于其上一层的特征图进行融合处理，得到融合图；
对所述融合图进行上采样处理，并将所述融合图和位于其上一层的特征图进行融合处理，得到融合图，直至处理至所述多层特征图中的最顶层的特征图为止，得到构成金字塔结构的多层融合图。
在一种可能的实施方式中，所述训练模块134可以用于：
以所述多层融合图中的中间层融合图为基准，将所述中间层融合图之下的融合图进行上采样处理、将所述中间层融合图之上的融合图进行下采样处理，以调整至与所述中间层融合图相同的分辨率和通道数后进行融合；
依次分别从所述中间层融合图上采样和下采样以恢复至各个融合图原始的分辨率。
在一种可能的实施方式中，上述预处理模块131可以用于：
对所述表面图像进行旋转和平移处理，以调整所述表面图像中PCB的方位；
对所述表面图像进行亮度调整以及去噪处理。
在一种可能的实施方式中，所述PCB缺陷检测模型训练装置130还可包括检测模块，该检测模块可以用于：
获取待检测PCB的待测图像；
将所述待测图像输入至训练完成的检测模型进行检测，得到所述待检测PCB的表面缺陷信息，所述表面缺陷信息包括缺陷类别和缺陷位置。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
进一步地，本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质存储有机器可执行指令，机器可执行指令被执行时实现上述实施例提供的PCB缺陷检测模型训练方法。
具体地，该计算机可读存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该计算机可读存储介质上的计算机程序被运行时，能够执行上述PCB缺陷检测模型训练方法。关于计算机可读存储介质中的及其可执行指令被运行时，所涉及的过程，可以参照上述方法实施例中的相关说明，这里不再详述。
综上所述，本申请实施例提供PCB缺陷检测模型训练方法、装置、电子设备和存储介质，通过采集PCB的表面图像，对表面图像进行预处理得到表面缺陷图像，对表面缺陷图像中的缺陷进行标注，得到标注信息。将携带标注信息的表面缺陷图像划分为训练图像和测试图像，利用携带标注信息的训练图像对构建的神经网络模型进行训练，并利用测试图像队训练得到的神经网络模型进行测试，在测试结果满足预设要求时，停止训练并得到用于进行PCB表面缺陷检测的检测模型。该方法利用标注的表面缺陷图像训练得到模型，得到的模型可以用于后续的缺陷检测应用中，可以提高检测准确度的同时，提高检测方案的泛化性。
进一步地，在检测模型中包括通道注意力机制模块，通过通道注意力机制模块能够改善从卷积神经网络层到上采样过程中的特征丢失，提升小面积缺陷的检测率，提升检测精确度。
进一步地，检测模型中还包括双向特征融合模块，通过双向特征融合模块可以进一步加深特征层的特征融合，提升检测精度。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种PCB缺陷检测模型训练方法，其特征在于，所述方法包括：
采集PCB的表面图像，对所述表面图像进行预处理得到表面缺陷图像；
对所述表面缺陷图像中的缺陷进行标注，得到标注信息；
将携带标注信息的表面缺陷图像划分为训练图像和测试图像；
利用携带标注信息的训练图像对构建的神经网络模型进行训练，并利用测试图像对训练得到的神经网络模型进行测试，在测试结果满足预设要求时，得到用于进行PCB表面缺陷检测的检测模型。
2.根据权利要求1所述的PCB缺陷检测模型训练方法，其特征在于，所述神经网络模型包括依次连接的特征提取模块、通道注意力机制模块、双向特征融合模块和预测子网络模块；
所述利用携带标注信息的训练图像对构建的神经网络模型进行训练的步骤，包括：
将携带标注信息的训练图像导入构建的神经网络模型包括的特征提取模块，得到所述训练图像对应的构成金字塔结构的多层特征图；
利用所述通道注意力机制模块对所述金字塔结构中的上层特征图进行增强处理，并针对每相邻两层特征图，从下至上将下层特征图与上层特征图进行融合处理，得到构成金字塔结构的多层融合图；
利用所述双向特征融合模块对所述多层融合图进行双向空间特征融合；
将经过双向空间特征融合处理后的多层融合图输入所述预测子网络模块，输出所述训练图像中PCB的缺陷信息。
3.根据权利要求2所述的PCB缺陷检测模型训练方法，其特征在于，所述利用所述通道注意力机制模块对所述金字塔结构中的上层特征图进行增强处理的步骤，包括：
针对所述金字塔结构中的任一上层特征图，利用所述通道注意力机制模块将该上层特征图与下一层的经过上采样的特征图进行逐像素相减，得到差分特征图；
对所述差分特征图进行全局平均池化处理，得到全局特征；
分别采用多个不同的激活函数对所述全局特征进行激活处理，得到各通道的激活值；
利用所述激活值乘以所述上层特征图的原始特征，得到所述上层特征图增强后的特征图。
4.根据权利要求2所述的PCB缺陷检测模型训练方法，其特征在于，所述针对每相邻两层特征图，从下至上将下层特征图与上层特征图进行融合处理，得到构成金字塔结构的多层融合图的步骤，包括：
按所述多层特征图中的自下向上的顺序进行处理，将下层特征图和位于其上一层的特征图进行融合处理，得到融合图；
对所述融合图进行上采样处理，并将所述融合图和位于其上一层的特征图进行融合处理，得到融合图，直至处理至所述多层特征图中的最顶层的特征图为止，得到构成金字塔结构的多层融合图。
5.根据权利要求2所述的PCB缺陷检测模型训练方法，其特征在于，所述利用所述双向特征融合模块对所述多层融合图进行双向空间特征融合的步骤，包括：
以所述多层融合图中的中间层融合图为基准，将所述中间层融合图之下的融合图进行上采样处理、将所述中间层融合图之上的融合图进行下采样处理，以调整至与所述中间层融合图相同的分辨率和通道数后进行融合；
依次分别从所述中间层融合图上采样和下采样以恢复至各个融合图原始的分辨率。
6.根据权利要求1所述的PCB缺陷检测模型训练方法，其特征在于，所述对所述表面图像进行预处理得到表面缺陷图像的步骤，包括：
对所述表面图像进行旋转和平移处理，以调整所述表面图像中PCB的方位；
对所述表面图像进行亮度调整以及去噪处理。
7.根据权利要求1-6任意一项所述的PCB缺陷检测模型训练方法，其特征在于，所述方法还包括：
获取待检测PCB的待测图像；
将所述待测图像输入至训练完成的检测模型进行检测，得到所述待检测PCB的表面缺陷信息，所述表面缺陷信息包括缺陷类别和缺陷位置。
8.一种PCB缺陷检测模型训练装置，其特征在于，所述装置包括：
预处理模块，用于采集PCB的表面图像，对所述表面图像进行预处理得到表面缺陷图像；
标注模块，用于对所述表面缺陷图像中的缺陷进行标注，得到标注信息；
划分模块，用于将携带标注信息的表面缺陷图像划分为训练图像和测试图像；
训练模块，用于利用携带标注信息的训练图像对构建的神经网络模型进行训练，并利用测试图像对训练得到的神经网络模型进行测试，在测试结果满足预设要求时，得到用于进行PCB表面缺陷检测的检测模型。
9.一种电子设备，其特征在于，包括一个或多个存储介质和一个或多个与存储介质通信的处理器，一个或多个存储介质存储有处理器可执行的机器可执行指令，当电子设备运行时，处理器执行所述机器可执行指令，以执行权利要求1-7中任意一项所述的方法步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7中任意一项所述的方法步骤。
CN202210123688.7A 2022-02-10 2022-02-10 Pcb缺陷检测模型训练方法、装置、电子设备和存储介质 Pending CN114494223A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210123688.7A CN114494223A (zh) 2022-02-10 2022-02-10 Pcb缺陷检测模型训练方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210123688.7A CN114494223A (zh) 2022-02-10 2022-02-10 Pcb缺陷检测模型训练方法、装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN114494223A true CN114494223A (zh) 2022-05-13

Family

ID=81478287

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210123688.7A Pending CN114494223A (zh) 2022-02-10 2022-02-10 Pcb缺陷检测模型训练方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN114494223A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115061427A (zh) * 2022-06-28 2022-09-16 浙江同发塑机有限公司 吹塑机的料层均匀性控制系统及其控制方法
CN115239712A (zh) * 2022-09-21 2022-10-25 季华实验室 电路板表面缺陷检测方法、装置、电子设备及存储介质
CN115841485A (zh) * 2023-02-13 2023-03-24 成都数联云算科技有限公司 一种面板缺陷检测方法、装置、设备及介质
CN117092116A (zh) * 2023-10-20 2023-11-21 上海嘉朗实业南通智能科技有限公司 基于机器视觉的汽车铝合金铸件缺陷检测系统及方法
CN117726628A (zh) * 2024-02-18 2024-03-19 青岛理工大学 一种基于半监督目标检测算法的钢材表面缺陷检测方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115061427A (zh) * 2022-06-28 2022-09-16 浙江同发塑机有限公司 吹塑机的料层均匀性控制系统及其控制方法
CN115061427B (zh) * 2022-06-28 2023-04-14 浙江同发塑机有限公司 吹塑机的料层均匀性控制系统及其控制方法
CN115239712A (zh) * 2022-09-21 2022-10-25 季华实验室 电路板表面缺陷检测方法、装置、电子设备及存储介质
CN115841485A (zh) * 2023-02-13 2023-03-24 成都数联云算科技有限公司 一种面板缺陷检测方法、装置、设备及介质
CN117092116A (zh) * 2023-10-20 2023-11-21 上海嘉朗实业南通智能科技有限公司 基于机器视觉的汽车铝合金铸件缺陷检测系统及方法
CN117726628A (zh) * 2024-02-18 2024-03-19 青岛理工大学 一种基于半监督目标检测算法的钢材表面缺陷检测方法
CN117726628B (zh) * 2024-02-18 2024-04-19 青岛理工大学 一种基于半监督目标检测算法的钢材表面缺陷检测方法

Similar Documents

Publication Publication Date Title
CN114494223A (zh) Pcb缺陷检测模型训练方法、装置、电子设备和存储介质
CN107123117B (zh) 一种基于深度学习的ic引脚焊点质量检测方法及装置
US10614337B2 (en) Information processing apparatus and information processing method
CN108647588A (zh) 物品类别识别方法、装置、计算机设备和存储介质
CN109146831A (zh) 基于双支深度学习网络的遥感图像融合方法及系统
CN110032989B (zh) 一种基于框线特征和像素分布的表格文档图像分类方法
CN107944442A (zh) 基于改进卷积神经网络的对象检测装置及方法
CN111524135A (zh) 基于图像增强的输电线路细小金具缺陷检测方法及系统
CN111476159A (zh) 一种基于双角回归的检测模型训练、检测方法及装置
CN109801275B (zh) 基于图像识别的马铃薯病害检测方法和系统
CN113628179B (zh) 一种pcb表面缺陷实时检测方法、装置及可读介质
CN115880288A (zh) 电子元件焊接的检测方法、系统及计算机设备
CN115170410A (zh) 融合小波变换和注意力机制的图像增强方法及装置
CN114331985A (zh) 电子元器件划痕缺陷检测方法、装置和计算机设备
CN117274258A (zh) 主板图像的缺陷检测方法、系统、设备及存储介质
CN113505781A (zh) 目标检测方法、装置、电子设备及可读存储介质
CN116342474A (zh) 晶圆表面缺陷检测方法
Wang et al. Efficient multi-branch dynamic fusion network for super-resolution of industrial component image
CN115063813B (zh) 针对文字失真的对齐模型的训练方法及训练装置
CN115964530A (zh) 面向局部视觉建模的图像描述生成方法
CN107123105A (zh) 基于fast算法的图像匹配缺陷检测方法
CN111435448B (zh) 图像显著性物体检测方法、装置、设备及介质
JP7258509B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
CN113034432A (zh) 一种产品缺陷检测方法、系统、装置及存储介质
JP2021148720A (ja) 検査システム、学習装置、学習プログラム、学習方法、検査装置、検査プログラム、検査方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination