CN114140385A - 基于深度学习的印刷电路板缺陷检测方法及系统 - Google Patents

基于深度学习的印刷电路板缺陷检测方法及系统 Download PDF

Info

Publication number
CN114140385A
CN114140385A CN202111251758.9A CN202111251758A CN114140385A CN 114140385 A CN114140385 A CN 114140385A CN 202111251758 A CN202111251758 A CN 202111251758A CN 114140385 A CN114140385 A CN 114140385A
Authority
CN
China
Prior art keywords
pcb
image
stage
target detection
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111251758.9A
Other languages
English (en)
Inventor
储超群
陈仕江
周继乐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Zhuoxi Brain And Intelligence Research Institute
Original Assignee
Hangzhou Zhuoxi Brain And Intelligence Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Zhuoxi Brain And Intelligence Research Institute filed Critical Hangzhou Zhuoxi Brain And Intelligence Research Institute
Priority to CN202111251758.9A priority Critical patent/CN114140385A/zh
Publication of CN114140385A publication Critical patent/CN114140385A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30141—Printed circuit board [PCB]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本申请提出一种基于深度学习的印刷电路板缺陷检测方法和系统，其中，方法包括：将PCB原始图像输入深度神经网络进行目标检测推理；在目标检测推理之前，对PCB原始图像进行数据预处理及背景与边缘提取；其中，深度学习方法将PCB原始图像与标准板图像对齐；对PCB原始图像与标准板图像对齐后，使用深度目标检测模型进行缺陷检测，深度目标检测模型为综合单阶段目标检测算法的两阶段目标检测模型；基于深度目标检测模型，完成PCB原始图像缺陷检测，输出检测结果。本发明对缺陷检测方案和流程进行效率优化；以及在保证PCB外观缺陷检测召回率的同时，提升检测准确度并且学术研究和应用性前景均十分广阔，可以真实地为PCB产业贡献力量。

Description

基于深度学习的印刷电路板缺陷检测方法及系统
技术领域
本发明涉及缺陷检测技术领域，特别涉及一种基于深度学习的印刷电路板缺陷检测方法及系统。
背景技术
PCB在实际的生产过程中，可能会受到原材料、设备不稳定、生产环境和人为失误等多方面因素的影响，导致有些PCB外观上出现划伤、断线、油污、基材缺失、铜瘤、破铜、漏铜、缺件、图线异常、不规范的触点等各类外观缺陷。PCB缺陷检测的目标是检测出PCB中所有缺陷的具体位置，并给出缺陷的类型。按照实际生产的需求，检测需要优先保证极高的召回率，在此基础上，尽可能提升检测的精确率，同时保证检测的实时性。
在PCB生产过程中，传统的PCB外观缺陷检测是依赖人工检测，也即检验员通过眼睛观察和经验判断。但随着PCB制作工艺和功能复杂性的不断提升，PCB变得更加精细和精密，很多缺陷难以用眼查看和分辨。同时对于工厂而言，每天PCB的生产量很大，一个中等规模的工厂每天要制作上万张印刷电路板，如此多的产品也会对人工检测造成极大负担，人工成本巨大，长时间的工作也会更容易造成主观误判。
鉴于人工检测效率低下且检测准确率难以保证，PCB外观缺陷检测的自动化方法和设备被研发出来，用以替代人工检验。在这方面国外起步较早，目前欧美、日韩以及以色列等国的科技企业已研制出PCB自动光学检测(Automatic Optical Inspection，AOI)设备。
在使用传统图像处理方法实现PCB自动光学检测的基础上，目标检测领域的发展为PCB外观缺陷检测提供了新思路。基于深度学习的目标检测，基本主要有两大类算法构成：单阶段(one-stage)算法和两阶段(two-stage)算法。顾名思义，单阶段算法直接一步到位，根据卷积池化后的特征图与原图的网格对应关系，计算出最后一层特征之后，直接在其上回归计算得到物体的类别概率和相对坐标值；而两阶段算法则会在特征回归前，先在其上做一个区域候选(region proposal)，用以尽可能多地挑选出那些可能包含目标的区域，然后再将这些区域对应的特征进行选取和回归拟合，判断这些候选区域的目标类别和相对位置。
单阶段检测器可以在整个图像中密集地预测对象的输出类别和位置，虽然相比于两阶段检测器精度稍显不足，但是速度优势明显，而近几年的时间内，也陆续出现了一大批精度较高的单阶段检测算法。RetinaNet算法中对一组预定义的滑动锚框进行了分类，并通过为每个输出重新加权损失来处理前景-背景不平衡。Rep-Point算法和DenseRepPoint算法则是将边界框编码为一组点的轮廓，并使用该点集的特征进行分类。AlignDet模型提出了在使用特征进行分类和回归之前加入了可变形卷积层，提升了效果。FCOS和CenterNet模型中解决了每个像素需要多个锚点的问题，并按位置对前背景进行了分类。ATSS和PAA算法通过更改前景和背景的定义进一步改善了前背景的分类效果。BorderDet模型提出了沿边界框合并要素，从而实现了更好的定位效果。
两阶段检测器首先使用区域提议网络(RPN)生成粗略的候选对象，然后使用对应的区域特征对它们进行分类和细化，这种方式带来了更好的精确度，但proposal数量的增加也带来了更多的计算时间。Faster-RCNN模型是最为经典的两阶段检测算法，它使用两个完全连接层作为区域特征连接的头部。CascadeRCNN算法利用Faster-RCNN构成了三个级联的阶段，每个阶段都有不同的阈值，因此后面的阶段更多地专注于定位精度。HTC模型则是在CascadeRCNN的基础上，利用附加的实例和语义分段注释来增强几个阶段之间的特征流。最近的TSD算法提出了将每个感兴趣区域的分类和定位分支互相解耦分离的思想，提升了整体的精度。
现有技术有如下缺点：
目前各类AOI设备及现有印刷电路板外观缺陷检测方法，主要采用变换和统计的方法，检测精度只有10％-20％，会出现大量的误判和错报，难以应对PCB功能和类型日益变化的发展趋势。
而使用深度学习方法对PCB外观进行缺陷检测，面临检测模型选取的两难问题：
1)如果选用两阶段目标检测算法，固然在平均准确率上，相比于许多单阶段算法，它有着一定的优势，但是考虑到厂方需要尽可能优先保证模型的召回率尽可能高(最好是100％)，这就对两阶段算法中的RPN(区域候选网络)构成了挑战，因为RPN本身是一个相对弱的二分类器，算法精度的保证更多是来自于第二阶段的回归预测头部的筛选保障。这种情况下，如果想要有一个接近100％的召回率，就势必要在第一阶段设置一个十分低的RPNproposal筛选阈值，这就会导致整体的计算时间陡增，在运行效率上同样不满足厂方的要求；
2)如果选用单阶段目标检测算法，则由于单阶段算法是密集目标检测的特性，其在运行速度上的有一定的优势，但由于需要识别的缺陷类别较多，这种情况下一些单阶段目标检测模型的参数也会提升许多，速度优势就没那么明显了。然而一个更大的弊端是，这种情况下，如果想要优先尽可能多地召回缺陷，就需要把检测阈值调低，然而在较低的score区间内，单阶段的分类预测精度就不够高了，这也是由于单阶段目标检测算法在训练时只使用了正样本的特征进行回归的原因，导致模型对于一些负样本的拟合认知则做的不好，从而导致模型会将一些较低得分的背景部分判断为缺陷，出现了较多的误检，在保证高召回率的同时难以保证预测的精确度。
因此如何提高印刷电路板缺陷检测精度，目前亟待解决。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的第一个目的在于提出一种基于深度学习的印刷电路板缺陷检测方法，在针对生产环节可以提供无缺陷PCB标准板图片的情况，基于深度学习模型，设计同时满足高输入图像分辨率及高模型推理效率要求的印刷电路板外观缺陷检测手段。
本发明的第二个目的在于提出一种基于深度学习的印刷电路板缺陷检测系统。
为达上述目的，本发明第一方面实施例提出了基于深度学习的印刷电路板缺陷检测方法，包括：
将PCB原始图像输入深度神经网络进行目标检测推理；
在目标检测推理之前，对所述PCB原始图像进行数据预处理及背景与边缘提取；其中，使用深度学习方法将所述PCB原始图像与标准板图像对齐；
对所述PCB原始图像与标准板图像对齐后，使用深度目标检测模型进行缺陷检测，所述深度目标检测模型为综合单阶段目标检测算法的两阶段目标检测模型；
基于所述深度目标检测模型，完成所述PCB原始图像缺陷检测，输出检测结果。
另外，根据本发明上述实施例的基于深度学习的印刷电路板缺陷检测方法还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述使用深度学习方法将所述PCB原始图像与标准板图像对齐，包括：
通过自主学习Mask获得图像内容的感知能力，其中，Hab为原始图像Ia转换为标准板图像Ib的单应性矩阵，整体Loss函数为：
Figure BDA0003322248960000031
Ln和L的定义如下：
Figure BDA0003322248960000032
L(Ia，Ib)＝||Fa-Fb||1
I′a＝HabIa I′b＝HbaIb
其中，Ln约束表示希望Ia通过输出的的Hab转换之后，得到图I′a的特征与Ib接近，L部分是防止网络训练F将导向为全0特征，-L是引导不同的图片输入到图像特征抽取模块中得到有差异较大的结果，添加Hab和Hba互逆关系的约束，Ia与Ib的转换方式是相反的。
进一步地，在本发明的一个实施例中，所述综合单阶段目标检测算法的两阶段目标检测模型，包括：结构部分和Loss设计部分；其中，
所述结构部分，包括：将两阶段的RPN部分直接替换为单阶段检测模型，检测的类别从多类变为两个类别；
所述Loss设计部分，包括：训练阶段，将第一阶段的分类权值传递到第二阶段的分类回归中，使用极大似然估计的方式对目标类和背景类分别进行参数训练，测试阶段，最终的分类权值按照条件概率的方式进行乘积获得。
进一步地，在本发明的一个实施例中，所述将两阶段的RPN部分直接替换为单阶段检测模型，检测的类别从多类变为两个类别，包括：
将两阶段中第一阶段RPN部分替换为预设强度的二分类器以提供候选区域，所述预设强度的二分类器与后续第二阶段的预测回归训练形成联动，将难以进行分类样本的Loss传导到所述第一阶段预设强度的二分类器上进行优化。
进一步地，在本发明的一个实施例中，所述数据预处理，包括：
将待检测板去噪提取PCB区域图像，得到待检测PCB图像；
将标准板去噪提取PCB区域图像，根据颜色信息对所述待检测PCB图像进行颜色校正；
将校正后的PCB图像与通过标准板去噪提取的PCB区域图像进行配准、合并和网格化。
本发明实施例的基于深度学习的印刷电路板缺陷检测方法，通过将PCB原始图像输入深度神经网络进行目标检测推理；在目标检测推理之前，对PCB原始图像进行数据预处理及背景与边缘提取；其中，使用深度学习方法将PCB原始图像与标准板图像对齐；对PCB原始图像与标准板图像对齐后，使用深度目标检测模型进行缺陷检测，深度目标检测模型为综合单阶段目标检测算法的两阶段目标检测模型；基于深度目标检测模型，完成PCB原始图像缺陷检测，输出检测结果。本发明对缺陷检测方案和流程进行效率优化；以及在保证PCB外观缺陷检测召回率的同时，提升检测准确度并且学术研究和应用性前景均十分广阔，可以真实地为PCB产业贡献力量。
为达上述目的，本发明第二方面实施例提出了一种基于深度学习的印刷电路板缺陷检测系统，包括：
输入模块，用于将PCB原始图像输入深度神经网络进行目标检测推理；
对齐模块，用于在目标检测推理之前，对所述PCB原始图像进行数据预处理及背景与边缘提取；其中，使用深度学习方法将所述PCB原始图像与标准板图像对齐；
检测模块，用于对所述PCB原始图像与标准板图像对齐后，使用深度目标检测模型进行缺陷检测，所述深度目标检测模型为综合单阶段目标检测算法的两阶段目标检测模型；
输出模块，用于基于所述深度目标检测模型，完成所述PCB原始图像缺陷检测，输出检测结果。
本发明实施例的基于深度学习的印刷电路板缺陷检测系统，通过将PCB原始图像输入深度神经网络进行目标检测推理；在目标检测推理之前，对PCB原始图像进行数据预处理及背景与边缘提取；其中，使用深度学习方法将PCB原始图像与标准板图像对齐；对PCB原始图像与标准板图像对齐后，使用深度目标检测模型进行缺陷检测，深度目标检测模型为综合单阶段目标检测算法的两阶段目标检测模型；基于深度目标检测模型，完成PCB原始图像缺陷检测，输出检测结果。本发明对缺陷检测方案和流程进行效率优化；以及在保证PCB外观缺陷检测召回率的同时，提升检测准确度并且学术研究和应用性前景均十分广阔，可以真实地为PCB产业贡献力量。
本发明的有益效果为：
1)结合PCB实际生产流程，基于大量真实数据及真实工业需求，针对PCB外观缺陷检测设计并实现基于异常注意力机制的深度残差缺陷检测算法。
2)修改并改进两阶段目标检测方案，使用单阶段检测方法实现对两阶段目标检测中RPN的替换，充分利用一步法较强的拟合回归能力，加强两步法中RPN召回的proposal的质量，从而减少选取proposal的数量K，提升两步法效率。
3)针对双输入PCB外观缺陷检测需要，设计两阶段目标检测深度模型Loss，将前后两个阶段的分类loss视为条件概率，训练时梯度联动，同时提升分类性能，避免传统两步法中前后两阶段的分离，形成端到端。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明一个实施例的基于深度学习的印刷电路板缺陷检测方法的流程图；
图2为根据本发明一个实施例的PCB图像缺陷检测网络结构图；
图3为根据本发明一个实施例的基于异常注意力机制的深度残差缺陷检测算法示意图；
图4为根据本发明一个实施例的数据预处理部分流程示意图；
图5为根据本发明一个实施例的缺陷检测流程示意图；
图6为根据本发明一个实施例的基于深度学习的印刷电路板缺陷检测系统的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的面向深度学习端侧推理的内存分配方法和系统。
在使用传统目标检测深度学习方法对PCB外观进行缺陷检测，面临检测模型选取两难问题的情况下，本发明出于对结果精度的偏向，在使用两阶段目标检测方法保证检测精度的同时，也注重性能的提升。
不同于普通的深度学习目标检测，本发明关注的PCB外观缺陷检测任务具有一些较为不同的特性，比如除了待测板之外，还额外提供了一张无缺陷的标准板图片，在设计模型时可能就需要加入对标准板信息的处理分析，此外这里提供的图片分辨率都十分大，同时也有对模型运算时间尽可能小的实际需求，这也给深度模型设计带来了挑战。因此，就需要研究如何设计出一个更加贴合上述特性的深度学习模型设计，才能更好地保证缺陷检测的精度和实用性。
图1为本发明实施例所提供的一种基于深度学习的印刷电路板缺陷检测方法的流程图。
如图1所示，该检测方法包括以下步骤：
步骤S1，将PCB原始图像输入深度神经网络进行目标检测推理。
步骤S2，在目标检测推理之前，对PCB原始图像进行数据预处理及背景与边缘提取；其中，使用深度学习方法将PCB原始图像与标准板图像对齐。
可以理解的是，本发明综合考虑PCB产线原始输入图像大的数据现状以及对PCB外观缺陷检测系统的性能需求，本发明在将PCB图像输入深度神经网络，进行目标检测推理之前，对原始图像还将进行针对性的数据预处理及背景与边缘提取。其中原始图像与标准板图像对齐的主要方式为使用深度学习方法，通过自主学习Mask以获得图像内容的感知能力，其中Hab为原始图像Ia转换为标准板图像Ib的单应性矩阵。整体Loss函数为：
Figure BDA0003322248960000061
Ln和L的定义如下：
Figure BDA0003322248960000071
L(Ia，Ib)＝||Fa-Fb||1
I′a＝HabIa I′b＝HbaIb
其中，Ln约束表示希望Ia通过输出的Hab转换之后，得到图I′a的特征与Ib尽可能接近，L部分是防止网络训练将F导向为全0特征，-L则是引导不同的图片输入到图像特征抽取模块中可以得到有差异较大的结果，第三部分则是添加Hab和Hba互逆关系的约束，这样也会更加符合单应性原理，即Ia与Ib的转换方式是相反的。
下面通过参考附图描述的示例性实施例，对本发明实施例做进一步解释，但不限于此。
作为一种示例，如图4所示，本发明对PCB原始图像进行数据预处理及背景与边缘提取，包括：将待检测板去噪提取PCB区域图像，得到待检测PCB图像；将标准板去噪提取PCB区域图像，根据颜色信息对待检测PCB图像进行颜色校正；将校正后的PCB图像与通过标准板去噪提取的PCB区域图像进行配准、合并和网格化。
可以理解的是，本发明关注的PCB外观缺陷检测任务具有一些较为不同的特性，比如除了待测板之外，还额外提供了一张无缺陷的标准板图片，在设计模型时可能就需要加入对标准板信息的处理分析，此外这里提供的图片分辨率都十分大，同时也有对模型运算时间尽可能小的实际需求。从PCB产线实际拍摄到的PCB图片入手，以高精度高效率的缺陷检测为导向，对PCB待检测板进行处理。
步骤S3，对PCB原始图像与标准板图像对齐后，使用深度目标检测模型进行缺陷检测，深度目标检测模型为综合单阶段目标检测算法的两阶段目标检测模型。
可以理解的是，本发明完成对原始图像与标定板图像的对齐后，可以使用深度目标检测模型对缺陷检测。通过对两阶段检测方法进行细致分析，可以发现造成两阶段检测方法性能略显不足的原因主要有：
首先，两阶段算法的第一阶段的RPN是一个较弱的二分类器，对于各类候选区域(proposal)的分类判断能力不够，才使得必须选取一个较低的候选区域(proposal)筛选阈值，来尽可能召回缺陷；
其次，除此之外，在模型的训练过程中，RPN和第二阶段的分类回归头之间并没有形成良好合理的梯度传播，两者的训练是相对割裂的，从而导致RPN很难获知自己预测的不足之处，难以进行分类样本(也即hard example)，也就无法根据错误例子产生的loss进行参数调整，始终处于一个较弱的二分类水平。
从原因向解决方案反推，也就意味着需要给两阶段算法替换一个更强的第一阶段二分类器来提供proposal，并使得这种二分类可以与后续第二阶段的预测回归训练形成联动，将难以进行分类样本(hard example)的loss传导到第一阶段分类器上进行针对性调整。可以发现目前目标检测领域内较强的预测分类器，正是那些精度较高的单阶段目标检测模型，这也就是说，完全可以考虑设计一种综合单阶段目标检测算法的两阶段目标检测模型。
作为一种示例，结构部分，就是将两阶段的RPN部分直接替换为其他表现较好的单阶段检测模型，当然检测的类别就从多类变为两个类别，类别数量的减少也就更能保证第一阶段的分类准确性。
Loss设计部分，可以将第一阶段的分类权值传递到第二阶段的分类回归中，从数学角度看，两个分类分类权值天然构成了一个条件概率的关系，可以使用极大似然估计的方式对目标类和背景类分别进行参数训练，而在测试阶段，最终的分类权值也可以按照条件概率的方式进行乘积获得。
作为一种施例，本发明选择预设强度的二分类器以提供候选区域，其中预设强度为本领域技术人员根据实际需求进行设定，本发明不做具体限定。
作为一种施例，本发明使用包括但不限于极大似然估计的方式对目标类和背景类分别进行参数训练，本发明不做具体限定。
进一步的，图2为根据本发明一个实施例的PCB图像缺陷检测网络结构图，如图2所示，通过初始骨干网络为基础，一步法检测头和候选框集合以及两步法检测头的检测网络结构图，通过自主学习Mask以获得图像内容的感知能力，基于该网络结构设计出一个更加贴合上述特性的深度学习模型设计，保证缺陷检测的精度和实用性。
作为一种示例，本发明针对PCB外观缺陷检测场景，提出了一种基于异常注意力机制的深度残差缺陷检测算法，如图3所示，这样设计的好处主要有两个：
第一点：充分利用一步法较强的拟合回归能力，加强两步法中RPN召回的proposal的质量，从而减少选取proposal的数量K，提升两步法效率；
第二点：将前后两个阶段的分类loss视为条件概率，训练时梯度联动，同时提升分类性能，避免传统两步法中前后两阶段的分离，形成端到端。
基于此，本发明针对PCB外观缺陷检测中原始图像输入大的难点对缺陷检测方案和流程进行效率优化；以及在保证PCB外观缺陷检测召回率的同时，提升检测准确度。
步骤S4，基于深度目标检测模型，完成PCB原始图像缺陷检测，输出检测结果。
可以理解的是，通过对Dataset进行数据提取，确定图像数据以及位置信息，经过检测器对图像数据的检测，并基于该位置信息，实时得到检测结果并输出。本发明实时给出了PCB缺陷检测的目标是检测出PCB中所有缺陷的具体位置，并给出缺陷的类型，从PCB产线实际拍摄到的PCB图片入手，以高精度高效率的缺陷检测为导向，研究如何拆分定义出系统中的各个组成环节，设计出一个合理的检测流程，对每一个环节进行代替人工检测，保证缺陷检测的精度和实用性。如图5所示。
本发明实施例的基于深度学习的印刷电路板缺陷检测方法，通过将PCB原始图像输入深度神经网络进行目标检测推理；在目标检测推理之前，对PCB原始图像进行数据预处理及背景与边缘提取；其中，使用深度学习方法将PCB原始图像与标准板图像对齐；对PCB原始图像与标准板图像对齐后，使用深度目标检测模型进行缺陷检测，深度目标检测模型为综合单阶段目标检测算法的两阶段目标检测模型；基于深度目标检测模型，完成PCB原始图像缺陷检测，输出检测结果。本发明对缺陷检测方案和流程进行效率优化；以及在保证PCB外观缺陷检测召回率的同时，提升检测准确度并且学术研究和应用性前景均十分广阔，可以真实地为PCB产业贡献力量。
图6为根据本发明一个实施例的基于深度学习的印刷电路板缺陷检测系统的结构示意图。
如图6所示，该检测系统10包括：输入模块100、对齐模块200、检测模块块300和输出模块400。
输入模块100，用于将PCB原始图像输入深度神经网络进行目标检测推理；
对齐模块200，用于在目标检测推理之前，对PCB原始图像进行数据预处理及背景与边缘提取；其中，使用深度学习方法将所述PCB原始图像与标准板图像对齐；
检测模块300，用于对PCB原始图像与标准板图像对齐后，使用深度目标检测模型进行缺陷检测，深度目标检测模型为综合单阶段目标检测算法的两阶段目标检测模型；
输出模块400，用于基于深度目标检测模型，完成PCB原始图像缺陷检测，输出检测结果.
进一步地，上述对齐模块200，还用于：
通过自主学习Mask获得图像内容的感知能力，其中，Hab为原始图像Ia转换为标准板图像Ib的单应性矩阵，整体Loss函数为：
Figure BDA0003322248960000091
Ln和L的定义如下：
Figure BDA0003322248960000092
L(Ia，Ib)＝||Fa-Fb||1
I′a＝HabIa I′b＝HbaIb
其中，Ln约束表示希望Ia通过输出的的Hab转换之后，得到图I′a的特征与Ib接近，L部分是防止网络训练F将导向为全0特征，-L是引导不同的图片输入到图像特征抽取模块中得到有差异较大的结果，添加Hab和Hba互逆关系的约束，Ia与Ib的转换方式是相反的。
进一步地，上述检测模块300，包括：结构部分模块和Loss设计部分模块；其中，
结构部分模块，用于：将两阶段的RPN部分直接替换为单阶段检测模型，检测的类别从多类变为两个类别；
Loss设计部分模块，包括：训练模块，用于将第一阶段的分类权值传递到第二阶段的分类回归中，使用极大似然估计的方式对目标类和背景类分别进行参数训练，测试模块，用于最终的分类权值按照条件概率的方式进行乘积获得。
进一步地，上述结构部分模块，还用于：
将两阶段中第一阶段RPN部分替换为预设强度的二分类器以提供候选区域，预设强度的二分类器与后续第二阶段的预测回归训练形成联动，将难以进行分类样本的Loss传导到第一阶段预设强度的二分类器上进行优化。
进一步地，系统10还包括数据预处理模块，该数据预处理模块包括：
待检测模块，用于将待检测板去噪提取PCB区域图像，得到待检测PCB图像；
颜色校正模块，用于将标准板去噪提取PCB区域图像，根据颜色信息对待检测PCB图像进行颜色校正；
图像配准模块，用于将校正后的PCB图像与通过标准板去噪提取的PCB区域图像进行配准、合并和网格化。
根据本发明实施例的基于深度学习的印刷电路板缺陷检测系统，通过将PCB原始图像输入深度神经网络进行目标检测推理；在目标检测推理之前，对PCB原始图像进行数据预处理及背景与边缘提取；其中，使用深度学习方法将PCB原始图像与标准板图像对齐；对PCB原始图像与标准板图像对齐后，使用深度目标检测模型进行缺陷检测，深度目标检测模型为综合单阶段目标检测算法的两阶段目标检测模型；基于深度目标检测模型，完成PCB原始图像缺陷检测，输出检测结果。本发明对缺陷检测方案和流程进行效率优化；以及在保证PCB外观缺陷检测召回率的同时，提升检测准确度并且学术研究和应用性前景均十分广阔，可以真实地为PCB产业贡献力量。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于深度学习的印刷电路板缺陷检测方法，其特征在于，包括以下步骤：
将PCB原始图像输入深度神经网络进行目标检测推理；
在目标检测推理之前，对所述PCB原始图像进行数据预处理及背景与边缘提取；其中，使用深度学习方法将所述PCB原始图像与标准板图像对齐；
对所述PCB原始图像与标准板图像对齐后，使用深度目标检测模型进行缺陷检测，所述深度目标检测模型为综合单阶段目标检测算法的两阶段目标检测模型；
基于所述深度目标检测模型，完成所述PCB原始图像缺陷检测，输出检测结果。
2.根据权利要求1所述的基于深度学习的印刷电路板缺陷检测方法，其特征在于，所述使用深度学习方法将所述PCB原始图像与标准板图像对齐，包括：
通过自主学习Mask获得图像内容的感知能力，其中，Hab为原始图像Ia转换为标准板图像Ib的单应性矩阵，整体Loss函数为：
Figure FDA0003322248950000011
Ln和L的定义如下：
Figure FDA0003322248950000012
L(Ia，Ib)＝||Fa-Fb||1
I′a＝HabIa I′b＝HbaIb
其中，Ln约束表示希望Ia通过输出的的Hab转换之后，得到图I′a的特征与Ib接近，L部分是防止网络训练F将导向为全0特征，-L是引导不同的图片输入到图像特征抽取模块中得到有差异较大的结果，添加Hab和Hba互逆关系的约束，Ia与Ib的转换方式是相反的。
3.根据权利要求1所述的基于深度学习的印刷电路板缺陷检测方法，其特征在于，所述综合单阶段目标检测算法的两阶段目标检测模型，包括：结构部分和Loss设计部分；其中，
所述结构部分，包括：将两阶段的RPN部分直接替换为单阶段检测模型，检测的类别从多类变为两个类别；
所述Loss设计部分，包括：训练阶段，将第一阶段的分类权值传递到第二阶段的分类回归中，使用极大似然估计的方式对目标类和背景类分别进行参数训练，测试阶段，最终的分类权值按照条件概率的方式进行乘积获得。
4.根据权利要求3所述的基于深度学习的印刷电路板缺陷检测方法，其特征在于，所述将两阶段的RPN部分直接替换为单阶段检测模型，检测的类别从多类变为两个类别，包括：
将两阶段中第一阶段RPN部分替换为预设强度的二分类器以提供候选区域，所述预设强度的二分类器与后续第二阶段的预测回归训练形成联动，将难以进行分类样本的Loss传导到所述第一阶段预设强度的二分类器上进行优化。
5.根据权利要求4所述的基于深度学习的印刷电路板缺陷检测方法，其特征在于，所述数据预处理，包括：
将待检测板去噪提取PCB区域图像，得到待检测PCB图像；
将标准板去噪提取PCB区域图像，根据颜色信息对所述待检测PCB图像进行颜色校正；
将校正后的PCB图像与通过标准板去噪提取的PCB区域图像进行配准、合并和网格化。
6.一种基于深度学习的印刷电路板缺陷检测系统，其特征在于，包括：
输入模块，用于将PCB原始图像输入深度神经网络进行目标检测推理；
对齐模块，用于在目标检测推理之前，对所述PCB原始图像进行数据预处理及背景与边缘提取；其中，使用深度学习方法将所述PCB原始图像与标准板图像对齐；
检测模块，用于对所述PCB原始图像与标准板图像对齐后，使用深度目标检测模型进行缺陷检测，所述深度目标检测模型为综合单阶段目标检测算法的两阶段目标检测模型；
输出模块，用于基于所述深度目标检测模型，完成所述PCB原始图像缺陷检测，输出检测结果。
7.根据权利要求6所述的基于深度学习的印刷电路板缺陷检测系统，其特征在于，所述对齐模块，还用于：
通过自主学习Mask获得图像内容的感知能力，其中，Hab为原始图像Ia转换为标准板图像Ib的单应性矩阵，整体Loss函数为：
Figure FDA0003322248950000021
Ln和L的定义如下：
Figure FDA0003322248950000022
L(Ia，Ib)＝||Fa-Fb||1
I′a＝HabIa I′b＝HbaIb
其中，Ln约束表示希望Ia通过输出的的Hab转换之后，得到图I′a的特征与Ib接近，L部分是防止网络训练F将导向为全0特征，-L是引导不同的图片输入到图像特征抽取模块中得到有差异较大的结果，添加Hab和Hba互逆关系的约束，Ia与Ib的转换方式是相反的。
8.根据权利要求7所述的基于深度学习的印刷电路板缺陷检测系统，其特征在于，所述检测模块，包括：结构部分模块和Loss设计部分模块；其中，
所述结构部分模块，用于：将两阶段的RPN部分直接替换为单阶段检测模型，检测的类别从多类变为两个类别；
所述Loss设计部分模块，包括：训练模块，用于将第一阶段的分类权值传递到第二阶段的分类回归中，使用极大似然估计的方式对目标类和背景类分别进行参数训练，测试模块，用于最终的分类权值按照条件概率的方式进行乘积获得。
9.根据权利要求8所述的基于深度学习的印刷电路板缺陷检测系统，其特征在于，所述结构部分模块，还用于：
将两阶段中第一阶段RPN部分替换为预设强度的二分类器以提供候选区域，所述预设强度的二分类器与后续第二阶段的预测回归训练形成联动，将难以进行分类样本的Loss传导到所述第一阶段预设强度的二分类器上进行优化。
10.根据权利要求9所述的基于深度学习的印刷电路板缺陷检测系统，其特征在于，还包括数据预处理模块，所述数据预处理模块包括：
待检测模块，用于将待检测板去噪提取PCB区域图像，得到待检测PCB图像；
颜色校正模块，用于将标准板去噪提取PCB区域图像，根据颜色信息对所述待检测PCB图像进行颜色校正；
图像配准模块，用于将校正后的PCB图像与通过标准板去噪提取的PCB区域图像进行配准、合并和网格化。
CN202111251758.9A 2021-10-26 2021-10-26 基于深度学习的印刷电路板缺陷检测方法及系统 Pending CN114140385A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111251758.9A CN114140385A (zh) 2021-10-26 2021-10-26 基于深度学习的印刷电路板缺陷检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111251758.9A CN114140385A (zh) 2021-10-26 2021-10-26 基于深度学习的印刷电路板缺陷检测方法及系统

Publications (1)

Publication Number Publication Date
CN114140385A true CN114140385A (zh) 2022-03-04

Family

ID=80395187

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111251758.9A Pending CN114140385A (zh) 2021-10-26 2021-10-26 基于深度学习的印刷电路板缺陷检测方法及系统

Country Status (1)

Country Link
CN (1) CN114140385A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114882033A (zh) * 2022-07-11 2022-08-09 心鉴智控(深圳)科技有限公司 一种医用包装盒制品的瑕疵在线检测方法及检测系统
CN114998192A (zh) * 2022-04-19 2022-09-02 深圳格芯集成电路装备有限公司 基于深度学习的缺陷检测方法、装置、设备和存储介质
CN116141829A (zh) * 2022-12-30 2023-05-23 苏州江天电子材料有限公司 一种丝网印刷智能化工艺方法和系统
WO2024044915A1 (zh) * 2022-08-29 2024-03-07 西门子股份公司 用于错误检测的图像比较的方法、装置、计算机设备

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114998192A (zh) * 2022-04-19 2022-09-02 深圳格芯集成电路装备有限公司 基于深度学习的缺陷检测方法、装置、设备和存储介质
CN114998192B (zh) * 2022-04-19 2023-05-30 深圳格芯集成电路装备有限公司 基于深度学习的缺陷检测方法、装置、设备和存储介质
CN114882033A (zh) * 2022-07-11 2022-08-09 心鉴智控(深圳)科技有限公司 一种医用包装盒制品的瑕疵在线检测方法及检测系统
CN114882033B (zh) * 2022-07-11 2022-09-20 心鉴智控(深圳)科技有限公司 一种医用包装盒制品的瑕疵在线检测方法及检测系统
WO2024044915A1 (zh) * 2022-08-29 2024-03-07 西门子股份公司 用于错误检测的图像比较的方法、装置、计算机设备
CN116141829A (zh) * 2022-12-30 2023-05-23 苏州江天电子材料有限公司 一种丝网印刷智能化工艺方法和系统
CN116141829B (zh) * 2022-12-30 2024-02-13 苏州江天电子材料有限公司 一种丝网印刷智能化工艺方法和系统

Similar Documents

Publication Publication Date Title
CN114140385A (zh) 基于深度学习的印刷电路板缺陷检测方法及系统
US10964004B2 (en) Automated optical inspection method using deep learning and apparatus, computer program for performing the method, computer-readable storage medium storing the computer program, and deep learning system thereof
EP3480735B1 (en) Inspection apparatus, data generation apparatus, data generation method, and data generation program
EP3502966B1 (en) Data generation apparatus, data generation method, and data generation program
US11947890B2 (en) Implementation of deep neural networks for testing and quality control in the production of memory devices
US11982628B2 (en) System and method for detecting defects on imaged items
CN111325713A (zh) 基于神经网络的木材缺陷检测方法、系统及存储介质
US9607233B2 (en) Classifier readiness and maintenance in automatic defect classification
CN112528975A (zh) 工业质检方法、装置和计算机可读存储介质
CN110992349A (zh) 一种基于深度学习的地下管道异常自动化定位与识别方法
KR20190075707A (ko) 딥러닝을 이용한 양품 선별 방법
CN115516500A (zh) 基于自动编码器和聚类的异常检测
TW202127371A (zh) 基於圖像的瑕疵檢測方法及電腦可讀存儲介質
CN115409797A (zh) 一种基于改进深度学习算法的pcb缺陷图像检测方法
CN116468961A (zh) 一种图像分类方法及注塑产品智能瑕疵检测系统
CN111758117A (zh) 检查系统、识别系统以及学习数据生成装置
CN1854724A (zh) 在x射线分析领域内对铸造缺陷进行分类的方法
CN114387230A (zh) 一种基于重验证检测的pcb板缺陷检测方法
CN112534472B (zh) 图像判定装置、图像判定方法及其程序的记录介质
CN114226262A (zh) 瑕疵检测方法、瑕疵分类方法及其系统
TWI785579B (zh) 元件辨識模型之自動模型重建方法及系統
Sun et al. A novel method for multi-feature grading of mango using machine vision
CN113267506A (zh) 木板ai视觉缺陷检测装置、方法、设备及介质
CN118096747B (zh) 基于深度学习的pcba板自动检测方法及系统
CN117853826B (zh) 基于机器视觉的物体表面精度识别方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Chu Chaoqun

Inventor before: Chu Chaoqun

Inventor before: Chen Shijiang

Inventor before: Zhou Jile

CB03 Change of inventor or designer information