CN113628179B - 一种pcb表面缺陷实时检测方法、装置及可读介质 - Google Patents
一种pcb表面缺陷实时检测方法、装置及可读介质 Download PDFInfo
- Publication number
- CN113628179B CN113628179B CN202110873010.6A CN202110873010A CN113628179B CN 113628179 B CN113628179 B CN 113628179B CN 202110873010 A CN202110873010 A CN 202110873010A CN 113628179 B CN113628179 B CN 113628179B
- Authority
- CN
- China
- Prior art keywords
- output
- convolution
- feature
- feature map
- pcb
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 62
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000011897 real-time detection Methods 0.000 title claims description 13
- 238000001514 detection method Methods 0.000 claims abstract description 67
- 230000004927 fusion Effects 0.000 claims abstract description 23
- 230000008569 process Effects 0.000 claims abstract description 13
- 238000000605 extraction Methods 0.000 claims abstract description 11
- 230000001629 suppression Effects 0.000 claims abstract description 9
- 238000001914 filtration Methods 0.000 claims abstract description 8
- 238000010586 diagram Methods 0.000 claims description 38
- 238000011176 pooling Methods 0.000 claims description 24
- 230000007246 mechanism Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 10
- 238000003860 storage Methods 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 8
- 101100295091 Arabidopsis thaliana NUDT14 gene Proteins 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 5
- 238000012935 Averaging Methods 0.000 claims description 4
- 230000005764 inhibitory process Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000012805 post-processing Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 150000003071 polychlorinated biphenyls Chemical class 0.000 claims 4
- 238000004519 manufacturing process Methods 0.000 abstract description 15
- 238000007689 inspection Methods 0.000 abstract description 7
- 238000009776 industrial production Methods 0.000 abstract description 4
- 238000012549 training Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 12
- 238000012360 testing method Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 5
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 4
- 229910052802 copper Inorganic materials 0.000 description 4
- 239000010949 copper Substances 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000008092 positive effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 241001124569 Lycaenidae Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 235000014987 copper Nutrition 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000001125 extrusion Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0006—Industrial image inspection using a design-rule based approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30141—Printed circuit board [PCB]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种PCB表面缺陷实时检测方法、装置及可读介质，通过获取PCB图像，并对PCB图像进行预处理，得到预处理图像；将预处理图像输入骨干网络ResNeSet进行特征提取，得到第一特征图；将第一特征图输入特征融合算法FFNet进行特征融合，得的第二特征图；将第二特征图输入区域候选网络RPN，得到感兴趣区域，将感兴趣区域输入级联RCNN，得到检测结果；将检测结果通过基于距离的非极大值抑制操作DIoU‑NMS过滤，得到最佳检测结果。本发明能够高效且精准地解决工业生产和质检过程中PCB表面缺陷的识别与检测问题，对电子工业智能化生产与检测可起到积极推动作用。
Description
技术领域
本发明涉及缺陷检测领域，具体涉及一种PCB表面缺陷实时检测方法、装置及可读介质。
背景技术
印刷电路板(PCB)由于具备集成化程度高、可靠性强、标准化水平高等优良特性，其已在电子工业领域得到广泛应用。PCB在生产制造过程中的品质直接影响使用性能及可靠程度，不符合质量标准的PCB应当及时被识别检测出来，既可保证产品质量，又可以根据某种缺陷出现的频率发现生产工艺中存在的问题。
目前，PCB的工业生产中发生表面缺陷是最为常见的，包含缺失孔、鼠标咬伤、开路、短路、杂散、伪铜等。工业上PCB缺陷识别与检测方法有传统的目视检测、离线仪器测试、机器视觉检测等，其中，机器视觉检测方法是一种高效精准的智能化工业质检方案。但是，因为待检测的PCB表面缺陷很小、分布隐蔽、需要满足实时性等难点，一般的缺陷检测算法无法精确的实时检测。
现有技术中，申请号为202010688543.2的中国专利提出通过Excel VBA宏程序实现PCB缺陷检测和定位，并提供了可视化结果，但是该方法随着检测数量增多，程序负担较大，检测精度和实时性难以保证。
发明内容
针对上述提到的以上问题。本申请的实施例的目的在于提出了一种PCB表面缺陷实时检测方法、装置及可读介质，来解决以上背景技术部分提到的技术问题。
第一方面，本申请的实施例提供了一种PCB表面缺陷实时检测方法，包括以下步骤：
S1，获取PCB图像，并对PCB图像进行预处理，得到预处理图像；
S2，将预处理图像输入骨干网络ResNeSet进行特征提取，得到第一特征图；
S3，将第一特征图输入特征融合算法FFNet进行特征融合，得的第二特征图；
S4，将第二特征图输入区域候选网络RPN，得到感兴趣区域，将感兴趣区域输入级联RCNN，得到检测结果；
S5，将检测结果通过基于距离的非极大值抑制操作DIoU-NMS过滤，得到最佳检测结果。
在一些实施例中，步骤S2具体包括：
S21，将预处理图像输入骨干网络ResNeSet的上半部分，上半部分包括64条分支，每条分支依次由1×1卷积、步长为2的3×3可变形卷积、1×1卷积以及基于注意力机制的挤压-激励(SE)操作组成，得到上半部分的输出；
S22，将预处理图像输入骨干网络ResNeSet的下半部分，下半部分由步长为2的平均池化和1×1卷积的一条分支组成，得到下半部分的输出；
S23，将上半部分的输出和下半部分的输出通过残差相加操作进行结合，得到第2、3、4、5四个阶段的输出特征图，记为第一特征图C＝{C2，C3，C4，C5}。
在一些实施例中，步骤S3具体包括：
S31，第一特征图C＝{C2，C3，C4，C5}中的C5进行多维空洞空间金字塔池化运算，多维空洞空间金字塔池化运算包含连续5次带有不同空洞卷积率的空间卷积池化金字塔池化操作D-ASPP，并采用顺序连接和跳跃连接相结合的方式；
S32，与第一特征图C＝{C2，C3，C4，C5}再进行侧向连接，得到第三特征图P＝{P2，P3，P4，P5}；
S33，将第三特征图P＝{P2，P3，P4，P5}进行注意力机制运算，注意力机制运算包括调整平均、空间Non-local和残差相加操作，得到第二特征图F＝{F2，F3，F4，F5}。
在一些实施例中，步骤S31的连接方式表示为：
式中，outi(i＝0,1,2,3)表示前4次D-ASPP操作在经过连接concat操作之后的输出，ASPP3(C5)表示特征图C5在经过3-ASPP操作，对于ASPP6i(outi-1)的运算也是同理，表示后4次D-ASPP运算的连接concat操作，CONV表示1×1卷积操作。
在一些实施例中，步骤S32和S33的具体操作包括：
将输出out和C5相加之后得到P5，P5经过2倍上采样后与经过1×1卷积的C4进行侧向连接操作得到P4；以此类推，再分别得到P3，P2，此过程可由下式表示：
式中，表示concat连接操作，CONV表示1×1卷积操作，得到第三特征图P＝{P2，P3，P4，P5}；
将P2，P3和P5进行调整平均操作，操作方式如下：
pool(P2，4)和pool(P3，2)表示对P2和P3分别进行步长为4和2的最大池化操作；intp(P5，2)对P5进行长宽乘数因子为2的最邻近插值操作；通过对操作后的P2，P3和P5取平均值后得到输出x；
将输出x进行空间Non-local操作，引入全局信息，该操作的输入x和输出y的关系如下：
zi＝c(yi)+xi；
输入向量xi和xj分别表示在输出x上当前网络关注的信息与全局信息，f(xi，xj)是用来计算xi和xj距离的函数，f(xi，xj)使用嵌入高斯函数(Embedded Gaussian function)；c(xj)是1×1卷积操作，将点xj映射成向量；θ(xi)和都是1×1卷积操作；c(yi)也是1×1卷积操作，使得yi的通道数与xi保持一致，最终与xi相加后得到输出zi；
将输出zi进行残差相加，表达式如下：
Fk＝Pk+intp(zi，0.5k-4)，(k＝2,3,4,5)；
式中，intp(zik，0.5k-4)表示把zi通过插值运算，将其大小重新调整与P＝{P2，P3，P4，P5}达到一致，再将二者对应相加，得到第二特征图F＝{F2，F3，F4，F5}。
在一些实施例中，步骤S4具体包括：
S41，将第二特征图F＝{F2，F3，F4，F5}输入区域候选网络RPN，经过第一次粗筛选，得到第一感兴趣区域；
S42，将第一感兴趣区域进行RoI Align操作，再进入检测框生成头，通过级联RCNN进行IoU阈值过滤，得到检测区域和分类结果。
在一些实施例中，步骤S5中基于距离的非极大值抑制操作DIoU-NMS的表达式如下：
式中，ε是DIoU-NMS的阈值，dist(bM，bi)表示分数最高的预测边界框bM与其他边界框bi中心点之间的距离，当IoU与dist(bM，bi)之间的差值小于ε时，该边界框被赋予的分数scorei保持不变，否则scorei设置为0而被过滤。
第二方面，本申请的实施例提供了一种PCB表面缺陷实时检测装置，包括：
预处理模块，被配置为获取PCB图像，并对PCB图像进行预处理，得到预处理图像；
特征提取模块，被配置为将预处理图像输入骨干网络ResNeSet进行特征提取，得到第一特征图；
特征融合模块，被配置为将第一特征图输入特征融合算法FFNet进行特征融合，得的第二特征图；
检测模块，被配置为将第二特征图输入区域候选网络RPN，得到感兴趣区域，将感兴趣区域输入级联RCNN，得到检测结果；
后处理模块，被配置为将检测结果通过基于距离的非极大值抑制操作DIoU-NMS过滤，得到最佳检测结果。
第三方面，本申请的实施例提供了一种电子设备，包括一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面中任一实现方式描述的方法。
第四方面，本申请的实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面中任一实现方式描述的方法。
相比于现有技术，本发明具有以下有益效果：
(1)本发明可以对工业生产过程中的PCB进行质检，以准确识别缺陷类型并确定缺陷发生的位置，提升PCB工业质检的有效性和高效性，不仅可以筛选不合格的次品，而且进一步为改进生产工艺提供依据支撑。
(2)针对不同应用场景适配不同标准的训练模型，能够更为精确和高效地对常见的六种PCB表面小型缺陷进行识别和检测，从而自动筛选出不合格的PCB产品，为保证PCB生产品质及其下游产品的质量起到了积极作用。
(3)本发明高效且精准地解决了工业生产和质检过程中PCB表面缺陷的识别与检测问题，对电子工业智能化生产与检测可起到积极推动作用。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请的一个实施例可以应用于其中的示例性装置架构图；
图2为本发明的实施例的PCB表面缺陷实时检测方法的流程示意图；
图3为本发明的实施例的PCB表面缺陷实时检测方法的流程框图；
图4为本发明的实施例的PCB表面缺陷实时检测方法的ResNeSet中的一个block结构的示意图；
图5为本发明的实施例的PCB表面缺陷实时检测方法的特征融合网络FFNet的结构的示意图；
图6为本发明的实施例的PCB表面缺陷实时检测方法的输出结果中典型设计界面示意图；
图7为本发明的实施例的PCB表面缺陷实时检测装置的示意图；
图8是适于用来实现本申请实施例的电子设备的计算机装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
图1示出了可以应用本申请实施例的PCB表面缺陷实时检测方法或PCB表面缺陷实时检测装置的示例性装置架构100。
如图1所示，装置架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种应用，例如数据处理类应用、文件处理类应用等。
终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务的软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上传的文件或数据进行处理的后台数据处理服务器。后台数据处理服务器可以对获取的文件或数据进行处理，生成处理结果。
需要说明的是，本申请实施例所提供的PCB表面缺陷实时检测方法可以由服务器105执行，也可以由终端设备101、102、103执行，相应地，PCB表面缺陷实时检测装置可以设置于服务器105中，也可以设置于终端设备101、102、103中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。在所处理的数据不需要从远程获取的情况下，上述装置架构可以不包括网络，而只需服务器或终端设备。
图2示出了本申请的实施例提供的一种PCB表面缺陷实时检测方法，包括以下步骤：
S1，获取PCB图像，并对PCB图像进行预处理，得到预处理图像。
在具体的实施例中，如图3所示的流程框图，先启动检测程序，开始流程，利用安置在PCB生产流水线上的图像采集装置，实时采集PCB图像，并将所获取的PCB图像进行存储到PCB图像数据库；可选地，在初始训练模型时，可将所采集的PCB图像进行标注，共6种缺陷类型，选择1000张图像参与模型的训练和测试，并按照4:1的比例划分成训练集和测试集。
具体地，通过图像采集装置获取PCB原始图像，并且将包含的缺陷标注为缺失孔(missing hole)、鼠标咬伤(mouse bite)、开路(open circuit)、短路(short)、杂散(spur)、伪铜(spurious copper)六种类型；该PCB图像数据库在生产实际中可以按需增删改查，以优化PCB缺陷检测模型。
步骤S1的预处理过程包括：
S11：进行图片归一化操作，调整图片至指定大小；
S12：判断模型属于训练阶段或测试阶段；
S13：若属于训练阶段，对训练图片进行随机翻转操作，可选地，加入图片混合(mixup)与自动数据增强操作(AutoAugmentImage)。
具体地，对每张图像进行正则化(归一化)处理，并调整至指定目标大小800×800；判断模型所处的模式，若处于训练模式，可选的数据增强方式包括随机翻转图像、图像混合操作、自动数据增强操作，以丰富训练样本、避免过拟合、增强模型的鲁棒性。
S2，将预处理图像输入骨干网络ResNeSet进行特征提取，得到第一特征图。
在具体的实施例中，骨干网络ResNeSet是基于ResNeXt，优化其结构并引入策略技巧得到的。该结构共包含由50个block的152层网络，其中一个block的组成结构图如图4所示，步骤S2具体包括：
S21，将预处理图像输入骨干网络ResNeSet的上半部分，上半部分包括64条分支，每条分支依次由1×1卷积、步长为2的3×3可变形卷积、1×1卷积以及基于注意力机制的挤压-激励(SE)操作组成，得到上半部分的输出；
S22，将预处理图像输入骨干网络ResNeSet的下半部分，下半部分由步长为2的平均池化和1×1卷积的一条分支组成，得到下半部分的输出；
S23，将上半部分的输出和下半部分的输出通过残差相加操作进行结合，得到第2、3、4、5四个阶段的输出特征图，记为第一特征图C＝{C2，C3，C4，C5}。
具体地，将预处理图像输入骨干网络ResNeSet的上半部分，上半部分有并行的64组分组卷积操作，每条路径依次由1×1卷积、步长为2的3×3可变形卷积、1×1卷积以及基于注意力机制的挤压-激励(SE)操作组成；其中，将步长等于2(stride＝2)的位置原本在第一个1×1卷积，现将其转移至3×3卷积处，通过避免让1×1卷积和stride＝2同时出现，能够减少特征图大量信息的丢失。将原来的普通3×3卷积替换为可变形卷积，能够更加适应目标的形态与尺寸；基于注意力机制的挤压-激励(SE)操作，使得网络重点关注特征图上更加重要的信息，挤压Squeeze操作通过全局平均池化实现，激励Excitation操作通过两个全连接层和sigmoid激活函数实现，激活后的特征再与前面的1×1卷积出来的信息进行相乘；64组路径的各个输出进行相加操作。同时，将预处理图像输入下半部分，下半部分包含步长stride＝2的2×2平均池化AvgPool，最终上半分支与下半分支的输出通过相加操作进行结合，获取第3，11，47,50个block的特征图输出，即所设计的ResNeSet的第2,3,4,5阶段的输出，记为C＝{C2，C3，C4，C5}。
S3，将第一特征图输入特征融合算法FFNet进行特征融合，得的第二特征图。
在具体的实施例中，针对PCB表面缺陷尺寸较小、分散无序、隐蔽性强等特征，设计特征融合算法FFNet，其网络结构如图5所示，步骤S3具体包括：
S31，第一特征图C＝{C2，C3，C4，C5}中的C5进行多维空洞空间金字塔池化运算，多维空洞空间金字塔池化运算包含连续5次带有不同空洞卷积率的空间卷积池化金字塔池化操作D-ASPP，并且前后D-ASPP采用顺序连接和跳跃连接相结合的方式，其连接方式表示为：
式中，outi(i＝0,1,2,3)表示前4次D-ASPP操作在经过连接concat操作之后的输出，ASPP3(C5)表示特征图C5在经过3-ASPP操作(包括空洞卷积率为3的1×1和3×3卷积)，对于ASPP6i(outi-1)的运算也是同理，/>表示后4次D-ASPP运算的连接concat操作，CONV表示1×1卷积操作。
S32，与第一特征图C＝{C2，C3，C4，C5}再进行侧向连接，得到第三特征图P＝{P2，P3，P4，P5}；
S33，将第三特征图P＝{P2，P3，P4，P5}进行注意力机制运算，注意力机制运算包括调整平均、空间Non-local和残差相加操作，得到第二特征图F＝{F2，F3，F4，F5}。
在具体的实施例中，注意力机制运算的目的是使网络关注特征图上的全局重要信息，以提高对PCB缺陷的检测性能。其中调整平均是通过将多尺度特征P2，P3和P5通过最大池化或最邻近插值等操作实现，空间Non-local操作可以引入全局信息，残差相加操作是再次分散到各个特征图尺度上，并且与前面的P＝{P2，P3，P4，P5}通过残差路径进行相加融合。步骤S32和S33的具体操作包括：
将输出out和C5相加之后得到P5，P5经过2倍上采样后与经过1×1卷积的C4进行侧向连接操作得到P4；以此类推，再分别得到P3，P2，此过程可由下式表示：
式中，表示concat连接操作，CONV表示1×1卷积操作，得到第三特征图P＝{P2，P3，P4，P5}；
将P2，P3和P5进行调整平均操作，操作方式如下：
pool(P2，4)和pool(P3，2)表示对P2和P3分别进行步长为4和2的最大池化操作；intp(P5，2)对P5进行长宽乘数因子为2的最邻近插值操作；通过对操作后的P2，P3和P5取平均值后得到输出x；
将输出x进行空间Non-local操作，该操作的输入x和输出y的关系如下：
zi＝c(yi)+xi；
输入向量xi和xj分别表示在输出x上当前网络关注的信息与全局信息，f(xi，xj)是用来计算xi和xj距离的函数，f(xi，xj)使用嵌入高斯函数(Embedded Gaussian function)；c(xj)是1×1卷积操作，将点xj映射成向量；θ(xi)和都是1×1卷积操作；c(yi)也是1×1卷积操作，使得yi的通道数与xi保持一致，最终与xi相加后得到输出zi；
将输出zi进行残差相加，表达式如下：
Fk＝Pk+intp(zi，0.5k-4)，(k＝2,3,4,5)；
式中，intp(zik，0.5k-4)表示把zi通过插值运算，将其大小重新调整与P＝{P2，P3，P4，P5}达到一致，再将二者对应相加，得到第二特征图F＝{F2，F3，F4，F5}。
S4，将第二特征图输入区域候选网络RPN，得到感兴趣区域，将感兴趣区域输入级联RCNN，得到检测结果。
在具体的实施例中，步骤S4具体包括：
S41，将第二特征图F＝{F2，F3，F4，F5}输入区域候选网络RPN，经过第一次粗筛选，得到第一感兴趣区域；
S42，将第一感兴趣区域进行RoI Align操作，再进入检测框生成头，通过级联RCNN进行IoU阈值过滤，得到检测区域和分类结果。
在具体的实施例中，区域候选网络RPN通过提出候选区域，并将这些区域用“前景”(正样本)和“背景”(负样本)区分开来，得到网络的感兴趣区域RoI。级联RCNN通过将原有的Faster RCNN使用级联方式进行重采样，并逐步提高候选区域的IoU阈值，使得前一层输出的边界框回归(即候选区域)能够适应下一层更高的IoU阈值。具体的，在本申请的实施例中，使用3层级联的RCNN，每一层的IoU阈值分别为0.5,0.6,0.7。每一层都会回归边界框并且获得分类结果，上一层回归得到的边界框会成为下一层的输入，通过不断精细化以获得高质量的PCB缺陷检测识别结果。
S5，将检测结果通过基于距离的非极大值抑制操作DIoU-NMS过滤，得到最佳检测结果。
在本申请的实施例中使用基于距离的非极大值抑制操作DIoU-NMS以删除冗余的检测结果，并充分保留各缺陷的最佳检测结果。DIoU-NMS不仅考虑了交并比IoU，还考虑了两个边界框中心点之间的距离。
在具体的实施例中，步骤S5中基于距离的非极大值抑制操作DIoU-NMS的表达式如下：
式中，ε是DIoU-NMS的阈值，具体地，ε设定为0.5，dist(bM，bi)表示分数最高的预测边界框bM与其他边界框bi中心点之间的距离，当IoU与dist(bM，bi)之间的差值小于ε时，该边界框被赋予的分数scorei保持不变，否则scorei设置为0而被过滤。
将以上部分构成PCB缺陷检测模型(下面简称“模型”)，判断模型处于哪种模式进行不同的操作，具体包括：
若模型处于训练模式，则通过在测试集上进行评估，判断该模型的预测精度是否满足实际生产环境要求；
若处于测试应用模式，则获得待检测PCB的表面缺陷检测结果，包含缺陷位置、缺陷类别及置信概率。
更进一步，若模型处于训练模式，将评估结果及在测试集上各检测结果供专业人员进一步分析，判断模型检测结果是否满足要求，并根据结果可进一步完善PCB图像数据库；
若处于测试应用模式，对待检测的图像输出表面缺陷可视化检测结果，包括各缺陷的类型、位置、置信度概率等信息，并进一步生成质检报告。
其中一应用实例如图6所示，可以选择所要质检的生产线以及PCB图像，通过上述模型输出可视化结果，并得到相应的检测结果分析。
对不同应用场景，可以选择不同评价标准：
(1)对于更注重实时性的场合，速度要求应占主导地位，可选地，设定检测速度标准为20fps(即每秒可处理20帧图像)，检测精度标准为0.85(IoU设为0.5时的检测精度)；
(2)对于更注重检测质量的场景，精度要求应占主导地位，可选地，设定检测精度标准为0.95，检测速度标准为15fps。
具体应用在工业场景，在PCB生产制造过程的流水线上的初步检测，可使用标准(1)作为判断模型符合要求的基本条件，在质检过程中的精细化筛查中，可使用标准(2)作为判断模型符合要求的基本条件。若处于测试应用模式，则获得待检测PCB的表面缺陷检测结果，包含缺陷位置、缺陷类别及置信概率。
下面通过具体的精确度来说明，如表1所示为本申请的实施例在六种缺陷中检测结果的精确度，精确度在97％以上，其中对于缺失孔和伪铜的精确度可达100％。表2为本申请的实施例与其他两种算法在平均精确度上的比较，明显可见本申请的实施例的最终得到的检测结果的平均精确度优于其他两种算法，本申请的实施例的平均精确度可达98.8％。
表1本申请的实施例在各缺陷类型上的精度对比
| 类别 | 缺失孔 | 鼠标咬伤 | 开路 | 短路 | 杂散 | 伪铜 |
| 精确度(％) | 100 | 99.93 | 97.17 | 97.70 | 97.95 | 100 |
表2本申请的实施例与其他算法的平均精确度对比
进一步参考图7，作为对上述各图所示方法的实现，本申请提供了一种PCB表面缺陷实时检测装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
本申请实施例提供了一种PCB表面缺陷实时检测装置，包括：
预处理模块1，被配置为获取PCB图像，并对PCB图像进行预处理，得到预处理图像；
特征提取模块2，被配置为将预处理图像输入骨干网络ResNeSet进行特征提取，得到第一特征图；
特征融合模块3，被配置为将第一特征图输入特征融合算法FFNet进行特征融合，得的第二特征图；
检测模块4，被配置为将第二特征图输入区域候选网络RPN，得到感兴趣区域，将感兴趣区域输入级联RCNN，得到检测结果；
后处理模块5，被配置为将检测结果通过基于距离的非极大值抑制操作DIoU-NMS过滤，得到最佳检测结果。
从以上技术方案的描述中可以看出，相比于现有技术依靠对人工筛查、传统的图像识别或一般的机器视觉方法，本申请针对PCB缺陷检测的难点，提出一种高精度的PCB表面缺陷实时检测方法，并针对不同应用场景适配不同标准的训练模型，能够更为精确和高效地对常见的六种PCB表面小型缺陷进行识别和检测，从而自动筛选出不合格的PCB产品，为保证PCB生产品质及其下游产品的质量起到了积极作用。
下面参考图8，其示出了适于用来实现本申请实施例的电子设备(例如图1所示的服务器或终端设备)的计算机装置800的结构示意图。图8示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图8所示，计算机装置800包括中央处理单元(CPU)801和图形处理器(GPU)802，其可以根据存储在只读存储器(ROM)803中的程序或者从存储部分809加载到随机访问存储器(RAM)804中的程序而执行各种适当的动作和处理。在RAM 804中，还存储有装置800操作所需的各种程序和数据。CPU 801、GPU802、ROM 803以及RAM 804通过总线805彼此相连。输入/输出(I/O)接口806也连接至总线805。
以下部件连接至I/O接口806：包括键盘、鼠标等的输入部分807；包括诸如、液晶显示器(LCD)等以及扬声器等的输出部分808；包括硬盘等的存储部分809；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分810。通信部分810经由诸如因特网的网络执行通信处理。驱动器811也可以根据需要连接至I/O接口806。可拆卸介质812，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器811上，以便于从其上读出的计算机程序根据需要被安装入存储部分809。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分810从网络上被下载和安装，和/或从可拆卸介质812被安装。在该计算机程序被中央处理单元(CPU)801和图形处理器(GPU)802执行时，执行本申请的方法中限定的上述功能。
需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读介质或者是上述两者的任意组合。计算机可读介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的装置、装置或器件，或者任意以上的组合。计算机可读介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行装置、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行装置、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本申请各种实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的装置来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取PCB图像，并对PCB图像进行预处理，得到预处理图像；将预处理图像输入骨干网络ResNeSet进行特征提取，得到第一特征图；将第一特征图输入特征融合算法FFNet进行特征融合，得的第二特征图；将第二特征图输入区域候选网络RPN，得到感兴趣区域，将感兴趣区域输入级联RCNN，得到检测结果；将检测结果通过基于距离的非极大值抑制操作DIoU-NMS过滤，得到最佳检测结果。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (9)
1.一种PCB表面缺陷实时检测方法，其特征在于，包括以下步骤：
S1，获取PCB图像，并对所述PCB图像进行预处理，得到预处理图像；
S2，将预处理图像输入骨干网络ResNeSet进行特征提取，得到第2、3、4、5四个阶段的输出特征图，记为第一特征图C＝{C2，C3，C4，C5)；
S3，将所述第一特征图输入特征融合算法FFNet进行特征融合，得的第二特征图，所述步骤S3具体包括：
S31，所述第一特征图C＝{C2，C3，C4，C5)中的C5进行多维空洞空间金字塔池化运算，所述多维空洞空间金字塔池化运算包含连续5次带有不同空洞卷积率的空间卷积池化金字塔池化操作D-ASPP，并采用顺序连接和跳跃连接相结合的方式；
S32，与所述第一特征图C＝{C2，C3，C4，C5)再进行侧向连接，得到第三特征图P＝{P2，P3，P4，P5}；
S33，将所述第三特征图P＝{P2，P3，P4，P5}进行注意力机制运算，所述注意力机制运算包括调整平均、空间Non-local和残差相加操作，得到所述第二特征图F＝{F2，F3，F4，F5}；
S4，将所述第二特征图输入区域候选网络RPN，得到感兴趣区域，将所述感兴趣区域输入级联RCNN，得到检测结果；
S5，将所述检测结果通过基于距离的非极大值抑制操作DIoU-NMS过滤，得到最佳检测结果。
2.根据权利要求1所述的PCB表面缺陷实时检测方法，其特征在于，所述步骤S2具体包括：
S21，将所述预处理图像输入所述骨干网络ResNeSet的上半部分，所述上半部分包括64条分支，每条分支依次由1×1卷积、步长为2的3×3可变形卷积、1×1卷积以及基于注意力机制的挤压-激励(SE)操作组成，得到上半部分的输出；
S22，将所述预处理图像输入所述骨干网络ResNeSet的下半部分，所述下半部分由步长为2的平均池化和1×1卷积的一条分支组成，得到下半部分的输出；
S23，将所述上半部分的输出和所述下半部分的输出通过残差相加操作进行结合，得到第2、3、4、5四个阶段的输出特征图，记为第一特征图c＝{C2，C3，C4，C5)。
3.根据权利要求1所述的PCB表面缺陷实时检测方法，其特征在于，所述步骤S31的连接方式表示为：
式中，outi(i＝0，1，2，3)表示前4次D-ASPP操作在经过连接concat操作①之后的输出，ASPP3(C6)表示特征图C5在经过3-ASPP操作，对于ASPP∈i(outi-1)的运算也是同理，表示后4次D-ASPP运算的连接concat操作，CONV表示1×1卷积操作。
4.根据权利要求3所述的PCB表面缺陷实时检测方法，其特征在于，所述步骤S32和S33的具体操作包括：
将所述输出out和C5相加之后得到P5，P5经过2倍上采样后与经过1×1卷积的C4进行侧向连接操作得到P4；以此类推，再分别得到P3，P2，此过程可由下式表示：
Pt＝Pi+1①CONV(ct)，(i-4,3，2)；
式中，①表示concat连接操作，CONV表示1×1卷积操作，得到所述第三特征图P＝{P2，P3，P4，P6}；
将所述P2，P3和P5进行调整平均操作，操作方式如下：
pool(P2，4)和pool(P3，2)表示对P2和P3分别进行步长为4和2的最大池化操作；intp(P6，2)对P5进行长宽乘数因子为2的最邻近插值操作；通过对操作后的P2，P3和P5取平均值后得到输出x；
将输出x进行空间Non-local操作，引入全局信息，该操作的输入x和输出y的关系如下：
zi＝c(yi)+xi；
输入向量xi和xj分别表示在输出x上当前网络关注的信息与全局信息，f(xi，xj)是用来计算xi和xj距离的函数，f(xt，xj)使用嵌入高斯函数(Embedded Gaussian function)；c(xj)是1×1卷积操作，将点xj映射成向量；θ(xi)和都是1×1卷积操作；c(yi)也是1×1卷积操作，使得ri的通道数与xi保持一致，最终与xi相加后得到输出zi；
将所述输出zi进行残差相加，表达式如下：
Pk＝Pk|intp(zi，0,5k-4)，(k＝2，3,4,5)；
式中，intp(zik.0.5k-4)表示把zi通过插值运算，将其大小重新调整与P＝{P2，P3，P4，P5)达到一致，再将二者对应相加，得到所述第二特征图F＝{F2，F3，F4，F5}。
5.根据权利要求1所述的PCB表面缺陷实时检测方法，其特征在于，所述步骤S4具体包括：
S41，将所述第二特征图F＝{F2，F3，F4，F5)输入区域候选网络RPN，经过第一次粗筛选，得到第一感兴趣区域；
S42，将所述第一感兴趣区域进行RoI Align操作，再进入检测框生成头，通过级联RCNN进行IoU阈值过滤，得到检测区域和分类结果。
6.根据权利要求5所述的PCB表面缺陷实时检测方法，其特征在于，所述步骤S5中基于距离的非极大值抑制操作DIoU-NMS的表达式如下：
式中，ε是DIoU-NMS的阈值，dist(bM，bi)表示分数最高的预测边界框bM与其他边界框bi中心点之间的距离，当IoU与dist(bM，bi)之间的差值小于ε时，该边界框被赋予的分数scorei保持不变，否则scorei设置为0而被过滤。
7.一种PCB表面缺陷实时检测装置，其特征在于，包括：
预处理模块，被配置为获取PCB图像，并对所述PCB图像进行预处理，得到预处理图像；
特征提取模块，被配置为将预处理图像输入骨干网络ResNeSet进行特征提取，得到第2、3、4、5四个阶段的输出特征图，记为第一特征图C＝{C2，C3，C4，C5)；
特征融合模块，被配置为将所述第一特征图输入特征融合算法FFNet进行特征融合，得的第二特征图；
检测模块，被配置为将所述第二特征图输入区域候选网络RPN，得到感兴趣区域，将所述感兴趣区域输入级联RCNN，得到检测结果，所述检测模块具体包括：
所述第一特征图C＝{C2，C3，C4，C5)中的C5进行多维空洞空间金字塔池化运算，所述多维空洞空间金字塔池化运算包含连续5次带有不同空洞卷积率的空间卷积池化金字塔池化操作D-ASPP，并采用顺序连接和跳跃连接相结合的方式；
与所述第一特征图C＝{C2，C3，C4，C5}再进行侧向连接，得到第三特征图P＝{P2，P3，P4，P5}；
将所述第三特征图P＝{P2，P3，P4，P5}进行注意力机制运算，所述注意力机制运算包括调整平均、空间Non-local和残差相加操作，得到所述第二特征图F＝{F2，F3，F4，F5}；
后处理模块，被配置为将所述检测结果通过基于距离的非极大值抑制操作DIoU-NMS过滤，得到最佳检测结果。
8.一种电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的方法。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110873010.6A CN113628179B (zh) | 2021-07-30 | 2021-07-30 | 一种pcb表面缺陷实时检测方法、装置及可读介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110873010.6A CN113628179B (zh) | 2021-07-30 | 2021-07-30 | 一种pcb表面缺陷实时检测方法、装置及可读介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113628179A CN113628179A (zh) | 2021-11-09 |
| CN113628179B true CN113628179B (zh) | 2023-11-24 |
Family
ID=78381825
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110873010.6A Active CN113628179B (zh) | 2021-07-30 | 2021-07-30 | 一种pcb表面缺陷实时检测方法、装置及可读介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113628179B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113781485B (zh) * | 2021-11-12 | 2022-09-09 | 成都数联云算科技有限公司 | 一种pcb缺陷类别的智能检测方法、装置、电子设备及介质 |
| CN113870262B (zh) * | 2021-12-02 | 2022-04-19 | 武汉飞恩微电子有限公司 | 基于图像处理的印刷电路板分类方法、装置及储存介质 |
| CN116433666B (zh) * | 2023-06-14 | 2023-08-15 | 江西萤火虫微电子科技有限公司 | 板卡线路缺陷在线识别方法、系统、电子设备及存储介质 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1995592A1 (en) * | 2007-05-22 | 2008-11-26 | Honeywell International Inc. | Automated defect detection of corrosion or cracks using SAFT processed Lamb wave images |
| CN110555842A (zh) * | 2019-09-10 | 2019-12-10 | 太原科技大学 | 一种基于锚点集优化的硅片图像缺陷检测方法 |
| CN110766643A (zh) * | 2019-10-28 | 2020-02-07 | 电子科技大学 | 一种面向眼底图像的微动脉瘤检测方法 |
| CN110992311A (zh) * | 2019-11-13 | 2020-04-10 | 华南理工大学 | 一种基于特征融合的卷积神经网络瑕疵检测方法 |
| CN111401201A (zh) * | 2020-03-10 | 2020-07-10 | 南京信息工程大学 | 一种基于空间金字塔注意力驱动的航拍图像多尺度目标检测方法 |
| CN112465759A (zh) * | 2020-11-19 | 2021-03-09 | 西北工业大学 | 一种基于卷积神经网络的航空发动机叶片缺陷检测方法 |
| CN112465790A (zh) * | 2020-12-03 | 2021-03-09 | 天津大学 | 基于多尺度卷积和三线性全局注意力的表面缺陷检测方法 |
| KR102230886B1 (ko) * | 2020-03-19 | 2021-03-22 | 동의대학교 산학협력단 | 이미지인식 기반의 프로젝션용접 결함 검출시스템 |
| CN112561910A (zh) * | 2020-12-28 | 2021-03-26 | 中山大学 | 一种基于多尺度特征融合的工业表面缺陷检测方法 |
| CN112734693A (zh) * | 2020-12-18 | 2021-04-30 | 平安科技（深圳）有限公司 | 一种管道焊缝缺陷检测方法及相关装置 |
| CN113160139A (zh) * | 2021-03-24 | 2021-07-23 | 华南理工大学 | 基于注意力的Faster R-CNN网络的钢板表面缺陷检测方法 |
-
2021
- 2021-07-30 CN CN202110873010.6A patent/CN113628179B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1995592A1 (en) * | 2007-05-22 | 2008-11-26 | Honeywell International Inc. | Automated defect detection of corrosion or cracks using SAFT processed Lamb wave images |
| CN110555842A (zh) * | 2019-09-10 | 2019-12-10 | 太原科技大学 | 一种基于锚点集优化的硅片图像缺陷检测方法 |
| CN110766643A (zh) * | 2019-10-28 | 2020-02-07 | 电子科技大学 | 一种面向眼底图像的微动脉瘤检测方法 |
| CN110992311A (zh) * | 2019-11-13 | 2020-04-10 | 华南理工大学 | 一种基于特征融合的卷积神经网络瑕疵检测方法 |
| CN111401201A (zh) * | 2020-03-10 | 2020-07-10 | 南京信息工程大学 | 一种基于空间金字塔注意力驱动的航拍图像多尺度目标检测方法 |
| KR102230886B1 (ko) * | 2020-03-19 | 2021-03-22 | 동의대학교 산학협력단 | 이미지인식 기반의 프로젝션용접 결함 검출시스템 |
| CN112465759A (zh) * | 2020-11-19 | 2021-03-09 | 西北工业大学 | 一种基于卷积神经网络的航空发动机叶片缺陷检测方法 |
| CN112465790A (zh) * | 2020-12-03 | 2021-03-09 | 天津大学 | 基于多尺度卷积和三线性全局注意力的表面缺陷检测方法 |
| CN112734693A (zh) * | 2020-12-18 | 2021-04-30 | 平安科技（深圳）有限公司 | 一种管道焊缝缺陷检测方法及相关装置 |
| CN112561910A (zh) * | 2020-12-28 | 2021-03-26 | 中山大学 | 一种基于多尺度特征融合的工业表面缺陷检测方法 |
| CN113160139A (zh) * | 2021-03-24 | 2021-07-23 | 华南理工大学 | 基于注意力的Faster R-CNN网络的钢板表面缺陷检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| 基于多特征融合的PCB缺陷自动检测与分类方法研究;李凡;《中国优秀硕士学位论文全文数据库（电子期刊）》;I135-502 * |
| 基于深度学习的PCB缺陷检测研究;胡珊珊等;《电测与仪表》;第58卷(第3期);139-145 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113628179A (zh) | 2021-11-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113628179B (zh) | 一种pcb表面缺陷实时检测方法、装置及可读介质 | |
| CN108960090B (zh) | 视频图像处理方法及装置、计算机可读介质和电子设备 | |
| CN107123117B (zh) | 一种基于深度学习的ic引脚焊点质量检测方法及装置 | |
| CN111369523B (zh) | 显微图像中细胞堆叠的检测方法、系统、设备及介质 | |
| CN113421242B (zh) | 基于深度学习的焊点外观质量检测方法、装置及终端 | |
| KR100868884B1 (ko) | 유리 기판 유리 불량 정보 시스템 및 분류 방법 | |
| US11348349B2 (en) | Training data increment method, electronic apparatus and computer-readable medium | |
| CN111951192A (zh) | 一种拍摄图像的处理方法及拍摄设备 | |
| CN113066088A (zh) | 工业检测中的检测方法、检测装置和存储介质 | |
| Li et al. | IC solder joint inspection via generator-adversarial-network based template | |
| CN111882547A (zh) | 一种基于神经网络的pcb漏件检测方法 | |
| CN116468680A (zh) | 一种元器件反极缺陷检测方法、系统、设备及存储介质 | |
| CN112052730A (zh) | 一种3d动态人像识别监控设备及方法 | |
| CN117392042A (zh) | 缺陷检测方法、缺陷检测设备及存储介质 | |
| CN117152165B (zh) | 感光芯片缺陷的检测方法、装置、存储介质及电子设备 | |
| CN111753775B (zh) | 鱼的生长评估方法、装置、设备及存储介质 | |
| CN113643260A (zh) | 用于检测图像质量的方法、装置、设备、介质和产品 | |
| CN113469944A (zh) | 一种产品质检方法、装置和电子设备 | |
| CN116993654A (zh) | 摄像头模组缺陷检测方法、装置、设备、存储介质及产品 | |
| CN115564727A (zh) | 一种爆光显影异常缺陷检测方法及系统 | |
| CN115272340A (zh) | 工业产品缺陷检测方法和装置 | |
| CN115719326A (zh) | Pcb板缺陷检测方法及装置 | |
| CN107123105A (zh) | 基于fast算法的图像匹配缺陷检测方法 | |
| CN113034432A (zh) | 一种产品缺陷检测方法、系统、装置及存储介质 | |
| Noroozi et al. | Towards Optimal Defect Detection in Assembled Printed Circuit Boards Under Adverse Conditions |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |