CN114882039B - 一种应用于pcb板自动分拣过程中的pcb板缺陷识别方法 - Google Patents

一种应用于pcb板自动分拣过程中的pcb板缺陷识别方法 Download PDF

Info

Publication number
CN114882039B
CN114882039B CN202210811475.3A CN202210811475A CN114882039B CN 114882039 B CN114882039 B CN 114882039B CN 202210811475 A CN202210811475 A CN 202210811475A CN 114882039 B CN114882039 B CN 114882039B
Authority
CN
China
Prior art keywords
pcb
image
defect
neural network
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210811475.3A
Other languages
English (en)
Other versions
CN114882039A (zh
Inventor
张小灵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nantong Touling Information Technology Co ltd
Original Assignee
Nantong Touling Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nantong Touling Information Technology Co ltd filed Critical Nantong Touling Information Technology Co ltd
Priority to CN202210811475.3A priority Critical patent/CN114882039B/zh
Publication of CN114882039A publication Critical patent/CN114882039A/zh
Application granted granted Critical
Publication of CN114882039B publication Critical patent/CN114882039B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • B07C5/342—Sorting according to other particular properties according to optical properties, e.g. colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30141—Printed circuit board [PCB]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明涉及数据处理与识别技术领域，具体涉及一种应用于PCB板自动分拣过程中的PCB板缺陷识别方法，该方法利用简单电子设备识别PCB板缺陷，提高了神经网络的识别能力，包括：对含缺陷的所有PCB图像人工标注所有缺陷的包围框和缺陷类型；获得PCB上每个缺陷的关注热度图；根据所有缺陷关注热度图得到综合关注热度图；利用综合关注热度图构建第一损失函数，结合PCB图像训练自编码网络，得到对应缺陷特征图；将PCB图像输入待训练的缺陷定位识别神经网络，获得指定卷积层输出的目标特征图，结合缺陷特征图构建第二损失函数，并进行神经网络的训练；利用缺陷电子识别装置运行缺陷定位识别神经网络，根据识别结果自动控制分拣过程，分拣存在缺陷的PCB板。

Description

一种应用于PCB板自动分拣过程中的PCB板缺陷识别方法
技术领域
本发明涉及数据处理与识别技术领域，具体涉及一种应用于PCB板自动分拣过程中的PCB板缺陷识别方法。
背景技术
PCB在生产制造过程中会出现各种各样的缺陷，如短路、凸铜、开路等缺陷。为了实现对多种类型缺陷的检测。现有的技术往往是通过训练神经网络来进行多种类型的缺陷检测。但是由于PCB板上存在多种类型的电子元器件，即输入神经网络的图像上包含复杂的纹理，且缺陷区域较小，使得神经网络不能准确快速的获得缺陷。此外，由于PCB上缺陷种类较多，数据集难以全部标注，因此难以获得大规模的完备数据集，导致网络的准确率低；而现有的准确率较高的神经网络参数较多，使得神经网络运行速度慢，导致识别缺陷的电子设备难以简化。
因此本发明提供了一种准确率高且参数量少的神经网络，该神经网络能够运行在简单的电子识别设备来上来实现PCB板上的缺陷识别和定位，从而实现存在缺陷的PCB板的自动分拣。
发明内容
本发明提供一种应用于PCB板自动分拣过程中的PCB板缺陷识别方法，该方法用于缺陷识别，利用简单电子设备识别PCB板缺陷，提高神经网络的识别能力，包括：
本发明涉及人工智能领域，具体涉及一种应用于PCB板自动分拣过程中的PCB板缺陷识别方法，该方法用于缺陷识别，利用简单电子设备识别PCB板缺陷，提高了神经网络的识别能力，包括：对含缺陷的所有PCB图像人工标注所有缺陷的包围框和缺陷类型；获得PCB图像上每个缺陷的关注热度图；根据所有缺陷关注热度图得到综合关注热度图；利用综合关注热度图构建第一损失函数，结合PCB图像训练自编码网络，得到对应缺陷特征图；将PCB图像输入待训练的缺陷定位识别神经网络，获得指定卷积层输出的目标特征图，结合缺陷特征图构建第二损失函数，并进行神经网络的训练；利用缺陷电子识别装置运行缺陷定位识别神经网络，根据检测结果自动分拣存在缺陷的PCB板。本发明提高了神经网络缺陷检测的准确度，并且能够使神经网络在少量数据集中学习有效特征，并根据神经网络的检测结果实现缺陷PCB板的自动分拣。
为达到上述目的，本发明采用以下技术方案，一种应用于PCB板自动分拣过程中的PCB板缺陷识别方法，包括：
对含有缺陷的所有PCB图像进行灰度化处理，并进行人工标注，标注出每个PCB图像上所有缺陷的包围框和缺陷类型；
对于每个PCB图像上每个缺陷的包围框，根据所述包围框内的所有像素和所述PCB图像上不同区域内的所有像素获得每个PCB图像上每个缺陷的关注热度图；
对每个PCB图像上所有缺陷的关注热度图求均值获得每个PCB图像的综合关注热度图；
利用每个PCB图像的综合关注热度图构建第一损失函数，利用所述第一损失函数以及所述PCB图像训练一个自编码网络，得到每个PCB图像的缺陷特征图；
构建一个待训练缺陷定位识别神经网络，将每个PCB图像输入所述缺陷定位识别神经网络，并获得所述缺陷定位识别神经网络指定卷积层输出的每个PCB图像对应的目标特征图，然后利用每个PCB图像对应的目标特征图和每个PCB图像的缺陷特征图构建第二损失函数，最后以所有PCB图像为数据集，利用第二损失函数训练所述的待训练缺陷定位识别神经网络；
将训练完成的缺陷定位识别神经网络运行在缺陷电子识别装置上，缺陷电子识别装置采集实际生产环境中的待检测PCB图像，将待检测PCB图像输入训练完成的缺陷定位识别网络中，并输出检测结果，根据检测结果自动分拣出存在缺陷的PCB板。
进一步的，所述的一种应用于PCB板自动分拣过程中的PCB板缺陷识别方法，其特征在于，所述每个PCB图像上每个缺陷的关注热度图是按照如下方式得到：
对于每个PCB图像上的每个缺陷，获取所述缺陷的包围框，获取所述包围框内的所有像素构成的第一子图像；
以所述PCB图像上每个像素点为中心，获取与所述包围框大小相等的窗口区域，将所述窗口区域内所有像素构成子图像称为每个像素的第二子图像，计算所述第一子图像与每个像素的第二子图像的相似度，同理，将所述第一子图像与所有像素的第二子图像之间的相似度作为对应像素的灰度值，构建成一张单通道灰度图像，然后将所述的单通道灰度图像进行归一化处理，获得所述PCB图像上的所述缺陷的关注热度图。
进一步的，所述的一种应用于PCB板自动分拣过程中的PCB板缺陷识别方法，其特征在于，所述第一子图像与每个像素的第二子图像的相似度是按照如下方式获取的：
利用KM匹配算法将第一子图像与第二子图像中的像素进行一一匹配，获得所有匹配的像素对，使得所有像素对中像素之间的灰度值差异最小；
将每组像素对中像素之间的灰度差值的绝对值称为每个像素对的相似指标，计算所有像素对的相似指标的均值，将所述均值的倒数称为第一子图像与每个像素的第二子图像的相似度。
进一步的，所述的一种应用于PCB板自动分拣过程中的PCB板缺陷识别方法，其特征在于，所述第一损失函数是按照如下方式获取的：
获取综合关注热度图中每个像素点的灰度值；构建第一损失函数：
Figure 94435DEST_PATH_IMAGE002
其中
Figure 100002_DEST_PATH_IMAGE003
为所述PCB图像中像素点的个数，
Figure 799699DEST_PATH_IMAGE004
为自编码网络输入的PCB图像中第
Figure 100002_DEST_PATH_IMAGE005
个像素点的灰度值；
Figure 92096DEST_PATH_IMAGE006
为自编码网络输出图像中第
Figure 955183DEST_PATH_IMAGE005
个像素点的灰度值；
Figure 100002_DEST_PATH_IMAGE007
为均方差损失函数；
Figure 571322DEST_PATH_IMAGE008
为所述PCB图像的综合关注热度图中第
Figure 429295DEST_PATH_IMAGE005
个像素点的灰度值。
进一步的，所述的一种应用于PCB板自动分拣过程中的PCB板缺陷识别方法，其特征在于，所述待训练缺陷定位识别神经网络的网络结构与YOLOv3神经网络的网络结构一样，但是设置待训练缺陷定位识别神经网络的网络层数为YOLOv3网络层数的一半。
进一步的，所述的一种应用于PCB板自动分拣过程中的PCB板缺陷识别方法，其特征在于，所述第二损失函数是按照如下方式获得的：
Figure 6775DEST_PATH_IMAGE010
其中
Figure 100002_DEST_PATH_IMAGE011
为所述缺陷定位识别神经网络指定卷积层输出的所述PCB图像对应的目标特征图；
Figure 81523DEST_PATH_IMAGE012
为所述PCB图像的缺陷特征图；
Figure 100002_DEST_PATH_IMAGE013
为目标特征图与缺陷特征图之间差值的L2范数；
Figure 993632DEST_PATH_IMAGE014
为YOLOv3神经网络的损失函数。
进一步的，所述的一种应用于PCB板自动分拣过程中的PCB板缺陷识别方法，其特征在于，所述缺陷电子识别装置包含但不限于：一个RGB相机、一个光源、一个嵌入式系统；所述的嵌入式系统能够读取RGB相机采集的图像数据，且嵌入式系统可运行缺陷定位识别神经网络。
本发明的有益效果在于：
本发明结合神经网络，利用电子设备采集图像，通过对不同类型的缺陷对PCB图像的不同区域的关注程度进行分析，使得神经网络在训练过程中可以尽可能多的学习缺陷特征以及正常区域特征，减少对无用特征的学习，从而实现了神经网络能够在少量的数据集上学习到有效特征，提高了神经网络的识别能力，使得神经网络能够运行在简单的电子识别设备来上来实现PCB板上的缺陷识别和定位，并实现存在缺陷的PCB板的自动分拣。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例1提供的一种PCB板缺陷识别方法流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
本实施例的主要目的是: 利用图像处理技术，通过对不同类型的缺陷对PCB图像的关注程度分配不同的关注度权重，得到各个缺陷的关注热度图，使得神经网络在训练过程中可以更多的关注缺陷特征的学习，减少对无用特征的学习，使得神经网络可以从少量的数据量中也能进行缺陷的准确区分，从而提高DNN网络的识别能力。
本实施例在传送带上设置电子设备，包括：机架；检测装置：设于传送带上方，包括用于对传送带检测区域内的PCB板进行成像和成像数据输出的成像设备；感应装置，设于传送带和机架上，用于感应被测PCB板图像并将感应信号输出；中央处理器，与成像设备和感应装置电信号连接，用于接受感应信号并实现相应数据处理和控制输出。
本发明实施例提供一种应用于PCB板自动分拣过程中的PCB板缺陷识别方法，该方法利用电子设备识别PCB板缺陷，提高了缺陷识别的准确度，如图1所示，包括：
S101、对含有缺陷的所有PCB图像进行灰度化处理，并进行人工标注，标注出每个PCB图像上所有缺陷的包围框和缺陷类型。
S102、获得每个PCB图像上每个缺陷的关注热度图。
1.根据现有PCB板数据集中
Figure DEST_PATH_IMAGE015
的一张PCB图像
Figure 329280DEST_PATH_IMAGE016
，获取图像
Figure 858088DEST_PATH_IMAGE016
中的标注的各种缺陷包围框以及各个包围框所对应的缺陷类型；
2.对于图像
Figure 531384DEST_PATH_IMAGE016
中的第
Figure DEST_PATH_IMAGE017
种缺陷包围框，获取包围框区域内的子图像，记为第一子图像
Figure 738593DEST_PATH_IMAGE018
；以该图像
Figure 656912DEST_PATH_IMAGE016
中的第
Figure 107354DEST_PATH_IMAGE005
个像素点为中心，构建一个窗口，窗口大小与
Figure 251634DEST_PATH_IMAGE018
相同，获取当前窗口区域内的子图像，记为第二子图像
Figure DEST_PATH_IMAGE019
；
3.利用KM匹配算法将
Figure 528114DEST_PATH_IMAGE019
与
Figure 870977DEST_PATH_IMAGE018
中的像素进行一一匹配，获得所有匹配的像素对，使得所有像素对中像素之间的灰度值差异最小；将每组像素对中像素之间的灰度差值的绝对值称为每个像素对的相似指标，计算所有像素对的相似指标的均值，将所述均值的倒数称为
Figure 803905DEST_PATH_IMAGE019
与
Figure 334285DEST_PATH_IMAGE018
的相似度。
Figure 810528DEST_PATH_IMAGE018
与
Figure 21279DEST_PATH_IMAGE019
的相似度越高，表明该像素点所对应的窗口区域与第
Figure 406999DEST_PATH_IMAGE017
种缺陷包围框区域的内容越相似，因而在神经网络进行此种缺陷类型的训练时，越需要关注这个像素周边区域的特征，此特征对神经网络进行有无缺陷的区分是十分必要的，可以让DNN网络学到哪些区域是缺陷，哪些区域不是缺陷，以及哪些区域与缺陷识别无关，使得DNN网络能够在少量的数据集上也能学些到如何区分缺陷，提高DNN网络的识别能力；否则，则认为第
Figure 791451DEST_PATH_IMAGE005
像素点所对应的窗口区域与第
Figure 445286DEST_PATH_IMAGE017
种缺陷包围框区域的内容关联性较小，该像素点的周边区域对训练网络识别此种类型的缺陷参考价值较小，不需要过度关注该像素点的周边区域；
4.重复操作3，得到PCB图像中的各个像素点与
Figure 589173DEST_PATH_IMAGE018
的相似度，将所述
Figure 372493DEST_PATH_IMAGE018
与所有像素的相似度作为对应像素的灰度值，构建成一张单通道灰度图像，然后将所述的单通道灰度图像的灰度值进行归一化处理，则归一化后的单通道灰度图像即为PCB图像上的第
Figure 414880DEST_PATH_IMAGE017
种缺陷的关注热度图。
5.重复操作2，3，4，获得图像
Figure 479264DEST_PATH_IMAGE016
中所有缺陷类型的关注热度图，直到处理完图像
Figure 726924DEST_PATH_IMAGE016
中的所有缺陷类型；
S103、根据每张PCB图像上所有缺陷的关注热度图获取每张PCB图像的综合关注热度图。
考虑到图像中存在多种类型的缺陷，不同的缺陷类型对不同位置的关注程度不同，而训练神经网络的目的是使神经网络可以进行多种缺陷类型的识别，因此神经网络对同一张图像的关注热度图需要综合图像中的所有缺陷所对应的关注热度图进行综合评价。
故获取图像I中所有缺陷类型所对应的关注热度图，计算这些热度图对应像素点的灰度均值，所得结果即为图像I的综合热度图，其中第j个像素点在综合热度图中的关注度的值记为
Figure 251184DEST_PATH_IMAGE020
；
同理，可得到每张PCB图像的综合关注热度图。
S104、利用自编码器获得每个PCB图像的缺陷特征图。
由于图像I中包含了许多无用特征，这些特征对训练DNN网络来识别缺陷类型参考意义不大，只会增加网络的参数量与计算量，增加网络的训练成本。而本发明期望DNN网络中每层输出的特征图都尽可能多的包含对网络进行缺陷识别训练的有用特征，尽可能少的包含无用特征。因此本发明需要对图像
Figure 941054DEST_PATH_IMAGE016
进行降维，以丢弃无用特征，然后利用降维的结果来辅助DNN网络的训练，使得DNN网络能够尽可能用少的参数量来学习到准确的有用的特征，增加缺陷识别和定位的准确率。
但是常规降维方法不适用于本发明，自编码网络是一种以重构输入信息为目标的神经网络，该网络由用于降维压缩地编码器和负责升维还原的解码器两部分组成，首先通过编码层，将高维空间的向量，压缩成低维的向量，然后通过解码层将低维向量解压重构出原始样本，可实现对输入数据的降维以及特征提取，因此本发明使用自编码器进行降维。
构建一个自编码器，该自编码器由编码器和解码器组成，输入的数据为图像
Figure 412110DEST_PATH_IMAGE016
，其中编码器输出一个特征图
Figure 32054DEST_PATH_IMAGE012
，解码器输出的结果为
Figure DEST_PATH_IMAGE021
；
构建的损失函数：
Figure 707974DEST_PATH_IMAGE022
其中
Figure 180412DEST_PATH_IMAGE003
表示图像中像素点的个数，
Figure 22816DEST_PATH_IMAGE004
表示输入图像中第
Figure 238813DEST_PATH_IMAGE005
个像素点的灰度值；
Figure 370455DEST_PATH_IMAGE006
表示自编码器输出图像中第
Figure 750096DEST_PATH_IMAGE005
个像素点的灰度值；
Figure 54914DEST_PATH_IMAGE007
为均方差损失函数；
Figure DEST_PATH_IMAGE023
表示第个像素点结合关注度修正后的损失函数；
使用损失函数
Figure 616826DEST_PATH_IMAGE024
，以单个图像
Figure 270703DEST_PATH_IMAGE016
为数据集，利用随机梯度下降算法训练自编码器，直至收敛；
获取收敛之后编码器输出的图像
Figure 514471DEST_PATH_IMAGE012
，该图像是图像
Figure 75509DEST_PATH_IMAGE016
结合各个像素点的关注程度进行降维结果，该图像舍弃了无用特征，最大程度的保留了缺陷特征等有用的特征，该图像可以用来辅助DNN网络进行的缺陷特征的准确学习以及识别；
S105、利用每个PCB图像的缺陷特征图训练缺陷定位识别神经网络。
待训练缺陷定位识别神经网络的网络结构与YOLOv3神经网络的网络结构一样，但是设置待训练缺陷定位识别神经网络的网络层数为YOLOv3网络层数的一半；记待训练的缺陷定位识别网络的网络层数为N；
对于网络的输入图像I，本发明中将该缺陷定位识别网络中间的第K层输出的特征图，记为G，其中K=N-5，构建损失函数：
Figure 744126DEST_PATH_IMAGE010
其中
Figure 279887DEST_PATH_IMAGE011
为所述缺陷定位识别神经网络指定卷积层输出的所述PCB图像对应的目标特征图；
Figure 729061DEST_PATH_IMAGE012
为所述PCB图像的缺陷特征图；
Figure 641260DEST_PATH_IMAGE013
为目标特征图与缺陷特征图之间差值的L2范数；
Figure 961120DEST_PATH_IMAGE014
为YOLOv3神经网络的损失函数。
使用损失函数LOSS，以现有的PCB板图像数据集S为训练数据集，利用随机梯度下降算法训练缺陷定位识别网络，直至收敛；
S106、构建缺陷识别电子设备，识别PCB板缺陷，自动分拣出存在缺陷的PCB板；
在均匀光照下，使用相机采集生产完成后，传送带上的PCB板图像，将采集道德图像输入步骤S105所得缺陷定位识别网络，将待检测PCB图像输入训练完成的缺陷定位识别网络中，并输出检测结果，根据检测结果自动分拣出存在缺陷的PCB板。本发明所得缺陷定位网络可实现缺陷的快速定位以及对存在缺陷的PCB板的自动分拣；
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种应用于PCB板自动分拣过程中的PCB板缺陷识别方法，其特征在于，包括：
对含有缺陷的所有PCB图像进行灰度化处理，并进行人工标注，标注出每个PCB图像上所有缺陷的包围框和缺陷类型；
对于每个PCB图像上每个缺陷的包围框，根据所述包围框内的所有像素和所述PCB图像上不同区域内的所有像素获得每个PCB图像上每个缺陷的关注热度图；
对每个PCB图像上所有缺陷的关注热度图求均值获得每个PCB图像的综合关注热度图；
利用每个PCB图像的综合关注热度图构建第一损失函数，利用所述第一损失函数以及所述PCB图像训练一个自编码网络，得到每个PCB图像的缺陷特征图；
构建一个待训练缺陷定位识别神经网络，将每个PCB图像输入所述缺陷定位识别神经网络，并获得所述缺陷定位识别神经网络指定卷积层输出的每个PCB图像对应的目标特征图，然后利用每个PCB图像对应的目标特征图和每个PCB图像的缺陷特征图构建第二损失函数，最后以所有PCB图像为数据集，利用第二损失函数训练所述的待训练缺陷定位识别神经网络；
将训练完成的缺陷定位识别神经网络运行在缺陷电子识别装置上，缺陷电子识别装置采集实际生产环境中的待检测PCB图像，将待检测PCB图像输入训练完成的缺陷定位识别网络中，并输出检测结果，根据检测结果自动分拣出存在缺陷的PCB板；
所述每个PCB图像上每个缺陷的关注热度图是按照如下方式得到：
对于每个PCB图像上的每个缺陷，获取所述缺陷的包围框，获取所述包围框内的所有像素构成的第一子图像；
以所述PCB图像上每个像素点为中心，获取与所述包围框大小相等的窗口区域，将所述窗口区域内所有像素构成子图像称为每个像素的第二子图像，计算所述第一子图像与每个像素的第二子图像的相似度，同理，将所述第一子图像与所有像素的第二子图像之间的相似度作为对应像素的灰度值，构建成一张单通道灰度图像，然后将所述的单通道灰度图像进行归一化处理，获得所述PCB图像上的所述缺陷的关注热度图；
所述第一损失函数是按照如下方式获取的：
获取综合关注热度图中每个像素点的灰度值；构建第一损失函数：
Figure 960271DEST_PATH_IMAGE002
其中
Figure DEST_PATH_IMAGE003
为所述PCB图像中像素点的个数，
Figure 463803DEST_PATH_IMAGE004
为自编码网络输入的PCB图像中第
Figure DEST_PATH_IMAGE005
个像素点的灰度值；
Figure 809333DEST_PATH_IMAGE006
为自编码网络输出图像中第
Figure 349905DEST_PATH_IMAGE005
个像素点的灰度值；
Figure DEST_PATH_IMAGE007
为所述PCB图像的综合关注热度图中第
Figure 404490DEST_PATH_IMAGE005
个像素点的灰度值。
2.根据权利要求1所述的一种应用于PCB板自动分拣过程中的PCB板缺陷识别方法，其特征在于，所述第一子图像与每个像素的第二子图像的相似度是按照如下方式获取的：
利用KM匹配算法将第一子图像与第二子图像中的像素进行一一匹配，获得所有匹配的像素对，使得所有像素对中像素之间的灰度值差异最小；
将每组像素对中像素之间的灰度差值的绝对值称为每个像素对的相似指标，计算所有像素对的相似指标的均值，将所述均值的倒数称为第一子图像与每个像素的第二子图像的相似度。
3.根据权利要求1所述的一种应用于PCB板自动分拣过程中的PCB板缺陷识别方法，其特征在于，所述待训练缺陷定位识别神经网络的网络结构与YOLOv3神经网络的网络结构一样，但是设置待训练缺陷定位识别神经网络的网络层数为YOLOv3网络层数的一半。
4.根据权利要求1所述的一种应用于PCB板自动分拣过程中的PCB板缺陷识别方法，其特征在于，所述第二损失函数是按照如下方式获得的：
Figure DEST_PATH_IMAGE009
其中
Figure 134549DEST_PATH_IMAGE010
为所述缺陷定位识别神经网络指定卷积层输出的所述PCB图像对应的目标特征图；
Figure DEST_PATH_IMAGE011
为所述PCB图像的缺陷特征图；
Figure 193640DEST_PATH_IMAGE012
为目标特征图与缺陷特征图之间差值的L2范数；
Figure DEST_PATH_IMAGE013
为YOLOv3神经网络的损失函数。
5.根据权利要求1所述的一种应用于PCB板自动分拣过程中的PCB板缺陷识别方法，其特征在于，所述缺陷电子识别装置包含但不限于：一个RGB相机、一个光源、一个嵌入式系统；所述的嵌入式系统能够读取RGB相机采集的图像数据，且嵌入式系统可运行缺陷定位识别神经网络。
CN202210811475.3A 2022-07-12 2022-07-12 一种应用于pcb板自动分拣过程中的pcb板缺陷识别方法 Active CN114882039B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210811475.3A CN114882039B (zh) 2022-07-12 2022-07-12 一种应用于pcb板自动分拣过程中的pcb板缺陷识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210811475.3A CN114882039B (zh) 2022-07-12 2022-07-12 一种应用于pcb板自动分拣过程中的pcb板缺陷识别方法

Publications (2)

Publication Number Publication Date
CN114882039A CN114882039A (zh) 2022-08-09
CN114882039B true CN114882039B (zh) 2022-09-16

Family

ID=82682698

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210811475.3A Active CN114882039B (zh) 2022-07-12 2022-07-12 一种应用于pcb板自动分拣过程中的pcb板缺陷识别方法

Country Status (1)

Country Link
CN (1) CN114882039B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115115926A (zh) * 2022-08-30 2022-09-27 南通宏大实验仪器有限公司 基于计算机视觉的试管缺陷检测方法与设备
CN115294115A (zh) * 2022-10-08 2022-11-04 南通如东依航电子研发有限公司 一种基于神经网络的pcb缺陷识别方法
CN117115153B (zh) * 2023-10-23 2024-02-02 威海坤科流量仪表股份有限公司 基于视觉辅助的印制线路板质量智能检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101511602A (zh) * 2006-09-01 2009-08-19 日本发条株式会社 识别介质、物品、识别装置以及识别介质的识别方法
CN111369526A (zh) * 2020-03-03 2020-07-03 中建二局基础设施建设投资有限公司 基于半监督深度学习的多类型旧桥裂痕识别方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110992317B (zh) * 2019-11-19 2023-09-22 佛山市南海区广工大数控装备协同创新研究院 一种基于语义分割的pcb板缺陷检测方法
CN111340787B (zh) * 2020-02-28 2023-09-29 广东电网有限责任公司 输电线路的导线缺陷检测识别方法、装置及计算机设备
CN111627015B (zh) * 2020-05-29 2024-04-26 联想(北京)有限公司 小样本缺陷识别方法、装置、设备及存储介质
CN113971670B (zh) * 2021-12-23 2022-04-15 武汉市利隆捷精密螺丝制造有限公司 基于计算机视觉的螺纹缺陷分析方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101511602A (zh) * 2006-09-01 2009-08-19 日本发条株式会社 识别介质、物品、识别装置以及识别介质的识别方法
CN111369526A (zh) * 2020-03-03 2020-07-03 中建二局基础设施建设投资有限公司 基于半监督深度学习的多类型旧桥裂痕识别方法

Also Published As

Publication number Publication date
CN114882039A (zh) 2022-08-09

Similar Documents

Publication Publication Date Title
CN114882039B (zh) 一种应用于pcb板自动分拣过程中的pcb板缺陷识别方法
CN114359283B (zh) 基于Transformer的缺陷检测方法和电子设备
CN109635806B (zh) 基于残差网络的电表数值识别方法
CN108875821A (zh) 分类模型的训练方法和装置、移动终端、可读存储介质
CN111784633B (zh) 一种面向电力巡检视频的绝缘子缺损自动检测算法
CN110751630B (zh) 基于深度学习的输电线路异物检测方法、装置及介质
CN110648310A (zh) 基于注意力机制的弱监督铸件缺陷识别方法
CN114862838A (zh) 基于无监督学习的缺陷检测方法及设备
CN116681979A (zh) 一种复杂环境下的电力设备目标检测方法
CN114494185A (zh) 一种基于rgb-t多尺度特征融合的电气设备故障检测方法
CN116188756A (zh) 一种基于深度学习的仪表角度校正与示数识别方法
CN111833282A (zh) 一种基于改进的DDcGAN模型的图像融合方法
CN115239672A (zh) 缺陷检测方法及装置、设备、存储介质
CN114065798A (zh) 基于机器识别的视觉识别方法及装置
CN111830051A (zh) 一种基于深度学习的变电站设备漏油检测方法及检测系统
CN113628261B (zh) 一种电力巡检场景下的红外与可见光图像配准方法
CN115829942A (zh) 基于非负性约束稀疏自编码器的电子电路缺陷检测方法
CN112699898B (zh) 一种基于多层特征融合的图像方向识别方法
CN113780492A (zh) 一种二维码二值化方法、装置、设备及可读存储介质
CN110555342B (zh) 一种图像识别方法、装置和图像设备
CN112967224A (zh) 一种基于人工智能的电子电路板检测系统、方法及介质
CN111696070A (zh) 基于深度学习的多光谱图像融合电力物联网故障点检测方法
CN117237683B (zh) 基于改进神经网络的芯片缺陷智慧检测系统
CN114724041B (zh) 基于深度学习的电力设备红外热图的识别方法及系统
CN111414844B (zh) 一种基于卷积循环神经网络的集装箱箱号识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant