CN112819756A - Pcb板表面缺陷检测装置及方法 - Google Patents

Pcb板表面缺陷检测装置及方法 Download PDF

Info

Publication number
CN112819756A
CN112819756A CN202110055145.1A CN202110055145A CN112819756A CN 112819756 A CN112819756 A CN 112819756A CN 202110055145 A CN202110055145 A CN 202110055145A CN 112819756 A CN112819756 A CN 112819756A
Authority
CN
China
Prior art keywords
layer
convolution
mbconvblock
pcb
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110055145.1A
Other languages
English (en)
Other versions
CN112819756B (zh
Inventor
范洪辉
吴涛
周红燕
陈林凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu University of Technology
Original Assignee
Jiangsu University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu University of Technology filed Critical Jiangsu University of Technology
Priority to CN202110055145.1A priority Critical patent/CN112819756B/zh
Publication of CN112819756A publication Critical patent/CN112819756A/zh
Application granted granted Critical
Publication of CN112819756B publication Critical patent/CN112819756B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2321Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30141Printed circuit board [PCB]
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明提供了一种PCB板表面缺陷检测装置及方法,其中,方法中包括:将采集到PCB板图片之后对其进行扩充及标注,并使用k‑means++选取初始聚类中心之后,使用k‑means聚类出先验框;同时,将YOLOv3原网络中的Darknet‑53特征提取层换成EfficientNet网络,将特征融合层扩充为4层,并可加入Inception结构和SPP结构,根据先验框训练完成之后,对可能存在缺陷的PCB板图片进行检测。相较于原YOLOv3网络来说,改进后的表面缺陷检测模型在对小目标检查的速度与准确度都有大幅度的提升,还可以实现批量化生产和减少成本,避免人检所带来的一系列问题,快速提升PCB的质量,提升企业的综合竞争力。

Description

PCB板表面缺陷检测装置及方法
技术领域
本发明涉及数据处理技术领域,尤其涉及一种PCB板表面缺陷检测方法。
背景技术
随着大数据、人工智能、5G通信、物联网等高新技术的迅速发展,极大的推动了印刷电路板(以下简称PCB板)的发展。PCB板作为电子产品之母,对电子产品的重要性如同人类的心脏。各类电子产品的组成部件中PCB板必不可少,且电子产品的质量很大程度上也取决于PCB板的质量,以此PCB板对于各个品牌和商家的竞争力也有很大影响,在出厂时对于PCB裸板的质量要求和检测效率要求也越来越高。
目前,对于PCB裸板的检测主要还是依靠传统的人工目检,但是随着线路密度的不断增高,人工进行检测的难度随之加大。为了解决这一问题,有部分企业使用了针床检测在线测试的方法对其进行检测,虽然这种方法相较于传统人工方法有了明显的进步,但同时带来了模板成本高、检测尺寸受到限制、接触式检测方式易对PCB裸板造成损坏等局限性,依然无法达到产品批量化、高精度、高效率检测的要求。利用较为先进的以机器视觉为核心的自动光学检测系统(Automatic Optical Inspection,AOI)虽然能够解决上述问题,但是由于功能齐全产业完善的企业大多是国外企业,不断引进国外的AOI设备无疑会增加国内企业的成本,对于国内行业的发展不利,因此解决这一问题是PCB行业的巨大挑战。
发明内容
针对上述问题,本发明提供了一种PCB板表面缺陷检测装置及方法,有效解决现有PCB板表面缺陷检测成本高、效率低等技术问题。
本发明提供的技术方案如下:
一方面,本发明提供了一种PCB板表面缺陷检测装置,包括:
图片采集模块,用于采集待检测PCB板图片;
表面缺陷检测模块,用于将所述图片采集模块获取的PCB板图片送入预训练的表面缺陷检测模型,对所述PCB板中可能存在的表面缺陷进行检测;所述表面缺陷检测模型为改进的YOLOv3网络结构,所述YOLOv3网络结构中主干网络为改进后的EfficientNet网络,所述EfficientNet网络中包括多个用于提取特征的MBConvBlock结构,在每个所述MBConvBlock结构中:采用1×1的卷积对输入的数据增加维度之后,进一步对其进行N×N的卷积操作,并利用注意力机制为每个通道添加相应的权值实现特征提取,最后利用1×1的卷积进行维度降低操作并添加相应的残差边。
在本技术方案中,基于改进后YOLOv3网络的深度学习检测方法作为一种非接触智能检测技术,融合了图片处理、模式识别、人工智能、计算机视觉、光学等技术,具有高效率、高精度、高智能、可编程等优点。
另一方面,本发明提供了一种PCB板表面缺陷检测方法,应用于上述PCB板表面缺陷检测装置,所述PCB板表面缺陷检测方法包括:
采集待检测PCB板图片;
将所述图片采集模块获取的PCB板图片送入预训练的表面缺陷检测模型,对所述PCB板中可能存在的表面缺陷进行检测;所述表面缺陷检测模型为改进的YOLOv3网络结构,所述YOLOv3网络结构中主干网络为改进后的EfficientNet网络,所述EfficientNet网络中包括多个用于提取特征的MBConvBlock结构,在每个所述MBConvBlock结构中:采用1×1的卷积对输入的数据增加维度之后,进一步对其进行N×N的卷积操作,并利用注意力机制为每个通道添加相应的权值实现特征提取,最后利用1×1的卷积进行维度降低操作并添加相应的残差边。
在本发明提供的PCB板表面缺陷检测装置及方法中,采集到PCB板图片之后对其进行扩充及标注,并使用k-means++选取初始聚类中心,接着使用k-means聚类出先验框;另外,将YOLOv3原网络中的Darknet-53特征提取层换成EfficientNet网络,将特征融合层变为4层,并可加入Inception结构和SPP结构,根据先验框训练完成之后,对可能存在缺陷的PCB板图片进行检测。相较于原YOLOv3网络来说,改进后的表面缺陷检测模型在对小目标检查的速度与准确度都有大幅度的提升,还可以实现批量化生产和减少成本,避免人检所带来的一系列问题,快速提升PCB的质量,提升企业的综合竞争力,尤其可以利用于中小企业的PCB板表面缺陷检测,对工业智能化有很好的推进作用。
附图说明
下面将以明确易懂的方式,结合附图说明优选实施方式,对上述特性、技术特征、优点及其实现方式予以进一步说明。
图1为本发明PCB板表面缺陷检测装置一实施例结构示意图;
图2为本发明MBConvBlock结构图;
图3为本发明改进的YOLOv3网络一种实施例结构图;
图4为本发明改进的YOLOv3网络另一种实施例结构图
图5为本发明Inception结构图;
图6为本发明SPP结构图;
图7为本发明PCB板表面缺陷检测装置另一实施例结构示意图;
图8为本发明PCB板表面缺陷检测方法另一实施例结构示意图。
附图标记:
100-PCB板表面缺陷检测装置,110-图片采集模块,120-表面缺陷检测模块,130-数据集构建模块,140-先验框计算模块,150-模型训练模块。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对照附图说明本发明的具体实施方式。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图,并获得其他的实施方式。
如图1所示为本发明提供的PCB板表面缺陷检测装置一种实施例结构示意图,从图中可以看出,该PCB板表面缺陷检测装置100中包括:图片采集模块110,用于采集待检测PCB板图片;表面缺陷检测模块120,用于将图片采集模块110获取的PCB板图片送入预训练的表面缺陷检测模型,对PCB板中可能存在的表面缺陷进行检测;表面缺陷检测模型为改进的YOLOv3网络结构,YOLOv3网络结构中主干网络为改进后的EfficientNet网络,EfficientNet网络中包括多个用于提取特征的MBConvBlock结构,在每个MBConvBlock结构中:采用1×1的卷积对输入的数据增加维度之后,进一步对其进行N×N的卷积操作,并利用注意力机制为每个通道添加相应的权值实现特征提取,最后利用1×1的卷积进行维度降低操作并添加相应的残差边。
在该PCB板表面缺陷检测装置中,使用训练好的表面缺陷检测模型对采集的待检测PCB板图片进行缺陷检测,这里,PCB板上的缺陷包括但不限于明显的漏孔、缺口、断路、短路、毛刺、余铜等,其他明显的缺陷也将归于其中。若出现未训练的新缺陷需要进行检测,对该缺陷进行重新标注对构建的表面缺陷检测模型重新训练即可。
如图2所示,EfficientNet网络中的MBConvBlock结构包括依次连接的:1×1的第一卷积层、第一批归一化层、第一Swish激活函数层、3×3的第一深度可分离卷积层和5×5的第二深度可分离卷积层、第二批归一化层、第二Swish激活函数层、全局平均池化层、1×1的第二卷积层、第三Swish激活函数层、1×1的第三卷积层、sigmod激活函数层、1×1的第四卷积层及第三批归一化层,其中,1×1的第一卷积层的输入作为MBConvBlock结构的输入,第三批归一化层的输出作为MBConvBlock结构的输出,3×3的第一深度可分离卷积层和5×5的第二深度可分离卷积层分别与第一Swish激活函数层的输出连接,1×1的第四卷积层的输入分别与第二Swish激活函数层和sigmod激活函数层的输出连接,且1×1的第一卷积层的输入与第三批归一化层的输出连接。
具体,本发明对原有的YOLOV3网络进行改进,将其主干网络替代为改进后的EfficientNet网络,借助于EfficientNet网络利用深度可分离卷积对标准卷积进行压缩以及残差神经网络增大神经网络的深度的特点,使得更深的神经网络实现特征提取同时有效降低参数数量。并针对于应用场景的复杂性、尺度变化大等情况将YOLOV3原先的尺度检测结构进行扩增。
EfficientNet网络是具有高效率的网络模型,通过借鉴残差神经网络增大神经网络深度的方式,使得EfficientNet网络可以通过更深的神经网络实现对于特征的提取功能。此外,为了获取更多的特征,EfficientNet网络改变每一层提取的特征层数实现更多层的特征提取功能。最后,对于输入图片的分辨率可以通过增大的方式,使得网络可以学习与表达更多信息有助于精确度的提高,在ImageNet上EfficientNet B0-B7的效果显著并且模型规模较小与18年的Gpipe相比模型规模减小8倍,此外在ImageNet上EfficientNet B7的精确度高达84.4%而此时检测精最高的Gpipe仅为84.3%并且检测速度上Gpipe与EfficientNet相比变慢6倍左右。此外,对于应用比较广泛的残差网络,EfficientNet在同样的浮点运算下(Flops)检测精确度提高了6%左右效果比较明显。对于进一步提高检测精确度的问题,更多的注意力可通过对于卷积神经网络的放大来实现,如残差网络从ResNet18到ResNet200的发展。而EfficientNet在精度与效率之间有比较好的平衡并且实现的方法仅仅是通过一些比率的使用实现对于每个维度的缩放即复合缩放法,实现了精度与速度的较优化。
在EfficientNet网络中,关键的部分为16个MBConvBlock结构,其利用到通道的注意力机制,针对不同通道所获取的关键信息的不同,通过给各个通道添加用于便是通道与关键信息相关度的权重,权重值越大相关度越高。注意力机制分为三部分:挤压(squeeze)、激励(excitation)和注意(attention),其中,挤压部分为全局平均的作用,对每个通道数值进行相加求平均操作;激励部分通过训练所学习的权重值,最终可以得到一个一维的用于激活每个通道的权重值;注意部分通过将激励部分获取的不同权重值乘以不同通道实现对于关键通道域的注意力的增强功能,其本质上类似于缩放。
在一实施例中,如图3所示,表面缺陷检测模型中包括依次连接的Steam结构(416×416×32)、第一MBConvBlock结构(1×16)、第二MBConvBlock结构(2×24)、第三MBConvBlock结构(2×40)、第四MBConvBlock结构(3×80)、第五MBConvBlock结构(3×112)、第六MBConvBlock结构(4×192)及第七MBConvBlock结构(1×320);还包括:依次连接的第一特征融合层(104×104×48)、第一卷积结构、3×3的第一卷积层及1×1的第五卷积层(104×104×75),其中,第一特征融合层的输入与第二MBConvBlock结构的输出连接;依次连接的第二特征融合层(52×52×80)、第二卷积结构、3×3的第二卷积层及1×1的第六卷积层(52×52×75),其中,第二特征融合层的输入与第三MBConvBlock结构的输出连接;依次连接的第三特征融合层(26×26×224)、第三卷积结构、3×3的第三卷积层及1×1的第七卷积层(26×26×75),其中,第三特征融合层的输入与第五MBConvBlock结构的输出连接;依次连接的第四卷积结构、3×3的第四卷积层及1×1的第八卷积层(13×13×75),其中,第四卷积结构的输入与第七MBConvBlock结构的输出连接;第一卷积及上采样层(26×26×224),输入与第四卷积结构的输出连接,输出与第三特征融合层的输入连接;第二卷积及上采样层(52×52×80),输入与第三卷积结构的输出连接,输出与第二特征融合层的输入连接;及第三卷积及上采样层(104×104×24),输入与第二卷积结构的输出连接,输出与第一特征融合层的输入连接。
在该实施例中,针对应用场景的检测数目较多、尺度变化较大等特点,改进后的YOLOv3网络将尺度检测结构从原先的3个扩增为4个,即扩增后的尺度大小为13×13、26×26、52×52、104×104对16个MBConvBlock结构进行了充分的利用在对深层图片语义信息进行保留的同时尽可能对所忽视的浅层的图片特征信息进行合理的利用,以此有效的解决尺度变化的问题。
EfficientNet网络借鉴残差网络进行深度扩增,涉及到深度可分离网络进行压缩以及通道注意力机制实现关键通道注意力增强等,在基本的Steam结构与16个MBConvBlocks网络结构之后跟有Conv2D层、BatchNorm、Swish激活函数以及池化层等,为保持与YOLOV3原主干网络DarkNet53一致,在将EfficientNet与YOLOV3相结合前应保留EfficientNet的关键层一个Steam、16个MBConvBlock部分并去除之后的系列操作,使得整体网络对图片进行下采样操作次数与之前保持一致,修改后的EfficientNet主干网络总计为17层,其中Steam结构为一个卷积层紧接着Batchnormalization组成对输入图片进行一次下采样实现图片的压缩操作。
改进后的特征提取网络通过主干网络EfficientNet进行特征提取之后将实现下采样的MBConvBlock结构所得到的有效特征层进行提取共四层,得到的特征从大小分别为13×13、216×26、52×52、104×104,紧接着自底向上将最底层的特征层上采样操作为相邻的特征层大小与相邻特征进行融合并依次进行直至4个检测尺度全部完成,并且对于每次融合后具有较强语义的特征层均进行预测。浅层网络的位置信息丰富,深层特征网络的特征语义信息突出,通过将二者的结合提高YOLOV3网络应对场景复杂性的能力并且提高检测的精确度。
在另一实施例中,如图4所示,表面缺陷检测模型中包括依次连接的Steam结构(416×416×32)、第一MBConvBlock结构(1×16)、第二MBConvBlock结构(2×24)、第三MBConvBlock结构(2×40)、第四MBConvBlock结构(3×80)、第五MBConvBlock结构(3×112)、第六MBConvBlock结构(4×192)及第七MBConvBlock结构(1×320)还包括:依次连接的第一特征融合层(104×104×48)、第一卷积结构、3×3的第一Inception结构及1×1的第五卷积层(104×104×75),其中,第一特征融合层的输入与第二MBConvBlock结构的输出连接;依次连接的第二特征融合层(52×52×80)、第二卷积结构、3×3的第二Inception结构及1×1的第六卷积层(52×52×75),其中,第二特征融合层的输入与第三MBConvBlock结构的输出连接;依次连接的第三特征融合层(26×26×224)、第三卷积结构、3×3的第三Inception结构及1×1的第七卷积层(26×26×75),其中,第三特征融合层的输入与第五MBConvBlock结构的输出连接;依次连接的SPP结构、第四卷积结构、3×3的第四Inception结构及1×1的第八卷积层(13×13×75),其中,SPP结构的输入与第七MBConvBlock结构的输出连接;第一卷积及上采样层(26×26×224),输入与第四卷积结构的输出连接,输出与第三特征融合层的输入连接;第二卷积及上采样层(52×52×80),输入与第三卷积结构的输出连接,输出与第二特征融合层的输入连接;第三卷积及上采样层(104×104×24),输入与第二卷积结构的输出连接,输出与第一特征融合层的输入连接。
其中,如图5所示,第一Inception结构、第二Inception结构、第三Inception结构及第四Inception结构中包括:1×1的第九卷积层、1×1的第十卷积层、1×1的第十一卷积层,1×3的卷积层、3×1的卷积层及第四特征融合层,其中,第四特征融合层的输出作为各Inception结构的输出,1×3的卷积层和3×1的卷积层的输入分别与1×1的第十一卷积层的输出连接,1×1的第九卷积层、1×1的第十卷积层、1×3的卷积层及3×1的卷积层的输出分别与第四特征融合层的输入连接,且各卷积层采用Relu6激活函数激活。该Inception结构将图片按1x1卷积,然后经过1x3和3x1卷积再将其与其他两个1x1卷积相融合,并采用Relu6激活函数,相比与原网络减小1/3的参数量。如图6所示,SPP结构中包括:卷积核分别为5×5、9×9和13×13的三个最大池化层及第五特征融合层,其中,三个最大池化层的输出分别与第五特征融合层的输入连接。该SPP结构将图片送入三个最大池化层,大幅度提升了网络检测的精度。在本实施例中,Inception结构和SPP结构的加入,对网络进行了加深,大大提高了网络检测能力。
另外,在上述实施例中,表面缺陷检测模型的损失函数LossAll如式(1):
LossAll=LossIoU+LossConfidence+LossClass(1)
其中,LossIoU为IoU损失,LossConfidence为置信度损失,LossClass为预测缺陷类别的损失。
在另一实施例中,如图7所示,PCB板表面缺陷检测装置100还包括:数据集构建模块130,与图片采集模块110连接,用于对图片采集模块110采集的PCB板图片进行扩充及标注,得到k个缺陷类别的数据集;先验框计算模块140,与数据集构建模块130连接,用于利用K-means++算法对数据集构建模块130构建的数据集进行聚类得到k个初始聚类中心,并利用得到的k个初始聚类中心来运行标准的k-means算法得到网络的先验框,其中,k-means算法采用欧式距离的方式进行度量,且每个特征层中包括先验框;及模型训练模块150,与先验框计算模块140连接,用于根据先验框对创建的表面缺陷检测模型进行训练。
在该实施例中,图片采集模块110包括:PCB板放置单元,用于放置待采集图片的PCB板;视觉单元,用于为PCB板打光及拍摄图片;控制单元,分别与PCB板放置单元和视觉单元连接,用于控制PCB板放置单元转动,以带动PCB板转动;及用于显示及控制图片采集。具体,图片采集模块110可在工厂生产流水线上收集含有明显缺陷的PCB板。视觉单元包含CCD相机和各类光源(主要以环状光源为主)负责打光;控制单元控制PCB板放置单元转动,从不同的方位拍摄PCB板。
数据集构建模块130利用Mosaic对数据集进行扩充,利用labelImg对数据集进行标注,得到各个缺陷类别的数据集,标注后生成一个.xml文件,文件中包含缺点框的位置和类别。具体,Mosaic数据增强方法为:将每4张缺陷图片适当剪裁后按照左上、左下、右下和右上四个位置重新组合成一张新的图片,扩充数据的同时增强数据集缺陷图片的复杂度,模型使用该数据集训练后也更具有鲁棒性。
先验框计算模块140利用K-means++算法对数据集构建模块130构建的数据集进行聚类得到k个初始聚类中心,并利用得到的k个初始聚类中心来运行标准的k-means算法得到网络的先验框。由于特征融合将特征融合层扩增为四个,每个特征层需要三个先验框进行检测,因此设置K-means聚类算法得到先验框的数量为12个。另外,K-means聚类算法使用的度量方法采用欧式距离,n维空间中的欧式距离计算公式如式(2):
Figure BDA0002900673940000081
其中,(x1,y1)、…、(xn,yn)表示各维空间的坐标值。
在一实例中,利用图片采集模块110采集包含两类缺陷的图片共计500张,之后利用Mosaic数据增强方法进行数据上的扩充,将每4张缺陷图片适当剪裁后按照左上、左下、右下和右上四个位置重新组合成一张新的图片,将数据即扩充到1500张缺陷图。然后使用LabelImg软件对数据集进行标注,将数据按8:2分成训练集和测试集两个数据集。
网络训练时,先将网络的最初学习率调为0.01,batch_size(一次训练所选取的样本量,其大小影响模型优化和速度,根据网络参数和GPU内存大小进行调整)调为8,让loss(损失值)大范围下降训练200epochs,得到初始loss值。再将学习率调低至0.001,让loss适当范围浮动训练200epochs,最后将学习率调至0.000 1,让loss小范围浮动训练100epochs得到最终的训练集损失值。训练完成后,将存在这两类缺陷的新图送入网络中,根据检测结果来判断是否含有刮伤和破损两类缺陷。
如图8所示,本发明还提供了一种PCB板表面缺陷检测方法,包括:
S10采集待检测PCB板图片;
S20将图片采集模块获取的PCB板图片送入预训练的表面缺陷检测模型,对PCB板中可能存在的表面缺陷进行检测;表面缺陷检测模型为改进的YOLOv3网络结构,YOLOv3网络结构中主干网络为改进后的EfficientNet网络,EfficientNet网络中包括多个用于提取特征的MBConvBlock结构,在每个MBConvBlock结构中:采用1×1的卷积对输入的数据增加维度之后,进一步对其进行N×N的卷积操作,并利用注意力机制为每个通道添加相应的权值实现特征提取,最后利用1×1的卷积进行维度降低操作并添加相应的残差边。
在步骤S10采集待检测PCB板图片之后还包括:
S11对采集的PCB板图片进行扩充及标注,得到k个缺陷类别的数据集;
S12利用K-means++算法对构建的数据集进行聚类得到k个初始聚类中心,并利用得到的k个初始聚类中心来运行标准的k-means算法得到网络的先验框,其中,k-means算法采用欧式距离的方式进行度量,且每个特征层中包括先验框;
S13根据先验框对创建的表面缺陷检测模型进行训练。
在该PCB板表面缺陷检测方法中,表面缺陷检测模型及检测流程与PCB板表面缺陷检测装置类似,这里不做赘述。
应当说明的是,上述实施例均可根据需要自由组合。以上仅是本发明的优选实施方式,应当指出,对于本技术领域的普通相关人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种PCB板表面缺陷检测装置,其特征在于,包括:
图片采集模块,用于采集待检测PCB板图片;
表面缺陷检测模块,用于将所述图片采集模块获取的PCB板图片送入预训练的表面缺陷检测模型,对所述PCB板中可能存在的表面缺陷进行检测;所述表面缺陷检测模型为改进的YOLOv3网络结构,所述YOLOv3网络结构中主干网络为改进后的EfficientNet网络,所述EfficientNet网络中包括多个用于提取特征的MBConvBlock结构,在每个所述MBConvBlock结构中:采用1×1的卷积对输入的数据增加维度之后,进一步对其进行N×N的卷积操作,并利用注意力机制为每个通道添加相应的权值实现特征提取,最后利用1×1的卷积进行维度降低操作并添加相应的残差边。
2.如权利要求1所述的PCB板表面缺陷检测装置,其特征在于,所述MBConvBlock结构包括依次连接的:1×1的第一卷积层、第一批归一化层、第一Swish激活函数层、3×3的第一深度可分离卷积层和5×5的第二深度可分离卷积层、第二批归一化层、第二Swish激活函数层、全局平均池化层、1×1的第二卷积层、第三Swish激活函数层、1×1的第三卷积层、sigmod激活函数层、1×1的第四卷积层及第三批归一化层,其中,1×1的第一卷积层的输入作为MBConvBlock结构的输入,第三批归一化层的输出作为MBConvBlock结构的输出,3×3的第一深度可分离卷积层和5×5的第二深度可分离卷积层分别与第一Swish激活函数层的输出连接,1×1的第四卷积层的输入分别与第二Swish激活函数层和sigmod激活函数层的输出连接,且1×1的第一卷积层的输入与第三批归一化层的输出连接。
3.如权利要求1或2所述的PCB板表面缺陷检测装置,其特征在于,所述表面缺陷检测模型中包括依次连接的Steam结构、第一MBConvBlock结构、第二MBConvBlock结构、第三MBConvBlock结构、第四MBConvBlock结构、第五MBConvBlock结构、第六MBConvBlock结构及第七MBConvBlock结构;
还包括:
依次连接的第一特征融合层、第一卷积结构、3×3的第一卷积层及1×1的第五卷积层,其中,第一特征融合层的输入与第二MBConvBlock结构的输出连接;
依次连接的第二特征融合层、第二卷积结构、3×3的第二卷积层及1×1的第六卷积层,其中,第二特征融合层的输入与第三MBConvBlock结构的输出连接;
依次连接的第三特征融合层、第三卷积结构、3×3的第三卷积层及1×1的第七卷积层,其中,第三特征融合层的输入与第五MBConvBlock结构的输出连接;
依次连接的第四卷积结构、3×3的第四卷积层及1×1的第八卷积层,其中,第四卷积结构的输入与第七MBConvBlock结构的输出连接;
第一卷积及上采样层,输入与第四卷积结构的输出连接,输出与第三特征融合层的输入连接;
第二卷积及上采样层,输入与第三卷积结构的输出连接,输出与第二特征融合层的输入连接;及
第三卷积及上采样层,输入与第二卷积结构的输出连接,输出与第一特征融合层的输入连接。
4.如权利要求1或2所述的PCB板表面缺陷检测装置,其特征在于,所述表面缺陷检测模型中包括依次连接的Steam结构、第一MBConvBlock结构、第二MBConvBlock结构、第三MBConvBlock结构、第四MBConvBlock结构、第五MBConvBlock结构、第六MBConvBlock结构及第七MBConvBlock结构;
还包括:
依次连接的第一特征融合层、第一卷积结构、3×3的第一Inception结构及1×1的第五卷积层,其中,第一特征融合层的输入与第二MBConvBlock结构的输出连接;
依次连接的第二特征融合层、第二卷积结构、3×3的第二Inception结构及1×1的第六卷积层,其中,第二特征融合层的输入与第三MBConvBlock结构的输出连接;
依次连接的第三特征融合层、第三卷积结构、3×3的第三Inception结构及1×1的第七卷积层,其中,第三特征融合层的输入与第五MBConvBlock结构的输出连接;
依次连接的SPP结构、第四卷积结构、3×3的第四Inception结构及1×1的第八卷积层,其中,SPP结构的输入与第七MBConvBlock结构的输出连接;
第一卷积及上采样层,输入与第四卷积结构的输出连接,输出与第三特征融合层的输入连接;
第二卷积及上采样层,输入与第三卷积结构的输出连接,输出与第二特征融合层的输入连接;
第三卷积及上采样层,输入与第二卷积结构的输出连接,输出与第一特征融合层的输入连接。
5.如权利要求4所述的PCB板表面缺陷检测装置,其特征在于,
所述第一Inception结构、第二Inception结构、第三Inception结构及第四Inception结构中包括:1×1的第九卷积层、1×1的第十卷积层、1×1的第十一卷积层,1×3的卷积层、3×1的卷积层及第四特征融合层,其中,所述第四特征融合层的输出作为各Inception结构的输出,1×3的卷积层和3×1的卷积层的输入分别与1×1的第十一卷积层的输出连接,1×1的第九卷积层、1×1的第十卷积层、1×3的卷积层及3×1的卷积层的输出分别与第四特征融合层的输入连接,且各卷积层采用Relu6激活函数激活;和/或,
所述SPP结构中包括:卷积核分别为5×5、9×9和13×13的三个最大池化层及第五特征融合层,其中,三个最大池化层的输出分别与第五特征融合层的输入连接。
6.如权利要求1或2或5所述的PCB板表面缺陷检测装置,其特征在于,所述表面缺陷检测装置还包括:
数据集构建模块,与所述图片采集模块连接,用于对所述图片采集模块采集的PCB板图片进行扩充及标注,得到k个缺陷类别的数据集;
先验框计算模块,与所述数据集构建模块连接,用于利用K-means++算法对数据集构建模块构建的数据集进行聚类得到k个初始聚类中心,并利用得到的k个初始聚类中心来运行标准的k-means算法得到网络的先验框,其中,k-means算法采用欧式距离的方式进行度量,且每个特征层中包括先验框;
模型训练模块,与所述先验框计算模块连接,用于根据所述先验框对创建的表面缺陷检测模型进行训练。
7.如权利要求1或2或5所述的PCB板表面缺陷检测装置,其特征在于,所述图片采集模块中包括:
PCB板放置单元,用于放置待采集图片的PCB板;
视觉单元,用于为所述PCB板打光及拍摄图片;
控制单元,分别与所述PCB板放置单元和视觉单元连接,用于控制所述PCB板放置单元转动,以带动PCB板转动;及用于显示及控制图片采集。
8.一种PCB板表面缺陷检测方法,其特征在于,应用于如权利要求1-7任意一项所述的PCB板表面缺陷检测装置,所述PCB板表面缺陷检测方法包括:
采集待检测PCB板图片;
将所述图片采集模块获取的PCB板图片送入预训练的表面缺陷检测模型,对所述PCB板中可能存在的表面缺陷进行检测;所述表面缺陷检测模型为改进的YOLOv3网络结构,所述YOLOv3网络结构中主干网络为改进后的EfficientNet网络,所述EfficientNet网络中包括多个用于提取特征的MBConvBlock结构,在每个所述MBConvBlock结构中:采用1×1的卷积对输入的数据增加维度之后,进一步对其进行N×N的卷积操作,并利用注意力机制为每个通道添加相应的权值实现特征提取,最后利用1×1的卷积进行维度降低操作并添加相应的残差边。
9.如权利要求8所述的PCB板表面缺陷检测方法,其特征在于,所述采集待检测PCB板图片之后还包括:
对采集的PCB板图片进行扩充及标注,得到k个缺陷类别的数据集;
利用K-means++算法对构建的数据集进行聚类得到k个初始聚类中心,并利用得到的k个初始聚类中心来运行标准的k-means算法得到网络的先验框,其中,k-means算法采用欧式距离的方式进行度量,且每个特征层中包括先验框;
根据所述先验框对创建的表面缺陷检测模型进行训练。
10.如权利要求8或9所述的PCB板表面缺陷检测方法,其特征在于,所述表面缺陷检测模型的损失函数LossAll为:
LossAll=LossIoU+LossConfidence+LossClass
其中,LossIoU为IoU损失,LossConfidence为置信度损失,LossClass为预测缺陷类别的损失。
CN202110055145.1A 2021-01-15 2021-01-15 Pcb板表面缺陷检测装置及方法 Active CN112819756B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110055145.1A CN112819756B (zh) 2021-01-15 2021-01-15 Pcb板表面缺陷检测装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110055145.1A CN112819756B (zh) 2021-01-15 2021-01-15 Pcb板表面缺陷检测装置及方法

Publications (2)

Publication Number Publication Date
CN112819756A true CN112819756A (zh) 2021-05-18
CN112819756B CN112819756B (zh) 2023-07-11

Family

ID=75869446

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110055145.1A Active CN112819756B (zh) 2021-01-15 2021-01-15 Pcb板表面缺陷检测装置及方法

Country Status (1)

Country Link
CN (1) CN112819756B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113393438A (zh) * 2021-06-15 2021-09-14 哈尔滨理工大学 一种基于卷积神经网络的树脂镜片缺陷检测方法
CN113780488A (zh) * 2021-11-15 2021-12-10 常州微亿智造科技有限公司 基于位置聚合程度的刮伤与擦伤缺陷检测方法
CN113780170A (zh) * 2021-09-10 2021-12-10 昭通亮风台信息科技有限公司 基于ssd深度学习网络的火灾检测识别方法、系统及火灾报警方法
CN114494926A (zh) * 2022-04-06 2022-05-13 科大天工智能装备技术(天津)有限公司 一种智慧城市中井盖异常检测方法和系统
CN118298340A (zh) * 2024-06-06 2024-07-05 北京理工大学长三角研究院(嘉兴) 一种基于先验知识的无人机航拍密集目标检测方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109444172A (zh) * 2018-12-13 2019-03-08 苏州卓融新能源科技有限公司 一种适用于人工智能检测pcb的自动光学检测装置及其方法
CN110636715A (zh) * 2019-08-27 2019-12-31 杭州电子科技大学 一种基于自学习的自动焊接及缺陷检测方法
CN110660052A (zh) * 2019-09-23 2020-01-07 武汉科技大学 一种基于深度学习的热轧带钢表面缺陷检测方法
US20200193552A1 (en) * 2018-12-18 2020-06-18 Slyce Acquisition Inc. Sparse learning for computer vision
CN111639526A (zh) * 2020-04-22 2020-09-08 云南电网有限责任公司昭通供电局 一种基于深度学习的输电线路目标检测与监控方法
CN111707677A (zh) * 2020-06-24 2020-09-25 江西景旺精密电路有限公司 一种pcb外观检测方法及装置
CN112132032A (zh) * 2020-09-23 2020-12-25 平安国际智慧城市科技股份有限公司 交通标志牌检测方法、装置、电子设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109444172A (zh) * 2018-12-13 2019-03-08 苏州卓融新能源科技有限公司 一种适用于人工智能检测pcb的自动光学检测装置及其方法
US20200193552A1 (en) * 2018-12-18 2020-06-18 Slyce Acquisition Inc. Sparse learning for computer vision
CN110636715A (zh) * 2019-08-27 2019-12-31 杭州电子科技大学 一种基于自学习的自动焊接及缺陷检测方法
CN110660052A (zh) * 2019-09-23 2020-01-07 武汉科技大学 一种基于深度学习的热轧带钢表面缺陷检测方法
CN111639526A (zh) * 2020-04-22 2020-09-08 云南电网有限责任公司昭通供电局 一种基于深度学习的输电线路目标检测与监控方法
CN111707677A (zh) * 2020-06-24 2020-09-25 江西景旺精密电路有限公司 一种pcb外观检测方法及装置
CN112132032A (zh) * 2020-09-23 2020-12-25 平安国际智慧城市科技股份有限公司 交通标志牌检测方法、装置、电子设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张筱晗;姚力波;吕亚飞;简涛;赵志伟;藏洁;: "双向特征融合的数据自适应SAR图像舰船目标检测模型", 中国图象图形学报 *
李维刚;叶欣;赵云涛;王文波;: "基于改进YOLOv3算法的带钢表面缺陷检测", 电子学报 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113393438A (zh) * 2021-06-15 2021-09-14 哈尔滨理工大学 一种基于卷积神经网络的树脂镜片缺陷检测方法
CN113393438B (zh) * 2021-06-15 2022-09-16 哈尔滨理工大学 一种基于卷积神经网络的树脂镜片缺陷检测方法
CN113780170A (zh) * 2021-09-10 2021-12-10 昭通亮风台信息科技有限公司 基于ssd深度学习网络的火灾检测识别方法、系统及火灾报警方法
CN113780488A (zh) * 2021-11-15 2021-12-10 常州微亿智造科技有限公司 基于位置聚合程度的刮伤与擦伤缺陷检测方法
CN114494926A (zh) * 2022-04-06 2022-05-13 科大天工智能装备技术(天津)有限公司 一种智慧城市中井盖异常检测方法和系统
CN118298340A (zh) * 2024-06-06 2024-07-05 北京理工大学长三角研究院(嘉兴) 一种基于先验知识的无人机航拍密集目标检测方法
CN118298340B (zh) * 2024-06-06 2024-07-30 北京理工大学长三角研究院(嘉兴) 一种基于先验知识的无人机航拍密集目标检测方法

Also Published As

Publication number Publication date
CN112819756B (zh) 2023-07-11

Similar Documents

Publication Publication Date Title
CN112819756A (zh) Pcb板表面缺陷检测装置及方法
CN106650721B (zh) 一种基于卷积神经网络的工业字符识别方法
CN111415329B (zh) 一种基于深度学习的工件表面缺陷检测方法
CN110175613A (zh) 基于多尺度特征和编解码器模型的街景图像语义分割方法
CN108305243A (zh) 一种基于深度学习的磁瓦表面缺陷检测方法
CN109447979B (zh) 基于深度学习和图像处理算法的目标检测方法
CN105574550A (zh) 一种车辆识别方法及装置
CN111445459A (zh) 一种基于深度孪生网络的图像缺陷检测方法及系统
CN109724994A (zh) 基于aoi技术的fpc金手指表面缺陷检测系统及方法
CN112037219A (zh) 一种基于两阶段卷积神经网络的金属表面缺陷检测方法
CN112233067A (zh) 一种热轧钢卷端面质量检测方法及系统
CN109584215A (zh) 一种电路板在线视觉检测系统
CN106355579A (zh) 烟条表面褶皱的缺陷检测方法
CN106874913A (zh) 一种菜品检测方法
CN115984662B (zh) 一种多模态数据预训练及识别方法、装置、设备及介质
CN110135248A (zh) 一种基于深度学习的自然场景文本检测方法
CN109816048A (zh) 一种基于属性迁移的图像合成方法
CN112085017A (zh) 基于显著性检测和Grabcut算法的茶叶嫩芽图像分割方法
CN115775236A (zh) 基于多尺度特征融合的表面微小缺陷视觉检测方法及系统
CN116071315A (zh) 一种基于机器视觉的产品可视缺陷检测方法及系统
CN110660048B (zh) 一种基于形状特征的皮革表面缺陷检测方法
CN111882547A (zh) 一种基于神经网络的pcb漏件检测方法
Sun et al. Cascaded detection method for surface defects of lead frame based on high-resolution detection images
CN114881998A (zh) 一种基于深度学习的工件表面缺陷检测方法及系统
CN110321867A (zh) 基于部件约束网络的遮挡目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant