CN112651920A - Pcb裸板线路瑕疵检测方法、装置、电子设备 - Google Patents
Pcb裸板线路瑕疵检测方法、装置、电子设备 Download PDFInfo
- Publication number
- CN112651920A CN112651920A CN202010721548.0A CN202010721548A CN112651920A CN 112651920 A CN112651920 A CN 112651920A CN 202010721548 A CN202010721548 A CN 202010721548A CN 112651920 A CN112651920 A CN 112651920A
- Authority
- CN
- China
- Prior art keywords
- pcb
- bare board
- pcb bare
- board image
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 79
- 238000000034 method Methods 0.000 claims abstract description 51
- 238000012545 processing Methods 0.000 claims abstract description 47
- 238000007781 pre-processing Methods 0.000 claims abstract description 24
- 238000013528 artificial neural network Methods 0.000 claims abstract description 19
- 238000001914 filtration Methods 0.000 claims description 53
- 230000007547 defect Effects 0.000 claims description 50
- 238000013527 convolutional neural network Methods 0.000 claims description 25
- 239000003086 colorant Substances 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 10
- 238000003860 storage Methods 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 5
- 230000003993 interaction Effects 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 230000007613 environmental effect Effects 0.000 abstract description 8
- 238000009776 industrial production Methods 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 20
- 230000008901 benefit Effects 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 238000012549 training Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 2
- 238000003908 quality control method Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
- 238000003466 welding Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30141—Printed circuit board [PCB]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Quality & Reliability (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明涉及一种PCB裸板线路瑕疵检测方法、装置、电子设备，其中，所述方法包括：获取PCB裸板图像；对所述PCB裸板图像进行预处理；对经过预处理后的PCB裸板图像进行二值化处理；将经过二值化处理的PCB裸板图像，送入深度卷积神经网络中提取特征；输出瑕疵的位置和种类。不需要对PCB裸板图像进行精确对准,便可得到较好的检测精度和速度，抗环境干扰性强，检测对象可以多样化，更加符合工业化生产的需求。
Description
技术领域
本发明涉及数据分析处理技术领域，更具体地说，涉及一种PCB裸板线路 瑕疵检测方法、装置、电子设备。
背景技术
PCB裸板线路的瑕疵类型包括：毛刺、针孔、短路、断路、缺损、斑点、窄 线。在做流水线焊接元器件之前检测并预警PCB是否存在线路问题或隐患，及 时中断PCB上的元器件焊接，避免元器件浪费，减小返工成本。
目前的PCB缺陷检测方法主要有：接触式检测和非接触检测，由于接触式 检测通常只能检测出短路或是断路缺陷，检测缺陷种类有限，同时成本过高， 检测周期长，无法适用于高密度PCB板的检测；非接触式检测包括传统人工目 测和自动光学检测技术(AOI)，自动光学检测技术是从图像中提取出成品的缺 陷特征来检测PCB表观图像，基于图像处理技术自动检测PCB外观，可实现PCB 检测的自动化、实时性和准确性。传统AOI图像检测法分为：参考比较法、非 参考校验法和混合法。此三种传统方法具有灵活、快速、低功耗等优点，但是 缺点也很明显，对图像对准要求非常高，且易受环境干扰，误报率较高，已不 能适应当今制造技术发展的需求。
因此，现有技术亟待有很大的进步。
发明内容
本发明要解决的技术问题在于对PCB裸板线路图像对准要求非常高，且易 受环境干扰，误报率较高，针对现有技术的上述的缺陷，本发明一方面提供一 种PCB裸板线路瑕疵检测方法，包括：
获取PCB裸板图像；
对所述PCB裸板图像进行预处理；
对经过预处理后的PCB裸板图像进行二值化处理；
将经过二值化处理的PCB裸板图像，送入深度卷积神经网络中提取特征；
输出瑕疵的位置和种类。
在本发明所述的PCB裸板线路瑕疵检测方法中，对所述PCB裸板图像进行 预处理包括：所述PCB裸板图像进行中值滤波、高斯滤波或小波滤波。
在本发明所述的PCB裸板线路瑕疵检测方法中，所述对经过预处理后的PCB 裸板图像进行二值化处理包括：
扫描所述PCB裸板图像像素值；
计算所述PCB裸板图像上的每个像素点在RGB颜色空间坐标上与导线标准 颜色、焊盘标注颜色以及PCB板标准颜色的坐标位置空间欧式距离；从三个空 间欧式距离值中比较得出最小空间欧式距离，其最小空间欧式距离用于衡量该 检测像素值与三个标准颜色中最相近的颜色，从而可得出该检测像素对应的目 标为焊盘或者导线或者PCB板背景；如果目标物为焊盘或者导线，则设置该点 像素值为255，即白色，如果目标物为PCB板子，则设置该点像素值为0，即黑 色。
在本发明所述的PCB裸板线路瑕疵检测方法中，所述将经过二值化处理的 PCB裸板图像，送入深度卷积神经网络中提取特征包括：
构建深度卷积神经网络；
将经过二值化处理的PCB裸板图像送入所述深度卷积神经网络；
对所述PCB裸板图像进行特征提取。
在本发明所述的PCB裸板线路瑕疵检测方法中，所述构建深度卷积神经网 络包括：
以Darknet53网络为基础，将网络输入大小增加到608x608；
在三个不同尺度内通过卷积的方式实现局部特征的提取；
基于交互层输出的特征图进行类别和位置的回归判断；
采用二元交叉熵进行类别预测来提高准确度。
另一方面，本发明提供一种PCB裸板线路瑕疵检测装置，包括：
PCB裸板图像获取模块，用于获取PCB裸板图像；
预处理模块，用于对所述PCB裸板图像进行预处理；
二值化处理模块，用于对经过预处理后的PCB裸板图像进行二值化处理；
特征提取模块，用于将经过二值化处理的PCB裸板图像，送入深度卷积神 经网络中提取特征；
瑕疵输出模块，用于输出瑕疵的位置和种类。
在本发明所述的PCB裸板线路瑕疵检测装置中，所述预处理模块包括中值 滤波模块、高斯滤波模块或小波滤波模块，分别用于对所述PCB裸板图像进行 中值滤波、高斯滤波或小波滤波。
在本发明所述的PCB裸板线路瑕疵检测装置中，所述特征提取模块包括：
深度卷积神经网络构建模块，用于构建深度卷积神经网络；
特征分析提取模块，用于将经过二值化处理的PCB裸板图像送入所述深度 卷积神经网络，对所述PCB裸板图像进行特征提取。
另一方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存 储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现 上述PCB裸板线路瑕疵检测方法的步骤。
另一方面，本发明还提供一种存储介质，所述存储介质存储有计算机程序， 所述计算机程序被处理器执行时实现上述PCB裸板线路瑕疵检测方法的步骤。
实施本发明的PCB裸板线路瑕疵检测方法、装置、电子设备，具有以下有 益效果：通过中值滤波、高斯滤波、小波滤波等做预处理增强，避免图像的数 字化以及传输过程造成的图像噪声；通过对图像做二值化处理，来规避PCB板 背景对线路和焊盘的影响；通过构建深度卷积神经网络来提取PCB裸板线路图 像特征，根据特征值分类回归得到PCB板中瑕疵的位置和种类；不需要对PCB 裸板图像进行精确对准便，可得到较好的检测精度和速度，抗环境干扰性强， 检测对象可以多样化，更加符合工业化生产的需求。
附图说明
通过阅读下文优选的具体实施方式中的详细描述，本发明各种其他的优点 和益处对于本领域普通技术人员将变得清楚明了。说明书附图仅用于示出优选 实施方式的目的，而并不认为是对本发明的限制。显而易见地，下面描述的附 图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造 性劳动的前提下，还可以根据这些附图获得其他的附图。
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1是现有技术中PCB裸板线路常见瑕疵种类；
图2是现有技术中RGB颜色空间模型示意图；
图3是现有技术中焊盘的渐变颜色示意图；
图4是本发明一种PCB裸板线路瑕疵检测方法流程图；
图5是图4中采用的二值化算法流程图；
图6是图5中二值化处理结果示意图；
图7是图4中采用的神经网络结构示意图；
图8是图4中瑕疵检测数据流程图；
图9是执行图4所示方法后输出的短路、断路瑕疵图像示意图；
图10是执行图4所示方法后输出的脱孔瑕疵图像示意图；
图11是本发明一种PCB裸板线路瑕疵检测装置结构示意图；
图12为根据本发明实施例提供的电子设备的实体结构示意图。
图中，1-毛刺，2-针孔，3-断路，4-斑点，5-缺损，6-短路，7-窄线。
具体实施方式
下面结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、 完整地描述。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是全 部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性 劳动的前提下，所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提供的PCB裸板线路瑕疵检测方法可应用于各种服务器端、 终端。该服务器端、终端设备包括但不限于个人计算机、服务器计算机、手持 式或膝上型设备、移动设备(如手机、移动电话、平板电脑、PDA、媒体播放器 等)、消费型电子设备、车载计算机、智能手表、电视机，以及其他具有显示屏 幕的终端设备等等。
实施例一
图1是现有技术中PCB裸板线路常见瑕疵种类。如图1所示，对于PCB裸 板线路瑕疵一般分为七个类别，分别为：毛刺1、针孔2、断路3、斑点4、短 路5、缺损6、窄线7。
图2是现有技术中RGB颜色空间模型示意图。如图2所示，人眼所能观察 到的颜色是基于三个基础颜色——红(R，red)，绿(G，green)和蓝(B，blue)的 不同组合。RGB模型是基于笛卡尔坐标系统，R、G、B分别为对应的三个轴。原 点对应黑色，离原点最远的顶点对应白色。在这个模型中，从黑到白的灰度值 分布在从原点到离原点最远顶点间的连线上，而立方体内其余各点对应不同的 颜色。
图3是本发明实施例所采用的焊盘的渐变颜色示意图。二值化的主要思想是 根据图像颜色在RGB颜色空间的位置进行分类。如图3所示，本发明将PCB裸 板线路图像的颜色分成3类：导线颜色、焊盘颜色、PCB板背景颜色。根据初 始化定义的导线标准颜色、焊盘颜色以及PCB板的颜色进行颜色识别，将图像 上每一点的RGB值当作该点的三维坐标，看该坐标与导线标准颜色、焊盘颜色、 PCB板的3个颜色坐标点哪一点距离最近，将其规为对应类。最后将焊盘、导 线和PCB板的点组合成一幅二值化图像。
在实际生产环境中，焊盘、导线以及PCB板的颜色并非一成不变的，以焊 盘为例，焊盘的颜色就是由白到灰的渐变，如图3所示，如果只定义一种焊盘 的标准色，是很难将焊盘完整的识别出来的，因此本专利采用多标准色进行识 别。比如可将焊盘的颜色定义为白色、浅灰色、深灰色或者更多的颜色点，识 辨别的时候只要被识别的颜色点与焊盘标准颜色其中一点距离最近，都可将该 点识别为焊盘。
图4是本发明一种PCB裸板线路瑕疵检测方法流程图。如图4所示，一种 PCB裸板线路瑕疵检测方法，至少包括步骤：
S11、获取PCB裸板图像；
获取及时的或者已经通过图像采集设备如相机的PCB裸板图像，作为瑕疵 分析数据源。
S12、对所述PCB裸板图像进行预处理；
为了去掉PCB裸板图像中的多余的噪声等干扰源，需要对PCB裸板图像进 行预处理。在去掉噪声等干扰源的PCB裸板图像中检测瑕疵，则检测的更准确， 更有说服力。
S13、对经过预处理后的PCB裸板图像进行二值化处理；
对经过预处理后的PCB裸板图像进行二值化处理，通过颜色识别区分焊盘、 导线和PCB板，得到一个灰度图像。二值化处理可凸显焊盘和导线的特征，排 除PCB板背景的干扰。
S14、将经过二值化处理的PCB裸板图像，送入深度卷积神经网络中提取特 征；
然后通过建立深度卷积神经网络(Convolutional Neural Network，CNN) 模型，提取PCB板的特征信息，最后根据特征信息做瑕疵类别和位置的分类回 归，达到PCB瑕疵检测的目的。
S15、输出瑕疵的位置和种类。
参考现有技术中的各种瑕疵类别，将采用本发明PCB裸板线路瑕疵检测方 法测出的瑕疵进行位置和种类归类，这样方便统计，有利于对PCB生成进行质 量控制。
图5是图4中采用的二值化算法流程图。如图5所示，首先将PCB检测图 像按照从左至右，从上到下的顺序扫描像素值，对图像上的每个像素点在RGB 颜色空间坐标上与导线标准颜色、焊盘标注颜色以及PCB板标准颜色的坐标位 置计算空间欧式距离；然后再根据这三个距离值比较得出最小距离，其最小距 离可用于衡量该检测像素值与三个标准颜色中最相近的颜色，从而可得出该检 测像素对应的目标为焊盘或者导线或者PCB板背景。最后，如果目标物为焊盘 或者导线，则设置该点像素值为255(白色)；如果目标物为PCB板子，则设置 该点像素值为0(黑色)；循环以上步骤，最终可得到如图6所示的二值化处理 结果示意图。图6是图5中二值化处理结果示意图。
具体实施时，首先假定焊盘、导线、PCB板背景在RGB颜色空间坐标上标准 颜色分别为：(244,200,230)，(230,240,220)，(20,240,45)。
然后对按照从左至右、从上到下的顺序扫描已拍摄的PCB图像上的每一个 像素点，假设扫描到其中一点像素值为(9,220,69)，分别计算改点与三个标准 颜色的欧式距离，公式如下：
其中R为R轴方向的像素值，R'为R轴方向标准颜色像素值；G为G轴方向 的像素值，G'为G轴方向标准颜色像素值；其中B为B轴方向的像素值，B'为B 轴方向标准颜色像素值；
带入公式可计算改点离三个标准颜色的欧式距离值为：285，347，33。由 距离值可见改点的颜色与PCB板的颜色最接近，所以可判断改点为PCB板。接 着继续计算下一个点的像素值，直到所有计算结束，最后将焊盘和导线的颜色 空间值设置为(255,255,255)，将PCB板的颜色空间值设置为(0,0,0)最终可 得到一个得到一副分离出焊盘、导线和PCB板的二极图像，如图6所示。
图7是图4中采用的神经网络结构示意图。由于PCB板瑕疵缺陷所占像素比 较小，随着深度卷积网络的层数越深，其提取的特征信息量越少，所以本专利 基于darknet53网络框架提出一种改进型深度学习算法框架。
darknet53网络对于临近小目标的检测效果不好，对于图片细节上的处理还 有待提高，调整其网络结构，能够使其更好的保存网络的细节特征。在深度神 经网络中，网络的层数越深，其提取的特征就越抽象，图像的语义信息就越清 晰。相反，网络的层数越浅，它所提取的信息就越能够包含细节信息。所以能 够结合来自深层的语义信息和来自浅层的表征信息作为网络的最后输出，在理 论上就能够提升原darknet53网络中对于细节上的处理。
网络结构的改进：以Darknet53网络为基础，将网络输入大小增加到 608x608；在三个不同尺度内通过卷积的方式实现局部特征的提取；基于交互层 输出的特征图进行类别和位置的回归判断；采用二元交叉熵进行类别预测来提 高准确度。
Darknet53整体网络介绍：网络中采用大量的1×1、3×3卷积，每个卷积层 后进行归一化和Leaky RELU激活，得到YOLOv3的基本组件。各组件之间映入 残差块，以加深网络深度。整体网络结构中无全连接层，通过多个1×1、3×3卷 积层，进行上采样并在三个尺度特征层上进行输出。在基于传统的Darknet53 为基础网络构建一种改进算法模型，其网络结构如图7所示，将PCB图像进行 放缩为608×608的像素大小作为网络的输入，在3个不同尺度内通过卷积的 方式实现局部特征的提取。输出的3个不同大小的特征图19×19、38×38和 76×76分别对应尺度1、尺度2和尺度3。其中，尺度19×19是在辅助基础网络 之后通过增加一些卷积块再卷积输出检测框信息，尺度38×38是在尺度1的末尾 之前的卷积基础上再引入新的一轮卷积块并且进行上采样之后配合darknet53 网络的前五层的输入共同以张量的形式进行最终的卷积输出检测框信息，此时 尺度增加了1倍，同理尺度76×76输出检测框也增加了1倍。然后基于交互层输 出的特征图进行类别和位置的回归判断。使用逻辑回归来预测每个bounding boxes的对象分数，每个bounding box与ground truth的匹配策略为1:1，并 且每个bounding boxes使用多标签分类法预测包含的类，避免标签重叠等问题， 采用二元交叉熵进行类别预测来提高准确度。
边框检测的优化：YOLO算法将输入的PCB裸板照片进行分割为M×M块， 若某个物体的中心落入到某一个网格的内部，则该网格就负责预测该物体。在 算法进行训练和测试的时候，每个格子将会预测N个检测边界框以及每个检测 边界框对应的置信度。以上每个检测框都包含5个参数，分别为物体中心位置 的横坐标x、纵坐标y、置信度评分Cobject、检测边框的高度h和宽度w。本专利 的改进之处在于以x和y的偏移作为检测边框的长宽的线性表达式如式(1) 所示:
其中，Rx、Ry、Rw、Rh是真实的在扣件特征图上的4个位置坐标的估计 值；Px、Py表示在特征图上的预设锚框的中心点坐标值；Pw、Ph表示在特征图上 的预设锚框的宽和高；tx、ty、tw、th代表网络学习目标。继而，研究可得边框信 息的横坐标、纵坐标，宽和高的值求解公式如下:
其中，bx、by、bw、bh即为解得的边框的信息，同样tx、ty、tw、th表示网络学习目 标，cx、cy表示边框坐标的偏移量，预设的锚边框的宽和高为pw和ph。在此基础 上，置信度和交并比的数学表达式如下:
其中，Pobject表示目标存在单元格中的概率；
表示当前边界检测框预测 目标位置的准确度大小，area()代表面积；BBdt表示检测边界框，BBgt表示基 于训练标签的参考标准框。
图8是图4中瑕疵检测数据流程图。如图8所示，首先摄像头拍摄PCB板 数据，然后对拍摄图像做预处理增强，中值滤波、高斯滤波、小波滤波等方法 来避免图像的数字化以及传输过程造成的图像噪声。接着讲图像做二值化处理， 来规避PCB板背景对线路和焊盘的影响。最后将图像送入深度卷积神经网络中 提取特征，根据特征值分类回归得到PCB板中瑕疵的位置和种类。
中值滤波原理是：使用一个围绕当前像素的矩形，查找区域内像素的中值， 并用该中值替换矩形区域内的其它像素点。高斯滤波原理是：针对图像中的每 一个点与高斯内核进行卷积计算，并将计算结果相加，输出到目标图像中。高 斯滤波是图像处理，计算机视觉里面最常见的操作。高斯滤波的通用性与性能 都比较好，并且由于是线性滤波，对于卷积计算过程，可以通过对Kernel的降 维，使算法的时间复杂度由n2降为n×2。小波去噪的原理是将信号通过小波变 换(采用Mallat算法)后，信号产生的小波系数含有信号的重要信息，将信号 经小波分解后小波系数较大，噪声的小波系数较小，并且噪声的小波系数要小 于信号的小波系数，通过选取一个合适的阀值，大于阀值的小波系数被认为是 有信号产生的，应予以保留，小于阀值的则认为是噪声产生的，置为零从而达 到去噪的目的。
图9是执行图4所示方法后输出的短路、断路瑕疵图像示意图。执行本实 施例PCB裸板线路瑕疵检测方法，采用深度卷积网络，输出短路、断路瑕疵图 像如图9所示。
图10是执行图4所示方法后输出的脱孔瑕疵图像示意图。执行本实施例PCB 裸板线路瑕疵检测方法，采用深度卷积网络，输出脱孔瑕疵图像如图10所示。
采用本实施例，通过中值滤波、高斯滤波、小波滤波等做预处理增强，避 免图像的数字化以及传输过程造成的图像噪声；通过对图像做二值化处理，来 规避PCB板背景对线路和焊盘的影响；通过构建深度卷积神经网络来提取PCB 裸板线路图像特征，根据特征值分类回归得到PCB板中瑕疵的位置和种类；不 需要对PCB裸板图像进行精确对准便，可得到较好的检测精度和速度，抗环境 干扰性强，检测对象可以多样化，更加符合工业化生产的需求。
实施例二
设置检测算法的训练过程如下：
1、实验环境：Intel core I9 9800x CPU，运行内存为32GB，显卡Nvidia RTX2080Ti。
2、程序架构：在Linux下使用python3.6+tensorflow1.12框架来进行本专 利新型卷积神经网络的参数训练。
3、训练参数：初始学习率和学习动量分别设为0.01和0.9，权重惩罚为 0.0005，在迭代到20000和30000次数时学习率减小10倍，最大迭代次数为50000 次。在训练网络时，从数据中随机选择70％数据作为训练集，剩余的30％作为验 证集。在本实施案例中以毛刺、针孔、短路、短路、缺损、斑点、窄线作为检 测目标，数据集数量为10000张图片，其中标注信息8000余个。
采用本实施例，通过构建深度卷积神经网络来提取PCB裸板线路图像特征， 根据特征值分类回归得到PCB板中瑕疵的位置和种类；不需要对PCB裸板图像 进行精确对准便，可得到较好的检测精度和速度，抗环境干扰性强，检测对象 可以多样化，更加符合工业化生产的需求。
实施例三
图9是本发明一种PCB裸板线路瑕疵检测装置结构示意图。如图9所示， 一种PCB裸板线路瑕疵检测装置，至少包括：PCB裸板图像获取模块10，用于 获取PCB裸板图像；
获取及时的或者已经通过图像采集设备如相机的PCB裸板图像，作为瑕疵 分析数据源。
预处理模块20，用于对所述PCB裸板图像进行预处理；
为了去掉PCB裸板图像中的多余的噪声等干扰源，需要对PCB裸板图像进 行预处理。在去掉噪声等干扰源的PCB裸板图像中检测瑕疵，则检测的更准确， 更有说服力。
二值化处理模块30，用于对经过预处理后的PCB裸板图像进行二值化处理；
对经过预处理后的PCB裸板图像进行二值化处理，通过颜色识别区分焊盘、 导线和PCB板，得到一个灰度图像。二值化处理可凸显焊盘和导线的特征，排 除PCB板背景的干扰。
特征提取模块40，用于将经过二值化处理的PCB裸板图像，送入深度卷积 神经网络中提取特征；
通过建立深度卷积神经网络(Convolutional Neural Network，CNN)模型， 提取PCB板的特征信息，最后根据特征信息做瑕疵类别和位置的分类回归，达 到PCB瑕疵检测的目的。
瑕疵输出模块50，用于输出瑕疵的位置和种类。
参考现有技术中的各种瑕疵类别，将采用本发明PCB裸板线路瑕疵检测方 法测出的瑕疵进行位置和种类归类，这样方便统计，有利于对PCB生成进行质 量控制。
所述预处理模块20又至少包括中值滤波模块、高斯滤波模块或小波滤波模 块，分别用于对所述PCB裸板图像进行中值滤波、高斯滤波或小波滤波。所述 特征提取模块40又至少包括：深度卷积神经网络构建模块，用于构建深度卷积 神经网络；特征分析提取模块，用于将经过二值化处理的PCB裸板图像送入所 述深度卷积神经网络，对所述PCB裸板图像进行特征提取。采用的神经网络结 构如图7所示，在此不再赘述。
采用本实施例，通过中值滤波、高斯滤波、小波滤波等做预处理增强，避 免图像的数字化以及传输过程造成的图像噪声；通过对图像做二值化处理，来 规避PCB板背景对线路和焊盘的影响；通过构建深度卷积神经网络来提取PCB 裸板线路图像特征，根据特征值分类回归得到PCB板中瑕疵的位置和种类；不 需要对PCB裸板图像进行精确对准便，可得到较好的检测精度和速度，抗环境 干扰性强，检测对象可以多样化，更加符合工业化生产的需求。
实施例四
图10为根据本发明实施例提供的电子设备的实体结构示意图。基于上述实 施例的内容，如图10所示，该电子设备可以包括：处理器(processor)301、 存储器(memory)302和总线303；其中，处理器301和存储器302通过总线303 完成相互间的通信；处理器301用于调用存储在存储器302中并可在处理器301 上运行的计算机程序指令，以执行上述各方法实施例所提供的PCB裸板线路瑕 疵检测方法，例如包括步骤：
S11、获取PCB裸板图像；
S12、对所述PCB裸板图像进行预处理；
S13、对经过预处理后的PCB裸板图像进行二值化处理；
S14、将经过二值化处理的PCB裸板图像，送入深度卷积神经网络中提取特 征；
S15、输出瑕疵的位置和种类。
此外，上述的存储器302中的逻辑指令可以通过软件功能单元的形式实现 并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。 基于这样的理解，本发明实施例的技术方案实质上或者说对现有技术做出贡献 的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件 产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是 个人计算机，服务器，或者网络设备等)执行本发明各个实施例基于人脸识别 生成备忘录的方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘， 只读存储器(ROM，Read-Only Memory)、随机存储存储器(RAM，RandomAccess Memory)、磁碟或者光盘等各种存储程序代码的介质。
采用本实施例，通过中值滤波、高斯滤波、小波滤波等做预处理增强，避 免图像的数字化以及传输过程造成的图像噪声；通过对图像做二值化处理，来 规避PCB板背景对线路和焊盘的影响；通过构建深度卷积神经网络来提取PCB 裸板线路图像特征，根据特征值分类回归得到PCB板中瑕疵的位置和种类；不 需要对PCB裸板图像进行精确对准便，可得到较好的检测精度和速度，抗环境 干扰性强，检测对象可以多样化，更加符合工业化生产的需求。
实施例五
本发明另一实施例公开一种计算机程序产品，计算机程序产品包括存储在 非暂态计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程 序指令被计算机执行时，计算机能够执行上述各实施例所提供的PCB裸板线路 瑕疵检测方法，例如包括步骤：
S11、获取PCB裸板图像；
S12、对所述PCB裸板图像进行预处理；
S13、对经过预处理后的PCB裸板图像进行二值化处理；
S14、将经过二值化处理的PCB裸板图像，送入深度卷积神经网络中提取特 征；
S15、输出瑕疵的位置和种类。
采用本实施例，通过中值滤波、高斯滤波、小波滤波等做预处理增强，避 免图像的数字化以及传输过程造成的图像噪声；通过对图像做二值化处理，来 规避PCB板背景对线路和焊盘的影响；通过构建深度卷积神经网络来提取PCB 裸板线路图像特征，根据特征值分类回归得到PCB板中瑕疵的位置和种类；不 需要对PCB裸板图像进行精确对准便，可得到较好的检测精度和速度，抗环境 干扰性强，检测对象可以多样化，更加符合工业化生产的需求。
实施例六
本发明另一实施例提供-种非暂态计算机可读存储介质,非暂态计算机可读 存储介质存储计算机指令,计算机指令使计算机执行上述各方法实施例所提供 的PCB裸板线路瑕疵检测方法，例如包括步骤：
S11、获取PCB裸板图像；
S12、对所述PCB裸板图像进行预处理；
S13、对经过预处理后的PCB裸板图像进行二值化处理；
S14、将经过二值化处理的PCB裸板图像，送入深度卷积神经网络中提取特 征；
S15、输出瑕疵的位置和种类。
采用本实施例，通过中值滤波、高斯滤波、小波滤波等做预处理增强，避 免图像的数字化以及传输过程造成的图像噪声；通过对图像做二值化处理，来 规避PCB板背景对线路和焊盘的影响；通过构建深度卷积神经网络来提取PCB 裸板线路图像特征，根据特征值分类回归得到PCB板中瑕疵的位置和种类；不 需要对PCB裸板图像进行精确对准便，可得到较好的检测精度和速度，抗环境 干扰性强，检测对象可以多样化，更加符合工业化生产的需求。
本发明是根据特定实施例进行描述的，但本领域的技术人员应明白在不脱 离本发明范围时，可进行各种变化和等同替换。此外，为适应本发明技术的特 定场合，可对本发明进行诸多修改而不脱离其保护范围。因此，本发明并不限 于在此公开的特定实施例，而包括所有落入到权利要求保护范围的实施例。
Claims (10)
1.一种PCB裸板线路瑕疵检测方法，其特征在于，包括：
获取PCB裸板图像；
对所述PCB裸板图像进行预处理；
对经过预处理后的PCB裸板图像进行二值化处理；
将经过二值化处理的PCB裸板图像，送入深度卷积神经网络中提取特征；
输出瑕疵的位置和种类。
2.根据权利要求1所述的PCB裸板线路瑕疵检测方法，其特征在于，对所述PCB裸板图像进行预处理包括：所述PCB裸板图像进行中值滤波、高斯滤波或小波滤波。
3.根据权利要求1所述的PCB裸板线路瑕疵检测方法，其特征在于，所述对经过预处理后的PCB裸板图像进行二值化处理包括：
扫描所述PCB裸板图像像素值；
计算所述PCB裸板图像上的每个像素点在RGB颜色空间坐标上与导线标准颜色、焊盘标注颜色以及PCB板标准颜色的坐标位置空间欧式距离；
从三个空间欧式距离值中比较得出最小空间欧式距离，其最小空间欧式距离用于衡量该检测像素值与三个标准颜色中最相近的颜色，从而可得出该检测像素对应的目标为焊盘或者导线或者PCB板背景；
如果目标物为焊盘或者导线，则设置该点像素值为255，即白色，如果目标物为PCB板子，则设置该点像素值为0，即黑色。
4.根据权利要求1所述的PCB裸板线路瑕疵检测方法，其特征在于，所述将经过二值化处理的PCB裸板图像，送入深度卷积神经网络中提取特征包括：
构建深度卷积神经网络；
将经过二值化处理的PCB裸板图像送入所述深度卷积神经网络；
对所述PCB裸板图像进行特征提取。
5.根据权利要求4所述的PCB裸板线路瑕疵检测方法，其特征在于，所述构建深度卷积神经网络包括：
以Darknet53网络为基础，将网络输入大小增加到608x608；
在三个不同尺度内通过卷积的方式实现局部特征的提取；
基于交互层输出的特征图进行类别和位置的回归判断；
采用二元交叉熵进行类别预测来提高准确度。
6.一种PCB裸板线路瑕疵检测装置，其特征在于，包括：
PCB裸板图像获取模块，用于获取PCB裸板图像；
预处理模块，用于对所述PCB裸板图像进行预处理；
二值化处理模块，用于对经过预处理后的PCB裸板图像进行二值化处理；
特征提取模块，用于将经过二值化处理的PCB裸板图像，送入深度卷积神经网络中提取特征；
瑕疵输出模块，用于输出瑕疵的位置和种类。
7.根据权利要求5所述的PCB裸板线路瑕疵检测装置，其特征在于，所述预处理模块包括中值滤波模块、高斯滤波模块或小波滤波模块，分别用于对所述PCB裸板图像进行中值滤波、高斯滤波或小波滤波。
8.根据权利要求5所述的PCB裸板线路瑕疵检测装置，其特征在于，所述特征提取模块包括：
深度卷积神经网络构建模块，用于构建深度卷积神经网络；
特征分析提取模块，用于将经过二值化处理的PCB裸板图像送入所述深度卷积神经网络，对所述PCB裸板图像进行特征提取。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时，实现如权利要求1至5任一项所述PCB裸板线路瑕疵检测方法的步骤。
10.一种存储介质，所述存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述PCB裸板线路瑕疵检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010721548.0A CN112651920A (zh) | 2020-07-24 | 2020-07-24 | Pcb裸板线路瑕疵检测方法、装置、电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010721548.0A CN112651920A (zh) | 2020-07-24 | 2020-07-24 | Pcb裸板线路瑕疵检测方法、装置、电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112651920A true CN112651920A (zh) | 2021-04-13 |
Family
ID=75346683
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010721548.0A Pending CN112651920A (zh) | 2020-07-24 | 2020-07-24 | Pcb裸板线路瑕疵检测方法、装置、电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112651920A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114037700A (zh) * | 2021-12-31 | 2022-02-11 | 成都数联云算科技有限公司 | 面板缺陷检测方法、装置、电子设备及存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160034809A1 (en) * | 2014-06-10 | 2016-02-04 | Sightline Innovation Inc. | System and method for network based application development and implementation |
| CN108631727A (zh) * | 2018-03-26 | 2018-10-09 | 河北工业大学 | 一种基于卷积神经网络的太阳能电池板缺陷识别方法 |
| CN108648168A (zh) * | 2018-03-15 | 2018-10-12 | 北京京仪仪器仪表研究总院有限公司 | Ic晶圆表面缺陷检测方法 |
| CN109064461A (zh) * | 2018-08-06 | 2018-12-21 | 长沙理工大学 | 一种基于深度学习网络的钢轨表面缺陷检测方法 |
| CN109615609A (zh) * | 2018-11-15 | 2019-04-12 | 北京航天自动控制研究所 | 一种基于深度学习的焊点瑕疵检测方法 |
| US20190197679A1 (en) * | 2017-12-25 | 2019-06-27 | Utechzone Co., Ltd. | Automated optical inspection method using deep learning and apparatus, computer program for performing the method, computer-readable storage medium storing the computer program,and deep learning system thereof |
| CN109975308A (zh) * | 2019-03-15 | 2019-07-05 | 维库（厦门）信息技术有限公司 | 一种基于深度学习的表面检测方法 |
| US20200005141A1 (en) * | 2018-06-29 | 2020-01-02 | Utechzone Co., Ltd. | Automated optical inspection and classification apparatus based on a deep learning system and training apparatus thereof |
| CN110738211A (zh) * | 2019-10-17 | 2020-01-31 | 腾讯科技（深圳）有限公司 | 一种对象检测的方法、相关装置以及设备 |
-
2020
- 2020-07-24 CN CN202010721548.0A patent/CN112651920A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160034809A1 (en) * | 2014-06-10 | 2016-02-04 | Sightline Innovation Inc. | System and method for network based application development and implementation |
| US20190197679A1 (en) * | 2017-12-25 | 2019-06-27 | Utechzone Co., Ltd. | Automated optical inspection method using deep learning and apparatus, computer program for performing the method, computer-readable storage medium storing the computer program,and deep learning system thereof |
| CN108648168A (zh) * | 2018-03-15 | 2018-10-12 | 北京京仪仪器仪表研究总院有限公司 | Ic晶圆表面缺陷检测方法 |
| CN108631727A (zh) * | 2018-03-26 | 2018-10-09 | 河北工业大学 | 一种基于卷积神经网络的太阳能电池板缺陷识别方法 |
| US20200005141A1 (en) * | 2018-06-29 | 2020-01-02 | Utechzone Co., Ltd. | Automated optical inspection and classification apparatus based on a deep learning system and training apparatus thereof |
| CN109064461A (zh) * | 2018-08-06 | 2018-12-21 | 长沙理工大学 | 一种基于深度学习网络的钢轨表面缺陷检测方法 |
| CN109615609A (zh) * | 2018-11-15 | 2019-04-12 | 北京航天自动控制研究所 | 一种基于深度学习的焊点瑕疵检测方法 |
| CN109975308A (zh) * | 2019-03-15 | 2019-07-05 | 维库（厦门）信息技术有限公司 | 一种基于深度学习的表面检测方法 |
| CN110738211A (zh) * | 2019-10-17 | 2020-01-31 | 腾讯科技（深圳）有限公司 | 一种对象检测的方法、相关装置以及设备 |
Non-Patent Citations (3)
| Title |
|---|
| 殷政: "基于深度学习的IC引脚焊接缺陷自动检测技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 王兵水: "基于卷积神经网络的扣件弹条状态检测研究", 《上海工程技术大学》 * |
| 车尚岳: "基于机器视觉的电路板缺陷检测系统研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114037700A (zh) * | 2021-12-31 | 2022-02-11 | 成都数联云算科技有限公司 | 面板缺陷检测方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105740910A (zh) | 一种车辆物件检测方法及装置 | |
| CN114140679A (zh) | 一种缺陷融合方法、装置、识别系统及存储介质 | |
| CN105574550A (zh) | 一种车辆识别方法及装置 | |
| CN111582359B (zh) | 一种图像识别方法、装置、电子设备及介质 | |
| CN104777176A (zh) | 一种pcb板检测方法及装置 | |
| TWI765442B (zh) | 瑕疵等級判定的方法及存儲介質 | |
| CN113256624A (zh) | 连铸圆坯缺陷检测方法、装置、电子设备及可读存储介质 | |
| CN110866915A (zh) | 基于度量学习的圆形砚台质量检测方法 | |
| CN111754502A (zh) | 基于多尺度特征融合的Faster-RCNN算法检测磁芯表面缺陷的方法 | |
| CN114445410A (zh) | 基于图像识别的电路板检测方法、计算机及可读存储介质 | |
| CN117557784B (zh) | 目标检测方法、装置、电子设备及存储介质 | |
| CN110751225A (zh) | 图像分类方法、装置及存储介质 | |
| CN112750113B (zh) | 基于深度学习和直线检测的玻璃瓶缺陷检测方法及装置 | |
| WO2022222036A1 (zh) | 车位确定方法及装置 | |
| CN112651920A (zh) | Pcb裸板线路瑕疵检测方法、装置、电子设备 | |
| CN116091503B (zh) | 一种面板异物缺陷的判别方法、装置、设备及介质 | |
| CN116363136B (zh) | 一种机动车部件自动化生产在线筛选方法及系统 | |
| CN116245882A (zh) | 电路板电子元件检测方法、装置及计算机设备 | |
| CN115578362A (zh) | 电极涂层的缺陷检测方法、装置、电子设备及介质 | |
| CN115546141A (zh) | 一种基于多维度度量的小样本Mini LED缺陷检测方法及系统 | |
| CN112634382B (zh) | 一种非自然对象的图像识别、替换方法和装置 | |
| CN113034420B (zh) | 一种频率空间域特征的工业产品表面缺陷分割方法及系统 | |
| CN111935480B (zh) | 一种用于图像获取装置的检测方法及相关装置 | |
| CN111523605B (zh) | 一种图像识别方法、装置、电子设备及介质 | |
| CN114418951A (zh) | 一种焊盘检测方法、装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210413 |
|
| RJ01 | Rejection of invention patent application after publication |