CN111260621A - 一种印制电路板表面缺陷定位与识别方法 - Google Patents
一种印制电路板表面缺陷定位与识别方法 Download PDFInfo
- Publication number
- CN111260621A CN111260621A CN202010036848.5A CN202010036848A CN111260621A CN 111260621 A CN111260621 A CN 111260621A CN 202010036848 A CN202010036848 A CN 202010036848A CN 111260621 A CN111260621 A CN 111260621A
- Authority
- CN
- China
- Prior art keywords
- image
- layer
- neural network
- circuit board
- printed circuit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30148—Semiconductor; IC; Wafer
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种印制电路板表面缺陷定位与识别方法,首先采集印制电路板待测图像与模板图像;其次,使用第一个卷积神经网络得到特征点预测分布图,筛选得到最佳特征点;然后,使用第二个卷积神经网络计算最佳特征点的描述向量,匹配待测图像与模板图像的最佳特征点;接着,根据匹配点计算仿射变换矩阵,并将待测图像投影到模板图像上;再次,计算被投影的待测图像与模板图像的功率谱,根据功率谱差异得到待测图像的异常频率分量,再通过傅立叶反变换得到疑似缺陷区域;最后,使用第三个卷积神经网络对疑似缺陷区域进行识别及分类。本发明可准确地对印制电路板表面缺陷进行定位与识别,保障电路板质量,并对环境噪声有一定的鲁棒性。
Description
技术领域
本发明涉及机器视觉与模式识别检测技术领域,特别是涉及一种印制电路 板表面缺陷定位与识别方法。
背景技术
印刷电路板(printed circuit board,PCB)作为实现电子元件电气连接和固定的载体,在现代化生产制造诸多领域得到了广泛应用。现代电子设备的质量靠 的不仅是电子组件的质量和性能,而且很大程度上取决于印刷电路板的质量。 电子元器件集成化和微型化的发展趋势使得PCB的生产制造工艺日趋复杂,受 设备、环境和人为失误等因素影响,PCB生产中会存在短路、断路、划痕、孔 洞等影响产品性能的缺陷。
传统的人眼检测费时费力,且很难满足要求。为确保印刷电路板的质量, 在线自动检测是一个必要的环节。采用光学原理,结合图像分析以及计算机和 自动化检测技术对PCB生产缺陷进行检测,逐渐成为行业主流,具有效率高和 缺陷覆盖率高等优点。但是,由于受采光条件、工业现场环境等因素的影响, 工业相机采集到的原始图像不可避免地含有各种噪声干扰,检测精度、检测速 度有待进一步提高。
发明内容
有鉴于此,本发明提出一种印制电路板表面缺陷定位与识别方法,能够有 效的定位电机驱动器印制电路板表面缺陷位置及识别缺陷种类,能够提前发觉 电路板表面缺陷,保障电机驱动器电路板质量。
一方面,本发明提供了一种印制电路板表面缺陷定位与识别方法,包括如 下步骤:
(1)图像采集:采集印制电路板待测图像I(x,y)与模板图像T(x,y);
(3)缺陷定位:将配准后的待测图像与模板图像T(x,y)通过傅立叶变 换及反变换,定位疑似缺陷区域D={Dect(xi,yi,wi,hi)|0<i<K},其中, Dect(xi,yi,wi,hi)为坐标在(xi,yi),长、宽为wi,hi的矩形区域,K为大于0的自然数;
(4)缺陷识别:将集合D中疑似缺陷区域图像块输入第三个卷积神经网 络,进行缺陷识别,得到缺陷类型。
进一步地,所述步骤(2)图像配准具体包括以下步骤:
(21)以待测图像I(x,y)的像素点(xi,yi)为中心获取尺寸为32×32的图像块, 并将该图像块送入第一个卷积神经网络,得到该像素点(xi,yi)为疑似特征点的预 测值socrei;
(22)通过预测值socrei获得待测图像I(x,y)的预测值分布图S(x,y),并通 过非极大值抑制算法筛选S(x,y)中预测值的所有局部极大值点 PI={(xn,yn)|1≤n≤N},将这些点作为待测图像I(x,y)的最终特征点,PI即为最终特 征点集合,其中,N为大于1的自然数;
(25)根据待测图像I(x,y)的最终特征点集合PI与模板图像T(x,y)的特征点集 合PT,计算集合PI中任意一个特征点(xn,yn)与集合PT的所有点对应的描述向量 的距离,将距离最小的一对特征点作为匹配点,得到匹配点集合H={(xn,yn,xm,ym)|(xn,yn)∈PI,(xm,ym)∈PT,1≤n≤N},距离度量公式为:
进一步地,所述步骤(3)缺陷定位具体包括以下步骤:
式中,(x,y)为大小M×N的原图像上的一点,原图像矩阵所在的坐标系称为 空间域,F(u,v)为输入图像的二维傅立叶变换后的频域矩阵,其所在坐标系即为 频域,u和v用于确定正余弦的频率,P(u,v)为原图像的功率谱;
式中,C取值1.25,分别表示极坐标形式下待测图像 块距离功率谱中心角度为θ、长度为γ-1、γ+1处的功率谱值,PT(γ-1,θ)i、 PT(γ+1,θ)i分别表示极坐标形式下模板图像块T(x,y)i距离功率谱中心角度为θ、 长度为γ-1、γ+1处的功率谱值;
(33)将得到的异常频率分量保留,其他频率分量置为0,得到异 常频率谱,将异常频率谱通过傅立叶反变换为空间域图像,并将该空间域像素 值为1的区域分割成多个不同大小的连通域,这些连通域的最小外接矩阵框的 集合D={Dect(xi,yi,wi,hi)|0<i<K},即为原图像I(x,y)中疑似缺陷的位置。
进一步地,所述步骤(4)缺陷识别具体包括以下步骤:
(41)将原图像I(x,y)在疑似缺陷位置框Dect(xi,yi,wi,hi)上的图像裁剪成图 像块DectI(xi,yi,wi,hi);
(42)将图像块DectI(xi,yi,wi,hi)送入第三个卷积神经网络,得到该疑似区域 的缺陷识别概率分布{Re1,Re2,Re3,Re4,Re5,Re6},其中1~6分别代表印制电路 板上常见的短路、断路、孔洞、漏孔、毛刺、余铜六类缺陷,将输出序列中概 率最高的一类作为疑似区域的缺陷类别,即得到最终的识别结果。
进一步地,所述步骤(21)中第一个卷积神经网络搭建过程如下:
第一步、第一个卷积神经网络包括3个卷积层、3个池化层和2个全连接 层,其中:第1层为卷积层,包括10个卷积核,步长为1,尺寸均为5×5;第 2层为池化层,步长为1,使用的最大采样核大小为5×5;第3层为卷积层,包 括50个卷积核,步长为1,卷积核大小为5×5;第4层为池化层,降采样核大 小为2×3,步长为1;第5层为卷积层,包括100个卷积核,步长为1,卷积核 大小为3×3;第6层为池化层,降采样核大小为2×2,步长为1;第7和第8层均为全连接层,神经元个数分别为500和100,最后一层为累加器,输出一个 0-100范围内的预测值;
第二步、收集生产过程中不同环境下、不同尺寸的各类印制电路板图像,将 收集的图像通过DoG检测器筛选其中相同物理位置多次出现在不同图像的可 重复点,将这些可重复点所在的64×64区域的图像块作为卷积神经网络的训练 样本,训练样本分批次送入该网络,每批次包括若干组训练样本,且通过如下 公式计算该网络的损失函数:
式中,Lloss为该步骤损失函数计算结果,Lc(W,b)表示分类损失,Lt(W,b)表 示调节损失,ω表示超参数,Pi为输入的以(xi,yi)为中心点的尺寸为5×5的图像 块,Wmn、bmn为该神经网络参数,γclass、γt为超参数,分别设为0.5、1,K为一 批次训练样本数,设定为1024;S(Pi;(Wmn、bmn))表示该网络的输出值,当输入图 像块为正样本时,yi=1,当输入图像块为负样本时,yi=-1;
第三步、通过Adma算法优化第一个卷积神经网络的网络参数(Wmn、bmn), 优化算法具体公式如下:
式中,m的取值为1024,Jθ为输入一批次1024组训练样本得到的最小二 乘损失函数值,gt为时刻t的最小二乘损失函数Jθ的梯度,mt、nt分别为时刻t 的初始化一阶矩、二阶矩向量,μ、v均为矩估计指数衰减率,分别设为0.9、 0.999,θ为网络权值,η为学习率,ε取值10-8。
进一步地,所述第二个卷积神经网络搭建过程如下:
第一步、第二个卷积神经网络的网络结构包括7层卷积层,其中:第1、2 层卷积层包括32个3×3的卷积核,步长为1;第3层卷积层包括64个3×3的 卷积核,步长为2;第4层卷积层包括64个3×3的卷积核,步长为1;第5层 卷积层包括128个3×3的卷积核,步长为2;第6层卷积层包括128个3×3的 卷积核,步长为1;第7层卷积层包括128个8×8的卷积核,输出层第七层的 结果直接输出,为一个128维的特征向量;
第二步、第二个卷积神经网络采用的训练集与第一个卷积神经网络的训练 集相同,将每批次若干组训练样本送入该网络,计算该网络的损失函数,该网 络损失函数具体公式如下:
式中:L'loss为该步骤损失函数计算结果,n为每批次训练样本个数,取值 为1024,为图像块Pi、Qi通过该网络检测输出的描述该特征点的128 维特征向量,为计算两个特征点描述向量的距离,表示以Pi为 基准点,与其他所有负样本的描述向量距离最小值,表示以Qi为基准 点,与其他所有负样本的描述向量距离最小值,T(Pi;(Wmn、bmn))表示该网络的输 出值;
第三步、通过Adma算法优化第二个卷积神经网络的网络参数(Wmn、bmn), 优化算法公式与第一个卷积神经网络的优化算法相同。
进一步地,所述第三个卷积神经网络通过如下过程搭建:
第一步、第三个卷积神经网络包括2个卷积层、2个下采样层和4个全连 接层,其中:第1层为卷积层,包括32个卷积核,步长为1,尺寸均为5×5; 第2层为最大池化层,步长为1,使用的最大采样核大小为2×2;第3层为卷积 层,包括64个卷积核,步长为1,卷积核大小为2×2;第4层为池化层,降采 样核大小为2×2,步长为1;第6、7和第8层为全连接层,神经元个数分别为 1024、512和256,最后一层为Softmax分类器,输出一个6维的概率序列;
第二步、训练集为印制电路板常见的短路、断路、孔洞、漏孔、毛刺、余 铜6类尺寸为64×64的缺陷图像块,且各类缺陷分布比例相同,将训练集中的 样本图像随机抽取并输入到该网络中,计算该网络的损失函数,该样本的损失 函数计算公式为:
式中,L”loss为该步骤损失函数计算结果,tk为输入样本标签的第k维的值, yk为该预测该样本在第k维的值,k为该样本的缺陷种类,取值为6, R(Pi;(Wmn、Bmn))表示该网络的输出值;
第三步、通过Adma算法优化第三个卷积神经网络的网络参数(Wmn、bmn), 优化算法公式与第一个卷积神经网络的优化算法相同。
进一步地,本发明提供的印制电路板表面缺陷定位与识别方法,应用于缺 陷定位与识别系统,所述缺陷定位与识别系统包括相机、环型光源、传送带、 计算机和运动控制器,印制电路板设置于传送带上,传送带与运动控制器相连, 通过运动控制器控制传送带运动,所述环型光源设置于相机的正下方,所述计 算机分别与相机和运动控制器相连,通过相机采集印制电路板的待测图像I(x,y) 与模板图像T(x,y),并将其传送给计算机进行后续操作。
综上所述,本发明,首先采集印制电路板待测图像I(x,y)与模板图像T(x,y); 其次,使用第一个卷积神经网络得到特征点预测分布图,筛选得到最佳特征点 集合PI和PT;然后,使用第二个卷积神经网络计算最佳特征点的描述向量VI和 VT,待测图像I(x,y)与模板图像T(x,y)的最佳特征点;接着,根据匹配点计算仿 射变换矩阵,并将待测图像I(x,y)投影到模板图像T(x,y)上;再次,计算被投影 的待测图像I(x,y)与模板图像T(x,y)的功率谱根据功率谱差异 得到待测图像的异常频率分量再通过傅立叶反变换得到疑似缺陷区域 D;最后,使用第三个卷积神经网络对疑似缺陷区域D进行识别及分类。本发 明所提出的方法可准确地对印制电路板表面缺陷进行定位与识别,能够提前发 觉电路板表面缺陷,保障电路板质量,并对环境噪声有一定的鲁棒性。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解,本发明的示 意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图 中:
图1为本发明实施例提供的一种印制电路板表面缺陷定位与识别方法的流 程图;
图2为缺陷定位与识别系统的结构示意图。
附图说明:
1-相机
2-环型光源
3-传送带
4-计算机
5-运动控制器
6-印制电路板
具体实施方式
需要说明的是,在不冲突的情况下,本发明中的实施例及实施例中的特征 可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
图1是根据本发明实施例提供的一种印制电路板表面缺陷定位与识别方法 的流程图。如图1所示,该方法依次包括图像采集、图像配准、缺陷定位和缺 陷识别四个过程,具体地:
(1)图像采集,采集印制电路板待测图像I(x,y)与模板图像T(x,y);
(21)以待测图像I(x,y)的像素点(xi,yi)为中心获取尺寸为32×32的图像块, 并将该图像块送入第一个卷积神经网络,得到该像素点(xi,yi)为疑似特征点的预 测值socrei,需要说明的是,预测值socrei的取值范围为0-100,预测值越高, 该点为特征点的概率越大;
(22)通过预测值socrei获得待测图像I(x,y)的预测值分布图S(x,y),并通 过非极大值抑制算法筛选S(x,y)中预测值的所有局部极大值点 PI={(xn,yn)|1≤n≤N},将这些点作为待测图像I(x,y)的最终特征点,PI即为最终特 征点集合,其中,N为大于1的自然数;
(25)根据待测图像I(x,y)的最终特征点集合PI与模板图像T(x,y)的特征点集 合PT,计算集合PI中任意一个特征点(xn,yn)与集合PT的所有点对应的描述向量 的距离,将距离最小的一对特征点作为匹配点,得到匹配点集合 H={(xn,yn,xm,ym)|(xn,yn)∈PI,(xm,ym)∈PT,1≤n≤N},距离度量公式为:
(3)缺陷定位,将配准后的待测图像与模板图像T(x,y)通过傅立叶变 换及反变换,定位疑似缺陷区域D={Dect(xi,yi,wi,hi)|0<i<K},其中, Dect(xi,yi,wi,hi)为坐标在(xi,yi),长、宽为wi,hi的矩形区域,K为大于0的自然数, 优选地,步骤(3)缺陷定位具体包括以下步骤:
式中,(x,y)为大小M×N的原图像上的一点,原图像矩阵所在的坐标系称为 空间域,F(u,v)为输入图像的二维傅立叶变换后的频域矩阵,其所在坐标系即为 频域,u和v用于确定正余弦的频率,P(u,v)为原图像的功率谱;
式中,C取值1.25,分别表示极坐标形式下待测图像 块距离功率谱中心角度为θ、长度为γ-1、γ+1处的功率谱值,PT(γ-1,θ)i、 PT(γ+1,θ)i分别表示极坐标形式下模板图像块T(x,y)i距离功率谱中心角度为θ、 长度为γ-1、γ+1处的功率谱值;
(33)将得到的异常频率分量保留,其他频率分量置为0,得到异 常频率谱,将异常频率谱通过傅立叶反变换为空间域图像,并将该空间域像素 值为1的区域分割成多个不同大小的连通域,这些连通域的最小外接矩阵框的 集合D={Dect(xi,yi,wi,hi)|0<i<K},即为原图像I(x,y)中疑似缺陷的位置;
(4)缺陷识别,将集合D中疑似缺陷区域图像块输入第三个卷积神经网 络,进行缺陷识别,得到缺陷类型,优选地,步骤(4)缺陷识别具体包括以下 步骤:
(41)将原图像I(x,y)在疑似缺陷位置框Dect(xi,yi,wi,hi)上的图像裁剪成图 像块DectI(xi,yi,wi,hi);
(42)将图像块DectI(xi,yi,wi,hi)送入第三个卷积神经网络,得到该疑似区域 的缺陷识别概率分布{Re1,Re2,Re3,Re4,Re5,Re6},其中1~6分别代表印制电路 板上常见的短路、断路、孔洞、漏孔、毛刺、余铜六类缺陷,将输出序列中概 率最高的一类作为疑似区域的缺陷类别,即得到最终的识别结果。
通过其上描述,本发明,首先采集印制电路板待测图像I(x,y)与模板图像 T(x,y);其次,使用第一个卷积神经网络得到特征点预测分布图,筛选得到最佳 特征点集合PI和PT;然后,使用第二个卷积神经网络计算最佳特征点的描述向 量VI和VT,待测图像I(x,y)与模板图像T(x,y)的最佳特征点;接着,根据匹配点 计算仿射变换矩阵,并将待测图像I(x,y)投影到模板图像T(x,y)上;再次,计算 被投影的待测图像I(x,y)与模板图像T(x,y)的功率谱根据功率 谱差异得到待测图像的异常频率分量再通过傅立叶反变换得到疑似缺 陷区域D;最后,使用第三个卷积神经网络对疑似缺陷区域D进行识别及分类。 本发明所提出的方法可准确地对印制电路板表面缺陷进行定位与识别,能够提 前发觉电路板表面缺陷,保障电路板质量,并对环境噪声有一定的鲁棒性。
同时,作为本发明的优选实施例,步骤(21)中第一个卷积神经网络搭建 过程如下:
第一步、第一个卷积神经网络包括3个卷积层、3个池化层和2个全连接 层,其中:第1层为卷积层,包括10个卷积核,步长为1,尺寸均为5×5;第 2层为池化层,步长为1,使用的最大采样核大小为5×5;第3层为卷积层,包 括50个卷积核,步长为1,卷积核大小为5×5;第4层为池化层,降采样核大 小为2×3,步长为1;第5层为卷积层,包括100个卷积核,步长为1,卷积核 大小为3×3;第6层为池化层,降采样核大小为2×2,步长为1;第7和第8层均为全连接层,神经元个数分别为500和100,最后一层为累加器,输出一个 0-100范围内的预测值;
第二步、收集生产过程中不同环境下、不同尺寸的各类印制电路板图像,将 收集的图像通过DoG(加密狗)检测器筛选其中相同物理位置多次出现在不同 图像的可重复点,将这些可重复点所在的64×64区域的图像块作为卷积神经网 络的训练样本,训练样本分批次送入该网络,每批次包括若干组训练样本,且 通过如下公式计算该网络的损失函数:
式中,Lloss为该步骤损失函数计算结果,Lc(W,b)表示分类损失,Lt(W,b)表 示调节损失,ω表示超参数,Pi为输入的以(xi,yi)为中心点的尺寸为5×5的图像 块,Wmn、bmn为该神经网络参数,γclass、γt为超参数,分别设为0.5、1,K为一 批次训练样本数,设定为1024;S(Pi;(Wmn、bmn))表示该网络的输出值,当输入图 像块为正样本时,yi=1,当输入图像块为负样本时,yi=-1;
需要说明的是,该步骤中网络的训练集包括100万张包含可重复点的训练 样本,将每批次若干组训练样本送入该网络,一批次训练样本包括 {((P1,A1,B1,C1)、...、(Pi,Ai,Bi,Ci)、...、(P1024,A1024,B1024,C1024))},其中Pi为基准点所在的图像块, Ai为Pi匹配点所在图像块,Bi为Pi的任意非匹配点图像块,Ci为不包含任何特征 点的图像块,每次将一批次1024组训练样本送入该网络;
第三步、通过Adma算法(该算法是一种在深度学习模型中用来替代随机梯 度下降的优化算法)优化该网络的网络参数(Wmn、bmn),优化算法具体公式如 下:
式中,m的取值为1024,Jθ为输入一批次1024组训练样本得到的最小二 乘损失函数值,gt为时刻t的最小二乘损失函数Jθ的梯度,mt、nt分别为时刻t 的初始化一阶矩、二阶矩向量,μ、v均为矩估计指数衰减率,分别设为0.9、 0.999,θ为网络权值,η为学习率,ε取值10-8。
进一步地,本发明第二个卷积神经网络通过如下过程搭建:
第一步、第二个卷积神经网络的网络结构包括7层卷积层,其中:第1、2 层卷积层包括32个3×3的卷积核,步长为1;第3层卷积层包括64个3×3的 卷积核,步长为2;第4层卷积层包括64个3×3的卷积核,步长为1;第5层 卷积层包括128个3×3的卷积核,步长为2;第6层卷积层包括128个3×3的 卷积核,步长为1;第7层卷积层包括128个8×8的卷积核,输出层第七层的 结果直接输出,为一个128维的特征向量;
第二步、第二个卷积神经网络采用的训练集与第一个卷积神经网络的训练 集相同,将每批次若干组训练样本送入该网络,计算该网络的损失函数,该网 络损失函数具体公式如下:
式中:L'loss为该步骤损失函数计算结果,n为每批次训练样本个数,取值 为1024,为图像块Pi、Qi通过该网络检测输出的描述该特征点的128 维特征向量,为计算两个特征点描述向量的距离,表示以Pi为 基准点,与其他所有负样本的描述向量距离最小值,表示以Qi为基准 点,与其他所有负样本的描述向量距离最小值,T(Pi;(Wmn、bmn))表示该网络的输 出值;
第三步、通过Adma算法优化该网络的网络参数(Wmn、bmn),优化算法公式 与第一个卷积神经网络的优化算法相同。
此外,值得提及的是,本发明第三个卷积神经网络通过如下过程搭建:
第一步、第三个卷积神经网络包括2个卷积层、2个下采样层和4个全连 接层,其中:第1层为卷积层,包括32个卷积核,步长为1,尺寸均为5×5; 第2层为最大池化层,步长为1,使用的最大采样核大小为2×2;第3层为卷积 层,包括64个卷积核,步长为1,卷积核大小为2×2;第4层为池化层,降采 样核大小为2×2,步长为1;第6、7和第8层为全连接层,神经元个数分别为 1024、512和256,最后一层为Softmax分类器,输出一个6维的概率序列;
第二步、训练集为印制电路板常见的短路、断路、孔洞、漏孔、毛刺、余 铜6类尺寸为64×64的缺陷图像块,且各类缺陷分布比例相同,将训练集中的 样本图像随机抽取并输入到该网络中,计算该网络的损失函数,该样本的损失 函数计算公式为:
式中,L”loss为该步骤损失函数计算结果,tk为输入样本标签的第k维的值, yk为该预测该样本在第k维的值,k为该样本的缺陷种类,取值为6, R(Pi;(Wmn、Bmn))表示该网络的输出值;
需要说明的是,该步骤中64×64的缺陷图像块,数量为120000张左右大小 为120000张左右,由于短路、断路、孔洞、漏孔、毛刺、余铜6类缺陷分布比 例相同,因此,每类数量为20000张左右;
第三步、通过Adma算法优化第三个卷积神经网络的网络参数(Wmn、bmn), 优化算法公式与第一个卷积神经网络的优化算法相同。
由其上描述可知,本发明使用了三个卷积神经网络:第一个卷积神经网络 计算像素点为疑似特征点的预测值;第二个卷积神经网络计算特征点的描述向 量;第三个卷积神经网络识别疑似缺陷区域的缺陷类别。上述三个卷积神经网 络为准确地对印制电路板表面缺陷进行定位与识别提供了先决条件。
在进一步的技术方案中,本发明的方法,应用于缺陷定位与识别系统,具 体地,如图2所示,该缺陷定位与识别系统包括相机1、环型光源2、传送带3、 计算机4和运动控制器5,印制电路板6设置于传送带3上,传送带3与运动 控制器5相连,通过运动控制器5控制传送带3运动,环型光源2设置于相机 1的正下方,计算机4分别与相机1和运动控制器5相连,通过相机1采集印 制电路板6的待测图像I(x,y)与模板图像T(x,y),并将其传送给计算机4进行后 续操作。通过该设置,保证了印制电路板表面缺陷定位与识别的可实现性。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发 明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发 明的保护范围之内。
Claims (8)
1.一种印制电路板表面缺陷定位与识别方法,其特征在于,包括如下步骤:
(1)图像采集:采集印制电路板待测图像I(x,y)与模板图像T(x,y);
(3)缺陷定位:将配准后的待测图像与模板图像T(x,y)通过傅立叶变换及反变换,定位疑似缺陷区域D={Dect(xi,yi,wi,hi)|0<i<K},其中,Dect(xi,yi,wi,hi)为坐标在(xi,yi),长、宽为wi,hi的矩形区域,K为大于0的自然数;
(4)缺陷识别:将集合D中疑似缺陷区域图像块输入第三个卷积神经网络,进行缺陷识别,得到缺陷类型。
2.根据权利要求1所述的印制电路板表面缺陷定位与识别方法,其特征在于,所述步骤(2)图像配准具体包括以下步骤:
(21)以待测图像I(x,y)的像素点(xi,yi)为中心获取尺寸为32×32的图像块,并将该图像块送入第一个卷积神经网络,得到该像素点(xi,yi)为疑似特征点的预测值socrei;
(22)通过预测值socrei获得待测图像I(x,y)的预测值分布图S(x,y),并通过非极大值抑制算法筛选S(x,y)中预测值的所有局部极大值点PI={(xn,yn)|1≤n≤N},将这些点作为待测图像I(x,y)的最终特征点,PI即为最终特征点集合,其中,N为大于1的自然数;
(25)根据待测图像I(x,y)的最终特征点集合PI与模板图像T(x,y)的特征点集合PT,计算集合PI中任意一个特征点(xn,yn)与集合PT的所有点对应的描述向量的距离,将距离最小的一对特征点作为匹配点,得到匹配点集合H={(xn,yn,xm,ym)|(xn,yn)∈PI,(xm,ym)∈PT,1≤n≤N},距离度量公式为:
3.根据权利要求2所述的印制电路板表面缺陷定位与识别方法,其特征在于,所述步骤(3)缺陷定位具体包括以下步骤:
式中,(x,y)为大小M×N的原图像上的一点,原图像矩阵所在的坐标系称为空间域,F(u,v)为输入图像的二维傅立叶变换后的频域矩阵,其所在坐标系即为频域,u和v用于确定正余弦的频率,P(u,v)为原图像的功率谱;
式中,C取值1.25,分别表示极坐标形式下待测图像块距离功率谱中心角度为θ、长度为γ-1、γ+1处的功率谱值,PT(γ-1,θ)i、PT(γ+1,θ)i分别表示极坐标形式下模板图像块T(x,y)i距离功率谱中心角度为θ、长度为γ-1、γ+1处的功率谱值;
4.根据权利要求3所述的印制电路板表面缺陷定位与识别方法,其特征在于,所述步骤(4)缺陷识别具体包括以下步骤:
(41)将原图像I(x,y)在疑似缺陷位置框Dect(xi,yi,wi,hi)上的图像裁剪成图像块DectI(xi,yi,wi,hi);
(42)将图像块DectI(xi,yi,wi,hi)送入第三个卷积神经网络,得到该疑似区域的缺陷识别概率分布{Re1,Re2,Re3,Re4,Re5,Re6},其中1~6分别代表印制电路板上常见的短路、断路、孔洞、漏孔、毛刺、余铜六类缺陷,将输出序列中概率最高的一类作为疑似区域的缺陷类别,即得到最终的识别结果。
5.根据权利要求2所述的印制电路板表面缺陷定位与识别方法,其特征在于,所述步骤(21)中第一个卷积神经网络搭建过程如下:
第一步、第一个卷积神经网络包括3个卷积层、3个池化层和2个全连接层,其中:第1层为卷积层,包括10个卷积核,步长为1,尺寸均为5×5;第2层为池化层,步长为1,使用的最大采样核大小为5×5;第3层为卷积层,包括50个卷积核,步长为1,卷积核大小为5×5;第4层为池化层,降采样核大小为2×3,步长为1;第5层为卷积层,包括100个卷积核,步长为1,卷积核大小为3×3;第6层为池化层,降采样核大小为2×2,步长为1;第7和第8层均为全连接层,神经元个数分别为500和100,最后一层为累加器,输出一个0-100范围内的预测值;
第二步、收集生产过程中不同环境下、不同尺寸的各类印制电路板图像,将收集的图像通过DoG检测器筛选其中相同物理位置多次出现在不同图像的可重复点,将这些可重复点所在的64×64区域的图像块作为卷积神经网络的训练样本,训练样本分批次送入该网络,每批次包括若干组训练样本,且通过如下公式计算该网络的损失函数:
式中,Lloss为该步骤损失函数计算结果,Lc(W,b)表示分类损失,Lt(W,b)表示调节损失,ω表示超参数,Pi为输入的以(xi,yi)为中心点的尺寸为5×5的图像块,Wmn、bmn为该神经网络参数,γclass、γt为超参数,分别设为0.5、1,K为一批次训练样本数,设定为1024;S(Pi;(Wmn、bmn))表示该网络的输出值,当输入图像块为正样本时,yi=1,当输入图像块为负样本时,yi=-1;
第三步、通过Adma算法优化第一个卷积神经网络的网络参数(Wmn、bmn),优化算法具体公式如下:
式中,m的取值为1024,Jθ为输入一批次1024组训练样本得到的最小二乘损失函数值,gt为时刻t的最小二乘损失函数Jθ的梯度,mt、nt分别为时刻t的初始化一阶矩、二阶矩向量,μ、v均为矩估计指数衰减率,分别设为0.9、0.999,θ为网络权值,η为学习率,ε取值10-8。
6.根据权利要求5所述的印制电路板表面缺陷定位与识别方法,其特征在于,所述第二个卷积神经网络搭建过程如下:
第一步、第二个卷积神经网络的网络结构包括7层卷积层,其中:第1、2层卷积层包括32个3×3的卷积核,步长为1;第3层卷积层包括64个3×3的卷积核,步长为2;第4层卷积层包括64个3×3的卷积核,步长为1;第5层卷积层包括128个3×3的卷积核,步长为2;第6层卷积层包括128个3×3的卷积核,步长为1;第7层卷积层包括128个8×8的卷积核,输出层第七层的结果直接输出,为一个128维的特征向量;
第二步、第二个卷积神经网络采用的训练集与第一个卷积神经网络的训练集相同,将每批次若干组训练样本送入该网络,计算该网络的损失函数,该网络损失函数具体公式如下:
式中:L’loss为该步骤损失函数计算结果,n为每批次训练样本个数,取值为1024,为图像块Pi、Qi通过该网络检测输出的描述该特征点的128维特征向量,为计算两个特征点描述向量的距离,表示以Pi为基准点,与其他所有负样本的描述向量距离最小值,表示以Qi为基准点,与其他所有负样本的描述向量距离最小值,T(Pi;(Wmn、bmn))表示该网络的输出值;
第三步、通过Adma算法优化第二个卷积神经网络的网络参数(Wmn、bmn),优化算法公式与第一个卷积神经网络的优化算法相同。
7.根据权利要求5所述的印制电路板表面缺陷定位与识别方法,其特征在于,所述第三个卷积神经网络通过如下过程搭建:
第一步、第三个卷积神经网络包括2个卷积层、2个下采样层和4个全连接层,其中:第1层为卷积层,包括32个卷积核,步长为1,尺寸均为5×5;第2层为最大池化层,步长为1,使用的最大采样核大小为2×2;第3层为卷积层,包括64个卷积核,步长为1,卷积核大小为2×2;第4层为池化层,降采样核大小为2×2,步长为1;第6、7和第8层为全连接层,神经元个数分别为1024、512和256,最后一层为Softmax分类器,输出一个6维的概率序列;
第二步、训练集为印制电路板常见的短路、断路、孔洞、漏孔、毛刺、余铜6类尺寸为64×64的缺陷图像块,且各类缺陷分布比例相同,将训练集中的样本图像随机抽取并输入到该网络中,计算该网络的损失函数,该样本的损失函数计算公式为:
式中,L”loss为该步骤损失函数计算结果,tk为输入样本标签的第k维的值,yk为该预测该样本在第k维的值,k为该样本的缺陷种类,取值为6,R(Pi;(Wmn、Bmn))表示该网络的输出值;
第三步、通过Adma算法优化第三个卷积神经网络的网络参数(Wmn、bmn),优化算法公式与第一个卷积神经网络的优化算法相同。
8.根据权利要求1至7中任一项所述的印制电路板表面缺陷定位与识别方法,其特征在于,应用于缺陷定位与识别系统,所述缺陷定位与识别系统包括相机、环型光源、传送带、计算机和运动控制器,印制电路板设置于传送带上,传送带与运动控制器相连,通过运动控制器控制传送带运动,所述环型光源设置于相机的正下方,所述计算机分别与相机和运动控制器相连,通过相机采集印制电路板的待测图像I(x,y)与模板图像T(x,y),并将其传送给计算机进行后续操作。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010036848.5A CN111260621B (zh) | 2020-01-14 | 2020-01-14 | 一种印制电路板表面缺陷定位与识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010036848.5A CN111260621B (zh) | 2020-01-14 | 2020-01-14 | 一种印制电路板表面缺陷定位与识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111260621A true CN111260621A (zh) | 2020-06-09 |
CN111260621B CN111260621B (zh) | 2023-05-09 |
Family
ID=70950504
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010036848.5A Active CN111260621B (zh) | 2020-01-14 | 2020-01-14 | 一种印制电路板表面缺陷定位与识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111260621B (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111899241A (zh) * | 2020-07-28 | 2020-11-06 | 华中科技大学 | 一种定量化的炉前pcb贴片缺陷在线检测方法及系统 |
CN111914508A (zh) * | 2020-08-19 | 2020-11-10 | 创新奇智(南京)科技有限公司 | 元器件检测方法、装置、电子设备及可读存储介质 |
CN112200790A (zh) * | 2020-10-16 | 2021-01-08 | 鲸斛(上海)智能科技有限公司 | 布料缺陷检测方法、设备和介质 |
CN112330615A (zh) * | 2020-10-27 | 2021-02-05 | 华能新能源股份有限公司河北分公司 | 一种转动部件高强度螺栓状态监测方法及系统 |
CN112927218A (zh) * | 2021-03-23 | 2021-06-08 | 上海晨兴希姆通电子科技有限公司 | 用于cpu散热板缺陷的检测方法及检测系统 |
CN113487569A (zh) * | 2021-07-06 | 2021-10-08 | 东南大学 | 基于频域和空域结合的复杂背景图像缺陷检测方法及系统 |
CN114022436A (zh) * | 2021-10-29 | 2022-02-08 | 深圳明锐理想科技有限公司 | 一种印制电路板的检测方法、装置及检测设备 |
CN114170229A (zh) * | 2022-02-14 | 2022-03-11 | 北京阿丘科技有限公司 | 印制电路板缺陷图像配准方法、装置、设备及存储介质 |
CN116863492A (zh) * | 2023-09-04 | 2023-10-10 | 山东正禾大教育科技有限公司 | 一种移动数字出版系统 |
WO2024044913A1 (en) * | 2022-08-29 | 2024-03-07 | Siemens Aktiengesellschaft | Method, apparatus, electronic device, storage medium and computer program product for detecting circuit board assembly defect |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004038885A (ja) * | 2002-07-08 | 2004-02-05 | Adoin Kenkyusho:Kk | 画像特徴学習型欠陥検出方法、欠陥検出装置及び欠陥検出プログラム |
CN104568986A (zh) * | 2015-01-26 | 2015-04-29 | 中国科学院半导体研究所 | 基于surf算法的遥控器面板印刷缺陷自动检测方法 |
CN107563999A (zh) * | 2017-09-05 | 2018-01-09 | 华中科技大学 | 一种基于卷积神经网络的芯片缺陷识别方法 |
US20180257392A1 (en) * | 2015-11-30 | 2018-09-13 | Hewlett-Packard Development Company, L.P. | Image transformations based on defects |
CN108986086A (zh) * | 2018-07-05 | 2018-12-11 | 福州大学 | 印刷显示面板喷墨打印像素缺陷检测与分类方法及其装置 |
CN109064502A (zh) * | 2018-07-11 | 2018-12-21 | 西北工业大学 | 基于深度学习和人工设计特征相结合的多源图像配准方法 |
CN109785316A (zh) * | 2019-01-22 | 2019-05-21 | 湖南大学 | 一种芯片表观缺陷检测方法 |
CN109886914A (zh) * | 2018-12-19 | 2019-06-14 | 刘咏晨 | 基于局部亮度不变性先验的纸张缺陷检测方法 |
US20190303717A1 (en) * | 2018-03-28 | 2019-10-03 | Kla-Tencor Corporation | Training a neural network for defect detection in low resolution images |
CN110335262A (zh) * | 2019-06-28 | 2019-10-15 | 西安理工大学 | 一种机器视觉中印刷品缺陷自动分类方法 |
US20200133182A1 (en) * | 2017-04-20 | 2020-04-30 | Hp Indigo B.V. | Defect classification in an image or printed output |
-
2020
- 2020-01-14 CN CN202010036848.5A patent/CN111260621B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004038885A (ja) * | 2002-07-08 | 2004-02-05 | Adoin Kenkyusho:Kk | 画像特徴学習型欠陥検出方法、欠陥検出装置及び欠陥検出プログラム |
CN104568986A (zh) * | 2015-01-26 | 2015-04-29 | 中国科学院半导体研究所 | 基于surf算法的遥控器面板印刷缺陷自动检测方法 |
US20180257392A1 (en) * | 2015-11-30 | 2018-09-13 | Hewlett-Packard Development Company, L.P. | Image transformations based on defects |
US20200133182A1 (en) * | 2017-04-20 | 2020-04-30 | Hp Indigo B.V. | Defect classification in an image or printed output |
CN107563999A (zh) * | 2017-09-05 | 2018-01-09 | 华中科技大学 | 一种基于卷积神经网络的芯片缺陷识别方法 |
US20190303717A1 (en) * | 2018-03-28 | 2019-10-03 | Kla-Tencor Corporation | Training a neural network for defect detection in low resolution images |
CN111819676A (zh) * | 2018-03-28 | 2020-10-23 | 科磊股份有限公司 | 训练用于低分辨率图像中的缺陷检测的神经网络 |
CN108986086A (zh) * | 2018-07-05 | 2018-12-11 | 福州大学 | 印刷显示面板喷墨打印像素缺陷检测与分类方法及其装置 |
CN109064502A (zh) * | 2018-07-11 | 2018-12-21 | 西北工业大学 | 基于深度学习和人工设计特征相结合的多源图像配准方法 |
CN109886914A (zh) * | 2018-12-19 | 2019-06-14 | 刘咏晨 | 基于局部亮度不变性先验的纸张缺陷检测方法 |
CN109785316A (zh) * | 2019-01-22 | 2019-05-21 | 湖南大学 | 一种芯片表观缺陷检测方法 |
CN110335262A (zh) * | 2019-06-28 | 2019-10-15 | 西安理工大学 | 一种机器视觉中印刷品缺陷自动分类方法 |
Non-Patent Citations (2)
Title |
---|
刘琛,袁小芳,田争鸣,王浩然: "基于点模式匹配的芯片缺陷检测算法研究" * |
李捷: "基于机器视觉的贴花陶瓷盘表面缺陷检测方法研究" * |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111899241A (zh) * | 2020-07-28 | 2020-11-06 | 华中科技大学 | 一种定量化的炉前pcb贴片缺陷在线检测方法及系统 |
CN111914508A (zh) * | 2020-08-19 | 2020-11-10 | 创新奇智(南京)科技有限公司 | 元器件检测方法、装置、电子设备及可读存储介质 |
CN112200790A (zh) * | 2020-10-16 | 2021-01-08 | 鲸斛(上海)智能科技有限公司 | 布料缺陷检测方法、设备和介质 |
CN112330615B (zh) * | 2020-10-27 | 2022-11-29 | 华能新能源股份有限公司河北分公司 | 一种转动部件高强度螺栓状态监测方法及系统 |
CN112330615A (zh) * | 2020-10-27 | 2021-02-05 | 华能新能源股份有限公司河北分公司 | 一种转动部件高强度螺栓状态监测方法及系统 |
CN112927218B (zh) * | 2021-03-23 | 2023-07-25 | 上海晨兴希姆通电子科技有限公司 | 用于cpu散热板缺陷的检测方法及检测系统 |
CN112927218A (zh) * | 2021-03-23 | 2021-06-08 | 上海晨兴希姆通电子科技有限公司 | 用于cpu散热板缺陷的检测方法及检测系统 |
CN113487569A (zh) * | 2021-07-06 | 2021-10-08 | 东南大学 | 基于频域和空域结合的复杂背景图像缺陷检测方法及系统 |
CN113487569B (zh) * | 2021-07-06 | 2024-03-26 | 东南大学 | 基于频域和空域结合的复杂背景图像缺陷检测方法及系统 |
CN114022436A (zh) * | 2021-10-29 | 2022-02-08 | 深圳明锐理想科技有限公司 | 一种印制电路板的检测方法、装置及检测设备 |
CN114022436B (zh) * | 2021-10-29 | 2023-11-17 | 深圳明锐理想科技有限公司 | 一种印制电路板的检测方法、装置及检测设备 |
CN114170229A (zh) * | 2022-02-14 | 2022-03-11 | 北京阿丘科技有限公司 | 印制电路板缺陷图像配准方法、装置、设备及存储介质 |
WO2024044913A1 (en) * | 2022-08-29 | 2024-03-07 | Siemens Aktiengesellschaft | Method, apparatus, electronic device, storage medium and computer program product for detecting circuit board assembly defect |
CN116863492A (zh) * | 2023-09-04 | 2023-10-10 | 山东正禾大教育科技有限公司 | 一种移动数字出版系统 |
CN116863492B (zh) * | 2023-09-04 | 2023-11-21 | 山东正禾大教育科技有限公司 | 一种移动数字出版系统 |
Also Published As
Publication number | Publication date |
---|---|
CN111260621B (zh) | 2023-05-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111260621B (zh) | 一种印制电路板表面缺陷定位与识别方法 | |
Tsai et al. | Defect detection in electronic surfaces using template-based Fourier image reconstruction | |
Deshpande et al. | One-shot recognition of manufacturing defects in steel surfaces | |
Yuan-Fu | A deep learning model for identification of defect patterns in semiconductor wafer map | |
CN108369915B (zh) | 减少配准及设计附近所引发的裸片内检验的噪声 | |
CN110865077B (zh) | 用于rfid天线生产的外观缺陷视觉检测系统 | |
WO2020246366A1 (ja) | 基板検査装置、基板検査システム及び基板検査方法 | |
CN110146017A (zh) | 工业机器人重复定位精度测量方法 | |
CN108133211B (zh) | 一种基于移动终端视觉图像的检测配电柜的方法 | |
CN113673515A (zh) | 一种计算机视觉目标检测算法 | |
Xie et al. | Detection and classification of defect patterns in optical inspection using support vector machines | |
Alelaumi et al. | Cleaning profile classification using convolutional neural network in stencil printing | |
Evangelidis et al. | A deep regression framework toward laboratory accuracy in the shop floor of microelectronics | |
CN117007940A (zh) | 一种用于电路板性能检测的自适应方法 | |
CN116579985A (zh) | 一种基于RefineDet模型的晶圆缺陷检测方法 | |
CN115100098A (zh) | 一种基于深度学习算法的印制电路板aoi智能检测设备 | |
CN108615057A (zh) | 一种基于cnn的电缆隧道照明设备的异常识别方法 | |
CN112561866A (zh) | 基于ai与云计算技术的半导体基板光刻胶层缺陷检测系统 | |
CN114148103A (zh) | 一种基于神经网络学习的焊膏印刷标记识别方法及系统 | |
Lin et al. | X-ray imaging inspection system for blind holes in the intermediate layer of printed circuit boards with neural network identification | |
Zhang et al. | A Cascaded Zoom-In Method for Defect Detection of Solder Joints | |
Zhong et al. | Detection of oxidation region of flexible integrated circuit substrate based on topology mapping | |
Hable et al. | Detection of Printed Circuit Board Defects on ENIG and ENIPIG Surface Finishes with Convolutional Neural Networks and Evaluation of Training Parameters | |
Barone | Image Wafer Inspection based on template matching | |
KR102676369B1 (ko) | 얼라인 스테이지가 삭제된 인공지능 기반 비전 검사 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |