CN108596871A - 一种基于深度学习的bga气泡缺陷图像检测方法 - Google Patents

一种基于深度学习的bga气泡缺陷图像检测方法 Download PDF

Info

Publication number
CN108596871A
CN108596871A CN201810189754.4A CN201810189754A CN108596871A CN 108596871 A CN108596871 A CN 108596871A CN 201810189754 A CN201810189754 A CN 201810189754A CN 108596871 A CN108596871 A CN 108596871A
Authority
CN
China
Prior art keywords
bga
characteristic
deep learning
air blister
detection methods
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810189754.4A
Other languages
English (en)
Inventor
桂志国
张鹏程
刘鸣
刘一鸣
张权
杨民
陈阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
North University of China
Original Assignee
North University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by North University of China filed Critical North University of China
Priority to CN201810189754.4A priority Critical patent/CN108596871A/zh
Publication of CN108596871A publication Critical patent/CN108596871A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30141—Printed circuit board [PCB]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于深度学习的BGA气泡缺陷图像检测方法，包括如下步骤：步骤1：筛选出有气泡缺陷的BGA图像，并对图像进行标定，获得标签图像集；步骤2：建立全卷积网络，利用步骤1获得的标签图像集训练全卷积网络，训练获得全卷积网络模型；步骤3：将待检测的BGA图像输入至步骤2获得的全卷积网络模型进行检测，输出图像分类结果。

Description

一种基于深度学习的BGA气泡缺陷图像检测方法
技术领域
本发明涉及一种基于深度学习的BGA气泡缺陷图像检测方法。
背景技术
由于对高密度表面组装器件需求的不断增加，球栅阵列封装（Ball Grid Array,BGA）技术已经广泛应用于印刷电路板（Printed Circuit Board , PCB）的生产当中。在BGA封装过程中，不可避免地出现各种各样的缺陷，气泡缺陷便是其中一种。由于BGA焊点隐藏在芯片的底部，所以无法通过直接观察的方式来检测焊点。即使在生产的最后阶段顺利通过功能测试，也不意味着没有缺陷，很多缺陷无法从功能的角度去发现。因此，工业生产中，通常利用焊点钎料与PCB基板材料对X射线吸收作用显著差异的特性，应用X射线成像技术对这类封装器件的焊点缺陷进行检测。
现有技术中，检测X射线BGA图像的气泡缺陷包含诸多步骤，如对采集来的BGA图像进行增强、降噪、分割、特征提取与识别等，这些步骤顺序执行，每一步均开销大量的计算资源，且现有检测方法均缺乏对图像先验知识(正确的检测结果)的利用，因此检测结果很难达到期望，检测效率低。
发明内容
本发明目的在于提供一种基于深度学习的BGA气泡缺陷图像检测方法，能够有效提高检测效率。
实现本发明目的的技术方案：
一种基于深度学习的BGA气泡缺陷图像检测方法，其特征在于，包括如下步骤：
步骤1：筛选出有气泡缺陷的BGA图像，并对图像进行标定，获得标签图像集；
步骤2：建立全卷积网络，利用步骤1获得的标签图像集训练全卷积网络，训练获得全卷积网络模型；
步骤3：将待检测的BGA图像输入至步骤2获得的全卷积网络模型进行检测，输出图像分类结果。
步骤1中，对图像的背景区域、焊球区域与气泡区域进行标定，得到标签图像。
步骤2中，全卷积网络由卷积层、池化层、激活层、反卷积层和损失层构成，通过全卷积网络最终将BGA图像中的像素分成三类，即背景区域、焊球区域与气泡区域。
步骤2中，设定卷积层的卷积核尺寸、卷积核遍历步长、边界扩展宽度，并对卷积核权值进行随机初始化；训练全卷积网络包括如下步骤：
步骤2.1：图像与第j个卷积层卷积后，获得第j特征响应图, j=1,2……jm, jm为卷积层的总个数；
步骤2.2：第j特征响应图进入第j激活层，对特征响应图进行非线性化处理，获得第j激活后特征响应图；
步骤2.3：重复步骤2.1至步骤2.2，经过jm个卷积层后，获得第i高级特征响应图，i=1,2……im，im为根据图像尺寸和期望提取特征对应的感受野尺寸来设定的总次数；
步骤2.4: 第i高级特征响应图进入池化层进行池化，获得第i池化后特征响应图；
步骤2.5：重复步骤2.1—2.4，经过im次后，获得第im池化后特征响应图即分类特征图；
步骤2.6：步骤2.5获得的分类特征图进入反卷积层，输出端的分类特征图达到原始BGA图像尺寸；
步骤2.7：步骤2.6获得的原始尺寸分类特征图进入损失层，计算其与标签图像的损失；
步骤2.8：根据损失计算结果，重复步骤2.1至步骤2.7，以反向传播来实现对网络的训练，直至网络收敛，获得全卷积网络模型的网络权值矩阵。
步骤2.4中，池化层采用最大池化法。
步骤2.5中，分类特征图具有3个特征图，3个特征图对应三类，即背景区域、焊球区域与气泡区域。
步骤2中，第1个卷积层的设定参数为，卷积核尺寸=3、卷积核遍历步长=1、边界扩展宽度=32，设有64个卷积核。
步骤2.6中，反卷积采用单次反卷积或逐次反卷积。
步骤3中，将检测后分类图中像素值代表的类别进行映射，在映射后的检测图中，各类别对应颜色为人眼所区分。
本发明具有的有益效果：
本发明首先筛选出有气泡缺陷的BGA图像，并对图像进行标定，获得标签图像集，利用标签图像训练全卷积网络，由于这些先验知识（标签图像）来自人的认知系统，因此利用先验知识作为监督信息来训练深度神经网络，实则是让机器模拟人的认知系统来对BGA气泡缺陷图像进行检测，从而很好地克服传统BGA气泡缺陷检测方法难以准确评判位于焊球边界气泡的困难，而且检测阶段对模型的应用仅仅是对权值的提取与应用，大大降低了算法复杂度，节约了计算资源，有效提高了检测效率。
本发明对图像的背景区域、焊球区域与气泡区域进行标定，得到标签图像；相应最终分类特征图具有3个特征图，3个特征图对应三类，即背景区域、焊球区域与气泡区域，更加方便图像检测。本发明全卷积网络由卷积层、池化层、激活层、反卷积层和损失层构成，其中，池化层采用最大池化法，第1个卷积层的设定参数为，卷积核尺寸=3、卷积核遍历步长=1、边界扩展宽度=32，设有64个卷积核，进一步保证全卷积网络的运行效果，提高检测效率。本发明将检测后分类图中像素值代表的类别进行映射，在映射后的检测图中，各类别对应颜色为人眼所区分，检测结果显示更加方便使用。
附图说明
图1是本发明基于深度学习的BGA气泡缺陷图像检测流程图；
图2是本发明学习模块的流程图。
具体实施方式
如图1所示，
步骤S101为数据输入模块，通过X射线探测器获取原始BGA图像。
步骤S102为预处理模块，对原始BGA图像进行增强和降噪等操作，并将BGA图像分为两部分，一部分用于S103和S104，获取神经网络模型，其余图像可利用得到的神经网络模型来进行检测，即步骤S105。
步骤S103为数据集制作模块。将气泡缺陷的图像筛选出来，对其背景区域、焊球区域与气泡区域进行标定，得到等尺寸的标签图像，再根据需求制作相应的数据集。
步骤S104为学习模块。建立全卷积网络，利用标签图像集训练全卷积网络，训练获得全卷积网络模型；如图2所示，全卷积网络由卷积层、池化层、激活层、反卷积层和损失层构成，通过全卷积网络最终将BGA图像中的像素分成三类，即背景区域、焊球区域与气泡区域。
如图2所示，Data为BGA原始图像，Label为原始图像对应标签图像。Data首先进入第一个卷积层，其中kernelsize为卷积核尺寸，stride为卷积核遍历步长，pad为边界扩展宽度，第一个卷积层“Conv1_1”设定参数为：kernelsize=3,stride=1,pad=32，此外，第一个卷积层设定64个卷积核，卷积核均与图像中局部区域相连，且通过设定的层参数遍历整幅图像进行卷积，将卷积核中权值进行随机初始化，在图像的不同区域进行卷积时，共享卷积核中的权值。随机初始化使得64个卷积核均匀分布在整个特征空间，在训练时，卷积核优先收敛于其附近对图像有效的特征，即该卷积层与Data的卷积得到64个特征响应图，分别响应64个卷积核，因为该层卷积核尺寸为3，对应感受野为3，所以获取的特征也为对应感受野中的特征，当卷积核个数足够多时（不局限于64），将提取出所有感受野为3时对应的图像低级有效特征。
训练全卷积网络包括如下步骤：
步骤2.1：图像与第j个卷积层卷积后，获得第j特征响应图, j=1,2……jm, jm为卷积层的总个数；
步骤2.2：第j特征响应图进入第j激活层ReLU_j，对特征响应图进行非线性化处理，获得第j激活后特征响应图；
步骤2.3：重复步骤2.1至步骤2.2，经过jm个卷积层后，获得第i高级特征响应图，i=1,2……im，im为根据图像尺寸和期望提取特征对应的感受野尺寸来设定的总次数；
步骤2.4: 第i高级特征响应图进入池化层进行池化，获得第i池化后特征响应图；
步骤2.5：重复步骤2.1—2.4，经过im次后，获得第im池化后特征响应图即分类特征图；
步骤2.6：步骤2.5获得的分类特征图进入反卷积层，输出端的分类特征图达到原始BGA图像尺寸；
步骤2.7：步骤2.6获得的原始尺寸分类特征图进入损失层，计算其与标签图像的损失；
步骤2.8：根据损失计算结果，重复步骤2.1至步骤2.7，以反向传播来实现对网络的训练，直至网络收敛，获得全卷积网络模型的网络权值矩阵。
步骤2.4中，池化层采用最大池化法。
步骤2.5中，分类特征图具有3个特征图，3个特征图对应三类，即背景区域、焊球区域与气泡区域。
步骤2.6中，反卷积采用单次反卷积或逐次反卷积。
步骤S105为检测模块。
在具体的实施例中，将来自S102的需要检测的图像通过S104训练得到的全卷积网络模型来实现对BGA气泡缺陷的检测。输出BGA原始图像中每个像素的分类信息，即0、1和2类。
步骤S106为输出模块。
在具体实施例中，由于检测模块的分类信息为0、1和2类，直接输出为图像不便判断，因此将分类信息通过映射转化为彩色图，此时各类别对应彩色图中颜色为人眼所区分，该彩色图即为最终的BGA气泡缺陷检测图，将其存储并显示。

Claims (9)

1.一种基于深度学习的BGA气泡缺陷图像检测方法，其特征在于，包括如下步骤：
步骤1：筛选出有气泡缺陷的BGA图像，并对图像进行标定，获得标签图像集；
步骤2：建立全卷积网络，利用步骤1获得的标签图像集训练全卷积网络，训练获得全卷积网络模型；
步骤3：将待检测的BGA图像输入至步骤2获得的全卷积网络模型进行检测，输出图像分类结果。
2.根据权利要求1所述的基于深度学习的BGA气泡缺陷图像检测方法，其特征在于：步骤1中，对图像的背景区域、焊球区域与气泡区域进行标定，得到标签图像。
3.根据权利要求2所述的基于深度学习的BGA气泡缺陷图像检测方法，其特征在于：步骤2中，全卷积网络由卷积层、池化层、激活层、反卷积层和损失层构成，通过全卷积网络最终将BGA图像中的像素分成三类，即背景区域、焊球区域与气泡区域。
4.根据权利要求3所述的基于深度学习的BGA气泡缺陷图像检测方法，其特征在于，步骤2中，设定卷积层的卷积核尺寸、卷积核遍历步长、边界扩展宽度，并对卷积核权值进行随机初始化；训练全卷积网络包括如下步骤：
步骤2.1：图像与第j个卷积层卷积后，获得第j特征响应图, j=1,2……jm, jm为卷积层的总个数；
步骤2.2：第j特征响应图进入第j激活层，对特征响应图进行非线性化处理，获得第j激活后特征响应图；
步骤2.3：重复步骤2.1至步骤2.2，经过jm个卷积层后，获得第i高级特征响应图，i=1,2……im，im为根据图像尺寸和期望提取特征对应的感受野尺寸来设定的总次数；
步骤2.4: 第i高级特征响应图进入池化层进行池化，获得第i池化后特征响应图；
步骤2.5：重复步骤2.1—2.4，经过im次后，获得第im池化后特征响应图即分类特征图；
步骤2.6：步骤2.5获得的分类特征图进入反卷积层，输出端的分类特征图达到原始BGA图像尺寸；
步骤2.7：步骤2.6获得的原始尺寸分类特征图进入损失层，计算其与标签图像的损失；
步骤2.8：根据损失计算结果，重复步骤2.1至步骤2.7，以反向传播来实现对网络的训练，直至网络收敛，获得全卷积网络模型的网络权值矩阵。
5.根据权利要求4所述的基于深度学习的BGA气泡缺陷图像检测方法，其特征在于：步骤2.4中，池化层采用最大池化法。
6.根据权利要求5所述的基于深度学习的BGA气泡缺陷图像检测方法，其特征在于：步骤2.5中，分类特征图具有3个特征图，3个特征图对应三类，即背景区域、焊球区域与气泡区域。
7.根据权利要求6所述的基于深度学习的BGA气泡缺陷图像检测方法，其特征在于：步骤2中，第1个卷积层的设定参数为，卷积核尺寸=3、卷积核遍历步长=1、边界扩展宽度=32，设有64个卷积核。
8.根据权利要求7所述的基于深度学习的BGA气泡缺陷图像检测方法，其特征在于：步骤2.6中，反卷积采用单次反卷积或逐次反卷积。
9.根据权利要求8所述的基于深度学习的BGA气泡缺陷图像检测方法，其特征在于：步骤3中，将检测后分类图中像素值代表的类别进行映射，在映射后的检测图中，各类别对应颜色为人眼所区分。
CN201810189754.4A 2018-03-08 2018-03-08 一种基于深度学习的bga气泡缺陷图像检测方法 Pending CN108596871A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810189754.4A CN108596871A (zh) 2018-03-08 2018-03-08 一种基于深度学习的bga气泡缺陷图像检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810189754.4A CN108596871A (zh) 2018-03-08 2018-03-08 一种基于深度学习的bga气泡缺陷图像检测方法

Publications (1)

Publication Number Publication Date
CN108596871A true CN108596871A (zh) 2018-09-28

Family

ID=63625775

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810189754.4A Pending CN108596871A (zh) 2018-03-08 2018-03-08 一种基于深度学习的bga气泡缺陷图像检测方法

Country Status (1)

Country Link
CN (1) CN108596871A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109903287A (zh) * 2019-03-29 2019-06-18 北京百度网讯科技有限公司 质量检测方法及装置
CN110060238A (zh) * 2019-04-01 2019-07-26 桂林电子科技大学 基于深度学习的pcb板标注印刷质量检测方法
CN111028193A (zh) * 2019-03-26 2020-04-17 桑尼环保（江苏）有限公司 实时水面数据监控系统
CN111091534A (zh) * 2019-11-19 2020-05-01 佛山市南海区广工大数控装备协同创新研究院 一种基于目标检测的pcb板缺陷检测与定位方法
TWI732296B (zh) * 2019-09-19 2021-07-01 英業達股份有限公司 依據標準值建立檢測模型以確認焊接狀態之系統及方法
US11423577B2 (en) 2020-07-08 2022-08-23 International Business Machines Corporation Printed circuit board assembly defect detection

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6747268B1 (en) * 1999-04-02 2004-06-08 Georgia Tech Research Corporation Object inspection method and system
CN102509108A (zh) * 2011-10-14 2012-06-20 桂林电子科技大学 一种焊点缺陷鉴别方法
CN105891215A (zh) * 2016-03-31 2016-08-24 浙江工业大学 基于卷积神经网络的焊接视觉检测方法及装置
US20170345140A1 (en) * 2016-05-25 2017-11-30 Kla-Tencor Corporation Generating simulated images from input images for semiconductor applications
CN107561738A (zh) * 2017-08-30 2018-01-09 湖南理工学院 基于fcn的tft‑lcd表面缺陷快速检测方法
CN107607554A (zh) * 2017-09-26 2018-01-19 天津工业大学 一种基于全卷积神经网络的镀锌冲压件的瑕疵检测与分类方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6747268B1 (en) * 1999-04-02 2004-06-08 Georgia Tech Research Corporation Object inspection method and system
CN102509108A (zh) * 2011-10-14 2012-06-20 桂林电子科技大学 一种焊点缺陷鉴别方法
CN105891215A (zh) * 2016-03-31 2016-08-24 浙江工业大学 基于卷积神经网络的焊接视觉检测方法及装置
US20170345140A1 (en) * 2016-05-25 2017-11-30 Kla-Tencor Corporation Generating simulated images from input images for semiconductor applications
CN107561738A (zh) * 2017-08-30 2018-01-09 湖南理工学院 基于fcn的tft‑lcd表面缺陷快速检测方法
CN107607554A (zh) * 2017-09-26 2018-01-19 天津工业大学 一种基于全卷积神经网络的镀锌冲压件的瑕疵检测与分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
袁肇飞 等: "BGA焊点气孔缺陷的特殊结构光质量检测", 《微型电脑应用》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111028193A (zh) * 2019-03-26 2020-04-17 桑尼环保（江苏）有限公司 实时水面数据监控系统
CN109903287A (zh) * 2019-03-29 2019-06-18 北京百度网讯科技有限公司 质量检测方法及装置
CN110060238A (zh) * 2019-04-01 2019-07-26 桂林电子科技大学 基于深度学习的pcb板标注印刷质量检测方法
CN110060238B (zh) * 2019-04-01 2022-04-19 桂林电子科技大学 基于深度学习的pcb板标注印刷质量检测方法
TWI732296B (zh) * 2019-09-19 2021-07-01 英業達股份有限公司 依據標準值建立檢測模型以確認焊接狀態之系統及方法
CN111091534A (zh) * 2019-11-19 2020-05-01 佛山市南海区广工大数控装备协同创新研究院 一种基于目标检测的pcb板缺陷检测与定位方法
US11423577B2 (en) 2020-07-08 2022-08-23 International Business Machines Corporation Printed circuit board assembly defect detection

Similar Documents

Publication Publication Date Title
CN108596871A (zh) 一种基于深度学习的bga气泡缺陷图像检测方法
CN109636772A (zh) 基于深度学习的不规则形状金属加工表面的缺陷检测方法
CN107610123A (zh) 一种基于深度卷积神经网络的图像美学质量评价方法
CN107123111B (zh) 一种用于手机屏幕缺陷检测的深度残差网络构造方法
CN109239102A (zh) 一种基于cnn的柔性电路板外观缺陷检测方法
CN110473173A (zh) 一种基于深度学习语义分割的缺陷检测方法
CN108229523A (zh) 图像检测、神经网络训练方法、装置和电子设备
CN107944442A (zh) 基于改进卷积神经网络的对象检测装置及方法
CN107330453A (zh) 基于分步识别和融合关键部位检测的色情图像识别方法
CN106875381A (zh) 一种基于深度学习的手机外壳缺陷检测方法
CN107341506A (zh) 一种基于多方面深度学习表达的图像情感分类方法
CN110276386A (zh) 一种基于机器视觉的苹果分级方法及系统
CN106875373A (zh) 基于卷积神经网络剪枝算法的手机屏幕mura缺陷检测方法
CN108305243A (zh) 一种基于深度学习的磁瓦表面缺陷检测方法
CN107229930A (zh) 一种指针式仪表数值智能识别方法及装置
CN108416327A (zh) 一种目标检测方法、装置、计算机设备及可读存储介质
CN107085696A (zh) 一种基于卡口图像的车辆定位及型号识别方法
CN104103033B (zh) 图像实时处理方法
CN109683360A (zh) 液晶面板缺陷检测方法及装置
CN107067043A (zh) 一种农作物病虫害检测方法
CN105260734A (zh) 一种具有自建模功能的商品油表面激光标码识别方法
CN104299006A (zh) 一种基于深度神经网络的车牌识别方法
CN109508741A (zh) 基于深度学习筛选训练集的方法
CN107886131A (zh) 一种基于卷积神经网络检测电路板元器件极性方法和装置
CN106874913A (zh) 一种菜品检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180928