CN115187500A - 基于深度学习和自适应阈值分割的焊球缺陷检测方法 - Google Patents

基于深度学习和自适应阈值分割的焊球缺陷检测方法 Download PDF

Info

Publication number
CN115187500A
CN115187500A CN202110356900.XA CN202110356900A CN115187500A CN 115187500 A CN115187500 A CN 115187500A CN 202110356900 A CN202110356900 A CN 202110356900A CN 115187500 A CN115187500 A CN 115187500A
Authority
CN
China
Prior art keywords
solder ball
bga
region
network
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110356900.XA
Other languages
English (en)
Inventor
李春泉
陈雅琼
黄红艳
刘正伟
尚玉玲
侯杏娜
王侨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guilin University of Electronic Technology
Original Assignee
Guilin University of Electronic Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guilin University of Electronic Technology filed Critical Guilin University of Electronic Technology
Priority to CN202110356900.XA priority Critical patent/CN115187500A/zh
Publication of CN115187500A publication Critical patent/CN115187500A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06T5/70
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30152Solder

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Geometry (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度学习和自适应阈值分割的焊球缺陷检测方法,用于实现对BGA焊球空洞和焊球区域的快速定位与检测,其特征在于,通过深度学习的方法对BGA焊球区域进行精确分割提取,对目标焊球区域制作BGA标签数据集,并进行增强操作增加网络泛化能力,对X‑Ray的BGA原图进行平滑处理,与神经网络对BGA焊球区域分割的结果图进行逻辑与运算提取焊球内部的空洞,对噪声干扰区域进行区域填充运算,将填充后的空洞与神经网络得到的焊球区域轮廓进行边缘提取,计算焊球内部空洞与整个焊球面积占比并判断其合格率,本发明的方法能针对BGA焊球在X‑Ray检测中存在复杂背景干扰的情况,对BGA焊球空洞和焊球区域进行快速定位和检测,该方法具备强大的适应性。

Description

基于深度学习和自适应阈值分割的焊球缺陷检测方法
技术领域
本发明涉及一种工业机器视觉技术领域,尤其涉及一种基于深度学习和自适应阈值分割的焊球缺陷检测方法。
背景技术
随着电子技术的快速发展,封装的微型化和组装的高密度话以及新型的器件不断涌现,对组装的质量要求也越来越高,相比于传统封装形式,BGA封装技术的特点主要在于焊点全部以阵列形式排布在芯片下方减小了器件体积,极大的增加了可放置的引脚数量,因此对于BGA的焊点质量进行检测十分困难,在复杂背景下的焊球分割提取仍然存在精度低、耗时长等问题,当印制电路板上的元件密度不断增加,传统的阈值分割、模板匹配及边缘检测方法,已经无法满足其高质量需求,难以准确提取检测出焊球内部的空洞并进行质量判断,因此,有必要研发一种开发复杂度较低、性能可靠且具有实时性的BGA焊球质量检测算法。
发明内容
为解决上述技术问题,本发明的目的旨在提供一种基于深度学习和自适应阈值分割的焊球缺陷检测方法,实现对BGA图像的焊球质量精准检测。
实现本发明目的所采用的的具体技术方案如下。
一种基于深度学习和自适应阈值分割的焊球缺陷检测方法,用于实现对BGA焊球空洞和焊球区域的快速定位与检测,其特征在于,通过深度学习的方法对BGA焊球区域进行精确分割提取,对目标焊球区域制作BGA标签数据集,并进行增强操作增加网络泛化能力,对X-Ray的BGA原图进行平滑处理,与神经网络对BGA焊球区域分割的结果图进行逻辑与运算提取焊球内部的空洞,对噪声干扰区域进行区域填充运算,将填充后的空洞与神经网络得到的焊球区域轮廓进行边缘提取,计算焊球内部空洞与整个焊球面积占比并判断其合格率。
作为本发明的进一步优选,所述对目标焊球区域制作BGA标签数据集,并对BGA图像数据集进行增强操作,通过缩放、旋转、添噪、亮度调整等方式进一步扩充数据,增加网络泛化能力。
作为本发明的进一步优选,所述深度学习方法是利用全卷积网络将卷积网模型中的全连接层替换为全卷积层以进行像素级的稠密估计,利用增大数据尺寸的反卷积层对特征图进行上采样,对每个像素都产生一个预测,并保留原始输入图像中的空间信息,将粗糙的分割结果转换为精细的分割结果,在此基础上,采用结合不同深度层的跳跃结构,融合深层粗糙特征和浅层精细特征,从而将图像分类网络转变为图像分割网络。
作为本发明的进一步优选,所述先提取BGA焊球区域,再提取空洞缺陷区域,最后将二者提取的结果相结合,实现BGA焊球空洞缺陷的准确检测。
作为本发明的进一步优选,所述对X-Ray的BGA原图进行平滑处理,并将得到的结果图与全卷积网络方法对BGA焊球区域分割的结果图进行逻辑与运算完整地提取焊球内部的空洞。
作为本发明的进一步优选,所述对存在大量噪声干扰区域进行区域填充运算,对填充后的空洞轮廓与全卷积网络方法得到的BGA焊球区域轮廓进行边缘提取。
作为本发明的进一步优选,所述计算焊球内部空洞与整个焊球面积占比并判断其合格率,以人工标注的空洞占比作为参考。
作为本发明的进一步优选,所述所述设置卷积层、池化层、反卷积等尺寸参数,对训练时损失函数、优化器、迭代次数等相关参数进行设计,并引入Batch normalization层和Shuffle操作来避免过拟合现象和提高网络鲁棒性,分割效果更加精确,网络泛化能力更强。
作为本发明的进一步优选,实验硬件配置基于Intel Xeon E5-2620 v4@2.10GHzCPU、NVIDIA GTX 1080Ti 11GB GPU和32GB内存,Windows 10操作系统下,利用Python语言编程,在Tensorflow框架下搭建基于全卷积神经网络模型,完成BGA图像分割的训练和测试。
作为本发明的进一步优选,基于深度学习和自适应阈值分割的焊球缺陷检测方法,对待处理X-Ray的BGA图像分辨率较低,空洞与背景中间灰度差异不明显的特点,使用了均值滤波算子对原图进行平滑处理,并将得到的结果图与全卷积网络方法对BGA焊球区域分割的结果图进行逻辑与运算,完整地提取到了焊球内部的空洞,并对存在大量噪声干扰区域进行区域填充运算,对填充后的空洞轮廓与全卷积网络方法得到的BGA焊球区域轮廓进行边缘提取,随之计算焊球内部空洞与整个焊球面积占比并判断其合格率,本发明算法精度高,具备较好的适应性,能够满足工业BGA焊球空洞缺陷自动化检测要求。
附图说明
图1为本发明实施例的方法流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图,对本发明进行进一步详细说明。此处说明若涉及到具体实例时仅仅用以解释本发明,并不限定本发明。
本实施例中的基于深度学习和自适应阈值分割的焊球缺陷检测方法,实施流程如附图1所示。
BGA图像数据集由X-Ray检测系统平台XD7600NT采集获得,一共选取BGA图像600张作为数据集,制作数据集标签,采用labelme打标工具来进行图像标注,将标注修正后的图像进行保存,将生成单个的json文件进行转化。
将转化后文件用不同颜色对背景和目标区域进行标注,将标注图像转换成只含有像素0和1的标签图像,对BGA图像数据集进行增强操作,通过缩放、旋转、添噪、亮度调整等方式进一步扩充数据。
同时将泛化后的数据集进行划分,以4:1的比例划分训练集和测试集,其中训练集图像为4800张,测试集中为1200张。
全卷积网络的结构参数为卷积层组conv1的尺寸为3×3、步长为1、通道数为64、输出维度为224×224×64;池化层1的尺寸为2×2、步长为2、输出维度为112×112×64;卷积层组conv2的尺寸为3×3、步长为1、通道数为128、输出维度为112×112×128;池化层2的尺寸为2×2、步长为2、输出维度为56×56×128;卷积层组conv3、的尺寸为3×3、步长为1、通道数为256、输出维度为56×56×256;池化层3的尺寸为2×2、步长为2、输出维度为28×28×256;卷积层组conv4的尺寸为3×3、步长为1、通道数为512、输出维度为28×28×512;池化4的尺寸为2×2、步长为2、输出维度为14×14×512;卷积层组conv5的尺寸为3×3、步长为1、通道数为512、输出维度为14×14×512;池化5的尺寸为2×2、步长为2、输出维度为7×7×512;卷积层conv6的尺寸为3×3、步长为1、通道数为4096、输出维度为7×7×4096;卷积层conv7的尺寸为3×3、步长为1、通道数为4096、输出维度为7×7×4096;卷积8的尺寸为3×3、步长为1、通道数为256、输出维度为28×28×256;卷积9的尺寸为3×3、步长为1、通道数为256、输出维度为28×28×256;卷积10的尺寸为3×3、步长为1、通道数为256、输出维度为28×28×256;反卷积1的尺寸为3×3、步长为4、通道数为512、输出维度为28×28×512;反卷积2的尺寸为3×3、步长为2、通道数为512、输出维度为28×28×512;反卷积3的尺寸为3×3、步长为8、通道数为3、输出维度为224×224×3。
设置训练过程中的Batch Size为8,同时对比网络在迭代训练期间,初始学习率分别为10-4、10-5下的损失函数下降效果。
在损失函数的设计上,采用MSE作为网络训练用的损失函数,每个像素点通过softmax输出维度为3的结果,将图片上的所有像素点分类误差的平方累加即为最终损失函数值。在训练过程中,采用SGD为优化器进行损失函数的下降。
选择了10-4为训练的初始学习率,并采用了5-2的衰减率,以指数衰减的方式提高损失函数收敛精度。
为了使得模型的泛化能力进一步增强,引入了Shuffle操作,其操作主要是将训练模型的数据集进行打乱。
网络的卷积层引入BN操作来加速网络收敛,控制过拟合现象,BN层的参数合并到卷积层,提升模了型前向推断的速度。
为了防止训练深度全卷积网络模型出现梯度爆炸而造成Loss值为Nan的情况和防止全卷积网络在求解时可能发生的过拟合现象,设置的Batch_size为8,全卷积网络训练和验证得到Loss value和accuracy value。在迭代到20000次时,loss值基本收敛收敛于0.028左右,accuracy value最后维持在0.82左右,说明此时模型达到了较好的训练结果
本实施例硬件配置基于Intel Xeon E5-2620 v4@2.10GHz CPU、NVIDIA GTX1080Ti11GB GPU和32GB内存,Windows 10操作系统下,利用Python语言编程,在Tensorflow框架下搭建基于全卷积神经网络模型,完成BGA图像分割的训练和测试。
对X-Ray的BGA原图进行平滑处理,并将得到的结果图与全卷积网络方法对BGA焊球区域分割的结果图进行逻辑与运算完整地提取焊球内部的空洞。
对存在大量噪声干扰区域进行区域填充运算,对填充后的空洞轮廓与全卷积网络方法得到的BGA焊球区域轮廓进行边缘提取。
BGA焊球内部空洞缺陷进行标注,按照顺序进行在左上角进行编号,对焊球外部轮廓区域和焊球内部空洞区域进行标记,计算焊球内部空洞与整个焊球面积占比并判断其合格率。
本发明基于深度学习和自适应阈值分割焊球空洞缺陷提取相结合的方法,对X-Ray的BGA原图进行平滑处理,并将得到的结果图与全卷积网络方法对BGA焊球区域分割的结果图进行逻辑与运算完整地提取焊球内部的空洞,对存在大量噪声干扰区域进行区域填充运算,将填充后的空洞轮廓与全卷积网络方法得到的BGA焊球区域轮廓进行边缘提取,计算焊球内部空洞与整个焊球面积占比并判断其合格率,本发明所提出的算法精度高,具备较好的适应性,能够满足工业BGA焊球空洞缺陷自动化检测要求。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进,均应包含在本发明的保护范围之内。

Claims (8)

1.本发明公开了一种基于深度学习和自适应阈值分割的焊球缺陷检测方法,用于实现对BGA焊球空洞和焊球区域的快速定位与检测,其特征在于,通过深度学习的方法对BGA焊球区域进行精确分割提取,对目标焊球区域制作BGA标签数据集,并进行增强操作增加网络泛化能力,对X-Ray的BGA原图进行平滑处理,与神经网络对BGA焊球区域分割的结果图进行逻辑与运算提取焊球内部的空洞,对噪声干扰区域进行区域填充运算,将填充后的空洞与神经网络得到的焊球区域轮廓进行边缘提取,计算焊球内部空洞与整个焊球面积占比并判断其合格率。
2.根据权利要求1所述的一种基于深度学习和自适应阈值分割的焊球缺陷检测方法,其特征在于,所述对目标焊球区域制作BGA标签数据集,并对BGA图像数据集进行增强操作,通过缩放、旋转、添噪、亮度调整等方式进一步扩充数据,增加网络泛化能力。
3.根据权利要求1所述的一种基于深度学习和自适应阈值分割的焊球缺陷检测方法,其特征在于,所述深度学习方法是利用全卷积网络将卷积网模型中的全连接层替换为全卷积层以进行像素级的稠密估计,利用增大数据尺寸的反卷积层对特征图进行上采样,对每个像素都产生一个预测,并保留原始输入图像中的空间信息,将粗糙的分割结果转换为精细的分割结果,在此基础上,采用结合不同深度层的跳跃结构,融合深层粗糙特征和浅层精细特征,从而将图像分类网络转变为图像分割网络。
4.根据权利要求1所述的一种基于深度学习和自适应阈值分割的焊球缺陷检测方法,其特征在于,所述先提取BGA焊球区域,再提取空洞缺陷区域,最后将二者提取的结果相结合,实现BGA焊球空洞缺陷的准确检测。
5.根据权利要求4所述的一种基于深度学习和自适应阈值分割的焊球缺陷检测方法,其特征在于,所述对X-Ray的BGA原图进行平滑处理,并将得到的结果图与全卷积网络方法对BGA焊球区域分割的结果图进行逻辑与运算完整地提取焊球内部的空洞。
6.根据权利要求4所述的一种基于深度学习和自适应阈值分割的焊球缺陷检测方法,其特征在于,所述对存在大量噪声干扰区域进行区域填充运算,对填充后的空洞轮廓与全卷积网络方法得到的BGA焊球区域轮廓进行边缘提取。
7.根据权利要求4所述的一种基于深度学习和自适应阈值分割的焊球缺陷检测方法,其特征在于,所述计算焊球内部空洞与整个焊球面积占比并判断其合格率,以人工标注的空洞占比作为参考。
8.根据权利要求4所述的一种基于深度学习和自适应阈值分割的焊球缺陷检测方法,其特征在于,所述设置卷积层、池化层、反卷积等尺寸参数,即对训练时相应的损失函数、优化器、迭代次数等相关参数进行设计,并引入Batch normalization层和Shuffle操作来避免过拟合现象和提高网络鲁棒性,分割效果更加精确,网络泛化能力更强。
CN202110356900.XA 2021-04-01 2021-04-01 基于深度学习和自适应阈值分割的焊球缺陷检测方法 Pending CN115187500A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110356900.XA CN115187500A (zh) 2021-04-01 2021-04-01 基于深度学习和自适应阈值分割的焊球缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110356900.XA CN115187500A (zh) 2021-04-01 2021-04-01 基于深度学习和自适应阈值分割的焊球缺陷检测方法

Publications (1)

Publication Number Publication Date
CN115187500A true CN115187500A (zh) 2022-10-14

Family

ID=83511574

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110356900.XA Pending CN115187500A (zh) 2021-04-01 2021-04-01 基于深度学习和自适应阈值分割的焊球缺陷检测方法

Country Status (1)

Country Link
CN (1) CN115187500A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116883434A (zh) * 2023-09-05 2023-10-13 昆明理工大学 一种基于语义分割的加速度传感器芯片封装缺陷检测方法
CN117884786A (zh) * 2024-03-15 2024-04-16 哈尔滨工业大学(威海) 一种锡球激光焊接缺陷检测方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116883434A (zh) * 2023-09-05 2023-10-13 昆明理工大学 一种基于语义分割的加速度传感器芯片封装缺陷检测方法
CN116883434B (zh) * 2023-09-05 2023-11-17 昆明理工大学 一种基于语义分割的加速度传感器芯片封装缺陷检测方法
CN117884786A (zh) * 2024-03-15 2024-04-16 哈尔滨工业大学(威海) 一种锡球激光焊接缺陷检测方法

Similar Documents

Publication Publication Date Title
CN109829903B (zh) 一种基于卷积去噪自编码器的芯片表面缺陷检测方法
US11947890B2 (en) Implementation of deep neural networks for testing and quality control in the production of memory devices
CN110930390B (zh) 基于半监督深度学习的芯片管脚缺失检测方法
CN111695633B (zh) 基于rpf-cam的低照度目标检测方法
CN115187500A (zh) 基于深度学习和自适应阈值分割的焊球缺陷检测方法
US20240029272A1 (en) Matting network training method and matting method
CN111986125A (zh) 一种用于多目标任务实例分割的方法
CN111986126B (zh) 一种基于改进vgg16网络的多目标检测方法
CN111445488A (zh) 一种弱监督学习自动识别和分割盐体的方法
US20210390282A1 (en) Training data increment method, electronic apparatus and computer-readable medium
CN111209858A (zh) 一种基于深度卷积神经网络的实时车牌检测方法
CN112150460A (zh) 检测方法、检测系统、设备和介质
CN115937099A (zh) 一种基于UNet深度可分离残差网络的BGA焊点分割方法
CN115457551A (zh) 适用于小样本条件的叶片损伤识别方法
CN106770333A (zh) 一种bga缺陷自动检测方法
CN111832508B (zh) 基于die_ga的低照度目标检测方法
Somasundaram et al. A method for filling holes in objects of medical images using region labeling and run length encoding schemes
CN115578721A (zh) 一种基于注意力特征融合的街景文本实时检测方法
Lin et al. Image denoising of printed circuit boards using conditional generative adversarial network
CN113989793A (zh) 一种石墨电极钢印文字识别方法
CN110659694B (zh) 一种基于机器学习的柑橘果蒂的检测方法
CN111862039A (zh) 快速编带视觉检测方法
CN113436220B (zh) 一种基于深度图分割的图像背景估计方法
CN113435470B (zh) 一种基于语义分割的三维物体特征区域识别方法
CN111882495B (zh) 一种基于自定义模糊逻辑与gan的图像高光处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication