CN113409245A - 一种电子元器件x射线检查缺陷自动识别方法 - Google Patents

一种电子元器件x射线检查缺陷自动识别方法 Download PDF

Info

Publication number
CN113409245A
CN113409245A CN202110365561.1A CN202110365561A CN113409245A CN 113409245 A CN113409245 A CN 113409245A CN 202110365561 A CN202110365561 A CN 202110365561A CN 113409245 A CN113409245 A CN 113409245A
Authority
CN
China
Prior art keywords
cavity
area
chip
defect
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110365561.1A
Other languages
English (en)
Other versions
CN113409245B (zh
Inventor
黄东巍
王爽
王素玉
张玉芹
周钦沅
张宏宇
麻力
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
China Electronics Standardization Institute
Original Assignee
Beijing University of Technology
China Electronics Standardization Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology, China Electronics Standardization Institute filed Critical Beijing University of Technology
Priority to CN202110365561.1A priority Critical patent/CN113409245B/zh
Publication of CN113409245A publication Critical patent/CN113409245A/zh
Application granted granted Critical
Publication of CN113409245B publication Critical patent/CN113409245B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)

Abstract

本发明公开了一种电子元器件X射线检查缺陷自动识别方法，该方法对X射线图像进行预处理；人工半自动或自动对样本进行标注，根据电子元器件的封装和缺陷形式，将待检测的电子元器件的缺陷类型分为空洞类缺陷、一致性缺陷和角度缺陷三大类。利用基于卷积神经网络的语义分割方法实现对四类空洞缺陷的检测。通过大量的样本对卷积神经网络进行训练，实现对各类空洞缺陷的精确分割，极大提高了缺陷自动识别效率。同时，通过灰度投影法对芯片焊接区及密封区等进行检测，根据相应的判别准则对其合格性进行判别。解决了以往无法进行自动计算和单纯靠人工进行判别的问题，以及混合集成电路中的基板与管壳焊接界面空洞的干扰问题。

Description

一种电子元器件X射线检查缺陷自动识别方法
技术领域
本发明涉及电子元器件X射线检测缺陷自动识别技术领域，尤其涉及一种电子元器件X射线检查缺陷自动识别方法。
背景技术
军用电子元器件是国防军工电子系统的基础元件，主要包括半导体分立器件和集成电路等微电子器件以及继电器、传感器等特种器件。军用电子元器件是核、航空、航天、船舶、兵器、电子等信息系统的物质保证，其稳定性和可靠性直接影响信息系统的功能和性能指标。
军用电子元器件的封装缺陷是影响其质量的主要因素之一。X射线检查是一种无损检测元器件内部缺陷的手段，可以快速检查出键合、焊接、密封等封装过程中出现的缺陷，在元器件筛选、鉴定检验、DPA、失效分析中均要求进行X射线检查。X射线检测对电子元器件进行X射线成像，其图像能反映电子元器件的内部缺陷，目前的X射线检查主要依靠人工识别，由检测人员浏览X射线图像，根据检测标准进行人工判读、分析。然而，随着电子元器件加工制造水平的不断发展，电子元器件封装形式越来越多、封装密度也越来越高，电子元器件的检测数量和任务也日益增多，人工识别的速度和准确度已无法满足，这种人工判读分析方式受试验人员经验和身体状况等主观因素的影响，检测效率和可靠性低，元器件检测质量难以有效保证，给元器件的使用带来风险与隐患，已无法满足军用电子系统日益增加的需求。因此，需要借助计算机视觉检测技术，形成电子元器件X射线检查缺陷自动识别方法。
随着计算机视觉和人工智能技术的发展，基于深度学习的计算机视觉检测技术因其模拟人脑视觉的处理机制，具有自动学习样本特征的特点，在目标检测识别领域比其他传统方法有更大的性能优势，已经广泛应用于航空、航天、电子、医学、工业制造等各种领域。
针对电子元器件X射线检查缺陷自动识别需求，深入研究基于深度学习视觉检测技术的电子元器件X射线检查缺陷自动识别方法，是军工电子元器件质量检测的迫切需求。
目前，国内对于电子元器件进行的缺陷检测，主要集中在印制电路板(PCB板)焊点缺陷检测、贴装元器件检测以及SMT表面封装等进行的相关研究，关于元器件芯片图像的检测方法很少。
发明内容
鉴于上述问题，针对现有电子元器件缺陷检测技术所存在的局限性，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的电子元器件X射线检查缺陷自动识别方法，主要利用深度学习视觉检测技术，获得不同缺陷形式的电子元器件X射线缺陷自动检测方法，实现对于电子元器件不同缺陷形式的自动检测功能。
本发明提供一种电子元器件X射线检查缺陷自动识别方法，
该方法包括如下步骤，步骤一：对X射线图像进行去噪、增强预处理；
对采集的电子元器件X射线图像通过直方图均衡和灰度变换的方法进行对比度增强。
步骤二：人工半自动或自动对样本进行标注，包括元器件类型、缺陷类型和缺陷位置；
步骤三：根据电子元器件的封装和缺陷形式，对待检测的电子元器件存在的缺陷类型进行分类。待检测的电子元器件的缺陷类型分为空洞类缺陷、一致性缺陷和角度缺陷三大类。
步骤四：利用基于卷积神经网络的语义分割方法实现对步骤三中四类空洞缺陷的检测。
空洞类缺陷包括单层芯片焊接区空洞和多层混合集成电路的芯片焊接区空洞；对于单层芯片焊接区空洞，采用基于卷积神经网络算法进行空洞区域的分割，通过灰度投影法对芯片焊接区进行检测，并应用像素统计的方法分别自动计算空洞和区域和焊接区域的面积，最后通过面积比，根据判别准则对其合格性进行判别:焊接区空洞超过整个焊接面积的1/2；或单个空洞横向或纵向贯穿芯片焊接区且空洞面积超过芯片焊接区的10％时，判定为不合格。
对于多层混合集成电路的芯片焊接区空洞，通过多角度X光图像相结合排除基板与管壳焊接界面空洞的干扰。通过精确标注图像，训练面向焊接区空洞分割的网络，对于不同角度图像实现焊接区空洞的分割。根据不同层空洞在多角度图像上的位置关系，排除基板粘接层空洞的干扰，得到分割结果。分别沿垂直方向和左45°以及右45°倾斜角度拍摄芯片的X光图像，采用基于卷积神经网络的方法分别检测不同角度图像的空洞区域。对倾斜图像通过透视变换进行校正，并与垂直方向的图像进行匹配分析，根据不同层的空洞在多角度拍摄时的差异性排除基板与管壳焊接界面空洞，检测出真实的芯片与基板焊接区空洞，进而根据相关判别规则对芯片的合格性进行判别。芯片与基板焊接区空洞在不同角度成像结果间的位移更为显著，基板与管壳焊接界面空洞在各图上的位置则比较固定。
对于密封区空洞检测，采用基于卷积神经网络的算法进行空洞区域的分割，同时采用灰度映射进行密封区检测，分别自动计算空洞区域和密封区的宽度；根据相应的规则对芯片的合格性进行判断:空洞区宽度超过密封区宽度的75％时，判定为不合格。
对于焊球空洞检测，进行基于卷积神经网络的空洞分割，采用Robinson边缘检测的算法提取焊球的轮廓，并计算其直径。通过对比空洞直径与焊球直径，对每个焊球的合格性进行判别。当空洞的直径超过焊球直径的25％时，该焊球被判为不合格。
步骤五：利用基于卷积神经网络的配准方法实现一致性缺陷检测。
通过对比分析待检测元件与标准合格元件之间的一致性，实现一致性缺陷的检测和判别；采取基于卷积神经网络的图像配准方法来实现。首先为每一种封装的器件选择标准的合格品图像，进而将待检测图像与标准图像进行精确配准，当待检测元件存在多余物、键合丝断裂、元件错误安装缺陷时，该待检测图像与配准后的合格品图像间仍会存在较大差异。通过对比分析差异，实现对缺陷位置及其类型的有效检测。通过大量的样本对卷积神经网络进行训练，实现对各类一致性缺陷的精确检测。
步骤六：芯片安装倾斜与凹切缺陷的检测与识别。
检测过程首先根据输入图像的特征对芯片区域进行检测，进而采用Robinson算法进行边缘检测和提取，根据所提取的边缘信息对芯片的安装角度和凹切角度进行分析，最后根据相关判别准则进行判别和输出。该类缺陷的判别准则为：安装和键合的半导体芯片，相对于正常安装面的倾斜不超过10°。
在该类缺陷的判别过程中，芯片的检测是首要环节。由于芯片与周围区域的差异性较小，检测难度比较大。研究中拟首先通过灰度变换的方法对芯片区域进行增强，再以此为基础进行相应的检测和分析。
实现该方法的检测系统包括：空洞类缺陷检测单元、一致性缺陷检测单元和角度类缺陷检测单元。
所述空洞类缺陷检测单元，采用基于卷积神经网络的语义分割算法，基于DeeplabV3+基本架构设计，与传统分割算法相比，具有更强的通用性。传统方法往往需要针对每一类缺陷问题设计相应的分割算法，并根据经验设定相关参数。利用基于卷积神经网络的语义分割算法可实现各类空洞区域的分割，进而针对具体封装形式和缺陷类型进行相关背景区域的分割，通过大量的样本对卷积神经网络进行训练，可实现对各类空洞缺陷的精确分割，极大提高缺陷自动识别效率。
进一步的，对于芯片焊接区空洞(单层)，首先采用基于卷积神经网络的算法进行空洞区域的分割，同时通过灰度投影法对芯片焊接区进行检测，并通过像素统计的方法分别自动计算空洞区域和焊接区域的面积，最后通过面积比，根据相应的判别准则对其合格性进行判别。解决以往无法进行自动计算和单纯靠人工进行判别的问题。
进一步的，对于混合集成电路的芯片焊接区空洞(多层)，为排除基板与管壳焊接界面空洞的干扰问题，通过多角度X光图像相结合的方式实现检测。首先通过精确标注图像，训练面向焊接区空洞分割的网络，对于不同角度图像实现焊接区空洞的分割。进而根据不同层空洞在多角度图像上的位置关系，进一步排除基板粘接层空洞的干扰，得到准确的分割结果。解决了以往单纯靠人工进行判别的问题。
进一步的，对于密封区空洞检测，首先采用基于卷积神经网络的算法进行空洞区域的分割，同时采用灰度映射的方法进行密封区检测，进而分别自动计算空洞区域和密封区的宽度。最后根据相应的规则对芯片的合格性进行判断。解决了以往无法进行自动计算和单纯靠人工进行判别的问题。
进一步的，对于焊球空洞检测，首先进行基于卷积神经网络的空洞分割，同时采用Robinson边缘检测的算法提取焊球的轮廓，并计算其直径。最后通过对比空洞直径与焊球直径，对每个焊球的合格性进行判别。
所述一致性缺陷检测单元，采取基于卷积神经网络的图像配准方法来实现，通过对比分析待检测元件与标准合格元件之间的一致性，可实现一致性缺陷的检测和判别。
进一步的，首先为每一种封装的器件选择标准的合格品图像，进而将待检测图像与标准图像进行精确配准，当待检测元件存在多余物、键合丝断裂、元件错误安装等缺陷时，该图像与配准后的合格品图像间仍会存在较大差异。通过对比分析这一差异，实现对缺陷位置及其类型的有效检测。
所述角度缺陷，包括芯片安装倾斜与凹切缺陷的检测与识别。首先根据输入图像的特征对芯片区域进行检测，进而采用Robinson算法进行边缘检测和提取，根据所提取的边缘信息对芯片的安装角度和凹切角度进行分析，最后根据相关判别准则进行判别和输出。
进一步的，在该类缺陷的判别过程中，芯片的检测是首要环节。由于芯片与周围区域的差异性较小，检测难度比较大。首先通过灰度变换的方法对芯片区域进行增强，再以此为基础进行相应的检测和分析。
与现有技术相比较，本发明提出的基于深度学习的计算机视觉检测技术的电子元器件X射线检查缺陷自动识别方法，解决了以往单纯依靠人工识别而导致的检测效率和可靠性低、元器件检测质量难以有效保证等问题。
采用基于卷积神经网络的语义分割算法，克服了传统方法需要针对每一类缺陷问题设计相应的分割算法的问题，具有更强的通用性，可实现对于各类空洞区域的分割，进而针对具体封装形式和缺陷类型进行相关背景区域的分割，通过大量的样本对卷积神经网络进行训练，实现对各类空洞缺陷的精确分割，极大提高了缺陷自动识别效率。同时，通过灰度投影法对芯片焊接区及密封区等进行检测，并通过像素统计的方法分别自动计算空洞区域、宽度以及焊接区域面积和密封区宽度等，最后根据相应的判别准则对其合格性进行判别。解决以往无法进行自动计算和单纯靠人工进行判别的问题。
采取基于卷积神经网络的图像配准方法，通过对比分析待检测元件与标准合格元件之间的一致性，实现一致性缺陷的检测和判别；通过对比分析差异，实现对缺陷位置及其类型的有效检测。通过大量的样本对卷积神经网络进行训练，实现对各类一致性缺陷的精确检测。解决以往单纯靠人工进行判别的问题。
对于多层混合集成电路的芯片焊接区空洞，通过多角度X光图像相结合排除基板与管壳焊接界面空洞产生的干扰，根据不同层空洞在多角度图像上的位置关系，通过精确标注图像，训练面向焊接区空洞分割的网络，对于不同角度图像实现焊接区空洞的分割。解决了混合集成电路中的基板与管壳焊接界面空洞的干扰问题。
附图说明
图1为本发明实施例的空洞区域网络分割结构示意图；
图2为本发明实施例的图像配准网络结构示意图。
图3为本发明实施例的缺陷检测算法整体架构示意图；
图4为本发明实施例的单层芯片焊接区空洞检测流程示意图。
图5为本发明实施例的多层混合集成电路焊接区空洞检测流程示意图。
图6为本发明实施例的金属陶瓷封装密封区空洞检测流程示意图。
图7为本发明实施例的焊球空洞缺陷检测流程示意图。
图8为本发明实施例的基于图像配准的一致性缺陷检测流程示意图。
图9为本发明实施例的芯片安装倾斜与凹切缺陷检测过程示意图。
具体实施方式
为更进一步阐述本发明为达成预定目的所采取的技术手段及功效，以下结合附图及较佳实施例，对本发明进行详细说明如后。
本发明实施例，一种电子元器件X射线检查缺陷自动识别方法，如图1所示。电子元器件X射线缺陷自动检测算法的流程如下：
步骤一：对X射线图像进行去噪、增强等预处理；
预处理是各类图像分析与识别的首要环节。由于成像原理的特殊性，X射线图像的分析识别中面临的主要问题是对比度偏低，因而前期的预处理环节主要以对比度增强为主。针对电子元器件X射线图像的典型特点和后续缺陷识别的特定需求，主要通过直方图均衡和灰度变换的方法进行对比度的增强。
步骤二：人工半自动或自动对样本进行标注，包括元器件类型、缺陷类型和缺陷位置；
步骤三：根据器件的封装和缺陷形式，对待检测器件可能存在的缺陷类型进行分类。
根据判别方法的不同，电子元器件的缺陷类型可分为空洞类缺陷、一致性缺陷和角度缺陷等三大类。其中，空洞类缺陷指由于芯片焊接接触区、密封区或者焊球等位置的空洞超过相关准则而引起的缺陷问题。一致性缺陷指待检测芯片的实际情况与设计的理想情况不符的情景，如多余物、键合丝数量不符或断裂，混合集成电路中的元器件或者键合丝不符等。角度缺陷指芯片特定位置的角度不符合要求的情况，如芯片安装倾斜或者凹切等。
步骤四：利用基于卷积神经网络的语义分割方法实现空洞缺陷检测。
与传统分割算法相比，基于卷积神经网络的语义分割算法具有更强的通用性。传统方法往往需要针对每一类缺陷问题设计相应的分割算法，并根据经验设定相关参数。利用基于卷积神经网络的语义分割算法实现各类空洞区域的分割，进而针对具体封装形式和缺陷类型进行相关背景区域的分割，通过大量的样本对卷积神经网络进行训练，可实现对各类空洞缺陷的精确分割，极大提高缺陷自动识别效率。
见图2，基于DeeplabV3+基本架构，并针对X光图像的特点和空洞区域分割任务的具体需求，对网络的各个环节进行优化设计，从多个角度提高网络对有效特征的提取和判别能力，达到更好的分割效果。
对于芯片焊接区空洞(单层)，首先采用基于卷积神经网络的算法进行空洞区域的分割，同时通过灰度投影法对芯片焊接区进行检测，并通过像素统计的方法分别自动计算空洞和区域和焊接区域的面积，最后通过面积比，根据相应的判别准则对其合格性进行判别，见图3。
对于混合集成电路的芯片焊接区空洞(多层)，为排除基板与管壳焊接界面空洞的干扰问题，通过多角度X光图像相结合的方式实现检测。首先通过精确标注图像，训练面向焊接区空洞分割的网络，对于不同角度图像实现焊接区空洞的分割。进而根据不同层空洞在多角度图像上的位置关系，进一步排除基板粘接层空洞的干扰，得到准确的分割结果。分别沿常规垂直方向和左45°以及右45°倾斜角度拍摄芯片的X光图像，采用基于卷积神经网络的方法分别检测不同角度图像的空洞区域。对倾斜图像通过透视变换进行校正，并与垂直方向的图像进行匹配分析，根据不同层的空洞在多角度拍摄时的差异性，排除基板与管壳焊接界面空洞，检测出真实的芯片与基板焊接区空洞，进而根据相关判别规则对芯片的合格性进行判别，见图4。芯片与基板焊接区空洞在不同角度成像结果间的位移更为显著，而基板与管壳焊接界面空洞在各图上的位置则比较固定。
对于密封区空洞检测，首先采用基于卷积神经网络的算法进行空洞区域的分割，同时采用灰度映射的方法进行密封区检测，进而分别自动计算空洞区域和密封区的宽度。最后根据相应的规则对芯片的合格性进行判断，见图5。
对于焊球空洞检测，首先进行基于卷积神经网络的空洞分割，同时采用Robinson边缘检测的算法提取焊球的轮廓，并计算其直径。最后通过对比空洞直径与焊球直径，对每个焊球的合格性进行判别，见图6。
步骤五：利用基于卷积神经网络的配准方法实现一致性缺陷检测。
通过对比分析待检测元件与标准合格元件之间的一致性，可实现一致性缺陷的检测和判别。采取基于卷积神经网络的图像配准方法来实现，见图7。
首先为每一种封装的器件选择标准的合格品图像，进而将待检测图像与标准图像进行精确配准，当待检测元件存在多余物、键合丝断裂、元件错误安装等缺陷时，该图像与配准后的合格品图像间仍会存在较大差异。通过对比分析这一差异，实现对缺陷位置及其类型的有效检测。通过大量的样本对卷积神经网络进行训练，实现对各类一致性缺陷的精确检测。见图8。
步骤六：芯片安装倾斜与凹切缺陷的检测与识别。
检测过程首先根据输入图像的特征对芯片区域进行检测，进而采用Robinson算法进行边缘检测和提取，根据所提取的边缘信息对芯片的安装角度和凹切角度进行分析，最后根据相关判别准则进行判别和输出，见图9。该类缺陷的判别准则为：安装和键合的半导体芯片，相对于正常安装面的倾斜不应超过10°。
在该类缺陷的判别过程中，芯片的检测是首要环节。由于芯片与周围区域的差异性较小，检测难度比较大。研究中拟首先通过灰度变换的方法对芯片区域进行增强，再以此为基础进行相应的检测和分析。
通过具体实施方式的说明，应当可对本发明为达成预定目的所采取的技术手段及功效得以更加深入且具体的了解，然而所附图示仅是提供参考与说明之用，并非用来对本发明加以限制。

Claims (10)

1.一种电子元器件X射线检查缺陷自动识别方法，其特征在于：该方法包括如下步骤，步骤一：对X射线图像进行去噪、增强预处理；对采集的电子元器件X射线图像通过直方图均衡和灰度变换的方法进行对比度增强；
步骤二：人工半自动或自动对样本进行标注，包括元器件类型、缺陷类型和缺陷位置；
步骤三：根据电子元器件的封装和缺陷形式，对待检测的电子元器件存在的缺陷类型进行分类；待检测的电子元器件的缺陷类型分为空洞类缺陷、一致性缺陷和角度缺陷三大类；
步骤四：利用基于卷积神经网络的语义分割方法实现对步骤三中四类空洞缺陷的检测；
步骤五：利用基于卷积神经网络的配准方法实现一致性缺陷检测；
通过对比分析待检测元件与标准合格元件之间的一致性，实现一致性缺陷的检测和判别；采取基于卷积神经网络的图像配准方法来实现；
步骤六：芯片安装倾斜与凹切缺陷的检测与识别；
检测过程首先根据输入图像的特征对芯片区域进行检测，进而采用Robinson算法进行边缘检测和提取，根据所提取的边缘信息对芯片的安装角度和凹切角度进行分析，最后根据相关判别准则进行判别和输出；该类缺陷的判别准则为：安装和键合的半导体芯片，相对于正常安装面的倾斜不超过10°；
在该类缺陷的判别过程中，通过灰度变换的方法对芯片区域进行增强，再以此为基础进行相应的检测和分析。
2.根据权利要求1所述的一种电子元器件X射线检查缺陷自动识别方法，其特征在于：步骤四中，空洞类缺陷包括单层芯片焊接区空洞和多层混合集成电路的芯片焊接区空洞；对于单层芯片焊接区空洞，采用基于卷积神经网络算法进行空洞区域的分割，通过灰度投影法对芯片焊接区进行检测，并应用像素统计的方法分别自动计算空洞和区域和焊接区域的面积，最后通过面积比，根据判别准则对其合格性进行判别:焊接区空洞超过整个焊接面积的1/2；或单个空洞横向或纵向贯穿芯片焊接区且空洞面积超过芯片焊接区的10％时，判定为不合格；
对于多层混合集成电路的芯片焊接区空洞，通过多角度X光图像相结合排除基板与管壳焊接界面空洞的干扰；通过精确标注图像，训练面向焊接区空洞分割的网络，对于不同角度图像实现焊接区空洞的分割；根据不同层空洞在多角度图像上的位置关系，排除基板粘接层空洞的干扰，得到分割结果；分别沿垂直方向和左45°以及右45°倾斜角度拍摄芯片的X光图像，采用基于卷积神经网络的方法分别检测不同角度图像的空洞区域；对倾斜图像通过透视变换进行校正，并与垂直方向的图像进行匹配分析，根据不同层的空洞在多角度拍摄时的差异性，排除基板与管壳焊接界面空洞，检测出真实的芯片与基板焊接区空洞，进而根据相关判别规则对芯片的合格性进行判别；芯片与基板焊接区空洞在不同角度成像结果间的位移，基板与管壳焊接界面空洞在各图上的位置固定；
对于密封区空洞检测，采用基于卷积神经网络的算法进行空洞区域的分割，同时采用灰度映射进行密封区检测，分别自动计算空洞区域和密封区的宽度；根据相应的规则对芯片的合格性进行判断:空洞区宽度超过密封区宽度的75％时，判定为不合格；
对于焊球空洞检测，进行基于卷积神经网络的空洞分割，采用Robinson边缘检测的算法提取焊球的轮廓，并计算其直径；通过对比空洞直径与焊球直径，对每个焊球的合格性进行判别；当空洞的直径超过焊球直径的25％时，该焊球被判为不合格。
3.根据权利要求1所述的一种电子元器件X射线检查缺陷自动识别方法，其特征在于：步骤五中的基于卷积神经网络的图像配准方法实现过程如下：首先为每一种封装的器件选择标准的合格品图像，进而将待检测图像与标准图像进行精确配准，当待检测元件存在多余物、键合丝断裂、元件错误安装缺陷时，待检测图像与配准后的合格品图像间仍会存在差异；通过对比分析差异，实现对缺陷位置及其类型的有效检测；通过样本对卷积神经网络进行训练，实现对各类一致性缺陷的精确检测。
4.利用权利要求1所述方法搭建的的一种电子元器件X射线检查缺陷自动识别检测系统，其特征在于：检测系统包括：空洞类缺陷检测单元、一致性缺陷检测单元和角度类缺陷检测单元；
所述空洞类缺陷检测单元，采用基于卷积神经网络的语义分割算法，基于DeeplabV3+基本架构设计；利用基于卷积神经网络的语义分割算法实现各类空洞区域的分割，进而针对具体封装形式和缺陷类型进行相关背景区域的分割，通过样本对卷积神经网络进行训练，实现对各类空洞缺陷的精确分割，提高缺陷自动识别效率。
5.根据权利要求4所述的一种电子元器件X射线检查缺陷自动识别检测系统，其特征在于：对于芯片焊接区空洞单层，首先采用基于卷积神经网络的算法进行空洞区域的分割，同时通过灰度投影法对芯片焊接区进行检测，并通过像素统计的方法分别自动计算空洞区域和焊接区域的面积，最后通过面积比，根据相应的判别准则对其合格性进行判别。
6.根据权利要求4所述的一种电子元器件X射线检查缺陷自动识别检测系统，其特征在于：对于混合集成电路的芯片焊接区空洞多层，为排除基板与管壳焊接界面空洞的干扰问题，通过多角度X光图像相结合的方式实现检测；首先通过精确标注图像，训练面向焊接区空洞分割的网络，对于不同角度图像实现焊接区空洞的分割；根据不同层空洞在多角度图像上的位置关系，排除基板粘接层空洞的干扰，得到准确的分割结果。
7.根据权利要求4所述的一种电子元器件X射线检查缺陷自动识别检测系统，其特征在于：对于密封区空洞检测，首先采用基于卷积神经网络的算法进行空洞区域的分割，同时采用灰度映射的方法进行密封区检测，分别自动计算空洞区域和密封区的宽度；最后根据相应的规则对芯片的合格性进行判断。
8.根据权利要求4所述的一种电子元器件X射线检查缺陷自动识别检测系统，其特征在于：对于焊球空洞检测，首先进行基于卷积神经网络的空洞分割，同时采用Robinson边缘检测的算法提取焊球的轮廓，并计算其直径；最后通过对比空洞直径与焊球直径，对每个焊球的合格性进行判别。
9.根据权利要求4所述的一种电子元器件X射线检查缺陷自动识别检测系统，其特征在于：所述一致性缺陷检测单元，采取基于卷积神经网络的图像配准方法来实现，通过对比分析待检测元件与标准合格元件之间的一致性，可实现一致性缺陷的检测和判别；为每一种封装的器件选择标准的合格品图像，进而将待检测图像与标准图像进行精确配准，当待检测元件存在多余物、键合丝断裂、元件错误安装缺陷时，该图像与配准后的合格品图像间仍会存在较大差异。
10.根据权利要求4所述的一种电子元器件X射线检查缺陷自动识别检测系统，其特征在于：所述角度缺陷，包括芯片安装倾斜与凹切缺陷的检测与识别；根据输入图像的特征对芯片区域进行检测，采用Robinson算法进行边缘检测和提取，根据所提取的边缘信息对芯片的安装角度和凹切角度进行分析，最后根据相关判别准则进行判别和输出。
CN202110365561.1A 2021-04-06 2021-04-06 一种电子元器件x射线检查缺陷自动识别方法 Active CN113409245B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110365561.1A CN113409245B (zh) 2021-04-06 2021-04-06 一种电子元器件x射线检查缺陷自动识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110365561.1A CN113409245B (zh) 2021-04-06 2021-04-06 一种电子元器件x射线检查缺陷自动识别方法

Publications (2)

Publication Number Publication Date
CN113409245A true CN113409245A (zh) 2021-09-17
CN113409245B CN113409245B (zh) 2024-04-02

Family

ID=77677979

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110365561.1A Active CN113409245B (zh) 2021-04-06 2021-04-06 一种电子元器件x射线检查缺陷自动识别方法

Country Status (1)

Country Link
CN (1) CN113409245B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114140391A (zh) * 2021-11-04 2022-03-04 东北大学 基于机器视觉实现板载显示屏模块快速检测的方法
CN114862853A (zh) * 2022-07-07 2022-08-05 烟台台芯电子科技有限公司 一种igbt焊接层空洞检测方法
CN115035032A (zh) * 2022-05-07 2022-09-09 奥蒂玛光学科技（深圳）有限公司 神经网络训练方法、相关方法、设备、终端及存储介质
CN116777871A (zh) * 2023-06-20 2023-09-19 无锡日联科技股份有限公司 一种基于x射线的缺陷检测方法、装置、设备及介质
CN116883434A (zh) * 2023-09-05 2023-10-13 昆明理工大学 一种基于语义分割的加速度传感器芯片封装缺陷检测方法
CN116934745A (zh) * 2023-09-14 2023-10-24 创新奇智(浙江)科技有限公司 一种电子元器件插接卡子质量检测方法及检测系统
CN117746077A (zh) * 2024-02-20 2024-03-22 深圳超盈智能科技有限公司 一种芯片缺陷的检测方法、装置、设备和存储介质
DE102023104378A1 (de) 2023-02-22 2024-08-22 Carl Zeiss Smt Gmbh Computerimplementiertes Verfahren zur Detektion von Defekten in einem Objekt, das integrierte Schaltkreismuster umfasst, und entsprechendes Computerprogrammprodukt, computerlesbares Medium und System, die solche Verfahren nutzen

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109446951A (zh) * 2018-10-16 2019-03-08 腾讯科技（深圳）有限公司 三维图像的语义分割方法、装置、设备及存储介质
WO2020125839A1 (de) * 2018-12-18 2020-06-25 GRID INVENT gGmbH Elektronisches element und elektrisch angesteuertes anzeigeelement
CN111667455A (zh) * 2020-04-28 2020-09-15 广东三三智能科技有限公司 一种刷具多种缺陷的ai检测方法
CN112083017A (zh) * 2020-09-10 2020-12-15 上海航天精密机械研究所 焊缝内部缺陷智能检测装置、方法及介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109446951A (zh) * 2018-10-16 2019-03-08 腾讯科技（深圳）有限公司 三维图像的语义分割方法、装置、设备及存储介质
CN111126242A (zh) * 2018-10-16 2020-05-08 腾讯科技（深圳）有限公司 肺部图像的语义分割方法、装置、设备及存储介质
WO2020125839A1 (de) * 2018-12-18 2020-06-25 GRID INVENT gGmbH Elektronisches element und elektrisch angesteuertes anzeigeelement
CN111667455A (zh) * 2020-04-28 2020-09-15 广东三三智能科技有限公司 一种刷具多种缺陷的ai检测方法
CN112083017A (zh) * 2020-09-10 2020-12-15 上海航天精密机械研究所 焊缝内部缺陷智能检测装置、方法及介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
NY ERSHOVA等: "multi-chip assemblies combining wire bond and flip-chip package technologies", IOP CONFERENCE SERIES：MATERIALS SCIENCE AND ENGINEERING, pages 1 - 7 *
丁然等: "电子元器件X射线检查缺陷自动识别方法研究", 电子元器件与信息技术, vol. 7, no. 3, pages 10 - 13 *
王爽: "三维X射线检测技术在倒装焊器件中的应用", 电子测试, no. 24, pages 31 - 32 *
贾锋;薛潺涓;王欣;: "用于肺结节检测和分类的两阶段深度学习方法", 吉林大学学报(理学版), vol. 58, no. 02, pages 329 - 336 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114140391A (zh) * 2021-11-04 2022-03-04 东北大学 基于机器视觉实现板载显示屏模块快速检测的方法
CN114140391B (zh) * 2021-11-04 2024-05-31 东北大学 基于机器视觉实现板载显示屏模块快速检测的方法
CN115035032A (zh) * 2022-05-07 2022-09-09 奥蒂玛光学科技（深圳）有限公司 神经网络训练方法、相关方法、设备、终端及存储介质
CN114862853A (zh) * 2022-07-07 2022-08-05 烟台台芯电子科技有限公司 一种igbt焊接层空洞检测方法
DE102023104378A1 (de) 2023-02-22 2024-08-22 Carl Zeiss Smt Gmbh Computerimplementiertes Verfahren zur Detektion von Defekten in einem Objekt, das integrierte Schaltkreismuster umfasst, und entsprechendes Computerprogrammprodukt, computerlesbares Medium und System, die solche Verfahren nutzen
CN116777871A (zh) * 2023-06-20 2023-09-19 无锡日联科技股份有限公司 一种基于x射线的缺陷检测方法、装置、设备及介质
CN116883434A (zh) * 2023-09-05 2023-10-13 昆明理工大学 一种基于语义分割的加速度传感器芯片封装缺陷检测方法
CN116883434B (zh) * 2023-09-05 2023-11-17 昆明理工大学 一种基于语义分割的加速度传感器芯片封装缺陷检测方法
CN116934745A (zh) * 2023-09-14 2023-10-24 创新奇智(浙江)科技有限公司 一种电子元器件插接卡子质量检测方法及检测系统
CN116934745B (zh) * 2023-09-14 2023-12-19 创新奇智(浙江)科技有限公司 一种电子元器件插接卡子质量检测方法及检测系统
CN117746077A (zh) * 2024-02-20 2024-03-22 深圳超盈智能科技有限公司 一种芯片缺陷的检测方法、装置、设备和存储介质
CN117746077B (zh) * 2024-02-20 2024-05-10 深圳超盈智能科技有限公司 一种芯片缺陷的检测方法、装置、设备和存储介质

Also Published As

Publication number Publication date
CN113409245B (zh) 2024-04-02

Similar Documents

Publication Publication Date Title
CN113409245B (zh) 一种电子元器件x射线检查缺陷自动识别方法
US10475179B1 (en) Compensating for reference misalignment during inspection of parts
CN113920096B (zh) 一种集成电路金属封装缺陷检测方法
CN111899241B (zh) 一种定量化的炉前pcb贴片缺陷在线检测方法及系统
EP0664446A2 (en) Inspection system and method for cross-sectional imaging
Anoop et al. A review of PCB defect detection using image processing
JP2004509325A (ja) Ｐｃｂ検査における誤った警報の低減
CN113971654A (zh) 焊点检测模型训练方法、焊点检测方法及焊点检测装置
Taha et al. Automatic optical inspection for PCB manufacturing: a survey
Ozturk et al. Detection of PCB soldering defects using template based image processing method
Wu et al. The development of automated solder bump inspection using machine vision techniques
Huang et al. Developing a machine vision inspection system for electronics failure analysis
CN117974595A (zh) 一种应用图像处理技术的电路板缺陷检测方法及系统
Chavan et al. Quality control of PCB using image processing
Sankaran et al. Improvements to X-ray laminography for automated inspection of solder joints
Londe et al. Automatic PCB defects detection and classification using MATLAB
Malge et al. A survey: Automated visual pcb inspection algorithm
Cai et al. PCB defect detection system based on image processing
CN115170476B (zh) 基于图像处理的印制线路板缺陷检测方法
TW202113599A (zh) 依據標準值建立檢測模型以確認焊接狀態之系統及方法
Laghari et al. Efficient techniques for BGA solder joint identification in low resolution X-ray images
Nahar et al. Computer aided system for inspection of assembled PCB
Sankaran et al. Automated inspection of solder joints-a neural network approach
US7747066B2 (en) Z-axis optical detection of mechanical feature height
Lin et al. X-ray imaging inspection system for blind holes in the intermediate layer of printed circuit boards with neural network identification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant