CN113409245B - 一种电子元器件x射线检查缺陷自动识别方法 - Google Patents
一种电子元器件x射线检查缺陷自动识别方法 Download PDFInfo
- Publication number
- CN113409245B CN113409245B CN202110365561.1A CN202110365561A CN113409245B CN 113409245 B CN113409245 B CN 113409245B CN 202110365561 A CN202110365561 A CN 202110365561A CN 113409245 B CN113409245 B CN 113409245B
- Authority
- CN
- China
- Prior art keywords
- cavity
- area
- chip
- defects
- defect
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 144
- 238000000034 method Methods 0.000 title claims abstract description 73
- 238000007689 inspection Methods 0.000 title claims abstract description 23
- 238000003466 welding Methods 0.000 claims abstract description 71
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 48
- 230000011218 segmentation Effects 0.000 claims abstract description 41
- 239000000758 substrate Substances 0.000 claims abstract description 25
- 238000007789 sealing Methods 0.000 claims abstract description 23
- 238000012797 qualification Methods 0.000 claims abstract description 22
- 238000004806 packaging method and process Methods 0.000 claims abstract description 8
- 238000001514 detection method Methods 0.000 claims description 90
- 238000004422 calculation algorithm Methods 0.000 claims description 34
- 229910000679 solder Inorganic materials 0.000 claims description 28
- 239000010410 layer Substances 0.000 claims description 18
- 239000011800 void material Substances 0.000 claims description 18
- 238000004458 analytical method Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 10
- 239000002356 single layer Substances 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000003708 edge detection Methods 0.000 claims description 6
- 238000003384 imaging method Methods 0.000 claims description 5
- 238000009434 installation Methods 0.000 claims description 5
- 238000002372 labelling Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 5
- 239000004065 semiconductor Substances 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 abstract description 4
- 238000007781 pre-processing Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 239000011195 cermet Substances 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000004377 microelectronic Methods 0.000 description 1
- 238000012858 packaging process Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2431—Multiple classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30148—Semiconductor; IC; Wafer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Geometry (AREA)
- Quality & Reliability (AREA)
- Analysing Materials By The Use Of Radiation (AREA)
Abstract
本发明公开了一种电子元器件X射线检查缺陷自动识别方法，该方法对X射线图像进行预处理；人工半自动或自动对样本进行标注，根据电子元器件的封装和缺陷形式，将待检测的电子元器件的缺陷类型分为空洞类缺陷、一致性缺陷和角度缺陷三大类。利用基于卷积神经网络的语义分割方法实现对四类空洞缺陷的检测。通过大量的样本对卷积神经网络进行训练，实现对各类空洞缺陷的精确分割，极大提高了缺陷自动识别效率。同时，通过灰度投影法对芯片焊接区及密封区等进行检测，根据相应的判别准则对其合格性进行判别。解决了以往无法进行自动计算和单纯靠人工进行判别的问题，以及混合集成电路中的基板与管壳焊接界面空洞的干扰问题。
Description
技术领域
本发明涉及电子元器件X射线检测缺陷自动识别技术领域，尤其涉及一种电子元器件X射线检查缺陷自动识别方法。
背景技术
军用电子元器件是国防军工电子系统的基础元件，主要包括半导体分立器件和集成电路等微电子器件以及继电器、传感器等特种器件。军用电子元器件是核、航空、航天、船舶、兵器、电子等信息系统的物质保证，其稳定性和可靠性直接影响信息系统的功能和性能指标。
军用电子元器件的封装缺陷是影响其质量的主要因素之一。X射线检查是一种无损检测元器件内部缺陷的手段，可以快速检查出键合、焊接、密封等封装过程中出现的缺陷，在元器件筛选、鉴定检验、DPA、失效分析中均要求进行X射线检查。X射线检测对电子元器件进行X射线成像，其图像能反映电子元器件的内部缺陷，目前的X射线检查主要依靠人工识别，由检测人员浏览X射线图像，根据检测标准进行人工判读、分析。然而，随着电子元器件加工制造水平的不断发展，电子元器件封装形式越来越多、封装密度也越来越高，电子元器件的检测数量和任务也日益增多，人工识别的速度和准确度已无法满足，这种人工判读分析方式受试验人员经验和身体状况等主观因素的影响，检测效率和可靠性低，元器件检测质量难以有效保证，给元器件的使用带来风险与隐患，已无法满足军用电子系统日益增加的需求。因此，需要借助计算机视觉检测技术，形成电子元器件X射线检查缺陷自动识别方法。
随着计算机视觉和人工智能技术的发展，基于深度学习的计算机视觉检测技术因其模拟人脑视觉的处理机制，具有自动学习样本特征的特点，在目标检测识别领域比其他传统方法有更大的性能优势，已经广泛应用于航空、航天、电子、医学、工业制造等各种领域。
针对电子元器件X射线检查缺陷自动识别需求，深入研究基于深度学习视觉检测技术的电子元器件X射线检查缺陷自动识别方法，是军工电子元器件质量检测的迫切需求。
目前，国内对于电子元器件进行的缺陷检测，主要集中在印制电路板(PCB板)焊点缺陷检测、贴装元器件检测以及SMT表面封装等进行的相关研究，关于元器件芯片图像的检测方法很少。
发明内容
鉴于上述问题，针对现有电子元器件缺陷检测技术所存在的局限性，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的电子元器件X射线检查缺陷自动识别方法，主要利用深度学习视觉检测技术，获得不同缺陷形式的电子元器件X射线缺陷自动检测方法，实现对于电子元器件不同缺陷形式的自动检测功能。
本发明提供一种电子元器件X射线检查缺陷自动识别方法，
该方法包括如下步骤，步骤一：对X射线图像进行去噪、增强预处理；
对采集的电子元器件X射线图像通过直方图均衡和灰度变换的方法进行对比度增强。
步骤二：人工半自动或自动对样本进行标注，包括元器件类型、缺陷类型和缺陷位置；
步骤三：根据电子元器件的封装和缺陷形式，对待检测的电子元器件存在的缺陷类型进行分类。待检测的电子元器件的缺陷类型分为空洞类缺陷、一致性缺陷和角度缺陷三大类。
步骤四：利用基于卷积神经网络的语义分割方法实现对步骤三中四类空洞缺陷的检测。
空洞类缺陷包括单层芯片焊接区空洞和多层混合集成电路的芯片焊接区空洞；对于单层芯片焊接区空洞，采用基于卷积神经网络算法进行空洞区域的分割，通过灰度投影法对芯片焊接区进行检测，并应用像素统计的方法分别自动计算空洞和区域和焊接区域的面积，最后通过面积比，根据判别准则对其合格性进行判别:焊接区空洞超过整个焊接面积的1/2；或单个空洞横向或纵向贯穿芯片焊接区且空洞面积超过芯片焊接区的10％时，判定为不合格。
对于多层混合集成电路的芯片焊接区空洞，通过多角度X光图像相结合排除基板与管壳焊接界面空洞的干扰。通过精确标注图像，训练面向焊接区空洞分割的网络，对于不同角度图像实现焊接区空洞的分割。根据不同层空洞在多角度图像上的位置关系，排除基板粘接层空洞的干扰，得到分割结果。分别沿垂直方向和左45°以及右45°倾斜角度拍摄芯片的X光图像，采用基于卷积神经网络的方法分别检测不同角度图像的空洞区域。对倾斜图像通过透视变换进行校正，并与垂直方向的图像进行匹配分析，根据不同层的空洞在多角度拍摄时的差异性排除基板与管壳焊接界面空洞，检测出真实的芯片与基板焊接区空洞，进而根据相关判别规则对芯片的合格性进行判别。芯片与基板焊接区空洞在不同角度成像结果间的位移更为显著，基板与管壳焊接界面空洞在各图上的位置则比较固定。
对于密封区空洞检测，采用基于卷积神经网络的算法进行空洞区域的分割，同时采用灰度映射进行密封区检测，分别自动计算空洞区域和密封区的宽度；根据相应的规则对芯片的合格性进行判断:空洞区宽度超过密封区宽度的75％时，判定为不合格。
对于焊球空洞检测，进行基于卷积神经网络的空洞分割，采用Robinson边缘检测的算法提取焊球的轮廓，并计算其直径。通过对比空洞直径与焊球直径，对每个焊球的合格性进行判别。当空洞的直径超过焊球直径的25％时，该焊球被判为不合格。
步骤五：利用基于卷积神经网络的配准方法实现一致性缺陷检测。
通过对比分析待检测元件与标准合格元件之间的一致性，实现一致性缺陷的检测和判别；采取基于卷积神经网络的图像配准方法来实现。首先为每一种封装的器件选择标准的合格品图像，进而将待检测图像与标准图像进行精确配准，当待检测元件存在多余物、键合丝断裂、元件错误安装缺陷时，该待检测图像与配准后的合格品图像间仍会存在较大差异。通过对比分析差异，实现对缺陷位置及其类型的有效检测。通过大量的样本对卷积神经网络进行训练，实现对各类一致性缺陷的精确检测。
步骤六：芯片安装倾斜与凹切缺陷的检测与识别。
检测过程首先根据输入图像的特征对芯片区域进行检测，进而采用Robinson算法进行边缘检测和提取，根据所提取的边缘信息对芯片的安装角度和凹切角度进行分析，最后根据相关判别准则进行判别和输出。该类缺陷的判别准则为：安装和键合的半导体芯片，相对于正常安装面的倾斜不超过10°。
在该类缺陷的判别过程中，芯片的检测是首要环节。由于芯片与周围区域的差异性较小，检测难度比较大。研究中拟首先通过灰度变换的方法对芯片区域进行增强，再以此为基础进行相应的检测和分析。
实现该方法的检测系统包括：空洞类缺陷检测单元、一致性缺陷检测单元和角度类缺陷检测单元。
所述空洞类缺陷检测单元，采用基于卷积神经网络的语义分割算法，基于DeeplabV3+基本架构设计，与传统分割算法相比，具有更强的通用性。传统方法往往需要针对每一类缺陷问题设计相应的分割算法，并根据经验设定相关参数。利用基于卷积神经网络的语义分割算法可实现各类空洞区域的分割，进而针对具体封装形式和缺陷类型进行相关背景区域的分割，通过大量的样本对卷积神经网络进行训练，可实现对各类空洞缺陷的精确分割，极大提高缺陷自动识别效率。
进一步的，对于芯片焊接区空洞(单层)，首先采用基于卷积神经网络的算法进行空洞区域的分割，同时通过灰度投影法对芯片焊接区进行检测，并通过像素统计的方法分别自动计算空洞区域和焊接区域的面积，最后通过面积比，根据相应的判别准则对其合格性进行判别。解决以往无法进行自动计算和单纯靠人工进行判别的问题。
进一步的，对于混合集成电路的芯片焊接区空洞(多层)，为排除基板与管壳焊接界面空洞的干扰问题，通过多角度X光图像相结合的方式实现检测。首先通过精确标注图像，训练面向焊接区空洞分割的网络，对于不同角度图像实现焊接区空洞的分割。进而根据不同层空洞在多角度图像上的位置关系，进一步排除基板粘接层空洞的干扰，得到准确的分割结果。解决了以往单纯靠人工进行判别的问题。
进一步的，对于密封区空洞检测，首先采用基于卷积神经网络的算法进行空洞区域的分割，同时采用灰度映射的方法进行密封区检测，进而分别自动计算空洞区域和密封区的宽度。最后根据相应的规则对芯片的合格性进行判断。解决了以往无法进行自动计算和单纯靠人工进行判别的问题。
进一步的，对于焊球空洞检测，首先进行基于卷积神经网络的空洞分割，同时采用Robinson边缘检测的算法提取焊球的轮廓，并计算其直径。最后通过对比空洞直径与焊球直径，对每个焊球的合格性进行判别。
所述一致性缺陷检测单元，采取基于卷积神经网络的图像配准方法来实现，通过对比分析待检测元件与标准合格元件之间的一致性，可实现一致性缺陷的检测和判别。
进一步的，首先为每一种封装的器件选择标准的合格品图像，进而将待检测图像与标准图像进行精确配准，当待检测元件存在多余物、键合丝断裂、元件错误安装等缺陷时，该图像与配准后的合格品图像间仍会存在较大差异。通过对比分析这一差异，实现对缺陷位置及其类型的有效检测。
所述角度缺陷，包括芯片安装倾斜与凹切缺陷的检测与识别。首先根据输入图像的特征对芯片区域进行检测，进而采用Robinson算法进行边缘检测和提取，根据所提取的边缘信息对芯片的安装角度和凹切角度进行分析，最后根据相关判别准则进行判别和输出。
进一步的，在该类缺陷的判别过程中，芯片的检测是首要环节。由于芯片与周围区域的差异性较小，检测难度比较大。首先通过灰度变换的方法对芯片区域进行增强，再以此为基础进行相应的检测和分析。
与现有技术相比较，本发明提出的基于深度学习的计算机视觉检测技术的电子元器件X射线检查缺陷自动识别方法，解决了以往单纯依靠人工识别而导致的检测效率和可靠性低、元器件检测质量难以有效保证等问题。
采用基于卷积神经网络的语义分割算法，克服了传统方法需要针对每一类缺陷问题设计相应的分割算法的问题，具有更强的通用性，可实现对于各类空洞区域的分割，进而针对具体封装形式和缺陷类型进行相关背景区域的分割，通过大量的样本对卷积神经网络进行训练，实现对各类空洞缺陷的精确分割，极大提高了缺陷自动识别效率。同时，通过灰度投影法对芯片焊接区及密封区等进行检测，并通过像素统计的方法分别自动计算空洞区域、宽度以及焊接区域面积和密封区宽度等，最后根据相应的判别准则对其合格性进行判别。解决以往无法进行自动计算和单纯靠人工进行判别的问题。
采取基于卷积神经网络的图像配准方法，通过对比分析待检测元件与标准合格元件之间的一致性，实现一致性缺陷的检测和判别；通过对比分析差异，实现对缺陷位置及其类型的有效检测。通过大量的样本对卷积神经网络进行训练，实现对各类一致性缺陷的精确检测。解决以往单纯靠人工进行判别的问题。
对于多层混合集成电路的芯片焊接区空洞，通过多角度X光图像相结合排除基板与管壳焊接界面空洞产生的干扰，根据不同层空洞在多角度图像上的位置关系，通过精确标注图像，训练面向焊接区空洞分割的网络，对于不同角度图像实现焊接区空洞的分割。解决了混合集成电路中的基板与管壳焊接界面空洞的干扰问题。
附图说明
图1为本发明实施例的空洞区域网络分割结构示意图；
图2为本发明实施例的图像配准网络结构示意图。
图3为本发明实施例的缺陷检测算法整体架构示意图；
图4为本发明实施例的单层芯片焊接区空洞检测流程示意图。
图5为本发明实施例的多层混合集成电路焊接区空洞检测流程示意图。
图6为本发明实施例的金属陶瓷封装密封区空洞检测流程示意图。
图7为本发明实施例的焊球空洞缺陷检测流程示意图。
图8为本发明实施例的基于图像配准的一致性缺陷检测流程示意图。
图9为本发明实施例的芯片安装倾斜与凹切缺陷检测过程示意图。
具体实施方式
为更进一步阐述本发明为达成预定目的所采取的技术手段及功效，以下结合附图及较佳实施例，对本发明进行详细说明如后。
本发明实施例，一种电子元器件X射线检查缺陷自动识别方法，如图1所示。电子元器件X射线缺陷自动检测算法的流程如下：
步骤一：对X射线图像进行去噪、增强等预处理；
预处理是各类图像分析与识别的首要环节。由于成像原理的特殊性，X射线图像的分析识别中面临的主要问题是对比度偏低，因而前期的预处理环节主要以对比度增强为主。针对电子元器件X射线图像的典型特点和后续缺陷识别的特定需求，主要通过直方图均衡和灰度变换的方法进行对比度的增强。
步骤二：人工半自动或自动对样本进行标注，包括元器件类型、缺陷类型和缺陷位置；
步骤三：根据器件的封装和缺陷形式，对待检测器件可能存在的缺陷类型进行分类。
根据判别方法的不同，电子元器件的缺陷类型可分为空洞类缺陷、一致性缺陷和角度缺陷等三大类。其中，空洞类缺陷指由于芯片焊接接触区、密封区或者焊球等位置的空洞超过相关准则而引起的缺陷问题。一致性缺陷指待检测芯片的实际情况与设计的理想情况不符的情景，如多余物、键合丝数量不符或断裂，混合集成电路中的元器件或者键合丝不符等。角度缺陷指芯片特定位置的角度不符合要求的情况，如芯片安装倾斜或者凹切等。
步骤四：利用基于卷积神经网络的语义分割方法实现空洞缺陷检测。
与传统分割算法相比，基于卷积神经网络的语义分割算法具有更强的通用性。传统方法往往需要针对每一类缺陷问题设计相应的分割算法，并根据经验设定相关参数。利用基于卷积神经网络的语义分割算法实现各类空洞区域的分割，进而针对具体封装形式和缺陷类型进行相关背景区域的分割，通过大量的样本对卷积神经网络进行训练，可实现对各类空洞缺陷的精确分割，极大提高缺陷自动识别效率。
见图2，基于DeeplabV3+基本架构，并针对X光图像的特点和空洞区域分割任务的具体需求，对网络的各个环节进行优化设计，从多个角度提高网络对有效特征的提取和判别能力，达到更好的分割效果。
对于芯片焊接区空洞(单层)，首先采用基于卷积神经网络的算法进行空洞区域的分割，同时通过灰度投影法对芯片焊接区进行检测，并通过像素统计的方法分别自动计算空洞和区域和焊接区域的面积，最后通过面积比，根据相应的判别准则对其合格性进行判别，见图3。
对于混合集成电路的芯片焊接区空洞(多层)，为排除基板与管壳焊接界面空洞的干扰问题，通过多角度X光图像相结合的方式实现检测。首先通过精确标注图像，训练面向焊接区空洞分割的网络，对于不同角度图像实现焊接区空洞的分割。进而根据不同层空洞在多角度图像上的位置关系，进一步排除基板粘接层空洞的干扰，得到准确的分割结果。分别沿常规垂直方向和左45°以及右45°倾斜角度拍摄芯片的X光图像，采用基于卷积神经网络的方法分别检测不同角度图像的空洞区域。对倾斜图像通过透视变换进行校正，并与垂直方向的图像进行匹配分析，根据不同层的空洞在多角度拍摄时的差异性，排除基板与管壳焊接界面空洞，检测出真实的芯片与基板焊接区空洞，进而根据相关判别规则对芯片的合格性进行判别，见图4。芯片与基板焊接区空洞在不同角度成像结果间的位移更为显著，而基板与管壳焊接界面空洞在各图上的位置则比较固定。
对于密封区空洞检测，首先采用基于卷积神经网络的算法进行空洞区域的分割，同时采用灰度映射的方法进行密封区检测，进而分别自动计算空洞区域和密封区的宽度。最后根据相应的规则对芯片的合格性进行判断，见图5。
对于焊球空洞检测，首先进行基于卷积神经网络的空洞分割，同时采用Robinson边缘检测的算法提取焊球的轮廓，并计算其直径。最后通过对比空洞直径与焊球直径，对每个焊球的合格性进行判别，见图6。
步骤五：利用基于卷积神经网络的配准方法实现一致性缺陷检测。
通过对比分析待检测元件与标准合格元件之间的一致性，可实现一致性缺陷的检测和判别。采取基于卷积神经网络的图像配准方法来实现，见图7。
首先为每一种封装的器件选择标准的合格品图像，进而将待检测图像与标准图像进行精确配准，当待检测元件存在多余物、键合丝断裂、元件错误安装等缺陷时，该图像与配准后的合格品图像间仍会存在较大差异。通过对比分析这一差异，实现对缺陷位置及其类型的有效检测。通过大量的样本对卷积神经网络进行训练，实现对各类一致性缺陷的精确检测。见图8。
步骤六：芯片安装倾斜与凹切缺陷的检测与识别。
检测过程首先根据输入图像的特征对芯片区域进行检测，进而采用Robinson算法进行边缘检测和提取，根据所提取的边缘信息对芯片的安装角度和凹切角度进行分析，最后根据相关判别准则进行判别和输出，见图9。该类缺陷的判别准则为：安装和键合的半导体芯片，相对于正常安装面的倾斜不应超过10°。
在该类缺陷的判别过程中，芯片的检测是首要环节。由于芯片与周围区域的差异性较小，检测难度比较大。研究中拟首先通过灰度变换的方法对芯片区域进行增强，再以此为基础进行相应的检测和分析。
通过具体实施方式的说明，应当可对本发明为达成预定目的所采取的技术手段及功效得以更加深入且具体的了解，然而所附图示仅是提供参考与说明之用，并非用来对本发明加以限制。
Claims (9)
1.一种电子元器件X射线检查缺陷自动识别方法，其特征在于：该方法包括如下步骤，步骤一：对X射线图像进行去噪、增强预处理；对采集的电子元器件X射线图像通过直方图均衡和灰度变换的方法进行对比度增强；
步骤二：人工半自动或自动对样本进行标注，包括元器件类型、缺陷类型和缺陷位置；
步骤三：根据电子元器件的封装和缺陷形式，对待检测的电子元器件存在的缺陷类型进行分类；待检测的电子元器件的缺陷类型分为空洞类缺陷、一致性缺陷和角度缺陷三大类；
步骤四：利用基于卷积神经网络的语义分割方法实现对步骤三中四类空洞缺陷的检测；
步骤五：利用基于卷积神经网络的配准方法实现一致性缺陷检测；
通过对比分析待检测元件与标准合格元件之间的一致性，实现一致性缺陷的检测和判别；采取基于卷积神经网络的图像配准方法来实现；
步骤六：芯片安装倾斜与凹切缺陷的检测与识别；
检测过程首先根据输入图像的特征对芯片区域进行检测，进而采用Robinson算法进行边缘检测和提取，根据所提取的边缘信息对芯片的安装角度和凹切角度进行分析，最后根据相关判别准则进行判别和输出；该类缺陷的判别准则为：安装和键合的半导体芯片，相对于正常安装面的倾斜不超过10°；
在该类缺陷的判别过程中，通过灰度变换的方法对芯片区域进行增强，再以此为基础进行相应的检测和分析；
步骤四中，空洞类缺陷包括单层芯片焊接区空洞和多层混合集成电路的芯片焊接区空洞；对于单层芯片焊接区空洞，采用基于卷积神经网络算法进行空洞区域的分割，通过灰度投影法对芯片焊接区进行检测，并应用像素统计的方法分别自动计算空洞和区域和焊接区域的面积，最后通过面积比，根据判别准则对其合格性进行判别:焊接区空洞超过整个焊接面积的1/2；或单个空洞横向或纵向贯穿芯片焊接区且空洞面积超过芯片焊接区的10％时，判定为不合格；
对于多层混合集成电路的芯片焊接区空洞，通过多角度X光图像相结合排除基板与管壳焊接界面空洞的干扰；通过精确标注图像，训练面向焊接区空洞分割的网络，对于不同角度图像实现焊接区空洞的分割；根据不同层空洞在多角度图像上的位置关系，排除基板粘接层空洞的干扰，得到分割结果；分别沿垂直方向和左45°以及右45°倾斜角度拍摄芯片的X光图像，采用基于卷积神经网络的方法分别检测不同角度图像的空洞区域；对倾斜图像通过透视变换进行校正，并与垂直方向的图像进行匹配分析，根据不同层的空洞在多角度拍摄时的差异性，排除基板与管壳焊接界面空洞，检测出真实的芯片与基板焊接区空洞，进而根据相关判别规则对芯片的合格性进行判别；芯片与基板焊接区空洞在不同角度成像结果间的位移，基板与管壳焊接界面空洞在各图上的位置固定；
对于密封区空洞检测，采用基于卷积神经网络的算法进行空洞区域的分割，同时采用灰度映射进行密封区检测，分别自动计算空洞区域和密封区的宽度；根据相应的规则对芯片的合格性进行判断:空洞区宽度超过密封区宽度的75％时，判定为不合格；
对于焊球空洞检测，进行基于卷积神经网络的空洞分割，采用Robinson边缘检测的算法提取焊球的轮廓，并计算其直径；通过对比空洞直径与焊球直径，对每个焊球的合格性进行判别；当空洞的直径超过焊球直径的25％时，该焊球被判为不合格。
2.根据权利要求1所述的一种电子元器件X射线检查缺陷自动识别方法，其特征在于：步骤五中的基于卷积神经网络的图像配准方法实现过程如下：首先为每一种封装的器件选择标准的合格品图像，进而将待检测图像与标准图像进行精确配准，当待检测元件存在多余物、键合丝断裂、元件错误安装缺陷时，待检测图像与配准后的合格品图像间仍会存在差异；通过对比分析差异，实现对缺陷位置及其类型的有效检测；通过样本对卷积神经网络进行训练，实现对各类一致性缺陷的精确检测。
3.利用权利要求1所述方法搭建的一种电子元器件X射线检查缺陷自动识别检测系统，其特征在于：检测系统包括：空洞类缺陷检测单元、一致性缺陷检测单元和角度类缺陷检测单元；
所述空洞类缺陷检测单元，采用基于卷积神经网络的语义分割算法，基于DeeplabV3+基本架构设计；利用基于卷积神经网络的语义分割算法实现各类空洞区域的分割，进而针对具体封装形式和缺陷类型进行相关背景区域的分割，通过样本对卷积神经网络进行训练，实现对各类空洞缺陷的精确分割，提高缺陷自动识别效率。
4.根据权利要求3所述的一种电子元器件X射线检查缺陷自动识别检测系统，其特征在于：对于芯片焊接区空洞单层，首先采用基于卷积神经网络的算法进行空洞区域的分割，同时通过灰度投影法对芯片焊接区进行检测，并通过像素统计的方法分别自动计算空洞区域和焊接区域的面积，最后通过面积比，根据相应的判别准则对其合格性进行判别。
5.根据权利要求3所述的一种电子元器件X射线检查缺陷自动识别检测系统，其特征在于：对于混合集成电路的芯片焊接区空洞多层，为排除基板与管壳焊接界面空洞的干扰问题，通过多角度X光图像相结合的方式实现检测；首先通过精确标注图像，训练面向焊接区空洞分割的网络，对于不同角度图像实现焊接区空洞的分割；根据不同层空洞在多角度图像上的位置关系，排除基板粘接层空洞的干扰，得到准确的分割结果。
6.根据权利要求3所述的一种电子元器件X射线检查缺陷自动识别检测系统，其特征在于：对于密封区空洞检测，首先采用基于卷积神经网络的算法进行空洞区域的分割，同时采用灰度映射的方法进行密封区检测，分别自动计算空洞区域和密封区的宽度；最后根据相应的规则对芯片的合格性进行判断。
7.根据权利要求3所述的一种电子元器件X射线检查缺陷自动识别检测系统，其特征在于：对于焊球空洞检测，首先进行基于卷积神经网络的空洞分割，同时采用Robinson边缘检测的算法提取焊球的轮廓，并计算其直径；最后通过对比空洞直径与焊球直径，对每个焊球的合格性进行判别。
8.根据权利要求3所述的一种电子元器件X射线检查缺陷自动识别检测系统，其特征在于：所述一致性缺陷检测单元，采取基于卷积神经网络的图像配准方法来实现，通过对比分析待检测元件与标准合格元件之间的一致性，可实现一致性缺陷的检测和判别；为每一种封装的器件选择标准的合格品图像，进而将待检测图像与标准图像进行精确配准，当待检测元件存在多余物、键合丝断裂、元件错误安装缺陷时，该图像与配准后的合格品图像间仍会存在较大差异。
9.根据权利要求3所述的一种电子元器件X射线检查缺陷自动识别检测系统，其特征在于：所述角度缺陷，包括芯片安装倾斜与凹切缺陷的检测与识别；根据输入图像的特征对芯片区域进行检测，采用Robinson算法进行边缘检测和提取，根据所提取的边缘信息对芯片的安装角度和凹切角度进行分析，最后根据相关判别准则进行判别和输出。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110365561.1A CN113409245B (zh) | 2021-04-06 | 2021-04-06 | 一种电子元器件x射线检查缺陷自动识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110365561.1A CN113409245B (zh) | 2021-04-06 | 2021-04-06 | 一种电子元器件x射线检查缺陷自动识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113409245A CN113409245A (zh) | 2021-09-17 |
| CN113409245B true CN113409245B (zh) | 2024-04-02 |
Family
ID=77677979
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110365561.1A Active CN113409245B (zh) | 2021-04-06 | 2021-04-06 | 一种电子元器件x射线检查缺陷自动识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113409245B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114140391B (zh) * | 2021-11-04 | 2024-05-31 | 东北大学 | 基于机器视觉实现板载显示屏模块快速检测的方法 |
| CN115035032A (zh) * | 2022-05-07 | 2022-09-09 | 奥蒂玛光学科技（深圳）有限公司 | 神经网络训练方法、相关方法、设备、终端及存储介质 |
| CN114862853A (zh) * | 2022-07-07 | 2022-08-05 | 烟台台芯电子科技有限公司 | 一种igbt焊接层空洞检测方法 |
| CN116777871A (zh) * | 2023-06-20 | 2023-09-19 | 无锡日联科技股份有限公司 | 一种基于x射线的缺陷检测方法、装置、设备及介质 |
| CN116883434B (zh) * | 2023-09-05 | 2023-11-17 | 昆明理工大学 | 一种基于语义分割的加速度传感器芯片封装缺陷检测方法 |
| CN116934745B (zh) * | 2023-09-14 | 2023-12-19 | 创新奇智(浙江)科技有限公司 | 一种电子元器件插接卡子质量检测方法及检测系统 |
| CN117746077B (zh) * | 2024-02-20 | 2024-05-10 | 深圳超盈智能科技有限公司 | 一种芯片缺陷的检测方法、装置、设备和存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109446951A (zh) * | 2018-10-16 | 2019-03-08 | 腾讯科技（深圳）有限公司 | 三维图像的语义分割方法、装置、设备及存储介质 |
| WO2020125839A1 (de) * | 2018-12-18 | 2020-06-25 | GRID INVENT gGmbH | Elektronisches element und elektrisch angesteuertes anzeigeelement |
| CN111667455A (zh) * | 2020-04-28 | 2020-09-15 | 广东三三智能科技有限公司 | 一种刷具多种缺陷的ai检测方法 |
| CN112083017A (zh) * | 2020-09-10 | 2020-12-15 | 上海航天精密机械研究所 | 焊缝内部缺陷智能检测装置、方法及介质 |
-
2021
- 2021-04-06 CN CN202110365561.1A patent/CN113409245B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109446951A (zh) * | 2018-10-16 | 2019-03-08 | 腾讯科技（深圳）有限公司 | 三维图像的语义分割方法、装置、设备及存储介质 |
| CN111126242A (zh) * | 2018-10-16 | 2020-05-08 | 腾讯科技（深圳）有限公司 | 肺部图像的语义分割方法、装置、设备及存储介质 |
| WO2020125839A1 (de) * | 2018-12-18 | 2020-06-25 | GRID INVENT gGmbH | Elektronisches element und elektrisch angesteuertes anzeigeelement |
| CN111667455A (zh) * | 2020-04-28 | 2020-09-15 | 广东三三智能科技有限公司 | 一种刷具多种缺陷的ai检测方法 |
| CN112083017A (zh) * | 2020-09-10 | 2020-12-15 | 上海航天精密机械研究所 | 焊缝内部缺陷智能检测装置、方法及介质 |
Non-Patent Citations (4)
| Title |
|---|
| multi-chip assemblies combining wire bond and flip-chip package technologies;NY Ershova等;IOP Conference series：materials science and engineering;1-7 * |
| 三维X射线检测技术在倒装焊器件中的应用;王爽;电子测试(第24期);31-32+21 * |
| 用于肺结节检测和分类的两阶段深度学习方法;贾锋;薛潺涓;王欣;;吉林大学学报(理学版);第58卷(第02期);329-336 * |
| 电子元器件X射线检查缺陷自动识别方法研究;丁然等;电子元器件与信息技术;第7卷(第3期);10-13 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113409245A (zh) | 2021-09-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113409245B (zh) | 一种电子元器件x射线检查缺陷自动识别方法 | |
| KR940000029B1 (ko) | 땜납 접합부 탐지 시스템 및 방법 | |
| US5592562A (en) | Inspection system for cross-sectional imaging | |
| CN108802046B (zh) | 一种混合集成电路组件缺陷光学检测装置及其检测方法 | |
| CN113454445A (zh) | 零件检查期间对于参考未对准进行补偿 | |
| WO2011089657A1 (ja) | 検査装置 | |
| JP2010271165A (ja) | プリント基板の検査装置 | |
| Anoop et al. | A review of PCB defect detection using image processing | |
| CN113920096A (zh) | 一种集成电路金属封装缺陷检测方法 | |
| Taha et al. | Automatic optical inspection for PCB manufacturing: a survey | |
| CN113971654A (zh) | 焊点检测模型训练方法、焊点检测方法及焊点检测装置 | |
| Wu et al. | The development of automated solder bump inspection using machine vision techniques | |
| Santoso et al. | Development of pcb defect detection system using image processing with yolo cnn method | |
| CN105424714B (zh) | 基于多管脚的缺陷检测装置及其检测方法 | |
| KR100608225B1 (ko) | 인쇄 회로 기판에 장착된 부품의 실장 상태 확인 방법 및그 장치 | |
| JP2012108012A (ja) | 半田付け検査方法及び半田付け検査装置 | |
| Lin et al. | A visual inspection system for surface mounted devices on printed circuit board | |
| TWI732296B (zh) | 依據標準值建立檢測模型以確認焊接狀態之系統及方法 | |
| US7551765B2 (en) | Electronic component detection system | |
| Lin et al. | A development of visual inspection system for surface mounted devices on printed circuit board | |
| Malge et al. | A survey: Automated visual pcb inspection algorithm | |
| Zervakis et al. | A Bayesian framework for multilead SMD post-placement quality inspection | |
| CN1734228A (zh) | 机器视觉分析系统和方法 | |
| WO2015118997A1 (ja) | 品質管理システム | |
| CN115170476A (zh) | 基于图像处理的印制线路板缺陷检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |