CN114240947A - 声扫图像数据库的构建方法、装置、计算机设备 - Google Patents

声扫图像数据库的构建方法、装置、计算机设备 Download PDF

Info

Publication number
CN114240947A
CN114240947A CN202210183882.4A CN202210183882A CN114240947A CN 114240947 A CN114240947 A CN 114240947A CN 202210183882 A CN202210183882 A CN 202210183882A CN 114240947 A CN114240947 A CN 114240947A
Authority
CN
China
Prior art keywords
image
sample
database
class
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210183882.4A
Other languages
English (en)
Other versions
CN114240947B (zh
Inventor
赵玥
罗军
王小强
罗道军
邱宝军
胡湘洪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Electronic Product Reliability and Environmental Testing Research Institute
Original Assignee
China Electronic Product Reliability and Environmental Testing Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Electronic Product Reliability and Environmental Testing Research Institute filed Critical China Electronic Product Reliability and Environmental Testing Research Institute
Priority to CN202210183882.4A priority Critical patent/CN114240947B/zh
Publication of CN114240947A publication Critical patent/CN114240947A/zh
Application granted granted Critical
Publication of CN114240947B publication Critical patent/CN114240947B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/10—Pre-processing; Data cleansing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种声扫图像数据库的构建方法、装置、计算机设备、存储介质。所述方法包括：通过获取经超声扫描显微镜对集成电路样品进行扫描得到的原始声扫图像，并对该原始声扫图像进行图像分层和图像裁剪处理，得到样本图像。对该样本图像进行数据清洗处理，得到数据清洗后的待检测样本图像。获取对该待检测样本图像进行缺陷标注所得到的标注图像，并基于该标注图像构建多类别声扫图像数据库。通过目标检测模型，对该多类别声扫图像数据库进行有效判定，确定有效判定结果。若该有效判定结果表征通过，则确定多类别声扫图像数据库为有效的多类别声扫图像数据库。这样，能够大大提高对集成电路智能检测的精准度。

Description

声扫图像数据库的构建方法、装置、计算机设备
技术领域
本申请涉及电子技术领域，特别是涉及一种声扫图像数据库的构建方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
随着电子技术的发展，电子产品集成度不断增加，电子产品的封装结构也越来越复杂。其中，一旦电子产品的集成电路出现分层、裂纹和空洞等缺陷，会导致集成电路内部断线，从而产生可靠性问题。因此，在对电子产品进行装配前，常常会对电子产品中的集成电路进行缺陷检测。
虽然，在集成电路的缺陷检测方面，存在根据传统光学图像构建数据库的方法。然而，根据传统光学构建的数据库是无法适用在超声扫描显微镜的场景中，也就无法对声扫图像进行统一整理和分类，从而难以构建有效的声扫图像数据库，进而无法得到训练效果好的缺陷检测模型，存在对集成电路进行智能缺陷检测的精准度低的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种声扫图像数据库的构建方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面，本申请提供了一种声扫图像数据库的构建方法。所述方法包括：
获取经超声扫描显微镜对集成电路样品进行扫描得到的原始声扫图像，并对所述原始声扫图像进行图像分层和图像裁剪处理，得到样本图像；
对所述样本图像进行数据清洗处理，得到数据清洗后的待检测样本图像；
获取对所述待检测样本图像进行缺陷标注所得到的标注图像，并基于所述标注图像构建多类别声扫图像数据库；
通过目标检测模型，对所述多类别声扫图像数据库进行有效判定，确定有效判定结果；
若所述有效判定结果表征通过，则确定多类别声扫图像数据库为有效的多类别声扫图像数据库，所述有效的多类别声扫图像数据库用于训练缺陷检测模型，以实现对集成电路进行智能缺陷检测。
第二方面，本申请还提供了一种声扫图像数据库的构建装置。所述装置包括：
获取模块，用于获取经超声扫描显微镜对集成电路样品进行扫描得到的原始声扫图像，并对所述原始声扫图像进行图像分层和图像裁剪处理，得到样本图像；
清洗模块，用于对所述样本图像进行数据清洗处理，得到数据清洗后的待检测样本图像；
构建模块，用于获取对所述待检测样本图像进行缺陷标注所得到的标注图像，并基于所述标注图像构建多类别声扫图像数据库；
判定模块，用于通过目标检测模型，对所述多类别声扫图像数据库进行有效判定，确定有效判定结果；
确定模块，用于若所述有效判定结果表征通过，则确定多类别声扫图像数据库为有效的多类别声扫图像数据库，所述有效的多类别声扫图像数据库用于训练缺陷检测模型，以实现对集成电路进行智能缺陷检测。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取经超声扫描显微镜对集成电路样品进行扫描得到的原始声扫图像，并对所述原始声扫图像进行图像分层和图像裁剪处理，得到样本图像；
对所述样本图像进行数据清洗处理，得到数据清洗后的待检测样本图像；
获取对所述待检测样本图像进行缺陷标注所得到的标注图像，并基于所述标注图像构建多类别声扫图像数据库；
通过目标检测模型，对所述多类别声扫图像数据库进行有效判定，确定有效判定结果；
若所述有效判定结果表征通过，则确定多类别声扫图像数据库为有效的多类别声扫图像数据库，所述有效的多类别声扫图像数据库用于训练缺陷检测模型，以实现对集成电路进行智能缺陷检测。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取经超声扫描显微镜对集成电路样品进行扫描得到的原始声扫图像，并对所述原始声扫图像进行图像分层和图像裁剪处理，得到样本图像；
对所述样本图像进行数据清洗处理，得到数据清洗后的待检测样本图像；
获取对所述待检测样本图像进行缺陷标注所得到的标注图像，并基于所述标注图像构建多类别声扫图像数据库；
通过目标检测模型，对所述多类别声扫图像数据库进行有效判定，确定有效判定结果；
若所述有效判定结果表征通过，则确定多类别声扫图像数据库为有效的多类别声扫图像数据库，所述有效的多类别声扫图像数据库用于训练缺陷检测模型，以实现对集成电路进行智能缺陷检测。
第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
获取经超声扫描显微镜对集成电路样品进行扫描得到的原始声扫图像，并对所述原始声扫图像进行图像分层和图像裁剪处理，得到样本图像；
对所述样本图像进行数据清洗处理，得到数据清洗后的待检测样本图像；
获取对所述待检测样本图像进行缺陷标注所得到的标注图像，并基于所述标注图像构建多类别声扫图像数据库；
通过目标检测模型，对所述多类别声扫图像数据库进行有效判定，确定有效判定结果；
若所述有效判定结果表征通过，则确定多类别声扫图像数据库为有效的多类别声扫图像数据库，所述有效的多类别声扫图像数据库用于训练缺陷检测模型，以实现对集成电路进行智能缺陷检测。
上述声扫图像数据库的构建方法、装置、计算机设备、存储介质和计算机程序产品，通过获取经超声扫描显微镜对集成电路样品进行扫描得到的原始声扫图像，并对该原始声扫图像进行图像分层和图像裁剪处理，能够实现对原始声扫图像的归纳和处理，以得到标准化的样本图像。对该样本图像进行数据清洗处理，得到数据清洗后的待检测样本图像，确保了待检测样本图像的质量，大大增加了多类别声扫图像数据库的有效性。获取对该待检测样本图像进行缺陷标注所得到的标注图像，并基于该标注图像构建多类别声扫图像数据库。通过目标检测模型，对该多类别声扫图像数据库进行有效判定，确定有效判定结果，从而能够准确且精准的反映多类别声扫图像数据库的有效性。若该有效判定结果表征通过，则确定多类别声扫图像数据库为有效的多类别声扫图像数据库，该有效的多类别声扫图像数据库用于训练缺陷检测模型，以实现对集成电路进行智能缺陷检测。这样，基于有效的多类别声扫图像数据库对缺陷检测模型进行训练，能够提高缺陷检测模型的准确度，大大提高了对集成电路智能检测的精准度。
附图说明
图1为一个实施例中声扫图像数据库的构建方法的应用环境图；
图2为一个实施例中声扫图像数据库的构建方法的流程示意图；
图3为一个实施例中集成样品灰度图像示意图；
图4为一个实施例中不同封装示意图；
图5为一个实施例中目标检测算法框架示意图；
图6为一个实施例中得到数据清洗后的待检测样本图像步骤的流程示意图；
图7为一个实施例中得到扩增图像步骤的流程示意图；
图8为一个实施例中确定有效判定结果步骤的流程示意图；
图9为一个实施例中缺陷检测示意图；
图10为另一个实施例中声扫图像数据库的构建方法的流程示意图；
图11为一个实施例中声扫图像数据库的构建装置的结构框图；
图12为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的声扫图像数据库的构建方法，可以应用于如图1所示的应用环境中。其中，超声扫描显微镜102通过网络与计算机设备104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。计算机设备104获取经超声扫描显微镜102对集成电路样品进行扫描得到的原始声扫图像，并对该原始声扫图像进行图像分层和图像裁剪处理，得到样本图像。计算机设备104对该样本图像进行数据清洗处理，得到数据清洗后的待检测样本图像。计算机设备104获取对该待检测样本图像进行缺陷标注所得到的标注图像，并基于该标注图像构建多类别声扫图像数据库。计算机设备104通过目标检测模型，对该多类别声扫图像数据库进行有效判定，确定有效判定结果。若该有效判定结果表征通过，则计算机设备104确定多类别声扫图像数据库为有效的多类别声扫图像数据库，该有效的多类别声扫图像数据库用于训练缺陷检测模型，以实现对集成电路进行智能缺陷检测。其中，计算机设备104可以是终端或服务器。其中，终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种声扫图像数据库的构建方法，以该方法应用于图1中的计算机设备102为例进行说明，包括以下步骤：
步骤S202，获取经超声扫描显微镜对集成电路样品进行扫描得到的原始声扫图像，并对该原始声扫图像进行图像分层和图像裁剪处理，得到样本图像。
其中，超声扫描显微镜(Scanning Acoustic Microscope，SAM)用于利用特定频率(5MHz至2GHz)的超声探头发射超声波来探测物体的内部结构和缺陷位置。该超声扫描显微镜可以在不破坏集成电路电气性能和保持结果完整性的前提下对产品进行内部形态识别和缺陷检测。
具体地，超声扫描显微镜对封装类型的集成电路样品进行逐层扫描，得到叠加形式的原始声扫图像。计算机设备获取该原始声扫图像，并对该原始声扫图像进行图像分层和图像裁剪处理，得到多个样本图像。
其中，封装类型为安装半导体集成电路芯片用的外壳，该封装类型可以有球状引脚栅格阵列（Ball Grid Array，BGA）、方形扁平无引脚（Quad Flat No-leads，QFN）、小外形集成电路（Small Outline Integrated Circuit，SOIC）和小外形（Small OutlinePackage，SOP）等封装类型。其中，叠加形式的原始声扫图像可以为TIFF格式的原始声扫图像。如图3所示，该图为研究人员会将同一型号的所有集成电路样品放置在一个托盘中进行扫描，得到整个托盘的灰度图像。其中，该灰度图像中呈现有多个原始声扫图像。
例如，超声扫描显微镜对多种封装类型的集成电路样品进行逐层C扫描，得到多个TIFF格式的原始声扫图像。该超声扫描显微镜将多个原始声扫图像发送至计算机设备，该计算机设备获取多个原始声扫图像。对于每个原始声扫图像，计算机设备对相应的原始声扫图像进行图像分层和图像裁剪处理，得到与相应的原始声扫图像对应的单一样本图像。其中，如图4所示展示了BGA类型、QFN类型、SOIC类型和SOP类型四种封装类型中不同产品的单一样本图像。
其中，TIFF格式的原始声扫图像中包含有多层的图像，即将多层的图像集成在一个原始声扫图像中。C扫描(C扫描成像)是利用超声探伤原理提取垂直于声束指定截面(即横向截面像)的回波信息而形成二维图像的技术。
步骤S204，对该样本图像进行数据清洗处理，得到数据清洗后的待检测样本图像。
具体地，计算机设备对该样本图像进行标准化、去模糊和滤波处理，得到滤波后的样本图像频谱。计算机设备基于该滤波后的样本图像频谱，通过图像增强和剔除处理，得到数据清洗后的待检测样本图像。
需要说明的是，该数据清洗后的待检测样本图像中包含有某一封装类型中的多种缺陷。其中，缺陷的类型包含有分层、裂纹和空洞。其中，分层中的界面分层是电子封装中最常见以及最难以界定的缺陷类型，也是影像集成电路可靠性的最大因素。其主要发生的区域包括：封装树脂与芯片界面之间、封装树脂与载片界面之间、封装树脂与引线框架界面之间、芯片与银浆界面之间和银浆与引线框架界面之间。
步骤S206，获取对该待检测样本图像进行缺陷标注所得到的标注图像，并基于该标注图像构建多类别声扫图像数据库。
其中，多类别声扫图像数据库(Multi-category Scanning Acoustic ImageDataset，MSAI)中存储有大量的目标图像。该目标图像用于对缺陷检测模型进行训练，以实现对集成电路进行智能缺陷检测。
具体地，专业检测人员对数据清洗后的待检测样本图像进行人工编码和标注，确定待检测样本图像的封装类型和缺陷类型。计算机设备基于待检测样本图像的封装类型和缺陷类型，通过数据标注工具标注待检测样本图像的封装类型和缺陷类型，得到标注图像。计算机设备基于该标注图像构建多类别声扫图像数据库。
其中，该数据标注工具用于对图像进行标注，如表1中列举了一些开源的数据标注工具及其特点。其中，除了LabelMe在使用时需要MIT许可外,其他工具均为开源使用。大部分的开源工具都可以运行在Windows、Linux、Mac OS系统上运行，而且这些开源工具大多只针对特定对象进行标注。
表1数据标注工具
Figure DEST_PATH_IMAGE002_15A
例如，专业检测人员有两类，分别为标注员和审核员。标注员对数据清洗后的待检测样本图像进行人工编码和预标注，得到待检测样本图像的待确定封装类型和待确定缺陷类型。审核员对待确定封装类型和待确定缺陷类型进行审核，以确定待检测样本图像的封装类型和缺陷类型。计算机设备基于待检测样本图像的封装类型和缺陷类型，通过数据标注工具标注待检测样本图像的封装类型和缺陷类型，得到标注图像。计算机设备基于该标注图像构建多类别声扫图像数据库。
其中，人工编码是由两位具有DPA(Destructive Physical Analysis，破坏性物理分析)检测经验和知识的标注人员独立进行标注工作，通过分析待检测样本图像的形态特征，综合判断该样本的缺陷类型。若编码结果存在较大的差异，则审核员通过超声扫描显微镜中的单点扫描模式，根据反射波的相位和大小差异检测以及判断缺陷，以进行审核。其中，标注员负责标注数据，通常由经过一定专业培训的人员来担任。在一些特定场合或者对标注质量要求极高的行业，也可以直接由模型训练人员(程序员)或者领域专家来担任。审核员负责已标注的数据，完成数据校对和数据统计，适时修改错误并补充遗漏的标注。这个角色往往由经验丰富的标注人员或权威专家来担任。
步骤S208，通过目标检测模型，对该多类别声扫图像数据库进行有效判定，确定有效判定结果。
其中，目标检测模型是基于深度学习的目标检测网络构建的，用于对多类别声扫图像数据库进行有效验证。
具体地，计算机设备通过目标检测模型，对该多类别声扫图像数据进行有效判定结果，确定有效判定结果。其中，该有效判定结果可以用文字或字符“0”“1”进行表征，具体不作限定。
其中，该目标检测模型可以分为One-stage模型和Two-stage模型两类，前者又被称为基于区域建议的目标检测算法或基于感兴趣区域的目标检测算法。这类算法通过显式的区域建议将检测问题转化为对生成的建议区域内局部图片的分类问题。代表算法有R-CNN(CNN：Convolutional Neural Network，卷积神经网络)、Fast R-CNN等。One-stage目标检测算法又叫做基于回归的目标检测算法。这类算法不直接生成感兴趣区域而将目标检测任务看作是对整幅图像的回归任务。代表算法有SSD(Single Shot MutiBox Detectior，单次多边框检测)和YOLO(You Only Look Once，只看一次)系列等。如图5所示的目标检测算法框架，主要介绍了两种目标检测模型。其中，目标检测算法包括R-CNN、Fast R-CNN、Faster R-CNN、SSD、YOLO-v1、YOLO-v2、YOLO-v3、YOLO-v4中的至少一种，具体不作限定。
步骤S210，若该有效判定结果表征通过，则确定多类别声扫图像数据库为有效的多类别声扫图像数据库，该有效的多类别声扫图像数据库用于训练缺陷检测模型，以实现对集成电路进行智能缺陷检测。
具体地，若该有效判定结果表征通过，则计算机设备确定多类别声扫图像数据库为有效的多类别图像数据库。计算机设备通过有效的多类别图像数据库对缺陷检测模型进行训练，得到训练完成的缺陷检测模型。计算机设备通过该训练完成的缺陷检测模型对集成电路进行智能缺陷检测。
上述声扫图像数据库的构建方法中，通过获取经超声扫描显微镜对集成电路样品进行扫描得到的原始声扫图像，并对该原始声扫图像进行图像分层和图像裁剪处理，能够实现对原始声扫图像的归纳和处理，以得到标准化的样本图像。对该样本图像进行数据清洗处理，得到数据清洗后的待检测样本图像，确保了待检测样本图像的质量，大大增加了多类别声扫图像数据库的有效性。获取对该待检测样本图像进行缺陷标注所得到的标注图像，并基于该标注图像构建多类别声扫图像数据库。通过目标检测模型，对该多类别声扫图像数据库进行有效判定，确定有效判定结果，从而能够准确且精准的反映多类别声扫图像数据库的有效性。若该有效判定结果表征通过，则确定多类别声扫图像数据库为有效的多类别声扫图像数据库，该有效的多类别声扫图像数据库用于训练缺陷检测模型，以实现对集成电路进行智能缺陷检测。这样，基于有效的多类别声扫图像数据库对缺陷检测模型进行训练，能够提高缺陷检测模型的准确度，大大提高了对集成电路智能检测的精准度。
在一个实施例中，该对该原始声扫图像进行图像分层和图像裁剪处理，得到样本图像，包括：对该原始声扫图像进行分层处理，得到集成电路样品中各个层分别对应的子原始声扫图像，并从多个子原始声扫图像中确定引线架层对应的子原始声扫图像。对该引线架层对应的子原始声扫图像进行图像剪裁，生成多个样本图像。
其中，引线架层也为引线框架，即作为集成电路的芯片载体，是一种借助于键合材料（金丝、铝丝、铜丝）实现芯片内部电路引出端与外引线的电气连接，形成电气回路的关键结构件。
具体地，计算机设备对原始声扫图像进行分层处理，得到集成电路样品中各个层分别对应的子原始声扫图像。计算机设备从多个子原始声扫图像中确定引线架层对应的子原始声扫图像。计算机设备对该引线架层对应的子原始声扫图像进行分割，生成多个单一的样本图像。
例如，计算机设备将TIFF格式的原始声扫图像进行分层处理得到多个JPG形式的子原始声扫图像。计算机设备从多个子原始声扫图像中确定引线架层对应的子原始声扫图像，并对引线架层对应的子原始声扫图像进行分割，生成多个单一的样本图像。
在本实施例中，通过对原始声扫图像进行分层处理，得到多个子原始声扫图像，能够迅速且准确的定位到引线架层对应的子原始声扫图像。通过对引线架层对应的子原始声扫图像进行分割处理，能够得到单一的样本图像，能够实现对原始声扫图像归纳和处理，以得到标准化的样本图像。
在一个实施例中，如图6所示，该对该样本图像进行数据清洗处理，得到数据清洗后的待检测样本图像，包括：
步骤S602，对该样本图像的像素进行标准化处理，得到标准化的样本图像。
具体地，计算机设备对每个样本图像的像素均进行标准化处理，得到像素相同的样本图像。例如，计算机设备将样本图像A的像素标准化为227X227像素，得到标准化后的样本图像A。
步骤S604，基于该标准化的样本图像，通过图像退化模型，确定退化处理后的样本图像。
其中，该图像退化模型基于最小均方差(即维纳)滤波的算法构建的。该图像退化模型用于对已经退化的图像进行重建和复原，以提高图像清晰度。该图像退化模型用来去除含有噪声的模糊图像，其目标是找到一个未污染图像的一个估计，使得模糊图像和未污染图像之间的均方差最小，从而能够在去除噪声的同时使得模糊图像清晰。
具体地，计算机设备通过图像退化模型对该标准化的样本图像进行去模糊和滤波处理，得到滤波处理后的样本图像频谱。计算机设备基于该样本图像频谱，通过傅里叶变化，得到退化处理后的样本图像。
例如，该图像退化模型公式如下所示：
Figure DEST_PATH_IMAGE004_11A
其中，x和y代表图像的坐标，可以是中心坐标，具体不作限定。f(x,y)为输入图像，g(x,y)为退化图像，h(x,y)为退化函数，
Figure DEST_PATH_IMAGE006_15A
为加性噪声，将上式进行傅里叶变换有：
Figure DEST_PATH_IMAGE008_10A
根据傅里叶变换的特性，空间域的卷积等于时间域中的乘积。若不考虑退化函数，图像退化模型简化为图像噪声模型，即如下所示：
Figure DEST_PATH_IMAGE010_10A
此时，将图像去模糊问题简化为图像去噪问题，可以通过空间域滤波等总舵方法解决。若不考虑加性噪声，该图像退化模型简化如下：
Figure DEST_PATH_IMAGE012_15A
此时，通过逆滤波解决，即通过傅里叶变换以及阵列除法获得恢复后的图像频谱。若退化函数和加性噪声都考虑，则需要维纳滤波进行处理，得到图像频谱
Figure DEST_PATH_IMAGE014_13A
：
Figure DEST_PATH_IMAGE016_13A
其中，
Figure DEST_PATH_IMAGE018_13A
为噪声的功率谱，即可以通过输入的方差构造一个噪声图像
Figure DEST_PATH_IMAGE020_13A
并计算其功率谱。
Figure DEST_PATH_IMAGE022_12A
为输入图像的功率谱。
若不考虑加性噪声，则基于对上述图像频谱公式进行简化，即：
Figure DEST_PATH_IMAGE024_14A
该图像频谱为滤波后的样本图像频谱。计算机设备对该样本图像频谱进行傅里叶转化，得到时域中的退化处理后的样本图像。
步骤S606，通过直方图增强模型，对该退化处理后的样本图像的对比度进行增强，得到待检测样本图像。
其中，该直方图增强模型用于对图像进行对比度检测，以去除掉低对比度的图像。
具体地，计算机设备通过直方图增强模型，对该退化后的样本图像进行增强，得到增强后的样本图像。计算机设备从多个增强后的样本图像中剔除重复的样本图像，将剔除后保留下来的样本图像作为待检测样本图像。
例如，计算机设备通过限制对比度自适应直方图增强算法(Contrast LimitedAdaptive Histogram Equalization，CLAHE)构建直方图增强模型。计算机设备基于该直方图增强模型，将退化处理后的样本图像裁剪为大小相同且连续不重叠的子块，并对每个子块的直方图进行裁剪，得到裁剪后的像素，并计算裁剪幅值。计算机设备基于该直方图增强模型，分配像素点，并将裁剪后的像素平均分配到每个子块的每个灰度级上，得到对比度受限后的灰度直方图。计算机设备基于该直方图增强模型，对每个子块对比度受限后的灰度直方图进行均衡化处理，得到均衡化后的直方图，并对于均衡化后的直方图，在水平和垂直2个方向进行差值计算，得到差值后的直方图。计算机设备基于多个差值后的直方图，通过该直方图增强模型，得到增强后的样本图像。计算机设备从多个增强后的样本图像中剔除重复的样本图像，将剔除后保留下来的样本图像作为待检测样本图像。
其中，限制对比度自适应直方图增强算法（Contrast Limited AdaptiveHistogram Equalization，CLAHE）用于对图像进行处理以消除低对比度对后续算法的影响，CLAHE算法能够解决原始直方图均衡中的问题，比如在灰度非常集中的区域，由于直方图被拉非常稀疏，导致对比度增强过大，从而成为噪点。比如在一切区域调整后变得过暗/过亮，丢失细节。CLAHE算法相对于直方图均衡（Adaptive Histogram Equalization，AHE）算法，CLAHE算法加入了对比度限制，通过限制AHE算法的对比增强程度来达到效果，变换函数的斜率能够表征一个像素值的周边对比度放大程度，且该斜率和邻域的积累分布函数的斜率成正比。
在本实施例中，通过对样本图像的像素进行标准化处理，得到标准化的样本图像，以统一各标准化的样本图像的像素。通过图像退化模型对标准化的样本图像进行去模糊和滤波处理，能够得到高质量的退化后的样本图像。通过直方图增强模型对退化后的样本图像的对比度进行增强，以去除低对比度的样本图像，从而，能够确保了待检测样本图像的图像质量，大大增加了多类别声扫图像数据库的有效性。
在一个实施例中，该基于该标注图像构建多类别声扫图像数据库，包括：通过数据扩增模型对标注图像进行扩增处理，得到对应的扩增图像。基于该扩增图像和该标注图像，构建多类别声扫图像数据库。
具体地，计算机设备获取至少一个数据扩增模型，并基于该标注图像，通过至少一个数据扩增模型进行扩增处理，得到与标注图像对应的扩增图像。计算机设备将扩增图像和标注图像均作为目标图像，并基于多个目标图像构建多类别声扫图像数据库。
例如，对于标注图像P，该标注图像P的封装类型为SOP，且包含有分层缺陷和分层缺陷。计算机设备获取两个数据扩增模型，分别为数据扩增模型a和数据扩增模型b。计算机设备通过数据扩增模型a对标注图像进行扩增，得到与数据扩增模型a对应的扩增图像。计算机设备通过数据扩增模型b对标注图像进行扩增，得到与数据扩增模型b对应的扩增图像。即，对于标注图像P，对应有两种扩增图像。
需要说明的是，通过数据扩增模型能够丰富图像的特征，并且增加多类别声扫图像数据库中的目标图像，以避免训练缺陷检测模型时造成过拟合问题。
在本实施例中，通过数据扩增模型对标注图像进行扩增处理，得到对应的扩增图像。基于该扩增图像和该标注图像，构建多类别声扫图像数据库。这样，通过数据扩增模型能够实现图像的“自我繁殖”能力，从而产生足量、合理且均衡的扩增图像，进而，大大增加了多类别声扫图像数据库的质量，确保了多类别声扫图像数据库的有效性。此外，避免了训练缺陷检测模型时造成过拟合问题。
在一个实施例中，如图7所示，该数据扩增模型包括几何变换模型、颜色变换模型、对抗生成模型，该通过数据扩增模型对标注图像进行扩增处理，得到对应的扩增图像，包括：
步骤S702，对于每个标注图像，通过几何变换模型对相应标注图像进行扩增处理，得到与相应标注图像对应的第一扩增图像。
具体地，对于每个标注图像，计算机设备通过几何变换模型对相应标注图像进行多种几何处理，得到多个与相应标注图像对应的第一扩增图像。其中，几何处理可以是翻、旋转、裁剪、变形、缩放中的至少一种。
步骤S704，对于每个标注图像，通过对相应标注图像颜色变换模型进行扩增处理，得到与相应标注图像对应的第二扩增图像。
具体地，对于每个标注图像，计算机设备通过对相应标注图像进行多种像素处理，得到与相应标注图像对应的第二扩增图像。其中，像素处理包括对图像部分的像素或全部的像素进行重分布，比如，添加噪声、亮度、色调变换和填充操作等。
步骤S706，对于每个标注图像，均基于与相应标注图像对应的封装类型和缺陷类型，通过对抗生成模型进行扩增处理，得到与相应标注图像对应的第三扩增图像。
其中，对抗生成模型(Generative Adversarial Networks，GAN)是一种无监督学习方法，用于产生原始数据库中的图像数据。
具体地，计算机设备确定各个标注图像的封装类型和缺陷类型。对于每个标注图像，计算机设备均基于与相应标注图像对应的封装类型和缺陷类型，通过对抗生成模型进行扩增处理，得到与相应标注图像对应的第三扩增图像。需要说明的是，第三扩增图像的封装类型和缺陷类型分别与相应的标注图像的封装类型和缺陷类型一致。
其中，对抗生成模型包含生成网络和判别网络，该生成网络负责生成图片，即通过接收一个随机噪声生成图片，将生成的图片即为G(z)。判别网络负责判别一张图片是否是“真实的”，输入为e，e代表一张图片，输出D(e)表示e为真实图片的概率。在训练的过程中，生成网络的目标是尽量生成真实的图片去欺骗判别网络。而判别网络是尽量把生成图片和真实图片区分开。在理想状态下，生成网络可以生成足以“以假乱真”的图片G(z)。对D来说，它难以判定G生成的图片究竟是不是真实的，因此D(e)=0.5。此时得到一个生成式的模型G，可以用来生成图片。
步骤S708，对于每个标注图像，将与相应标注图像对应的该第一扩增图像、该第二扩增图像、以及该第三扩增图像，均作为与相应标注图像对应的扩增图像。
具体地，对于每个标注图像，计算机设备获取与相应标注图像对应的第一扩增图像、第二扩增图像和第三扩在图形。计算机设备将与相应标注图像对应的第一扩增图像和第二扩增图像和第三扩增图像，均作为与相应标注图像对应的扩增图像。
在本实施例中，通过几何变换模型、颜色变换模型和对抗生成模型，对标注图像进行扩增，实现了图像的“自我繁殖”能力，从而产生足量、合理且均衡的扩增图像，进而，大大增加了多类别声扫图像数据库的质量，确保了多类别声扫图像数据库的有效性。此外，避免了训练缺陷检测模型时造成过拟合问题。
在一个实施例中，如图8所示，该通过目标检测模型，对所述多类别声扫图像数据库进行有效判定，确定有效判定结果，包括：
步骤S802，通过目标检测模型，对该多类别声扫图像数据库中的目标图像进行检测，确定各个目标图像分别对应的检测结果；其中，该检测结果包括识别结果和指标结果。
具体地，计算机设备通过目标检测模型，对该多类别声扫图像数据库中的目标图像进行检测，确定目标图像中的边框，并确定各个边框分别对应的缺陷位置和缺陷类型。计算机设备基于目标图像的缺陷位置和缺陷类型，确定各个目标图像分别对应的检测结果。其中，该检测结果包括识别结果和指标结果。该识别结果用于表征目标图像是否识别成功。该指标结果为识别出的预测边框区域、以及真实边框的区域，该指标结果用于表征预测精度。
需要说明的是，每一个边框对应有预测出的预测边框和真实边框。识别结果和指标结果均与目标图像中的边框对应。
比如，计算机设备通过目标检测模型，对目标图像M进行检测，确定目标图像M对应的缺陷位置和缺陷类型，如图9所示的缺陷检测示意图。其中，类型1边框、类型2边框、类型3边框分别代表不同的缺陷类型，每个类型边框的数字表征封装类型和缺陷类型。
步骤S804，基于各个目标图像分别对应的识别结果，确定识别成功的图像数量。
具体地，计算机设备获取各个目标图像分别对应的识别结果，并统计识别结果表征为识别成功的图像数量。
步骤S806，基于各个目标图像分别对应的指标结果，确定平均精确率均值。
具体地，对于每个目标图像中的多个边框，计算机设备基于与相应目标图像对应的指标结果，通过交并比计算，确定与相应目标图像对应的交并比结果。计算机设备基于各个目标图像的交并比结果，通过精度计算和召回率，得到各个目标图像分别对应的精度结果和召回率结果。计算机设备基于多个精度结果和召回率结果，通过平均精确度计算，确定各个目标图像分别对应的平均精确度结果。计算机设备基于平均精确度结果，计算得到平均精确率均值。
例如，对于目标图像M，确定该目标图像M的预测边框和真实边框。计算机设备对于目标图像M中的边框j，确定指标结果，该指标结果为与边框j对应的预测边框的区域和真实边框的区域。计算机设备通过交并比计算，得到各个边框j对应的交并比结果(IoU)，具体公式如下：
Figure DEST_PATH_IMAGE026_10A
其中，
Figure DEST_PATH_IMAGE028_8A
和
Figure DEST_PATH_IMAGE030_11A
分别缺陷的真实边框和预测边框，公式的分子表征预测边框和真实边框的重叠区域，公式的分母表征预测边框与真实边框所占的总区域。其中预测边框的判定存在一个阈值σ，当IoU>σ，认为模型检测到了目标物体。
计算机设备基于目标图像中的各个交并比结果，通过如下所示的精度公式和召回率公式，确定精度结果（Precision）和召回率结果（Recall）：
Figure DEST_PATH_IMAGE032_11A
Figure DEST_PATH_IMAGE034_8A
其中，如果IoU大于阈值，则分类为TP；IoU小于阈值，则分类为FP；如果模型没有检测出真实框中存在的缺陷，则这些目标分类为FN。
计算机设备基于多个精度结果和召回率结果，通过平均精确度计算，确定各个目标图像分别对应的平均精确度结果。计算机设备基于平均精确度结果，计算得到平均精确率均值。
需要说明的是，平均精确度（Average Precision，AP）对不同召回率点上的准确率进行平均，AP值越大，则说明模型的平均准确率越高。对于多类别的目标检测任务，通常用平均精确率均值（Mean Average Precision，mAP）作为评价指标，衡量学习到的模型在所有类别上的优劣。
步骤S808，将该识别成功的图像数量与识别阈值进行比较，得到第一比较结果，并将该平均精确率均值与均值阈值进行比较，得到第二比较结果。
具体地，计算机设备获取识别成功的图像数量和平均精确率均值，并将识别成功的图像数量与识别阈值进行比较，得到第一比较结果，并将该平均精确率均值与均值阈值进行比较，得到第二比较结果。
步骤S810，基于该第一比较结果和该第二比较结果，确定有效判定的结果。
具体地，若第一比较结果表征为识别成功的图像数量大于或等于识别阈值、且第二比较识别结果表征平均精确率均值大于或等于均值阈值，则确定有效判定结果表征为通过。若第一比较结果表征为识别成功的图像数量小于识别阈值、或者第二比较识别结果表征平均精确率均值小于均值阈值，则有效判定结果均表征不通过。
在本实施例中，通过目标检测模型检测，对多类别声扫图像数据库中的目标图像进行检测，得到识别结果和指标结果。基于识别结果，确定识别成功的图像数量，从而，能够准确反映识别成功的图像数量与识别阈值的第一比较结果。基于指标结果确定平均精确率均值，从而，准确反映平均精确率均值与均值阈值的第二比较结果。通过第一比较结果和第二比较结果，对多类别声扫图像数据库进行双重验证，得到有效判定的结果，大大提高了有效判定的结果的有效性。
为了便于更加清楚的了解本申请的技术方案，提供了一个更为详细实施例进行描述。如图10所示，本申请涉及到的流程可以分为原始声扫图像(对应图中的原始图像)采集、原始声扫图像处理、数据清洗、数据标注、数据增强、多类别声扫图像数据库验证的流程。具体步骤如下所示：
步骤一、原始声扫图像采集：超声扫描显微镜对球状引脚栅格阵列（Ball GridArray，BGA）、方形扁平无引脚（Quad Flat No-leads，QFN）、小外形集成电路（SmallOutline Integrated Circuit，SOIC）和小外形（Small Outline Package，SOP）等封装类型的集成电路产品进行声扫图像采集，得到原始声扫图像。其中，该原始声扫图像为叠加形式的原始声扫图像，可以为TIFF格式的原始声扫图像。
步骤二、原始声扫图像处理：计算机设备获取多个原始声扫图像。计算机设备将TIFF格式的原始声扫图像进行分层处理得到多个JPG形式的子原始声扫图像。计算机设备从多个子原始声扫图像中确定引线架层对应的子原始声扫图像，并对引线架层对应的子原始声扫图像进行分割（即剪裁），生成多个单一的样本图像。
步骤三、数据清洗：计算机设备对每个样本图像的像素均进行标准化处理，得到像素相同的样本图像。计算机设备通过图像退化模型对该标准化的样本图像进行去模糊和滤波处理，得到滤波处理后的样本图像频谱。计算机设备基于该样本图像频谱，通过傅里叶变化，得到退化处理后的样本图像。计算机设备通过直方图增强模型，对该退化后的样本图像进行增强，得到增强后的样本图像。计算机设备从多个增强后的样本图像中剔除重复的样本图像，将剔除后保留下来的样本图像作为待检测样本图像。
步骤四、数据标注：标注员对数据清洗后的待检测样本图像进行人工编码和预标注，得到待检测样本图像的待确定封装类型和待确定缺陷类型。审核员对待确定封装类型和待确定缺陷类型进行审核，以确定待检测样本图像的封装类型和缺陷类型。计算机设备基于待检测样本图像的封装类型和缺陷类型，通过数据标注工具标注待检测样本图像的封装类型和缺陷类型，得到标注图像。
步骤五、数据增强：对于每个标注图像，计算机设备通过几何变换模型对相应标注图像进行多种几何处理，得到多个与相应标注图像对应的第一扩增图像。其中，几何处理可以是翻、旋转、裁剪、变形、缩放中的至少一种。对于每个标注图像，计算机设备通过对相应标注图像进行多种像素处理，得到与相应标注图像对应的第二扩增图像。其中，像素处理包括对图像部分的像素或全部的像素进行重分布，比如，添加噪声、亮度、色调变换和填充操作等。计算机设备确定各个标注图像的封装类型和缺陷类型。对于每个标注图像，计算机设备均基于与相应标注图像对应的封装类型和缺陷类型，通过对抗生成模型进行扩增处理，得到与相应标注图像对应的第三扩增图像。需要说明的是，第三扩增图像的封装类型和缺陷类型分别与相应的标注图像的封装类型和缺陷类型一致。对于每个标注图像，计算机设备获取与相应标注图像对应的第一扩增图像、第二扩增图像和第三扩在图形。计算机设备将与相应标注图像对应的第一扩增图像和第二扩增图像和第三扩增图像，均作为与相应标注图像对应的扩增图像。计算机设备将扩增图像和标注图像均作为目标图像，并基于多个目标图像构建多类别声扫图像数据库。
步骤六、多类别声扫图像数据库验证：计算机设备通过目标检测模型，对该多类别声扫图像数据库中的目标图像进行检测，确定目标图像中的边框(即对应图中的确定框架步骤)，并确定各个边框分别对应的缺陷位置和缺陷类型。计算机设备基于目标图像(即对应图中的训练数据)的缺陷位置和缺陷类型，确定各个目标图像分别对应的检测结果（即对应图中通过训练网络对训练数据进行训练，得到测试数据）。其中，该检测结果包括识别结果和指标结果。计算机设备获取各个目标图像分别对应的识别结果，并统计识别结果表征为识别成功的图像数量。对于每个目标图像中的多个边框，计算机设备基于与相应目标图像对应的指标结果，通过交并比计算，确定与相应目标图像对应的交并比结果。计算机设备基于各个目标图像的交并比结果，通过精度计算和召回率，得到各个目标图像分别对应的精度结果和召回率结果。计算机设备基于多个精度结果和召回率结果，通过平均精确度计算，确定各个目标图像分别对应的平均精确度结果。计算机设备基于平均精确度结果，计算得到平均精确率均值。计算机设备获取识别成功的图像数量和平均精确率均值，并将识别成功的图像数量与识别阈值进行比较，得到第一比较结果，并将该平均精确率均值与均值阈值进行比较，得到第二比较结果。若第一比较结果表征为识别成功的图像数量大于或等于识别阈值、且第二比较识别结果表征平均精确率均值大于或等于均值阈值，则确定有效判定结果（对应于图中的验证结果）表征为通过。若第一比较结果表征为识别成功的图像数量小于识别阈值、或者第二比较识别结果表征平均精确率均值小于均值阈值，则有效判定结果均表征不通过。
在本实施例中，通过获取经超声扫描显微镜对集成电路样品进行扫描得到的原始声扫图像，并对该原始声扫图像进行图像分层和图像裁剪处理，能够实现对原始声扫图像的归纳和处理，以得到标准化的样本图像。对该样本图像进行数据清洗处理，得到数据清洗后的待检测样本图像，确保了待检测样本图像的质量，大大增加了多类别声扫图像数据库的有效性。获取对该待检测样本图像进行缺陷标注所得到的标注图像，并基于该标注图像构建多类别声扫图像数据库。通过目标检测模型，对该多类别声扫图像数据库进行有效判定，确定有效判定结果，从而能够准确且精准的反映多类别声扫图像数据库的有效性。若该有效判定结果表征通过，则确定多类别声扫图像数据库为有效的多类别声扫图像数据库，该有效的多类别声扫图像数据库用于训练缺陷检测模型，以实现对集成电路进行智能缺陷检测。这样，基于有效的多类别声扫图像数据库对缺陷检测模型进行训练，能够提高缺陷检测模型的准确度，大大提高了对集成电路智能检测的精准度。此外，本申请的方法整理了面向集成电路内部缺陷的声扫图像数据库涉及、构建和验证方法，为其他数据集建设提供了理论基础。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的声扫图像数据库的构建方法的声扫图像数据库的构建装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个声扫图像数据库的构建装置实施例中的具体限定可以参见上文中对于声扫图像数据库的构建方法的限定，在此不再赘述。
在一个实施例中，如图11所示，提供了一种声扫图像数据库的构建装置，包括：获取模块1102、清洗模块1104、构建模块1106、判定模块1108和确定模块1110，其中：
获取模块1102，用于获取经超声扫描显微镜对集成电路样品进行扫描得到的原始声扫图像，并对该原始声扫图像进行图像分层和图像裁剪处理，得到样本图像。
清洗模块1104，用于对该样本图像进行数据清洗处理，得到数据清洗后的待检测样本图像。
构建模块1106，用于获取对该待检测样本图像进行缺陷标注所得到的标注图像，并基于该标注图像构建多类别声扫图像数据库。
判定模块1108，用于通过目标检测模型，对该多类别声扫图像数据库进行有效判定，确定有效判定结果。
确定模块1110，用于若该有效判定结果表征通过，则确定多类别声扫图像数据库为有效的多类别声扫图像数据库，该有效的多类别声扫图像数据库用于训练缺陷检测模型，以实现对集成电路进行智能缺陷检测。
在一个实施例中，该获取模块1102，用于对该原始声扫图像进行分层处理，得到集成电路样品中各个层分别对应的子原始声扫图像，并从多个子原始声扫图像中确定引线架层对应的子原始声扫图像。对该引线架层对应的子原始声扫图像进行图像剪裁，生成多个样本图像。
在一个实施例中，该清洗模块1104，用于对该样本图像的像素进行标准化处理，得到标准化的样本图像。基于该标准化的样本图像，通过图像退化模型，确定退化处理后的样本图像。通过直方图增强模型，对该退化处理后的样本图像的对比度进行增强，得到待检测样本图像。
在一个实施例中，该构建模块1106，用于通过数据扩增模型对标注图像进行扩增处理，得到对应的扩增图像。基于该扩增图像和所述标注图像，构建多类别声扫图像数据库。
在一个实施例中，该构建模块1106，用于对于每个标注图像，通过几何变换模型对与相应标注图像进行扩增处理，得到与相应标注图像对应的第一扩增图像。对于每个标注图像，通过对相应标注图像颜色变换模型进行扩增处理，得到与相应标注图像对应的第二扩增图像。对于每个标注图像，均基于与相应标注图像对应的封装类型和缺陷类型，通过对抗生成模型进行扩增处理，得到与相应标注图像对应的第三扩增图像。对于每个标注图像，将与相应标注图像对应的该第一扩增图像、该第二扩增图像、以及该第三扩增图像，均作为与相应标注图像对应的扩增图像。
在一个实施例中，该判定模块1108，用于通过目标检测模型，对该多类别声扫图像数据库中的目标图像进行检测，确定各个目标图像分别对应的检测结果；其中，该检测结果包括识别结果和指标结果。基于各个目标图像分别对应的识别结果，确定识别成功的图像数量。基于各个目标图像分别对应的指标结果，确定平均精确率均值。将该识别成功的图像数量与识别阈值进行比较，得到第一比较结果，并将该平均精确率均值与均值阈值进行比较，得到第二比较结果。基于该第一比较结果和该第二比较结果，确定有效判定的结果。
上述声扫图像数据库的构建装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图12所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O）和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储声扫图像数据库的构建数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种声扫图像数据库的构建方法。
本领域技术人员可以理解，图12中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种声扫图像数据库的构建方法，其特征在于，所述方法包括：
获取经超声扫描显微镜对集成电路样品进行扫描得到的原始声扫图像，并对所述原始声扫图像进行图像分层和图像裁剪处理，得到样本图像；
对所述样本图像进行数据清洗处理，得到数据清洗后的待检测样本图像；
获取对所述待检测样本图像进行缺陷标注所得到的标注图像，并基于所述标注图像构建多类别声扫图像数据库；
通过目标检测模型，对所述多类别声扫图像数据库进行有效判定，确定有效判定结果；
若所述有效判定结果表征通过，则确定多类别声扫图像数据库为有效的多类别声扫图像数据库，所述有效的多类别声扫图像数据库用于训练缺陷检测模型，以实现对集成电路进行智能缺陷检测。
2.根据权利要求1所述的方法，其特征在于，所述对所述原始声扫图像进行图像分层和图像裁剪处理，得到样本图像，包括：
对所述原始声扫图像进行分层处理，得到集成电路样品中各个层分别对应的子原始声扫图像，并从多个子原始声扫图像中确定引线架层对应的子原始声扫图像；
对所述引线架层对应的子原始声扫图像进行图像剪裁，生成多个样本图像。
3.根据权利要求1所述的方法，其特征在于，所述对所述样本图像进行数据清洗处理，得到数据清洗后的待检测样本图像，包括：
对所述样本图像的像素进行标准化处理，得到标准化的样本图像；
基于所述标准化的样本图像，通过图像退化模型，确定退化处理后的样本图像；
通过直方图增强模型，对所述退化处理后的样本图像的对比度进行增强，得到待检测样本图像。
4.根据权利要求1所述的方法，其特征在于，所述基于所述标注图像构建多类别声扫图像数据库，包括：
通过数据扩增模型对标注图像进行扩增处理，得到对应的扩增图像；
基于所述扩增图像和所述标注图像，构建多类别声扫图像数据库。
5.根据权利要求4所述的方法，其特征在于，所述数据扩增模型包括几何变换模型、颜色变换模型、对抗生成模型，所述通过数据扩增模型对标注图像进行扩增处理，得到对应的扩增图像，包括：
对于每个标注图像，通过几何变换模型对与相应标注图像进行扩增处理，得到与相应标注图像对应的第一扩增图像；
对于每个标注图像，通过对相应标注图像颜色变换模型进行扩增处理，得到与相应标注图像对应的第二扩增图像；
对于每个标注图像，均基于与相应标注图像对应的封装类型和缺陷类型，通过对抗生成模型进行扩增处理，得到与相应标注图像对应的第三扩增图像；
对于每个标注图像，将与相应标注图像对应的所述第一扩增图像、所述第二扩增图像、以及所述第三扩增图像，均作为与相应标注图像对应的扩增图像。
6.根据权利要求1所述的方法，其特征在于，所述通过目标检测模型，对所述多类别声扫图像数据库进行有效判定，确定有效判定结果，包括：
通过目标检测模型，对所述多类别声扫图像数据库中的目标图像进行检测，确定各个目标图像分别对应的检测结果；其中，所述检测结果包括识别结果和指标结果；
基于各个目标图像分别对应的识别结果，确定识别成功的图像数量；
基于各个目标图像分别对应的指标结果，确定平均精确率均值；
将所述识别成功的图像数量与识别阈值进行比较，得到第一比较结果，并将所述平均精确率均值与均值阈值进行比较，得到第二比较结果；
基于所述第一比较结果和所述第二比较结果，确定有效判定的结果。
7.一种声扫图像数据库的构建装置，其特征在于，所述装置包括：
获取模块，用于获取经超声扫描显微镜对集成电路样品进行扫描得到的原始声扫图像，并对所述原始声扫图像进行图像分层和图像裁剪处理，得到样本图像；
清洗模块，用于对所述样本图像进行数据清洗处理，得到数据清洗后的待检测样本图像；
构建模块，用于获取对所述待检测样本图像进行缺陷标注所得到的标注图像，并基于所述标注图像构建多类别声扫图像数据库；
判定模块，用于通过目标检测模型，对所述多类别声扫图像数据库进行有效判定，确定有效判定结果；
确定模块，用于若所述有效判定结果表征通过，则确定多类别声扫图像数据库为有效的多类别声扫图像数据库，所述有效的多类别声扫图像数据库用于训练缺陷检测模型，以实现对集成电路进行智能缺陷检测。
8.根据权利要求7所述的声扫图像数据库的构建装置，其特征在于，所述获取模块，用于对所述原始声扫图像进行分层处理，得到集成电路样品中各个层分别对应的子原始声扫图像，并从多个子原始声扫图像中确定引线架层对应的子原始声扫图像；对所述引线架层对应的子原始声扫图像进行图像剪裁，生成多个样本图像。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
CN202210183882.4A 2022-02-28 2022-02-28 声扫图像数据库的构建方法、装置、计算机设备 Active CN114240947B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210183882.4A CN114240947B (zh) 2022-02-28 2022-02-28 声扫图像数据库的构建方法、装置、计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210183882.4A CN114240947B (zh) 2022-02-28 2022-02-28 声扫图像数据库的构建方法、装置、计算机设备

Publications (2)

Publication Number Publication Date
CN114240947A true CN114240947A (zh) 2022-03-25
CN114240947B CN114240947B (zh) 2022-06-14

Family

ID=80748280

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210183882.4A Active CN114240947B (zh) 2022-02-28 2022-02-28 声扫图像数据库的构建方法、装置、计算机设备

Country Status (1)

Country Link
CN (1) CN114240947B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115774055A (zh) * 2023-02-10 2023-03-10 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） 集成电路内部缺陷检测方法、装置与系统
CN116071309A (zh) * 2022-12-27 2023-05-05 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） 元器件的声扫缺陷检测方法、装置、设备和存储介质
CN117036916A (zh) * 2023-08-02 2023-11-10 中国航空发动机研究院 基于轻量级卷积神经网络模型的磨粒类型识别方法及装置

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101692069A (zh) * 2009-10-16 2010-04-07 中国电子科技集团公司第四十五研究所 超声扫描显微镜c扫描tof图像的构建方法
CN103048388A (zh) * 2012-12-05 2013-04-17 中国电子科技集团公司第四十五研究所 一种超声扫描显微镜逐层c扫描峰值图像的构建方法
EP3382386A1 (en) * 2017-03-29 2018-10-03 Fujitsu Limited Defect detection using ultrasound scan data
CN109063740A (zh) * 2018-07-05 2018-12-21 高镜尧 超声影像关键目标的检测模型构建及检测方法、装置
CN110728307A (zh) * 2019-09-20 2020-01-24 天津大学 自生成数据集与标签实现x光影像图小样本字符识别方法
CN111007149A (zh) * 2019-09-30 2020-04-14 湖北航天技术研究院计量测试技术研究所 Tsop叠层芯片内部检测方法
CN112132815A (zh) * 2020-09-25 2020-12-25 广州视源电子科技股份有限公司 肺结节检测模型训练方法、检测方法及装置
CN112345556A (zh) * 2020-11-23 2021-02-09 兰州大学 一种集成电路的故障诊断系统及方法
CN112613553A (zh) * 2020-12-18 2021-04-06 中电金信软件有限公司 图片样本集生成方法、装置、计算机设备和存储介质
CN112950560A (zh) * 2021-02-20 2021-06-11 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） 电子元器件缺陷检测方法、装置及系统
CN113012123A (zh) * 2021-03-13 2021-06-22 山东大学 碳纤维复合材料缺陷损伤分类识别与定量分析方法及系统
CN113096119A (zh) * 2021-04-30 2021-07-09 上海众壹云计算科技有限公司 晶圆缺陷分类的方法、装置、电子设备以及存储介质
CN113555092A (zh) * 2020-04-24 2021-10-26 辉达公司 使用一个或更多个神经网络的图像注释

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101692069A (zh) * 2009-10-16 2010-04-07 中国电子科技集团公司第四十五研究所 超声扫描显微镜c扫描tof图像的构建方法
CN103048388A (zh) * 2012-12-05 2013-04-17 中国电子科技集团公司第四十五研究所 一种超声扫描显微镜逐层c扫描峰值图像的构建方法
EP3382386A1 (en) * 2017-03-29 2018-10-03 Fujitsu Limited Defect detection using ultrasound scan data
CN109063740A (zh) * 2018-07-05 2018-12-21 高镜尧 超声影像关键目标的检测模型构建及检测方法、装置
CN110728307A (zh) * 2019-09-20 2020-01-24 天津大学 自生成数据集与标签实现x光影像图小样本字符识别方法
CN111007149A (zh) * 2019-09-30 2020-04-14 湖北航天技术研究院计量测试技术研究所 Tsop叠层芯片内部检测方法
CN113555092A (zh) * 2020-04-24 2021-10-26 辉达公司 使用一个或更多个神经网络的图像注释
CN112132815A (zh) * 2020-09-25 2020-12-25 广州视源电子科技股份有限公司 肺结节检测模型训练方法、检测方法及装置
CN112345556A (zh) * 2020-11-23 2021-02-09 兰州大学 一种集成电路的故障诊断系统及方法
CN112613553A (zh) * 2020-12-18 2021-04-06 中电金信软件有限公司 图片样本集生成方法、装置、计算机设备和存储介质
CN112950560A (zh) * 2021-02-20 2021-06-11 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） 电子元器件缺陷检测方法、装置及系统
CN113012123A (zh) * 2021-03-13 2021-06-22 山东大学 碳纤维复合材料缺陷损伤分类识别与定量分析方法及系统
CN113096119A (zh) * 2021-04-30 2021-07-09 上海众壹云计算科技有限公司 晶圆缺陷分类的方法、装置、电子设备以及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
FRANCESCO BERTOCCI等: "Scanning Acoustic Microscopy (SAM): A Robust Method for Defect Detection during the Manufacturing Process of Ultrasound Probes for Medical Imaging", 《SENSORS》 *
王旭亮等: "基于超声扫描的塑封器件缺陷判定方法研究", 《电子器件》 *
田健等: "塑封器件声扫检查时分层假象的识别方法", 《电子与封装》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116071309A (zh) * 2022-12-27 2023-05-05 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） 元器件的声扫缺陷检测方法、装置、设备和存储介质
CN116071309B (zh) * 2022-12-27 2024-05-17 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） 元器件的声扫缺陷检测方法、装置、设备和存储介质
CN115774055A (zh) * 2023-02-10 2023-03-10 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） 集成电路内部缺陷检测方法、装置与系统
CN117036916A (zh) * 2023-08-02 2023-11-10 中国航空发动机研究院 基于轻量级卷积神经网络模型的磨粒类型识别方法及装置
CN117036916B (zh) * 2023-08-02 2024-04-05 中国航空发动机研究院 基于轻量级卷积神经网络模型的磨粒类型识别方法及装置

Also Published As

Publication number Publication date
CN114240947B (zh) 2022-06-14

Similar Documents

Publication Publication Date Title
CN114240947B (zh) 声扫图像数据库的构建方法、装置、计算机设备
CN111325236B (zh) 一种基于卷积神经网络的超声图像分类方法
CN107784288B (zh) 一种基于深度神经网络的迭代定位式人脸检测方法
US20110182495A1 (en) System and method for automatic defect recognition of an inspection image
WO2023193401A1 (zh) 点云检测模型训练方法、装置、电子设备及存储介质
Starovoitov et al. Texture periodicity detection: Features, properties, and comparisons
CN116071309B (zh) 元器件的声扫缺陷检测方法、装置、设备和存储介质
CN114119480A (zh) 一种基于深度学习的裂纹缺陷检测系统
US11164327B2 (en) Estimation of human orientation in images using depth information from a depth camera
CN108615006B (zh) 用于输出信息的方法和装置
Chen et al. Multi-scale GAN with transformer for surface defect inspection of IC metal packages
CN117147561A (zh) 用于金属拉链的表面质量检测方法及系统
CN116129242A (zh) 一种基于改进YOLOv4铝材表面缺陷识别方法
CN117030129A (zh) 纸杯在线检漏方法及其系统
CN117173182B (zh) 基于编码解码网络的缺陷检测方法、系统、设备及介质
Kulkarni et al. A deep learning approach in optical inspection to detect hidden hardware trojans and secure cybersecurity in electronics manufacturing supply chains
Shit et al. An encoder‐decoder based CNN architecture using end to end dehaze and detection network for proper image visualization and detection
CN115774055A (zh) 集成电路内部缺陷检测方法、装置与系统
CN117237256A (zh) 一种浅海珊瑚礁监测数据采集方法、装置及设备
CN114998222A (zh) 汽车差速器壳体表面检测方法、电子设备及介质
Qu et al. A framework for identifying shifted double JPEG compression artifacts with application to non-intrusive digital image forensics
CN114694209A (zh) 视频处理方法、装置、电子设备及计算机存储介质
CN114155363A (zh) 换流站车辆识别方法、装置、计算机设备和存储介质
CN116977239A (zh) 缺陷检测方法、装置、计算机设备及存储介质
Andreu et al. Enhancement of annual rings on industrial CT images of logs

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant