CN114881934A - 一种基于神经网络的柔性ic基板表面缺陷分层分类方法 - Google Patents

一种基于神经网络的柔性ic基板表面缺陷分层分类方法 Download PDF

Info

Publication number
CN114881934A
CN114881934A CN202210384125.3A CN202210384125A CN114881934A CN 114881934 A CN114881934 A CN 114881934A CN 202210384125 A CN202210384125 A CN 202210384125A CN 114881934 A CN114881934 A CN 114881934A
Authority
CN
China
Prior art keywords
defect
substrate
flexible
model
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210384125.3A
Other languages
English (en)
Other versions
CN114881934B (zh
Inventor
胡跃明
曾勇
于永兴
王思远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Guangzhou Institute of Modern Industrial Technology
Original Assignee
South China University of Technology SCUT
Guangzhou Institute of Modern Industrial Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT, Guangzhou Institute of Modern Industrial Technology filed Critical South China University of Technology SCUT
Priority to CN202210384125.3A priority Critical patent/CN114881934B/zh
Publication of CN114881934A publication Critical patent/CN114881934A/zh
Application granted granted Critical
Publication of CN114881934B publication Critical patent/CN114881934B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明公开了一种基于神经网络的柔性IC基板表面缺陷分层分类方法，该方法包括下述步骤：构建基于神经网络的柔性IC基板缺陷分层分类树状模型，包括根节点、分支节点和叶节点；根节点对不同批次IC基板进行身份辨识并选择性激活对应分支节点模型；分支节点对应不同的批次，每个分支节点模型通过均衡概率分布的数据集组织策略结合支持向量机对IC基板健康状态进行二分类，叶节点协同根节点对输出的缺陷数据进行分类并溯源缺陷位置，利用基于多尺度特征稠密金字塔连接的YOLOv3检测器执行缺陷分类和位置溯源。本发明实现IC基板多批次身份识别和缺陷类型快速分类和定位，提高了深度学习模型在非平衡数据集下的学习性能及缺陷检测准确率。

Description

一种基于神经网络的柔性IC基板表面缺陷分层分类方法
技术领域
本发明涉及高密度柔性IC基板缺陷识别技术领域，具体涉及一种基于神经网络的柔性IC基板表面缺陷分层分类方法。
背景技术
高密度柔性IC基板广泛应用于具有小型化、轻量化和可移动特性的电子产品中，电子产品性能的完整性和可靠性极大程度上取决于柔性基板的品质。IC基板表面不同的缺陷将不同程度导致产品功能紊乱，甚至严重的将会导致产品直接报废。
随着IC产业飞速发展，高端芯片不断提高的密集化和微型化封装需求，使得与其匹配的高密度芯片封装基板的制造工艺越发复杂化和繁琐化，导致基板生产过程中缺陷出现的风险、缺陷的类型和缺陷检测难度都显著增加。目前，主流IC基板检测方法都将焦点集中在微调神经网络结构以探索更优性能智能算法的方式以适用基板缺陷图像的高分辨率和多样性。尽管包括各种深度学习技术在内的多种先进智能算法已广泛应用于高密度IC基板图像识别与分类，但检测耗时和分类准确性始终难以突破瓶颈并达到相对理想的平衡。更为重要的是，现有智能检测算法大都使用单个多分类器，它们面对多批次的基板类型和多类型的基板缺陷表现出不想理的诊断性能，甚至大多数情况下无能为力。因此，设计一种新的IC基板缺陷智能诊断系统成为一种迫切的需要，在高密度IC基板质量控制领域具有重要的应用价值。
智能缺陷检测在IC基板表面芯片贴装过程中具有重要作用，其检测准确性和有效性影响着基板质量控制过程中的合格率；其实时性影响着产品的生产效率。目前主要是由人为主导的半自动式缺陷诊断方法，尚无法应对日益增加的基板批次和新的缺陷类型。
发明内容
为了克服现有技术存在的缺陷与不足，本发明提供一种基于神经网络的柔性IC基板表面缺陷分层分类方法，解决高密度IC基板质量控制过程中的基板多批次身份自动识别和相应批次上多种缺陷类型智能快速分类和定位难题，同时提高了深度学习模型在非平衡数据集下的学习性能，获得了更高的缺陷检测准确率。
本发明的第二目的在于提供一种基于神经网络的柔性IC基板表面缺陷分层分类系统。
本发明的第三目的在于提供一种计算设备。
为了达到上述目的，本发明采用以下技术方案：
本发明提供一种基于神经网络的柔性IC基板表面缺陷分层分类方法，包括下述步骤：
构建基于神经网络的柔性IC基板缺陷分层分类树状模型，包括根节点、分支节点和叶节点；
根节点对不同批次的IC基板进行身份辨识并选择性激活对应分支节点模型；
分支节点对应不同的批次，每个分支节点模型通过均衡概率分布的数据集组织策略结合支持向量机对IC基板的健康状态进行二分类，
叶节点协同根节点对输出的缺陷数据进行分类并溯源缺陷位置，利用基于多尺度特征稠密金字塔连接的YOLOv3检测器执行缺陷分类和位置溯源。
作为优选的技术方案，所述根节点的输入来自多尺度成像模块的低模态通道，为大幅面基板图像。
作为优选的技术方案，所述根节点采用优化后的DCNN网络对不同批次的IC基板进行身份辨识，优化后的DCNN网络设有输入层、卷积层、池化层、全连接层和输出层；
卷积层采用双线性插值对输入二维图像进行稠密重构，并以可变形卷积网络作为特征提取器，获得重构图像的特征映射图集合；
池化层采用最大池化操作对特征映射图进行降维；
输出层采用Softmax回归。
作为优选的技术方案，卷积层采用双线性插值对输入二维图像进行稠密重构，具体表示为：
Figure BDA0003594061010000031
其中，下标[Δx,Δy]表示偏离可变卷积模板中心点的距离；g(,)为一维核函数；
采用可变形卷积获得重构图像的特征映射图集合，具体表示为：
Figure BDA0003594061010000032
其中，Δp为一个二维可学习的偏移量，I表示与图像相关的大小为n×m的输入矩阵，K∈Rn×m表示形状和大小自适应可变的卷积核，Δmn为在不规则采样中的预测权重，S[i,j]为特征映射图，b为相应的偏差向量，ReLU(*)表示作为激活函数的整流线性单元；
池化层采用最大池化操作对特征映射图进行降维，具体表示为：
Figure BDA0003594061010000033
其中，
Figure BDA0003594061010000034
表示在特征映射图中点(i，j)的最大池化输出，w表示池化窗口大小，t表示池化的步长；
输出层采用Softmax回归，具体表示为：
Figure BDA0003594061010000041
其中，y为基于k个基板类型的输出离散概率，f2为第二个全连接层的输出。
作为优选的技术方案，所述分支节点输入来自多尺度成像模块的高模态通道，为基板图像重采样的高分辨率显微镜图像。
作为优选的技术方案，所述每个分支节点模型通过均衡概率分布的数据集组织策略结合支持向量机对IC基板的健康状态进行二分类，具体步骤包括：
基于根节点IC基板身份辨识输出，相应的分支节点模型被激活；
基板图像经金相显微镜放大后被重采样，图像被划分成多个区域，当高分辨显微镜图像数量达到设定阈值时，则输入图像进行合格与病态的二状态区分；
若IC基板被分类器判别为合格，结束当前进程并跳出循环进入下一批次基板健康状态识别；
若被判定为病态，则叶节点被激活并进入缺陷分类和位置溯源；
将故障类型与合格基板子数据集构成训练数据集，并确定概率函数；
分类器通过铰链损失函数在训练数据集上学习正样本和缺陷数据集特征。
作为优选的技术方案，所述铰链损失函数具体表示为：
Figure BDA0003594061010000042
s.t.λi≥0μi≥0ξi≥0 C＞0
其中，X＝{x′1Λx′n},Y＝{y′1Λy′n}为输入数据和学习目标，λi和μi是拉格朗日乘子，w和b为网络学习参数，C和ξi分别示常数和松弛变量。
作为优选的技术方案，YOLOv3检测器的损失函数为和平方误差，具体表示为：
Loss＝Econ+Ecls+Ecoord
Figure BDA0003594061010000051
Figure BDA0003594061010000052
Figure BDA0003594061010000053
其中，Econ表示信度误差，Ecls表示类别误差，Ecoord表示定位误差分，λnoobj表示不包含缺陷的置信度损失权重系统，S为特征图的网格尺寸，B是每个网格的预测框个数，
Figure BDA0003594061010000054
表示第i个网格的第j个预测框是否负责检测该缺陷，
Figure BDA0003594061010000055
和
Figure BDA0003594061010000056
分别表示网格i所预测的缺陷置信度和真实的置信度，
Figure BDA0003594061010000057
和
Figure BDA0003594061010000058
为网格i所预测的缺陷类别概率和真实的类别概率，xi、yi、
Figure BDA0003594061010000059
表示网格i所预测的缺陷坐标，
Figure BDA00035940610100000510
表示网格i的真实缺陷坐标。
为了达到上述第二目的，本发明采用以下技术方案：
一种基于神经网络的柔性IC基板表面缺陷分层分类系统，包括：模型构建模块、模型根节点、模型分支节点和模型叶节点；
所述模型构建模块用于构建基于神经网络的柔性IC基板缺陷分层分类树状模型，柔性IC基板缺陷分层分类树状模型包括根节点、分支节点和叶节点；
模型根节点对不同批次的IC基板进行身份辨识并选择性激活对应分支节点模型；
模型分支节点对应不同的批次，每个分支节点模型通过均衡概率分布的数据集组织策略结合支持向量机对IC基板的健康状态进行二分类，
模型叶节点协同根节点对输出的缺陷数据进行分类并溯源缺陷位置，利用基于多尺度特征稠密金字塔连接的YOLOv3检测器执行缺陷分类和位置溯源。
为了达到上述第三目的，本发明采用以下技术方案：
一种计算设备，包括处理器和用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现上述基于神经网络的柔性IC基板表面缺陷分层分类方法。
本发明与现有技术相比，具有如下优点和有益效果：
(1)本发明采用了基于神经网络的分层分类树模型，解决了IC基板多批次和相应批次复杂缺陷类型智能连续诊断，较现有基于各种先进深度学习的单一网络结构检测方法，本模型具有针对多批次IC基板缺陷诊断无需人为干扰，且可灵活扩展以适用更多批次基板和相应缺陷类型的智能诊断。
(2)本发明采用了分层决策的方法先对基板进行健康状态分类，只有当基板出现病态输出时，模型才会执行相应故障溯源模块，解决了现有各种检测方法实时性不高的难题；
(3)本发明采用了将诊断过程部署于树模型不同层的方法，并结合均衡概率分布的数据集组织策略，解决了深度学习方法在实际工业应用过程中因缺陷数据难以获取导致的非平衡数据集问题，极大提高了各种基于机器学习方法的学习性能以获得了更高的检测准确率。
附图说明
图1为本发明基于神经网络的柔性IC基板表面缺陷分层分类方法的流程示意图；
图2为本发明基于神经网络的柔性IC基板表面缺陷分层分类树模型结构示意图；
图3为本发明均衡概率分布的对抗式数据集组织示意图；
图4为本发明基于块扫描方式的高分辨率显微镜图像重采样过程示意图；
图5为本发明基于多尺度稠密特征金字塔连接的YOLOv3结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例1
如图1所示，本实施例提供一种基于神经网络的柔性IC基板表面缺陷分层分类方法，包括下述步骤：
S1：构建基于神经网络的柔性IC基板缺陷分层分类树状模型，具体包括：
身份辨识(根节点)：包括改进的基于DCNN身份辨识器，对连续通过的不同批次IC基板进行身份辨识，并作出是否激活和选择性激活对应分支节点的决策。根节点是树状模型的最高节点。
健康状态分类(分支节点)：包括基于支持向量机(SVM)的健康状态分类器和一种均衡概率分布的数据集组织策略，通过健康状态分类器在非平衡数据集下对IC基板进行状态二分类。每一个分支节点有一个父节点和一个叶节点。
缺陷分类及溯源(叶节点)：包括改进的基于多尺度特征稠密金字塔连接的YOLOv3检测器，可选的对来自分支节点的病态输出进行分类并溯源缺陷位置信息。
在本实施例中，较传统直接训练单一神经网络检测多种缺陷的方法，构建的基于神经网络的柔性IC基板缺陷分层分类树状模型可智能识别IC基板不同批次身份，且无需人为干预可自动切换至相应模型进行多种缺陷类型诊断。该模型考虑到实际微电子封装工业故障诊断过程产品大部分为合格的特点，将缺陷诊断过程部署于树模型的两层，极少数情况下，分支节点不合格基板的分类才会触发树模型的叶节点模型，极大提升了IC基板故障诊断效率；其中模型采用均衡概率分布的数据集组织策略，优化了网络结构在非平衡数据集环境下的学习性能；同时YOLOv3检测器采用基于多尺度稠密特征金字塔连接方式，提高了其对微小和形变较大目标的特征建模能力；展示的利用三层的树状模型可实现高密度IC基板快速诊断，但同样的概念可以递归地扩展，以支持对越来越丰富的IC基板批次和相应批次缺陷诊断。
如图2所示，基于神经网络的IC基板表面缺陷分层分类树模型以类似树形结构被组织，具体由1个根节点、5个分支节点和10个叶节点构成。根节点网络可对5个不同批次的IC基板进行身份辨识并选择性激活对应分支节点模型；根节点有5个分支子节点对应5个不同的批次，每个分支节点模型可对基板健康状态进行二分类；每个分支节点有1个父节点和2个叶节点，叶节点协同根节点对其输出病态数据的9种缺陷进行进一步分类并溯源缺陷位置。
S2：利用改进的DCNN模型在根节点对连续通过的不同批次高密度IC基板进行身份辨识，并作出是否激活和选择性激活对应分支节点模型的决策；
S21：根节点的输入来自多尺度成像模块的低模态通道，其为大幅面基板图像{x1,x2,Λ,xn},n∈Rd。
S22：利用改进的DCNN对连续通过的5种不同批次高密度IC基板进行身份辨识，其辨识输出结果为选择随后分支节点模型提供依据。
进一步地，步骤S22中改进的DCNN共16层，包括1个输入层、6个卷积层、6个池化层、2个全连接层和1个输出层，其中为增强网络对微小和形变较大特征的表达和建模能力，卷积层采用双线性插值，并以可变形卷积网络(DCN)作为特征提取器；为最大限度保留提取特征并去除冗余信息，池化层采用最大池化操作(Max-pooling)；为得到输出非线性预测输出类别的离散概率，输出层采用Softmax回归。
如下表1所示，步骤S22采用的DCNN网络结构如下：
表1 DCNN网络结构表
Figure BDA0003594061010000091
进一步地，步骤S22中DCNN采用双线性插值对输入二维图像进行稠密重构：
Figure BDA0003594061010000092
其中，下标[Δx,Δy]表示偏离可变卷积模板中心点的距离；g(,)为一维核函数具体表示为g(a,b)＝max(0,1-|a-b|)a,b∈R。
进一步地，步骤S22中DCNN采用可变形卷积获得重构图像的特征映射图集合：
Figure BDA0003594061010000101
其中，Δp为一个二维可学习的偏移量，由于卷积同时在多个轴被执行，Δp可表示为分量的形式Δp＝[Δpx,Δpy]；I表示与图像相关的大小为n×m的输入矩阵；K∈Rn×m表示形状和大小自适应可变的卷积核；Δmn为在不规则采样中的预测权重；S[i,j]为特征映射图，b为相应的偏差向量，ReLU(*)表示作为激活函数的整流线性单元。
进一步地，步骤S22中DCNN采用最大池化操作对特征映射图进行降维：
Figure BDA0003594061010000102
其中，
Figure BDA0003594061010000103
表示在特征映射图中点(i,j)的最大池化输出；w表示池化窗口大小，t表示池化的步长。
进一步地，步骤S22中DCNN输出层采用Softmax回归：
Figure BDA0003594061010000104
其中，y为基于k个基板类型的输出离散概率；学习参数θ＝(b,w)包括与全连接层相同维度的偏差向量b和连接第i个输出点的权重矩阵w的集合；f2为第二个全连接层的输出。
S3：通过均衡概率分布的数据集组织策略结合支持向量机(SVM)对基板的健康状态进行二分类，其中具体定义为合格与病态两种类型。
步骤S3具体包括：
S31：基于根节点IC基板身份辨识输出，相应的分支节点模型被激活。由于很难从18846(w)×12785(h)大小的基板图像直接提取微小缺陷特征。分支节点SVM模型的输入来自多尺度成像模块的高模态通道，其为基板图像重采样的高分辨率显微镜图像{x′1,x′2,Λ,x′n},n∈Rd。
S32：如图4所示，基板图像经金相显微镜放大后被重采样，图像被划分成数百个微小区域，当高分辨显微镜图像数量达到设定阈值N，即{x′1,x′2,Λ,x′k},k＜N，则对输入图像进行合格与病态的二状态区分。
S33：定义每个分支子节点的叶节点数为2并命名输出为0和1(可自行定义)；若IC基板被SVM分类器判别为合格，树模型结束当前进程并跳出循环进入下一批次基板健康状态识别；若被判定为病态，则叶节点1被激活并进入随后的缺陷分类和溯源模型进一步执行缺陷分类和位置溯源。
S34：针对实际工业流水线缺陷数据集不可轻易获取导致的非平衡数据集问题，使得用于基板诊断的智能算法无法得到最优学习性能，将9种故障类型视为一个超级大类Csuper，并与合格基板子数据集Cpositive构成只包含两个大类的训练数据集Ctwo_group。其中概率函数根据
Figure BDA0003594061010000111
确定。
S35：如图3所示，SVM分类器通过铰链损失函数在数据集Ctwo_group上学习正样本和缺陷数据集特征。
进一步地，所述步骤S35中SVM的铰链损失函数为：
Figure BDA0003594061010000112
其中，X＝{x′1Λx′n},Y＝{y′1Λy′n}为输入数据和学习目标，λi和μi是拉格朗日乘子，w和b为网络学习参数，C和ξi分别示常数和松弛变量。
S4：若步骤S3中高分辨率显微镜基板图像的健康状态被判定为病态，则进一步对输出的病态基板图像进行缺陷定位和分类。
S41：基于S3的二元输出，当叶节点1被选择，改进的YOLOv3模型被激活并执行缺陷定位和分类，其输入为步骤S3输出的病态显微镜基板图像集合。
S42：9种基板缺陷图像被归类为可修复和不可修复两种类型，其中可修复类型只需适当返修即可满足工业需要，不可修复类型直接丢弃。
S5：利用基于多尺度特征稠密金字塔连接的YOLOv3检测器进一步执行缺陷分类和位置溯源；
对YOLOv3检测器的改进具体包括：
S51：如图5所示，构建多尺度特征稠密金字塔连接，改变了传统YOLOv3检测器采用的自下而上单一特征金字塔连接来融合不同级特征信息的方式，改善了其对形变较大的各种目标的识别能力。
S52：如图5所示，将浅层特征图104×104堆叠并融合到多尺度特征稠密金字塔中，改变了传统YOLOv3检测器对浅层位置特征信息融合不足的问题，提高了其对微小目标的检测能力。
进一步地，步骤S41采用的YOLOv3检测器的损失函数为和平方误差：
Loss＝Econ+Ecls+Ecoord (6)
其中信度误差Econ、类别误差Ecls和定位误差分Ecoord别为：
Figure BDA0003594061010000121
Figure BDA0003594061010000122
Figure BDA0003594061010000131
其中，λnoobj表示不包含缺陷的置信度损失权重系统；S为特征图的网格尺寸；B是每个网格的预测框个数；
Figure BDA0003594061010000132
表示第i个网格的第j个预测框是否负责检测该缺陷(1或0)；
Figure BDA0003594061010000133
和
Figure BDA0003594061010000134
分别表示网格i所预测的缺陷置信度和真实的置信度；
Figure BDA0003594061010000135
和
Figure BDA0003594061010000136
为网格i所预测的缺陷类别概率和真实的类别概率；xi、yi、
Figure BDA0003594061010000137
表示网格i所预测的缺陷坐标；
Figure BDA0003594061010000138
表示网格i的真实缺陷坐标。
实施例2
本实施例提供一种基于神经网络的柔性IC基板表面缺陷分层分类系统，包括：模型构建模块、模型根节点、模型分支节点和模型叶节点；
在本实施例中，模型构建模块用于构建基于神经网络的柔性IC基板缺陷分层分类树状模型，柔性IC基板缺陷分层分类树状模型包括根节点、分支节点和叶节点；
模型根节点对不同批次的IC基板进行身份辨识并选择性激活对应分支节点模型；
模型分支节点对应不同的批次，每个分支节点模型通过均衡概率分布的数据集组织策略结合支持向量机对IC基板的健康状态进行二分类，
模型叶节点协同根节点对输出的缺陷数据进行分类并溯源缺陷位置，利用基于多尺度特征稠密金字塔连接的YOLOv3检测器执行缺陷分类和位置溯源。
实施例3
本实施例提供一种计算设备，该计算设备可以是台式电脑、笔记本电脑、智能手机、PDA手持终端、平板电脑或其他具有显示功能的终端设备，该计算设备包括处理器和存储器，存储器存储有一个或多个程序，处理器执行存储器存储的程序时，实现实施例1的基于神经网络的柔性IC基板表面缺陷分层分类方法。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种基于神经网络的柔性IC基板表面缺陷分层分类方法，其特征在于，包括下述步骤：
构建基于神经网络的柔性IC基板缺陷分层分类树状模型，包括根节点、分支节点和叶节点；
根节点对不同批次的IC基板进行身份辨识并选择性激活对应分支节点模型；
分支节点对应不同的批次，每个分支节点模型通过均衡概率分布的数据集组织策略结合支持向量机对IC基板的健康状态进行二分类，
叶节点协同根节点对输出的缺陷数据进行分类并溯源缺陷位置，利用基于多尺度特征稠密金字塔连接的YOLOv3检测器执行缺陷分类和位置溯源。
2.根据权利要求1所述基于神经网络的柔性IC基板表面缺陷分层分类方法，其特征在于，所述根节点的输入来自多尺度成像模块的低模态通道，为大幅面基板图像。
3.根据权利要求1所述基于神经网络的柔性IC基板表面缺陷分层分类方法，其特征在于，所述根节点采用优化后的DCNN网络对不同批次的IC基板进行身份辨识，优化后的DCNN网络设有输入层、卷积层、池化层、全连接层和输出层；
卷积层采用双线性插值对输入二维图像进行稠密重构，并以可变形卷积网络作为特征提取器，获得重构图像的特征映射图集合；
池化层采用最大池化操作对特征映射图进行降维；
输出层采用Softmax回归。
4.根据权利要求3所述基于神经网络的柔性IC基板表面缺陷分层分类方法，其特征在于，卷积层采用双线性插值对输入二维图像进行稠密重构，具体表示为：
Figure FDA0003594060000000021
其中，下标[Δx,Δy]表示偏离可变卷积模板中心点的距离；g(,)为一维核函数；
采用可变形卷积获得重构图像的特征映射图集合，具体表示为：
Figure FDA0003594060000000022
其中，Δp为一个二维可学习的偏移量，I表示与图像相关的大小为n×m的输入矩阵，K∈Rn×m表示形状和大小自适应可变的卷积核，Δmn为在不规则采样中的预测权重，S[i,j]为特征映射图，b为相应的偏差向量，ReLU(*)表示作为激活函数的整流线性单元；
池化层采用最大池化操作对特征映射图进行降维，具体表示为：
Figure FDA0003594060000000023
其中，
Figure FDA0003594060000000024
表示在特征映射图中点(i，j)的最大池化输出，w表示池化窗口大小，t表示池化的步长；
输出层采用Softmax回归，具体表示为：
Figure FDA0003594060000000025
其中，y为基于k个基板类型的输出离散概率，f2为第二个全连接层的输出。
5.根据权利要求1所述基于神经网络的柔性IC基板表面缺陷分层分类方法，其特征在于，所述分支节点输入来自多尺度成像模块的高模态通道，为基板图像重采样的高分辨率显微镜图像。
6.根据权利要求1所述基于神经网络的柔性IC基板表面缺陷分层分类方法，其特征在于，所述每个分支节点模型通过均衡概率分布的数据集组织策略结合支持向量机对IC基板的健康状态进行二分类，具体步骤包括：
基于根节点IC基板身份辨识输出，相应的分支节点模型被激活；
基板图像经金相显微镜放大后被重采样，图像被划分成多个区域，当高分辨显微镜图像数量达到设定阈值时，则输入图像进行合格与病态的二状态区分；
若IC基板被分类器判别为合格，结束当前进程并跳出循环进入下一批次基板健康状态识别；
若被判定为病态，则叶节点被激活并进入缺陷分类和位置溯源；
将故障类型与合格基板子数据集构成训练数据集，并确定概率函数；
分类器通过铰链损失函数在训练数据集上学习正样本和缺陷数据集特征。
7.根据权利要求6所述基于神经网络的柔性IC基板表面缺陷分层分类方法，其特征在于，所述铰链损失函数具体表示为：
Figure FDA0003594060000000031
s.t.λi≥0 μi≥0 ξi≥0 C＞0
其中，X＝{x′1Λx′n},Y＝{y′1Λy′n}为输入数据和学习目标，λi和μi是拉格朗日乘子，w和b为网络学习参数，C和ξi分别示常数和松弛变量。
8.根据权利要求1所述基于神经网络的柔性IC基板表面缺陷分层分类方法，其特征在于，YOLOv3检测器的损失函数为和平方误差，具体表示为：
Loss＝Econ+Ecls+Ecoord
Figure FDA0003594060000000032
Figure FDA0003594060000000041
Figure FDA0003594060000000042
其中，Econ表示信度误差，Ecls表示类别误差，Ecoord表示定位误差分，λnoobj表示不包含缺陷的置信度损失权重系统，S为特征图的网格尺寸，B是每个网格的预测框个数，
Figure FDA0003594060000000043
表示第i个网格的第j个预测框是否负责检测该缺陷，
Figure FDA0003594060000000044
和
Figure FDA0003594060000000045
分别表示网格i所预测的缺陷置信度和真实的置信度，
Figure FDA0003594060000000046
和
Figure FDA0003594060000000047
为网格i所预测的缺陷类别概率和真实的类别概率，xi、yi、
Figure FDA0003594060000000048
表示网格i所预测的缺陷坐标，
Figure FDA0003594060000000049
表示网格i的真实缺陷坐标。
9.一种基于神经网络的柔性IC基板表面缺陷分层分类系统，其特征在于，包括：模型构建模块、模型根节点、模型分支节点和模型叶节点；
所述模型构建模块用于构建基于神经网络的柔性IC基板缺陷分层分类树状模型，柔性IC基板缺陷分层分类树状模型包括根节点、分支节点和叶节点；
模型根节点对不同批次的IC基板进行身份辨识并选择性激活对应分支节点模型；
模型分支节点对应不同的批次，每个分支节点模型通过均衡概率分布的数据集组织策略结合支持向量机对IC基板的健康状态进行二分类，
模型叶节点协同根节点对输出的缺陷数据进行分类并溯源缺陷位置，利用基于多尺度特征稠密金字塔连接的YOLOv3检测器执行缺陷分类和位置溯源。
10.一种计算设备，包括处理器和用于存储处理器可执行程序的存储器，其特征在于，所述处理器执行存储器存储的程序时，实现如权利要求1-8任一项所述基于神经网络的柔性IC基板表面缺陷分层分类方法。
CN202210384125.3A 2022-04-13 2022-04-13 一种基于神经网络的柔性ic基板表面缺陷分层分类方法 Active CN114881934B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210384125.3A CN114881934B (zh) 2022-04-13 2022-04-13 一种基于神经网络的柔性ic基板表面缺陷分层分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210384125.3A CN114881934B (zh) 2022-04-13 2022-04-13 一种基于神经网络的柔性ic基板表面缺陷分层分类方法

Publications (2)

Publication Number Publication Date
CN114881934A true CN114881934A (zh) 2022-08-09
CN114881934B CN114881934B (zh) 2024-05-28

Family

ID=82670074

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210384125.3A Active CN114881934B (zh) 2022-04-13 2022-04-13 一种基于神经网络的柔性ic基板表面缺陷分层分类方法

Country Status (1)

Country Link
CN (1) CN114881934B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL161087A0 (en) * 2003-03-28 2004-08-31 Hitachi High Tech Corp Method and its apparatus for classifying defects
WO2011145496A1 (ja) * 2010-05-20 2011-11-24 株式会社日立製作所 監視診断装置および監視診断方法
US20200234428A1 (en) * 2019-01-18 2020-07-23 Kla Corporation Methods And Systems For Inspection Of Semiconductor Structures With Automatically Generated Defect Features

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL161087A0 (en) * 2003-03-28 2004-08-31 Hitachi High Tech Corp Method and its apparatus for classifying defects
US20040252878A1 (en) * 2003-03-28 2004-12-16 Hirohito Okuda Method and its apparatus for classifying defects
WO2011145496A1 (ja) * 2010-05-20 2011-11-24 株式会社日立製作所 監視診断装置および監視診断方法
US20200234428A1 (en) * 2019-01-18 2020-07-23 Kla Corporation Methods And Systems For Inspection Of Semiconductor Structures With Automatically Generated Defect Features

Also Published As

Publication number Publication date
CN114881934B (zh) 2024-05-28

Similar Documents

Publication Publication Date Title
Zheng et al. Recent advances in surface defect inspection of industrial products using deep learning techniques
CN109829893B (zh) 一种基于注意力机制的缺陷目标检测方法
CN109342456B (zh) 一种焊点缺陷检测方法、装置、设备及可读存储介质
CN106897738B (zh) 一种基于半监督学习的行人检测方法
US6148099A (en) Method and apparatus for incremental concurrent learning in automatic semiconductor wafer and liquid crystal display defect classification
Kang Rotation-invariant wafer map pattern classification with convolutional neural networks
Zhou et al. Review of vision-based defect detection research and its perspectives for printed circuit board
CN110060237A (zh) 一种故障检测方法、装置、设备及系统
Wang et al. X-ray scattering image classification using deep learning
SG192768A1 (en) System for detection of non-uniformities in web-based materials
US20210110215A1 (en) Information processing device, information processing method, and computer-readable recording medium recording information processing program
Xie et al. A novel defect detection and identification method in optical inspection
Bhattacharya et al. Interleaved deep artifacts-aware attention mechanism for concrete structural defect classification
CN115294563A (zh) 一种基于Transformer的增强了局部语义学习能力的3D点云分析方法及装置
CN117274662A (zh) 一种改进ResNeXt神经网络的轻量级多模态医学图像分类方法
Avola et al. Real-time deep learning method for automated detection and localization of structural defects in manufactured products
CN113516656A (zh) 一种基于ACGAN和Cameralink相机的缺陷图像数据处理仿真方法
Choi et al. Deep learning based defect inspection using the intersection over minimum between search and abnormal regions
Ye et al. Multi-stage few-shot micro-defect detection of patterned OLED panel using defect inpainting and multi-scale Siamese neural network
Zhang et al. A spatial–spectral adaptive learning model for textile defect images recognition with few labeled data
CN113139540A (zh) 背板检测方法及设备
Wang et al. Deep learning-based automatic optical inspection system empowered by online multivariate autocorrelated process control
Zhang et al. Key technologies of smart factory machine vision based on efficient deep network model
CN114881934B (zh) 一种基于神经网络的柔性ic基板表面缺陷分层分类方法
Sang et al. Image recognition based on multiscale pooling deep convolution neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant