CN116777894A - 芯片的表面缺陷检测方法和装置 - Google Patents

芯片的表面缺陷检测方法和装置 Download PDF

Info

Publication number
CN116777894A
CN116777894A CN202310819777.XA CN202310819777A CN116777894A CN 116777894 A CN116777894 A CN 116777894A CN 202310819777 A CN202310819777 A CN 202310819777A CN 116777894 A CN116777894 A CN 116777894A
Authority
CN
China
Prior art keywords
chip
image
surface defect
detection model
defect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310819777.XA
Other languages
English (en)
Other versions
CN116777894B (zh
Inventor
郭军
柯武生
翁国权
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Ruixin Semiconductor Technology Co ltd
Original Assignee
Shandong Ruixin Semiconductor Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Ruixin Semiconductor Technology Co ltd filed Critical Shandong Ruixin Semiconductor Technology Co ltd
Priority to CN202310819777.XA priority Critical patent/CN116777894B/zh
Publication of CN116777894A publication Critical patent/CN116777894A/zh
Application granted granted Critical
Publication of CN116777894B publication Critical patent/CN116777894B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本申请提出一种芯片的表面缺陷检测方法和装置，通过采集芯片的表面图像，再利用基于卷积神经网络的表面缺陷检测模型识别芯片表面图像是否存在表面缺陷，相比于人工肉眼观察的方式，本申请芯片的表面缺陷检测方法可提高半导体芯片表面缺陷的检测概率。另外，利用表面缺陷检测模型检测到芯片存在表面缺陷时，还可输出相应的表面缺陷类型，提高了检测的精准性，有利于指导改善对应制造工艺流程。

Description

芯片的表面缺陷检测方法和装置
技术领域
本申请涉及半导体芯片技术领域，特别是涉及一种芯片的表面缺陷检测方法和装置。
背景技术
半导体芯片的缺陷检测是产品上市前一个必不可少的环节，可以降低不良率，也可以指导制造工艺的改进。表面缺陷检测是半导体芯片缺陷检测，例如包括但不限于引脚缺陷、芯片主体断裂缺陷、表面刮伤缺陷等。
传统方案中，对半导体芯片表面缺陷的检测方案为采用人工肉眼观察，效率不高。
发明内容
本申请实施例提供一种芯片的表面缺陷检测方法和装置。
第一方面，提供一种芯片的表面缺陷检测方法，包括：
获取基于卷积神经网络的表面缺陷检测模型；
获取采集单元采集的芯片的表面图像；
将芯片的表面图像输入到表面缺陷检测模型；
利用表面缺陷检测模型检测芯片的表面图像的表面缺陷，得到芯片的表面图像的表面信息，表面信息包括第一预设输出信息或第二预设输出信息，第一预设输出信息包括表面缺陷类型信息，第二预设输出信息表示芯片无表面缺陷。
上述芯片的表面缺陷检测方法，通过采集芯片的表面图像，再利用基于卷积神经网络的表面缺陷检测模型识别芯片表面图像是否存在表面缺陷，相比于人工肉眼观察的方式，本申请芯片的表面缺陷检测方法可提高半导体芯片表面缺陷的检测概率。另外，利用表面缺陷检测模型检测到芯片存在表面缺陷时，还可输出相应的表面缺陷类型，提高了检测的精准性，有利于指导改善对应制造工艺流程。
在一个实施例中，在得到芯片的表面图像的表面信息的步骤之后，
若得到的芯片的表面图像的表面信息为第一预设输出信息，获取芯片的表面图像的表面缺陷位置信息。
在一个实施例中，表面缺陷类型信息包括引脚断裂缺陷信息、引脚短路缺陷信息和/或芯片主体刮伤缺陷信息。
在一个实施例中，基于卷积神经网络的表面缺陷检测模型包括以下训练步骤：
采集芯片表面样本图像，芯片表面样本图像包括存在表面缺陷的芯片表面样本图像和无表面缺陷的芯片表面样本图像；
为存在表面缺陷的芯片表面样本图像和无表面缺陷的芯片表面样本图像分别打上有表面缺陷标签和无表面缺陷标签，并为各个有表面缺陷的芯片表面样本图像打上相应表面缺陷的类型标签；其中，无表面缺陷的芯片表面样本图像的数量与每一种缺陷类型的芯片表面样本图像的数量的差值小于预设值；
构建基于卷积神经网络结构的表面缺陷检测模型；
将各个芯片表面样本图像输入到表面缺陷检测模型进行训练，在训练过程中增加无表面缺陷的芯片表面样本图像特征与存在表面缺陷的芯片表面样本图像特征的距离、不同表面缺陷类型芯片表面样本图像特征之间的距离，减少相同表面缺陷类型的芯片表面样本图像特征之间的距离，从而不断调整模型的参数，直到训练误差小于预设值时结束训练，从而得到表面缺陷检测模型；
利用表面缺陷检测模型检测芯片的表面图像的表面缺陷的步骤则包括：将采集的芯片的表面图像输入到训练好的表面缺陷检测模型，计算采集的芯片的表面图像属于各个表面缺陷类型的相似概率，将相似概率最高的表面缺陷类型输出，作为采集的芯片的表面图像表面缺陷类型。
在一个实施例中，基于卷积神经网络的表面缺陷检测模型包括：
输入层，用于在训练表面缺陷检测模型时输入归一化后的芯片表面样本图像数据或用于在利用表面缺陷检测模型时输入归一化后的采集的芯片表面图像数据；
第一卷积层，用于对输入层输出的图像数据进行图像特征提取，并在卷积时共享网络权值矩阵；
第一最大池化层，用于对第一卷积层输出的图像数据进行特征降维；
第二卷积层，用于对第一最大池化层输出的图像数据进行图像特征提取，并在卷积时共享网络权值矩阵；
第二最大池化层，用于对第二卷积层输出的图像数据进行特征降维；
第三卷积层，用于对第二最大池化层输出的图像数据提取图像特征，并在卷积时共享网络权值矩阵；
第四卷积层，用于对第三卷积层输出的图像数据进行图像特征提取，并在卷积时共享网络权值矩阵；
第五卷积层，用于对第四卷积层输出的图像数据进行图像特征提取，并在卷积时共享网络权值矩阵；
第三最大池化层，用于对第五卷积层输出的图像数据进行特征降维；
第六卷积层，用于对第三最大池化层输出的图像数据进行特征降维，并在卷积时共享网络权值矩阵；
输出减少层，用于对第六卷积层输出的图像数据进行特征降维以及减少第六卷积层输出的图像数据以防止过拟合；
全连接层，用于对输出减少层输出的数据进行表面缺陷分类。
在一个实施例中，基于卷积神经网络的表面缺陷检测模型训练过程采用的损失函数为：
其中，||f(xi)a-f(xi)n||2表示一对相同缺陷类型的芯片表面样本图像特征值的距离，||f(xi)a-f(xi)p||2表示一对不同缺陷类型的芯片表面样本图像特征值的距离，||f(xi)-f(xi)'||2表示第i个芯片表面样本图像训练时输出的预测值与标记值的距离，λ为用于提高训练精度的系数。
在一个实施例中，获取芯片的表面图像的表面缺陷位置信息的步骤包括：
将芯片的表面图像分割为N个子区域块，根据表面缺陷类型分为芯片主体区域和引脚区域；
分别提取芯片主体区域和引脚区域的主图像特征，并分别提取芯片主体区域和引脚区域各个子区域块的子图像特征；
计算各个子图像特征的均值与对应的主图像特征的均值的差值，提取差值大于预设差值的各个子区域块，若提取的各个子区域块连通，则判定提取的各个子区域块构成的连通区域为对应的表面缺陷区域；
对芯片的表面图像构建坐标系，将各个子区域块在坐标系中的位置作为表面缺陷位置信息。
在一个实施例中，无表面缺陷的芯片表面样本图像的数量与每一种缺陷类型的芯片表面样本图像的数量相等。
第二方面，提出一种芯片的表面缺陷检测装置，包括：存储单元、处理单元以及采集单元；处理单元分别与存储单元、采集单元电性连接；
存储单元用于存储基于卷积神经网络的表面缺陷检测模型；
采集单元用于采集芯片的表面图像；
处理单元用于获取基于卷积神经网络的表面缺陷检测模型，以及获取采集单元采集的芯片的表面图像，并将芯片的表面图像输入到表面缺陷检测模型，并利用表面缺陷检测模型检测芯片的表面图像的表面缺陷，得到芯片的表面图像的表面信息，表面信息包括第一预设输出信息或第二预设输出信息，第一预设输出信息包括表面缺陷类型信息，第二预设输出信息表示芯片无表面缺陷。
在一个实施例中，芯片的表面缺陷检测装置还可以包括传送装置，传送装置包括控制器和传送带，传送装置的控制器用于控制传送带运动，处理单元与传送装置的控制器电性连接，传送装置的传送带用于传送芯片，采集单元安装于传送带的上方，采集单元与传送带的垂直距离小于预设距离，处理单元用于当检测到芯片存在表面缺陷时发出第一指令，传送装置的控制器响应该第一指令、利用将传送带将存在表面缺陷的芯片传送至指定位置。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，而非全部实施例。
图1为一个实施例中芯片的表面缺陷检测方法的流程示意图；
图2分别为一个实施例中的正常引脚和有缺陷的引脚的示意图；
图3分别为一个实施例中正常芯片主体和有刮伤缺陷的芯片主体示意图；
图4为一个实施例中基于卷积神经网络的表面缺陷检测模型训练方法的流程示意图；
图5为一个实施例中基于卷积神经网络的表面缺陷检测模型的结构框图；
图6为一个实施例中获取芯片的表面图像的表面缺陷位置信息的流程示意图；
图7为一个实施例中芯片主体表面刮伤缺陷的示意图；
图8为一个实施例中的芯片的表面缺陷检测装置的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
如背景技术所述，半导体芯片的缺陷检测是产品上市前一个必不可少的环节，可以降低不良率，也可以指导制造工艺的改进。表面缺陷检测是半导体芯片缺陷检测，例如包括但不限于引脚缺陷、芯片主体断裂缺陷、表面刮伤缺陷等。而传统方案中，对半导体芯片表面缺陷的检测方案为采用人工肉眼观察，效率不高。
基于此，本申请提出一种芯片的表面缺陷检测方法和装置，可以提高半导体芯片表面缺陷的检测概率。
请参阅图1，其为本申请一个实施例中一种芯片的表面缺陷检测方法的流程图，该实施例中的芯片的表面缺陷检测方法包括如下步骤：
步骤102，获取基于卷积神经网络的表面缺陷检测模型。
步骤104，获取采集单元采集的芯片的表面图像。
步骤106，将芯片的表面图像输入到表面缺陷检测模型。
步骤108，利用表面缺陷检测模型检测芯片的表面图像的表面缺陷，得到芯片的表面图像的表面信息，表面信息包括第一预设输出信息或第二预设输出信息，第一预设输出信息包括表面缺陷类型信息，第二预设输出信息表示芯片的表面图像无表面缺陷。
上述芯片的表面缺陷检测方法，通过采集芯片的表面图像，再利用基于卷积神经网络的表面缺陷检测模型识别芯片表面图像是否存在表面缺陷，相比于人工肉眼观察的方式，本申请芯片的表面缺陷检测方法可提高半导体芯片表面缺陷的检测概率。另外，利用表面缺陷检测模型检测到芯片存在表面缺陷时，还可输出相应的表面缺陷类型，提高了检测的精准性，有利于指导改善对应制造工艺流程。
本申请的芯片表面缺陷指芯片外观上的缺陷，包括但不限于引脚断裂缺陷、引脚短路缺陷、芯片主体刮伤缺陷等。同理，表面缺陷类型信息包括但不限于引脚断裂缺陷信息、引脚短路缺陷信息和/或芯片主体刮伤缺陷信息。如图2所示，分别为正常引脚和有缺陷的引脚的示意图。如图3所示，分别为正常芯片主体和有刮伤缺陷的芯片主体示意图。
本申请芯片的表面图像可包括芯片的上表面、下表面和/或侧表面的图像，具体实现时可根据实际情况选择。一些具体实施例中，芯片的表面图像可以只包括上表面图像，这是因为上表面最容易看出缺陷，其他实施例中，芯片的表面图像还可以进一步包括上下表面图像和/或侧表面图像。需要说明的是，当芯片的表面图像包括多个面的图像时，可以拼接成一张图像后，再输入到表面缺陷检测模型进行处理，可提高检测效率。
以下对该实施例中的芯片的表面缺陷检测方法的具体实施方式进行进一步的说明。
对于步骤102，请参阅图4，在一些具体实施例中，基于卷积神经网络的表面缺陷检测模型包括以下训练步骤：
步骤202，采集芯片表面样本图像，芯片表面样本图像包括存在表面缺陷的芯片表面样本图像和无表面缺陷的芯片表面样本图像。
步骤204，为存在表面缺陷的芯片表面样本图像和无表面缺陷的芯片表面样本图像分别打上有表面缺陷标签和无表面缺陷标签，并为各个有表面缺陷的芯片表面样本图像打上相应表面缺陷的类型标签；其中，无表面缺陷的芯片表面样本图像的数量与每一种缺陷类型的芯片表面样本图像的数量的差值小于预设值。例如小于10个。
在一些优选实施例中，无表面缺陷的芯片表面样本图像的数量与每一种缺陷类型的芯片表面样本图像的数量相等。例如，无表面缺陷的芯片表面样本图像的数量与芯片主体刮伤缺陷的表面样本图像相等。可以减少训练误差，有利于输出结果正确性的提高。
步骤206，构建基于卷积神经网络结构的表面缺陷检测模型。
步骤208，将各个芯片表面样本图像输入到表面缺陷检测模型进行训练，在训练过程中增加无表面缺陷的芯片表面样本图像特征与存在表面缺陷的芯片表面样本图像特征的距离、不同表面缺陷类型芯片表面样本图像特征之间的距离，减少相同表面缺陷类型的芯片表面样本图像特征之间的距离，从而不断调整模型的参数，直到训练误差小于预设值时结束训练，从而得到表面缺陷检测模型。
步骤208中的训练误差可以用损失函数的损失值表征，损失值越小，表面缺陷检测模型精度越高，训练时芯片表面样本图像输出的缺陷类型值与预先标签的缺陷类型误值的误差越小。损失函数的具体实施例见后续实施例。
后续利用表面缺陷检测模型检测芯片的表面图像的表面缺陷的步骤则包括：将采集的芯片的表面图像输入到训练好的表面缺陷检测模型，计算采集的芯片的表面图像属于各个表面缺陷类型的相似概率，将相似概率最高的表面缺陷类型输出，作为采集的芯片的表面图像表面缺陷类型。
可选的，请参阅图5，基于卷积神经网络的表面缺陷检测模型包括：
输入层300，用于在训练表面缺陷检测模型时输入归一化后的芯片表面样本图像数据或用于在利用表面缺陷检测模型时输入归一化后的采集的芯片表面图像数据；
第一卷积层310，用于对输入层输出的图像数据进行图像特征提取，并在卷积时共享网络权值矩阵；
第一最大池化层312，用于对第一卷积层输出的图像数据进行特征降维；
第二卷积层314，用于对第一最大池化层输出的图像数据进行图像特征提取，并在卷积时共享网络权值矩阵；
第二最大池化层316，用于对第二卷积层输出的图像数据进行特征降维；
第三卷积层318，用于对第二最大池化层输出的图像数据提取图像特征，并在卷积时共享网络权值矩阵；
第四卷积层320，用于对第三卷积层输出的图像数据进行图像特征提取，并在卷积时共享网络权值矩阵；
第五卷积层322，用于对第四卷积层输出的图像数据进行图像特征提取，并在卷积时共享网络权值矩阵；
第三最大池化层324，用于对第五卷积层输出的图像数据进行特征降维；
第六卷积层326，用于对第三最大池化层输出的图像数据进行特征降维，并在卷积时共享网络权值矩阵；
输出减少层328，用于对第六卷积层输出的图像数据进行特征降维以及减少第六卷积层输出的图像数据以防止过拟合；
全连接层330，用于对输出减少层输出的数据进行表面缺陷分类。
可以理解，表面缺陷检测模型也可以采用其他网络结构，不仅限于上述实施例的卷积神经网络结构，经发明人研究发现本实施例的卷积神经网络结构经过6次卷积能提取到比较精确的特征，模型训练误差小，同时训练速度也较快。其他实施例中也可以采用其他不同的卷积次数，发明人研究发现采用1-5次卷积时模型误差较大，采用7次及以上卷积时模型误差小但是计算速度慢，而上述实施例的卷积神经网络结构兼顾了训练误差和速度。
关于模型训练，在一些具体实施例中，基于卷积神经网络的表面缺陷检测模型训练过程采用的损失函数为：
其中，||f(xi)a-f(xi)n||2表示一对相同缺陷类型的芯片表面样本图像特征值的距离，||f(xi)a-f(xi)p||2表示一对不同缺陷类型的芯片表面样本图像特征值的距离，||f(xi)-f(xi)'||2表示第i个芯片表面样本图像训练时输出的预测值与标记值的距离，λ为用于提高训练精度的系数，k为数量级调节参数。
需要说明的是，数量级调节参数k用于使||f(xi)-f(xi)'||2项与||f(xi)a-f(xi)p||2项、||f(xi)a-f(xi)n||2项数量级一致，方便计算。
上述损失函数中，标记值和预测值可以采用数值表示，不同的表面缺陷采用不同的数值，例如无表面缺陷用数值1来表示，引脚断裂用数值2表示等等，不再赘述。关于上述损失函数，相同缺陷类型的芯片表面样本图像特征值的距离越大越好，故而取正值，不同缺陷类型的芯片表面样本图像特征值的距离以及预测值与标记值的距离越小越好，故而取负值。上述损失函数引入了预测值与标记值的距离作为损失项，提高了训练精度，降低训练误差，有助于提高基于卷积神经网络的表面缺陷检测模型输出结果的准确性。
对于步骤104，对于尺寸较大芯片，采集单元可以为本领域常用的拍照器件，对于尺寸较微小的芯片、表面缺陷较小的芯片可采用精度较高的半导体感光器件，例如CCD(Charge Coupled Device，电荷耦合器件)。
对于步骤106，可以对采集的芯片的表面图像进行预处理后输入到表面缺陷检测模型，具体包括旋转、翻转、移位、噪声和模糊等数据增强操作。
对于步骤108，利用表面缺陷检测模型检测芯片的表面图像的表面缺陷，如果未检测到缺陷，输出芯片的表面图像无缺陷的结果，如果检测到存在缺陷，输出表面缺陷的类型。
本申请还提出一种芯片的表面缺陷检测方法，在一些实施例中，在步骤108之后，若得到的芯片的表面图像的表面信息为第一预设输出信息，即得到芯片的表面图像存在表面缺陷的结果，获取芯片的表面图像的表面缺陷位置信息。该芯片的表面缺陷检测方法的目的是得到表面缺陷类型且明确表面缺陷位置，以指导工艺流程的改进。
可选的，请参阅图6，获取芯片的表面图像的表面缺陷位置信息的步骤包括：
步骤402，将芯片的表面图像分割为N个子区域块，根据表面缺陷类型分为芯片主体区域和引脚区域。
本步骤中，因为芯片表面缺陷包括主体表面的缺陷和引脚上的缺陷，主体表面跟引脚表面特征差距较大，所以进行区域划分，便于更为晶准的定位。
步骤404，分别提取芯片主体区域和引脚区域的主图像特征，并分别提取芯片主体区域和引脚区域各个子区域块的子图像特征。
本步骤中，分别提取芯片主体区域和引脚区域这两个区域的主图像特征，并分别提取这两个区域的各个子区域块的子图像特征。
该实施例中可以通过前述表面缺陷检测模型提取图像特征。
步骤406，计算各个子图像特征的均值与对应的主图像特征的均值的差值，提取差值大于预设差值的各个子区域块，若提取的各个子区域块连通，则判定提取的各个子区域块构成的连通区域为对应的表面缺陷区域。
步骤408，对芯片的表面图像构建坐标系，将各个子区域块在坐标系中的位置作为表面缺陷位置信息。
请参阅图7，以芯片主体表面刮伤缺陷为例，可以看出缺陷区域跟主体区域的特征区别明显，因此，计算芯片主体区域的主图像特征的均值、各个子区域的子图像特征的均值，然后对比主图像特征与子图像特征的差值，将大于预设差值的各个子区域块提取出来，如果这些区域是连通的，那么连通的区域则为缺陷区域，缺陷区域对应在坐标系中的位置则是表面缺陷的位置。
具体实现时，可以将连通区域的中心位置作为表面缺陷的位置。
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本申请还提出一种芯片的表面缺陷检测装置，请参阅图8，其为一个实施例中的芯片的表面缺陷检测装置的结构示意图，该表面缺陷检测装置包括：存储单元602、处理单元604以及采集单元606；处理单元604分别与存储单元602、采集单元606电性连接；
存储单元602用于存储基于卷积神经网络的表面缺陷检测模型；
采集单元606用于采集芯片的表面图像；
处理单元604用于获取基于卷积神经网络的表面缺陷检测模型，以及获取采集单元606采集的芯片的表面图像，并将芯片的表面图像输入到表面缺陷检测模型，并利用表面缺陷检测模型检测芯片的表面图像的表面缺陷，得到芯片的表面图像的表面信息，表面信息包括第一预设输出信息或第二预设输出信息，第一预设输出信息包括表面缺陷类型信息，第二预设输出信息表示芯片无表面缺陷。
上述芯片的表面缺陷检测装置，采集单元606采集芯片的表面图像，处理单元604利用基于卷积神经网络的表面缺陷检测模型识别芯片表面图像是否存在表面缺陷，相比于人工肉眼观察的方式，本申请芯片的表面缺陷检测装置可提高半导体芯片表面缺陷的检测概率。另外，利用表面缺陷检测模型检测到芯片存在表面缺陷时，还可输出相应的表面缺陷类型，提高了检测的精准性，有利于指导改善对应制造工艺流程。
对于尺寸较大的芯片，采集单元606可以为本领域常用的拍照器件，对于尺寸较微小的芯片、表面缺陷较小的芯片可采用精度较高的半导体感光器件，例如CCD(ChargeCoupled Device，电荷耦合器件)。
处理单元604可以本领域常用的处理器，例如中央处理器等。
关于芯片的表面缺陷检测装置的具体限定可以参见上文中对于芯片的表面缺陷检测方法的限定，在此不再赘述。
在一些具体实施例中，芯片的表面缺陷检测装置还包括标记单元，处理单元和标记单元电性连接，当检测到芯片存在表面缺陷时，处理单元控制标记单元对存在表面缺陷的芯片进行标记。
在一些具体实施例中，芯片的表面缺陷检测装置还可以包括传送装置，传送装置包括控制器和传送带，控制器用于控制传送带运动，处理单元与传送装置的控制器电性连接，传送带用于传送芯片，采集单元安装于传送带的上方，采集单元与传送带的垂直距离小于预设距离，处理单元用于当检测到芯片存在表面缺陷时发出第一指令，传送装置的控制器响应该第一指令、利用将该传送带将存在表面缺陷的芯片传送至指定位置。在另一些具体实施例中，芯片的表面缺陷检测装置还可以包括运输器，处理单元用于当检测到芯片存在表面缺陷时发出第二指令，运输器用于响应该第二指令将存在表面缺陷的芯片运送至指定位置，运输器可以是一电动夹持结构。
本申请所使用的存储器可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种芯片的表面缺陷检测方法，其特征在于，包括：
获取基于卷积神经网络的表面缺陷检测模型；
获取采集单元采集的芯片的表面图像；
将所述芯片的表面图像输入到所述表面缺陷检测模型；
利用所述表面缺陷检测模型检测所述芯片的表面图像的表面缺陷，得到所述芯片的表面图像的表面信息，所述表面信息包括第一预设输出信息或第二预设输出信息，所述第一预设输出信息包括表面缺陷类型信息，所述第二预设输出信息表示所述芯片无表面缺陷。
2.根据权利要求1所述的方法，其特征在于，在所述得到所述芯片的表面图像的表面信息的步骤之后，
若得到的所述芯片的表面图像的表面信息为所述第一预设输出信息，获取所述芯片的表面图像的表面缺陷位置信息。
3.根据权利要求1所述的方法，其特征在于，所述表面缺陷类型信息包括引脚断裂缺陷信息、引脚短路缺陷信息和/或芯片主体刮伤缺陷信息。
4.根据权利要求3所述的方法，其特征在于，所述基于卷积神经网络的表面缺陷检测模型包括以下训练步骤：
采集芯片表面样本图像，所述芯片表面样本图像包括存在表面缺陷的芯片表面样本图像和无表面缺陷的芯片表面样本图像；
为存在表面缺陷的芯片表面样本图像和无表面缺陷的芯片表面样本图像分别打上有表面缺陷标签和无表面缺陷标签，并为各个有表面缺陷的芯片表面样本图像打上相应表面缺陷的类型标签；其中，无表面缺陷的芯片表面样本图像的数量与每一种缺陷类型的芯片表面样本图像的数量的差值小于预设值；
构建基于卷积神经网络结构的表面缺陷检测模型；
将各个所述芯片表面样本图像输入到所述表面缺陷检测模型进行训练，在所述训练过程中增加无表面缺陷的芯片表面样本图像特征与存在表面缺陷的芯片表面样本图像特征的距离、不同表面缺陷类型芯片表面样本图像特征之间的距离，减少相同表面缺陷类型的芯片表面样本图像特征之间的距离，从而不断调整模型的参数，直到训练误差小于预设值时结束训练，从而得到所述表面缺陷检测模型；
所述利用所述表面缺陷检测模型检测所述芯片的表面图像的表面缺陷的步骤则包括：将采集的芯片的表面图像输入到训练好的所述表面缺陷检测模型，计算采集的芯片的表面图像属于各个表面缺陷类型的相似概率，将相似概率最高的表面缺陷类型输出，作为采集的芯片的表面图像表面缺陷类型。
5.根据权利要求4所述的方法，其特征在于，所述基于卷积神经网络的表面缺陷检测模型包括：
输入层，用于在训练所述表面缺陷检测模型时输入归一化后的芯片表面样本图像数据或用于在利用所述表面缺陷检测模型时输入归一化后的采集的芯片表面图像数据；
第一卷积层，用于对输入层输出的图像数据进行图像特征提取，并在卷积时共享网络权值矩阵；
第一最大池化层，用于对所述第一卷积层输出的图像数据进行特征降维；
第二卷积层，用于对所述第一最大池化层输出的图像数据进行图像特征提取，并在卷积时共享网络权值矩阵；
第二最大池化层，用于对所述第二卷积层输出的图像数据进行特征降维；
第三卷积层，用于对所述第二最大池化层输出的图像数据提取图像特征，并在卷积时共享网络权值矩阵；
第四卷积层，用于对第三卷积层输出的图像数据进行图像特征提取，并在卷积时共享网络权值矩阵；
第五卷积层，用于对所述第四卷积层输出的图像数据进行图像特征提取，并在卷积时共享网络权值矩阵；
第三最大池化层，用于对所述第五卷积层输出的图像数据进行特征降维；
第六卷积层，用于对所述第三最大池化层输出的图像数据进行特征降维，并在卷积时共享网络权值矩阵；
输出减少层，用于对所述第六卷积层输出的图像数据进行特征降维以及减少所述第六卷积层输出的图像数据以防止过拟合；
全连接层，用于对所述输出减少层输出的数据进行表面缺陷分类。
6.根据权利要求4所述的方法，其特征在于，所述基于卷积神经网络的表面缺陷检测模型训练过程采用的损失函数为：
其中，||f(xi)a-f(xi)n||2表示一对相同缺陷类型的芯片表面样本图像特征值的距离，||f(xi)a-f(xi)p||2表示一对不同缺陷类型的芯片表面样本图像特征值的距离，||f(xi)-f(xi)'||2表示第i个芯片表面样本图像训练时输出的预测值与标记值的距离，λ为用于提高训练精度的系数。
7.根据权利要求2所述的方法，其特征在于，所述获取所述芯片的表面图像的表面缺陷位置信息的步骤包括：
将所述芯片的表面图像分割为N个子区域块，根据表面缺陷类型分为芯片主体区域和引脚区域；
分别提取所述芯片主体区域和引脚区域的主图像特征，并分别提取所述芯片主体区域和引脚区域各个子区域块的子图像特征；
计算各个子图像特征的均值与对应的主图像特征的均值的差值，提取差值大于预设差值的各个子区域块，若提取的各个子区域块连通，则判定提取的所述各个子区域块构成的连通区域为对应的表面缺陷区域；
对所述芯片的表面图像构建坐标系，将所述各个子区域块在所述坐标系中的位置作为所述表面缺陷位置信息。
8.根据权利要求4所述的方法，其特征在于，无表面缺陷的芯片表面样本图像的数量与每一种缺陷类型的芯片表面样本图像的数量相等。
9.一种芯片的表面缺陷检测装置，其特征在于，包括：存储单元、处理单元以及采集单元；所述处理单元分别与存储单元、采集单元电性连接；
所述存储单元用于存储基于卷积神经网络的表面缺陷检测模型；
所述采集单元用于采集芯片的表面图像；
所述处理单元用于获取基于卷积神经网络的表面缺陷检测模型，以及获取采集单元采集的芯片的表面图像，并将所述芯片的表面图像输入到所述表面缺陷检测模型，并利用所述表面缺陷检测模型检测所述芯片的表面图像的表面缺陷，得到所述芯片的表面图像的表面信息，所述表面信息包括第一预设输出信息或第二预设输出信息，所述第一预设输出信息包括表面缺陷类型信息，所述第二预设输出信息表示所述芯片无表面缺陷。
10.根据权利要求9所述的芯片的表面缺陷检测装置，其特征在于，所述芯片的表面缺陷检测装置还可以包括传送装置，所述传送装置包括控制器和传送带，所述传送装置的控制器用于控制传送带运动，所述处理单元与传送装置的控制器电性连接，所述传送装置的传送带用于传送芯片，所述采集单元安装于传送带的上方，所述采集单元与传送带的垂直距离小于预设距离，所述处理单元用于当检测到芯片存在表面缺陷时发出第一指令，所述传送装置的控制器响应所述第一指令、利用将所述传送带将存在表面缺陷的芯片传送至指定位置。
CN202310819777.XA 2023-07-05 2023-07-05 芯片的表面缺陷检测方法和装置 Active CN116777894B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310819777.XA CN116777894B (zh) 2023-07-05 2023-07-05 芯片的表面缺陷检测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310819777.XA CN116777894B (zh) 2023-07-05 2023-07-05 芯片的表面缺陷检测方法和装置

Publications (2)

Publication Number Publication Date
CN116777894A true CN116777894A (zh) 2023-09-19
CN116777894B CN116777894B (zh) 2023-12-29

Family

ID=87994549

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310819777.XA Active CN116777894B (zh) 2023-07-05 2023-07-05 芯片的表面缺陷检测方法和装置

Country Status (1)

Country Link
CN (1) CN116777894B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117589798A (zh) * 2024-01-19 2024-02-23 中诚华隆计算机技术有限公司 一种芯片故障检测方法、装置及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107563999A (zh) * 2017-09-05 2018-01-09 华中科技大学 一种基于卷积神经网络的芯片缺陷识别方法
CN109919908A (zh) * 2019-01-23 2019-06-21 华灿光电（浙江）有限公司 发光二极管芯片缺陷检测的方法和装置
CN112017986A (zh) * 2020-10-21 2020-12-01 季华实验室 半导体产品缺陷检测方法、装置、电子设备及存储介质
CN112700406A (zh) * 2020-12-09 2021-04-23 深圳市芯汇群微电子技术有限公司 一种基于卷积神经网络的晶圆缺陷检测方法
US20210150688A1 (en) * 2019-11-18 2021-05-20 Stmicroelectronics (Rousset) Sas Neural network training device, system and method
CN115631178A (zh) * 2022-11-03 2023-01-20 昆山润石智能科技有限公司 自动晶圆缺陷检测方法、系统、设备及存储介质
CN116128839A (zh) * 2023-01-20 2023-05-16 杭州广立微电子股份有限公司 晶圆缺陷识别方法、装置、电子设备以及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107563999A (zh) * 2017-09-05 2018-01-09 华中科技大学 一种基于卷积神经网络的芯片缺陷识别方法
CN109919908A (zh) * 2019-01-23 2019-06-21 华灿光电（浙江）有限公司 发光二极管芯片缺陷检测的方法和装置
US20210150688A1 (en) * 2019-11-18 2021-05-20 Stmicroelectronics (Rousset) Sas Neural network training device, system and method
CN112017986A (zh) * 2020-10-21 2020-12-01 季华实验室 半导体产品缺陷检测方法、装置、电子设备及存储介质
CN112700406A (zh) * 2020-12-09 2021-04-23 深圳市芯汇群微电子技术有限公司 一种基于卷积神经网络的晶圆缺陷检测方法
CN115631178A (zh) * 2022-11-03 2023-01-20 昆山润石智能科技有限公司 自动晶圆缺陷检测方法、系统、设备及存储介质
CN116128839A (zh) * 2023-01-20 2023-05-16 杭州广立微电子股份有限公司 晶圆缺陷识别方法、装置、电子设备以及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
邡鑫;史峥;: "基于卷积神经网络的晶圆缺陷检测与分类算法", 计算机工程, no. 08 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117589798A (zh) * 2024-01-19 2024-02-23 中诚华隆计算机技术有限公司 一种芯片故障检测方法、装置及电子设备

Also Published As

Publication number Publication date
CN116777894B (zh) 2023-12-29

Similar Documents

Publication Publication Date Title
CN110414507B (zh) 车牌识别方法、装置、计算机设备和存储介质
CN110163842B (zh) 建筑裂缝检测方法、装置、计算机设备和存储介质
CN113239930B (zh) 一种玻璃纸缺陷识别方法、系统、装置及存储介质
US10489687B2 (en) Classification method, classification module and computer program product using the same
CN116777894B (zh) 芯片的表面缺陷检测方法和装置
WO2022012240A1 (zh) 检测显示面板不良的方法及装置
CN114581782B (zh) 一种基于由粗到精检测策略的细微缺陷检测方法
CN115311267B (zh) 一种格纹织物异常检测方法
CN112381788A (zh) 一种基于双分支匹配网络的零部件表面缺陷增量检测方法
CN115953373B (zh) 玻璃缺陷检测方法、装置、电子设备及存储介质
CN113222982A (zh) 基于改进的yolo网络的晶圆表面缺陷检测方法及系统
CN114998324A (zh) 半导体晶圆缺陷检测模型的训练方法及装置
CN112200776A (zh) 芯片封装缺陷检测方法和检测装置
CN114581446B (zh) 一种叠片电池的电芯异常检测方法及系统
CN112991332A (zh) 一种晶圆缺陷的多晶不良检测方法、装置
CN115690670A (zh) 一种晶圆瑕疵智能识别方法和系统
CN113487607A (zh) 基于多视场图像的缺陷检测方法及装置
CN114463314A (zh) 一种基于色彩差影模型的晶圆缺陷检测方法及系统
CN106780437A (zh) 一种快速qfn芯片塑封图像获取与放大方法
CN115619784B (zh) 一种基于深度特征记忆库的无监督缺陷检测方法及终端
CN114972350B (zh) 模具异常检测方法、装置、设备及存储介质
CN115937107A (zh) 一种两阶段坯布缺陷检测方法、系统、介质及计算机
CN115908374A (zh) 基于度量学习的瓦楞纸箱印刷图案匹配检测方法、系统及存储介质
CN117420152B (zh) 视觉检测方法、装置、计算机设备及计算机可读存储介质
CN112364783B (zh) 一种零件检测方法、装置及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant