CN112017986A - 半导体产品缺陷检测方法、装置、电子设备及存储介质 - Google Patents
半导体产品缺陷检测方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112017986A CN112017986A CN202011130159.7A CN202011130159A CN112017986A CN 112017986 A CN112017986 A CN 112017986A CN 202011130159 A CN202011130159 A CN 202011130159A CN 112017986 A CN112017986 A CN 112017986A
- Authority
- CN
- China
- Prior art keywords
- image
- semiconductor product
- defect
- internal structure
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
- H01L22/10—Measuring as part of the manufacturing process
- H01L22/12—Measuring as part of the manufacturing process for structural parameters, e.g. thickness, line width, refractive index, temperature, warp, bond strength, defects, optical inspection, electrical measurement of structural dimensions, metallurgic measurement of diffusions
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L21/00—Processes or apparatus adapted for the manufacture or treatment of semiconductor or solid state devices or of parts thereof
- H01L21/67—Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere
- H01L21/67005—Apparatus not specifically provided for elsewhere
- H01L21/67242—Apparatus for monitoring, sorting or marking
- H01L21/67253—Process monitoring, e.g. flow or thickness monitoring
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
- H01L22/20—Sequence of activities consisting of a plurality of measurements, corrections, marking or sorting steps
- H01L22/24—Optical enhancement of defects or not directly visible states, e.g. selective electrolytic deposition, bubbles in liquids, light emission, colour change
Landscapes
- Engineering & Computer Science (AREA)
- Manufacturing & Machinery (AREA)
- Computer Hardware Design (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Power Engineering (AREA)
- Physics & Mathematics (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- General Physics & Mathematics (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明涉及数据处理领域，提供了一种半导体产品缺陷检测方法、装置、电子设备及存储介质，该方法包括获取由太赫兹拍摄终端对半导体产品进行拍摄得到的内部结构图像，对所述内部结构图像进行预处理得到第一图像，将所述第一图像输入预先训练的缺陷识别模型，输出第二图像，判断所述第二图像中是否包含预设类型的目标区域，若有则确定所述第二图像对应的半导体产品存在缺陷。本发明能够降低检测半导体芯片缺陷问题的难度，提升对半导体芯片缺陷问题的检测精度。
Description
技术领域
本发明涉及数据处理领域，尤其涉及一种半导体产品缺陷检测方法、装置、电子设备及存储介质。
背景技术
对半导体芯片的缺陷检测是制造半导体芯片过程中的一个重要步骤，决定半导体芯片的良品率。半导体芯片缺陷主要方式有晶圆内部结构不均一、芯片内部电路剥落、芯片封装引线断裂、封装材料受应力失效等。
目前，工业常用的半导体缺陷检测技术是光学检测、超声检测、X射线检测，但这些技术都存在一定的局限性。光学检测无法观察到半导体产品内部，因为它无法穿透芯片的封装材料和PCB板。由于在测试过程中使用了声耦合剂，因此超声技术既费时又会污损产品，只能做到抽样检测。X射线技术只能检测金属，而不能检测芯片内部非金属地的裂纹，分层或孔洞。此外，X射线的电离特性可能会损坏晶片内部电路结构，并且对现场工作人员造成人身伤害。因此，如何降低检测半导体芯片缺陷问题的难度，提升对半导体芯片缺陷问题的检测精度成为了亟需解决的技术问题。
发明内容
本发明的主要目的在于提供一种半导体产品缺陷检测方法、装置、电子设备及存储介质，旨在如何降低检测半导体芯片缺陷问题的难度，提升对半导体芯片缺陷问题的检测精度的问题。
为实现上述目的，本发明提供的一种半导体产品缺陷检测方法，该方法包括：
获取步骤：获取由太赫兹拍摄终端对半导体产品进行拍摄得到的内部结构图像，对所述内部结构图像进行预处理得到第一图像；
输入步骤：将所述第一图像输入预先训练的缺陷识别模型，输出第二图像；
判断步骤：判断所述第二图像中是否包含预设类型的目标区域，若有则确定所述第二图像对应的半导体产品存在缺陷。
优选地，所述“对所述内部结构图像进行预处理得到第一图像”步骤包括：
对所述内部结构图像进行平滑去噪处理及灰度拉伸处理得到清晰度提升的第一图像。
优选地，所述“对所述内部结构图像进行预处理得到第一图像”步骤还包括：
在对所述内部结构图像进行平滑去噪处理及灰度拉伸处理后进行二值化处理，得到二值化图像；
对所述二值化图像进行边缘检测，获取所述半导体产品的轮廓区域，去除所述二值化图像中的背景区域得到所述第一图像。
优选地，所述缺陷识别模型根据预先创建的训练样本库，并基于CNN网络模型训练得到，所述缺陷识别模型包括依次连接的1个输入层、5个卷积层、2个全连接层及1个输出层，每个所述卷积层之后还连接有1个池化层；
其中，输入层，用于输入所述第一图像；
卷积层，对所述第一图像进行卷积操作，用于提取所述第一图像的特征信息；
池化层，对所述第一图像进行池化操作，用于保留相似度值大于或等于预设阈值的所述特征信息中的一个；
全连接层，所述全连接层为softmax分类器，用于对所述特征信息进行分类；
输出层，用于输出分类结果。
优选地，依次连接的所述5个卷积层的卷积核数量从左到右递减。
优选地，该方法还包括：
利用丢弃法分别丢弃与所述全连接层连接的池化层及全连接层内预设比例的神经元，以防止所述缺陷识别模型过拟合，其中对所述池化层的预设比例为0.25%，对所述全连接层的预设比例为0.5%。
优选地，所述“若有则确定所述第二图像对应的半导体产品存在缺陷”步骤之后，该方法还包括：
将所述确定存在产品缺陷的第二图像加入所述训练样本库。
为实现上述目的，本发明还进一步提供一种半导体产品缺陷检测装置，所述半导体产品缺陷检测装置包括：
获取模块，用于获取由太赫兹拍摄终端对半导体产品进行拍摄得到的内部结构图像，对所述内部结构图像进行预处理得到第一图像；
输入模块，用于将所述第一图像输入预先训练的缺陷识别模型，输出第二图像；
判断模块，用于判断所述第二图像中是否包含预设类型的目标区域，若有则确定所述第二图像对应的半导体产品存在缺陷。
为实现上述目的，本发明还进一步提供一种电子设备，所述电子设备包括存储器和处理器，所述存储器上存储有半导体产品缺陷检测程序，所述半导体产品缺陷检测程序被所述处理器执行时实现如上述的半导体产品缺陷检测方法的步骤。
为实现上述目的，本发明进一步提供一种计算机可读存储介质，所述计算机可读存储介质上存储有半导体产品缺陷检测程序，所述半导体产品缺陷检测程序可被一个或者多个处理器执行，以实现如上述的半导体产品缺陷检测方法的步骤。
本发明提出的半导体产品缺陷检测方法、装置、电子设备及存储介质，通过获取由太赫兹拍摄终端对半导体产品进行拍摄得到的内部结构图像，对所述内部结构图像进行预处理得到第一图像，将所述第一图像输入预先训练的缺陷识别模型，输出第二图像，判断所述第二图像中是否包含预设类型的目标区域，若有则确定所述第二图像对应的半导体产品存在缺陷。本发明能够降低检测半导体芯片缺陷问题的难度，提升对半导体芯片缺陷问题的检测精度。
附图说明
图1为本发明一实施例提供的半导体产品缺陷检测方法的流程示意图；
图2为本发明一实施例提供的半导体产品缺陷检测装置的模块示意图；
图3为本发明一实施例提供的实现半导体产品缺陷检测方法的电子设备的内部结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参附图做进一步说明。
具体实施方式
为了使本发明的目的、技术本实施例及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术本实施例可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术本实施例的结合出现相互矛盾或无法实现时应当认为这种技术本实施例的结合不存在，也不在本发明要求的保护范围之内。
本发明提供一种半导体产品缺陷检测方法。参照图1所示，为本发明一实施例提供的半导体产品缺陷检测方法的流程示意图。该方法可以由一个系统执行，该系统可以由软件和/或硬件实现。
在本实施例中，半导体产品缺陷检测方法包括：
S110，获取由太赫兹拍摄终端对半导体产品进行拍摄得到的内部结构图像，对所述内部结构图像进行预处理得到第一图像。
在本实施例中，以客户端为执行主体，例如电脑。首先客户端接收由太赫兹拍摄终端对半导体产品进行拍摄得到的内部结构图像。太赫兹拍摄终端是一种基于太赫兹波成像技术的相机，太赫兹（THz）波是一种频率范围为 0.1THz-10THz，波长范围为 0.03-3mm，介于无线电波和光波之间的电磁波。相较于其他射线，例如X射线的成像技术，太赫兹波具有高时空相干性、低光子能量、使用安全性高、定向性好、频谱宽等特性，能够穿透半导体芯片的封装材料和PCB板，从而获取半导体芯片内部的电路结构图像。同时太赫兹波不会对现场工作人员造成人身伤害。通过太赫兹拍摄终端获取半导体产品的内部结构图像后，为后续识别半导体产品内部结构是否存在缺陷做准备。
进一步地，为了提升后续识别内部结构图像中是否存在产品缺陷的情况，在本实施例中，还通过对内部结构图形进行预处理得到清晰度更高的第一图像。
具体地，“对所述内部结构图像进行预处理得到第一图像”步骤包括：
对所述内部结构图像进行平滑去噪处理及灰度拉伸处理得到清晰度提升的第一图像。
其中，平滑去噪处理采用高斯滤波，能够去除图像中的噪点，提升图像的清晰度。灰度拉伸处理能够提升图像的对比度，进而提升图像的清晰度。
在另一实施例中，“对所述内部结构图像进行预处理得到第一图像”步骤还包括：
在对所述内部结构图像进行平滑去噪处理及灰度拉伸处理后进行二值化处理，得到二值化图像；
对所述二值化图像进行边缘检测，获取所述半导体产品的轮廓区域，去除所述二值化图像中的背景区域得到所述第一图像。
在本实施例中，通过边缘检测技术从二值化图像中获取半导体产品的轮廓区域，并去除二值化图像中的背景区域，缩小检测区域，进而提升对内部结构图像的识别准确性和减少系统的数据处理压力。
S120，将所述第一图像输入预先训练的缺陷识别模型，输出第二图像。
在本实施例中，通过将第一图像输入预先训练的缺陷识别模型，输出第二图像，根据第二图像判断第二图像中的半导体产品是否存在缺陷及缺陷的类别。
其中，缺陷识别模型是根据预先创建的训练样本库，并基于CNN（神经卷积神经网络模型）网络模型训练得到，缺陷识别模型包括依次连接的1个输入层、5个卷积层、2个全连接层及1个输出层，每个卷积层之后还连接有1个池化层。
其中，输入层，用于输入第一图像，优先采用64×64的图像作为输入。
卷积层，对第一图像进行卷积操作，用于提取第一图像的特征信息。其中，由于本方案应用场景的特殊性，主要应用在半导体产品内部缺陷检测，使得用于训练CNN网络模型而构建的训练样本库中的图像样本数量很少，同时，半导体产品的内部结构图像存在较高的单一性，不需要采用传统的具有多层卷积层的训练模型（例如具有13层卷积层的VGG16）进行训练提取第一图像的特征信息，相反，采用多层卷积层对本方案中的第一图像进行特征信息提取，只会降低对模型的训练速度以及模型对第一图像的缺陷识别速度。
因此，在本实施例中设定卷积层的总数量为5个，得到优化后的缺陷识别模型，既能够满足对第一图像中的特征信息提取，在大程度上减少缺陷识别模型的结构层数，达到每秒30帧的处理速度，适用于基于太赫兹波成像技术的高速在线缺陷检测，又能避免过多的卷积层导致降低对模型的训练速度以及模型对第一图像的缺陷识别速度。优选地，每层卷积层的卷积核数目从左至右依次减少。从数值上看，本实施例中的缺陷识别模型所需要进行训练的卷积层参数数量缩小了一半，但是运行或训练该缺陷识别模型时所需要的运算量成指数减少，能够提高训练速度。
池化层，对第一图像进行池化操作，用于保留相似度值大于或等于预设阈值的特征信息中的一个。由于经过卷积操作后提取到的特征信息，相邻区域之间存在相似特征信息，如果全部保留这些特征信息会导致信息冗余，增加计算难度，因此通过池化层能够不断地减小数据的空间大小，并且能够使参数的数量和计算量得到相应的下降，在一定程度上能够控制缺陷识别模型过拟合，提升缺陷识别模型的泛化性，即提升缺陷识别模型的预测准确性。
全连接层，全连接层为softmax分类器，用于对特征信息进行分类。
输出层，用于输出分类结果，即第一图像中是否存在缺陷，及缺陷的类别。
由上述可知，本实施例中的缺陷识别模型在半导体产品缺陷检测中具有良好的性能。将优化后的缺陷识别模型应用在本方案的半导体产品缺陷检测中，不易造成过度拟合，且易于在嵌入式系统中实现。本次CNN变分采用64×64图像作为输入。
在另一实施例中，为了防止缺陷识别模型过拟合，该方法还包括丢弃步骤：
利用丢弃法分别丢弃与所述全连接层连接的池化层及全连接层内预设比例的神经元，其中对所述池化层的预设比例为0.25%，对所述全连接层的预设比例为0.5%。
在本实施例中，由于图像样本难获取导致样本数量少，所以采用传统方式对所有的层进行丢弃会导致部分特征信息丢失，甚至导致重要的特征信息丢失，因此只在最后的一个池化层和连接层运用丢弃法，能够在保证重要特征信息不被误丢失的前提下防止过拟合，实现更好的预测效果。
S130，判断所述第二图像中是否包含预设类型的目标区域，若有则确定所述第二图像对应的半导体产品存在缺陷。
在本实施例中，通过判断第二图像中是否包含预设类型的目标区域，例如不同颜色框选的标记框，每种颜色表示一种缺陷类型，缺陷类型可以是裂纹，分层或孔洞。当识别到第二图像中存在相应的标记框时，则确定第二图像对应的半导体产品存在相应的缺陷。
在另一实施例中，该方法还包括补充步骤：
将所述确定存在产品缺陷的第二图像加入所述训练样本库。
由于半导体产品的缺陷样本图像难以获取，导致训练样本库中的样本图像很少，可能导致缺陷识别模型的预测精准度不高，因此，在本实施例中，可以通过将确定存在产品缺陷的第二图像加入训练样本库，增加训练样本库中的样本图像的丰富性，提升缺陷识别模型的预测精准度。
关于上述步骤的详细介绍，请参照下述图2关于半导体产品缺陷检测程序10实施例的程序模块示意图及图3关于半导体产品缺陷检测方法实施例的方法流程示意图的说明。
如图2所示，是本发明半导体产品缺陷检测装置100的功能模块图。
本发明所述半导体产品缺陷检测装置100可以安装于电子设备1中。根据实现的功能，所述半导体产品缺陷检测装置100可以包括获取模块110、输入模块120及判断模块130。本发明所述模块也可以称之为单元，是指一种能够被电子设备1处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备1的存储器中。
在本实施例中，关于各模块/单元的功能如下：
获取模块110，用于获取由太赫兹拍摄终端对半导体产品进行拍摄得到的内部结构图像，对所述内部结构图像进行预处理得到第一图像。
在本实施例中，以客户端为执行主体，例如电脑。首先客户端接收由太赫兹拍摄终端对半导体产品进行拍摄得到的内部结构图像。太赫兹拍摄终端是一种基于太赫兹波成像技术的相机，太赫兹（THz）波是一种频率范围为 0.1THz-10THz，波长范围为 0.03-3mm，介于无线电波和光波之间的电磁波。相较于其他射线，例如X射线的成像技术，太赫兹波具有高时空相干性、低光子能量、使用安全性高、定向性好、频谱宽等特性，能够穿透半导体芯片的封装材料和PCB板，从而获取半导体芯片内部的电路结构图像。同时太赫兹波不会对现场工作人员造成人身伤害。通过太赫兹拍摄终端获取半导体产品的内部结构图像后，为后续识别半导体产品内部结构是否存在缺陷做准备。
进一步地，为了提升后续识别内部结构图像中是否存在产品缺陷的情况，在本实施例中，还通过对内部结构图形进行预处理得到清晰度更高的第一图像。
具体地，“对所述内部结构图像进行预处理得到第一图像”步骤包括：
对所述内部结构图像进行平滑去噪处理及灰度拉伸处理得到清晰度提升的第一图像。
其中，平滑去噪处理采用高斯滤波，能够去除图像中的噪点，提升图像的清晰度。灰度拉伸处理能够提升图像的对比度，进而提升图像的清晰度。
在另一实施例中，“对所述内部结构图像进行预处理得到第一图像”步骤还包括：
在对所述内部结构图像进行平滑去噪处理及灰度拉伸处理后进行二值化处理，得到二值化图像；
对所述二值化图像进行边缘检测，获取所述半导体产品的轮廓区域，去除所述二值化图像中的背景区域得到所述第一图像。
在本实施例中，通过边缘检测技术从二值化图像中获取半导体产品的轮廓区域，并去除二值化图像中的背景区域，缩小检测区域，进而提升对内部结构图像的识别准确性和减少系统的数据处理压力。
输入模块120，用于将所述第一图像输入预先训练的缺陷识别模型，输出第二图像。
在本实施例中，通过将第一图像输入预先训练的缺陷识别模型，输出第二图像，根据第二图像判断第二图像中的半导体产品是否存在缺陷及缺陷的类别。
其中，缺陷识别模型是根据预先创建的训练样本库，并基于CNN（神经卷积神经网络模型）网络模型训练得到，缺陷识别模型包括依次连接的1个输入层、5个卷积层、2个全连接层及1个输出层，每个卷积层之后还连接有1个池化层。
其中，输入层，用于输入第一图像，优先采用64×64的图像作为输入。
卷积层，对第一图像进行卷积操作，用于提取第一图像的特征信息。其中，由于本方案应用场景的特殊性，主要应用在半导体产品内部缺陷检测，使得用于训练CNN网络模型而构建的训练样本库中的图像样本数量很少，同时，半导体产品的内部结构图像存在较高的单一性，不需要采用传统的具有多层卷积层的训练模型（例如具有13层卷积层的VGG16）进行训练提取第一图像的特征信息，相反，采用多层卷积层对本方案中的第一图像进行特征信息提取，只会降低对模型的训练速度以及模型对第一图像的缺陷识别速度。
因此，在本实施例中设定卷积层的总数量为5个，得到优化后的缺陷识别模型，既能够满足对第一图像中的特征信息提取，在大程度上减少缺陷识别模型的结构层数，达到每秒30帧的处理速度，适用于基于太赫兹波成像技术的高速在线缺陷检测，又能避免过多的卷积层导致降低对模型的训练速度以及模型对第一图像的缺陷识别速度。优选地，每层卷积层的卷积核数目从左至右依次减少。从数值上看，本实施例中的缺陷识别模型所需要进行训练的卷积层参数数量缩小了一半，但是运行或训练该缺陷识别模型时所需要的运算量成指数减少，能够提高训练速度。
池化层，对第一图像进行池化操作，用于保留相似度值大于或等于预设阈值的特征信息中的一个。由于经过卷积操作后提取到的特征信息，相邻区域之间存在相似特征信息，如果全部保留这些特征信息会导致信息冗余，增加计算难度，因此通过池化层能够不断地减小数据的空间大小，并且能够使参数的数量和计算量得到相应的下降，在一定程度上能够控制缺陷识别模型过拟合，提升缺陷识别模型的泛化性，即提升缺陷识别模型的预测准确性。
全连接层，全连接层为softmax分类器，用于对特征信息进行分类。
输出层，用于输出分类结果，即第一图像中是否存在缺陷，及缺陷的类别。
由上述可知，本实施例中的缺陷识别模型在半导体产品缺陷检测中具有良好的性能。将优化后的缺陷识别模型应用在本方案的半导体产品缺陷检测中，不易造成过度拟合，且易于在嵌入式系统中实现。本次CNN变分采用64×64图像作为输入。
在另一实施例中，为了防止缺陷识别模型过拟合，该装置还包括丢弃模块，用于：
利用丢弃法分别丢弃与所述全连接层连接的池化层及全连接层内预设比例的神经元，其中对所述池化层的预设比例为0.25%，对所述全连接层的预设比例为0.5%。
在本实施例中，由于图像样本难获取导致样本数量少，所以采用传统方式对所有的层进行丢弃会导致部分特征信息丢失，甚至导致重要的特征信息丢失，因此只在最后的一个池化层和连接层运用丢弃法，能够在保证重要特征信息不被误丢失的前提下防止过拟合，实现更好的预测效果。
判断模块130，用于判断所述第二图像中是否包含预设类型的目标区域，若有则确定所述第二图像对应的半导体产品存在缺陷。
在本实施例中，通过判断第二图像中是否包含预设类型的目标区域，例如不同颜色框选的标记框，每种颜色表示一种缺陷类型，缺陷类型可以是裂纹，分层或孔洞。当识别到第二图像中存在相应的标记框时，则确定第二图像对应的半导体产品存在相应的缺陷。
在另一实施例中，该装置还包括补充模块，用于：
将所述确定存在产品缺陷的第二图像加入所述训练样本库。
由于半导体产品的缺陷样本图像难以获取，导致训练样本库中的样本图像很少，可能导致缺陷识别模型的预测精准度不高，因此，在本实施例中，可以通过将确定存在产品缺陷的第二图像加入训练样本库，增加训练样本库中的样本图像的丰富性，提升缺陷识别模型的预测精准度。
如图3所示，是本发明实现半导体产品缺陷检测方法的电子设备的结构示意图。
所述电子设备1可以包括处理器12、存储器11和总线，还可以包括存储在所述存储器11中并可在所述处理器12上运行的计算机程序，如半导体产品缺陷检测程序10。
其中，所述存储器11至少包括一种类型的可读存储介质，所述计算机可读存储介质上存储有半导体产品缺陷检测程序，半导体产品缺陷检测程序可被一个或者多个处理器执行。所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器（例如：SD或DX存储器等）、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备1的内部存储单元，例如该电子设备1的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备1的外部存储设备，例如电子设备1上配备的插接式移动硬盘、智能存储卡（Smart MediaCard，SMC）、安全数字（Secure Digital，SD）卡、闪存卡（Flash Card）等。进一步地，所述存储器11还可以既包括电子设备1的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备1的应用软件及各类数据，例如半导体产品缺陷检测程序10的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
所述处理器12在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器（Central Processing unit，CPU）、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器12是所述电子设备1的控制核心（Control Unit），利用各种接口和线路连接整个电子设备1的各个部件，通过运行或执行存储在所述存储器11内的程序或者模块（例如半导体产品缺陷检测程序等），以及调用存储在所述存储器11内的数据，以执行电子设备1的各种功能和处理数据。
所述总线可以是外设部件互连标准（peripheral component interconnect，简称PCI）总线或扩展工业标准结构（extended industry standard architecture，简称EISA）总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器11以及至少一个处理器12等之间的连接通信。
图3仅示出了具有部件的电子设备1，本领域技术人员可以理解的是，图3示出的结构并不构成对所述电子设备1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
例如，尽管未示出，所述电子设备1还可以包括给各个部件供电的电源（比如电池），优选地，电源可以通过电源管理系统与所述至少一个处理器12逻辑相连，从而通过电源管理系统实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备1还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。
进一步地，所述电子设备1还可以包括网络接口13，可选地，所述网络接口13可以包括有线接口和/或无线接口（如WI-FI接口、蓝牙接口等），通常用于在该电子设备1与其他电子设备1之间建立通信连接。
可选地，该电子设备1还可以包括用户接口，用户接口可以是显示器（Display）、输入单元（比如键盘（Keyboard）），可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED（Organic Light-Emitting Diode，有机发光二极管）触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
所述电子设备1中的所述存储器11存储的半导体产品缺陷检测程序10是多个指令的组合，在所述处理器12中运行时，可以实现：
获取由太赫兹拍摄终端对半导体产品进行拍摄得到的内部结构图像，对所述内部结构图像进行预处理得到第一图像；
将所述第一图像输入预先训练的缺陷识别模型，输出第二图像；
判断所述第二图像中是否包含预设类型的目标区域，若有则确定所述第二图像对应的半导体产品存在缺陷。
在另一实施例中，该程序还执行丢弃步骤，包括：
利用丢弃法分别丢弃与所述全连接层连接的池化层及全连接层内预设比例的神经元，以防止所述缺陷识别模型过拟合，其中对所述池化层的预设比例为0.25%，对所述全连接层的预设比例为0.5%。
在另一实施例中，该程序还执行补充步骤，包括：
将所述确定存在产品缺陷的第二图像加入所述训练样本库。
具体地，所述处理器11对上述指令的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。
进一步地，所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或系统、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备，系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或系统也可以由一个单元或系统通过软件或者硬件来实现。第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。
Claims (10)
1.一种半导体产品缺陷检测方法，其特征在于，包括：
获取步骤：获取由太赫兹拍摄终端对半导体产品进行拍摄得到的内部结构图像，对所述内部结构图像进行预处理得到第一图像；
输入步骤：将所述第一图像输入预先训练的缺陷识别模型，输出第二图像；
判断步骤：判断所述第二图像中是否包含预设类型的目标区域，若有则确定所述第二图像对应的半导体产品存在缺陷。
2.如权利要求1所述的半导体产品缺陷检测方法，其特征在于，所述“对所述内部结构图像进行预处理得到第一图像”步骤包括：
对所述内部结构图像进行平滑去噪处理及灰度拉伸处理得到清晰度提升的第一图像。
3.如权利要求2所述的半导体产品缺陷检测方法，其特征在于，所述“对所述内部结构图像进行预处理得到第一图像”步骤还包括：
在对所述内部结构图像进行平滑去噪处理及灰度拉伸处理后进行二值化处理，得到二值化图像；
对所述二值化图像进行边缘检测，获取所述半导体产品的轮廓区域，去除所述二值化图像中的背景区域得到所述第一图像。
4.如权利要求1所述的半导体产品缺陷检测方法，其特征在于，所述缺陷识别模型根据预先创建的训练样本库，并基于CNN网络模型训练得到，所述缺陷识别模型包括依次连接的1个输入层、5个卷积层、2个全连接层及1个输出层，每个所述卷积层之后还连接有1个池化层；
其中，输入层，用于输入所述第一图像；
卷积层，对所述第一图像进行卷积操作，用于提取所述第一图像的特征信息；
池化层，对所述第一图像进行池化操作，用于保留相似度值大于或等于预设阈值的所述特征信息中的一个；
全连接层，所述全连接层为softmax分类器，用于对所述特征信息进行分类；
输出层，用于输出分类结果。
5.如权利要求4所述的半导体产品缺陷检测方法，其特征在于，依次连接的所述5个卷积层的卷积核数量从左到右递减。
6.如权利要求5所述的半导体产品缺陷检测方法，其特征在于，该方法还包括：
利用丢弃法分别丢弃与所述全连接层连接的池化层及全连接层内预设比例的神经元，以防止所述缺陷识别模型过拟合，其中对所述池化层的预设比例为0.25%，对所述全连接层的预设比例为0.5%。
7.如权利要求1所述的半导体产品缺陷检测方法，其特征在于，所述“若有则确定所述第二图像对应的半导体产品存在缺陷”步骤之后，该方法还包括：
将所述确定存在产品缺陷的第二图像加入所述训练样本库。
8.一种半导体产品缺陷检测装置，其特征在于，包括：
获取模块，用于获取由太赫兹拍摄终端对半导体产品进行拍摄得到的内部结构图像，对所述内部结构图像进行预处理得到第一图像；
输入模块，用于将所述第一图像输入预先训练的缺陷识别模型，输出第二图像；
判断模块，用于判断所述第二图像中是否包含预设类型的目标区域，若有则确定所述第二图像对应的半导体产品存在缺陷。
9.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器上存储有半导体产品缺陷检测程序，所述半导体产品缺陷检测程序被所述处理器执行时实现如权利要求1-7中任一项所述的半导体产品缺陷检测方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有半导体产品缺陷检测程序，所述半导体产品缺陷检测程序可被一个或者多个处理器执行，以实现如权利要求1-7中任一项所述的半导体产品缺陷检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011130159.7A CN112017986A (zh) | 2020-10-21 | 2020-10-21 | 半导体产品缺陷检测方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011130159.7A CN112017986A (zh) | 2020-10-21 | 2020-10-21 | 半导体产品缺陷检测方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112017986A true CN112017986A (zh) | 2020-12-01 |
Family
ID=73527462
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011130159.7A Pending CN112017986A (zh) | 2020-10-21 | 2020-10-21 | 半导体产品缺陷检测方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112017986A (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112967225A (zh) * | 2021-01-29 | 2021-06-15 | 绍兴隆芙力智能科技发展有限公司 | 一种基于人工智能的自动检测系统、方法、设备及介质 |
| CN112990479A (zh) * | 2021-02-26 | 2021-06-18 | 普赛微科技(杭州)有限公司 | 利用机器学习分类器提高半导体芯片良品率的方法 |
| CN113222967A (zh) * | 2021-05-28 | 2021-08-06 | 长江存储科技有限责任公司 | 晶圆的检测方法及系统 |
| CN113743447A (zh) * | 2021-07-15 | 2021-12-03 | 上海朋熙半导体有限公司 | 半导体瑕疵识别方法、装置、计算机设备和存储介质 |
| CN114613705A (zh) * | 2022-05-10 | 2022-06-10 | 深圳市众望丽华微电子材料有限公司 | 一种半导体元器件加工的控制方法、系统及介质 |
| WO2022166085A1 (zh) * | 2021-02-07 | 2022-08-11 | 长鑫存储技术有限公司 | 故障隔离分析方法及计算机可读存储介质 |
| CN115409694A (zh) * | 2022-11-03 | 2022-11-29 | 季华实验室 | 语义引导的缺陷图像生成方法、装置、设备及存储介质 |
| CN116452791A (zh) * | 2023-03-27 | 2023-07-18 | 广州市斯睿特智能科技有限公司 | 多相机点位的缺陷区域定位方法、系统、装置及存储介质 |
| CN116777894A (zh) * | 2023-07-05 | 2023-09-19 | 山东睿芯半导体科技有限公司 | 芯片的表面缺陷检测方法和装置 |
| CN117457520A (zh) * | 2023-10-25 | 2024-01-26 | 武汉昕微电子科技有限公司 | 一种半导体元器件的缺陷检测方法及系统 |
| CN117589798A (zh) * | 2024-01-19 | 2024-02-23 | 中诚华隆计算机技术有限公司 | 一种芯片故障检测方法、装置及电子设备 |
| CN113743447B (zh) * | 2021-07-15 | 2024-05-17 | 上海朋熙半导体有限公司 | 半导体瑕疵识别方法、装置、计算机设备和存储介质 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101933201A (zh) * | 2007-08-01 | 2010-12-29 | 深度光子公司 | 用于脉冲式谐波紫外激光器的方法和装置 |
| JP2013002859A (ja) * | 2011-06-14 | 2013-01-07 | Toshiba Corp | テラヘルツ波を用いた検査装置及び検査方法 |
| CN105957086A (zh) * | 2016-05-09 | 2016-09-21 | 西北工业大学 | 一种基于优化神经网络模型的遥感图像变化检测方法 |
| CN106156748A (zh) * | 2016-07-22 | 2016-11-23 | 浙江零跑科技有限公司 | 基于车载双目相机的交通场景参与者识别方法 |
| CN107194347A (zh) * | 2017-05-19 | 2017-09-22 | 深圳市唯特视科技有限公司 | 一种基于面部动作编码系统进行微表情检测的方法 |
| CN109308913A (zh) * | 2018-08-02 | 2019-02-05 | 平安科技（深圳）有限公司 | 音乐质量评价方法、装置、计算机设备及存储介质 |
| CN110599455A (zh) * | 2019-08-13 | 2019-12-20 | 武汉精立电子技术有限公司 | 显示屏缺陷检测网络模型、方法、装置、电子设备及存储介质 |
| CN110648323A (zh) * | 2019-09-26 | 2020-01-03 | 上海御微半导体技术有限公司 | 一种缺陷检测分类系统及其方法 |
| CN110751958A (zh) * | 2019-09-25 | 2020-02-04 | 电子科技大学 | 一种基于rced网络的降噪方法 |
| CN110763685A (zh) * | 2019-10-22 | 2020-02-07 | 陕西源杰半导体技术有限公司 | Dfb半导体激光器芯片表面缺陷的人工智能检测方法及其装置 |
| CN111369494A (zh) * | 2020-02-07 | 2020-07-03 | 中国农业科学院农业环境与可持续发展研究所 | 冬小麦穗密度检测方法及装置 |
| CN111832810A (zh) * | 2020-06-23 | 2020-10-27 | 西安电子科技大学 | 洪水预报模型、信息处理方法、存储介质、计算机设备 |
-
2020
- 2020-10-21 CN CN202011130159.7A patent/CN112017986A/zh active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101933201A (zh) * | 2007-08-01 | 2010-12-29 | 深度光子公司 | 用于脉冲式谐波紫外激光器的方法和装置 |
| JP2013002859A (ja) * | 2011-06-14 | 2013-01-07 | Toshiba Corp | テラヘルツ波を用いた検査装置及び検査方法 |
| CN105957086A (zh) * | 2016-05-09 | 2016-09-21 | 西北工业大学 | 一种基于优化神经网络模型的遥感图像变化检测方法 |
| CN106156748A (zh) * | 2016-07-22 | 2016-11-23 | 浙江零跑科技有限公司 | 基于车载双目相机的交通场景参与者识别方法 |
| CN107194347A (zh) * | 2017-05-19 | 2017-09-22 | 深圳市唯特视科技有限公司 | 一种基于面部动作编码系统进行微表情检测的方法 |
| CN109308913A (zh) * | 2018-08-02 | 2019-02-05 | 平安科技（深圳）有限公司 | 音乐质量评价方法、装置、计算机设备及存储介质 |
| CN110599455A (zh) * | 2019-08-13 | 2019-12-20 | 武汉精立电子技术有限公司 | 显示屏缺陷检测网络模型、方法、装置、电子设备及存储介质 |
| CN110751958A (zh) * | 2019-09-25 | 2020-02-04 | 电子科技大学 | 一种基于rced网络的降噪方法 |
| CN110648323A (zh) * | 2019-09-26 | 2020-01-03 | 上海御微半导体技术有限公司 | 一种缺陷检测分类系统及其方法 |
| CN110763685A (zh) * | 2019-10-22 | 2020-02-07 | 陕西源杰半导体技术有限公司 | Dfb半导体激光器芯片表面缺陷的人工智能检测方法及其装置 |
| CN111369494A (zh) * | 2020-02-07 | 2020-07-03 | 中国农业科学院农业环境与可持续发展研究所 | 冬小麦穗密度检测方法及装置 |
| CN111832810A (zh) * | 2020-06-23 | 2020-10-27 | 西安电子科技大学 | 洪水预报模型、信息处理方法、存储介质、计算机设备 |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112967225A (zh) * | 2021-01-29 | 2021-06-15 | 绍兴隆芙力智能科技发展有限公司 | 一种基于人工智能的自动检测系统、方法、设备及介质 |
| WO2022166085A1 (zh) * | 2021-02-07 | 2022-08-11 | 长鑫存储技术有限公司 | 故障隔离分析方法及计算机可读存储介质 |
| CN112990479A (zh) * | 2021-02-26 | 2021-06-18 | 普赛微科技(杭州)有限公司 | 利用机器学习分类器提高半导体芯片良品率的方法 |
| CN113222967A (zh) * | 2021-05-28 | 2021-08-06 | 长江存储科技有限责任公司 | 晶圆的检测方法及系统 |
| CN113743447A (zh) * | 2021-07-15 | 2021-12-03 | 上海朋熙半导体有限公司 | 半导体瑕疵识别方法、装置、计算机设备和存储介质 |
| CN113743447B (zh) * | 2021-07-15 | 2024-05-17 | 上海朋熙半导体有限公司 | 半导体瑕疵识别方法、装置、计算机设备和存储介质 |
| CN114613705A (zh) * | 2022-05-10 | 2022-06-10 | 深圳市众望丽华微电子材料有限公司 | 一种半导体元器件加工的控制方法、系统及介质 |
| CN114613705B (zh) * | 2022-05-10 | 2022-09-06 | 深圳市众望丽华微电子材料有限公司 | 一种半导体元器件加工的控制方法、系统及介质 |
| CN115409694B (zh) * | 2022-11-03 | 2023-01-13 | 季华实验室 | 语义引导的缺陷图像生成方法、装置、设备及存储介质 |
| CN115409694A (zh) * | 2022-11-03 | 2022-11-29 | 季华实验室 | 语义引导的缺陷图像生成方法、装置、设备及存储介质 |
| CN116452791A (zh) * | 2023-03-27 | 2023-07-18 | 广州市斯睿特智能科技有限公司 | 多相机点位的缺陷区域定位方法、系统、装置及存储介质 |
| CN116452791B (zh) * | 2023-03-27 | 2024-03-22 | 广州市斯睿特智能科技有限公司 | 多相机点位的缺陷区域定位方法、系统、装置及存储介质 |
| CN116777894A (zh) * | 2023-07-05 | 2023-09-19 | 山东睿芯半导体科技有限公司 | 芯片的表面缺陷检测方法和装置 |
| CN116777894B (zh) * | 2023-07-05 | 2023-12-29 | 山东睿芯半导体科技有限公司 | 芯片的表面缺陷检测方法和装置 |
| CN117457520A (zh) * | 2023-10-25 | 2024-01-26 | 武汉昕微电子科技有限公司 | 一种半导体元器件的缺陷检测方法及系统 |
| CN117589798A (zh) * | 2024-01-19 | 2024-02-23 | 中诚华隆计算机技术有限公司 | 一种芯片故障检测方法、装置及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112017986A (zh) | 半导体产品缺陷检测方法、装置、电子设备及存储介质 | |
| Chen et al. | SMD LED chips defect detection using a YOLOv3-dense model | |
| CN110060237B (zh) | 一种故障检测方法、装置、设备及系统 | |
| JP7325952B2 (ja) | 表示装置の欠陥検出システム及び方法 | |
| US10043090B2 (en) | Information processing device, information processing method, computer-readable recording medium, and inspection system | |
| CN111968119A (zh) | 基于半导体缺陷检测的图像处理方法、装置、设备及介质 | |
| CN109932370B (zh) | 利用改善的预处理的用于白色点斑检测的系统和方法 | |
| US11435719B2 (en) | System and method for identifying manufacturing defects | |
| CN111862096B (zh) | 图像分割方法、装置、电子设备及存储介质 | |
| CN111639704A (zh) | 目标识别方法、装置及计算机可读存储介质 | |
| CN113554008B (zh) | 静态物体区域内检测方法、装置、电子设备及存储介质 | |
| CN112001362A (zh) | 一种图像分析方法、图像分析装置及图像分析系统 | |
| CN116485779B (zh) | 自适应晶圆缺陷检测方法、装置、电子设备及存储介质 | |
| CN112001317A (zh) | 基于语义信息的导线缺陷识别方法、系统及终端设备 | |
| CN112137591A (zh) | 基于视频流的目标物位置检测方法、装置、设备及介质 | |
| CN114693678B (zh) | 工件质量智能检测方法、装置 | |
| CN111912846A (zh) | 一种基于机器视觉的表面缺陷与边缘毛刺检测方法 | |
| CN116681923A (zh) | 一种基于人工智能的眼科疾病自动分类方法及系统 | |
| CN115661531A (zh) | 基于图文的早期口腔癌识别方法、装置、设备及存储介质 | |
| Yang et al. | Surface defect detection of heat sink based on lightweight fully convolutional network | |
| CN114677650A (zh) | 地铁乘客行人违法行为智能分析方法及装置 | |
| CN112017065A (zh) | 车辆定损理赔方法、装置及计算机可读存储介质 | |
| CN116205881A (zh) | 一种基于轻量级语义分割的数码喷印图像缺陷检测方法 | |
| CN114998222A (zh) | 汽车差速器壳体表面检测方法、电子设备及介质 | |
| CN114037700A (zh) | 面板缺陷检测方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201201 |