CN117237683B - 基于改进神经网络的芯片缺陷智慧检测系统 - Google Patents
基于改进神经网络的芯片缺陷智慧检测系统 Download PDFInfo
- Publication number
- CN117237683B CN117237683B CN202311490012.2A CN202311490012A CN117237683B CN 117237683 B CN117237683 B CN 117237683B CN 202311490012 A CN202311490012 A CN 202311490012A CN 117237683 B CN117237683 B CN 117237683B
- Authority
- CN
- China
- Prior art keywords
- feature map
- defect
- labeling
- labeling block
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 186
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 24
- 238000001514 detection method Methods 0.000 title claims abstract description 24
- 238000002372 labelling Methods 0.000 claims abstract description 165
- 238000010586 diagram Methods 0.000 claims abstract description 46
- 238000012549 training Methods 0.000 claims abstract description 26
- 230000002950 deficient Effects 0.000 claims abstract description 22
- 238000012216 screening Methods 0.000 claims abstract description 17
- 238000000034 method Methods 0.000 claims description 16
- 238000010606 normalization Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 abstract description 39
- 238000003062 neural network model Methods 0.000 abstract description 3
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及神经网络模型学习技术领域,具体涉及基于改进神经网络的芯片缺陷智慧检测系统。该系统将获取的待识别芯片图像输入识别网络,输出缺陷区域;其中,分割训练集中的芯片图像得到缺陷标注块和优选非标注块;输入缺陷标注块和优选非标注块至自编码网络得到第一特征图,匹配缺陷标注块和优选非标注块的第一特征图,筛选出区分特征图;输入缺陷标注块至识别网络得到第二特征图;匹配第二特征图和区分特征图筛选出目标特征图;输入芯片图像至识别网络中得到第三特征图;匹配第三特征图和目标特征图得到目标匹配度;基于目标匹配度对识别网络的损失函数加权,更新损失函数。本发明提高了识别网络识别芯片中缺陷区域的准确性。
Description
技术领域
本发明涉及神经网络模型学习技术领域,具体涉及基于改进神经网络的芯片缺陷智慧检测系统。
背景技术
芯片是电子产品的核心组成部分,任何缺陷或不良都可能导致产品性能问题、故障甚至损坏。通过在制造过程中进行缺陷检测,可以识别并纠正缺陷,从而提高芯片的质量和可靠性。芯片的可靠性对于许多应用至关重要,尤其是在关键领域如医疗、航空航天和汽车等。未检测到的缺陷可能会导致设备故障,这可能对人们的生命和财产造成严重威胁。芯片缺陷检测有助于确保产品在长期使用中不会出现问题。随着芯片制造工艺的发展,芯片的集成度不断增加,因此需要更高效准确的检测方法来应对大批量芯片的检测需求。芯片缺陷检测是集成电路制造过程中的关键步骤,也即为芯片缺陷检测是芯片制造过程中的关键步骤,旨在识别和定位芯片上的缺陷或不良,以确保生产出高质量的芯片产品。
目前,深度学习方法如卷积神经网络被广泛应用于芯片缺陷检测。但由于芯片结构通常较为复杂且多样,某些缺陷区域与非缺陷区域的结构较为相近,会导致对于复杂结构中某些不明显的缺陷进行检测时,神经网络对其中特征的提取精度较低,进而导致对芯片中缺陷区域识别的准确性较低。
发明内容
为了解决由于某些缺陷区域与非缺陷区域的结构较为相近,导致神经网络对芯片中缺陷区域识别的准确性较低的技术问题,本发明的目的在于提供基于改进神经网络的芯片缺陷智慧检测系统,所采用的技术方案包括模块一下模块:
缺陷识别模块,用于获取待识别芯片图像,将待识别芯片图像输入训练好的识别网络,输出缺陷区域;
其中,识别网络的损失函数的更新过程为:根据缺陷区域分割训练集中含有缺陷区域的芯片图像,得到缺陷标注块和优选非标注块;分别输入缺陷标注块和优选非标注块至自编码网络得到第一特征图,匹配缺陷标注块的第一特征图和优选非标注块的第一特征图,筛选出缺陷标注块的部分第一特征图,作为区分特征图;输入缺陷标注块至识别网络,得到第二特征图;匹配第二特征图和区分特征图,筛选出部分第二特征图,作为目标特征图;输入芯片图像至识别网络中,得到第三特征图;匹配第三特征图和目标特征图,得到目标匹配度;基于目标匹配度,对识别网络的损失函数加权,更新损失函数。
优选的,所述根据缺陷区域分割训练集中含有缺陷区域的芯片图像,得到缺陷标注块和优选非标注块,包括:
获取训练集中任意芯片图像中的缺陷区域的最小外接矩形;将所有芯片图像中最大的外接矩形作为标准矩形,基于标准矩形对芯片图像进行分割,得到分割块,将含有缺陷区域的分割块为缺陷标注块;将未含有缺陷区域的分割块为待选非标注块;
保留与缺陷标注块相似的部分待选非标注块,作为优选非标注块。
优选的,所述保留与缺陷标注块相似的部分待选非标注块,作为优选非标注块,包括:
将缺陷标注块中的元素值按照预设排列顺序首尾相连转化为一维序列,作为缺陷标注序列;将待选非标注块中的元素值按照预设排列顺序首尾相连转化为一维序列,作为待选非标注块序列;
计算缺陷标注序列和每个待选非标注块序列的相似度,将相似度大于预设相似阈值时对应的待选非标注块序列,作为优选非标注块,其中预设相似阈值的取值为小于1的正数。
优选的,所述匹配缺陷标注块的第一特征图和优选非标注块的第一特征图,筛选出缺陷标注块的部分第一特征图,作为区分特征图,包括:
计算缺陷标注块对应的第一特征图和优选非标注块的第一特征图的差分图,记为第一差分图,并获取缺陷标注块对应的第一特征图和优选非标注块的第一特征图中,同一位置处像素点在两张第一特征图中的最大像素值,记为第一像素值;对于第一差分图中的任意像素点,计算该像素点的像素值和对应的该像素点在两张第一特征图中的第一像素值的比值,作为第一差分图对应的缺陷标注块和优选非标注块的第一特征图的第一边权值;基于第一边权值,对缺陷标注块的第一特征图和优选非标注块的第一特征图进行匹配,将匹配的第一边权值大于预设第一匹配阈值的缺陷标注块的第一特征图作为区分特征图。
优选的,所述匹配第二特征图和区分特征图,筛选出部分第二特征图,作为目标特征图,包括:
计算第二特征图和区分特征图的差分图,记为第二差分图,并获取第二特征图和区分特征图中,同一位置处像素点在第二特征图和区分特征图中的最大像素值,记为第二像素值;对于第二差分图中的任意像素点,计算该像素点的像素值和对应的该像素点在第二特征图和区分特征图中的第二像素值的比值,作为第二差分图对应的第二特征图和区分特征图的第二边权值;基于第二边权值,对第二特征图和区分特征图进行匹配,将匹配的第二边权值大于预设第二匹配阈值的第二特征图作为目标特征图。
优选的,所述匹配第三特征图和目标特征图,得到目标匹配度,包括:
将第三特征图中的像素值按照预设排列顺序首尾相连转化为一维序列,作为第三特征序列;将目标特征图中的像素值按照预设排列顺序首尾相连转化为一维序列,作为目标特征序列;将第三特征图的第三特征序列和每个目标特征图的目标特征序列的相似度中的最大值,作为第三特征图的目标匹配度。
优选的,所述基于目标匹配度,对识别网络的损失函数加权,更新损失函数,包括:
在识别网络中的每个卷积层添加卷积层的损失函数,卷积层的损失函数为第三特征图和目标特征图的均方差;对每个第三特征图的目标匹配度进行负相关归一化,将负相关归一化的结果值作为加权值,将卷积层中每个第三特征图的加权值作为权重,对每张第三特征图的均方差进行加权求和,将加权求和后的均方差作为识别网络中对应卷积层的损失函数。
优选的,训练集中含有缺陷区域的芯片图像中的缺陷区域是由人工标注出来的。
优选的,所述分别输入缺陷标注块和优选非标注块至自编码网络得到第一特征图,包括:
将缺陷标注块和优选非标注块输入至同一自编码网络中,得到每个隐藏层对应的第一特征图。
优选的,所述输入缺陷标注块至识别网络,得到第二特征图,包括:
将缺陷标注块输入至识别网络中,得到每个隐藏层对应的第二特征图。
本发明实施例至少具有如下有益效果:
本发明涉及神经网络模型学习技术领域。该系统包络缺陷识别模块,用于获取待识别芯片图像,将待识别芯片图像输入训练好的识别网络,输出缺陷区域;其中,识别网络的损失函数的更新过程为:根据缺陷区域分割训练集中芯片图像,得到缺陷标注块和优选非标注块,将训练集中的缺陷区域和非缺陷区域通过缺陷标注块和优选非标注块进行区分,后续通过提取缺陷区域和非缺陷区域的特征,提高识别网络的识别能力;分别输入缺陷标注块和优选非标注块至自编码网络得到第一特征图,匹配缺陷标注块的第一特征图和优选非标注块的第一特征图,筛选出缺陷标注块的部分第一特征图,作为区分特征图,区分特征图是从第一特征图中筛选出的更能代表特征不明显的缺陷区域的特征图,后续输入至识别网络,使自编码网络学习芯片图像中的不明显缺陷特征;输入缺陷标注块至识别网络,得到第二特征图;匹配第二特征图和区分特征图,筛选出部分第二特征图,作为目标特征图,更进一步的对缺陷标注块对应的第二特征图进行筛选得到目标特征图,匹配第二特征图和区分特征图使识别网络能够结合由自编码网络得到的区分特征,提高识别网络的识别准确性;输入芯片图像至识别网络中,得到第三特征图;匹配第三特征图和目标特征图,得到目标匹配度,芯片图像对应的第三特征图反映了芯片图像的特征,目标特征图反映了不明显缺陷特征,将这两者进行匹配得到的目标匹配度用于调节识别网络的损失函数;基于目标匹配度,对识别网络的损失函数加权,更新损失函数。本发明通过对缺陷区域进行标注,获取区分特征图,进而通过构建的损失函数使得识别网络提高对特征图的关注度,进而提高网络对较难识别缺陷的识别能力。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1为本发明一个实施例所提供的识别网络的损失函数的更新过程的步骤流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的基于改进神经网络的芯片缺陷智慧检测系统,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
本发明实施例提供了基于改进神经网络的芯片缺陷智慧检测系统的具体实施方法,该方法适用于芯片缺陷检测场景。该场景下通过图像采集设备采集待识别芯片图像,图像采集设备可以为相机、可以为摄像机。为了解决由于某些缺陷区域与非缺陷区域的结构较为相近,导致神经网络对芯片中缺陷区域识别的准确性较低的技术问题。本发明通过对缺陷区域进行标注,获取缺陷区域与相近的非缺陷区域的区分特征图,进而通过构建的损失函数使得识别网络提高对区分特征图的关注度,进而提高网络对较难识别缺陷的识别能力。
下面结合附图具体的说明本发明所提供的基于改进神经网络的芯片缺陷智慧检测系统的具体方案。该系统包括以下模块:
缺陷识别模块,用于获取待识别芯片图像,将待识别芯片图像输入训练好的识别网络,输出缺陷区域。
首先用图像采集设备采集未进行缺陷识别的待识别芯片图像,进而判断待识别芯片图像中是否有缺陷区域,将获取到的待识别芯片图像输入训练好的识别网络,使得输出待识别芯片图像中的缺陷区域。
其中,在对识别网路的训练过程中,需要对识别网络的训练数据集中的每张芯片图像中的缺陷区域进行标注。需要说明的是,识别网络的训练数据集中的每张芯片图像均为含有缺陷区域的芯片图像。其中,对训练数据集中每张芯片图像中的缺陷区域进行标注的方法为人工标注。将训练数据集简称为训练集,也即训练集中含有缺陷区域的芯片图像中的缺陷区域是由人工标注出来的。且需要说明的是,为了便于后续的处理,在处理前对芯片图像进行裁剪缩放等操作,使得每张芯片图像上均只有一个缺陷区域。
请参阅图1,其示出了识别网络的损失函数的更新过程的步骤流程图,该步骤流程图包括以下步骤:
步骤S100,识别网络的损失函数的更新过程为:根据缺陷区域分割训练集中含有缺陷区域的芯片图像,得到缺陷标注块和优选非标注块。
获取每张训练集中芯片图像的缺陷区域,由于在芯片上缺陷可能不明显,会导致缺陷区域与部分非缺陷区域的相似度较大。
可以通过增强缺陷区域与相似度较大的非缺陷区域的差异,神经网络学习到更多的差异信息后,有助于提高识别能力。
由于神经网络的输入大小固定,因此首先需要得到缺陷区域和非缺陷区域对应的相同大小的块区域。
获取训练集中任意芯片图像中的缺陷区域的最小外接矩形;将所有芯片图像中最大的外接矩形作为标准矩形,基于标准矩形对芯片图像进行分割,得到分割块,将含有缺陷区域的分割块为缺陷标注块;将未含有缺陷区域的分割块为待选非标注块。
更具体的:以训练集中任意含有缺陷区域的芯片图像为例,通过凸包算法获得缺陷区域的最小外接矩形,将训练集中所有芯片图像中缺陷区域的最小外接矩形中面积最大的最小外接矩形作为标准矩形。当芯片图像中缺陷区域的最小外接矩形的面积小于标准矩形的面积时,以芯片图像中缺陷区域的最小外接矩形的中心点为基准点,将芯片图像中缺陷区域的最小外接矩形替换为标准矩形。需要说明的是,替换前后的两个矩形的中心点为同一个点。对于芯片图像,以标准矩形为中心,对芯片图像进行分割,得到多个与标准矩形大小相同的分割块,将标准矩形作为缺陷标注块;将除标准矩形之外的其他分割块作为待选非标注块。
在得到缺陷标注块和待选非标注块之后,保留与缺陷标注块相似的部分待选非标注块,作为优选非标注块。
具体的:将缺陷标注块中的元素值按照预设排列顺序首尾相连转化为一维序列,作为缺陷标注序列;将待选非标注块中的元素值按照预设排列顺序首尾相连转化为一维序列,作为待选非标注块序列;计算缺陷标注序列和每个待选非标注块序列的相似度,将相似度大于预设相似阈值时对应的待选非标注块序列,作为优选非标注块,其中预设相似阈值的取值为小于1的正数。在本发明实施例中预设相似阈值的取值为0.7,在其他实施例中由实施者根据实际情况调整该取值。需要说明的是,由于本发明是对芯片图像进行分析,故缺陷标注块和待选非标注块中的元素值均为像素值。
其中,预设排列顺序为:从标注块中的第一行中左侧的第一个像素值开始,由左至右遍历至第一行最右边的像素值,然后由标注块中的第二行中左侧的第一个像素值开始,由左至右遍历至第二行最右侧的像素值,将每行遍历得到的像素值进行首尾相连,以此类推,遍历至标注块中最后一行,从标注块中最后一行中左侧的第一个像素值,由左至右遍历至最后一行最右边的像素值。
其中,缺陷标注序列和每个待选非标注块序列的相似度为两个序列的余弦相似度。
步骤S200,分别输入缺陷标注块和优选非标注块至自编码网络得到第一特征图,匹配缺陷标注块的第一特征图和优选非标注块的第一特征图,筛选出缺陷标注块的部分第一特征图,作为区分特征图。
需要说明的是,本发明中有两个神经网络,一个是识别神经网络,用于识别缺陷类型,一个是自编码网络,用于特征提取。为了避免两个网络中特征图表示的不明确,将自编码网络得到的特征图记为第一特征图,凡不是第一特征图的特征图均不来自于自编码网络。与缺陷区域相似度大的非缺陷区域中的差异,如果识别神经网络能学到这种差异,便可以大大提高识别精度。由于自编码网络是一种输入输出相同的网络,因此如果两个相近的输入,同一隐藏层的特征图也相近,其中差异较大的特征图可以表示相近输入的差异信息。
以任意一张芯片图像中的缺陷标注块和某个待选非标注块为例,分别输入到同一个自编码网络中,得到每个隐藏层的第一特征图;也即将缺陷标注块和优选非标注块输入至同一自编码网络中,得到每个隐藏层对应的第一特征图。对同一隐藏层的多个第一特征图,计算相似度中该隐藏层与待选非标注块中该隐藏层的第一特征图的KM匹配。
基于自编码网络,将第i隐藏层中缺陷标注块的第一特征图和任意一个待选非标注块的第一特征图进行匹配。匹配缺陷标注块的第一特征图和优选非标注块的第一特征图,筛选出缺陷标注块的部分第一特征图,作为区分特征图,具体的:
现有的KM匹配算法是计算二分图的匹配,分为左侧节点和右侧节点。在本发明实施例中,将缺陷标注块的第一特征图作为左侧节点,将优选非标注块的第一特征图作为右侧节点。
其边权值的计算方法为:计算缺陷标注块对应的第一特征图和优选非标注块的第一特征图的差分图,记为第一差分图,并获取缺陷标注块对应的第一特征图和优选非标注块的第一特征图中,同一位置处像素点在两张第一特征图中的最大像素值,记为第一像素值;对于第一差分图中的任意像素点,计算该像素点的像素值和对应的该像素点在两张第一特征图中的第一像素值的比值,作为第一差分图对应的缺陷标注块和优选非标注块的第一特征图的第一边权值。
基于第一边权值,对缺陷标注块的第一特征图和优选非标注块的第一特征图进行匹配,将匹配的第一边权值大于预设第一匹配阈值的缺陷标注块的第一特征图作为区分特征图。
在本发明实施例中预设第一匹配阈值的取值为0.5,在其他实施例中由实施者根据实际情况调整该取值。
需要说明的是,由于识别网络中,本发明实施例是将芯片图像作为输入,芯片图像的大小为:M*N,即输入向量的大小为M*N,而每个块区域转化为向量后,向量长度远小于M*N,现在要做的是对自编码网络中得到的区分特征图在识别网络中进行后续操作。
步骤S300,输入缺陷标注块至识别网络,得到第二特征图;匹配第二特征图和区分特征图,筛选出部分第二特征图,作为目标特征图。
在识别网络中,对于任意一张芯片图像,将缺陷标注块作为网络输入,作为网络输入,可以得到每个隐藏层的多个第二特征图;也即将缺陷标注块输入至识别网络中,得到每个隐藏层对应的第二特征图。
匹配第二特征图和区分特征图,筛选出部分第二特征图,作为目标特征图,具体的:
也是将第二特征图和区分特征图进行KM匹配,将第二特征图作为左侧节点,将区分特征图作为右侧节点。获取左侧节点和右侧节点之间的边权值的方法和步骤S200中的方法一样。具体的:计算第二特征图和区分特征图的差分图,记为第二差分图,并获取第二特征图和区分特征图中,同一位置处像素点在第二特征图和区分特征图中的最大像素值,记为第二像素值;对于第二差分图中的任意像素点,计算该像素点的像素值和对应的该像素点在第二特征图和区分特征图中的第二像素值的比值,作为第二差分图对应的第二特征图和区分特征图的第二边权值;基于第二边权值,对第二特征图和区分特征图进行匹配,将匹配的第二边权值大于预设第二匹配阈值的第二特征图作为目标特征图。在本发明实施例中预设第二匹配阈值的取值为0.7,在其他实施例中可由实施者根据实际情况调整该取值。
进而可以得到每个隐藏层对应的目标特征图。
步骤S400,输入芯片图像至识别网络中,得到第三特征图;匹配第三特征图和目标特征图,得到目标匹配度;基于目标匹配度,对识别网络的损失函数加权,更新损失函数。
最后在识别网络中,每张芯片图像作为网络输入,可以得到每个隐藏层的多个第三特征图。先通过均值采样,将第三特征图的大小采样至同一隐藏层中目标特征图的大小,计算第三特征图与同一隐藏层中目标特征图的匹配情况,具体的:将第三特征图中的像素值按照预设排列顺序首尾相连转化为一维序列,作为第三特征序列;将目标特征图中的像素值按照预设排列顺序首尾相连转化为一维序列,作为目标特征序列;将第三特征图的第三特征序列和每个目标特征图的目标特征序列的相似度中的最大值,作为第三特征图的目标匹配度。
进一步的,基于目标匹配度,对识别网络的损失函数加权,更新损失函数。在识别网络中的每个卷积层添加卷积层的损失函数,卷积层的损失函数为第三特征图和目标特征图的均方差;对每个第三特征图的目标匹配度进行负相关归一化,将负相关归一化的结果值作为加权值,将卷积层中每个第三特征图的加权值作为权重,对每张第三特征图的均方差进行加权求和,将加权求和后的均方差作为识别网络中对应卷积层的损失函数。需要说明的是,卷积层是隐藏层的一部分,每个隐藏层中不同卷积层都有各自对应的特征图,所以,这里卷积层的损失函数为第三特征图和目标特征图的均方差,指的是由该卷积层得到的第三特征图和目标特征图的均方差。
在本发明实施例中先对目标匹配度进行归一化,然后对归一化后的目标匹配度进行负相关映射即可,将常数1减去归一化后的目标匹配度得到的结果值作为负相关归一化的结果值,也即作为加权值。
将加权求和后的均方差作为识别网络中卷积层的损失函数,将交叉熵损失函数作为识别网络的损失函数,由两个损失函数训练得到识别网络,也可以说是由识别网络中的卷积层的损失函数更新识别网络的损失函数。其中识别网络的结构为VGG-NET网络,其具体的训练过程为现有技术,不再赘述。需要说明的是,卷积层的输入不是整个网络的损失函数,而是作为中间特征传递给后续层来计算损失函数的一部分。
得到训练后的识别网络,使得待识别芯片图像输入训练好的识别网络,输出待识别芯片图像中的缺陷区域。
综上所述,该系统获取待识别芯片图像,将待识别芯片图像输入训练好的识别网络,输出缺陷区域。实现待识别芯片图像中的缺陷区域的获取。其中,识别网络的损失函数的更新过程为:根据缺陷区域分割训练集中含有缺陷区域的芯片图像,得到缺陷标注块和优选非标注块;分别输入缺陷标注块和优选非标注块至自编码网络得到第一特征图,匹配缺陷标注块的第一特征图和优选非标注块的第一特征图,筛选出缺陷标注块的部分第一特征图,作为区分特征图;输入缺陷标注块至识别网络,得到第二特征图;匹配第二特征图和区分特征图,筛选出部分第二特征图,作为目标特征图;输入芯片图像至识别网络中,得到第三特征图;匹配第三特征图和目标特征图,得到目标匹配度;基于目标匹配度,对识别网络的损失函数加权,更新损失函数。本发明通过对缺陷区域进行标注,获取缺陷区域与相近的非缺陷区域的区分特征图,进而通过构建的损失函数使得网络提高对区分特征图的关注度,进而提高网络对较难识别缺陷的识别能力。
需要说明的是:上述本发明实施例先后顺序仅仅为了描述,不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。
Claims (8)
1.一种基于改进神经网络的芯片缺陷智慧检测系统,其特征在于,该系统包括以下模块:
缺陷识别模块,用于获取待识别芯片图像,将待识别芯片图像输入训练好的识别网络,输出缺陷区域;
其中,识别网络的损失函数的更新过程为:根据缺陷区域分割训练集中含有缺陷区域的芯片图像,得到缺陷标注块和优选非标注块;分别输入缺陷标注块和优选非标注块至自编码网络得到第一特征图,匹配缺陷标注块的第一特征图和优选非标注块的第一特征图,筛选出缺陷标注块的部分第一特征图,作为区分特征图;输入缺陷标注块至识别网络,得到第二特征图;匹配第二特征图和区分特征图,筛选出部分第二特征图,作为目标特征图;输入芯片图像至识别网络中,得到第三特征图;匹配第三特征图和目标特征图,得到目标匹配度;基于目标匹配度,对识别网络的损失函数加权,更新损失函数;
其中,匹配缺陷标注块的第一特征图和优选非标注块的第一特征图,筛选出缺陷标注块的部分第一特征图,作为区分特征图,包括:计算缺陷标注块对应的第一特征图和优选非标注块的第一特征图的差分图,记为第一差分图,并获取缺陷标注块对应的第一特征图和优选非标注块的第一特征图中,同一位置处像素点在两张第一特征图中的最大像素值,记为第一像素值;对于第一差分图中的任意像素点,计算该像素点的像素值和对应的该像素点在两张第一特征图中的第一像素值的比值,作为第一差分图对应的缺陷标注块和优选非标注块的第一特征图的第一边权值;基于第一边权值,对缺陷标注块的第一特征图和优选非标注块的第一特征图进行匹配,将匹配的第一边权值大于预设第一匹配阈值的缺陷标注块的第一特征图作为区分特征图;
其中,匹配第二特征图和区分特征图,筛选出部分第二特征图,作为目标特征图,包括:计算第二特征图和区分特征图的差分图,记为第二差分图,并获取第二特征图和区分特征图中,同一位置处像素点在第二特征图和区分特征图中的最大像素值,记为第二像素值;对于第二差分图中的任意像素点,计算该像素点的像素值和对应的该像素点在第二特征图和区分特征图中的第二像素值的比值,作为第二差分图对应的第二特征图和区分特征图的第二边权值;基于第二边权值,对第二特征图和区分特征图进行匹配,将匹配的第二边权值大于预设第二匹配阈值的第二特征图作为目标特征图。
2.根据权利要求1所述的基于改进神经网络的芯片缺陷智慧检测系统,其特征在于,所述根据缺陷区域分割训练集中含有缺陷区域的芯片图像,得到缺陷标注块和优选非标注块,包括:
获取训练集中任意芯片图像中的缺陷区域的最小外接矩形;将所有芯片图像中最大的外接矩形作为标准矩形,基于标准矩形对芯片图像进行分割,得到分割块,将含有缺陷区域的分割块为缺陷标注块;将未含有缺陷区域的分割块为待选非标注块;
保留与缺陷标注块相似的部分待选非标注块,作为优选非标注块。
3.根据权利要求2所述的基于改进神经网络的芯片缺陷智慧检测系统,其特征在于,所述保留与缺陷标注块相似的部分待选非标注块,作为优选非标注块,包括:
将缺陷标注块中的元素值按照预设排列顺序首尾相连转化为一维序列,作为缺陷标注序列;将待选非标注块中的元素值按照预设排列顺序首尾相连转化为一维序列,作为待选非标注块序列;
计算缺陷标注序列和每个待选非标注块序列的相似度,将相似度大于预设相似阈值时对应的待选非标注块序列,作为优选非标注块,其中预设相似阈值的取值为小于1的正数。
4.根据权利要求1所述的基于改进神经网络的芯片缺陷智慧检测系统,其特征在于,所述匹配第三特征图和目标特征图,得到目标匹配度,包括:
将第三特征图中的像素值按照预设排列顺序首尾相连转化为一维序列,作为第三特征序列;将目标特征图中的像素值按照预设排列顺序首尾相连转化为一维序列,作为目标特征序列;将第三特征图的第三特征序列和每个目标特征图的目标特征序列的相似度中的最大值,作为第三特征图的目标匹配度。
5.根据权利要求1所述的基于改进神经网络的芯片缺陷智慧检测系统,其特征在于,所述基于目标匹配度,对识别网络的损失函数加权,更新损失函数,包括:
在识别网络中的每个卷积层添加卷积层的损失函数,卷积层的损失函数为第三特征图和目标特征图的均方差;对每个第三特征图的目标匹配度进行负相关归一化,将负相关归一化的结果值作为加权值,将卷积层中每个第三特征图的加权值作为权重,对每张第三特征图的均方差进行加权求和,将加权求和后的均方差作为识别网络中对应卷积层的损失函数。
6.根据权利要求1所述的基于改进神经网络的芯片缺陷智慧检测系统,其特征在于,训练集中含有缺陷区域的芯片图像中的缺陷区域是由人工标注出来的。
7.根据权利要求1所述的基于改进神经网络的芯片缺陷智慧检测系统,其特征在于,所述分别输入缺陷标注块和优选非标注块至自编码网络得到第一特征图,包括:
将缺陷标注块和优选非标注块输入至同一自编码网络中,得到每个隐藏层对应的第一特征图。
8.根据权利要求1所述的基于改进神经网络的芯片缺陷智慧检测系统,其特征在于,所述输入缺陷标注块至识别网络,得到第二特征图,包括:
将缺陷标注块输入至识别网络中,得到每个隐藏层对应的第二特征图。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311490012.2A CN117237683B (zh) | 2023-11-10 | 2023-11-10 | 基于改进神经网络的芯片缺陷智慧检测系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311490012.2A CN117237683B (zh) | 2023-11-10 | 2023-11-10 | 基于改进神经网络的芯片缺陷智慧检测系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117237683A CN117237683A (zh) | 2023-12-15 |
CN117237683B true CN117237683B (zh) | 2024-03-26 |
Family
ID=89098510
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311490012.2A Active CN117237683B (zh) | 2023-11-10 | 2023-11-10 | 基于改进神经网络的芯片缺陷智慧检测系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117237683B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113222938A (zh) * | 2021-05-14 | 2021-08-06 | 珠海埃克斯智能科技有限公司 | 芯片缺陷检测方法及系统与计算机可读存储介质 |
CN113421223A (zh) * | 2021-05-26 | 2021-09-21 | 福州大学 | 基于深度学习和高斯混合的工业产品表面缺陷检测方法 |
CN116309429A (zh) * | 2023-03-14 | 2023-06-23 | 南京邮电大学 | 一种基于深度学习的芯片缺陷检测方法 |
KR20230137788A (ko) * | 2022-03-22 | 2023-10-05 | 광동 유에하이 워터 서비스 인베스트먼트 컴퍼니 리미티드 | 셀프 어텐션 메커니즘 기반 다양한 유형의 배관 결함에 대한 검사, 추적 및 계수방법 |
-
2023
- 2023-11-10 CN CN202311490012.2A patent/CN117237683B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113222938A (zh) * | 2021-05-14 | 2021-08-06 | 珠海埃克斯智能科技有限公司 | 芯片缺陷检测方法及系统与计算机可读存储介质 |
CN113421223A (zh) * | 2021-05-26 | 2021-09-21 | 福州大学 | 基于深度学习和高斯混合的工业产品表面缺陷检测方法 |
KR20230137788A (ko) * | 2022-03-22 | 2023-10-05 | 광동 유에하이 워터 서비스 인베스트먼트 컴퍼니 리미티드 | 셀프 어텐션 메커니즘 기반 다양한 유형의 배관 결함에 대한 검사, 추적 및 계수방법 |
CN116309429A (zh) * | 2023-03-14 | 2023-06-23 | 南京邮电大学 | 一种基于深度学习的芯片缺陷检测方法 |
Non-Patent Citations (1)
Title |
---|
基于机器视觉的芯片分选系统研究;杨东旭;中国优秀硕士学位论文全文数据库(电子期刊);20230228;1-98 * |
Also Published As
Publication number | Publication date |
---|---|
CN117237683A (zh) | 2023-12-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110648310B (zh) | 基于注意力机制的弱监督铸件缺陷识别方法 | |
CN114972326A (zh) | 热收缩管扩管工艺的次品识别方法 | |
CN111666842A (zh) | 一种基于双流空洞卷积神经元网络的阴影检测方法 | |
CN110020658B (zh) | 一种基于多任务深度学习的显著目标检测方法 | |
CN110992322A (zh) | 基于卷积神经网络的贴片掩膜检测系统及检测方法 | |
CN111539456B (zh) | 一种目标识别方法及设备 | |
CN110992315A (zh) | 一种基于生成式对抗网络的芯片表面缺陷分类装置和方法 | |
WO2024021461A1 (zh) | 缺陷检测方法及装置、设备、存储介质 | |
CN114266881A (zh) | 一种基于改进型语义分割网络的指针式仪表自动读数方法 | |
CN115100214A (zh) | 基于图像处理的纺织品质量检测方法 | |
CN116012291A (zh) | 工业零件图像缺陷检测方法及系统、电子设备和存储介质 | |
CN115775246A (zh) | 一种pcb元器件缺陷检测的方法 | |
CN111723852A (zh) | 针对目标检测网络的鲁棒训练方法 | |
WO2022222036A1 (zh) | 车位确定方法及装置 | |
CN117218029B (zh) | 基于神经网络的夜间暗光图像智能处理方法 | |
CN113888477A (zh) | 网络模型的训练方法、金属表面缺陷检测方法及电子设备 | |
CN117237683B (zh) | 基于改进神经网络的芯片缺陷智慧检测系统 | |
CN111539931A (zh) | 一种基于卷积神经网络和边界限定优化的外观异常检测方法 | |
CN116934737A (zh) | 一种焊缝组合缺陷识别及分类方法 | |
CN114155246B (zh) | 一种基于可变形卷积的输电塔销钉缺陷检测方法 | |
US20030185432A1 (en) | Method and system for image registration based on hierarchical object modeling | |
CN115631197A (zh) | 一种图像处理方法、装置、介质、设备及系统 | |
CN115601293A (zh) | 对象检测方法、装置、电子设备及可读存储介质 | |
CN112949731A (zh) | 基于多专家模型的目标检测方法、装置、存储介质及设备 | |
CN113298102A (zh) | 一种目标分类模型的训练方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |