CN112700406A - 一种基于卷积神经网络的晶圆缺陷检测方法 - Google Patents

Abstract

本发明公开一种基于卷积神经网络的晶圆缺陷检测方法，可以提高晶圆缺陷检测效率，该检测方法包括获取基于卷积神经网络的缺陷检测模型并保存；获取图像采集设备采集的晶圆图像，并进行加权均值滤波处理，将处理后的晶圆图像并输入至所述缺陷检测模型；所述加权均值滤波处理包括以晶圆图像的每一个像素点为中心像素点，选取预设大小的滤波窗口，滤除滤波窗口内的极大值像素点和极小值像素点，获取剩余像素点的均值像素值及各个剩余像素点的权值，并进行归一化处理，对各个剩余像素点的像素值与对应权值进行加权求和，得到的像素值作为所述滤波窗口内中心像素点的滤波后的像素值；利用所述缺陷检测模型检测所述晶圆图像的缺陷的类型。

Description

一种基于卷积神经网络的晶圆缺陷检测方法

技术领域

本发明涉及集成电路技术领域，具体涉及一种基于卷积神经网络的晶圆缺陷检测方法和系统。

背景技术

芯片是各种技术的硬件基础，在芯片的制造过程中，每道工序流程对晶圆的处理都可能会产生一些缺陷，这些缺陷可能会造成芯片无法正常工作，如果依靠人工检测缺陷，效率低下。而随着芯片尺寸的不断减小，芯片制造工艺越来越复杂，晶圆缺陷的种类和数量也越来越多，所以亟需在芯片制造过程中快速的检测晶圆缺陷，从而及时分析影响芯片良率的因素。

发明内容

基于此，本发明提供一种基于卷积神经网络的晶圆缺陷检测方法和系统，可以提高晶圆缺陷检测效率。

一种基于卷积神经网络的晶圆缺陷检测方法，包括以下步骤：

获取基于卷积神经网络的缺陷检测模型并保存；

获取图像采集设备采集的晶圆图像，并进行加权均值滤波处理，将处理后的晶圆图像并输入至所述缺陷检测模型；所述加权均值滤波处理包括以晶圆图像的每一个像素点为中心像素点，选取预设大小的滤波窗口，滤除滤波窗口内的极大值像素点和极小值像素点，获取剩余像素点的均值像素值及各个剩余像素点的权值，并进行归一化处理，对各个剩余像素点的像素值与对应权值进行加权求和，得到的像素值作为所述滤波窗口内中心像素点的滤波后的像素值；

利用所述缺陷检测模型检测所述晶圆图像的缺陷的类型。

其中一个实施例中，所述基于卷积神经网络的缺陷检测模型包括以下训练步骤：

构建卷积神经网络结构；

获取有缺陷的晶圆样本图像和无缺陷的晶圆样本图像，并分别打上有缺陷标签和无缺陷标签，为各个有缺陷的晶圆样本图像，并为各个样本图像打上缺陷类型的标签；

将各个样本图像输入到卷积神经网络结构进行训练，扩大不同缺陷类型样本图像间特征差异性，减少相同缺陷类型的样本图像之间的特征差异性，不断调整模型的参数直到收敛，结束训练，从而得到所述缺陷检测模型；

当缺陷类型发生更新，获取包含新缺陷类型的样本图像，返回所述将各个样本图像输入到缺陷检测模型进行训练的步骤；或者，在利用所述基于卷积神经网络的缺陷检测模型检测缺陷的类型时，当输入的采集的晶圆图像的为新的缺陷类型时，将采集的的晶圆图像作为样本图像输入到缺陷检测模型进行训练。

其中一个实施例中，所述卷积神经网络包括输入层、多个隐藏层和输出层，所述卷积神经网络层数为20层，各层各神经元的初始权值、偏置参数均在正负1之间，各层的卷积核分别为1、3、5、7，其中，输入层的卷积核大小为3*3，输出层的卷积核大小1*1，池化层的卷积核大小为7*7，卷积步长1、2，输入层使用224*224*3矩阵，输出层使用1*1*M矩阵，M代表缺陷的种类。

其中一个实施例中，所述卷积神经网络为基于伪标签的卷积神经网络，对有缺陷的晶圆样本图像打上有缺陷标签包括对样本库中其中一些有缺陷的晶圆样本图像打上真实缺陷标签以标记真实缺陷类型，对样本库中另一些有缺陷的晶圆样本图像赋予伪标签；所述卷积神经网络的训练过程中包括将打上真实缺陷标签和伪标签的晶圆样本图像均用于训练，并将伪标签的晶圆样本图像的损失项加入到以下损失函数公式中：

Tloss＝arg min[T1(x^,x)+λT2(x^,x')+β]

其中，Tloss表示损失函数的损失值，x^是所述卷积神经网络识别出来的标签，xi^表示所述卷积神经网络识别出来的第i个标签，x表示晶圆样本图像标记的真实缺陷标签，xi表示第i个有缺陷晶圆样本图像标记的真实缺陷标签，x’为晶圆样本图像的伪标签，xi’为第i个有缺陷晶圆样本图像的伪标签，T1(x,x^)为标记了真实缺陷标签的晶圆样本图像的损失项，T2(x^,x’)为标记了伪标签的晶圆样本图像的损失项，λ是平衡系数，用于控制标记了真实缺陷标签的样本图像的损失项和伪标签样本图像的损失项之间的平衡，β大于0且小于1，i、n均为大于0的自然数。

其中一个实施例中，所述卷积神经网络为基于伪标签的卷积神经网络，对有缺陷的晶圆样本图像打上有缺陷标签包括对样本库中其中一些有缺陷的晶圆样本图像打上真实缺陷标签以标记真实缺陷类型，对样本库中另一些有缺陷的晶圆样本图像赋予伪标签；所述卷积神经网络的训练过程中包括将打上真实缺陷标签和伪标签的晶圆样本图像均用于训练，并将伪标签的晶圆样本图像的损失项加入到以下损失函数公式中：

其中，Tlossall表示损失函数的损失值，x^是所述卷积神经网络识别出来的标签，xi^表示所述卷积神经网络识别出来的第i个标签，x表示晶圆样本图像标记的真实缺陷标签，xi表示第i个有缺陷晶圆样本图像标记的真实缺陷标签，x’为晶圆样本图像的伪标签，xi’为第i个有缺陷晶圆样本图像的伪标签，T1(x,x^)为标记了真实缺陷标签的晶圆样本图像的损失项，

为标记了伪标签的晶圆样本图像的损失项，λ是平衡系数，用于控制标记了真实缺陷标签的样本图像的损失项和伪标签样本图像的损失项之间的平衡，β大于0且小于1，i、n均为大于0的自然数。

其中一个实施例中，还包括分训练时间段将λ从0线性增加到预设值的步骤，其中，到达预设时间段后，保持λ值不变。

其中一个实施例中，分成3个训练时间段调整λ，其中，当t<t1时，λ(t)＝0；当t1<t<t2时，λ(t)＝λ₂，t2<t时，λ(t)＝λ₃，其中，0<t1<t2，λ₂<λ₃，λ₃＝t2*λ₂/t1。

其中一个实施例中，所述对各个剩余像素点的像素值与对应权值进行加权求和的步骤包括：

为各个剩余像素点分配权值，其中，为滤波窗口内的中心像素点分配预设权值，剩余的其他像素点平均分配剩余的权值；或者，计算各个剩余像素点的像素值与所述均值像素值的像素差值，各个剩余像素点的权值等于对应的像素差值除以各个像素差值之和的值；

按照各个剩余像素点的权值，对所述各个像素点进行加权求和。

其中一个实施例中，所述获取图像采集设备采集的晶圆图像的步骤包括：

获取晶圆制备过程中图像采集设备采集的所述晶圆每一层的图像，所述晶圆每一层的图像指晶圆每一层上表面的图像；

获取图像采集设备采集的结束制备的晶圆的整个侧面的图像；

将获取到的各个图像平铺以进行第一合并，所述第一合并的晶圆图像中的各层晶圆图像的平铺顺序与制备的先后顺序一致；

将获取到的所述晶圆的每一层图像进行叠加，从而实现第二合并，所述第二合并的晶圆图像中的各层晶圆图像的叠加顺序与制备的先后顺序一致，用于输入所述缺陷检测模型的晶圆图像包括所述第一合并的晶圆图像以及所述第二合并的晶圆图像。

一种基于卷积神经网络的晶圆缺陷检测系统，包括：图像采集设备和处理单元，所述图像采集设备和处理单元连接；

所述图像采集设备用于采集晶圆图像；

所述处理单元获取基于卷积神经网络的缺陷检测模型并保存，并获取图像采集设备采集的晶圆图像，并进行加权均值滤波处理，将处理后的晶圆图像并输入至所述缺陷检测模型；所述加权均值滤波处理包括以晶圆图像的每一个像素点为中心像素点，选取预设大小的滤波窗口，滤除滤波窗口内的极大值像素点和极小值像素点，获取剩余像素点的均值像素值及各个剩余像素点的权值，并进行归一化处理，对各个剩余像素点的像素值与对应权值进行加权求和，得到的像素值作为所述滤波窗口内中心像素点的滤波后的像素值；以及利用所述缺陷检测模型检测所述晶圆图像的缺陷的类型。

上述基于卷积神经网络的晶圆缺陷检测方法及系统，采用计算机视觉方式，通过基于卷积神经网络的缺陷检测模型来检测晶圆缺陷，相比于人工检测方式，可以提高检测效率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请一实施例中基于卷积神经网络的晶圆缺陷检测方法的流程示意图；

图2为本申请一实施例中基于卷积神经网络的缺陷检测模型的训练方法流程示意图；

图3为本申请一实施例中的平衡系数随时间的变化示意图；

图4为本申请一实施例中的电子设备的结构示意图；

图5为本申请一实施例中的基于卷积神经网络的晶圆缺陷检测装置的结构示意图；

图6为本申请另一实施例中的基于卷积神经网络的晶圆缺陷检测系统的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素，此外，本申请不同实施例中具有同样命名的部件、特征、要素可能具有相同含义，也可能具有不同含义，其具体含义需以其在该具体实施例中的解释或者进一步结合该具体实施例中上下文进行确定。

应当理解，尽管在本文可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本文范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语"如果"可以被解释成为"在……时"或"当……时"或"响应于确定"。再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在所述的特征、步骤、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的，或意味着任一个或任何组合。因此，“A、B或C”或者“A、B和/或C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A、B和C”。仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。

应该理解的是，虽然本申请实施例中的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

需要说明的是，在本文中，采用了诸如102、104等步骤代号，其目的是为了更清楚简要地表述相应内容，不构成顺序上的实质性限制，本领域技术人员在具体实施时，可能会先执行104后执行102等，但这些均应在本申请的保护范围之内。

本申请实施例提出一种基于卷积神经网络的晶圆缺陷检测方法，可以提高晶圆缺陷检测速度。该晶圆缺陷检测方法可以检测晶圆的缺陷例如刮伤、沾污缺陷等，微粒、对位、裂缝缺陷等。

请参阅图1，该基于卷积神经网络的晶圆缺陷检测方法包括以下步骤：

步骤102，获取基于卷积神经网络的缺陷检测模型并保存。

步骤104，获取图像采集设备采集的晶圆图像，并进行加权均值滤波处理，将处理后的晶圆图像并输入至所述缺陷检测模型；所述加权均值滤波处理包括以晶圆图像的每一个像素点为中心像素点，选取预设大小的滤波窗口，滤除滤波窗口内的极大值像素点和极小值像素点，获取剩余像素点的均值像素值及各个剩余像素点的权值，并进行归一化处理，对各个剩余像素点的像素值与对应权值进行加权求和，得到的像素值作为所述滤波窗口内中心像素点的滤波后的像素值；滤波窗口的大小可以是3*3。

步骤106，利用所述缺陷检测模型检测所述晶圆图像的缺陷的类型。

上述基于卷积神经网络的晶圆缺陷检测方法，采用计算机视觉方式，通过基于卷积神经网络的缺陷检测模型来检测晶圆缺陷，相比于人工检测方式，可以提高检测效率。

在一些实施方式中，所述对各个剩余像素点的像素值与对应权值进行加权求和的步骤包括：

第一子步骤：为各个剩余像素点分配权值，其中，为滤波窗口内的中心像素点分配预设权值，剩余的其他像素点平均分配剩余的权值；或者，计算各个剩余像素点的像素值与所述均值像素值的像素差值，根据差值的大小分配权值，其中，差值越小的，分配的权值越大，具体地，各个剩余像素点的权值可等于对应的像素差值除以各个像素差值之和的值；

第二子步骤：按照各个剩余像素点的权值，对所述各个像素点进行加权求和。

在一些实施方式中，所述基于卷积神经网络的缺陷检测模型包括以下训练步骤：

步骤202，构建卷积神经网络结构；

步骤204，获取有缺陷的晶圆样本图像和无缺陷的晶圆样本图像，并分别打上有缺陷标签和无缺陷标签，为各个缺陷的晶圆样本图像，并为各个样本图像打上缺陷类型的标签；

步骤206，将各个样本图像输入到卷积神经网络结构进行训练，扩大不同缺陷类型样本图像间特征差异性，减少相同缺陷类型的样本图像之间的特征差异性，不断调整模型的参数直到收敛，结束训练，从而得到所述缺陷检测模型；

步骤208，当缺陷类型发生更新，获取包含新缺陷类型的样本图像，返回所述将各个样本图像输入到缺陷检测模型进行训练的步骤；或者，在利用所述基于卷积神经网络的缺陷检测模型检测缺陷的类型时，当输入的采集的晶圆图像的为新的缺陷类型时，将采集的的晶圆图像作为样本图像输入到缺陷检测模型进行训练。

本实施方式中，基于卷积神经网络的缺陷检测模型的训练过程可以在离线系统中进行。具体实现时，如果测试时采用的是后续经过合并的晶圆图像，那么无论有缺陷的晶圆样本图像和无缺陷的晶圆样本图像，同理缺陷检测时，均可包括经过第一合并的样本图像和/或经过第二合并的晶圆样本图像。

在一些实施方式中，所述卷积神经网络包括输入层、多个隐藏层和输出层，所述卷积神经网络层数为20层，各层各神经元的初始权值、偏置参数均在正负1之间，各层的卷积核分别为1、3、5、7，其中，输入层的卷积核大小为3*3，输出层的卷积核大小1*1，池化层的卷积核大小为7*7，卷积步长1、2，输入层使用224*224*3矩阵，输出层使用1*1*M矩阵，M代表缺陷的种类。具体地，M可以等于真实的缺陷种类。

在一些实施方式中，所述卷积神经网络为基于伪标签的卷积神经网络，对有缺陷的晶圆样本图像打上有缺陷标签包括对样本库中其中一些有缺陷的晶圆样本图像打上真实缺陷标签以标记真实缺陷类型，对样本库中另一些有缺陷的晶圆样本图像赋予伪标签；所述卷积神经网络的训练过程中包括将打上真实缺陷标签和伪标签的晶圆样本图像均用于训练，并将伪标签的晶圆样本图像的损失项加入到以下损失函数公式中：

Tloss＝arg min[T1(x^,x)+λT2(x^,x')+β]

其中，Tloss表示损失函数的损失值，x^是所述卷积神经网络识别出来的标签，xi^表示所述卷积神经网络识别出来的第i个标签，x表示晶圆样本图像标记的真实缺陷标签，xi表示第i个有缺陷晶圆样本图像标记的真实缺陷标签，x’为晶圆样本图像的伪标签，xi’为第i个有缺陷晶圆样本图像的伪标签，T1(x,x^)为标记了真实缺陷标签的晶圆样本图像的损失项，T2(x^,x’)为标记了伪标签的晶圆样本图像的损失项，λ是平衡系数，用于控制标记了真实缺陷标签的样本图像的损失项和伪标签样本图像的损失项之间的平衡，β大于0且小于1，i、n均为大于0的自然数。

本实施方式，不会对所有有缺陷的晶圆样本图像均标记真实缺陷标签，其中一部分会标记伪标签，可以减少标记工作量。由于伪标签中可能有一些晶圆样本图像的缺陷标记也是正确的，因此将伪标签晶圆样本图像的损失项也加入训练过程，一定程度增大了训练样本。

所述卷积神经网络为基于伪标签的卷积神经网络，对有缺陷的晶圆样本图像打上有缺陷标签包括对样本库中其中一些有缺陷的晶圆样本图像打上真实缺陷标签以标记真实缺陷类型，对样本库中另一些有缺陷的晶圆样本图像赋予伪标签；所述卷积神经网络的训练过程中包括将打上真实缺陷标签和伪标签的晶圆样本图像均用于训练，并将伪标签的晶圆样本图像的损失项加入到以下损失函数公式中：

其中，Tlossall表示损失函数的损失值，x^是所述卷积神经网络识别出来的标签，xi^表示所述卷积神经网络识别出来的第i个标签，x表示晶圆样本图像标记的真实缺陷标签，xi表示第i个有缺陷晶圆样本图像标记的真实缺陷标签，x’为晶圆样本图像的伪标签，xi’为第i个有缺陷晶圆样本图像的伪标签，T1(x,x^)为标记了真实缺陷标签的晶圆样本图像的损失项，

为标记了伪标签的晶圆样本图像的损失项，λ是平衡系数，用于控制标记了真实缺陷标签的样本图像的损失项和伪标签样本图像的损失项之间的平衡，β大于0且小于1，i、n均为大于0的自然数。

本实施方式，不会对所有有缺陷的晶圆样本图像均标记真实缺陷标签，其中一部分会标记伪标签，可以减少标记工作量。由于伪标签中可能有一些晶圆样本图像的缺陷标记也是正确的，因此将伪标签晶圆样本图像的损失项也加入训练过程，一定程度增大了训练样本。

平衡系数的值较为重要，因为如果平衡系数过大，伪标签的晶圆样本图像的损失项就会过大，会干扰模型的训练，影响模型的正确性。在一些实施方式中，为了更好的设置平衡系数，还包括进一步分训练时间段将λ从0线性增加到预设值的步骤，其中，到达预设时间段后，保持λ值不变。于此，既能兼顾伪标签的晶圆样本图像的损失项，又不至于过于大而影响训练。λ具体可以小于1且大于0。

具体地，可以分成3个训练时间段调整λ，其中，如图3所示，当t<t1时，λ＝0；当t1<t<t2时，λ＝λ₂，t2<t时，λ＝λ₃，其中，0<t1<t2，λ₂<λ₃，λ₃＝t2*λ₂/t1。

在一些实施方式中，所述获取图像采集设备采集的晶圆图像的步骤包括：

获取晶圆制备过程中扫描电镜采集的所述晶圆每一层的图像，所述晶圆每一层的图像指晶圆每一层上表面的图像；

获取扫描电镜采集的结束制备的晶圆的整个侧面的图像；

将获取到的各个图像平铺以进行第一合并，所述第一合并的晶圆图像中的各层晶圆图像的平铺顺序与制备的先后顺序一致，用于输入所述缺陷检测模型的晶圆图像包括所述第一合并的晶圆图像。

本实施方式中，一个晶圆为一张合并的图片，无需为每个晶圆建立文件夹，比较直观，也方便用户查看。

进一步地，在一些实施方式中，所述获取扫描电镜采集的晶圆图像的步骤还包括：

将获取到的所述晶圆的每一层图像进行叠加，从而实现第二合并，所述第二合并的晶圆图像中的各层晶圆图像的叠加顺序与制备的先后顺序一致，用于输入所述缺陷检测模型的晶圆图像包括所述第一合并的晶圆图像以及所述第二合并的晶圆图像。

将晶圆的每一层图像进行叠加，有利于检测出对位缺陷。为了减少叠加造成对下层的晶圆图像造成的影响，同时输入所述缺陷检测模型的晶圆图像还包括第一合并的晶圆图像，于此，有利于丰富检测到缺陷类型。

其他实施例中，扫描电镜采集的晶圆图像可以不经过合并。

本申请所述的图像采集设备可以是CCD相机，也可以是扫描电镜，但不限于此。

本申请实施例还提出一种电子设备，请参阅图4，该电子设备400包括存储器410及处理器420，所述存储器410与所述处理器420连接，所述存储器410中储存有计算机程序，所述计算机程序被所述处理器420执行时，使得所述处理器420执行如上任一实施例中所述方法的步骤。该电子设备包括诸如手机、平板电脑、笔记本电脑、掌上电脑、个人数字助理(Personal Digital Assistant，PDA)、便捷式媒体播放器(Portab le Media Player，PMP)、导航装置、可穿戴设备、智能手环、计步器等移动终端，以及诸如数字TV、台式计算机等固定终端。

还提出一个或多个存储有计算机可读指令的非易失性可读存储介质，其特征在于，所述计算机可读指令被一个或多个处理器执行时，使得所述一个或多个处理器执行如上任一实施例中所述的方法的步骤。

本申请还提出一种基于卷积神经网络的晶圆缺陷检测装置，请参阅图5，该一种基于卷积神经网络的晶圆缺陷检测装置500包括以下模块：

获取模块510，用于获取基于卷积神经网络的缺陷检测模型并保存；

输入模块520，用于获取图像采集设备采集的晶圆图像，并进行加权均值滤波处理，将处理后的晶圆图像并输入至所述缺陷检测模型；所述加权均值滤波处理包括以晶圆图像的每一个像素点为中心像素点，选取预设大小的滤波窗口，滤除滤波窗口内的极大值像素点和极小值像素点，获取剩余像素点的均值像素值及各个剩余像素点的权值，并进行归一化处理，对各个剩余像素点的像素值与对应权值进行加权求和，得到的像素值作为所述滤波窗口内中心像素点的滤波后的像素值；

检测模块430，用于利用所述缺陷检测模型检测所述晶圆图像的缺陷的类型。

上述基于卷积神经网络的晶圆缺陷检测装置中各个模块的划分仅用于举例说明，在其他实施例中，可将基于卷积神经网络的晶圆缺陷检测装置按照需要划分为不同的模块，以完成上述卷积神经网络的晶圆缺陷检测装置的全部或部分功能。

关于基于卷积神经网络的晶圆缺陷检测装置的具体限定可以参见上文中对于基于卷积神经网络的晶圆缺陷检测方法的限定，在此不再赘述。上述文本搜索装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

本申请实施例中提供的基于卷积神经网络的晶圆缺陷检测装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。

本申请还提出一种基于卷积神经网络的晶圆缺陷检测系统，其特征在于，包括：图像采集设备610和处理单元620，所述图像采集设备610和处理单元620连接；

所述图像采集设备610用于采集晶圆图像；

所述处理单元620获取基于卷积神经网络的缺陷检测模型并保存，并获取图像采集设备采集的晶圆图像，并进行加权均值滤波处理，将处理后的晶圆图像并输入至所述缺陷检测模型；所述加权均值滤波处理包括以晶圆图像的每一个像素点为中心像素点，选取预设大小的滤波窗口，滤除滤波窗口内的极大值像素点和极小值像素点，获取剩余像素点的均值像素值及各个剩余像素点的权值，并进行归一化处理，对各个剩余像素点的像素值与对应权值进行加权求和，得到的像素值作为所述滤波窗口内中心像素点的滤波后的像素值；以及利用所述缺陷检测模型检测所述晶圆图像的缺陷的类型。

处理单元620具体可用于获取晶圆制备过程中扫描电镜采集的所述晶圆每一层的图像，所述晶圆每一层的图像指晶圆每一层上表面的图像；以及获取扫描电镜采集的结束制备的晶圆的整个侧面的图像；以及将获取到的各个图像平铺以进行第一合并，所述第一合并的晶圆图像中的各层晶圆图像的平铺顺序与制备的先后顺序一致，用于输入所述缺陷检测模型的晶圆图像包括所述第一合并的晶圆图像。

处理单元620具体还可用于将获取到的所述晶圆的每一层图像进行叠加，从而实现第二合并，所述第二合并的晶圆图像中的各层晶圆图像的叠加顺序与制备的先后顺序一致，用于输入所述缺陷检测模型的晶圆图像包括所述第一合并的晶圆图像以及所述第二合并的晶圆图像。

基于卷积神经网络的晶圆缺陷检测系统，如图6所示，还包括训练单元630，训练单元630可以是一离线系统，与处理单元620连接，用于训练基于卷积神经网络的缺陷检测模型。训练的步骤具体参见前述，在此不再赘述。

本申请所述的图像采集设备610可以是CCD相机，也可以是扫描电镜，但不限于此。

本申请还提出一个或多个存储有计算机可读指令的非易失性可读存储介质，其特征在于，所述计算机可读指令被一个或多个处理器执行时，使得所述一个或多个处理器执行如上任一实施例中所述的方法的步骤。

本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。

尽管已经相对于一个或多个实现方式示出并描述了本申请，但是本领域技术人员基于对本说明书和附图的阅读和理解将会想到等价变型和修改。本申请包括所有这样的修改和变型，并且仅由所附权利要求的范围限制。特别地关于由上述组件执行的各种功能，用于描述这样的组件的术语旨在对应于执行所述组件的指定功能(例如其在功能上是等价的)的任意组件(除非另外指示)，即使在结构上与执行本文所示的本说明书的示范性实现方式中的功能的公开结构不等同。此外，尽管本说明书的特定特征已经相对于若干实现方式中的仅一个被公开，但是这种特征可以与如可以对给定或特定应用而言是期望和有利的其他实现方式的一个或多个其他特征组合。而且，就术语“包括”、“具有”、“含有”或其变形被用在具体实施方式或权利要求中而言，这样的术语旨在以与术语“包含”相似的方式包括。进一步地，应当理解的是，在本文中提及的“多个”是指两个或两个以上。对于本文中提及的步骤，其通过数字后缀仅仅是为了清晰表述实施例，便于理解，并不完全代表步骤执行的先后顺序，应当以逻辑关系的先后设定为思考。

以上所述仅为本申请的实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，例如各实施例之间技术特征的相互结合，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种基于卷积神经网络的晶圆缺陷检测方法，其特征在于，包括以下步骤：

获取基于卷积神经网络的缺陷检测模型并保存；

获取图像采集设备采集的晶圆图像，并进行加权均值滤波处理，将处理后的晶圆图像并输入至所述缺陷检测模型；所述加权均值滤波处理包括以晶圆图像的每一个像素点为中心像素点，选取预设大小的滤波窗口，滤除滤波窗口内的极大值像素点和极小值像素点，获取剩余像素点的均值像素值及各个剩余像素点的权值，并进行归一化处理，对各个剩余像素点的像素值与对应权值进行加权求和，得到的像素值作为所述滤波窗口内中心像素点的滤波后的像素值；

利用所述缺陷检测模型检测所述晶圆图像的缺陷的类型。

2.根据权利要求1所述的方法，其特征在于，所述基于卷积神经网络的缺陷检测模型包括以下训练步骤：

构建卷积神经网络结构；

获取有缺陷的晶圆样本图像和无缺陷的晶圆样本图像，并分别打上有缺陷标签和无缺陷标签，为各个有缺陷的晶圆样本图像，并为各个样本图像打上缺陷类型的标签；

将各个样本图像输入到卷积神经网络结构进行训练，扩大不同缺陷类型样本图像间特征差异性，减少相同缺陷类型的样本图像之间的特征差异性，不断调整模型的参数直到收敛，结束训练，从而得到所述缺陷检测模型；

当缺陷类型发生更新，获取包含新缺陷类型的样本图像，返回所述将各个样本图像输入到缺陷检测模型进行训练的步骤；或者，在利用所述基于卷积神经网络的缺陷检测模型检测缺陷的类型时，当输入的采集的晶圆图像的为新的缺陷类型时，将采集的的晶圆图像作为样本图像输入到缺陷检测模型进行训练。

3.根据权利要求2所述的方法，其特征在于，所述卷积神经网络包括输入层、多个隐藏层和输出层，所述卷积神经网络层数为20层，各层各神经元的初始权值、偏置参数均在正负1之间，各层的卷积核分别为1、3、5、7，其中，输入层的卷积核大小为3*3，输出层的卷积核大小1*1，池化层的卷积核大小为7*7，卷积步长1、2，输入层使用224*224*3矩阵，输出层使用1*1*M矩阵，M代表缺陷的种类。

4.根据权利要求2所述的方法，其特征在于，所述卷积神经网络为基于伪标签的卷积神经网络，对有缺陷的晶圆样本图像打上有缺陷标签包括对样本库中其中一些有缺陷的晶圆样本图像打上真实缺陷标签以标记真实缺陷类型，对样本库中另一些有缺陷的晶圆样本图像赋予伪标签；所述卷积神经网络的训练过程中包括将打上真实缺陷标签和伪标签的晶圆样本图像均用于训练，并将伪标签的晶圆样本图像的损失项加入到以下损失函数公式中：

Tloss＝arg min[T1(x^,x)+λT2(x^,x')+β]

其中，Tloss表示损失函数的损失值，x^是所述卷积神经网络识别出来的标签，xi^表示所述卷积神经网络识别出来的第i个标签，x表示晶圆样本图像标记的真实缺陷标签，xi表示第i个有缺陷晶圆样本图像标记的真实缺陷标签，x’为晶圆样本图像的伪标签，xi’为第i个有缺陷晶圆样本图像的伪标签，T1(x,x^)为标记了真实缺陷标签的晶圆样本图像的损失项，T2(x^,x’)为标记了伪标签的晶圆样本图像的损失项，λ是平衡系数，用于控制标记了真实缺陷标签的样本图像的损失项和伪标签样本图像的损失项之间的平衡，β大于0且小于1，i、n均为大于0的自然数。

5.根据权利要求2所述的方法，其特征在于，所述卷积神经网络为基于伪标签的卷积神经网络，对有缺陷的晶圆样本图像打上有缺陷标签包括对样本库中其中一些有缺陷的晶圆样本图像打上真实缺陷标签以标记真实缺陷类型，对样本库中另一些有缺陷的晶圆样本图像赋予伪标签；所述卷积神经网络的训练过程中包括将打上真实缺陷标签和伪标签的晶圆样本图像均用于训练，并将伪标签的晶圆样本图像的损失项加入到以下损失函数公式中：

其中，Tlossall表示损失函数的损失值，x^是所述卷积神经网络识别出来的标签，xi^表示所述卷积神经网络识别出来的第i个标签，x表示晶圆样本图像标记的真实缺陷标签，xi表示第i个有缺陷晶圆样本图像标记的真实缺陷标签，x’为晶圆样本图像的伪标签，xi’为第i个有缺陷晶圆样本图像的伪标签，T1(x,x^)为标记了真实缺陷标签的晶圆样本图像的损失项，

为标记了伪标签的晶圆样本图像的损失项，λ是平衡系数，用于控制标记了真实缺陷标签的样本图像的损失项和伪标签样本图像的损失项之间的平衡，β大于0且小于1，i、n均为大于0的自然数。

6.根据权利要求4或5所述的方法，其特征在于，还包括分训练时间段将λ从0线性增加到预设值的步骤，其中，到达预设时间段后，保持λ值不变。

7.根据权利要求6所述的方法，其特征在于，分成3个训练时间段调整λ，其中，当t<t1时，λ(t)＝0；当t1<t<t2时，λ(t)＝λ₂，t2<t时，λ(t)＝λ₃，其中，0<t1<t2，λ₂<λ₃，λ₃＝t2*λ₂/t1。

8.根据权利要求1所述的方法，其特征在于，所述对各个剩余像素点的像素值与对应权值进行加权求和的步骤包括：

为各个剩余像素点分配权值，其中，为滤波窗口内的中心像素点分配预设权值，剩余的其他像素点平均分配剩余的权值；或者，计算各个剩余像素点的像素值与所述均值像素值的像素差值，各个剩余像素点的权值等于对应的像素差值除以各个像素差值之和的值；

按照各个剩余像素点的权值，对所述各个像素点进行加权求和。

9.根据权利要求1所述的方法，其特征在于，所述获取图像采集设备采集的晶圆图像的步骤包括：

获取晶圆制备过程中图像采集设备采集的所述晶圆每一层的图像，所述晶圆每一层的图像指晶圆每一层上表面的图像；

获取图像采集设备采集的结束制备的晶圆的整个侧面的图像；

将获取到的各个图像平铺以进行第一合并，所述第一合并的晶圆图像中的各层晶圆图像的平铺顺序与制备的先后顺序一致；

将获取到的所述晶圆的每一层图像进行叠加，从而实现第二合并，所述第二合并的晶圆图像中的各层晶圆图像的叠加顺序与制备的先后顺序一致，用于输入所述缺陷检测模型的晶圆图像包括所述第一合并的晶圆图像以及所述第二合并的晶圆图像。

10.一种基于卷积神经网络的晶圆缺陷检测系统，其特征在于，包括：图像采集设备和处理单元，所述图像采集设备和处理单元连接；

所述图像采集设备用于采集晶圆图像；

所述处理单元获取基于卷积神经网络的缺陷检测模型并保存，并获取图像采集设备采集的晶圆图像，并进行加权均值滤波处理，将处理后的晶圆图像并输入至所述缺陷检测模型；所述加权均值滤波处理包括以晶圆图像的每一个像素点为中心像素点，选取预设大小的滤波窗口，滤除滤波窗口内的极大值像素点和极小值像素点，获取剩余像素点的均值像素值及各个剩余像素点的权值，并进行归一化处理，对各个剩余像素点的像素值与对应权值进行加权求和，得到的像素值作为所述滤波窗口内中心像素点的滤波后的像素值；以及利用所述缺陷检测模型检测所述晶圆图像的缺陷的类型。

Images