CN117495856A - 基于深度学习的晶圆表面检测方法、装置、设备和介质 - Google Patents

Abstract

本发明涉及晶圆检测技术领域，公开了一种基于深度学习的晶圆表面检测方法、装置、设备和介质，该方法包括：获取与待检测晶圆对应的灰度图像；通过预设粗检模型对灰度图像进行初步检测，得到初步检测结果；当初步检测结果表征待检测晶圆需进行精检时，通过预设精检模型对灰度图像进行位置检测，得到位置精检结果；根据位置精检结果以及预设分类模型对灰度图像进行缺陷分类，得到缺陷分类结果。本发明通过预设粗检模型、预设精检模型和预设分类模型依次对灰度图像进行检测，实现了对晶圆中缺陷的快速识别，实现了对缺陷位置的准确定位，以及实现了对晶圆中缺陷分类结果的精准识别，提高了晶圆的检测效率和精准度。

Description

基于深度学习的晶圆表面检测方法、装置、设备和介质

技术领域

本发明涉及晶圆检测技术领域，尤其涉及一种基于深度学习的晶圆表面检测方法、装置、设备和介质。

背景技术

半导体芯片是电子产品的核心部件，其制造过程由晶圆切割、深加工、封装测试等环节组成。晶圆是指由单晶硅切割成的薄片，是半导体芯片制造的基础。晶圆缺陷检测是半导体制造过程中的重要环节之一。

目前，国内晶圆缺陷检测主要采用人工检测方法。人工检测和人工辅助图像检测由于多种因素的影响，容易出现错检、漏检等问题。同时，人工检测效率较低，不能满足生产需求。模板匹配方法是基于已知缺陷图像的模板进行检测，该方法的缺点是对于微小缺陷的检测效果不佳。计算周长与面积是模板匹配方法之外的另一种常用方法，该方法的原理是将晶圆的轮廓线与设定的阈值进行比较，缺点是对于微小崩边情况的检测效果不佳。

发明内容

本发明实施例提供一种基于深度学习的晶圆表面检测方法、装置、设备和介质，以解决现有技术中通过人工检测晶圆缺陷，导致的检测精度较低且效率低的问题。

一种基于深度学习的晶圆表面检测方法，包括：

获取与待检测晶圆对应的灰度图像；

将所述灰度图像输入到预设粗检模型中，通过所述预设粗检模型对所述灰度图像进行初步检测，得到初步检测结果；

当所述初步检测结果表征所述待检测晶圆需进行精检时，通过预设精检模型对所述灰度图像进行位置检测，得到位置精检结果；

根据所述位置精检结果以及预设分类模型对所述灰度图像进行缺陷分类，得到与所述待检测晶圆对应的缺陷分类结果。

一种基于深度学习的晶圆表面检测装置，包括：

获取模块，用于获取与待检测晶圆对应的灰度图像；

粗检模块，用于将所述灰度图像输入到预设粗检模型中，通过所述预设粗检模型对所述灰度图像进行初步检测，得到初步检测结果；

精检模块，用于当所述初步检测结果表征所述待检测晶圆需进行精检时，通过预设精检模型对所述灰度图像进行位置检测，得到位置精检结果；

分类模块，用于根据所述位置精检结果以及预设分类模型对所述灰度图像进行缺陷分类，得到与所述待检测晶圆对应的缺陷分类结果。

一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令时实现上述基于深度学习的晶圆表面检测方法。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于深度学习的晶圆表面检测方法。

上述基于深度学习的晶圆表面检测方法、装置、设备和介质，本发明基于深度学习的晶圆表面检测方法中，通过预设粗检模型对灰度图像进行初步检测，实现了对是否需要精检的判断，以及实现了对初步检测结果的获取。通过预设精检模型对灰度图像进行位置检测，实现了对灰度图像中缺陷位置的标记，以及实现了对位置精检结果的获取。根据位置精检结果以及预设分类模型对灰度图像进行缺陷分类，实现了对缺陷种类的识别，以及实现了对缺陷分类结果的获取。进一步地，通过预设粗检模型、预设精检模型和预设分类模型依次对灰度图像进行检测，实现了对晶圆中缺陷的快速识别，实现了对晶圆中缺陷位置的准确定位，以及实现了对晶圆中缺陷分类结果的精准识别，进而提高了晶圆的检测效率和精准度。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例中基于深度学习的晶圆表面检测方法的流程图；

图2是本发明一实施例中基于深度学习的晶圆表面检测装置的原理框图；

图3是本发明一实施例中计算机设备的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在一实施例中，如图1所示，提供一种基于深度学习的晶圆表面检测方法，包括如下步骤：

S10：获取与待检测晶圆对应的灰度图像。

可理解地，灰度图像是每个像素只有一个采样颜色的图像，例如，从0到255。待检测晶圆是指需要进行表面检测的晶圆。

具体地，在晶圆生产结束之后，将该晶圆移动至表面检测设备的平台上，通过第一光源和第二光源进行照射，例如，第一光源的朝向方向与晶圆表面的夹角为60～90°，第二光源的朝向方向与晶圆表面的夹角为0～30°。然后，通过设置在支架上的配备有微距定焦镜头的相机和晶圆之间的距离，并对晶圆进行持续曝光，以便微距定焦镜头可以清晰地捕捉到晶圆表面的细节。接着，使用线扫描技术，使得相机沿着晶圆表面移动，同时保持相机的曝光时间不变，以实现可以逐行扫描整个晶圆表面，并捕获每个像素的灰度值。对捕获的晶圆表面图像进行处理和分析，即可以调整图像的对比度和亮度，以便更好地观察晶圆表面的细节和特征，并将最终得到的图像确定为与待检测晶圆对应的灰度图像。

S20：将所述灰度图像输入到预设粗检模型中，通过所述预设粗检模型对所述灰度图像进行初步检测，得到初步检测结果。

可理解地，初步检测结果是指晶圆是否需要精检的结果。预设粗检模型是指通过训练可以识别出晶圆表面的异常区域的神经网络结构。

进一步地，对灰度图像进行预处理，包括滤波、去噪、边缘增强等操作，以提高图像的质量和清晰度。将预处理后的灰度图像输入到预设粗检模型中，通过预设粗检模型对预处理后的灰度图像进行初步检测，也即通过预设粗检模型学习的识别能力检测待检测晶圆表面是否存在异常区域，从而得到初步检测结果。通过初步检测结果对待检测晶圆的表面进行初步的质量评估和缺陷筛选，以判断是否需要进行精检。

S30：当所述初步检测结果表征所述待检测晶圆需进行精检时，通过预设精检模型对所述灰度图像进行位置检测，得到位置精检结果。

可理解地，位置精检结果是指灰度图像中各缺陷的准确位置。

具体地，当初步检测结果表征待检测晶圆需进行精检时，将灰度图像输入到预设精检模型中，通过预设精检模型对灰度图像进行位置检测，也即提取待检测晶圆的灰度图像的边缘特征，然后，通过边缘特征确定待检测晶圆的几何中心，将几何中心确定为原点，并建立坐标系。基于坐标系，通过预设精检模型对灰度图像中的缺陷进行位置预测，也即对每个缺陷的坐标范围进行识别，即可得到位置精检结果。

S40：根据所述位置精检结果以及预设分类模型对所述灰度图像进行缺陷分类，得到与所述待检测晶圆对应的缺陷分类结果。

可理解地，缺陷分类结果是指灰度图像中缺陷的类别。例如，晶圆表面缺陷的类别为缺角、切割不良、划痕、材料剥落、裂纹、杂物、污染等等。

具体地，根据位置精检结果以及预设分类模型对灰度图像进行缺陷分类，也即先基于位置精检结果，通过预设分类模型对每个缺陷进行特征增强，然后，预设分类模型通过每个缺陷样本的灰度值、轮廓以及长宽度量结合物理特性对增强特征后的图像进行缺陷识别，从而得到与各缺陷位置对应的缺陷类型，并将所有缺陷类型确定为与待检测晶圆对应的缺陷分类结果。

本发明中，通过预设粗检模型对灰度图像进行初步检测，实现了对是否需要精检的判断，以及实现了对初步检测结果的获取。通过预设精检模型对灰度图像进行位置检测，实现了对灰度图像中缺陷位置的标记，以及实现了对位置精检结果的获取。根据位置精检结果以及预设分类模型对灰度图像进行缺陷分类，实现了对缺陷种类的识别，以及实现了对缺陷分类结果的获取。进一步地，通过预设粗检模型、预设精检模型和预设分类模型依次对灰度图像进行检测，实现了对晶圆中缺陷的快速识别，实现了对晶圆中缺陷位置的准确定位，以及实现了对晶圆中缺陷分类结果的精准识别，进而提高了晶圆的检测效率和精准度。

在一实施例中，所述步骤S40之后，也即根据所述位置精检结果以及预设分类模型对所述灰度图像进行缺陷分类，得到与所述待检测晶圆对应的缺陷分类结果之后，包括：

S50，获取预设缺陷表，并基于所述预设缺陷表对所述缺陷分类结果进行原因识别，得到与各所述缺陷分类结果对应的缺陷产生位置。

S60，将所述缺陷产生位置发送至预设处理方，并接收所述预设处理方反馈的缺陷处理结果。

可理解地，预设缺陷表是指依据国家标准制定的缺陷产生原因分析表。缺陷产生位置是指缺陷产生的步骤，例如，腐蚀过程、切割过程等。预设处理方是指每个生产步骤的客户端。

具体地，在得到与所述待检测晶圆对应的缺陷分类结果之后，对缺陷产生的原因进行分析，也即获取预设缺陷表，基于缺陷分类结果在预设缺陷表中查询到缺陷产生原因，即通过匹配的方式，在预设缺陷表中查询到与缺陷分类结果相同的缺陷名称，在预设缺陷表中查询到缺陷产生原因，并对缺陷产生原因关联的缺陷产生位置进行确定，从而得到与各缺陷分类结果对应的缺陷产生位置。例如，位错缺陷产生原因：晶体生长过程中，籽晶中的位错、固-液界面附近落入不溶性固态颗粒，界面附近温度梯度或温度波动以及机械振动产生位错。凹坑缺陷产生原因：晶体的局部区域具有较快的腐蚀速度，使晶体端面上出现凹坑。颗粒缺陷产生步骤：通常由原材料阶段的硅锭杂质、制造工艺阶段的光刻胶污染、刻蚀缺陷和腐蚀缺陷等产生。划痕缺陷产生步骤：通常由原材料阶段的晶片划痕、制造工艺阶段的抛光缺陷和洗净缺陷等产生。裂纹缺陷产生步骤：通常由原材料阶段的晶片裂纹、制造工艺阶段的热应力裂纹和腐蚀裂纹等产生。凹坑缺陷产生步骤：通常由制造工艺阶段的刻蚀缺陷和腐蚀缺陷等产生。

进一步地，将缺陷产生位置发送至预设处理方，并接收预设处理方反馈的缺陷处理结果，也即将各待检测晶圆对应的缺陷分类结果、缺陷产生原因以及缺陷产生位置发送至预设处理方。预设处理方在接收到提示信息后，对生产设备进行参数调整，以使得缺陷消除，从而得到缺陷处理结果，并将缺陷处理结果反馈至检测端，即接收所述预设处理方反馈的缺陷处理结果。

本实施例中，通过基于预设缺陷表对缺陷分类结果进行原因识别，实现了对缺陷产生原因和缺陷产生位置的识别。通过将缺陷产生位置发送至预设处理方，并接收预设处理方反馈的缺陷处理结果，实现了对缺陷产位位置的检测，以及消除缺陷产生原因，进而提高了良品率。

在一实施例中，所述步骤S20中，也即将所述灰度图像输入到预设粗检模型中，通过所述预设粗检模型对所述灰度图像进行初步检测，得到初步检测结果，初步检测结果包括用于表征所述待检测晶圆需进行精检的第一检测结果，以及用于表征所述待检测晶圆不需要进行精检的第二检测结果；包括：

S201，对所述灰度图像进行滤波处理，得到去噪后的图像。

可理解地，去噪后的图像是指对图像中的孤立噪音点去除后得到的。晶圆图像是指只包含晶圆，不包括背景的图像。晶圆二值图是指对晶圆图像二值化得到的。

具体地，在得到灰度图像之后，获取中值滤波器，通过中值滤波器对灰度图像进行滤波处理，也即初始化滤波器的大小和步长，使用滑动滤波窗口遍历灰度图像，并使得滤波窗口的中心与当前像素位置重合，滤波窗口的大小与滤波器的大小相同，从滤波窗口中的每个像素位置读取灰度值，并将读取的灰度值从小到大进行排序，当窗口中的像素数量是奇数，则中值是排序后的中间元素；当窗口中的像素数量是偶数，则中值是排序后的中间两个元素的平均值，将当前像素位置的灰度值更新为计算得到的中值。 然后，将窗口向右或向下移动一个步长，重复上述步骤，直到遍历完整个灰度图像，即可得到去噪后的图像。

S202，遍历所述去噪后的图像中的所有像素，确定与各所述像素对应的灰度值。

S203，通过所有所述灰度值对所述灰度图像进行背景去除，得到晶圆图像。

进一步地，遍历去噪后的图像中的所有像素，确定与各像素对应的灰度值，并确定灰度值中最大的像素对应的灰度值为背景的灰度值，并识别出背景对应的所有灰度值。然后，根据背景的所有灰度值设置线性变换系数，也即将背景灰度值映射到一个新的灰度范围，线性变换系数可以通过计算背景灰度值的最大值和最小值，确定一个线性映射范围得到。例如，如果背景灰度值的范围是0到255，线性变换系数的范围可以是0到1，通过将每个像素的灰度值除以255得到。通过线性变换系数对灰度图像中的每个像素的灰度值进行计算。可以对处理后的图像进行阈值处理，即通过设置一个合适的阈值，将每个像素的灰度值和阈值进行比较，从而将背景和前景分开，只保留晶圆的轮廓，使得晶圆的轮廓更加清晰，从而得到晶圆图像。还可以采用边缘检测算法进行前景和背景的分离。例如，Sobel算法、Prewitt算法、Canny算法等。其中，Canny算法是一种经典的边缘检测算法，通过计算像素梯度的幅值和方向来检测边缘，并通过非极大值抑制和双阈值处理来提高检测结果的准确性和稳定性。

在另一实施例中，通过对获取到的各个像素对应的灰度值分别进行一阶求导，从而得到各个像素对应的像素值的一阶求导结果，由于一阶求导结果的大小代表所述像素点的色彩的变化率大小，也即一阶求导结果越大像素的灰度的变化就越大，反之代表像素的灰度的变化就越小。当一阶求导结果满足预设变化阈值时，将其确定为边缘像素。然后，将灰度图像中的晶圆和背景之间的所有边缘像素连接起来，从而得到分割线。并沿着该分割线，将灰度图像中的晶圆和背景之间区分开，从而得到晶圆图像。

S204，对所述晶圆图像进行二值化处理，得到晶圆二值图，并将所述晶圆二值图输入到预设粗检模型中。

具体地，获取预设的转换阈值，将晶圆图像的每个像素的灰度值与预设的转换阈值进行比较。当像素的灰度值大于或等于预设的转换阈值时，则将其像素值设置为白色（或1），当像素的灰度值小于预设的转换阈值时，设置为黑色（或0）。在二值化过程中，为了确保边界的清晰度和连续性，采用膨胀和腐蚀操作，平滑阈值区域的边缘，即可得到一个只包含黑白两种颜色的晶圆二值图。

本实施例中，通过对灰度图像进行滤波处理，实现了有效去除图像中的孤立的干扰点。通过所有灰度值对灰度图像进行背景去除，使得晶圆的轮廓更加清晰，方便了灰度图像前景和背景的切割，实现了晶圆图像的获取。通过对晶圆图像进行二值化处理，实现了对晶圆二值图的获取，方便了后续模型对缺陷的识别。

S206，通过所述预设粗检模型对所述晶圆二值图进行缺陷识别，得到缺陷分布图。

可理解地，缺陷分布图是指灰度图像中缺陷的分布位置的热力图。

具体地，将晶圆二值图输入到预设粗检模型中之后，通过预设粗检模型对晶圆二值图进行缺陷识别，也即预设粗检模型会根据晶圆二值图的像素值和其他特征来识别其中的缺陷，也即通过学习到的无缺陷的二值图和输入的的晶圆二值图进行比较，也即两个图像的像素值进行比较，并对其中的像素值不同的像素进行标记，从而得到缺陷分布图。

在另一实施例中，基于预设粗检模型中的马氏距离对学习到的无缺陷的二值图和输入的的晶圆二值图进行相似度比较，也即通过马氏距离对无缺陷的二值图和晶圆二值图进行区域相似度计算，从而得到各区域的相似度值。然后，获取预设相似度阈值，并将各区域的相似度值和预设相似度阈值进行比较，当该区域的相似度值小于预设相似度阈值时，确定该区域无缺陷。当该区域的相似度值大于或等于预设相似度阈值时，对该区域进行缺陷标记，确定该区域有缺陷。如此，通过对所有缺陷区域进行标记，从而得到与晶圆二值图对应的缺陷分布图。

S207，通过贝叶斯算法对所述缺陷分布图进行计算，得到缺陷得分。

S208，获取预设缺陷阈值，对所述缺陷得分和所述预设缺陷阈值进行比较。

S209，在所述缺陷得分大于或等于所述预设缺陷阈值时，得到第一检测结果。

S210，在所述缺陷得分小于所述预设缺陷阈值时，得到第二检测结果。

具体地，通过贝叶斯算法对缺陷分布图进行计算，也即使用贝叶斯算法，基于缺陷的特征和先验知识计算出缺陷得分，即根据已知的信息和概率模型，计算先验概率（先验概率是贝叶斯算法在得到数据之前的概率分布），通过缺陷分布图对贝叶斯算法中的先验概率进行更新，也即将已知有缺陷发生后无缺陷的条件概率与有缺陷的先验概率相乘，并除以无缺陷的先验概率，从而得到有缺陷的后验概率，然后，根据后验概率，计算每个缺陷的缺陷得分，即通过计算后验概率的熵、交叉熵或其他指标来完成的，并选择具有最高后验概率作为缺陷得分。进一步地，获取预设缺陷阈值，对缺陷得分和预设缺陷阈值进行比较大小，在缺陷得分大于或等于预设缺陷阈值时，得到待检测晶圆需进行精检的第一检测结果。在所述缺陷得分小于所述预设缺陷阈值时，得到待检测晶圆不需要进行精检的第二检测结果。

本实施例中，通过预设粗检模型对晶圆二值图进行缺陷识别，实现了对缺陷分布图的获取。通过贝叶斯算法对所述缺陷分布图进行计算，实现了对缺陷得分的计算，进而实现了对表征待检测晶圆需进行精检的第一检测结果，以及用于表征待检测晶圆不需要进行精检的第二检测结果的获取。

在一实施例中，所述步骤S206中，也即将通过所述预设粗检模型对所述晶圆二值图进行缺陷识别，得到缺陷分布图，包括：

S2061，获取预设粗检模型中正样本图像对应的样本二值图。

S2062，将所述样本二值图和所述晶圆二值图进行比较，得到比较结果。

S2063，当所述比较结果表征所有所述像素的灰度值均相同时，确定所述待检测晶圆不需要进行精检。

S2064，当所述比较结果表征存在灰度值不同的所述像素时，对所述晶圆二值图中的所有缺陷位置进行标记，得到缺陷分布图。

可理解地，样本二值图是指对正样本图像进行二值化得到的。

具体地，将晶圆二值图输入到预设粗检模型中之后，获取预设粗检模型中正样本图像对应的样本二值图，然后，将样本二值图和晶圆二值图进行比较，也即将两张二值图的同一像素对应的灰度值进行比较，从而得到比较结果。当比较结果表征所有像素的灰度值均相同时，即得到该灰度图像中没有缺陷的检测结果，即待检测晶圆不需要进行精检。当比较结果表征存在灰度值不同的像素时，对晶圆二值图中的所有不同灰度值对应的像素进行标记，也即当晶圆二值图中存在与样本二值图中的灰度值不同时，将该像素进行标记，并将标记的位置确定为缺陷位置，如此，对晶圆二值图中所有缺陷位置进行标记，即可得到缺陷分布图。

本实施例中，通过将输入的晶圆二值图和模型训练时学习的样本二值图进行比较，实现了对像素的灰度值的比较，以及实现了对比较结果的获取。当比较结果表征存在灰度值不同的像素时，实现了对像素对应的缺陷位置的标记，进而实现了对缺陷分布图的获取。

在一实施例中，所述步骤S30中，也即通过预设精检模型对所述灰度图像进行位置检测，得到位置精检结果，包括：

S301，对所述晶圆二值图进行角度校正，得到校正角度后的图像。

S302，确定所述校正角度后的图像的几何中心，并基于所述几何中心建立空间坐标系。

S303，基于所述空间坐标系，通过预设精检模型对所述校正角度后的图像进行缺陷位置识别，得到已标记缺陷位置对应的缺陷坐标的位置精检结果。

可理解地，校正角度后的图像是指消除角度偏差后的图像。位置精检结果是指每个缺陷的详细坐标位置。

具体地，在初步检测结果表征待检测晶圆需进行精检时，先对晶圆二值图进行角度校正，也即确定晶圆二值图的角度偏差，即通过分析图像的边缘、纹理或其他特征来实现。例如，可以找到晶圆二值图中的直线或纹理，并计算其与水平或垂直方向的夹角，该夹角即为角度偏差。然后，使用旋转矩阵或仿射变换等方法，对晶圆二值图进行角度校正，以消除角度偏差，即可得到校正角度后的图像。进一步地，确定校正角度后的图像的几何中心，并基于几何中心建立空间坐标系，也即当校正角度后的图像是矩形时，连接对角线，两个对角线的交点即为几何中心；当校正角度后的图像是圆形时，在圆上任意确定四个点，任选两个为一组，分别连接这两个点，找出垂直平分线，垂直平分线的交点即为几何中心。并以几何中心为原点，设定x轴从左到右，y轴从下到上，得到空间坐标系。基于空间坐标系，通过预设精检模型对校正角度后的图像进行缺陷位置识别，也即将每个像素映射到该空间坐标系中，得到每个像素的坐标，然后，通过预设精检模型对校正角度后的图像中的缺陷进行识别，从而定位每个缺陷对应的坐标范围，并将识别出的坐标范围确定为缺陷位置对应的缺陷坐标，将所有缺陷坐标确定为与待检测晶圆对应的位置精检结果。

在另一实施例中，先对晶圆二值图进行预处理，也即先使用连通域分析算法识别出晶圆二值图的连通域，然后，通过边缘算法对晶圆二值图中的连通域中的边缘连通域连接成边缘线，以增强对比度。然后，使用边缘检测算法提取边缘，并对提取的边缘进行直线拟合，再根据拟合直线的斜率，可以计算出倾斜角度，以该倾斜角度进行图像校正，即可得到校正角度后的图像。进一步地，使用质心估计算法计算边缘线的质心从而确定校正角度后的图像的几何中心，也即初始化质心的x坐标和y坐标为0，并遍历校正角度后的图像中的所有像素，对于每个像素，若像素值为1（表示它在边缘线内），则将其x坐标和y坐标分别加到质心的x坐标和y坐标上，然后，计算边缘线内像素的总数，将质心的x坐标和y坐标分别除以边缘线内像素的总数，即可得到校正角度后的图像的几何中心。

本实施例中，对灰度图像进行角度校正，实现了对校正角度后的图像的获取，保证了后续识别缺陷的准确率。确定几何中心，并建立空间坐标系，通过预设精检模型对校正角度后的图像进行缺陷位置识别，实现了对缺陷范围的准确识别，实现了对缺陷坐标的精准定位，进而提高了缺陷识别的准确率和效率。

在一实施例中，所述步骤S40中，也即根据所述位置精检结果以及预设分类模型对所述灰度图像进行缺陷分类，得到与所述待检测晶圆对应的缺陷分类结果，包括：

S401，根据所述位置精检结果，通过所述预设分类模型对所述校正角度后的图像中的缺陷位置进行特征增强，得到特征图像。

S402，通过所述预设分类模型中的物理特性对所述特征图像中的缺陷位置进行缺陷分类，得到缺陷分类结果。

可理解地，特征图像是指缺陷位置增强特征后的图像。缺陷分类结果是指缺陷的类别。

具体地，根据位置精检结果所表征的与缺陷坐标对应的缺陷区域范围，也即通过位置精检结果中的坐标范围，定位出校正角度后的图像中与缺陷坐标对应的缺陷区域范围。然后，通过预设分类模型对校正角度后的图像中的缺陷区域范围进行特征增强，也即通过提取图像中缺陷位置对应的局部特征、纹理特征、形状特征，并使用图像非线性增强方式对提取的特征进行特征强度提升，从而提高图像的对比度和清晰度，使得缺陷更加明显，即可得到特征图像。进一步地，通过预设分类模型中的物理特性对特征图像中的缺陷位置进行缺陷分类，也即预设分类模型基于缺陷的形状、大小、颜色、纹理等特征，识别出不同类型的缺陷，并给出相应的缺陷分类结果。

在一实施例中，识别出缺陷分类结果之后，基于物理特性识别出缺陷分类结果，是由哪一具体加工步骤产生的，也即通过缺陷的类型、缺陷的形态和缺陷的位置，预测产生缺陷的加工步骤。例如，缺角、切割不良、裂纹是在晶圆切割时产生的；划痕、材料剥落是在晶圆深加工时产生的；杂物、污染是在晶圆封装测试时产生的。

本实施例中，通过预设分类模型对校正角度后的图像图像中的缺陷区域范围进行特征增强，实现了对缺陷的特征增强，实现了对特征图像的获取。通过预设分类模型中的物理特性对特征图像中的缺陷位置进行缺陷分类，实现了对缺陷种类的快速识别，进而实现了对缺陷分类结果的获取，提高了缺陷识别的效率以及准确率。

在一实施例中，所述步骤S20之前，也即将所述灰度图像输入到预设粗检模型中之前，包括：

S101，获取样本数据集，所述样本数据集包括至少一张正样本图像和缺陷样本图像。

可理解地，正样本图像是指无缺陷的晶圆表面的二值图。缺陷样本图像是指有缺陷的晶圆表面的二值图。该实施例中，晶圆的背景采用白色。

具体地，通过微距定焦镜头持续曝光与线扫描方式对生产的晶圆进行拍摄，即可得到无缺陷的晶圆表面的灰度图像和有缺陷的晶圆表面的灰度图像，然后，分别对每个灰度图像进行二值化，也即获取预设灰度阈值，将所有灰度值大于或等于该预设灰度阈值的像素设置为白色（或255），所有小于该预设灰度阈值的像素设置为黑色（或0），从而得到二值图。将不同尺寸的晶圆的二值图存储在不同的数据库中。从数据库获取一张正样本图像，以及从另一数据库中获取缺陷样本图像。该正样本图像和缺陷样本图像由人工检测或其它方式检测得到。

S102，通过所述正样本图像对第一训练模型进行训练，并将所有所述缺陷样本图像输入到训练后的第一训练模型中，输出与各所述缺陷样本图像对应的样本缺陷位置。

可理解地，第一训练模型是基于神经网络构建的。样本缺陷位置是指缺陷在缺陷样本图像中的位置，例如，通过建立坐标系，确定缺陷位置。其中，每个缺陷样本图像可能有一个缺陷，也可能有多个缺陷。

具体地，将获取的单张正样本图像输入到第一训练模型中，通过第一训练模型对正样本图像进行识别，以使得第一训练模型具备识别正样本图像之外的缺陷样本图像。进一步地，在第一训练模型训练完成后，将获取的所有缺陷样本图像输入到训练后的第一训练模型中，通过第一训练模型中学习到的正样本图像对输入的缺陷样本图像进行比较，从识别出图像中不同的像素的位置，并将所有不同像素的位置区域确定为与各缺陷样本图像对应的样本缺陷位置。

S103，通过与各所述缺陷样本图像对应的样本缺陷位置对第二训练模型进行训练，以使得第二训练模型具备检测图像中的缺陷位置的能力。

S104，通过第三训练模型对所述缺陷位置进行缺陷分类，得到与各所述缺陷位置对应的缺陷类别。

可理解地，缺陷类别是指缺陷的种类和对应的名字，例如，有掉落物、污渍、凸起、划痕、基晶面错位和层错缺陷。

具体地，将与各缺陷样本图像对应的样本缺陷位置输入到第二训练模型中，通过与各缺陷样本图像对应的样本缺陷位置对第二训练模型进行训练，以使得第二训练模型具备检测图像中的缺陷位置的能力，也即第二训练模型识别出缺陷样本图像的中心点，并以中心点为原点建立坐标系，从而使得第二训练模型可以准确识别出每个缺陷的准确位置。其中，可以通过人工检测获取每个缺陷的实际位置，通过识别出每个缺陷的准确位置和每个缺陷的实际位置计算预测差值，并通过预测差值对第二训练模型的参数进行调整，直至模型收敛。

进一步地，将每个缺陷的准确位置输入到第三训练模型中，通过第三训练模型对样本缺陷位置进行缺陷分类，也即通过每个缺陷样本的灰度值、轮廓以及长宽度量结合物理特性识别出缺陷类别，从而与各缺陷位置对应的缺陷类别，以使得第三训练模型具备检测图像中的缺陷类型的能力。

S105，在所述第一训练模型、所述第二训练模型和所述第三训练模型均达到预设收敛条件时，将收敛之后的训练模型确定为与所述第一训练模型对应的预设粗检模型、与所述第二训练模型对应的预设精检模型以及与所述第三训练模型对应的预设分类模型。

可理解地，预设收敛条件可以为预测损失值小于设定阈值的条件，还可以为预测损失值经过了5000次计算后值为很小且不会再下降的条件，停止训练。

具体地，将缺陷样本图像对应的所有缺陷类别按照样本数据集中缺陷样本图像的顺序进行排列，进而将缺陷样本图像关联的实际类别，与序列相同的缺陷样本图像的缺陷类别进行比较；即按照缺陷样本图像排序，将位于第一的缺陷类别，与位于第一的实际类别进行比较，通过损失函数计算出缺陷类别与实际类别之间的预测损失值。

在预测损失值未达到预设的收敛条件时，通过预测损失值调整第三训练模型的初始参数，并将所有缺陷样本图像、缺陷位置和缺陷名称重新输入至调整初始参数的第三训练模型中，对调整初始参数的第三训练模型进行训练，即可得到与调整初始参数的第三训练模型对应的预测损失值。进而在该预测损失值未达到预设收敛条件时，根据该预测损失值再次调整训练模型的初始参数，如此，使得训练模型的准确率越来越高，预测的结果不断的向正确结果靠拢，直至预测损失值达到预设收敛条件时，将收敛之后的训练模型确定为与第一训练模型对应的预设粗检模型、与第二训练模型对应的预设精检模型以及与第三训练模型对应的预设分类模型。

本发明实施例通过大量的缺陷样本图像对训练模型进行迭代训练，并计算训练模型的整体损失值，实现了对预测损失值的确定。根据预测损失值对模型的初始参数进行调整，直至模型收敛，实现了对预设粗检模型、预设精检模型以及预设分类模型的确定，实现了三个模型的联合训练，进而确保了预设粗检模型、预设精检模型以及预设分类模型有较高的准确率。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

在一实施例中，提供一种基于深度学习的晶圆表面检测装置，该基于深度学习的晶圆表面检测装置与上述实施例中基于深度学习的晶圆表面检测方法一一对应。如图2所示，该基于深度学习的晶圆表面检测装置包括获取模块10、粗检模块20、精检模块30和分类模块40。各功能模块详细说明如下：

获取模块10，用于获取与待检测晶圆对应的灰度图像；

粗检模块20，用于将所述灰度图像输入到预设粗检模型中，通过所述预设粗检模型对所述灰度图像进行初步检测，得到初步检测结果；

精检模块30，用于当所述初步检测结果表征所述待检测晶圆需进行精检时，通过预设精检模型对所述灰度图像进行位置检测，得到位置精检结果；

分类模块40，用于根据所述位置精检结果以及预设分类模型对所述灰度图像进行缺陷分类，得到与所述待检测晶圆对应的缺陷分类结果。

在一实施例中，所述装置，还包括：

缺陷产生模块，用于获取预设缺陷表，并基于所述预设缺陷表对所述缺陷分类结果进行原因识别，得到与各所述缺陷分类结果对应的缺陷产生位置；

缺陷处理模块，用于将所述缺陷产生位置发送至预设处理方，并接收所述预设处理方反馈的缺陷处理结果。

在一实施例中，所述粗检模块20，所述初步检测结果包括用于表征所述待检测晶圆需进行精检的第一检测结果，以及用于表征所述待检测晶圆不需要进行精检的第二检测结果；还包括：

噪音滤波单元，用于对所述灰度图像进行滤波处理，得到去噪后的图像；

图像遍历单元，用于遍历所述去噪后的图像中的所有像素，确定与各所述像素对应的灰度值；

背景去除单元，用于通过所有所述灰度值对所述灰度图像进行背景去除，得到晶圆图像；

二值化单元，用于对所述晶圆图像进行二值化处理，得到晶圆二值图，并将所述晶圆二值图输入到预设粗检模型中；

缺陷识别单元，用于通过所述预设粗检模型对所述晶圆二值图进行缺陷识别，得到缺陷分布图；

得分计算单元，用于通过贝叶斯算法对所述缺陷分布图进行计算，得到缺陷得分；

阈值比较单元，用于获取预设缺陷阈值，对所述缺陷得分和所述预设缺陷阈值进行比较；

第一检测结果单元，用于在所述缺陷得分大于或等于所述预设缺陷阈值时，得到第一检测结果；

第二检测结果单元，用于在所述缺陷得分小于所述预设缺陷阈值时，得到第二检测结果。

在一实施例中，所述缺陷识别单元，包括：

样本二值图子单元，用于获取预设粗检模型中正样本图像对应的样本二值图；

二值图比较子单元，用于将所述样本二值图和所述晶圆二值图进行比较，得到比较结果；

灰度值相同子单元，用于当所述比较结果表征所有所述像素的灰度值均相同时，确定所述待检测晶圆不需要进行精检；

灰度值不同子单元，用于当所述比较结果表征存在灰度值不同的所述像素时，对所述晶圆二值图中的所有缺陷位置进行标记，得到缺陷分布图。

在一实施例中，所述精检模块30，包括：

角度校正单元，用于对所述晶圆二值图进行角度校正，得到校正角度后的图像；

建立坐标单元，用于确定所述校正角度后的图像的几何中心，并基于所述几何中心建立空间坐标系；

位置识别单元，用于基于所述空间坐标系，通过预设精检模型对所述校正角度后的图像进行缺陷位置识别，得到已标记缺陷位置对应的缺陷坐标的位置精检结果。

在一实施例中，所述分类模块40，包括：

特征增强单元，用于根据所述位置精检结果，通过所述预设分类模型对所述校正角度后的图像中的缺陷位置进行特征增强，得到特征图像；

缺陷分类单元，用于通过所述预设分类模型中的物理特性对所述特征图像中的缺陷位置进行缺陷分类，得到缺陷分类结果。

在一实施例中，所述粗检模块20，还包括：

数据获取单元，用于获取样本数据集，所述样本数据集包括至少一张正样本图像和缺陷样本图像；

模型训练单元，用于通过所述正样本图像对第一训练模型进行训练，并将所有所述缺陷样本图像输入到训练后的第一训练模型中，输出与各所述缺陷样本图像对应的样本缺陷位置；

缺陷位置单元，用于通过与各所述缺陷样本图像对应的样本缺陷位置对第二训练模型进行训练，以使得第二训练模型具备检测图像中的缺陷位置的能力；

缺陷名称单元，用于通过第三训练模型对所述缺陷位置进行缺陷分类，得到与各所述缺陷位置对应的缺陷类别；

模型收敛单元，用于在所述第一训练模型、所述第二训练模型和所述第三训练模型均达到预设收敛条件时，将收敛之后的训练模型确定为与所述第一训练模型对应的预设粗检模型、与所述第二训练模型对应的预设精检模型以及与所述第三训练模型对应的预设分类模型。

一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令时实现上述基于深度学习的晶圆表面检测方法。

关于计算机设备、控制器及其各单元和模块的具体限定可以参见上文中对于基于深度学习的晶圆表面检测方法的限定，在此不再赘述。上述控制器中的各个模块可全部或部分通过软件、硬件及其组合来实现。可理解地，如图3所示，该控制器包括通过设备总线连接的处理器、存储器、网络接口和数据库。该控制器的各模块可以硬件形式内嵌于或独立于处理器中，也可以以软件形式存储于存储器中，以便于处理器调用执行以上各个模块对应的操作。其中，处理器用于提供计算和控制能力。存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作设备、计算机程序和数据库。该内存储器为非易失性存储介质中的操作设备和计算机程序的运行提供环境。数据库用于存储上述实施例中基于深度学习的晶圆表面检测方法所使用到的数据。网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于深度学习的晶圆表面检测方法。

在一个实施例中，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于深度学习的晶圆表面检测方法。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包括在本发明的保护范围之内。

Claims (10)

1.一种基于深度学习的晶圆表面检测方法，其特征在于，包括：

获取与待检测晶圆对应的灰度图像；

将所述灰度图像输入到预设粗检模型中，通过所述预设粗检模型对所述灰度图像进行初步检测，得到初步检测结果；

当所述初步检测结果表征所述待检测晶圆需进行精检时，通过预设精检模型对所述灰度图像进行位置检测，得到位置精检结果；

根据所述位置精检结果以及预设分类模型对所述灰度图像进行缺陷分类，得到与所述待检测晶圆对应的缺陷分类结果。

2.如权利要求1所述的基于深度学习的晶圆表面检测方法，其特征在于，所述根据所述位置精检结果以及预设分类模型对所述灰度图像进行缺陷分类，得到与所述待检测晶圆对应的缺陷分类结果之后，包括：

获取预设缺陷表，并基于所述预设缺陷表对所述缺陷分类结果进行原因识别，得到与各所述缺陷分类结果对应的缺陷产生位置；

将所述缺陷产生位置发送至预设处理方，并接收所述预设处理方反馈的缺陷处理结果。

3.如权利要求2所述的基于深度学习的晶圆表面检测方法，其特征在于，所述初步检测结果包括用于表征所述待检测晶圆需进行精检的第一检测结果，以及用于表征所述待检测晶圆不需要进行精检的第二检测结果；

所述将所述灰度图像输入到预设粗检模型中，通过所述预设粗检模型对所述灰度图像进行初步检测，得到初步检测结果，包括：

对所述灰度图像进行滤波处理，得到去噪后的图像；

遍历所述去噪后的图像中的所有像素，确定与各所述像素对应的灰度值；

通过所有所述灰度值对所述灰度图像进行背景去除，得到晶圆图像；

对所述晶圆图像进行二值化处理，得到晶圆二值图，并将所述晶圆二值图输入到预设粗检模型中；

通过所述预设粗检模型对所述晶圆二值图进行缺陷识别，得到缺陷分布图；

通过贝叶斯算法对所述缺陷分布图进行计算，得到缺陷得分；

获取预设缺陷阈值，对所述缺陷得分和所述预设缺陷阈值进行比较；

在所述缺陷得分大于或等于所述预设缺陷阈值时，得到第一检测结果；

在所述缺陷得分小于所述预设缺陷阈值时，得到第二检测结果。

4.如权利要求3所述的基于深度学习的晶圆表面检测方法，其特征在于，所述通过所述预设粗检模型对所述晶圆二值图进行缺陷识别，得到缺陷分布图，包括：

获取预设粗检模型中正样本图像对应的样本二值图；

将所述样本二值图和所述晶圆二值图进行比较，得到比较结果；

当所述比较结果表征所有所述像素的灰度值均相同时，确定所述待检测晶圆不需要进行精检；

当所述比较结果表征存在灰度值不同的所述像素时，对所述晶圆二值图中的所有缺陷位置进行标记，得到缺陷分布图。

5.如权利要求3所述的基于深度学习的晶圆表面检测方法，其特征在于，所述通过预设精检模型对所述灰度图像进行位置检测，得到位置精检结果，包括：

对所述晶圆二值图进行角度校正，得到校正角度后的图像；

确定所述校正角度后的图像的几何中心，并基于所述几何中心建立空间坐标系；

基于所述空间坐标系，通过预设精检模型对所述校正角度后的图像进行缺陷位置识别，得到已标记缺陷位置对应的缺陷坐标的位置精检结果。

6.如权利要求5所述的基于深度学习的晶圆表面检测方法，其特征在于，所述根据所述位置精检结果以及预设分类模型对所述灰度图像进行缺陷分类，得到与所述待检测晶圆对应的缺陷分类结果，包括：

根据所述位置精检结果，通过所述预设分类模型对所述校正角度后的图像中的缺陷位置进行特征增强，得到特征图像；

通过所述预设分类模型中的物理特性对所述特征图像中的缺陷位置进行缺陷分类，得到缺陷分类结果。

7.如权利要求1所述的基于深度学习的晶圆表面检测方法，其特征在于，所述将所述灰度图像输入到预设粗检模型中之前，包括：

获取样本数据集，所述样本数据集包括至少一张正样本图像和缺陷样本图像；

通过所述正样本图像对第一训练模型进行训练，并将所有所述缺陷样本图像输入到训练后的第一训练模型中，输出与各所述缺陷样本图像对应的样本缺陷位置；

通过与各所述缺陷样本图像对应的样本缺陷位置对第二训练模型进行训练，以使得第二训练模型具备检测图像中的缺陷位置的能力；

通过第三训练模型对所述缺陷位置进行缺陷分类，得到与各所述缺陷位置对应的缺陷类别；

在所述第一训练模型、所述第二训练模型和所述第三训练模型均达到预设收敛条件时，将收敛之后的训练模型确定为与所述第一训练模型对应的预设粗检模型、与所述第二训练模型对应的预设精检模型以及与所述第三训练模型对应的预设分类模型。

8.一种基于深度学习的晶圆表面检测装置，其特征在于，包括：

获取模块，用于获取与待检测晶圆对应的灰度图像；

粗检模块，用于将所述灰度图像输入到预设粗检模型中，通过所述预设粗检模型对所述灰度图像进行初步检测，得到初步检测结果；

精检模块，用于当所述初步检测结果表征所述待检测晶圆需进行精检时，通过预设精检模型对所述灰度图像进行位置检测，得到位置精检结果；

分类模块，用于根据所述位置精检结果以及预设分类模型对所述灰度图像进行缺陷分类，得到与所述待检测晶圆对应的缺陷分类结果。

9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，其特征在于，所述处理器执行所述计算机可读指令时实现如权利要求1至7任一项所述的基于深度学习的晶圆表面检测方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的基于深度学习的晶圆表面检测方法。