CN116168033B - 基于深度学习的晶圆晶格位错图像检测方法及系统 - Google Patents

Abstract

本发明公开了基于深度学习的晶圆晶格位错图像检测方法及系统，包括以下步骤：采集带有位错的晶圆晶格图像，并对图像进行预处理；对预处理后的图像进行标注，将标注后的单通道图像按设定的比例划分为训练集及验证集；构建用于晶圆晶格位错图像检测的网络模型，所述网络模型采用PicoDet网络模型；加载用于训练的PicoDet网络模型，利用所述训练集对模型进行训练，利用所述验证集对训练的预测结果进行评估，评估出最佳检测模型；采集晶圆晶格的实时图像，输入至最佳检测模型对晶圆晶格位错进行检测，然后将检测结果发送回检测机台。对于晶圆晶格位错，本发明采用的检测方法对小目标进行了优化，可提高小目标检测的效率及精度。

Description

基于深度学习的晶圆晶格位错图像检测方法及系统

技术领域

本发明属于图像检测技术领域，特别涉及基于深度学习的晶圆晶格位错图像检测方法及系统。

背景技术

位错又称为差排（dislocation），在材料科学中，指晶体材料的一种内部微观缺陷，即原子的局部不规则排列（晶体学缺陷）。从几何角度看，位错属于一种线缺陷，可视为晶体中已滑移部分与未滑移部分的分界线，它是决定金属等晶体力学性质的基本因素，其存在对材料的物理性能，尤其是力学性能，具有极大的影响。通过化学腐蚀可在晶体表面上观察到位错的露头处——腐蚀坑。半导体低位错密度锗单晶片是微电子和光电子的基础材料，广泛应用于太阳能电池、大功率晶体管、发光二极管、红外光学器件和探测器，使得其成为光电探测产业、卫星电池和卫星定位系统及现代国防建设的基础材料，并能带动和促进下一代半导体材料的加速发展。不同的行业对于晶片的位错密度有不同的要求，如太阳能电池行业要求晶片位错密度小于1000个/cm²，因此有必要对晶片的位错密度进行检测，使得出厂晶片能够符合材料生产、使用厂家的质量要求。

公开号为CN106409711A的中国发明专利提出一种太阳能硅晶片缺陷检测方法，包括如下操作步骤：上料机械臂从物料槽中抓取硅晶片放入传送皮带上，电机控制传送皮带将待检测硅晶片送入至工业相机正下方的检测工位；PLC根据到位信号控制工业相机拍照，照明光源频闪，从而获取硅晶片图像；针对获取的硅晶片图像，图像处理软件自动测量硅晶片的几何特征值，所述的硅晶片几何特征值包括硅晶片的长度、宽度尺寸；将几何特征值与标准的特征值比较以检测硅晶片是否合格，同时在图像区域内检测硅晶片的缺陷，并根据各种缺陷的主要特征运用BP神经网络算法进行分类；经过检测工位后，工控PC机的图像处理结果通过IO板卡反馈给PLC，然后PLC控制分拣机械臂根据检测结果剔除尺寸不合格的产品，并将各种缺陷分别放入对应的分拣箱内。

对于晶圆晶格位错图像的目标密度大、面积小及特征表达不充分的特点，上述检测方法未对晶圆晶格位错等小目标进行有效优化，存在检测精度上的不足，容易造成漏检及误检。公开号为CN102721697A的中国发明专利提出一种晶体硅位错的检测方法及检测系统，包括以下步骤：取待检测晶体硅样品进行抛光，接着用腐蚀液腐蚀，随后终止腐蚀；采用高清成像系统对待检测晶体硅进行成像，得到晶体硅腐蚀图像，从而得到晶体硅腐蚀图像的腐蚀坑灰度像素比例；根据腐蚀坑灰度像素比例与位错密度值之间的关系式，得到所述待检测晶体硅样品的位错密度值。本方法根据标准样品的腐蚀坑灰度像素比例和位错密度值的数据来计算待检测晶体硅的位错密度，存在检测效率不高、容易误检漏检等问题。

发明内容

本发明提供基于深度学习的晶圆晶格位错图像检测方法，旨在解决现有技术对晶圆晶格位错检测时存在的检测效率低、漏检及误检的问题。

为解决上述技术问题，本发明提出基于深度学习的晶圆晶格位错图像检测方法，包括以下步骤：

S1：采集带有位错的晶圆晶格图像，并对图像进行通道分离，获得单通道图像，对所述单通道图像进行图像增广，所述图像增广的方法包括随机旋转、颜色抖动及Mosaic方法。

S2：对增广后的单通道图像进行标注，将标注后的单通道图像按设定的比例划分为训练集及验证集。

S3：构建用于晶圆晶格位错图像检测的网络模型，所述网络模型采用PicoDet网络模型，所述PicoDet网络模型在特征提取网络的八倍下采样的输入前，增加对原始的输入图像增加一个四倍下采样过程，并且采用CIoULoss作为目标框回归的损失函数。

S4：加载用于训练的PicoDet网络模型，利用所述训练集对模型进行训练，利用所述验证集对训练的网络模型进行验证，评估出最佳检测模型。

S5：通过检测机台上采集晶圆晶格的实时图像，对所述实时图像进行预处理后输入至最佳检测模型，所述最佳检测模型对晶圆晶格位错进行检测，然后将检测结果发送回检测机台。

优选的，所述Mosaic方法引入八张随机图像，在八张图像上随机选取一些区域进行切割，然后对切割区域进行缩放及旋转，将这些变换后的区域组合成一张新的图像，作为数据增广后的训练图像。

优选的，所述PicoDet网络模型包括特征提取网络、特征融合网络及目标检测网络。所述特征提取网络接收图像输入，提取出四张不同大小的特征图输入特征融合网络。特征融合网络将不同大小的特征图进行融合，输出新的特征图至目标检测网络进行目标类别及位置的检测。

优选的，所述特征提取网络包括依序设置的3x3卷积层、最大池化层及十三个ES模块。第一个ES模块输出四倍下采样的特征图A，第三个ES模块输出八倍下采样的特征图B，第十个ES模块输出十六倍下采样的特征图C，第十三个ES模块输出三十二倍下采样的特征图D，特征图A、B、C、D均输入至特征融合网络，特征图A、B、C还分别输入至下一级ES模块。

优选的，所述ES模块通过通道分割方法将输入的特征图分为第一子集与第二子集，第一子集依序经过一次逐点卷积及深度卷积操作，再将两次卷积分别输出的特征图进行拼接，将拼接的特征图依序经过压缩激励模块及一次逐点卷积进行特征整合后输出的特征图与第二子集进行拼接，再次拼接的特征图经过通道洗牌操作后的特征图作为ES模块的输出。

优选的，所述压缩激励模块将输入的特征图分为两条支路，对支路一进行压缩操作及激励操作。所述压缩操作为一次全局平均池化，将每个通道上的空间特征压缩为一个全局特征。所述激励操作包括依序设置的全连接层、ReLu激活函数、全连接层、Sigmoid激活函数。支路二与经过压缩及激励操作的支路一再进行一次Scale操作后的特征图作为压缩激励模块的输出。

优选的，所述CIoULoss的损失函数计算公式如下：

式中，为CIoULoss的损失函数，/>为预测框与真实框的交并比，/>为预测的中心点，/>为真实框的中心点，/>为两个中心点之间的欧式距离，/>为同时包含预测框和真实框的最小闭包区域的对角线距离，/>、/>为可调参数，定义如下：

式中，为真实框的宽度，/>为真实框的高度，/>为预测框的宽度，/>为预测框的高度。

优选的，所述标注采用VOC结构，所述VOC结构的标注数据包括：

标注文件，所述标注文件包含图像的文件名、图像的尺寸、图像中每个对象的标签及位置信息。

标签，所述标签标记晶圆晶格图像中的位错，每个位错都会被分配一个唯一的整数编号，用于在标注文件中进行标记。

目标框，所述目标框用于标记晶圆晶格图像中位错的位置。

分割掩码，所述分割掩码用于标记位错的像素级别分割信息，分割掩码是一个与图像大小相同的二值图像，每个像素值表示该像素属于对象区域还是背景区域。

相应的，本发明还提出基于深度学习的晶圆晶格位错图像检测系统，所述系统被配置为执行上述的基于深度学习的晶圆晶格位错图像检测方法，包括：

成像模块，用于采集检测机台上的晶圆晶格图像。

图像预处理模块，用于对所述成像模块采集的图像进行预处理，所述预处理方法包括通道分离、随机旋转、颜色抖动及Mosaic方法。

神经网络模型，所述神经网络模型采用PicoDet网络模型，包括特征提取网络、特征融合网络及目标检测网络，用于检测输入的待测晶圆晶格图像中的位错，输出检测结果至检测机台。

与现有技术相比，本发明具有以下技术效果：

1.本发明提出的检测方法采用PicoDet网络模型进行晶圆晶格位错图像的检测，适合晶圆晶格位错的小目标，可有效提高晶圆晶格位错检测的效率及精度，降低位错检测的误检率及漏检率。

2.本发明的检测方法在PicoDet网络模型的特征提取网络中增加了一个四倍下采样过程，输出一个四倍下采样的特征图A分别至特征融合网络及下一级ES模块，特征图A的感受野较小，位置信息相对丰富，可以提升检测小目标的检测效果。

3.本发明提出的检测方法采用CIoULoss损失函数，增加了检测框尺度上长和宽的Loss，综合考虑了真实框与预测框之间的重叠率、中心点距离、长宽比，使得目标框回归过程中更加稳定，收敛的精度更高，预测框就会更加的符合真实框。

附图说明

图1是本发明的流程示意图；

图2是本发明实施例的Mosaic方法示意图；

图3是本发明实施例的Mosaic方法合成的晶圆晶格位错图像；

图4是本发明实施例特征提取网络的结构示意图；

图5是本发明实施例的特征提取网络的ES模块的结构示意图；

图6是本发明实施例特征提取网络的压缩激励模块的结构示意图；

图7是本发明实施例特征融合网络的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例，并参照附图，对本发明的技术方案进行清楚、完整地描述。

实施例一

请参阅图1，为本发明提出的基于深度学习的晶圆晶格位错图像检测方法的流程图，包括以下步骤：

S1：采集带有位错的晶圆晶格图像，并对图像进行通道分离，获得单通道图像，对所述单通道图像进行图像增广，所述图像增广的方法包括随机旋转、颜色抖动（ColorJittering）及Mosaic方法。

随机旋转的方法为：对每张单通道图像选择一个随机的方向和随机的角度进行旋转，保存旋转后的图像作为训练图像。

颜色抖动是一种简单有效的图像增广技术，通过对图像中的像素值进行随机变换，增加数据集的多样性和数量，从而提高深度学习模型的泛化能力，具体方法为：选定需要进行颜色抖动的颜色通道，例如红色、绿色或蓝色通道。为每个颜色通道定义一组变换函数，例如亮度、对比度、饱和度或色调。对每张图像进行颜色抖动操作，随机选择需要进行变换的颜色通道和变换函数，对该通道上的像素值进行随机变换；例如，对红色通道进行亮度变换，可以将每个像素的红色通道的值增加或减少一个随机值。对于其他通道和变换函数重复上述操作。

请参阅图2，为本实施例的Mosaic方法示意图，Mosaic方法引入八张随机图像，在八张图像上随机选取一些区域进行切割，对切割下来的区域进行缩放和旋转等随机变换，使得它们的形状和角度与原始图像中的区域不同，将这些变换后的区域组合成一张新的图像，作为数据增广后的训练图像。图3为本实施例的晶圆晶格位错图像通过Mosaic方法合成的新图像。

在本实施例中，通过检测机台上设置的成像装置采集n张带有位错的晶圆晶格图像，然后将采集到的每张图像按RGB通道进行分离，获得3n张单通道图像。由于目标检测网络模型需要大量的图像来训练，因此，对采集的图像还进行了图像增广，对每张单通道图像进行随机旋转、颜色抖动及Mosaic操作，采集的n张带有位错的晶圆晶格图像，经过通道分离形成3n张单通道图像，然后对3n张单通道图像进行随机旋转后保存，此时，用于训练的图像数量为6n张；再对3n张单通道图像进行颜色抖动后保存，用于训练的图像数量增广为9n张；最后对3n张单通道图像进行一次Mosaic操作，使得最终得到用于训练的图像数量扩张到12n张。通过上述方法对训练样本进行随机变化，可以降低模型对特定属性的依赖，从而提高模型的泛化能力。

S2：对增广后的单通道图像进行标注，将标注后的单通道图像按设定的比例划分为训练集及验证集。在本实施例中，总共有12n张图像用于训练及验证，训练集的数量为10n张，验证集的数量为2n张。训练集为学习样本数据集，通过匹配一些参数来建立一个分类器。建立一种分类的方式，主要是用来训练模型的。验证集对学习出来的模型，调整分类器的参数，如在神经网络中选择隐藏单元数。验证集还用来确定网络结构或者控制模型复杂程度的参数，确定网络结构或者控制模型复杂程度的参数。

所述标注采用VOC结构，所述VOC结构的标注数据包括：

标注文件，所述标注文件包含图像的文件名、图像的尺寸、图像中每个对象的标签及位置信息，训练集及验证集中的每张图像均对应有相同文件名的标注文件。

标签，所述标签标记晶圆晶格图像中的位错，每个位错都会被分配一个唯一的整数编号，用于在标注文件中进行标记。

目标框，所述目标框用于标记晶圆晶格图像中位错的位置。

分割掩码，所述分割掩码用于标记位错的像素级别分割信息，分割掩码是一个与图像大小相同的二值图像，每个像素值表示该像素属于对象区域还是背景区域。

本实施例使用labelxml工具进行标注，新建一个文件夹，在文件夹下新建以下三个文件夹：Annotations文件夹，该文件夹下存放的是每一个图片的标注信息，文件都是.xml格式，文件名和图片名是一致的对于该xml的格式；JPEGImages文件夹，该文件夹下存放着所有的训练集图片，格式都是.jpg；ImageSets文件夹，在这个文件夹中还有一个Main文件夹，这个文件夹中主要有两个.txt文件：test.txt和val.txt。train.txt中保存的是训练所用的样本名，val.txt中保存的是验证所用的样本名。

S3：构建用于晶圆晶格位错图像检测的网络模型，所述网络模型采用PicoDet网络模型，所述PicoDet网络模型在特征提取网络的八倍下采样的输入前，增加对原始的输入图像增加一个四倍下采样过程，并且采用CIoULoss作为目标框回归的损失函数。

所述PicoDet网络模型包括特征提取网络、特征融合网络及目标检测网络。所述特征提取网络接收图像输入，提取出四张不同大小的特征图输入特征融合网络。特征融合网络将不同大小的特征图进行融合，输出新的特征图至目标检测网络进行目标类别及位置的检测。

请参阅图4，为本实施例所述特征提取网络结构示意图，所述特征提取网络包括依序设置的3x3卷积层、最大池化层及十三个ES模块（增强洗牌模块）。如图所示，输入图像经过一个3x3卷积和最大池化操作后，再依序经过十三个ES模块，第一个ES模块输出四倍下采样的特征图A至特征融合网络及第二个ES模块，第三个ES模块输出八倍下采样的特征图B至特征融合网络及第四个ES模块，第十个ES模块输出十六倍下采样的特征图C至特征融合网络及第十一个ES模块，第十三个ES模块输出三十二倍下采样的特征图D至特征融合网络。

步骤S2中的10n张训练集图像依次输入特征提取网络，每张输入图像的处理流程为：

S3-1：输入图像首先经过一次3x3卷积运算，然后经过一次3x3的最大池化操作。

S3-2：将步骤S3-1的输出输入一层ES模块，得到四倍下采样的特征图A，特征图A的分辨率为训练集原始图像的1/4，通道数为48。

S3-3：将特征图A输入两层ES模块，得到八倍下采样的特征图B，特征图B的分辨率为训练集原始图像的1/8，通道数为96。

S3-4：将特征图B输入七层ES模块，得到十六倍下采样的特征图C，特征图C的分辨率为训练集原始图像的1/16，通道数为192。

S3-5：将特征图C输入三层ES模块，得到三十二倍下采样的特征图D，特征图D的分辨率为训练集原始图像的1/32，通道数为384。

本实施例对常规的PicoDet网络模型的改进在于特征提取网络中增加了一个四倍下采样过程，输出一个四倍下采样的特征图A分别至特征融合网络及下一级ES模块，特征图A的感受野较小，位置信息相对丰富，可以提升检测小目标的检测效果。

请参阅图5，为本实施例的ES模块结构示意图，所述ES模块通过通道分割方法将输入的特征图分为第一子集与第二子集，第一子集依序经过一次逐点卷积及深度卷积操作，再将两次卷积分别输出的特征图进行拼接，将拼接的特征图依序经过压缩激励模块及一次逐点卷积进行特征整合后输出的特征图与第二子集进行拼接，再次拼接的特征图经过通道洗牌操作后的特征图作为ES模块的输出。

深度卷积为逐个通道分开卷积，一个卷积核负责一个通道，独立地在每个通道上进行空间卷积。主要作用是减少卷积参数，加快速度。但是，深度卷积的输出特征图数量等于输入特征图数量，无法进行有效的维度扩展。因为深度卷积的输出特征图数量等于输入特征图数量，无法进行有效的维度扩展，由此加入了逐点卷积，逐点卷积主要是要1x1卷积构成，负责将深度卷积的输出按通道投影到一个新的特征图上。通过逐点卷积配合深度卷积实现深度可分离卷积，深度可分离卷积将常规的卷积运算分为两层，一层为深度卷积用于滤波，一层为逐点卷积用于组合，由于深度可分离卷积的参数量相比常规卷积减少了2/3，这种分解过程能极大减少模型的参数量和计算量。

请参阅图6，为本实施例特征提取网络的压缩激励模块的结构示意图，所述压缩激励模块将输入的特征图分为两条支路，对支路一进行压缩操作及激励操作。所述压缩操作为一次全局平均池化，将每个通道上的空间特征压缩为一个全局特征。所述激励操作包括依序设置的全连接层、ReLu激活函数、全连接层、Sigmoid激活函数。支路二与经过压缩及激励操作的支路一再进行一次Scale（权重平衡）操作后的特征图作为压缩激励模块的输出。

在压缩激励模块中，输入的特征图被送入一个全局池化层，将特征图转换为一个全局特征向量。之后，引入一个Squeeze操作，使用一层全连接层将全局特征向量压缩为一个小向量，用于表示特征图中各通道的重要性。接下来，引入一个Excitation操作，使用另一层全连接层将小向量转换为一个权重向量，表示每个通道在特征图中的重要性。最后，使用这个权重向量对特征图的每个通道进行加权，从而得到经过自适应调整的特征图。

压缩激励模块用于增强网络的表示能力，它通过引入Squeeze-and-Excitation（压缩-激励）机制来自适应地调整特征图中各通道的重要性，从而提高模型的准确性和鲁棒性。

请参阅图7，为本实施例的特征融合网络结构示意图，特征融合网络接收特征提取网络输出的特征图A、B、C、D。其中，特征图A、B、C、D分别经过一次1x1卷积后输出特征图A1、B1、C1、D1，经过一次1x1卷积后得到的特征图A1、B1、C1、D1的通道数被调整为特征图A、B、C、D中的最小通道数，分辨率不变。本实施例特征图A、B、C、D的最小通道数为48，因此经过一层1x1卷积后，特征图A1、B1、C1、D1的通道数量均被调整为48。特征图D1经过一次上采样后与特征图C1进行拼接操作，输出特征图至一个CSP模块得到特征图C2。特征图C2经过一次上采样后与特征图B1进行拼接操作，输出特征图至一个CSP模块得到特征图B2。特征图B2经过一次上采样后与特征图A1进行拼接操作，输出特征图至一个CSP模块得到特征图P1，特征图P1作为特征融合网络的输出。特征图P1还经过一次DP操作后与特征图B2进行拼接操作得到特征图P2，特征图P2作为特征融合网络的输出。特征图P2还经过一次DP操作后与特征图C2进行拼接操作，再经过一个CSP模块得到特征图P3，特征图P3作为特征融合网络的输出。特征图P3还经过一次DP操作后与特征图D1进行拼接操作，再经过一个CSP模块得到特征图P4，特征图P4作为特征融合网络的输出。所述CSP模块对输入的特征图进行跨阶段局部操作，所述DP模块对输入的特征图进行逐点卷积及深度卷积操作。

上述DP操作为连续的一个深度卷积操作和一个逐点卷积操作；CSP模块将输入特征图的通道进行切分，部分通道进行常规的卷积，另外一部分通道直接经过卷积的通道进行拼接操作。

目标检测网络接收特征融化网络的输出特征图P1、P2、P3、P4，对其中的晶圆晶格位错特征进行目标框回归操作，生成预测框与真实框的映射关系，使得预测框的映射无限接近于真实框。目标检测网络首先提取特征图P1、P2、P3、P4中的位错目标信息，包括位错边界框的坐标、宽度和高度；然后将提取的目标信息输入到全连接层，进行目标框的位置回归预测；最后采用损失函数来计算目标框回归预测的损失，从而优化目标检测网络模型的参数。本实施例采用CIoULoss作为目标框回归的损失函数，所述CIoULoss的损失函数计算公式如下：

式中，为CIoULoss的损失函数，/>为预测框与真实框的交并比，/>为预测的中心点，/>为真实框的中心点，/>为两个中心点之间的欧式距离，/>为同时包含预测框和真实框的最小闭包区域的对角线距离，/>、/>为可调参数，定义如下：

式中，为真实框的宽度，/>为真实框的高度，/>为预测框的宽度，/>为预测框的高度。

CIoU相比IoU增加了惩罚项，使用CIoU算法对预测边界框去重，包括步骤如下：根据权重得分对边界框排序；选择权重最高的边界框添加到最终输出列表中，将其从边界框列表中删除；计算权重最高的边界框与其它候选框的CIoULoss，并判定CIoULoss与阈值的大小关系；删除CIoULoss大于阈值的边界框；重复步骤，直至边界框列表为空。

CIoULoss损失函数增加了检测框尺度上长和宽的Loss，综合考虑了真实框与预测框之间的重叠率、中心点距离、长宽比，使得目标框回归过程中更加稳定，收敛的精度更高，预测框就会更加的符合真实框。

S4：加载用于训练的PicoDet网络模型，利用所述训练集对模型进行训练，利用所述验证集对训练的网络模型进行验证，评估出最佳检测模型。

S5：通过检测机台上采集晶圆晶格的实时图像，对所述实时图像进行预处理后输入至最佳检测模型，所述最佳检测模型对晶圆晶格位错进行检测，然后将检测结果发送回检测机台。

实施例二

基于深度学习的晶圆晶格位错图像检测系统，所述系统被配置为实施例一中基于深度学习的晶圆晶格位错图像检测方法，包括：

成像模块，用于采集检测机台上的晶圆晶格图像。

图像预处理模块，用于对所述成像模块采集的图像进行预处理，所述预处理方法包括通道分离、随机旋转、颜色抖动及Mosaic方法。随机旋转的方法为：对每张单通道图像选择一个随机的方向和随机的角度进行旋转，保存旋转后的图像作为训练图像。颜色抖动是一种简单有效的图像增广技术，通过对图像中的像素值进行随机变换，增加数据集的多样性和数量，从而提高深度学习模型的泛化能力，具体方法为：选定需要进行颜色抖动的颜色通道，例如红色、绿色或蓝色通道。为每个颜色通道定义一组变换函数，例如亮度、对比度、饱和度或色调。对每张图像进行颜色抖动操作，随机选择需要进行变换的颜色通道和变换函数，对该通道上的像素值进行随机变换；例如，对红色通道进行亮度变换，可以将每个像素的红色通道的值增加或减少一个随机值。对于其他通道和变换函数重复上述操作。Mosaic方法引入八张随机图像，在八张图像上随机选取一些区域进行切割，对切割下来的区域进行缩放和旋转等随机变换，使得它们的形状和角度与原始图像中的区域不同，将这些变换后的区域组合成一张新的图像，作为数据增广后的训练图像。图3为本实施例的晶圆晶格位错图像通过Mosaic方法合成的新图像。

神经网络模型，所述神经网络模型采用PicoDet网络模型，包括特征提取网络、特征融合网络及目标检测网络，用于检测输入的待测晶圆晶格图像中的位错，输出检测结果至检测机台。所述网络模型采用PicoDet网络模型，所述PicoDet网络模型在常规特征提取网络中对原始的输入图像增加一个四倍下采样过程，并且采用CIoULoss作为目标框回归的损失函数。所述PicoDet网络模型包括特征提取网络、特征融合网络及目标检测网络。所述特征提取网络接收图像输入，提取出四张不同大小的特征图输入特征融合网络。特征融合网络将不同大小的特征图进行融合，输出新的特征图至目标检测网络进行目标类别及位置的检测。

以上所述的仅是本发明的优选实施方式，应当指出，对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (6)

1.基于深度学习的晶圆晶格位错图像检测方法，其特征在于，包括以下步骤：

S1：采集带有位错的晶圆晶格图像，并对图像进行通道分离，获得单通道图像，对所述单通道图像进行图像增广，所述图像增广的方法包括随机旋转、颜色抖动及Mosaic方法；

S2：对增广后的单通道图像进行标注，将标注后的单通道图像按设定的比例划分为训练集及验证集；

S3：构建用于晶圆晶格位错图像检测的网络模型，所述网络模型采用PicoDet网络模型，所述PicoDet网络模型在特征提取网络的八倍下采样的输入前，对原始的输入图像增加一个四倍下采样过程，并且采用CIoULoss作为目标框回归的损失函数；

所述PicoDet网络模型包括特征提取网络、特征融合网络及目标检测网络；所述特征提取网络接收图像输入，提取出四张不同大小的特征图输入特征融合网络；特征融合网络将不同大小的特征图进行融合，输出新的特征图至目标检测网络进行目标类别及位置的检测；

所述特征提取网络包括卷积层、最大池化层及若干包含压缩激励模块的ES模块；所述ES模块通过通道分割方法将输入的特征图分为第一子集与第二子集，第一子集依序经过一次逐点卷积及深度卷积操作，再将两次卷积分别输出的特征图进行拼接，将拼接的特征图依序经过压缩激励模块及一次逐点卷积进行特征整合后输出的特征图与第二子集进行拼接，再次拼接的特征图经过通道洗牌操作后的特征图作为ES模块的输出；所述压缩激励模块将输入的特征图分为两条支路，对支路一进行压缩操作及激励操作；所述压缩操作为一次全局平均池化，将每个通道上的空间特征压缩为一个全局特征；所述激励操作包括依序设置的全连接层、ReLu激活函数、全连接层、Sigmoid激活函数；将支路二与经过压缩及激励操作的支路一再进行一次Scale操作后的特征图作为压缩激励模块的输出；

S4：加载用于训练的PicoDet网络模型，利用所述训练集对模型进行训练，利用所述验证集对训练的网络模型进行验证，评估出最佳检测模型；

S5：通过检测机台采集晶圆晶格的实时图像，对所述实时图像进行预处理后输入至最佳检测模型，所述最佳检测模型对晶圆晶格位错进行检测，然后将检测结果发送回检测机台。

2.根据权利要求1所述的基于深度学习的晶圆晶格位错图像检测方法，其特征在于，所述Mosaic方法引入八张随机图像，在八张图像上随机选取一些区域进行切割，然后对切割区域进行缩放及旋转，将这些变换后的区域组合成一张新的图像，作为数据增广后的训练图像。

3.根据权利要求1所述的基于深度学习的晶圆晶格位错图像检测方法，其特征在于，所述特征提取网络包括依序设置的3x3卷积层、最大池化层及十三个ES模块；第一个ES模块输出四倍下采样的特征图A，第三个ES模块输出八倍下采样的特征图B，第十个ES模块输出十六倍下采样的特征图C，第十三个ES模块输出三十二倍下采样的特征图D，特征图A、B、C、D均输入至特征融合网络，特征图A、B、C还分别输入至下一级ES模块。

4.根据权利要求1所述的基于深度学习的晶圆晶格位错图像检测方法，其特征在于，所述CIoULoss损失函数计算公式如下：

式中，为CIoULoss的损失函数，/>为预测框与真实框的交并比，/>为预测的中心点，/>为真实框的中心点，/>为两个中心点之间的欧式距离，/>为同时包含预测框和真实框的最小闭包区域的对角线距离，/>、/>为可调参数，定义如下：

式中，为真实框的宽度，/>为真实框的高度，/>为预测框的宽度，/>为预测框的高度。

5.根据权利要求1所述的基于深度学习的晶圆晶格位错图像检测方法，其特征在于，所述标注采用VOC结构，所述VOC结构的标注数据包括：

标注文件，所述标注文件包含图像的文件名、图像的尺寸、图像中每个对象的标签及位置信息；

标签，所述标签标记晶圆晶格图像中的位错，每个位错都会被分配一个唯一的整数编号，用于在标注文件中进行标记；

目标框，所述目标框用于标记晶圆晶格图像中位错的位置；

分割掩码，所述分割掩码用于标记位错的像素级别分割信息，分割掩码是一个与图像大小相同的二值图像，每个像素值表示该像素属于对象区域还是背景区域。

6.基于深度学习的晶圆晶格位错图像检测系统，其特征在于，所述系统被配置为执行如权利要求1-5任一项所述的基于深度学习的晶圆晶格位错图像检测方法，包括：

成像模块，用于采集检测机台上的晶圆晶格图像；

图像预处理模块，用于对所述成像模块采集的图像进行预处理，所述预处理方法包括通道分离、随机旋转、颜色抖动及Mosaic方法；

神经网络模型，所述神经网络模型采用PicoDet网络模型，包括特征提取网络、特征融合网络及目标检测网络，用于检测输入的待测晶圆晶格图像中的位错，输出检测结果至检测机台。