CN114820580A - 基于并行注意力补偿机制的fpn晶圆表面缺陷检测方法 - Google Patents

Abstract

本发明公开了基于并行注意力补偿机制的FPN晶圆表面缺陷检测方法，包括：1）基于ResNet网络进行晶圆特征提取；2）融合注意力的特征图金字塔网络A‑FPN对特征图进行细分化；3）基于K‑means聚类改进锚框的大小生成；4）得到候选区域进行分类及回归。本发明融合注意力的改进的FPN来抑制复杂的电路图案背景，避免了微小缺陷的误检和漏检；对于高层特征通道融合空间注意力机制，对存在明显的缺陷区域赋予更大权重；对于底层通道融合通道注意力机制，对位置以及轮廓信息之外的通道减小其权重，实现并行融入FPN结构；采用K‑means聚类方法，重新生成锚框，针对晶圆缺陷据集，找到合适的宽高比的锚框。对具有复杂背景的晶圆，进行缺陷检测，避免了微小缺陷的误检和漏检。

Description

基于并行注意力补偿机制的FPN晶圆表面缺陷检测方法

技术领域

本发明涉及晶圆后处理领域，特别涉及基于并行注意力补偿机制的FPN晶圆表面缺陷检测方法。

背景技术

在晶圆缺陷检测过程中，由于晶圆表面具有图案整齐的线路，所以导致晶圆进行视觉检测时，整齐规则排列的电路图案会成为非常复杂的背景，所以在晶圆检测过程中，缺陷表现为形状多样的多尺度特征，以上难点为检测任务带来了极大的挑战。所以需要解决在检测过程中复杂背景干扰的问题，提高缺陷检测精度。

本次需要解决的主要技术是现有晶圆检测技术中，在检测过程中无法抑制背景图像干扰，造成缺陷漏检、误检等问题，而提出的一种融合注意力的多尺度晶圆表面缺陷检测的方法。

2018年邡鑫等人在《基于卷积神经网络的晶圆缺陷检测与分类算法》(计算机工程,2018,44(08):218-223)一文中采用改进的更快区域-卷积神经网络方法(Faster RCNN：全称：Faster Regions with CNN Features)对晶圆表面缺陷进行检测，对于较为显著的缺陷检测效果良好，但是由于晶圆缺陷种类多样，此方法检测范围有限；

2019年张义东等人发明了检测晶圆缺陷的方法和系统(公开CN108831844B)，此发明提供了一种晶圆检测方法及晶圆检测系统，采取红外成像的一种方法识别所述待检测晶圆的缺陷。但是晶圆表面具有复杂的背景，所以采用模板匹配的方式进行缺陷检测，检测的准确度不高；

2022年连浩臻等人提出了一种基于卷积神经网络的晶圆缺陷检测方法及系统(授权号：CN112700406B)，该发明内容主要涉及检测的图像预处理。获取图像采集设备采集的晶圆图像，并进行加权均值滤波处理，将处理后的晶圆图像并输入至所述缺陷检测模型。

综上所述，现有晶圆缺陷检测的方法，涉及图片与处理方面和比较显著特征缺陷的检测，对于复杂背景图案的处理并未涉及，但是复杂背景图案对于检测结果具有较大的影响。

发明内容

本发明的目的是克服现有技术缺陷，提供基于并行注意力补偿机制的FPN晶圆表面缺陷检测方法，能够避免复杂背景图案对缺陷检测效果的影响，同时能防止对较小目标或者与背景特征相似缺陷的漏检和误检现象。

本发明的目的是这样实现的：一种基于并行注意力补偿机制的FPN晶圆表面缺陷检测方法，包括以下步骤：

步骤1)基于ResNet网络进行晶圆特征提取；

步骤2)融合注意力的特征图金字塔网络A-FPN对特征图进行细分化；

步骤3)基于K-means聚类改进锚框的大小生成；

步骤4)得到候选区域进行分类及回归。

进一步的，步骤1)具体包括使用ResNet-50网络进行特征提取，得到四种不同规格的特征图，包括底层特征图L2、L3和高层特征图L4和L5。

进一步的，所述步骤2)具体包括：在底层特征图L2、L3输出位置设置通道注意力机制，L2、L3经过通道注意力融合后得到精细特征图C2、C3；在高层特征图L4输出位置设置空间注意力机制，L4经过空间注意力融合后得到精细特征图F’₄，将特征图输进FPN网络之前，先进行通道筛选和区域筛选。

进一步的，所述通道注意力机制的执行过程具体包括：

首先对特征图进行平均池化和最大池化，提取两种特征描述

和

并使特征图的输出变为1×1×C/r，r为降维倍数；

其次，将这两个不同的特征

和

分别送入中间的共享网络层，然后将得到的两个特征的对应元素相加，再经过sigmoid激活函数得到通道注意力图Mc为1×1×C；

最后和原始主干网络的输出相连接，如公式1所示：

Mc(F)＝σ(P_MLP(P_avg(F)+P_MLP(P_max(F))) (1)

化简可得：

其中，共享网络层表示一个多层感知机，在公式中用P_MLP表示，包含两层的神经网络；P_avg表示平均池化，P_max表示最大池化，σ代表sigmoid激活函数，W₀和W₁代表的是多层感知机模型的两层参数，且W₀和W₁之间的特征采用ReLU作为激活函数进行处理；最后，将Mc(F)与其输入特征相乘得到经过通道注意力调整的精细特征图F’；再将获得到的精细特征图F’输入特征金字塔FPN中，进行特征融合。

进一步的，所述在底层特征图L2、L3输出位置设置通道注意力机制，L2、L3经过通道注意力融合后得到精细特征图C2、C3，具体包括：

特征图L2经过1×1卷积之后输进通道注意力机制，假设输入特征图F为H×W×C，首先经过通道注意力模块l获得注意力图Mc2为1×1×C，将Mc2对输入特征F的每一个通道进行加权，而后获得精细化后的特征F'；再经过FPN特征融合得到特征图C2，表达如3所示：

其中：

代表矩阵的对应元素相乘，C表示输入特征的通道数，H和W表示特征图的高度和宽度；

特征图L3特征图经过1×1卷积之后输进通道注意力机制，假设输入特征图F为H×W×C，首先经过通道注意力模块l获得注意力图Mc3为1×1×C，将Mc3对输入特征F的每一个通道进行加权，而后获得精细化后的特征F'；再经过FPN特征融合得到特征图C3，表达如4所示：

其中：

代表矩阵的对应元素相乘，C表示输入特征的通道数，H和W表示特征图的高度和宽度。

进一步的，所述在高层特征图L4输出位置设置空间注意力机制，L4经过空间注意力融合后得到精细特征图F’₄，具体包括：

融合空间注意力机制是用于高层特征图，输入特征图L4到空间注意力，通过平均池化和最大池化获得特征图

为H×W×1和

为H×W×1，再将特征图合并后使用7×7的卷积核、经过sigmiod激活函数得到新的空间注意力图Ms4；空间注意力的计算公式为：

其中：σ代表sigmoid激活函数，f^7×7代表卷积核大小为7×7的卷积操作最后，将Ms(F)与其输入特征相乘得到最终的特征图F’₄。

本发明采用以上技术方案，与现有技术相比，有益效果为：采用Faster RCNN的网络模型，融合了注意力的特征图金字塔网络A-FPN(Attention Feature PyramidNetworks)既可以提高对较小缺陷的检测能力，实现多尺度的缺陷检测，也可以提高模型对缺陷特征的关注以及对复杂背景特征抑制的能力。

为了提高模型对缺陷特征的关注并抑制复杂背景的特征，采用融合注意力改进的特征图金字塔网络A-FPN对特征图进行细分化，在提升模型对晶圆图像中的不同尺度缺陷检测能力的同时，也能抑制复杂背景的特征；

考虑缺陷的特性，基于K-means聚类改进锚框大小，更加接近数据集中实际目标缺陷尺寸的锚框，提高在缺陷检测过程中对位置回归的准确性。

附图说明

图1为本发明的总体流程示意图。

图2为本发明的基于融合注意力的FPN特征提取流程图。

图3为本发明的融合通道注意力示意图。

图4为本发明的融合空间注意力示意图。

图5为本发明的特征融合示意图。

图6为本发明基于K-means聚类改进生成锚框大小流程图。

具体实施方式

如图1所示的基于并行注意力补偿机制的FPN晶圆表面缺陷检测方法，包括以下步骤：

步骤1)基于ResNet网络进行晶圆特征提取；步骤1)具体包括使用ResNet-50网络进行特征提取，得到四种不同规格的特征图L2、L3、L4和L5。

如图2所示，步骤2)融合注意力的特征图金字塔网络A-FPN对特征图进行细分化；在底层特征图L2、L3输出位置设置通道注意力机制，L2、L3经过通道注意力融合后得到精细特征图C2、C3；在高层特征图L4输出位置设置空间注意力机制，L4经过空间注意力融合后得到精细特征图F’₄，将特征图输进FPN网络之前，先进行通道筛选和区域筛选；对于需要关注的通道以及区域赋予较大的权重，对于不重要的通道及区域赋予较小的权重。

如图3所示，通道注意力机制的执行过程具体包括：

首先对特征图进行平均池化和最大池化，提取两种特征描述

和

，并使特征图的输出变为1×1×C/r，r为降维倍数；

其次，将这两个不同的特征

和

分别送入中间的共享网络层，然后将得到的两个特征的对应元素相加，再经过sigmoid激活函数得到通道注意力图Mc为1×1×C；

最后和原始主干网络的输出相连接，如公式6所示：

Mc(F)＝σ(P_MLP(P_avg(F)+P_MLP(P_max(F))) (6)

化简可得：

其中，共享网络层表示一个多层感知机，在公式中用P_MLP表示，包含两层的神经网络；P_avg表示平均池化，P_max表示最大池化，σ代表sigmoid激活函数，W₀和W₁代表的是多层感知机模型的两层参数，且W₀和W₁之间的特征采用ReLU作为激活函数进行处理；最后，将Mc(F)与其输入特征相乘得到经过通道注意力调整的精细特征图F’；再将获得到的精细特征图F’输入特征金字塔FPN中，进行特征融合。

在底层特征图L2、L3输出位置设置通道注意力机制，L2、L3经过通道注意力融合后得到精细特征图C2、C3，具体包括：

特征图L2经过1×1卷积之后输进通道注意力机制，假设输入特征图F为H×W×C，首先经过通道注意力模块l获得注意力图Mc2为1×1×C，将Mc2对输入特征F的每一个通道进行加权，而后获得精细化后的特征F'；再经过FPN特征融合得到特征图C2，表达如8所示：

其中：

代表矩阵的对应元素相乘，C表示输入特征的通道数，H和W表示特征图的高度和宽度；

特征图L3经过1×1卷积之后输进通道注意力机制，假设输入特征图F为H×W×C，首先经过通道注意力模块l获得注意力图Mc3为1×1×C，将Mc3对输入特征F的每一个通道进行加权，而后获得精细化后的特征F'；再经过FPN特征融合得到特征图C3，表达如9所示：

其中：

代表矩阵的对应元素相乘，C表示输入特征的通道数，H和W表示特征图的高度和宽度。

如图4所示，在高层特征图L4输出位置设置空间注意力机制，L4经过空间注意力融合后得到精细特征图F’₄，具体包括：

融合空间注意力机制是用于高层特征图，输入特征图L4到空间注意力，通过平均池化和最大池化获得特征图

为H×W×1和

为H×W×1，再将特征图合并后使用7×7的卷积核、经过sigmiod激活函数得到新的空间注意力图Ms4；空间注意力的计算公式为：

其中：σ代表sigmoid激活函数，f^7×7代表卷积核大小为7×7的卷积操作最后，将Ms(F)与其输入特征相乘得到最终的特征图F’₄。

注意力机制有两种，一种是空间注意力机制(spatial attention)，另一种是通道注意力机制(channel attention)。对于高层特征，存在只强调了缺陷的语义信息，对于缺陷的位置信息有所丢失的问题，所以如图5所示，对于高层特征图L4采取经过空间注意力机制的权重融合的方法，得到精细化的特征图F'₄，其好处在于对存在明显的缺陷区域赋予更大权重。之后与经过2倍上采样的C5特征图进行融合，得到特征图C4，通过3×3得卷积输出最后特征图P4。

同理对于底层特征，存在强调缺陷的位置以及轮廓信息的问题，所以对于底层特征图L2采取经过通道间注意力机制的权重融合的方法，其好处在于对位置以及轮廓信息之外的通道减小其权重，得到精细化的特征图F'₂。再与经过2倍上采样的C3特征图进行融合，得到特征图C2，最后通过3×3得卷积输出最后特征图P2。

步骤3)基于K-means聚类改进锚框的大小生成；

为了生成更加接近数据集中实际目标缺陷尺寸的锚框，提高算法在缺陷检测过程中对位置回归的速度及准确性，采用k-means聚类对锚框大小的设置进行指导。针对特定数据集中的目标缺陷尺寸进行聚类，即计算手动标记的ground-truth(真实值)与聚类中心的交并比(IOU)，以1-IOU距离度量进行聚类，促进RPN生成与实际缺陷的形状更加匹配的锚框，进一步完成缺陷的定位与检测。

如图6所示，基于K-means聚类改进生成锚框流程图。

1)给定m个聚类中心点(W_i,H_i,)，i∈{1,2…,m},其中，W_i，H_i表示锚框的宽和高，由于其位置并不固定，因此不用给定中心点坐标(x,y)赋值；

2)数据集标注过程中会生成的包含目标位置的文件，其中有(x_j,y_j,w_j,h_j,)，j∈{1,2,…,N}，即相对于原图中ground-truth的坐标，其中(x_j,y_j)为框的中心点坐标，(w_j,h_j)为宽和高，N为标注框的数量；

3)计算数据集中的标注框与m个聚类中心点的距离d，其中：

d＝1-IOU[(x_j,y_j,w_j,h_j),(x_j,y_j,W_i,H_i)]，并根据d的大小将标注框分到与其最近的(W_i,H_i)点；

4)直到所有标注框分配完毕，对每一个簇计算最终的聚类中心点：

其中：N_i表示第i个簇中包含标注框的个数，整个公式即求簇中所有标注框的平均宽和高的值；

5)重复3)、4)中步骤，直到(W_i',H_i')变化很小。针对晶圆缺陷据集，通过k-means聚类找到合适的宽高比的锚框。

步骤4)得到候选区域进行分类及回归。

本发明提供的基于并行注意力机制的FPN晶圆表面缺陷检测方法，相较于现在晶圆检测的方法，本发明融合注意力的改进的FPN来抑制复杂的电路图案背景，避免了微小缺陷的误检和漏检；采用K-means聚类方法，重新生成锚框，针对晶圆缺陷据集，找到合适的宽高比的锚框。与现有技术相比较体现了其可抑制复杂背景，避免微小缺陷的误检和漏检，具有很大的市场前景和推广价值。

本发明并不局限于上述实施例，在本发明公开的技术方案的基础上，本领域的技术人员根据所公开的技术内容，不需要创造性的劳动就可以对其中的一些技术特征作出一些替换和变形，这些替换和变形均在本发明的保护范围内。

Claims (6)

1.一种基于并行注意力补偿机制的FPN晶圆表面缺陷检测方法，其特征在于，包括以下步骤：

步骤1)基于ResNet网络进行晶圆特征提取；

步骤2)融合注意力的特征图金字塔网络A-FPN对特征图进行细分化；

步骤3)基于K-means聚类改进锚框的大小生成；

步骤4)得到候选区域进行分类及回归。

2.根据权利要求1所述的基于并行注意力补偿机制的FPN晶圆表面缺陷检测方法，其特征在于，步骤1)具体包括使用ResNet-50网络进行特征提取，得到四种不同规格的特征图，包括底层特征图L2、L3和高层特征图L4和L5。

3.根据权利要求2所述的基于并行注意力补偿机制的FPN晶圆表面缺陷检测方法，其特征在于，所述步骤2)具体包括：在底层特征图L2、L3输出位置设置通道注意力机制，L2、L3经过通道注意力融合后得到精细特征图C2、C3；在高层特征图L4输出位置设置空间注意力机制，L4经过空间注意力融合后得到精细特征图F’₄，将特征图输进FPN网络之前，先进行通道筛选和区域筛选。

4.根据权利要求3所述的基于并行注意力补偿机制的FPN晶圆表面缺陷检测方法，其特征在于，所述通道注意力机制的执行过程具体包括：

首先对特征图进行平均池化和最大池化，提取两种特征描述

和

并使特征图的输出变为1×1×C/r，r为降维倍数；

其次，将这两个不同的特征

和

分别送入中间的共享网络层，然后将得到的两个特征的对应元素相加，再经过sigmoid激活函数得到通道注意力图Mc为1×1×C；

最后和原始主干网络的输出相连接，如公式1所示：

Mc(F)＝σ(P_MLP(P_avg(F)+P_MLP(P_max(F))) (1)

化简可得：

其中，共享网络层表示一个多层感知机，在公式中用P_MLP表示，包含两层的神经网络；P_avg表示平均池化，P_max表示最大池化，σ代表sigmoid激活函数，W₀和W₁代表的是多层感知机模型的两层参数，且W₀和W₁之间的特征采用ReLU作为激活函数进行处理；最后，将Mc(F)与其输入特征相乘得到经过通道注意力调整的精细特征图F’；再将获得到的精细特征图F’输入特征金字塔FPN中，进行特征融合。

5.根据权利要求4所述的基于并行注意力补偿机制的FPN晶圆表面缺陷检测方法，其特征在于，所述在底层特征图L2、L3输出位置设置通道注意力机制，L2、L3经过通道注意力融合后得到精细特征图C2、C3，具体包括：

特征图L2经过1×1卷积之后输进通道注意力机制，假设输入特征图F为H×W×C，首先经过通道注意力模块l获得注意力图Mc2为1×1×C，将Mc2对输入特征F的每一个通道进行加权，而后获得精细化后的特征F'；再经过FPN特征融合得到特征图C2，表达如3所示：

其中：

代表矩阵的对应元素相乘，C表示输入特征的通道数，H和W表示特征图的高度和宽度；

特征图L3特征图经过1×1卷积之后输进通道注意力机制，假设输入特征图F为H×W×C，首先经过通道注意力模块l获得注意力图Mc3为1×1×C，将Mc3对输入特征F的每一个通道进行加权，而后获得精细化后的特征F'；再经过FPN特征融合得到特征图C3，表达如4所示：

其中：

代表矩阵的对应元素相乘，C表示输入特征的通道数，H和W表示特征图的高度和宽度。

6.根据权利要求3所述的基于并行注意力补偿机制的FPN晶圆表面缺陷检测方法，其特征在于，所述在高层特征图L4输出位置设置空间注意力机制，L4经过空间注意力融合后得到精细特征图F’₄，具体包括：

融合空间注意力机制是用于高层特征图，输入特征图L4到空间注意力，通过平均池化和最大池化获得特征图

为H×W×1和

为H×W×1，再将特征图合并后使用7×7的卷积核、经过sigmiod激活函数得到新的空间注意力图Ms4；空间注意力的计算公式为：

其中：σ代表sigmoid激活函数，f^7×7代表卷积核大小为7×7的卷积操作最后，将Ms(F)与其输入特征相乘得到最终的特征图F’₄。

Images