CN113554631B - 一种基于改进网络的芯片表面缺陷检测方法 - Google Patents

Abstract

本发明公开了一种基于改进网络的芯片表面缺陷检测方法，改善了现有技术中，芯片表面缺陷检测效率和准确度仍须提高的问题。该发明含有如下具体步骤：步骤S1，对图像采集和预处理；步骤S2，对缺陷区域图像的掩膜处理；步骤S3，对掩膜区域的图像修复；步骤S4，对图像的差分处理；步骤S5，对图像的二值化处理和图像滤波；步骤S6，获取感兴趣缺陷区域；步骤S7，对感兴趣缺陷区域裁剪。本发明能够将芯片表面缺陷检测出来并进行分类与定位，为之后改善芯片的生产工序提供了便利。克服了传统人工检测以及基于人工特征提取方法的缺点，效率高、准确度好。

Description

一种基于改进网络的芯片表面缺陷检测方法

技术领域

本发明涉及机器视觉在芯片表面缺陷检测的应用领域，特别是涉及一种基于改进网络的芯片表面缺陷检测方法。

背景技术

集成电路芯片由于制造工艺复杂，在生产制造的每个阶段都可能造成影响元件功能和可靠性的外观缺陷产生。因此，芯片外观质量的二次筛选历来都是芯片使用前的一个核心环节，尤其在航空航天、军事等特殊领域，一旦存在问题流入市场将造成不可预估的后果。目前，芯片外观质量的二次筛选大多数厂家仍采用传统的人工目检方式，但存在主观性强、实时性差、误检率高、成本高等缺点。

随着集成电路芯片需求量不断增加、芯片产量的不断提高，传统的人工目检方法因受人眼在时间、空间上的分辨率以及主观因素的限制，已经很难满足集成电路芯片高速、高精度的检测需求。正因为人工目检存在上述的不足，用“机器视觉”取代传统人工目视对芯片表面进行缺陷检测，逐渐成为主流趋势。基于人工特征提取的缺陷检测方法，往往只适用于一些特征明显的缺陷检测，而无法准确识别难以量化特征的缺陷；基于深度卷积神经网络技术的缺陷检测方法能够自主学习缺陷特征并对缺陷进行分类，实时性强、准确度高。因此，为了提高芯片表面缺陷检测效率和准确度，减少人的劳动强度，降低成本，提出一种基于图像修复和卷积神经网络相结合的芯片表面缺陷检测方法。

发明内容

本发明改善了现有技术中芯片表面缺陷检测效率和准确度仍须提高的问题，提供一种检测效率和准确度高、人工劳动强度低的基于改进网络的芯片表面缺陷检测方法。

本发明的技术解决方案是，提供一种具有以下步骤的基于改进网络的芯片表面缺陷检测方法：含有如下具体步骤：

步骤S1，对图像采集和预处理；

步骤S2，对缺陷区域图像的掩膜处理；步骤S2中采用大小为16×16的滑动窗口进行缺陷区域掩膜，在预处理后的图像上从左到右、从上到下依次滑动窗口，步距为16，每滑动一次，计算此时滑动窗口内的像素均值，当像素均值大于所设定的均值阈值时，判定滑动窗口此时所在的图像区域内含有缺陷，则将该图像区域用白色进行掩膜，当像素均值小于所设定的均值阈值时，判定滑动窗口此时所在的图像区域内无缺陷，直至将图像遍历完，如果有缺陷，则生成含有掩膜的待修复图像；对预处理后无缺陷的芯片表面图像采用大小为16×16、步距为16的滑动窗口从左到右、从上到下依次滑动窗口，每滑动一次，计算此时滑动窗口内的像素均值，直至遍历完图像，将所有滑动窗口的像素均值相加除以滑动窗口滑动的总次数的结果作为均值阈值；

步骤S3，对掩膜区域的图像修复；步骤S3中图像修复算法含有以下步骤：

(1)确定图像待修复区域R₀以及图像待修复区域R₀与图像完好区域R的边界δR；(2)根据优先权值的计算公式对待修复区域边界δR上的每个点分别计算其优先权值，将优先权值最大的待修复块作为开始修复的图像块；(3)当待修复块确定后，根据匹配块的搜索方式在图像完好区域R内搜索一个与待修复块大小相同且最为相似的匹配块，并将匹配块中的对应像素填充到待修复块的像素缺失位置；(4)重新确定待修复区域边界δR，循环以上步骤直到图像修复结束；

所述图像修复算法步骤(1)中的图像待修复区域R₀即为步骤S2用白色掩膜的缺陷区域；

所述图像修复算法步骤(2)中优先权值的计算公式为：

其中，P(p)为优先权值，C(p)为置信度，D(p)为数据项，α+β＝1，通常α＝0.3，β＝0.7；

其中，p为待修复区域边界δR上的任意一点，N_p表示以p为中心，大小为n×n的待修复块，|N_p|表示待修复块中像素点的个数，当q∈R时，C(q)＝1；当q∈R₀时，C(q)＝0；为像素点p的等照度线方向，n_p为p处的单位法向量，α＝255为归一化因子；

所述图像修复算法步骤(3)中匹配块的搜索公式如下：

其中，N_p表示待修复的图像块，N_q表示完好区域中的样本块，d(N_q,N_p)表示

块N_p中的已知像素点与N_q中相对应位置像素点的归一化平方差；

步骤S4，对图像的差分处理；

步骤S5，对图像的二值化处理和图像滤波；

步骤S6，获取感兴趣缺陷区域；

步骤S7，对感兴趣缺陷区域裁剪。

优选地，所述步骤S1中对采集的芯片表面原始图像进行预处理，将待检测芯片表面图像的大小统一为256×256。

优选地，所述步骤S4中将步骤S3修复后的图像看作是当前待检测图像的背景图像，用预处理后的图像与修复所得的背景图像相减，从而得到差分图像，公式为：

g(x,y)＝|g₀(x,y)-g_m(x,y)|

其中g(x,y)表示差分图像，g₀(x,y)表示预处理后的图像，g_m(x,y)表示修复图像，(x,y)为图像像素点坐标，绝对值是绝对差分，为避免出现负值。

优选地，所述步骤S5中采用OTSU自适应阈值方法对差分图像进行二值化处理，对二值化后的图像进行中值滤波处理，消除误差点，得到准确的缺陷区域。

优选地，所述步骤S6中使用Blob分析法找到缺陷的轮廓，然后从图像中提取基于缺陷轮廓的最小外接矩形区域，将所得到缺陷轮廓的最小外接矩形区域投影到原始图像上，得到原始图像中感兴趣的缺陷区域。

优选地，所述步骤S7中将步骤S6所得到感兴趣的缺陷区域进行裁剪，这些从原始图像中裁剪出来的感兴趣缺陷区域将被输入到缺陷分类模块中进行分类；

缺陷分类模块主要包括如下具体步骤：

(1)EfficientNet分类网络的训练阶段，采集芯片表面缺陷样本，并采用平移、对比度调整、旋转、镜像、裁剪、加入噪声六种方法对各类缺陷样本进行扩增，对缺陷样本多的图像每张实施三次增强，增强方式随机选择，对缺陷样本少的图像每张实施六次增强，增强方式为上述六种，生成训练集和测试集；EfficientNet分类网络的输入图像大小为224×224，采用ImageNet预训练模型迁移学习的策略来初始化参数；模型训练利用小批量梯度下降法优化损失函数，损失函数为多分类交叉熵损失函数；

(2)EfficientNet分类网络的测试阶段，使用测试集对训练的EfficientNet分类网络进行泛化能力测试，采用模型分类准确度以及各类别缺陷的精确度、召回率三个性能指标来分别评估缺陷分类能力；如果性能不达标，更改超参数继续训练，直到性能达标。

与现有技术相比，本发明基于改进网络的芯片表面缺陷检测方法具有以下优点：

(1)本发明能够将芯片表面缺陷检测出来并进行分类与定位，为之后改善芯片的生产工序提供了便利。

(2)本发明克服了传统人工检测以及基于人工特征提取方法的缺点，效率高、准确度好。

(3)基于深度卷积神经网络技术的缺陷检测方法能够自主学习缺陷特征并对缺陷进行分类，实时性强、准确度高。提高芯片表面缺陷检测效率和准确度，减少人的劳动强度，降低成本。

附图说明

图1是本发明中芯片表面缺陷检测方法的工作流程图；

图2是本发明中图像修复的流程图。

具体实施方式

下面结合附图和具体实施方式对本发明基于改进网络的芯片表面缺陷检测方法作进一步说明：本实施例中具体包括缺陷检测模块和缺陷分类模块。在缺陷检测模块中，提出了一种基于图像修复的方法用以检测芯片表面缺陷，实现分割和定位缺陷；在缺陷分类模块中，采用EfficientNet网络获得准确的缺陷类别。通过上述所提出的芯片表面缺陷检测方法，不仅可以获得缺陷的位置，还可以获得缺陷类别。

在缺陷检测模块中，首先将采集的芯片表面原始图像进行预处理，然后采用一个滑动窗口进行缺陷区域掩膜，即在预处理后的图像上从左到右、从上到下依次滑动，每滑动一次，计算此时滑动窗口内的像素均值，当像素均值大于所设定的均值阈值时，即可判定该图像区域内含有缺陷，将该图像区域用白色进行掩膜，当像素均值小于所设定的均值阈值时，即可判定该图像区域内无缺陷，之后将含有掩膜的图像通过图像修复算法进行修复，修复后的图像即可看作是当前待检测图像的背景图像，用预处理后的图像与修复所得的背景图像相减，从而得到差分图像，再对差分图像进行二值化处理，由于在缺陷区域的掩膜以及图像修复过程中，难免存在误差，因此需要对二值化后的图像进行滤波处理，消除误差点，滤波后即得到准确的缺陷区域。进一步使用Blob分析法找到准确的缺陷轮廓。然后从图像中提取基于缺陷轮廓的最小外接矩形区域，将所得到的缺陷轮廓的最小外接矩形投影到原始图像上，得到原始图像中感兴趣的缺陷区域，对感兴趣的缺陷区域进行裁剪，这些从原始图像中裁剪出来的感兴趣缺陷区域被输入到缺陷分类模块中进行缺陷分类。

在缺陷分类模块中，采用轻量级的卷积神经网络EfficientNet对缺陷进行分类，减少了分类时间。将缺陷检测模块所得到的结果即裁剪出来的感兴趣缺陷区域输入到训练好EfficientNet网络中，实现缺陷的分类。

详细步骤如下：

所述步骤S1如下：采用高分辨率的工业相机CCD和LED同轴光源对芯片表面进行图像采集，获取高质量的芯片表面图像，然后对采集的芯片表面原始图像进行预处理，预处理包括图像的裁剪、图像灰度化和中值滤波。将待检测芯片表面图像的大小统一为256×256。

所述步骤S2如下：采用大小为16×16的滑动窗口进行缺陷区域掩膜。在预处理后的图像上从左到右、从上到下依次滑动窗口，步距为16，每滑动一次，计算此时滑动窗口内的像素均值，当像素均值大于所设定的均值阈值时，即可判定滑动窗口此时所在的图像区域内含有缺陷，则将该图像区域用白色进行掩膜，当像素均值小于所设定的均值阈值时，即可判定滑动窗口此时所在的图像区域内无缺陷，直至将图像遍历完。如果有缺陷，则生成含有掩膜的待修复图像。

进一步，上述的均值阈值设定，对预处理后无缺陷的芯片表面图像采用大小为16×16、步距为16的滑动窗口从左到右、从上到下依次滑动窗口，每滑动一次，计算此时滑动窗口内的像素均值，直至遍历完图像，将所有滑动窗口的像素均值相加除以滑动窗口滑动的总次数的结果作为均值阈值。

所述步骤S3如下：采用图像修复算法对步骤S2生成的待修复图像进行修复，修复后的图像即可看作是当前待检测图像的背景图像。

所述图像修复算法具体如下：(1)确定图像待修复区域R₀以及图像待修复区域R₀与图像完好区域R的边界δR；(2)根据优先权值的计算公式对待修复区域边界δR上的每个点分别计算其优先权值，将优先权值最大的待修复块作为开始修复的图像块；(3)当待修复块确定后，根据匹配块的搜索方式在图像完好区域R内搜索一个与待修复块大小相同且最为相似的匹配块，并将匹配块中的对应像素填充到待修复块的像素缺失位置；(4)重新确定待修复区域边界δR，循环以上步骤直到图像修复结束。

所述图像修复算法(1)中的图像待修复区域R₀即为步骤S2用白色掩膜的缺陷区域。

所述图像修复算法(2)中优先权值的计算公式如下所示：

其中，P(p)为优先权值，C(p)为置信度，D(p)为数据项，α+β＝1，通常α＝0.3，β＝0.7。

其中，p为待修复区域边界δR上的任意一点，N_p表示以p为中心，大小为n×n的待修复块，|N_p|表示待修复块中像素点的个数，当q∈R时，C(q)＝1；当q∈R₀时，C(q)＝0；为像素点p的等照度线方向，n_p为p处的单位法向量，α＝255为归一化因子。

所述图像修复算法(3)中匹配块的搜索公式如下：

其中，N_p表示待修复的图像块，N_q表示完好区域中的样本块，d(N_q,N_p)表示

块N_p中的已知像素点与N_q中相对应位置像素点的归一化平方差(NSSD)。

所述步骤S4如下：步骤S3修复后的图像即可看作是当前待检测图像的背景图像，用预处理后的图像与修复所得的背景图像相减，从而得到差分图像，公式为：

g(x,y)＝|g₀(x,y)-g_m(x,y)|

其中g(x,y)表示差分图像，g₀(x,y)表示预处理后的图像，g_m(x,y)表示修复图像，(x,y)为图像像素点坐标，绝对值是绝对差分，为避免出现负值。

所述步骤S5如下：采用OTSU自适应阈值方法对差分图像进行二值化处理，由于在缺陷区域的掩膜以及图像修复过程中，难免存在误差，因此，需要对二值化后的图像进行中值滤波处理，消除误差点，滤波后的结果即得到准确的缺陷区域。

所述步骤S6如下：使用Blob分析法找到缺陷的轮廓，然后从图像中提取基于缺陷轮廓的最小外接矩形区域，将所得到缺陷轮廓的最小外接矩形区域投影到原始图像上，得到原始图像中感兴趣的缺陷区域。

所述步骤S7如下：将步骤S6所得到感兴趣的缺陷区域进行裁剪，这些从原始图像中裁剪出来的感兴趣缺陷区域将被输入到缺陷分类模块中进行分类。

缺陷分类模块主要包括如下具体步骤：

(1)EfficientNet分类网络的训练阶段；

采集芯片表面缺陷样本，并采用平移、对比度调整、旋转、镜像、裁剪、加入噪声六种方法对各类缺陷样本进行扩增，对缺陷样本多的图像每张实施三次增强，增强方式随机选择，对缺陷样本少的图像每张实施六次增强，增强方式为上述六种，生成训练集和测试集。EfficientNet分类网络的输入图像大小为224×224，采用ImageNet预训练模型迁移学习的策略来初始化参数。模型训练利用小批量梯度下降法优化损失函数，损失函数为多分类交叉熵损失函数。

(2)EfficientNet分类网络的测试阶段。

使用测试集对训练的EfficientNet分类网络进行泛化能力测试，采用模型分类准确度以及各类别缺陷的精确度、召回率三个性能指标来分别评估缺陷分类能力。如果性能不达标，更改超参数继续训练，直到性能达标。

Claims (6)

1.一种基于改进网络的芯片表面缺陷检测方法，其特征在于：含有如下具体步骤：

步骤S1，对图像采集和预处理；

步骤S2，对缺陷区域图像的掩膜处理；步骤S2中采用大小为16×16的滑动窗口进行缺陷区域掩膜，在预处理后的图像上从左到右、从上到下依次滑动窗口，步距为16，每滑动一次，计算此时滑动窗口内的像素均值，当像素均值大于所设定的均值阈值时，判定滑动窗口此时所在的图像区域内含有缺陷，则将该图像区域用白色进行掩膜，当像素均值小于所设定的均值阈值时，判定滑动窗口此时所在的图像区域内无缺陷，直至将图像遍历完，如果有缺陷，则生成含有掩膜的待修复图像；对预处理后无缺陷的芯片表面图像采用大小为16×16、步距为16的滑动窗口从左到右、从上到下依次滑动窗口，每滑动一次，计算此时滑动窗口内的像素均值，直至遍历完图像，将所有滑动窗口的像素均值相加除以滑动窗口滑动的总次数的结果作为均值阈值；

步骤S3，对掩膜区域的图像修复；步骤S3中图像修复算法含有以下步骤：

(1)确定图像待修复区域R₀以及图像待修复区域R₀与图像完好区域R的边界δR；(2)根据优先权值的计算公式对待修复区域边界δR上的每个点分别计算其优先权值，将优先权值最大的待修复块作为开始修复的图像块；(3)当待修复块确定后，根据匹配块的搜索方式在图像完好区域R内搜索一个与待修复块大小相同且最为相似的匹配块，并将匹配块中的对应像素填充到待修复块的像素缺失位置；(4)重新确定待修复区域边界δR，循环以上步骤直到图像修复结束；

所述图像修复算法步骤(1)中的图像待修复区域R₀即为步骤S2用白色掩膜的缺陷区域；

所述图像修复算法步骤(2)中优先权值的计算公式为：

其中，P(p)为优先权值，C(p)为置信度，D(p)为数据项，α+β＝1，通常α＝0.3，β＝0.7；

其中，p为待修复区域边界δR上的任意一点，N_p表示以p为中心，大小为n×n的待修复块，|N_p|表示待修复块中像素点的个数，当q∈R时，C(q)＝1；当q∈R₀时，C(q)＝0；为像素点p的等照度线方向，n_p为p处的单位法向量，α＝255为归一化因子；

所述图像修复算法步骤(3)中匹配块的搜索公式如下：

其中，N_p表示待修复的图像块，N_q表示完好区域中的样本块，d(N_q,N_p)表示

块N_p中的已知像素点与N_q中相对应位置像素点的归一化平方差；

步骤S4，对图像的差分处理；

步骤S5，对图像的二值化处理和图像滤波；

步骤S6，获取感兴趣缺陷区域；

步骤S7，对感兴趣缺陷区域裁剪。

2.根据权利要求1所述的基于改进网络的芯片表面缺陷检测方法，其特征在于：所述步骤S1中对采集的芯片表面原始图像进行预处理，将待检测芯片表面图像的大小统一为256×256。

3.根据权利要求1所述的基于改进网络的芯片表面缺陷检测方法，其特征在于：所述步骤S4中将步骤S3修复后的图像看作是当前待检测图像的背景图像，用预处理后的图像与修复所得的背景图像相减，从而得到差分图像，公式为：

g(x,y)＝|g₀(x,y)-g_m(x,y)|

其中g(x,y)表示差分图像，g₀(x,y)表示预处理后的图像，g_m(x,y)表示修复图像，(x,y)为图像像素点坐标，绝对值是绝对差分，为避免出现负值。

4.根据权利要求1所述的基于改进网络的芯片表面缺陷检测方法，其特征在于：所述步骤S5中采用OTSU自适应阈值方法对差分图像进行二值化处理，对二值化后的图像进行中值滤波处理，消除误差点，得到准确的缺陷区域。

5.根据权利要求1所述的基于改进网络的芯片表面缺陷检测方法，其特征在于：所述步骤S6中使用Blob分析法找到缺陷的轮廓，然后从图像中提取基于缺陷轮廓的最小外接矩形区域，将所得到缺陷轮廓的最小外接矩形区域投影到原始图像上，得到原始图像中感兴趣的缺陷区域。

6.根据权利要求1所述的基于改进网络的芯片表面缺陷检测方法，其特征在于：所述步骤S7中将步骤S6所得到感兴趣的缺陷区域进行裁剪，这些从原始图像中裁剪出来的感兴趣缺陷区域将被输入到缺陷分类模块中进行分类；

缺陷分类模块主要包括如下具体步骤：

(1)EfficientNet分类网络的训练阶段，采集芯片表面缺陷样本，并采用平移、对比度调整、旋转、镜像、裁剪、加入噪声六种方法对各类缺陷样本进行扩增，对缺陷样本多的图像每张实施三次增强，增强方式随机选择，对缺陷样本少的图像每张实施六次增强，增强方式为上述六种，生成训练集和测试集；EfficientNet分类网络的输入图像大小为224×224，采用ImageNet预训练模型迁移学习的策略来初始化参数；模型训练利用小批量梯度下降法优化损失函数，损失函数为多分类交叉熵损失函数；

(2)EfficientNet分类网络的测试阶段，使用测试集对训练的EfficientNet分类网络进行泛化能力测试，采用模型分类准确度以及各类别缺陷的精确度、召回率三个性能指标来分别评估缺陷分类能力；如果性能不达标，更改超参数继续训练，直到性能达标。