CN110555842A - 一种基于锚点集优化的硅片图像缺陷检测方法 - Google Patents

Abstract

本发明基于锚点集优化的硅片图像缺陷检测方法，属于硅片表面缺陷检测领域，解决了传统机器视觉算法识别硅片缺陷时依赖人工设计的缺陷特征而导致检测速度慢、准确率低和稳定性差的问题，同时解决了标准检测器中锚点的默认设置不合理造成的漏检率高的问题。本发明通过分析硅片缺陷数据的特点，提出一种基于锚点集的优化方法，并将之用于Faster R‑CNN网络进行硅片图像缺陷检测，首先，将Faster R‑CNN检测网络与ResNet相结合进行特征提取；其次，从理论上通过期望的定位精度推导出可提取的最小目标区域的大小，得到优化的候选窗锚点集；最后，利用优化后的锚点集训练缺陷检测模型，实验结果表明，优化锚点集后硅片缺陷检测精度提升至94.1％，检测时间达到160ms，满足工业检测的需求。

Description

一种基于锚点集优化的硅片图像缺陷检测方法

技术领域

本发明属于硅片表面缺陷检测领域，具体涉及一种基于锚点集优化的硅片缺陷无损检测方法。

背景技术

在光伏硅片的大规模生产中，经过制绒、刻蚀等工序后，其表面不可避免地会出现一些破损、颜色变化不均匀等缺陷，这将严重影响太阳能电池发电的效率和使用寿命，因此必须对硅片表面进行缺陷检测，并将含有缺陷的硅片剔除。

传统的工业缺陷检测往往需要依靠大量的人工来完成，主观性强，易错率高，不能满足大规模的生产线需求。近年来，随着图像处理技术的发展，用机器视觉代替人类视觉的无损检测技术逐渐进入工业领域，通过图像处理技术对硅片图像中缺陷的形状、类型、面积、位置进行分析，检测出带有缺损和颜色不良的硅片。但是，现有技术基于人工设计的缺陷特征，会存在诸如检测准确性不高、自动化程度较差、缺陷特征设计耗时，过度依赖主观导向等问题。不同于传统的方法，基于深度学习的检测技术只需通过构建卷积神经网络(Convolutional neural network,CNN)，自动学习和提取图像的特征信息和语义信息，可以有效克服几何变换、光照、形变等因素对识别带来的影响，从而实现图像的精确识别与定位。

得益于CNN良好的特征捕捉能力和分类性能，R Girshick提出选择性搜索算法，通过在被检测图像中生成候选区域实现目标检测问题的转化。在此基础上，优化设计出Faster R-CNN网络，利用区域建议网络(Region proposal network,RPN)采用滑动窗口的方式提取候选窗锚点，并直接连接到感兴趣区域池化(Region of Interest pooling,RoIpooling)层进行区域选择与预测，真正意义上实现了端到端的实时目标检测。然而，由于来自真实工业现场的硅片图像缺陷区域小，对比度低，光照不均匀，因此，采用标准的FasterR-CNN检测器会存在一下问题：首先，特征提取网络通过CNN的多层次池化操作会使得原始图像中的目标区域变的更小，例如每一个32ⅹ32像素大小的区域经过五层卷积后最多输出一个像素；其次，硅片图像中绝大部分的缺陷区域占图比小于1％，且工业图像的对比度较低，训练时很难区分背景中的小目标和其他杂物，导致检测准确率降低；第三，Faster R-CNN默认的锚点框尺寸较大，不适用于硅片缺陷数据的小目标特点，训练过程中易导致RPN产生的候选框和真实框(GroundTruth Box,GT box)之间重叠比例小于阈值而被误认为负样本，导致硅片缺陷的漏检。

基于以上分析，本发明提出一种锚点集的优化方法，并将之用于Faster R-CNN网络进行真实工业现场的硅片图像缺陷检测。

发明内容

本发明克服现有技术的不足，解决了传统机器视觉算法识别硅片缺陷时过度依赖人工设计的特征而导致检测速度慢、准确率低和稳定性差的问题，旨在提供一种基于锚点集优化的硅片图像缺陷检测方法，本方法通过期望的定位精度推导出可提取的最小目标区域的大小，得到优化的候选窗锚点集，再利用优化后的锚点集训练缺陷检测模型，从而提升Faster R-CNN网络对小目标的检测准确度，实现硅片缺陷的精确识别与定位。

为解决上述技术问题，本发明采用的技术方案为：

一种基于锚点集优化的硅片图像缺陷检测方法，该硅片检测方法按以下步骤进行:

(1)训练数据构建

在网络训练前，为了防止训练过程产生过拟合，对原始图像进行预处理，采取的方法是：将原始图像进行对称、旋转、镜像以及调整亮度等方式扩充训练样本，通过同态滤波增强目标区域与背景区域的灰度差异；

(2)利用深度卷积神经网络进行特征提取-设计Faster R-CNN和ResNet-50的融合网络

对于Faster R-CNN的特征提取部分，选用ResNet-50模型，首先在ImageNet上预训练残差神经网络—ResNet-50网络，然后将预处理后的训练集图像输入残差神经网络的浅层网络，通过多个激活的卷积层自动提取图像特征，得到不同大小的特征图；

(3)通过RPN网络进行区域建议，利用优化后的锚点集生成候选框

RPN网络根据深度神经网络得到的卷积特征，使用优化后的锚点集进行训练和区域建议，并自动生成候选框；

(4)通过RoI pooling层使每个RoI生成固定尺寸的特征图

将RPN网络生成的候选锚点映射到残差网络的第四层卷积的特征图上，并与第五层卷积相连接，再通过RoI pooling层得到固定大小的特征图，即固定每个建议的大小；

(5)分类与回归

将上一层的结果通过全连接层连接softmax层进行缺陷类别的具体判断，连接边框回归层获得缺陷区域的精确位置。

进一步的，步骤(1)中，网络训练开始之前，除了对输入图像进行扩充外，还应对输入图像进行预处理，即对于任意大小的输入图像，在进入网络之前都对图片进行归整化的设定，即图像短边不超过600，长边不超过1000，并在规整化后的数据集上进行网络的训练。

进一步的，步骤(2)中，在ImageNet上预训练一个残差神经网络，方法是：基于ResNet-50图像分类网络，在ImageNet数据集上训练，得到的网络参数作为初始参数，之后的训练和测试都在这个初始参数上作微调。

FasterR-CNN和ResNet-50的融合模型中，ResNet-50是由16个残差块堆叠而成的卷积结构，每个残差块由卷积层、批归一化层、修正线性单元ReLu堆叠行成，在特征提取部分，对于工业背景复杂度小、功耗低的需求，选择ResNet-50的浅层结构进行特征提取，然后将第五层卷积网络附着在RPN网络之后。

进一步的，步骤(3)中，根据期望的定位精度推导出可提取的最小目标区域的锚点大小，得到优化后的候选窗锚点集，具体过程如下：

假设S_gt是真实框B_gt的边长，S_a是锚框B_a的边长，当S_a≥S_gt时，锚框B_a和真实框S_gt的交并比可以表示为：

c.锚点的最大值

若S_gt与S_a正相关，相关因子a，即S_a≥aS_gt且a≥1，则IoU表示为：

通常在检测中，当IoU超过一定的阈值t时才能将RPN产生候选框归类为正例，即IoU≥t，求解S_a，可以得到：

式(3)中，S_gt的大小取决于数据集中目标区域的大小，d的值取决于图像经历的下采样层的数量，对于FasterR-CNN架构，在第五个卷积块之后固定anchor，因此，d＝16。从公式(3)可知，给定一个真实图像GT，即可得到锚框大小的上限。

d.锚点的最小值

为了研究特征图分辨率对RPN识别小目标的潜在影响，设正方形GT框B_gt，存在具有相同尺度和高宽比的锚框B_a，在最坏的情况下，这两个框彼此相隔一定距离d/2，此时这些框之间的IoU可以表示为：

求解IoU(B_gt,B_a)≥t时的B_gt，对于最小可检测物体的尺寸，可推出：

式(5)可知，假设t＝0.5，可得最小可检测物体的尺寸大小为S_gt≈44px，其中px代表像素，这表明对于卷积块的末端，需要产生更高分辨率的特征图，对于conv4特征图(d＝8)，最小可检测物体的尺寸大小为S_gt≈22px，因为用于分类的对象都大于30px，且锚点的选用采用二进制方案，所以，选用的最小锚点尺寸为32；

综合以上分析，并通过计算硅片数据集中缺陷区域的平均大小，可以得出锚点集A＝{32，45，64，128，181，256}。

进一步的，步骤(4)中，RPN生成的窗口经过卷积形成256维向量，最终通过分类挑选出300个得分最高的窗口作为最终的建议窗口，为了提高检测速度，在缺陷检测实验中，调整非极大值抑制后选择的候选框数量为130个。

进一步的，步骤(5)中即是对预测的候选框的分类与回归，判断预测候选框里的缺陷类型和具体位置，在训练过程中，通过以下损失函数L来实现：

其中，为分类损失，为回归损失，p_i为锚点预测为目标的概率，为真实框GTbox的标签，t_i是一个坐标向量，表示预测的bounding box包围盒的4个参数化坐标，是预测为正例的锚点框所对应的GT包围盒的坐标向量。

本发明通过数学理论分析，根据期望的定位精度推导出可提取的最小目标区域的大小，得到优化的锚点集，从而更好的覆盖数据集中的小目标区域，提高硅片缺陷的检测精度。在特征提取部分，利用ResNet-50的浅层结构进行特征提取，可以学习到更多的特征信息，提高Faster R-CNN网络对小目标的敏感度和鲁棒性，从而提高硅片缺陷的检测准确度，降低检测时间，实现工业检测的需求。

附图说明

下面结合附图对本发明做进一步详细的说明。

图1为本发明的基于锚点集优化的硅片图像缺陷检测的网路结构示意图。

图2为本发明的基于锚点集优化的硅片图像缺陷检测的检测流程示意图。

图3为本发明的基于锚点集优化的硅片图像缺陷检测中的残差结构示意图，其中(a)为Residual block结构示意图，(b)为ResNet-50中的残差块结构示意图。

图4为本发明的基于锚点集优化的硅片图像缺陷检测的训练集构建示例图，其中(a)为原图、(b)为镜像、(c)为调整亮度、(d)为旋转、(e)为对称、(f)为同态滤波。

图5为本发明的基于锚点集优化的硅片图像缺陷检测的锚点框大小选择示意图，其中(a)为S_a≥S_gt的示意图，(b)为S_a≥aS_gt的示意图。

图6为本发明的基于锚点集优化的硅片图像缺陷检测的缺陷检测结果可视化，其中(a)为裂纹检测结果示意图，(b)为缺角检测结果示意图。

具体实施方式

为使本发明的目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。

为了更好的理解本发明的检测方法，下面先Faster R-CNN硅片缺陷检测模型做详细介绍。

1.Faster R-CNN缺陷检测框架：

如图1所示，Faster R-CNN网络主要由卷积神经网络(CNN)、区域建议网络(RPN)、分类定位网络三部分组成。其算法实现步骤为：

a.训练数据预处理

网络训练开始前，先对输入图像进行扩充(如图4所示，将原始图像进行对称、旋转、镜像以及调整亮度等方式扩充训练样本，通过同态滤波增强目标区域与背景区域的灰度差异)，然后对输入图像进行预处理，即对于任意大小的输入图像，在进入网络之前都对图片进行归整化的设定，即图像短边不超过600，长边不超过1000，并在规整化后的数据集上进行网络的训练。

b.在ImageNet上预训练一个卷积神经网络

预训练的方法是：基于ResNet-50图像分类网络，在ImageNet数据集上训练，得到的网络参数用于本方法的初始参数，之后的训练和测试都在这个初始参数上作微调。

c.将任意大小的图片输入到CNN网络，进行特征提取

如图3所示，这里的特征提取部分，采取Faster R-CNN和ResNet-50的模型。ResNet-50是由16个残差块堆叠而成的卷积结构，每个残差块由卷积层、批归一化层、修正线性单元ReLu堆叠行成。在特征提取部分，对于工业背景复杂度小、功耗低的需求，选择ResNet-50的浅层结构进行特征提取，然后将第五层卷积网络附着在RPN网络之后。

d.通过RPN网络进行区域建议，利用优化后的锚点集生成候选框

如图5所示，对于RPN网络预先设置的锚点选择不合适的问题，从数学理论上根据期望的定位精度推导出可提取的最小目标区域的锚点大小，得到优化后的候选窗锚点集；再利用优化后的锚点集训练缺陷检测模型，生成与硅片缺陷区域匹配的预测框。

根据期望的定位精度推导出可提取的最小目标区域的锚点大小，得到优化后的候选窗锚点集，具体过程如下：

假设S_gt是真实框B_gt的边长，S_a是锚框B_a的边长，当S_a≥S_gt时，锚框B_a和真实框S_gt的交并比可以表示为：

(1)锚点的最大值

若S_gt与S_a正相关，相关因子a，即S_a≥aS_gt且a≥1，则IoU表示为：

通常在检测中，当IoU超过一定的阈值t时才能将RPN产生候选框归类为正例，即IoU≥t，求解S_a，可以得到：

式(3)中，S_gt的大小取决于数据集中目标区域的大小，d的值取决于图像经历的下采样层的数量，对于Faster R-CNN架构，在第五个卷积块之后固定anchor，因此，d＝16。从公式(3)可知，给定一个真实图像GT，即可得到锚框大小的上限。

(2)锚点的最小值

为了研究特征图分辨率对RPN识别小目标的潜在影响，设正方形GT框B_gt，存在具有相同尺度和高宽比的锚框B_a，在最坏的情况下，这两个框彼此相隔一定距离d/2，此时这些框之间的IoU可以表示为：

求解IoU(B_gt,B_a)≥t时的B_gt，对于最小可检测物体的尺寸，可推出：

式(5)可知，假设t＝0.5，可得最小可检测物体的尺寸大小为S_gt≈44px，其中px代表像素，这表明对于卷积块的末端，需要产生更高分辨率的特征图，对于conv4特征图(d＝8)，最小可检测物体的尺寸大小为S_gt≈22px，因为用于分类的对象都大于30px，且锚点的选用采用二进制方案，所以，选用的最小锚点尺寸为32；

综合以上分析，并通过计算硅片数据集中缺陷区域的平均大小，可以得出锚点集A＝{32，45，64，128，181，256}。

e.通过RoI pooling层使每个RoI生成固定尺寸的特征图

将RPN网络生成的候选锚点映射到残差网络的第四层卷积的特征图上，并与第五层卷积相连接，再通过RoI pooling层得到固定大小的特征图，即固定每个建议的大小；

f.分类与回归

将上一层的结果通过全连接层连接softmax层进行缺陷类别的具体判断，连接边框回归层获得缺陷区域的精确位置。

2.Faster R-CNN缺陷检测框架的训练与测试

如图2所示，Faster R-CNN通过交替优化学习共享特征。具体步骤如下：

a.用ImageNet预训练的模型初始化RPN网络参数并微调；

b.用RPN网络产生优化的锚点集，提取候选区域并训练Fast R-CNN网络；

c.用Fast R-CNN网络重新初始化RPN，固定共享的卷积层，只微调RPN独有的层；

d.保持共享的卷积层固定，微调FastR-CNN的全连接层。

网络训练过程中，本发明所提的缺陷检测模型的损失函数L如下所示：

其中，为分类损失，为回归损失，p_i为锚点预测为目标的概率，为真实框GTbox的标签，t_i是一个坐标向量，表示预测的boundingbox包围盒的4个参数化坐标，是预测为正例的锚点框所对应的GT包围盒的坐标向量。

为了进一步说明锚点集理论上的优化推导与选择的有效性，下面通过实验来证明。

本实验在caffe的开源平台下进行，采用NVIDIA GTX 1080Ti的GPU并行加速。实验数据集为来自真实工业现场的1812张硅片缺陷图像，大小为2048×1700，类别为裂纹和缺角两类。网络训练过程中设置初始学习率为0.001，动量为0.85，权重衰减率为0.0004，采用随机梯度下降法优化训练，总迭代次数7万次。

使用本发明提出的锚点集优化推导方法首先在硅片裂纹数据集上进行了性能评估，并在相同实验环境下与无优化的Faster R-CNN进行了对比，对比结果如表2所示，可见根据GT

表2所提的优化锚点集训练模型的平均准确率对比/％

图像集合推断得到的锚点集可以使裂纹缺陷的检测准确率在VGG16中提升1.8％，在ResNet-50中提升4.2％，从而提高Faster R-CNN网络对小目标的准确性和鲁棒性。

基于锚点集的优化推导与选择对裂纹检测准确率的显著提升，本发明为了提高检测速度，减少了非极大值抑制选用的锚点数量，并在两种硅片缺陷类型上进行了实验验证，具体实施方法是：以ResNet-50为基准特征提取网络，采用优化后的锚点集对裂纹和缺角两种缺陷进行检测，通过改变锚点数量进行实验了对比，对比结果如表3所示，可见优化后的锚点集提升了硅片缺陷的平均检测率，同时调整锚点数量后可以实现在不损失精度的情况下提高检测速度，满足工业检测的需求。

表3基于锚点集优化的Faster R-CNN硅片图像缺陷检测结果对比

上面对本发明的实施例作了详细说明，但是本发明并不限于上述实施例，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (6)

1.一种基于锚点集优化的硅片图像缺陷检测方法，其特征在于，该硅片检测方法按以下步骤进行:

(1)训练数据构建

在网络训练前，将原始图像进行对称、旋转、镜像以及调整亮度的方式扩充训练样本，防止过拟合，通过同态滤波增强目标区域与背景区域的灰度差异；

(2)利用深度卷积神经网络进行特征提取-设计Faster R-CNN和ResNet-50的融合网络对于Faster R-CNN的特征提取部分，选用ResNet-50模型，首先在ImageNet上预训练残差神经网络—ResNet-50网络，然后将预处理后的训练集图像输入残差神经网络的浅层网络，通过多个激活的卷积层自动提取图像特征，得到不同大小的特征图；

(3)通过RPN网络进行区域建议，利用优化后的锚点集生成候选框

RPN网络根据深度神经网络得到的卷积特征，使用优化后的锚点集进行训练和区域建议，并自动生成候选框；

(4)通过RoI pooling层使每个RoI生成固定尺寸的特征图

将RPN网络生成的候选锚点映射到残差网络的第四层卷积的特征图上，并与第五层卷积相连接，再通过RoI pooling层得到固定大小的特征图，即固定每个建议的大小；

(5)分类与回归

将上一层的结果通过全连接层连接softmax层进行缺陷类别的具体判断，连接边框回归层获得缺陷区域的精确位置。

2.根据权利要求1所述的一种基于锚点集优化的硅片图像缺陷检测方法，其特征在于：

步骤(1)中，网络训练开始之前，除了对输入图像进行扩充外，还应对输入图像进行预处理，即对于任意大小的输入图像，在进入网络之前都对图片进行归整化的设定，即图像短边不超过600，长边不超过1000，并在规整化后的数据集上进行网络的训练。

3.根据权利要求1所述的一种基于锚点集优化的硅片图像缺陷检测方法，其特征在于：步骤(2)中，在ImageNet上预训练一个残差神经网络，方法是：基于ResNet-50图像分类网络，在ImageNet数据集上训练，得到的网络参数作为初始参数，之后的训练和测试都在这个初始参数上作微调。

Faster R-CNN和ResNet-50的融合模型中，ResNet-50是由16个残差块堆叠而成的卷积结构，每个残差块由卷积层、批归一化层、修正线性单元ReLu堆叠行成，在特征提取部分，对于工业背景复杂度小、功耗低的需求，选择ResNet-50的浅层结构进行特征提取，然后将第五层卷积网络附着在RPN网络之后。

4.根据权利要求1所述的一种基于锚点集优化的硅片图像缺陷检测方法，其特征在于：

步骤(3)中，根据期望的定位精度推导出可提取的最小目标区域的锚点大小，得到优化后的候选窗锚点集，具体过程如下：

假设S_gt是真实框B_gt的边长，S_a是锚框B_a的边长，当S_a≥S_gt时，锚框B_a和真实框S_gt的交并比可以表示为：

a.锚点的最大值

若S_gt与S_a正相关，相关因子a，即S_a≥aS_gt且a≥1，则IoU表示为：

通常在检测中，当IoU超过一定的阈值t时才能将RPN产生候选框归类为正例，即IoU≥t，求解S_a，可以得到：

式(3)中，S_gt的大小取决于数据集中目标区域的大小，d的值取决于图像经历的下采样层的数量，对于FasterR-CNN架构，在第五个卷积块之后固定anchor，因此，d＝16。从公式(3)可知，给定一个真实图像GT，即可得到锚框大小的上限。

b.锚点的最小值

为了研究特征图分辨率对RPN识别小目标的潜在影响，设正方形GT框B_gt，存在具有相同尺度和高宽比的锚框B_a，在最坏的情况下，这两个框彼此相隔一定距离d/2，此时这些框之间的IoU可以表示为：

求解IoU(B_gt,B_a)≥t时的B_gt，对于最小可检测物体的尺寸，可推出：

式(5)可知，假设t＝0.5，可得最小可检测物体的尺寸大小为S_gt≈44px，其中px代表像素，这表明对于卷积块的末端，需要产生更高分辨率的特征图，对于conv4特征图(d＝8)，最小可检测物体的尺寸大小为S_gt≈22px，因为用于分类的对象都大于30px，且锚点的选用采用二进制方案，所以，选用的最小锚点尺寸为32；

综合以上分析，并通过计算硅片数据集中缺陷区域的平均大小，可以得出锚点集A＝{32，45，64，128，181，256}。

5.根据权利要求1所述的一种基于锚点集优化的硅片图像缺陷检测方法，其特征在于：

步骤(4)中，RPN生成的窗口经过卷积形成256维向量，最终通过分类挑选出300个得分最高的窗口作为最终的建议窗口，为了提高检测速度，在缺陷检测实验中，调整非极大值抑制后选择的候选框数量为130个。

6.根据权利要求1所述的一种基于锚点集优化的硅片图像缺陷检测方法，其特征在于：

步骤(5)中即是对预测的候选框的分类与回归，判断预测候选框里的缺陷类型和具体位置，在训练过程中，通过以下损失函数L来实现：

其中，为分类损失，为回归损失，p_i为锚点预测为目标的概率，为真实框GTbox的标签，t_i是一个坐标向量，表示预测的boundingbox包围盒的4个参数化坐标，是预测为正例的锚点框所对应的GT包围盒的坐标向量。