CN111091533B - 一种基于改进ssd算法的电池片el缺陷检测方法 - Google Patents

Abstract

本发明提供一种基于改进SSD算法的电池片EL缺陷检测方法，电池片(EL)缺陷检测是机器视觉的重要应用方向之一，传统的基于人工的视觉检测精度低、耗时长。为了提高电池片多类缺陷的识别率，本发明提出了一种基于SSD的深度学习算法。我们建立了EL缺陷数据集，该数据集由870张1536×1536像素图像的四类缺陷组成。通过旋转，去噪来扩充和改善数据集，并基于该数据集对SSD进行了修改、训练和测试。结果表明SSD算法对EL缺陷的检测更加简单、快速、准确，说明该方法对EL缺陷检测的优越性。

Description

一种基于改进SSD算法的电池片EL缺陷检测方法

技术领域

本发明属于缺陷检测和机器视觉领域，具体涉及一种基于SSD(Single ShotMultiBox Detector)算法的电池片EL缺陷检测方法。

背景技术

随着可再生新能源的产生，其中利用太阳能发电发展最快。直接将太阳能变成电能的半导体器件称作太阳能电池。目前基于单晶硅片的太阳能发电发展迅速,是太阳能电池的主要来源。太阳能电池片的生产工艺比较复杂，生产安装过程中不可避免的缺陷直接影响到太阳能电池的转换效率和使用寿命，因此缺陷检测是太阳能电池片生产过程中一个必不可少的环节。目前工业上主要采用的是人工视觉的检测方法，容易受到各种不确定因素的影响，因此该方法存在效率低，准确度差等问题。

机器视觉检测具有生产效率高、自动化水平高、检测率好、对特殊工业环境适应性强等优点。因此，基于视觉的缺陷检测对表面缺陷检测进行了多项研究。龚等人提出了一种快速检测带钢表面缺陷区域的方法。随着深度学习的提出，越来越多基于深度学习地缺陷检测方法被提出并应用。Ross Girshick通过训练VGG19网络提出了一种快速的R-CNN目标检测方法，这个虽然也能应用在EL检测上但是检测精度过低；Rui Huang等人改进了FasterR-CNN进一步提高了对Wheel Hub的检测精度，虽然精度得到了提高，但是对EL的小尺度缺陷精度较低；Yue Pang等人提出了一种多谱线的卷积神经网络对太阳能电池表面进行检测，这个方法虽然也能对电池片进行检测，但是达不到对EL智能检测的要求。所以现有检测技术在EL上，无法达到精度和效率两者结合。

发明内容

本发明目的是为了克服这些问题，提出了一种检测EL多类缺陷的新方法。通过旋转等来扩充数据集，然后将其输入到改进的SSD网络中完成训练和测试，从而实现EL缺陷检测的智能化。

针对上述技术问题，本发明提供一种基于SSD算法的EL缺陷检测方法，采用深度学习的目标检测算法，相比传统的技术鲁棒性更高，更加适合应用在工业的EL缺陷检测中，同时采用数据扩充，并且改进了网络使得对EL的缺陷检测尤其是小尺度的缺陷精度大大提高。

本发明解决其技术问题所采用的技术方案是：

一种基于改进SSD算法的EL缺陷检测方法，具体包括以下步骤：

步骤S1、电池片EL图像采集：通过CCD相机采集EL缺陷图像；

步骤S2、图像数据扩充：利用旋转，将原始图像水平旋转来扩充数据集，包括划痕、断栅、暗黑、污染四类缺陷；

步骤S3、图像标注：使用labelImg工具手动标注图像，在标注过程中，从多幅图像中标记出多个目标，测试集是从带注释的图像中随机选取的，其中包含一定比例的缺陷，除测试集外，其余图像作为训练集；

步骤S4、训练和测试改进的SSD网络：该网络是基于一个前向传播的卷积神经网络CNN，产生一系列固定大小的目标框，进行一个非极大值抑制得到最终的预测，SSD网络结构分为基础网络VGG16和金字塔网络FPN，该网络的核心是同时采用最低和最大的特征映射做检测，预设一些目标预选框，后续通过softmax分类和边界回归框获得真实目标的位置，对于不同尺度的特征映射使用不同的默认框Default boxes，然后将这些目标框送入非极大抑制NMS模块中，获得最终的检测结果。

进一步，将原始图像水平旋转来扩充数据集，最终图像为1740张。

进一步，使用labelImg工具手动标注图像，在标注过程中，从1740幅图像中标记出11450个目标，测试集是从带注释的图像中随机选取的，其中包含30％的缺陷。

进一步，对于不同尺度的特征映射使用不同的默认框Default boxes，总共获得8732个。

进一步，基础网络VGG16是一个通过反复堆叠3x3小型卷积核和2x2最大池化层构筑的深度卷积神经网络，VGG基本模块采用小卷积核堆叠，两个3x3的卷积堆叠获得的感受野大小，相当一个5x5的卷积；而3个3x3卷积的堆叠获取到的感受野相当于一个7x7的卷积，这里去掉所有的Dropout层和全连接层FC8，将VGG16后边两层的全连接层变换为了卷积层，卷积层Conv7之后的是识别层，分别将VGG16的全连接层FC6和FC7转换成3x3的卷积层Conv6和1x1的卷积层Conv7。

进一步，还包括：将FPN网络特征层中较高层特征2倍上采样，采用内插值方法进行上采样，即在原有图像像素的基础上在像素点之间采用合适的插值算法插入新的元素，把特征大小扩大了一倍，FPN网络特征层中较低层特征通过1×1卷积改变一下低层特征的通道数，然后简单地把将上采样和1×1卷积后的结果对应元素相加，便于后面对加起来的特征进行分类。

进一步，默认框Default boxes中，其长宽比例默认有四个和六个，四个Defaultboxes是长宽比分别为(1:1)、(2:1)、(1:2)、(1:1)这四个，六个则是添加了(1:3)、(3:1)这两个，假设用m个特征映射做预测，那么对于每个特征映射而言其Default boxes的比例是按以下公式计算的：

公式S_k即代表在300*300输入中的比例，m为当前的特征映射是第几层，k代表的是一共有多少层的特征映射，S_min和S_max代表的是第一层和最后一层所占的比例；

需要注意的是，这里一共有5种长宽比，用a_r表示：

每个Default boxes宽的计算公式为：

高的计算公式为：

当纵横比为1时，增加一种比例的Default box：

S_k+1为下一层的输入中的比例，对于每个特征映射而言，一共有6种Default box，可以看出这种Default box在不同的特征层有不同的比例，在同一个特征层又有不同的长宽比，因此基本上可以覆盖输入图像中的各种形状和大小的目标。

与现有技术相比，本发明的有益效果是：针对我们的EL数据集，采用数据扩充技术来扩充数据集，以此来防止深度学习网络的过拟合。且针对EL表面缺陷的特点，在基本的SSD网络中加入了特征融合(FPN)的思想，提高了对四种缺陷的检测精度和速度，尤其提高了对小缺陷的检测性能，并且实现了对EL缺陷的智能检测。

附图说明

图1是EL表面缺陷图；

图2是数据扩充(水平旋转)后的EL图；

图3是改进后的SSD网络框架图；

图4是测试的结果图，(a)为划痕；(b)为断栅；(c)为暗黑；(d)为污染。

具体实施方式

下面结合附图来详细描述本发明的实施方案。

一种基于SSD算法的EL缺陷检测方法，包括数据集扩充，图像标注和改进的SSD网络的训练和测试；具体包括以下步骤：

步骤S1、EL图像采集：通过CCD相机采集EL缺陷图像；

步骤S2、图像数据扩充：利用旋转，将原始图像水平旋转来扩充数据集，最终图像为1740张，共四类缺陷；

步骤S3、图像标注：使用labelImg工具手动标注图像。在标注过程中，从1740幅图像中标记出11450个目标。测试集是从带注释的图像中随机选取的，其中包含30％的缺陷。除测试集外，其余图像作为训练集；

步骤S4、训练和测试改进的SSD网络：该网络是基于一个前向传播的CNN网络，产生一系列固定大小的目标框，进行一个非极大值抑制得到最终的预测。SSD网络结构分为基础网络(VGG16)和金字塔网络。该网络的核心是同时采用最低和最大的特征映射做检测。预设一些目标预选框，后续通过softmax分类和边界回归框获得真实目标的位置。对于不同尺度的特征映射使用不同的Default boxes(具体见表1)。我们总共可以获得8732个，然后我们将这些目标框送入NMS模块中，获得最终的检测结果。

本发明的具体过程为：

图1为用于训练的EL表面缺陷图像870张(1536×1536像素)。其中出现频率最高的有四种缺陷:划痕、断栅、暗黑、污染，如图1中红色矩形所示。需要注意的是，往往一张图像上不止一种缺陷，通常包含多类缺陷。

如图2所示，深度神经网络在训练数据集较小的情况下，容易发生过拟合。因此，针对原始缺陷数据集，采用数据扩充技术来实现数据集的扩充。我们对图像进行水平旋转来扩充数据集。同时为了获取输入图像的标签，我们需要标注图像(缺陷类型和边界框的坐标)，这里通过labelImg工具手动标记图像。在标注过程中，从1740幅图像中标记出11450个目标。测试集是从带注释的图像中随机选取的，其中包含30％的缺陷。除测试集外，其余图像作为训练集。

如图3所示，针对EL表面缺陷的特点，为了提高对小缺陷(划痕、断栅)的检测能力，对网络结构进行了调整。利用SSD模型中原有的多尺度卷积检测方法，将改进的多层特征检测结果进行融合，并通过参数再训练以获得最终改进的SSD模型，提高了缺陷检测的精度。其网络包括了VGG16网络和FPN网络，下面将具体解释网络的细节。

VGG16是一个通过反复堆叠3x3小型卷积核和2x2最大池化层构筑的深度卷积神经网络。其拓展性很强，迁移到其他数据上的泛化性非常好。VGG基本模块采用小卷积核堆叠，两个3x3的卷积堆叠获得的感受野大小，相当一个5x5的卷积；而3个3x3卷积的堆叠获取到的感受野相当于一个7x7的卷积。这里去掉所有的Dropout层和FC8层,将VGG16后边两层的全连接层变换为了卷积层，Conv7之后的是识别层。分别将VGG16的全连接层FC6和FC7转换成3x3的卷积层Conv6和1x1的卷积层Conv7。

表1 Default boxes

基础的SSD没有上采样过程，由于没有用到足够底层的特征，对检测小缺陷目标的效果较差。我们引入特征金字塔FPN(feature pyramid networks)的思想。具体做法是FPN网络的特征层中的较高层特征2倍上采样，即采用内插值方法，即在原有图像像素的基础上在像素点之间采用合适的插值算法插入新的元素，把特征大小扩大了一倍。FPN网络的特征层中的较低层特征通过1×1卷积改变一下低层特征的通道数，然后简单地把将上采样和1×1卷积后的结果对应元素相加，便于后面对加起来的特征进行分类。

特征映射是分类器产生的结果,其中每一个对象都包含多个框，同时每个框对应位置坐标和每个种类的得分，Default boxes长宽比例默认有四个和六个，四个Defaultboxes是长宽比分别为(1:1)、(2:1)、(1:2)、(1:1)这四个，六个则是添加了(1:3)、(3:1)这两个。假设我们用m个特征映射做预测，那么对于每个特征映射而言其Default boxes的比例是按以下公式计算的：

公式S_k即代表在300*300输入中的比例，m为当前的特征映射是第几层，k代表的是一共有多少层的特征映射，S_min和S_max代表的是第一层和最后一层所占的比例。

需要注意的是，这里一共有5种长宽比(用a_r表示)：

每个Default box宽的计算公式为：

高的计算公式为：

当纵横比为1时，增加一种比例的Default box：

因此，对于每个特征映射而言，一共有6种Default boxes。可以看出这种Defaultboxes在不同的特征层有不同的比例，在同一个特征层又有不同的长宽比，因此基本上可以覆盖输入图像中的各种形状和大小的目标。

如图4所示，图4为多尺度缺陷检测网络对EL表面缺陷图像的检测结果。缺陷的位置用矩形框标记，在框的左上角给出缺陷类别和类别的置信度。其中，1代表划痕，2代表断栅,3代表暗黑,4代表污染。其中断栅缺陷检出率高，划痕缺陷检出率相对较低。

EL表面的缺陷将对产品的性能、可靠性和安全性产生重大影响。人工检测精度低，耗时长。因此，本发明提出了一种基于深度学习的缺陷检测网络，该网络可以从大数据集中自动提取抽象不变特征，而不是人工设计底层特征。未来基于该方法的检测方法在构建图像集时，应使用质量更好的图像和更宽的拍摄距离，提高检测精度和鲁棒性。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (7)

1.一种基于改进SSD算法的EL缺陷检测方法，其特征在于，具体包括以下步骤：

步骤S1、电池片EL图像采集：通过CCD相机采集EL缺陷图像；

步骤S2、图像数据扩充：利用旋转，将原始图像水平旋转来扩充数据集，包括划痕、断栅、暗黑、污染四类缺陷；

步骤S3、图像标注：使用labelImg工具手动标注图像，在标注过程中，从多幅图像中标记出多个目标，测试集是从带注释的图像中随机选取的，其中包含一定比例的缺陷，除测试集外，其余图像作为训练集；

步骤S4、训练和测试改进的SSD网络：该网络是基于一个前向传播的卷积神经网络CNN，产生一系列固定大小的目标框，进行一个非极大值抑制得到最终的预测，SSD网络结构分为基础网络VGG16和金字塔网络FPN，该网络的核心是同时采用最低和最大的特征映射做检测，预设一些目标预选框，后续通过softmax分类和边界回归框获得真实目标的位置，对于不同尺度的特征映射使用不同的默认框Default boxes，然后将这些目标框送入非极大抑制NMS模块中，获得最终的检测结果。

2.根据权利要求1所述的一种基于改进SSD算法的EL缺陷检测方法，其特征在于，将原始图像水平旋转来扩充数据集，最终图像为1740张。

3.根据权利要求2所述的一种基于改进SSD算法的EL缺陷检测方法，其特征在于，使用labelImg工具手动标注图像，在标注过程中，从1740幅图像中标记出11450个目标，测试集是从带注释的图像中随机选取的，其中包含30％的缺陷。

4.根据权利要求1所述的一种基于改进SSD算法的EL缺陷检测方法，其特征在于，对于不同尺度的特征映射使用不同的默认框Default boxes，总共获得8732个。

5.根据权利要求1所述的一种基于改进SSD算法的EL缺陷检测方法，其特征在于，基础网络VGG16是一个通过反复堆叠3x3小型卷积核和2x2最大池化层构筑的深度卷积神经网络，VGG基本模块采用小卷积核堆叠，两个3x3的卷积堆叠获得的感受野大小，相当一个5x5的卷积；而3个3x3卷积的堆叠获取到的感受野相当于一个7x7的卷积，这里去掉所有的Dropout层和全连接层FC8，将VGG16后边两层的全连接层变换为了卷积层，卷积层Conv7之后的是识别层，分别将VGG16的全连接层FC6和FC7转换成3x3的卷积层Conv6和1x1的卷积层Conv7。

6.根据权利要求5所述的一种基于改进SSD算法的EL缺陷检测方法，其特征在于，还包括：将金字塔网络FPN的特征层中较高层特征2倍上采样，采用内插值方法进行上采样，即在原有图像像素的基础上在像素点之间采用内插值方法插入新的元素，把特征大小扩大了一倍，FPN网络特征层中较低层特征通过1×1卷积改变一下低层特征的通道数，然后简单地把将上采样和1×1卷积后的结果对应元素相加，便于后面对加起来的特征进行分类。

7.根据权利要求1所述的一种基于改进SSD算法的EL缺陷检测方法，其特征在于，默认框Default boxes中，其长宽比例默认有四个和六个，四个Default boxes是长宽比分别为(1:1)、(2:1)、(1:2)、(1:1)这四个，六个则是添加了(1:3)、(3:1)这两个，假设用m个特征映射做预测，那么对于每个特征映射而言其Default boxes的比例是按以下公式计算的：

公式S_k即代表在300*300输入中的比例，m为当前的特征映射是第几层，k代表的是一共有多少层的特征映射，S_min和S_max代表的是第一层和最后一层所占的比例；

需要注意的是，这里一共有5种长宽比，用a_r表示：

每个Default boxes宽的计算公式为：

高的计算公式为：

当纵横比为1时，增加一种比例的Default box：

S_k+1为下一层的输入中的比例，对于每个特征映射而言，一共有6种Default box，可以看出这种Default box在不同的特征层有不同的比例，在同一个特征层又有不同的长宽比，因此基本上可以覆盖输入图像中的各种形状和大小的目标。