CN111292308A

CN111292308A - 基于卷积神经网络的光伏太阳能板红外缺陷检测方法

Info

Publication number: CN111292308A
Application number: CN202010085699.1A
Authority: CN
Inventors: 朱虎; 何春明; 邓丽珍
Original assignee: Nanjing University of Posts and Telecommunications
Current assignee: Nanjing University of Posts and Telecommunications
Priority date: 2020-02-11
Filing date: 2020-02-11
Publication date: 2020-06-16

Abstract

本发明公开了无损检测技术领域的一种基于卷积神经网络的光伏太阳能板红外缺陷检测方法，旨在解决现有技术中利用卷积网络进行物体表面缺陷检测时，由于受数据集的质量、容量以及网络规模的限制，无法精确捕捉和保留图片内容信息、网络运行速度缓慢、影响缺陷检测效果的技术问题。所述方法包括如下步骤：将光伏太阳能板的红外图像输入预先训练好的U型全卷积神经网络，获取光伏太阳能板的缺陷检测结果。

Description

基于卷积神经网络的光伏太阳能板红外缺陷检测方法

技术领域

本发明涉及一种基于卷积神经网络的光伏太阳能板红外缺陷检测方法，属于无损检测技术领域。

背景技术

缺陷检测常指对物品表面缺陷的检测，多采用先进的机器视觉检测技术，基于卷积神经网络的缺陷检测技术在该领域中崭露头角。经实践证明，深度卷积网络在很多视觉识别任务中的表现要优于其他网络。但受数据集的质量、容量以及网络规模的限制，卷积网络在较长一段时间内未能充分发挥其作用。克里泽夫斯基等人在2012年的突破，则是通过在百万级训练图像个数的基础上对8层和数百万参数的大型网络进行监督训练。从那时起，人们开始训练规模更大、层次更深的网络。卷积网络的典型应用便是分类任务，输入一张图像，对应输出一个单独类标签。但在诸如物体表面缺陷检测的视觉任务中，我们往往希望得到的包含特征点的精确定位的输出结果，即需要将该种类标签精确地分配至每个像素点，这样的精确定位对于大多数方法而言，都是费时费力且难以实现的。此外，很多的视觉任务因各种因素的影响，往往只能够获得有限的样本图片来组成训练数据集，百万级的训练数据集在该情况下是难以实现的。

为此，锡兰等人在2012年利用滑动窗口内部的特点，设计了一个网络并对其加以训练，通过在每个像素点周围提供一个局部区域(补丁块)作为输入来预测每个像素点的类标签。该方法解决了如下问题：(1)这个网络是可以通过调节滑动窗口的尺度来达到不同精度的定位的；(2)补丁块提供训练数据的能力显然要远优于完整图像。但该方法同时也存在如下缺陷：(1)由于该网络以补丁块为处理单位，导致该方法的运行速度相比之下较为缓慢，而且补丁块之间存在着大量的重叠部分，从而产生为数较大的冗余计算；(2)所取补丁块的大小难以确定——当取一个较大补丁块时，需要更多的池化层来降低补丁的大小以提高定位的精度；而当取一个较小补丁块时，网络所处理的补丁块过于局部化，这会导致网络所获得的图像特征无法全面地描述图像中所包含的信息。

发明内容

针对现有技术的不足，本发明的目的在于提供一种基于卷积神经网络的光伏太阳能板红外缺陷检测方法，以解决现有技术中利用卷积网络进行物体表面缺陷检测时，由于受数据集的质量、容量以及网络规模的限制，无法精确捕捉和保留图片内容信息、网络运行速度缓慢、影响缺陷检测效果的技术问题。

为解决上述技术问题，本发明所采用的技术方案是：

一种基于卷积神经网络的光伏太阳能板红外缺陷检测方法，包括如下步骤：将光伏太阳能板的红外图像输入预先训练好的U型全卷积神经网络，获取光伏太阳能板的缺陷检测结果。

进一步地，所述U型全卷积神经网络包括彼此连接的收缩路径和拓展路径，所述收缩路径与U型全卷积神经网络的输入端连接，所述拓展路径与U型全卷积神经网络的输出端连接。

进一步地，所述收缩路径包括不少于两组间隔分布的卷积核簇和最大池化核。

进一步地，所述拓展路径包括不少于两组间隔分布的卷积核簇和反卷积核，拓展路径的输出端连接有第二卷积核。

进一步地，所述卷积核簇由不少于两个相同尺寸的第一卷积核串联而成，所述第一卷积核的输出端连接有指数线性单元。

进一步地，所述第一卷积核的尺寸为3×3，所述第二卷积核的尺寸为1×1，所述最大池化核或/和反卷积核的尺寸为2×2。

进一步地，收缩路径的卷积核簇与拓展路径的卷积核簇之间对应连接有裁剪单元。

与现有技术相比，本发明所达到的有益效果：本发明方法基于U型全卷积神经网络，该U型全卷积神经网络能够在极为有限数据集的训练下，对于任意形状大小的红外图片进行操作，并能够得到十分精确的处理结果。主要体现在：(1)利用收缩路径来充分捕捉红外图片的内容信息，且与之相对应的拓展路径则被用来对于红外图片中的重要内容进行定位；建立与收缩路径对称分布的拓展路径，从而构成U形对称网络，确保能够很好地保留原图像的所有信息，以此保证该处理的无损性。(2)去除卷积神经网络典型架构中的全连接层，保证网络结构能够更高效的运行。(3)网络利用数据的能力增强，它能够在极为有限的数据集的训练下对待测图片进行十分精确有效的处理。(4)对于包括权重在内的参数的良好的初始化使得网络能够十分高效地运行，有效地防止了过拟合现象的发生。(5)重叠平铺策略保证我们的网络可以处理任意大的图像且分辨率不受显卡内存的过多约束。

附图说明

图1是本发明方法实施例中所述U型全卷积神经网络的结构示意图；

图2是本发明方法实施例中所述重叠平铺策略示意图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

本发明具体实施方式提供了一种基于卷积神经网络的光伏太阳能板红外缺陷检测方法，所述卷积神经网络为U型全卷积神经网络(U-Net)，本发明方法基于该U型全卷积神经网络加以实现。

步骤一，构建U型全卷积神经网络

如图1所示，是本发明方法实施例中所述U型全卷积神经网络的结构示意图，该U型全卷积神经网络由左侧的收缩路径和右侧的拓展路径连接而成。本实施例中，收缩路径的构建沿用了卷积神经网络的典型架构，包含了对于两个无填充卷积3×3卷积核(conv 3×3)的重复应用，每个卷积核后面都跟着一个指数线性单元(ReLU)，每两个卷积核之间设有一个2×2最大池化核(max pool 2×2)，该池化核的步长为2，用于下采样，每个下采样步骤中，使特征通道的数量加倍。

拓展路径中的每一步处理都包含着对收缩路径所得的特征映射进行反卷积。拓展路径也包含了对于两个3×3卷积核(conv 3×3)的重复应用，每两个卷积核之间设有一个2×2反卷积核(up-conv 2×2)，用来使特征通道的数量减半。每个3×3卷积核都跟着一个指数线性单元，反卷积与收缩路径中经裁剪(copy and crop)后的特征映射对应串联。裁剪所需达到的效果，是弥补那些运算中丢失的边缘像素。在拓展路径的最后一层，用1×1卷积核(conv 1×1)将每个64分量特征向量映射到所需要的类数。

综上，本实施例所建立的U型全卷积神经网络共有23个卷积层。本实施例中，可将收缩路径和拓展路径中重复应用两个的3×3卷积核(conv 3×3)定义为第一卷积核，将拓展路径最后一层连接的1×1卷积核(conv 1×1)定义为第二卷积核。

步骤二，对U型全卷积神经网络进行训练

步骤1：数据扩充。向U型全卷积神经网络输入光伏太阳能板红外图像，使用大小为3×3的粗网格上的随机位移矢量生成平滑变形，该位移从10像素标准差的高斯分布中取样。在此之后，使用“双三次插值法”计算每个像素的位移，收缩路径末端的下行层执行进一步的隐式数据扩充。

步骤2：计算图中的加权映射w(X)，公式如下：

式中，w_c(X)为初始化的初始权重，用于保证太阳能电池板缺陷的合理检测；e为自然常数，w₀为权重系数，用于平衡前后公式，σ为标准差，用于表征数据的稳定性，本实施例中，经过大量实验取经验值，设定w₀＝10，σ＝5；d₁(X)表示该点距离最近的测量边界的距离，d₂(X)表示该点距离第二近的测量边界的距离。对于初始权重w_c(X)，我们用一个标准差为

的高斯分布来实现赋值，其中N表示一个神经元的传入节点的数量。比如，对于前一层中的3×3的卷积和64条特征通道，则有N＝9×64＝576。

步骤3：输入通道数为1，尺寸为572*572的图像块A。

步骤4：对572*572的图像块A分别和两个3*3的卷积核a做无填充卷积，每个卷积后面跟着一个指数线性单元。此过程操作两次，分别得到64通道的大小分别为570*570和568*568的卷积层，后者定义为卷积层B。

步骤5：对568*568的卷积层B和2*2的池化核b做最大池化操作，得到64个284*284的池化层C。

步骤6：重复三次步骤4和步骤5的组合操作，得到512个32*32的池化层C，再对池化层C进行一次步骤4操作，分别得到512通道大小为30*30和28*28的卷积层，定义后者为卷积层D。

步骤7：对28*28的卷积层D和2*2的反卷积d核做无填充反卷积，之后再进行重叠平铺策略，将与输出相对应的最大池化层之前的图像进行复制和裁剪，与反卷积得到的输出拼接起来，得到1024个56*56的反卷积层E。如图2所示，是本发明方法实施例中所述重叠平铺策略示意图。

步骤8：对56*56的反卷积层E分别和两个3*3的卷积核e做卷积，每个卷积后面跟着一个指数线性单元。得到512通道的大小分别为54*54和52*52的卷积层，后者定义为卷积层F。

步骤9：轮换重复三次步骤7和步骤8，分别得到64通道大小为390*390和388*388的卷积层，定义后者为卷积层G。

步骤10：对卷积层G扁平化处理，得到一个2通道的388*388的输出结果。

步骤11：将上一步输出的结果输入到softmax函数中，得到预期值。我们用p_k(X)来表示softmax函数，如下：

式中，a_k(X)表示在像素位置

的特征通道k中的激活，K是分类总数，p_k(X)是近似最大函数，Ω为像素位置定义域，

为正整数域。

步骤12：选用交叉熵代价函数作为损失函数，并对多次迭代后的结果做动量梯度下降优化，使损失最小化。交叉熵函数用E来表示：

式中，w(X)是一组用于学习的滤波器系数，l(X)是每个像素的真实标签，p_l(X)(X)是像素点X在图中出现的概率。最后，当损失函数达到最小时，完成对于该神经网络的模型搭建，得到所训练出来的对应的滤波器系数。

步骤三，将光伏太阳能板的红外图像输入训练好的U型全卷积神经网络，获取光伏太阳能板的缺陷检测结果。

本发明方法基于U型全卷积神经网络，该U型全卷积神经网络能够在极为有限数据集的训练下，对于任意形状大小的红外图片进行操作，并能够得到十分精确的处理结果。主要体现在：(1)利用收缩路径来充分捕捉红外图片的内容信息，且与之相对应的拓展路径则被用来对于红外图片中的重要内容进行定位；建立与收缩路径对称分布的拓展路径，从而构成U形对称网络，确保能够很好地保留原图像的所有信息，以此保证该处理的无损性。(2)去除卷积神经网络典型架构中的全连接层，保证网络结构能够更高效的运行。(3)网络利用数据的能力增强，它能够在极为有限的数据集的训练下对待测图片进行十分精确有效的处理。(4)对于包括权重在内的参数的良好的初始化使得网络能够十分高效地运行，有效地防止了过拟合现象的发生。(5)重叠平铺策略保证我们的网络可以处理任意大的图像且分辨率不受显卡内存的过多约束。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims

1.一种基于卷积神经网络的光伏太阳能板红外缺陷检测方法，其特征是，包括如下步骤：将光伏太阳能板的红外图像输入预先训练好的U型全卷积神经网络，获取光伏太阳能板的缺陷检测结果。

2.根据权利要求1所述的基于卷积神经网络的光伏太阳能板红外缺陷检测方法，其特征是，所述U型全卷积神经网络包括彼此连接的收缩路径和拓展路径，所述收缩路径与U型全卷积神经网络的输入端连接，所述拓展路径与U型全卷积神经网络的输出端连接。

3.根据权利要求2所述的基于卷积神经网络的光伏太阳能板红外缺陷检测方法，其特征是，所述收缩路径包括不少于两组间隔分布的卷积核簇和最大池化核。

4.根据权利要求3所述的基于卷积神经网络的光伏太阳能板红外缺陷检测方法，其特征是，所述拓展路径包括不少于两组间隔分布的卷积核簇和反卷积核，拓展路径的输出端连接有第二卷积核。

5.根据权利要求4所述的基于卷积神经网络的光伏太阳能板红外缺陷检测方法，其特征是，所述卷积核簇由不少于两个相同尺寸的第一卷积核串联而成，所述第一卷积核的输出端连接有指数线性单元。

6.根据权利要求5所述的基于卷积神经网络的光伏太阳能板红外缺陷检测方法，其特征是，所述第一卷积核的尺寸为3×3，所述第二卷积核的尺寸为1×1，所述最大池化核或／和反卷积核的尺寸为2×2。

7.根据权利要求3所述的基于卷积神经网络的光伏太阳能板红外缺陷检测方法，其特征是，收缩路径的卷积核簇与拓展路径的卷积核簇之间对应连接有裁剪单元。