CN110689011A - 多尺度联合卷积神经网络的太阳能电池板缺陷检测方法 - Google Patents

Abstract

本发明多尺度联合卷积神经网络的太阳能电池板缺陷检测方法，涉及神经网络的通用图像数据处理，首先采集太阳能电池板图像样本和数据处理，平衡样本后进行预处理操作，并将处理后的各种类型图像分为训练集与测试集，得到上述数据集后搭建实验软件环境和实验硬件环境，再构建多尺度联合卷积神经网络模型，然后将标记后的训练集输入此模型中进行学习，并使用测试集进行测试，完成太阳能电池板缺陷的检测，克服了太阳能电池板缺陷识别或检测方法现有技术存在功能单一、泛化能力较弱、实际检测任务中准确率无法保证、一套参数很难通用、可检测类别较少、计算量较大和效率较低的缺陷。

Description

多尺度联合卷积神经网络的太阳能电池板缺陷检测方法

技术领域

本发明的技术方案涉及神经网络的通用图像数据处理，具体地说是多尺度联合卷积神经网络的太阳能电池板缺陷检测方法。

背景技术

随着社会的发展，对绿色能源的需求不断提高。由于太阳能可再生和清洁无污染的特点，使得光伏产业迅速发展，而太阳能电池板是能量转换的核心部件，产量也在不断上升。在制作、运输、安装和使用的过程中都可能会对电池板造成损伤。这些因损伤所造成的缺陷将会严重降低太阳能电池板的光电转换效率和使用寿命。因此，必须在使用之前及时检测出太阳能电池板的缺陷，并替换有缺陷的太阳能电池板。近年来，随着计算机技术日趋成熟，越来越多的太阳能电池板生产厂开始使用计算机视觉技术来替代人工目视缺陷检测，实现太阳能电池板缺陷的在线检测与识别，以降低人工成本并提高太阳能电池板缺陷的检测效率与准确率。

目前常用的基于机器视觉的太阳能电池板缺陷检测方法有三种，一是使用电致发光成像，对电池板施加正向电压后，表面会发出红外光，根据电致发光图像中的发光强度和形状差异就可以识别出缺陷，但电池板杂质对成像影响较大且需要稳定的电源；二是光致发光法，使用激光照射电池板，激光中的光子可以激发硅片中处于基态的电子，一段时间后再回到基态并发出荧光，根据荧光效应的强弱来确定缺陷位置，但无法检测确定出缺陷类型；三是红外热成像，使用红外光源照射电池板，根据图像中的明暗对比可检测出裂纹和缺角的缺陷，但因缺陷模板单一使得检测的准确率较低。

CN109615612A公开了一种太阳能电池板的缺陷检测方法，通过由试验架、灰色面阵相机、远心镜头、环形光源和载物台搭建构成的测量系统实现，该方法使用传统图像处理技术对电池板图像进行处理后，通过与无缺陷的电池板图像进行对比，从而得到是否存在缺陷以及缺陷位置，但无法判断出缺陷类型，不利于后续处理，且该方法受杂质、图像质量影响较大，无法保证应用效果。CN107014819A公开了一种太阳能电池板表面缺陷检测系统和方法，其中系统包括图像采集模块、图像处理模块和交互终端，其中，所述图像采集模块将捕获的太阳能电池板的图像输出给所述图像处理模块进行图像处理及太阳能电池板表面缺陷瑕疵分析，所述图像处理模块的输出与所述交互终端连接，交互终端接收指令并实时响应及显示太阳能电池板的表面缺陷类型和位置，该方法的图像处理模块由三个子单元组成，分别为色差识别单元、脏污识别单元和缺损识别单元，每一块电池板都需经过三个识别单元，效率太慢，且实际能识别的缺陷只有缺损与断栅，功能单一，难以推广。

卷积神经网络是深度学习的代表算法之一，因其可以自动学习图像特征，能有效提取图像中的纹理、形状和颜色等高层特征并分类，通常能够获得比其他传统特征提取方法更好的分类效果。由于太阳能电池板图像往往背景复杂，还有杂质和栅线等因素的干扰，传统特征提取方法提取的太阳能电池板图像的单一底层特征使得太阳能电池板的缺陷分类效果不理想。因此，将深度学习用于太阳能电池板缺陷的快速准确分类是本技术领域正在研究发展的方向。CN108631727B公开了一种基于卷积神经网络的太阳能电池板缺陷识别方法，包括模型离线训练和在线检测两个阶段，将卷积神经网络模型应用于太阳能电池板的缺陷识别上，使用两个CNN模型递进地实现了缺陷检测和分类，该方法是使用两个CNN模型实际并未解决太阳能电池板缺陷样本较少问题，因此在太阳能电池板缺陷分类上准确率很低，判断太阳能电池板是否存在缺陷并不困难，传统检测方法也能取得很好的效果，该方法使用两个CNN模型不仅无法取得较好的缺陷分类效果，反而大量增加了计算量，严重影响了检测效率。CN108564577A公开了基于卷积神经网络的太阳能电池片断栅缺陷检测方法,根据断栅缺陷的特点，先提取感兴趣的目标候选区域ROI再使用卷积神经网络进行训练，最后根据断栅缺陷的尺度分布特点计算连通域得到缺陷位置，该方法仅对断栅这一种缺陷进行了分析，而实际电池板缺陷种类较多，通用性太差。

总之，太阳能电池板缺陷识别或检测方法现有技术存在功能单一、泛化能力较弱、实际检测任务中准确率无法保证、一套参数很难通用、可检测类别较少、计算量较大和效率较低的缺陷。

发明内容

本发明所要解决的技术问题是：提供多尺度联合卷积神经网络的太阳能电池板缺陷检测方法，首先采集太阳能电池板图像样本和数据处理，平衡样本后进行预处理操作，并将处理后的各种类型图像分为训练集与测试集，得到上述数据集后搭建实验软件环境和实验硬件环境，再构建多尺度联合卷积神经网络模型，然后将标记后的训练集输入此模型中进行学习，并使用测试集进行测试，完成太阳能电池板缺陷的检测，克服了太阳能电池板缺陷识别或检测方法现有技术存在功能单一、泛化能力较弱、实际检测任务中准确率无法保证、一套参数很难通用、可检测类别较少、计算量较大和效率较低的缺陷。

本发明解决该技术问题所采用的技术方案是：多尺度联合卷积神经网络的太阳能电池板缺陷检测方法，具体步骤如下：

第一步，采集太阳能电池板图像样本和数据处理：

采集太阳能电池板图像样本，并分为合格样本和缺陷样本，其中缺陷样本包括带有实心黑、隐裂、断栅、阴影和开焊缺陷的缺陷样本，当合格样本数据多于缺陷样本数据时，需要对太阳能电池板图像样本数据集进行重采样，即对较少的缺陷样本数据通过缩放、平移、翻转、改变图片亮度和增加高斯噪声后均值滤波的方式进行数据增强，对大量的合格样本数据则随机删减一部分图像样本数据，以平衡所采集太阳能电池板图像样本数据，由此完成采集太阳能电池板图像样本和数据处理；

第二步，太阳能电池板图像预处理：

将上述第一步采集的太阳能电池板图像样本转为灰度图并作归一化处理，得到图像X_norm定义如下：

公式(1)中，x_i表示图像的像素点值，max(x)表示图像像素点的最大值，min(x)表示图像像素点的最小值，将归一化处理后的各种类型太阳能电池板图像分为训练样本集与测试样本集，最终获得训练样本集有2800～3200个样本，测试样本集有1000～1400个样本，由此完成太阳能电池板图像预处理；

第三步，搭建实验软件环境和实验硬件环境：

所搭建的实验的软件环境是在Win7系统下的以TensorFlow为后端的Keras学习框架，所搭建的实验硬件环境为NVIDIA GTX965M显卡和Intel的6代i7处理器；

第四步，构建多尺度联合卷积神经网络模型：

根据上述第一步中所采集的太阳能电池板图像中的各种缺陷样本的特点，构建多尺度联合卷积神经网络模型，其结构为包括多通道特征提取、多尺度特征融合和分类器三部分，具体操作方法是：选择上述第一步中采集的并由上述第二步中完成预处理的太阳能电池板图像中的三个不同尺度的太阳能电池板图像，分别输入三个卷积神经网络通道，这些卷积神经网络通道从输入到输出的结构为：输入层、第一层卷积、第一层激活、第一层最大池化、第二层卷积、第二层激活、第二层最大池化、第一全连接层、第二全连接层、第一Dropout层、第三全连接层、第四全连接层、第二Dropout层、第五全连接层和输出层，其中，三个卷积神经网络通道的输入层所输入的太阳能电池板图像尺寸分别为120×120、60×60、30×30，三个卷积神经网络通道的第一层卷积大小均为5×5，步长均为3，卷积核个数均为64，三个卷积神经网络通道的第一层激励和第二层激励均采用ReLU激励函数，三个卷积神经网络通道的第一层最大池化大小均为4×4，步长均为2,三个卷积神经网络通道的第二层卷积大小均为3×3，步长均为1，卷积核个数均为32，三个卷积神经网络通道的第二层最大池化大小均为2×2，步长均为1，第一全连接层与第二全连接层进行特征融合后得到第三全连接层，第三全连接层与第四全连接层进行特征融合后得到第五全连接层，为了防止过拟合在第三全连接层后加上第一Dropout层，第五全连接层后加上第二Dropout层，均随机选取一部分神经元参与训练，比例均设为0.5，最后输出层为Softmax分类器，使用交叉熵作为目标函数L，L的表达式如下：

公式(2)中，k＝{1,2，...，K}为该多尺度联合卷积神经网络模型输出的太阳能电池板图像样本中的各种缺陷样本的类别，K为各种缺陷样本类别的数量，q(k)为被检测太阳能电池板图像样本中的缺陷样本属于类别k的概率，p(k)为被检测太阳能电池板图像样本中的缺陷样本的真实分布，当被检测太阳能电池板图像的缺陷样本属于的类别k与太阳能电池板图像样本真实类别相同时，取p(k)＝1，不同时，取p(k)＝0；

第五步，训练阶段：

将上述第二步得到的训练样本集输入上述第四步构建的多尺度联合卷积神经网络模型进行训练，该训练过程分为前向传播和反向传播两个阶段，前向传播得到预测值，再利用反向传播进行链式求导，计算损失函数对每个权重的偏导数，然后更新网络的权重，训练结束后，保存训练好的多尺度联合卷积神经网络模型用于下一步的测试；

第六步，测试阶段：

将上述第二步得到的测试样本集输入上述第四步训练好的多尺度联合卷积神经网络模型中进行测试；

至此，完成多尺度联合卷积神经网络的太阳能电池板缺陷的检测。

上述多尺度联合卷积神经网络的太阳能电池板缺陷检测方法，所述最终获得训练样本集有3000个样本，测试样本集有1200个样本。

上述多尺度联合卷积神经网络的太阳能电池板缺陷检测方法，其中所述NVIDIAGTX965M显卡、Intel的6代i7处理器和ReLU激活函数是本技术领域所公知的，所提及的各种采集、数据处理、训练、融合、分类和测试操作均是本技术领域的技术人员所能掌握的。

本发明的有益效果是：与现有技术相比，本发明具有如下的突出的实质性特点和显著进步：

(1)卷积神经网络对于大规模图像分类和识别任务具有显著优势，卷积层通过大量训练集提取特征，全连接层通过对特征进行多次融合实现图像的高层特征增强表达，输出层的分类器对目标进行分类。与传统机器学习相比，卷积神经网络具有稀疏连接，权值共享，参数少，易于训练和自动学习特征的优点，因此已开始应用于图像识别与分类等计算机视觉任务中。基于卷积神经网络的分类任务中，要取得较好的识别效果通常需要大量的数据集进行训练，在小数据集上易发生过拟合，而如图2所示的传统的卷积神经网络在实际的分类任务中往往都很难获得大量的训练数据。为解决卷积神经网络在有限数据集上的训练问题，提高太阳能电池板在小数据集上的缺陷识别率，本发明根据太阳能电池板各种缺陷的特点，选择三个不同尺度的太阳能电池板图像，分别输入三个卷积神经网络通道进行特征提取，为减少全连接层的总连接数，提高网络效率，本发明使用两个级联的特征融合器对提取的特征进行融合，最后使用分类器进行分类。

(2)在搭建神经网络模型过程中，确定神经网络的层数是非常重要的一个环节。网层数过少，神经网络无法满足要求，识别效果差，而网络过深，则会导致过拟合，计算量大，训练时间过长，因此选择合适的网络深度至关重要。本发明对含有多个不同卷积层的网络模型进行了实验，并最终选择在多尺度网络模型中加入两个卷积层。

(3)传统单尺度卷积神经网络模型中都是使用相同尺度的训练与测试图像，若测试图像和训练图像尺度不同，则分类准确率会大幅降低。本发明首次提出了一种多尺度联合的卷积神经网络检测太阳能电池板缺陷的方法，卷积神经网络能够自动提取图像特征，多尺度卷积神经网络使用多个尺度的图像进行训练和测试，有效地提高了模型的尺度不变性和分类准确率。

(4)本发明多尺度联合卷积神经网络模型使用一个样本的多个尺度信息，解决了实际任务中因训练样本少而导致识别效果差的问题，通过使用多个特征融合器对多个尺度的特征进行融合，实现了高层特征的增强表达，提升了网络效率。

(5)与CN109615612A一种太阳能电池板的缺陷检测方法相比，本发明使用多尺度联合卷积神经网络自动提取特征，再使用分类器进行分类，在多种图像场景下都能取得很好的效果，具有较强的泛化性和抗干扰能力，且能同时检测出缺陷类型。

(6)与CN107014819A一种太阳能电池板表面缺陷检测系统和方法相比，本发明能同时检测出多种缺陷的类型，无需分为多个识别子单元，每张太阳能电池板都需要逐个进行判断，有效提升了检测效率。

(7)与CN108631727B一种基于卷积神经网络的太阳能电池板缺陷识别相比，本发明设计的多尺度联合卷积神经网络模型使用一个样本的多个尺度信息，解决了实际任务中因缺陷样本少而导致检测效果差的问题，通过使用多个特征融合器对多个尺度的特征进行融合，实现了高层特征的增强表达，提升了网络效率。CN108631727B中的训练样本数据与测试样本数据均使用相同尺度的图像，若测试图像和训练图像尺度不同，则分类准确率会大幅降低，且在实际检测任务中，图像大小通常都不同，本发明使用多个尺度的图像进行训练和测试，有效的提高了模型的尺度不变性和分类准确率。本发明无需训练两个CNN模型即可取得较好的效果，大大节省了计算资源，提升了检测效率。

(8)与CN108564577A基于卷积神经网络的太阳能电池片断栅缺陷检测方法相比，本发明不仅仅只根据某一类太阳能电池板缺陷的特点，先提取感兴趣的目标候选区域再使用卷积神经网络进行训练，而是同时提取图像的多个尺度特征，再对特征进行多次融合，增强特征表达，既能有效提取各类缺陷特征，又能提升网络效率。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1为所采集的太阳能电池板图像样本的类型。

图2为传统卷积神经网络操作方法的示意图。

图3为本发明实施例的多尺度联合卷积神经网络结构和操作方法的示意图。

图4为使用本发明多尺度联合卷积神经网络和传统单尺度卷积神经网络在数据集上实验的准确率曲线对比图；

图5为使用本发明多尺度卷积神经网络模型进行各类缺陷检测的准确率混淆矩阵示意图。

图中，1.第一全连接层，2.第二全连接层，3.第三全连接层，4.第四全连接层，5.第五全连接层，6.被输入的太阳能电池板图像，7.尺度变换为大的太阳能电池板图像，8.尺度变换为中大的太阳能电池板图像，9.尺度变换为小的太阳能电池板图像。

具体实施方式

实施例1

第一步，采集太阳能电池板图像样本和数据处理：

采集太阳能电池板图像样本，并分为合格样本和缺陷样本，其中缺陷样本包括带有实心黑、隐裂、断栅、阴影和开焊缺陷的缺陷样本，当合格样本数据多于缺陷样本数据时，需要对太阳能电池板图像样本数据集进行重采样，即对较少的缺陷样本数据通过缩放、平移、翻转、改变图片亮度和增加高斯噪声后均值滤波的方式进行数据增强，对大量的合格样本数据则随机删减一部分图像样本数据，以平衡所采集太阳能电池板图像样本数据，由此完成采集太阳能电池板图像样本和数据处理；

图1显示了本实施例所采集的太阳能电池板图像样本的类型包括合格样本、实心黑缺陷样本、隐裂缺陷样本、断栅缺陷样本、阴影缺陷样本、开焊缺陷样本。

第二步，太阳能电池板图像预处理：

将上述第一步采集的太阳能电池板图像样本转为灰度图并作归一化处理，得到图像X_norm定义如下：

公式(1)中，x_i表示图像的像素点值，max(x)表示图像像素点的最大值，min(x)表示图像像素点的最小值，将归一化处理后的各种类型太阳能电池板图像分为训练样本集与测试样本集，最终获得训练样本集有3000个样本，测试样本集有1200个样本，由此完成太阳能电池板图像预处理；

第三步，搭建实验软件环境和实验硬件环境：

所搭建的实验的软件环境是在Win7系统下的以TensorFlow为后端的Keras学习框架，所搭建的实验硬件环境为NVIDIA GTX965M显卡和Intel的6代i7处理器；

第四步，构建多尺度联合卷积神经网络模型：

根据上述第一步中所采集的太阳能电池板图像中的各种缺陷样本的特点，构建多尺度联合卷积神经网络模型，其结构为包括多通道特征提取、多尺度特征融合和分类器三部分，具体操作方法是：选择上述第一步中采集的并由上述第二步中完成预处理的太阳能电池板图像中的三个不同尺度的太阳能电池板图像，分别输入三个卷积神经网络通道，这些卷积神经网络通道从输入到输出的结构为：输入层、第一层卷积、第一层激活、第一层最大池化、第二层卷积、第二层激活、第二层最大池化、第一全连接层、第二全连接层、第一Dropout层、第三全连接层、第四全连接层、第二Dropout层、第五全连接层和输出层，其中，三个卷积神经网络通道的输入层所输入的太阳能电池板图像尺寸分别为120×120、60×60、30×30，三个卷积神经网络通道的第一层卷积大小均为5×5，步长均为3，卷积核个数均为64，三个卷积神经网络通道的第一层激励和第二层激励均采用ReLU激励函数，三个卷积神经网络通道的第一层最大池化大小均为4×4，步长均为2,三个卷积神经网络通道的第二层卷积大小均为3×3，步长均为1，卷积核个数均为32，三个卷积神经网络通道的第二层最大池化大小均为2×2，步长均为1，第一全连接层与第二全连接层进行特征融合后得到第三全连接层，第三全连接层与第四全连接层进行特征融合后得到第五全连接层，为了防止过拟合在第三全连接层后加上第一Dropout层，第五全连接层后加上第二Dropout层，均随机选取一部分神经元参与训练，比例均设为0.5，最后输出层为Softmax分类器，使用交叉熵作为目标函数L，L的表达式如下：

公式(2)中，k＝{1,2，...，K}为该多尺度联合卷积神经网络模型输出的太阳能电池板图像样本中的各种缺陷样本的类别，K为各种缺陷样本类别的数量，q(k)为被检测太阳能电池板图像样本中的缺陷样本属于类别k的概率，p(k)为被检测太阳能电池板图像样本中的缺陷样本的真实分布，当被检测太阳能电池板图像的缺陷样本属于的类别k与太阳能电池板图像样本真实类别相同时，取p(k)＝1，不同时，取p(k)＝0；

本实施例中，将k＝1代表实心黑缺陷样本，k＝2代表隐裂缺陷样本，k＝3代表断栅缺陷样本，k＝4代表阴影缺陷样本，k＝5代表开焊缺陷样本，一共有五种缺陷，因此K＝5，当将一张太阳能电池板图像放入多尺度联合卷积神经网络模型中进行检测后，如果得到缺陷样本的类别是k＝2隐裂缺陷样本，若这张太阳能电池板确实是隐裂，即它的真实类别为隐裂缺陷样本，说明检测结果k与真实类别相同，取p(k)＝1，若这张太阳能电池板真实类别是开焊缺陷样本，说明检测结果k与真实类别不同，取p(k)＝0；

图2显示传统的卷积神经网操作方法为：“数据”输入→卷积→最大池化→卷积→最大池化→卷积→最大池化、全连接层和分类器。

图3显示本实施例的多尺度联合卷积神经网络结构和操作方法的总体为：尺度变换、多尺度提取、全连接层特征融合和分类；

操作方法具体地说是：被输入的太阳能电池板图像6经尺度变换为：尺度变换为大的太阳能电池板图像7、尺度变换为中大的太阳能电池板图像8、尺度变换为小的太阳能电池板图像9；尺度变换为大的太阳能电池板图像7→第一层卷积、第一层激励、第一层最大池化→第二层卷积、第二层激励、第二层最大池化→第一全连接层1；尺度变换为中的太阳能电池板图像8→第一层卷积、第一层激励、第一层最大池化→第二层卷积、第二层激励、第二层最大池化→第一全连接层2；尺度变换为小的太阳能电池板图像9→第一层卷积、第一层激励、第一层最大池化→第二层卷积、第二层激励、第二层最大池化→第一全连接层3；第一全连接层1与第二全连接层2特征融合成第四全连接层4，第三全连接层3与第四全连接层4特征融合成第五全连接层5→Softmax输出；图3中●表示对全连接层进行特征融合，

表示提取的特征，即全连接层。

第五步，训练阶段：

将上述第二步得到的训练样本集输入上述第四步构建的多尺度联合卷积神经网络模型进行训练，该训练过程分为前向传播和反向传播两个阶段，前向传播得到预测值，再利用反向传播进行链式求导，计算损失函数对每个权重的偏导数，然后更新网络的权重，训练结束后，保存训练好的模型用于下一步的测试；

本实施例将训练样本集输入多尺度联合卷积神经网络模型进行训练，经数据增强后，训练集有3000个样本，包含五种缺陷样本和合格样本，每类样本各500张，测试集有1200个样本，每类样本各200张；

第六步，测试阶段：

将上述第二步得到的测试样本集输入上述第四步训练好的多尺度联合卷积神经网络模型中进行测试；

本实施例共有1200张样本图像进行批量测试；

至此，完成多尺度联合卷积神经网络的太阳能电池板缺陷的检测。

图4显示了由

所示的本实施例使用多尺度联合卷积神经网络模型在数据集上实验的准确率曲线和由

所示传统单尺度卷积神经网络模型在数据集上实验的准确率曲线，由图可知，随着迭代次数的增加，准确率不断上升，达到一定次数后停止增加，说明已经收敛，但使用多尺度联合卷积神经网络模型与使用传统单尺度卷积神经网络模型相比，虽然前几轮迭代次数的准确率较低，但第四轮迭代次数之后多尺度联合卷积神经网络模型就超越了传统单尺度卷积神经网络模型，且收敛速度更快，准确率更高，最终准确率为98.6％，多尺度联合卷积神经网络模型比传统单尺度卷积神经网络模型提升了4.46％。

图5显示本实施例多尺度卷积神经网络模型对太阳能电池板图像样本中的各种缺陷样本检测的准确率混淆矩阵，由图可知，实心黑样本检测为实心黑缺陷类别的概率为1.000，没有检测为其他缺陷类别；断栅样本检测为断栅缺陷类别的概率为0.974，检测为开焊缺陷类别的概率为0.012，检测为阴影缺陷类别的概率为0.014，没有检测为实心黑缺陷类别和隐裂缺陷类别；开焊样本检测为开焊缺陷类别的概率为0.992，检测为实心黑缺陷类别的概率为0.004，检测为阴影缺陷类别的概率为0.004，没有检测为断栅缺陷类别和隐裂缺陷类别；阴影样本检测为阴影缺陷类别的概率为0.969，检测为实心黑缺陷类别的概率为0.004，检测为断栅缺陷类别的概率为0.008，检测为开焊缺陷类别的概率为0.012，检测为隐裂缺陷类别的概率为0.008；隐裂样本检测为隐裂缺陷类别的概率为0.992，检测为断栅缺陷类别的概率为0.006，检测为阴影缺陷类别的概率为0.002，没有检测为实心黑缺陷类别和开焊缺陷类别。

实施例2

除第二步太阳能电池板图像预处理中，最终获得训练样本集有2800个样本，测试样本集有1000个样本之外，其他步骤均同实施例1。

实施例3

除第二步太阳能电池板图像预处理中，最终获得训练样本集有3200个样本，测试样本集有1400个样本之外，其他步骤均同实施例1。

上述实施例中，所述NVIDIA GTX965M显卡、Intel的6代i7处理器和ReLU激活函数是本技术领域所公知的，所提及的各种采集、数据处理、训练、融合、分类和测试操作均是本技术领域的技术人员所能掌握的。

Claims (2)

1.多尺度联合卷积神经网络的太阳能电池板缺陷检测方法，其特征在于具体步骤如下：

第一步，采集太阳能电池板图像样本和数据处理：

采集太阳能电池板图像样本，并分为合格样本和缺陷样本，其中缺陷样本包括带有实心黑、隐裂、断栅、阴影和开焊缺陷的缺陷样本，当合格样本数据多于缺陷样本数据时，需要对太阳能电池板图像样本数据集进行重采样，即对较少的缺陷样本数据通过缩放、平移、翻转、改变图片亮度和增加高斯噪声后均值滤波的方式进行数据增强，对大量的合格样本数据则随机删减一部分图像样本数据，以平衡所采集太阳能电池板图像样本数据，由此完成采集太阳能电池板图像样本和数据处理；

第二步，太阳能电池板图像预处理：

将上述第一步采集的太阳能电池板图像样本转为灰度图并作归一化处理，得到图像X_norm定义如下：

公式(1)中，x_i表示图像的像素点值，max(x)表示图像像素点的最大值，min(x)表示图像像素点的最小值，将归一化处理后的各种类型太阳能电池板图像分为训练样本集与测试样本集，最终获得训练样本集有2800～3200个样本，测试样本集有1000～1400个样本，由此完成太阳能电池板图像预处理；

第三步，搭建实验软件环境和实验硬件环境：

所搭建的实验的软件环境是在Win7系统下的以TensorFlow为后端的Keras学习框架，所搭建的实验硬件环境为NVIDIA GTX965M显卡和Intel的6代i7处理器；

第四步，构建多尺度联合卷积神经网络模型：

根据上述第一步中所采集的太阳能电池板图像中的各种缺陷样本的特点，构建多尺度联合卷积神经网络模型，其结构为包括多通道特征提取、多尺度特征融合和分类器三部分，具体操作方法是：选择上述第一步中采集的并由上述第二步中完成预处理的太阳能电池板图像中的三个不同尺度的太阳能电池板图像，分别输入三个卷积神经网络通道，这些卷积神经网络通道从输入到输出的结构为：输入层、第一层卷积、第一层激活、第一层最大池化、第二层卷积、第二层激活、第二层最大池化、第一全连接层、第二全连接层、第一Dropout层、第三全连接层、第四全连接层、第二Dropout层、第五全连接层和输出层，其中，三个卷积神经网络通道的输入层所输入的太阳能电池板图像尺寸分别为120×120、60×60、30×30，三个卷积神经网络通道的第一层卷积大小均为5×5，步长均为3，卷积核个数均为64，三个卷积神经网络通道的第一层激励和第二层激励均采用ReLU激励函数，三个卷积神经网络通道的第一层最大池化大小均为4×4，步长均为2,三个卷积神经网络通道的第二层卷积大小均为3×3，步长均为1，卷积核个数均为32，三个卷积神经网络通道的第二层最大池化大小均为2×2，步长均为1，第一全连接层与第二全连接层进行特征融合后得到第三全连接层，第三全连接层与第四全连接层进行特征融合后得到第五全连接层，为了防止过拟合在第三全连接层后加上第一Dropout层，第五全连接层后加上第二Dropout层，均随机选取一部分神经元参与训练，比例均设为0.5，最后输出层为Softmax分类器，使用交叉熵作为目标函数L，L的表达式如下：

公式(2)中，k＝{1,2，...，K}为该多尺度联合卷积神经网络模型输出的太阳能电池板图像样本中的各种缺陷样本的类别，K为各种缺陷样本类别的数量，q(k)为被检测太阳能电池板图像样本中的缺陷样本属于类别k的概率，p(k)为被检测太阳能电池板图像样本中的缺陷样本的真实分布，当被检测太阳能电池板图像的缺陷样本属于的类别k与太阳能电池板图像样本真实类别相同时，取p(k)＝1，不同时，取p(k)＝0；

第五步，训练阶段：

将上述第二步得到的训练样本集输入上述第四步构建的多尺度联合卷积神经网络模型进行训练，该训练过程分为前向传播和反向传播两个阶段，前向传播得到预测值，再利用反向传播进行链式求导，计算损失函数对每个权重的偏导数，然后更新网络的权重，训练结束后，保存训练好的多尺度联合卷积神经网络模型用于下一步的测试；

第六步，测试阶段：

将上述第二步得到的测试样本集输入上述第四步训练好的多尺度联合卷积神经网络模型中进行测试；

至此，完成多尺度联合卷积神经网络的太阳能电池板缺陷的检测。

2.根据权利要求1所述多尺度联合卷积神经网络的太阳能电池板缺陷检测方法，其特征在于：所述最终获得训练样本集有3000个样本，测试样本集有1200个样本。

Images