CN109447977B

CN109447977B - 一种基于多光谱深度卷积神经网络的视觉缺陷检测方法

Info

Publication number: CN109447977B
Application number: CN201811298806.8A
Authority: CN
Inventors: 陈海永; 刘聪; 刘佳丽; 胡启迪; 张泽智; 王霜
Original assignee: Hebei University of Technology
Current assignee: Hebei University of Technology
Priority date: 2018-11-02
Filing date: 2018-11-02
Publication date: 2021-05-28
Anticipated expiration: 2038-11-02
Also published as: CN109447977A

Abstract

本发明为一种基于多光谱深度卷积神经网络的视觉缺陷检测方法，该方法用于光伏电池片外观缺陷检测，通过设计多光谱神经网络模型，加强了模型对多个光谱特征的提取的有效性和准确性，实现了特征与背景的去耦合；通过对缺陷在多个光谱中的表现特征进行分析，利用图像多光谱信息特征分离提取的方法，强化模型对多光谱图像信息特征的提取能力，对比于LBP+HOG‑SVM和Gabor‑SVM表面缺陷检测方法，设计的多光谱神经网络模型在三个指标(精度、召回率、F‑测度)上都提升10％左右，而且可以有效的解决电池片表面背景纹理复杂、缺陷特征多样、形状随机的问题，缺陷识别的准确率达到94.30％。

Description

一种基于多光谱深度卷积神经网络的视觉缺陷检测方法

技术领域

本发明涉及光伏电池缺陷检测技术领域，主要涉及一种基于多光谱深度卷积神经网络的视觉缺陷检测的方法。

背景技术

目前基于图像的智能视觉检测方法已经成为太阳能电池表面质量控制的重要技术组成部分，做好太阳能表面质量检测，不仅可以提升电池组件的使用寿命，也可以提高太阳能电池的发电效率。

太阳能电池从制作材料上分为单晶硅和多晶硅，单晶硅背景纹理简单，发电效率高，但是制作成本相对较高；多晶硅电池片，其表面含有大量随机形状和尺寸的晶格颗粒，在不同的方向和位置上随机分布，从而导致采集图像中的背景不均匀且纹理复杂，所以太阳能电池片的表面缺陷检测是一种非均匀纹理背景下的多特征检测，它具有背景不规律，表面缺陷的形状颜色特征复杂多变的特点。太阳能电池片表面缺陷种类多样，包括断栅、色斑、漏浆、手印、粗线、脏片、缺角、划痕、色差等，这些缺陷的一个典型特征是在不同的光谱范围具有不同的特征表现。

由于电池片缺陷检测精度要求比较高，而且缺陷种类繁多，不同的多晶硅电池片之间，颜色、晶格的差距也比较大。而电池片图像背景不均匀对比度弱，且表面非均匀纹理与缺陷特征相似。如Anwar(ANWAR S A,ABDULLAH M Z.Micro-crack detection ofmulticrystalline solar cells featuring an improved anisotropic diffusionfilter and image segmentation technique[J].Eurasip Journal on Image&VideoProcessing,2014,2014(1):1-17.)提出了改进的各向异性扩散滤波器和先进的图像分割技术的算法，用于检测多晶硅太阳能电池微裂纹缺陷，检测结果可以达到88％，该方法只应用于微裂纹检测，无法对多种缺陷进行检测；Tsai等(TSAI D M,WU S C,CHIU W Y.DefectDetection in Solar Modules Using ICA Basis Images[J].IEEE Transactions onIndustrial Informatics,2013,9(1):122-131.)提出一种基于独立分量分析的方法，对检测图像与重建图像之间的重建误差进行评估，以检测缺陷的存在，该方法对于光照不均匀区域内的缺陷会出现误检。

这就导致了传统的图像特征提取方法难以有效地感知复杂背景下的缺陷信息，在适应性方面表现出明显的不足。其根本原因在于开发算法的缺陷特征依赖人工选择，对海量图像大数据的特征表示能力较弱。为此，近年来基于深度学习的自主特征提取方法日益得到重视。

近年来，深度卷积神经网络在多个缺陷检测领域正得到快速的研究，但是在光伏电池片复杂表面多种类缺陷检测领域还未见报道。

因此，本发明提出一种基于深度学习的自主特征提取方法的方法，解决太阳能电池表面非均匀复杂纹理背景下的多类别缺陷检测问题，提高光伏电池产品的整体质量。

发明内容

为了解决太阳能电池表面非均匀复杂纹理背景下的多类别缺陷检测问题，本发明提供了一种基于多光谱深度卷积神经网络的视觉缺陷检测方法，该方法用于光伏电池片外观的缺陷检测，能对太阳能电池表面这种缺陷形状随机、背景复杂的缺陷进行检测，且具有更高的准确性和适应性，缺陷识别的准确率达到94.30％。

本发明解决上述技术问题采用的技术方案是：

一种基于多光谱深度卷积神经网络的视觉缺陷检测方法，该方法用于光伏电池片外观缺陷检测，包括下述步骤：

第一步，缺陷特征分析与数据集：

1-1图像获取：利用彩色相机采集图像，去除背景后获得彩色图片，该彩色图片作为原始数据集；

1-2特征分析：分析观察太阳能表面缺陷在不同光谱中的特征，得到崩边、粗线、断栅、划痕、漏浆、色差、脏片表面缺陷特征图；

1-3图像切割：在步骤1-2的基础上，利用滑动分割法将步骤1-1的原始数据集分割成小图片，该小图片作为目标图像；

1-4训练样本集、验证样本集、测试样本集制作：对步骤1-3获得的目标图像进行人工分选，并添加标签，得到数据集，从数据集中随机抽取20％作为测试样本集，其余作为训练样本集、验证样本集，其中训练样本集与验证样本集的比例为4:1；

第二步，多光谱神经网络模型搭建：

2-1信息分离：将数据集图片缩放，其次将数据集的彩色图像的红、绿、蓝三通道光谱信息进行分离，最后并列输入到多光谱神经网络模型的多光谱第一层中；

2-2多光谱特征提取层设计：多光谱神经网络模型的多光谱特征提取层共有并列的三个，每一个均包括多光谱第一层、多光谱第二层、多光谱第三层：将步骤2-1分离后的三通道光谱信息并列输入到多光谱第一层中，多光谱第一层包括一个卷积层和一个最大池化层，步骤2-1的输出为多光谱第一层的输入，输入数据分别经过一个卷积层和一个最大池化层，得到输出结果；

多光谱第二层包括两个卷积层和一个最大池化层，多光谱第一层的输出作为多光谱第二层的输入，连续经过两个卷积层和一个最大池化层，得到输出结果；

多光谱第三层包括两个卷积层和一个最大池化层：经过多光谱第三层中的卷积层和最大池化层输出特征结果Layer3_B、Layer3_R和Layer3_G；

把这三个特征结果合并，得到合并输出结果特征；

2-3全连接层设计：将上述合并输出结果特征，作为本层的输入，经过标准化计算后，输入人工全连接神经网络层，得到输出结果；

2-4将步骤2-3的输出结果输入Dropout层，并通过Softmax分类器进行分类，至此完成多光谱神经网络模型的搭建；

第三步，图像分类及评估：

3-1开始训练：初始化权重，将步骤1-4制作的测试样本集、训练样本集、验证样本集输入到第二步的多光谱神经网络模型中，完成多光谱神经网络模型的训练，获得图像的多维特征图，得到光伏电池图像多维输出特征值矩阵；

3-2K交叉验证：将步骤1-4制作的数据集分割为5个子样本，保留单独一个子样本作为测试集，另外的4个样本作为训练集，再输入到训练后的多光谱神经网络模型中，实验进行5次，取五次的平均值作为最终的试验结果。

与现有技术相比，本发明的有益效果是：

对于传统人工提取特征的机器学习方法，利用某种高级特征表达太阳能电池所有的表面缺陷特征太过困难。而且太阳能电池的缺陷具有形状随机、背景复杂的特征，这就使得需要人工提取特征的传统机器学习进行检测的方法效果适应性较差；

而针对太阳能电池片表面缺陷种类繁多，形态多样，背景干扰严重的特点，第二步设计的多光谱神经网络模型，加强了模型对多个光谱特征的提取的有效性和准确性，实现了特征与背景的去耦合；

通过对缺陷在多个光谱中的表现特征进行分析，利用图像多光谱信息特征分离提取的方法，强化模型对多光谱图像信息特征的提取能力，构建出多光谱神经网络模型；

相对比于LBP+HOG-SVM和Gabor-SVM表面缺陷检测方法，设计的多光谱卷积神经网络模型在三个指标(精度、召回率、F-测度)上都提升10％左右。而且可以有效的解决电池片表面背景纹理复杂、缺陷特征多样、形状随机的问题，强化了模型对多个光谱信息特征的提取能力，提高了缺陷与背景特征的分离能力，具有更高的准确性和更强的适应性，且缺陷识别的准确率达到94.30％。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明检测方法的流程图，

图2为实施例1的多光谱神经网络模型结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明基于多光谱深度卷积神经网络的视觉缺陷检测方法，该方法用于光伏电池片外观缺陷检测，包括下述步骤：

第一步，缺陷特征分析与数据集：

1-2特征分析：分析观察太阳能表面缺陷在不同光谱中的特征，得到崩边、粗线、断栅、划痕、漏浆、色差、脏片等表面缺陷特征图；光伏电池表面缺陷还包括油点、小斑点，这些数量很少，一般不做研究，上述7种缺陷已基本全部包含所有电池片表面缺陷种类，

分析只是观察太阳能表面缺陷在不同光谱中的特征，例如断栅、粗线、脏片在红色光谱和绿色光谱中比较明显，而蓝色光谱中由于晶格背景的干扰，对比度较差，而下面即将设计的多光谱CNN网络模型会对彩色图像的多光谱信息进行分离，并列输入到模型中，其获取的特征会更加准确多样，得到的特征信息也不会相互干扰。

1-3图像切割：在步骤1-2的基础上，利用滑动分割法将步骤1-1的原始数据集分割成小图片，该小图片作为目标图像，既可以扩大数据集，也会降低多光谱神经网络网络模型输入缩放图片时造成的损失；

所述原始数据集的图片大小为1868×1868；小图片是指469*469大小的图片，将原始数据集中的1868*1868大小的图片切割成49张469*469大小的图片；

1-4训练样本集、验证样本集、测试样本集制作：对步骤1-3获得的目标图像进行人工分选，并添加标签，得到数据集，从数据集中随机抽取20％作为测试样本集，其余作为训练样本集、验证样本集，其中训练样本集与验证样本集的比例为4:1；所述标签为人工分选的缺陷种类的标注；

第二步，多光谱神经网络模型搭建：

2-1信息分离：为了减少模型的训练时间和内存占用，应首先将数据集图片缩放为256×256×3，其次将数据集的彩色图像的红、绿、蓝三通道光谱信息进行分离，最后并列输入到多光谱神经网络模型的多光谱第一层中；

将图片缩放至256*256*3只是为了方便训练，可以更改尺寸，通过实验，图片过大容易导致训练时间过长，但缩放太小容易导致特征提取不充分；

把这三个特征结果合并，得到合并输出结果特征；

2-3全连接层设计：将上述合并输出结果特征，作为本层的输入，经过标准化计算后，输入深度为2，宽度为256的人工全连接神经网络层，得到输出结果；

2-4将步骤2-3的输出结果输入Dropout层，并通过Softmax分类器进行分类，至此完成多光谱神经网络模型(简称多光谱CNN)的搭建；

第三步，图像分类及评估：

本发明方法中开始训练中，首先初始化权重，在训练过程中权重会不断优化，多光谱CNN利用输出与标签之间的差值来反向控制网络权重的变化，利用随机梯度下降(SGD)来求解多光谱CNN反向传播的最优值。

本发明一个完整的CNN模型包括输入(Input)，卷积层(Conv)，激活函数(ReLU)，池化层(Pool)，全连接层(Fully Connection)等。分类器应用了softmax分类器；正则化的激活函数f(·)选用Relu函数，该层可以称为Relu层，若正则化中的激活函数选用sigmod函数,该层也可以称为sigmod层。如果不用激活函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合，激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中。

不同的缺陷在同一光谱中有明显的差别，同一种缺陷在不同光谱下差别同样较大。断栅、粗线、脏片在红色光谱和绿色光谱中比较明显，而蓝色光谱中由于晶格背景的干扰，对比度较差；漏浆、崩边、色差在三个光谱中都较为明显；划痕在绿色光谱和蓝色光谱中特征更明显。

实施例1

本实施例基于多光谱深度卷积神经网络的视觉缺陷检测方法，该方法包括三个步骤单元：

第一步，缺陷特征分析与数据集：

1-3图像切割：在步骤1-2的基础上，利用滑动分割的法将步骤1-1的原始数据集分割成小图片，该小图片作为目标图像；

第二步，多光谱神经网络模型设计：

2-1信息分离：首先将数据集图片缩放为256×256×3，其次将数据集的彩色图像的红、绿、蓝三通道光谱信息进行分离，最后并列输入到多光谱神经网络模型的多光谱第一层中；

把这三个特征结果合并，得到合并输出结果特征；

第三步，图像分类及评估：

3-2K交叉验证：将步骤1-4制作的数据集分割为5个子样本，保留单独一个子样本作为测试集，另外的4个样本作为训练集，再输入到训练后的多光谱神经网络模型中，实验进行5次，取五次的平均值作为最终的实验结果。

图2是多光谱卷积神经网络模型示意图，图中，

256x256x3是指多光谱神经网络模型输入图片的大小；

Red、Green和Blue是指将输入的图片分离出红绿蓝三光谱信息，并列输入此模型中；

Layer1代表多光谱第一层，其中Layer1-R、Layer1-G和Layer1-B指红光谱第一层神经网络、绿光谱第一层神经网络和蓝光谱第一层神经网络；

Layer2代表多光谱第二层和Layer3代表多光谱第三层，其它同理。

Conv1-R、Conv1-G、Conv1-B代表不同光谱的卷积层：如Conv1-R指红光谱中的第一卷积层，Conv1-G指绿光谱中的第一卷积层，Conv1-B指蓝光谱中的第一卷积层；

Conv2-R，Conv2-G，Conv2-B等同理

RelU为非线性激活函数；

Pooling为最大池化层，即选择邻域内特征点的最大值作为输出；

FC512指包含512个神经元的全连接层；

Dropout是指每次训练时随机让网络的某些隐含层节点失活，在当次训练中不起作用；

Softmax指分类器。

在步骤1-2图像切割时，使用469×469的矩形框，从左上角开始，以234像素为步长，向右向下逐渐分割，最终一张1868×1868的图片被分割为49张469×469的图片。

对电池片进行人工筛选和分类，最终获得无缺陷图片15330张，缺陷图片6257张，缺陷种类包括断栅、漏浆、脏片、粗线、划痕、崩边、手印、色差七种。

实验在Ubuntu16.04的平台下完成，使用TensorFlow编程实现，训练使用的电脑CPU为酷睿i7系列，内存为16GB，显卡为双GTX1080显卡。多光谱CNN模型的学习率选为λ＝0.0001，训练步数为10000次，Dropout每次训练的全连接层随机失效的神经元比例为50％。

在模型训练时，为了减少模型的训练时间和内存占用，将数据集图片缩放为256×256×3进行训练。多光谱CNN模型结构的有两个完全相同的全连接层FC，两个全连接层每层有512个神经元，最后通过Softmax分类器得到模型的输出。在模型训练中，使用L2正则化和Dropout来防止模型训练出现过拟合。

多光谱CNN模型的特征提取能力强，提取的特征更具有区分度，针对太阳能表面缺陷在不同光谱中表现特征不同的特点，多光谱CNN模型具有更好的适应性。

本发明利用精度、召回率和F-度量衡量网络性能：

把精度、召回率和F-度量分别定义为：

其中TP表示真阳性，即标记为有缺陷的图像被正确检测；FP表示假阳性，即标记为良好的图像被错误地检测为有缺陷；FN表示假阴性，即标记为有缺陷的图像被错误的检测为无缺陷；TN表示真阴性，即标记为无缺陷的图像被正确检测为非缺陷。

下表是本实施例应用多光谱神经网络模型，进行5交叉验证得到的5组实验指标数据，通过观察可知除了划痕的指标稍差，其余缺陷指标都不错，缺陷识别的准确率达到94.30％。

将本实施例方法的实验结果与常用机器学习方法进行对比分析：

LBP+HOG-SVM和Gabor-SVM在表面缺陷检测领域都有着很好的效果。因此，选择以上两种常用的机器学习方法作为对比实验；选用精度(pression)、召回率(recall)、F-测度(F-measure)三个常用缺陷检测性能指标，实验结果统计都为5折交叉实验的平均实验结果；

对比实验结果见下表：

从上表可知，多光谱CNN相较于LBP+HOG-SVM和Gabor-SVM方法对有无缺陷图片三个实验指标(精度、召回率、F-测度)都提升10％左右，对太阳能电池表面这种缺陷形状随机、背景复杂的缺陷检测问题，多光谱CNN模型具有更高的准确性和适应性。

本发明未述及之处适用于现有技术。

Claims

1.一种基于多光谱深度卷积神经网络的视觉缺陷检测方法，该方法用于光伏电池片外观缺陷检测，包括下述步骤：

第一步，缺陷特征分析与数据集：

第二步，多光谱神经网络模型搭建：

把这三个特征结果合并，得到合并输出结果特征；

第三步，图像分类及评估：

2.根据权利要求1所述的基于多光谱深度卷积神经网络的视觉缺陷检测方法，其特征在于，所述原始数据集的图片大小为1868×1868；小图片尺寸为469*469；数据集图片缩放后的尺寸为256×256×3。

3.根据权利要求1所述的基于多光谱深度卷积神经网络的视觉缺陷检测方法，其特征在于，人工全连接神经网络层的深度为2，宽度为256。

4.根据权利要求1所述的基于多光谱深度卷积神经网络的视觉缺陷检测方法，其特征在于，在训练过程中权重会不断优化，多光谱神经网络模型利用输出与标签之间的差值来反向控制网络权重的变化，利用随机梯度下降来求解多光谱神经网络模型反向传播的最优值。