CN110222784B - 融合短时和长时深度特征的太阳能电池片缺陷检测方法 - Google Patents

Abstract

本发明提出了一种融合短时和长时深度特征的太阳能电池片缺陷检测方法，其步骤为：预处理；短时深度特征提取：将预处理后的图像进行分块并向量化后送入堆叠式降噪自动编码器中进行训练，获取到由所有图像块自身学习出的二维自适应深度特征矩阵，同时将二维自适应深度特征矩阵转换为三维矩阵，得到由当前图像观测信息组成的短时深度特征；长时深度特征提取；短时深度特征和长时深度特征融合与转换；低秩矩阵分解与后处理，得到最终检测结果。本发明使用融合当前图像观测信息和先验知识的深度特征来表征太阳能电池片的缺陷，能够显著提高太阳能电池片缺陷检测的通用性和准确性，运算量小、检测效率高，且定位精度较高。

Description

融合短时和长时深度特征的太阳能电池片缺陷检测方法

技术领域

本发明涉及太阳能电池片缺陷检测的技术领域，尤其涉及一种融合短时和长时深度特征的太阳能电池片缺陷检测方法。

背景技术

近年来，面对环境恶化和能源短缺的问题，利用太阳能等可再生能源来发电已经成为解决这一问题的关键技术手段，而作为太阳能光伏发电系统的关键设备，太阳能电池片的质量对发电效率有着深远的影响。因此，对生产出的太阳能电池片进行缺陷检测具有重要意义。

现有的太阳能电池片缺陷检测的方法众多，其中，基于机器视觉的检测方法以其高效、便捷的特点成为了当前研究的主流。作为缺陷检测过程中的重要环节，特征提取对最终的检测结果具有显著影响，根据特征选用的不同可将基于机器视觉的太阳能电池片缺陷检测方法分为基于当前图像观测信息的检测方法和基于先验知识的检测方法两大类。其中，基于当前图像观测信息的方法通常采用手工设计的特征，通用性差，缺乏先验知识作为指导，而基于先验知识的检测方法缺乏大规模的标注样本数据集，因此，泛化能力也受到了限制。

发明内容

针对现有单纯使用当前图像观测信息或是单纯使用先验知识的检测方法通用性差，检测准确度不够的技术问题，本发明提出一种融合短时和长时深度特征的太阳能电池片缺陷检测方法，有效利用了融合当前图像观测信息和先验知识的深度特征来表征太阳能电池片的缺陷，能够显著提高单晶硅太阳能电池片缺陷检测的通用性和准确性，且运算量小、检测效率高。

为了达到上述目的，本发明的技术方案是这样实现的：一种融合短时和长时深度特征的太阳能电池片缺陷检测方法，其步骤如下：

步骤一：预处理：对一帧待检测的太阳能电池片三通道彩色图像进行预处理，消除待检测图像中的无关信息；减少图像中的杂质背景；提高缺陷的可检测性，为后续的有效特征提取做好准备；

步骤二：短时深度特征提取：将预处理后的图像进行分块并向量化后送入堆叠式降噪自动编码器中进行训练，获取到由所有图像块自身学习出的二维自适应深度特征矩阵，同时将二维自适应深度特征矩阵转换为三维矩阵，得到由当前图像观测信息组成的短时深度特征；

步骤三：长时深度特征提取：将预处理后的图像直接送入到深度卷积神经网络中提取由先验知识组成的长时深度特征；

步骤四：短时深度特征和长时深度特征融合与转换：将短时深度特征和长时深度特征进行拼接融合，对预处理后的图像进行超像素分割，将分割过程中确定出的每个超像素块包含像素点的定位标签投影到融合后的三维特征矩阵上，使其转换为二维矩阵，得到最终的特征表示；

步骤五：低秩矩阵分解与后处理：对转换后的二维特征矩阵进行低秩矩阵分解，得到初步检测结果，再对初步检测结果进行阈值分割、膨胀、细化、上采样等一系列后处理后得到最终检测结果，并通过计算机屏幕将最终检测结果直观地呈现出来。

所述步骤一的预处理的方法包括图像缩放、灰度化、中值滤波和主、副栅线的删除与再填充，实现的步骤为：

步骤1.1：将长度为e、宽度为z的待检测太阳能电池片三通道彩色图像I_o按照比例因子θ进行同比缩放，得到长度为m、宽度为n的RGB三通道彩色图像I_c，其中，长度e、m宽度z、n均为正整数，且0＜θ＜1，m＝Roundoff(e×θ)，n＝Roundoff(z×θ)，Roundoff(·)表示四舍五入操作；

步骤1.2：将缩放后的RGB三通道彩色图像I_c通过加权平均方法实现从真彩三维空间到灰度一维空间的灰度化转换：

其中，I_g为经过灰度化后的单通道灰度图像，

分别为RGB三通道彩色图像I_c的三通道彩色分量，r、g、b分别为计算相应三通道彩色分量灰度值的系数，然后对单通道灰度图像I_g进行中值滤波来消除噪声，得到滤波后的单通道灰度图像：

I_f＝Median(I_g)；

其中，Median(·)表示取中值操作，I_f为中值滤波后的单通道灰度图像；

步骤1.3：求取单通道灰度图像I_f中每一行所包含像素点的灰度和，将每一行的灰度和与所有行的灰度和的平均值做比较，根据主栅线的灰度值明显高于非栅线区域的特点，实现主栅线的自动定位；紧接着求取每一列所包含像素点的灰度和，将每一列的灰度和与所有列的灰度和的平均值做比较，根据副栅线的灰度值明显高于非栅线区域的特点，实现副栅线的自动定位，然后依据定位出的主、副栅线所对应的行、列坐标在三通道彩色图像I_c中实现主、副栅线的删除与再填充；

步骤1.4：将所有主栅线、副栅线删除并填充后的三通道彩色图像按照比例因子θ再次进行同比缩放，得到长度为σ、宽度为τ的预处理后的图像I_d，其中，σ＝Roundoff(m×θ)，τ＝Roundoff(n×θ)。

所述步骤二中的每个图像块都与水平和垂直方向的相邻图像块之间有50％的区域重叠，每个图像块都与斜对角线方向的相邻图像块之间有25％的区域重叠；即利用大小为β×β的滑动窗口在I_d上从左上到右下按照β/2的步长顺次截取出大小为β×β×3的图像块，将每个图像块的三个通道的β×β二维矩阵均转化为β²×1的列向量，然后将三个列向量依次拼接后得到长度为α的列向量，按照截取的先后次序将所有图像块的列向量组成样本集合

其中，α＝β×β×3，x_p∈R^α为第p个图像块向量化后的结果，且

为截取出的所有图像块个数。

所述步骤二中堆叠式降噪自动编码器中的降噪自动编码器包括输入层、隐藏层和输出层，输入层在输入数据中引入随机噪声，隐含层对输入层加有噪声后的数据进行编码和解码，输出层则尽可能地重构输入数据并且保持输出层神经元数量与输入层神经元数量一致；所述堆叠式降噪自动编码器是由若干个将输出层去掉后的降噪自动编码器一层一层堆叠起来形成的深度学习模型，且堆叠式降噪自动编码器至少包含两个降噪自动编码器，第一个降噪自动编码器隐藏层输出的数据作为第二个降噪自动编码器的输入层的输入数据，依次类推，最后一个降噪自动编码器隐藏层输出的数据即为图像块经过堆叠式降噪自动编码器训练学习获得的列向量。

所述步骤二中降噪自动编码器进行训练的方法为：

步骤2.1：通过将降噪自动编码器输入层的原始输入数据x_p随机置零映射出加有噪声的输入数据：

其中，dx_p∈R^α是将原始输入数据x_p通过置零函数d(·)随机置零后获得的加有噪声的输入数据，通过随机置零进行加噪声可以防止出现过拟合问题；

步骤2.2：对第一个降噪自动编码器输入层加有噪声后的输入数据dx_p进行编码计算：

其中，

为第一个降噪自动编码器对dx_p进行编码后形成的隐藏层特征；

表示第一个降噪自动编码器中输入层到隐藏层之间的连接权值矩阵，

表示第一个降噪自动编码器中隐藏层神经元的偏置向量，Sigmoid(·)为激活函数，且Sigmoid(y)＝1/(1+exp(-y))，y是激活函数的变量；

步骤2.3：对第一个降噪自动编码器隐藏层输出的隐藏层特征

进行解码计算，有：

其中，

为第一个降噪自动编码器对编码后的隐藏层特征

进行解码后的结果，

表示第一个降噪自动编码器中隐藏层到输出层之间的连接权值矩阵，

表示第一个降噪自动编码器中输出层神经元的偏置向量；

步骤2.4：对第二个及其后的每个降噪自动编码器进行编码的过程为：首先将前一个降噪自动编码器的隐藏层特征输入到下一个降噪自动编码器的输入层，有：

其中，

为第二个降噪自动编码器对第一个降噪自动编码器的隐藏层特征

进行随机置零后获得的加有噪声的输入数据，

为第二个降噪自动编码器对

进行编码后形成的第二个降噪自动编码器隐藏层特征，

表示第二个降噪自动编码器中输入层到隐藏层之间的连接权值矩阵，

表示第二个降噪自动编码器中隐藏层神经元的偏置向量；

为第γ个降噪自动编码器对第γ-1个降噪自动编码器的隐藏层特征

进行随机置零后获得的加有噪声的输入数据，

为第γ个降噪自动编码器对

进行编码后形成的第γ个降噪自动编码器隐藏层特征，χ为降噪自动编码器的总个数；

表示第γ个降噪自动编码器中输入层到隐藏层之间的连接权值矩阵，

表示第γ个降噪自动编码器中隐藏层神经元的偏置向量；

步骤2.5：对第二个及其后的每个降噪自动编码器的隐藏层输出的隐藏层特征进行解码计算，有：

其中，

为第二个降噪自动编码器对编码后的隐藏层特征

进行解码后的结果，

表示第二个降噪自动编码器中隐藏层到输出层之间的连接权值矩阵，

表示第二个降噪自动编码器中输出层神经元的偏置向量，

为第γ个降噪自动编码器对编码后的隐藏层特征

进行解码后的结果，

表示第γ个降噪自动编码器中隐藏层到输出层之间的连接权值矩阵，

表示第γ个降噪自动编码器中输出层神经元的偏置向量；

步骤2.6：用于训练所有降噪自动编码器的损失函数定义如下：

其中，

为训练第γ个降噪自动编码器的损失函数，H_γ为第γ个降噪自动编码器中输入层神经元的个数，M_γ为第γ个降噪自动编码器中隐藏层神经元的个数，ρ_γ是设定的第γ个降噪自动编码器中隐藏层神经元的平均输出，

是第γ个降噪自动编码器中第g个隐藏层神经元在所有

个样本上的平均输出，KL(·)代表KL散度，λ代表稀疏性约束的权重；

表示第γ个降噪自动编码器中输入层到隐藏层之间的权值矩阵中第h行、第g列元素的数值大小，β表示权重衰减项的权值大小；

重复上述逐层训练过程，直到最后一个降噪自动编码器训练完成，并舍弃输出层及其相应的权重矩阵和偏置向量，只保留输入层和隐藏层的权重矩阵和偏置向量，训练过程结束后，最后一个降噪自动编码器中隐藏层神经元的输出即为堆叠式降噪自动编码器提取出的特征。所述第p个图像块经过最后一个降噪自动编码器的隐藏层输出列向量f_p，所有图像块的最后一个降噪自动编码器的隐藏层输出的列向量组成的二维矩阵为自适应深度特征矩阵：

其中，δ为最后一个降噪自动编码器中隐藏层神经元的个数；将自适应深度特征矩阵F_d转换到三维矩阵得到由当前图像观测信息组成的短时深度特征：F_s∈R^σ×τ×δ，其中，σ和τ分别为前述预处理后的图像I_d的长度和宽度。

所述步骤三中长时深度特征提取的方法为：

步骤3.1：使用由13个卷积层和3个全连接层组成的VGG-16深度卷积神经网络来逐像素地提取图像I_d的深度卷积特征，首先，输入层将图像I_d的大小调整到VGG-16的固定输入大小：

I_v＝Resize(I_d)；

其中，Resize表示自动将输入图像调整到固定大小，I_v为调整大小后的图像，执行卷积过程，有：

H₀＝I_v；

H_l＝Pooling(ReLU(H_l-1**w_l+b_l))，l∈[1，13]；

其中，H_l和H_l-1分别表示第l层和l-1层的状态输出，H₀表示输入层的状态输出，即：第0层特指输入层，Pooling(·)表示最大池化操作，ReLU(·)表示线性整流激活函数，**表示卷积操作，w_l和b_l分别表示深度卷积神经网络中第l层和第l-1层之间的权值矩阵和偏差向量；

步骤3.2：将VGG-16深度卷积神经网络中第二、四、七卷积层所提取出的特征H₂、H₄和H₇分别上采样得到与预处理后的图像I_d大小相同的三维特征矩阵U₂、U₄和U₇，并在第三维度上对三维特征矩阵U₂、U₄和U₇进行拼接融合：

其中，(i,j)为每个像素点的位置坐标，其中，σ和τ分别为前述预处理后的图像I_d的长度和宽度，且1≤i≤σ，1≤j≤τ，⊙表示在第三维度上的拼接操作，F_l为长时深度特征，υ为长时深度特征F_l在第三维上的维数。

所述步骤四中短时深度特征和长时深度特征的融合与转换的方法为：

步骤4.1：在第三维度上对短时深度特征和长时深度特征进行拼接融合得到拼接后的三维特征矩阵：

其中，(i,j)为每个像素点的位置坐标，其中，σ和τ分别为前述预处理后的图像I_d的长度和宽度，且1≤i≤σ，1≤j≤τ，⊙表示在第三维度上的拼接操作，F为短时深度特征F_s和长时深度特征F_l在第三维度上拼接后得到的三维特征矩阵，μ为三维特征矩阵F在第三维上的维数，且：μ＝δ+υ；

步骤4.2：通过简单线性迭代聚类算法将预处理后的图像I_d分割成一组不重叠的超像素块S＝{s₁,s₂,...s_η,...s_ψ}，ψ为分割出的超像素块个数；将超像素分割过程中确定出的每个超像素块所包含像素点的定位标签投影到拼接后的三维特征矩阵F上，对属于第η个超像素块s_η内的所有像素点求均值得到转换后的二维特征矩阵Q_f＝[q₁,q₂,···,q_η,···,q_ψ]∈R^ψ×μ：

其中，q_η∈R^μ代表第η个超像素块s_η的特征向量，ω_η为s_η内所有像素点的个数，F(i,j,:)表示s_η内坐标为(i,j)的像素点的特征向量。

所述步骤五中低秩矩阵分解和后处理的实现方法为：

步骤5.1：根据稀疏性，利用矩阵低秩分解算法将二维特征矩阵Q_f分解为低秩矩阵F_w和稀疏矩阵F_e两部分：Q_f＝F_w+F_e，然后沿列方向对分解出的稀疏矩阵F_e求取l₁范数得到行向量V＝[v₁,v₂,···v_η,v_ψ]∈R^1×ψ：

V＝||F_e||₁；

令I_d中第η个超像素块s_η的所有像素点的灰度值等于r_η，可得到初步检测结果R_t∈R^σ×τ，其中，r_η可通过下式计算得到：

步骤5.2：利用自适应阈值分割算法确定出的全局阈值将初步结果R_t转换为二值图像：

其中，T为全局阈值，R_b表示经阈值分割后的二值图像，对R_b施加膨胀、细化、上采样等后处理操作得到一个和原始待检测图像大小相同的清晰、连续、均匀的最终的检测结果R_f：

其中，

和

分别代表膨胀和细化，E₁、E₂和E₃为结构元素，Median(·)为中值滤波，Gauss(·)为高斯滤波，Upsampling(·)为上采样操作。

与现有技术相比，本发明的有益效果：1)本发明能够有效利用代表当前图像观测信息的短时深度特征和代表先验知识的长时深度特征，并可实现两种特征的有效融合，弥补了现有特征提取方法中不能同时有效利用二者优越性的不足。2)本发明通过构建一种基于堆叠式降噪自动编码器和深度卷积神经网络的组合网络架构来实现短时和长时深度特征的提取与融合。通过实验可知，本发明运算量小、检测效率高，能够显著提高单晶硅太阳能电池片缺陷检测的通用性和准确性，且定位精度较高，对提高太阳能电池片的质检效率和出厂合格率具有重要意义。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的流程图。

图2为本发明基于堆叠式降噪自动编码器和深度卷积神经网络的组合架构的结构示意图，其中，上半部分为深度卷积神经网络结构框架，下半部分为堆叠式降噪自动编码器结构框架。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明的一种融合短时和长时深度特征的太阳能电池片缺陷检测方法，其步骤如下：

步骤一：预处理：采用图像缩放、灰度化、中值滤波和栅线删除等技术手段对一帧待检测的太阳能电池片三通道彩色图像进行预处理，消除图像中的无关信息；减少图像中的杂质背景；提高缺陷的可检测性，为后续的有效特征提取做好准备。

进一步地，所述步骤步骤一的实现方法为：

步骤S11：将大小为2824×2824的待检测太阳能电池片图像I_o按照比例因子θ＝0.4的缩放比例进行同比缩放，即：1130＝Roundoff(2284×0.4)，得到大小为1130×1130的缩放后的RGB三通道彩色图像I_c，然后对缩放后的RGB三通道彩色图像I_c通过加权平均方法实现从真彩三维空间到灰度一维空间的灰度化转换，灰度化的过程中用于计算相应三通道彩色分量灰度值的系数r、g、b分别为0.299、0.587和0.114，灰度化的模板大小为3×3。接下来，对灰度化后的单通道灰度图像I_g进行中值滤波来消除噪声，得到滤波后的单通道灰度图像I_f为：

I_f＝Median(I_g)；

其中，Roundoff(·)表示四舍五入操作，Median(·)表示取中值操作，即将(·)集合中的所有元素按大小排序，取中间的元素值作为输出结果。

步骤S12：进行预处理的目的是为了删除对检测过程产生影响的主栅线和副栅线。求取单通道灰度图像I_f中每一行所包含像素点的灰度和，将每一行的灰度和与所有行的灰度和的平均值做比较，根据主栅线的灰度值明显高于非栅线区域的特点，实现主栅线的自动定位；紧接着求取每一列所包含像素点的灰度和，将每一列的灰度和与所有列的灰度和的平均值做比较，根据副栅线的灰度值明显高于非栅线区域的特点，实现副栅线的自动定位，然后依据定位出的主、副栅线所对应的行、列坐标在三通道彩色图像I_c中实现主、副栅线的删除与再填充，由于栅线删除后进行了插值填充，所以图像大小不变；

将所有主栅线、副栅线删除并填充后的三通道彩色图像再次按照比例因子θ＝0.4的缩放比例进行缩放，即：452＝Roundoff(1130×0.4)，至此，所有的预处理操作已完成，得到最终大小为452×452的预处理后的彩色图像I_d。

步骤二：短时深度特征提取：将预处理后的图像进行分块并向量化后送入堆叠式降噪自动编码器中进行训练，获取到由所有图像块自身学习出的二维自适应深度特征矩阵，同时将二维自适应深度特征矩阵转换为三维矩阵，得到由当前图像观测信息组成的短时深度特征。

进一步地，所述步骤二的实现方法为：

步骤S21：利用滑块的方式将预处理后的彩色图像I_d分块并向量化后送入到堆叠式降噪自动编码器中得到基于图像块自身产生的自适应深度特征，本实施步骤中滑块的大小为4×4，滑动的步长为2，每个图像块都与水平和垂直方向的相邻图像块之间有50％的区域重叠，与斜对角线方向的相邻图像块之间有25％的区域重叠。采用此种方式将预处理后的大小为452×452的彩色图像I_d进行分块后的图像块个数为50625个，其中，每个图像块的尺寸为4×4×3，3为图像通道数。将每个4×4×3的彩色图像块转换成列向量。每个彩色图像块都包括R、G、B三个通道，每个通道可转化成一个4×4＝16维的列向量，按照R、G、B的顺序将3个16维的列向量拼接成一个16×3＝48维的列向量x_p，因此所有图像块向量化后所得矩阵

的大小为：48×50625。所述堆叠式降噪自动编码器是由若干个将输出层去掉后的降噪自动编码器一层一层堆叠起来形成的深度学习模型，且堆叠式降噪自动编码器至少包含两个降噪自动编码器，具体地，本发明中所选用的堆叠式降噪自动编码器中降噪自动编码器的个数为3，每个降噪自动编码器中的输入层加噪声过程中随机置零的数据比例设置为10％，降低数据冗余。三个降噪自动编码器输入层、隐藏层和输出层神经元的个数分别为：48、240、48；240、360、240；360、480、360；由于最后一个降噪自动编码器中隐藏层神经元的个数为480，因此，所获取的自适应深度特征矩阵

的大小为：480×50625。

步骤S22：将二维自适应深度特征矩阵F_d转换到三维矩阵即得到由当前图像观测信息组成的短时深度特征，此过程通过数学运算依靠程序实现，480×50625的二维矩阵是由480个1×50625的一维向量组成的，先创建大小为452×452×480的三维零数组，利用MATLAB里的reshape语句把1×50625的一维向量转成452×452的二维矩阵，并赋值到创建好的三维矩阵每一维的平面上，将这个过程在第三维度上重复循环480次得到452×452×480的三维矩阵。具体地，短时深度特征F_s的大小为：452×452×480。

步骤三：长时深度特征提取：将预处理后得到的三通道彩色图像直接送入到深度卷积神经网络中提取由先验知识组成的长时深度特征。

进一步地，所述步骤三的实现方法为：

步骤S31：使用由13个卷积层和3个全连接层组成的VGG-16深度卷积神经网络来逐像素地提取I_d的深度卷积特征，首先，输入层将I_d的图像大小调整到VGG-16的固定输入大小I_v，然后执行卷积过程。本步骤中VGG-16的固定输入大小为：224×224，其余VGG-16所用参数的都是在Image Net数据集上预训练好的参数；

步骤S32：将VGG-16深度卷积神经网络中前三个卷积大组中的最后一层，即Conv1_2、Conv2_2和Conv3_3三个卷积层所提取出的特征H₂、H₄和H₇分别上采样到预处理后的图像大小，并在第三维度上对上采样后的三维特征矩阵进行拼接融合得到三维特征矩阵F_l，这其中，选用的三个卷积层所提取出的特征H₂、H₄和H₇的大小分别为224×224×64、112×112×128和56×56×256，将它们的长和宽全部上采样到452×452进行拼接融合后的三维特征矩阵F_l的大小为452×452×448，即长时深度特征。

步骤四：短时深度特征和长时深度特征的融合与转换：将步骤二获得短时深度特征和步骤三获得的长时深度特征进行拼接融合得到三维特征矩阵，对预处理后的图像进行超像素分割，将分割过程中确定出的每个超像素块包含像素点的定位标签投影到融合后的三维特征矩阵上，使其转换为二维矩阵，得到最终的特征表示。

进一步地，所述步骤四包括：

步骤S41：通过线性相加函数在第三维度上实现短时深度特征和长时深度特征的融合，具体地，本步骤中融合后的三维特征在第三维上的维度μ为928，短时深度特征F_s和长时深度特征F_l的大小分别为：452×452×480和452×452×448，经融合后形成的三维特征矩阵F大小为：452×452×928；将超像素分割过程中确定出的每个超像素块所包含像素点的定位标签投影到拼接后的三维特征矩阵F上，对属于第η个超像素块s_η内的所有像素点求均值得到转换后的二维特征矩阵Q_f＝[q₁,q₂,···,q_η,···,q_ψ]∈R^ψ×μ：

步骤S42：对预处理后的图像进行超像素分割，通过简单线性迭代聚类算法将预处理后的图像I_d分割成一组不重叠的超像素块S＝{s₁,s₂,...s_η,...s_ψ}，其中，ψ为分割出的超像素块个数，将超像素分割过程中确定出的每个超像素块所包含像素点的定位标签投影到拼接后的三维特征矩阵F上，对属于第η个超像素块s_η内的所有像素点求均值得到转换后的二维特征矩阵Q_f＝[q₁,q₂,···,q_η,···,q_ψ]∈R^ψ×μ。具体地，本步骤中超像素块的个数ψ为：8100，转换后二维特征矩阵Q_f的大小为：928×8100。

步骤五：低秩矩阵分解与后处理：对转换后的二维特征矩阵进行低秩矩阵分解，得到初步检测结果，再对初步检测结果进行阈值分割、膨胀、细化、上采样等一系列后处理后得到最终检测结果，并通过计算机屏幕将最终检测结果直观地呈现出来。

进一步地，所述步骤五包括：

步骤S51：根据稀疏性，利用矩阵低秩分解算法将二维特征矩阵Q_f分解为低秩矩阵和稀疏矩阵两部分，通过对分解出的稀疏矩阵F_e求取l₁范数可得到由每个超像素块所包含像素点的均值组成的向量矩阵V＝||F_e||₁，其中，V＝[v₁,v₂,···v_η,v_ψ]∈R^1×ψ，将V中的每个元素除以相对应的超像素块内像素点的个数得到r_η，令图像I_d中第η个超像素块s_η的所有像素点的灰度值等于r_η，即可得到初步检测结果R_t∈R^σ×τ，本实施例中向量矩阵V的大小为1×8100，初步检测结果R_t的大小为452×452；

步骤S52：利用自适应阈值分割算法将初步检测结果R_t上有缺陷的区域像素点的灰度值设为0，无缺陷区域像素点的灰度值设为1，呈现出明显的黑白效果，即为转换后的大小为452×452的二值图像R_b，然后对二值图像R_b施加诸如阈值分割、膨胀、细化、上采样等一系列后处理后得到一个大小为2824×2824的清晰、连续、均匀的最终检测结果R_f。

为了验证本发明的预测精度，本发明在硬件环境为Intel(R)Core(TM)i5CPU3.2G、8GB内存、1GB显存显卡的计算机上进行了实验，运行的软件环境是：Matlab R2017b和Windows7。实验所选取的太阳能电池片图像为一幅分辨率2824×2824的彩色图像。本发明在120幅太阳能电池片图像上进行了测试验证，结果如下：

1)采用本发明的方法可以以较快速度检测出太阳能电池片图像中的缺陷，每幅图像的平均检测时间为0.6s左右。

2)采用本发明可获得98％的缺陷检测正确率，其中，缺陷检测准确率定义为判断正确的太阳能电池片图像的数量与参与检测的太阳能电池片图像的总数量之比。表1所示为120幅测试图像的检测结果统计：40幅有缺陷图像全部检测正确，80幅无缺陷图像中仅有2幅图像被误检，误检的原因是由于该电池片背景杂质太过密集而导致其被误认为是缺陷。

表1对120幅测试图像的检测结果统计

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种融合短时和长时深度特征的太阳能电池片缺陷检测方法，其特征在于，其步骤如下：

步骤一：预处理：对一帧待检测的太阳能电池片三通道彩色图像进行预处理，消除待检测图像中的无关信息；

步骤二：短时深度特征提取：将预处理后的图像进行分块并向量化后送入堆叠式降噪自动编码器中进行训练，获取到由所有图像块自身学习出的二维自适应深度特征矩阵，同时将二维自适应深度特征矩阵转换为三维矩阵，得到由当前图像观测信息组成的短时深度特征；

步骤三：长时深度特征提取：将预处理后的图像直接送入到深度卷积神经网络中提取由先验知识组成的长时深度特征；

步骤四：短时深度特征和长时深度特征融合与转换：将短时深度特征和长时深度特征进行拼接融合，对预处理后的图像进行超像素分割，将分割过程中确定出的每个超像素块包含像素点的定位标签投影到融合后的三维特征矩阵上，使其转换为二维矩阵，得到最终的特征表示；

步骤五：低秩矩阵分解与后处理：对转换后的二维特征矩阵进行低秩矩阵分解，得到初步检测结果，再对初步检测结果进行后处理后得到最终检测结果；

所述步骤二中堆叠式降噪自动编码器中的降噪自动编码器包括输入层、隐藏层和输出层，输入层在输入数据中引入随机噪声，隐含层对输入层加有噪声后的数据进行编码和解码，输出层重构输入数据并且保持输出层神经元数量与输入层神经元数量一致；所述堆叠式降噪自动编码器是由若干个将输出层去掉后的降噪自动编码器一层一层堆叠起来形成的深度学习模型，且堆叠式降噪自动编码器至少包含两个降噪自动编码器，第一个降噪自动编码器隐藏层输出的数据作为第二个降噪自动编码器输入层的输入数据，最后一个降噪自动编码器隐藏层输出的数据即为图像块经过堆叠式降噪自动编码器训练学习获得的列向量；

第p个图像块经过最后一个降噪自动编码器的隐藏层输出列向量f_p，所有图像块的最后一个降噪自动编码器的隐藏层输出的列向量组成的二维矩阵为自适应深度特征矩阵：

其中，δ为最后一个降噪自动编码器中隐藏层神经元的个数，

为截取出的所有图像块个数；将自适应深度特征矩阵F_d转换到三维矩阵得到由当前图像观测信息组成的短时深度特征：F_s∈R^σ×τ×δ，其中，σ和τ分别为预处理后的图像I_d的长度和宽度；

所述步骤三中长时深度特征提取的方法为：

步骤3.1：使用由13个卷积层和3个全连接层组成的VGG-16深度卷积神经网络来逐像素地提取图像I_d的深度卷积特征，首先，输入层将图像I_d的大小调整到VGG-16的固定输入大小：

I_v＝Resize(I_d)；

其中，Resize表示自动将输入图像调整到固定大小的函数，I_v为调整大小后的图像，执行卷积过程，有：

H₀＝I_v；

H_l＝Pooling(ReLU(H_l-1*w_l+b_l))，l∈[1，13]；

其中，H_l和H_l-1分别表示第l层和l-1层的状态输出，H₀表示输入层的状态输出，即第0层特指输入层，Pooling(·)表示最大池化操作，ReLU(·)表示线性整流激活函数，*表示卷积操作，w_l和b_l分别表示深度卷积神经网络中第l层和第l-1层之间的权值矩阵和偏差向量；

步骤3.2：将VGG-16深度卷积神经网络中第二、四、七卷积层所提取出的特征H₂、H₄和H₇分别上采样得到与预处理后的图像I_d大小相同的三维特征矩阵U₂、U₄和U₇，并在第三维度上对三维特征矩阵U₂、U₄和U₇进行拼接融合：

其中，(i,j)为每个像素点的位置坐标，其中，σ和τ分别为预处理后的图像I_d的长度和宽度，且1≤i≤σ，1≤j≤τ，⊙表示在第三维度上的拼接操作，F_l为长时深度特征，υ为长时深度特征F_l在第三维度上的维数；

所述步骤四中短时深度特征和长时深度特征的融合与转换的方法为：

步骤4.1：在第三维度上对短时深度特征和长时深度特征进行拼接融合得到拼接后的三维特征矩阵：

其中，(i,j)为每个像素点的位置坐标，其中，σ和τ分别为预处理后的图像I_d的长度和宽度，且1≤i≤σ，1≤j≤τ，⊙表示在第三维度上的拼接操作，F为短时深度特征F_s和长时深度特征F_l在第三维度上拼接后得到的三维特征矩阵，μ为三维特征矩阵F在第三维度上的维数，且：μ＝δ+υ；

步骤4.2：通过简单线性迭代聚类算法将预处理后的图像I_d分割成一组不重叠的超像素块S＝{s₁,s₂,...,s_η,...,s_ψ}，ψ为分割出的超像素块个数；将超像素分割过程中确定出的每个超像素块所包含像素点的定位标签投影到拼接后的三维特征矩阵F上，对属于第η个超像素块s_η内的所有像素点求均值得到转换后的二维特征矩阵Q_f＝[q₁,q₂,···,q_η,···,q_ψ]∈R^ψ×μ：

其中，q_η∈R^μ代表第η个超像素块s_η的特征向量，ω_η为超像素块s_η内所有像素点的个数，F(i,j,:)表示超像素块s_η内坐标为(i,j)的像素点的特征向量。

2.根据权利要求1所述的融合短时和长时深度特征的太阳能电池片缺陷检测方法，其特征在于，所述步骤一的预处理的方法包括图像缩放、灰度化、中值滤波和主、副栅线的删除与再填充，实现的步骤为：

步骤1.1：将长度为e、宽度为z的待检测太阳能电池片三通道彩色图像I_o按照比例因子θ进行同比缩放，得到长度为m、宽度为n的RGB三通道彩色图像I_c，其中，长度e和m、宽度z和n均为正整数，且0＜θ＜1，m＝Roundoff(e×θ)，n＝Roundoff(z×θ)，Roundoff(·)表示四舍五入操作；

步骤1.2：将缩放后的RGB三通道彩色图像I_c通过加权平均方法转换为单通道灰度图像I_g，然后对单通道灰度图像I_g进行中值滤波得到滤波后的单通道灰度图像：

I_f＝Median(I_g)；

其中，Median(·)表示取中值操作，I_f为中值滤波后的单通道灰度图像；

步骤1.3：求取单通道灰度图像I_f中每一行所包含像素点的灰度和，将每一行的灰度和与所有行的灰度和的平均值做比较，根据主栅线的灰度值明显高于非栅线区域的特点，实现主栅线的自动定位；紧接着求取每一列所包含像素点的灰度和，将每一列的灰度和与所有列的灰度和的平均值做比较，根据副栅线的灰度值明显高于非栅线区域的特点，实现副栅线的自动定位，然后依据定位出的主、副栅线所对应的行、列坐标在三通道彩色图像I_c中实现主、副栅线的删除与再填充；

步骤1.4：将所有主、副栅线删除并填充后的三通道彩色图像按照比例因子θ再次进行同比缩放，得到长度为σ、宽度为τ的预处理后的图像I_d，其中，σ＝Roundoff(m×θ)，τ＝Roundoff(n×θ)。

3.根据权利要求1所述的融合短时和长时深度特征的太阳能电池片缺陷检测方法，其特征在于，所述步骤二中的每个图像块都与水平和垂直方向的相邻图像块之间有50％的区域重叠，每个图像块都与斜对角线方向的相邻图像块之间有25％的区域重叠；即利用大小为β×β的滑动窗口在图像I_d上从左上到右下按照β/2的步长顺次截取出大小为β×β×3的图像块，将每个图像块的三个通道的β×β二维矩阵均转化为β²×1的列向量，然后将三个列向量依次拼接后得到长度为α的列向量，按照截取的先后次序将所有图像块的列向量组成样本集合

其中，α＝β×β×3，x_p为第p个图像块向量化后的结果，x_p∈R^α，且

为截取出的所有图像块个数。

4.根据权利要求3所述的融合短时和长时深度特征的太阳能电池片缺陷检测方法，其特征在于，所述步骤二中降噪自动编码器进行训练的方法为：

步骤2.1：通过将降噪自动编码器输入层的原始输入数据x_p随机置零映射出加有噪声的输入数据：

其中，dx_p∈R^α是将原始输入数据x_p通过置零函数d(·)随机置零后获得的加有噪声的输入数据；

步骤2.2：对第一个降噪自动编码器输入层加有噪声后的输入数据dx_p进行编码计算：

其中，

为第一个降噪自动编码器对dx_p进行编码后形成的隐藏层特征；

表示第一个降噪自动编码器中输入层到隐藏层之间的连接权值矩阵，

表示第一个降噪自动编码器中隐藏层神经元的偏置向量，Sigmoid(·)为激活函数，且Sigmoid(y)＝1/(1+exp(-y))，y是激活函数的变量；

步骤2.3：对第一个降噪自动编码器隐藏层输出的隐藏层特征

进行解码计算，有：

其中，

为第一个降噪自动编码器对编码后的隐藏层特征

进行解码后的结果，

表示第一个降噪自动编码器中隐藏层到输出层之间的连接权值矩阵，

表示第一个降噪自动编码器中输出层神经元的偏置向量；

步骤2.4：对第二个及其后的每个降噪自动编码器进行编码的过程为：首先将前一个降噪自动编码器的隐藏层特征输入到下一个降噪自动编码器的输入层，有：

其中，

为第二个降噪自动编码器对第一个降噪自动编码器的隐藏层特征

进行随机置零后获得的加有噪声的输入数据，

为第二个降噪自动编码器对输入数据

进行编码后形成的第二个降噪自动编码器隐藏层特征，

表示第二个降噪自动编码器中输入层到隐藏层之间的连接权值矩阵，

表示第二个降噪自动编码器中隐藏层神经元的偏置向量；

为第γ个降噪自动编码器对第γ-1个降噪自动编码器的隐藏层特征

进行随机置零后获得的加有噪声的输入数据，

为第γ个降噪自动编码器对输入数据

进行编码后形成的第γ个降噪自动编码器隐藏层特征，χ为降噪自动编码器的总个数；

表示第γ个降噪自动编码器中输入层到隐藏层之间的连接权值矩阵，

表示第γ个降噪自动编码器中隐藏层神经元的偏置向量；

步骤2.5：对第二个及其后的每个降噪自动编码器的隐藏层输出的隐藏层特征进行解码计算，有：

其中，

为第二个降噪自动编码器对编码后的隐藏层特征

进行解码后的结果，

表示第二个降噪自动编码器中隐藏层到输出层之间的连接权值矩阵，

表示第二个降噪自动编码器中输出层神经元的偏置向量，

为第γ个降噪自动编码器对编码后的隐藏层特征

进行解码后的结果，

表示第γ个降噪自动编码器中隐藏层到输出层之间的连接权值矩阵，

表示第γ个降噪自动编码器中输出层神经元的偏置向量；

步骤2.6：用于训练所有降噪自动编码器的损失函数定义如下：

其中，

为训练第γ个降噪自动编码器的损失函数，H_γ为第γ个降噪自动编码器中输入层神经元的个数，M_γ为第γ个降噪自动编码器中隐藏层神经元的个数，ρ_γ是设定的第γ个降噪自动编码器中隐藏层神经元的平均输出，

是第γ个降噪自动编码器中第g个隐藏层神经元在所有

个样本上的平均输出，KL(·)代表KL散度，λ代表稀疏性约束的权重；

表示第γ个降噪自动编码器中输入层到隐藏层之间的权值矩阵中第h行、第g列元素的数值大小，β表示权重衰减项的权值大小；

重复逐层训练过程，直到最后一个降噪自动编码器训练完成，并舍弃输出层及其相应的权重矩阵和偏置向量，只保留输入层和隐藏层的权重矩阵和偏置向量，训练过程结束后，最后一个降噪自动编码器中隐藏层神经元的输出即为堆叠式降噪自动编码器提取出的特征。

5.根据权利要求1所述的融合短时和长时深度特征的太阳能电池片缺陷检测方法，其特征在于，所述步骤五中低秩矩阵分解和后处理的实现方法为：

步骤5.1：根据稀疏性，利用矩阵低秩分解算法将二维特征矩阵Q_f分解为低秩矩阵F_w和稀疏矩阵F_e两部分：Q_f＝F_w+F_e，然后沿列方向对分解出的稀疏矩阵F_e求取l₁范数得到行向量V＝[v₁,v₂,···v_η,v_ψ]∈R^1×ψ：

V＝||F_e||₁；

令I_d中第η个超像素块s_η的所有像素点的灰度值等于r_η，可得到初步检测结果R_t∈Rσ×τ，其中，r_η可通过下式计算得到：

步骤5.2：利用自适应阈值分割算法确定出的全局阈值将初步结果R_t转换为二值图像：

其中，T为全局阈值，R_b表示经阈值分割后的二值图像，对二值图像R_b施加膨胀、细化、上采样的后处理操作得到一个和原始待检测图像大小相同的清晰、连续、均匀的最终的检测结果R_f：

其中，

和

分别代表膨胀和细化的运算符，E₁、E₂和E₃为结构元素，Median(·)为中值滤波，Gauss(·)为高斯滤波，Upsampling(·)为上采样操作。

Images