CN113361631A

CN113361631A - 基于迁移学习的绝缘子老化光谱分类方法

Info

Publication number: CN113361631A
Application number: CN202110711509.7A
Authority: CN
Inventors: 陈林聪; 陈晓琳; 符小桃; 李欣然
Original assignee: Electric Power Research Institute of Hainan Power Grid Co Ltd
Current assignee: Electric Power Research Institute of Hainan Power Grid Co Ltd
Priority date: 2021-06-25
Filing date: 2021-06-25
Publication date: 2021-09-07

Abstract

本发明提供基于迁移学习的绝缘子老化光谱分类方法，包括下列步骤：采集绝缘子老化光谱图像，并对所述绝缘子老化光谱图像进行归一化处理，通过构建CNN网络实现对归一化后的绝缘子老化光谱图像的第一次特征提取；构建LSTM网络，将CNN网络所输出的特征提取结果作为LSTM网络的输入，实现对归一化后的绝缘子老化光谱图像的第二次特征提取；构建DAA网络，将LSTM网络的前4层替换迁移到DAA网络中，生成LSTM+DAA网络，将LSTM网络的输出结果作为LSTM+DAA网络的输入，实现对绝缘子老化的分类。

Description

基于迁移学习的绝缘子老化光谱分类方法

技术领域

本发明涉及绝缘子老化检测技术领域，尤其涉及一种基于迁移学习的绝缘子老化光谱分类方法。

背景技术

绝缘子作为电力输电线路中不可缺少的绝缘元件，它的运行状况将影响电网的可靠性和安全性。据统计，目前电力系统故障中所占比例最高的事故是由绝缘子缺陷引起的。当前传统的人工巡检方式存在一定的安全隐患、效率低、效果差，易出现漏检等问题。近年来，机器人和无人机被代替人工应用在巡检工作中，仍然存在一些不足之处，如大量的视频数据给工作人员的视觉带来疲劳，严重影响对绝缘子状态判断的准确性。随着信息技术的不断发展，深度迁移学习算法能够对得到的绝缘子图像进行自动识别和状态判断，这将大大提高巡线的效率。而目前的传统绝缘子老化程度分类算法仍然存在目标特征提取慢、识别率低等问题。

发明内容

本发明的目的在于提供基于迁移学习的绝缘子老化光谱分类方法，以解决上述背景技术中提出的问题。

本发明是通过以下技术方案实现的：基于迁移学习的绝缘子老化光谱分类方法，包括下列步骤：

采集绝缘子老化光谱图像，并对所述绝缘子老化光谱图像进行归一化处理，通过构建CNN网络实现对归一化后的绝缘子老化光谱图像的第一次特征提取；

构建LSTM网络，将CNN网络所输出的特征提取结果作为LSTM网络的输入，实现对归一化后的绝缘子老化光谱图像的第二次特征提取；

构建DAA网络，将LSTM网络的前4层替换迁移到DAA网络中，生成LSTM+DAA网络，将LSTM网络的输出结果作为LSTM+DAA网络的输入，实现对绝缘子老化的分类。

可选的，所构建的CNN网络由3个卷积层、3个池化层组成。

可选的，所构建的LSTM网络由6个卷积层、6个池化层、三个控制门组成，所述控制门包括遗忘门、输入门、输出门。

可选的，将LSTM网络的2个卷积层、2个池化层替换迁移至DAA网络中，生成LSTM+DAA网络，所述LSTM+DAA网络还包括了3个卷积层、2个池化层、判别器、2个全连接层、softmax层和输出层。

可选的，所述判别器中包括第一损失方程：

式中n_s为训练集的数据量，n_t为测试集的数据量，D_s为训练集数据集合域，D_t为测试集数据集合域，L_d为训练集合域和测试集合域中对应的域适应损失，G_d为特征判别器，G_f特征提取器，x_i训练集的初试特征，d_i为伪标签。

可选的，所述判别器中包括第二损失方程：

式中n_s为训练集的数据量，n_t为测试集的数据量，D_s为训练集数据集合域，D_t为测试集数据集合域，L_d为训练集合域和测试集合域中对应的域适应损失，G_d为特征判别器，G_f特征提取器，x_i训练集的初试特征，d_i为伪标签，L^c _d为判别为同一类别的损失，

为每一类别的判别器，

为每一类别中被判别的标签。

可选的，所构建的LSTM+DAA网络中的总损失函数为：

式中θ_f为特征提取器，θ_y为分类器，θ_d为判别器中能够训练的参数，λ为平衡参数。

与现有技术相比，本发明达到的有益效果如下：

本发明提供的基于迁移学习的绝缘子老化光谱分类方法，从迁移在训练好的长短时记忆网络出发,加入动态对抗适配网络实现对绝缘子老化光谱图像的精准分类。结合绝缘子老化的特性分析，设计合适的卷积神经网络模型，利用不同时刻的输入输出的权重参数和偏移量引入长短时记忆网络，增强网络对特征的注意力机制。在卷积神经网络和长短时记忆网络的双重特征提取之后，再次加入动态对抗适配网络，完成模型的整个训练和最终测试分类，实现对绝缘子老化的精准分类。相对于传统绝缘子老化识别算法，本发明设计的基于迁移学习的绝缘子分类算法显著提高了分类精度，且具有良好的泛化能力和鲁棒性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的优选实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的基于迁移学习的绝缘子老化光谱分类方法的流程图；

图2为设计的CNN绝缘子老化光谱分类模型结构。

具体实施方式

为了更好理解本发明技术内容，下面提供具体实施例，并结合附图对本发明做进一步的说明。

在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员而言显而易见的是，本发明可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本发明发生混淆，对于本领域公知的一些技术特征未进行描述。

应当理解的是，本发明能够以不同形式实施，而不应当解释为局限于这里提出的实施例。相反地，提供这些实施例将使公开彻底和完全，并且将本发明的范围完全地传递给本领域技术人员。

在此使用的术语的目的仅在于描述具体实施例并且不作为本发明的限制。在此使用时，单数形式的“一”、“一个”和“所述/该”也意图包括复数形式，除非上下文清楚指出另外的方式。还应明白术语“组成”和/或“包括”，当在该说明书中使用时，确定所述特征、整数、步骤、操作、元件和/或部件的存在，但不排除一个或更多其它的特征、整数、步骤、操作、元件、部件和/或组的存在或添加。在此使用时，术语“和/或”包括相关所列项目的任何及所有组合。

为了彻底理解本发明，将在下列的描述中提出详细的结构，以便阐释本发明提出的技术方案。本发明的可选实施例详细描述如下，然而除了这些详细描述外，本发明还可以具有其他实施方式。

参见图1-图2，本发明公开了基于迁移学习的绝缘子老化光谱图像分类算法，包括以下步骤：

步骤S1、采集绝缘子老化光谱图像，并对所述绝缘子老化光谱图像进行归一化处理，通过构建CNN网络实现对归一化后的绝缘子老化光谱图像的第一次特征提取；

步骤S2、构建LSTM网络，将CNN网络所输出的特征提取结果作为LSTM网络的输入，实现对归一化后的绝缘子老化光谱图像的第二次特征提取；

步骤S3、构建DAA网络，将LSTM网络的前4层替换迁移到DAA网络中，生成LSTM+DAA网络，将LSTM网络的输出结果作为LSTM+DAA网络的输入，实现对绝缘子老化的分类。

需要说明的是，本实施例中的CNN网络为卷积神经网络(convolutional neuralnetwork,CNN)，LSTM网络为长短时记忆(long short time memory,LSTM)网络，而DAA网络为动态对抗适配(dynamic adversarial adaptation,DAA)网络。

在步骤S1的一些实施方式中，由于CNN网络提取图像特征时，要求输入的图像尺寸要统一，因此本实施方式中将所有的绝缘子老化光谱图像都归一化为64×64的尺寸作为CNN网络的输入。

将所采集的绝缘子老化光谱图像划分为训练集以及处理集，将训练集的图像输入CNN网络中进行训练，将处理集中的图像输入训练完成的CNN网络中，从而实现绝缘子老化光谱图像的第一轮特征提取。

进一步的，在在步骤S1的另一些实施方式，其CNN网络的结构由3个卷积层、3个池化层组成。

在步骤S2的一些实施方式中，所构建的LSTM网络由6个卷积层、6个池化层、三个控制门组成，所述控制门包括遗忘门、输入门、输出门。

在某一时刻遗忘门的神经元输出计算方程如下：

f_t＝σ(W_f×[C_t-1,h_t-1,x_t]+b_f)

这里f_t是t时刻的输出神经元，W_f是权重值，×是各个神经元组成的矩阵乘法，C_t-1是上一时刻记忆神经元的输出，h_t-1是上一时刻隐藏层的输出神经元，x_t是当前时刻t的输入，b_f是每层的偏移量，σ是每层选用的激活函数，如常用的有sigmoid,tanh等激活函数。

长短时记忆网络的主要优点是在网络的全连接层之前加入了一种注意力的机制策略。有效地记录着时间维度和特征维度上的权重值和偏移量等重要参数，从而保证对特征学习的高效性。在时间维度上的输出权重值方程如下：

S_t＝softmax[o_{last_time}×(o_{all_time}×w_t)^H]

这里S_t为输出时间维度的权重，o_{last_time}为最后时刻的输出，o_{every_time}为每一时刻的输出，w_t为每一时刻的权重值，H为转置计算操作符号。

同样，在特征维度上的输出权重值方程如下：

S_f＝softmax[tanh(o_{every_time}×w_f)×v_f]

这里S_f为输出特征维度的权重值，w_f是o_{every_time}对应的权重值，v_f是s_f对应的权重值，·为采用hadamard运算。

将绝缘子老化光谱图像的第一轮特征提取的结果划分为训练集与处理集，将训练集中的特征提取结果输入LSTM网络中进行训练，将处理集中的特征提取结果输入训练完成的LSTM网络中，从而实现绝缘子老化光谱图像的第二轮特征提取。

在步骤S3的一些实施方式中，将LSTM网络的2个卷积层、2个池化层替换迁移至DAA网络中，生成LSTM+DAA网络，所述LSTM+DAA网络还包括了3个卷积层、2个池化层、判别器、2个全连接层、softmax层和输出层，

DAA网络作为整个模型的最后一轮关键部分，它是将前面训练好的LSTM网络模型中的前4层网络特征替换迁移到DAA网络模型中，将LSTM网络模型训练好的前4层网络特征作为DAA网络模型的特征提取部分，紧接着与DAA网络整合到一起，形成LSTM+DAA网络，通过LSTM+DAA网络完成模型的最终训练和测试分类，在网络的最后是通过两个全连接层和softmax层输出，得到对每类预测的概率分布。

可选的，在本申请的一些实施方式中，在LSTM+DAA网络中使用边缘分布和条件分布作为判别器的损失对训练数据和测试数据进行判别分类和适配识别。LSTM+DAA网络中使用边缘分布作为判别器的损失方程如下：

这里n_s为训练的数据量，n_t为测试的数据量，D_s为训练数据域，D_t为测试数据域，L_d为训练域和测试域中对应的域适应损失，G_d为特征判别器，G_f特征提取器，x_i训练集的初试特征，d_i为伪标签。

LSTM+DAA网络中使用条件分布作为判别器的损失方程如下：

这里

为判别为同一类别的损失，

为每一类别的判别器，

为每一类别中被判别的标签。

LSTM+DAA网络的总损失方程如下：

这里θ_f为特征提取器，θ_y为分类器，θ_d为判别器中能够训练的参数，λ为平衡参数。

为了进一步说明本实施例的技术效果，下面通过仿真实验验证本发明的效果：

实验数据共有4687张(264×190)光谱图像。按绝缘子老化程度分为四个等级类别：不老化、轻微老化、中度老化和重度老化。各个模型的输入图像尺寸均为64×64，在模型迭代训练100次下，传统算法SIFT+ELM、CNN、CNN+LSTM和CNN+LSTM+DAA进行对比，4种方法所用的时间和分类精度结果如表1所示；

表1

分类算法名称	SIFT+ELM	CNN	CNN+LSTM	CNN+LSTM+DAA
					时间(s)	621.4	350.6	330.4	207.9
分类精度	0.673	0.817	0.785	0.947

从表1可以看出，在时间消耗上：传统的SIFT+ELM用时均高于其他四种深度学习模型，是本发明所提出的绝缘子老化分类模型CNN+LSTM+DAA的3倍左右，而CNN和CNN+LSTM两种模型所用的时间相差不大，说明本发明将CNN、LSTM和DAA结合在一起对绝缘子老化光谱图像特征进行训练和迁移的方法在时间上是表现较好的，同时也说明深度学习框架Keras能够大大地提升训练速度，有效地缩短提取特征的时间，有助于提高分类精度。在分类精度上：CNN+LSTM+DAA准确率均高于其他三种方法，说明本发明所提出的方法对绝缘子老化光谱图像分类具有较高的识别率且良好的泛化能力和鲁棒性。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。