CN111289854B

CN111289854B - 基于紫外视频的3d-cnn和lstm的绝缘子绝缘状态评估方法

Info

Publication number: CN111289854B
Application number: CN202010119269.7A
Authority: CN
Inventors: 律方成; 牛雷雷; 王胜辉
Original assignee: North China Electric Power University
Current assignee: North China Electric Power University
Priority date: 2020-02-26
Filing date: 2020-02-26
Publication date: 2021-05-11
Anticipated expiration: 2040-02-26
Also published as: CN111289854A

Abstract

本发明提出一种基于紫外视频的3D‑CNN和LSTM的绝缘子绝缘状态评估方法，将采集的绝缘子的紫外放电视频进行预处理，结合视频的紫外光斑面积、光子数及两者的统计参数和四类放电分级，对放电视频进行标注，建立包括训练集、测试集、验证集的放电视频的数据库，将训练集中的视频送入3D‑CNN网络进行训练和特征提取，获得放电点位置、严重程度和时间维度的特征，将其输出接入LSTM网络，分析紫外成像放电若干次放电的光斑面积变化时间和空间信息，将3D‑CNN和LSTM的特征信息通过全连接层连接到不同绝缘状态，经过反复运算，和参数优化得到权重文件，将测试集视频输入训练好的深度学习网络中，通过调用保存的权重文件，实现对测试视频的归类，即实现对绝缘子绝缘状态的评估。

Description

基于紫外视频的3D-CNN和LSTM的绝缘子绝缘状态评估方法

技术领域

本发明设计高电压试验技术、图像处理技术以及深度学习技术领域，具体涉及一种基于紫外视频的3D-CNN和LSTM的绝缘子绝缘状态评估方法。

背景技术

绝缘子是电力系统输变电设备重要的元器件，及时掌握其运行状态对电力系统的安全稳定运行至关重要。目前电网主要采用人手持望远镜、红外成像仪的人工巡检方式，不仅对巡线人具有很高的经验要求、且耗时费力，无法及时全面的掌握绝缘子等电气设备的运行状态。

日盲紫外成像技术作为最近在国内应用的仪器，应为其对高压绝缘子的放电具有非接触式观测，安全可靠；发现灵敏度高，对微弱放电能够及时发现；具有定位功能，可见光和紫外光图像的叠加可以实现对放电的精确定位。

现阶段电力系统巡检班组一般都配备了红外成像仪，基于故障引起的电气设备发热而对其运行状态做出判断。日盲紫外成像仪还没有在电力系统广泛应用，阻碍其推广的原因主要包括：1)放电参数无法量化；2)无法对绝缘子类的电气设备的缺陷类别和绝缘状态进行判断。

目前国内对绝缘子的绝缘状态识别技术主要以分析电气设备的静态图片为主，主要分为：1)传统方式：主要采用人工设计的特征主要基于绝缘子的颜色、形状和纹理等，结合BP神经网络来识别绝缘子，其特征主要包括：HOG特征与SVM结合，SUFS特征，Hu不变矩和小波系数等特征，LBP与Adaboost组合模型，骨架提取特征点及其Hough变换等，这类方法识别定位的准确度波动性大，鲁棒性差，且对目标的视频和图片的拍摄角度等要求较高。2)深度学习算法。通过卷积算法和池化对图片进行抽象化处理，实现端到端图像到识别模式，避免了对人工设计特征的依赖，这种方法具有较高的识别精度和较好的泛化能力，但由于放电的随机性，仅凭单张的紫外图像无法实现对绝缘子绝缘状态的识别。

3D-CNN和LSTM在本质上隶属于卷积神经网络范畴，本方法构建的深度学习框架的输入端是紫外成像视频。先将紫外视频进行基于温度、湿度、气压、增益、距离等参数的归一化，然后对可见光和紫外视频进行帧速率和分辨率的预处理，最后将预处理过得视频送入深度学习网络中进行训练，最终得到基于光子数和光斑面积的统计参数的绝缘子绝缘状态诊断。本算法能够克服紫外成像仪放电参数量化和对电气设备绝缘水平判断的难题，具有广阔的应用前景

发明内容

为了解决目前对绝缘子绝缘状态评价的需求和紫外成像仪应用推广中的难题，本发明提供一种基于紫外视频的3D-CNN和LSTM的绝缘子绝缘状态评估方法，实现对外绝缘放电的智能诊断，解决仅依靠单张紫外成像图片难以对绝缘状态进行判断的难题。

一种基于紫外视频的3D-CNN和LSTM的绝缘子绝缘状态评估方法，包括：

步骤1：对采集的绝缘子的紫外放电视频进行预处理；

步骤2：结合紫外放电视频的紫外光斑面积、光子数及两者的统计参数和四类放电分级，利用视频标注软件对放电视频进行标注，建立包括训练集、测试集、验证集的放电视频的数据库；

步骤3：将训练集中的视频送入3D-CNN网络进行训练和特征提取，获得放电点位置、严重程度和时间维度的特征；

步骤4：将经过3D-CNN网络的输出接入LSTM网络，分析紫外成像放电若干次放电的光斑面积变化时间和空间信息，将3D-CNN和LSTM的特征信息通过全连接层连接到不同绝缘状态；

步骤5：经过反复的前向和反向运算，通过最小化误差的方法对系统进行参数优化得到权重文件，并将文件保存以备识别之用；

步骤6：将测试集视频输入训练好的深度学习网络中，将测试视频经过所述步骤1的预处理之后通过调用保存的所述权重文件，实现对测试视频的归类。

进一步，对所述采集的绝缘子的紫外放点视频进行预处理包括对采集视频的帧率、视频时长、分辨率进行统一；对视频的小光斑进行消除；对拍摄的紫外成像放电视频进行光子数和光斑面积的温度、湿度、气压、增益和拍摄距离的归一化处理。

优选地，采用形态学运算，进行开闭运算，将视频中的小光斑进行消除。

进一步，紫外放电视频的紫外光斑面积、光子数的统计参数包括紫外视频的放电光斑面积和光子数的最大值、方均根值、最大值出现的概率。

进一步，四类放电分级包括无放电、电晕放电、小电弧放电、大电弧放电，分别标注其四类绝缘状态为良好、一般、差、很差。

优选地，可选取一定时间T的放电视频为放电的判断片段，并根据其放电的泄露电流和放电量施加电压与额定电压比值，紫外光斑大小及其统计参数，将视频片段进行分类。

进一步，在所述步骤3中，构建基于3D-CNN和LSTM的深度学习神经网络，网络包括视频输入，视频预处理和归一化、卷积层、池化层以及LSTM的输入门和忘记门、全连接层、输出层。

进一步，池化层在空间上选取卷积区间的最大值进行池化，每次池化后的图像在时间维度和空间维度上各缩小一倍。

进一步，步骤4中，LSTM的卷积核、步长与3D-CNN的参数相同，在卷积过程中对更长规模的空间信息及其关联性进行取舍，以便完成对LSTM权重参数的优化。

进一步，利用熵最小法进行反向权值更正，采用TensorFlow平台的向量法对误差项进行反向计算和调优，使得loss值最小化，当误差项小于指定值L_C或者经过一定的训练轮次，保存网络的权重值为save.ckpt的权重文件。

本发明的有益效果在于：本发明将紫外视频和3D-CNN、LSTM深度学习相结合。由于绝缘子放电具有一定随机性，通过对放电视频的时间和空间信息提取放电的紫外视频的时间和空间特征，实现对绝缘子的包括放电强度和放电频度等绝缘状态进行全面评估，当电气设备发生外绝缘放电时，通过紫外成像仪所拍摄的视频和采集的各种参数，将视频送入深度学习网络，就能直接实现电气设备绝缘状态或者其放电严重程度的智能评估，提高了状态评估精确度。

附图说明

图1为基于紫外视频绝缘子绝缘状态诊断网络流程图；

图2为训练集和测试集紫外视频的分辨率和长度等预处理示意图；

图3为紫外光斑面积和光子数的环境因素归一化操作示意图；

图4为紫外图像光斑面积计算流程图；

图5为绝缘子紫外图像绝缘状态诊断3D-CNN和LSTM的深度学习网络构架图。

具体实施方式

下面结合附图，对本发明的具体实施例作详细说明。

本发明提出一种基于紫外视频的3D卷积神经网络(3D-CNN)和长短期记忆(LSTM)的绝缘子绝缘状态评估方法，绝缘子的绝缘状态可以按照良好、一般、差、很差进行评估。通过日盲紫外成像仪获得绝缘子放电的视频，对视频进行帧提取和灰度化处理，通过可见光通道，采用卷积神经网络的方法，实现绝缘子本体的识别和缺陷类型的判断；将视频输入3D卷积神经网络中以获得较好的抽象化的空间放电信息，随后将输出信息输入LSTM网络，以获取较好的抽象化的放电时间信息，经过Softmax Layer判断绝缘子的绝缘状态。

图1为基于紫外视频的绝缘子绝缘状态诊断网络流程图，包括：

步骤1：对采集的绝缘子的紫外放点视频进行预处理。包括采集视频的帧率、视频时长、分辨率等进行统一；对视频的小光斑进行消除；对拍摄的紫外成像放电视频进行光子数和光斑面积的温度、湿度、气压、增益和拍摄距离等的归一化处理。

图2示出了对采集视频的帧率、时长和分辨率处理的流程。采集帧率≥25FPS(frame per second)紫外放电视频，将采集的视频采用统一处理成为时间长度为5s，分辨率为448×448的视频。

采用形态学运算，进行开闭运算等，将视频中的小光斑进行消除。形态学运算包括形态学的开运算和闭运算。

开运算

可以等价的描写为

其中(B)_z表示在图像内以原点为z的平移，也即B在A的内部转动时，所能达到最远的点。

闭运算

理解为B在A的边界外转动时，B中的点能够达到的最远点。

本发明基于CoroCAM504试验获得的电压等级选取50kV，放电量418pC，对光斑面积和光子数温度、湿度、气压、增益和拍摄距离的归一化调节，如图3所示。通过试验的拟合公式为：

湿度：f(x)＝2.553×10⁶x^-2.565

气压：f(p)＝1.27×10⁷p^-1.55

增益：s(g)＝1.632e^0.07466

距离：s(d)＝43020d^-1.859

温度：温度大于10℃时温度对光斑面积几乎没有影响

步骤2：结合放电的紫外光斑面积、光子数及两者的统计参数和四类放电分级，利用视频标注软件对放电视频进行标注，建立放电视频的数据库。

提取紫外放电的光子数和光斑面积及其统计参数，计算过程如下式所示：

S_ins表示基于YOLO网络识别而来的绝缘子本体的面积。S表示光斑面积，M和N分别为二值图像矩阵的行和列数值，B(x,y)为形态学滤波后的二值图像。光斑面积实际上是放电光斑区域像素点的个数，本发明定义其单位为像素(Pixel)，UV_count表示紫外成像仪测得的绝缘子放电光子数，S_ins表示绝缘子本体面积值。图4示出了光斑面积的计算流程。

通过视频的帧提取，可获得紫外视频的放电光斑面积和光子数，然后通过统计计算得到放电光斑面积和光子数的最大值、方均根值、最大值出现的概率等统计参数。根据试验获得的绝缘子放电同步采集的施加电压、泄漏电流、可听声将放电阶段分为四类：无放电、电晕放电、小电弧放电、大电弧放电，分别标注其四类绝缘状态为良好、一般、差、很差。可选取一定时间T的放电视频为放电的判断片段，并根据其放电的泄露电流和放电量施加电压与额定电压比值，紫外光斑大小及其统计参数，将视频片段进行分类。数据库分为训练集、测试集、验证集三部分。

视频中没有明显放电光斑：即且光子数最大值小于8，泄漏电流最大值小于5mA清晰可见的绝缘子本体标定为“良好”，标志着绝缘子的正常状态；

将绝缘子紫外视频中相对光斑面积值大于0.3但小于0.5，且光子数最大值小于500，泄漏电流最大值小于50mA的状态标记为“一般”，标志着放电进入电晕放电状态。

将绝缘子紫外视频中相对光斑面积值大于0.5,但小于0.9，且光子数大于500小于1500的图像帧数占比为85％以上，泄漏电流最大值大于50小于150mA的状态标记为“差”，标志着放电进入强烈电晕或小电弧的放电状态。

将绝缘子紫外视频中相对光斑面积平均值大于0.9，最大光斑面积值出现的概率大于0.2，且最大光子数大于1500，泄漏电流最大值大于150mA的状态标记为“很差”，标志着放电进入大电弧的剧烈放电，这种情况下的闪络随时可能发生。

步骤3：将训练集中的视频送入3D-CNN网络进行训练和特征提取，获得放电点位置、严重程度和时间维度的特征。

在此步骤中，构建基于3D-CNN和LSTM的深度学习神经网络，网络包括视频输入，视频预处理和归一化(前面步骤1)、卷积层、池化层以及LSTM的输入门和忘记门、全连接层、输出层。

其中3D-CNN的具体结构如图5所示，包括3D卷积层和3D池化层，其中卷积核为3维，默认为5*5*5，步长可调各个方向默认值为1，卷积核的数量随着卷积层的深入逐渐由16,32，64,128,256,512，最后增加为1024。池化层进行分辨率和时间长度上的尺度缩减，池化方式可调，默认选取最大值池化，主要进行操作为在空间上选取卷积区间的最大值进行池化，每次池化后的图像在时间维度和空间维度上各缩小一倍。

步骤4：将经过3D-CNN网络的输出接入LSTM网络，分析紫外成像放电若干次放电的光斑面积变化时间和空间信息，将3D-CNN和LSTM的特征信息通过全连接层连接到不同绝缘状态。

LSTM主要涉及输入门、遗忘门、输出门、核心门。其中门函数的激活函数采用sigmoid函数，输出门的激活函数采用tanh函数。

sigmoid函数：σ(z)＝(1+e^-x)^-1

tanh函数：tangh(x)＝(e^z-e^-z)(e^z+e^-z)^-1

LSTM的卷积核、步长可调，默认值与上述3D-CNN的参数相同，在卷积过程中主要功能为对更长规模的空间信息及其关联性的取舍，以便完成对LSTM权重参数的优化，全连接层的利用softmax损失函数对应于四类输出值(一般、良好、差、很差)。

softmax损失函数为：

其中，N表示总体样本数，f_i和f_j表示第i个和第j个样本的输出值。

步骤5：经过反复的前向和反向运算，通过最小化误差的方法对系统进行参数优化得到权重文件，并将文件保存以备识别之用。

例如，可利用熵最小法进行反向权值更正，采用TensorFlow平台的向量法对误差项进行反向计算和调优，使得loss值最小化，当误差项小于指定值L_C或者经过一定的训练轮次，保存网络的权重值为save.ckpt的权重文件。

步骤6：将测试集视频输入训练好的深度学习网络中，将视频经过预处理(前述步骤1)之后通过调用保存的权重文件，实现对测试视频的归类。

当调用测试命令时，将测试集中的视频送入到网络结构进行基于3D-CNN和LSTM的卷积运算，调用经过训练保存的权重文件，经过网络计算自动提取和识别测试视频的空间和时间的特征信息，得出测试视频中的绝缘子的绝缘状态。

此实施例仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims

1.一种基于紫外视频的3D-CNN和LSTM的绝缘子绝缘状态评估方法，包括：

步骤1：对采集的绝缘子的紫外放电视频进行预处理，包括对紫外放电视频的帧率、时长、分辨率进行统一；对紫外放电视频的小光斑进行消除；对紫外放电视频进行光子数和紫外光斑面积的温度、湿度、气压、增益和拍摄距离的归一化处理；

步骤2：结合紫外放电视频的紫外光斑面积、光子数及两者的最大值、方均根值、最大值出现的概率和四类放电分级，利用视频标注软件对紫外放电视频进行标注，建立包括训练集、测试集、验证集的紫外放电视频的数据库；

步骤3：将训练集中的紫外放电视频送入3D-CNN网络进行训练和特征提取，获得放电点位置、严重程度和时间维度的特征；

步骤4：将经过3D-CNN网络的输出接入LSTM网络，分析紫外成像放电若干次的紫外光斑面积变化时间和空间信息，将3D-CNN和LSTM的特征信息通过全连接层连接到不同绝缘状态；

步骤6：将测试集紫外放电视频输入训练好的深度学习网络中，将测试紫外放电视频经过所述步骤1的预处理之后通过调用保存的所述权重文件，实现对测试紫外放电视频的归类。

2.根据权利要求1所述的一种基于紫外视频的3D-CNN和LSTM的绝缘子绝缘状态评估方法，其特征在于：采用形态学运算，进行开闭运算，将紫外放电视频中的小光斑进行消除。

3.根据权利要求1所述的一种基于紫外视频的3D-CNN和LSTM的绝缘子绝缘状态评估方法，其特征在于：根据试验获得的绝缘子放电同步采集的施加电压、泄漏电流、可听声将放电阶段分为无放电、电晕放电、小电弧放电、大电弧放电四类，分别标注其四类绝缘状态为良好、一般、差、很差。

4.根据权利要求1所述的一种基于紫外视频的3D-CNN和LSTM的绝缘子绝缘状态评估方法，其特征在于：选取一定时间T的紫外放电视频为放电的判断片段，并根据其放电的泄漏电流和放电量施加电压与额定电压比值，紫外光斑面积大小及其统计参数，将紫外放电视频片段进行分类。

5.根据权利要求1所述的一种基于紫外视频的3D-CNN和LSTM的绝缘子绝缘状态评估方法，其特征在于：在所述步骤3中，构建基于3D-CNN和LSTM的深度学习神经网络，所述神经网络包括紫外放电视频输入、预处理和归一化、卷积层、池化层以及LSTM的输入门和忘记门、全连接层、输出层。

6.根据权利要求5所述的一种基于紫外视频的3D-CNN和LSTM的绝缘子绝缘状态评估方法，其特征在于：所述池化层在3维空间和时间维度上选取卷积区间的最大值进行池化，每次池化后的图像在时间维度和空间维度上各缩小一倍。

7.根据权利要求5所述的一种基于紫外视频的3D-CNN和LSTM的绝缘子绝缘状态评估方法，其特征在于：所述步骤4中，LSTM的卷积核、步长与3D-CNN的参数相同，在卷积过程中对更长规模的空间信息及其关联性进行取舍，以便完成对LSTM权重参数的优化。

8.根据权利要求1所述的一种基于紫外视频的3D-CNN和LSTM的绝缘子绝缘状态评估方法，其特征在于：利用熵最小法进行反向权值更正，采用TensorFlow平台的向量法对误差项进行反向计算和调优，使得loss值最小化，当误差项小于指定值L_C或者经过一定的训练轮次，保存网络的权重值为save.ckpt的权重文件。