CN110070530B - 一种基于深度神经网络的输电线路覆冰检测方法 - Google Patents

Abstract

一种基于深度神经网络的输电线路覆冰检测方法，充分利用了图像处理中的去模糊化和提升对比度等技术，将摄像头拍摄的质量参差不齐的现场图像做预处理操作，以用作深度神经网络检测模型的训练与测试数据，使模型可以应对不同现场环境下的检测任务，模型不仅识别准确率表现优于现有的输电线路覆冰检测方法，而且检测速度也远远快于现有技术，使得实时监控线路状况成为现实。

Description

一种基于深度神经网络的输电线路覆冰检测方法

技术领域

本发明涉及一种基于深度神经网络的输电线路覆冰检测方法，属于电力智能运维的技术领域。

背景技术

随着我国社会经济的快速发展，工业界和民众对电力的需求逐年攀升，电力部门对社会用电的稳定供给已成为我国社会不可或缺的一环，进一步提高电网效率、保障作业人员安全、减少安全事故的发生也是智能电网新的目标。高压输电线路覆冰可能会引起线路的跳闸、断线、倒杆、导线舞动、绝缘子闪络和通信中断等事故。现有的检测线路覆冰的方法主要有人工巡检、观冰站检测和传统图像检测等方法。人工巡检和观冰站检测等主要依赖作业人员的方式不仅效率低下，造成了巨大的人力资源浪费，而且容易因为工作人员失误导致各种安全事故的发生。传统的图像检测方法对拍摄图片的质量要求较高，而且面对比较复杂的实际作业场景，往往不能准确检测出线路的覆冰情况。

现有技术中，由作者周筑博公开了论文《基于深度卷积神经网络的输电线路可见光图像目标检测》。中国专利文献CN106595551B公开了一种基于深度学习的输电线路覆冰图像中覆冰厚度检测方法，属于数字图像识别领域，目的在于克服现有应拉力监测中灵敏度和可靠性不高的问题，提高输电线路覆冰厚度监测的准确性和自动化程度，本发明用于电力系统输电线路的覆冰厚度监测与超限告警，包括：(1) 收集覆冰图像；(2)预处理图像并建立数据集；(3)建立卷积神经网络； (4)训练并测试模型；(5)提取覆冰厚度信息并传回至控制中心等五步骤。

由上对比可知，现有技术和本发明存在以下技术区别：

(1)现有技术 中使用的卷积技术是传统的卷积，存在冗余参数过多的问题，也因此造成卷积速度慢、运算成本巨大等问题，而本发明在特征提取模块第1阶段VGG16主干网络中大量使用3＊3的卷积核，以更少的参数数量获得更大的感受野，并在剩余3个阶段的conv6-conv11新增卷积层中使用depthwise separable convolution 进一步减少参数量。本发明因此具有检测速度更快、运算成本更小、对硬件依赖性更弱的优势。

(2)现有技术 中实现的输电线路覆冰检测仅仅使用卷积网络提取图像特征，然后对特征做分类操作，判断有无冰雪覆盖，没有实现覆冰线路在图像中的定位功能，而本发明在步骤S32中根据S31提取的多层特征图，生成两类特征向量，一类是分类特征向量，另一类是坐标偏移量特征向量，以达到在图像中定位覆冰线路的目标。获得覆冰线路的定位可以进一步帮助作业人员在输电线路部署环境中找到覆冰位置，更迅速地完成除冰工作。

(3)在复杂的输电线路环境下，输电线路的多个组成器件在监控摄像机与无人机巡检拍摄的图像中的尺度大小往往发生巨大变化，因此使用单一尺度的检测模型会造成对小尺度或大尺度的目标检测失效的问题。相比文献技术，本发明使用卷积网络提取多层次的特征图信息，实现多尺度的检测功能，相应解决了检测失效的问题。

综上，现有技术针对输电线路覆冰检测的技术手段依然存在以下技术问题：

(1)为了满足各地区的用电需求，输电线路在各种自然环境和城市环境中广泛部署，其实际所处的环境差异性较大，因此训练模型使用的数据集往往不能覆盖所有部署场景，并且已覆盖的不同场景上的数据容易出现分布不均匀的现象。根据我们的统计，不同场景类别上数据的稀疏问题严重，数据不均衡容易导致深度神经网络模型在面对缺失数据或稀疏数据时准确率不高。

(2)电网中部署的摄像头与无人机巡检使用的无人机的品牌往往由多个厂家提供，以及实际输电线路在所处环境中遭受的恶劣天气带来的不良影响，会使收集到的高压线路图像数据存在暗光、抖动模糊等质量问题，不利于准确判断线路积压冰雪的情况，因此如何使用去模糊化、提升对比度等技术改善图像质量，以作为深度神经网络检测模型的输入数据在技术上具有挑战性。

(3)在风雪环境中，摄像头的可视距离较低，而输电线路往往由于线路较细且积雪的原因，容易与周围的积雪环境融为一体，凭借肉眼在短时间内也往往不能分辨，这都给深度神经网络检测模型带来了巨大挑战。

本发明考虑了近年电网行业广泛使用的无人机巡检方法，针对无人机巡检与输电线路预设监控两种方法分别设计了检测策略。

发明内容

针对现有技术的不足，本发明提供一种基于深度神经网络的输电线路覆冰检测方法。本发明旨在通过一种基于深度神经网络的目标检测模型，对电网系统拍摄的高压输电线路的图像进行实时检测，以准确判断线路是否积压冰雪。该方法不需要大量的人力配置，减少了作业人员的浪费，并且具有实时性强、准确率高等优点，从而极大提高了电网的运营效率，降低了电网的经营成本。

技术术语解释：

深度神经网络：是在输入层和输出层之间具有多个隐藏层的人工神经网络。神经网络由许多相互关联的概念化的人造神经元组成，这些人造神经元之间可以互相传递数据，并且根据网络调整相关权重。

目标检测：是计算机视觉领域的传统任务，与较为单纯的图像识别问题不同，目标检测任务不仅要在给定的图像上识别出存在的物体，给出物体的所属类别，还需要将该物体的位置通过目标框给出。

Depthwise separable convolution，即深度可分离卷积：是深度卷积与分离卷积的结合，该结构和常规卷积操作类似，可用来提取抽象特征，但相比于常规卷积操作，其参数量和运算成本大量降低。

本发明的技术方案如下：

一种基于深度神经网络的输电线路覆冰检测方法，其特征在于，包括以下步骤：

S1：构建高压输电线路的实景数据集,对数据集的实景图像进行图像增强并添加标签信息；

S2：使用图像处理技术以提高训练、验证与测试数据集的图像质量；

S3：构建生成候选框的深度卷积神经网络，整个网络包括2个模块：第一个模块使用VGG16主干网络与新增卷积层提取输电线路实景图的不同层级的特征图信息，第二个模块在前一个模块生成的多层的特征图中生成默认候选框以及对应的特征向量，用来进行候选框的坐标偏移量回归任务与候选框预测目标类别的分类任务；

S4：设计Loss函数以获得训练好的高压输电线路覆冰检测模型；

S5：部署训练好的高压输电线路覆冰检测模型到服务器中，对电网的高压输电线路进行检测。

根据本发明优选的，所述步骤S1包括以下子步骤：

S11：将电网部署在输电线路中的摄像头与无人机巡航拍摄的有关输电线路的图像收集起来，构建数据集；

S12：数据增广技术扩充输电线路数据集；

S13：将所有图像数据统一设置成固定尺寸；

S14：采取人工标注的手段对数据集中的图像数据进行逐一标注，使用LabelImg标注工具在图像中设定ground truth，即完成添加标签信息；

S15：采用5:2:3的比例分割数据集：将其分为训练集、验证集和测试集。

根据本发明优选的，所述步骤S2包括以下子步骤：

S21：降低数据集中的图像信息的模糊度，优选的，应用Hessian Regularization方法以降低数据集中的图像信息的模糊度；

S22：使用反锐化掩模法进一步提高输电线路的细节部分锐化程度；

S23：纠正数据集中的图像曝光不足：利用伽马校正的原理进行纠正。

根据本发明优选的，所述步骤S3包括以下子步骤：

S31：候选框生成网络的特征提取模块分为4个阶段，以获取图像中的多层次语义信息：

以VGG16的前5层卷积网络作为第1个阶段；

然后将VGG16中的fc6和fc7两个全连接层转化为两个卷积层 Conv6和Conv7，并以Conv7作为模块的第2个阶段；

继续增加Conv8、Conv9、Conv10和Conv11四层卷积层作为模块的第3个阶段；

继续增加Conv9与Conv11为模块的第4个阶段；

其中，低层次的特征图代表底层语义信息，适合对小尺度的线路目标进行识别，高层次的特征图代表高层语义信息，有利于对大尺度的线路目标进行检测。

优选的，在步骤S31中，在每个阶段操作中包含了多个卷积层操作，每个卷积层使用卷积核1*3，3*1的depthwise separable convolution卷积；

S32:候选框生成网络的第二个模块中，4个阶段生成的特征图中的每个网格分配了k个预先定义的不同尺度与比例的候选框，分别用两个3*3卷积核对其进行卷积，得到这k个预设候选框的两个特征值，一个特征值是分类用的(c+1)个类别置信度，包括c个目标类别与1个背景类，另一个特征值用于预测预设候选框的4个坐标偏移量 (x，y，w，h)。

根据本发明优选的，所述步骤S4包括以下子步骤：

S41：

公式(1)中Loss(x,c,l,g)是模型的整体损失函数,包括α倍 坐标偏移回归损失L_loc(x,l,g)与类别置信度损失L_conf(x,c)，N是训练模型时的数据批次大小，以求得当批次训练数据的平均损失，α是指定的介于0-1之间的超参数。

公式(1)、(2)中，L_loc(x,l,g)表示预测框的坐标偏移与ground truth的坐标偏移之间的坐标回归损失，其中cx、cy、w、h分别表示预测的目标框在图像中的中心点偏移与目标框的宽度与高度，

作为标志向量，在{0，1}中取值，表示第i个预测框与ground第j 个目标框在类别是k时是否匹配；

公式(3)中，L_conf(x,c)是预测框的预测类别与ground truth的类别标签之间的分类损失的总和,

作为标志向量，在{0，1}中取值，表示第i个预测框与ground第j个目标框在类别是p时是否匹配；

S42:使用随机梯度下降优化方法，根据S41计算的损失对检测模型的参数进行更新操作。

根据本发明优选的，所述步骤S5包括以下子步骤：

S51:将模型部署到ubuntu16.04服务器上，配置合适的运行环境；

S52:实时接收部署在高压输电线路上的摄像头拍摄的线路图像，对每个摄像头传来的图像信息间隔固定时间检测一次，优选的，1分钟；在连续固定次数检测线路存在覆盖冰雪的情况后向监控中心发送预警信息，优选的，固定次数为三次；

S53:实时接收续航无人机拍摄的高压输电线路图像，每间隔固定时间对图像信息检测一次，优选的，所述固定时间为0.2s；如识别到线路覆盖冰雪，实时发送预警信息。

本发明的技术效果如下：

本发明充分利用了图像处理中的去模糊化和提升对比度等技术，将摄像头拍摄的质量参差不齐的现场图像做预处理操作，以用作深度神经网络检测模型的训练与测试数据，使模型可以应对不同现场环境下的检测任务，模型不仅识别准确率表现优于现有的输电线路覆冰检测方法，而且检测速度也远远快于现有技术，使得实时监控线路状况成为现实。考虑到模型存在一定的漏检率，本发明所述模型会在极短时间内对同一位置的输电线路进行多次检测，以达到电网运营中宁可错检不可漏检的工作要求。

附图说明

图1是本发明所述检测方法的流程图。

图2是本发明实施例的原始覆冰图像1。

图3是本发明实施例的检测原始覆冰图像1的检测结果。

图4是本发明实施例的原始覆冰图像2。

图5是本发明实施例的检测原始覆冰图像2的检测结果。

具体实施方式

下面结合实施例和说明书附图对本发明做详细的说明，但不限于此。

实施例、

如图1所示。

一种基于深度神经网络的输电线路覆冰检测方法，包括以下步骤：

S1：构建高压输电线路的实景数据集,对数据集的实景图像进行图像增强并添加标签信息；

S2：使用图像处理技术以提高训练、验证与测试数据集的图像质量；

S3：构建生成候选框的深度卷积神经网络，整个网络包括2个模块：第一个模块使用VGG16主干网络与新增卷积层提取输电线路实景图的不同层级的特征图信息，第二个模块在前一个模块生成的多层的特征图中生成默认候选框以及对应的特征向量，用来进行候选框的坐标偏移量回归任务与候选框预测目标类别的分类任务；

S4：设计Loss函数以获得训练好的高压输电线路覆冰检测模型；

S5：部署训练好的高压输电线路覆冰检测模型到服务器中，对电网的高压输电线路进行检测。

所述步骤S1包括以下子步骤：

S11：将电网部署在输电线路中的摄像头与无人机巡航拍摄的有关输电线路的图像收集起来，构建数据集；

S12：数据增广技术扩充输电线路数据集，利用对数据集中图像的待识别目标区域使用随机平移、垂直翻转、水平翻转、等比例缩放、添加高斯噪声和椒盐噪声等来扩充输电线路数据集；

S13：将所有图像数据统一设置成固定尺寸，优选的尺寸为 300*300的尺寸；

S14：采取人工标注的手段对数据集中的图像数据进行逐一标注，使用LabelImg标注工具在图像中设定ground truth，即完成添加标签信息；

S15：采用5:2:3的比例分割数据集：将其分为训练集、验证集和测试集。

所述步骤S2包括以下子步骤：

S21：降低数据集中的图像信息的模糊度，优选的，应用Hessian Regularization方法以降低数据集中的图像信息的模糊度；

S22：使用反锐化掩模法进一步提高输电线路的细节部分锐化程度；

S23：纠正数据集中的图像曝光不足：利用伽马校正的原理进行纠正。

所述步骤S3包括以下子步骤：

S31：候选框生成网络的特征提取模块分为4个阶段，以获取图像中的多层次语义信息：

以VGG16的前5层卷积网络作为第1个阶段；

然后将VGG16中的fc6和fc7两个全连接层转化为两个卷积层 Conv6和Conv7，并以Conv7作为模块的第2个阶段；

继续增加Conv8、Conv9、Conv10和Conv11四层卷积层作为模块的第3个阶段；

继续增加Conv9与Conv11为模块的第4个阶段；

其中，低层次的特征图代表底层语义信息，适合对小尺度的线路目标进行识别，高层次的特征图代表高层语义信息，有利于对大尺度的线路目标进行检测。

优选的，在步骤S31中，在每个阶段操作中包含了多个卷积层操作，每个卷积层使用卷积核1*3，3*1的depthwise separable convolution卷积，此步骤用以进一步减少参数，减少计算量，提高运行速度；

S32:候选框生成网络的第二个模块中，4个阶段生成的特征图中的每个网格分配了k个预先定义的不同尺度与比例的候选框，分别用两个3*3卷积核对其进行卷积，得到这k个预设候选框的两个特征值，一个特征值是分类用的(c+1)个类别置信度，包括c个目标类别与1个背景类，另一个特征值用于预测预设候选框的4个坐标偏移量 (x，y，w，h)。

所述步骤S4包括以下子步骤：

S41：

公式(1)中Loss(x,c,l,g)是模型的整体损失函数,包括α倍 坐标偏移回归损失L_loc(x,l,g)与类别置信度损失L_conf(x,c)，N是训练模型时的数据批次大小，以求得当批次训练数据的平均损失，α是指定的介于0-1之间的超参数。

公式(1)、(2)中，L_loc(x,l,g)表示预测框的坐标偏移与ground truth的坐标偏移之间的坐标回归损失，其中cx、cy、w、h分别表示预测的目标框在图像中的中心点偏移与目标框的宽度与高度，

作为标志向量，在{0，1}中取值，表示第i个预测框与ground第j 个目标框在类别是k时是否匹配；

公式(3)中，L_conf(x,c)是预测框的预测类别与ground truth 的类别标签之间的分类损失的总和,

作为标志向量，在{0，1}中取值，表示第i个预测框与ground第j个目标框在类别是p时是否匹配；

S42:使用随机梯度下降优化方法，根据S41计算的损失对检测模型的参数进行更新操作。

所述步骤S5包括以下子步骤：

S51:将模型部署到ubuntu16.04服务器上，配置合适的运行环境；

S52:实时接收部署在高压输电线路上的摄像头拍摄的线路图像，对每个摄像头传来的图像信息间隔固定时间检测一次，优选的，1分钟；在连续固定次数检测线路存在覆盖冰雪的情况后向监控中心发送预警信息，优选的，固定次数为三次；

S53:实时接收续航无人机拍摄的高压输电线路图像，每间隔固定时间对图像信息检测一次，优选的，所述固定时间为0.2s；如识别到线路覆盖冰雪，实时发送预警信息。

如图2、3所示，图2是本发明实施例的原始覆冰图像1，图3 是本发明实施例的检测原始覆冰图像1的检测结果，即在图3中矩形框选中区域就是输电线路的覆冰区域。

如图4、5所示，图4是本发明实施例的原始覆冰图像2，图5 是本发明实施例的检测原始覆冰图像2的检测结果，即在图5中矩形框选中区域就是输电线路的覆冰区域。

由上可知，本发明所述的检测方法不仅识别准确率表现优于现有的输电线路覆冰检测方法，而且检测速度也远远快于现有技术。

Claims (11)

1.一种基于深度神经网络的输电线路覆冰检测方法，其特征在于，包括以下步骤：

S1：构建高压输电线路的实景数据集,对数据集的实景图像进行图像增强并添加标签信息；

S2：使用图像处理技术以提高训练、验证与测试数据集的图像质量；

S3：构建生成候选框的深度卷积神经网络，整个网络包括2个模块：第一个模块使用VGG16主干网络与新增卷积层提取输电线路实景图的不同层级的特征图信息，第二个模块在前一个模块生成的多层的特征图中生成默认候选框以及对应的特征向量，用来进行候选框的坐标偏移量回归任务与候选框预测目标类别的分类任务；

S4：设计Loss函数以获得训练好的高压输电线路覆冰检测模型；

S5：部署训练好的高压输电线路覆冰检测模型到服务器中，对电网的高压输电线路进行检测。

2.根据权利要求1所述的一种基于深度神经网络的输电线路覆冰检测方法，其特征在于，所述步骤S1包括以下子步骤：

S11：将电网部署在输电线路中的摄像头与无人机巡航拍摄的有关输电线路的图像收集起来，构建数据集；

S12：数据增广技术扩充输电线路数据集；

S13：将所有图像数据统一设置成固定尺寸；

S14：采取人工标注的手段对数据集中的图像数据进行逐一标注，使用LabelImg标注工具在图像中设定ground truth，即完成添加标签信息；

S15：采用5:2:3的比例分割数据集：将其分为训练集、验证集和测试集。

3.根据权利要求1所述的一种基于深度神经网络的输电线路覆冰检测方法，其特征在于，所述步骤S2包括以下子步骤：

S21：降低数据集中的图像信息的模糊度，

S22：使用反锐化掩模法进一步提高输电线路的细节部分锐化程度；

S23：纠正数据集中的图像曝光不足：利用伽马校正的原理进行纠正。

4.根据权利要求1所述的一种基于深度神经网络的输电线路覆冰检测方法，其特征在于，所述步骤S3包括以下子步骤：

S31：候选框生成网络的特征提取模块分为4个阶段，以获取图像中的多层次语义信息：

以VGG16的前5层卷积网络作为第1个阶段；

然后将VGG16中的fc6和fc7两个全连接层转化为两个卷积层Conv6和Conv7，并以Conv6和Conv7作为特征提取模块的第2个阶段；

继续增加Conv8、Conv9、Conv10和Conv11四层卷积层，并以Conv8、Conv9作为特征提取模块的第3个阶段；最后将Conv10和Conv11作为此特征提取模块的第4阶段；

其中，低层次的特征图代表底层语义信息，适合对小尺度的线路目标进行识别，高层次的特征图代表高层语义信息，有利于对大尺度的线路目标进行检测；

S32: 候选框生成网络的第二个模块中，4个阶段生成的特征图中的每个网格分配了k个预先定义的不同尺度与比例的候选框，分别用两个3*3卷积核对其进行卷积，得到这k个预设候选框的两个特征值，一个特征值是分类用的(c+1) 个类别置信度，包括c个目标类别与1个背景类，另一个特征值用于预测预设候选框的4个坐标偏移量（x，y，w，h）。

5.根据权利要求1所述的一种基于深度神经网络的输电线路覆冰检测方法，其特征在于，所述步骤S4包括以下子步骤：

S41：

公式（1）中

是模型的整体损失函数, 包括

倍坐标偏移回归损失

与类别置信度损失

，N是训练模型时的数据批次大小，以求得当批次训练数据的平均损失，

是指定的介于0-1之间的超参数；

公式（1）、（2）中，

表示预测框的坐标偏移与ground truth的坐标偏移之间的坐标回归损失，其中cx、cy、w、h分别表示预测的目标框在图像中的中心点偏移与目标框的宽度与高度，

作为标志向量，在{0，1}中取值，表示第i个预测框与ground第j个目标框在类别是k时是否匹配；

公式（3）中，

是预测框的预测类别与ground truth的类别标签之间的分类损失的总和,

作为标志向量，在{0，1}中取值，表示第i个预测框与ground第j个目标框在类别是p时是否匹配；

S42: 使用随机梯度下降优化方法，根据S41计算的损失对检测模型的参数进行更新操作。

6.根据权利要求1所述的一种基于深度神经网络的输电线路覆冰检测方法，其特征在于，所述步骤S5包括以下子步骤：

S51: 将模型部署到ubuntu16.04服务器上，配置合适的运行环境；

S52: 实时接收部署在高压输电线路上的摄像头拍摄的线路图像，对每个摄像头传来的图像信息间隔固定时间检测一次，在连续固定次数检测线路存在覆盖冰雪的情况后向监控中心发送预警信息；

S53: 实时接收续航无人机拍摄的高压输电线路图像，每间隔固定时间对图像信息检测一次，识别到线路覆盖冰雪，实时发送预警信息。

7.根据权利要求3所述的一种基于深度神经网络的输电线路覆冰检测方法，其特征在于，S21中是应用Hessian Regularization方法以降低数据集中的图像信息的模糊度。

8.根据权利要求4所述的一种基于深度神经网络的输电线路覆冰检测方法，其特征在于，在步骤S31中，在每个阶段操作中包含了多个卷积层操作，每个卷积层使用卷积核1*3，3*1的depthwise separable convolution卷积。

9.根据权利要求6所述的一种基于深度神经网络的输电线路覆冰检测方法，其特征在于，对每个摄像头传来的图像信息间隔固定时间为1分钟。

10.根据权利要求6所述的一种基于深度神经网络的输电线路覆冰检测方法，其特征在于，固定次数为三次。

11.根据权利要求6所述的一种基于深度神经网络的输电线路覆冰检测方法，其特征在于，所述固定时间为0.2s。

Images