CN113450318A - 基于无人机自主视觉的初级配电系统瓷绝缘子检测方法 - Google Patents

Abstract

本发明涉及一种基于无人机自主视觉的初级配电系统瓷绝缘子检测方法，包括以下步骤：1)采集包含正常和故障的瓷绝缘子的原始图像；2)对原始图像进行预处理，包括原始图像增广、模糊图像重建和弱光图像增强，并对预处理后的图像进行质量评估，剔除不符合质量要求的图像并标记后形成训练数据集；3)构建瓷绝缘子故障检测模型，并根据训练数据集采用两步微调的方式进行训练，并根据训练后的瓷绝缘子故障检测模型进行瓷绝缘子的故障检测。与现有技术相比，本发明具有检测精度高、自动化程度高等优点。

Description

基于无人机自主视觉的初级配电系统瓷绝缘子检测方法

技术领域

本发明涉及初级配电系统瓷绝缘子检测领域，尤其是涉及一种基于无人机自主视觉的初级配电系统瓷绝缘子检测方法。

背景技术

主配电系统由从变电站向公用馈线输送电力的电力线组成。电力系统绝缘子损坏和断裂的检查和维护对于持续供电和公共安全至关重要。因此，为了提前识别任何故障和缺陷，必须事先确保对电力线绝缘体和其他部件进行定期检查。

绝缘子串是一次架空配电线路中的重要设备，因为它们起到绝缘和提供机械强度的作用。当暴露于污染、环境条件(如灰尘、雨、风或降雪)和野生动物时，绝缘体的效率会受到影响，如此重要的部件在损坏时会给电力供应和公共安全带来严重问题。

目前用于支撑和绝缘架空线路的电极上的瓷绝缘子的研究非常少，架空配电线路在城市和农村都非常普遍。在这些系统中，瓷型绝缘体由于其坚固性和低成本而被普遍使用，针式和悬挂盘式瓷绝缘子用于11kV至33kV的电压范围，这种销绝缘体位于电极的横臂上，横臂在上端具有凹槽，以保持导体并将电极与导体绝缘，悬挂盘式绝缘子为电力线提供机械强度和绝缘。雨棚或衬裙由陶瓷制成，这是一种无孔防水材料，存在于针式和盘式绝缘子上，提供一条很长的泄漏路径，避免闪络和穿孔，破裂的雨棚会带来闪络和断电的风险，需要提前检测以防止未来出现异常，，而目前的一次架空配电线路的绝缘子巡检大多停留在人工巡检阶段，费时费力且效率不高。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于无人机自主视觉的初级配电系统瓷绝缘子检测方法。

本发明的目的可以通过以下技术方案来实现：

一种基于无人机自主视觉的初级配电系统瓷绝缘子检测方法，包括以下步骤：

1)采集包含正常和故障的瓷绝缘子的原始图像；

2)对原始图像进行预处理，包括原始图像增广、模糊图像重建和弱光图像增强，并对预处理后的图像进行质量评估，剔除不符合质量要求的图像并标记后形成训练数据集；

3)构建瓷绝缘子故障检测模型，并根据训练数据集采用两步微调的方式进行训练，并根据训练后的瓷绝缘子故障检测模型进行瓷绝缘子的故障检测。

所述的步骤1)中，通过无人机、数码相机、智能手机或用于配电线路检查的移动电话采集瓷绝缘子的原始图像。

所述的步骤2)中，原始图像增广具体为：

通过无人机相机拍摄不同视角的不同背景的真实图像，并在这些真实图像中添加不同类型的故障绝缘子图像后形成新图像，实现原始图像的增广。

所述的步骤2)中，通过几何并置、裁剪、缩放、镶嵌、翻转和缩放实现原始图像的增广。

所述的步骤2)中，模糊图像重建具体为：

对于原始图像中的低亮度和低分辨率的模糊图像，采用深度拉普拉斯金字塔超分辨率网络进行模糊图像重建，获取超分辨率的清晰图像。

在采用深度拉普拉斯金字塔超分辨率网络进行模糊图像重建过程具体为：

通过特征嵌入网络对高维非线性特征图进行变换，由换位卷积层以2的比例对提取的特征进行上采样，由卷积层进行子带残留图像。

所述的步骤2)中，弱光图像增强具体为：

对于存在弱光问题的原始图像，采用LEM算法增强曝光校正的弱光图像。

所述的步骤2)中，对预处理后的图像进行质量评估具体为：

采用BRISQUE图像质量评估算法计算图像的平均减对比度归一化系数，即局部归一化亮度，评估分数越低，则表示图像质量越好，通过设置阈值剔除不符合质量要求的图像，最终进行故障类别标记后形成训练数据集。

所述的步骤3)中，瓷绝缘子故障检测模型采用YOLOv4网络构架构建。

所述的步骤3)中，采用两步微调的方式进行训练，具体为：

第一步将训练数据集中标记正常的绝缘子图像结合COCO数据集中的图像共同作为YOLOv4网络的输入进行训练；

第二步将训练数据集中标记故障的绝缘子图像再次输入到第一步训练后的YOLOv4网络中进行训练。

与现有技术相比，本发明具有以下优点：

一、由于目前还没有包含绝缘子的图像数据集，为避免过拟合问题，本发明通过几何并置、裁剪、缩放、镶嵌、翻转和缩放实现原始图像的增广，并且通过模糊图像重建、弱光图像增强以及质量评估筛选的方式得到高质量的训练图像作为训练样本，有效的提高了检测精度。

二、两步微调：通过结合现有的COCO数据集进行两步训练，将学习到的正常绝缘体图像转移到来自COCO数据集的先前学习到的特征之上，使得模型学习正常绝缘体数据集的训练样本中存在的不同绝缘体特征，克服了深度卷积结构的过拟合问题，进一步提高了检测精度。

附图说明

图1为本发明的总体方法流程图。

图2对低分辨率图像进行上采样的采样流程。

具体实施方式

下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

如图1所示，本发明提供一种基于无人机自主视觉的初级配电系统瓷绝缘子检测方法，主要包括原始图像的获取、基于深度拉普拉斯超分辨网络重建高分辨率训练图像、基于BRISQUE算法的图像评估以及基于YOLOv4的绝缘子故障检测，具体为使用无人机(UAV)、数码相机和用于配电线路检查的移动电话采集正常和故障引脚和悬挂盘类型的绝缘体图像形成数据集，并且对数据集进行预处理，包括数据集生成、数据集增广、使用LapSRN的图像重建、弱光增强、图像质量评估和数据集标记，最后将预处理后的数据集利用YoloV4架构对检测模型进行训练，并利用训练后的检测模型进行实时故障分类检测。

以下对各步骤的内容进行具体描述。

1)为了提高绝缘子故障检测性能，从无人机等来源获取的数据应具有高质量和丰富的特征，在训练数据集的获取过程中，存在一些模糊的图像，造成图像模糊的原因一个是从具有正常和故障销和悬挂盘类型的多个绝缘体的图像中裁剪出故障绝缘体片时，裁剪图像会降低图像的分辨率，另一个原因则是由于无人机振动和机身造成的图像失真。为了克服图像模糊的问题，本发明使用了深度拉普拉斯金字塔超分辨率网络，具有深度拉普拉斯金字塔的超分辨率为高分辨率图像重建提供了快速且精确的超分辨率解决方案，深度拉普拉斯金字塔超分辨率网络包括两个阶段：卷积层在特征提取分支中从低分辨率输入图像学习非线性特征映射，并且在图像重建分支中将低分辨率图像的采样提高到更精细的水平，然后在卷积层的帮助下预测残差，第一步是通过特征嵌入网络对高维非线性特征图进行变换。第二步由换位卷积层以2的比例对提取的特征进行向上采样，最后由卷积层进行子带残留图像(卷积)，除了第一层之外的所有卷积层中的LapSRN的训练中，对输入左后图像、图像上采样层和用于预测残差的层使用64个滤波器。分别使用大小为3×3和4×4的卷积层和转置卷积层的滤波器。为了保持每一级的输入大小相同，在卷积之前在边界周围使用零填充。

基于深拉普拉斯金字塔的网络由用于在每个金字塔级提取非线性特征的特征嵌入子网络、用于上采样特征图和图像的转置卷积层以及用于预测子带残差的卷积层组成，由于每一层的网络结构高度相同，因此这些组件的权重分布在金字塔层，以减少网络参数的数量。

对于数据集增广，由于大多数原始图像是从商业区和住宅区的架空电线上拍摄的。基于不同的视角和曝光，由于现有的数据集中没有绝缘子图像类别，而数据集中故障绝缘子的占比非常小，在训练时很容易出现过拟合现象，为了克服这个问题，需要在训练数据集中增加图像，增广数据集并消除类不平衡；从由不同背景和不同光线条件组成的无人机视频中提取帧，将来自不同视角的故障绝缘子图像添加到从真实图像提取的这些背景中，实现故障绝缘子图像集的增广。

对于弱光图像增强，在获取训练数据集的过程中，由于附近建筑物的阴影或多云天气，有些图像存在弱光问题，这种情况会阻碍绝缘体的许多特征，尤其是颜色，使得难以区分绝缘体的黑色和深棕色，这种问题如果在训练数据集中持续存在，可能导致绝缘体及其结构的低可见度。图像中存在的这种伪影降低了计算机视觉和图像处理技术的整体性能，为了克服这些问题，本发明使用LEM算法来增强曝光校正的弱光图像。

如图2所示，在除了第一层之外的所有卷积层中的深度拉普拉斯金字塔网络的训练中，对输入左后图像、图像上采样层和用于预测残差的层使用64个滤波器，分别使用大小为3×3和4×4的卷积层和转置卷积层的滤波器，为了保持每一级的输入大小相同，在卷积之前在边界周围使用零填充，为了生成高分辨率图像

学习类似于基本事实的映射函数y，使用有效的损失函数代替最小化均方误差，损失函数计算如下：

基于深度拉普拉斯金字塔模型由用于在每个金字塔级提取非线性特征的特征嵌入子网络、用于上采样特征图和图像的转置卷积层以及用于预测子带残差的卷积层组成，由于每一层的网络结构高度相同，因此这些组件的权重分布在金字塔层，以减少网络参数的数量。

2)图像质量是高性能目标检测模型的核心之一。因为高度可见的图像提供了图像中存在的物体的丰富的空间特征。鉴于这种要求，本发明对部分训练图像采用了不同的图像处理技术，如基于拉普拉斯算子的低分辨率图像的超分辨率，为了评估这种图像的质量以适合于训练绝缘子检测模型，本发明使用了图像质量评估算法，图像质量评估算法是用于观察和评估不同计算机视觉和模式识别任务(如图像处理、图像压缩和图像传输)性能的量化指标，图像质量评估算法由两类组成，第一类是基于参考的质量评估，具体为将高质量图像作为参考，并将失真或低质量图像与之进行比较。在发明中使用的是另一类BRISQUE，一种盲参考图像空间质量评估，与基于参考的评估相比，BRISQUE是较为高效的，因为它不需要任何变换来从图像像素计算特征，为了计算给定图像的BRISQUE值，首先通过等式计算平均减对比度归一化系数(MSCN)，也称为局部归一化亮度：

进行BRISQUE后的图像质量按1-100的比例计算，输出分数越低，则评估的图像质量越好。

3)Yolo是一款单级检测器，专为实时物体检测而设计，同时执行物体分类和定位。在目标检测中，高实时处理帧率和检测精度是首要目标，YoloV4在实时性能上优于所有以前的对象检测器，如fast-RCNN、单镜头多盒检测器(SSD)、YoloV3等。YoloV4对象检测模型在MS COCO数据集上进行了基准测试，在特斯拉V100上实现了65Fps的推理速度，准确率为43.5％AP(65.7％AP50)。目标检测器通过卷积神经网络中枢压缩输入图像的特征，来自卷积主干的特征层的混合和保持发生在目标检测器的颈部。图像中特定对象的检测发生在检测器的头部。由于YoloV4是单级目标检测器，目标定位的分类和预测是同时进行的。

本发明将评估筛选后的数据集输入到YoloV4网络中进行训练和实时的故障识别，在训练过程中，为了克服类不平衡问题和缺陷绝缘子图像数据集的不足，本发明还提出了绝缘子缺陷检测器的微调方法，用于有效的训练。最近已经开发了不同的技术来克服数据不足领域差距问题。这些技术包括数据扩增，其中标记的训练样本经历不同的过程，例如几何并置、裁剪、缩放、镶嵌、翻转和缩放扩增等。这些技术增加了深度学习架构所学习的特性的丰富性。由于目前绝缘体没有可用的开源数据集，用小数据集可用的数据增加不能克服深度卷积结构的过拟合问题，这降低了对象检测模型的检测精度，为了克服这些限制，本发明分两步微调绝缘体检测模型，在第一步中，考虑在MSCOCO数据集上预先训练的现有模型YoloV4用于绝缘子检测的微调。COCO数据集由200万幅图像和80个对象类组成。这些对象类中虽然不包含绝缘体，但是从这200万幅图像中学习到的特征可以用于绝缘体检测模型的更好的检测精度。因此，在第一步微调中，将学习到的正常绝缘体图像转移到来自COCO数据集的先前学习到的特征之上，使得模型学习正常绝缘体数据集的训练样本中存在的不同绝缘体特征。在第二步中，第一步训练后的模型参数再次被微调，训练样本仅包含被标记为故障销和故障盘绝缘体的故障绝缘体图像。在微调时，通过检测模型学习来自有缺陷绝缘体数据集的对有缺陷绝缘体更有意义的特征。使用两步策略提高了用于检测特定故障绝缘子的检测模型的准确性，也解决了过拟合和数据不足的问题。

综上，本发明通过使用无人机捕捉真实图像和手动生成图像来克服数据不足的问题，构造了一个新的训练数据集，基于深度拉普拉斯金字塔的超分辨率网络来重建高分辨率训练图像，为了提高弱光图像的可见度，应用弱光图像增强技术进行训练图像的鲁棒曝光校正。使用基于计算机视觉的对象检测技术来识别故障，并根据它们所属的类别对它们进行分类，同时采用不同的微调策略来微调对象检测模型，以提高特定故障绝缘体的检测精度。对于缺陷检测，本发明在两个不同的数据集上获得了0.81和0.77的F1分数，基于对在役瓷绝缘子的实际空中检查，通过对几个视频序列的广泛评估，显示出鲁棒的故障识别和诊断能力。

Claims (10)

1.一种基于无人机自主视觉的初级配电系统瓷绝缘子检测方法，其特征在于，包括以下步骤：

1)采集包含正常和故障的瓷绝缘子的原始图像；

2)对原始图像进行预处理，包括原始图像增广、模糊图像重建和弱光图像增强，并对预处理后的图像进行质量评估，剔除不符合质量要求的图像并标记后形成训练数据集；

3)构建瓷绝缘子故障检测模型，并根据训练数据集采用两步微调的方式进行训练，并根据训练后的瓷绝缘子故障检测模型进行瓷绝缘子的故障检测。

2.根据权利要求1所述的一种基于无人机自主视觉的初级配电系统瓷绝缘子检测方法，其特征在于，所述的步骤1)中，通过无人机、数码相机、智能手机或用于配电线路检查的移动电话采集瓷绝缘子的原始图像。

3.根据权利要求1所述的一种基于无人机自主视觉的初级配电系统瓷绝缘子检测方法，其特征在于，所述的步骤2)中，原始图像增广具体为：

通过无人机相机拍摄不同视角的不同背景的真实图像，并在这些真实图像中添加不同类型的故障绝缘子图像后形成新图像，实现原始图像的增广。

4.根据权利要求3所述的一种基于无人机自主视觉的初级配电系统瓷绝缘子检测方法，其特征在于，所述的步骤2)中，通过几何并置、裁剪、缩放、镶嵌、翻转和缩放实现原始图像的增广。

5.根据权利要求1所述的一种基于无人机自主视觉的初级配电系统瓷绝缘子检测方法，其特征在于，所述的步骤2)中，模糊图像重建具体为：

对于原始图像中的低亮度和低分辨率的模糊图像，采用深度拉普拉斯金字塔超分辨率网络进行模糊图像重建，获取超分辨率的清晰图像。

6.根据权利要求5所述的一种基于无人机自主视觉的初级配电系统瓷绝缘子检测方法，其特征在于，在采用深度拉普拉斯金字塔超分辨率网络进行模糊图像重建过程具体为：

通过特征嵌入网络对高维非线性特征图进行变换，由换位卷积层以2的比例对提取的特征进行上采样，由卷积层进行子带残留图像。

7.根据权利要求1所述的一种基于无人机自主视觉的初级配电系统瓷绝缘子检测方法，其特征在于，所述的步骤2)中，弱光图像增强具体为：

对于存在弱光问题的原始图像，采用LEM算法增强曝光校正的弱光图像。

8.根据权利要求1所述的一种基于无人机自主视觉的初级配电系统瓷绝缘子检测方法，其特征在于，所述的步骤2)中，对预处理后的图像进行质量评估具体为：

采用BRISQUE图像质量评估算法计算图像的平均减对比度归一化系数，即局部归一化亮度，评估分数越低，则表示图像质量越好，通过设置阈值剔除不符合质量要求的图像，最终进行故障类别标记后形成训练数据集。

9.根据权利要求1所述的一种基于无人机自主视觉的初级配电系统瓷绝缘子检测方法，其特征在于，所述的步骤3)中，瓷绝缘子故障检测模型采用YOLOv4网络构架构建。

10.根据权利要求9所述的一种基于无人机自主视觉的初级配电系统瓷绝缘子检测方法，其特征在于，所述的步骤3)中，采用两步微调的方式进行训练，具体为：

第一步将训练数据集中标记正常的绝缘子图像结合COCO数据集中的图像共同作为YOLOv4网络的输入进行训练；

第二步将训练数据集中标记故障的绝缘子图像再次输入到第一步训练后的YOLOv4网络中进行训练。

Images