CN108596886A - 基于深度学习的航拍图像绝缘子掉片故障快速检测方法 - Google Patents

Abstract

本发明涉及一种基于深度学习的航拍图像绝缘子掉片故障快速检测方法。该方法涉及高压输电线路巡线技术、图像识别技术、机器学习技术领域，包括：建立巡线绝缘子数据库，包括绝缘子检测图像库和绝缘子掉片故障检测图像库；利用数据增强扩充数据库；建立与检测图像库对应的图像标签库，包括绝缘子检测标签库和绝缘子掉片故障标签库；建立深度学习目标检测模型SSD，包括基础网络MobileNet和辅助网络；生成数据集，包括绝缘子检测训练集、绝缘子检测测试集、绝缘子掉片故障检测训练集、绝缘子掉片故障检测测试集；训练模型；固化模型用于快速检测；测试模型，将待检测图片输入模型中得到绝缘子掉片故障检测结果。

Description

基于深度学习的航拍图像绝缘子掉片故障快速检测方法

技术领域

本发明涉及高压输电线路巡线技术、图像识别技术、机器学习技术领域，具体涉及一种基于深度学习的航拍图像绝缘子掉片故障快速检测方法。

背景技术

绝缘子是输电线路中数量最多的电力部件，具有电气绝缘和机械连接的功能。由于输电线路跨越不同的复杂地形，绝缘子长期暴露在各种环境条件下，极易发生掉片、闪络、覆冰等故障。绝缘子一旦发生故障将会严重影响到输电线路的安全可靠运行，进一步威胁到电力系统的安全。因此，对于绝缘子的故障检测是输电线路运检维护的必要程序之一。传统的人工巡线方式难以观测到复杂地形下处于高空中的绝缘子，高风险、高成本、低效率是各地区人工巡线中普遍存在的问题。近年来，无人机因其体积小、灵活、成本低等优势逐渐成为电力巡线的主要工具之一。通过飞手操控无人机，飞至绝缘子处进行拍摄，由地面上的专业人员现场分析，同时将数据带回运检维护中心储存备份或进行进一步的诊断。但无人机巡线产生了大量的巡线图像数据，极大增加了巡线人员的工作压力，现亟需一种可以自动检测绝缘子故障的方法。输电线路覆盖广泛，沿途地貌复杂多样，在航拍图像中绝缘子与背景的区分度低且故障区域极为隐蔽，同时无人机拍摄时的拍摄角度与环境条件具有较大的随机性，现有算法无法满足绝缘子故障检测的快速性、准确性需求。

发明内容

本发明的目的在于提供一种基于深度学习的航拍图像绝缘子掉片故障快速检测方法，利用基于深度学习的目标检测技术快速而准确地识别出复杂背景中的绝缘子并定位出掉片故障所在区域，其检测速度足以满足实时视频检测的要求，帮助巡线工作人员完成初步的巡线图像数据诊断，减轻其工作强度并提升电力巡线的智能化水平。

为实现上述目的，本发明的技术方案是：一种基于深度学习的航拍图像绝缘子掉片故障快速检测方法，包括如下步骤：

步骤S1、建立巡线绝缘子数据库，包括绝缘子检测图像库和绝缘子掉片故障检测图像库，其中，绝缘子检测图像库包括不同形态的正常绝缘子，图像为完整航拍图像且归一化到1024*1024像素尺寸；绝缘子掉片故障检测图像库中包括掉片故障的绝缘子，图像为原航拍图像裁剪后的绝缘子区域图像且保持裁剪后的像素尺寸；

步骤S2、数据增强：利用数据增强技术扩充数据集，即将巡线绝缘子数据库中的一张原图通过包括扭曲、旋转、镜像、裁剪或拉伸的数据增强操作，变换为一张新的图像，所有的数据增强操作以预定概率施加在原图上，即一张图片被施加一种或多种数据增强操作；

步骤S3、建立与巡线绝缘子数据库对应的图像标签库：巡线绝缘子数据库中的每幅图片建立相应的符合标准PASCAL VOC格式的xml标签文件；绝缘子检测图像库的标签文件中包括以下信息：图片ID号，图片的像素高度、宽度与深度，图片的路径，图片所包含的目标种类，绝缘子目标所在区域的矩形边界框的坐标(xmin,ymin,xmax,ymax)，其中(xmin,ymin)为边界框的左上顶点坐标，(xmax,ymax)为边界框的右下顶点坐标；绝缘子掉片故障图像库的标签文件中包括以下信息：图片ID号，图片的像素高度、宽度与深度，图片的路径，图片所包含的目标种类，绝缘子掉片故障所在区域的矩形边界框的坐标(xmin,ymin,xmax,ymax)；

步骤S4、建立深度学习模型：采用端到端的深度学习目标检测网络SSD，具体分为基础网络和辅助网络，其中基础网络选用轻量级的CNN网络mobilenet，辅助网络使用3*3卷积核构成6层附加卷积层，生成对应的特征图，辅助网络的输入为所述基础网络的不同卷积层的特征图输出；辅助网络上的每层特征图都生成固定数量的检测器，检测器有两种功能：（1）预测目标边界框的位置；（2）所预测目标种类的得分；

步骤S5、数据集生成：将所有参与训练的图像与其对应的标签文件合成一个用于训练的、可读取的文件；

步骤S6、训练绝缘子检测模型：利用步骤S3的SSD模型通过反向传播算法在绝缘子检测图像库上进行训练，得到绝缘子检测模型，其中，训练所用的初始化模型为在COCO数据集上训练所得的模型；

步骤S7、训练绝缘子掉片故障检测模型：利用步骤S3的SSD模型通过反向传播算法在绝缘子掉片故障图像库上进行训练，得到绝缘子掉片故障检测模型，其中，训练所用的初始化模型为在COCO数据集上训练所得的模型；

步骤S8、固化模型用于快速检测：将模型中所含的训练变量剔除，只保留前向传播的神经元权重与偏置常量，缩小模型体积，方便模型移植，提高检测速度；

步骤S9、模型测试：将待检测的图片或者视频输入到固化后的检测模型中，用矩形边界框在原图像或者视频中标注出检测到的绝缘子区域或绝缘子掉片故障区域，以及它们的置信度得分。

相较于现有技术，本发明具有以下有益效果：本发明利用端到端的深度学习目标检测网络SSD有效提升了不同场景中的绝缘子掉片故障检测的准确率与检测速度，无需人工设计繁琐的绝缘子掉片故障的图像特征提取器，而是将特征提取的任务交给深度卷积神经网络，提取出更加全面、更能描述检测目标的深度特征信息，再将其输入辅助网络中进行预测推理，得到检测结果。SSD检测网络可以用在绝缘子检测以及绝缘子故障检测两个阶段，避免了传统方法中既要设计绝缘子检测算法、又要设计故障检测算法的情况。整个检测过程是端到端的快速检测通道，输入图片最终得到目标框，有助于减轻目前巡线人员面对海量巡线数据时的检索压力与强度。同时，本发明还利用了数据增强技术，在数据量不足的情况下，扩充有效的数据样本，增加数据库的多样性，提升深度学习检测网络的检测性能。

附图说明

图1 基于深度学习的航拍图像绝缘子掉片故障检测方法系统流程图。

图2 SSD网络结构图。

图3 标签文件样例。

图4 测试结果的部分样例。

图5 模型测试的准确率-召回率曲线图。

具体实施方式

为了使本发明的目的、技术方案、和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明，整个方法的系统流程图如图1所示，输入图像首先经过SSD深度学习目标检测网络，检测出图像中的绝缘子区域，提取出绝缘子区域后，将此区域输入下一个SSD深度学习目标检测网络，检测出绝缘子区域中的掉片故障区域。

1. 建立绝缘子检测图像库与绝缘子掉片故障检测图像库。将所收集的包含正常绝缘子的巡线图像归一化到1024*1024像素尺寸，加入绝缘子检测图像库。将所收集的包含掉片故障绝缘子的巡线图像裁剪出绝缘子区域图像，裁剪后的绝缘子区域图像保持原像素大小，不进行归一化，然后加入绝缘子掉片故障检测图像库。

2. 数据增强。利用数据增强技术扩充数据集，具体做法是将数据库中的一张原图通过扭曲、旋转、镜像、裁剪、拉伸等数据增强操作，变换为一张新的图像。所有的操作以0.2的概率施加在原图上，即一张图片可能同时被施加多种数据增强操作。对生成的数据进行筛选，去除不合格的数据，如目标缺失、目标严重失真。

3. 建立与绝缘子检测图像库与绝缘子掉片故障检测图像库对应的图像标签库。图库中的每幅图片建立相应的符合标准PASCAL VOC格式的xml标签文件, 其中绝缘子检测图像库的标签文件中包含了图片的以下信息：图片ID号，图片的像素高度、宽度与深度，图片的路径，图片所包含的目标种类，绝缘子所在区域的矩形边界框的坐标（xmin,ymin,xmax,ymax），其中（xmin,ymin）为边界框的左上顶点坐标，（xmax,ymax）为边界框的右下顶点坐标。若一图中包含多个绝缘子，则标签中储存多个边界框。绝缘子掉片故障检测图像库的标签文件中包含了图片的以下信息：图片ID号，图片的像素高度、宽度与深度，图片的路径，图片所包含的目标种类，绝缘子掉片故障所在区域的矩形边界框的坐标（xmin,ymin,xmax,ymax）。标签文件样例如图3所示。

4. 建立深度学习模型。采用端到端的深度学习目标检测网络SSD，网络结构如图2所示，网络具体由基础网络和辅助网络组成，其中基础网络选用轻量级的CNN网络mobilenet，mobilenet只有420万的参数量，运算速度极快。辅助网络使用以3*3卷积核构成的6层卷积层输出不同尺寸的特征图，辅助网络的输入为前面所述基础网络的不同卷积层的特征图输出。所述的检测器是根据不同尺寸的特征图生成的固定数量的默认框。检测器有两种功能：1、预测目标边界框的位置（相对于默认框坐标的4个偏移量参数），训练时采用的损失函数是Smooth L1 loss；2、所预测目标种类的置信度得分，训练时采用的损失函数是Softmax loss。

5. 生成绝缘子检测数据集。将绝缘子检测图库中所有xml标签文件合成一个csv格式的表格文件，将此csv文件按行编号以一个自定义的比例随机拆分成训练集csv文件与测试集csv文件。根据csv文件中的图片标签信息，将所有图片与对应标签合成一个可以用于高效读写的tfrecord格式文件。最终得到绝缘子检测训练集的tfrecord文件和绝缘子检测测试集的tfrecord文件。

6. 生成绝缘子掉片故障检测数据集。将绝缘子掉片故障检测图库中所有xml标签文件合成一个csv格式的表格文件，将此csv文件按行编号以一个自定义的比例随机拆分成训练集csv文件与测试集csv文件。根据csv文件中的图片标签信息，将所有图片与对应标签合成一个可以用于高效读写的tfrecord格式文件。最终得到绝缘子掉片故障检测训练集的tfrecord文件和绝缘子掉片故障检测测试集的tfrecord文件。

7. 训练绝缘子检测模型。利用SSD模型通过反向传播算法在绝缘子检测图像库上进行训练，得到绝缘子检测模型。其中，训练所用的初始化模型为在微软的COCO数据集上训练所得的模型，参数更新方式是RMSProp，初始学习速率0.004，动量系数0.9，批次大小24，利用批次归一化（BN）方式避免过拟合。

8. 训练绝缘子掉片故障检测模型。利用SSD模型通过反向传播算法在绝缘子掉片故障检测图像库上进行训练，得到绝缘子掉片故障检测模型。其中，训练所用的初始化模型为在微软的COCO数据集上训练所得的模型，参数更新方式是RMSProp，初始学习速率0.004，动量系数0.9，批次大小24，利用批次归一化（BN）方式避免过拟合。

9. 固化模型。模型的性能随着训练的迭代次数上升，每隔一定迭代次数便保存一次训练模型，并在测试集上验证检测效果，观察模型性能的变化，当模型性能稳定在一定水准时，选择此时的模型作为模型固化的模型原始文件。具体方法是将模型中所含的训练过程变量剔除，只保留前向传播的神经元权重与偏置等常量，缩小模型体积，方便模型移植，提高检测速度。

10. 测试模型。首先将待检测的巡线图片或者视频输入到固化后的绝缘子检测模型中，经过前向传播后得出绝缘子区域的边界框坐标与置信度得分，将绝缘子区域图像提取出来，输入到绝缘子掉片故障检测模型中，经过前向传播后得出绝缘子掉片故障区域的边界框坐标与置信度得分。图4显示了部分检测结果样例。

本发明方法最终在绝缘子掉片故障检测测试集上得到84%的平均准确率，检测速度为23毫秒一张图片（不包括读取图片时间）。模型测试的准确率与召回率曲线如图5所示。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (1)

1.一种基于深度学习的航拍图像绝缘子掉片故障快速检测方法，其特征在于，包括如下步骤：

步骤S1、建立巡线绝缘子数据库，包括绝缘子检测图像库和绝缘子掉片故障检测图像库，其中，绝缘子检测图像库包括不同形态的正常绝缘子，图像为完整航拍图像且归一化到1024*1024像素尺寸；绝缘子掉片故障检测图像库中包括掉片故障的绝缘子，图像为原航拍图像裁剪后的绝缘子区域图像且保持裁剪后的像素尺寸；

步骤S2、数据增强：利用数据增强技术扩充数据集，即将巡线绝缘子数据库中的一张原图通过包括扭曲、旋转、镜像、裁剪或拉伸的数据增强操作，变换为一张新的图像，所有的数据增强操作以预定概率施加在原图上，即一张图片被施加一种或多种数据增强操作；

步骤S3、建立与巡线绝缘子数据库对应的图像标签库：巡线绝缘子数据库中的每幅图片建立相应的符合标准PASCAL VOC格式的xml标签文件；绝缘子检测图像库的标签文件中包括以下信息：图片ID号，图片的像素高度、宽度与深度，图片的路径，图片所包含的目标种类，绝缘子目标所在区域的矩形边界框的坐标(xmin,ymin,xmax,ymax)，其中(xmin,ymin)为边界框的左上顶点坐标，(xmax,ymax)为边界框的右下顶点坐标；绝缘子掉片故障图像库的标签文件中包括以下信息：图片ID号，图片的像素高度、宽度与深度，图片的路径，图片所包含的目标种类，绝缘子掉片故障所在区域的矩形边界框的坐标(xmin,ymin,xmax,ymax)；

步骤S4、建立深度学习模型：采用端到端的深度学习目标检测网络SSD，具体分为基础网络和辅助网络，其中基础网络选用轻量级的CNN网络mobilenet，辅助网络使用3*3卷积核构成6层附加卷积层，生成对应的特征图，辅助网络的输入为所述基础网络的不同卷积层的特征图输出；辅助网络上的每层特征图都生成固定数量的检测器，检测器有两种功能：（1）预测目标边界框的位置；（2）所预测目标种类的得分；

步骤S5、数据集生成：将所有参与训练的图像与其对应的标签文件合成一个用于训练的、可读取的文件；

步骤S6、训练绝缘子检测模型：利用步骤S3的SSD模型通过反向传播算法在绝缘子检测图像库上进行训练，得到绝缘子检测模型，其中，训练所用的初始化模型为在COCO数据集上训练所得的模型；

步骤S7、训练绝缘子掉片故障检测模型：利用步骤S3的SSD模型通过反向传播算法在绝缘子掉片故障图像库上进行训练，得到绝缘子掉片故障检测模型，其中，训练所用的初始化模型为在COCO数据集上训练所得的模型；

步骤S8、固化模型用于快速检测：将模型中所含的训练变量剔除，只保留前向传播的神经元权重与偏置常量，缩小模型体积，方便模型移植，提高检测速度；

步骤S9、模型测试：将待检测的图片或者视频输入到固化后的检测模型中，用矩形边界框在原图像或者视频中标注出检测到的绝缘子区域或绝缘子掉片故障区域，以及它们的置信度得分。