CN108010030A

CN108010030A - 一种基于深度学习的航拍图像绝缘子实时检测方法

Info

Publication number: CN108010030A
Application number: CN201810066213.2A
Authority: CN
Inventors: 缪希仁; 刘欣宇; 江灏; 陈静
Original assignee: Fuzhou University
Current assignee: Fuzhou University
Priority date: 2018-01-24
Filing date: 2018-01-24
Publication date: 2018-05-08

Abstract

本发明涉及一种基于深度学习的航拍图像绝缘子实时检测方法。将特征提取的任务交给深度卷积神经网络，提取出更加全面、更能描述绝缘子的深度特征信息，再将其输入检测器中进行预测推理，得到检测结果。整个过程是端到端的快速检测通道，输入图片最终得到目标框，提高了后续自动故障诊断的效率，有助于减轻目前巡线人员面对海量巡线数据时的检索压力与强度。同时，本发明还利用了迁移学习的思想将过去任务所得知识迁移至当前的目标任务中，使得所训练的模型具有了可继承性，每当有新的数据补充进图库时，目标模型可以在源模型的基础上继续训练新的数据，快速达到预期效果，使得旧版本的模型不会因为数据的更新而毫无用处，检测模型会随着时间的推移与数据的增多而变得愈来愈强大。

Description

一种基于深度学习的航拍图像绝缘子实时检测方法

技术领域

本发明涉及高压输电线路巡线技术、图像识别技术领域，具体涉及一种基于深度学习的航拍图像绝缘子实时检测方法。

背景技术

输电线路巡检是保障电力系统安全可靠运行的重要手段之一，电力部门每年都要投入大量的人力物力进行巡线。传统的人工巡线存在着高风险、高成本、低效率的问题，无人机的出现为电力部门提供了一种新的巡线手段。但目前使用无人机进行巡线工作的方式都是由飞手遥控无人机，飞至输电线路关键部件周围进行拍摄，由地面上的专业人员现场分析，或者将数据带回运检维护中心进行诊断。这种无人机巡线方式产生了大量的巡线图像数据，而从海量的图像数据中判断电力故障需要多名经验丰富的专业人员进行枯燥的图片检索与分析任务，花费数日以上的时间，还有可能出现漏检、误判的情况，增加了巡线成本，降低了巡线效率。

绝缘子作为输电线路中数量最多的电力部件，拥有电气绝缘和机械连接的双重职能，对绝缘子的故障诊断是巡线的重要项目之一。在无人机航拍图像中自动定位并识别出绝缘子，是绝缘子故障诊断的先决条件。输电线路覆盖广泛，沿途地貌复杂多样，在航拍图像中绝缘子与背景的区分度低，同时无人机拍摄时的拍摄角度与环境条件具有较大的随机性，现有算法无法满足绝缘子检测的快速性、准确性需求。

发明内容

本发明的目的在于提供一种基于深度学习的航拍图像绝缘子实时检测方法，利用基于深度学习的目标检测技术和迁移学习技术快速而准确地识别出复杂背景中的绝缘子，其检测速度足以满足实时视频检测的要求，减轻了巡线人员的工作强度和难度，进一步提升了电网巡线的智能化水平，使电力系统能够更加安全可靠地运行。

为实现上述目的，本发明的技术方案是：一种基于深度学习的航拍图像绝缘子实时检测方法，包括如下步骤，

步骤1：建立绝缘子目标检测图像库：具体分为源图像库和目标图像库，其中，源图像库包含各类场景下的不同形态绝缘子，目标图像库中包含山林场景下的完整形态绝缘子，源图像库与目标图像库中的图像文件无交集；

步骤2：建立与绝缘子目标检测图像库对应的图像标签库：目标检测图像库中的每幅图片建立相应的符合标准PASCAL VOC格式的xml标签文件，标签文件中的信息包括：图片ID号，图片的像素高度、宽度与深度、图片的路径、图片所包含的目标种类、绝缘子目标所在区域的矩形边界框的坐标（xmin,ymin,xmax,ymax），其中（xmin,ymin）为边界框的左上顶点坐标，（xmax,ymax）为边界框的右下顶点坐标；

步骤3：建立深度学习模型：采用端到端的目标检测网络SSD，具体分为基础特征提取网络和辅助网络，其中基础特征提取网络选用轻量级的CNN网络mobilenet，辅助网络选用以3x3卷积核构成的6层检测器层，辅助网络的输入为所述基础特征提取网络的不同卷积层的特征图输出；

步骤4：数据集生成：将所有参与训练的图像与其对应的标签文件合成一个用于训练的、可以进行高效读取的文件；

步骤5：训练源模型：利用步骤3的SSD模型通过反向传播算法在源图像库上进行训练，得到源模型；

步骤6：训练目标模型：利用步骤3的SSD模型通过反向传播算法在目标图像库上进行训练，得到最终的目标模型，其中，训练所用的初始化模型为源模型，利用迁移学习的思想将源模型中部分学习所得的知识迁移至目标模型，使目标模型不但具有目标图库中山林场景下的绝缘子特征知识，还拥有源图库中不同背景、不同绝缘子形态的特征知识，其中，以目标图库为主要特征库，源图库为辅助特征库；

步骤7：固化模型用于实时检测：将模型中所含的训练变量剔除，只保留前向传播的神经元权重与偏置的常量，缩小模型体积；

步骤8：模型测试：将待检测的图片或者视频输入到固化后的目标模型中，用矩形边界框在原图像或者视频中标注出检测到的绝缘子目标，以及目标框中包含绝缘子的置信度得分。

在本发明一实施例中，步骤1中，目标图像库中的场景以及绝缘子种类能够根据应用的巡线背景进行更换。

在本发明一实施例中，步骤3中，检测器层的检测器有两种功能：1）预测绝缘子目标边界框的位置；2）所预测目标是绝缘子种类的得分。

在本发明一实施例中，步骤5中，源模型的训练过程中，采用的初始化模型为在COCO数据集上训练所得的模型。

相较于现有技术，本发明具有以下有益效果：本发明的创新点在于利用端到端的深度学习网络结构SSD有效提升了不同场景中的绝缘子检测准确率与检测速度，不用花精力去人工设计繁琐的绝缘子特征提取器，而是将特征提取的任务交给深度卷积神经网络，提取出更加全面、更能描述绝缘子的深度特征信息，再将其输入检测器中进行预测推理，得到检测结果。整个过程是端到端的快速检测通道，输入图片最终得到目标框，提高了后续自动故障诊断的效率，有助于减轻目前巡线人员面对海量巡线数据时的检索压力与强度。同时，本发明还利用了迁移学习的思想将过去任务所得知识迁移至当前的目标任务中，使得所训练的模型具有了可继承性，每当有新的数据补充进图库时，目标模型可以在源模型的基础上继续训练新的数据，快速达到预期效果，使得旧版本的模型不会因为数据的更新而毫无用处，检测模型会随着时间的推移与数据的增多而变得愈来愈强大。

附图说明

图1 基于深度学习的航拍图像绝缘子实时检测方法系统流程图。

图2 SSD网络结构图。

图3 模型迁移学习示意图。

图4 源图像库的部分样例。

图5 目标图像库的部分样例。

图6 标签文件样例。

图7 源模型与目标模型在对应测试集上的准确率-召回率曲线图。

图8 迁移学习前后在目标数据集上的准确率-召回率曲线图。

图9 测试结果的部分样例。

具体实施方式

下面结合附图，对本发明的技术方案进行具体说明。

本发明的一种基于深度学习的航拍图像绝缘子实时检测方法，包括如下步骤，

以下为本发明的具体实现实例。

如图1所示，基于深度学习的航拍图像绝缘子实时检测方法，具体实现如下

1. 建立绝缘子目标检测图像库。将所收集的包含绝缘子的巡线图像分成源图像库和目标图像库，两库之间图像文件不重复。如表1所示，源图像库包含以下特征：所有图片使用三次样条插值缩放到500x500，图像内容中包含大部分场景下的不同形态绝缘子。目标图像库包含以下特征：图像内容包含山林背景下的完整形态绝缘子，为了更加突出绝缘子特征，经图像裁剪后使得绝缘子处于图像中心，若裁剪后图像像素高度或宽度超过1000，则使用三次样条插值缩放到500x500。图4与图5显示了源图像库与目标图像库中的部分样例。

表1 绝缘子目标检测图像库特征

2. 建立与绝缘子目标检测图像库对应的图像标签库。图库中的每幅图片建立相应的符合标准PASCAL VOC格式的xml标签文件, 标签文件中包含了图片的以下信息：图片ID号，图片的像素高度、宽度与深度，图片的路径，图片所包含的目标种类，绝缘子目标所在区域的矩形边界框的坐标（xmin,ymin,xmax,ymax），其中（xmin,ymin）为边界框的左上顶点坐标，（xmax,ymax）为边界框的右下顶点坐标。若一图中包含多个绝缘子，则标签中储存多个边界框。标签文件样例如图6所示。

3. 建立深度学习模型。采用端到端的深度学习目标检测网络SSD，网络结构如图2所示，网络具体由基础特征提取网络和辅助网络组成，其中基础特征提取网络选用轻量级的CNN网络mobilenet，mobilenet只有420万的参数量，对比常用的VGG16（1.38亿参数量）来说缩减了大量的计算量，运算速度极快。辅助网络使用以3x3卷积核构成的6层检测器层，辅助网络的输入为前面所述基础网络的不同卷积层的特征图输出。所述的检测器是根据不同尺寸的特征图生成的默认框。检测器有两种功能：1、预测绝缘子目标边界框的位置（相对于默认框坐标的4个顶点的偏移量），训练时采用的损失函数是Smooth L1 loss；2、所预测目标是绝缘子种类的置信度得分，训练时采用的损失函数是Softmax loss。

4. 数据集生成。将图库中所有标签文件整合成一个csv格式的表格文件，每一行存放着对应每一张图片的图片信息，将csv文件按行编号随机拆分成训练集的csv文件与测试集的csv文件，根据csv文件中的图片信息将图片文件与其对应的标签信息组合成一个可以用于高效读取的TF_Record格式文件，这个TF_Record文件包含训练集（或测试集）的所有图片和标签信息。对于源图库和目标图库分别执行以上操作。最终得到4个TF_Record文件：源训练集、源测试集、目标训练集、目标测试集。源训练集、源测试集合起来被称为源数据集，目标训练集、目标测试集合起来被称为目标数据集。

5. 训练源模型。利用SSD模型通过反向传播算法在源图像库上进行训练，得到源模型，其中，训练所用的初始化模型为在微软的COCO数据集上训练所得的模型（此模型称为COCO预训练模型），参数更新方式是RMSProp，初始学习速率0.004，动量系数0.9，批次大小24，利用批次归一化（BN）方式避免过拟合。

6. 训练目标模型。利用SSD模型通过反向传播算法在目标图像库上进行训练，得到最终的目标模型，其中，训练所用的初始化模型为源模型，参数设置与训练源模型时一致。利用迁移学习的思想将源模型中部分学习所得的知识迁移至目标模型，使目标模型不但具有目标图库中山林背景下的绝缘子特征知识，还拥有了源图库中不同背景、不同绝缘子形态的特征知识，其中，以目标图库为主要特征库，源图库为辅助特征库。通过这种迁移学习的方式使模型具有可继承性，每当新的数据加入都可以强化模型性能，提高目标模型的准确率和鲁棒性。模型迁移学习的示意图如图3所示。

7. 固化模型用于实时检测。训练过程中，每隔一定步数保存训练模型，保存的模型将在测试集上测试其模型性能，观察模型性能随步数的变化，当模型性能稳定在一定水准时，选择此时保存的模型作为模型固化的模型文件。具体方法是将模型中所含的训练过程变量剔除，只保留前向传播的神经元权重与偏置等常量，缩小模型体积，方便模型移植，提高检测速度。

8. 模型测试。将待检测的图片或者视频输入到固化后的目标模型中，经过前向传播后得出目标框坐标与置信度得分，用矩形边界框在原图像或者视频中标注出检测到的绝缘子目标，以及目标框中包含绝缘子的置信度得分。将检测后的图片或视频保存到服务器中以待下一步的故障诊断。图9显示了部分检测结果样例，其中红框是人工标注的真实值，绿框是本方法检测到的结果。

源测试集共有427张图片，包含451个手工标注的绝缘子，测试平均准确率(AP)：68%，测试所用模型为：以COCO预训练模型为初始化，在源训练集上训练所得的源模型。

目标测试集共有100张图片，包含102个手工标注的绝缘子，未经过迁移学习，测试平均准确率(AP)：79.24%，测试所用模型为：以COCO预训练模型为初始化，在目标训练集上训练所得的模型。

经过迁移学习后，测试平均准确率(AP)：90.11%，测试所用模型为：以源模型为初始化，在目标训练集上训练所得的目标模型。

以上测试过程中的检测速度为43FPS（不包括读取图片时间）。

图7与图8显示了目标模型与源模型、目标模型与未经过迁移学习的模型之间的性能对比。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims

1.一种基于深度学习的航拍图像绝缘子实时检测方法，其特征在于，包括如下步骤，

2.根据权利要求1所述的一种基于深度学习的航拍图像绝缘子实时检测方法，其特征在于，步骤1中，目标图像库中的场景以及绝缘子种类能够根据应用的巡线背景进行更换。

3.根据权利要求1所述的一种基于深度学习的航拍图像绝缘子实时检测方法，其特征在于，步骤3中，检测器层的检测器有两种功能：1）预测绝缘子目标边界框的位置；2）所预测目标是绝缘子种类的得分。

4.根据权利要求1所述的一种基于深度学习的航拍图像绝缘子实时检测方法，其特征在于，步骤5中，源模型的训练过程中，采用的初始化模型为在COCO数据集上训练所得的模型。