CN110245644A - 一种基于深度学习的无人机图像输电杆塔倒伏识别的方法 - Google Patents

Abstract

本发明涉及一种基于深度学习的无人机图像输电杆塔倒伏识别的方法，首先制作训练数据集和验证数据集，数据集包括两种类别的无人机图像，分别是不同背景下的直立杆塔以及倒伏杆塔；然后建立深度学习模型，分别以ResNet为基础的Faster R‑CNN网络和以Darknet‑53为基础的Yolov3网络作为深度学习目标检测的基础网络结构；接着进行数据增强，并对深度学习模型进行训练，然后固化与测试检测模型，并进行模型融合，最后利用融合后的模型对杆塔图像进行识别。本发明利用深度学习目标检测方法，实现了巡检过程中对输电杆塔的识别及故障检测。

Description

一种基于深度学习的无人机图像输电杆塔倒伏识别的方法

技术领域

本发明涉及电力运维巡检领域，特别是一种基于深度学习的无人机图像输电杆塔倒伏识别的方法。

背景技术

随着信息时代的到来，越来越多的工商业，农业依赖于电力的存在。电网规模不断扩大，输电线路的运维检修成为了电力部门重要的工作内容。配电网输电线路经长时间的运营与使用,会出现不同程度的损伤,突发的恶劣天气条件，如大风、覆冰雪等导致输电杆塔受损甚至出现倒伏。作为输电线路的主要支撑力量，一旦杆塔发生损坏，周围的电力设备皆会受到不同程度的破坏，从而使电力输送中断,造成严重的经济损失。

因此，如何最大化地减轻极端天气给电网行业带来的危害，是当今电网行业研究的重中之重。输电杆塔的倒伏状态识别，对电网展开灾后的抢修工作以及稳定运行有着重大的意义。随着无人机技术的快速发展，利用无人机搭载巡检设备进行线路巡检，不仅不受地理因素的限制，还极大的提高了巡检效率。输电线路的电力设备基本可靠其进行识别，输电杆塔同样也可通过目标检测确定。

然而，由于输电杆塔倒伏数据稀少，无人机图像杆塔倒伏的识别一直缺少深入的研究。考虑到人工巡检过程中，巡检人员长时间的查看图片或者影像会造成生理及心理上的负担，从而导致工作上的失误，严重影响电力巡检的工作效率。同时由于无人机图像数据庞大，人工巡检的成本极大。

发明内容

有鉴于此，本发明的目的是提出一种基于深度学习的无人机图像输电杆塔倒伏识别的方法，利用深度学习目标检测方法，实现了巡检过程中对输电杆塔的识别及故障检测。

本发明采用以下方案实现：一种基于深度学习的无人机图像输电杆塔倒伏识别的方法，具体包括以下步骤：

步骤S1：制作训练数据集和验证数据集，数据集包括两种类别的无人机图像，分别是不同背景下的直立杆塔以及倒伏杆塔；

步骤S2：建立深度学习模型，分别以ResNet为基础的Faster R-CNN网络和以Darknet-53为基础的Yolov3网络作为深度学习目标检测的基础网络结构；

步骤S3：对步骤S1的数据集进行数据增强；

步骤S4：利用步骤S3增强后的训练数据集对步骤S2的Faster R-CNN网络和Yolov3网络进行训练；

步骤S5：固化与测试检测模型，根据步骤S4训练时的各项网络参数变化情况，在达到期望数值时固化深度学习网络模型；

步骤S6：进行模型融合，将Faster R-CNN、Yolov3网络输出的类别置信度进行加权平均，根据各模型在训练集上的分类误差率设定权重，再通过投票的结合策略将两种模型的结果融合，生成最终的杆塔倒伏集成模型；

步骤S7：利用验证后的杆塔倒伏集成模型对待测图像进行检测，经过网络前向传播后，得出检测结果的目标矩形框的坐标与置信度；其中矩形框中包含检测的目标杆塔，以及目标杆塔倒伏的置信度得分。

进一步地，步骤S1具体为，巡检过程中无人机搭载高清镜头，多方位拍摄输电杆塔照片，将获取得到的包含杆塔的图像，统一等比缩放为图像像素宽度小于1024或者图像像素高度小于900的图像，将获取的无人机图像经过人工标注，生成带有文件夹名称、图片名、文件路径、图片大小及深度、目标的类别名称、以及边框坐标的xml文件；将打完标签的图片连同生成的xml文件分为一定比例的训练集和验证集，随后提取xml文件里面的目标的边框和类别转化为CSV格式，最后利用CSV文件里面的图片信息将图片与其对应的标签共同合成可供深度学习网络读取的TF-Record文件。

进一步地，步骤S2具体为：

Faster R-CNN首先使用RPN提取图像候选框，然后采用Fast R-CNN 的方法将RPN提取的候选框经过一个softmax分类层和边界框回归器分类识别到图像中的杆塔；

Yolov3采用了Darknet-53的网络结构，采用多尺度检测，通过K-means聚类得出9种不同的anchors，按其大小均分给3种尺度的feature map，每个尺度预测三个box，最后使用logistic regression进行预测和回归，以此来获取输电杆塔倒伏的识别结果。

进一步地，步骤S4具体为：通过步骤S1与步骤S3对数据的处理，将数据增强后的训练数据集作为训练样本分别对Faster R-CNN网络和Yolov3网络进行训练，利用步骤S2建立的基础网络结构进行反向传播，使其随着网络加深，残差结果逼近于0，设置迭代次数20万次，训练步数达到要求后得到前向传播图以及保存模型权重的文件。

进一步地，步骤S5具体为：对步骤S4生成的前向传播图进行固化，把保存模型权重的文件参数导入到前向传播图中得到固化后的模型；选择N张带有标签的杆塔图片输入固化后的模型中进行测试，测试结果显示图片中杆塔的目标边框，以及正确识别其位置和倒伏状态的置信度，同时生成带有检测结果的txt文件。

进一步地，步骤S7具体为：将待检测的图片输入步骤S6处理过后的杆塔倒伏集成模型中，得到输电杆塔的目标边框，并判断图片中的地面位置，将其作为参考线，再根据杆塔中心与地面参考线的夹角判断杆塔是否处于倒伏的状态。

与现有技术相比，本发明有以下有益效果：本发明采用多算法融合的集成方法将Faster R-CNN和Yolov3深度学习模型进行融合，能够有效的解决神经网络因深度加深而导致过拟合的现象，避免了单个学习器训练效果不佳的问题，对提高输电杆塔倒伏识别的准确率有显著的效果。本发明不仅能精准定位无人机图像中杆塔所在的位置，并能标注出倒伏的状态，避免了人工检测的繁琐和低效，进一步提升了输电线路杆塔倒伏检测的效率和准确率。本发明采用多算法融合代替了费时的传统方式，使得检测速度大幅提高，为电力巡检工作开启了新契机。

附图说明

图1为本发明实施例的方法原理流程图。

图2为本发明实施例的Faster R-CNN网络结构图。

图3为本发明实施例的Yolov3网络结构图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

如图1所示，本实施例提供了一种基于深度学习的无人机图像输电杆塔倒伏识别的方法，具体包括以下步骤：

步骤S1：制作训练数据集和验证数据集，数据集包括两种类别的无人机图像，分别是不同背景下的直立杆塔以及倒伏杆塔；

步骤S2：建立深度学习模型，分别以ResNet为基础的Faster R-CNN网络和以Darknet-53为基础的Yolov3网络作为深度学习目标检测的基础网络结构；Faster R-CNN网络的网络框架主要分为三部分，包括特征提取网络（ResNet），RPN网络和分类与回归网络。Yolov3继承了yolov1,yolov2的大体框架，调整了网络结构，并利用多尺度特征进行对象检测，用Logistic取代了softmax来分类对象。以上两种算法作为基础的网络结构分别进行训练，训练结果投入到集成模型中，以投票的方式进行融合。最终实现杆塔的检测和分类。

步骤S3：对步骤S1的数据集进行数据增强；为了获得更多数据，需要对已有的数据集做微小的调整。比如杆塔的翻转、平移或旋转。通过增强数据集，可以防止神经网络学习到不相关的模式，根本上提升整体性能。

步骤S4：利用步骤S3增强后的训练数据集对步骤S2的Faster R-CNN网络和Yolov3网络进行训练；每隔一个训练周期检测深度学习网络AP值、损失值等参数变化情况；

步骤S5：固化与测试检测模型，根据步骤S4训练时的各项网络参数变化情况，在达到期望数值时固化深度学习网络模型；

步骤S6：进行模型融合，将Faster R-CNN、Yolov3网络输出的类别置信度进行加权平均，根据各模型在训练集上的分类误差率设定权重，再通过投票的结合策略将两种模型的结果融合，生成最终的杆塔倒伏集成模型；

步骤S7：利用验证后的杆塔倒伏集成模型对待测图像进行检测，经过网络前向传播后，得出检测结果的目标矩形框的坐标与置信度；其中矩形框中包含检测的目标杆塔，以及目标杆塔倒伏的置信度得分。

在本实施例中，步骤S1具体为，巡检过程中无人机搭载高清镜头，多方位拍摄输电杆塔照片，将获取得到的包含杆塔的图像，统一等比缩放为图像像素宽度小于1024或者图像像素高度小于900的图像，将获取的无人机图像经过人工标注，生成带有文件夹名称、图片名、文件路径、图片大小及深度、目标的类别名称、以及边框坐标的xml文件；将打完标签的图片连同生成的xml文件分为一定比例的训练集和验证集，随后提取xml文件里面的目标的边框和类别转化为CSV格式，最后利用CSV文件里面的图片信息将图片与其对应的标签共同合成可供深度学习网络读取的TF-Record文件。每张图像一一对应一个xml文件，文件里面详细记录了图片的属性。

在本实施例中，步骤S2具体为：

Faster R-CNN首先使用RPN提取图像候选框，然后采用Fast R-CNN 的方法将RPN提取的候选框经过一个softmax分类层和边界框回归器(Bounding box regressors)分类识别到图像中的杆塔；具体方式为：在最后卷积得到的特征图上，使用一个3×3的窗口在特征图上滑动，然后将其映射到一个更低的维度上(如256 维)，最后将该向量送到两个全连接层分别用于分类和边框回归，同时滑动窗口对应的每个特征区域预测输入图像的3种尺寸和长宽比，进行修正，从而得到候选区域。RPN网络得到候选区域后，将候选区域和特征图一并送入RoI pooling层，经过两个全连接层，最终实现目标杆塔的检测和识别。

在基本的图像特征提取方面，Yolov3采用了Darknet-53的网络结构（含有53个卷积层），该结构使用一系列的3*3和1*1的卷积层，运行速度极快，Yolov3采用多尺度检测，通过K-means聚类得出9种不同的anchors，按其大小均分给3种尺度的feature map，每个尺度预测三个box，最后使用logistic regression进行预测和回归，以此来获取输电杆塔倒伏的识别结果。

在本实施例中，步骤S4具体为：通过步骤S1与步骤S3对数据的处理，将数据增强后的训练数据集作为训练样本分别对Faster R-CNN网络和Yolov3网络进行训练，利用步骤S2建立的基础网络结构进行反向传播，使其随着网络加深，残差结果逼近于0，设置迭代次数20万次，训练步数达到要求后得到前向传播图以及保存模型权重的文件。

在本实施例中，步骤S5具体为：对步骤S4生成的前向传播图进行固化，把保存模型权重的文件参数导入到前向传播图中得到固化后的模型；选择N张（100张）带有标签的杆塔图片输入固化后的模型中进行测试，测试结果显示图片中杆塔的目标边框，以及正确识别其位置和倒伏状态的置信度，同时生成带有检测结果的txt文件。

在本实施例中，步骤S6中，假设Faster R-CNN检测出杆塔倒伏的置信度为0.83，Yolov3得出的置信度为0.89，分别以0.5为权重，0.86即为最终集成的结果。

在本实施例中，步骤S7具体为：将待检测的图片输入步骤S6处理过后的杆塔倒伏集成模型中，得到输电杆塔的目标边框，并判断图片中的地面位置，将其作为参考线，再根据杆塔中心与地面参考线的夹角判断杆塔是否处于倒伏的状态。

较佳的，在步骤S6融合操作之后，本实施还将步骤S5获得的txt文件输入杆塔倒伏集成模型中，该模型对结果进行测评，得出关于训练模型结果的评价。分别包括AP（平均值），recall(召回率)，precious（精度）等参数以及杆塔直立与倒伏的测评结果的图像表示。并根据评价结果对模型进行微调。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (6)

1.一种基于深度学习的无人机图像输电杆塔倒伏识别的方法，其特征在于，包括以下步骤：

步骤S1：制作训练数据集和验证数据集，数据集包括两种类别的无人机图像，分别是不同背景下的直立杆塔以及倒伏杆塔；

步骤S2：建立深度学习模型，分别以ResNet为基础的Faster R-CNN网络和以Darknet-53为基础的Yolov3网络作为深度学习目标检测的基础网络结构；

步骤S3：对步骤S1的数据集进行数据增强；

步骤S4：利用步骤S3增强后的训练数据集对步骤S2的Faster R-CNN网络和Yolov3网络进行训练；

步骤S5：固化与测试检测模型，根据步骤S4训练时的各项网络参数变化情况，在达到期望数值时固化深度学习网络模型；

步骤S6：进行模型融合，将Faster R-CNN、Yolov3网络输出的类别置信度进行加权平均，根据各模型在训练集上的分类误差率设定权重，再通过投票的结合策略将两种模型的结果融合，生成最终的杆塔倒伏集成模型；

步骤S7：利用验证后的杆塔倒伏集成模型对待测图像进行检测，经过网络前向传播后，得出检测结果的目标矩形框的坐标与置信度；其中矩形框中包含检测的目标杆塔，以及目标杆塔倒伏的置信度得分。

2.根据权利要求1所述的一种基于深度学习的无人机图像输电杆塔倒伏识别的方法，其特征在于，步骤S1具体为，巡检过程中无人机搭载高清镜头，多方位拍摄输电杆塔照片，将获取得到的包含杆塔的图像，统一等比缩放为图像像素宽度小于1024或者图像像素高度小于900的图像，将获取的无人机图像经过人工标注，生成带有文件夹名称、图片名、文件路径、图片大小及深度、目标的类别名称、以及边框坐标的xml文件；将打完标签的图片连同生成的xml文件分为一定比例的训练集和验证集，随后提取xml文件里面的目标的边框和类别转化为CSV格式，最后利用CSV文件里面的图片信息将图片与其对应的标签共同合成可供深度学习网络读取的TF-Record文件。

3.根据权利要求1所述的一种基于深度学习的无人机图像输电杆塔倒伏识别的方法，其特征在于，步骤S2具体为：

Faster R-CNN首先使用RPN提取图像候选框，然后采用Fast R-CNN 的方法将RPN提取的候选框经过一个softmax分类层和边界框回归器分类识别到图像中的杆塔；

Yolov3采用了Darknet-53的网络结构，采用多尺度检测，通过K-means聚类得出9种不同的anchors，按其大小均分给3种尺度的feature map，每个尺度预测三个box，最后使用logistic regression进行预测和回归，以此来获取输电杆塔倒伏的识别结果。

4.根据权利要求1所述的一种基于深度学习的无人机图像输电杆塔倒伏识别的方法，其特征在于，步骤S4具体为：通过步骤S1与步骤S3对数据的处理，将数据增强后的训练数据集作为训练样本分别对Faster R-CNN网络和Yolov3网络进行训练，利用步骤S2建立的基础网络结构进行反向传播，使其随着网络加深，残差结果逼近于0，设置迭代次数20万次，训练步数达到要求后得到前向传播图以及保存模型权重的文件。

5.根据权利要求1所述的一种基于深度学习的无人机图像输电杆塔倒伏识别的方法，其特征在于，步骤S5具体为：对步骤S4生成的前向传播图进行固化，把保存模型权重的文件参数导入到前向传播图中得到固化后的模型；选择N张带有标签的杆塔图片输入固化后的模型中进行测试，测试结果显示图片中杆塔的目标边框，以及正确识别其位置和倒伏状态的置信度，同时生成带有检测结果的txt文件。

6.根据权利要求1所述的一种基于深度学习的无人机图像输电杆塔倒伏识别的方法，其特征在于，步骤S7具体为：将待检测的图片输入步骤S6处理过后的杆塔倒伏集成模型中，得到输电杆塔的目标边框，并判断图片中的地面位置，将其作为参考线，再根据杆塔中心与地面参考线的夹角判断杆塔是否处于倒伏的状态。