CN112668696A - 一种基于嵌入式深度学习的无人机电网巡检方法和系统 - Google Patents

Abstract

本发明公开了一种基于嵌入式深度学习的无人机电网巡检方法和系统。该方法包括：规划输电线路的巡检路径；无人机按照所述巡检路径进行巡检，并将航拍的输电线路图像数据输入至所搭载的嵌入式深度学习设备，获得输电线路的故障检测结果，其中，所述嵌入式深度学习设备包含深度学习模型，该深度学习模型以已知的图像数据为输入，以对应的故障检测结果为输出经训练获得。本发明在无人机拍摄的同时即可进行电网故障检测，可显著缩短故障缺陷的研判处理时间，提高巡检效率。

Description

一种基于嵌入式深度学习的无人机电网巡检方法和系统

技术领域

本发明涉及计算机技术领域，更具体地，涉及一种基于嵌入式深度学习的无人机电网巡检方法和系统。

背景技术

无人机电力巡检是利用无人驾驶飞行器自主作业的优势，完成架空输电线路维护的新型巡检方式。无人机通过机身携带的图像采集设备和远程无线电控制系统，获取高清的航拍图像，并予以分析。与传统的人工巡检方式不同，无人机巡检具有复杂地形适应能力强，安全系数高，风险小，成本低，准确可靠等优势，已经成为输电线路运维技术的重点发展方向之一。然而，由于航拍图像的复杂性和视觉识别技术的局限性，如何实现智能化电力巡检系统仍然是一项艰巨的任务。

传统无人机巡检过程中，需要将拍摄的图像信息带回统一处理，确认缺陷后工作人员再返还现场处理，当遇到无法确定的故障缺陷时，还需要巡检员二次到现场确认，这种方法巡检效率较低，实时性较差，延长了故障缺陷处理时间，增加了故障扩大的风险等问题。目前很多单位也有各自基于无人机图像的电力设施巡检的方案和相关图像识别算法。

例如，福州大学提出一种基于SSD算法的多级感知的水平航空图像绝缘子故障检测方法，多级感知由三个单层次感知组合而成，它们是通过对绝缘子故障的关注来命名的，分别在整个图像、多绝缘子图像和单个绝缘子图像中检测绝缘子故障。基于无人机图像的电力设施巡检的方案目前主要是在后端通过无人机操控平台来控制无人机到达指定巡检目标，然后无人机根据预设控制指令采集目标图像，存储至SD卡或者通过WiFi、4G网络传输至后台服务器进行处理，并将分析结果发送至无人机操控平台。专利申请CN111474957A提出了一种基于深度学习的输电线路巡检无人机系统，包括无人机和地面辅助端，通过无人机与地面辅助端共同配合，完成对输电线路进行巡检。专利申请CN110009530A提出一种适用于便携式电力巡检的神经网络系统和方法，采用热红外摄像头确定电力设备的位置，再采用可见光摄像头对该位置的电力设备状态研判，有效地降低了复杂背景对目标识别的影响，但未公开神经网络的训练与部署问题，并且其多核CPU架构会增加功耗，不利于搭载于无人机等设备上。

经分析，现有技术方案存在的技术问题有：1)在很多输电线路的电力巡检中，偏远地域公网信号较差或尚未覆盖，使得无人机拍摄到的图像信息无法第一时间传回后台服务器；2)许多工程实践中，通常是将巡检视频存储至SD卡中，待巡检结束后统一带回研判，确认缺陷后工作人员再返还现场处理，当遇到无法确定的故障缺陷时，还需要巡检员二次到现场确认，因此传统无人机巡检存在效率较低，延长了故障缺陷处理时间，增加了故障扩大的风险等问题。本发明可以克服传统无人机巡检效率较低等问题，为无人机电力巡检提供一种新的思路。

发明内容

本发明的目的是克服上述现有技术的缺陷，提供一种基于嵌入式深度学习的无人机电网巡检方法和系统。

根据本发明的第一方面，提供一种基于嵌入式深度学习的无人机电网巡检方法。该方法包括以下步骤：

规划输电线路的巡检路径；

无人机按照所述巡检路径进行巡检，并将航拍的输电线路图像数据输入至所搭载的嵌入式深度学习设备，获得输电线路的故障检测结果，其中，所述嵌入式深度学习设备包含深度学习模型，该深度学习模型以已知的图像数据为输入，以对应的故障检测结果为输出经训练获得。

根据本发明的第二方面，提供一种基于嵌入式深度学习的无人机电网巡检系统，该系统包括图像采集设备和搭载在无人机上的嵌入式深度学习设备，其中，所述图像采集设备用于获取航拍的图像数据并传递给所述嵌入式深度学习设备，所述嵌入式深度学习设备利用预训练的深度学习模型获得对应的故障检测结果。

与现有技术相比，本发明的优点在于，通过无人机路径规划算法，提前规划好无人机巡检路线，减少人工操作无人机；为每台巡检无人机搭载嵌入式深度学习设备，如神经网络处理器(NPU)，并将在本地训练好的故障识别模型直接部署在无人机上，在无人机拍摄的同时即可进行设备故障检测，可显著缩短故障缺陷的研判处理时间，提高巡检效率。

通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。

附图说明

被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。

图1是根据本发明一个实施例的无人机电网巡检方法的流程图；

图2是根据本发明一个实施例的无人机电网巡检的工作流程图；

图3是根据本发明一个实施例的Faster R-CNN结构图；

图4是根据本发明一个实施例的u-net结构图；

图5是根据本发明一个实施例的嵌入式设备上部署深度学习模型的示意图；

图6是根据本发明一个实施例的嵌入式深度学习设备的硬件结构图；

图7是根据本发明一个实施例的无人机巡检路径规划过程示意图；

附图中，input image tile-输入图像平铺；output segmentation map-输出分割图；conv-卷积；copy and crop-复制和裁剪；max pool-最大池化；up-conv-上采样-卷积；Train/Test-训练/测试；Train Dataset-训练集；Test Dataset-测试集；Model-模型；Model Convert-模型转换；Camera-相机；Sensors-传感器。

具体实施方式

现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

本发明的主要思路是将用于故障检测的深度学习模型搭载于无人机上，无人机按照规划好的航线自动进行设备故障缺陷检测。简言之，本发明技术方案的基本内容包括：模型训练：预训练输电线路故障缺陷检测深度学习模型，该模型包括目标检测分类与故障缺陷识别两部分；模型部署：将经训练的深度学习模型部署在无人机上的嵌入式深度学习设备；路径规划：在部署模型后，通过路径规划算法，设计出本次巡检的航线，根据既定航线开始巡检。

具体地，结合图1和图2所示，所提供的基于嵌入式深度学习的无人机电网巡检方法包括以下步骤：

步骤S110，预训练用于输电线路故障缺陷检测的深度学习模型。

在实际使用中，例如，可先在本地GPU、服务器或云端训练深度学习模型。

在一个实施例中，深度学习模型主要包括目标检测分类网络与故障缺陷识别网络两部分。目标检测是故障缺陷识别的基础，首先通过目标检测找出图像中所有感兴趣的物体，并进行分类，即目标检测包含物体定位和物体分类两个子任务，同时确定物体的类别和位置(例如：定位绝缘子在图片中的具体位置)。然后，将检测到的目标特征进行提取，最后进行故障识别。

在一个实施例中，目标检测网络采用Faster RCNN算法构建卷积神经网络。FasterR-CNN包含两个网络：区域建议网络RPN(Region Proposal Network)和Fast R-CNN检测器，利用RPN生成目标建议框送到Fast R-CNN检测，以进行图像分类和定位修正，最终得到目标检测结果。

图3是Faster RCNN的网络结构图示例，其中RPN为全卷积网络，采用滑动窗口遍历卷积，提取特征，将每个卷积映射位置编码为一个低维特征向量。每个窗口中心位置对应k个不同尺度和高宽比的锚点(anchor，即参数化后的目标建议框)，同时采样。分类层和回归层对该区域的类别得分和边界框位置进行修正，输出一组可能包含目标的矩形区域建议框。Fast R-CNN检测器将RPN生成的目标建议框映射到CNN(卷积神经网络)的最后一层卷积特征图上，通过计算预先标记的实际边界框与目标区域建议框的重叠率，得到感兴趣区域ROIs(Regions of Interest)；接着采用ROI池化层为每个建议框提取固定尺寸的特征向量；再利用全连接层得到RoI特征向量，对Softmax分类器和边界框回归联合训练，从而对目标置信度分值和检测位置进行微调，最后输出目标检测结果。

具体地，训练过程使用批量处理，一个batch一次会处理多张图片，所以会将输入图片调整为一个统一的尺寸送入网络中，采用RPN同Fast R-CNN交替训练的方式，即先训练RPN，再用生成的目标建议区域训练FastR-CNN。在最后一个卷积层输出的卷积特征图上，3×3的滑动窗口实现建议框的提取，在每个滑动窗口位置采用3种不同尺度和3种不同高宽比(如1∶1，2∶1，1∶2)生成9个anchor框(锚框)，对包含目标的窗口位置进行预测。其中锚框和真实box(框)相交面积与两者面积之和的比(即IoU交并比)大于0.7的锚框称为正样本，IoU小于0.3的称为负样本，其余部分为无用样本。随后从正样本中选取128个，负样本中选取128个，共256个样本用于训练标记锚框。由于标记为正样本的锚框和真实box还存在一定的偏差，为了使预测box更接近真实box，还需要从这些样本中学习锚框和真实box之间的偏移量。原始锚框P加上偏移量精调之后的锚框称为预测锚框，预测锚框由原始锚框中心点坐标平移，然后缩放长宽得到。最后经过分类层和回归层对该区域的类别得分和边界框位置进行修正。例如，分类和回归总损失表示为：

其中，N_cls为批处理大小；N_reg为anchor框的位置数；i是anchor的索引；p_i是anchori属于某个目标的预测概率。当anchor为正样本时，

否则

t_i表示预测的边界框的4个参数化坐标向量；

是与正anchor对应的实际边界框的坐标向量，λ是设定的超参数，可根据实际需要设置，例如λ＝10；L_cls和L_reg分别为分类损失和回归损失，x和y表示预测框box的中心点坐标，w和h分别表示预测框box的宽和高。

图4是故障缺陷识别网络的结构图，该实施例选用u-net网络，u-net网络可用于图像的语义分割模型，对较小数据集可实现高精度的分割结果。u-net网络由编码器和解码器组成。编码器由卷积层和最大池化层组成，用于提取图像中的特征信息。解码器通过转置卷积层对特征图进行上采样，生成与输入图像维度相一致的特征图。编码器与解码器之间通过矩阵级联的方式进行融合，从而生成高精度的分割结果。通过u-net网络可将故障缺陷部分从目标检测结果中分割并标记出来，作为最终结果输出。

上述的目标检测分类网络和故障缺陷识别网络在训练的过程中均可采用数据增强技术以增大数据集，提高模型训练效果。模型训练完成后，在识别阶段，对于待检测的航拍图片，首先进入目标检测网络进行分类(例如有训练好的绝缘子、防振锤、电线、基础、标识这五类)，经过分类后，将对应的图像输送至u-net识别网络，判别输入图片是否有故障缺陷，最后输出判别结果。

步骤S120，将经训练的深度学习模型部署在无人机上的嵌入式深度学习设备。

经过步骤S110训练出深度学习模型之后，将其经过模型转化后部署在无人机上的嵌入式深度学习设备中，具体过程如图5所示。嵌入式深度学习设备采用RK3399Pro芯片的核心板，采用金手指插接，可快速作为嵌入式主机集成到接口拓展版上。RK3399Pro芯片是瑞芯微旗下最新人工智能旗舰芯片，采用了ARM双核Cortex-A72+四核Cortex-A53的大小核处理器架构，主频高达1.8GHz，集成Mali-T860 MP4四核图形处理器。片上集成了AI神经网络处理器NPU，支持8Bit/16Bit运算，运算性能高达3.0TOPs，具备高性能、低功耗、开发易等优势，满足视觉、音频等各类AI应用。目前支持TensorFlow、Caffe等模型，便于进行人工智能领域的二次开发。

例如，设计的嵌入式深度学习设备的硬件结构如图6所示，选取RK3399Pro芯片作为核心芯片，通过ISP接口将摄像头信息接入，通过USB、I2C等通讯协议搭载传感器、SD卡等外围设备，同时使用WiFi和LAN两种网络通信方式，且配备64位内存增加运算速度，通过GPIO端口接收和发送控制信号。在进行巡检工作时，无人机通过相机将采集到的待巡检图像传入至RK3399Pro芯片进行识别，并将最后识别结果通过WiFi发送至操作室以及保存至SD卡中。

步骤S130，无人机搭载嵌入式深度学习设备按照设定的巡检路径进行巡检，获得输电线路故障检测结果。

经过步骤S110和S120之后，在巡检之前使用路径规划算法，计算出无人机巡检路径，无人机航迹规划一般由以下几个部分组成：描述规划空间，选择航迹的表示形式，分析约束条件，确定代价函数，选取航迹算法和航迹平滑等。

具体地，结合图7，无人机巡检路径规划包括：操作员操控无人机进行精细化巡检；无人机在手控过程中自动采集航点信息(包括航点采集、拍照点采集、转弯点采集等)；操控室获取无人机采集的航点信息(如无人机位姿信息、相机动作信息和三维坐标信息等)；无人机巡检航迹优化，如利用智能优化算法对航点、拍摄点进行优化。

在本发明中，通过将训练好的深度学习模型部署在无人机上的嵌入式设备上，在巡检过程中能够完成对设备的故障缺陷检测，并实时发送巡检结果。

综上所述，本发明通过无人机路径规划算法，提前规划好无人机巡检路线，减少人工操作无人机工作量；搭载嵌入式深度学习设备的无人机巡检，在无人机拍摄的同时即可进行设备故障检测，可显著缩短故障缺陷的研判处理时间，提高巡检效率。经在服务器上进行模拟验证，本发明能够准确、高效地获得故障识别结果，并且采用的硬件电路便于搭载在无人机上。

需要说明的是，本发明的目标检测算法不仅仅限于Faster RCNN，也可采用YOLO、SSD等；故障识别网络不仅仅限于u-net，也可采用如FCN、SegNet等；嵌入式深度学习核心芯片不仅仅局限于RK3399Pro，也可采用如其他的深度学习芯片。深度学习模型的训练过程也可采用其他的损失函数。

本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。

这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。

Claims (10)

1.一种基于嵌入式深度学习的无人机电网巡检方法，包括以下步骤：

规划输电线路的巡检路径；

无人机按照所述巡检路径进行巡检，并将航拍的输电线路图像数据输入至所搭载的嵌入式深度学习设备，获得输电线路的故障检测结果，其中，所述嵌入式深度学习设备包含深度学习模型，该深度学习模型以已知的图像数据为输入，以对应的故障检测结果为输出经训练获得。

2.根据权利要求1所述的方法，其特征在于，所述深度学习模型包含目标检测分类网络和故障缺陷识别网络，所述目标检测分类网络用于从输入的图像数据中检测出感兴趣的物体并进行分类，获得目标检测结果，所述故障缺陷识别网络用于从目标检测结果中识别出对应的故障缺陷，获得故障检测结果。

3.根据权利要求2所述的方法，其特征在于，所述目标检测分类网络包括区域建议网络和目标检测器，所述区域建议网络针对输入的图像数据生成目标建议框送到所述目标检测器，所述目标检测器对图像分类和定位修正，获得目标检测结果。

4.根据权利要求3所述的方法，其特征在于，所述目标检测器根据以下步骤获得目标检测结果：

将所述目标建议框映射到神经网络的最后一层卷积特征图，并通过计算预先标记的实际边界框与所述目标区域建议框的重叠率得到感兴趣区域；

采用池化层为每个目标建议框提取固定尺寸的特征向量；

利用全连接层得到感兴趣区域的特征向量，并以设定的联合损失函数为目标对分类器和边界框回归联合训练，从而对目标置信度分值和检测位置进行调整，获得目标检测结果。

5.根据权利要求4所述的方法，其特征在于，所述联合损失函数表示为：

其中，N_cls为训练过程的批处理大小，N_reg为锚框的位置数，i是锚框的索引，p_i是锚框i属于某个目标的预测概率，当锚框为正样本时，

否则

t_i表示预测的边界框的4个参数化坐标向量，

是与正锚框对应的实际边界框的坐标向量，λ是设定的超参数，L_cls和L_reg分别为分类损失和回归损失，x和y表示预测框box的中心点坐标，w和h分别表示预测框box的宽和高。

6.根据权利要求2所述的方法，其特征在于，所述故障缺陷识别网络是u-net网络，包含编码器和解码器，编码器由卷积层和最大池化层组成，用于提取图像中的特征信息，解码器通过转置卷积层对特征图进行上采样，生成与输入图像维度一致的特征图，编码器与解码器之间通过矩阵级联方式进行融合。

7.根据权利要求1所述的方法，其特征在于，所述嵌入式深度学习设备包含用于接收图像数据的接口、用于发送故障检测结果的接口、用于接收和发送控制信号的接口、数据存储单元和深度学习模型的执行单元。

8.根据权利要求7所述的方法，其特征在于，所述嵌入式深度学习设备以RK3399Pro芯片作为核心芯片，通过ISP接口接收图像数据，通过GPIO端口接收和发送控制信号，通过I2C通讯协议搭载传感器，通过USB搭载外围设备，通过WiFi或LAN发送故障检测结果。

9.一种基于嵌入式深度学习的无人机电网巡检系统，包括图像采集设备和搭载在无人机上的嵌入式深度学习设备，其中，所述图像采集设备用于获取航拍的图像数据并传递给所述嵌入式深度学习设备，所述嵌入式深度学习设备利用预训练的深度学习模型获得对应的故障检测结果。

10.一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现根据权利要求1至8中任一项所述方法的步骤。

Images