CN115865915A - 基于边缘计算的无人机巡检图像实时识别方法及系统 - Google Patents

Abstract

一种基于边缘计算的无人机巡检图像实时识别方法及系统，包括：控制室服务器为无人机提供现场的输电线路与杆塔的地理信息、巡检信息、历史的安装与维护记录数据，利用班长工作台的命令下达到数据采集及处理模块；无人机巡检，根据服务器端给出的巡检计划通过云台控制摄像头主动跟踪关注线路和杆塔；无人机利用数据采集及处理模块通过边缘计算算法，将摄像头现场采集的输电线路和杆塔的图像进行识别和处理后将本次巡检线路缺陷的结果传输给服务器端记录，并端自动将本次巡检缺陷的结果发送至线路巡检人员及管理人员，根据缺陷的严重程度指导巡检人员快速准确处理出现的问题，由工区指派检修班组前去维修，形成智能巡检闭环流程。

Description

基于边缘计算的无人机巡检图像实时识别方法及系统

技术领域

本发明涉及一种电力设备巡检装置，尤其是一种基于边缘计算的无人机巡检图像实时识别方法及系统。

背景技术

目前电力设备数量巨大、分布零散，电力设备维护需求对巡检工作提出了更高要求。无人机自主巡检作为输电线路巡视的重要手段之一，主要是通过无人机对输电设备和线路进行图像采集，而后本地上传或远程传输进行图像分析。但现有技术仍然存在着以下的不足：无人机巡检后产生大量需要进行及时认定缺陷性质的照片，需快速从中识别出故障和隐患，以便于后续的消缺工作。现有的无人机巡检输电线路采集到的图像默认是存储存储卡上，需要完成飞行任务后，取出存储卡，导入到电脑中分析处理，效率低且周期长，难以满足海量数据的分析工作；由于输电线路多处于偏远山区，无法运用5G技术实时将采集到的图像上传云端进行识别；另一方面，面临着输电巡检一线技能人才经验短缺，特别是一些一经发现需要立即处理的紧急缺陷，具有一定的时效性，现有的相关手段无法满足工作要求。

发明内容

本发明是要解决背景技术存在的上述问题，提供一种基于边缘计算的无人机巡检图像实时识别方法及系统。

本发明的技术方案是：

一种基于边缘计算的无人机巡检图像实时识别方法，包括：

S1、控制室服务器调用服务器数据库为现场的无人机提供现场的输电线路与杆塔的地理信息、巡检信息、历史的安装与维护记录数据，各条线路维护的班组结合巡视计划制定巡检计划，由班长进行审核确认，服务器利用班长工作台的命令下达到数据采集及处理模块；

S2、无人机巡检，根据服务器端给出的巡检计划通过云台控制摄像头主动跟踪关注线路和杆塔；

S3、无人机利用数据采集及处理模块通过边缘计算算法，将摄像头现场采集的输电线路和杆塔的图像进行识别和处理后将本次巡检线路缺陷的结果传输给服务器端记录，并通过服务器端自动将本次巡检缺陷的结果发送至线路巡检人员及管理人员，并根据缺陷的严重程度指导巡检人员快速准确处理出现的问题，由工区指派检修班组前去维修，形成智能巡检闭环流程。

进一步的，所述的数据采集及处理模块，包含机载嵌入式边缘计算核心板基于XILINX MPSoC全可编程处理器，DSP和神经网络计算模块包含4核

Cortex-A53+FPGA+GPU+VideoCodec，能实现图像处理和边缘神经网络计算，同时搭配以太网模块进行进行图传、网络传输模块进行网络数据传输。

进一步的，所述步骤S2中主动跟踪是通过以下步骤实现的：

S2.1无人机起飞后，围绕杆塔范围3-10米距离飞行，利用GPS配合RTK实现厘米级定位；悬停时无人机在10-50厘米范围内调整最佳拍摄角度；

S2.2到达一个航点后，摄像头进行大范围扫描，数据采集及处理模块启动杆塔识别神经网络，先识别离无人机最近的杆塔位置，从视频流中识别杆塔的类型、朝向、坐标、高度，识别速度为每秒钟10-20帧。

S2.3识别完杆塔后，利用边缘计算算法，把每一帧内的杆塔剪切出来，使除杆塔以外的杂物过滤干净。

进一步，所述步骤S3中边缘计算算法：

S3.1对图内每一个被检测出来的对象进行放大拍照，采集提供给图像识别及处理模块；

S3.2由图像识别及处理模块进行图像识别和处理；

S3.3控制器记录无人机坐标、倾角、朝向以及摄像头坐倾角、朝向作为第一位姿。

5进一步，步骤S3.2图像识别及处理过程是；

1)对于散股检测任务，先对无人机巡检所得图像进行灰度化处理，使用改进的Canny边缘检测算法和Hough算法提取边缘直线；遍历直线上的像素点，通过边缘跟踪算法找到输电线路候选断股区域，最后利用断股与直线的夹角来判决输电线路是否发生故障；

2)对于鸟巢识别任务，采用深度卷积神经网络YOLO_v3的识别检测方法，对YOLO_v3网络进行改进；使用k-means算法对鸟巢候选区域维度聚类，同时进行多尺度网络检测；

3)对于绝缘子缺陷检测任务，先采用深度卷积神经网络YOLO_v3对图片中的绝缘子进行目标检测，定位绝缘子位置进行裁剪，得到所关注的图像，再采用基于卷积神经网络的缺陷检测网络进行绝缘子缺陷检测。

基于边缘计算的无人机巡检图像实时识别系统，包含系统数据结构模块，通信处理模块，信息处理模块，边缘端图像标识模块，管理工作台设计模块，班长界面设计模块；

系统数据结构模块，用于应用服务器存储和前端查看统计数据，每个前端工作台还通过发布数据命令来收集和控制前端设备。包含存储应用服务器，通讯处理服务器，业务处理服务器，信息处理服务器，图像处理服务器，使用记录服务器；

通信处理模块，分为与前端IDC的通讯、与摄像机通讯、与客户端工作台的通讯以及与图像标识服务器的通讯四个部分；与IDC通讯采用基本输入输出端口+套接字+用户数据报协议的通讯方式，与摄像头通讯采用传输控制协议+套接字的通讯方式，与客户端工作台界面通讯采用基本输入输出端口+套接字+传输控制协议通讯方式，与图像标识服务器采用多任务轮转的通讯方式；

信息处理模块，用于处理摄像机传回的外部线路的监控的照片；当任务在IDC信道成功执行后，会马上开启信息处理服务器。为了提高任务照片的接收效率，信息处理服务器采用线程池技术，使用多个线程接收不同的摄像机照片；数据处理步骤为：启用数据处理线程池，通道电源查询，开机，执行任务，监控摄相头，发布拍摄工作，得到监控图像，检查图像信息。

边缘端图像标识模块，接收到数据后，开始图像检验工作，与数据库中相应文件作对比；如果查询不到相应的记录，则从所有上传信息中查询，将其与图片名相结合，制作记录表。

管理工作台设计模块，包括硬件设备管理，体系管理和基础数据管理。

班长界面设计模块，检验和监督正在进行中的工作时班长的主要职务，对报告的问题分析并给出解决办法，协调巡视检查界面的工作，发布实时工作，判断传感器上传的报警信息。班长界面的主要功能模块是工作发布；任务下达也被称为实时工作，是班长实时发布的巡线任务；由工作起止时间、工作代号、巡视的区域和内容构成；典型功能包括添加新的实时工作、问题分析和工作进度把控。

本发明的有益效果是：本发明运用边缘计算和物联网技术，设计基于计算机视觉与边缘计算的智能边缘识别装置，将识别模型部署到无人机端，在自主巡检无人机端搭载有轻量化缺陷识别算法的智能识别装置，实现输电线路巡检过程中图像的缺陷实时在线快速识别；增强线路巡检与缺陷识别的分析能力，实现巡检的电子流程化与软件信息共享化，突出了巡检工作的实时、智能远控；在工作室即可进行远距离的线路巡视，充分降低了人工巡检带来的安全隐患与人身安全问题；搭建了信息处理台：集成了通信状态、线路状态、用户案例与操作命令等多种管理应用，完成了系统管理应用系统的集中化；引入了班长工作平台：主要包括事件监控、任务派发、缺陷流程审核等多个功能，用于各个班组之间的信息共享与任务下发；设计了用于巡检、运行人员对设备工作状态的监控，可以实时查看巡检画面，以及随时调用巡检工作状态与异常分析的处理状况，把控整个巡检系统的流程。本发明通过将巡检过程中的图像识别功能专业化、硬件模块化，对现有设备进行升级，降低智能设备应用成本，缺陷情况及时反馈到运维人员手中，提升作业的工作效率。

附图说明

图1为基于边缘计算的无人机巡检图像实时识别方法流程图；

图2为数据采集及处理模块结构示意图；

图3为基于边缘计算的无人机巡检图像实时识别系统构架图。

图4是220kV检测一/二线运用本发明发现的鸟巢类缺陷图；

图5 220kV检测一/二线运用本发明发现的散股类缺陷图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细描述。

基于边缘计算的无人机巡检图像实时识别装置，包括：

输电线路、杆塔和无人机，所述无人机用于巡检输电线路和杆塔；

数据采集与处理模块，用于在巡检过程中进行数据采集与处理；

显示装置，用于展示现场的输电线路和杆塔的故障位置；

服务器，为现场的无人机提供现场输电线路与杆塔的地理信息、巡检信息、历史的安装与维护记录数据，在无人机巡检过程中提供给无人机最优的巡检计划并记录本次巡检的结果。

基于边缘计算的无人机巡检图像实时识别方法，如图1所示包括：

S1、控制室服务器调用服务器数据库为现场的无人机提供现场的输电线路与杆塔的地理信息、巡检信息、历史的安装与维护记录数据，各条线路维护的班组结合巡视计划制定巡检计划，由班长进行审核确认，服务器利用班长工作台的命令下达到数据采集及处理模块；

S2、无人机巡检，根据服务器端给出的巡检计划通过云台控制摄像头主动跟踪关注线路和杆塔；

S3、无人机利用数据采集及处理模块通过边缘计算算法，将摄像头现场采集的输电线路和杆塔的图像进行识别和处理后将本次巡检线路缺陷的结果传输给服务器端记录，并通过服务器端自动将本次巡检缺陷的结果发送至线路巡检人员及管理人员，并根据缺陷的严重程度指导巡检人员快速准确处理出现的问题，由工区指派检修班组前去维修，形成智能巡检闭环流程。

进一步的，如图2所示，所述的数据采集及处理模块，包含机载嵌入式边缘计算核心板基于XILINX MPSoC全可编程处理器，DSP和神经网络计算模块包含4核Cortex-A53+FPGA+GPU+VideoCodec，能实现图像处理和边缘神经网络计算，同时搭配以太网模块(型号：Gigabit PHY)进行图传、网络传输模块(型号：USR-G817)网络数据传输。

进一步的，所述步骤S2中主动跟踪是通过以下步骤实现的：

S2.1无人机起飞后，围绕杆塔范围3-10米距离飞行，利用GPS配合RTK实现厘米级定位；悬停时无人机在10-50厘米范围内调整最佳拍摄角度；

S2.2到达一个航点后，摄像头进行大范围扫描，数据采集及处理模块启动杆塔识别神经网络，先识别离无人机最近的杆塔位置，从视频流中识别杆塔的类型、朝向、坐标、高度，识别速度为每秒钟10-20帧；

S2.3识别完杆塔后，利用边缘计算算法，把每一帧内的杆塔剪切出来，使除杆塔以外的杂物过滤干净。

进一步的，所述步骤S3中边缘计算算法，包括：

S3.1对图内每一个被检测出来的对象进行放大拍照，采集提供给图像识别及处理模块；

S3.2由图像识别及处理模块进行图像识别和处理；。

S3.3控制器记录无人机坐标、倾角、朝向以及摄像头坐倾角、朝向作为第一位姿。

进一步，所述步骤S3.2中图像识别及处理模块是通过以下步骤进行图像识别和处理的：

1)对于散股检测任务，先对无人机巡检所得图像进行灰度化处理，使用改进的Canny边缘检测算法和Hough算法提取边缘直线；遍历直线上的像素点，通过边缘跟踪算法找到输电线路候选断股区域；最后利用断股与直线的夹角来判决输电线路是否发生故障；

2)对于鸟巢识别任务，采用深度卷积神经网络YOLO_v3的识别检测方法，对YOLO_v3网络进行改进；使用k-means算法对鸟巢候选区域维度聚类，同时进行多尺度网络检测。

3)对于绝缘子缺陷检测任务，先采用深度卷积神经网络YOLO_v3对图片中的绝缘子进行目标检测，定位绝缘子位置进行裁剪，得到所关注的图像，再采用基于卷积神经网络的缺陷检测网络进行绝缘子缺陷检测。

基于边缘计算的无人机巡检图像实时识别系统，如图3所示，包含系统数据结构模块，通信处理模块，信息处理模块，边缘端图像标识模块，管理工作台设计模块，班长界面设计模块；

系统数据结构模块，用于应用服务器存储和前端查看统计数据，每个前端工作台还通过发布数据命令来收集和控制前端设备。包含存储应用服务器，通讯处理服务器，业务处理服务器，信息处理服务器，图像处理服务器，使用记录服务器；

通信处理模块，分为与前端IDC的通讯、与摄像机通讯、与客户端工作台的通讯以及与图像标识服务器的通讯四个部分；与IDC通讯采用基本输入输出端口+套接字+用户数据报协议的通讯方式，与摄像头通讯采用传输控制协议+套接字的通讯方式，与客户端工作台界面通讯采用基本输入输出端口+套接字+传输控制协议通讯方式，与图像标识服务器采用多任务轮转的通讯方式；

信息处理模块，用于处理摄像机传回的外部线路的监控的照片；当任务在IDC信道成功执行后，会马上开启信息处理服务器。为了提高任务照片的接收效率，信息处理服务器采用线程池技术，使用多个线程接收不同的摄像机照片；数据处理步骤为：启用数据处理线程池，通道电源查询，开机，执行任务，监控摄相头，发布拍摄工作，得到监控图像，检查图像信息。

边缘端图像标识模块，接收到数据后，开始图像检验工作，与数据库中相应文件作对比；如果查询不到相应的记录，则从所有上传信息中查询，将其与图片名相结合，制作记录表。

管理工作台设计模块，包括硬件设备管理，体系管理和基础数据管理。

班长界面设计模块，检验和监督正在进行中的工作时班长的主要职务，对报告的问题分析并给出解决办法，协调巡视检查界面的工作，发布实时工作，判断传感器上传的报警信息。班长界面的主要功能模块是工作发布；任务下达也被称为实时工作，是班长实时发布的巡线任务；由工作起止时间、工作代号、巡视的区域和内容构成；典型功能包括添加新的实时工作、问题分析和工作进度把控。

为了验证本发明基于边缘计算的无人机巡检图像实时识别系统在不同背景下线路缺陷识的准确性和实用性，某运维班长结合巡视计划制定巡检任务，由该班长进行审核确认对220kV检测一/二线开展巡检，服务器利用班长工作台的命令下达到数据采集及处理模块，巡检中本发明可识别大部分线路中的缺陷，如图4和图5所示。本发明可使巡检周期由1个月变为3天，人工和设备成本降低40％，无人机每周期单机巡视线路长度提升25％，运维人员每周期巡视长度增加60％，实现基层班组提质增效、人员减负、精益管理。因此，本发明在巡检输电线路和杆塔方面具有较好的检测性能。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (6)

1.一种基于边缘计算的无人机巡检图像实时识别方法，其特征是，包括：

S1、控制室服务器调用服务器数据库为现场的无人机提供现场的输电线路与杆塔的地理信息、巡检信息、历史的安装与维护记录数据，各条线路维护的班组结合巡视计划制定巡检计划，由班长进行审核确认，服务器利用班长工作台的命令下达到数据采集及处理模块；

S2、无人机巡检，根据服务器端给出的巡检计划通过云台控制摄像头主动跟踪关注线路和杆塔；

S3、无人机利用数据采集及处理模块通过边缘计算算法，将摄像头现场采集的输电线路和杆塔的图像进行识别和处理后将本次巡检线路缺陷的结果传输给服务器端记录，并通过服务器端自动将本次巡检缺陷的结果发送至线路巡检人员及管理人员，并根据缺陷的严重程度指导巡检人员快速准确处理出现的问题，由工区指派检修班组前去维修，形成智能巡检闭环流程。

2.根据权利要求1所述的基于边缘计算的无人机巡检图像实时识别方法，其特征是，所述数据采集及处理模块，包括机载嵌入式边缘计算核心板基于XILINX MPSoC全可编程处理器，DSP和神经网络计算模块包含4核Cortex-A53+FPGA+GPU+VideoCodec，能实现图像处理和边缘神经网络计算，同时搭配以太网模块进行进行图传、网络传输模块进行网络数据传输。

3.根据权利要求1所述的基于边缘计算的无人机巡检图像实时识别方法，其特征是，所述步骤S2中主动跟踪是通过以下步骤实现的：

S2.1无人机起飞后，围绕杆塔范围3-10米距离飞行，利用GPS配合RTK实现厘米级定位；悬停时无人机在10-50厘米范围内调整最佳拍摄角度；

S2.2到达一个航点后，摄像头进行大范围扫描，数据采集及处理模块启动杆塔识别神经网络，先识别离无人机最近的杆塔位置，从视频流中识别杆塔的类型、朝向、坐标、高度，识别速度为每秒钟10-20帧；

S2.3识别完杆塔后，利用边缘计算算法，把每一帧内的杆塔剪切出来，使除杆塔以外的杂物过滤干净。

4.根据权利要求1所述的基于边缘计算的无人机巡检图像实时识别方法，其特征是，所述步骤S3中边缘计算算法：

S3.1对图内每一个被检测出来的对象进行放大拍照，采集提供给图像识别及处理模块；

S3.2由图像识别及处理模块进行图像识别和处理；

S3.3控制器记录无人机坐标、倾角、朝向以及摄像头坐倾角、朝向作为第一位姿。

5.根据权利要求3所述的基于边缘计算的无人机巡检图像实时识别方法，其特征是，，步骤S3.2图像识别及处理过程是；

1)对于散股检测任务，先对无人机巡检所得图像进行灰度化处理，使用改进的Canny边缘检测算法和Hough算法提取边缘直线；遍历直线上的像素点，通过边缘跟踪算法找到输电线路候选断股区域，最后利用断股与直线的夹角来判决输电线路是否发生故障；

2)对于鸟巢识别任务，采用深度卷积神经网络YOLO_v3的识别检测方法，对YOLO_v3网络进行改进；使用k-means算法对鸟巢候选区域维度聚类，同时进行多尺度网络检测；

3)对于绝缘子缺陷检测任务，先采用深度卷积神经网络YOLO_v3对图片中的绝缘子进行目标检测，定位绝缘子位置进行裁剪，得到所关注的图像，再采用基于卷积神经网络的缺陷检测网络进行绝缘子缺陷检测。

6.一种基于边缘计算的无人机巡检图像实时识别系统，包含系统数据结构模块，通信处理模块，信息处理模块，边缘端图像标识模块，管理工作台设计模块，班长界面设计模块；

系统数据结构模块，用于应用服务器存储和前端查看统计数据，每个前端工作台还通过发布数据命令来收集和控制前端设备；包含存储应用服务器，通讯处理服务器，业务处理服务器，信息处理服务器，图像处理服务器，使用记录服务器；

通信处理模块，分为与前端IDC的通讯、与摄像机通讯、与客户端工作台的通讯以及与图像标识服务器的通讯四个部分；与IDC通讯采用基本输入输出端口+套接字+用户数据报协议的通讯方式，与摄像头通讯采用传输控制协议+套接字的通讯方式，与客户端工作台界面通讯采用基本输入输出端口+套接字+传输控制协议通讯方式，与图像标识服务器采用多任务轮转的通讯方式；

信息处理模块，用于处理摄像机传回的外部线路的监控的照片；当任务在IDC信道成功执行后，会马上开启信息处理服务器；为了提高任务照片的接收效率，信息处理服务器采用线程池技术，使用多个线程接收不同的摄像机照片；数据处理步骤为：启用数据处理线程池，通道电源查询，开机，执行任务，监控摄相头，发布拍摄工作，得到监控图像，检查图像信息；

边缘端图像标识模块，接收到数据后，开始图像检验工作，与数据库中相应文件作对比；如果查询不到相应的记录，则从所有上传信息中查询，将其与图片名相结合，制作记录表；

管理工作台设计模块，包括硬件设备管理，体系管理和基础数据管理；

班长界面设计模块，检验和监督正在进行中的工作时班长的主要职务，对报告的问题分析并给出解决办法，协调巡视检查界面的工作，发布实时工作，判断传感器上传的报警信息；

班长界面的主要功能模块是工作发布；任务下达也被称为实时工作，是班长实时发布的巡线任务；由工作起止时间、工作代号、巡视的区域和内容构成；典型功能包括添加新的实时工作、问题分析和工作进度把控。

Images