CN113759961A - 基于无人机ai巡检控制的输电线路全景巡检方法及系统 - Google Patents

Abstract

本发明公开了基于无人机AI巡检控制的输电线路全景巡检方法及系统，该方法包括：接收巡检启动指令，所述巡检启动指令包括巡检线路数据；基于巡检线路数据规划巡检路线；移动至巡检路线上的下一巡检点位置进行图像采集，并根据采集的图像判断是否需要进行图像采集调整和优化；基于采集的有效图像进行输电线路全景分析，并将全景分析结果上传；检测是否接收到巡检结束指令以及是否主动发送巡检结束请求指令；基于巡检结束指令或者巡检结束请求指令响应结果结束巡检过程。本发明通过基于无人机AI巡检控制，实现无人机巡检过程中的巡检任务管理、巡检路径管理、巡检成果分析展示、巡检数据统计，实现全息互联的输电线路全景巡检。

Description

基于无人机AI巡检控制的输电线路全景巡检方法及系统

技术领域

本发明涉及输电线路安全管控技术领域，具体涉及基于无人机AI巡检控制的输电线路全景巡检方法及系统。

背景技术

当前无人机自主巡检只能在远距离大场景下有效，在长焦距或目标在图片上大占比的情况下，由于无人机的机头朝向旋转精度和云台增稳抖动会导致目标拍摄不完全，偏离目标，导致巡检无效；前期项目中前端缺陷识别装置的识别成果与自主巡检应用无交互，自主巡检路径固定，作业时间点的变化有时会出现逆光拍摄的现象，造成拍摄质量不达标，导致自主巡检出现无效的工作量。

当前输电巡检业务平台众多，存在巡检功能单一、平台不兼容、信息难以共享、无效信息庞大而有效信息提取难的弊端，现有技术的电力巡检技术迫切需要将本体巡检与通道巡检平台融合，为智慧输电线路提供“全领域、全天候、多场景”的智能化支撑。

发明内容

针对上述现有技术存在的问题，本发明提供了基于无人机AI巡检控制的输电线路全景巡检方法及系统，通过无人机AI巡检控制实现无人机的AI巡检路线规划和优化局部巡检路径，进行图像采集调整和优化，实现无人机巡检过程中的巡检任务管理、巡检路径管理、巡检成果分析展示、巡检数据统计。该技术方案如下：

第一方面，提供了一种基于无人机AI巡检控制的输电线路全景巡检方法，包括：

接收巡检启动指令，所述巡检启动指令包括巡检线路数据；

基于巡检线路数据规划巡检路线；

移动至巡检路线上的下一巡检点位置进行图像采集，并根据采集的图像判断是否需要进行图像采集调整和优化；

基于采集的有效图像进行输电线路全景分析，并将全景分析结果上传；

检测是否接收到巡检结束指令以及是否主动发送巡检结束请求指令；

基于巡检结束指令或者巡检结束请求指令响应结果结束巡检过程。

作为上述方案的进一步优化，所述基于巡检线路数据规划巡检路线，包括：

基于采集移动端上传的巡检线路巡检监测点数据，进行监测点巡检顺序优化；

基于优化后的巡检顺序，对相邻两个监测点进行巡检轨迹规划。

作为上述方案的进一步优化，所述进行监测点巡检顺序优化，包括：

基于所有待巡检输电线路上的监测点，获取当前巡检任务中的所有目标监测点；

计算任意两个目标监测点之间的直线距离；

基于起始目标监测点，以所有目标监测点之间的直线巡检路径最短为目标函数搜索最优的下一监测点，直至获取所有的监测点巡检顺序。

作为上述方案的进一步优化，所述移动至巡检路线上的下一巡检点位置进行图像采集，并根据采集的图像判断是否进行图像采集调整和优化，包括：

基于当前监测点采集的第一图像进行目标识别；

基于识别目标获取预设目标巡检方案；

基于预设目标巡检方案确定是否需要采集当前监测点的第二图像；

对于确定需要采集第二图像的监测点，根据第二图像的采集要求，确定以当前监测点的目标位置为中心，采集第二图像的无人机轨迹移动控制参数；

基于所述无人机轨迹移动控制参数，控制无人机当前监测点的移动轨迹并在满足预设位置条件时进行第二图像的采集。

作为上述方案的进一步优化，所述基于识别目标获取预设目标巡检方案，包括：

基于识别目标确定所述识别目标具有的第一缺陷类别集合；

基于第一图像进行特征提取并判断具有第一缺陷类别集合中的每种缺陷的概率；

对于所述概率值大于第三预设阈值的缺陷，获取对应的图像采集参数要求以及图像采集策略；

基于所述图像采集参数要求以及图像采集策略确定目标巡检方案。

作为上述方案的进一步优化，所述所述移动至巡检路线上的下一巡检点位置进行图像采集，并根据采集的图像判断是否进行图像采集调整和优化，还包括:

基于采集图像，获取预设参考图像，所述预设参考图像时基于采集图像为源域的目标域图像；

基于预设参考图像，获取关联性小于第一预设阈值的多个图像特征参数；

基于多个所述图像特征参数，分别获取对应的采集图像和预设参考图像的的图像特征参数数据；

基于采集图像和预设参考图像的相同图像特征参数的参数数据进行相似性比较，获取相似性比较结果，对于多个所述图像特征参数相似性比较结果进行融合，获取融合相似度数值；

对于采集图像的融合相似度数值小于第二预设阈值时，确定需要调整拍摄角度采集第二图像。

作为上述方案的进一步优化，所述对于多个所述图像特征参数相似性比较结果进行融合，获取融合相似度数值，还包括：

基于预设参考图像中图像像素对于目标的表征能力和图像像素位置对图像像素进行分区域，并对于每个子区域图像进行权重赋值；

根据各个子区域图像的多个所述图像特征参数相似性比较结果分别进行加权融合，获取融合结果。

第二方面，提供了一种基于无人机AI巡检控制的输电线路全景巡检系统，包括：

巡检指令接收单元，用于接收巡检启动指令，所述巡检启动指令包括巡检线路数据；

巡检路线自主规划单元，用于基于巡检线路数据规划巡检路线；

局部巡检路线调整单元，用于移动至巡检路线上的下一巡检点位置进行图像采集，并根据采集的图像判断是否需要进行图像采集调整和优化；

巡检结果单元，用于基于采集的有效图像进行输电线路全景分析，并将全景分析结果上传；

巡检结束判断单元，用于检测是否接收到巡检结束指令以及是否主动发送巡检结束请求指令；

巡检结束单元，用于基于巡检结束指令或者巡检结束请求指令响应结果结束巡检过程。

第三方面，提供了一种电子设备，所述电子设备包括：

存储器，用于存储可执行指令；

处理器，用于运行所述存储器存储的可执行指令时，实现上述的基于无人机AI巡检控制的输电线路全景巡检方法。

第四方面，提供了一种计算机可读存储介质，存储有可执行指令，所述可执行指令被处理器执行时实现上述的基于无人机AI巡检控制的输电线路全景巡检方法。

本发明的基于无人机AI巡检控制的输电线路全景巡检方法及系统，具备如下有益效果：本发明中的无人机AI巡检，可以根据巡检启动指令AI分析巡检路线，并且在该巡检规划路线的基础上，对于每个巡检点能够根据图像采集结果只能优化局部巡检路径，进行图像采集调整和优化。实现无人机巡检过程中的巡检任务管理、巡检路径管理、巡检成果分析展示、巡检数据统计，实现无人机自主巡检与实时物联可视，结合具备输电线路缺陷边缘侧识别能力的智能巡检摄像头实现全息互联的输电线路全景巡检。

附图说明

图1是本申请实施例的基于无人机AI巡检控制的输电线路全景巡检方法流程图；

图2是本申请实施例的基于无人机AI巡检控制的输电线路全景巡检系统结构图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，所描述的实施例不应视为对本发明的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

本申请实施例公开了一种基于无人机AI巡检控制的输电线路全景巡检方法，包括：

接收巡检启动指令，所述巡检启动指令包括巡检线路数据；

基于巡检线路数据规划巡检路线；

移动至巡检路线上的下一巡检点位置进行图像采集，并根据采集的图像判断是否需要进行图像采集调整和优化；

基于采集的有效图像进行输电线路全景分析，并将全景分析结果上传；

检测是否接收到巡检结束指令以及是否主动发送巡检结束请求指令；

基于巡检结束指令或者巡检结束请求指令响应结果结束巡检过程。

本申请实施例中，提供的输电线路全景巡检方法，基于无人机AI巡检控制结合具备输电线路缺陷边缘侧识别能力的智能巡检摄像头实现全天24小时在线输电线路监控，具体的，通过无人机AI巡检控制进行第一巡检数据采集，基于具备输电线路缺陷边缘侧识别能力的智能巡检摄像头进行第二巡检数据采集，并对于第一巡检数据和第二巡检数据通过输电线路隐患缺陷识别分析服务，进对输电线路进行全景巡检，实现全息互联的输电线路全景巡检。

本申请实施例中，无人机AI巡检控制通过根据巡检启动指令AI分析巡检路线，并且在该巡检规划路线的基础上，对于每个巡检点能够根据图像采集结果只能优化局部巡检路径，进行图像采集调整和优化。进一步的，无人机具备AI分析能力，能够对自身的工作状态进行分析，当巡检任务完成或者工作状态存在异常时，可以及时向后台服务器发送巡检结束请求指令。

本申请实施例中，通过基于无人机AI巡检控制，实现无人机巡检过程中的巡检任务管理、巡检路径管理、巡检成果分析展示、巡检数据统计，实现无人机自主巡检与实时物联可视。

上述基于巡检线路数据规划巡检路线，包括：

基于采集移动端上传的巡检线路巡检监测点数据，进行监测点巡检顺序优化；

基于优化后的巡检顺序，对相邻两个监测点进行巡检轨迹规划。

本申请实施例中，对于所有巡检线路上的巡检监测点数据，通过智慧巡检移动端采集数据，智慧巡检移动端用于实现无人机巡检的杆塔选择、路径采集、结果上传等功能，为无人机自主巡检提供前期的数据基础。进一步的，基于无人机巡检在移动轨迹上相对于移动端移动轨迹不受地理环境的障碍物影响的特点，基于智慧巡检移动端采集的数据，对所有巡检线路上的巡检监测点进行巡检顺序优化，缩短无人机执行巡检任务的巡检时间。

上述进行监测点巡检顺序优化，包括：

基于所有待巡检输电线路上的监测点，获取当前巡检任务中的所有目标监测点；

计算任意两个目标监测点之间的直线距离；

基于起始目标监测点，以所有目标监测点之间的直线巡检路径最短为目标函数搜索最优的下一监测点，直至获取所有的监测点巡检顺序。

上述移动至巡检路线上的下一巡检点位置进行图像采集，并根据采集的图像判断是否进行图像采集调整和优化，包括：

基于当前监测点采集的第一图像进行目标识别；

基于识别目标获取预设目标巡检方案；

基于预设目标巡检方案确定是否需要采集当前监测点的第二图像；

对于确定需要采集第二图像的监测点，根据第二图像的采集要求，确定以当前监测点的目标位置为中心，采集第二图像的无人机轨迹移动控制参数；

基于所述无人机轨迹移动控制参数，控制无人机当前监测点的移动轨迹并在满足预设位置条件时进行第二图像的采集。

本申请实施例中，基于原本规划的巡检路线到达当前监测点，并对当前监测点采集第一图像，基于第一图像的目标识别结果，确定是否对该目标区域进行图像采集调整和优化，比如说基于该第一图像可以确定该目标区域不存在缺陷或者存在缺陷的可能行较小，可以直接基于原本规划的巡检路线到达下一监测点进行巡检，若基于该第一图像，确定该第一图像中的目标是需要全方位采集图像的或者需要进一步确定该图像是否具有缺陷以及具有的缺陷的详细情况时，确定需要进行第二图像采集，此时针对第二图像的采集，需要在当前监测点的局部空间内重新规划无人机巡检轨迹，包括无人机在当前监测点的局部空间内的旋转飞行轨迹以及飞行角度、飞行高度等参数调整方法，以使无人机实现在当前监测点的局部空间内的预定位置采集第二图像，当然该第二图像可能为单张图像，也可能为多张图像。

上述基于识别目标获取预设目标巡检方案，包括：

基于识别目标确定所述识别目标具有的第一缺陷类别集合；

基于第一图像进行特征提取并判断具有第一缺陷类别集合中的每种缺陷的概率；

对于所述概率值大于第三预设阈值的缺陷，获取对应的图像采集参数要求以及图像采集策略；

基于所述图像采集参数要求以及图像采集策略确定目标巡检方案。

本申请实施例中，通过对第一图像进行目标识别分析，基于第一图像特征进行缺陷存在可能性分析，确定需要进一步确定输电线路缺陷情况以及具有的缺陷的详细情况的第一图像，对该第一图像对应的监测点位置进一步确定第二图像的图像采集策略，比如需要在第一图像的基础上获取该目标区域的高清图像可以确定第二图像的采集策略为比第一图像采集时的距离更近一点，拍摄角度调节至正对目标区域中心的位置等，基于图像采集策略确定匹配的在当前监测点的局部空间内无人机巡检移动轨迹。

上述移动至巡检路线上的下一巡检点位置进行图像采集，并根据采集的图像判断是否进行图像采集调整和优化，还包括:

基于采集图像，获取预设参考图像，所述预设参考图像时基于采集图像为源域的目标域图像；

基于预设参考图像，获取关联性小于第一预设阈值的多个图像特征参数；

基于多个所述图像特征参数，分别获取对应的采集图像和预设参考图像的的图像特征参数数据；

基于采集图像和预设参考图像的相同图像特征参数的参数数据进行相似性比较，获取相似性比较结果，对于多个所述图像特征参数相似性比较结果进行融合，获取融合相似度数值；

对于采集图像的融合相似度数值小于第二预设阈值时，确定需要调整拍摄角度采集第二图像。

本申请实施例中，对于采集图像获取预设参考图像，可以是基于采集图像所对应的采集区域，获取该采集区域的历史巡检图像集，并基于该历史巡检图像集，并在电力巡检图像数据库中，选取出和该历史巡检图像集具有类似或相同数据分布的电力巡检图像数据集，该选取方法可以是基于图像自身的特征，可以是基于在基于图像进行目标识别时的模型参数分布特征。

本申请实施例中，获取关联性小于第一预设阈值的多个图像特征参数，避免多个图像特征表征数据的冗余，对于采集图像获取对应的每个类别的图像特征，比如包括第11图像特征、第12图像特征、第13图像特征......，对于预设参考图像，分别获取对应的每个类别的图像特征，比如包括第21图像特征、第22图像特征、第23图像特征、......，基于采集图像和预设参考图像的同一类别的图像特征比较相似性，并且将多个类别的图像特征的相似性进行融合，用于判断该采集图像是否符合预设参考图像的采集标准，如果不符合，则重新采集图像。

上述对于多个所述图像特征参数相似性比较结果进行融合，获取融合相似度数值，还包括：

基于预设参考图像中图像像素对于目标的表征能力和图像像素位置对图像像素进行分区域，并对于每个子区域图像进行权重赋值；

根据各个子区域图像的多个所述图像特征参数相似性比较结果分别进行加权融合，获取融合结果。

进一步的，基于图像中不同像素对于表征图像目标的不同重要性考虑，对于采集图像进行分区域分析，并且对不同子区域进行权重设置，以突出整个采集图像中重要像素区域和预设参考图像的相似性。

上述移动至巡检路线上的下一巡检点位置，包括：

基于巡检轨迹规划结果，确定规划轨迹上每一位置的方向；

无人机通过自身配备的飞行方向标志器获取当前飞行方向，所述飞行方向标志器包括向正前方发送光信号的发射组件；

通过无人机当前位置点以及当前位置点的飞行方向与巡检轨迹规划结果进行对比，获取当前移动轨迹是否需要调整以及需要调整的角度参数。

本申请实施例公开了一种基于无人机AI巡检控制的输电线路全景巡检系统，包括：

巡检指令接收单元，用于接收巡检启动指令，所述巡检启动指令包括巡检线路数据；

巡检路线自主规划单元，用于基于巡检线路数据规划巡检路线；

局部巡检路线调整单元，用于移动至巡检路线上的下一巡检点位置进行图像采集，并根据采集的图像判断是否需要进行图像采集调整和优化；

巡检结果单元，用于基于采集的有效图像进行输电线路全景分析，并将全景分析结果上传；

巡检结束判断单元，用于检测是否接收到巡检结束指令以及是否主动发送巡检结束请求指令；

巡检结束单元，用于基于巡检结束指令或者巡检结束请求指令响应结果结束巡检过程。

关于基于无人机AI巡检控制的输电线路全景巡检系统的具体限定可以参见上文中对于基于无人机AI巡检控制的输电线路全景巡检方法的限定，在此不再赘述。上述基于无人机AI巡检控制的输电线路全景巡检系统中的各个单元可全部或部分通过软件、硬件及其组合来实现。本申请实施例提供的基于无人机AI巡检控制的输电线路全景巡检系统可以采用软硬件结合的方式实现，作为示例，本发明实施例所提供的基于无人机AI巡检控制的输电线路全景巡检系统可以直接体现为由处理器执行的软件模块组合，软件模块可以位于存储介质中，存储介质位于存储器，处理器读取存储器中软件模块包括的可执行指令，结合必要的硬件(例如，包括处理器以及连接到总线的其他组件)完成本申请实施例提供的基于无人机AI巡检控制的输电线路全景巡检方法。

本申请实施例公开了一种电子设备，该电子设备包括：

存储器，用于存储可执行指令；

处理器，用于运行所述存储器存储的可执行指令时，实现上述的基于无人机AI巡检控制的输电线路全景巡检方法。

本申请实施例提供的电子设备包括：至少一个处理器、存储器、用户接口和至少一个网络接口。电子设备中的各个组件通过总线系统耦合在一起。可以理解，总线系统用于实现这些组件之间的连接通信。总线系统除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。

本申请实施例公开了一种计算机可读存储介质，存储有可执行指令，所述可执行指令被处理器执行时实现上述的基于无人机AI巡检控制的输电线路全景巡检方法。可以理解，可计算机可读存储介质以是只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、只读光盘(compact disc read-only memory，CD-ROM)、磁带、软盘和光数据存储节点等。

本发明不局限于上述具体的实施方式，本领域的普通技术人员从上述构思出发，不经过创造性的劳动，所做出的种种变换，均落在本发明的保护范围之内。

Claims (10)

1.基于无人机AI巡检控制的输电线路全景巡检方法，其特征在于，包括：

接收巡检启动指令，所述巡检启动指令包括巡检线路数据；

基于巡检线路数据规划巡检路线；

移动至巡检路线上的下一巡检点位置进行图像采集，并根据采集的图像判断是否需要进行图像采集调整和优化；

基于采集的有效图像进行输电线路全景分析，并将全景分析结果上传；

检测是否接收到巡检结束指令以及是否主动发送巡检结束请求指令；

基于巡检结束指令或者巡检结束请求指令响应结果结束巡检过程。

2.根据权利要求1所述的基于无人机AI巡检控制的输电线路全景巡检方法，其特征在于，所述基于巡检线路数据规划巡检路线，包括：

基于采集移动端上传的巡检线路巡检监测点数据，进行监测点巡检顺序优化；

基于优化后的巡检顺序，对相邻两个监测点进行巡检轨迹规划。

3.根据权利要求2所述的基于无人机AI巡检控制的输电线路全景巡检方法，其特征在于，所述进行监测点巡检顺序优化，包括：

基于所有待巡检输电线路上的监测点，获取当前巡检任务中的所有目标监测点；

计算任意两个目标监测点之间的直线距离；

基于起始目标监测点，以所有目标监测点之间的直线巡检路径最短为目标函数搜索最优的下一监测点，直至获取所有的监测点巡检顺序。

4.根据权利要求2所述的基于无人机AI巡检控制的输电线路全景巡检方法，其特征在于，所述移动至巡检路线上的下一巡检点位置进行图像采集，并根据采集的图像判断是否进行图像采集调整和优化，包括：

基于当前监测点采集的第一图像进行目标识别；

基于识别目标获取预设目标巡检方案；

基于预设目标巡检方案确定是否需要采集当前监测点的第二图像；

对于确定需要采集第二图像的监测点，根据第二图像的采集要求，确定以当前监测点的目标位置为中心，采集第二图像的无人机轨迹移动控制参数；

基于所述无人机轨迹移动控制参数，控制无人机当前监测点的移动轨迹并在满足预设位置条件时进行第二图像的采集。

5.根据权利要求4所述的基于无人机AI巡检控制的输电线路全景巡检方法，其特征在于，所述基于识别目标获取预设目标巡检方案，包括：

基于识别目标确定所述识别目标具有的第一缺陷类别集合；

基于第一图像进行特征提取并判断具有第一缺陷类别集合中的每种缺陷的概率；

对于所述概率值大于第三预设阈值的缺陷，获取对应的图像采集参数要求以及图像采集策略；

基于所述图像采集参数要求以及图像采集策略确定目标巡检方案。

6.根据权利要求4所述的基于无人机AI巡检控制的输电线路全景巡检方法，其特征在于，所述所述移动至巡检路线上的下一巡检点位置进行图像采集，并根据采集的图像判断是否进行图像采集调整和优化，还包括:

基于采集图像，获取预设参考图像，所述预设参考图像时基于采集图像为源域的目标域图像；

基于预设参考图像，获取关联性小于第一预设阈值的多个图像特征参数；

基于多个所述图像特征参数，分别获取对应的采集图像和预设参考图像的的图像特征参数数据；

基于采集图像和预设参考图像的相同图像特征参数的参数数据进行相似性比较，获取相似性比较结果，对于多个所述图像特征参数相似性比较结果进行融合，获取融合相似度数值；

对于采集图像的融合相似度数值小于第二预设阈值时，确定需要调整拍摄角度采集第二图像。

7.根据权利要求6所述的基于无人机AI巡检控制的输电线路全景巡检方法，其特征在于，所述对于多个所述图像特征参数相似性比较结果进行融合，获取融合相似度数值，还包括：

基于预设参考图像中图像像素对于目标的表征能力和图像像素位置对图像像素进行分区域，并对于每个子区域图像进行权重赋值；

根据各个子区域图像的多个所述图像特征参数相似性比较结果分别进行加权融合，获取融合结果。

8.基于无人机AI巡检控制的输电线路全景巡检系统，其特征在于，包括：

巡检指令接收单元，用于接收巡检启动指令，所述巡检启动指令包括巡检线路数据；

巡检路线自主规划单元，用于基于巡检线路数据规划巡检路线；

局部巡检路线调整单元，用于移动至巡检路线上的下一巡检点位置进行图像采集，并根据采集的图像判断是否需要进行图像采集调整和优化；

巡检结果单元，用于基于采集的有效图像进行输电线路全景分析，并将全景分析结果上传；

巡检结束判断单元，用于检测是否接收到巡检结束指令以及是否主动发送巡检结束请求指令；

巡检结束单元，用于基于巡检结束指令或者巡检结束请求指令响应结果结束巡检过程。

9.一种电子设备，其特征在于，所述电子设备包括：

存储器，用于存储可执行指令；

处理器，用于运行所述存储器存储的可执行指令时，实现权利要求1至7任一项所述的基于无人机AI巡检控制的输电线路全景巡检方法。

10.一种计算机可读存储介质，存储有可执行指令，其特征在于，所述可执行指令被处理器执行时实现权利要求1至7任一项所述的基于无人机AI巡检控制的输电线路全景巡检方法。

Images