CN117389311B - 无人机自主越障方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请提供一种无人机自主越障方法、装置、电子设备及存储介质。该方法包括：利用电力线路的点云数据构建无人机的巡检任务地图；利用预定的目标识别模型对无人机采集到的输入图像进行识别；利用导航算法计算出从初始位置至目标点的全局路径；在无人机沿全局路径飞行中遇到障碍物时，基于无人机的当前位置，从全局路径中提取障碍物覆盖的路径；利用预定的避障算法生成绕过障碍物的局部路径，并用局部路径对全局路径中的障碍物覆盖的路径进行更新；在无人机绕过障碍物后，重新切换到导航算法进行全局路径规划，控制无人机沿更新后的全局路径移动，直至到达目标点或遇到下一个障碍物。本申请增强AI应用性能，提升无人机的自主越障能力。

Description

无人机自主越障方法、装置、电子设备及存储介质

技术领域

本申请涉及无人机电力巡检应用技术领域，尤其涉及一种无人机自主越障方法、装置、电子设备及存储介质。

背景技术

作为国家基础设施的核心组成部分，电力网的稳定运行对经济和民生发展至关重要。随着技术进步，尤其是数字化和信息化的快速发展，国家电网面临的挑战也在逐渐增加。特别是在终端设备数量日益增加的情况下，数据处理和运算负担不断加重，这不仅增加了操作成本，也对云端服务器造成了巨大压力。

在图像分析技术普及的现代，电力网巡检过程中产生的海量图像数据需要高效处理。现有技术中，基于边缘计算的电气设备故障红外图像识别方法已被提出，其通过优化边缘计算设备和构建电气设备故障边缘计算模型，实现了电气设备红外图像的增强处理。这些技术在一定程度上提升了故障识别的效率和准确性，但仍存在显著的局限性。

然而，现有解决方案的主要局限在于它们的应用范围和功能性。特别是，这些解决方案主要聚焦于红外图像的实时检测，而缺乏其他关键功能的集成，如视觉SLAM飞行和自动越障。这些功能对于在复杂和多变的电力网环境中进行高效和精确的巡检至关重要。因此，现有技术未能充分解决无人机在电力巡检中面临的算力不足和AI应用受限的问题，尤其是在实现电力巡检中目标实时检测、视觉SLAM飞行、自动越障等技术方面的突破。

为了克服现有技术的问题，进一步提升电力巡检的效率和准确性，迫切需要一种新的解决方案，该方案应能够集成更高级的图像处理技术，并优化无人机在复杂环境中的自主导航和避障能力。

发明内容

有鉴于此，本申请实施例提供了一种无人机自主越障方法、装置、电子设备及存储介质，以解决现有技术存在的算力不足导致AI应用受限，自动越障能力不足的问题。

本申请实施例的第一方面，提供了一种无人机自主越障方法，包括：利用电力线路的点云数据构建无人机的巡检任务地图；利用预定的目标识别模型对无人机采集到的输入图像进行识别，以确定无人机在巡检任务地图中的初始位置；利用导航算法计算出一条从初始位置至目标点的全局路径，将全局路径作为无人机导航的基准；在无人机沿全局路径飞行中遇到障碍物时，基于无人机的当前位置，从全局路径中提取障碍物覆盖的路径，并将障碍物覆盖的路径转换至无人机自身坐标系中；利用预定的避障算法生成绕过障碍物的局部路径，并用局部路径对全局路径中的障碍物覆盖的路径进行更新，其中，避障算法以无人机从当前位置至障碍物以及从障碍物至目标点的路径为代价，以权衡路径代价和搜索时间所计算的结果；在无人机绕过障碍物后，重新切换到导航算法进行全局路径规划，控制无人机沿更新后的全局路径移动，直至到达目标点或遇到下一个障碍物。

本申请实施例的第二方面，提供了一种无人机自主越障装置，包括：构建模块，被配置为利用电力线路的点云数据构建无人机的巡检任务地图；识别模块，被配置为利用预定的目标识别模型对无人机采集到的输入图像进行识别，以确定无人机在巡检任务地图中的初始位置；计算模块，被配置为利用导航算法计算出一条从初始位置至目标点的全局路径，将全局路径作为无人机导航的基准；提取模块，被配置为在无人机沿全局路径飞行中遇到障碍物时，基于无人机的当前位置，从全局路径中提取障碍物覆盖的路径，并将障碍物覆盖的路径转换至无人机自身坐标系中；生成模块，被配置为利用预定的避障算法生成绕过障碍物的局部路径，并用局部路径对全局路径中的障碍物覆盖的路径进行更新，其中，避障算法以无人机从当前位置至障碍物以及从障碍物至目标点的路径为代价，以权衡路径代价和搜索时间所计算的结果；规划模块，被配置为在无人机绕过障碍物后，重新切换到导航算法进行全局路径规划，控制无人机沿更新后的全局路径移动，直至到达目标点或遇到下一个障碍物。

本申请实施例的第三方面，提供了一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述方法的步骤。

本申请实施例的第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。

本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：

通过利用电力线路的点云数据构建无人机的巡检任务地图；利用预定的目标识别模型对无人机采集到的输入图像进行识别，以确定无人机在巡检任务地图中的初始位置；利用导航算法计算出一条从初始位置至目标点的全局路径，将全局路径作为无人机导航的基准；在无人机沿全局路径飞行中遇到障碍物时，基于无人机的当前位置，从全局路径中提取障碍物覆盖的路径，并将障碍物覆盖的路径转换至无人机自身坐标系中；利用预定的避障算法生成绕过障碍物的局部路径，并用局部路径对全局路径中的障碍物覆盖的路径进行更新，其中，避障算法以无人机从当前位置至障碍物以及从障碍物至目标点的路径为代价，以权衡路径代价和搜索时间所计算的结果；在无人机绕过障碍物后，重新切换到导航算法进行全局路径规划，控制无人机沿更新后的全局路径移动，直至到达目标点或遇到下一个障碍物。本申请增强AI应用性能，提升无人机的自主越障能力。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本申请实施例提供的无人机自主越障方法的流程示意图；

图2是本申请实施例提供的无人机自主越障装置的结构示意图；

图3是本申请实施例提供的电子设备的结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

电力网络作为国家基础设施的关键组成部分，其稳定和无故障运行对于经济和民生的发展至关重要。随着数字化和信息化的快速发展，特别是在国家电网这样的业界领先企业中，终端设备的大量接入导致了数据处理的瓶颈问题。特别是随着图像分析应用的广泛普及，海量数据的产生和处理不仅增加了成本，也给云端服务器带来了巨大的负担。在这种需求背景下，边缘智能计算技术的需求日益增加。

尽管现有技术已提出基于边缘计算的电气设备故障红外图像识别方法，这些方法通过优化边缘计算设备和建立电气设备故障边缘计算模型，对电气设备的红外图像进行增强处理。然而，这些解决方案的主要缺点在于它们的功能范围有限，主要是实现红外图像的实时检测，而缺乏视觉SLAM飞行和自动越障等功能的集成。

针对现有技术中存在的这些限制，本申请实施例提供了一种创新的解决方案。本申请的无人机图像处理模块，作为一个集成了高算力和先进算法的AI应用终端，能显著提升无人机在电力巡检中的图像识别精度和速度。该模块结合了无人机控制接口，能够实现电力巡检中的多项关键功能，包括目标实时检测、视觉SLAM飞行、自动越障等，满足了电力巡检的复杂需求。通过本申请实施例的技术方案，无人机在电力巡检任务中不仅能够进行高效、准确的图像识别，而且能够在复杂的环境中实现自主导航和智能越障，大大提高了巡检的效率和安全性。这些技术进步为电力网络的稳定运行和维护提供了强有力的支持，从而更好地服务于经济与民生的发展。

本申请实施例主要针对目前无人机算力不足、AI应用受限等问题，提出一种集算力、算法于一体的无人机图像处理模块，它可以大大提升无人机图像识别精度和速度。通过输电线路设施设备本体或部件识别可以实现视觉SLAM飞行功能，也可实现输电线路设施设备、通道环境及外破等缺陷或隐患的实时识别；无人机图像处理模块支持多种配网设备的识别，如杆塔、台变、开关柜、避雷器等；基于视觉SLAM技术还可实现配网巡检过程中的自主越障等深化应用功能。采用本申请技术方案之后，缩短了数据传输距离，消除了网络带宽和延迟问题，最终提高了应用和服务的效率和可靠性，降低了运行成本。

图1是本申请实施例提供的无人机自主越障方法的流程示意图。图1的无人机自主越障方法可以由无人机中设置的无人机图像处理模块来执行。如图1所示，该无人机自主越障方法具体可以包括：

S101，利用电力线路的点云数据构建无人机的巡检任务地图；

S102，利用预定的目标识别模型对无人机采集到的输入图像进行识别，以确定无人机在巡检任务地图中的初始位置；

S103，利用导航算法计算出一条从初始位置至目标点的全局路径，将全局路径作为无人机导航的基准；

S104，在无人机沿全局路径飞行中遇到障碍物时，基于无人机的当前位置，从全局路径中提取障碍物覆盖的路径，并将障碍物覆盖的路径转换至无人机自身坐标系中；

S105，利用预定的避障算法生成绕过障碍物的局部路径，并用局部路径对全局路径中的障碍物覆盖的路径进行更新，其中，避障算法以无人机从当前位置至障碍物以及从障碍物至目标点的路径为代价，以权衡路径代价和搜索时间所计算的结果；

S106，在无人机绕过障碍物后，重新切换到导航算法进行全局路径规划，控制无人机沿更新后的全局路径移动，直至到达目标点或遇到下一个障碍物。

首先，结合具体实施例对本申请的无人机图像处理模块的技术架构进行说明。在电力巡检领域，由于环境的复杂性和多变性，巡检过程中常遇到如数据废片率高、回传效率低、操作不规范导致的无人机碰撞等问题。本申请针对这些挑战，提出了一种创新的无人机图像处理模块。该模块通过集成先进的目标识别和视觉SLAM（Simultaneous Localizationand Mapping）飞行功能，能够有效提高电力巡检的效率和安全性。

本申请的无人机图像处理模块利用深度学习和计算机视觉技术，实现了自动寻塔和障碍物越障功能。这意味着无人机能够自主识别电力杆塔和周围的障碍物，从而实现一体化的自主巡检控制。这种集成不仅提高了巡检的准确性，还减少了对飞手操作技能的依赖。在检测到算力棒（一种通过USB接口连接的深度学习推理算力棒）的接入后，该模块能够在云端执行数据分析。算力棒内含有高性能且低功耗的算力芯片，这一特性使得数据处理更加高效，同时避免了数据的大量回传，有效降低了延迟和带宽需求。

本申请创新的技术架构使得无人机在执行电力巡检任务时具有更高的自主性和灵活性。它不仅能自动避免障碍物，减少事故风险，还能实时处理和分析巡检数据，提高了整体的巡检效率。此外，通过减少对人工飞手的依赖，降低了操作错误的可能性，进一步提升了巡检过程的安全性和可靠性。

在一些实施例中，利用电力线路的点云数据构建无人机的巡检任务地图，包括：

利用频率域法中的高通滤波器对采集到的电力线路图像进行增强处理，以增强图像中的边缘特征；

将处理后的电力线路图像输入视觉里程计模块，视觉里程计模块用于根据相邻两张图像信息估计相机的运动，并基于相机的运动恢复场景的空间结构；

在后端采用非线性优化方法，以减少视觉里程计过程中累积的误差，得到估计出的无人机轨迹；

利用视觉里程计模块进行稀疏地图的创建，并基于估计出的无人机轨迹结合后端非线性优化建立任务所需的详细地图，其中，详细地图在空间上提供约束，以消除累积误差，得到构建后的巡检任务地图。

具体地，在本申请实施例中，首先采用频率域法中的高通滤波器对采集到的电力线路图像进行增强处理。此步骤旨在突出图像中的边缘特征，尤其是电力线路的轮廓，以便于后续的图像处理和特征点的提取。增强后的电力线路图像将输入到视觉里程计模块。该模块的主要任务是根据相邻的两张图像信息来估计相机（无人机相机）的运动，并据此恢复场景的空间结构。这种估计对于无人机定位和后续路径规划至关重要。

进一步地，为了减少视觉里程计过程中可能累积的误差，本申请实施例在后端采用了非线性优化方法。这种优化有助于提高无人机轨迹估计的准确性，从而确保巡检任务的高效性和准确性。本申请还利用视觉里程计模块进行稀疏地图的创建，并基于估计出的无人机轨迹结合后端非线性优化建立任务所需的详细地图。这一地图在空间上提供了必要的约束，以消除累积误差，确保巡检任务地图的准确性和可靠性。

进一步地，本申请实施例中的视觉SLAM技术基于AR增强现实技术与目标识别算法。目标识别算法能够快速分析导线的出线方向，并利用AR技术在图传中标示出出线方向。同时，算法还能实时更新计算目标位置，并相应调整无人机的航向角和云台俯仰角以锁定杆塔。在寻塔过程中，视觉SLAM技术的应用主要涉及避障和越障。视觉SLAM由前端数据预处理、视觉里程计、后端非线性优化和回环检测等四个功能模块组成。特别是在避障和越障方面，该技术能够根据点云数据识别障碍物，并为无人机提供避障路径，从而提高巡检作业的安全性和效率。

在一些实施例中，利用预定的目标识别模型对无人机采集到的输入图像进行识别，以确定无人机在巡检任务地图中的初始位置，包括：

对输入图像进行目标识别处理，其中目标识别处理包括将输入图像划分为多个单元网格，并为每个单元网格定义锚框；

利用深度卷积网络对输入图像提取多尺度特征，对每个尺度的特征进行分析，以预测每个锚框在对应单元网格中的位置调整参数、置信度和类别概率；

利用预设的阈值对预测结果中的低置信度预测框进行过滤，以剔除可信度低于阈值的预测数据；

利用非最大抑制算法对预测结果中的冗余预测框进行过滤，以便消除预测结果的重叠和冗余；

从处理后的预测结果中得到包含目标类别及其空间位置信息的最终预测输出。

具体地，在本申请实施例中，首先对输入图像进行目标识别处理。此过程包括将输入图像划分为多个单元网格，并为每个单元网格定义锚框。这一步骤是为了定位图像中的潜在目标区域。接着，使用深度卷积网络对输入图像提取多尺度特征。对每个尺度的特征进行分析，预测每个锚框在对应单元网格中的位置调整参数、置信度和类别概率。这一步是为了确定目标的确切位置和其可能属于的类别。

进一步地，过滤低置信度预测框：使用预设的阈值对预测结果中的低置信度预测框进行过滤，以剔除可信度低于阈值的预测数据。这有助于提高模型的准确性和可靠性。利用非最大抑制算法对预测结果中的冗余预测框进行过滤，消除预测结果的重叠和冗余。最后，从处理后的预测结果中得到包含目标类别及其空间位置信息的最终预测输出。

需要说明的是，本申请实施例提出一种基于改进的Yolov4-tiny模型的目标检测方法。在Yolov4-tiny的基础上加入了ResNet-D模块和调整后的Res-CBAM模块，以增强模型的特征学习和关注能力。该模型特别适用于电力线路目标与缺陷隐患的识别。

YOLO（You Only Look Once）是一种非常流行的实时目标检测方法。它可以快速地在图像中找到并识别目标物体。"Yolov4-tiny" 是 YOLO 系列中的一个轻量级版本。因为它“轻”，所以可以在计算资源受限的设备上运行，例如无人机。

在一个示例中，本申请实施例对模型做了如下改进：

ResNet-D模块：是一种深度神经网络结构，它可以帮助网络更好地学习图像中的特征，从而提高目标检测的准确性。

Res-CBAM模块：是另一种神经网络模块，它可以更好地关注图像中的重要部分，进一步提高模型的检测性能。这里的版本是经过调整的，以适应这个特定的应用。

进一步地，改进后的Yolov4-tiny模型的训练过程如下：

使用与电力线路相关的图像（包括正常的和有缺陷隐患的）来训练改进后的Yolov4-tiny模型。

训练的结果是一个深度学习模型，它可以识别电力线路的目标，以及检测其中的缺陷和隐患。

进一步地，将训练好的Yolov4-tiny模型在无人机上进行部署，即将训练好的模型部署在无人机图像处理模块上。

由于模型可能需要较高的计算能力，所以使用之前提到的算力棒来帮助进行实时的目标识别。

当无人机飞行时，它会使用这个训练好的模型来识别电力线路上的目标和缺陷，并实时地提供反馈，例如目标的位置、故障的类别等。

根据上述实施例的技术方案，本申请通过使用与电力线路相关的图像数据集对改进的Yolov4-tiny模型进行训练，从而得到一个能够高效识别电力线路目标和缺陷的深度学习模型。训练后的模型被部署在无人机的图像处理模块上，搭载算力棒以实现实时目标识别。通过改进的Yolov4-tiny模型，无人机能够有效地识别电力线路上的目标和潜在隐患，从而提高电力巡检的安全性和可靠性。

在一些实施例中，基于无人机的当前位置，从全局路径中提取障碍物覆盖的路径，包括：

在无人机沿预定的全局路径飞行过程中遇到障碍物时，以无人机的当前位置为中心点；从全局路径中截取预设范围内的路径段，预设范围内的路径段能够覆盖障碍物对无人机飞行轨迹的影响区域。

具体地，下面介绍如何基于无人机的当前位置，有效提取全局路径中障碍物覆盖的路径段。在本申请实施例中，当无人机沿预定的全局路径执行飞行任务并遇到障碍物时，系统首先以无人机当前位置为中心点。随后，系统自动从全局路径中截取一个预设范围内的路径段。这一路径段覆盖了障碍物对无人机飞行轨迹的影响区域，确保障碍物在无人机的导航系统中得到有效识别。

进一步地，被截取的路径段是基于无人机当前位置和障碍物的相对位置动态确定的。这一范围足以覆盖无人机可能与障碍物相遇的整个区域。一旦截取完成，无人机的导航系统将使用此段路径进行后续的避障操作。利用先进的避障算法，无人机能够基于当前位置和截取的路径段，生成绕过障碍物的局部路径。这一局部路径将替换掉全局路径中受障碍物影响的部分。

本申请实施例中的无人机导航系统具备高度的适应性，能够根据实时环境变化灵活调整飞行路径。无论是在复杂的城市环境还是在多变的自然景观中，都能保持高效的路径规划和避障操作。本实施例适用于各种类型的无人机应用，尤其是在需要高度自主性和精确避障能力的场景，如电力线路巡检、灾区侦查等。

在一些实施例中，将障碍物覆盖的路径转换至无人机自身坐标系中，包括：

在无人机识别并确定障碍物的位置后，基于障碍物覆盖的路径相对于无人机当前位置的空间关系和方向，将所识别的障碍物及其覆盖的路径部分从全局坐标系转换至无人机的本地坐标系上。

具体地，在本申请实施例中，当无人机在执行飞行任务时遇到障碍物，首先利用其先进的感知系统识别并确定障碍物的确切位置。这一过程涉及对障碍物形状、大小及其在环境中的位置进行精确分析。一旦障碍物被识别，无人机的导航系统会评估障碍物相对于无人机当前位置的空间关系和方向。这包括对障碍物与无人机之间的距离、角度和相对高度等因素的分析。

进一步地，系统将基于上述空间关系分析，将障碍物覆盖的路径部分从全局坐标系转换至无人机的本地坐标系。这种转换允许无人机的导航系统更准确地规划避障策略，确保飞行安全。转换到本地坐标系后，无人机会根据新的路径数据计算绕过障碍物的最优路线。这一过程考虑了无人机的飞行能力、障碍物的特性以及环境条件。

本申请实施例中的无人机具备高度的适应性和反应能力，能够根据实时环境数据实时更新其飞行路径。这一特性尤其在复杂或不断变化的环境中显得至关重要。

在一些实施例中，利用预定的避障算法生成绕过障碍物的局部路径，并用局部路径对全局路径中的障碍物覆盖的路径进行更新，包括：

在无人机执行飞行任务并遇到障碍物时，启用预定的避障算法，避障算法在迪杰斯特拉算法的基础上增加启发式函数；

避障算法在计算局部路径时，同时考虑了从无人机当前位置到障碍物的路径代价和从障碍物到目标点的路径代价，设置路径代价与搜索时间的权重比例，以权衡总路径代价与搜索所需时间；

根据避障算法计算得出的局部路径，利用局部路径更新全局路径中被障碍物覆盖的部分，以便对障碍物覆盖的路径进行更新。

具体地，在无人机执行飞行任务并遇到障碍物时，系统启用了预定的避障算法。该算法基于迪杰斯特拉算法（Dijkstra's Algorithm），增加了启发式函数，从而形成A*算法（A-Star Algorithm）。此算法能够更有效地处理复杂的飞行环境中的障碍物。在计算局部路径时，该避障算法同时考虑了从无人机当前位置到障碍物以及从障碍物到目标点的路径代价。通过设置路径代价与搜索时间的权重比例，算法可以找到路径代价和搜索时间之间的平衡，从而生成有效的局部路径。

进一步地，避障算法计算出局部路径后，无人机的导航系统会利用此局部路径更新全局路径中被障碍物覆盖的部分。这样的更新确保了无人机能够绕过障碍物，并继续沿着最优化的路径前进。

进一步地，本实施例中的无人机利用视觉SLAM技术进行障碍物识别和导航路径规划。通过分析点云数据，无人机能够识别两杆塔间通道内的关键类别障碍物，如树木、建筑物、电力线和杆塔，识别精度达到90%以上。根据不同类型的障碍物，无人机能够自主确定最优的避障方式。这提高了巡检操作的效率和安全性，使无人机能够在复杂环境中更加灵活地执行任务。

在一些实施例中，该方法还包括：

利用边缘计算终端相机配合全方位实时控制的云台，根据无人机的飞行位置和姿态，自动锁定电力巡检中关键部件的拍摄位置；

结合实时目标识别算法，无人机的边缘计算终端对识别出的关键部件进行持续跟踪，以确保目标部件始终处于拍摄视角中心；

控制云台及相机载荷进行精确对准目标部件，根据拍摄需求自动变焦放大及精确对焦，以获得清晰的图像数据；

在最佳拍摄时机，执行抓拍操作，以捕捉关键数据，完成电力设施的精确数据采集。

具体地，本申请实施例还公开了智能拍照功能在无人机电力巡检中的应用，尤其是如何利用边缘计算终端相机和全方位实时控制云台来实现精确的目标部件拍摄。该无人机系统整合了边缘计算终端相机和全方位实时控制的云台。这种配置允许无人机在飞行过程中自动识别和锁定电力巡检中的关键部件，如电缆、接头、绝缘子等。

进一步地，无人机边缘计算终端集成了实时目标识别算法，能够在飞行中实时分析图像数据，快速识别关键部件。识别后，系统自动对关键部件进行持续跟踪，确保其始终处于相机的拍摄视角中心。无人机的云台和相机载荷能够根据实时分析数据进行精确对准目标部件。系统还能够自动进行变焦放大和精确对焦，以获得清晰、详细的图像。

进一步地，在达到最佳拍摄时机时，无人机执行抓拍操作，以捕捉关键数据。这种方式确保在关键时刻获取高质量的图像，用于后续的分析和维护决策。通过上述智能拍照功能，无人机能够自动完成电力设施的精确数据采集。这不仅提高了巡检效率，而且增强了数据采集的准确性和可靠性。

根据上述本申请的实施例，该智能拍照功能适用于复杂的电力巡检任务，特别是在高风险或难以接近的区域。它大大减少了人工操作的需求，同时提高了数据收集的质量和效率。

根据本申请实施例提供的技术方案，本申请通过集成先进的视觉SLAM技术和智能越障算法，实现了无人机在执行电力巡检任务时的自主越障能力。这使得无人机能够在遇到障碍物时，自动规划绕行路径，有效避免碰撞，确保安全飞行。同时，能够实时修正航线，保证巡检任务的连续性和完整性。本申请集成的无人机图像处理模块，通过高效的算法和强大的计算能力，显著提升了无人机对输电线路设施设备及其部件的识别精度和速度。这不仅提高了巡检作业的效率，还确保了数据采集的准确性和可靠性。本方案通过减少人工参与和提高自动化水平，有效降低了电力巡检的总体运行成本。自动化的越障和识别功能减少了对人工操作的依赖，同时降低了潜在的安全风险。无人机图像处理模块支持多种配网设备的识别，并能实时识别输电线路设施设备、通道环境及外部破损等缺陷或隐患。该模块基于视觉SLAM技术，还可在配网巡检过程中实现自主越障等深化应用功能，进一步扩展了无人机在电力巡检领域的应用范围。

下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。

图2是本申请实施例提供的无人机自主越障装置的结构示意图。如图2所示，该无人机自主越障装置包括：

构建模块201，被配置为利用电力线路的点云数据构建无人机的巡检任务地图；

识别模块202，被配置为利用预定的目标识别模型对无人机采集到的输入图像进行识别，以确定无人机在巡检任务地图中的初始位置；

计算模块203，被配置为利用导航算法计算出一条从初始位置至目标点的全局路径，将全局路径作为无人机导航的基准；

提取模块204，被配置为在无人机沿全局路径飞行中遇到障碍物时，基于无人机的当前位置，从全局路径中提取障碍物覆盖的路径，并将障碍物覆盖的路径转换至无人机自身坐标系中；

生成模块205，被配置为利用预定的避障算法生成绕过障碍物的局部路径，并用局部路径对全局路径中的障碍物覆盖的路径进行更新，其中，避障算法以无人机从当前位置至障碍物以及从障碍物至目标点的路径为代价，以权衡路径代价和搜索时间所计算的结果；

规划模块206，被配置为在无人机绕过障碍物后，重新切换到导航算法进行全局路径规划，控制无人机沿更新后的全局路径移动，直至到达目标点或遇到下一个障碍物。

在一些实施例中，图2的构建模块201利用频率域法中的高通滤波器对采集到的电力线路图像进行增强处理，以增强图像中的边缘特征；将处理后的电力线路图像输入视觉里程计模块，视觉里程计模块用于根据相邻两张图像信息估计相机的运动，并基于相机的运动恢复场景的空间结构；在后端采用非线性优化方法，以减少视觉里程计过程中累积的误差，得到估计出的无人机轨迹；利用视觉里程计模块进行稀疏地图的创建，并基于估计出的无人机轨迹结合后端非线性优化建立任务所需的详细地图，其中，详细地图在空间上提供约束，以消除累积误差，得到构建后的巡检任务地图。

在一些实施例中，图2的识别模块202对输入图像进行目标识别处理，其中目标识别处理包括将输入图像划分为多个单元网格，并为每个单元网格定义锚框；利用深度卷积网络对输入图像提取多尺度特征，对每个尺度的特征进行分析，以预测每个锚框在对应单元网格中的位置调整参数、置信度和类别概率；利用预设的阈值对预测结果中的低置信度预测框进行过滤，以剔除可信度低于阈值的预测数据；利用非最大抑制算法对预测结果中的冗余预测框进行过滤，以便消除预测结果的重叠和冗余；从处理后的预测结果中得到包含目标类别及其空间位置信息的最终预测输出。

在一些实施例中，图2的提取模块204在无人机沿预定的全局路径飞行过程中遇到障碍物时，以无人机的当前位置为中心点；从全局路径中截取预设范围内的路径段，预设范围内的路径段能够覆盖障碍物对无人机飞行轨迹的影响区域。

在一些实施例中，图2的提取模块204在无人机识别并确定障碍物的位置后，基于障碍物覆盖的路径相对于无人机当前位置的空间关系和方向，将所识别的障碍物及其覆盖的路径部分从全局坐标系转换至无人机的本地坐标系上。

在一些实施例中，图2的生成模块205在无人机执行飞行任务并遇到障碍物时，启用预定的避障算法，避障算法在迪杰斯特拉算法的基础上增加启发式函数；避障算法在计算局部路径时，同时考虑了从无人机当前位置到障碍物的路径代价和从障碍物到目标点的路径代价，设置路径代价与搜索时间的权重比例，以权衡总路径代价与搜索所需时间；根据避障算法计算得出的局部路径，利用局部路径更新全局路径中被障碍物覆盖的部分，以便对障碍物覆盖的路径进行更新。

在一些实施例中，图2的抓拍模块207利用边缘计算终端相机配合全方位实时控制的云台，根据无人机的飞行位置和姿态，自动锁定电力巡检中关键部件的拍摄位置；结合实时目标识别算法，无人机的边缘计算终端对识别出的关键部件进行持续跟踪，以确保目标部件始终处于拍摄视角中心；控制云台及相机载荷进行精确对准目标部件，根据拍摄需求自动变焦放大及精确对焦，以获得清晰的图像数据；在最佳拍摄时机，执行抓拍操作，以捕捉关键数据，完成电力设施的精确数据采集。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

图3是本申请实施例提供的电子设备3的示意图。如图3所示，该实施例的电子设备3包括：处理器301、存储器302以及存储在该存储器302中并且可在处理器301上运行的计算机程序303。处理器301执行计算机程序303时实现上述各个方法实施例中的步骤。或者，处理器301执行计算机程序303时实现上述各装置实施例中各模块/单元的功能。

电子设备3可以是桌上型计算机、笔记本、掌上电脑及云端服务器等电子设备。电子设备3可以包括但不仅限于处理器301和存储器302。本领域技术人员可以理解，图3仅仅是电子设备3的示例，并不构成对电子设备3的限定，可以包括比图示更多或更少的部件，或者不同的部件。

处理器301可以是中央处理单元（Central Processing Unit，CPU），也可以是其它通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。

存储器302可以是电子设备3的内部存储单元，例如，电子设备3的硬盘或内存。存储器302也可以是电子设备3的外部存储设备，例如，电子设备3上配备的插接式硬盘，智能存储卡（Smart Media Card，SMC），安全数字（Secure Digital，SD）卡，闪存卡（Flash Card）等。存储器302还可以既包括电子设备3的内部存储单元也包括外部存储设备。存储器302用于存储计算机程序以及电子设备所需的其它程序和数据。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可以存储在计算机可读存储介质中，该计算机程序在被处理器执行时，可以实现上述各个方法实施例的步骤。计算机程序可以包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、电载波信号、电信信号以及软件分发介质等。

以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (8)

1.一种无人机自主越障方法，其特征在于，包括：

利用电力线路的点云数据构建无人机的巡检任务地图；

利用预定的目标识别模型对无人机采集到的输入图像进行识别，以确定所述无人机在所述巡检任务地图中的初始位置；

利用导航算法计算出一条从所述初始位置至目标点的全局路径，将所述全局路径作为无人机导航的基准；

在所述无人机沿所述全局路径飞行中遇到障碍物时，基于所述无人机的当前位置，从所述全局路径中提取障碍物覆盖的路径，并将所述障碍物覆盖的路径转换至无人机自身坐标系中；

利用预定的避障算法生成绕过所述障碍物的局部路径，并用所述局部路径对所述全局路径中的所述障碍物覆盖的路径进行更新，其中，所述避障算法以无人机从当前位置至障碍物以及从障碍物至目标点的路径为代价，以权衡路径代价和搜索时间所计算的结果；

在所述无人机绕过障碍物后，重新切换到导航算法进行全局路径规划，控制所述无人机沿更新后的全局路径移动，直至到达所述目标点或遇到下一个障碍物；

其中，所述利用电力线路的点云数据构建无人机的巡检任务地图，包括：

利用频率域法中的高通滤波器对采集到的电力线路图像进行增强处理，以增强图像中的边缘特征；

将处理后的电力线路图像输入视觉里程计模块，所述视觉里程计模块用于根据相邻两张图像信息估计相机的运动，并基于相机的运动恢复场景的空间结构；

在后端采用非线性优化方法，以减少视觉里程计过程中累积的误差，得到估计出的无人机轨迹；

利用视觉里程计模块进行稀疏地图的创建，并基于估计出的无人机轨迹结合后端非线性优化建立任务所需的详细地图，其中，所述详细地图在空间上提供约束，以消除累积误差，得到构建后的巡检任务地图；

所述方法还包括：

利用边缘计算终端相机配合全方位实时控制的云台，根据无人机的飞行位置和姿态，自动锁定电力巡检中关键部件的拍摄位置；

结合实时目标识别算法，无人机的边缘计算终端对识别出的关键部件进行持续跟踪，以确保目标部件始终处于拍摄视角中心；

控制云台及相机载荷进行精确对准目标部件，根据拍摄需求自动变焦放大及精确对焦，以获得清晰的图像数据；

在最佳拍摄时机，执行抓拍操作，以捕捉关键数据，完成电力设施的精确数据采集。

2.根据权利要求1所述的方法，其特征在于，所述利用预定的目标识别模型对无人机采集到的输入图像进行识别，以确定所述无人机在所述巡检任务地图中的初始位置，包括：

对输入图像进行目标识别处理，其中所述目标识别处理包括将输入图像划分为多个单元网格，并为每个单元网格定义锚框；

利用深度卷积网络对所述输入图像提取多尺度特征，对每个尺度的特征进行分析，以预测每个锚框在对应单元网格中的位置调整参数、置信度和类别概率；

利用预设的阈值对预测结果中的低置信度预测框进行过滤，以剔除可信度低于阈值的预测数据；

利用非最大抑制算法对预测结果中的冗余预测框进行过滤，以便消除预测结果的重叠和冗余；

从处理后的预测结果中得到包含目标类别及其空间位置信息的最终预测输出。

3.根据权利要求1所述的方法，其特征在于，所述基于所述无人机的当前位置，从所述全局路径中提取障碍物覆盖的路径，包括：

在所述无人机沿预定的全局路径飞行过程中遇到障碍物时，以所述无人机的当前位置为中心点；从所述全局路径中截取预设范围内的路径段，所述预设范围内的路径段能够覆盖所述障碍物对无人机飞行轨迹的影响区域。

4.根据权利要求3所述的方法，其特征在于，所述将所述障碍物覆盖的路径转换至无人机自身坐标系中，包括：

在所述无人机识别并确定障碍物的位置后，基于障碍物覆盖的路径相对于所述无人机当前位置的空间关系和方向，将所识别的障碍物及其覆盖的路径部分从全局坐标系转换至所述无人机的本地坐标系上。

5.根据权利要求1所述的方法，其特征在于，所述利用预定的避障算法生成绕过所述障碍物的局部路径，并用所述局部路径对所述全局路径中的所述障碍物覆盖的路径进行更新，包括：

在无人机执行飞行任务并遇到障碍物时，启用预定的避障算法，所述避障算法在迪杰斯特拉算法的基础上增加启发式函数；

所述避障算法在计算局部路径时，同时考虑了从无人机当前位置到障碍物的路径代价和从障碍物到目标点的路径代价，设置路径代价与搜索时间的权重比例，以权衡总路径代价与搜索所需时间；

根据避障算法计算得出的局部路径，利用所述局部路径更新全局路径中被障碍物覆盖的部分，以便对所述障碍物覆盖的路径进行更新。

6.一种无人机自主越障装置，其特征在于，包括：

构建模块，被配置为利用电力线路的点云数据构建无人机的巡检任务地图；

识别模块，被配置为利用预定的目标识别模型对无人机采集到的输入图像进行识别，以确定所述无人机在所述巡检任务地图中的初始位置；

计算模块，被配置为利用导航算法计算出一条从所述初始位置至目标点的全局路径，将所述全局路径作为无人机导航的基准；

提取模块，被配置为在所述无人机沿所述全局路径飞行中遇到障碍物时，基于所述无人机的当前位置，从所述全局路径中提取障碍物覆盖的路径，并将所述障碍物覆盖的路径转换至无人机自身坐标系中；

生成模块，被配置为利用预定的避障算法生成绕过所述障碍物的局部路径，并用所述局部路径对所述全局路径中的所述障碍物覆盖的路径进行更新，其中，所述避障算法以无人机从当前位置至障碍物以及从障碍物至目标点的路径为代价，以权衡路径代价和搜索时间所计算的结果；

规划模块，被配置为在所述无人机绕过障碍物后，重新切换到导航算法进行全局路径规划，控制所述无人机沿更新后的全局路径移动，直至到达所述目标点或遇到下一个障碍物；

其中，所述构建模块还用于利用频率域法中的高通滤波器对采集到的电力线路图像进行增强处理，以增强图像中的边缘特征；将处理后的电力线路图像输入视觉里程计模块，所述视觉里程计模块用于根据相邻两张图像信息估计相机的运动，并基于相机的运动恢复场景的空间结构；在后端采用非线性优化方法，以减少视觉里程计过程中累积的误差，得到估计出的无人机轨迹；利用视觉里程计模块进行稀疏地图的创建，并基于估计出的无人机轨迹结合后端非线性优化建立任务所需的详细地图，其中，所述详细地图在空间上提供约束，以消除累积误差，得到构建后的巡检任务地图；

还包括抓拍模块，被配置为利用边缘计算终端相机配合全方位实时控制的云台，根据无人机的飞行位置和姿态，自动锁定电力巡检中关键部件的拍摄位置；结合实时目标识别算法，无人机的边缘计算终端对识别出的关键部件进行持续跟踪，以确保目标部件始终处于拍摄视角中心；控制云台及相机载荷进行精确对准目标部件，根据拍摄需求自动变焦放大及精确对焦，以获得清晰的图像数据；在最佳拍摄时机，执行抓拍操作，以捕捉关键数据，完成电力设施的精确数据采集。

7.一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至5中任一项所述的方法。

8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的方法。