CN113359859B - 一种组合导航避障方法、系统、终端设备及存储介质 - Google Patents

Abstract

本申请公开了一种组合导航避障方法、系统、终端设备及存储介质，其方法通过构建三维场景区域模拟巡检区域，在三维空间地图的基础上构建预先训练好的MADDPG神经网络，并在设定好的初始巡检规划路线作为MADDPG神经网络的输入量，确定巡检机器人的避障巡检路线，以保证巡检机器人的巡检安全性，解决了巡检机器人易受到障碍物干扰导致难以根据需要构建行进路线的技术问题。

Description

一种组合导航避障方法、系统、终端设备及存储介质

技术领域

本申请涉及巡检机器人避障技术领域，尤其涉及一种组合导航避障方法、系统、终端设备及存储介质。

背景技术

在输电线路检测中，通常使用巡检机器人对输电线路进行巡检。当巡检机器人为无人机时，在巡检机器人巡检过程中，巡检机器人会受到树木、建筑物等障碍物的干扰，巡检机器人难以根据需要构建行进路线，而易碰撞到障碍物，给巡检带来极大的不便。

发明内容

本申请提供了一种组合导航避障方法、系统、终端设备及存储介质，用于解决上述巡检机器人易受到障碍物干扰导致难以根据需要构建行进路线的技术问题。

有鉴于此，本申请第一方面提供了一种组合导航避障方法，包括以下步骤：

根据预先设定的巡检任务设定巡检机器人在巡检区域内的初始巡检规划路线，所述初始巡检规划路线包括预定起点、必途经点、预定终点和所述巡检机器人在所述预定起点上的初始运动状态；

获取所述巡检区域的图像数据；

将所述图像数据输入至预先训练好的障碍物检测模型，从而确定所述图像数据中的障碍物；

获取所述预定起点至所述预定终点的数字地形数据，基于所述数字地形数据获得所述障碍物的高程数据；

根据所述图像数据和所述障碍物的高程数据建立三维空间地图；

将所述初始巡检规划路线输入至预先训练好的MADDPG神经网络中，得到所述巡检机器人的避障巡检路线，所述预先训练好的MADDPG神经网络基于所述三维空间地图构建。

可选地，所述根据所述图像数据和所述障碍物的高程数据建立三维空间地图的步骤具体包括：

获取所述巡检区域的点云数据和所述障碍物的点云数据，根据所述巡检区域的点云数据构建三维点云地图；

根据所述障碍物的点云数据提取所述障碍物的外围轮廓的点云数据，将所述障碍物的外围轮廓的点云数据和所述障碍物的高程数据添加到所述三维点云地图中，以在所述三维点云地图中构造所述障碍物的轮廓形状，从而建立三维空间地图。

可选地，所述根据所述障碍物的点云数据提取所述障碍物的外围轮廓的点云数据，将所述障碍物的外围轮廓的点云数据和所述障碍物的高程数据添加到所述三维点云地图中，以在所述三维点云地图中构造所述障碍物的轮廓形状，从而建立三维空间地图的步骤之后包括：

基于所述巡检区域的图像数据获取巡检区域边界的点云数据和禁飞区的点云数据；

将所述巡检区域边界的点云数据和所述禁飞区的点云数据添加到所述三维空间地图中。

可选地，所述将所述初始巡检规划路线输入至预先训练好的MADDPG神经网络中，得到所述巡检机器人的避障巡检路线的步骤之前包括：

在所述三维空间地图中，以所述巡检机器人的中心点为原点，以所述巡检机器人的中心点至所述预定终点的方向为X轴正方向建立三维直角坐标系；

构建所述巡检机器人在所述三维空间地图中的动作空间，以描述所述巡检机器人的运动状态，所述动作空间定义为A，A:(X,Y,Z)，其中，X,Y,Z分别表示所述巡检机器人在三维直角坐标系的x方向，y方向，z方向上移动的距离，其中，

X＝f(x₀×R)

Y＝f(y₀×R)

Z＝f(z₀×R)

x₀,y₀,z₀∈(-1,1)

式中，f(·)表示函数关系，x₀、y₀、z₀分别表示所述巡检机器人在三维直角坐标系的x方向，y方向，z方向上的避障动作，R表示膨胀半径；

利用人工势场法定义所述必途经点和所述预定终点的势能设置为引力，将所述障碍物的势能设置为斥力，并利用人工势场法设置所述避障动作的综合奖励值，所述综合奖励值包括必途经点的引力奖励值、障碍物的斥力奖励值、障碍物碰撞奖励值和到达预定终点的引力奖励值；

根据所述避障动作的综合奖励值驱动所述巡检机器人的避障动作，从而更新所述巡检机器人的运动状态，提取所述巡检机器人更新前后的运动状态的特征向量，从而得到所述巡检机器人的特征向量更新前后的综合奖励值与避障动作的映射对；

构建MADDPG神经网络，将所述巡检机器人更新前后的运动状态的特征向量及其更新前后的综合奖励值与避障动作的映射对输入至所述MADDPG神经网络中进行训练；

基于梯度下降算法更新所述MADDPG神经网络的网络参数，直至收敛，判断所述巡检机器人是否到达所述预定终点，若所述巡检机器人到达所述预定终点，则输出所述MADDPG神经网络。

第二方面，本发明还提供了一种组合导航避障系统，包括：初始路线规划模块、图像获取模块、障碍物检测模块、高程值获取模块、地图构建模块和巡检路线输出模块；

所述初始路线规划模块，用于根据预先设定的巡检任务设定巡检机器人在巡检区域内的初始巡检规划路线，所述初始巡检规划路线包括预定起点、必途经点、预定终点和所述巡检机器人在所述预定起点上的初始运动状态；

所述图像获取模块，用于获取所述巡检区域的图像数据；

所述障碍物检测模块，用于将所述图像数据输入至预先训练好的障碍物检测模型，从而确定所述图像数据中的障碍物；

所述高程值获取模块，用于获取所述预定起点至所述预定终点的数字地形数据，还用于基于所述数字地形数据获得所述障碍物的高程数据；

所述地图构建模块，用于根据所述图像数据和所述障碍物的高程数据建立三维空间地图；

所述巡检路线输出模块，用于将所述初始巡检规划路线输入至预先训练好的MADDPG神经网络中，得到所述巡检机器人的避障巡检路线，所述预先训练好的MADDPG神经网络基于所述三维空间地图构建。

可选地，所述地图构建模块具体包括点云地图获取子模块和空间地图构建子模块；

所述点云地图获取子模块，用于获取所述巡检区域的点云数据和所述障碍物的点云数据，还用于根据所述巡检区域的点云数据构建三维点云地图；

所述空间地图构建子模块，用于根据所述障碍物的点云数据提取所述障碍物的外围轮廓的点云数据，还用于将所述障碍物的外围轮廓的点云数据和所述障碍物的高程数据添加到所述三维点云地图中，以在所述三维点云地图中构造所述障碍物的轮廓形状，从而建立三维空间地图。

可选地，所述地图构建模块还包括：点云获取子模块和点云添加子模块；

所述点云获取子模块，用于基于所述巡检区域的图像数据获取巡检区域边界的点云数据和禁飞区的点云数据；

所述点云添加子模块，用于将所述巡检区域边界的点云数据和所述禁飞区的点云数据添加到所述三维空间地图中，以在所述三维空间地图构建所述巡检区域边界和所述禁飞区。

可选地，本系统还包括坐标系建立模块、动作空间构建模块、避障奖励模块、运动状态更新模块、训练模块和参数更新模块；

所述坐标系建立模块，用于在所述三维空间地图中，以所述巡检机器人的中心点为原点，以所述巡检机器人的中心点至所述预定终点的方向为X轴正方向建立三维直角坐标系；

所述动作空间构建模块，用于构建所述巡检机器人在所述三维空间地图中的动作空间，以描述所述巡检机器人的运动状态，所述动作空间定义为A，A:(X,Y,Z)，其中，X,Y,Z分别表示所述巡检机器人在三维直角坐标系的x方向，y方向，z方向上移动的距离，其中，

X＝f(x₀×R)

Y＝f(y₀×R)

Z＝f(z₀×R)

x₀,y₀,z₀∈(-1,1)

式中，f(·)表示函数关系，x₀、y₀、z₀分别表示所述巡检机器人在三维直角坐标系的x方向，y方向，z方向上的避障动作，R表示膨胀半径；

所述避障奖励模块，用于利用人工势场法定义所述必途经点和所述预定终点的势能设置为引力，将所述障碍物的势能设置为斥力，还用于利用人工势场法设置所述避障动作的综合奖励值，所述综合奖励值包括必途经点的引力奖励值、障碍物的斥力奖励值、障碍物碰撞奖励值和到达预定终点的引力奖励值；

所述运动状态更新模块，用于根据所述避障动作的综合奖励值驱动所述巡检机器人的避障动作，从而更新所述巡检机器人的运动状态，还用于提取所述巡检机器人更新前后的运动状态的特征向量，从而得到所述巡检机器人的特征向量更新前后的综合奖励值与避障动作的映射对；

所述训练模块，用于构建MADDPG神经网络，还用于将所述巡检机器人更新前后的运动状态的特征向量及其更新前后的综合奖励值与避障动作的映射对输入至所述MADDPG神经网络中进行训练；

所述参数更新模块，用于基于梯度下降算法更新所述MADDPG神经网络的网络参数，直至收敛，还用于判断所述巡检机器人是否到达所述预定终点，还用于若所述巡检机器人到达所述预定终点，则输出所述MADDPG神经网络。

第三方面，本发明还提供了一种终端设备，包括相互耦接的存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现上述的组合导航避障方法。

第四方面，本发明还提供了一种计算机可读存储介质，其上存储有程序指令，所述程序指令被处理器执行时实现上述的组合导航避障方法。

从以上技术方案可以看出，本发明具有以下优点：

本发明通过构建三维场景区域模拟巡检区域，在三维空间地图的基础上构建预先训练好的MADDPG神经网络，并在设定好的初始巡检规划路线作为MADDPG神经网络的输入量，确定巡检机器人的避障巡检路线，以保证巡检机器人的巡检安全性，解决了巡检机器人易受到障碍物干扰导致难以根据需要构建行进路线的技术问题。

附图说明

图1为本申请实施例提供的一种组合导航避障方法的流程图；

图2为本申请实施例提供的一种组合导航避障系统的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

为了便于理解，请参阅图1，本发明提供的一种组合导航避障方法，包括以下步骤：

S1、根据预先设定的巡检任务设定巡检机器人在巡检区域内的初始巡检规划路线，初始巡检规划路线包括预定起点、必途经点、预定终点和巡检机器人在预定起点上的初始运动状态；

需要说明的是，由于巡检机器人是需要用户下发巡检任务的，而在巡检任务中，其包括任务点，而必途经点则为任务点，而预定起点、预定终点和巡检机器人在预定起点上的初始运动状态是可以根据用户自行设定的，初始运动状态可以用角速度表征。

S2、获取巡检区域的图像数据；

需要说明的是，巡检区域的图像数据可以通过巡检机器人配置摄像头和激光雷达获取。在具体实现中，其图像数据可以包括巡检区域的地形、边界和禁飞区。

S3、将图像数据输入至预先训练好的障碍物检测模型，从而确定图像数据中的障碍物；

在具体实现中，在步骤S3之前，通过收集障碍物数据后，利用深度学习算法训练障碍物数据，从而训练得到障碍物检测模型，其中，障碍物数据包括树木、报亭、站牌、楼房、输电线塔、信号塔等。

S4、获取预定起点至预定终点的数字地形数据，基于数字地形数据获得障碍物的高程数据；

需要说明的是，通过巡检区域所属的地形统计部门获取，或通过无人机搭载激光雷达进行扫描获取。在获取数字地形数据后，可以通过以数字地形数据为基准获得障碍物的高程数据。

在一般示例中，获取到障碍物的高程数据后，可以将高程值小于一定阈值的障碍物进行剔除，以提高三维空间地图的构建速度，同时，还可以过滤掉无关障碍物。

S5、根据图像数据和障碍物的高程数据建立三维空间地图；

S6、将初始巡检规划路线输入至预先训练好的MADDPG神经网络中，得到巡检机器人的避障巡检路线，预先训练好的MADDPG神经网络基于三维空间地图构建。

本实施例提供了一种组合导航避障方法，通过构建三维场景区域模拟巡检区域，在三维空间地图的基础上构建预先训练好的MADDPG神经网络，并在设定好的初始巡检规划路线作为MADDPG神经网络的输入量，确定巡检机器人的避障巡检路线，以保证巡检机器人的巡检安全性。

以上为本发明提供的一种组合导航避障方法的一个实施例的详细描述，以下为本发明提供的一种组合导航避障方法的另一个实施例的详细描述。

本发明提供的一种组合导航避障方法，包括以下步骤：

S100、根据预先设定的巡检任务设定巡检机器人在巡检区域内的初始巡检规划路线，初始巡检规划路线包括预定起点、必途经点、预定终点和巡检机器人在预定起点上的初始运动状态；

需要说明的是，由于巡检机器人是需要用户下发巡检任务的，而在巡检任务中，其包括任务点，而必途经点则为任务点，而预定起点、预定终点和巡检机器人在预定起点上的初始运动状态是可以根据用户自行设定的，初始运动状态可以用角速度表征。

S200、获取巡检区域的图像数据；

需要说明的是，巡检区域的图像数据可以通过巡检机器人配置摄像头和激光雷达获取。在具体实现中，其图像数据可以包括巡检区域的地形、边界和禁飞区。图像数据采用开源数据作为输入，可以从现有的数据库(Google Earth、OpenStreetmap)下载调用。

S300、将图像数据输入至预先训练好的障碍物检测模型，从而确定图像数据中的障碍物；

在具体实现中，在步骤S3之前，通过收集障碍物数据后，利用深度学习算法训练障碍物数据，从而训练得到障碍物检测模型，其中，障碍物数据包括树木、报亭、站牌、楼房、输电线塔、信号塔等。

S400、获取预定起点至预定终点的数字地形数据，基于数字地形数据获得障碍物的高程数据；

需要说明的是，通过巡检区域所属的地形统计部门获取，或通过无人机搭载激光雷达进行扫描获取。在获取数字地形数据后，可以通过以数字地形数据为基准获得障碍物的高程数据。

在一般示例中，获取到障碍物的高程数据后，可以将高程值小于一定阈值的障碍物进行剔除，以提高三维空间地图的构建速度，同时，还可以过滤掉无关障碍物。

S500、获取巡检区域的点云数据和障碍物的点云数据，根据巡检区域的点云数据构建三维点云地图；

在具体实现中，通过激光雷达扫描可以获取巡检区域的点云数据和障碍物的点云数据。

S501、根据障碍物的点云数据提取障碍物的外围轮廓的点云数据，将障碍物的外围轮廓的点云数据和障碍物的高程数据添加到三维点云地图中，以在三维点云地图中构造障碍物的轮廓形状，从而建立三维空间地图。

可以理解的是，通过障碍物的点云数据进行形态学分析，可以获得到障碍物的外围轮廓，从而确定障碍物的外围轮廓的点云数据，通过将障碍物的外围轮廓的点云数据在三维点云地图中进行匹配，并通过颜色渲染从而可以在三维点云地图中粗略地构造障碍物的轮廓形状，以提高三维点云地图的真实性。

在三维空间地图中，标定输电线路上所有的输电线塔。在该段输电线路中，包括有多个输电线塔，将这些输电线塔依次连接。选定一点作为巡检机器人的飞行起点，当在第一个输电线塔附近起飞巡检机器人时，在第一个输电线塔附近的地面上选定一点作为起点，最后一个输电线塔作为终点，第一个输电线塔和最后一个输电线塔之间的输电线塔作为必途径点。

S600、基于巡检区域的图像数据获取巡检区域边界的点云数据和禁飞区的点云数据；

需要说明的是，由于巡检区域可能存在边界和禁飞区，边界和禁飞区是巡检障碍的一种，需要考虑边界和禁飞区带来的障碍，而边界和禁飞区的形态各异，难以通过深度学习算法检测到，因此，可以针对不同的巡检区域，根据已知的边界和禁飞区的所在位置得到巡检区域边界的点云数据和禁飞区的点云数据。

S601、将巡检区域边界的点云数据和禁飞区的点云数据添加到三维空间地图中。

S700、在三维空间地图中，以巡检机器人的中心点为原点，以巡检机器人的中心点至预定终点的方向为X轴正方向建立三维直角坐标系；

需要说明的是，在巡检开始时，巡检机器人的中心点位于预定起点。

S701、构建巡检机器人在三维空间地图中的动作空间，以描述巡检机器人的运动状态，动作空间定义为A，A:(X,Y,Z)，其中，X,Y,Z分别表示巡检机器人在三维直角坐标系的x方向，y方向，z方向上移动的距离，其中，X＝f(x₀×R)

Y＝f(y₀×R)

Z＝f(z₀×R)

x₀,y₀,z₀∈(-1,1)

式中，f(·)表示函数关系，x₀、y₀、z₀分别表示巡检机器人在三维直角坐标系的x方向，y方向，z方向上的避障动作，R表示膨胀半径；

需要说明的是，根据障碍物的尺寸和形状确定膨胀等级，再通过膨胀等级查找膨胀信息表得到相应的障碍物的膨胀半径。在实际应用中，以障碍物的中心点为圆心，以膨胀半径为半径画圆，其圆内的区域为膨胀区域，若在巡检机器人进入到膨胀区域后，容易导致碰撞，因此，以膨胀半径为界限进行避障，有利于巡检机器人的有效避障且缩短巡检机器人的避障路径，提高巡检机器人的巡检效率。

其中，通过控制巡检机器人的角速度来执行避障动作。

S702、利用人工势场法定义必途经点和预定终点的势能设置为引力，将障碍物的势能设置为斥力，并利用人工势场法设置避障动作的综合奖励值，综合奖励值包括必途经点的引力奖励值、障碍物的斥力奖励值、障碍物碰撞奖励值和到达预定终点的引力奖励值；

其中，综合奖励值可以用R0表示，具体为，

R0＝λ₁*r₁+λ₂*r₂+λ₃*r₃+λ₄*r₄

式中，λ₁、λ₂、λ₃、λ₄分别代表必途经点的引力奖励值、障碍物的斥力奖励值、障碍物碰撞奖励值和到达预定终点的引力奖励值的预设权重，r₁为必途经点的引力奖励值，r₂为障碍物的斥力奖励值，r₃为障碍物碰撞奖励值，r₄为到达预定终点的引力奖励值。

具体地，必途经点的引力奖励值是指必途经点对巡检机器人产生引力所产生的势场。

当巡检机器人靠近途经点时，途经点引力的奖励r1表示为：

式中，分别表示在t、t+1时刻巡检机器人i与途经点e之间的距离，表示t、t+1时刻巡检机器人i与途经点e的距离差，定义为目标距离差。L和l表示途经点引力的奖励的门限值。p^t、p^t+1分别表示巡检机器人在t时刻和t+1时刻的位置,p_e表示必途经点的位置。

可以理解的是，目标距离差的值大于或等于L时，途经点引力的奖励为L；目标距离差的值大于l小于L时，途经点引力的奖励为目标距离差；目标距离差的值小于或等于l时，途经点引力的奖励为l。

当巡检机器人远离途经点时，途经点引力的奖励r₁表示为：

式中，目标距离差的值大于或等于-l时，途经点引力的奖励为-l；目标距离差的值大于-L小于-l时，途经点引力的奖励为目标距离差；目标距离差的值小于或等于-L时，途经点引力的奖励为-L。

障碍物的斥力奖励值是指障碍物对巡检机器人产生斥力所产生的势场。

障碍物斥力奖励r′₂表示为：

式中，r_j表示障碍物的奖励值，j表示障碍物，j∈[1,m],m为障碍物的总数。

当巡检机器人靠近障碍物时.奖励值r_oj表示为：

式中，分别表示在t、t+1时刻巡检机器人i离障碍物j的距离，/>表示t、t+1时刻巡检机器人i离障碍物j的距离差，定义为障碍距离差；h和H表示障碍斥力奖励的门限值。障碍距离差的值大于或等于H时，奖励值为H；障碍距离差的值大于h小于H时，奖励值为障碍距离差；障碍距离差的值小于或等于h时，奖励值为h。

p^t、p^t+1分别表示巡检机器人在t时刻和t+1时刻的位置,p_oj表示障碍物的位置。

当巡检机器人远离障碍物时，奖励值r_oj表示为：

即：障碍距离差的值大于或等于-h时，奖励值为-h；障碍距离差的值大于-H小于-h时，奖励值为障碍距离差；障碍距离差的值小于或等于-H时，奖励值为-H。

由于将障碍物的势能设置为斥力，则障碍物碰撞的势能同样设置为斥力，障碍物碰撞奖励值r₃，当时，D表示巡检机器人和障碍物的距离，d表示机器人和障碍物的预设安全距离，障碍物碰撞奖励值r₃＝-150。

到达预定终点的引力奖励值r₄，当p^t＝p_e时,r₄＝200；

其中：p^t表示巡检机器人当前位置,p_e表示终点的位置。

S703、根据避障动作的综合奖励值驱动巡检机器人的避障动作，从而更新巡检机器人的运动状态，提取巡检机器人更新前后的运动状态的特征向量，从而得到巡检机器人的特征向量更新前后的综合奖励值与避障动作的映射对；

需要说明的是，当巡检机器人受到必途经点和/或预定终点的引力和/或障碍物的势能设置为斥力和/或障碍物碰撞施加的合力后，可以将巡检机器人的线速度设置为匀速，控制巡检机器人的角速度，从而控制巡检机器人的避障动作。

同时，通过巡检图像或者惯性测量单元可以获取到巡检机器人的运动状态，从而可以得到当前的运动状态对应的特征向量。如当巡检机器人在t时刻的运动状态的特征向量为q，通过避障动作的综合奖励值R0驱动巡检机器人的避障动作z使得巡检机器人在t+1时刻的运动状态的特征向量为q`，则可以获得到特征向量q→q`所需的综合奖励值R0和避障动作z。

在获取到满足算法训练的预设的映射对数后，可以停止更新。

S704、构建MADDPG神经网络，将巡检机器人更新前后的运动状态的特征向量及其更新前后的综合奖励值与避障动作的映射对输入至MADDPG神经网络中进行训练；

S705、基于梯度下降算法更新MADDPG神经网络的网络参数，直至收敛，判断巡检机器人是否到达预定终点，若巡检机器人到达预定终点，则输出MADDPG神经网络。

需要说明的是，通过基于梯度下降算法更新MADDPG神经网络的网络参数，直至收敛，从而输出比较好的MADDPG神经网络；同时，还需要判断巡检机器人是否到达预定终点，以满足巡检要求。

S800、将初始巡检规划路线输入至训练好的MADDPG神经网络中，得到巡检机器人的避障巡检路线。

需要说明的是，由于初始巡检规划路线包括预定起点、必途经点、预定终点和巡检机器人在预定起点上的初始运动状态，其中，将巡检机器人在预定起点上的初始运动状态作为训练好的MADDPG神经网络的输入量，从而通过映射对可以得到对应的巡检机器人更新后的运动状态、综合奖励值和避障动作，从而不断进行更新运动状态并执行避障动作，进而得到巡检机器人由起到到终点的避障巡检路线。

本实施例通过构建三维场景区域模拟巡检区域，在三维空间地图的基础上构建预先训练好的MADDPG神经网络，并在设定好的初始巡检规划路线作为MADDPG神经网络的输入量，确定巡检机器人的避障巡检路线，以保证巡检机器人的巡检安全性。同时，结合巡检机器人在三维空间地图中的动作空间和人工势场法训练MADDPG神经网络，根据避障动作的奖励值，使巡检机器人可以快速地选择最佳避障动作，从而完成最优的巡检避障路径规划。

以上为本发明提供的一种组合导航避障方法的另一实施例的详细描述，以下为本发明提供的一种组合导航避障系统的实施例的详细描述。

为了方便理解，请参阅图2，本发明提供的一种组合导航避障系统，包括：初始路线规划模块100、图像获取模块200、障碍物检测模块300、高程值获取模块400、地图构建模块500和巡检路线输出模块600；

初始路线规划模块100，用于根据预先设定的巡检任务设定巡检机器人在巡检区域内的初始巡检规划路线，初始巡检规划路线包括预定起点、必途经点、预定终点和巡检机器人在预定起点上的初始运动状态；

需要说明的是，由于巡检机器人是需要用户下发巡检任务的，而在巡检任务中，其包括任务点，而必途经点则为任务点，而预定起点、预定终点和巡检机器人在预定起点上的初始运动状态是可以根据用户自行设定的，初始运动状态可以用角速度表征。

图像获取模块200，用于获取巡检区域的图像数据；

需要说明的是，巡检区域的图像数据可以通过巡检机器人配置摄像头和激光雷达获取。在具体实现中，其图像数据可以包括巡检区域的地形、边界和禁飞区。

巡检区域的图像数据可以通过巡检机器人配置摄像头和激光雷达获取。在具体实现中，其图像数据可以包括巡检区域的地形、边界和禁飞区。图像数据采用开源数据作为输入，可以从现有的数据库(Google Earth、OpenStreetmap)下载调用。

障碍物检测模块300，用于将图像数据输入至预先训练好的障碍物检测模型，从而确定图像数据中的障碍物；

在具体实现中，通过收集障碍物数据后，利用深度学习算法训练障碍物数据，从而训练得到障碍物检测模型，其中，障碍物数据包括树木、报亭、站牌、楼房、输电线塔、信号塔等。

高程值获取模块400，用于获取预定起点至预定终点的数字地形数据，还用于基于数字地形数据获得障碍物的高程数据；

需要说明的是，通过巡检区域所属的地形统计部门获取，或通过无人机搭载激光雷达进行扫描获取。在获取数字地形数据后，可以通过以数字地形数据为基准获得障碍物的高程数据。

在一般示例中，获取到障碍物的高程数据后，可以将高程值小于一定阈值的障碍物进行剔除，以提高三维空间地图的构建速度，同时，还可以过滤掉无关障碍物。

地图构建模块500，用于根据图像数据和障碍物的高程数据建立三维空间地图；

巡检路线输出模块600，用于将初始巡检规划路线输入至预先训练好的MADDPG神经网络中，得到巡检机器人的避障巡检路线，预先训练好的MADDPG神经网络基于三维空间地图构建。

本实施例提供了一种组合导航避障方法，通过构建三维场景区域模拟巡检区域，在三维空间地图的基础上构建预先训练好的MADDPG神经网络，并在设定好的初始巡检规划路线作为MADDPG神经网络的输入量，确定巡检机器人的避障巡检路线，以保证巡检机器人的巡检安全性。

进一步地，地图构建模块具体包括点云地图获取子模块和空间地图构建子模块；

点云地图获取子模块，用于获取巡检区域的点云数据和障碍物的点云数据，还用于根据巡检区域的点云数据构建三维点云地图；

在具体实现中，通过激光雷达扫描可以获取巡检区域的点云数据和障碍物的点云数据。

空间地图构建子模块，用于根据障碍物的点云数据提取障碍物的外围轮廓的点云数据，还用于将障碍物的外围轮廓的点云数据和障碍物的高程数据添加到三维点云地图中，以在三维点云地图中构造障碍物的轮廓形状，从而建立三维空间地图。

可以理解的是，通过障碍物的点云数据进行形态学分析，可以获得到障碍物的外围轮廓，从而确定障碍物的外围轮廓的点云数据，通过将障碍物的外围轮廓的点云数据在三维点云地图中进行匹配，并通过颜色渲染从而可以在三维点云地图中粗略地构造障碍物的轮廓形状，以提高三维点云地图的真实性。

在三维空间地图中，标定输电线路上所有的输电线塔。在该段输电线路中，包括有多个输电线塔，将这些输电线塔依次连接。选定一点作为巡检机器人的飞行起点，当在第一个输电线塔附近起飞巡检机器人时，在第一个输电线塔附近的地面上选定一点作为起点，最后一个输电线塔作为终点，第一个输电线塔和最后一个输电线塔之间的输电线塔作为必途径点。

进一步地，地图构建模块还包括：点云获取子模块和点云添加子模块；

点云获取子模块，用于基于巡检区域的图像数据获取巡检区域边界的点云数据和禁飞区的点云数据；

需要说明的是，由于巡检区域可能存在边界和禁飞区，边界和禁飞区是巡检障碍的一种，需要考虑边界和禁飞区带来的障碍，而边界和禁飞区的形态各异，难以通过深度学习算法检测到，因此，可以针对不同的巡检区域，根据已知的边界和禁飞区的所在位置得到巡检区域边界的点云数据和禁飞区的点云数据。

点云添加子模块，用于将巡检区域边界的点云数据和禁飞区的点云数据添加到三维空间地图中，以在三维空间地图构建巡检区域边界和禁飞区。

进一步地，本系统还包括坐标系建立模块、动作空间构建模块、避障奖励模块、运动状态更新模块、训练模块和参数更新模块；

坐标系建立模块，用于在三维空间地图中，以巡检机器人的中心点为原点，以巡检机器人的中心点至预定终点的方向为X轴正方向建立三维直角坐标系；

需要说明的是，在巡检开始时，巡检机器人的中心点位于预定起点。

动作空间构建模块，用于构建巡检机器人在三维空间地图中的动作空间，以描述巡检机器人的运动状态，动作空间定义为A，A:(X,Y,Z)，其中，X,Y,Z分别表示巡检机器人在三维直角坐标系的x方向，y方向，z方向上移动的距离，其中，

X＝f(x₀×R)

Y＝f(y₀×R)

Z＝f(z₀×R)

x₀,y₀,z₀∈(-1,1)

式中，f(·)表示函数关系，x₀、y₀、z₀分别表示巡检机器人在三维直角坐标系的x方向，y方向，z方向上的避障动作，R表示膨胀半径；

需要说明的是，根据障碍物的尺寸和形状确定膨胀等级，再通过膨胀等级查找膨胀信息表得到相应的障碍物的膨胀半径。在实际应用中，以障碍物的中心点为圆心，以膨胀半径为半径画圆，其圆内的区域为膨胀区域，若在巡检机器人进入到膨胀区域后，容易导致碰撞，因此，以膨胀半径为界限进行避障，有利于巡检机器人的有效避障且缩短巡检机器人的避障路径，提高巡检机器人的巡检效率。

其中，通过控制巡检机器人的角速度来执行避障动作。

避障奖励模块，用于利用人工势场法定义必途经点和预定终点的势能设置为引力，将障碍物的势能设置为斥力，还用于利用人工势场法设置避障动作的综合奖励值，综合奖励值包括必途经点的引力奖励值、障碍物的斥力奖励值、障碍物碰撞奖励值和到达预定终点的引力奖励值；

其中，综合奖励值可以用R0表示，具体为，

R0＝λ₁*r₁+λ₂*r₂+λ₃*r₃+λ₄*r₄

式中，λ₁、λ₂、λ₃、λ₄分别代表必途经点的引力奖励值、障碍物的斥力奖励值、障碍物碰撞奖励值和到达预定终点的引力奖励值的预设权重，r₁为必途经点的引力奖励值，r₂为障碍物的斥力奖励值，r₃为障碍物碰撞奖励值，r₄为到达预定终点的引力奖励值。

具体地，必途经点的引力奖励值是指必途经点对巡检机器人产生引力所产生的势场。

当巡检机器人靠近途经点时，途经点引力的奖励r1表示为：

式中，分别表示在t、t+1时刻巡检机器人i与途经点e之间的距离，表示t、t+1时刻巡检机器人i与途经点e的距离差，定义为目标距离差。L和l表示途经点引力的奖励的门限值。p^t、p^t+1分别表示巡检机器人在t时刻和t+1时刻的位置,p_e表示必途经点的位置。

可以理解的是，目标距离差的值大于或等于L时，途经点引力的奖励为L；目标距离差的值大于l小于L时，途经点引力的奖励为目标距离差；目标距离差的值小于或等于l时，途经点引力的奖励为l。

当巡检机器人远离途经点时，途经点引力的奖励r₁表示为：

式中，目标距离差的值大于或等于-l时，途经点引力的奖励为-l；目标距离差的值大于-L小于-l时，途经点引力的奖励为目标距离差；目标距离差的值小于或等于-L时，途经点引力的奖励为-L。

障碍物的斥力奖励值是指障碍物对巡检机器人产生斥力所产生的势场。

障碍物斥力奖励r′₂表示为：

式中，r_j表示障碍物的奖励值，j表示障碍物，j∈[1,m],m为障碍物的总数。

当巡检机器人靠近障碍物时，奖励值r_oj表示为：

式中，分别表示在t、t+1时刻巡检机器人i离障碍物j的距离，/>表示t、t+1时刻巡检机器人i离障碍物j的距离差，定义为障碍距离差；h和H表示障碍斥力奖励的门限值。障碍距离差的值大于或等于H时，奖励值为H；障碍距离差的值大于h小于H时，奖励值为障碍距离差；障碍距离差的值小于或等于h时，奖励值为h。

p^t、p^t+1分别表示巡检机器人在t时刻和t+1时刻的位置,p_oj表示障碍物的位置。

当巡检机器人远离障碍物时，奖励值r_oj表示为：

即：障碍距离差的值大于或等于-h时，奖励值为-h；障碍距离差的值大于-H小于-h时，奖励值为障碍距离差；障碍距离差的值小于或等于-H时，奖励值为-H。

由于将障碍物的势能设置为斥力，则障碍物碰撞的势能同样设置为斥力，障碍物碰撞奖励值r₃，当时，D表示巡检机器人和障碍物的距离，d表示机器人和障碍物的预设安全距离，障碍物碰撞奖励值r₃＝-150。

到达预定终点的引力奖励值r₄，当p^t＝p_e时,r₄＝200；

其中：p^t表示巡检机器人当前位置,p_e表示终点的位置。

运动状态更新模块，用于根据避障动作的综合奖励值驱动巡检机器人的避障动作，从而更新巡检机器人的运动状态，还用于提取巡检机器人更新前后的运动状态的特征向量，从而得到巡检机器人的特征向量更新前后的综合奖励值与避障动作的映射对；

需要说明的是，当巡检机器人受到必途经点和/或预定终点的引力和/或障碍物的势能设置为斥力和/或障碍物碰撞施加的合力后，可以将巡检机器人的线速度设置为匀速，控制巡检机器人的角速度，从而控制巡检机器人的避障动作。

同时，通过巡检图像或者惯性测量单元可以获取到巡检机器人的运动状态，从而可以得到当前的运动状态对应的特征向量。如当巡检机器人在t时刻的运动状态的特征向量为q，通过避障动作的综合奖励值R0驱动巡检机器人的避障动作z使得巡检机器人在t+1时刻的运动状态的特征向量为q`，则可以获得到特征向量q→q`所需的综合奖励值R0和避障动作z。

训练模块，用于构建MADDPG神经网络，还用于将巡检机器人更新前后的运动状态的特征向量及其更新前后的综合奖励值与避障动作的映射对输入至MADDPG神经网络中进行训练；

参数更新模块，用于基于梯度下降算法更新MADDPG神经网络的网络参数，直至收敛，还用于判断巡检机器人是否到达预定终点，还用于若巡检机器人到达预定终点，则输出MADDPG神经网络。

需要说明的是，通过基于梯度下降算法更新MADDPG神经网络的网络参数，直至收敛，从而输出比较好的MADDPG神经网络；同时，还需要判断巡检机器人是否到达预定终点，以满足巡检要求。

需要说明的是，本实施例还结合巡检机器人在三维空间地图中的动作空间和人工势场法训练MADDPG神经网络，根据避障动作的奖励值，使巡检机器人可以快速地选择最佳避障动作，从而完成最优的巡检避障路径规划。

本发明还提供了一种终端设备，包括相互耦接的存储器和处理器，处理器用于执行存储器中存储的程序指令，以实现上述的组合导航避障方法。

本发明还提供了一种计算机可读存储介质，其上存储有程序指令，程序指令被处理器执行时实现上述的组合导航避障方法。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以通过一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文全称：Read-OnlyMemory，英文缩写：ROM)、随机存取存储器(英文全称：Random Access Memory，英文缩写：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (8)

1.一种组合导航避障方法，其特征在于，包括以下步骤：

根据预先设定的巡检任务设定巡检机器人在巡检区域内的初始巡检规划路线，所述初始巡检规划路线包括预定起点、必途经点、预定终点和所述巡检机器人在所述预定起点上的初始运动状态；

获取所述巡检区域的图像数据；

将所述图像数据输入至预先训练好的障碍物检测模型，从而确定所述图像数据中的障碍物；

获取所述预定起点至所述预定终点的数字地形数据，基于所述数字地形数据获得所述障碍物的高程数据；

根据所述图像数据和所述障碍物的高程数据建立三维空间地图；

将所述初始巡检规划路线输入至预先训练好的MADDPG神经网络中，得到所述巡检机器人的避障巡检路线，所述预先训练好的MADDPG神经网络基于所述三维空间地图构建；

所述将所述初始巡检规划路线输入至预先训练好的MADDPG神经网络中，得到所述巡检机器人的避障巡检路线的步骤之前包括：

在所述三维空间地图中，以所述巡检机器人的中心点为原点，以所述巡检机器人的中心点至所述预定终点的方向为X轴正方向建立三维直角坐标系；

构建所述巡检机器人在所述三维空间地图中的动作空间，以描述所述巡检机器人的运动状态，所述动作空间定义为A，A:(X,Y,Z)，其中，X,Y,Z分别表示所述巡检机器人在三维直角坐标系的x方向，y方向，z方向上移动的距离，其中，

X＝f(x₀×R)

Y＝f(y₀×R)

Z＝f(z₀×R)

x₀,y₀,z₀∈(-1,1)

式中，f(·)表示函数关系，x₀、y₀、z₀分别表示所述巡检机器人在三维直角坐标系的x方向，y方向，z方向上的避障动作，R表示膨胀半径；

利用人工势场法定义所述必途经点和所述预定终点的势能设置为引力，将所述障碍物的势能设置为斥力，并利用人工势场法设置所述避障动作的综合奖励值，所述综合奖励值包括必途经点的引力奖励值、障碍物的斥力奖励值、障碍物碰撞奖励值和到达预定终点的引力奖励值；

根据所述避障动作的综合奖励值驱动所述巡检机器人的避障动作，从而更新所述巡检机器人的运动状态，提取所述巡检机器人更新前后的运动状态的特征向量，从而得到所述巡检机器人的特征向量更新前后的综合奖励值与避障动作的映射对；

构建MADDPG神经网络，将所述巡检机器人更新前后的运动状态的特征向量及其更新前后的综合奖励值与避障动作的映射对输入至所述MADDPG神经网络中进行训练；

基于梯度下降算法更新所述MADDPG神经网络的网络参数，直至收敛，判断所述巡检机器人是否到达所述预定终点，若所述巡检机器人到达所述预定终点，则输出所述MADDPG神经网络。

2.根据权利要求1所述的组合导航避障方法，其特征在于，所述根据所述图像数据和所述障碍物的高程数据建立三维空间地图的步骤具体包括：

获取所述巡检区域的点云数据和所述障碍物的点云数据，根据所述巡检区域的点云数据构建三维点云地图；

根据所述障碍物的点云数据提取所述障碍物的外围轮廓的点云数据，将所述障碍物的外围轮廓的点云数据和所述障碍物的高程数据添加到所述三维点云地图中，以在所述三维点云地图中构造所述障碍物的轮廓形状，从而建立三维空间地图。

3.根据权利要求2所述的组合导航避障方法，其特征在于，所述根据所述障碍物的点云数据提取所述障碍物的外围轮廓的点云数据，将所述障碍物的外围轮廓的点云数据和所述障碍物的高程数据添加到所述三维点云地图中，以在所述三维点云地图中构造所述障碍物的轮廓形状，从而建立三维空间地图的步骤之后包括：

基于所述巡检区域的图像数据获取巡检区域边界的点云数据和禁飞区的点云数据；

将所述巡检区域边界的点云数据和所述禁飞区的点云数据添加到所述三维空间地图中。

4.一种组合导航避障系统，其特征在于，包括：初始路线规划模块、图像获取模块、障碍物检测模块、高程值获取模块、地图构建模块和巡检路线输出模块；

所述初始路线规划模块，用于根据预先设定的巡检任务设定巡检机器人在巡检区域内的初始巡检规划路线，所述初始巡检规划路线包括预定起点、必途经点、预定终点和所述巡检机器人在所述预定起点上的初始运动状态；

所述图像获取模块，用于获取所述巡检区域的图像数据；

所述障碍物检测模块，用于将所述图像数据输入至预先训练好的障碍物检测模型，从而确定所述图像数据中的障碍物；

所述高程值获取模块，用于获取所述预定起点至所述预定终点的数字地形数据，还用于基于所述数字地形数据获得所述障碍物的高程数据；

所述地图构建模块，用于根据所述图像数据和所述障碍物的高程数据建立三维空间地图；

所述巡检路线输出模块，用于将所述初始巡检规划路线输入至预先训练好的MADDPG神经网络中，得到所述巡检机器人的避障巡检路线，所述预先训练好的MADDPG神经网络基于所述三维空间地图构建；

本系统还包括坐标系建立模块、动作空间构建模块、避障奖励模块、运动状态更新模块、训练模块和参数更新模块；

所述坐标系建立模块，用于在所述三维空间地图中，以所述巡检机器人的中心点为原点，以所述巡检机器人的中心点至所述预定终点的方向为X轴正方向建立三维直角坐标系；

所述动作空间构建模块，用于构建所述巡检机器人在所述三维空间地图中的动作空间，以描述所述巡检机器人的运动状态，所述动作空间定义为A，A:(X,Y,Z)，其中，X,Y,Z分别表示所述巡检机器人在三维直角坐标系的x方向，y方向，z方向上移动的距离，其中，

X＝f(x₀×R)

Y＝f(y₀×R)

Z＝f(z₀×R)

x₀,y₀,z₀∈(-1,1)

式中，f(·)表示函数关系，x₀、y₀、z₀分别表示所述巡检机器人在三维直角坐标系的x方向，y方向，z方向上的避障动作，R表示膨胀半径；

所述避障奖励模块，用于利用人工势场法定义所述必途经点和所述预定终点的势能设置为引力，将所述障碍物的势能设置为斥力，还用于利用人工势场法设置所述避障动作的综合奖励值，所述综合奖励值包括必途经点的引力奖励值、障碍物的斥力奖励值、障碍物碰撞奖励值和到达预定终点的引力奖励值；

所述运动状态更新模块，用于根据所述避障动作的综合奖励值驱动所述巡检机器人的避障动作，从而更新所述巡检机器人的运动状态，还用于提取所述巡检机器人更新前后的运动状态的特征向量，从而得到所述巡检机器人的特征向量更新前后的综合奖励值与避障动作的映射对；

所述训练模块，用于构建MADDPG神经网络，还用于将所述巡检机器人更新前后的运动状态的特征向量及其更新前后的综合奖励值与避障动作的映射对输入至所述MADDPG神经网络中进行训练；

所述参数更新模块，用于基于梯度下降算法更新所述MADDPG神经网络的网络参数，直至收敛，还用于判断所述巡检机器人是否到达所述预定终点，还用于若所述巡检机器人到达所述预定终点，则输出所述MADDPG神经网络。

5.根据权利要求4所述的组合导航避障系统，其特征在于，所述地图构建模块具体包括点云地图获取子模块和空间地图构建子模块；

所述点云地图获取子模块，用于获取所述巡检区域的点云数据和所述障碍物的点云数据，还用于根据所述巡检区域的点云数据构建三维点云地图；

所述空间地图构建子模块，用于根据所述障碍物的点云数据提取所述障碍物的外围轮廓的点云数据，还用于将所述障碍物的外围轮廓的点云数据和所述障碍物的高程数据添加到所述三维点云地图中，以在所述三维点云地图中构造所述障碍物的轮廓形状，从而建立三维空间地图。

6.根据权利要求5所述的组合导航避障系统，其特征在于，所述地图构建模块还包括：点云获取子模块和点云添加子模块；

所述点云获取子模块，用于基于所述巡检区域的图像数据获取巡检区域边界的点云数据和禁飞区的点云数据；

所述点云添加子模块，用于将所述巡检区域边界的点云数据和所述禁飞区的点云数据添加到所述三维空间地图中，以在所述三维空间地图构建所述巡检区域边界和所述禁飞区。

7.一种终端设备，其特征在于，包括相互耦接的存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现权利要求1至3任一项所述的组合导航避障方法。

8.一种计算机可读存储介质，其上存储有程序指令，其特征在于，所述程序指令被处理器执行时实现权利要求1至3任一项所述的组合导航避障方法。