CN115877869A - 一种无人机路径规划方法及系统 - Google Patents

Abstract

本发明公开一种无人机路径规划方法及系统，涉及机器人控制技术领域，方法包括：构建无人机运动模型；基于所述无人机运动模型构建无人机路径规划模型；获取专家演示轨迹数据集，对所述专家演示轨迹数据集进行分割，得到避障演示轨迹数据集和导航演示轨迹数据集；基于所述避障演示轨迹数据集和第一对抗网络，得到避障策略；基于所述导航演示轨迹数据集和第二对抗网络，得到导航策略；基于所述无人机路径规划模型、所述避障策略和所述导航策略，对无人机路径进行实时规划，直至无人机到达目标点。本发明使得无人机能够从专家演示中学习，得到路径规划的控制策略，实现无人机在未知环境中实时规划从起点到终点的无碰撞安全路径。

Description

一种无人机路径规划方法及系统

技术领域

本发明涉及机器人控制技术领域，特别是涉及一种无人机路径规划方法及系统。

背景技术

路径规划是近年来发展较快的一门学科。路径规划是指通过各种传感器感知周围环境后，确定自身与环境中障碍物的位置关系，并自动提供一条避开障碍物到达目标位置的路径的过程。由于应用场景和操作环境的复杂性，要求移动机器人具有较强的环境适应性。

经典算法原理简单，有很多增强版本。这些算法可以解决大部分的路径规划任务，因此具有非常广泛的应用。

EdsgerW.Dijkstra提出了求解最短路径的Dijkstra算法。该算法对所有节点进行前向遍历，得到最优路径。但是，当节点数量非常大时，算法会消耗大量的时间和计算内存，导致效率低下，不能解决动态环境。A*和D*是Dijkstra算法的改进，部分解决了效率问题和动态环境问题。但效率问题仍然是最关键的一点。

RRT算法是Lavalle提出的一种基于样本的算法。该算法从初始节点开始，通过随机抽样的方式对节点2进行连续扩展。这样，所有的节点都可以展开成一棵随机树。当一个节点扩展到目标节点时，可以在从初始位置到目标点的所有节点中找到一条合适的路径。但是在节点扩展的过程中，该算法会产生很多无用的节点，这些无用的探索会减慢算法的收敛速度。

强化学习是机器学习的一个重要分支，被广泛应用于各种决策任务中。强化学习的基本思想是通过智能体与环境不断交互的过程。根据给予智能体运动的奖励环境，让智能体去研究以获得最大的奖励，从而学习到最优策略。强化学习主要包括基于价值函数的方法，如Q-learning和策略搜索方法，如Actor-Critic。在此基础上，许多算法结合深度学习来解决复杂的任务，如DQN和DDPG。将改进算法应用于动态环境下的路径规划。与传统的路径规划算法相比，基于强化学习的路径规划取得了更好的效果。然而，所有的强化学习算法都需要一定的环境和合适的奖励函数，同时，算法需要大量的训练时间。

以上路径规划算法都依赖于对环境的认知。当机器人在实际应用中需要适应未知环境时，上述方法的使用会有很大的局限性。

发明内容

本发明的目的是提供一种无人机路径规划方法及系统，使得无人机能够从专家演示中学习，得到路径规划的控制策略，实现无人机在未知环境中实时规划从起点到终点的无碰撞安全路径。

为实现上述目的，本发明提供了如下方案：

一种无人机路径规划方法，包括：

构建无人机运动模型；基于所述无人机运动模型构建无人机路径规划模型；

获取专家演示轨迹数据集，对所述专家演示轨迹数据集进行分割，得到避障演示轨迹数据集和导航演示轨迹数据集；

基于所述避障演示轨迹数据集和第一对抗网络，得到避障策略；

基于所述导航演示轨迹数据集和第二对抗网络，得到导航策略；

基于所述无人机路径规划模型、所述避障策略和所述导航策略，对无人机路径进行实时规划，直至无人机到达目标点。

优选地于，所述无人机运动模型如下式：

式中：x表示无人机在空间中的x坐标，y表示无人机在空间中的y坐标，ψ表示无人机的航向角，φ表示无人机的倾斜角，v表示无人机的速度，g表示重力加速度，δt表示步长，a表示无人机的控制输入，

表示转弯率。

优选地，所述基于所述避障演示轨迹数据集和第一对抗网络，得到避障策略，具体为：

基于所述避障演示轨迹数据集得到无人机的位置信息集和状态信息集；

基于所述位置信息集和所述状态信息集得到初始马尔科夫决策集；

对所述初始马尔科夫决策集从绝对状态转化成相对状态，得到马尔科夫决策集；

基于所述马尔科夫决策集对所述第一对抗网络进行训练，得到所述避障策略。

优选地，所述无人机路径规划模型如下式：

Q＝[S,A,f,O]；

式中：S表示环境的状态空间，A为动作空间，O为观察空间，f为状态转移函数，表示动作执行后状态转移的概率；

s∈S，s＝[x,y,v,ψ,φ]，a∈A，a∈{[-40°/s],[40°/s],[-20°/s],[-20°/s],[0°/s]}。

优选地，所述基于所述无人机路径规划模型、所述避障策略和所述导航策略，对无人机路径进行实时规划，直至无人机到达目标点，具体为：

基于所述无人机路径规划模型判断当前时刻无人机到目标点的路径上是否存在障碍物；

当存在时，基于所述避障策略进行避障路径规划，基于所述避障路径执行避障动作，基于所述避障动作对所述无人机路径规划模型进行更新；

当不存在时，基于所述导航策略进行导航路径规划，基于所述导航路径执行导航动作，基于所述导航动作对所述无人机路径规划模型进行更新；

重复执行上述过程，直至无人机到达目标点。

本发明还提供了一种无人机路径规划系统，包括：

模型构建模块，用于构建无人机运动模型，并基于所述无人机运动模型构建无人机路径规划模型；

专家演示模块，用于获取专家演示轨迹数据集，并对所述专家演示轨迹数据集进行分割，得到避障演示轨迹数据集和导航演示轨迹数据集；

避障策略模块，用于基于所述避障演示轨迹数据集和第一对抗网络，得到避障策略；

导航策略模块，用于基于所述导航演示轨迹数据集和第二对抗网络，得到导航策略；

路径规划模块，用于基于所述无人机路径规划模型、所述避障策略和所述导航策略，对无人机路径进行实时规划，直至无人机到达目标点。

优选地，所述无人机运动模型如下式：

式中：x表示无人机在空间中的x坐标，y表示无人机在空间中的y坐标，ψ表示无人机的航向角，φ表示无人机的倾斜角，v表示无人机的速度，g表示重力加速度，δt表示步长，a表示无人机的控制输入，

表示转弯率。

优选地，所述避障策略模块具体为：

基于所述避障演示轨迹数据集得到无人机的位置信息集和状态信息集；

基于所述位置信息集和所述状态信息集得到初始马尔科夫决策集；

对所述初始马尔科夫决策集从绝对状态转化成相对状态，得到马尔科夫决策集；

基于所述马尔科夫决策集对所述第一对抗网络进行训练，得到所述避障策略。

优选地，所述无人机路径规划模型如下式：

Q＝[S,A,f,O]；

式中：S表示环境的状态空间，A为动作空间，O为观察空间，f为状态转移函数，表示动作执行后状态转移的概率；

s∈S，s＝[x,y,v,ψ,φ]，a∈A，a∈{[-40°/s],[40°/s],[-20°/s],[-20°/s],[0°/s]}。

优选地，所述路径规划模块具体为：

基于所述无人机路径规划模型判断当前时刻无人机到目标点的路径上是否存在障碍物；

当存在时，基于所述避障策略进行避障路径规划，基于所述避障路径执行避障动作，基于所述避障动作对所述无人机路径规划模型进行更新；

当不存在时，基于所述导航策略进行导航路径规划，基于所述导航路径执行导航动作，基于所述导航动作对所述无人机路径规划模型进行更新；

重复执行上述过程，直至无人机到达目标点。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明公开一种无人机路径规划方法及系统，方法包括：构建无人机运动模型；基于所述无人机运动模型构建无人机路径规划模型；获取专家演示轨迹数据集，对所述专家演示轨迹数据集进行分割，得到避障演示轨迹数据集和导航演示轨迹数据集；基于所述避障演示轨迹数据集和第一对抗网络，得到避障策略；基于所述导航演示轨迹数据集和第二对抗网络，得到导航策略；基于所述无人机路径规划模型、所述避障策略和所述导航策略，对无人机路径进行实时规划，直至无人机到达目标点。本发明使得无人机能够从专家演示中学习，得到路径规划的控制策略，实现无人机在未知环境中实时规划从起点到终点的无碰撞安全路径。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明无人机路径规划方法流程图；

图2为基于本发明的方法得到的运动轨迹第一实施例示意图；

图3为基于本发明的方法得到的运动轨迹第二实施例示意图；

图4为本发明无人机路径规划系统结构图。

符号说明：1、模型构建模块；2、专家演示模块；3、避障策略模块；4、导航策略模块；5、路径规划模块。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种无人机路径规划方法及系统，使得无人机能够从专家演示中学习，得到路径规划的控制策略，实现无人机在未知环境中实时规划从起点到终点的无碰撞安全路径。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1为本发明无人机路径规划方法流程图。如图1所示，本发明提供了一种无人机路径规划方法，包括：

步骤S1，构建无人机运动模型；基于所述无人机运动模型构建无人机路径规划模型。所述无人机运动模型如下式：

式中：x表示无人机在空间中的x坐标，y表示无人机在空间中的y坐标，ψ表示无人机的航向角，φ表示无人机的倾斜角，v表示无人机的速度，g表示重力加速度，δt表示步长，a表示无人机的控制输入，

表示转弯率，ψ在[-π，π]之间。

为了求解最优策略，将路径规划问题构造为一个没有奖励函数的马尔可夫决策过程，所述无人机路径规划模型如下式：

Q＝[S,A,f,O]；

式中：S表示环境的状态空间，A为动作空间，O为观察空间，f为状态转移函数，表示动作执行后状态转移的概率；

s∈S，s＝[x,y,v,ψ,φ]，a∈A，a∈{[-40°/s],[40°/s],[-20°/s],[-20°/s],[0°/s]}。

步骤S2，获取专家演示轨迹数据集，对所述专家演示轨迹数据集进行分割，得到避障演示轨迹数据集和导航演示轨迹数据集。

步骤S3，基于所述避障演示轨迹数据集和第一对抗网络，得到避障策略。

具体地，所述步骤S3具体为：

基于所述避障演示轨迹数据集得到无人机的位置信息集和状态信息集。

基于所述位置信息集和所述状态信息集得到初始马尔科夫决策集。

对所述初始马尔科夫决策集从绝对状态转化成相对状态，得到马尔科夫决策集。优选地，将绝对状态的s＝[x,y,v,ψ,φ]转换为相对状态的

为无人机的视线与航向之间的夹角，l为障碍物距离。

所述马尔科夫决策集为D＝{τ₁,...,τ_m}，τ＝(s₀,a₀,s₁,a₁,...,s_T,a_T)。

基于所述马尔科夫决策集对所述第一对抗网络进行训练，得到所述避障策略。

优选地，基于对抗逆强化学习对所述第一对抗网络进行训练，对马尔科夫决策演示的意图进行推断获取一个近似奖励函数，然后通过求解最大似然，如下式：

式中：p_θ(τ)是参数为θ的概率函数p中样本τ出现的概率，/>

t为时间，T是样本的时间长度。该公式使得奖励函数r(s,a)参数化并将动态和初始状态分布固定在马尔科夫决策的动态和初始状态分布上。

将极大似然问题转换成一个生成对抗网络优化问题：

其中，f_θ,φ是近似奖励函数r和塑型项h的组合，f(s,a,s′)＝r(s,a)+γh(s′)-h(s)，s是当前状态，a是动作，s′是下一个状态。

通过最大化R_θ,φ(s,a,s′)＝log(D_θ,φ(s,a,s′))-log(1-D_θ,φ(s,a,s′))来训练，得到避障策略。

获取人类演示样本

随机初始化策略π和分辨器D_θ,φ；

for step t＝1,2,...,N do；

使用策略π收集轨迹τ_i；

通过二元逻辑回归训练D_θ,φ用于区分

和生成样本τ_i；

更新奖励函数R_θ,φ(s,a,s′)；

使用R_θ,φ(s,a,s′)作为ppo算法的奖励函数更新策略；

end for。

设置训练次数为100000次，每2000次更新分辨器D_θ,φ和PPO。学习速率设置为0.0003。选择Adam作为优化器。优化器的参数分别设置为0.9和0.999。f_θ,φ(s,a,s′)中的γ是0.995。使用公共平台PyTorch实现。

步骤S4，基于所述导航演示轨迹数据集和第二对抗网络，得到导航策略。参见步骤S3，同理。

步骤S5，基于所述无人机路径规划模型、所述避障策略和所述导航策略，对无人机路径进行实时规划，直至无人机到达目标点。

可选地，所述步骤S5具体为：

基于所述无人机路径规划模型判断当前时刻无人机到目标点的路径上是否存在障碍物；

当存在时，基于所述避障策略进行避障路径规划，基于所述避障路径执行避障动作，基于所述避障动作对所述无人机路径规划模型进行更新；

当不存在时，基于所述导航策略进行导航路径规划，基于所述导航路径执行导航动作，基于所述导航动作对所述无人机路径规划模型进行更新；

重复执行上述过程，直至无人机到达目标点。

基于本发明的方法进行无人机路径规划跟踪结果如图2和图3所示，图2和图3中的Curve表示曲线，即跟踪规划路径。

图4为本发明无人机路径规划系统结构图。如图4所示，本发明提供了一种无人机路径规划系统，包括：模型构建模块1、专家演示模块2、避障策略模块3、导航策略模块4和路径规划模块5。

所述模型构建模块1用于构建无人机运动模型，并基于所述无人机运动模型构建无人机路径规划模型。

所述专家演示模块2用于获取专家演示轨迹数据集，并对所述专家演示轨迹数据集进行分割，得到避障演示轨迹数据集和导航演示轨迹数据集。

所述避障策略模块3用于基于所述避障演示轨迹数据集和第一对抗网络，得到避障策略。

所述导航策略模块4用于基于所述导航演示轨迹数据集和第二对抗网络，得到导航策略。

所述路径规划模块5用于基于所述无人机路径规划模型、所述避障策略和所述导航策略，对无人机路径进行实时规划，直至无人机到达目标点。

可选地，所述无人机运动模型如下式：

式中：x表示无人机在空间中的x坐标，y表示无人机在空间中的y坐标，ψ表示无人机的航向角，φ表示无人机的倾斜角，v表示无人机的速度，g表示重力加速度，δt表示步长，a表示无人机的控制输入，

表示转弯率。

可选地，所述避障策略模块3具体为：

基于所述避障演示轨迹数据集得到无人机的位置信息集和状态信息集。

基于所述位置信息集和所述状态信息集得到初始马尔科夫决策集。

对所述初始马尔科夫决策集从绝对状态转化成相对状态，得到马尔科夫决策集。

基于所述马尔科夫决策集对所述第一对抗网络进行训练，得到所述避障策略。

可选地，所述无人机路径规划模型如下式：

Q＝[S,A,f,O]；

式中：S表示环境的状态空间，A为动作空间，O为观察空间，f为状态转移函数，表示动作执行后状态转移的概率；

s∈S，s＝[x,y,v,ψ,φ]，a∈A，a∈{[-40°/s],[40°/s],[-20°/s],[-20°/s],[0°/s]}。

可选地，所述路径规划模块5具体为：

基于所述无人机路径规划模型判断当前时刻无人机到目标点的路径上是否存在障碍物。

当存在时，基于所述避障策略进行避障路径规划，基于所述避障路径执行避障动作，基于所述避障动作对所述无人机路径规划模型进行更新。

当不存在时，基于所述导航策略进行导航路径规划，基于所述导航路径执行导航动作，基于所述导航动作对所述无人机路径规划模型进行更新。

重复执行上述过程，直至无人机到达目标点。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种无人机路径规划方法，其特征在于，包括：

构建无人机运动模型；基于所述无人机运动模型构建无人机路径规划模型；

获取专家演示轨迹数据集，对所述专家演示轨迹数据集进行分割，得到避障演示轨迹数据集和导航演示轨迹数据集；

基于所述避障演示轨迹数据集和第一对抗网络，得到避障策略；

基于所述导航演示轨迹数据集和第二对抗网络，得到导航策略；

基于所述无人机路径规划模型、所述避障策略和所述导航策略，对无人机路径进行实时规划，直至无人机到达目标点。

2.根据权利要求1所述的无人机路径规划方法，其特征在于，所述无人机运动模型如下式：

式中：x表示无人机在空间中的x坐标，y表示无人机在空间中的y坐标，ψ表示无人机的航向角，φ表示无人机的倾斜角，v表示无人机的速度，g表示重力加速度，δt表示步长，a表示无人机的控制输入，

表示转弯率。

3.根据权利要求1所述的无人机路径规划方法，其特征在于，所述基于所述避障演示轨迹数据集和第一对抗网络，得到避障策略，具体为：

基于所述避障演示轨迹数据集得到无人机的位置信息集和状态信息集；

基于所述位置信息集和所述状态信息集得到初始马尔科夫决策集；

对所述初始马尔科夫决策集从绝对状态转化成相对状态，得到马尔科夫决策集；

基于所述马尔科夫决策集对所述第一对抗网络进行训练，得到所述避障策略。

4.根据权利要求2所述的无人机路径规划方法，其特征在于，所述无人机路径规划模型如下式：

Q＝[S,A,f,O]；

式中：S表示环境的状态空间，A为动作空间，O为观察空间，f为状态转移函数，表示动作执行后状态转移的概率；

s∈S，s＝[x,y,v,ψ,φ]，a∈A，a∈{[-40°/s],[40°/s],[-20°/s],[-20°/s],[0°/s]}。

5.根据权利要求1所述的无人机路径规划方法，其特征在于，所述基于所述无人机路径规划模型、所述避障策略和所述导航策略，对无人机路径进行实时规划，直至无人机到达目标点，具体为：

基于所述无人机路径规划模型判断当前时刻无人机到目标点的路径上是否存在障碍物；

当存在时，基于所述避障策略进行避障路径规划，基于所述避障路径执行避障动作，基于所述避障动作对所述无人机路径规划模型进行更新；

当不存在时，基于所述导航策略进行导航路径规划，基于所述导航路径执行导航动作，基于所述导航动作对所述无人机路径规划模型进行更新；

重复执行上述过程，直至无人机到达目标点。

6.一种无人机路径规划系统，其特征在于，包括：

模型构建模块，用于构建无人机运动模型，并基于所述无人机运动模型构建无人机路径规划模型；

专家演示模块，用于获取专家演示轨迹数据集，并对所述专家演示轨迹数据集进行分割，得到避障演示轨迹数据集和导航演示轨迹数据集；

避障策略模块，用于基于所述避障演示轨迹数据集和第一对抗网络，得到避障策略；

导航策略模块，用于基于所述导航演示轨迹数据集和第二对抗网络，得到导航策略；

路径规划模块，用于基于所述无人机路径规划模型、所述避障策略和所述导航策略，对无人机路径进行实时规划，直至无人机到达目标点。

7.根据权利要求6所述的无人机路径规划系统，其特征在于，所述无人机运动模型如下式：

式中：x表示无人机在空间中的x坐标，y表示无人机在空间中的y坐标，ψ表示无人机的航向角，φ表示无人机的倾斜角，v表示无人机的速度，g表示重力加速度，δt表示步长，a表示无人机的控制输入，

表示转弯率。

8.根据权利要求6所述的无人机路径规划系统，其特征在于，所述避障策略模块具体为：

基于所述避障演示轨迹数据集得到无人机的位置信息集和状态信息集；

基于所述位置信息集和所述状态信息集得到初始马尔科夫决策集；

对所述初始马尔科夫决策集从绝对状态转化成相对状态，得到马尔科夫决策集；

基于所述马尔科夫决策集对所述第一对抗网络进行训练，得到所述避障策略。

9.根据权利要求7所述的无人机路径规划系统，其特征在于，所述无人机路径规划模型如下式：

Q＝[S,A,f,O]；

式中：S表示环境的状态空间，A为动作空间，O为观察空间，f为状态转移函数，表示动作执行后状态转移的概率；

s∈S，s＝[x,y,v,ψ,φ]，a∈A，a∈{[-40°/s],[40°/s],[-20°/s],[-20°/s],[0°/s]}。

10.根据权利要求6所述的无人机路径规划系统，其特征在于，所述路径规划模块具体为：

基于所述无人机路径规划模型判断当前时刻无人机到目标点的路径上是否存在障碍物；

当存在时，基于所述避障策略进行避障路径规划，基于所述避障路径执行避障动作，基于所述避障动作对所述无人机路径规划模型进行更新；

当不存在时，基于所述导航策略进行导航路径规划，基于所述导航路径执行导航动作，基于所述导航动作对所述无人机路径规划模型进行更新；

重复执行上述过程，直至无人机到达目标点。

Images