CN115562345B - 一种基于深度强化学习的无人机侦测轨迹规划方法 - Google Patents

Abstract

本发明提出一种基于深度强化学习的无人机侦测轨迹规划方法，属于机器人智能决策与控制领域。首先构建无人机侦测轨迹规划的马尔科夫决策过程模型，分别得到无人机侦测轨迹规划的状态变量，控制变量，转移模型，损失函数的表达式；然后建立策略网络和评价网络；再通过强化学习在无人机每前进一步后训练更新策略网络和评价网络，直至二者收敛；最终得到用于无人机轨迹规划的策略网络。本发明在无人机动力学模型与待侦测信号场的分布完全未知的情况下实现无人机侦测信号场的轨迹规划，使其以最短时间获得充足信息并抵达预定目标，具有很高的实用价值。

Description

一种基于深度强化学习的无人机侦测轨迹规划方法

技术领域

本发明涉及一种基于深度强化学习的无人机侦测轨迹规划方法，属于机器人智能决策与控制技术领域。

背景技术

近年来，无人机以其性价比高、适用性广、灵活性强等特点得到了广泛应用和长足发展。然而现役无人机大多仍工作于预编程或人员操纵模式，依赖于有人在环控制，且对通信链路要求较高，大大限制了无人机的应用范围。无人机执行各项任务主要包括环境感知、轨迹规划和底层控制三个步骤，其中轨迹规划能力的提升可大大提高其自主能力、对任务环境的适应能力及工作效率。无人机轨迹规划方法大致可分为三大类：基于图搜索的方法、基于随机采样的方法和基于优化问题求解的方法。

基于图搜索的方法是将无人机工作空间的地图构建为一个图，包括节点和边，构建完成后的搜索过程是维护一个存储访问节点的容器，并不停循环移除、扩展、塞入节点三个步骤，直至搜索到终点，其中移除节点的不同方式可以了定义不同的图搜索方法，如Dijkstra算法和A*算法。基于随机采样的方法不需要遍历整个工作空间的地图，只通过对状态空间均匀随机采样来构建一个连通图，然后进行碰撞检测等，当初始点和终止点都出现在图中时采样结束，与基于图搜索的方法相比，规划效率更高。该方法包括单查询的概率路图算法(Probabilistic Road Map,PRM)、快速随机扩展树算法(Rapidly-exploringRandom Tree,RRT)、RRT-Connect算法等，以及渐近最优算法的RRT*算法等。

以上两种方法偏重于无人机的路径规划，而较少考虑轨迹规划中无人机的动力学约束。对于实际应用中的无人机轨迹规划需要考虑其动力学、能量消耗、外部威胁等多重约束及不同目标，现有研究常采用基于优化方法中的最优控制进行解析或数值求解。然而，由于无人机的工作环境常具有时空动态且其中的信号分布未知，无人机轨迹约束常由非凸泛函不等式描述且无明确表达式，使用最优控制方法求解复杂度极高且很难求得最优解。

随着人工智能技术的发展，强化学习逐渐成为一种新的轨迹规划方法。强化学习以马尔可夫决策过程为理论基础，基本思想是通过无人机与外部环境的不断交互试错，训练得到最优的轨迹规划策略。强化学习的现有研究大多将无人机的跟踪控制问题建模成马尔可夫决策过程，其中的转移概率对应无人机的动力学模型，从而实现无模型控制。

与目标跟踪任务相比，无人机侦测任务的轨迹规划问题具有更大的挑战性。在该任务中，不仅无人机的动力学模型未知，待侦测的信号场分布也完全未知且具有时空动态性。此外，由于无人机的量测信息随其轨迹不断累积，侦测任务中的信息约束则表述为时间的泛函，只能在轨迹结束时进行判断。对于该问题，使用优化问题进行数值求解需要极大的计算量，在强化学习框架下则具有奖励稀疏的难点，因此有待进一步研究解决。

发明内容

本发明的目的是克服现有技术的不足之处，提出一种基于深度强化学习的无人机侦测轨迹规划方法。本发明提出的方法不依赖无人机动力学模型和待侦测环境模型，仅以无人机位置、环境中信号场强度量测等传感器信息作为神经网络输入，以无人机角速度的控制指令为输出，训练得到无人机轨迹规划策略网络，使无人机在最短时间内获得充足的信号场相关信息并抵达预定目标位置，完成信号场侦测任务。

本发明提出的一种基于深度强化学习的无人机侦测轨迹规划方法，该方法无需无人机动力学模型与待侦测信号场分布，只需要无人机与信号场不断交互即可训练得侦测的轨迹规划策略，包括以下步骤：

1)构建无人机侦测轨迹规划的马尔科夫决策过程模型；

马尔科夫决策过程模型由一个四元组表示，即状态变量、控制变量、转移模型、损失函数；构建具体步骤如下：

1-1)确定状态变量；

本发明面向无人机在固定高度的信号场侦测任务，故在无人机所在高度建立平面直角坐标系，以其初始位置为原点，状态变量s_k表达式为

s_k＝[x_k-x_r,y_k-y_r,θ_k,f(p_k,k)]^T

其中，p_k＝(x_k,y_k)表示无人机在当前时刻k的位置，θ_k表示惯性坐标系下无人机的航向角，f(p_k,k)表示无人机在当前时刻所获得的信号场强度；(x_r,y_r)为无人机的目标位置；

1-2)确定控制变量；

控制变量表达式为无人机的航向角速度a_k＝ω_k；

1-3)确定转移模型；

转移模型的表达式为：

s_k+1＝g(s_k,a_k)，

该转移模型表示在给定当前k时刻状态变量与控制变量，返回下一时刻的状态变量；

1-4)确定损失函数；

损失函数用于评价无人机状态s_k下执行控制变量a_k的效果，表达式为：

其中，ρ,λ分别表示各项的权重系数，

Δ_d(k)＝‖(x_k-x_r,y_k-y_r)′‖-‖(x_k-1-x_r,y_k-1-y_r)′‖，

表示无人机所获得的信息奖励，信息奖励中的c_info(k)由估计的时空信号场得到，时空信号场采用如下偏微分方程描述：

其中，A是一个线性算子，∈(t)表示信号场的白噪声输入，采用有限元方法进行估计，即

其中，φ_i(p)表示一个基函数，x_i(t)为基函数对应的未知参数；

f(p，t)再经过Galerkin加权残差方法及离散化处理，将偏微分方程表示的时空信号场表示为如下线性系统：

x(k+1)＝Ax(k)+ε_d(k)

其中，A为状态转移矩阵，ε_d(k)为包含输入噪声及估计误差的误差项，针对该线性系统，设计信息奖励为：

c_info(k)＝Δ_r(G(p，k))+wλ_m(G(p，k))，

Δ_r(G(p，k))＝rank(G(p，k))-rank(G(p，k-1))，

其中，G(p，k)为线性系统的可观性Gramian矩阵，λ_m(A)表示矩阵A的最小特征值，rank(A)表示矩阵A的秩。

2)根据步骤1)构建的马尔科夫决策过程模型建立无人机的侦测轨迹优化问题；

建立的无人机的侦测轨迹优化问题中包括确定目标函数和约束条件。

2-1)确定目标函数；

无人机的侦测轨迹优化问题的目标函数J的表达式为：

其中，

表示求均值算子，γ表示对未来损失的权重的衰减因子，0＜γ＜1；

2-2)确定约束条件；

无人机的侦测轨迹优化问题的约束条件的表达式为：

s_k+1＝g(s_k，a_k)，k＝1，...，n-1，n为终点时刻；

λ_m(G(p，n))≥∈

其中，a_≥1表示控制变量的输入序列，λ_m(G(p，n))表示矩阵G(p，n)的最小特征值，物理意义为无人机到达最终时刻所获得的信息量，∈为一个给定上界。

3)设计强化学习求解算法；

设计强化学习求解算法包括构建并更新两个评价网络以及构建并更新策略网络；

3-1)构建并更新评价网络；

构建评价网络的方法为：

使用μ_j参数化两个评价网络

μ_j表示权重参数，j＝1,2，评价网络

的输入为状态变量s_k和控制变量a_k，输出为累计损失量，累计损失量的函数表达式如下：

其中κ是一个权重系数，H(π(a_k|s_k))表示策略π(a_k|s_k)的熵；

更新评价网络的方法是最小化如下软贝尔曼残差；

其中,D为存储历史数据(s_k,a_k,c(s_k,a_k),s_k+1)的回放记忆，

表示目标神经网络表达式为

目标神经网络

的更新目标参数为/>

为使用ψ进行参数化的策略网络。

3-2)构建并更新策略网络；

构建策略网络的方法为：

采用ψ参数化一个策略网络π_ψ(a_k|s_k)，ψ表示权重参数，策略网络的输入为状态变量s_k，输出为控制变量a_k；

所述的更新策略网络的方法是最小化如下期望KL散度：

其中，D_KL表示KL散度，Z_μ(s_k)为配分函数，用于归一化分布。

4)得到无人机侦测轨迹规划的具体步骤如下：

4-1)参数设置；

令评价网络和策略网络的最大训练次数M＝1000，每次训练的最大更新步数T＝1000，经验回放抽取的训练集大小N＝256，目标神经网络的追踪比率β＝0.99，评价网络与策略网络的学习率分别为α_Q＝0.01和α_v＝0.001，衰减因子为γ＝0.99；

4-2)初始化；

两个评价网络和一个策略网络的权重参数初始值均为0；将初始化后的策略网络记为当前策略网络，将初始化后的评价网络记为当前评价网络

和当前评价网络/>

设无人机当前位置p_k,、方位角θ_k和目标位置p_r，计算线性系统表示的信号场观测Gramian矩阵；

设空的经验队列集合R，并设置集合大小为100万；

4-3)迭代开始，令初始化迭代次数为m＝1；

4-4)初始化滞后时间计数为1，初始化时刻为0；

4-5)使用当前策略网络π_ψ(a_k|s_k)生成k时刻控制变量；输入控制变量a_k与状态s_k，无人机通过转移模型返回下一时刻状态变量s_k+1，利用损失函数计算该步转移的损失c_k+1；

4-6)将步骤4-4)至4-5)得到的数据记为一个经验样本d_k＝(s_k,a_k,c_k+1,s_k+1)，存入经验队列D；

4-7)统计经验队列中的经验样本个数设为N_R并判定：若N_R≤N，则转到步骤4-5)；若N_R>N，则进入步骤4-8)；

4-8)从经验队列D中随机抽取N个经验样本d₁,d₂,…,d_N；

4-9)使用

更新两个评价网络的权重参数μ_i，使用

更新策略网络权重ψ，：使用/>

更新目标神经网络的权重参数/>

并将更新后的评价网络及策略网络记为新的评价网络及新的策略网络；

4-10)判定：若k>T或无人机当前状态满足终止条件||p(k)-p_d||≤ξ_p和,λ_m≥ξ，则进入步骤4-11)，无人机随机选择一个新的初始位置开始新一次的信号场侦测任务，否则返回步骤4-5)；

4-11)使用m+1更新训练次数m，并进行判定：若m<M，则重新返回步骤4-2)，无人机随机选择一个新的初始位置开始新一次的信号场侦测任务；否则迭代结束，将迭代终止时的当前策略网络π_ψ(a_k|s_k)作为最终的策略网络，记为

将状态变量输入最终策略/>

输出控制变量得到无人机侦测轨迹。

本发明提出的一种基于强化学习的无人机航迹跟踪控制方法，其特点及有益效果在于：

1)本发明在无人机模型未知且时空信号场分布未知的条件下实现对无人机侦测的轨迹规划。策略梯度更新方法通过无人机轨迹及传感信息的采样数据，自主学习出最优的评价网络与策略网络，该过程中不需要无人机模型的任何假设与参数，仅在马尔可夫决策过程的建模时对时空信号场进行有限元估计。

2)本发明的方法将确定性策略梯度理论与人工神经网络相结合，设计了两个评价网络和一个策略网络。评价网络用于拟合强化学习中的值函数(Q函数)，策略网络在给定状态生成相应的控制策略。利用神经网络的非线性你和能力，使得在无人机模型及复杂的时空信号场分布均未知的情况下，仍可学习到理想的轨迹规划策略。同时，使用有限元估计时空信号场，并使用可观性Gramian矩阵设计奖励函数，很好地解决了奖励稀疏的问题。

3)本发明的方法的可拓展性强。本发明的方法针对宽泛的时空信号场侦测任务设计轨迹规划方法，适用于实际环境中的热信号、电磁信号等时空场，也适用于地形分布等空间场，只需要重新设定状态变量、控制输入以及损失函数，即可拓展于无人机在不同信号场的侦测任务。

4)本发明提出一种基于深度强化学习的无人机侦测轨迹规划方法，属于机器人智能决策与控制领域。首先构建无人机侦测轨迹规划的马尔科夫决策过程模型，分别得到无人机侦测轨迹规划的状态变量，控制变量，转移模型，损失函数的表达式；然后建立策略网络和评价网络；再通过强化学习在无人机每前进一步后训练更新策略网络和评价网络，直至二者收敛；最终得到用于无人机轨迹规划的策略网络。本发明在无人机动力学模型与待侦测信号场的分布完全未知的情况下实现无人机侦测信号场的轨迹规划，使其以最短时间获得充足信息并抵达预定目标，具有很高的实用价值。

附图说明

图1为本发明实施例中无人机二维平面内模型示意图。

图2为本发明实施例中本发明评价网络示意图。

图3为本发明实施例中本发明策略网络示意图。

图4为本发明实施例中深度强化学习架构示意图。

图5为本发明实施例中待探测信号场示意图。

图6为本发明实施例中累积奖励函数、获取信息及飞行时间变化示意图。

图7为本发明实施例中无人机在四个不同起始点的规划轨迹示意图。

图8为本发明实施例中无人机在四个不同起始点沿规划轨迹的获取信息示意图。

具体实施方式

本发明提出的一种深度强化学习的无人机侦测轨迹规划方法，下面结合附图和具体实施例进一步详细说明。

本发明提出一种基于深度强化学习的无人机侦测轨迹规划方法，首先构建无人机侦测轨迹规划的马尔科夫决策过程模型，分别得到无人机侦测轨迹规划的状态变量，控制变量，转移模型，损失函数的表达式；然后建立策略网络和评价网络；再通过强化学习在无人机每前进一步后训练更新策略网络和评价网络，直至二者收敛；最终得到用于无人机轨迹规划的策略网络。本发明在无人机动力学模型与待侦测信号场完全未知的情况下实现无人机侦测信号场的轨迹规划，使其以最短时间获得充足信息并抵达预定目标。

本发明提出的一种基于深度强化学习的无人机侦测轨迹规划方法，包括以下步骤：

1)构建无人机侦测轨迹规划的马尔科夫决策过程模型；

马尔科夫决策过程模型由一个四元组表示，即状态变量、控制变量、转移模型、损失函数；构建具体步骤如下：

1-1)确定状态变量；

本发明面向无人机在固定高度的信号场侦测任务，故在无人机所在高度建立平面直角坐标系，以其初始位置为原点，如图1所示，状态变量s_k表达式为s_k＝[x_k-x_r，y_k-y_r，θ_k，f(p_k，k)]^T

其中，p_k＝(x_k,y_k)表示无人机在当前时刻k的位置，θ_k表示惯性坐标系下无人机的航向角，f(p_k,k)表示无人机在当前时刻所获得的信号场强度；(x_r,y_r)为无人机的目标位置；

1-2)确定控制变量；

控制变量表达式为无人机的航向角速度a_k＝ω_k；

1-3)确定转移模型；

转移模型的表达式为：

S_k+1＝g(s_k，a_k)，

该转移模型表示在给定当前k时刻状态变量与控制变量，返回下一时刻的状态变量；

1-4)确定损失函数；

损失函数用于评价无人机状态s_k下执行控制变量a_k的效果，表达式为：

其中，ρ，λ分别表示各项的权重系数，

Δ_d(k)＝||(x_k-x_r，y_k-y_r)′||-||(x_k-₁-x_r，y_k-₁-y_r)′||，

表示无人机所获得的信息奖励，信息奖励中的c_info(k)由估计的时空信号场得到，时空信号场采用如下偏微分方程描述：

其中，A是一个线性算子，∈(t)表示信号场的白噪声输入，采用有限元方法进行估计，即

其中，φ_i(p)表示一个基函数，x_i(t)为基函数对应的未知参数；

f(p，t)再经过Galerkin加权残差方法及离散化处理，将偏微分方程表示的时空信号场表示为如下线性系统：

x(k+1)＝Ax(k)+ε_d(k)

其中，A为状态转移矩阵，ε_d(k)为包含输入噪声及估计误差的误差项，针对该线性系统，设计信息奖励为：

c_info(k)＝Δ_r(G(p，k))+wλ_m(G(p，k))，

Δ_r(G(p，k))＝rank(G(p，k))-rank(G(p，k-1))，

其中，G(p，k)为线性系统的可观性Gramian矩阵，λ_m(A)表示矩阵A的最小特征值，rank(A)表示矩阵A的秩。

2)根据步骤1)构建的马尔科夫决策过程模型建立无人机的侦测轨迹优化问题；

建立的无人机的侦测轨迹优化问题中包括确定目标函数和约束条件。

2-1)确定目标函数；

无人机的侦测轨迹优化问题的目标函数J的表达式为：

其中，

表示求均值算子，γ表示对未来损失的权重的衰减因子，0<γ<1；

2-2)确定约束条件；

无人机的侦测轨迹优化问题的约束条件的表达式为：

s_k+1＝g(s_k,a_k)，k＝1,…,n-1，n为终点时刻；

λ_m(G(p，n))≥∈

其中，a_k≥1表示控制变量的输入序列，λ_m(G(p,n))表示矩阵G(p,n)的最小特征值，物理意义为无人机到达最终时刻所获得的信息量，∈为一个给定上界。

3)设计强化学习求解算法；

设计强化学习求解算法包括构建并更新两个评价网络以及构建并更新策略网络；

3-1)构建并更新评价网络，如图2所示；

构建评价网络的方法为：

使用μ_j参数化两个评价网络

μ_j表示权重参数，j＝1,2，评价网络

的输入为状态变量s_k和控制变量a_k，输出为累计损失量，累计损失量的函数表达式如下：

其中κ是一个权重系数，H(π(a_k|s_k))表示策略π(a_k|s_k)的熵；

更新评价网络的方法是最小化如下软贝尔曼残差；

其中,D为存储历史数据(s_k,a_k,c(s_k,a_k),s_k+1)的回放记忆，

表示目标神经网络表达式为

目标神经网络

的更新目标参数为/>

为使用ψ进行参数化的策略网络。

3-2)构建并更新策略网络，如图3所示；

构建策略网络的方法为：

采用ψ参数化一个策略网络π_ψ(a_k|s_k)，ψ表示权重参数，策略网络的输入为状态变量s_k，输出为控制变量a_k；

所述的更新策略网络的方法是最小化如下期望KL散度：

其中，D_KL表示KL散度，Z_μ(s_k)为配分函数，用于归一化分布。

4)得到无人机侦测轨迹规划的具体步骤如下：

4-1)参数设置；

令评价网络和策略网络的最大训练次数M＝1000，每次训练的最大更新步数T＝1000，经验回放抽取的训练集大小N＝256，目标神经网络的追踪比率β＝0.99，评价网络与策略网络的学习率分别为α_Q＝0.01和α_π＝0.001，衰减因子为γ＝0.99；

4-2)初始化；

两个评价网络和一个策略网络的权重参数初始值均为0；将初始化后的策略网络记为当前策略网络，将初始化后的评价网络记为当前评价网络

和当前评价网络/>

设无人机当前位置p_k,、方位角θ_k和目标位置p_r，计算线性系统表示的信号场观测Gramian矩阵；

设空的经验队列集合R，并设置集合大小为100万；

4-3)迭代开始，令初始化迭代次数为m＝1；

4-4)初始化滞后时间计数为1，初始化时刻为0；

4-5)使用当前策略网络π_ψ(a_k|s_k)生成k时刻控制变量；输入控制变量a_k与状态s_k，无人机通过转移模型返回下一时刻状态变量s_k+1，利用损失函数计算该步转移的损失c_k+1；

4-6)将步骤4-4)至4-5)得到的数据记为一个经验样本d_k＝(s_k,a_k,c_k+1,s_k+1)，存入经验队列D；

4-7)统计经验队列中的经验样本个数设为N_R并判定：若N_R≤N，则转到步骤4-5)；若N_R>N，则进入步骤4-8)；

4-8)从经验队列D中随机抽取N个经验样本d₁,d₂,…,d_N；

4-9)使用

更新两个评价网络的权重参数μ_i，使用

更新策略网络权重ψ，：使用/>

更新目标神经网络的权重参数/>

并将更新后的评价网络及策略网络记为新的评价网络及新的策略网络；

4-10)判定：若k>T或无人机当前状态满足终止条件||p(k)-p_d||≤ξ_p和,λ_m≥ξ，则进入步骤4-11)，无人机随机选择一个新的初始位置开始新一次的信号场侦测任务，否则返回步骤4-5)；

4-11)使用m+1更新训练次数m，并进行判定：若m<M，则重新返回步骤4-2)，无人机随机选择一个新的初始位置开始新一次的信号场侦测任务；否则迭代结束，将迭代终止时的当前策略网络π_ψ(a_k|s_k)作为最终的策略网络，记为

将状态变量输入最终策略/>

输出控制变量得到无人机侦测轨迹。

图4显示了本发明提出的基于深度强化学习的无人机侦测轨迹规划方法的框架架构。本发明使用软执行者-评价者增加神经网络收敛的稳定性。在训练中，当前策略网络趋近于目标策略网络，当前评价网络趋近于目标评价网络。训练结束后，只需要当前策略网络就可以控制无人机实现期望的轨迹跟踪控制任务。

本发明方法所采用的飞行仿真环境为Pytorch框架下Python语言编写搭建；本发明方法本领域技术人员通过编程即可实现。

下面结合一个具体实施例对本发明进一步说明如下。

仿真实验

(1)仿真设置

本发明提出的方法在Pytorch框架下Python语言编写实现，从而训练和验证，本实施例中采用无人机在二维平面内的通用模型，令最大迭代次数为M＝1000，每次迭代的最大实验步数T＝600，经验回放抽取的训练集大小N＝64，目标神经网络的追踪比率τ＝0.9，评价网络与策略网络的学习率分别为α_ω＝0.01和α_θ＝0.001，折现因子为γ＝0.99，此外奖励函数的系数分别为：ρ＝0.5、λ＝0.03。图5是本实施例待探测信号场分布情况示意图。

(2)仿真结果

图6表示的是1000次训练中，奖励函数(上)、获取信息(左下)及无人机飞行时间(右下)的变化。起始阶段，无人机获得的累计奖励和获取信息很小，飞行时间为一次训练时间，随着训练次数的增加，累计奖励和获取信息逐渐变大，飞行时间减少，最后趋于稳定。

图7、图8表示的是测试结果，即用训练产生的策略网络实现无人机侦测任务下的轨迹规划。图7和图8分别显示了四个不同起始点下，规划方法得到的无人机轨迹以及对应的无人机所获取信息随时间的变化。从图7、图8的结果可以看出，无人机状态能够很快地抵达预定目标并且获取充足的信号场有关信息，即实现了未知分布信号场的探测，证明本发明提出的方法可以不依赖无人机模型和信号场分布即可产生理想的轨迹规划策略。

本发明说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims (7)

1.一种基于深度强化学习的无人机侦测轨迹规划方法，其特征在于包括以下步骤：

1)构建无人机侦测轨迹规划的马尔科夫决策过程模型；

2)根据步骤1)构建的马尔科夫决策过程模型建立无人机的侦测轨迹优化问题；

3)根据步骤2)建立的无人机的侦测轨迹优化问题设计强化学习求解算法；

4)将无人机的观测量输入到步骤3)设计的强化学习求解算法，得到基于深度强化学习的规划策略下的无人机侦测轨迹；

所述的步骤1)中，构建的无人机侦测轨迹规划的马尔科夫决策过程模型包括状态变量、控制变量、转移模型和损失函数；

所述的状态变量s_k表达式为s_k＝[x_k-x_r,y_k-y_r,θ_k,f(p_k,k)]^T

其中，p_k＝(x_k，y_k)表示无人机在当前时刻k的位置，θ_k表示惯性坐标系下无人机的航向角，f(p_k,k)表示无人机在当前时刻所获得的信号场强度；(x_r，y_r)为无人机的目标位置；

所述的控制变量表达式为无人机的航向角速度a_k＝ω_k；

所述的转移模型的表达式为：s_k+1＝g(s_k,a_k)；

所述的损失函数用于评价无人机状态s_k下执行控制变量a_k的效果，表达式为：

其中，ρ,λ分别表示各项的权重系数；

Δ_d(k)＝‖(x_k-x_r，y_k-y_r)′‖-‖(x_k-1-x_r，y_k-1-y_r)′‖，

表示无人机所获得的信息奖励，信息奖励中的c_info(k)由估计的时空信号场得到，时空信号场采用如下偏微分方程描述：

其中，A是一个线性算子，∈(t)表示信号场的白噪声输入，采用有限元方法进行估计，即

其中，φ_i(p)表示一个基函数，x_i(t)为基函数对应的未知参数；

f(p,t)再经过Galerkin加权残差方法及离散化处理，将偏微分方程表示的时空信号场表示为如下线性系统：

x(k+1)＝Ax(k)+ε_d(k)

其中，A为状态转移矩阵，ε_d(k)为包含输入噪声及估计误差的误差项，针对该线性系统，设计信息奖励为：

c_info(k)＝Δ_r(G(p,k))+wλ_m(G(p,k)),

Δ_r(G(p,k))＝rank(G(p,k))-rank(G(p,k-1)),

其中，G(p,k)为线性系统的可观性Gramian矩阵，λ_m(A)表示矩阵A的最小特征值，rank(A)表示矩阵A的秩。

2.根据权利要求1所述的一种基于深度强化学习的无人机侦测轨迹规划方法，其特征在于：

所述的步骤2)中，建立的无人机的侦测轨迹优化问题中包括确定目标函数和约束条件。

3.根据权利要求2所述的一种基于深度强化学习的无人机侦测轨迹规划方法，其特征在于：

所述的目标函数J的表达式为：

其中，

表示求均值算子，γ表示对未来损失的权重的衰减因子，0<γ<1；

所述的约束条件的表达式为：

s_k+1＝g(s_k,a_k)，k＝1,…,n-1，n为终点时刻；

λ_m(G(p,n))≥∈

其中，a_k≥1表示控制变量的输入序列，_m(G(p,n))表示矩阵G(p,n)的最小特征值，物理意义为无人机到达最终时刻所获得的信息量，∈为一个给定上界。

4.根据权利要求1所述的一种基于深度强化学习的无人机侦测轨迹规划方法，其特征在于：

所述的步骤3)中，设计强化学习求解算法包括构建并更新两个评价网络以及构建并更新策略网络。

5.根据权利要求4所述的一种基于深度强化学习的无人机侦测轨迹规划方法，其特征在于：

所述的构建评价网络的方法为：

使用μ_j参数化两个评价网络

μ_j表示权重参数，j＝1,2，评价网络

的输入为状态变量s_k和控制变量a_k，输出为累计损失量，累计损失量的函数表达式如下：

其中κ是一个权重系数，H(π(a_k|s_k))表示策略π(a_k|s_k)的熵；

所述的更新评价网络的方法是最小化如下软贝尔曼残差；

其中,D为存储历史数据(s_k,a_k,c(s_k,a_k),s_k+1)的回放记忆，

表示目标神经网络表达式为

目标神经网络

的更新目标参数为/>

π_ψ(a_k|s_k)为使用ψ进行参数化的策略网络。

6.根据权利要求5所述的一种基于深度强化学习的无人机侦测轨迹规划方法，其特征在于：

所述的构建策略网络的方法为：

采用ψ参数化一个策略网络π_ψ(a_k|s_k)，ψ表示权重参数，策略网络的输入为状态变量s_k，输出为控制变量a_k；

所述的更新策略网络的方法是最小化如下期望KL散度：

其中，D_KL表示KL散度，Z_μ(s_k)为配分函数，用于归一化分布。

7.根据权利要求6所述的一种基于深度强化学习的无人机侦测轨迹规划方法，其特征在于：

所述的步骤4)中，得到无人机侦测轨迹的方法为：

4-1)参数设置；

令评价网络和策略网络的最大训练次数M＝1000，每次训练的最大更新步数T＝1000，经验回放抽取的训练集大小N＝256，目标神经网络的追踪比率β＝0.99，评价网络与策略网络的学习率分别为α_Q＝0.01和α_π＝0.001，衰减因子为γ＝0.99；

4-2)初始化；

两个评价网络和一个策略网络的权重参数初始值均为0；将初始化后的策略网络记为当前策略网络，将初始化后的评价网络记为当前评价网络1

和当前评价网络/>

设无人机当前位置p_k,、方位角θ_k和目标位置p_r，计算线性系统表示的信号场观测Gramian矩阵；

设空的经验队列集合R，并设置集合大小为100万；

4-3)迭代开始，令初始化迭代次数为m＝1；

4-4)初始化滞后时间计数为1，初始化时刻为0；

4-5)使用当前策略网络π_ψ(_k|_k)生成k时刻控制变量；输入控制变量a_k与状态s_k，无人机通过转移模型返回下一时刻状态变量s_k+1，利用损失函数计算该步转移的损失c_k+1；

4-6)将步骤4-4)至4-5)得到的数据记为一个经验样本d_k＝(s_k,a_k,c_k+1,s_k+1)，存入经验队列D；

4-7)统计经验队列中的经验样本个数设为N_R并判定：若N_R≤N，则转到步骤4-5)；若N_R>N，则进入步骤4-8)；

4-8)从经验队列D中随机抽取N个经验样本d₁，d₂,…,d_N；

4-9)使用

更新两个评价网络的权重参数μ_i，使用

更新策略网络权重ψ，：使用/>

更新目标神经网络的权重参数/>

并将更新后的评价网络及策略网络记为新的评价网络及新的策略网络；

4-10)判定：若k>T或无人机当前状态满足终止条件||p(k)-p_d||≤ξ_p和,λ_m≥ξ，则进入步骤4-11)，无人机随机选择一个新的初始位置开始新一次的信号场侦测任务，否则返回步骤4-5)；

4-11)使用m+1更新训练次数m，并进行判定：若m<M，则重新返回步骤4-2)，无人机随机选择一个新的初始位置开始新一次的信号场侦测任务；否则迭代结束，将迭代终止时的当前策略网络π_ψ(a_k|s_k)作为最终的策略网络，记为

将状态变量输入最终策略

输出控制变量得到无人机侦测轨迹。

Images