CN108919640A - 无人机自适应多目标跟踪的实现方法 - Google Patents

Abstract

本发明提供了一种无人机自适应多目标跟踪的实现方法，涉及飞行控制领域，本发明通过计算无人机的状态空间和运动方程，求解目标函数，循环计算即可得到整个时间域上的无人机飞行状态和跟踪轨迹。本发明的有益效果在于本发明是基于强化学习研究无人机自适应目标跟踪，构建POMDP框架，选取信念优化方法求解POMDP问题，使得目标函数容易求解，且计算量小，通过仿真也验证了该方法的收敛性。而且从仿真结果可以看出无人机的飞行轨迹平滑，适应度高，能很好的自适应跟踪目标。

Description

无人机自适应多目标跟踪的实现方法

技术领域

本发明涉及飞行控制领域，尤其是一种无人机的跟踪方法。

背景技术

由于当今飞行环境复杂而且信息难以获取，无人机仅依靠地面指挥中心提拱的信息进行跟踪已经难以成事，因此如何使得无人机能自发的适应环境并且高效、精确的跟踪目标就显得尤为重要。强化学习(Reinforcement Learning)是一种智能体跟环境不断交互且学习方式跟策略有关的学习，强化学习的模型如图1所示。强化学习的核心在于使收益长期最大化。无人机自适应跟踪问题的核心在于如何选取下一步的最佳飞行动作，所以无人机跟踪问题可以看成是强化学习问题，因此可以建立无人机自适应多目标跟踪控制的强化学习框架，如图2所示。由于强化学习决策出来的每一个状态-行为对都是离散值，且具有马尔科夫性质，因此解决此类满足马尔科夫性质的强化学习问题，其实就是解决部分可观马尔科夫决策过程(POMDP)问题。

现有解决POMDP问题的方法有启发式ECTG、参数近似、policy rollout、hindsightoptimization、foresight optimization等。但是这些方法在解决目标函数优化方面面临计算量大、容易发散的问题。

发明内容

为了克服现有技术的不足，本发明使用信念状态优化方法(Belief-StateOptimization，BO)，将复杂的问题通过近似求解目标函数，相比较以上近似方法，它的优点在于计算复杂度较低、计算效率高，计算收敛。

本发明解决其技术问题所采用的技术方案的详细步骤如下：

步骤1：状态空间

状态空间分为系统状态和信念状态，其中系统状态包含无人机状态、目标状态和跟踪状态，在t时刻系统状态表示为χ_t＝(s_t,ζ_t,ξ_t,P_t)，其中s_t为无人机的状态，ζ_t为目标的状态，(ξ_t,P_t)为跟踪状态，具体为：

无人机的状态：其中，表示无人机的位置，表示无人机的速度，θ_t表示无人机的航向角；

第i个目标的状态：其中,i＝1,2,...,n，n为目标的数量，表示目标的位置，表示目标在x,y轴上的速度分量；

对于第i个目标的跟踪状态：为滤波后目标状态估计值，为滤波后目标状态的估计协方差；

信念状态指的是系统整体状态的后验分布，在t时刻为：其中，无人机的信念状态为跟踪信念状态为目标信念状态为

步骤2：无人机运动方程

无人机在t时刻的状态为行动量u_t＝(a_t,φ_t)，a_t为加速度，φ_t为转向角，无人机的运动方程如下：

θ_t+1＝θ_t+(gTtan(φ_t)/v_t)(2-4)

其中T为仿真步长，为无人机t+1时刻的位置，为t+1时刻无人机的速度，θ_t+1为t+1时刻无人机的航向角，g为重力加速度，[v_min,v_max]为速度的大小限制；

步骤3：目标运动方程

第i个目标在t时刻的运动状态更新如下：

其中，为第i个目标在t+1时刻的状态，F为状态转移矩阵，为目标的过程噪声，且Q为过程噪声的协方差矩阵；

步骤4：目标状态测量

已知t时刻无人机和第i个目标的位置矢量，为位置协方差矩阵；

依照step1.1到step1.3计算

Step1.1：无人机与目标之间的有效距离和夹角为：

实际距离为：

有效距离为：

无人机与目标之间的夹角：

其中，b为非零常数；

Step1.2：求距离标准偏差和角度标准偏差距离标准偏差为：

角度标准偏差为：

其中p和q为非零常数；

Step1.3：求令：

目标的测量函数更新公式如下：

其中，H为观测矩阵，为测量噪声，并且

步骤5：跟踪状态

t时刻第i个目标的跟踪状态可根据卡尔曼滤波方程所得，具体如下：

预测：

预测协方差：

测量值：

增益矩阵：

滤波后状态：

滤波后估计协方差：

步骤6：目标函数

基于t时刻的状态，对将来l个步长进行预测，则目标函数为：

其中，为信念状态序列，为行动序列，为成本函数；

由得到无人机在第k个步长下的信念状态为第i个目标在k步长下的信念状态为k步长下对第i个目标的跟踪信念状态为则k+1步长下关于第i个目标的信念状态更新方程为：

其中，为成本函数，具体为传感器与目标位置之间的均方误差，可表示为：

其中，可通过以下过程求解：

Step6.1：由公式(6-2)求得通过步骤2求得

Step6.2：求

通过步骤4求得，将以上所求到的值代入(6-3)即可得到

因此目标函数为：

步骤7：最优策略

最优策略即选择t时刻使目标函数J_l(b_t)最小的一组行动序列

因此最优策略表示为：

定义行动序列上限为ub，下限为lb，通过梯度下降法求取最优解

步骤8：无人机执行行动

选择最优解里的作为无人机更新状态的运动量，代入步骤2即可求得无人机在t+1时刻的状态更新为：

步骤9：将t+1的无人机状态和最优解代入步骤6、步骤7可得到下一时刻的最优解，再通过步骤8可得到无人机在t+2时刻的状态，循环计算即可得到整个时间域上的无人机飞行状态和跟踪轨迹。

本发明的有益效果在于本发明是基于强化学习研究无人机自适应目标跟踪，构建POMDP框架，选取信念优化方法求解POMDP问题，使得目标函数容易求解，且计算量小，通过仿真也验证了该方法的收敛性。而且从仿真结果可以看出无人机的飞行轨迹平滑，适应度高，能很好的自适应跟踪目标。

附图说明

图1为本发明强化学习的结构模型图，描述智能体和环境交互学习的过程。

图2为本发明无人机自适应多目标跟踪控制的强化学习框架。

图3为本发明给定初始状态后，经过matlab仿真，仿真步长为0.1，仿真次数600，得到无人机跟踪两架目标机的效果图。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

步骤1：状态空间

状态空间分为系统状态和信念状态，其中系统状态包含无人机状态、目标状态和跟踪状态，在t时刻系统状态表示为χ_t＝(s_t,ζ_t,ξ_t,P_t)，其中s_t为无人机的状态，ζ_t为目标的状态，(ξ_t,P_t)为跟踪状态，具体为：

无人机的状态：其中，表示无人机的位置，表示无人机的速度，θ_t表示无人机的航向角；

第i个目标的状态：其中,i＝1,2,...,n，n为目标的数量，表示目标的位置，表示目标在x,y轴上的速度分量；

对于第i个目标的跟踪状态：为滤波后目标状态估计值，为滤波后目标状态的估计协方差；

信念状态指的是系统整体状态的后验分布，在t时刻为：其中，无人机的信念状态为跟踪信念状态为目标信念状态为

步骤2：无人机运动方程

无人机在t时刻的状态为行动量u_t＝(a_t,φ_t)，a_t为加速度，φ_t为转向角，无人机的运动方程如下：

θ_t+1＝θ_t+(gT tan(φ_t)/v_t) (2-4)

其中T为仿真步长，为无人机t+1时刻的位置，为t+1时刻无人机的速度，θ_t+1为t+1时刻无人机的航向角，g为重力加速度，[v_min,v_max]为速度的大小限制；

步骤3：目标运动方程

第i个目标在t时刻的运动状态更新如下：

其中，为第i个目标在t+1时刻的状态，F为状态转移矩阵，为目标的过程噪声，且Q为过程噪声的协方差矩阵；

步骤4：目标状态测量

已知t时刻无人机和第i个目标的位置矢量，为位置协方差矩阵，反映无人机传感器对目标位置距离、角度的不确定性；

依照step1.1到step1.3计算

Step1.1：无人机与目标之间的有效距离和夹角为：

实际距离为：

有效距离为：

无人机与目标之间的夹角

其中，b为非零常数；

Step1.2：求距离标准偏差和角度标准偏差距离标准偏差为：

角度标准偏差为：

其中p和q为非零常数；

Step1.3：求令：

目标的测量函数更新公式如下：

其中，H为观测矩阵，为测量噪声，并且

步骤5：跟踪状态

t时刻第i个目标的跟踪状态可根据卡尔曼滤波方程所得，具体如下：

预测：

预测协方差：

测量值：

增益矩阵：

滤波后状态：

滤波后估计协方差：

步骤6：目标函数

基于t时刻的状态，对将来l个步长进行预测，则目标函数为：

其中，为信念状态序列，为行动序列，为成本函数；

由得到无人机在第k个步长下的信念状态为第i个目标在k步长下的信念状态为k步长下对第i个目标的跟踪信念状态为则k+1步长下关于第i个目标的信念状态更新方程为：

其中，为成本函数，具体为传感器与目标位置之间的均方误差，可表示为：

其中，可通过以下过程求解：

Step6.1：由公式(6-2)求得通过步骤2求得

Step6.2：求

通过步骤4求得，将以上所求到的值代入(6-3)即可得到

因此目标函数为：

步骤7：最优策略

最优策略即选择t时刻使目标函数J_l(b_t)最小的一组行动序列

因此最优策略表示为：

定义行动序列上限为ub，下限为lb，通过梯度下降法求取最优解

步骤8：无人机执行行动

选择最优解里的作为无人机更新状态的运动量，代入步骤2即可求得无人机在t+1时刻的状态更新为：

步骤9：将t+1的无人机状态和最优解代入步骤6、步骤7可得到下一时刻的最优解，再通过步骤8可得到无人机在t+2时刻的状态，循环计算即可得到整个时间域上的无人机飞行状态和跟踪轨迹。

本发明实施例考虑的是二维模型，高度已知，坐标系为平面坐标系，一架无人机跟踪两架目标机。即n＝2，i＝1,2。

步骤1：状态空间

t＝0时，系统的初始状态为χ₀＝(s₀,ζ₀,ξ₀,P₀)

其中无人机的初始状态

其中，目标1的初始状态

目标2的初始状态

跟踪状态为：则0时刻的状态为：

初始信念状态同初始系统状态。

步骤2：无人机运动方程

无人机在0时刻状态没有改变，无更新。

步骤3：目标运动方程

randn(1)为产生均值为0，标准差为1的随机数。

已知以及

则：

步骤4：目标状态测量

t＝0时，可依照以下步骤计算

Step1.1：无人机与目标之间的有效距离和夹角实际距离：

得r₀ ¹＝600，r₀ ²＝600。

取b＝2，则有效距离为：

得

目标和无人机之间的夹角为：

Step1.2：求距离标准偏差和角度标准偏差

取p＝0.8,距离标准偏差为：

取q＝0.0015，角度标准偏差为：

Step1.3：求

已知由

得，

将上述值代入(4-8)得：

步骤5：跟踪状态

预测：

预测协方差：

测量值：

增益矩阵：

滤波后状态：

滤波后估计协方差：

步骤6：目标函数

0时刻对目标未来3个步长进行预测，l＝3，则目标函数近似为：

其中k＝0,1,2,3。

成本函数为

可通过以下步骤求解：

Step6.1：求解

初始化行动序列

则通过步骤2求解，得

已知

则根据(6-2)求得

Step6.2：求

将step6.1所求的结果代入步骤4，可求得

已知将上述结果代入(6-3)得：

目标函数为：

步骤7：最优策略

最优策略就是选择一组行动序列使得目标函数在此行动下的值最小。

因此，0时刻最优策略可以表示为：

行动序列的上下限为：

lb＝[-10,-9π/20；-10,-9π/20；-10,-9π/20；-10,-9π/20；]

ub＝[10,9π/20；10,9π/20；10,9π/20；10,9π/20；]

本发明利用MATLAB的fmincon函数计算求得最优行动序列为：

步骤8：无人机执行行动

已知0时刻无人机的状态s₀，g＝9.8，T＝0.1，以及求得的最优解求得无人机在1时刻的状态具体如下：

θ₁＝θ₀+(gT tan(φ₀)/v₀)＝-0.162

Claims (1)

1.一种无人机自适应多目标跟踪的实现方法，其特征在于包括下述步骤：

步骤1：状态空间

状态空间分为系统状态和信念状态，其中系统状态包含无人机状态、目标状态和跟踪状态，在t时刻系统状态表示为χ_t＝(s_t,ζ_t,ξ_t,P_t)，其中s_t为无人机的状态，ζ_t为目标的状态，(ξ_t,P_t)为跟踪状态，具体为：

无人机的状态：其中，表示无人机的位置，表示无人机的速度，θ_t表示无人机的航向角；

第i个目标的状态：其中,i＝1,2,...,n，n为目标的数量，表示目标的位置，表示目标在x,y轴上的速度分量；

对于第i个目标的跟踪状态： 为滤波后目标状态估计值，P_t ⁱ为滤波后目标状态的估计协方差；

信念状态指的是系统整体状态的后验分布，在t时刻为：其中，无人机的信念状态为跟踪信念状态为目标信念状态为

步骤2：无人机运动方程

无人机在t时刻的状态为行动量u_t＝(a_t,φ_t)，a_t为加速度，φ_t为转向角，无人机的运动方程如下：

θ_t+1＝θ_t+(gTtan(φ_t)/v_t) (2-4)

其中T为仿真步长，为无人机t+1时刻的位置，为t+1时刻无人机的速度，θ_t+1为t+1时刻无人机的航向角，g为重力加速度，[v_min,v_max]为速度的大小限制；

步骤3：目标运动方程

第i个目标在t时刻的运动状态更新如下：

其中，为第i个目标在t+1时刻的状态，F为状态转移矩阵，为目标的过程噪声，且Q为过程噪声的协方差矩阵；

步骤4：目标状态测量

已知t时刻无人机和第i个目标的位置矢量，为位置协方差矩阵；

依照step1.1到step1.3计算

Step1.1：无人机与目标之间的有效距离和夹角为：

实际距离为：

有效距离为：

无人机与目标之间的夹角：

其中，b为非零常数；

Step1.2：求距离标准偏差和角度标准偏差距离标准偏差为：

角度标准偏差为：

其中p和q为非零常数；

Step1.3：求令：

目标的测量函数更新公式如下：

其中，H为观测矩阵，为测量噪声，并且

步骤5：跟踪状态

t时刻第i个目标的跟踪状态可根据卡尔曼滤波方程所得，具体如下：

预测：

预测协方差：

测量值：

增益矩阵：

滤波后状态：

滤波后估计协方差：

步骤6：目标函数

基于t时刻的状态，对将来l个步长进行预测，则目标函数为：

其中，k＝0,1,2,...,l，为信念状态序列，为行动序列，为成本函数；

由 得到无人机在第k个步长下的信念状态为第i个目标在k步长下的信念状态为k步长下对第i个目标的跟踪信念状态为则k+1步长下关于第i个目标的信念状态更新方程为：

其中，为成本函数，具体为传感器与目标位置之间的均方误差，可表示为：

其中，可通过以下过程求解：

Step6.1：由公式(6-2)求得通过步骤2求得

Step6.2：求

通过步骤4求得，将以上所求到的值代入(6-3)即可得到

因此目标函数为：

步骤7：最优策略

最优策略即选择t时刻使目标函数J_l(b_t)最小的一组行动序列

因此最优策略表示为：

定义行动序列上限为ub，下限为lb，通过梯度下降法求取最优解

步骤8：无人机执行行动

选择最优解里的作为无人机更新状态的运动量，代入步骤2即可求得无人机在t+1时刻的状态更新为：

步骤9：将t+1的无人机状态和最优解代入步骤6、步骤7可得到下一时刻的最优解，再通过步骤8可得到无人机在t+2时刻的状态，循环计算即可得到整个时间域上的无人机飞行状态和跟踪轨迹。