CN117193369A - 预设时间下的无人机集群博弈纳什均衡搜索方法及系统 - Google Patents

Abstract

本发明公开预设时间下的无人机集群博弈纳什均衡搜索方法及系统，属于无人机自主控制领域；预设时间下的无人机集群博弈纳什均衡搜索方法包括：分析四旋翼无人机的动力学模型，并推广至欧拉‑拉格朗日系统；基于推广至欧拉‑拉格朗日系统的无人机的动力学模型，构建具有欧拉‑拉格朗日非线性动力学的无人机集群博弈模型；基于欧拉‑拉格朗日系统和和无人机集群博弈模型，通过引入时基发生器，提出基于预设时间收敛的部分信息下的纳什均衡搜索算法，可以实现对收敛时间的精确控制且不依赖于系统的初值和参数。

Description

预设时间下的无人机集群博弈纳什均衡搜索方法及系统

技术领域

本发明属于无人机自主控制领域，具体涉及预设时间下的无人机集群博弈纳什均衡搜索方法及系统。

背景技术

随着计算机技术和通信技术的飞速发展，智能电网、传感器网络以及无人机集群等多智能体系统的协调控制技术与优化问题受到了广泛的关注。其中，多智能体系统的非合作博弈问题成为了近年来的研究热点。在非合作博弈问题中，每个智能体致力于使自身利益最大化，其目标函数依赖于其他智能体的决策。

实际中，大多数系统都是复杂的非线性系统，欧拉-拉格朗日系统作为一种典型的非线性系统被广泛研究，它可以描述无人艇、机械臂以及无人机等复杂的动力学系统，其中四旋翼无人机因为其结构简单、机动性好、操作方便等特点使其被广泛应用于航空摄影、地质勘察、环境评估、反恐侦查等领域。通过将四旋翼无人机集群的动力学系统推广到一般的欧拉-拉格朗日系统[Y.Naidoo,R.Stopforth,and G.Bright,“Quad-rotor unmannedaerial vehicle helicopter modelling and control,”Int.J.Adv.Robot.Syst.,vol.8,no.4,pp.139-149,2011.]，设计合适的集群协调控制算法，可以使多架四旋翼无人机实现协同飞行、任务分配和快速决策等功能。

目前，关于无人机集群博弈纳什均衡搜索算法的研究主要围绕如何使智能体的状态渐近或指数收敛到纳什均衡点，但是对收敛时间如何实现精确控制的研究较少。在实际空战背景中，收敛时间的控制对作战结果至关重要，无人机集群需要在精确时间内完成任务。为了解决该问题，目前提出了一种基于有限或固定时间理论的方法使得智能体可以将收敛时间控制在有限范围内[P.Lin,W.Ren,and J.A.Farrell,“Distributed continuous-time optimization:Nonuniform gradient gains,finite-time convergence,andconvex constraint set,”IEEE Trans.Autom.Control,vol.62,no.5,pp.2239-2253,2017]，但是该方法受智能体的初始状态和系统参数的影响并且不能预知。因此，为了解决上述问题，本发明提出了一种基于预设时间下的无人机集群博弈纳什均衡搜索方法及系统。

发明内容

针对现有技术的不足，本发明的目的在于提供预设时间下的无人机集群博弈纳什均衡搜索方法及系统，解决了现有技术中的问题。

本发明的目的可以通过以下技术方案实现：

预设时间下的无人机集群博弈纳什均衡搜索方法，包括以下步骤：

分析四旋翼无人机的动力学模型，并推广至欧拉-拉格朗日系统；

基于推广至欧拉-拉格朗日系统的无人机的动力学模型，构建具有欧拉-拉格朗日非线性动力学的无人机集群博弈模型；

基于欧拉-拉格朗日系统和无人机集群博弈模型，通过引入时基发生器，提出基于预设时间收敛的部分信息下的纳什均衡搜索算法，来控制收敛时间。

进一步地，所述四旋翼无人机动力学模型构建需要满足以下前提条件：

1)无人机的机体是刚体且严格对称；

2)机体坐标系的原点与无人机的质心重合；

3)桨叶没有挥舞运动。

进一步地，第i架四旋翼无人机的二阶动力学模型为：

其中，x_i,y_i,z_i分别是第i架四旋翼无人机在惯性坐标系下的x轴位置坐标，y轴位置坐标与z轴位置坐标；θ_i,ψ_i分别是第i架四旋翼无人机在惯性坐标系下的横滚角、俯仰角、偏航角；/>分别是第i架四旋翼无人机绕机体坐标系x、y、z轴的转动惯量；/>分别为第i架四旋翼无人机在x轴方向，y轴方向和z轴方向所受的扰动；m_i为第i架四旋翼无人机的质量；u_i1,u_i2,u_i3,u_i4分别是第i架四旋翼无人机的四个控制输入；g为重力加速度。

进一步地，四旋翼无人机的四个控制输入分别为：

其中，F_i1,F_i2,F_i3,F_i4分别为第i架四旋翼无人机的四个电机所产生的升力；p_i为第i架四旋翼无人机的旋翼转子与无人机质心之间的距离。

进一步地，考虑具有欧拉-拉格朗日非线性动力学的无人机集群，第i架无人机的动力学模型可表示为：

其中，η_i,分别表示广义坐标、速度和加速度向量；M_i(η_i)表示正定对称惯性矩阵；/>表示科里奥利-向心力矩阵；G_i(η_i)表示重力矩阵；u_i表示作用于系统的控制器。

进一步地，所述无人机集群博弈模型为：

无人机集群中共有n架无人机，每架无人机利用局部信息调整自己的决策使得其成本函数最小，描述为：

其中f_i(η_i,η_-i)为第i架无人机的目标函数；η_i为第i架无人机的决策变量；η_-i为除了第i架无人机的其他所有无人机的决策变量，即η_-i＝[η₁,…,η_i-1,η_i+1,…,η_n]；

在博弈过程中，如果满足：

则称为纳什均衡解；其中，/>

进一步地，所述时基发生器为：

T(t,t_f)＝(g(t,σ))′,

其中，σ是一个足够小的参数；t_f是预设时间，主要根据算法需求进行调整；g为关于时间t和参数σ的二元函数，且需满足下条件：

0＜σ＜＜1,

g(t,σ)-g(t_f+,σ)≥0,t＞t_f,

进一步地，所述纳什均衡搜索算法设计如下：

式中，η_i是第i架无人机的决策变量；是第i架无人机对第j架无人机决策的估计变量；v_i是辅助变量；α,β,γ,ε＞0是相应的算法参数；a_ij是第i架无人机与第j架无人机之间通信连边的权重值。

预设时间下的无人机集群博弈纳什均衡搜索系统，包括：

动力学模型构建模块：分析四旋翼无人机的动力学模型，并推广至欧拉-拉格朗日系统；

无人机集群博弈模型构建模块：基于推广至欧拉-拉格朗日系统的无人机的动力学模型，构建具有欧拉-拉格朗日非线性动力学的无人机集群博弈模型；

以及，搜索算法构建模块：基于欧拉-拉格朗日系统和和无人机集群博弈模型，通过引入时基发生器，提出基于预设时间收敛的部分信息下的纳什均衡搜索算法，来控制收敛时间。

一种计算机存储介质，存储有可读程序，当程序运行时，能够执行上述搜索方法。

本发明的有益效果：

本发明可以实现对无人机集群博弈算法收敛时间的精确控制，通过预先设定时间基函数保证无人机集群在特定时间内收敛到纳什均衡点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明中的搜索方法流程图；

图2是本发明中单架四旋翼无人机的结构图；

图3是本发明中四架无人机的通信示意图；

图4是本发明中四架无人机追踪时变目标的三维轨迹示意图；

图5是本发明中四架无人机博弈轨迹的x方向坐标预设时间收敛示意图；

图6是本发明中四架无人机博弈轨迹的y方向坐标预设时间收敛示意图；

图7是本发明中四架无人机博弈轨迹的z方向坐标预设时间收敛示意图；

图8是本发明中无人机集群的通信示意图；

图9是本发明中无人机集群追踪目标的三维轨迹示意图；

图10是本发明中无人机集群博弈轨迹的x方向坐标预设时间收敛示意图；

图11是本发明中无人机集群博弈轨迹的y方向坐标预设时间收敛示意图；

图12是本发明中无人机集群博弈轨迹的z方向坐标预设时间收敛示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

如图1所示，预设时间下的无人机集群博弈纳什均衡搜索方法，包括以下步骤：

S1，分析四旋翼无人机的动力学模型，并将其推广到一般的欧拉-拉格朗日系统；具体步骤包括：

S11，无人机集群均为四旋翼无人机集群，为了简化四旋翼无人机动力学模型，需要对系统模型做出一些基本假设：首先，无人机的机体是刚体且严格对称。其次，机体坐标系的原点与无人机的质心重合。最后，桨叶没有挥舞运动。在上述假设条件下，可以将四旋翼无人机动力学模型拆分为位置动力学和姿态动力学两部分。

假设无人机集群共有n架无人机，第i架四旋翼无人机的二阶动力学模型如下，其中i∈{1,…,n}。

其中，x_i,y_i,z_i分别是第i架四旋翼无人机在惯性坐标系下的x轴位置坐标，y轴位置坐标与z轴位置坐标；θ_i,ψ_i分别是第i架四旋翼无人机在惯性坐标系下的横滚角、俯仰角、偏航角；/>分别是第i架四旋翼无人机绕机体坐标系x、y、z轴的转动惯量；/>分别为第i架四旋翼无人机在x轴方向，y轴方向和z轴方向所受的扰动；m_i为第i架四旋翼无人机的质量；u_i1,u_i2,u_i3,u_i4分别是第i架四旋翼无人机的四个控制输入；g为重力加速度。

此外，四旋翼无人机的四个控制输入分别为：

其中，F_i1,F_i2,F_i3,F_i4分别为第i架四旋翼无人机的四个电机所产生的升力；p_i为第i架四旋翼无人机的旋翼转子与无人机质心之间的距离。

上述动力学模型中，u_i1被分配到x、y、z三个方向的位移量中，u_i2,u_i3,u_i4分别被分配到三个姿态角通道的输入量中，因此整个控制系统可以分为由u_i1组成的位置控制和由u_i2,u_i3,u_i4组成的姿态控制，如图2所示。

S12，定义变量则上述四旋翼无人机动力学模型可以描述为下面的欧拉-拉格朗日系统：

系统中的M_i(η_i)，G_i(η_i)，u_i分别为

u_i＝[u_i1,u_i1,u_i1,u_i2,u_i3,u_i4]^T，

其中，O_3×3是一个3×3维的零矩阵； 矩阵A_i，B_1i，B_2i分别表示为：

S13，将四旋翼无人机动力学抽象为一般的欧拉-拉格朗日系统，考虑具有欧拉-拉格朗日非线性动力学的无人机集群，第i架无人机的动力学模型可以表示如下：

其中η_i,分别表示广义坐标，速度和加速度向量；M_i(η_i)表示正定对称惯性矩阵；/>表示科里奥利-向心力矩阵；G_i(η_i)表示重力矩阵；u_i表示作用于系统的控制器。为了方便后续算法设计，这里假设M_i(η_i)是可逆的。本发明的目的是通过设计控制器u_i使无人机集群在预设时间内通过局部信息调整自己的决策收敛到纳什均衡点。

S2，基于S1中推广至欧拉-拉格朗日系统的无人机的动力学模型，构建具有欧拉-拉格朗日非线性动力学的无人机集群博弈模型；具体步骤为：

S21，构建无人机集群博弈模型；

考虑无人机集群中共有n架无人机，每架无人机利用局部信息调整自己的决策使得其成本函数最小，该问题可描述为：

其中f_i(η_i,η_-i)为第i架无人机的目标函数；η_i为第i架无人机的决策变量；η_-i为除了第i架无人机的其他所有无人机的决策变量，即η_-i＝[η₁,…,η_i-1,η_i+1,…,η_n]。

在博弈过程中，如果没有任意一架无人机可以通过单方面改变自己的策略来使得自己的收益更小，则达到纳什均衡点，即如果满足：

则称为纳什均衡解；其中，/>

S22，为了保证所设计的算法的收敛性，下面给出一些基本假设：

假设一：通信拓扑图为无向连通图；

假设二：智能体i的目标函数f_i(η)是二阶连续可微的函数，

假设三：目标函数的梯度满足全局李普希茨连续条件，即存在常数l_i＞0，对/>有/>

假设四：对于任意的有(η-z)^T(F(η)-F(z))≥m||η-z||²，其中，常数m＞0，

假设五：存在一个常数h＞0，使得其中/>

在上述非合作博弈问题中，假设每架无人机只能获得邻居的信息，不能获得非邻居无人机的动作信息，因此每架无人机都会对其他无人机的动作产生一个估计值，并利用与邻居之间的信息交流来更新其估计值。

S3，基于S1中的欧拉-拉格朗日系统和S2中的无人机集群博弈模型，通过引入时基发生器，提出了一种基于预设时间收敛的部分信息下的纳什均衡搜索算法，实现对收敛时间的精确控制；

具体步骤为：

S31，为了使算法实现预设时间收敛，并保证控制行为的连续性或平滑性，我们引入了时基发生器，具体表示如下：

T(t,t_f)＝(g(t,σ))′,

其中，σ是一个足够小的参数；t_f是预设时间，主要根据算法需求进行调整；g为关于时间t和参数σ的二元函数此外，g(t,σ)需满足下列条件：

0＜σ＜＜1,

g(t,σ)-g(t_f+,σ)≥0,t＞t_f,

S23，在S31的时基发生器的作用下，通过设计算法可以使一个系统实现预设时间收敛，下面引入一个系统实现预设时间收敛的定义。对于任意初始状态η(0)，存在0＜δ＝δ(η(0))＜＜1满足下列三个条件：

则称系统在时刻t_f处达到预设时间收敛。

S33，利用无人机的梯度信息以及一致性协议，第i架四旋翼无人机的控制输入设计如下：

其中η_i是第i架无人机的决策变量；是第i架无人机对第j架无人机决策的估计变量；α,β,γ,ε＞0是相应的算法参数；a_ij是第i架无人机与第j架无人机之间通信连边的权重值；T(t,t_f)是时基发生器满足S31中的条件。

将上述控制输入代入到S13的欧拉-拉格朗日系统中，整体算法设计如下：

式中，v_i是辅助变量。

S4，通过李雅普诺夫稳定性理论证明上述算法收敛；具体步骤包括：

S41，令τ＝εt，则上述算法可以转换为如下紧凑格式：

其中，L是图对应的拉普拉斯矩阵；I_nm×nm是一个nm×nm维的单位矩阵；由于四旋翼无人机动力学的限制，此处m＝6；/>

S42，利用李雅普诺夫稳定性理论证明上述欧拉-拉格朗日系统在控制输入的作用下可以在预设时间收敛到纳什均衡点，具体表述为如下定理：

如果S22中的假设均成立，则存在一个正数ε^*使得对当时，S13中的欧拉-拉格朗日系统在S33的控制输入的作用下，可以在预设时间t_f收敛到纳什均衡解的领域内，即：

其中并且0＜σ＜＜1。

证明：令ε＝0，则由S22中的假设一可知，成立，对/>此时，S41中的算法可以转换为以下形式：

记θ＝η-η^*，φ＝F(η)+v，其中η^*是纳什均衡解，定义一个李雅普诺夫函数如下：

对上述李雅普诺夫函数关于时间t求导，得：

由S22中假设二保证的F的李普希茨连续性可知，||F(η)-F(η^*)||≤L||θ||，其中又由假设四有θ^TF(η)≥m||θ||²，此外，假设五说明了||H(η)||≤h。

综上，

定义矩阵A如下：

显然，当时，A是正定矩阵，因此有

对上式两边分别从0到τ求积分得：

当τ→t_f时，有其中/>由于||η-η^*||²≤2V，故/>类似地，利用S31中时基发生器的性质，对/>||η(τ)-η^*||≤δ以及/>显然成立。

针对空战背景下无人机集群博弈问题进行数值仿真，进一步证实算法的有效性；对本发明的搜索方法进行仿真验证：

考虑一个无人机集群领空编队跟踪问题，采用python仿真验证所提出控制策略的有效性。仿真对象采用ASCTEC公司生产的Hummingbird drones，无人机集群参数以及控制器参数如下:

表1无人机集群和控制器参数设置

每架无人机的目标函数可以表示为如下形式：

显然，由于无人机集群不能同时沿着同一轨迹飞行，无人机之间的个体目标是相互冲突的。本实验的目的是控制无人机集群在预设时间内达到纳什均衡位置，以平衡群体目标和无人机的个体目标；本实验选取的时基发生器如下：

其中，

下面通过两个实施例来验证所提出的算法可以在上述时基发生器的作用下实现在0.2s内收敛到纳什均衡解。

实施例1

考虑n＝4的情形，四架无人机之间的通信图如图3所示。此外，设置无人机追踪的时变目标为η₀＝[20(sint-1),20(cost-1),40+20sint,0,0,0]^T，为了保证无人机之间保持相对的距离，每架无人机与邻居之间期望的位移分别为d₁₂＝[10,0,0,0,0,0]^T，d₂₄＝[-10,0,0,0,0,0]^T，d₃₁＝[0,10,0,0,0,0]^T，d₄₃＝[0,-10,0,0,0,0]^T。在所提出的控制输入的作用下，四架无人机的三维轨迹如图4所示，可以看出四架无人机在保持相对距离的情况下跟踪到时变纳什均衡解，有效的平衡了群体目标和个体目标，为了清晰的观察无人机轨迹的收敛情况，将η₀设置为一个固定目标η₀＝[-20,-20,40,0,0,0]^T，无人机集群在x轴，y轴，z轴三个方向随时间变化的轨迹分别如图5，6，7所示，此时可以明显的看出在0.2s内四架无人机的位置收敛到了纳什均衡点。

实施例2

为了进一步验证算法的有效性，将无人机的数量进行推广。

考虑n＝52的情形，无人机集群之间的通信图设计为一个连边概率为0.4的ER随机网络如图8所示，无人机集群共被分为四簇，它们的追踪目标为η₀＝[-30,-50,80,0,0,0]^T，每架无人机与邻居之间期望的位移分别为：d_1+4n,j＝[30,0,0,0,0,0]^T，d_2+4n,j＝[-30,0,0,0,0,0]^T，d_3+4n,j＝[0,30,0,0,0,0]^T，d_4+4n,j＝[0,-30,0,0,0,0]^T，其中n∈{0,…,12},j∈{1,…,52}。在控制输入的作用下，无人机集群的三维轨迹如图9所示，在x,y,z三个方向随时间变化的轨迹分别如图10，11，12所示，可以明显的看出在0.2s内无人机集群均收敛到了纳什均衡点。此外，通过调整时基发生器可以实现任意指定时间内收敛到纳什均衡点。

在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。

Claims (10)

1.预设时间下的无人机集群博弈纳什均衡搜索方法，其特征在于，包括以下步骤：

分析四旋翼无人机的动力学模型，并推广至欧拉-拉格朗日系统；

基于推广至欧拉-拉格朗日系统的无人机的动力学模型，构建具有欧拉-拉格朗日非线性动力学的无人机集群博弈模型；

基于欧拉-拉格朗日系统和无人机集群博弈模型，通过引入时基发生器，提出基于预设时间收敛的部分信息下的纳什均衡搜索算法，来控制收敛时间。

2.根据权利要求1所述的预设时间下的无人机集群博弈纳什均衡搜索方法，其特征在于，所述四旋翼无人机动力学模型构建需要满足以下前提条件：

1)无人机的机体是刚体且严格对称；

2)机体坐标系的原点与无人机的质心重合；

3)桨叶没有挥舞运动。

3.根据权利要求2所述的预设时间下的无人机集群博弈纳什均衡搜索方法，其特征在于，第i架四旋翼无人机的二阶动力学模型为：

其中，x_i,y_i,z_i分别是第i架四旋翼无人机在惯性坐标系下的x轴位置坐标，y轴位置坐标与z轴位置坐标；θ_i,ψ_i分别是第i架四旋翼无人机在惯性坐标系下的横滚角、俯仰角、偏航角；/>分别是第i架四旋翼无人机绕机体坐标系x、y、z轴的转动惯量；/>分别为第i架四旋翼无人机在x轴方向，y轴方向和z轴方向所受的扰动；m_i为第i架四旋翼无人机的质量；u_i1,u_i2,u_i3,u_i4分别是第i架四旋翼无人机的四个控制输入；g为重力加速度。

4.根据权利要求3所述的预设时间下的无人机集群博弈纳什均衡搜索方法，其特征在于，四旋翼无人机的四个控制输入分别为：

其中，F_i1,F_i2,F_i3,F_i4分别为第i架四旋翼无人机的四个电机所产生的升力；p_i为第i架四旋翼无人机的旋翼转子与无人机质心之间的距离。

5.根据权利要求3所述的预设时间下的无人机集群博弈纳什均衡搜索方法，其特征在于，考虑具有欧拉-拉格朗日非线性动力学的无人机集群，第i架无人机的动力学模型可表示为：

其中，η_i,分别表示广义坐标、速度和加速度向量；M_i(η_i)表示正定对称惯性矩阵；表示科里奥利-向心力矩阵；G_i(η_i)表示重力矩阵；u_i表示作用于系统的控制器。

6.根据权利要求5所述的预设时间下的无人机集群博弈纳什均衡搜索方法，其特征在于，所述无人机集群博弈模型为：

无人机集群中共有n架无人机，每架无人机利用局部信息调整自己的决策使得其成本函数最小，描述为：

其中f_i(η_i,η_-i)为第i架无人机的目标函数；η_i为第i架无人机的决策变量；η_-i为除了第i架无人机的其他所有无人机的决策变量，即η_-i＝[η₁,…,η_i-1,η_i+1,…,η_n]；

在博弈过程中，如果满足：

则称为纳什均衡解；其中，/>

7.根据权利要求1所述的预设时间下的无人机集群博弈纳什均衡搜索方法，其特征在于，所述时基发生器为：

T(t,t_f)＝(g(t,σ))′,

其中，σ是一个足够小的参数；t_f是预设时间，主要根据算法需求进行调整；g为关于时间t和参数σ的二元函数，且满足下条件：

0＜σ＜＜1,

g(t,σ)-g(t_f+,σ)≥0,t＞t_f,

8.根据权利要求7所述的预设时间下的无人机集群博弈纳什均衡搜索方法，其特征在于，所述纳什均衡搜索算法设计如下：

式中，η_i是第i架无人机的决策变量；是第i架无人机对第j架无人机决策的估计变量；v_i是辅助变量；α,β,γ,ε＞0是相应的算法参数；a_ij是第i架无人机与第j架无人机之间通信连边的权重值。

9.预设时间下的无人机集群博弈纳什均衡搜索系统，其特征在于，包括：

动力学模型构建模块：分析四旋翼无人机的动力学模型，并推广至欧拉-拉格朗日系统；

无人机集群博弈模型构建模块：基于推广至欧拉-拉格朗日系统的无人机的动力学模型，构建具有欧拉-拉格朗日非线性动力学的无人机集群博弈模型；

以及，搜索算法构建模块：基于欧拉-拉格朗日系统和和无人机集群博弈模型，通过引入时基发生器，提出基于预设时间收敛的部分信息下的纳什均衡搜索算法，来控制收敛时间。

10.一种计算机存储介质，存储有可读程序，当程序运行时，能够执行权利要求1-8任一项所述的搜索方法。