CN111077909B - 一种基于视觉信息的新型无人机自组群自洽优化控制方法 - Google Patents

Abstract

本发明涉及无人机组群优化与控制技术领域，尤其是涉及一种基于视觉信息的新型无人机自组群自洽优化控制方法。该方法包括：无人机群在失去通信联络后，仍将保持先前的分组结构，先前的目标搜索或饱和攻击组群任务仍将继续执行，每架无人机在约束条件下，通过视觉互感理解与预测组内各友机行为，自发性的生成最优控制量，自主运动到合适位置，以实现搜索效率最大化和饱和攻击效能最大化的空间位置分布结果。

Description

一种基于视觉信息的新型无人机自组群自洽优化控制方法

技术领域

本发明涉及无人机组群优化与控制技术领域，尤其是涉及一种基于视觉信息的新型无人机自组群自洽优化控制方法。

背景技术

无人机集群作战是一种全新概念的作战模式，对未来战争的影响将是颠覆式的。构成无人机集群的无人机个体能力较弱，但若借助有效的集群控制手段，无人机集群系统作为整体能够展现出强大的力量。

在多无人机编队执行任务时，需要多无人机保持一定队形编队飞行，目前常见的组群编队控制方法有：

(1)领航-跟随法：领航机按照预先设定的轨迹飞行，跟随机和领航机的轨迹保持一定的构型，达到速度匹配，领航机可以看成是跟随机跟踪的对象；

(2)基于行为法：基于行为的组群控制方法是定义无人机的几种基本控制行为，如跟随、避障和队形构成等，对定义的几种行为进行加权得到组群控制方法，这使得系统中的每个个体都具备依据自身决策来协同其他个体完成目标或任务的能力；

(3)虚拟结构法：虚拟结构法是一种集中式控制方法，将编队作为一个虚拟刚体，在编队中设定一个虚拟长机或虚拟几何中心，队中所有无人机都参照虚拟长机或虚拟几何中心运动。

目前的组群控制方法对无人机之间的实时通信要求较高，而运用于战场环境的无人机会受到复杂强电磁对抗环境的干扰，对传统射频通信造成严重威胁。

公开于该背景技术部分的信息仅仅旨在加深对本发明的总体背景技术的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。

发明内容

本发明的目的在于提供一种基于视觉信息的新型无人机自组群自洽优化控制方法，以解决无人机组群协同控制问题。

为了实现上述目的，本发明采用以下技术方案：

本发明提供一种基于视觉信息的新型无人机自组群自洽优化控制方法，包括：无人机群在失去通信联络后，仍将保持先前的分组结构，先前的目标搜索或饱和攻击组群任务仍将继续执行，每架无人机在约束条件下，通过视觉互感理解与预测组内各友机行为，自发性的生成最优控制量，自主运动到合适位置，以实现搜索效率最大化和饱和攻击效能最大化的空间位置分布结果。

作为一种进一步的技术方案，包括：建立失去通信联络的无人机群体行为数学模型，该数学模型将视觉图像作为信息输入条件，形成任务约束、环境约束、无人机平台约束、避碰约束的数学表达式，同时考虑风场影响因素，加入风场影响因子，为自洽控制构造经验规则和构造启发性规则。

作为一种进一步的技术方案，加入风场影响因子的所述数学模型的表达式如下：

其中，其中(x,y)为无人机在二维平面的坐标位置，θ为航向角，v和r分别为无人机的飞行速度与最小转弯半径，u为控制输入，(x,y,θ)∈R²×S表示无人机的状态，v_w＝[v_wx,v_wy]为风速向量，v_wx和v_wy分别为风在x轴和y轴的速度分量，

和

分别为无人机在x轴和y轴的速度分量，

为无人机航向角速度。

作为一种进一步的技术方案，通过视觉互感理解与预测组内各友机行为，自发性的生成最优控制量，自主运动到合适位置，其优化控制的目标为形成搜索效率最大化的空间位置排布，包括：将作战区域进行栅格化，每一栅格(i,j)被赋予变量W(i,j)来表示对该栅格的关注程度，空间中各个栅格的关注度可描述为：

其中，(i,j)表示栅格化的作战区域内横纵坐标分别为i和j的栅格，A表示战场环境中信息已知区域，B为战场环境中信息未知但其关注度一般的区域，C表示战场环境中信息未知但其关注度较高的区域。

作为一种进一步的技术方案，定义Fg(i,j,t)表示在t时刻对栅格(i,j)的覆盖情况，其中，当t时刻至少一个无人机可覆盖到栅格区域(i,j)，则Fg(i,j,t)＝1；当t时刻无法覆盖到栅格(i,j)，则Fg(i,j,t)＝0；定义Fg(i,j,t)∈[0,1]表示t时刻栅格(i,j)内的目标分布的不确定度，其中，Fg(i,j,t)＝1表示t时刻对栅格内目标分布完全未知，该区域被探测到则不确定度变为0；为了覆盖整个作战区域，当某区域未被探测到，则该区域的关注度增加，其关注度的增加描述为：

P(i,j,t+1)＝P(i,j,t)+w·W(i,j)

其中，w非负常数；

因此，搜索覆盖率的回报函数定义为：

其中，I和J分别为二维栅格化作战区域在两条边上的栅格总数，T为作战总时长。

作为一种进一步的技术方案，通过视觉互感理解与预测组内各友机行为，自发性的生成最优控制量，自主运动到合适位置，包括：

无人机首先获得自身所处的状态，然后无人机依据策略函数，从动作库中选择动作，无人机所处的状态在动作执行后发生改变，与此同时产生一个奖励值和一个惩罚值传递给该无人机，这样无人机通过与周围环境持续不断的交互，不断调整机动动作和幅度值。

作为一种进一步的技术方案，动作库中无人机的基本动作包括：定常飞行、加速、减速、左转弯、右转弯、拉起、俯冲。

采用上述技术方案，本发明具有如下有益效果：

本发明提供一种基于视觉信息的新型无人机自组群自洽优化控制方法，无人机群在失去通信联络后，仍将保持先前的分组结构，先前的目标搜索或饱和攻击组群任务仍将继续执行，每架无人机在约束条件下，通过视觉互感理解与预测组内各友机行为，自发性的生成最优控制量，自主运动到合适位置，以实现搜索效率最大化和饱和攻击效能最大化的空间位置分布结果，实现无人机组群自洽优化控制，能够更加适应未来战场环境。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的面向组群任务的无人机基本动作。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。

首先，本发明中提出的“自洽控制”概念描述如下：

无人机集群分为由若干无人机组成的任务小组，每个小组内分为领航机和跟随机。跟随机依靠视觉跟随领航机飞行，并按搜索效率最大化的空间位置排布(与传感器探测面积、任务区域特点、无人机高度、无人机速度等因素有关)，或者按全向饱和攻击效能最大化的空间位置排布(与攻击目标特性、无人机个数、无人机攻击方向、无人机速度等因素有关)。当执行搜索任务的领航机发现目标后，通过一定的位姿行为语言告知跟随机，跟随机会有一定的行为语言响应，使小组的任务变更为饱和攻击。当某组领航机失效或被摧毁后，按位置就近原则，从跟随机中重新生成领航机，并采用一定的行为语言告知其他跟随机，跟随机通过行为语言响应新领航机。可以理解的是，本实施例中的“自洽控制”同人群的自发排队相类似，即在任务约束、避碰约束等多种约束条件下，为实现搜索效率最大化或饱和攻击效能最大化的空间位置分布结果，通过视觉互感理解与预测组内各友机行为，自发性的生成最优控制量，自主运动到合适位置，实现“自洽控制”。

具体而言，本实施例所采用的技术方案为：面向组群任务的无人机行为自洽优化控制；无人机群在失去通信联络后，仍将保持先前的分组结构，先前的目标搜索或饱和攻击等组群任务仍将继续执行。在获得组内其他无人机的行为理解与预测信息后，即可以在任务目标约束、飞行器约束、避碰约束等多种约束条件下，以搜索效率最大化或饱和攻击效能最大化为目标，自适应地进行自洽优化控制，以实现效能最大化的空间位置分布，最终输出无人机的控制舵量结果。在自洽优化控制中，除了之前提到的规则外，还涉及约束条件及控制方法，需要建立失去通信联络的群体行为数学结构，包含输入的群体行为互感理解与预测结果以及针对无人机群体特有的约束条件，为最终的自洽优化控制提供数学模型。

具体地，本发明首先建立失去通信联络情况下，面向强化学习方法的无人机群体行为数学模型：

通过利用受鸟类、昆虫、狼群以及经济学启发得来的自组织概念，建立适用于无人机集群的自底而上模式的数学模型，这一概念能够解释和加强对不同个体的分布和自组织性的需求。自组织数学模型包含宏观和微观两个层面。具体地，宏观状态是自组织系统的全局视图，表示和个体及决策不相关的、与自组织系统属性相关的动态特性。微观状态则指构成自组织系统的独立个体，包括个体生成未来行为的所有属性。具体地，自组织无人机集群数学模型包含以下元素：

1)无人机个体a及个体空间A_k：

其中，

表示个体a的微观状态；δ_a为个体状态改变函数，包括同步更新和异步更新两类更新方式；O_a,k表示观测，包括其他个体的观测和效应器集合；S_I,s表示个体可执行的所有状态。

2)环境E_k：

环境由一系列效应器e＝(effector₁,…,effector_n)组成，效应器中包含了从外部影响系统宏观状态的所有因素，包含所有可能的影响和外部信息。

3)动态自组织系统状态σ_k：

上式说明动态系统状态空间的维度由可行个体状态空间和效应器空间决定。

4)个体状态改变函数δ：

上式说明个体对自身状态进行改变需要知道个体自身信息以及该个体局部范围内其他个体的信息。这一状态改变过程依赖于已经定义好的状态传递过程，包括同步更新和异步更新两类更新机制，它们的区别在于系统更新策略函数。个体状态转移过程可建模为局部可观马尔科夫链(POMDP)，可根据当前状态预测下一个状态：P(S_M,k+1)＝P(S_M,k)P(S_M,k+1|e_k,S_M,k)。

5)微观状态和宏观状态之间的映射函数τ：

其中，θ表示额外信息，τ表示将微观水平上的动态自组织系统的操作映射为宏观状态，为单向映射。

综上所述，云弹药系统的自组织数学模型可表述为

其中包含动态空间、初始动态空间、局部约束、系统更新函数以及微观到宏观的映射函数。上述符号化的数学模型能够处理和自组织系统相关的特征，也能够方便自组织系统的精确实现。该数学框架具有鲁棒性和灵活性，能够为其他自组织系统提供必要的支撑。

将视觉图像作为信息输入条件，形成任务约束、环境约束、无人机平台约束、避碰约束等多种约束条件的数学表达式，同时考虑风场影响因素，加入风场影响因子，构造经验规则和构造启发性规则，形成较为完整的无人机群体行为自洽优化控制数学模型。

一般无人机动力学Dubins模型：

其中(x,y)为无人机在二维平面的坐标位置，θ为航向角，v和r分别为无人机的飞行速度与最小转弯半径，u为控制输入，(x,y,θ)∈R²×S表示无人机的状态，

和

分别为无人机在x轴和y轴的速度分量，

为无人机航向角速度。

加入风场影响因子的无人机运动学模型：

其中v_w＝[v_wx,v_wy]为风速向量，v_wx和v_wy分别为风在x轴和y轴的速度分量。

其后，本发明采用基于强化学习的视觉组群无人机自主行为自洽优化控制方法。通过获取视觉理解与预测的各友机行为，自发性的生成最优控制量，自主运动到合适位置，实现“自洽控制”，其优化控制的目标为形成搜索效率最大化的空间位置排布(与传感器探测面积、任务区域特点、无人机高度、无人机速度等因素有关)，首先，将作战区域进行栅格化，每一栅格(i,j)被赋予变量W(i,j)来表示对该栅格的关注程度。空间中各个栅格的关注度可描述为：

其中，(i,j)表示栅格化的作战区域内横纵坐标分别为i和j的栅格，A表示战场环境中信息已知区域，B为战场环境中信息未知但其关注度一般的区域，C表示战场环境中信息未知但其关注度较高的区域。

令Fg(i,j,t)表示在t时刻对栅格(i,j)的覆盖情况。若t时刻至少一个无人机可覆盖到栅格区域(i,j)，则Fg(i,j,t)＝1。若此时无法覆盖到栅格(i,j)，则Fg(i,j,t)＝0。为了对搜索覆盖率进一步量化。不妨设Fg(i,j,t)∈[0,1]表示t时刻栅格(i,j)内的目标分布的不确定度。Fg(i,j,t)＝1表示t时刻对栅格内目标分布完全未知，该区域被探测到则不确定度变为0。为了尽量的覆盖整个作战区域，若区域没被探测到，则该区域的关注度适量的增加，可引导以更高的概率对重点区域和未搜索区域进行搜索。其关注度的增加可描述为：

P(i,j,t+1)＝P(i,j,t)+w·W(i,j)

其中w非负常数。

综上，搜索覆盖率的回报函数可定义为：

其中，I和J分别为二维栅格化作战区域在两条边上的栅格总数，T为作战总时长。

强化学习自洽控制包含三个组成要素，一是态势感知器，本发明选取无人机自身的导航状态信息、基于视觉图像得到的多无人机群体位姿信息、无人机群体的行为类别、无人机与地面目标的相对位置和相对速度关系等作为系统状态。态势感知器可以利用惩罚函数计算出一个惩罚值，当前状态对于我方作战越有利，则惩罚值越低，当无人机违反任务约束、环境约束、无人机平台约束、避碰约束等约束条件时，会反馈出一个远大于普通惩罚值的惩罚，经过多次迭代之后，可以确保无人机不会违反这些约束。二是强化学习系统，这部分是控制系统的核心，是强化学习算法的具体体现部分，根据状态检测器获得的态势信息以及当前环境给予的奖惩值，通过自主学习，完成机动控制。三是机动动作生成器，这一部分是根据强化学习系统的期望输出动作，从而作用于环境。对于串列翼无人机的输出动作主要由以下控制量决定：

u＝[δ_Tδ_e1δ_e2δ_a1δ_a2δ_r1δ_r2]^T

式中，δ_T为推力；前翼控制滚转，[δ_a1δ_a2]^T分别为左前翼和右前翼的滚转舵偏角；后翼控制俯仰，[δ_e1δ_e2]^T分别是左后翼和右后翼的升降舵偏角；垂尾控制偏航、[δ_r1δ_r2]^T分别是左右垂尾的偏航舵偏角。

在本发明中，无人机首先获得自身所处的状态S，然后无人机依据策略函数，从动作库中选择动作，如图1展示了无人机组群中采用的基本动作，其中包括：定常飞行1、加速2、减速3、左转弯4、右转弯5、拉起6、俯冲7，实际的机动动作会由这些基本动作叠加而成。无人机所处的状态在动作执行后发生改变，与此同时，产生一个奖励值和一个惩罚值传递给该无人机，这样无人机通过与周围环境持续不断的交互，不断调整机动动作和幅度值，最终达到最优的自洽控制效果。

在仿真实验设计上，本发明将结合已有的无人机模型和分布式仿真系统研究基础，构建由100架无人机组成的群体系统，采用虚拟现实可视化软件工具验证和展示本发明的研究成果，并在可能的条件下，利用课题组自研的无人机进行新体制视觉组群的原理飞行实验。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (4)

1.一种基于视觉信息的新型无人机自组群自洽优化控制方法，其特征在于，无人机群在失去通信联络后，仍将保持先前的分组结构，先前的目标搜索或饱和攻击组群任务仍将继续执行，每架无人机在约束条件下，通过视觉互感理解与预测组内各友机行为，自发性的生成最优控制量，自主运动到合适位置，以实现搜索效率最大化和饱和攻击效能最大化的空间位置分布结果；

该优化控制方法包括：建立失去通信联络的无人机群体行为数学模型，该数学模型将视觉图像作为信息输入条件，形成任务约束、环境约束、无人机平台约束、避碰约束的数学表达式，同时考虑风场影响因素，加入风场影响因子，为自洽控制构造经验规则和构造启发性规则；

通过视觉互感理解与预测组内各友机行为，自发性的生成最优控制量，自主运动到合适位置，其优化控制的目标为形成搜索效率最大化的空间位置排布，包括：将作战区域进行栅格化，每一栅格(i，j)被赋予变量W(i，j)来表示对该栅格的关注程度，空间中各个栅格的关注度可描述为：

其中，(i，j)表示栅格化的作战区域内横纵坐标分别为i和j的栅格，A表示战场环境中信息已知区域，B为战场环境中信息未知但其关注度一般的区域，C表示战场环境中信息未知但其关注度较高的区域；

定义Fg(i，j，t)表示在t时刻对栅格(i，j)的覆盖情况，其中，当t时刻至少一个无人机可覆盖到栅格区域(i，j)，则Fg(i，j，t)＝1；当t时刻无法覆盖到栅格(i，j)，则Fg(i，j，t)＝0；定义Fg(i，j，t)∈[0，1]表示t时刻栅格(i，j)内的目标分布的不确定度，其中，Fg(i，j，t)＝1表示t时刻对栅格内目标分布完全未知，该区域被探测到则不确定度变为0；为了覆盖整个作战区域，当某区域未被探测到，则该区域的关注度增加，其关注度的增加描述为：

P(i，j，t+1)＝P(i，j，t)+w·W(i，j)

其中，w非负常数；

因此，搜索覆盖率的回报函数定义为：

SF＝∑_I∑_J∑_TFg(i，j，t)·P(i，j，t)

其中，I和J分别为二维栅格化作战区域在两条边上的栅格总数，T为作战总时长。

2.根据权利要求1所述的基于视觉信息的新型无人机自组群自洽优化控制方法，其特征在于，加入风场影响因子的所述数学模型的表达式如下：

其中，其中(x，y)为无人机在二维平面的坐标位置，θ为航向角，v和r分别为无人机的飞行速度与最小转弯半径，u为控制输入，(x，y，θ)∈R²×S表示无人机的状态，v_w＝[v_wx，v_wy]为风速向量，v_wx和v_wy分别为风在x轴和y轴的速度分量，

和

分别为无人机在x轴和y轴的速度分量，

为无人机航向角速度。

3.根据权利要求1所述的基于视觉信息的新型无人机自组群自洽优化控制方法，其特征在于，通过视觉互感理解与预测组内各友机行为，自发性的生成最优控制量，自主运动到合适位置，包括：

无人机首先获得自身所处的状态，然后无人机依据策略函数，从动作库中选择动作，无人机所处的状态在动作执行后发生改变，与此同时产生一个奖励值和一个惩罚值传递给该无人机，这样无人机通过与周围环境持续不断的交互，不断调整机动动作和幅度值。

4.根据权利要求3所述的基于视觉信息的新型无人机自组群自洽优化控制方法，其特征在于，动作库中无人机的基本动作包括：定常飞行、加速、减速、左转弯、右转弯、拉起、俯冲。

Images