CN114442670A - 一种无人机集群自组织飞行方法、系统及无人机 - Google Patents

一种无人机集群自组织飞行方法、系统及无人机 Download PDF

Info

Publication number
CN114442670A
CN114442670A CN202210135266.1A CN202210135266A CN114442670A CN 114442670 A CN114442670 A CN 114442670A CN 202210135266 A CN202210135266 A CN 202210135266A CN 114442670 A CN114442670 A CN 114442670A
Authority
CN
China
Prior art keywords
unmanned aerial
aerial vehicle
strategy
task
flight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210135266.1A
Other languages
English (en)
Inventor
任维雅
张韬
王鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Defense Technology Innovation Institute PLA Academy of Military Science
Original Assignee
National Defense Technology Innovation Institute PLA Academy of Military Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Defense Technology Innovation Institute PLA Academy of Military Science filed Critical National Defense Technology Innovation Institute PLA Academy of Military Science
Publication of CN114442670A publication Critical patent/CN114442670A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/104—Simultaneous control of position or course in three dimensions specially adapted for aircraft involving a plurality of aircrafts, e.g. formation flying

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明提供一种无人机集群自组织飞行方法、系统及无人机，包括：基于提出的边界约束三角密铺方法，采用独立强化学习评估单元结构适应度，基于适应度应用进化算法得到无人机群的最佳编队单元结构，以及能够飞行达到该单元结构的无人机策略模型；变换无人机参数，预先训练构建得到无人机策略模型库，从策略模型库中确定与无人机群性能参数相匹配的策略模型；基于任务信息、基于每架无人机观察临近无人机飞行信息和选择的策略模型确定各无人机的策略动作；本发明基于结构演化的密铺编队和基于单智能体视角的独立强化学习，可用于通信拒止和局部观察限制下的无人机集群自组织飞行；同时本发明提供的技术方案易于理解，实施简单，具有广泛的适用性。

Description

一种无人机集群自组织飞行方法、系统及无人机
技术领域
本发明涉及群体无人系统的应用领域，具体涉及一种无人机集群自组织飞行方法、系统及无人机。
背景技术
无人机集群的优点是成本低、抗毁伤能力强，可以通过群体智能涌现机理实现多种复杂任务。无人机集群首要解决的问题就是自组织飞行问题，自组织飞行需要具备大规模、无中心和分布式特点。在实际强干扰环境中，无人机集群自组织飞行往往面临通信拒止的难题，另一方面，对于通信的依赖降低可以极大程度提高无人机集群的规模，实现从几架无人机的长机-僚机式编队向成百上千架无人机集群的自组织飞行转变。
采取自组织方式的典型模型包括：基于分离、聚集、速度一致的Reynolds boids方法；基于Vicsek模型的自驱动集群动力学方法和Granular-swarm集群模型等，这些模型主要考虑速度一致性问题，没有考虑编队结构问题。
发明内容
为了解决现有技术中所存在的上述不足，本发明提供一种无人机集群自组织飞行方法，包括：
获取无人机群的任务信息、各无人机类型，并基于每架无人机观察各无人机临近的其他无人机的飞行信息；
基于各无人机类型从预先构建的策略模型库中确定与所述各无人机性能参数匹配的策略模型；
基于所述任务信息、基于每架无人机观察临近无人机飞行信息和选择的策略模型确定各无人机的策略动作；
所述策略模型以各无人机类型、其他无人机的飞行信息结合三角密铺特性采用进化算法确定各人机在自主飞行过程中的下一个策略动作；
所述任务信息包括任务目的地和任务类型。
优选的，所述无人机飞行信息至少包括位置和速度。
优选的，所述策略模型库的构建包括：
步骤SXL1、以无人机群中的各无人机为点，以无人机集群为点集，并基于各无人机观察临近无人机的位置，利用三角剖分算法对点集实行结构剖分；
步骤SXL2、基于当前无人机的类型和任务信息确定单元结构；
步骤SXL3、基于所述单元接口利用三角密铺特性使用独立强化学习进行迭代训练，确定最佳单元结构；
步骤SXL4、基于所述最佳结构单元确定所述当前无人机的类型和任务信息所对应的策略模型；
步骤SXL5、更换所述当前无人机的类型和任务信息重新执行步骤SXL1,构建多个策略模型；
步骤SXL6、基于所有的策略模型构建策略模型库。
优选的，所述单元为三角形；所述单元结构包括三角形各边的边长和各角度。
优选的，所述最佳单元结构为等腰三角形或正三角形。
优选的，所述利用Delaunay三角剖分对点集实行结构剖分，之后还包括：基于边界约束，对Delaunay三角剖分结果进行裁剪。
优选的，所述基于边界约束，对Delaunay三角剖分结果进行裁剪包括：
基于最短路径，以边不交叉的方式通过点集中所有的点，构成的闭包作为所述点集剖分的边界；
对Delaunary三角剖分结果中处于所述边界外的三角形的边进行裁剪。
优选的，所述基于所述单元接口利用三角密铺特性使用独立强化学习进行迭代训练，确定最佳单元结构，包括：
步骤1、基于当前每个无人机对应的点所涉及的所有三角形与单元结构利用强化学习算法进行训练，当算法收敛后到本轮训练的适应度值；
步骤2、对各无人机对应的点所处的单元结构进行变异处理，再次执行步骤1直到迭代完成，执行步骤3；
步骤3、以适应度值最高所对应的编队单元结构为所述任务和类型所对应的最佳单元结构。
优选的，所述单元结构的变异包括以设定调节系数对边长和角度进行调节。
优选的，所述基于当前每个无人机对应的点所涉及的所有三角形与单元结构利用强化学习算法进行训练，当算法收敛后到本轮训练的适应度值，包括：
计算每个无人机对应的点所涉及的所有三角形与单元结构的差异；
基于每个无人机对应的点的所有单元结构的差异的均值作为所述点的结构奖励；
计算每个点面向任务的奖励；
加权每个点的结构奖励和任务奖励作为总奖励；经过强化学习的训练，算法收敛后所能获得的最高平均总奖励作为该单元结构的适应度。
优选的，所述单元结构的差异的计算式如下：
Figure BDA0003504258870000031
式中，Sj和Sk表示各无人机所在的三角形单元j和三角形单元k的单元结构；d(Sj，Sk)表示Sj和Sk的单元结构的差异；
Figure BDA0003504258870000032
表示单元j的第i个角度；
Figure BDA0003504258870000033
表示角度
Figure BDA0003504258870000034
对应的边长；C1和C2分别为调节权重，且C1＞0；C2＞0；C1+C2＝1。
优选的，所述进化学习算法包括：遗传算法。
优选的，所述使用独立强化学习进行训练包括：
使用独立强化学习进行训练中采用仿真模拟实物条件进行训练。
优选的，所述采用仿真模拟实物条件进行训练包括：
在仿真模拟实物条件进行训练时加入噪声；
所述噪声包括下述中的一种或多种：传感器误差、GPS定位误差、控制误差、通讯延迟。
优选的，所述基于所述任务信息、基于每架无人机观察临近无人机飞行信息和选择的策略模型确定各无人机的策略动作，包括：
基于所述最佳单元结构确定各无人机在自主飞行过程中各无人机的下一个策略动作。
基于同一种发明构思，本发明还提供一种无人机集群自组织飞行系统，包括：
任务模块，用于获取无人机群的任务信息、各无人机类型；
观察模块，用于基于每架无人机观察各无人机临近的其他无人机的飞行信息；
策略模块，用于基于各无人机类型从预先构建的策略模型库中确定与所述各无人机性能参数匹配的策略模型；并基于所述任务信息、基于每架无人机观察临近无人机飞行信息和选择的策略模型确定各无人机的策略动作；
所述策略模型以各无人机类型、其他无人机的飞行信息结合三角密铺特性采用进化算法确定各人机在自主飞行过程中的下一个策略动作；
所述任务信息包括任务目的地和任务类型。
基于同一种发明构思，本发明还提供一种无人机，包括：无人机本体、感应芯片和计算芯片；所述感应芯片和计算芯片设置于无人机本体中；
感应芯片，用于获取任务信息，还用于观察临近无人机飞行信息；
计算芯片，用于基于所述无人机类型从预先构建的多个策略模型库中确定与所述无人机类型匹配的策略模型；还用于基于所述任务信息、临近无人机飞行信息和选择的策略模型确定下一步的策略动作；
所述策略模型以无人机类型、飞行信息结合三角密铺特性采用进化算法确定所述无人机在自主飞行过程中的下一个策略动作；
所述任务信息包括任务目的地和任务类型。
与现有技术相比，本发明的有益效果为：
本发明提供一种无人机集群自组织飞行方法、系统及无人机，包括：获取无人机群的任务信息、各无人机类型，并基于每架无人机观察各无人机临近的其他无人机的飞行信息；基于各无人机类型从预先构建的策略模型库中确定与所述各无人机性能参数匹配的策略模型；基于所述任务信息、基于每架无人机观察临近无人机飞行信息和选择的策略模型确定各无人机的策略动作；所述策略模型以各无人机类型、其他无人机的飞行信息结合三角密铺特性采用进化算法确定各人机在自主飞行过程中的下一个策略动作；所述任务信息包括任务目的地和任务类型；本发明提供的技术方案实现基于结构演化的密铺编队和基于单智能体视角的独立强化学习，可用于通信拒止和局部观察限制下的无人机集群自组织飞行；
本发明提供的技术方案通过进化算法的单元结构演化计算实现面向具体任务的集群编队结构最优生成，基于同策略独立强化学习的策略训练具有适用于通信拒止、局部观察、集群数量大规模、队友数量动态变化等实际条件，能够部署在前端无人平台，无须后端地面站指挥，实现了集群无人机的自组织飞行；同时本发明提供的技术方案易于理解，实施简单，具有广泛的适用性。
附图说明
图1为本发明提供的一种无人机集群自组织飞行方法流程示意图；
图2本发明提供的基于等腰直角三角形的密铺编队；
图3实施例1中单元结构演化过程示意图；
图4基于遗传算法和独立强化学习的单元结构演化示意图；
图5实施例1中基于Delaunay三角剖分的最优编队结构学习后的结构示意图；
图6实施例1中基于带有边界约束的Delaunay三角剖分的最优编队结构示意图；
图7点所处所有三角形与目标单元结构的差平均作为该点的奖励；
图8为本发明提供的一种无人机集群自组织飞行系统功能图。
具体实施方式
本发明认为良好的编队结构对任务有积极的促进作用，通过密铺理论来考虑这一问题。任意三角形、四边形和15类五边形可以密铺平面，密铺理论使得集群节点之间具备单元结构，同时本发明还基于单智能体视角的独立强化学习，可用于通信拒止和局部观察限制下的无人机集群自组织飞行。
面向实际构建无人机群任务问题，考虑拒止通信和局部观察，无人机仅能获得局部范围内的临近无人机位置及飞行信息，不能与地面站或远距离无人机进行通信；在仿真环境构建无人机群任务和无人机性能参数，得到面向任务的最佳集群编队单元结构与无人机动作策略，通过人工奖励设计衡量是否完成无人机群任务，其中，任务包括巡逻、侦察、打击、对抗、逃脱等类型以及任务飞向目的地等任务目标。
通过平面三角密铺特性考虑无人机集群在水平面投影的编队结构，三角密铺的基本单元是三角形，该三角形具有特定的形状和大小，并在该发明中被称为编队单元结构。进一步，为提升编队结构的灵活性，避免单一的圆形趋势，提出最短路径闭包约束的三角密铺方法，使用最短路径闭包约束的三角密铺方法衡量群体编队结构质量，能够让编队形状更加自由多样，诸如扁平、蝴蝶等形状。对于单个无人机而言，可以考虑该结点所处的所有三角形与理想单元结构的平均差异作为其节点奖励，以衡量其是否满足给定编队单元结构，任务奖励，进行基于单智能体视角的强化学习训练，可以得到算法收敛后的稳定最终奖励。
强化学习算法收敛后的稳定最终奖励作为适应度值，利用适应度值衡量给定编队单元结构的好坏，基于适应度值使用进化算法演化编队单元结构角度、边长等信息，演化后的编队单元结构继续用于强化学习训练，得到新的稳定最终奖励作为新的编队单元结构适应度值，以此类推进行迭代。最终，编队单元结构能够逐渐帮助强化学习获得更高的奖励，最终获得面向该任务的最优无人机群单元结构和动作策略模型。
在仿真器中训练多种任务和多种机型的最优编队单元结构和动作策略,进行迁移学习。
在实际使用中，给定任务和各无人机性能参数，从预先构建的策略模型库中确定相匹配的编队单元结构和策略模型；所述策略模型能够确定各人机在自主飞行过程中的策略动作。
在仿真训练中，基于提出的边界约束三角密铺方法生成理想无人机群编队结构，编队中每个节点的奖励由其所在所有三角形与目标单元结构的平均差异定义，由于需要考虑无人机群编队结构，因此训练中使用全局通信。综合任务奖励定义，采用独立强化学习进行训练，即所有无人机共享一个策略网络，将其他无人机看作是观察的一部分，适用于大规模无人机训练。强化学习算法经过训练，将得到该设定下的最终任务、编队奖励，将该奖励作为该单元结构的适应度，评估该单元结构是否适应该任务和机型参数。基于适应度应用进化算法进行迭代，生成新的单元结构并用于强化学习训练，以此类推。最终，经过多轮迭代，得到指定任务下无人机群的最佳编队单元结构，以及对应的无人机动作策略模型，由于动作策略模型的输入仅仅是临近无人机数据，因此不需要全局通信，只需要局部通信或观察，适用于通信拒止的情况；变换任务和无人机参数，预先训练构建无人机策略模型库，从策略模型库中确定与任务、无人机群性能参数相匹配的策略模型；在实际应用中，仅考虑无人机的局部观察信息，不用考虑集群编队结构，避免了全局通信和地面站通信。本发明提供的技术方案实现基于结构演化的密铺编队和基于单智能体视角的独立强化学习，可用于通信拒止和局部观察限制下的无人机集群自组织飞行；同时本发明提供的技术方案易于理解，实施简单，具有广泛的适用性。
下面结合附图对本发明进一步进行解释。
实施例1：
本发明提供一种无人机集群自组织飞行方法，如图1所示，包括：
S1获取无人机群的任务信息、各无人机类型，并基于每架无人机观察各无人机临近的其他无人机的飞行信息；
S2、基于各无人机类型从预先构建的策略模型库中确定与所述各无人机性能参数匹配的策略模型；
S3、基于所述任务信息、基于每架无人机观察临近无人机飞行信息和选择的策略模型确定各无人机的策略动作；
S4、所述策略模型以各无人机类型、其他无人机的飞行信息结合三角密铺特性采用进化算法确定各人机在自主飞行过程中的下一个策略动作；
所述任务信息包括任务目的地和任务类型。
其中，策略模型库的构建包括：
步骤SXL1、以无人机群中的各无人机为点，以无人机集群为点集，并基于各无人机观察临近无人机的位置，利用三角剖分算法对点集实行结构剖分；
步骤SXL2、基于当前无人机的类型和任务信息确定单元结构；
步骤SXL3、基于所述单元接口利用三角密铺特性使用独立强化学习进行迭代训练，确定最佳单元结构；
步骤SXL4、基于所述最佳结构单元确定所述当前无人机的类型和任务信息所对应的策略模型；
步骤SXL5、更换所述当前无人机的类型和任务信息重新执行步骤SXL1,构建多个策略模型；
步骤SXL6、基于所有的策略模型构建策略模型库。
其中，步骤SXL3中基于所述单元接口利用三角密铺特性使用独立强化学习进行迭代训练，确定最佳单元结构，包括：
1)、基于当前每个无人机对应的点所涉及的所有三角形与单元结构利用强化学习算法进行训练，当算法收敛后到本轮训练的适应度值；
1-1)、计算每个无人机对应的点所涉及的所有三角形与单元结构的差异；
1-2)、基于每个无人机对应的点的所有单元结构的差异的均值作为所述点的结构奖励；
1-3)、计算每个点面向任务的奖励；
1-4)、加权每个点的结构奖励和任务奖励作为总奖励；经过强化学习的训练，算法收敛后所能获得的最高平均总奖励作为该单元结构的适应度。
2)、对各无人机对应的点所处的单元结构进行变异处理，再次执行步骤1)直到迭代完成，执行步骤3)；其中，单元结构的变异包括以设定调节系数对边长和角度进行调节。
3)、以适应度值最高所对应的编队单元结构为所述任务和类型所对应的最佳单元结构。
单元结构的差异的计算式如下：
Figure BDA0003504258870000081
式中，Sj和Sk表示各无人机所在的三角形单元j和三角形单元k的单元结构；d(Sj，Sk)表示Sj和Sk的单元结构的差异；
Figure BDA0003504258870000082
表示单元j的第i个角度；
Figure BDA0003504258870000083
表示角度
Figure BDA0003504258870000084
对应的边长；C1和C2分别为调节权重，且C1＞0；C2＞0；C1+C2＝1。
下面对发明技术要点进行详细介绍：
1.基于三角密铺特性和进化算法的单元结构演化计算；
本专利研究了最适合集群飞行的最佳单元结构演化问题，提出找到最佳单元结构(三角结构)的演化方法，如图2所示。通过进化学习方法(如遗传算法)对单元结构进行进化计算，最佳单元结构包括边长、角度等信息，它和无人机的类型和任务相关。
单元结构j的表示为
Figure BDA0003504258870000091
其中
Figure BDA0003504258870000092
分别代表单元结构j的第i个角度和其对应的边长(这里的边长为与该角度相对的边长)，且通过
Figure BDA0003504258870000093
进行排序。单元结构Sj和Sk的差被定义为
Figure BDA0003504258870000094
其中C1和C2分别为调节权重，且C1＞0；C2＞0；C1+C2＝1。
例如，假如最佳单元结构是正三角形，那么三角形的边长决定了编队飞行的密度，如何寻找最佳边长是进化计算需要解决的问题。进一步，如果集群任务是突防问题，那么一角较小的等腰三角形可能就优于正三角形，因此计算最佳角度比例成为了进化计算需要解决的问题，如图3所示，单元结构的变异包括边长和角度变化,通过变异，Starget_k可以演化为
Figure BDA0003504258870000095
等等单元结构。
给定单元结构Starget_k，如何计算其适应度函数需要考虑集群任务学习和完成情况，通过强化学习算法进行任务学习，认为较好的单元结构可以加速学习过程并且具有良好的学习潜力，能获得更高的收敛奖励，较差的单元结构反之。其中的学习采用独立强化学习，即每个智能体将其他智能体看作是环境的一部分，如针对目标导航问题，如果在某一单元结构下，独立强化学习学到的动作策略使得集群以最小的调整时间、最快的速度到达目的地，则认为该单元结构也较好，反之亦然。计算适应度函数之后，可进一步进行进化学习，全流程如图4所示。
2.基于边界约束的点集剖分及奖励计算；
在独立强化学习中，关键的模块是奖励R的计算。为了计算点i的奖励Ri，首先需要对无人机集群进行点集剖分，评估集群编队结构的质量，评估基于点集剖分的子三角形和目标单元结构的差异，作为点的结构奖励。
假设有n个无人机构成无人机群，可将无人机群看作是集群点集P＝{Pi，i＝1，2，...，n}，三维中的点集可将其在水平面的投影作为平面点集，提出基于三角剖分算法(Delaunay)对集群点集进行三角剖分，得到点集Delaunay三角剖分Pdelaunay，该剖分具有结果唯一、最优性和不相交的特点，但是会具备一个凸多边形的外壳。带有凸多边形的外壳，在边的连接保持不变的前提下，使得有时无论如何学习，都无法得到最佳结构，如图5所示，存在一个子三角形不是目标单元结构。另外，这种点集合剖分方法会促使节点趋向圆形，不能出现特殊形编队结构。
因此，提出对点集构建边界，允许边界为凹多边形，这将允许集群编队出现箭型、一字型、蝴蝶型等特殊形状。最短路径解决算法将以边不交叉的方式通过所有点，提出将其构成的闭包作为点集剖分的边界，该边界允许凹多边形，使用该边界对Delaunary三角剖分结果进行裁剪，得到裁剪后的三角剖分Pdelaunay_clip，在裁剪后的结构上进行点i，i＝1，2，...n的奖励计算，如图6所示。
计算点i的结构奖励可以通过该点所处所有三角形Sj，j＝{i∈Sj}与目标单元结构Starget_k的差平均作为该点的奖励，如图7所示。进而考虑点的任务奖励，如距离目标点的距离、航向和目标点连线的夹角等。综合考虑结构奖励和任务奖励，作为单个点的奖励，进行下一步独立强化学习。
3.基于同策略独立强化学习的策略训练；
通信拒止条件和局部观察限制下，智能体只有自身的局部观察，智能体之间无法通过通信传递消息。这给智能体的之间的协同带来了障碍，无法获得其他智能体的动作(策略)，就无法形成一个联合的状态动作值函数，因此集中式强化学习不奏效。
独立强化学习可扩展性强，适用于实际环境中局部观察、通信不稳定、编队数量动态变化等情况，具有实际应用价值。独立强化学习是指将其他智能体看作是环境一部分，不进行多智能体联合动作价值评估，智能体i仅依赖自身观察Oi进行策略学习，得到策略模型Actori同时，各智能体共享策略Actor1＝Actor2＝…＝Actorn可以极大提升智能体的数量。独立强化学习的缺点是环境不稳定，收敛困难。然而，上述的奖励定义包含了编队结构信息(单元结构)，该结构信息可作为先验知识促进了智能体的协作，并降低学习的复杂度。
在给定集群任务和编队单元结构Starget_k后，强化学习算法收敛后将得到最终收敛奖励RS_target_k，该奖励作为单元结构Starget_k的适应度Ftarget_k，基于适应度对单元结构进行演化计算，改变单元结构，回到第1部分，再次进行循环迭代，直到得到在当前无人机类型和任务对应的最佳结构单元和动作策略。
4.仿真迁移到实物的学习框架。
在仿真中进行训练，得到无人机的动作策略。首先考虑迁移学习技术，使得算法适应实物噪声。其次，在仿真中可以不停变化无人机类型和任务，并得到相应的最佳单元结构和动作策略。
这里无人机的性能参数包括：无人机最大速度，最大加速度，最大角速度，无人机重量，无人机体积，无人机类型，无人机飞行控制参数等；
实物噪声包括：传感器误差，gps定位误差，无人机速度控制误差，容许的无人机局域机间通信延迟、干扰等。
这样当执行实际任务时，在实物中输入无人机类型和任务参数，即可得到相应的单元结构和动作策略。
实施例2：
为了实现本发明提出的一种无人机集群自组织飞行方法，本发明还设计了一种无人机集群自组织飞行系统，如图8所示，包括：任务模块、观察模块、策略模块；
任务模块，用于获取无人机群的任务信息、各无人机类型；
观察模块，用于基于每架无人机观察各无人机临近的其他无人机的飞行信息；
策略模块，用于基于各无人机类型从预先构建的策略模型库中确定与所述各无人机性能参数匹配的策略模型；并基于所述任务信息、基于每架无人机观察临近无人机飞行信息和选择的策略模型确定各无人机的策略动作；
所述策略模型以各无人机类型、其他无人机的飞行信息结合三角密铺特性采用进化算法确定各人机在自主飞行过程中的下一个策略动作；
所述任务信息包括任务目的地和任务类型。
本实施例提供的软件系统是为了实现实施例1的无人机集群自组织飞行方法，因此各模块提供的功能参见实施例1，这里不再赘述。
实施例3：
基于同一种发明构思，本发明还提供一种无人机，本实施例提供的无人机为实施例1和2中的执行群体任务的无人机，包括：无人机本体、感应芯片和计算芯片；所述感应芯片和计算芯片设置于无人机本体中；
感应芯片，用于获取任务信息，还用于观察临近无人机飞行信息；
计算芯片，用于基于所述无人机类型从预先构建的多个策略模型库中确定与所述无人机类型匹配的策略模型；还用于基于所述任务信息、临近无人机飞行信息和选择的策略模型确定下一步的策略动作；
所述策略模型以无人机类型、飞行信息结合三角密铺特性采用进化算法确定所述无人机在自主飞行过程中的下一个策略动作；
所述任务信息包括任务目的地和任务类型。
本实施例中的无人机在通信拒止和局部观察限制下实现自组织飞行；其飞行策略参见实施例1和2中的无人机，这里不再赘述。
以上仅为本发明的实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均包含在申请待批的本发明的权利要求范围之内。

Claims (10)

1.一种无人机集群自组织飞行方法，其特征在于，包括：
获取无人机群的任务信息、各无人机类型，并基于每架无人机观察各无人机临近的其他无人机的飞行信息；
基于各无人机类型从预先构建的策略模型库中确定与所述各无人机性能参数匹配的策略模型；
基于所述任务信息、基于每架无人机观察临近无人机飞行信息和选择的策略模型确定各无人机的策略动作；
所述策略模型以各无人机类型、其他无人机的飞行信息结合三角密铺特性采用进化算法确定各人机在自主飞行过程中的下一个策略动作；
所述任务信息包括任务目的地和任务类型。
2.如权利要求1所述的无人机集群自组织飞行方法，其特征在于，所述无人机飞行信息至少包括位置和速度。
优选的，所述策略模型库的构建包括：
步骤SXL1、以无人机群中的各无人机为点，以无人机集群为点集，并基于各无人机观察临近无人机的位置，利用三角剖分算法对点集实行结构剖分；
步骤SXL2、基于当前无人机的类型和任务信息确定单元结构；
步骤SXL3、基于所述单元接口利用三角密铺特性使用独立强化学习进行迭代训练，确定最佳单元结构；
步骤SXL4、基于所述最佳结构单元确定所述当前无人机的类型和任务信息所对应的策略模型；
步骤SXL5、更换所述当前无人机的类型和任务信息重新执行步骤SXL1,构建多个策略模型；
步骤SXL6、基于所有的策略模型构建策略模型库。
优选的，所述单元为三角形；所述单元结构包括三角形各边的边长和各角度。
优选的，所述最佳单元结构为等腰三角形或正三角形。
优选的，所述利用Delaunay三角剖分对点集实行结构剖分，之后还包括：基于边界约束，对Delaunay三角剖分结果进行裁剪。
优选的，所述基于边界约束，对Delaunay三角剖分结果进行裁剪包括：
基于最短路径，以边不交叉的方式通过点集中所有的点，构成的闭包作为所述点集剖分的边界；
对Delaunary三角剖分结果中处于所述边界外的三角形的边进行裁剪。
优选的，所述基于所述单元接口利用三角密铺特性使用独立强化学习进行迭代训练，确定最佳单元结构，包括：
步骤1、基于当前每个无人机对应的点所涉及的所有三角形与单元结构利用强化学习算法进行训练，当算法收敛后到本轮训练的适应度值；
步骤2、对各无人机对应的点所处的单元结构进行变异处理，再次执行步骤1直到迭代完成，执行步骤3；
步骤3、以适应度值最高所对应的编队单元结构为所述任务和类型所对应的最佳单元结构。
3.如权利要求2所述的无人机集群自组织飞行方法，其特征在于，所述单元结构的变异包括以设定调节系数对边长和角度进行调节。
4.如权利要求2所述的无人机集群自组织飞行方法，其特征在于，所述基于当前每个无人机对应的点所涉及的所有三角形与单元结构利用强化学习算法进行训练，当算法收敛后到本轮训练的适应度值，包括：
计算每个无人机对应的点所涉及的所有三角形与单元结构的差异；
基于每个无人机对应的点的所有单元结构的差异的均值作为所述点的结构奖励；
计算每个点面向任务的奖励；
加权每个点的结构奖励和任务奖励作为总奖励；经过强化学习的训练，算法收敛后所能获得的最高平均总奖励作为该单元结构的适应度。
5.如权利要求2所述的无人机集群自组织飞行方法，其特征在于，所述单元结构的差异的计算式如下：
Figure FDA0003504258860000021
式中，Sj和Sk表示各无人机所在的三角形单元j和三角形单元k的单元结构；d(Sj，Sk)表示Sj和Sk的单元结构的差异；
Figure FDA0003504258860000022
表示单元j的第i个角度；
Figure FDA0003504258860000023
表示角度
Figure FDA0003504258860000024
对应的边长；C1和C2分别为调节权重，且C1＞0；C2＞0；C1+C2＝1。
6.如权利要求2所述的无人机集群自组织飞行方法，其特征在于，所述进化学习算法包括：遗传算法。
7.如权利要求2所述的无人机集群自组织飞行方法，其特征在于，所述使用独立强化学习进行训练包括：
使用独立强化学习进行训练中采用仿真模拟实物条件进行训练。
优选的，所述采用仿真模拟实物条件进行训练包括：
在仿真模拟实物条件进行训练时加入噪声；
所述噪声包括下述中的一种或多种：传感器误差、GPS定位误差、控制误差、通讯延迟。
8.如权利要求2所述的无人机集群自组织飞行方法，其特征在于，所述基于所述任务信息、基于每架无人机观察临近无人机飞行信息和选择的策略模型确定各无人机的策略动作，包括：
基于所述最佳单元结构确定各无人机在自主飞行过程中各无人机的下一个策略动作。
9.一种无人机集群自组织飞行系统，其特征在于，包括：
任务模块，用于获取无人机群的任务信息、各无人机类型；
观察模块，用于基于每架无人机观察各无人机临近的其他无人机的飞行信息；
策略模块，用于基于各无人机类型从预先构建的策略模型库中确定与所述各无人机性能参数匹配的策略模型；并基于所述任务信息、基于每架无人机观察临近无人机飞行信息和选择的策略模型确定各无人机的策略动作；
所述策略模型以各无人机类型、其他无人机的飞行信息结合三角密铺特性采用进化算法确定各人机在自主飞行过程中的下一个策略动作；
所述任务信息包括任务目的地和任务类型。
10.一种无人机，其特征在于，包括：无人机本体、感应芯片和计算芯片；所述感应芯片和计算芯片设置于无人机本体中；
感应芯片，用于获取任务信息，还用于观察临近无人机飞行信息；
计算芯片，用于基于所述无人机类型从预先构建的多个策略模型库中确定与所述无人机类型匹配的策略模型；还用于基于所述任务信息、临近无人机飞行信息和选择的策略模型确定下一步的策略动作；
所述策略模型以无人机类型、飞行信息结合三角密铺特性采用进化算法确定所述无人机在自主飞行过程中的下一个策略动作；
所述任务信息包括任务目的地和任务类型。
CN202210135266.1A 2021-11-23 2022-02-14 一种无人机集群自组织飞行方法、系统及无人机 Pending CN114442670A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2021113931321 2021-11-23
CN202111393132 2021-11-23

Publications (1)

Publication Number Publication Date
CN114442670A true CN114442670A (zh) 2022-05-06

Family

ID=81373831

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210135266.1A Pending CN114442670A (zh) 2021-11-23 2022-02-14 一种无人机集群自组织飞行方法、系统及无人机

Country Status (1)

Country Link
CN (1) CN114442670A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114942653A (zh) * 2022-07-26 2022-08-26 北京邮电大学 无人集群飞行策略的确定方法、装置和电子设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114942653A (zh) * 2022-07-26 2022-08-26 北京邮电大学 无人集群飞行策略的确定方法、装置和电子设备

Similar Documents

Publication Publication Date Title
CN110608743B (zh) 基于多种群混沌灰狼算法的多无人机协同航路规划方法
Chung et al. A survey on aerial swarm robotics
Liu et al. Multi-UAV path planning based on fusion of sparrow search algorithm and improved bioinspired neural network
Nikolos et al. UAV path planning using evolutionary algorithms
CN110456815A (zh) 一种基于行军蚁启发式智能的无人机集群协同定位方法
CN114415735B (zh) 面向动态环境的多无人机分布式智能任务分配方法
CN113050677A (zh) 多无人机队形保持和变换的控制方法、系统、存储介质
Savkin et al. Decentralized navigation of groups of wheeled mobile robots with limited communication
CN112788699B (zh) 一种飞行自组织网网络拓扑确定方法及系统
CN110181508A (zh) 水下机器人三维航路规划方法及系统
Yang et al. A digital twins enabled underwater intelligent internet vehicle path planning system via reinforcement learning and edge computing
CN108549210A (zh) 基于bp神经网络pid控制的多无人机协同飞行方法
Zhong et al. Particle swarm optimization with orientation angle-based grouping for practical unmanned surface vehicle path planning
CN111813144A (zh) 一种基于改进羊群算法的多无人机协同航路规划方法
CN113885320A (zh) 一种基于混合量子鸽群优化的飞行器随机鲁棒控制方法
CN115047910A (zh) 一种基于雁形阵的无人机编队巡航控制方法
CN114442670A (zh) 一种无人机集群自组织飞行方法、系统及无人机
Chen et al. An improved spherical vector and truncated mean stabilization based bat algorithm for uav path planning
Mengying et al. Online path planning algorithms for unmanned air vehicle
Cui et al. UAV path planning method for data collection of fixed-point equipment in complex forest environment
Zu et al. Research on UAV path planning method based on improved HPO algorithm in multi-task environment
Zhou et al. Novel task decomposed multi-agent twin delayed deep deterministic policy gradient algorithm for multi-UAV autonomous path planning
Diller et al. Holistic path planning for multi-drone data collection
Han et al. Hybrid Algorithm-Based Full Coverage Search Approach With Multiple AUVs to Unknown Environments in Internet of Underwater Things
CN116795138A (zh) 一种面向数据采集的多无人机智能航迹规划方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination