CN113848984B - 一种无人机集群控制方法及系统 - Google Patents

一种无人机集群控制方法及系统 Download PDF

Info

Publication number
CN113848984B
CN113848984B CN202111271065.6A CN202111271065A CN113848984B CN 113848984 B CN113848984 B CN 113848984B CN 202111271065 A CN202111271065 A CN 202111271065A CN 113848984 B CN113848984 B CN 113848984B
Authority
CN
China
Prior art keywords
unmanned aerial
aerial vehicle
information
representing
drone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111271065.6A
Other languages
English (en)
Other versions
CN113848984A (zh
Inventor
白成超
郭继峰
颜鹏
郑红星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN202111271065.6A priority Critical patent/CN113848984B/zh
Publication of CN113848984A publication Critical patent/CN113848984A/zh
Application granted granted Critical
Publication of CN113848984B publication Critical patent/CN113848984B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/104—Simultaneous control of position or course in three dimensions specially adapted for aircraft involving a plurality of aircrafts, e.g. formation flying

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

一种无人机集群控制方法及系统，涉及无人机控制技术领域，用以解决现有技术对于无人机集群控制效果差且避障能力弱的问题。本发明的技术要点包括：实时获取无人机集群中每个无人机采集的环境信息和其他无人机信息；将经过预处理后的环境信息和其他无人机信息输入预训练的深度神经网络，获得无人机集群控制指令；判断无人机当前飞行状态，若判断结果为没有碰撞风险，则根据无人机集群控制指令对无人机进行控制；若判断结果为有碰撞风险，则根据避碰指令进行避障。本发明可以在复杂多变的环境中实现无人机的集群控制且具有很强的泛化能力，提升了无人机集群在复杂环境中执行任务的能力。本发明可扩展到大规模的无人机集群应用场景中。

Description

一种无人机集群控制方法及系统
技术领域
本发明涉及无人机控制技术领域，具体涉及一种无人机集群控制方法及系统。
背景技术
无人机集群控制通常被建模为一个多目标优化问题，并使用优化算法来解决它。例如，文献[1]提出了一个进化优化框架来解决密闭空间中的无人机的集体运动问题，其中运动约束、通信状态和扰动被显示的建模。文献[2]将无人机的集群控制制定为一个多目标优化问题，并根据鸽群的分层学习行为修改了多目标鸽群启发优化算法，以分布式方式解决了该问题。文献[3]提出了一种多目标社会学习鸽群启发优化方法来解决无人机编队中的避障问题。在上述方法中，无人机之间的防撞是通过相互排斥实现的。当无人机之间的距离小于斥力范围时，斥力将无人机向相反的方向拉开，这将导致控制指令的抖动，当无人机数量较多时，算法可能陷入局部最小陷阱。然而，由于机载计算机的计算能力有限，优化算法将很难在有限的时间内找到最优结果，而且环境和无人机的模型在实践中也很难获得，这进一步限制了优化算法的性能。此外，一些基于机器学习的方法也被用于解决无人机集群控制问题。文献[4]使用深度策略梯度算法来学习一种策略，该策略可以使无人机在复杂的环境中形成集群并执行导航任务，其中每个无人机只考虑其左右两边最近的邻居的相对位置。
尽管在无人机集群的协同控制方面已经有了大量的研究，但一些问题仍然没有得到解决。首先，无人机集群通常被用来在动态变化的环境中执行复杂任务。传统方法往往需要精确的环境和无人机模型来设计控制规则，而这些模型很难在现实世界的环境中实现，因此，具有固定规则的传统方法很难设计出能够适应复杂环境的自适应控制算法，这使得有必要为无人机集群开发一种方法来使其学习执行复杂任务并适应未知环境；其次，以上方法研究的重点是利用无人机之间的通信来获取其他无人机的状态信息，从而实现协同控制。然而，在实际应用中，特别是在通信拒止环境中，无人机之间的通信将是不可靠的，这将使无人机之间的协作变得困难，因此，有必要让机载传感器主动感知其他无人机以实现协同控制，由于机载传感器的视野有限，无人机之间的协同控制变得非常困难；最后，以上方法难以实现机间避碰和集群拓扑保持之间的平衡，即难以在确保机间避碰的同时形成紧凑且一致的无人机集群。
发明内容
鉴于以上问题，本发明提出一种无人机集群控制方法及系统，用以解决现有技术对于无人机集群协同控制效果差且避障能力弱的问题。
根据本发明一方面，提出一种无人机集群控制方法，该方法包括以下步骤：
步骤一、实时获取无人机集群中每个无人机采集的环境信息和其他无人机信息；
步骤二、对所述环境信息和其他无人机信息进行预处理；
步骤三：将经过预处理后的环境信息和其他无人机信息输入预训练的深度神经网络模型，获得无人机集群控制指令；
步骤四、根据环境信息和其他无人机信息判断无人机当前飞行状态，若判断结果为没有碰撞风险，则根据步骤三获得的无人机集群控制指令对无人机进行控制；若判断结果为有碰撞风险，则根据避碰指令进行避障。
进一步地，所述环境信息包括目标和障碍物位置信息，所述其他无人机信息包括距离当前无人机位置最近的多个无人机位置信息；其中，所述位置信息包括距离参数和角度参数。
进一步地，步骤二中所述预处理包括对所述环境信息和其他无人机信息进行标准化处理，使得每个值在[-1,1]之间；其中，
所述目标位置信息按照下述公式进行标准化：
Figure BDA0003328001680000021
Figure BDA0003328001680000022
式中，
Figure BDA0003328001680000023
表示目标在无人机航向坐标系下的距离；denv表示与无人机集群任务环境大小相关的常数；
Figure BDA0003328001680000024
表示目标在无人机航向坐标系下的角度；
所述障碍物位置信息按照下述公式进行标准化：
Figure BDA0003328001680000025
Figure BDA0003328001680000026
式中，
Figure BDA0003328001680000027
表示障碍物在无人机航向坐标系下的距离；
Figure BDA0003328001680000028
表示测距仪的最大探测距离；
Figure BDA0003328001680000029
表示障碍物在无人机航向坐标系下的角度；
所述其他无人机信息按照下述公式进行标准化：
Figure BDA00033280016800000210
Figure BDA0003328001680000031
Figure BDA0003328001680000032
式中，
Figure BDA0003328001680000033
表示第i个无人机在当前无人机航向坐标系下的距离；dv表示相机的最大探测距离；
Figure BDA0003328001680000034
表示第i个无人机在当前无人机航向坐标系下的角度；
Figure BDA0003328001680000035
表示第i个无人机与当前无人机的航向角之差。
进一步地，步骤三中获得无人机集群控制指令的具体过程包括：经过预训练的深度神经网络模型处理的输出值为无人机动作指令的均值
Figure BDA0003328001680000036
和对数标准差
Figure BDA0003328001680000037
通过采样高斯分布
Figure BDA0003328001680000038
获得无人机的采样指令
Figure BDA0003328001680000039
通过下述公式计算获得无人机的实际控制指令：
Figure BDA00033280016800000310
式中，
Figure BDA00033280016800000311
表示无人机航向角偏转指令；V表示无人机飞行速度指令；
Figure BDA00033280016800000312
表示归一化处理后的无人机航向角偏转指令；
Figure BDA00033280016800000313
表示归一化处理后的无人机飞行速度指令。
进一步地，步骤四中使用势场法解算获得避碰指令，具体包括：首先，利用下述公式计算获得无人机i受到无人机j的径向排斥速度
Figure BDA00033280016800000314
Figure BDA00033280016800000315
式中，prep为常数；
Figure BDA00033280016800000316
为势场法作用范围；||pij||为无人机i与无人机j之间的距离；pi表示无人机i的位置；pj表示无人机j的位置；
然后，利用下述公式计算获得无人机i受到无人机j的切向排斥速度
Figure BDA00033280016800000317
Figure BDA00033280016800000318
式中，pg表示目标位置；
最后，将无人机i受到无人机j的径向排斥速度
Figure BDA00033280016800000319
和无人机i受到无人机j的切向排斥速度
Figure BDA00033280016800000320
相加，获得无人机i受到无人机j的排斥合速度
Figure BDA00033280016800000321
即为无人机的避碰指令。
根据本发明另一方面，提出一种无人机集群控制系统，该系统包括：
信息获取模块，用于实时获取无人机集群中每个无人机采集的环境信息和其他无人机信息；所述环境信息包括目标和障碍物位置信息，所述其他无人机信息包括距离当前无人机位置最近的多个无人机位置信息；其中，所述位置信息包括距离参数和角度参数；
预处理模块，用于对所述环境信息和其他无人机信息进行预处理；
控制指令获取模块，用于将经过预处理后的环境信息和其他无人机信息输入预训练的深度神经网络模型，获得无人机集群控制指令；
控制模块，用于根据环境信息和其他无人机信息判断无人机当前飞行状态，若判断结果为没有碰撞风险，则根据所述无人机集群控制指令对无人机进行控制；若判断结果为有碰撞风险，则根据避碰指令进行避障。
进一步地，所述预处理模块中对所述环境信息和其他无人机信息进行标准化处理，使得每个值在[-1,1]之间；其中，
所述目标位置信息按照下述公式进行标准化：
Figure BDA0003328001680000041
Figure BDA0003328001680000042
式中，
Figure BDA0003328001680000043
表示目标在无人机航向坐标系下的距离；denv表示与无人机集群任务环境大小相关的常数；
Figure BDA0003328001680000044
表示目标在无人机航向坐标系下的角度；
所述障碍物位置信息按照下述公式进行标准化：
Figure BDA0003328001680000045
Figure BDA0003328001680000046
式中，
Figure BDA0003328001680000047
表示障碍物在无人机航向坐标系下的距离；
Figure BDA0003328001680000048
表示测距仪的最大探测距离；
Figure BDA0003328001680000049
表示障碍物在无人机航向坐标系下的角度；
所述其他无人机信息按照下述公式进行标准化：
Figure BDA00033280016800000410
Figure BDA00033280016800000411
Figure BDA00033280016800000412
式中，
Figure BDA0003328001680000051
表示第i个无人机在当前无人机航向坐标系下的距离；dv表示相机的最大探测距离；
Figure BDA0003328001680000052
表示第i个无人机在当前无人机航向坐标系下的角度；
Figure BDA0003328001680000053
表示第i个无人机与当前无人机的航向角之差。
进一步地，所述控制指令获取模块中获得无人机集群控制指令的具体过程包括：经过预训练的深度神经网络模型处理的输出值为无人机动作指令的均值
Figure BDA0003328001680000054
和对数标准差
Figure BDA0003328001680000055
通过采样高斯分布
Figure BDA0003328001680000056
获得无人机的采样指令
Figure BDA0003328001680000057
通过下述公式计算获得无人机的实际控制指令：
Figure BDA0003328001680000058
式中，
Figure BDA0003328001680000059
表示无人机航向角偏转指令；V表示无人机飞行速度指令；
Figure BDA00033280016800000510
表示归一化处理后的无人机航向角偏转指令；
Figure BDA00033280016800000511
表示归一化处理后的无人机飞行速度指令。
进一步地，所述控制模块中使用势场法解算获得避碰指令，具体包括：首先，利用下述公式计算获得无人机i受到无人机j的径向排斥速度
Figure BDA00033280016800000512
Figure BDA00033280016800000513
式中，prep为常数；
Figure BDA00033280016800000514
为势场法作用范围；||pij||为无人机i与无人机j之间的距离；pi表示无人机i的位置；pj表示无人机j的位置；
然后，利用下述公式计算获得无人机i受到无人机j的切向排斥速度
Figure BDA00033280016800000515
Figure BDA00033280016800000516
式中，pg表示目标位置；
最后，将无人机i受到无人机j的径向排斥速度
Figure BDA00033280016800000517
和无人机i受到无人机j的切向排斥速度
Figure BDA00033280016800000518
相加，获得无人机i受到无人机j的排斥合速度
Figure BDA00033280016800000519
即为无人机的避碰指令。
本发明的有益技术效果是：
本发明通过无人机自身携带的机载感知设备感知其他无人机的状态与环境的状态，通过由强化学习训练的深度神经网络解算集群控制指令，结合由人工势场法解算的避碰指令，可以在复杂多变的环境中实现无人机的集群控制。本发明相比于传统方法具有以下优势：1)基于深度强化学习的分布式集群控制策略使得无人机集群控制具有很强的泛化能力，提升了无人机集群在复杂环境中执行任务的能力；2)通过集中式的训练架构，可以使得无人机集群控制策略在训练过程中适应无人机有限的感知视野，从而获得在感知视野有限时的集群控制策略，使得无人机集群可在通信拒止环境中执行任务；3)无人机内置的排斥功能使得无人机之间以及无人机与障碍物之间实现避碰，使无人机集群有效的执行任务；4)可适应无人机集群个数以及环境状态的变化，可以在训练过程中未遇到的环境中实现稳定的集群控制，进一步可以根据需求扩展到大规模的无人机集群应用场景中。
附图说明
本发明可以通过参考下文中结合附图所给出的描述而得到更好的理解，所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分，而且用来进一步举例说明本发明的优选实施例和解释本发明的原理和优点。
图1是本发明实施例中无人机感知信息示意图。
图2是本发明实施例中深度神经网络结构图。
图3是本发明实施例中无人机避碰斥力势场法示意图。
图4是本发明实施例中无人机集群在实验场景中的控制过程；其中，图(a)对应场景1；图(b)对应场景2；图(c)对应场景3；图(d)对应场景4；图(e)对应场景5。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，在下文中将结合附图对本发明的示范性实施方式或实施例进行描述。显然，所描述的实施方式或实施例仅是本发明一部分的实施方式或实施例，而不是全部的。基于本发明中的实施方式或实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式或实施例，都应当属于本发明保护的范围。
为了解决在通信拒止环境中进行无人机集群控制时，由于无人机具有有限的感知视野，导致集群控制效果差及无人机避碰能力弱的问题，本发明提出一种无人机集群控制方法，主要针对通信拒止环境中具有限视野的无人机集群控制。首先，通过深度强化学习方法在无人机视野受限情况下训练无人机的集群控制策略，同时将无人机之间的避碰能力视为其具有的内置功能，通过集中式训练，分布式执行的训练架构充分利用在训练过程中可以获得的集群中心信息，缓解无人机有限视野带来的不足。
本发明实施例提供一种无人机集群控制方法，该方法包括以下步骤：
步骤一：无人机集群中的每个无人机通过自身感知设备感知环境信息以及其他无人机信息，其中，自身感知设备包括相机和测距仪。
根据本发明实施例，无人机的感知信息如图1所示。环境信息包括无人机集群位置信息以及无人机感知到的障碍物信息。无人机集群目标位置信息
Figure BDA0003328001680000071
包括目标在无人机航向坐标系下的距离
Figure BDA0003328001680000072
以及角度
Figure BDA0003328001680000073
无人机感知到的障碍物信息包括由无人机机载激光测距仪测量的距离值最小的三组测量值
Figure BDA0003328001680000074
每组测量值包括在无人机航向坐标系下的距离
Figure BDA0003328001680000075
以及角度
Figure BDA0003328001680000076
其他无人机的信息包括该无人机通过其感知设备感知到的距离其最近到的三个无人机的信息
Figure BDA0003328001680000077
每组信息
Figure BDA0003328001680000078
包括无人机i的位置在当前无人机航向坐标系下的距离
Figure BDA0003328001680000079
角度
Figure BDA00033280016800000710
以及无人机i与当前无人机的航向角之差
Figure BDA00033280016800000711
步骤二：对步骤一中无人机感知到的信息进行标准化处理，使得每个值在[-1,1]之间，具体包括以下步骤：
无人机集群目标位置信息标准化如下式所示：
Figure BDA00033280016800000712
Figure BDA00033280016800000713
式中，denv为与无人机集群任务环境大小相关的常数，π为自然常数。
无人机感知到的障碍物信息标准化如下式所示：
Figure BDA00033280016800000714
Figure BDA00033280016800000715
式中，
Figure BDA00033280016800000716
为无人机激光测距仪的最大探测距离。
无人机感知到的其他无人机的信息标准化如下式所示：
Figure BDA00033280016800000717
Figure BDA0003328001680000081
Figure BDA0003328001680000082
式中，dv为无人机机载相机的最大探测距离。
步骤三：将步骤二中标准化处理之后的信息通过预训练的深度神经网络模型处理，得到无人机的集群控制指令。
根据本发明实施例，构建的深度神经网络结构如图2所示，深度神经网络的结构包括策略网络和值函数网络，策略网络包括三个全连接的神经网络层，每层分别有128、128和4个节点；前两层使用整流线性单元(ReLU)作为激活函数，第三层有两个不同的激活输出：一个双曲正切(tanh)输出，用于将动作平均值约束在[-1,1]之间，另一个线性函数用于输出动作值的对数标准差。值函数网络与策略网络类似，只是其第三层只有一个具有线性激活函数的输出节点。
深度神经网络预训练的过程包括：收集无人机集群与环境的交互信息
Figure BDA0003328001680000083
将交互信息存入经验池D；其中，
Figure BDA0003328001680000084
表示无人机i的观测状态，
Figure BDA0003328001680000085
表示无人机i获得的奖励值，
Figure BDA0003328001680000086
表示无人机i执行的动作；然后按照下述步骤进行训练：
1)初始化策略网络πφ，Q值网络
Figure BDA0003328001680000087
目标Q值网络
Figure BDA0003328001680000088
使得
Figure BDA0003328001680000089
Q值网络如图2所示；
2)随机从经验池D中采样出K组交互经验；
3)通过最小化以下损失函数更新Q值网络
Figure BDA00033280016800000810
Figure BDA00033280016800000811
式中，
Figure BDA00033280016800000812
表示观测ot+1的目标值函数，可按下式计算：
Figure BDA00033280016800000813
式中，α为调节系数；
4)通过最小化以下损失函数更新策略网络πφ：
Figure BDA00033280016800000814
5)通过最小化以下损失函数更新系数α：
Figure BDA00033280016800000815
式中，
Figure BDA0003328001680000091
为策略网络目标熵；
6)更新目标Q值网络：
Figure BDA0003328001680000092
式中，τ为常数；
7)重复上述步骤1)到步骤6)，直到网络训练收敛，获得训练好的深度神经网络模型。
经过上述预训练的深度神经网络模型处理的输出值为无人机动作指令的均值
Figure BDA0003328001680000093
以及对数标准差
Figure BDA0003328001680000094
通过采样高斯分布
Figure BDA0003328001680000095
获得无人机的采样指令
Figure BDA0003328001680000096
最后，无人机的实际控制指令通过下式计算获得：
Figure BDA0003328001680000097
式中，
Figure BDA0003328001680000098
表示无人机航向角偏转指令；V表示无人机飞行速度指令；
Figure BDA0003328001680000099
表示归一化处理后的无人机航向角偏转指令；
Figure BDA00033280016800000910
表示归一化处理后的无人机飞行速度指令。
步骤四：根据无人机感知到的信息判断无人机当前的飞行状态，若当前没有碰撞风险，则采用深度神经网络解算的控制指令，若有碰撞风险，则使用势场法解算的避碰指令。
根据本发明实施例，通过无人机感知的信息判断无人机所处的飞行状态，若
Figure BDA00033280016800000911
则无人机处于安全状态(dsafe为设定的安全距离)，此时使用深度神经网络解算的控制指令。若
Figure BDA00033280016800000912
则无人机具有碰撞风险，此时使用势场法解算的避碰指令。
本发明设计的势场法用于解算无人机的避碰指令，如图3所示。图3中
Figure BDA00033280016800000913
所示为无人机i受到的无人机j的径向排斥速度，计算如下式所示：
Figure BDA00033280016800000914
式中，prep为常数；
Figure BDA00033280016800000915
为势场法作用范围；||pij||为无人机i与无人机j之间的距离。
图3中
Figure BDA00033280016800000916
所示为无人机i受到的无人机j的切向排斥速度，计算如下式所示：
Figure BDA00033280016800000917
式中，pg表示目标位置，pi表示无人机i的位置，pj表示无人机j的位置；
无人机的避碰指令为无人机i受到无人机j的排斥合速度，按照下式计算获得排斥合速度
Figure BDA0003328001680000101
Figure BDA0003328001680000102
进一步通过实验验证本发明的有益效果。
采用数字仿真的方式验证本发明的正确性以及合理性。首先在Python环境中构建一个无人机集群仿真环境，其中无人机模型采用四旋翼无人机模型，所有无人机定高飞行。无人机的感知视野为一个半径为5.0m，角度为90度的扇形区域，无人机机载激光测距仪的最大探测距离为10.0m，无人机的安全距离设置为dsafe＝2.0m。仿真测试软件环境为Windows 10+Python3.7，硬件环境为AMD Ryzen 5 3550H CPU+16.0GB RAM。
分别在5种不同场景中对本发明方法进行仿真实验验证，5种验证场景分别是：
1)场景1：无人机集群包含5个无人机，环境中没有障碍物；
2)场景2：无人机集群包含5个无人机，环境中有3静止个障碍物；
3)场景3：无人机集群包含5个无人机，环境中有3静止个障碍物，2个动态障碍物；
4)场景4：无人机集群包含9个无人机，环境中有3静止个障碍物；
5)场景5：无人机集群包含5个无人机，环境中有9静止个障碍物。
在上述每种场景中随机运行本发明方法500次，在以上5种场景中的成功率分别是：100％，93.8％，82.2％，85.6％，91.2％。由以上结果可知，本发明方法可以使具有有限视野的无人机集群在通信拒止的复杂环境中实现集群控制，并具有较高的成功率，说明本发明的无人机集群控制方法具有较好的泛化能力与鲁棒性。
在以上5种场景中的无人机集群控制测试示例如图4所示。从图4可以看出，本发明方法可以在复杂的环境中控制无人机成为一个集体，实现在环境中从初始位置到目标位置的控制过程，同时避免与环境中的障碍物以及其他无人机发生碰撞，说明本发明方法可以使无人机集群安全的在复杂环境中执行任务。
本发明可以实现无人机集群在通信拒止环境中鲁棒的集群控制，无人机之间通过自身携带的机载感知设备感知其他无人机的状态与环境的状态，通过由强化学习训练的深度神经网络解算集群控制指令，结合由人工势场法解算的避碰指令，可以在复杂多变的环境中实现无人机的集群控制。本发明相比于传统方法具有以下优势：1)基于深度强化学习的分布式集群控制策略使得无人机集群控制具有很强的泛化能力，提升了无人机集群在复杂环境中执行任务的能力；2)通过集中式的训练架构，可以使得无人机集群控制策略在训练过程中适应无人机有限的感知视野，从而获得在感知视野有限时的集群控制策略，使得无人机集群可在通信拒止环境中执行任务；3)无人机内置的排斥功能使得无人机之间以及无人机与障碍物之间实现避碰，使无人机集群有效的执行任务；4)可适应无人机集群个数的变化，以及环境状态的变化，可以在训练过程中未遇到的环境中实现稳定的集群控制，可以根据需求扩展到大规模的无人机集群应用场景中。综上，本发明可实现在通信拒止环境中具有有限视野的无人机集群控制，为无人机集群在拒止环境中的集群控制提供了可行的技术途径。
本发明另一实施例提供一种无人机集群控制系统，该系统包括：
信息获取模块，用于实时获取无人机集群中每个无人机采集的环境信息和其他无人机信息；环境信息包括目标和障碍物位置信息，其他无人机信息包括距离当前无人机位置最近的多个无人机位置信息；其中，位置信息包括距离参数和角度参数；
预处理模块，用于对环境信息和其他无人机信息进行预处理；
控制指令获取模块，用于将经过预处理后的环境信息和其他无人机信息输入预训练的深度神经网络模型，获得无人机集群控制指令；
控制模块，用于根据环境信息和其他无人机信息判断无人机当前飞行状态，若判断结果为没有碰撞风险，则根据无人机集群控制指令对无人机进行控制；若判断结果为有碰撞风险，则根据避碰指令进行避障。
其中，预处理模块中对环境信息和其他无人机信息进行标准化处理，使得每个值在[-1,1]之间；目标位置信息按照下述公式进行标准化：
Figure BDA0003328001680000111
Figure BDA0003328001680000112
式中，
Figure BDA0003328001680000113
表示目标在无人机航向坐标系下的距离；denv表示与无人机集群任务环境大小相关的常数；
Figure BDA0003328001680000114
表示目标在无人机航向坐标系下的角度；
障碍物位置信息按照下述公式进行标准化：
Figure BDA0003328001680000115
Figure BDA0003328001680000116
式中，
Figure BDA0003328001680000117
表示障碍物在无人机航向坐标系下的距离；
Figure BDA0003328001680000118
表示测距仪的最大探测距离；
Figure BDA0003328001680000119
表示障碍物在无人机航向坐标系下的角度；
其他无人机信息按照下述公式进行标准化：
Figure BDA0003328001680000121
Figure BDA0003328001680000122
Figure BDA0003328001680000123
式中，
Figure BDA0003328001680000124
表示第i个无人机在当前无人机航向坐标系下的距离；dv表示相机的最大探测距离；
Figure BDA0003328001680000125
表示第i个无人机在当前无人机航向坐标系下的角度；
Figure BDA0003328001680000126
表示第i个无人机与当前无人机的航向角之差。
其中，控制指令获取模块中获得无人机集群控制指令的具体过程包括：经过预训练的深度神经网络模型处理的输出值为无人机动作指令的均值
Figure BDA0003328001680000127
和对数标准差
Figure BDA0003328001680000128
通过采样高斯分布
Figure BDA0003328001680000129
获得无人机的采样指令
Figure BDA00033280016800001210
通过下述公式计算获得无人机的实际控制指令：
Figure BDA00033280016800001211
式中，
Figure BDA00033280016800001212
表示无人机航向角偏转指令；V表示无人机飞行速度指令；
Figure BDA00033280016800001213
表示归一化处理后的无人机航向角偏转指令；
Figure BDA00033280016800001214
表示归一化处理后的无人机飞行速度指令。
其中，控制模块中使用势场法解算获得避碰指令，具体包括：首先，利用下述公式计算获得无人机i受到无人机j的径向排斥速度
Figure BDA00033280016800001215
Figure BDA00033280016800001216
式中，prep为常数；
Figure BDA00033280016800001217
为势场法作用范围；||pij||为无人机i与无人机j之间的距离；pi表示无人机i的位置；pj表示无人机j的位置；
然后，利用下述公式计算获得无人机i受到无人机j的切向排斥速度
Figure BDA00033280016800001218
Figure BDA00033280016800001219
式中，pg表示目标位置；
最后，将无人机i受到无人机j的径向排斥速度
Figure BDA00033280016800001220
和无人机i受到无人机j的切向排斥速度
Figure BDA0003328001680000131
相加，获得无人机i受到无人机j的排斥合速度
Figure BDA0003328001680000132
即为无人机的避碰指令。
本发明实施例所述一种无人机集群控制系统的功能可以由前述一种无人机集群控制方法说明，因此本实施例未详述部分，可参见以上方法实施例，在此不再赘述。
尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。
本发明援引的文献如下：
[1]Vásárhelyi G,Virágh C,Somorjai G,et al.Optimized flocking ofautonomous drones in confined environments[J].Science Robotics,2018,3(20).
[2]Qiu H,Duan H.A multi-objective pigeon-inspired optimizationapproach to UAV distributed flocking among obstacles[J].Information Sciences,2020,509:515-529.
[3]Ruan W,Duan H.Multi-UAV obstacle avoidance control via multi-objective social learning pigeon-inspired optimization[J].Frontiers ofInformation Technology&Electronic Engineering,2020,21:740-748.
[4]Wang C,Wang J,Zhang X.A deep reinforcement learning approach toflocking and navigation of uavs in large-scale complex environments[C]//2018IEEE Global Conference on Signal and Information Processing(GlobalSIP).IEEE,2018:1228-1232.

Claims (7)

1.一种无人机集群控制方法，其特征在于，包括以下步骤：
步骤一、实时获取无人机集群中每个无人机采集的环境信息和其他无人机信息；
步骤二、对所述环境信息和其他无人机信息进行预处理；
步骤三、将经过预处理后的环境信息和其他无人机信息输入预训练的深度神经网络模型，获得无人机集群控制指令；具体过程包括：经过预训练的深度神经网络模型处理的输出值为无人机动作指令的均值
Figure FDA0003596634940000011
和对数标准差
Figure FDA0003596634940000012
通过采样高斯分布
Figure FDA0003596634940000013
获得无人机的采样指令
Figure FDA0003596634940000014
通过下述公式计算获得无人机的实际控制指令：
Figure FDA0003596634940000015
式中，
Figure FDA0003596634940000016
表示无人机航向角偏转指令；V表示无人机飞行速度指令；
Figure FDA0003596634940000017
表示归一化处理后的无人机航向角偏转指令；
Figure FDA0003596634940000018
表示归一化处理后的无人机飞行速度指令；
步骤四、根据环境信息和其他无人机信息判断无人机当前飞行状态，若判断结果为没有碰撞风险，则根据步骤三获得的无人机集群控制指令对无人机进行控制；若判断结果为有碰撞风险，则根据避碰指令进行避障。
2.根据权利要求1所述的一种无人机集群控制方法，其特征在于，所述环境信息包括目标和障碍物位置信息，所述其他无人机信息包括距离当前无人机位置最近的多个无人机位置信息；其中，所述位置信息包括距离参数和角度参数。
3.根据权利要求2所述的一种无人机集群控制方法，其特征在于，步骤二中所述预处理包括对所述环境信息和其他无人机信息进行标准化处理，使得每个值在[-1,1]之间；其中，所述目标位置信息按照下述公式进行标准化：
Figure FDA0003596634940000019
Figure FDA00035966349400000110
式中，
Figure FDA00035966349400000111
表示目标在无人机航向坐标系下的距离；denv表示与无人机集群任务环境大小相关的常数；
Figure FDA00035966349400000112
表示目标在无人机航向坐标系下的角度；
所述障碍物位置信息按照下述公式进行标准化：
Figure FDA00035966349400000113
Figure FDA0003596634940000021
式中，
Figure FDA0003596634940000022
表示障碍物在无人机航向坐标系下的距离；
Figure FDA0003596634940000023
表示测距仪的最大探测距离；
Figure FDA0003596634940000024
表示障碍物在无人机航向坐标系下的角度；
所述其他无人机信息按照下述公式进行标准化：
Figure FDA0003596634940000025
Figure FDA0003596634940000026
Figure FDA0003596634940000027
式中，
Figure FDA0003596634940000028
表示第i个无人机在当前无人机航向坐标系下的距离；dv表示相机的最大探测距离；
Figure FDA0003596634940000029
表示第i个无人机在当前无人机航向坐标系下的角度；
Figure FDA00035966349400000210
表示第i个无人机与当前无人机的航向角之差。
4.根据权利要求3所述的一种无人机集群控制方法，其特征在于，步骤四中使用势场法解算获得避碰指令，具体包括：利用下述公式计算获得无人机i受到无人机j的径向排斥速度
Figure FDA00035966349400000211
Figure FDA00035966349400000212
式中，prep为常数；
Figure FDA00035966349400000213
为势场法作用范围；||pij||为无人机i与无人机j之间的距离；pi表示无人机i的位置；pj表示无人机j的位置；
利用下述公式计算获得无人机i受到无人机j的切向排斥速度
Figure FDA00035966349400000214
Figure FDA00035966349400000215
式中，pg表示目标位置；
将无人机i受到无人机j的径向排斥速度
Figure FDA00035966349400000216
和无人机i受到无人机j的切向排斥速度
Figure FDA00035966349400000217
相加，获得无人机i受到无人机j的排斥合速度
Figure FDA00035966349400000218
即为无人机的避碰指令。
5.一种无人机集群控制系统，其特征在于，包括：
信息获取模块，用于实时获取无人机集群中每个无人机采集的环境信息和其他无人机信息；所述环境信息包括目标和障碍物位置信息，所述其他无人机信息包括距离当前无人机位置最近的多个无人机位置信息；其中，所述位置信息包括距离参数和角度参数；
预处理模块，用于对所述环境信息和其他无人机信息进行预处理；
控制指令获取模块，用于将经过预处理后的环境信息和其他无人机信息输入预训练的深度神经网络模型，获得无人机集群控制指令；具体过程包括：经过预训练的深度神经网络模型处理的输出值为无人机动作指令的均值
Figure FDA0003596634940000031
和对数标准差
Figure FDA0003596634940000032
通过采样高斯分布
Figure FDA0003596634940000033
获得无人机的采样指令
Figure FDA0003596634940000034
通过下述公式计算获得无人机的实际控制指令：
Figure FDA0003596634940000035
式中，
Figure FDA0003596634940000036
表示无人机航向角偏转指令；V表示无人机飞行速度指令；
Figure FDA0003596634940000037
表示归一化处理后的无人机航向角偏转指令；
Figure FDA0003596634940000038
表示归一化处理后的无人机飞行速度指令；
控制模块，用于根据环境信息和其他无人机信息判断无人机当前飞行状态，若判断结果为没有碰撞风险，则根据所述无人机集群控制指令对无人机进行控制；若判断结果为有碰撞风险，则根据避碰指令进行避障。
6.根据权利要求5所述的一种无人机集群控制系统，其特征在于，所述预处理模块中对所述环境信息和其他无人机信息进行标准化处理，使得每个值在[-1,1]之间；其中，所述目标位置信息按照下述公式进行标准化：
Figure FDA0003596634940000039
Figure FDA00035966349400000310
式中，
Figure FDA00035966349400000311
表示目标在无人机航向坐标系下的距离；denv表示与无人机集群任务环境大小相关的常数；
Figure FDA00035966349400000312
表示目标在无人机航向坐标系下的角度；
所述障碍物位置信息按照下述公式进行标准化：
Figure FDA00035966349400000313
Figure FDA00035966349400000314
式中，
Figure FDA0003596634940000041
表示障碍物在无人机航向坐标系下的距离；
Figure FDA0003596634940000042
表示测距仪的最大探测距离；
Figure FDA0003596634940000043
表示障碍物在无人机航向坐标系下的角度；
所述其他无人机信息按照下述公式进行标准化：
Figure FDA0003596634940000044
Figure FDA0003596634940000045
Figure FDA0003596634940000046
式中，
Figure FDA0003596634940000047
表示第i个无人机在当前无人机航向坐标系下的距离；dv表示相机的最大探测距离；
Figure FDA0003596634940000048
表示第i个无人机在当前无人机航向坐标系下的角度；
Figure FDA0003596634940000049
表示第i个无人机与当前无人机的航向角之差。
7.根据权利要求6所述的一种无人机集群控制系统，其特征在于，所述控制模块中使用势场法解算获得避碰指令，具体包括：利用下述公式计算获得无人机i受到无人机j的径向排斥速度
Figure FDA00035966349400000410
Figure FDA00035966349400000411
式中，prep为常数；
Figure FDA00035966349400000412
为势场法作用范围；||pij||为无人机i与无人机j之间的距离；pi表示无人机i的位置；pj表示无人机j的位置；
利用下述公式计算获得无人机i受到无人机j的切向排斥速度
Figure FDA00035966349400000413
Figure FDA00035966349400000414
式中，pg表示目标位置；
将无人机i受到无人机j的径向排斥速度
Figure FDA00035966349400000415
和无人机i受到无人机j的切向排斥速度
Figure FDA00035966349400000416
相加，获得无人机i受到无人机j的排斥合速度
Figure FDA00035966349400000417
即为无人机的避碰指令。
CN202111271065.6A 2021-10-29 2021-10-29 一种无人机集群控制方法及系统 Active CN113848984B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111271065.6A CN113848984B (zh) 2021-10-29 2021-10-29 一种无人机集群控制方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111271065.6A CN113848984B (zh) 2021-10-29 2021-10-29 一种无人机集群控制方法及系统

Publications (2)

Publication Number Publication Date
CN113848984A CN113848984A (zh) 2021-12-28
CN113848984B true CN113848984B (zh) 2022-06-10

Family

ID=78983477

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111271065.6A Active CN113848984B (zh) 2021-10-29 2021-10-29 一种无人机集群控制方法及系统

Country Status (1)

Country Link
CN (1) CN113848984B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114446121B (zh) * 2022-02-24 2024-03-05 汕头市快畅机器人科技有限公司 一种生命搜索集群教育机器人的控制方法
CN115035771B (zh) * 2022-06-27 2024-05-17 中国人民解放军国防科技大学 一种群控无人机通信实验教学系统
CN115329595B (zh) * 2022-08-31 2023-04-14 哈尔滨工业大学 一种基于知识与经验的无人机集群任务规划方法及系统
CN117270393B (zh) * 2023-10-07 2024-05-17 重庆大学 智能机器人集群协同控制系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101825903A (zh) * 2010-04-29 2010-09-08 哈尔滨工程大学 一种遥控水下机器人水面控制方法
CN110488606A (zh) * 2019-07-25 2019-11-22 中北大学 一种多四旋翼主从式保性能神经自适应协同编队控制方法
CN111949032A (zh) * 2020-08-18 2020-11-17 中国科学技术大学 一种基于强化学习的3d避障导航系统及方法
CN112068549A (zh) * 2020-08-07 2020-12-11 哈尔滨工业大学 一种基于深度强化学习的无人系统集群控制方法
US11046430B1 (en) * 2017-04-17 2021-06-29 United States Of America As Represented By The Administrator Of Nasa Intelligent trajectory adviser system for unmanned aerial vehicles in complex environments

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110007688B (zh) * 2019-04-25 2021-06-01 西安电子科技大学 一种基于强化学习的无人机集群分布式编队方法
CN113342030B (zh) * 2021-04-27 2022-07-08 湖南科技大学 基于强化学习的多无人机协同自组织控制方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101825903A (zh) * 2010-04-29 2010-09-08 哈尔滨工程大学 一种遥控水下机器人水面控制方法
US11046430B1 (en) * 2017-04-17 2021-06-29 United States Of America As Represented By The Administrator Of Nasa Intelligent trajectory adviser system for unmanned aerial vehicles in complex environments
CN110488606A (zh) * 2019-07-25 2019-11-22 中北大学 一种多四旋翼主从式保性能神经自适应协同编队控制方法
CN112068549A (zh) * 2020-08-07 2020-12-11 哈尔滨工业大学 一种基于深度强化学习的无人系统集群控制方法
CN111949032A (zh) * 2020-08-18 2020-11-17 中国科学技术大学 一种基于强化学习的3d避障导航系统及方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
A Moving Target Tracking Control and Obstacle Avoidance of Quadrotor UAV Based on Sliding Mode Control Using Artificial Potential Field and RBF Neural Networks;Xuan Chen;《Proceedings of the 39th Chinese Control Conference》;20200729;全文 *
flocking control of uav swarms with deep reinforcement learning approach;白成超;《ICUS》;20201130;全文 *
Intelligent Maneuver Decision Method of UAV based on Reinforcement Learning and Neural Network;Huan Zhou;《Proceedings of the 40th Chinese Control Conference》;20210731;全文 *
Learning-Based Multi-Robot Formation Control With Obstacle Avoidance;白成超;《IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS》;20210131;全文 *
基于强化学习的多无人机避碰计算制导方法;白成超;《导航定位与授时》;20210131;全文 *
基于强化学习的无人机自主机动决策方法;孙楚;《火力与指挥控制》;20190430;全文 *
基于改进人工势场的无人机编队避障;温家鑫;《飞行力学》;20200430;全文 *

Also Published As

Publication number Publication date
CN113848984A (zh) 2021-12-28

Similar Documents

Publication Publication Date Title
CN113848984B (zh) 一种无人机集群控制方法及系统
Ross et al. Learning monocular reactive uav control in cluttered natural environments
Fu et al. Monocular visual-inertial SLAM-based collision avoidance strategy for Fail-Safe UAV using fuzzy logic controllers: comparison of two cross-entropy optimization approaches
CN113848974B (zh) 一种基于深度强化学习的飞行器轨迹规划方法及系统
de Souza et al. Autonomous landing of UAV based on artificial neural network supervised by fuzzy logic
Kayacan et al. Learning Control of Fixed‐Wing Unmanned Aerial Vehicles Using Fuzzy Neural Networks
Koutras et al. Autonomous and cooperative design of the monitor positions for a team of uavs to maximize the quantity and quality of detected objects
WO2016200629A1 (en) Vehicle collision prevention
CN115033022A (zh) 面向移动平台基于专家经验的ddpg无人机降落方法
Song et al. Learning perception-aware agile flight in cluttered environments
CN115494879A (zh) 基于强化学习sac的旋翼无人机避障方法、装置及设备
CN115903880A (zh) 一种基于改进强化学习的无人机自主图像导航与避障方法
CN109375642B (zh) 一种无人机节能控制方法
Silva et al. Landing area recognition by image applied to an autonomous control landing of VTOL aircraft
CN114138022A (zh) 一种基于精英鸽群智能的无人机集群分布式编队控制方法
Xu et al. Automated labeling for robotic autonomous navigation through multi-sensory semi-supervised learning on big data
Xu et al. Avoidance of manual labeling in robotic autonomous navigation through multi-sensory semi-supervised learning
CN117311393A (zh) 一种无人机自主飞行路径规划方法及系统
Li et al. UAV obstacle avoidance by human-in-the-loop reinforcement in arbitrary 3D environment
CN115164890A (zh) 一种基于模仿学习的群体无人机自主运动规划方法
CN114326826A (zh) 多无人机队形变换方法及系统
Lyu et al. Vision based autonomous UAV plane estimation and following for building inspection
Hamadi Autonomous Quadrotor Control Using Convolutional Neural Networks
Ellingson et al. Deep RC: Enabling remote control through deep learning
Li et al. Research on the control method of unmanned helicopter under the background of artificial intelligence

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant