CN112414401B - 基于图神经网络的无人机协同定位系统及方法 - Google Patents

基于图神经网络的无人机协同定位系统及方法 Download PDF

Info

Publication number
CN112414401B
CN112414401B CN202011233365.0A CN202011233365A CN112414401B CN 112414401 B CN112414401 B CN 112414401B CN 202011233365 A CN202011233365 A CN 202011233365A CN 112414401 B CN112414401 B CN 112414401B
Authority
CN
China
Prior art keywords
unmanned aerial
aerial vehicle
neural network
low
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011233365.0A
Other languages
English (en)
Other versions
CN112414401A (zh
Inventor
张福彪
周天泽
林德福
王亚凯
杨希雯
郎帅鹏
刘明成
毛杜芃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202011233365.0A priority Critical patent/CN112414401B/zh
Publication of CN112414401A publication Critical patent/CN112414401A/zh
Application granted granted Critical
Publication of CN112414401B publication Critical patent/CN112414401B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/104Simultaneous control of position or course in three dimensions specially adapted for aircraft involving a plurality of aircrafts, e.g. formation flying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks

Abstract

本发明公开了一种基于图神经网络的无人机协同定位系统及方法,包括多个无人机、服务器和无人机仿真平台,通过在无人机仿真平台上建立神经网络训练模型获得无人机上搭载的图神经网络模型,使得无人机能够自主生成控制指令,实现多无人机的协同定位。本发明提供的基于图神经网络的无人机协同定位系统及方法,采用去中心化的控制系统,对服务器要求低,可实现无人机的实时控制,并且定位准确度高,抗干扰能力强。

Description

基于图神经网络的无人机协同定位系统及方法
技术邻域
本发明涉及一种无人机协同定位系统及方法,尤其是一种基于图神经网络的无人机协同定位系统及方法,属于无人机定位邻域。
背景技术
近年来,由于无人机具有低成本、低损耗、零伤亡、高机动性、高隐蔽性等优点,被广泛应用在军事、民用科学研究等多个邻域中。
但是单个无人机在处理较大场景,较复杂任务时会存在鲁棒性,稳定性等问题,例如,在强干扰的情况下,单个无人机的传感器可能受到干扰进而产生较大的误差,导致定位出现较大误差。
可以通过多个无人机的协同定位,通过整合多无人机的局部感知,将多个传感器融合来解决此问题,从而达到即使有某个传感器出现问题,也能实现高效稳定的定位。
传统的无人机协同定位系统多采用中心化的控制系统,即由一个特定的地面站进行全局无人机的部署、控制。但是这种控制方法随着无人机集群复杂性的提高,对中央服务器指数级的计算需求增加,很难达到实时性的目的。
因此,亟待设计一种抗干扰能力强、对服务器性能依赖低的无人机协同定位系统。
发明内容
为了克服上述问题,本发明人进行了锐意研究,一方面,提供了一种基于图神经网络的无人机协同定位系统,该系统包括多个无人机和服务器。
所述无人机上搭载有感知传感器、IMU、通讯设备和任务模块,
所述任务模块与无人机飞控单元连接,通过任务模块计算无人机下一时刻的控制指令,将控制指令传递至飞控单元。
进一步地,所述任务模块中设置有图神经网络模型,所述图神经网络模型包括一个图卷积网络和多个全连接网络。
根据本发明,该系统还包括无人机仿真平台。
所述无人机仿真平台中设置有多个无人机仿真模型,在所述无人机仿真模型中设置有图神经网络模型,无人机仿真模型中的图神经网络模型与无人机任务模块中的图神经网络模型相同。
进一步地,在无人机仿真平台中设置有仿真平台通讯单元,
所述无人机仿真平台中设置有神经网络训练模型,所述神经网络训练模型包含一个全连接网络,全连接网络的输入为多个无人机仿真模型模拟的无人机控制指令向量,输出为最终价值。
另一方面,本发明还提供了一种基于图神经网络的无人机协同定位方法,包括以下步骤:
S1、建立图神经网络模型;
S2、建立无人机仿真平台;
S3、通过无人机仿真平台的训练,获得训练好的图神经网络模型;
S4、将训练好的图神经网络模型加载至无人机,通过服务器向多个无人机发送初始目标位置,无人机根据图神经网络模型输出的控制指令动作,完成协同定位。
在步骤S1中,所述图神经网络模型包括一个图卷积网络和多个全连接网络,
图卷积网络的输入为无人机低维特征,输出为无人机高维特征,所述无人机低维特征包括无人机自身低维特征和邻域无人机低维特征;
所述无人机自身低维特征通过全连接网络获得,具体地,将该无人机自身状态信息和目标位置信息作为全连接网络的输入,经过全连接网络运算后获得;
所述邻域无人机低维特征为与该无人机相邻的其它无人机的自身低维特征;
输出的高维特征通过一个全连接网络映射到无人机的控制指令输出。
本发明所述的基于图神经网络的无人机协同定位系统及方法,具有的有益效果包括:
(1)根据本发明提供的基于图神经网络的无人机协同定位系统及方法,定位准确度高,抗干扰能力强;
(2)根据本发明提供的基于图神经网络的无人机协同定位系统及方法,采用去中心化的控制系统,对服务器要求低;
(3)根据本发明提供的基于图神经网络的无人机协同定位系统及方法,无人机控制频率高,更加灵活。
附图说明
图1示出一种优选实施方式的基于图神经网络的无人机协同定位系统图神经网络模型结构示意图;
图2示出一种优选实施方式的基于图神经网络的无人机协同定位方法流程示意图;
图3示出一种优选实施方式的基于图神经网络的无人机协同定位方法中神经网络训练模型训练流程。
具体实施方式
下面通过附图对本发明进一步详细说明。通过这些说明,本发明的特点和优点将变得更为清楚明确。
一方面,本发明提供了一种基于图神经网络的无人机协同定位系统,包括多个无人机、服务器和无人机仿真平台。
所述无人机上搭载有感知传感器,所述感知传感器用于检测目标位置,可以是激光雷达传感器、光电吊舱或其它能够检测反馈目标位置的装置。
在一个优选的实施方式中,多个无人机上搭载的感知传感器不同,当存在某一种强干扰信号干扰某一种感知传感器,导致某一种传感器检测误差变大时,其它感知传感器仍然能够正常工作,从而提高定位精度。
进一步地,所述无人机上还设置有IMU和通讯设备,所述IMU用于检测无人机的位置、角速度、姿态和速度;
所述通讯设备用于与服务器进行通讯。
根据本发明,所述无人机上还设置有任务模块,所述任务模块与无人机飞控单元连接,通过任务模块向飞控单元发出控制指令,以对无人机的状态进行控制。
进一步地,所述任务模块为具有运算功能的器件,例如TX2、Nano等,本邻域技术人员可根据实际需要进行选择。
进一步地,所述任务模块还与IMU连接,以获得无人机的状态信息,
更进一步地,所述任务模块还与通讯设备连接,使得任务模块能够与服务器进行无线通讯,将无人机的自身状态信息以及无人机检测到的目标位置信息传递至服务器。
所述无人机的自身状态信息是指无人机的位置、速度、姿态和角速度信息。
在多个无人机协同定位时,不同无人机的飞行轨迹均不同,以更好的适应无人机上搭载的感知传感器,使得感知传感器的性能能够更好的发挥出来。
在传统的无人机协同控制中,大多采用服务器对无人机统一部署的方式,由服务器计算出每个无人机的下一时刻的控制指令,将此控制指令发送给无人机,无人机按照服务器传递的控制指令飞行,然而,随着无人机集群的复杂性提高,例如无人机数量增多、环境复杂性增强等,对服务器的计算需求呈指数型的提高,使得服务器控制指令生成频率降低,很难达到实时控制的目的,每次控制间隔时长过长,使得无人机飞行不够灵活,容易出现异常事故。
在本发明中,通过无人机搭载的任务模块计算无人机下一时刻的控制指令,实现了去中心化控制,极大减少了对服务器的需求,提高了控制指令生成频率,可达到实时控制的效果。
本发明中,由于采用去中心化控制极大降低了对服务器的要求,使得服务器不仅可以选用任意常规的服务器,还可以使用便携笔记本,甚至还可以使用无人机的板载计算机作为服务器,解决了传统的中心化控制方式中服务器移动困难的弊端,极大提高了系统的便携性。
进一步地,无人机采用去中心化控制后,服务器不在统一部署控制指令,不同无人机上的任务模块如何生成即满足协同控制要求,又能够获得该无人机最优飞行轨迹的控制指令是本发明的难点所在。
根据本发明,所述任务模块中设置有图神经网络模型,所述图神经网络模型包括一个图卷积网络和多个全连接网络。
具体地,如图1所示,图卷积网络的输入为无人机低维特征,所述无人机低维特征包括无人机自身低维特征和邻域无人机低维特征。
进一步地,所述无人机自身低维特征通过全连接网络获得,具体地,将该无人机自身状态信息和目标位置信息作为全连接网络的输入,经过全连接网络运算后获得。
所述邻域无人机低维特征为与该无人机相邻的其它无人机的自身低维特征。
优选地,所述图卷积网络的输入还包括图邻接矩阵,所述图邻接矩阵用于描述该无人机与其它无人机之间的相邻关系,所述图邻接矩阵可根据多个无人机自身状态信息计算获得。
进一步地,所述图卷积网络的输出为一组无人机高维特征,将无人机高维特征作为一个全连接网络的输入,经过全连接网络运算后输出,将输出作为无人机的控制指令,实现无人机高维特征与控制指令的映射。
在本发明中,所述控制指令以向量的形式表达。
所述服务器用于向无人机发送初始目标位置,接收各无人机传递的无人机自身状态信息和其检测到的目标位置信息,并将接收到的信息传递给其它无人机。
进一步地,当无人机均未检测到目标时,目标位置信息为初始目标位置,当有无人机检测到目标时,服务器对目标位置进行更新,将更新后的目标位置发送给无人机。
在本发明中,所述初始目标位置为预判的目标的位置,由于初始目标位置为预估位置,可信度低,通过多个无人机对目标位置进行精确定位,以获得可信度高的准确目标位置。
由于神经网络模型需要经过训练后才能使用,而图神经网络模型训练的过程需要无人机进行大量的飞行、姿态变换等操作,使用真实的无人机进行训练会浪费大量的能源,降低无人机的使用寿命,造成无人机在正式使用前就出现大规模消耗的问题。并且,训练过程中会出现大量的高强度危险动作,可能导致无人机的损毁。
在本发明中,采用设置无人机仿真平台的方式对无人机进行模拟训练,来获得训练后的图神经网络模型。
所述无人机仿真平台中设置有多个无人机仿真模型,通过仿真模型模拟真实无人机的状态,输出无人机的动作值向量。优选地,所述无人机仿真模型通过VICON对无人机辨识获得的,其模拟的性能与真实的无人机极为接近。
所述VICON为英国Oxford Metrics Limited公司研制的光学运动捕捉系统,广泛应用于军事、民用邻域。
进一步地,在所述无人机仿真模型中设置有图神经网络模型,无人机仿真模型中的图神经网络模型与无人机任务模块中的图神经网络模型相同,使得仿真无人机的控制指令算法与真实无人机相同。
进一步地,在无人机仿真平台中设置有仿真地图,为无人机和目标的位置提供坐标系。在本发明中对仿真地图的设置不做特别限制,本邻域技术人员可根据实际需要进行设置,例如设置仿真地图为二维平面地图。
进一步地,在无人机仿真平台中还设置有仿真平台通讯单元,通过仿真平台通讯单元与服务器进行通讯,以模拟仿真无人机与服务器之间的通讯,实现闭环仿真。
通过服务器与仿真平台的通讯,还可在仿真地图上设置初始目标仿真点,用来模拟目标位置。
所述仿真平台通讯单元可以是任意一种能够进行数据传输的单元,优选采用wifi连接。
在一个优选的实施方式中,所述无人机仿真平台上还设置有显示设备,以观察仿真过程。
根据本发明,所述无人机仿真平台中设置有神经网络训练模型。
具体地,所述神经网络训练模型包含一个全连接网络,全连接网络的输入为多个无人机仿真模型模拟的无人机控制指令向量,输出为最终价值,通过最终价值表现多个无人机的控制指令向量是否符合期望。
通过对神经网络训练模型进行训练,即可获得与其耦合的图神经网络模型。
另一方面,本发明还提供了一种基于图神经网络的无人机协同定位方法,包括以下步骤:
S1、建立图神经网络模型;
S2、建立无人机仿真平台;
S3、通过无人机仿真平台的训练,获得训练好的图神经网络模型;
S4、将训练好的图神经网络模型加载至无人机,通过服务器向多个无人机发送初始目标位置,无人机根据图神经网络模型输出的控制指令动作,完成协同定位。
在步骤S1中,所述图神经网络模型包括一个图卷积网络和多个全连接网络。
具体地,图卷积网络的输入为无人机低维特征,输出为无人机高维特征,所述无人机低维特征包括无人机自身低维特征和邻域无人机低维特征。
进一步地,所述无人机自身低维特征通过全连接网络获得,具体地,将该无人机自身状态信息和目标位置信息作为全连接网络的输入,经过全连接网络运算后获得。
所述邻域无人机低维特征为与该无人机相邻的其它无人机的自身低维特征。
优选地,在全连接网络对无人机自身状态信息和目标位置信息进行运算前,将无人机自身状态信息和目标位置信息进行归一化处理,以消除量纲影响。
在一个优选的实施方式中,所述图卷积网络可以通过下式表示:
Figure BDA0002765938150000091
Figure BDA0002765938150000092
其中,W表示全连接神经网络权重,gi表示该无人机自身低维特征,gj表示邻域无人机低维特征,LeakyReLU()为神经网络激活函数,eij为拼接的该无人机和邻域无人机的特征信息,αij表示该无人机与领域无人机的关联程度。
Figure BDA0002765938150000093
表示当前无人机的邻域无人机,a为用于计算无人机之间相关的程度的注意力机制模型,在本发明中,采用矩阵乘法的注意力模型,矩阵乘法的注意力模型的具体可参见Effective Approaches to Attention-based Neural Machine Translation(2015),Luong,Minh-Thang,Pham,Hieu,Manning,Christopher D,在本发明中不做赘述。
通过图卷积网络,可获得该无人机的高维特征,该高维特征可以表示为:
Figure BDA0002765938150000094
其中,σ()为elu激活函数。
优选地,所述图卷积网络的输入还包括图邻接矩阵,所述图邻接矩阵用于描述该无人机与其它无人机之间的相邻关系。
图邻接矩阵的确定方式为:依次计算该无人机的与其余所有无人机的距离之差,然后选取距离最近的两个无人机作为该无人机的邻域,并表示为矩阵形式,例如图邻接矩阵
Figure BDA0002765938150000101
表示编号为UAV3和UAV6与该无人机的距离最近,为该无人机的邻域。
在本发明中,不同于其它强化学习方法,所述图神经网络模型除保存了系统状态(无人机状态和目标状态),动作(无人机动作指令),奖励值以及是否完成任务外,还保存了图邻接矩阵这个信息,将无人机的位置信息作为一种先验知识用于驱使相邻的无人机,使得相邻无人机尽可能完成相似的子任务。
在基于图卷积网络获取到无人机高维特征信息后,然后将该高维特征通过一个全连接网络映射到无人机的控制指令输出。
在步骤S2中,建立无人机仿真平台包括建立仿真地图、无人机仿真模型和神经网络训练模型。
所述仿真地图为二维或三维地图,在所述地图上设置有坐标系,以方便仿真无人机进行位置识别,优选地,所述仿真地图的坐标系采用大地坐标系,使得仿真地图与真实地图相似度更高,便于仿真无人机的训练。
进一步地,通过服务器在仿真地图上设置初始目标仿真点,以模拟初始目标位置。
所述建立无人机仿真模型包括设置图神经网络模型和辨识无人机动力学模型。
具体地,所述设置图神经网络模型为将步骤S1中获得的图神经网络模型设置在无人机仿真模型中,使得仿真无人机能够在仿真平台中根据无人机自身状态信息、其它无人机状态信息和目标位置信息模拟出无人机控制指令。
所述辨识无人机动力学模型是指根据真实无人机的动力学模型辨识出其在控制指令下的运动状态,以使得无人机仿真模型能够在仿真平台上模拟出无人机的轨迹和状态。
优选地,所述辨识无人机动力学模型通过VICON实现的。
所述神经网络训练模型用于表示多个模拟无人机生成的控制指令的最终价值,以最终价值的高低来体现图神经网络模型输出的无人机最终动作指令;神经网络训练模型的神经网络的价值通过环境的累积奖励体现。
进一步地,所述神经网络训练模型包含一个全连接网络,全连接网络的输入为多个无人机仿真模型模拟的无人机控制指令向量,输出为最终价值,通过最终价值表现多个无人机的控制指令向量是否符合期望,进一步地,在本发明中,将此全连接网络称为混合网络。
在一个优选的实施方式中,将所有无人机仿真模型输出的控制指令向量的最大值进行拼接,形成指令最大值拼接向量,将此拼接向量作为混合网络的输入,通过混合网络运算后输出最终价值。
在一个优选的实施方式中,所述混合网络的参数是通过一个或多个神经网络确定的,在本发明中,称之为参数神经网络,优选地,所述参数神经网络为一个全连接神经网络,参数神经网络的输入为全部无人机自身状态信息、目标位置信息,经过运算后生成向量,将生成的向量作为混合网络的参数。
更优选地,将生成的向量取绝对值作为混合网络的参数,从而保证了每个无人机控制指令对最终价值的单调性。该向量与所有无人机控制指令向量通过矩阵乘法获得到最终价值。
在本发明中,通过参数神经网络确定混合网络的参数,相较于传统神经网络通过反向传播获取参数,可以更为高效的将环境全局信息融合到每个无人机的价值中去,获得更优的最终效果。
在一个优选的实施方式中,混合网络的期望,即最终价值(多无人机融合价值)的期望,评价设置为:
Figure BDA0002765938150000121
在本发明中,采用Deep Q-Learning的基于当前Q网络和目标Q网络的双网络结构用来减弱训练中出现的震荡问题,其中θ为当前Q网络参数值,γ为折扣因子,优选地,γ=0.95;s为无人机自身状态和目标位置信息拼接得到的向量,u为无人机控制指令,s为下一状态无人机自身状态和目标位置信息拼接得到的向量,u为下一状态无人机控制指令;
r为环境的奖励值,奖励值的获取可以表示为:
Figure BDA0002765938150000122
所述完成任务是指各无人机根据控制指令运动后能够完成对目标的精确定位,所述未完成任务指各无人机根据控制指令运动后仍然不能确定目标的精确位置。
进一步地,在混合网络中,损失函数可表示如下:
Figure BDA0002765938150000123
其中,Qtot表示混合网络生成的价值,θ-为混合网络参数,b为批样本数,
Figure BDA0002765938150000124
表示不同批样本中数据训练时的期望评价。本发明采用MSE方法计算基于当前所有无人机动作在当前混合Q网络与目标混合Q网络的差值,并基于此进行反向传播。
在步骤S3中,通过无人机仿真平台对仿真无人机进行训练,获得图神经网络模型,其中,图神经网络模型用于训练无人机执行相应动作,混合网络用于多无人机之间的置信度分配。
具体地,包括以下步骤:
S31、通过仿真平台设置多个仿真无人机的自身状态信息,通过服务器在仿真地图上确定目标位置信息。
进一步地将多个仿真无人机进行编码,以便于识别。
S32、将多个仿真无人机的自身状态信息和初始目标位置信息输入图神经网络模型,由图神经网络模型输出无人机控制指令向量。
S33、选择无人机控制指令向量中的最大值作为该无人机的动作值。
S34、重复步骤S31~S33,获得多组数据,组成训练样本,其中,每组数据包含目标位置信息、各仿真无人机的自身状态信息以及对应的各无人机的动作值。
优选地,所述训练样本包含5000组序列数据。
S35、使用训练样本对神经网络训练模型进行训练,获得输出最终价值高的神经网络训练模型,由于神经网络训练模型与图神经网络模型存在耦合关系,故通过对神经网络训练模型进行解耦,即可获得训练好的图神经网络模型。
在步骤S4中,将训练好的图神经网络模型加载至无人机,通过多个无人机与服务器的配合,即可实现无人机的协同定位。
具体地,包括以下子步骤:
S41、服务器与无人机进行通讯,将初始目标位置发送给各无人机,接收各人机的传递的自身状态信息,并将接收的信息发送给其它无人机。
S42、无人机将自身状态信息、接收到的其它无人机的状态信息、初始目标位置输入图神经网络模型,由图神经网络模型输出控制指令,无人机飞控单元根据控制指令控制无人机运动。
S43、无人机通过感知传感器实时检测,将检测的目标位置信息以及自身状态信息传递回服务器,使得服务器能够观测到各无人机的状态,进一步地,服务器将接收到的各无人机的状态信息和目标位置信息传递至其它无人机。
进一步地,当无人机未检测到目标位置信息时,服务器传递的目标位置信息为初始目标位置信息,当无人机检测到目标位置信息时,服务器根据检测数据对目标位置信息进行更新。
重复步骤S42、S43,即可实现无人机的协同定位。
实施例
实施例1
采用服务器、无人机仿真平台和16个无人机搭建无人机协同定位系统,在距离服务器1000米外设定一个热源目标,无人机上搭载红外检测传感器。
采用8代i5集显笔记本作为服务器,此服务器性能较弱,正常的中心化控制方式中,最多支撑8个无人机的控制指令解算。
在服务器上设置预判目标位置偏离实际目标位置100米。
在无人机中设置有图神经网络模型,图神经网络模型包括一个图卷积网络和多个全连接网络,图卷积网络的输入为无人机自身低维特征、邻域无人机低维特征和图邻接矩阵,低维特征,无人机自身低维特征通过全连接网络对该无人机自身状态信息和目标位置信息运算后获得,邻域无人机低维特征为与该无人机相邻的其它无人机的自身低维特征。
图卷积网络通过下式表示:
Figure BDA0002765938150000151
Figure BDA0002765938150000152
高维特征表示为:
Figure BDA0002765938150000153
将该高维特征通过一个全连接网络映射到无人机的控制指令输出。
在无人机仿真平台中设置有仿真地图、无人机仿真模型和神经网络训练模型,无人机仿真模型包括与无人机上相同的图神经网络模型和无人机动力学模型,无人机动力学模型通过VICON辨识无人机获得的。
所述神经网络训练模型包含一个全连接网络,全连接网络的输入为多个无人机仿真模型模拟的无人机控制指令向量的最大值拼接向量,输出为最终价值。其期望评价为
Figure BDA0002765938150000154
损失函数为
Figure BDA0002765938150000155
通过无人机仿真平台对神经网络训练模型进行训练,对训练后的神经网络训练模型解耦获得训练好的图神经网络模型,将训练好的图神经网络模型加载至无人机。
通过服务器向无人机发送初始目标位置,无人机根据图神经网络模型输出的控制指令动作,向目标区域检测,最终实现对目标的定位,实际定位确定的目标位置与实际目标位置的方差小于0.1米。
在本发明的描述中,需要说明的是,术语“上”、“下”、“内”和“外”等指示的方位或位置关系为基于本发明工作状态下的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
以上结合了优选的实施方式对本发明进行了说明,不过这些实施方式仅是范例性的,仅起到说明性的作用。在此基础上,可以对本发明进行多种替换和改进,这些均落入本发明的保护范围内。

Claims (6)

1.一种基于图神经网络的无人机协同定位系统,包括多个无人机和服务器;
所述无人机上搭载有感知传感器、IMU、通讯设备和任务模块,
所述任务模块与无人机飞控单元连接,通过任务模块计算无人机下一时刻的控制指令,将控制指令传递至飞控单元;
所述任务模块中设置有图神经网络模型,所述图神经网络模型包括一个图卷积网络和多个全连接网络;
所述图卷积网络表示:
Figure FDA0004004460490000011
Figure FDA0004004460490000012
其中,W表示全连接神经网络权重,gi表示该无人机自身低维特征,gj表示邻域无人机低维特征,LeakyReLU()为神经网络激活函数,eij为拼接的该无人机和邻域无人机的特征信息,αij表示该无人机与领域无人机的关联程度,
Figure FDA0004004460490000013
表示当前无人机的邻域无人机,a为用于计算无人机之间相关的程度的注意力机制模型;
图卷积网络的输入为无人机低维特征,输出为无人机高维特征,所述无人机低维特征包括无人机自身低维特征和邻域无人机低维特征;
所述无人机自身低维特征通过全连接网络获得,将该无人机自身状态信息和目标位置信息作为全连接网络的输入,经过全连接网络运算后获得;
所述邻域无人机低维特征为与该无人机相邻的其它无人机的自身低维特征;
输出的高维特征通过一个全连接网络映射到无人机的控制指令输出,该高维特征表示为:
Figure FDA0004004460490000021
其中,σ()为elu激活函数。
2.根据权利要求1所述的基于图神经网络的无人机协同定位系统,其特征在于,
包括无人机仿真平台。
3.根据权利要求2所述的基于图神经网络的无人机协同定位系统,其特征在于,
所述无人机仿真平台中设置有多个无人机仿真模型,在所述无人机仿真模型中设置有图神经网络模型,无人机仿真模型中的图神经网络模型与无人机任务模块中的图神经网络模型相同。
4.根据权利要求2所述的基于图神经网络的无人机协同定位系统,其特征在于,
在无人机仿真平台中设置有仿真平台通讯单元。
5.根据权利要求2所述的基于图神经网络的无人机协同定位系统,其特征在于,
所述无人机仿真平台中设置有神经网络训练模型,所述神经网络训练模型包含一个全连接网络,全连接网络的输入为多个无人机仿真模型模拟的无人机控制指令向量,输出为最终价值。
6.一种基于图神经网络的无人机协同定位方法,包括以下步骤:
S1、建立图神经网络模型;
S2、建立无人机仿真平台;
S3、通过无人机仿真平台的训练,获得训练好的图神经网络模型;
S4、将训练好的图神经网络模型加载至无人机,通过服务器向多个无人机发送初始目标位置,无人机根据图神经网络模型输出的控制指令动作,完成协同定位;
在步骤S1中,所述图神经网络模型包括一个图卷积网络和多个全连接网络,
所述图卷积网络表示:
Figure FDA0004004460490000031
Figure FDA0004004460490000032
其中,W表示全连接神经网络权重,gi表示该无人机自身低维特征,gj表示邻域无人机低维特征,LeakyReLU()为神经网络激活函数,eij为拼接的该无人机和邻域无人机的特征信息,αij表示该无人机与领域无人机的关联程度,
Figure FDA0004004460490000033
表示当前无人机的邻域无人机,a为用于计算无人机之间相关的程度的注意力机制模型;
图卷积网络的输入为无人机低维特征,输出为无人机高维特征,所述无人机低维特征包括无人机自身低维特征和邻域无人机低维特征;
所述无人机自身低维特征通过全连接网络获得,将该无人机自身状态信息和目标位置信息作为全连接网络的输入,经过全连接网络运算后获得;
所述邻域无人机低维特征为与该无人机相邻的其它无人机的自身低维特征;
输出的高维特征通过一个全连接网络映射到无人机的控制指令输出,该高维特征表示为:
Figure FDA0004004460490000034
其中,σ()为elu激活函数。
CN202011233365.0A 2020-11-06 2020-11-06 基于图神经网络的无人机协同定位系统及方法 Active CN112414401B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011233365.0A CN112414401B (zh) 2020-11-06 2020-11-06 基于图神经网络的无人机协同定位系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011233365.0A CN112414401B (zh) 2020-11-06 2020-11-06 基于图神经网络的无人机协同定位系统及方法

Publications (2)

Publication Number Publication Date
CN112414401A CN112414401A (zh) 2021-02-26
CN112414401B true CN112414401B (zh) 2023-02-28

Family

ID=74782127

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011233365.0A Active CN112414401B (zh) 2020-11-06 2020-11-06 基于图神经网络的无人机协同定位系统及方法

Country Status (1)

Country Link
CN (1) CN112414401B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113792843B (zh) * 2021-08-19 2023-07-25 中国人民解放军军事科学院国防科技创新研究院 一种在行为克隆框架下基于群体方向一致性和稳定性的蜂拥涌现控制方法
CN115355764A (zh) * 2022-09-02 2022-11-18 中交遥感载荷(江苏)科技有限公司 一种基于视觉的敌我目标识别的无人机对抗方法
CN115731690B (zh) * 2022-11-18 2023-11-28 北京理工大学 一种基于图神经网络强化学习的无人公交集群决策方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110232434A (zh) * 2019-04-28 2019-09-13 吉林大学 一种基于属性图优化的神经网络架构评估方法
CN111161315A (zh) * 2019-12-18 2020-05-15 北京大学 一种基于图神经网络的多目标跟踪方法和系统
CN111191099A (zh) * 2019-12-30 2020-05-22 中国地质大学(武汉) 一种基于社交媒体的用户活动类型识别方法
CN111353583A (zh) * 2020-02-20 2020-06-30 南京工程学院 基于群卷积特征拓扑空间的深度学习网络及其训练方法
CN111458471A (zh) * 2019-12-19 2020-07-28 中国科学院合肥物质科学研究院 一种基于图神经网络的水域检测预警方法
CN111738318A (zh) * 2020-06-11 2020-10-02 大连理工大学 一种基于图神经网络的超大图像分类方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107479368B (zh) * 2017-06-30 2021-09-21 北京百度网讯科技有限公司 一种基于人工智能的训练无人机控制模型的方法及系统
US20190139622A1 (en) * 2017-08-03 2019-05-09 Zymergen, Inc. Graph neural networks for representing microorganisms
CN111652899B (zh) * 2020-05-29 2023-11-14 中国矿业大学 一种时空部件图的视频目标分割方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110232434A (zh) * 2019-04-28 2019-09-13 吉林大学 一种基于属性图优化的神经网络架构评估方法
CN111161315A (zh) * 2019-12-18 2020-05-15 北京大学 一种基于图神经网络的多目标跟踪方法和系统
CN111458471A (zh) * 2019-12-19 2020-07-28 中国科学院合肥物质科学研究院 一种基于图神经网络的水域检测预警方法
CN111191099A (zh) * 2019-12-30 2020-05-22 中国地质大学(武汉) 一种基于社交媒体的用户活动类型识别方法
CN111353583A (zh) * 2020-02-20 2020-06-30 南京工程学院 基于群卷积特征拓扑空间的深度学习网络及其训练方法
CN111738318A (zh) * 2020-06-11 2020-10-02 大连理工大学 一种基于图神经网络的超大图像分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于图神经网络的无人机无源定位航迹自主生成方法;钟昊;《价值工程》;20200415;第254-258页 *
钟昊.基于图神经网络的无人机无源定位航迹自主生成方法.《价值工程》.2020,第254-258页. *

Also Published As

Publication number Publication date
CN112414401A (zh) 2021-02-26

Similar Documents

Publication Publication Date Title
CN112414401B (zh) 基于图神经网络的无人机协同定位系统及方法
CN107479368B (zh) 一种基于人工智能的训练无人机控制模型的方法及系统
CN111338383B (zh) 基于gaas的自主飞行方法及系统、存储介质
US20190107846A1 (en) Distributed system for management and control of aerial vehicle air traffic
Phung et al. System architecture for real-time surface inspection using multiple UAVs
Deng et al. Indoor multi-camera-based testbed for 3-D tracking and control of UAVs
Raja et al. PFIN: An efficient particle filter-based indoor navigation framework for UAVs
CN112789672B (zh) 控制和导航系统、姿态优化、映射和定位技术
CN109074090A (zh) 无人机硬件架构
CN112651437A (zh) 一种基于深度学习的空间非合作目标位姿估计方法
CN113406968A (zh) 基于数字孪生的无人机自主起降巡航方法
Zhou et al. Toward autonomy of micro aerial vehicles in unknown and global positioning system denied environments
Saif et al. Modelling of quad‐rotor dynamics and Hardware‐in‐the‐Loop simulation
CN117390498B (zh) 一种基于Transformer模型的固定翼集群无人机飞行能力评估方法
Pokhrel Drone obstacle avoidance and navigation using artificial intelligence
KR102169512B1 (ko) Uav 및 rfid를 이용한 위치정보 추정 시스템 및 방법
Chronis et al. Dynamic Navigation in Unconstrained Environments Using Reinforcement Learning Algorithms
CN116009583A (zh) 基于纯粹视觉的分布式无人机协同运动控制方法和装置
CN114964268A (zh) 一种无人机导航方法及装置
Śmigielski et al. Visual simulator for MavLink-protocol-based UAV, applied for search and analyze task
Sun et al. Learning-based Perception Contracts and Applications
Leng et al. An improved method for odometry estimation based on EKF and Temporal Convolutional Network
EP4128028A1 (en) User-in-the-loop object detection and classification systems and methods
Hensel et al. Monocular Depth Estimation for Autonomous UAV Navigation Based on Deep Learning
Chen et al. Real-time UAV Flight Path Prediction Using A Bi-directional Long Short-term Memory Network with Error Compensation [J]

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant