CN110618701B - 用于目标跟踪的多无人机协同优化方法及系统 - Google Patents

用于目标跟踪的多无人机协同优化方法及系统 Download PDF

Info

Publication number
CN110618701B
CN110618701B CN201910789205.5A CN201910789205A CN110618701B CN 110618701 B CN110618701 B CN 110618701B CN 201910789205 A CN201910789205 A CN 201910789205A CN 110618701 B CN110618701 B CN 110618701B
Authority
CN
China
Prior art keywords
unmanned aerial
target
aerial vehicle
trr
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910789205.5A
Other languages
English (en)
Other versions
CN110618701A (zh
Inventor
朱晓敏
包卫东
刘大千
费博雯
王吉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN201910789205.5A priority Critical patent/CN110618701B/zh
Publication of CN110618701A publication Critical patent/CN110618701A/zh
Application granted granted Critical
Publication of CN110618701B publication Critical patent/CN110618701B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明提供了一种用于目标跟踪的多无人机协同优化方法及系统,包括:实时获取所有无人机的目标识别率TRR;设定协同阈值θ1和协同阈值θ2,根据协同阀值θ1、协同阈值θ2与目标识别率TRR之间的关系对无人机的飞行方向进行调整;基于协同策略建立约束条件从而使无人机实时进行飞行调整,以使无人机按照目标函数进行目标追踪。本发明根据目标识别率,自适应地确定不同的识别策略,以保证跟踪飞行的整体鲁棒性,并且能够更好的完成目标追踪。并且根据运动势能列出多无人机跟踪的目标函数,以使无人机更好的完成目标追踪。

Description

用于目标跟踪的多无人机协同优化方法及系统
技术领域
本发明属于一种无人机追踪领域,具体是涉及到一种用于目标跟踪的多无人机协同优化方法及系统。
背景技术
目前,无人机已被广泛应用于军事领域和民用领域。军事领域的主要应用包括无人侦察、环境感知、安全监视、导弹制导等。同时,无人机在交通监控、资源勘探、农业灌溉、道路检测、灾区救援等民用领域也受到广泛关注。由于大型无人机存在成本高、携带不方便等缺点,小型无人机越来越受到人们的认可。它的优点主要包括:(1)使用成本低;(2)不需要特定的起飞空间;(3)携带方便;(4)能够以低能量实现远距离监控目标。近年来,基于小型无人机的应用开发成为研究者关注的热点问题之一。在基于无人机的跟踪问题上,为了提供一个公共测试平台来验证不同跟踪方法的性能,在2016年建立了公开的无人机跟踪基准库,其中包括123个视频序列和超过11000个图像帧。该基准库的建立对无人机目标跟踪的研究开辟了一个新的思路,具有十分重要意义。许多基于常规视频的跟踪方法同样显示了出色的跟踪性能,如:DSST、Meet、KCF。同年,Chen等人设计了一个单无人机跟踪控制系统,该系统将无人机在室内外环境中对地面运动目标的跟踪分为三种控制模式:目标搜索模式、目标跟踪模式和目标丢失模式,进一步推动了无人机跟踪研发的热潮。在此之后,一些学者应用支持向量机(Support Vector Machine,SVM)或卷积神经网络(ConvolutionalNeural Networks,CNN)来区分目标和背景,提高了无人机跟踪的整体鲁棒性。然而,由于单无人机在飞行过程中容易受到遮挡、视角变化、背景杂波等干扰,不具备在复杂场景中独立执行观测任务的能力,多无人机协同跟踪已成为当今更为有效的跟踪策略。
多无人机协同跟踪是一种典型的多Agent系统。一个Agent能够实时测量与相邻Agent的相对距离,并调整自身飞行位置以实现最优观测。迄今为止,无人机协同跟踪技术还不够成熟,但由于其广阔的应用前景,许多学者纷纷投入到此项研究当中。对于多无人机协同控制方面,最基本的解决方案是Leader-Follower结构,Leader通常是提前定义的领航者,Follower将其视为参考物,与之保持一定的相对位置进行协同飞行。但该结构存在严重不足,一旦Leader偏离航线,则Follower也将随之偏离而导致跟踪任务失败。为了解决此问题,Oh等人提出了虚拟结构的控制方式,其中每个无人机被视为单独实体,实体间的位置信息被视为虚拟编队结构。此外,Zhang等人指出无人机的姿态角是编队飞行控制不可缺少的组成部分,并设计了一种基于神经动态控制的方法,使无人机能够自主控制飞行位置和角度,但该方法不能满足实时任务的要求。实际上,由于环境因素的干扰、目标的运动状态实时变化且运动不规则等问题,协同跟踪目标除编队控制外还应考虑无人机与目标的相关性,即利用无人机实时检测的目标识别率构建多无人机组织协同关系。然而,目前面向多无人机组织、协同关系的研究相对较少,主要的挑战有以下两点。(1)在跟踪过程中必须考虑各无人机对目标的识别情况,才能对目标所处的环境做出决策;(2)由于各无人机目标识别率的差异,需要设计多种协同策略来应对环境变化。
发明内容
本发明要解决的技术问题是提供一种用于目标跟踪的多无人机协同优化方法及系统,以解决现有技术中存在的技术问题。
本发明的内容包括:
本发明首先提供了一种用于目标跟踪的多无人机协同优化方法,包括以下步骤:
实时获取所有无人机的目标识别率TRR;
设定协同阈值θ1和协同阈值θ2,根据协同阀值θ1、协同阈值θ2与目标识别率TRR之间的关系制定协调策略;
基于协同策略建立约束条件从而使无人机实时进行飞行调整,以使无人机按照目标函数进行目标追踪。
优选地,对无人机的飞行方向进行调整的具体方式为:
若所有无人机的目标识别率TRR≤θ1,则追踪目标处于背景杂波环境中而导致所有无人机均发生误识别,目标偏离了无人机的视野范围,无人机编队需调整搜索范围;
若至少存在一架无人机的目标识别率TRR满足θ1≤TRR≤θ2,则目标发生了多角度遮挡,根据目标识别率最大的无人机位置对其他无人机位置进行微调;
若所有无人机的目标识别率TRR均满足θ1≤TRR≤θ2,则目标发生了局部遮挡或相似物体干扰,据目标识别率最大的无人机位置对其他无人机位置进行微调;
若无人机的目标识别率TRR至少存在一个TRR≥θ2,则目标发生方向的转变而导致无人机的视角变化,以目标识别率TRR最高的无人机为中心,对其它无人机的位置进行重新初始化后进行调整;
若所有无人机的目标识别率TRR均满足TRR≥θ2,则目前多无人机跟踪是准确的,无人机飞行位置无需调整。
优选地,所有无人机的目标识别率TRR≤θ1时的具体调整方式为:
以目标识别率TRR最大的无人机为中心,其他无人机向其靠拢的方式确定各个无人机的偏移方向,调整后的无人机的坐标满足:
Figure GDA0003786734320000021
Figure GDA0003786734320000031
其中,(xit,yit)为t时刻第i架无人机调整后的位置坐标,
Figure GDA0003786734320000032
表示无人机在x、y轴方向的位移,n为采样时间,±表示无人机的偏移方向。
优选地,至少存在一架无人机的目标识别率TRR满足θ1≤TRR≤θ2时,调整后的无人机的坐标满足:
Figure GDA0003786734320000033
其中,a∈[1,N]记录目标识别率TRR最大的那架无人机的标号,
Figure GDA0003786734320000034
均为弹性模糊约束项,
Figure GDA0003786734320000035
pi、qi为容差;
所有无人机的目标识别率TRR均满足θ1≤TRR≤θ2的具体调整方式为与至少存在一架无人机的目标识别率TRR满足θ1≤TRR≤θ2的具体调整方式一致。
优选地,无人机的目标识别率TRR至少存在一个TRR≥θ2时,调整后的无人机的坐标满足:
Figure GDA0003786734320000036
其中,a∈[1,N],li、di均为严格约束项。
优选地,θ1=0.3,θ2=0.7。
优选地,所有无人机飞行时需要满足稳定性要求,动态势能越小,无人机的飞行稳定性越高,无人机的动态势能为:
Figure GDA0003786734320000037
其中,s表示第i架无人机UAVi在Δt时间段内的最大飞行位移,Δxi、Δyi为第i架无人机UAVi的调整位移(Δxi=xi-x′i,Δyi=yi-y′i);
基于无人机的动态势能,无人机协同跟踪的目标函数为:
Figure GDA0003786734320000041
优选地,所有吧无人机之间需保持安全距离,安全距离约束表示如下:
Figure GDA0003786734320000042
其中,ew为是无人机在x轴上的最小安全距离,rw为是无人机在y轴上的最小安全距离。
优选地,当目标处于背景杂波环境时,协同模型可以表示为:
Figure GDA0003786734320000043
Figure GDA0003786734320000044
Figure GDA0003786734320000045
Figure GDA0003786734320000046
其中,I为二进制变量,若目标被遮挡或出现相似物体干扰,则I=1;若目标的运动方向发生改变时,则I=0,当I=0时,协同模型等价为二次规划模型,利用库恩-塔克条件将二次规划转化为线性规划;当I=1时,协同模型为伴有弹性约束的二次规划模型。
依托于上述方法,本发明还提供了一种用于目标跟踪的多无人机协同优化系统,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述任一方法的步骤。
本发明的有益效果是包括:
1、本发明根据目标识别率,自适应地确定不同的识别策略,以保证跟踪飞行的整体鲁棒性,并且能够更好的完成目标追踪。
2、本发明还考虑了无人机的稳定性、安全性,建立了各种约束模型,其中的基于距离的弹性约束项提高了协同模型的容错能力。
3、本发明根据无人机的运动势能列出多无人机跟踪的目标函数,以使无人机更好的完成目标追踪。
附图说明
附图1为本发明的用于目标跟踪的多无人机协同优化方法流程图;
附图2为本发明优选实施例中三架无人机飞行调整示意图;
附图3为本发明优选实施例中无人机编队的初始位置示意图;
附图4为本发明优选实施例中三种初始位置条件下多无人机协同跟踪的比较示意图;
附图5为本发明优选实施例中环绕跟踪中的平均误差示意图;
附图6为本发明优选实施例中无人机跟踪初始位置示意图;
附图7为本发明优选实施例中与单个无人机的跟踪比较示意图;
附图8为本发明优选实施例中三种模型的飞行轨迹示意图;
附图9为本发明优选实施例中三种模型的跟踪性能比较示意图;
附图10为本发明优选实施例中UE4协同跟踪效果示意图。
具体实施方式
实施例1:
多无人机协同跟踪要求被跟踪的目标始终在无人机的观测范围内,即至少存在一架无人机可以随时观测到目标,并实时调整其他无人机的飞行位置。为了提高协同跟踪的准确性,本发明设计了一个协同跟踪方法,根据无人机搭载的跟踪算法(目标函数)实时的目标识别率确定不同的跟踪策略,协同跟踪流程如图1所示,具体步骤如下。
(1)计算目标识别率。由于地面上的目标移动不规则,每架无人机通过拷入的跟踪算法执行飞行任务,其跟踪性能由目标识别率(Target Recognition Rate,TRR)来衡量。
(2)制定协调策略。无人机将各自的目标识别率传送到PC机,并相互共享它们之间的地理位置信息。通过此方式对跟踪过程中的背景杂波、相似物体干扰、多角度遮挡、局部遮挡、目标运动方向变化等复杂场景进行预测,以制定相应的协同决策。
(3)建立协同优化模型。将无人机的运动势能定义为协同模型的目标函数。基于上述决策,建立相应的飞行约束、弹性约束、严格约束等条件。
(4)飞行调整。通过求解优化模型,调整无人机的飞行位置,使其处于最佳观测角度,从而实现最佳的跟踪性能。
令(x′it,y′it)表示第i架无人机UAVi在t时刻的位置坐标,设θ1、θ21<θ2)为协同阈值,无人机协同跟踪的主要难点是目标遮挡、视场变化、相似物体干扰、背景杂波等复杂场景。本发明将通过比较每架无人机的目标识别率(TRR)和阈值θ1、θ2来制定不同的协同飞行策略。
若所有无人机的目标识别率TRRi均满足:TRRi≤θ1,则认定目标可能处于背景杂波环境中而导致所有无人机均发生误识别,这意味着目标偏离了无人机的视野范围,无人机编队必须调整搜索范围以确保跟踪的灵活性。调整方式如下:
Figure GDA0003786734320000061
Figure GDA0003786734320000062
其中,(xit,yit)为t时刻第i架无人机调整后的位置坐标,
Figure GDA0003786734320000063
表示无人机在x、y轴方向的位移,n为采样时间,±表示无人机的偏移方向。跟踪平台以TRR最大的无人机为中心,其他无人机向其靠拢的方式确定各个无人机的偏移方向,图2显示了三架无人机在跟踪过程中的调整过程。
在图2中,UAV2为中心无人机,UAV1与UAV3需要调整飞行偏移方向。因此公式(1)可以重写为:
Figure GDA0003786734320000064
Figure GDA0003786734320000065
Figure GDA0003786734320000066
若至少存在一架无人机的目标识别率TRRi满足:θ1≤TRRi≤θ2,则认定目标可能发生了多角度遮挡。根据识别率最大的无人机位置(x′at,y′at)对其他无人机位置(x′it,y′it)进行微调,保证多无人机跟踪的整体稳健性。调整后的无人机的位置应满足以下限制:
Figure GDA0003786734320000067
其中,a∈[1,N]记录目标识别率TRR最大的那架无人机的标号,
Figure GDA0003786734320000068
均为弹性模糊约束项,
Figure GDA0003786734320000069
pi、qi为容差。将优化求解的约束条件模糊化,使协同优化跟踪具有一定的容错能力。
若所有无人机的目标识别率TRRi均满足:θ1≤TRRi≤θ2,则认定目标可能发生了局部遮挡或相似物体干扰。与上述调整方式相同,根据识别率最大(TRRa≤θ2)的无人机位置(x′at,y′at)对其他无人机位置(x′it,y′it)进行微调,调整后的无人机的位置应满足公式(6)的限制。
若无人机的目标识别率TRRi值至少存在一个大于θ2,则认定目标可能发生方向的转变而导致无人机的视角变化,因此无人机位置(x′it,y′it)同样需要调整。
然而在跟踪测试过程中发现,在弹性约束条件下调整位置的效果不明显,且目标方向改变时无人机的整体识别率均不高。因此,在该策略中改用严格的约束条件,以识别率最高的无人机为中心,对其它无人机的位置进行重新初始化。调整后的无人机的位置应满足以下限制:
Figure GDA0003786734320000071
其中,a∈[1,N],li、di均为严格约束项。
若无人机的目标识别率TRRi值均满足:TRRi≥θ2,则认为目前多无人机跟踪是准确的,无人机飞行位置无需调整。
在编队跟踪过程中,飞行偏移、相机抖动等因素会严重影响无人机对目标的识别率,导致整体跟踪的失败。因此,为了确保无人机在稳定状态下飞行到指定最佳观测位置,本实施例设计的协同跟踪方法将基于位移的运动势能定义为保证飞行稳定性的优化指标。
将无人机UAVi的动态势能定义为:
Figure GDA0003786734320000072
其中,s表示第i架无人机UAVi在Δt时间段内的最大飞行位移,Δxi、Δyi为第i架无人机UAVi的调整位移(Δxi=xi-x′i,Δyi=yi-y′i)。公式(8)表明无人机的实际移动位移越小,其势能JUAVi越小,即无人机的飞行稳定性越高,有利于无人机对目标的持续观测。
多无人机协同跟踪的运动势能为:
Figure GDA0003786734320000073
其中,N表示无人机的个数。由于运动总势能只与无人机的实际移动位移相关,因此协同跟踪的目标函数可以改写为:
Figure GDA0003786734320000074
由于Δx与Δy相互独立,公式(10)可等价为:
Figure GDA0003786734320000081
其中,f(Δx)为自变量Δx的二次函数,f(Δy)为自变量Δy的二次函数。由此可以看出,通过求解公式(11)中的两个二次函数,即完成协同跟踪过程。
为了避免碰撞风险,在飞行时必须确保无人机之间保持一定的安全距离。安全距离约束表示如下:
Figure GDA0003786734320000082
其中,ew为是无人机在x轴上的最小安全距离,rw为是无人机在y轴上的最小安全距离。
当目标处于背景杂波环境时,使用公式(1)和公式(2)调整无人机编队的飞行方式,修正无人机的搜索范围以确保整体跟踪的灵活性。若目标被遮挡、相似干扰或其运动方向发生改变时,协同模型可以表示为:
Figure GDA0003786734320000083
Figure GDA0003786734320000084
其中,I为二进制变量,若目标被遮挡或出现相似物体干扰,则I=1;若目标的运动方向发生改变时,则I=0。当I=0时,协同模型等价为二次规划模型,利用库恩-塔克(Kuhn-Tucker)条件将二次规划转化为线性规划。当I=1时,协同模型为伴有弹性约束的二次规划模型。
由于公式(13)和(14)包含模糊约束,将它们定义为具有弹性约束的二次规划模型。下面对基于自变量x的二次模型进行推导计算,而基于自变量y的求解具有相似过程。将kuhn-tucker条件应用于公式(13),转化为线性规划问题。
Figure GDA0003786734320000091
其中,zj与vj为辅助向量,xN+i与xN+w为松弛变量。由于
Figure GDA0003786734320000092
是模糊数,公式(15)不能直接求解。因此提取模糊项
Figure GDA0003786734320000093
建立如下模糊线性模型。
Figure GDA0003786734320000094
其中,xN+i为松弛变量,xN+i=0(i=1,2,...,N)。根据Verdegay理论,公式(16)可改写为:
Figure GDA0003786734320000095
其中,(μi(X))α={X|μi(X)≥α},X=(x1,...,xN)T∈RN,α为满意度(α∈[0,1])。E=(e1,...,eN)∈RN表示模糊系数向量,Ai=(ai1,...,aiN)为约束系数。下面利用模糊结构元理论求解模糊项:
给定α∈[0,1],若Xα=(xα1,…,xαN)T满足公式(17)的约束条件,则称Xα为模糊规划模型的α可行解,记α可行解集为
Figure GDA0003786734320000096
Figure GDA0003786734320000097
且其他α可行解
Figure GDA0003786734320000098
满足EX″α≥EX′,则称X′α为模糊规划模型的α有效解,记α有效解集为
Figure GDA0003786734320000099
Figure GDA00037867343200000910
为α的可行解集,若映射满足:
Figure GDA00037867343200000911
则称Φ为目标函数的拟最优函数。若
Figure GDA00037867343200000912
Figure GDA00037867343200000913
Figure GDA00037867343200000914
为模糊规划模型的α的最优可行解。
Figure GDA00037867343200001015
为公式(17)的α拟最优可行解,则
Figure GDA0003786734320000101
一定为模糊规划模型(公式(19))的α拟最优可行解。
Figure GDA0003786734320000102
令公式(17)与公式(19)的α可行解集分别为
Figure GDA0003786734320000103
α有效解集分别为
Figure GDA0003786734320000104
Figure GDA0003786734320000105
Figure GDA0003786734320000106
Figure GDA0003786734320000107
Figure GDA0003786734320000108
Figure GDA0003786734320000109
满足EX″α≥EX′α,则可知
Figure GDA00037867343200001010
因此(X′α1)F=(X′α2)F。若
Figure GDA00037867343200001016
为公式(19)的α拟最优可行解,则存在最优函数
Figure GDA00037867343200001011
可知,Φ同为公式(17)的最优函数。所以
Figure GDA00037867343200001012
为公式(17)的α最优可行解。
将包含模糊项的公式(15)转换为线性规划模型,其公式如下:
Figure GDA00037867343200001013
同样地,包含自变量y的二次函数的公式(14)可转化为:
Figure GDA00037867343200001014
其中,hj、uj为辅助向量,辅助二次模型的求解。模型的实现如算法1所示。
Figure GDA0003786734320000111
其中,DComplexScenario();DOcclusion();DChange()分别作为算法2、算法3和算法4。算法2具体为:
Figure GDA0003786734320000112
Figure GDA0003786734320000121
Figure GDA0003786734320000122
Figure GDA0003786734320000123
当目标运动过程中,UAV通过跟踪算法获得一个目标识别率TRR,由于无人机的拍摄角度的不同,跟踪过程中存在许多不确定因素影响着多无人机协同跟踪结果,因此设置了两个阈值(θ12)来判断当前的跟踪状态。当s1==N时,采用DComplexScenario()选取TRR值最大的无人机为中心,利用公式(1)对无人机编队进行飞行调整以更适应复杂场景问题。若s2≥1且s3==0,我们认为目标发生遮挡,利用DOcclusion()建立含弹性约束项的二次规划模型调整无人机的飞行轨迹。若s3≥1,目标的运动方向在移动过程中发生了变化,利用DChange()建立常规的二次规划模型,这是因为无人机在这种状态下的跟踪易受外界因素的影响,因此需要采取严格的约束条件和安全距离来解决这一问题。
提出的协同优化跟踪方法的时间复杂度为O(nNt 2),其中,n表示跟踪时长,Nt表示t时刻无人机编队飞行的数量。
在函数DComplexScenario()中,将无人机编队调整到最佳观测位置的时间复杂度为O(Nt)。DOcclusion()函数的时间复杂度为O(Nt(Nt+1)/2)=O(Nt 2)。与DOcclusion()函数相似,DChange()函数在最坏情况下的时间复杂度为O(Nt 2)。因此,协同模型的复杂度为:O(n(Nt+Nt+Nt(Nt+1)/2+Nt(Nt+1)/2))=O(nNt 2)。
实施例2:
为了验证该方法的有效性,对多无人机的协同跟踪性能进行了仿真评估。同时在虚拟引擎4(Unreal Engine 4,UE4)中进行仿真演示,该引擎使用User Data Protocol(UDP)与Matlab仿真平台进行交互,以更直观地评估协同跟踪的有效性。计算机环境:IntelCore i7-3740 CPU,2.70GHz,8GB内存。由于缺乏一些规范化的标准进行度量评估,因此本发明定义以下两种度量方式:
(1)由于拍摄角度不同,实际跟踪中多无人机的TRR受到外部环境(如复杂场景、遮挡)的影响。因此,本发明定义无人机的轨迹误差(Trajectory Error,TE)以评估协同跟踪模型的精度。根据目标和各无人机的实际运动轨迹计算误差,计算公式为:
Figure GDA0003786734320000131
其中,distancei表示目标与无人机UAVi之间的初始距离,在实验中,本文计算每一时刻的TEi评估协同模型的跟踪误差。
(2)本实施例通过实时检测的TRR来调整多个无人机的位置,若TRR不能得到改善,这意味着提出的协同模型的性能较差,因此定义误识别帧(Misrecognition Frame,MF)度量协同跟踪模型的鲁棒性。若当前帧中TRRi小于0.3,则认为该无人机丢失了目标。
Figure GDA0003786734320000132
假设目标在跟踪过程中匀速运动。无人机之间的安全距离为100米,飞行高度为200米,监测周期为1秒,即时刻监测和调整无人机的飞行位置,以获得最佳的跟踪精度。多无人机初始协同飞行控制采用帧间偏移法,具体为:
Figure GDA0003786734320000141
其中,(x′it,y′it)表示第i架无人机UAVi在t时刻的位置坐标,φ为偏航角,J为相邻采样帧的数目。为了满足无人机跟踪的实时性要求,本文选择实时性高的DSST作为跟踪算法,该算法在无人机上的跟踪鲁棒性已得到了验证。它的运行速度是25fps。在弹性约束下,α=0.6。
为了保证多个无人机能够协同完成跟踪任务,由于目标识别和信息交互造成的延迟而导致无人机数量需要严格限制。在本实施例中,无人机之间的信息传输采用了ZigBee技术,该技术是一种低功耗、短距离的无线传输协议。延迟T表示为:
Figure GDA0003786734320000142
Figure GDA0003786734320000143
其中,s表示数据量,b表示信息传输速率。在理想情况下,ZigBee的传输速率为250Kbps。然而在实际跟踪中,由于障碍物、空气湿度等因素,速率会大大降低(如20Kbps),我们的系统中无人机之间传输的数据量约为1.5Kb,主要包括无人机ID、地理位置、目标识别率等。因此,两个无人机之间的交互时延为0.011s,由于协同模型需要实时检测和调整无人机的位置,因此交互延迟T应小于0.5s,无人机数量可达6-7架,但考虑到协同飞行的稳定性和单目标跟踪的成本效益,本文取N=3。
无人机的初始位置对跟踪精度有着至关重要的影响,尤其是在目标移动过程中可能被障碍物遮挡。在本实施例中,我们着重于选择最佳位置,以最大限度地提高协同跟踪的精度。理论上,根据编队和观测角度的不同,无人机与目标之间存在若干初始位置关系。本实施例主要考虑三个典型位置,以降低该问题的复杂性。图3(a)表示目标在中心,无人机在其周围。图3(b)显示两架无人机在目标两侧,一架在目标前方。图3(c)显示3架无人机都在目标的后面进行跟踪。这三种无人机的位置分别被命名为环绕跟踪、半环绕跟踪和跟随跟踪。为了选择合适的初始位置以获得多个无人机协同跟踪的最佳效果,本文尝试分别测试图3种不同位置无人机的跟踪性能,对比结果如图4所示。
图4(a)1-图4(a)3显示了目标与无人机的运动轨迹,可以清楚地看到,当目标位于多个无人机编队中心时,三个无人机的运动轨迹相对稳定,误差较小。图4(b)1-图4(b)3显示了在这种情况下无人机的轨迹误差。我们可以看出,在环绕跟踪中,无人机1的误差明显大于无人机2和无人机3的误差,但随着时间的推移,无人机2和无人机3的误差始终保持在较低的水平,3架无人机的平均航迹误差在1.5米左右。
然而在半环绕跟踪中,三架无人机的轨迹存在明显的波动,特别是目标运动方向发生了变化时,UAV3的波动幅度比其他两种无人机都大,说明其在跟踪过程中的不稳定性。三架无人机的平均轨迹误差大于15米,因此可以得出这样的结论:如果采用半环绕跟踪,协同跟踪的精度很差,这是因为两架无人机的初始位置与目标平行,如果目标的运动方向发生剧烈变化,其中一架无人机在编队中会失去目标。虽然协同模型调整了多无人机的搜索范围,但由于初始位置的限制,它们的偏移量较大,导致这一阶段的观测误差较大。
在跟随跟踪中,当目标位于多无人机编队前方时,模型也保持了较高的跟踪精度,平均轨迹误差约为6米,但其轨迹略有波动。从图中可以看出,三架无人机的误差大于环绕跟踪中的误差,为了保证协同跟踪的整体鲁棒性,本文选择环绕跟踪的方式进行测试。
在提出的协同模型中,利用阈值θ12与实际识别率进行比较,分析目标所在的环境,因此,θ12的选取对协同跟踪至关重要。图5显示了环绕跟踪中θ12的平均误差。
θ1决定了在跟踪过程中是否失去目标,因此θ1∈[0.1,0.5]。θ2是遮挡或运动方向变化的判断,因此θ2∈[0.6,0.9]。从图5可以看出,当θ1=0.3,θ2=0.7时,模型的跟踪性能最好,平均误差约为3-4米。但当θ1=0.1时,模型的跟踪性能较差,平均误差超过40米,这是因为目标的运动方向改变或发生遮挡导致无人机识别率不准确。如果模型只对多个无人机进行微调,而不调整搜索范围,则协同跟踪将漂移,随着时间的推移,误差会不断增加,从而导致跟踪失败。因此,在系统中设置θ1=0.3,θ2=0.7。
本实施例还从两个方面说明提出的协同模型的有效性:(1)与单个无人机跟踪比较,(2)模型自身性能分析。主要的测量方法为TE与MF。
与单无人机跟踪比较:
将协同模型中每架无人机的飞行性能与同一位置的单无人机跟踪进行了比较,即选择的单无人机的位置可以归结为三架无人机在编队中的初始位置。为了进一步验证多无人机协同跟踪的性能,分别测试了无人机在不同位置时的跟踪效果。图6中的五角星标志着单架无人机跟踪的初始位置,而菱形则代表单无人机在编队中的位置,对比结果如图7所示。对于单个无人机,采用目标识别率进行飞行调整。为了直观辨别,将不同位置的单无人机简记为UAV1(图6(a))、UAV2(图6(b))、UAV3(图6(c))。
图7(a)中的白线是协同优化模型中UAV1的飞行轨迹误差,黑色则是单UAV1的轨迹误差。从图7(a)可以看出,多无人机协同跟踪能够使单无人机时刻保持稳定飞行状态。然而,在t=400s时,由于目标的运动方向发生改变时,单个无人机受到射击角度的限制,从而导致飞行轨迹的显著偏差。而协同模型采用策略4来调整多个无人机的飞行位置,以确保目标始终在无人机监控范围内,因此协同模型中的UAV1在同一位置的识别比单UAV1跟踪更准确。
图7(b)显示了两种模式下UAV2的飞行轨迹误差和误识别帧。图7(b)中的黑线出现明显波动,表明单UAV2的飞行轨迹误差迅速增加,而协同模型中的UAV2误差仍处于稳定水平。单无人机的飞行误差在200米左右呈上升趋势,除射角变化外,最重要的因素是目标发生了局部遮挡,这对UAV2的目标识别产生了很大影响,说明UAV2只观察到了目标的局部信息,因此识别率降低。而提出的协同模型较好地避免了这一问题。
类似地,从图7(c)中可以看出协同模型中的UAV3误差远低于单架UAV3。通过比较不同位置上单个无人机误认帧的数量,可以看出单架无人机在目标前方飞行时具有更高的跟踪精度,但只保持了321帧。而协同模型中的三架无人机都表现了出色的跟踪性能。为了更加直观地说明,本实施例对表1中的两种跟踪模式进行了更详细的描述。
表1多无人机协同与单无人机的跟踪比较
Figure GDA0003786734320000161
从表1可以看出,在协同模型中,无人机在不同初始位置的轨迹误差要比相应位置的单无人机跟踪小。单无人机跟踪的平均航迹误差为71.45m,误识帧平均为813帧。协同模型的平均误差为4.46m,误识帧数仅为31帧,这进一步说明了模型的有效性。一旦目标运动方向发生改变或被遮挡,单无人机在跟踪过程中无法准确跟踪,而利用多无人机协同的方式对飞行位置相互调整,以保证下一帧的飞行轨迹精度和识别率。
为了说明协同模型的性能,将模型进行拆分,分别验证各个子模块的有效性。过程如下:1)Model1:删除弹性约束项,即不区分遮挡和角度变化;2)Model 2:删除模型预测策略,即当多无人机的识别率均小于阈值θ1时,采用模糊二次规划的方法对模型进行处理。同样的,使用飞行轨迹误差和目标误识别帧数作为评估指标。采用环绕跟踪的三个模型的飞行轨迹比较如图8(a)-图8(c)所示。
从图8(b)可以看出,Model1下三架无人机的轨迹都出现了波动。另外,在Model 2中也存在局部波动。然而,本发明模型中无人机的飞行轨迹相对平滑,说明本模型针对遮挡、角度变化、复杂场景等不同环境制定了相应的飞行策略。这些策略用于动态调整多无人机的位置,使其始终处于最佳目标观测位置。图9(a)-图9(c)显示了三个模型的飞行轨迹误差和目标误识别帧数。从图中可以看出,本发明模型的跟踪性能明显优于其他两个模型。
表2无人机的识别帧数
Figure GDA0003786734320000171
为了直观地描述三架无人机的目标识别精度,表2列出了目标识别帧的数量。本发明模型的平均识别帧数是969帧,但Model1只有658帧。由于分别处理了目标的遮挡或视角的变化,并在目标遮挡发生时增加了弹性约束,保证了模型具有一定的容错性和整体鲁棒性。与Model2相比,虽然在识别帧和飞行误差上差异较小,但它也能清楚地反映出增加预测机制的有效性。当所有的无人机均发生误判时,所提出的预测机制能够调整无人机的飞行方向和搜索范围,保证了模型的灵活性。
在UE4仿真平台下演示以更直观地显示协作跟踪的有效性,使用UDP协议与仿真平台进行交互。具体来说,采用DSST算法对目标进行识别判断,并根据UE4中的场景信息应用协同策略动态调整每个无人机的位置。图10显示了UE4下的协同跟踪效果。
图10(a)展示了仿真环境的布局设计,即场景初始化,部署一个无人地面车作为运动目标,并将跟踪任务分配给三个无人机。此外,本实施例还设计了一系列静态、动态场景来增加跟踪的挑战。从图10(b)可以看出,无人地面车和无人机都在运动状态,三架无人机采用跟踪算法对目标进行实时跟踪。图10(c)给出了每架无人机的跟踪结果,图左上角显示了三架无人机在跟踪无人地面车时通过摄像头拍摄的照片,用于记录无人机实时跟踪的结果。基于这些结果,我们可以发现,通过建立的协同跟踪模型,无人地面车始终保持在无人机的监控范围内,这进一步验证了该方法的有效性。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (6)

1.用于目标跟踪的多无人机协同优化方法,其特征是,包括以下步骤:
实时获取所有无人机的目标识别率TRR;
设定协同阈值θ1和协同阈值θ2,根据所述协同阈值θ1、协同阈值θ2与所述目标识别率TRR之间的关系制定协同策略;
基于协同策略建立约束条件从而使无人机实时进行飞行调整,以使无人机按照目标函数进行目标追踪;
协同策略包括:
若所有无人机的所述目标识别率TRR≤θ1,则追踪目标处于背景杂波环境中而导致所有无人机均发生误识别,目标偏离了无人机的视野范围,无人机编队需调整搜索范围;
若至少存在一架无人机的所述目标识别率TRR满足θ1≤TRR≤θ2,则目标发生了多角度遮挡,根据所述目标识别率最大的无人机位置对其他无人机位置进行微调;
若所有无人机的所述目标识别率TRR均满足θ1≤TRR≤θ2,则目标发生了局部遮挡或相似物体干扰,据所述目标识别率最大的无人机位置对其他无人机位置进行微调;
若无人机的所述目标识别率TRR至少存在一个TRR≥θ2,则目标发生方向的转变而导致无人机的视角变化,以所述目标识别率TRR最高的无人机为中心,对其它无人机的位置进行重新初始化后进行调整;
若所有无人机的所述目标识别率TRR均满足TRR≥θ2,则目前多无人机跟踪是准确的,无人机飞行位置无需调整;
所有无人机的所述目标识别率TRR≤θ1时的具体调整方式为:
以所述目标识别率TRR最大的无人机为中心,其他无人机向其靠拢的方式确定各个无人机的偏移方向,调整后的无人机的坐标满足:
Figure FDA0003793813720000011
Figure FDA0003793813720000012
其中,(xit,yit)为t时刻第i架无人机调整后的位置坐标,
Figure FDA0003793813720000013
表示无人机在x、y轴方向的位移,n为采样时间,±表示无人机的偏移方向;
至少存在一架无人机的所述目标识别率TRR满足θ1≤TRR≤θ2时,调整后的无人机的坐标满足:
Figure FDA0003793813720000021
其中,a∈[1,N]记录所述目标识别率TRR最大的那架无人机的标号,
Figure FDA0003793813720000022
均为弹性模糊约束项,
Figure FDA0003793813720000023
pi、qi为容差;
所有无人机的所述目标识别率TRR均满足θ1≤TRR≤θ2的具体调整方式为与至少存在一架无人机的所述目标识别率TRR满足θ1≤TRR≤θ2的具体调整方式一致;
无人机的所述目标识别率TRR至少存在一个TRR≥θ2时,调整后的无人机的坐标满足:
Figure FDA0003793813720000024
其中,a∈[1,N],li、di均为严格约束项。
2.如权利要求1所述的用于目标跟踪的多无人机协同优化方法,其特征是,θ1=0.3,θ2=0.7。
3.如权利要求1所述的用于目标跟踪的多无人机协同优化方法,其特征是,所有无人机飞行时需要满足稳定性要求,动态势能越小,无人机的飞行稳定性越高,无人机的动态势能为:
Figure FDA0003793813720000025
其中,s表示第i架无人机UAVi在Δt时间段内的最大飞行位移,Δxi、Δyi为第i架无人机UAVi的调整位移,Δxi=xi-x′i,Δyi=yi-y′i
基于无人机的动态势能,无人机协同跟踪的目标函数为:
Figure FDA0003793813720000026
4.如权利要求1所述的用于目标跟踪的多无人机协同优化方法,其特征是,所有无人机之间需保持安全距离,安全距离约束表示如下:
Figure FDA0003793813720000027
其中,ew为是无人机在x轴上的最小安全距离,rw为是无人机在y轴上的最小安全距离。
5.如权利要求1所述的用于目标跟踪的多无人机协同优化方法,其特征是,当目标处于背景杂波环境时,目标函数为:
Figure FDA0003793813720000031
Figure FDA0003793813720000032
Figure FDA0003793813720000033
Figure FDA0003793813720000034
其中,I为二进制变量,若目标被遮挡或出现相似物体干扰,则I=1;若目标的运动方向发生改变时,则I=0,当I=0时,协同模型等价为二次规划模型,利用库恩-塔克条件将二次规划转化为线性规划;当I=1时,协同模型为伴有弹性约束的二次规划模型。
6.用于目标跟踪的多无人机协同优化系统,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现上述权利要求1至5任一所述方法的步骤。
CN201910789205.5A 2019-08-26 2019-08-26 用于目标跟踪的多无人机协同优化方法及系统 Active CN110618701B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910789205.5A CN110618701B (zh) 2019-08-26 2019-08-26 用于目标跟踪的多无人机协同优化方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910789205.5A CN110618701B (zh) 2019-08-26 2019-08-26 用于目标跟踪的多无人机协同优化方法及系统

Publications (2)

Publication Number Publication Date
CN110618701A CN110618701A (zh) 2019-12-27
CN110618701B true CN110618701B (zh) 2022-09-30

Family

ID=68921953

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910789205.5A Active CN110618701B (zh) 2019-08-26 2019-08-26 用于目标跟踪的多无人机协同优化方法及系统

Country Status (1)

Country Link
CN (1) CN110618701B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111474953B (zh) * 2020-03-30 2021-09-17 清华大学 多动态视角协同的空中目标识别方法及系统
CN113190041B (zh) * 2021-04-30 2022-05-10 哈尔滨工业大学 一种基于约束松弛技术的无人机集群在线目标分配方法
CN113359853B (zh) * 2021-07-09 2022-07-19 中国人民解放军国防科技大学 一种无人机编队协同目标监视的路径规划方法及系统
CN113655811B (zh) * 2021-08-25 2024-05-07 北京理工大学 隐式通信下无人机协同跟踪地面目标的期望队形获得方法
CN114371733B (zh) * 2022-01-06 2023-11-28 中国人民解放军海军航空大学 一种多无人机协同环绕飞行控制方法及系统
CN114355987A (zh) * 2022-01-19 2022-04-15 北京航空航天大学 一种基于弹性重要度的无人机编队重构方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106873628A (zh) * 2017-04-12 2017-06-20 北京理工大学 一种多无人机跟踪多机动目标的协同路径规划方法
CN109299210A (zh) * 2018-11-06 2019-02-01 哈尔滨工业大学(深圳) 一种基于信息融合的多无人机分布式协同搜索方法
CN109976386A (zh) * 2019-04-04 2019-07-05 中国电子科技集团公司信息科学研究院 一种多无人机协同跟踪目标的方法和系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10597156B2 (en) * 2015-04-15 2020-03-24 Pierre Emmanuel VIEL Cleaning drone

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106873628A (zh) * 2017-04-12 2017-06-20 北京理工大学 一种多无人机跟踪多机动目标的协同路径规划方法
CN109299210A (zh) * 2018-11-06 2019-02-01 哈尔滨工业大学(深圳) 一种基于信息融合的多无人机分布式协同搜索方法
CN109976386A (zh) * 2019-04-04 2019-07-05 中国电子科技集团公司信息科学研究院 一种多无人机协同跟踪目标的方法和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
前景约束下的抗干扰匹配目标跟踪方法;刘大千 等;《自动化学报》;20180630;第44卷(第6期);全文 *
基于TLD算法的无人机协同目标跟踪技术研究;刘昌 等;《光学与光电技术》;20151031;第13卷(第5期);第82-86页 *

Also Published As

Publication number Publication date
CN110618701A (zh) 2019-12-27

Similar Documents

Publication Publication Date Title
CN110618701B (zh) 用于目标跟踪的多无人机协同优化方法及系统
Kaufmann et al. Beauty and the beast: Optimal methods meet learning for drone racing
Quintero et al. Robust UAV coordination for target tracking using output-feedback model predictive control with moving horizon estimation
Forster et al. Collaborative monocular slam with multiple micro aerial vehicles
Dentler et al. Collision avoidance effects on the mobility of a UAV swarm using chaotic ant colony with model predictive control
Monajjemi et al. Hri in the sky: Creating and commanding teams of uavs with a vision-mediated gestural interface
Shen et al. Vision-based state estimation for autonomous rotorcraft MAVs in complex environments
Tallamraju et al. Active perception based formation control for multiple aerial vehicles
CN109976386A (zh) 一种多无人机协同跟踪目标的方法和系统
Monajjemi et al. UAV, come to me: End-to-end, multi-scale situated HRI with an uninstrumented human and a distant UAV
CN111932588A (zh) 一种基于深度学习的机载无人机多目标跟踪系统的跟踪方法
CN109116349A (zh) 多传感器协同跟踪联合优化决策方法
Nguyen et al. Flexible and resource-efficient multi-robot collaborative visual-inertial-range localization
CN111474953A (zh) 多动态视角协同的空中目标识别方法及系统
Morbidi et al. Estimation and control of UAV swarms for distributed monitoring tasks
Liu et al. SMART: Vision-based method of cooperative surveillance and tracking by multiple UAVs in the urban environment
Stuckey et al. An optical spatial localization system for tracking unmanned aerial vehicles using a single dynamic vision sensor
Sai et al. A comprehensive survey on artificial intelligence for unmanned aerial vehicles
Ge et al. Vision-based relative detection and tracking for teams of micro aerial vehicles
Kuś et al. Object tracking for rapid camera movements in 3D space
Zhu et al. hTLD: A Human-in-the-loop Target Detection and Tracking Method for UAV
Kwon et al. Cooperative target localization by multiple unmanned aircraft systems using sensor fusion quality
Sun et al. Siamese Transformer Network: Building an autonomous real-time target tracking system for UAV
Lee et al. QP Chaser: Polynomial Trajectory Generation for Autonomous Aerial Tracking
Liu et al. Cooperative Observation Oriented UAVs Tracking Model in Uncertain Environment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant