CN110618701A - 用于目标跟踪的多无人机协同优化方法及系统 - Google Patents
用于目标跟踪的多无人机协同优化方法及系统 Download PDFInfo
- Publication number
- CN110618701A CN110618701A CN201910789205.5A CN201910789205A CN110618701A CN 110618701 A CN110618701 A CN 110618701A CN 201910789205 A CN201910789205 A CN 201910789205A CN 110618701 A CN110618701 A CN 110618701A
- Authority
- CN
- China
- Prior art keywords
- unmanned aerial
- target
- aerial vehicle
- trr
- tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000005457 optimization Methods 0.000 title claims abstract description 21
- 230000006870 function Effects 0.000 claims abstract description 19
- 238000005381 potential energy Methods 0.000 claims abstract description 12
- 238000006073 displacement reaction Methods 0.000 claims description 12
- 230000000007 visual effect Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 230000033001 locomotion Effects 0.000 abstract description 20
- 230000015572 biosynthetic process Effects 0.000 description 16
- 238000004422 calculation algorithm Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 16
- 239000000243 solution Substances 0.000 description 15
- 230000008859 change Effects 0.000 description 11
- 238000004088 simulation Methods 0.000 description 6
- 239000003795 chemical substances by application Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 238000012887 quadratic function Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000010304 firing Methods 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 239000003637 basic solution Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000010006 flight Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002262 irrigation Effects 0.000 description 1
- 238000003973 irrigation Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明提供了一种用于目标跟踪的多无人机协同优化方法及系统,包括:实时获取所有无人机的目标识别率TRR;设定协同阈值θ1和协同阈值θ2,根据协同阀值θ1、协同阈值θ2与目标识别率TRR之间的关系对无人机的飞行方向进行调整;基于协同策略建立约束条件从而使无人机实时进行飞行调整,以使无人机按照目标函数进行目标追踪。本发明根据目标识别率,自适应地确定不同的识别策略,以保证跟踪飞行的整体鲁棒性,并且能够更好的完成目标追踪。并且根据运动势能列出多无人机跟踪的目标函数,以使无人机更好的完成目标追踪。
Description
技术领域
本发明属于一种无人机追踪领域,具体是涉及到一种用于目标跟踪的多无人机协同优化 方法及系统。
背景技术
目前,无人机已被广泛应用于军事领域和民用领域。军事领域的主要应用包括无人侦察、 环境感知、安全监视、导弹制导等。同时,无人机在交通监控、资源勘探、农业灌溉、道路 检测、灾区救援等民用领域也受到广泛关注。由于大型无人机存在成本高、携带不方便等缺 点,小型无人机越来越受到人们的认可。它的优点主要包括:(1)使用成本低;(2)不需要特 定的起飞空间;(3)携带方便;(4)能够以低能量实现远距离监控目标。近年来,基于小型无 人机的应用开发成为研究者关注的热点问题之一。在基于无人机的跟踪问题上,为了提供一 个公共测试平台来验证不同跟踪方法的性能,在2016年建立了公开的无人机跟踪基准库,其 中包括123个视频序列和超过11000个图像帧。该基准库的建立对无人机目标跟踪的研究开 辟了一个新的思路,具有十分重要意义。许多基于常规视频的跟踪方法同样显示了出色的跟 踪性能,如:DSST、Meet、KCF。同年,Chen等人设计了一个单无人机跟踪控制系统,该系 统将无人机在室内外环境中对地面运动目标的跟踪分为三种控制模式:目标搜索模式、目标 跟踪模式和目标丢失模式,进一步推动了无人机跟踪研发的热潮。在此之后,一些学者应用 支持向量机(Support Vector Machine,SVM)或卷积神经网络(Convolutional Neural Networks,CNN)来区分目标和背景,提高了无人机跟踪的整体鲁棒性。然而,由于单无人机 在飞行过程中容易受到遮挡、视角变化、背景杂波等干扰,不具备在复杂场景中独立执行观 测任务的能力,多无人机协同跟踪已成为当今更为有效的跟踪策略。
多无人机协同跟踪是一种典型的多Agent系统。一个Agent能够实时测量与相邻Agent 的相对距离,并调整自身飞行位置以实现最优观测。迄今为止,无人机协同跟踪技术还不够 成熟,但由于其广阔的应用前景,许多学者纷纷投入到此项研究当中。对于多无人机协同控 制方面,最基本的解决方案是Leader-Follower结构,Leader通常是提前定义的领航者, Follower将其视为参考物,与之保持一定的相对位置进行协同飞行。但该结构存在严重不足, 一旦Leader偏离航线,则Follower也将随之偏离而导致跟踪任务失败。为了解决此问题, Oh等人提出了虚拟结构的控制方式,其中每个无人机被视为单独实体,实体间的位置信息被 视为虚拟编队结构。此外,Zhang等人指出无人机的姿态角是编队飞行控制不可缺少的组成 部分,并设计了一种基于神经动态控制的方法,使无人机能够自主控制飞行位置和角度,但 该方法不能满足实时任务的要求。实际上,由于环境因素的干扰、目标的运动状态实时变化 且运动不规则等问题,协同跟踪目标除编队控制外还应考虑无人机与目标的相关性,即利用 无人机实时检测的目标识别率构建多无人机组织协同关系。然而,目前面向多无人机组织、 协同关系的研究相对较少,主要的挑战有以下两点。(1)在跟踪过程中必须考虑各无人机对目 标的识别情况,才能对目标所处的环境做出决策;(2)由于各无人机目标识别率的差异,需要 设计多种协同策略来应对环境变化。
发明内容
本发明要解决的技术问题是提供一种用于目标跟踪的多无人机协同优化方法及系统,以 解决现有技术中存在的技术问题。
本发明的内容包括:
本发明首先提供了一种用于目标跟踪的多无人机协同优化方法,包括以下步骤:
实时获取所有无人机的目标识别率TRR;
设定协同阈值θ1和协同阈值θ2,根据协同阀值θ1、协同阈值θ2与目标识别率TRR之间的 关系制定协调策略;
基于协同策略建立约束条件从而使无人机实时进行飞行调整,以使无人机按照目标函数 进行目标追踪。
优选地,对无人机的飞行方向进行调整的具体方式为:
若所有无人机的目标识别率TRR≤θ1,则追踪目标处于背景杂波环境中而导致所有无人 机均发生误识别,目标偏离了无人机的视野范围,无人机编队需调整搜索范围;
若至少存在一架无人机的目标识别率TRR满足θ1≤TRR≤θ2,则目标发生了多角度遮挡, 根据目标识别率最大的无人机位置对其他无人机位置进行微调;
若所有无人机的目标识别率TRR均满足θ1≤TRR≤θ2,则目标发生了局部遮挡或相似物 体干扰,据目标识别率最大的无人机位置对其他无人机位置进行微调;
若无人机的目标识别率TRR至少存在一个TRR≥θ2,则目标发生方向的转变而导致无人 机的视角变化,以目标识别率TRR最高的无人机为中心,对其它无人机的位置进行重新初始 化后进行调整;
若所有无人机的目标识别率TRR均满足TRR≥θ2,则目前多无人机跟踪是准确的,无人 机飞行位置无需调整。
优选地,所有无人机的目标识别率TRR≤θ1时的具体调整方式为:
以目标识别率TRR最大的无人机为中心,其他无人机向其靠拢的方式确定各个无人机的 偏移方向,调整后的无人机的坐标满足:
其中,(xit,yit)为t时刻第i架无人机调整后的位置坐标,表示无人机在x、 y轴方向的位移,n为采样时间,±表示无人机的偏移方向。
优选地,至少存在一架无人机的目标识别率TRR满足θ1≤TRR≤θ2时,调整后的无人机 的坐标满足:
其中,a∈[1,N]记录目标识别率TRR最大的那架无人机的标号,均为弹性模糊约 束项,pi、qi为容差;
所有无人机的目标识别率TRR均满足θ1≤TRR≤θ2的具体调整方式为与至少存在一架无 人机的目标识别率TRR满足θ1≤TRR≤θ2的具体调整方式一致。
优选地,无人机的目标识别率TRR至少存在一个TRR≥θ2时,调整后的无人机的坐标满 足:
其中,a∈[1,N],li、di均为严格约束项。
优选地,θ1=0.3,θ2=0.7。
优选地,所有无人机飞行时需要满足稳定性要求,动态势能越小,无人机的飞行稳定性 越高,无人机的动态势能为:
其中,s表示第i架无人机UAVi在Δt时间段内的最大飞行位移,Δxi、Δyi为第i架无人 机UAVi的调整位移(Δxi=xi-x′i,Δyi=yi-y′i);
基于无人机的动态势能,无人机协同跟踪的目标函数为:
优选地,所有吧无人机之间需保持安全距离,安全距离约束表示如下:
其中,ew为是无人机在x轴上的最小安全距离,rw为是无人机在y轴上的最小安全距离。
优选地,当目标处于背景杂波环境时,协同模型可以表示为:
其中,I为二进制变量,若目标被遮挡或出现相似物体干扰,则I=1;若目标的运动方 向发生改变时,则I=0,当I=0时,协同模型等价为二次规划模型,利用库恩-塔克条件将 二次规划转化为线性规划;当I=1时,协同模型为伴有弹性约束的二次规划模型。
依托于上述方法,本发明还提供了一种用于目标跟踪的多无人机协同优化系统,包括存 储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程 序时实现上述任一方法的步骤。
本发明的有益效果是包括:
1、本发明根据目标识别率,自适应地确定不同的识别策略,以保证跟踪飞行的整体鲁棒 性,并且能够更好的完成目标追踪。
2、本发明还考虑了无人机的稳定性、安全性,建立了各种约束模型,其中的基于距离的 弹性约束项提高了协同模型的容错能力。
3、本发明根据无人机的运动势能列出多无人机跟踪的目标函数,以使无人机更好的完成 目标追踪。
附图说明
附图1为本发明的用于目标跟踪的多无人机协同优化方法流程图;
附图2为本发明优选实施例中三架无人机飞行调整示意图;
附图3为本发明优选实施例中无人机编队的初始位置示意图;
附图4为本发明优选实施例中三种初始位置条件下多无人机协同跟踪的比较示意图;
附图5为本发明优选实施例中环绕跟踪中的平均误差示意图;
附图6为本发明优选实施例中无人机跟踪初始位置示意图;
附图7为本发明优选实施例中与单个无人机的跟踪比较示意图;
附图8为本发明优选实施例中三种模型的飞行轨迹示意图;
附图9为本发明优选实施例中三种模型的跟踪性能比较示意图;
附图10为本发明优选实施例中UE4协同跟踪效果示意图。
具体实施方式
实施例1:
多无人机协同跟踪要求被跟踪的目标始终在无人机的观测范围内,即至少存在一架无人 机可以随时观测到目标,并实时调整其他无人机的飞行位置。为了提高协同跟踪的准确性, 本发明设计了一个协同跟踪方法,根据无人机搭载的跟踪算法(目标函数)实时的目标识别 率确定不同的跟踪策略,协同跟踪流程如图1所示,具体步骤如下。
(1)计算目标识别率。由于地面上的目标移动不规则,每架无人机通过拷入的跟踪算法 执行飞行任务,其跟踪性能由目标识别率(Target Recognition Rate,TRR)来衡量。
(2)制定协调策略。无人机将各自的目标识别率传送到PC机,并相互共享它们之间的 地理位置信息。通过此方式对跟踪过程中的背景杂波、相似物体干扰、多角度遮挡、局部遮 挡、目标运动方向变化等复杂场景进行预测,以制定相应的协同决策。
(3)建立协同优化模型。将无人机的运动势能定义为协同模型的目标函数。基于上述决 策,建立相应的飞行约束、弹性约束、严格约束等条件。
(4)飞行调整。通过求解优化模型,调整无人机的飞行位置,使其处于最佳观测角度, 从而实现最佳的跟踪性能。
令(x′it,y′it)表示第i架无人机UAVi在t时刻的位置坐标,设θ1、θ2(θ1<θ2)为协同阈值, 无人机协同跟踪的主要难点是目标遮挡、视场变化、相似物体干扰、背景杂波等复杂场景。 本发明将通过比较每架无人机的目标识别率(TRR)和阈值θ1、θ2来制定不同的协同飞行策略。
若所有无人机的目标识别率TRRi均满足:TRRi≤θ1,则认定目标可能处于背景杂波环境 中而导致所有无人机均发生误识别,这意味着目标偏离了无人机的视野范围,无人机编队必 须调整搜索范围以确保跟踪的灵活性。调整方式如下:
其中,(xit,yit)为t时刻第i架无人机调整后的位置坐标,表示无人机在x、y 轴方向的位移,n为采样时间,±表示无人机的偏移方向。跟踪平台以TRR最大的无人机为中 心,其他无人机向其靠拢的方式确定各个无人机的偏移方向,图2显示了三架无人机在跟踪 过程中的调整过程。
在图2中,UAV2为中心无人机,UAV1与UAV3需要调整飞行偏移方向。因此公式(1) 可以重写为:
若至少存在一架无人机的目标识别率TRRi满足:θ1≤TRRi≤θ2,则认定目标可能发生了多 角度遮挡。根据识别率最大的无人机位置(x′at,y′at)对其他无人机位置(x′it,y′it)进行微调,保证 多无人机跟踪的整体稳健性。调整后的无人机的位置应满足以下限制:
其中,a∈[1,N]记录目标识别率TRR最大的那架无人机的标号,均为弹性模糊约 束项,pi、qi为容差。将优化求解的约束条件模糊化, 使协同优化跟踪具有一定的容错能力。
若所有无人机的目标识别率TRRi均满足:θ1≤TRRi≤θ2,则认定目标可能发生了局部遮挡 或相似物体干扰。与上述调整方式相同,根据识别率最大(TRRa≤θ2)的无人机位置(x′at,y′at) 对其他无人机位置(x′it,y′it)进行微调,调整后的无人机的位置应满足公式(6)的限制。
若无人机的目标识别率TRRi值至少存在一个大于θ2,则认定目标可能发生方向的转变而 导致无人机的视角变化,因此无人机位置(x′it,y′it)同样需要调整。
然而在跟踪测试过程中发现,在弹性约束条件下调整位置的效果不明显,且目标方向改 变时无人机的整体识别率均不高。因此,在该策略中改用严格的约束条件,以识别率最高的 无人机为中心,对其它无人机的位置进行重新初始化。调整后的无人机的位置应满足以下限 制:
其中,a∈[1,N],li、di均为严格约束项。
若无人机的目标识别率TRRi值均满足:TRRi≥θ2,则认为目前多无人机跟踪是准确的, 无人机飞行位置无需调整。
在编队跟踪过程中,飞行偏移、相机抖动等因素会严重影响无人机对目标的识别率,导 致整体跟踪的失败。因此,为了确保无人机在稳定状态下飞行到指定最佳观测位置,本实施 例设计的协同跟踪方法将基于位移的运动势能定义为保证飞行稳定性的优化指标。
将无人机UAVi的动态势能定义为:
其中,s表示第i架无人机UAVi在Δt时间段内的最大飞行位移,Δxi、Δyi为第i架无人 机UAVi的调整位移(Δxi=xi-x′i,Δyi=yi-y′i)。公式(8)表明无人机的实际移动位移越小, 其势能JUAVi越小,即无人机的飞行稳定性越高,有利于无人机对目标的持续观测。
多无人机协同跟踪的运动势能为:
其中,N表示无人机的个数。由于运动总势能只与无人机的实际移动位移相关,因此协 同跟踪的目标函数可以改写为:
由于Δx与Δy相互独立,公式(10)可等价为:
其中,f(Δx)为自变量Δx的二次函数,f(Δy)为自变量Δy的二次函数。由此可以看出, 通过求解公式(11)中的两个二次函数,即完成协同跟踪过程。
为了避免碰撞风险,在飞行时必须确保无人机之间保持一定的安全距离。安全距离约束 表示如下:
其中,ew为是无人机在x轴上的最小安全距离,rw为是无人机在y轴上的最小安全距离。
当目标处于背景杂波环境时,使用公式(1)和公式(2)调整无人机编队的飞行方式, 修正无人机的搜索范围以确保整体跟踪的灵活性。若目标被遮挡、相似干扰或其运动方向发 生改变时,协同模型可以表示为:
其中,I为二进制变量,若目标被遮挡或出现相似物体干扰,则I=1;若目标的运动方 向发生改变时,则I=0。当I=0时,协同模型等价为二次规划模型,利用库恩-塔克(Kuhn-Tucker)条件将二次规划转化为线性规划。当I=1时,协同模型为伴有弹性约束的二次规划模型。
由于公式(13)和(14)包含模糊约束,将它们定义为具有弹性约束的二次规划模型。 下面对基于自变量x的二次模型进行推导计算,而基于自变量y的求解具有相似过程。将 kuhn-tucker条件应用于公式(13),转化为线性规划问题。
其中,zj与vj为辅助向量,xN+i与xN+w为松弛变量。由于是模糊数,公式(15)不能直接求解。因此提取模糊项建立如下模糊线性模型。
其中,xN+i为松弛变量,xN+i=0(i=1,2,...,N)。根据Verdegay理论,公式(16)可改写 为:
其中,(μi(X))α={X|μi(X)≥α},X=(x1,...,xN)T∈RN,α为满意度(α∈[0,1])。 E=(e1,...,eN)∈RN表示模糊系数向量,Ai=(ai1,...,aiN)为约束系数。下面利用模糊结构元理论 求解模糊项:
给定α∈[0,1],若Xα=(xα1,…,xαN)T满足公式(17)的约束条件,则称Xα为模糊规划模型 的α可行解,记α可行解集为
若且其他α可行解满足EX″α≥EX′,则称 X′α为模糊规划模型的α有效解,记α有效解集为
设为α的可行解集,若映射满足:
则称Φ为目标函数的拟最优函数。若且则为模糊规划 模型的α的最优可行解。
若为公式(17)的α拟最优可行解,则一定为模糊规划模型(公式(19))的α拟最优 可行解。
令公式(17)与公式(19)的α可行解集分别为α有效解集分别为若 则即令 满足EX″α≥EX′α,则可知因此(X′α1)F=(X′α2)F。若 为公式(19)的α拟最优可行解,则存在最优函数可知,Φ 同为公式(17)的最优函数。所以为公式(17)的α最优可行解。
将包含模糊项的公式(15)转换为线性规划模型,其公式如下:
同样地,包含自变量y的二次函数的公式(14)可转化为:
其中,hj、uj为辅助向量,辅助二次模型的求解。模型的实现如算法1所示。
算法1:cooperative target tracking by Multipl UAVs
其中,DComplexScenario();DOcclusion();DChange()分别作为算法2、算法3和算法4。算法2具体为:
算法2:DComplexScenario()
算法3:DOcclusion()
算法4:DChange()
当目标运动过程中,UAV通过跟踪算法获得一个目标识别率TRR,由于无人机的拍摄角度 的不同,跟踪过程中存在许多不确定因素影响着多无人机协同跟踪结果,因此设置了两个阈 值(θ1,θ2)来判断当前的跟踪状态。当s1==N时,采用DComplexScenario()选取TRR值最大的 无人机为中心,利用公式(1)对无人机编队进行飞行调整以更适应复杂场景问题。若s2≥1且 s3==0,我们认为目标发生遮挡,利用DOcclusion()建立含弹性约束项的二次规划模型调整 无人机的飞行轨迹。若s3≥1,目标的运动方向在移动过程中发生了变化,利用DChange()建 立常规的二次规划模型,这是因为无人机在这种状态下的跟踪易受外界因素的影响,因此需 要采取严格的约束条件和安全距离来解决这一问题。
提出的协同优化跟踪方法的时间复杂度为O(nNt 2),其中,n表示跟踪时长,Nt表示t时刻无人机编队飞行的数量。
在函数DComplexScenario()中,将无人机编队调整到最佳观测位置的时间复杂度为O(Nt)。 DOcclusion()函数的时间复杂度为O(Nt(Nt+1)/2)=O(Nt 2)。与DOcclusion()函数相似, DChange()函数在最坏情况下的时间复杂度为O(Nt 2)。因此,协同模型的复杂度为: O(n(Nt+Nt+Nt(Nt+1)/2+Nt(Nt+1)/2))=O(nNt 2)。
实施例2:
为了验证该方法的有效性,对多无人机的协同跟踪性能进行了仿真评估。同时在虚拟引 擎4(Unreal Engine 4,UE4)中进行仿真演示,该引擎使用User Data Protocol(UDP)与Matlab 仿真平台进行交互,以更直观地评估协同跟踪的有效性。计算机环境:Intel Core i7-3740 CPU, 2.70GHz,8GB内存。由于缺乏一些规范化的标准进行度量评估,因此本发明定义以下两种 度量方式:
(1)由于拍摄角度不同,实际跟踪中多无人机的TRR受到外部环境(如复杂场景、遮挡) 的影响。因此,本发明定义无人机的轨迹误差(Trajectory Error,TE)以评估协同跟踪模型 的精度。根据目标和各无人机的实际运动轨迹计算误差,计算公式为:
其中,distancei表示目标与无人机UAVi之间的初始距离,在实验中,本文计算每一时刻 的TEi评估协同模型的跟踪误差。
(2)本实施例通过实时检测的TRR来调整多个无人机的位置,若TRR不能得到改善,这 意味着提出的协同模型的性能较差,因此定义误识别帧(Misrecognition Frame,MF)度量协 同跟踪模型的鲁棒性。若当前帧中TRRi小于0.3,则认为该无人机丢失了目标。
假设目标在跟踪过程中匀速运动。无人机之间的安全距离为100米,飞行高度为200米, 监测周期为1秒,即时刻监测和调整无人机的飞行位置,以获得最佳的跟踪精度。多无人机 初始协同飞行控制采用帧间偏移法,具体为:
其中,(x′it,y′it)表示第i架无人机UAVi在t时刻的位置坐标,φ为偏航角,J为相邻采样 帧的数目。为了满足无人机跟踪的实时性要求,本文选择实时性高的DSST作为跟踪算法,该 算法在无人机上的跟踪鲁棒性已得到了验证。它的运行速度是25fps。在弹性约束下,α=0.6。
为了保证多个无人机能够协同完成跟踪任务,由于目标识别和信息交互造成的延迟而导 致无人机数量需要严格限制。在本实施例中,无人机之间的信息传输采用了ZigBee技术,该 技术是一种低功耗、短距离的无线传输协议。延迟T表示为:
其中,s表示数据量,b%表示信息传输速率。在理想情况下,ZigBee的传输速率为250Kbps。 然而在实际跟踪中,由于障碍物、空气湿度等因素,速率会大大降低(如20Kbps),我们的系 统中无人机之间传输的数据量约为1.5Kb,主要包括无人机ID、地理位置、目标识别率等。 因此,两个无人机之间的交互时延为0.011s,由于协同模型需要实时检测和调整无人机的位 置,因此交互延迟T应小于0.5s,无人机数量可达6-7架,但考虑到协同飞行的稳定性和单 目标跟踪的成本效益,本文取N=3。
无人机的初始位置对跟踪精度有着至关重要的影响,尤其是在目标移动过程中可能被障 碍物遮挡。在本实施例中,我们着重于选择最佳位置,以最大限度地提高协同跟踪的精度。 理论上,根据编队和观测角度的不同,无人机与目标之间存在若干初始位置关系。本实施例 主要考虑三个典型位置,以降低该问题的复杂性。图3(a)表示目标在中心,无人机在其周 围。图3(b)显示两架无人机在目标两侧,一架在目标前方。图3(c)显示3架无人机都在目标 的后面进行跟踪。这三种无人机的位置分别被命名为环绕跟踪、半环绕跟踪和跟随跟踪。为 了选择合适的初始位置以获得多个无人机协同跟踪的最佳效果,本文尝试分别测试图3种不 同位置无人机的跟踪性能,对比结果如图4所示。
图4(a)1-图4(a)3显示了目标与无人机的运动轨迹,可以清楚地看到,当目标位于多 个无人机编队中心时,三个无人机的运动轨迹相对稳定,误差较小。图4(b)1-图4(b)3显示了在这种情况下无人机的轨迹误差。我们可以看出,在环绕跟踪中,无人机1的误差明显大于无人机2和无人机3的误差,但随着时间的推移,无人机2和无人机3的误差始终保持 在较低的水平,3架无人机的平均航迹误差在1.5米左右。
然而在半环绕跟踪中,三架无人机的轨迹存在明显的波动,特别是目标运动方向发生了 变化时,UAV3的波动幅度比其他两种无人机都大,说明其在跟踪过程中的不稳定性。三架无 人机的平均轨迹误差大于15米,因此可以得出这样的结论:如果采用半环绕跟踪,协同跟踪 的精度很差,这是因为两架无人机的初始位置与目标平行,如果目标的运动方向发生剧烈变 化,其中一架无人机在编队中会失去目标。虽然协同模型调整了多无人机的搜索范围,但由 于初始位置的限制,它们的偏移量较大,导致这一阶段的观测误差较大。
在跟随跟踪中,当目标位于多无人机编队前方时,模型也保持了较高的跟踪精度,平均 轨迹误差约为6米,但其轨迹略有波动。从图中可以看出,三架无人机的误差大于环绕跟踪 中的误差,为了保证协同跟踪的整体鲁棒性,本文选择环绕跟踪的方式进行测试。
在提出的协同模型中,利用阈值θ1,θ2与实际识别率进行比较,分析目标所在的环境,因 此,θ1,θ2的选取对协同跟踪至关重要。图5显示了环绕跟踪中θ1,θ2的平均误差。
θ1决定了在跟踪过程中是否失去目标,因此θ1∈[0.1,0.5]。θ2是遮挡或运动方向变化的判 断,因此θ2∈[0.6,0.9]。从图5可以看出,当θ1=0.3,θ2=0.7时,模型的跟踪性能最好,平 均误差约为3-4米。但当θ1=0.1时,模型的跟踪性能较差,平均误差超过40米,这是因为 目标的运动方向改变或发生遮挡导致无人机识别率不准确。如果模型只对多个无人机进行微 调,而不调整搜索范围,则协同跟踪将漂移,随着时间的推移,误差会不断增加,从而导致 跟踪失败。因此,在系统中设置θ1=0.3,θ2=0.7。
本实施例还从两个方面说明提出的协同模型的有效性:(1)与单个无人机跟踪比较,(2) 模型自身性能分析。主要的测量方法为TE与MF。
与单无人机跟踪比较:
将协同模型中每架无人机的飞行性能与同一位置的单无人机跟踪进行了比较,即选择的 单无人机的位置可以归结为三架无人机在编队中的初始位置。为了进一步验证多无人机协同 跟踪的性能,分别测试了无人机在不同位置时的跟踪效果。图6中的五角星标志着单架无人 机跟踪的初始位置,而菱形则代表单无人机在编队中的位置,对比结果如图7所示。对于单 个无人机,采用目标识别率进行飞行调整。为了直观辨别,将不同位置的单无人机简记为 UAV1(图6(a))、UAV2(图6(b))、UAV3(图6(c))。
图7(a)中的白线是协同优化模型中UAV1的飞行轨迹误差,黑色则是单UAV1的轨迹误差。 从图7(a)可以看出,多无人机协同跟踪能够使单无人机时刻保持稳定飞行状态。然而,在t=400s时,由于目标的运动方向发生改变时,单个无人机受到射击角度的限制,从而导致飞 行轨迹的显著偏差。而协同模型采用策略4来调整多个无人机的飞行位置,以确保目标始终 在无人机监控范围内,因此协同模型中的UAV1在同一位置的识别比单UAV1跟踪更准确。
图7(b)显示了两种模式下UAV2的飞行轨迹误差和误识别帧。图7(b)中的黑线出现明显 波动,表明单UAV2的飞行轨迹误差迅速增加,而协同模型中的UAV2误差仍处于稳定水平。 单无人机的飞行误差在200米左右呈上升趋势,除射角变化外,最重要的因素是目标发生了 局部遮挡,这对UAV2的目标识别产生了很大影响,说明UAV2只观察到了目标的局部信息, 因此识别率降低。而提出的协同模型较好地避免了这一问题。
类似地,从图7(c)中可以看出协同模型中的UAV3误差远低于单架UAV3。通过比较不同 位置上单个无人机误认帧的数量,可以看出单架无人机在目标前方飞行时具有更高的跟踪精 度,但只保持了321帧。而协同模型中的三架无人机都表现了出色的跟踪性能。为了更加直 观地说明,本实施例对表1中的两种跟踪模式进行了更详细的描述。
表1多无人机协同与单无人机的跟踪比较
从表1可以看出,在协同模型中,无人机在不同初始位置的轨迹误差要比相应位置的单 无人机跟踪小。单无人机跟踪的平均航迹误差为71.45m,误识帧平均为813帧。协同模型的 平均误差为4.46m,误识帧数仅为31帧,这进一步说明了模型的有效性。一旦目标运动方向 发生改变或被遮挡,单无人机在跟踪过程中无法准确跟踪,而利用多无人机协同的方式对飞 行位置相互调整,以保证下一帧的飞行轨迹精度和识别率。
为了说明协同模型的性能,将模型进行拆分,分别验证各个子模块的有效性。过程如下: 1)Model1:删除弹性约束项,即不区分遮挡和角度变化;2)Model 2:删除模型预测策略, 即当多无人机的识别率均小于阈值θ1时,采用模糊二次规划的方法对模型进行处理。同样的, 使用飞行轨迹误差和目标误识别帧数作为评估指标。采用环绕跟踪的三个模型的飞行轨迹比 较如图8(a)-图8(c)所示。
从图8(b)可以看出,Model1下三架无人机的轨迹都出现了波动。另外,在Model 2中也 存在局部波动。然而,本发明模型中无人机的飞行轨迹相对平滑,说明本模型针对遮挡、角 度变化、复杂场景等不同环境制定了相应的飞行策略。这些策略用于动态调整多无人机的位 置,使其始终处于最佳目标观测位置。图9(a)-图9(c)显示了三个模型的飞行轨迹误差 和目标误识别帧数。从图中可以看出,本发明模型的跟踪性能明显优于其他两个模型。
表2无人机的识别帧数
为了直观地描述三架无人机的目标识别精度,表2列出了目标识别帧的数量。本发明模 型的平均识别帧数是969帧,但Model1只有658帧。由于分别处理了目标的遮挡或视角的变 化,并在目标遮挡发生时增加了弹性约束,保证了模型具有一定的容错性和整体鲁棒性。与 Model2相比,虽然在识别帧和飞行误差上差异较小,但它也能清楚地反映出增加预测机制的 有效性。当所有的无人机均发生误判时,所提出的预测机制能够调整无人机的飞行方向和搜 索范围,保证了模型的灵活性。
在UE4仿真平台下演示以更直观地显示协作跟踪的有效性,使用UDP协议与仿真平台进 行交互。具体来说,采用DSST算法对目标进行识别判断,并根据UE4中的场景信息应用协同 策略动态调整每个无人机的位置。图10显示了UE4下的协同跟踪效果。
图10(a)展示了仿真环境的布局设计,即场景初始化,部署一个无人地面车作为运动目 标,并将跟踪任务分配给三个无人机。此外,本实施例还设计了一系列静态、动态场景来增 加跟踪的挑战。从图10(b)可以看出,无人地面车和无人机都在运动状态,三架无人机采用 跟踪算法对目标进行实时跟踪。图10(c)给出了每架无人机的跟踪结果,图左上角显示了三 架无人机在跟踪无人地面车时通过摄像头拍摄的照片,用于记录无人机实时跟踪的结果。基 于这些结果,我们可以发现,通过建立的协同跟踪模型,无人地面车始终保持在无人机的监 控范围内,这进一步验证了该方法的有效性。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员 来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等 同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.用于目标跟踪的多无人机协同优化方法,其特征是,包括以下步骤:
实时获取所有无人机的目标识别率TRR;
设定协同阈值θ1和协同阈值θ2,根据所述协同阀值θ1、协同阈值θ2与所述目标识别率TRR之间的关系制定协调策略;
基于协同策略建立约束条件从而使无人机实时进行飞行调整,以使无人机按照目标函数进行目标追踪。
2.如权利要求1所述的用于目标跟踪的多无人机协同优化方法,其特征是,协调策略包括:
若所有无人机的所述目标识别率TRR≤θ1,则追踪目标处于背景杂波环境中而导致所有无人机均发生误识别,目标偏离了无人机的视野范围,无人机编队需调整搜索范围;
若至少存在一架无人机的所述目标识别率TRR满足θ1≤TRR≤θ2,则目标发生了多角度遮挡,根据所述目标识别率最大的无人机位置对其他无人机位置进行微调;
若所有无人机的所述目标识别率TRR均满足θ1≤TRR≤θ2,则目标发生了局部遮挡或相似物体干扰,据所述目标识别率最大的无人机位置对其他无人机位置进行微调;
若无人机的所述目标识别率TRR至少存在一个TRR≥θ2,则目标发生方向的转变而导致无人机的视角变化,以所述目标识别率TRR最高的无人机为中心,对其它无人机的位置进行重新初始化后进行调整;
若所有无人机的所述目标识别率TRR均满足TRR≤θ2,则目前多无人机跟踪是准确的,无人机飞行位置无需调整。
3.如权利要求2所述的用于目标跟踪的多无人机协同优化方法,其特征是,所有无人机的所述目标识别率TRR≤θ1时的具体调整方式为:
以所述目标识别率TRR最大的无人机为中心,其他无人机向其靠拢的方式确定各个无人机的偏移方向,调整后的无人机的坐标满足:
其中,(xit,yit)为t时刻第i架无人机调整后的位置坐标,表示无人机在x、y轴方向的位移,n为采样时间,±表示无人机的偏移方向。
4.如权利要求2所述的用于目标跟踪的多无人机协同优化方法,其特征是,至少存在一架无人机的所述目标识别率TRR满足θ1≤TRR≤θ2时,调整后的无人机的坐标满足:
其中,a∈[1,N]记录所述目标识别率TRR最大的那架无人机的标号,均为弹性模糊约束项,pi、qi为容差;
所有无人机的所述目标识别率TRR均满足θ1≤TRR≤θ2的具体调整方式为与至少存在一架无人机的所述目标识别率TRR满足θ1≤TRR≤θ2的具体调整方式一致。
5.如权利要求2所述的用于目标跟踪的多无人机协同优化方法,其特征是,无人机的所述目标识别率TRR至少存在一个TRR≥θ2时,调整后的无人机的坐标满足:
其中,a∈[1,N],li、di均为严格约束项。
6.如权利要求1-5任一所述的用于目标跟踪的多无人机协同优化方法,其特征是,θ1=0.3,θ2=0.7。
7.如权利要求1所述的用于目标跟踪的多无人机协同优化方法,其特征是,所有无人机飞行时需要满足稳定性要求,动态势能越小,无人机的飞行稳定性越高,无人机的动态势能为:
其中,s表示第i架无人机UAVi在Δt时间段内的最大飞行位移,Δxi、Δyi为第i架无人机UAVi的调整位移(Δxi=xi-x′i,Δyi=yi-y′i);
基于无人机的动态势能,无人机协同跟踪的目标函数为:
8.如权利要求1所述的用于目标跟踪的多无人机协同优化方法,其特征是,所有无人机之间需保持安全距离,安全距离约束表示如下:
其中,ew为是无人机在x轴上的最小安全距离,rw为是无人机在y轴上的最小安全距离。
9.如权利要求3所述的用于目标跟踪的多无人机协同优化方法,其特征是,当目标处于背景杂波环境时,目标函数为:
其中,I为二进制变量,若目标被遮挡或出现相似物体干扰,则I=1;若目标的运动方向发生改变时,则I=0,当I=0时,协同模型等价为二次规划模型,利用库恩-塔克条件将二次规划转化为线性规划;当I=1时,协同模型为伴有弹性约束的二次规划模型。
10.用于目标跟踪的多无人机协同优化系统,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现上述权利要求1至9任一所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910789205.5A CN110618701B (zh) | 2019-08-26 | 2019-08-26 | 用于目标跟踪的多无人机协同优化方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910789205.5A CN110618701B (zh) | 2019-08-26 | 2019-08-26 | 用于目标跟踪的多无人机协同优化方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110618701A true CN110618701A (zh) | 2019-12-27 |
CN110618701B CN110618701B (zh) | 2022-09-30 |
Family
ID=68921953
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910789205.5A Active CN110618701B (zh) | 2019-08-26 | 2019-08-26 | 用于目标跟踪的多无人机协同优化方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110618701B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111474953A (zh) * | 2020-03-30 | 2020-07-31 | 清华大学 | 多动态视角协同的空中目标识别方法及系统 |
CN113190041A (zh) * | 2021-04-30 | 2021-07-30 | 哈尔滨工业大学 | 一种基于约束松弛技术的无人机集群在线目标分配方法 |
CN113359853A (zh) * | 2021-07-09 | 2021-09-07 | 中国人民解放军国防科技大学 | 一种无人机编队协同目标监视的路径规划方法及系统 |
CN113655811A (zh) * | 2021-08-25 | 2021-11-16 | 北京理工大学 | 隐式通信下无人机协同跟踪地面目标的期望队形获得方法 |
CN114355987A (zh) * | 2022-01-19 | 2022-04-15 | 北京航空航天大学 | 一种基于弹性重要度的无人机编队重构方法 |
CN114371733A (zh) * | 2022-01-06 | 2022-04-19 | 中国人民解放军海军航空大学 | 一种多无人机协同环绕飞行控制方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106873628A (zh) * | 2017-04-12 | 2017-06-20 | 北京理工大学 | 一种多无人机跟踪多机动目标的协同路径规划方法 |
US20180118337A1 (en) * | 2015-04-15 | 2018-05-03 | Pierre Emmanuel VIEL | Cleaning drone |
CN109299210A (zh) * | 2018-11-06 | 2019-02-01 | 哈尔滨工业大学(深圳) | 一种基于信息融合的多无人机分布式协同搜索方法 |
CN109976386A (zh) * | 2019-04-04 | 2019-07-05 | 中国电子科技集团公司信息科学研究院 | 一种多无人机协同跟踪目标的方法和系统 |
-
2019
- 2019-08-26 CN CN201910789205.5A patent/CN110618701B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180118337A1 (en) * | 2015-04-15 | 2018-05-03 | Pierre Emmanuel VIEL | Cleaning drone |
CN106873628A (zh) * | 2017-04-12 | 2017-06-20 | 北京理工大学 | 一种多无人机跟踪多机动目标的协同路径规划方法 |
CN109299210A (zh) * | 2018-11-06 | 2019-02-01 | 哈尔滨工业大学(深圳) | 一种基于信息融合的多无人机分布式协同搜索方法 |
CN109976386A (zh) * | 2019-04-04 | 2019-07-05 | 中国电子科技集团公司信息科学研究院 | 一种多无人机协同跟踪目标的方法和系统 |
Non-Patent Citations (2)
Title |
---|
刘大千 等: "前景约束下的抗干扰匹配目标跟踪方法", 《自动化学报》 * |
刘昌 等: "基于TLD算法的无人机协同目标跟踪技术研究", 《光学与光电技术》 * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111474953A (zh) * | 2020-03-30 | 2020-07-31 | 清华大学 | 多动态视角协同的空中目标识别方法及系统 |
CN111474953B (zh) * | 2020-03-30 | 2021-09-17 | 清华大学 | 多动态视角协同的空中目标识别方法及系统 |
CN113190041A (zh) * | 2021-04-30 | 2021-07-30 | 哈尔滨工业大学 | 一种基于约束松弛技术的无人机集群在线目标分配方法 |
CN113359853A (zh) * | 2021-07-09 | 2021-09-07 | 中国人民解放军国防科技大学 | 一种无人机编队协同目标监视的路径规划方法及系统 |
CN113359853B (zh) * | 2021-07-09 | 2022-07-19 | 中国人民解放军国防科技大学 | 一种无人机编队协同目标监视的路径规划方法及系统 |
CN113655811A (zh) * | 2021-08-25 | 2021-11-16 | 北京理工大学 | 隐式通信下无人机协同跟踪地面目标的期望队形获得方法 |
CN113655811B (zh) * | 2021-08-25 | 2024-05-07 | 北京理工大学 | 隐式通信下无人机协同跟踪地面目标的期望队形获得方法 |
CN114371733A (zh) * | 2022-01-06 | 2022-04-19 | 中国人民解放军海军航空大学 | 一种多无人机协同环绕飞行控制方法及系统 |
CN114371733B (zh) * | 2022-01-06 | 2023-11-28 | 中国人民解放军海军航空大学 | 一种多无人机协同环绕飞行控制方法及系统 |
CN114355987A (zh) * | 2022-01-19 | 2022-04-15 | 北京航空航天大学 | 一种基于弹性重要度的无人机编队重构方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110618701B (zh) | 2022-09-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110618701B (zh) | 用于目标跟踪的多无人机协同优化方法及系统 | |
Price et al. | Deep neural network-based cooperative visual tracking through multiple micro aerial vehicles | |
Quintero et al. | Robust UAV coordination for target tracking using output-feedback model predictive control with moving horizon estimation | |
Khan et al. | Cooperative robots to observe moving targets | |
Dentler et al. | Collision avoidance effects on the mobility of a UAV swarm using chaotic ant colony with model predictive control | |
Tallamraju et al. | Active perception based formation control for multiple aerial vehicles | |
Forster et al. | Collaborative monocular slam with multiple micro aerial vehicles | |
Shen et al. | Vision-based state estimation for autonomous rotorcraft MAVs in complex environments | |
CN109976386A (zh) | 一种多无人机协同跟踪目标的方法和系统 | |
Ma et al. | Cooperative target tracking in balanced circular formation: Multiple UAVs tracking a ground vehicle | |
He et al. | On the design and use of a micro air vehicle to track and avoid adversaries | |
CN111474953B (zh) | 多动态视角协同的空中目标识别方法及系统 | |
Nguyen et al. | Flexible and resource-efficient multi-robot collaborative visual-inertial-range localization | |
Farmani et al. | Tracking multiple mobile targets using cooperative unmanned aerial vehicles | |
Tang et al. | Onboard detection-tracking-localization | |
Morbidi et al. | Estimation and control of UAV swarms for distributed monitoring tasks | |
Sai et al. | A comprehensive survey on artificial intelligence for unmanned aerial vehicles | |
Wang et al. | Oracle-guided deep reinforcement learning for large-scale multi-UAVs flocking and navigation | |
Liu et al. | SMART: Vision-based method of cooperative surveillance and tracking by multiple UAVs in the urban environment | |
de Vargas et al. | Patrolling strategy for multiple UAVs with recharging stations in unknown environments | |
Ge et al. | Vision-based relative detection and tracking for teams of micro aerial vehicles | |
Huang et al. | Decentralized navigation of a UAV team for collaborative covert eavesdropping on a group of mobile ground nodes | |
Barisic et al. | Brain over Brawn: Using a Stereo Camera to Detect, Track, and Intercept a Faster UAV by Reconstructing the Intruder's Trajectory | |
Jung et al. | A generalized region-based approach for multi-target tracking in outdoor environments | |
Basit et al. | Joint localization of pursuit quadcopters and target using monocular cues |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |