CN111833381A - 一种无人机目标跟踪轨迹生成方法、无人机及存储介质 - Google Patents
一种无人机目标跟踪轨迹生成方法、无人机及存储介质 Download PDFInfo
- Publication number
- CN111833381A CN111833381A CN202010587797.5A CN202010587797A CN111833381A CN 111833381 A CN111833381 A CN 111833381A CN 202010587797 A CN202010587797 A CN 202010587797A CN 111833381 A CN111833381 A CN 111833381A
- Authority
- CN
- China
- Prior art keywords
- unmanned aerial
- aerial vehicle
- time period
- preset time
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000036461 convulsion Effects 0.000 claims description 46
- 238000005457 optimization Methods 0.000 claims description 26
- 230000001133 acceleration Effects 0.000 claims description 21
- 230000003068 static effect Effects 0.000 claims description 19
- 230000007613 environmental effect Effects 0.000 claims description 16
- 239000011159 matrix material Substances 0.000 claims description 8
- 230000006870 function Effects 0.000 description 22
- 238000005265 energy consumption Methods 0.000 description 6
- 239000002245 particle Substances 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 230000004888 barrier function Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明公开了一种无人机目标跟踪轨迹生成方法、无人机及存储介质,所述无人机目标跟踪轨迹生成方法根据环境图像获取目标在当前时刻后预设时长内目标以及移动障碍物的位置,并根据目标以及移动障碍物的位置确定无人机在当前时刻后预设时长内的目标跟踪轨迹,实现了针对存在移动障碍物环境的无人机目标跟踪轨迹生成。
Description
技术领域
本发明涉及无人机技术领域,特别涉及一种无人机目标跟踪轨迹生成方法、无人机及存储介质。
背景技术
目标跟踪作为一种无人机的基本任务形式,在存在障碍物遮挡的复杂动态环境中,无人机需要保证目标跟踪性能同时保证自身飞行安全,避免碰撞,目前,现有技术中的无人机目标跟踪轨迹生成方法都是基于只存在静态障碍物的环境,还没有针对存在动态障碍物的环境下无人机目标跟踪轨迹生成方法。
因此,现有技术还有待改进和提高。
发明内容
针对现有技术的上述缺陷,本发明提供一种无人机目标跟踪轨迹生成方法、无人机及存储介质,旨在解决现有技术中还没有针对存在动态障碍物的环境下无人机目标跟踪轨迹生成方法的问题。
为了解决上述技术问题,本发明所采用的技术方案如下:
本发明的第一方面,提供一种无人机目标跟踪轨迹生成方法,所述方法包括:
获取环境图像序列,根据所述环境图像序列获取目标在第一预设时段内的第一位置信息、以及移动障碍物在所述第一预设时段内的第二位置信息,其中,所述第一预设时段为当前时刻后预设时长的时间段;
获取无人机的当前运动轨迹信息,根据所述当前运动轨迹信息获取所述无人机在所述第一预设时段内的多个运动轨迹样本,每个所述运动轨迹样本包括所述无人机在所述第一预设时段内各个时刻分别对应的运动轨迹信息,所述运动轨迹信息包括所述无人机的位置;
获取环境欧式距离场地图,根据所述第一位置信息、所述第二位置信息以及所述环境欧式距离场地图对所述多个运动轨迹样本进行评判,确定目标跟踪轨迹,以使得所述无人机根据所述目标跟踪轨迹飞行,对所述目标进行跟踪。
所述的无人机目标跟踪轨迹生成方法,其中,所述第一位置信息包括所述目标在所述第一预设时间段内的各个时刻对应的位置;所述第二位置信息包括所述移动障碍物在所述第一预设时间段内的各个时刻对应的位置;所述根据所述环境图像序列获取目标在所述第一预设时间段内的第一位置信息以及移动障碍物在所述第一预设时段内的第二位置信息包括:
根据所述环境图像序列获取所述目标在第二预设时间段内的第一实际位置信息以及所述移动障碍物在所述第二预设时间段内的第二实际位置信息;
根据所述第一实际位置信息构建所述目标的第一运动模型,根据所述第一运动模型获取所述第一位置信息;
根据所述第二实际位置信息构建所述移动障碍物的第二运动模型,根据所述第二运动模型获取所述第二位置信息。
所述的无人机目标跟踪轨迹生成方法,其中,所述获取环境欧式距离场地图包括:
获取环境点云信息,根据所述环境点云信息获取所述欧式距离场地图。
所述的无人机目标跟踪轨迹生成方法,其中,所述根据所述当前运动轨迹信息获取所述无人机在所述第一预设时段内的多个运动轨迹样本包括:
根据第一预设公式获取所述无人机在所述第一预设时段内的各个时刻多个加加速度分别对应的运动轨迹信息;
其中,所述第一预设公式为:
sq[tn+1]=Asq[tn]+buq[tn],其中,tn+1为tn的下一时刻,tn和tn+1的时间间隔为Δt,sq为所述运动轨迹信息,uq为加加速度,矩阵A和矩阵b选为:
所述的无人机目标跟踪轨迹生成方法,其中,所述根据所述第一位置信息、所述第二位置信息以及所述环境欧式距离场地图对所述多个运动轨迹样本进行评判,确定目标跟踪轨迹包括:
根据所述第二位置信息获取所述第一预设时段内各个时刻分别对应的第一距离,其中,所述第一距离为所述运动轨迹信息中的无人机位置与所述移动障碍物的距离;
根据所述欧式距离场地图获取所述第一预设时段内各个时刻分别对应的第二距离,其中,所述第二距离为所述运动轨迹信息中的无人机位置与最近的静态障碍物的欧式距离;
根据所述第一位置信息以及所述环境欧式距离场地图获取所述第一预设时段内各个时刻分别对应的第三距离,其中,所述第三距离为所述运动轨迹信息中的无人机位置与所述目标的位置组成的方向向量与最近的静态障碍物的欧式距离;
根据所述第一距离、所述第二距离以及所述第三距离对所述多个运动轨迹样本进行评判,确定所述目标跟踪轨迹。
所述的无人机目标跟踪轨迹生成方法,其中,所述根据所述第一距离、所述第二距离以及所述第三距离对所述多个运动轨迹样本进行评判,确定所述目标跟踪轨迹包括:
根据预设的优化函数:J=w1J1+w2J2+w3J3确定所述目标跟踪轨迹;
其中,w1、w2、w3分别为J1、J2、J3对应的权重,d1(t)为t时刻的所述第一距离,d2(t)为t时刻的所述第二距离,d3(t)为t时刻的所述第三距离,t0为当前时刻,T为所述第一预设时段的时长。
所述的无人机目标跟踪轨迹生成方法,其中,每个所述运动轨迹信息还包括无人机的速度和加速度;所述根据所述第一距离、所述第二距离以及所述第三距离对所述多个运动轨迹样本进行评判,确定所述目标跟踪轨迹包括:
根据预设的优化函数:J=w1J1+w2J2+w3J3+w4J4+w5J5确定所述目标跟踪轨迹;
H(uq)=wvη2(v,-vmax,vmax)+waη2(a,-amax,amax)+wjη2(j,-jmax,jmax),
其中,η(k,k1,k2)=max(k1-k,0)+max(k-k2,0),w1、w2、w3、w4、w5分别为J1、J2、J3、J4、J5对应的权重,d1(t)为t时刻的所述第一距离,d2(t)为t时刻的所述第二距离,d3(t)为t时刻的所述第三距离,uq为加加速度,vmax、amax、jmax分别表示无人机速度、加速度、加加速度的约束值,;wv、wa、wj分别为H(uq)中各项的权重值,t0为当前时刻,T为所述第一预设时段的时长。
所述的无人机目标跟踪轨迹生成方法,其中,所述根据预设的优化函数对所述多个运动轨迹样本进行评判,确定所述目标跟踪轨迹包括:
获取使得所述优化函数值最小的加加速度序列,其中,所述加加速度序列中包括所述第一预设时段内各个时刻分别对应的加加速度;
根据所述加加速度序列确定所述目标跟踪轨迹。
本发明的第二方面,提供一种无人机,所述无人机包括处理器、与处理器通信连接的存储介质,所述存储介质适于存储多条指令,所述处理器适于调用所述存储介质中的指令,以执行实现上述任一项所述的无人机目标跟踪轨迹生成方法的步骤。
本发明的第三方面,提供一种存储介质,所述存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现上述任一项所述的无人机目标跟踪轨迹生成方法的步骤。
与现有技术相比,本发明提供了一种无人机目标跟踪轨迹生成方法、无人机及存储介质,所述无人机目标跟踪轨迹生成方法根据环境图像获取目标在当前时刻后预设时长内目标以及移动障碍物的位置,并根据目标以及移动障碍物的位置确定无人机在当前时刻后预设时长内的目标跟踪轨迹,实现了针对存在移动障碍物环境的无人机目标跟踪轨迹生成。
附图说明
图1为本发明提供的无人机目标跟踪轨迹生成方法的实施例的流程图;
图2为无人机目标跟踪场景示意图;
图3为本发明提供的无人机目标跟踪轨迹生成方法的实施例中子步骤的流程图;
图4为本发明提供的无人机目标跟踪轨迹生成方法的实施例中第三距离的示意图;
图5为本发明提供的无人机目标跟踪轨迹生成方法的实施例的跟踪轨迹二维示意图;
图6为本发明提供的无人机的实施例的原理示意图。
具体实施方式
为使本发明的目的、技术方案及效果更加清楚、明确,以下参照附图并举实施例对本发明进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
实施例一
本发明提供的无人机目标跟踪轨迹生成方法,可以是应用在无人机中,所述无人机可以通过本发明提供的无人机目标跟踪轨迹生成方法生成目标跟踪轨迹,对目标进行跟踪,也可以是应用在安装在无人机上的装置中,所述装置可以通过本发明提供的无人机目标跟踪轨迹生成方法生成目标跟踪轨迹并发送至无人机,以使得所述无人机根据所述目标跟踪轨迹飞行,对目标进行跟踪。如图1所示,所述无人机目标跟踪轨迹生成方法的一个实施例中,包括步骤:
S100、获取环境图像序列,根据所述环境图像序列获取目标在第一预设时段内的第一位置信息、以及移动障碍物在所述第一预设时段内的第二位置信息。
所述第一时段为当前时刻后预设时长的时间段,所述第一时段内包括多个时刻,考虑到数据处理的效率,在本发明中,设置每个时刻之间的时间间隔设置为Δt,即,以Δt为间隔进行数据采样以及数据处理。
如图2所示,本实施例提供的无人机目标跟踪轨迹生成方法,是应用于存在移动障碍物的无人机跟踪场景中,无人机100在跟踪目标200时,除了静态障碍物400之外,还存在动态障碍物300。在生成目标跟踪轨迹时,首先获取环境图像序列,所述环境图像序列中包括多张环境图像,所述环境图像序列可以由无人机搭载的相机拍摄得到,具体地,所述无人机可以搭载双目相机和云台相机,通过双目相机和云台相机获取所述环境图像序列。在获取到所述环境图像序列后,根据所述环境图像序列获取所述无人机跟踪的目标在第一预设时段内的第一位置信息、以及移动障碍物在所述第一预设时段内的第二位置信息,也就是说,所述第一位置信息包括所述目标在所述第一预设时间段内的各个时刻对应的位置,所述第二位置信息包括所述移动障碍物在所述第一预设时间段内的各个时刻对应的位置,根据环境图像序列预测所述目标以及所述移动障碍物在当前时刻后预设时长内的每个时刻分别对应的位置。前面已经说明,相邻两时刻之间的间隔为Δt。
具体地,所述根据所述环境图像序列获取目标在所述第一预设时间段内的第一位置信息以及移动障碍物在所述第一预设时段内的第二位置信息包括:
S110、根据所述环境图像序列获取所述目标在第二预设时间段内的第一实际位置信息以及所述移动障碍物在所述第二预设时间段内的第二实际位置信息;
S120、根据所述第一实际位置信息构建所述目标的第一运动模型,根据所述第一运动模型获取所述第一位置信息;根据所述第二实际位置信息构建所述移动障碍物的第二运动模型,根据所述第二运动模型获取所述第二位置信息。
所述第二预设时间段为当前时刻前预设时长的时间段,所述第一实际位置信息和所述第二实际位置信息可以通过所述环境图像序列中第二预设时间段对应的环境图像得到,所述第一实际位置信息为包括所述目标在所述第二预设时间段内的各个时刻分别对应的实际位置的序列,所述第二实际位置信息为所述移动障碍物在所述第二预设时间段内的各个时刻分别对应的实际位置的序列,在获取到所述第一实际位置信息和所述第二实际位置信息后,对所述目标和所述移动障碍物在所述第一预设时间段内的位置进行预测。具体地,本实施例中,是先根据所述第一实际位置信息构建所述目标的第一运动模型,根据所述第一运动模型获取所述第一位置信息,根据所述的第二实际位置信息构建所述移动障碍物的第二运动模型,根据所述第二运动模型获取所述第二位置信息。
本实施例中,采用高斯过程回归方法来构建所述第一运动模型和所述第二运动模型,具体地,在本实施例中,认为所述第一位置信息和所述第一实际位置信息属于同一高斯分布,所述第二位置信息和所述第二实际位置信息属于同一高斯分布,所述第一运动模型和所述第二运动模型可以表示为y=f(x)+N(0,σ2),其中,f(x)为一个隐函数,N(0,σ2)为高斯噪声,σ2为高斯分布的协方差,σ2预先设定,在构建所述第一运动模型和所述第二运动模型时,通过所述第一实际位置信息和所述第二实际位置信息分别确定对应的所述第一实际位置信息对应的隐函数f(x)和所述第二实际位置信息对应的隐函数f(x),从而得到所述第一运动模型和所述第二运动模型。
在获取到所述第一运动模型和所述第二运动模型后,可以得到所述第一位置信息和所述第二位置信息。
请再次参阅图1,所述的无人机目标跟踪轨迹生成方法还包括步骤:
S200、获取无人机的当前运动轨迹信息,根据所述当前运动轨迹信息获取所述无人机在所述第一预设时段内的多个运动轨迹样本。
所述第一预设时段为当前时刻之后预设时长的时间段,也就是说,所述运动轨迹样本为所述无人机在所述第一预设时段内可能实现的运动轨迹,每个所述运动轨迹样本中包括所述无人机在所述第一预设时段内各个时刻分别对应的运动轨迹信息,所述运动轨迹信息包括所述无人机的位置。在本实施例中,使用加加速度作为变量来表示所述无人机在每个时刻间隔内的运动轨迹信息变化,具体地,所述根据所述当前运动轨迹信息获取所述无人机在所述第一预设时段内的多个运动轨迹样本包括:
根据第一预设公式获取所述无人机在所述第一预设时段内的各个时刻多个加加速度分别对应的运动轨迹信息。
所述第一预设公式为:sq[tn+1]=Asq[tn]+buq[tn],其中,tn+1为tn的下一时刻,tn和tn+1的时间间隔为Δt,sq为所述运动轨迹信息,uq为加加速度(jerk),矩阵A和矩阵b选为:
在一种可能的实现方式中,sq=[p],p为无人机的位置,即所述运动轨迹信息包括所述无人机的位置,在另一中可能的实现方式中,sq=[p,v,a],p为无人机的位置,v为无人机的速度,a为无人机的加速度,即,所述运动轨迹信息包括所述无人机的位置、速度和加速度,具体将在后文被说明。
从上面的公式不难看出,根据所述无人机在当前时刻的运动轨迹信息,可以根据所述第一预设公式得到所述无人机在所述第一预设时段内各个时刻分别对应的所述运动轨迹信息,并且,根据每个时刻不同的加加速度,可以得到每个时刻对应的多个运动轨迹信息,本实施例提供的无人机目标跟踪轨迹生成方法,是在多个运动轨迹样本中确定目标跟踪轨迹,具体地,所述无人机目标跟踪轨迹生成方法还包括步骤:
S300、获取环境欧式距离场地图,根据所述第一位置信息、所述第二位置信息以及所述环境欧式距离场地图对所述多个运动轨迹样本进行评判,确定目标跟踪轨迹,以使得所述无人机根据所述目标跟踪轨迹飞行,对所述目标进行跟踪。
欧式距离场地图是本领域内常用的工具,欧式距离场地图中的每个栅格中存储有该栅格到距离该栅格最近的静态障碍物的欧式距离信息。所述获取环境欧式距离场地图包括:
获取环境点云信息,根据所述环境点云信息获取所述欧式距离场地图。具体地,所述环境点云信息可以是由所述无人机搭载的双目相机获取,此为现有技术,在此不再赘述。
如图3所示,所述根据所述第一位置信息、所述第二位置信息以及所述环境欧式距离场地图对所述多个运动轨迹样本进行评判,确定目标跟踪轨迹包括:
S310、根据所述第二位置信息获取所述第一预设时段内各个时刻分别对应的第一距离;
所述第一距离为所述运动轨迹信息中的无人机位置与所述移动障碍物的距离,前面已经说明,所述运动轨迹信息中包括无人机的位置,对于所述第一预设时段的每一个时刻,都获取该时刻对应的无人机位置(如前文所述,根据对应的加加速度的不同,可以有多个)与该时刻对应的所述移动障碍物的位置,进而可以得到所述第一距离。
S320、根据所述欧式距离场地图获取所述第一预设时段内各个时刻分别对应的第二距离;
其中,所述第二距离为所述运动轨迹信息中的无人机位置与最近的静态障碍物的欧式距离,前面已经说明,所述欧式距离场地图中存储有的各个栅格与最近的静态障碍物的距离,因此,对于所述第一预设时段的每一个时刻,都获取该时刻对应的无人机位置(如前文所述,根据对应的加加速度的不同,可以有多个),进而根据所述无人机位置在所述欧式距离场地图中获取到所述第二距离。
S330、根据所述第一位置信息以及所述环境欧式距离场地图获取所述第一预设时段内各个时刻分别对应的第三距离;
其中,所述第三距离为所述运动轨迹信息中的无人机位置与所述目标的位置组成的方向向量与最近的静态障碍物的欧式距离,如图4所示,图4中的100为无人机,200为目标,400为静态障碍物,图4中的d3即为所述第三距离,对于所述第一预设时段的每一个时刻,都获取该时刻对应的无人机位置(如前文所述,根据对应的加加速度不同,可以有多个)和该时刻对应的所述目标的位置,进而可以获得该时刻对应的无人机位置与所述目标的位置组成的方向向量(根据无人机位置的不同,可以有多个),进而通过在所述欧式距离场地图中进行体素遍历得到所述第三距离。
S340、根据所述第一距离、所述第二距离以及所述第三距离对所述多个运动轨迹样本进行评判,确定所述目标跟踪轨迹。
具体地,所述根据所述第一距离、所述第二距离以及所述第三距离在对所述多个运动轨迹样本进行评判,确定所述目标跟踪轨迹是根据预设的优化函数确定所述目标跟踪轨迹,其中,所述优化函数中包括所述第一距离、所述第二距离以及所述第三距离,从前面的说明不难看出,对于所述第一预设时间段内的每个时刻,都具有对应的多个所述第一距离、多个所述第二距离以及多个所述第三距离,且所述第一距离、所述第二距离以及所述第三距离是根据各个时刻的加加速度所确定的,所述优化函数的优化目标是求得所述第一预设时间段内的各个时刻分别对应的各个目标加加速度,以使得所述各个目标加加速度分别对应的所述第一距离、所述第二距离以及所述第三距离达到最大。
所述优化函数可以为:J=w1J1+w2J2+w3J3,
其中,w1、w2、w3分别为J1、J2、J3对应的权重,w1、w2、w3可以根据所述无人机目标跟踪轨迹生成方法的实际应用结果或者仿真结果进行调整设置,d1(t)为t时刻的所述第一距离,d2(t)为t时刻的所述第二距离,d3(t)为t时刻的所述第三距离,t0为当前时刻,T为所述第一预设时段的时长。从上述公式可以看出,当所述第一距离越大时,J1越小,当所述第二距离越大时,J2越小,当所述第三距离越大时,J3越小,因此,优化函数J的优化目标是求得各个时刻分别对应的各个目标加加速度,使得J的值最小,这样得到的所述各个目标加加速度能够使得所述无人机与所述移动障碍物的距离、所述无人机与所述静态障碍物的距离以及所述无人机与所述目标组成的方向向量与最近的静态障碍物的距离尽可能的大,实现所述无人机避让所述移动障碍物、所述无人机避让所述静态障碍物以及所述无人机与所述目标之间不被静态障碍物遮挡的效果,从而保证所述无人机在所述第一预设时间段内的飞行安全以及对所述目标的跟踪拍摄效果。
在一种可能的实现方式中,所述运动轨迹信息还包括无人机的速度和加速度,即在对所述目标进行跟踪时,还对所述无人机的速度和加速度进行控制,具体地,在本发明中,通过能耗和无人机动态可行性进行无人机的速度和加速度的控制,在这种实现方式中,所述预设优化函数为:
J=w1J1+w2J2+w3J3+w4J4+w5J5
H(uq)=wvη2(v,-vmax,vmax)+waη2(a,-amax,amax)+wjη2(j,-jmax,jmax)
η(k,k1,k2)=max(k1-k,0)+max(k-k2,0)
其中,w1、w2、w3、w4、w5分别为J1、J2、J3、J4、J5对应的权重,w1、w2、w3、w4、w5可以根据所述无人机目标跟踪轨迹生成方法的实际应用结果或者仿真结果进行调整设置,d1(t)为t时刻的所述第一距离,d2(t)为t时刻的所述第二距离,d3(t)为t时刻的所述第三距离,uq为加加速度,vmax、amax、jmax分别表示无人机速度、加速度、加加速度的约束值,vmax、amax、jmax可以是根据无人机的性能预先设置;wv、wa、wj分别为H(uq)中各项的权重值,wv、wa、wj可以根据所述无人机目标跟踪轨迹生成方法的实际应用结果或者仿真结果进行调整设置,t0为当前时刻,T为所述第一预设时段的时长。
具体地,加加速度与无人机的能耗有关,因此,J4可以反映所述无人机在所述第一预设时段内的能耗情况,为了节约无人机的能耗,应使得J4尽可能小,而J5可以反映所述无人机在所述第一预设时段内的速度、加速度以及加加速度的大小,为了使得所述无人机的速度、加速度以及加加速度不超过约束值,应使得J5尽可能小。同时,根据前面所说明的,当所述第一距离越大时,J1越小,当所述第二距离越大时,J2越小,当所述第三距离越大时,J3越小,因此,优化函数J的优化目标是求得各个时刻分别对应的各个目标加加速度,使得J的值最小,这样得到的所述各个目标加加速度能够使得所述无人机与所述移动障碍物的距离、所述无人机与所述静态障碍物的距离以及所述无人机与所述目标组成的方向向量与最近的静态障碍物的距离尽可能的大,并且所述无人机的能耗尽可能小,所述无人机的速度、加速度、加加速度不超过设置的约束值,从而保证所述无人机在所述第一预设时间段内的飞行安全、对所述目标的跟踪拍摄效果、低能耗、飞行参数不超出约束值。
具体地,所述根据预设的优化函数确定所述对所述多个运动轨迹样本进行评判,确定所述目标跟踪轨迹包括:
获取使得所述优化函数值最小的加加速度序列,其中,所述加加速度序列中包括所述第一预设时段内各个时刻分别对应的加加速度;
根据所述加加速度序列确定所述目标跟踪轨迹。
所述加加速度序列中包括所述第一预设时段内各个时刻分别对应的加加速度,也就是说,对于所述第一预设时段内的每个时刻,都确定一个对应的加加速度,使得所述第一预设时段内的每个时刻对应的所述加加速度能够使得所述优化函数最小。
具体地,所述优化函数的求解方法可以是通过并行粒子群算法进行求解,其中,算法中的每个粒子选为所述第一预设时段内的各个时刻分别对应的加加速度uqi(i=1,2...N),N为粒子数量,且每个粒子的纬度为T/Δt,T为所述第一预设时段的时长,Δt为所述第一预设时段内相邻两个时刻之间的时间间隔。通过GPU加速对粒子群算法进行并行求解,得到所述加加速度序列。
在获取到所述加加速度序列之后,带入到所述第一预设公式中,就可以求得所述无人机在所述第一预设时段内的各个时刻分别唯一对应的所述目标运动轨迹信息。各个时刻分别对应的所述目标运动轨迹信息构成所述目标跟踪轨迹,所述无人机根据所述目标跟踪轨迹飞行,对所述目标进行跟踪,如图5所示,图5中虚线为所述目标的运动轨迹,实线曲线为所述无人机的所述目标跟踪轨迹,点划线为移动障碍物的运动轨迹。
综上所述,本实施例提供一种无人机目标跟踪轨迹生成方法,所述无人机目标跟踪轨迹生成方法根据环境图像获取目标在当前时刻后预设时长内目标以及移动障碍物的位置,并根据目标以及移动障碍物的位置确定无人机在当前时刻后预设时长内的目标跟踪轨迹,实现了针对存在移动障碍物环境的无人机目标跟踪轨迹生成。
应该理解的是,虽然本发明说明书附图中给出的的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
实施例二
基于上述实施例,本发明还相应提供了一种无人机,如图6所示,所述无人机包括处理器10以及存储器20。图6仅示出了无人机的部分组件,但是应理解的是,并不要求实施所有示出的组件,可以替代的实施更多或者更少的组件。
所述存储器20在一些实施例中可以是所述无人机的内部存储单元,例如无人机的硬盘或内存。所述存储器20在另一些实施例中也可以是所述无人机的外部存储设备,例如所述无人机上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(SecureDigital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器20还可以既包括所述无人机的内部存储单元也包括外部存储设备。所述存储器20用于存储安装于所述无人机的应用软件及各类数据。所述存储器20还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中,存储器20上存储有无人机目标跟踪轨迹生成程序30,该无人机目标跟踪轨迹生成程序30可被处理器10所执行,从而实现本申请中无人机目标跟踪轨迹生成方法。
所述处理器10在一些实施例中可以是一中央处理器(Central Processing Unit,CPU),微处理器或其他芯片,用于运行所述存储器20中存储的程序代码或处理数据,例如执行所述无人机目标跟踪轨迹生成方法等。
在一实施例中,当处理器10执行所述存储器20中无人机目标跟踪轨迹生成程序30时实现以下步骤:
获取环境图像序列,根据所述环境图像序列获取目标在第一预设时段内的第一位置信息、以及移动障碍物在所述第一预设时段内的第二位置信息,其中,所述第一预设时段为当前时刻后预设时长的时间段;
获取无人机的当前运动轨迹信息,根据所述当前运动轨迹信息获取所述无人机在所述第一预设时段内的多个运动轨迹样本,每个所述运动轨迹样本包括所述无人机在所述第一预设时段内各个时刻分别对应的运动轨迹信息,所述运动轨迹信息包括所述无人机的位置;
获取环境欧式距离场地图,根据所述第一位置信息、所述第二位置信息以及所述环境欧式距离场地图对所述多个运动轨迹样本进行评判,确定目标跟踪轨迹,生成目标跟踪轨迹,以使得所述无人机根据所述目标跟踪轨迹飞行,对所述目标进行跟踪。
其中,所述第一位置信息包括所述目标在所述第一预设时间段内的各个时刻对应的位置;所述第二位置信息包括所述移动障碍物在所述第一预设时间段内的各个时刻对应的位置;所述根据所述环境图像序列获取目标在所述第一预设时间段内的第一位置信息以及移动障碍物在所述第一预设时段内的第二位置信息包括:
根据所述环境图像序列获取所述目标在第二预设时间段内的第一实际位置信息以及所述移动障碍物在所述第二预设时间段内的第二实际位置信息;
根据所述第一实际位置信息构建所述目标的第一运动模型,根据所述第一运动模型获取所述第一位置信息;
根据所述第二实际位置信息构建所述移动障碍物的第二运动模型,根据所述第二运动模型获取所述第二位置信息。
其中,所述获取环境欧式距离场地图包括:
获取环境点云信息,根据所述环境点云信息获取所述欧式距离场地图。
其中,所述根据所述当前运动轨迹信息获取所述无人机在所述第一预设时段内的多个运动轨迹样本包括:
根据第一预设公式获取所述无人机在所述第一预设时段内的各个时刻多个加加速度分别对应的运动轨迹信息;
其中,所述第一预设公式为:
sq[tn+1]=Asq[tn]+buq[tn],其中,tn+1为tn的下一时刻,tn和tn+1的时间间隔为Δt,sq为所述运动轨迹信息,uq为加加速度,矩阵A和矩阵b选为:
其中,所述根据所述第一位置信息、所述第二位置信息以及所述环境欧式距离场地图对所述多个运动轨迹样本进行评判,确定目标跟踪轨迹包括:
根据所述第二位置信息获取所述第一预设时段内各个时刻分别对应的第一距离,其中,所述第一距离为所述运动轨迹信息中的无人机位置与所述移动障碍物的距离;
根据所述欧式距离场地图获取所述第一预设时段内各个时刻分别对应的第二距离,其中,所述第二距离为所述运动轨迹信息中的无人机位置与最近的静态障碍物的欧式距离;
根据所述第一位置信息以及所述环境欧式距离场地图获取所述第一预设时段内各个时刻分别对应的第三距离,其中,所述第三距离为所述运动轨迹信息中的无人机位置与所述目标的位置组成的方向向量与最近的静态障碍物的欧式距离;
根据所述第一距离、所述第二距离以及所述第三距离对所述多个运动轨迹样本进行评判,确定所述目标跟踪轨迹。
其中,所述根据所述第一距离、所述第二距离以及所述第三距离对所述多个运动轨迹样本进行评判,确定所述目标跟踪轨迹包括:
根据预设的优化函数:J=w1J1+w2J2+w3J3确定所述目标跟踪轨迹;
其中,w1、w2、w3分别为J1、J2、J3对应的权重,d1(t)为t时刻的所述第一距离,d2(t)为t时刻的所述第二距离,d3(t)为t时刻的所述第三距离,t0为当前时刻,T为所述第一预设时段的时长。
其中,每个所述运动轨迹信息还包括无人机的速度和加速度;所述根据所述第一距离、所述第二距离以及所述第三距离对所述多个运动轨迹样本进行评判,确定所述目标跟踪轨迹包括:
根据预设的优化函数:J=w1J1+w2J2+w3J3+w4J4+w5J5确定所述目标跟踪轨迹;
H(uq)=wvη2(v,-vmax,vmax)+waη2(a,-amax,amax)+wjη2(j,-jmax,jmax),
其中,η(k,k1,k2)=max(k1-k,0)+max(k-k2,0),w1、w2、w3、w4、w5分别为J1、J2、J3、J4、J5对应的权重,d1(t)为t时刻的所述第一距离,d2(t)为t时刻的所述第二距离,d3(t)为t时刻的所述第三距离,uq为加加速度,vmax、amax、jmax分别表示无人机速度、加速度、加加速度的约束值,;wv、wa、wj分别为H(uq)中各项的权重值,t0为当前时刻,T为所述第一预设时段的时长。
其中,所述根据预设的优化函数对所述多个运动轨迹样本进行评判,确定所述目标跟踪轨迹包括:
获取使得所述优化函数值最小的加加速度序列,其中,所述加加速度序列中包括所述第一预设时段内各个时刻分别对应的加加速度;
根据所述加加速度序列确定所述目标跟踪轨迹。
实施例三
本发明还提供一种存储介质,其中,存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现如上所述的无人机目标跟踪轨迹生成方法的步骤。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种无人机目标跟踪轨迹生成方法,其特征在于,所述方法包括:
获取环境图像序列,根据所述环境图像序列获取目标在第一预设时段内的第一位置信息、以及移动障碍物在所述第一预设时段内的第二位置信息,其中,所述第一预设时段为当前时刻后预设时长的时间段;
获取无人机的当前运动轨迹信息,根据所述当前运动轨迹信息获取所述无人机在所述第一预设时段内的多个运动轨迹样本,每个所述运动轨迹样本包括所述无人机在所述第一预设时段内各个时刻分别对应的运动轨迹信息,所述运动轨迹信息包括所述无人机的位置;获取环境欧式距离场地图,根据所述第一位置信息、所述第二位置信息以及所述环境欧式距离场地图对所述多个运动轨迹样本进行评判,确定目标跟踪轨迹,以使得所述无人机根据所述目标跟踪轨迹飞行,对所述目标进行跟踪。
2.根据权利要求1所述的无人机目标跟踪轨迹生成方法,其特征在于,所述第一位置信息包括所述目标在所述第一预设时间段内的各个时刻对应的位置;所述第二位置信息包括所述移动障碍物在所述第一预设时间段内的各个时刻对应的位置;所述根据所述环境图像序列获取目标在所述第一预设时间段内的第一位置信息以及移动障碍物在所述第一预设时段内的第二位置信息包括:
根据所述环境图像序列获取所述目标在第二预设时间段内的第一实际位置信息以及所述移动障碍物在所述第二预设时间段内的第二实际位置信息;
根据所述第一实际位置信息构建所述目标的第一运动模型,根据所述第一运动模型获取所述第一位置信息;
根据所述第二实际位置信息构建所述移动障碍物的第二运动模型,根据所述第二运动模型获取所述第二位置信息。
3.根据权利要求1所述的无人机目标跟踪轨迹生成方法,其特征在于,所述获取环境欧式距离场地图包括:
获取环境点云信息,根据所述环境点云信息获取所述欧式距离场地图。
5.根据权利要求4所述的无人机目标跟踪轨迹生成方法,其特征在于,所述根据所述第一位置信息、所述第二位置信息以及所述环境欧式距离场地图对所述多个运动轨迹样本进行评判,确定目标跟踪轨迹包括:
根据所述第二位置信息获取所述第一预设时段内各个时刻分别对应的第一距离,其中,所述第一距离为所述运动轨迹信息中的无人机位置与所述移动障碍物的距离;
根据所述欧式距离场地图获取所述第一预设时段内各个时刻分别对应的第二距离,其中,所述第二距离为所述运动轨迹信息中的无人机位置与最近的静态障碍物的欧式距离;
根据所述第一位置信息以及所述环境欧式距离场地图获取所述第一预设时段内各个时刻分别对应的第三距离,其中,所述第三距离为所述运动轨迹信息中的无人机位置与所述目标的位置组成的方向向量与最近的静态障碍物的欧式距离;
根据所述第一距离、所述第二距离以及所述第三距离对所述多个运动轨迹样本进行评判,确定所述目标跟踪轨迹。
7.根据权利要求5所述的无人机目标跟踪轨迹生成方法,其特征在于,所述运动轨迹信息还包括无人机的速度和加速度;所述根据所述第一距离、所述第二距离以及所述第三距离对所述多个运动轨迹样本进行评判,确定所述目标跟踪轨迹包括:
根据预设的优化函数:J=w1J1+w2J2+w3J3+w4J4+w5J5确定所述目标跟踪轨迹;
H(uq)=wvη2(v,-vmax,vmax)+waη2(a,-amax,amax)+wjη2(j,-jmax,jmax),
其中,η(k,k1,k2)=max(k1-k,0)+max(k-k2,0),w1、w2、w3、w4、w5分别为J1、J2、J3、J4、J5对应的权重,d1(t)为t时刻的所述第一距离,d2(t)为t时刻的所述第二距离,d3(t)为t时刻的所述第三距离,uq为加加速度,vmax、amax、jmax分别表示无人机速度、加速度、加加速度的约束值,;wv、wa、wj分别为H(uq)中各项的权重值,t0为当前时刻,T为所述第一预设时段的时长。
8.根据权利要求6或7所述的无人机目标跟踪轨迹生成方法,其特征在于,所述根据预设的优化函数对所述多个运动轨迹样本进行评判,确定所述目标跟踪轨迹包括:
获取使得所述优化函数值最小的加加速度序列,其中,所述加加速度序列中包括所述第一预设时段内各个时刻分别对应的加加速度;
根据所述加加速度序列确定所述目标跟踪轨迹。
9.一种无人机,其特征在于,所述无人机包括:处理器、与处理器通信连接的存储介质,所述存储介质适于存储多条指令,所述处理器适于调用所述存储介质中的指令,以执行实现上述权利要求1-8任一项所述的无人机目标跟踪轨迹生成方法的步骤。
10.一种存储介质,其特征在于,所述存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现如权利要求1-8任一项所述的无人机目标跟踪轨迹生成方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010587797.5A CN111833381B (zh) | 2020-06-24 | 2020-06-24 | 一种无人机目标跟踪轨迹生成方法、无人机及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010587797.5A CN111833381B (zh) | 2020-06-24 | 2020-06-24 | 一种无人机目标跟踪轨迹生成方法、无人机及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111833381A true CN111833381A (zh) | 2020-10-27 |
CN111833381B CN111833381B (zh) | 2024-07-23 |
Family
ID=72899446
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010587797.5A Active CN111833381B (zh) | 2020-06-24 | 2020-06-24 | 一种无人机目标跟踪轨迹生成方法、无人机及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111833381B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113900449A (zh) * | 2021-10-26 | 2022-01-07 | 鹏城实验室 | 多无人机轨迹规划方法、装置、无人机及存储介质 |
CN114355972A (zh) * | 2021-12-27 | 2022-04-15 | 天翼物联科技有限公司 | 通信受限条件下的无人机护航方法、系统、装置及介质 |
CN115755981A (zh) * | 2022-12-12 | 2023-03-07 | 浙江大学 | 一种交互式的无人机自主航拍方法及装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014018147A2 (en) * | 2012-04-30 | 2014-01-30 | The Trustees Of The University Of Pennsylvania | Three-dimensional manipulation of teams of quadrotors |
CN106598075A (zh) * | 2016-07-21 | 2017-04-26 | 深圳曼塔智能科技有限公司 | 一种基于发光目标识别的无人机跟踪控制系统及方法 |
US20190051192A1 (en) * | 2017-11-15 | 2019-02-14 | Intel IP Corporation | Impact avoidance for an unmanned aerial vehicle |
CN110709792A (zh) * | 2018-07-23 | 2020-01-17 | 深圳市大疆创新科技有限公司 | 移动平台的辅助移动方法、移动装置及移动平台 |
-
2020
- 2020-06-24 CN CN202010587797.5A patent/CN111833381B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014018147A2 (en) * | 2012-04-30 | 2014-01-30 | The Trustees Of The University Of Pennsylvania | Three-dimensional manipulation of teams of quadrotors |
CN104718508A (zh) * | 2012-04-30 | 2015-06-17 | 宾夕法尼亚大学理事会 | 四旋翼机组的三维操纵 |
CN106598075A (zh) * | 2016-07-21 | 2017-04-26 | 深圳曼塔智能科技有限公司 | 一种基于发光目标识别的无人机跟踪控制系统及方法 |
US20190051192A1 (en) * | 2017-11-15 | 2019-02-14 | Intel IP Corporation | Impact avoidance for an unmanned aerial vehicle |
CN110709792A (zh) * | 2018-07-23 | 2020-01-17 | 深圳市大疆创新科技有限公司 | 移动平台的辅助移动方法、移动装置及移动平台 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113900449A (zh) * | 2021-10-26 | 2022-01-07 | 鹏城实验室 | 多无人机轨迹规划方法、装置、无人机及存储介质 |
CN113900449B (zh) * | 2021-10-26 | 2023-12-22 | 鹏城实验室 | 多无人机轨迹规划方法、装置、无人机及存储介质 |
CN114355972A (zh) * | 2021-12-27 | 2022-04-15 | 天翼物联科技有限公司 | 通信受限条件下的无人机护航方法、系统、装置及介质 |
CN114355972B (zh) * | 2021-12-27 | 2023-10-27 | 天翼物联科技有限公司 | 通信受限条件下的无人机护航方法、系统、装置及介质 |
CN115755981A (zh) * | 2022-12-12 | 2023-03-07 | 浙江大学 | 一种交互式的无人机自主航拍方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN111833381B (zh) | 2024-07-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111833381A (zh) | 一种无人机目标跟踪轨迹生成方法、无人机及存储介质 | |
CN108279576B (zh) | 一种复合轴目标跟踪仿真测试系统 | |
CN111443359B (zh) | 定位方法、装置及设备 | |
Akan et al. | Stretchbev: Stretching future instance prediction spatially and temporally | |
Lin et al. | Vision-based formation for UAVs | |
CN105785359A (zh) | 一种多约束机动目标跟踪方法 | |
CN114740846A (zh) | 面向拓扑-栅格-度量混合地图的分层路径规划方法 | |
Godsill et al. | Variable rate particle filters for tracking applications | |
CN113128272B (zh) | 一种碰撞预测方法、装置、存储介质和服务器 | |
Morales et al. | Image generation for efficient neural network training in autonomous drone racing | |
CN116700012A (zh) | 一种多智能体的避撞编队合围控制器的设计方法 | |
CN113759973B (zh) | 一种无人机集群的目标搜索控制方法及系统 | |
WO2021100650A1 (ja) | 位置推定装置、車両、位置推定方法、及び位置推定プログラム | |
Steinbring et al. | GPU-accelerated progressive Gaussian filtering with applications to extended object tracking | |
CN117269952A (zh) | 一种4d成像毫米波雷达动目标点云半自动标注方法及装置 | |
CN115345030A (zh) | 空间动态集群目标电磁散射特性仿真方法及装置 | |
EP4050510A1 (en) | Object information calculation method and system | |
CN114053712A (zh) | 一种虚拟对象的动作生成方法、装置及设备 | |
KR20220160391A (ko) | Rnn 기반 멀티에이전트 심층강화학습을 활용한 충돌없는 경로 생성 방법 | |
CN118363386B (zh) | 一种无人艇集群的追逃博弈控制方法、设备及介质 | |
AlMahamid et al. | VizNav: A Modular Off-Policy Deep Reinforcement Learning Framework for Vision-Based Autonomous UAV Navigation in 3D Dynamic Environments | |
CN117475090B (zh) | 一种轨迹生成模型、轨迹生成方法、装置、终端及介质 | |
Wan et al. | Autonomous landing algorithm of UAV based on Target tracking | |
JP7330398B1 (ja) | 遠隔制御装置、遠隔制御方法、遠隔制御システムおよび移動体 | |
CN116820136B (zh) | 基于rrt算法的无人机路径优化方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |