CN110244756A - 无人机快速追踪协同避障方法 - Google Patents

无人机快速追踪协同避障方法 Download PDF

Info

Publication number
CN110244756A
CN110244756A CN201910356849.5A CN201910356849A CN110244756A CN 110244756 A CN110244756 A CN 110244756A CN 201910356849 A CN201910356849 A CN 201910356849A CN 110244756 A CN110244756 A CN 110244756A
Authority
CN
China
Prior art keywords
unmanned plane
moment
follows
barrier
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910356849.5A
Other languages
English (en)
Other versions
CN110244756B (zh
Inventor
林立雄
陈刚
何炳蔚
张立伟
陈彦杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN201910356849.5A priority Critical patent/CN110244756B/zh
Publication of CN110244756A publication Critical patent/CN110244756A/zh
Application granted granted Critical
Publication of CN110244756B publication Critical patent/CN110244756B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft

Abstract

本发明涉及一种无人机快速追踪协同避障方法,包括如下步骤:1、获取无人机在t时刻的位姿信息,以及具有追踪目标的二维图像信息;2、采用快速追踪算法对相机视野中追踪目标进行快速追踪;3、通过二维激光雷达获取水平面深度信息;4、根据无人机在t时刻位姿预测其在t+1时刻期望位姿,以对目标进行轨迹预测;5、根据障碍物位置计算排斥矢量偏差值,以对障碍物进行初步规避;6、定义一个智能切换信号,基于步骤5得到的结果,优化避障策略,使无人机满足最小避障要求时触发该信号,然后按步骤4和步骤5的方法,在对追踪目标进行快速追踪的同时进行高效避障。该方法可以使无人机在快速跟踪地面目标的同时躲避空中障碍物。

Description

无人机快速追踪协同避障方法
技术领域
本发明涉及无人机导航技术领域,具体涉及一种无人机快速追踪协同避障方法。
背景技术
近年来,无人机在军事和民用领域展现出巨大的发展前景,无人机由于其出色的灵活性和可操作性而受到越来越多研究人员的关注。在众多工程师和研究学者的共同努力下,四旋翼无人机相关技术已广泛运用于各行各业,如军事侦察,农业调查,警察巡逻,物流运输,电缆检测等领域。
对动态目标的跟踪是无人机诸多任务类型中相对重要的一类运用,而路径规划是提高无人机自主性和确保飞行安全的关键技术之一。目前,对静态已知环境中路径规划问题的研究取得了较多成果。另一方面,由于复杂动态环境中存在更多的不确定因素,所以对复杂动态环境的路径规划正成为该领域的热点问题。而如何保障无人机在快速追踪目标的过程中能迅速有效的避开空中的威胁以及进行实时路径规划具有更深远的研究价值。因此,开发一种无人机快速追踪协同避障的控制系统具有相当重要的现实意义。
无人机快速追踪的关键在于要对追踪目标进行高速的检测和识别,核相关滤波器(KCF)算法相较于其他追踪算法的优势在于,可以使用离散傅立叶变换对其进行对角化,将存储和计算减少几个数量级,从而实现对目标物体的快速追踪。
常用的路径规划方法主要包括粒子群算法,RRT算法,A*算法,蚁群算法和人工势场法等。对于高速情况下地路径规划,需要寻找一种实时性好,稳定性佳,动态性能出色的算法策略来满足需要。其中,粒子群算法容易产生早熟收敛,无法应对复杂多变的环境;A*算法一般适用于静态路径规划;RRT算法和蚁群算法需要耗时较长时间去搜索路径;而人工势场法由于计算简单,实时性较好,易于实现,规划的路径较过渡平滑,在高速追踪的场景下可以较好地进行路径规划。人工势场法(Artificial Potential Field,APF)是搭建一个抽象的人工力场,使得无人机在势场内受到类似力的作用,并在其作用下运动。然而,传统的人工势场方法很容易陷入局部最优,且追踪目标的避障规划使得目标点和于无人机的平面位置距离十分接近,容易使合力发生突变,从而导致避障失败。另外,室外光照,天气变化,背景干扰等不确定因素也加大了该任务的执行难度。因此,通过单目相机和激光雷达获得地面目标和无人机周围环境信息,设计一种稳定性好,实时性高,能在复杂环境下引导无人机选择较优避障路线的避障系统是保证无人机高速追踪协同避障的关键技术难题。
发明内容
有鉴于此,本发明的目的在于提供一种无人机快速追踪协同避障方法,该方法可以使无人机在快速跟踪动态目标的同时有效躲避空中障碍物。
为实现上述目的,本发明采用如下技术方案:一种无人机快速追踪协同避障方法,包括如下步骤:
步骤1:利用多源定位模块获得无人机在t时刻的位姿信息,并通过垂直向下安置的单目视觉相机模块获取具有追踪目标的二维图像信息,无人机坐标采用东北天右手坐标系;
步骤2:采用快速追踪算法对相机视野中追踪目标进行快速追踪;
步骤3:通过搭载在无人机上方的二维激光雷达获取水平面深度信息,以获得激光扫描范围内的每个障碍物的距离信息和角度信息;
步骤4:根据无人机在t时刻位姿预测其在t+1时刻期望位姿,以对目标进行轨迹预测,提高无人机跟踪响应速度;
步骤5:根据障碍物位置计算排斥矢量偏差值,以对障碍物进行初步规避;
步骤6:定义一个智能切换信号,基于步骤5得到的结果,优化避障策略,使无人机满足最小避障要求时触发该信号,然后按步骤4和步骤5的方法,在对追踪目标进行快速追踪的同时进行高效避障。
进一步地,所述步骤1具体为:
步骤1-1:将主要由全球定位系统模块、惯性测量单元模块和高度计模块组成的多源定位模块采集到的数据进行数据融合,获得无人机在t时刻的空间三维位姿信息 其中,上标W表示世界坐标系,下标t表示时刻,下标u表示无人机当前时刻状态,表示无人机在t时刻状态下在世界坐标系中的位姿, 分别表示无人机t时刻在世界坐标系中的x轴、y轴、z轴坐标及绕z轴旋转角,[]T表示转置;
步骤1-2:通过垂直向下安置的单目视觉相机模块获取具有追踪目标的二维图像信息,追踪目标在图像坐标系中的坐标为追踪目标在图像坐标系的高度为hC,宽度为 wC,将图像坐标系中的转化为无人机机体坐标系中的坐标其中,上标C表示图像坐标系,上标U表示无人机机体坐标系,下标goal表示追踪目标当前状态,下标r 表示无人机期望状态,追踪目标当前状态即为无人机期望状态,转换方程如下为:
其中,h为单目视觉相机模块CCD上的最大图像高度,w为CCD上的最大图像宽度;
步骤1-3:通过无人机的多源定位模块获得的真实高度信息hW,无人机的焦距f,可得到无人机的期望位置偏量转换方程如下:
进一步地,所述步骤2具体为:
步骤2-1:在t时刻,在当前位置pt附近采样,训练一个回归器来计算每个窗口的采样响应;根据当前帧的图片样本集(xi,yi),将原始的问题表述为:
f(xi)=ωTΦ(xi) (5)
其中,ω是表示权重系数的列向量,xi表示第i个样本元素,为行向量,f(xi)表示对样本xi的拟合结果,Φ(xi)为非线性函数列向量,表示将样本从非线性回归求解问题转化为线性求解问题;
将求解ω转为对偶问题,其中,αi表示ω的对偶系数;
采用最小二乘和正则项的岭回归方程为:
将上式求导并令导数为0,求解α:
α=(K+λI)-1y (8)
其中,α为列向量,表示αi的集合,表示对α的极小值求解运算,||||2表示取模长运算, x表示所有样本集合的矩阵形式,x=[x1,x2,…,xn]T的每一行表示一个向量,y是列向量,表示样本x所对应的真实值,y每个元素对应一个样本的标签,λ为用于控制系统的结构复杂性的参数,核空间的核矩阵K=Φ(x)Φ(x)T
核相关滤波算法KCF中所有的训练样本是由目标样本循环位移得到,用离散傅里叶矩阵进行对角化:
其中,X是由原向量x生成的循环矩阵,F是离散傅里叶矩阵,是常量,H表示复共轭转置, n表示为方阵F的尺寸,表示进行傅里叶变换的结果,表示矩阵X通过相似变换F变换的对角化矩阵;
最终可将式子化为如下形式:
其中,核矩阵Kxx=Φ(x)TΦ(X)T,Kxx是核空间的核矩阵K中的第一行,将求逆运算转换成点积运算,大大提高了计算速度;
步骤2-2:在t时刻,位置附近采样,用上述回归器判断每个采样的响应:
其中,z为待检测样本集,f(z)表示对样本z的拟合结果,Kxz=Φ(X)Φ(z),是Kz的第一列, Kz是测试样本和训练样本间在核空间的核矩阵,Kz=Φ(x)Φ(z)T,⊙表示点积;
步骤2-3:响应最强的采样作为追踪目标在t+1时刻的坐标并作为下一时刻的训练样本。
进一步地,所述步骤3具体为:
通过搭载在无人机上方的二维激光雷达获取水平面深度信息,获得激光扫描范围内的每个障碍物的距离信息和角度信息;激光分辨率为Δθ,激光从右往左开始进行周期扫描,障碍物角度公式为:
其中,是障碍物相对于无人机机体坐标系的角度,κ是障碍物系数,决定检测范围内选取的障碍物个数,So是激光雷达检测到障碍物的激光点,Shalf是激光雷达在无人机机体坐标系中处于x轴的激光点。
进一步地,所述步骤4具体为:
步骤4-1:假设无人机在t时刻的期望速度大小等于追踪目标在t-1时刻的速度大小,根据以下公式可得:
追踪目标在t-1和t-2时刻的速度分别为:
形成的旋转角度和方向计算公式如下:
步骤4-2:假设追踪目标在t时刻到t+1时刻仍保持与t-1时刻到t时刻相同的角度增量和方向,则可求得
步骤4-3:根据无人机t时刻的速度可求得无人机在t+1时刻期望位姿
步骤4-4:根据式(1)~(3)得到无人机的期望位置偏量因此,无人机的期望速度为:
进一步地,所述步骤5具体为:
步骤5-1:为了让无人机避开障碍物,引入斥力场的公式:
其中,η是斥力尺度因子,ρ(qi,qobs)表示物体和第i个障碍物之间的距离,ρo表示障碍物的影响半径;
斥力场的梯度为:
其中,为障碍物指向无人机的单位向量;
步骤5-2:第i个障碍物斥力的Frep(qi)x和Frep(qi)y分量分别为:
步骤5-3:将所有障碍物的斥力分量叠加并求得合斥力夹角为
步骤5-4:将斥力场的坐标值转换到世界坐标系下得到排斥矢量偏差值
其中,l为步长;
步骤5-5:将目标偏差值和排斥矢量偏差值扩成四维向量,即 转为同理,转为融合后得到无人机下一时刻的最终期望位姿为:
进一步地,所述步骤6具体为:
步骤6-1:给定智能切换信号s,s=1时,进入避障模式,s=0时进入跟随模式;当满足无人机和障碍物的距离ρ(qi,qobs)与无人机当前期望速度的夹角在区间内,且障碍物到无人机速度方向的距离rou小于给定值rmin,则无人机开始进入避障模式,信号方程如下:
则式(22)、(23)改写为:
当s=1时,无人机进入避障模式,当s=0,无人机进入跟随模式;
步骤6-2:设定一个动态排斥因子m,当无人机速度越快,m越大,产生的斥力偏量就越大;m的公式如下:
其中a,b,c,d为函数参数;
则式(27)改写为:
实现无人机的动态避障。
与现有技术相比,本发明具有以下有益效果:
1、本发明采用全球定位系统模块(GPS),惯性测量单元模块(IMU),高度计模块等多源异构传感器信息融合技术获得无人机的空间三维位姿信息,采用激光雷达获取无人机飞行平面信息,并估计出与障碍物之间的距离,相比传统测量方法精度高,效率快,位姿信息更加精确,避障速度快;
2、本发明目标追踪方法采用基于核相关滤波算法,通过循环移位矩阵和傅里叶变换大大减少计算量,实现无人机在高速飞行的场景下对目标进行快速追踪;无人机在进入避障范围时,采用的基于斥力场的优化算法使得无人机对障碍物产生排斥矢量,引导无人机在快速追踪地面目标同时躲避空中障碍物;
3、本发明对追踪目标进行了运动预测,设置了高效智能的避障模式切换信号,加入了动态排斥因子,使得追踪协同避障过程更加迅速,避障轨迹更加合理以及避障过程更加安全。
附图说明
图1是本发明实施例中采用的坐标系关系示意图。
图2是本发明实施例中采用的无人机快速检测追踪模型。
图3是本发明实施例中采用的无人机速度预测模型。
图4是本发明实施例中采用的无人机所受斥力作用说明图。
图5是本发明实施例中采用的无人机避障模式信号切换示意图。
图6是本发明实施例中采用的无人机速度和动态排斥因子示意图。
图7-图9是本发明实施例中无人机在不同运动轨迹的追踪协同避障的测试结果图。
图10是本发明实施例的方法实现流程图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
本发明提供一种无人机快速追踪协同避障方法,如图10所示,包括如下步骤:
步骤1:利用多源定位模块获得无人机在t时刻的位姿信息,并通过垂直向下安置的单目视觉相机模块获取具有追踪目标的二维图像信息,无人机坐标采用东北天(ENU)右手坐标系;
步骤2:采用快速追踪算法对相机视野中追踪目标进行快速追踪;
步骤3:通过搭载在无人机上方的二维激光雷达获取水平面深度信息,以获得激光扫描范围内的每个障碍物的距离信息和角度信息;
步骤4:根据无人机在t时刻位姿预测其在t+1时刻期望位姿,以对目标进行轨迹预测,提高无人机跟踪响应速度;
步骤5:根据障碍物位置计算排斥矢量偏差值,以对障碍物进行初步规避;
步骤6:定义一个智能切换信号,基于步骤5得到的结果,优化避障策略,使无人机满足最小避障要求时触发该信号,然后按步骤4和步骤5的方法,在对追踪目标进行快速追踪的同时进行高效避障。
如图1所示,在本实施例中,无人机在追踪目标时存在各个坐标系之间的坐标转换。
在本实施例中,上述步骤1具体包括以下步骤:
步骤1-1:将主要由全球定位系统模块(GPS)、惯性测量单元模块(IMU)和高度计模块组成的多源定位模块采集到的数据进行数据融合,获得无人机在t时刻的空间三维位姿信息 其中,上标W表示世界坐标系,下标t表示时刻,下标u表示无人机当前时刻状态,表示无人机在t时刻状态下在世界坐标系中的位姿, 分别表示无人机t时刻在世界坐标系中的x轴、y轴、z轴坐标及绕z轴旋转角,[]T表示转置。
步骤1-2:通过垂直向下安置的单目视觉相机模块获取具有追踪目标的二维图像信息,追踪目标在图像坐标系中的坐标为追踪目标在图像坐标系的高度为hC,宽度为 wC,将图像坐标系中的转化为无人机机体坐标系中的坐标其中,上标C表示图像坐标系,上标U表示无人机机体坐标系,下标goal表示追踪目标当前状态,下标r 表示无人机期望状态,追踪目标当前状态即为无人机期望状态,转换方程如下为:
其中,h为单目视觉相机模块CCD上的最大图像高度,w为CCD上的最大图像宽度。
步骤1-3:通过无人机的多源定位模块获得的真实高度信息hW,无人机的焦距f,可得到无人机的期望位置偏量转换方程如下:
如图2所示,通过循环移位矩阵可快速对目标进行检测和识别,并预测目标在下一帧中的位置。上述步骤2中的快速检测追踪具体如下:
步骤2-1:在t时刻,在当前位置pt附近采样,训练一个回归器来计算每个窗口的采样响应;根据当前帧的图片样本集(xi,yi),将原始的问题表述为:
f(xi)=ωTΦ(xi) (5)
其中,ω是表示权重系数的列向量,xi表示第i个样本元素,为行向量,f(xi)表示对样本xi的拟合结果,Φ(xi)为非线性函数列向量,表示将样本从非线性回归求解问题转化为线性求解问题;
将求解ω转为对偶问题,其中,αi表示ω的对偶系数。
采用最小二乘和正则项的岭回归方程为:
将上式求导并令导数为0,求解α:
α=(K+λI)-1y (8)
其中,α为列向量,表示αi的集合,表示对α的极小值求解运算,|| ||2表示取模长运算, x表示所有样本集合的矩阵形式,x=[x1,x2,…,xn]T的每一行表示一个向量,y是列向量,表示样本x所对应的真实值,y每个元素对应一个样本的标签,λ为用于控制系统的结构复杂性的参数,核空间的核矩阵K=Φ(x)Φ(x)T
核相关滤波算法KCF中所有的训练样本是由目标样本循环位移得到,用离散傅里叶矩阵进行对角化:
其中,X是由原向量x生成的循环矩阵,F是离散傅里叶矩阵,是常量,H表示复共轭转置, n表示为方阵F的尺寸,表示进行傅里叶变换的结果,表示矩阵X通过相似变换F变换的对角化矩阵。
最终可将式子化为如下形式:
其中,核矩阵Kxx=Φ(x)TΦ(X)T,Kxx是核空间的核矩阵K中的第一行,将求逆运算转换成点积运算,大大提高了计算速度。
步骤2-2:在t时刻,位置附近采样,用上述回归器判断每个采样的响应:
其中,z为待检测样本集,f(z)表示对样本z的拟合结果,Kxz=Φ(X)Ф(z),是Kz的第一列, Kz是测试样本和训练样本间在核空间的核矩阵,Kz=Ф(x)Φ(z)T,⊙表示点积。
步骤2-3:响应最强的采样作为追踪目标在t+1时刻的坐标并作为下一时刻的训练样本。
上述步骤3中,通过搭载在无人机上方的二维激光雷达获取水平面深度信息,获得激光扫描范围内的每个障碍物的距离信息和角度信息;激光分辨率为Δθ,激光从右往左开始进行周期扫描,障碍物角度公式为:
其中,是障碍物相对于无人机机体坐标系的角度,κ是障碍物系数,决定检测范围内选取的障碍物个数,So是激光雷达检测到障碍物的激光点,Shalf是激光雷达在无人机机体坐标系中处于x轴的激光点。
如图3所示,上述步骤4中,根据无人机在t时刻位姿预测其在t+1时刻期望位姿的具体方法为:
步骤4-1:假设无人机在t时刻的期望速度大小等于追踪目标在t-1时刻的速度大小,根据以下公式可得:
追踪目标在t-1和t-2时刻的速度分别为:
形成的旋转角度和方向计算公式如下:
步骤4-2:假设追踪目标在t时刻到t+1时刻仍保持与t-1时刻到t时刻相同的角度增量和方向,则可求得
步骤4-3:根据无人机t时刻的速度可求得无人机在t+1时刻期望位姿
步骤4-4:根据式(1)~(3)得到无人机的期望位置偏量因此,无人机的期望速度为:
如图4所示,上述步骤5中,无人机受到障碍物的排斥力从而在追踪目标时产生排斥矢量,其中,排斥矢量偏差值的计算方法具体如下:
步骤5-1:为了让无人机避开障碍物,引入斥力场的公式:
其中,η是斥力尺度因子,ρ(qi,qobs)表示物体和第i个障碍物之间的距离,ρo表示障碍物的影响半径。
斥力场的梯度为:
其中,为障碍物指向无人机的单位向量。
步骤5-2:第i个障碍物斥力的Frep(qi)x和Frep(qi)y分量分别为:
步骤5-3:将所有障碍物的斥力分量叠加并求得合斥力夹角为
步骤5-4:将斥力场的坐标值转换到世界坐标系下得到排斥矢量偏差值
其中,l为步长。
步骤5-5:将目标偏差值和排斥矢量偏差值扩成四维向量,即 转为同理,转为融合后得到无人机下一时刻的最终期望位姿为:
如图5所示,上述步骤6中,无人机避障模式信号切换的具体方法如下:
步骤6-1:由式(23)可知,当物体和障碍物之间的距离ρ(qi,qobs)小于障碍物的影响半径ρo时,无人机开始智能切换为跟随协同避障模式,若以此作为判断条件,无人机在避障时将出现不必要的路径规划和陷入局部最小。为此,给定智能切换信号s,s=1时,进入避障模式,s=0时进入跟随模式。当满足无人机和障碍物的距离ρ(qi,qobs)与无人机当前期望速度的夹角在区间内,且障碍物到无人机速度方向的距离rou小于给定值rmin,则无人机开始进入避障模式,信号方程如下:
则式(22)、(23)改写为:
当s=1时,无人机进入避障模式,当s=0,无人机进入跟随模式。
步骤6-2:当目标速度过快时,无人机有可能因为来不及减速和变向而出现避障失败的情况,此时,设定一个动态排斥因子m,当无人机速度越快,m越大,产生的斥力偏量就越大。 m的公式如下:
其中a,b,c,d为函数参数。
则式(27)改写为:
实现无人机的动态避障。
以下用一个具体的应用实例对本发明的操作进行详细说明,本发明的无人机快速追踪协同避障方法主要从不同的跟踪轨迹中避障来体现其有效性。具体设置如下:
①无人机在追踪过程中的目标运动轨迹分别由y=5cos(x)/x+6、y=12(etanh (-0.6/x)- etanh(-1/0))+3以及y=4(etanh(-0.6/x)cos(x+1))+6得到。
②在排斥矢量的参数设置中,障碍物的影响半径ρo=5m,步长l=0.3m,信号切换方程中的碰撞最小半径rmin=0.5m,动态排斥因子m的三个参数分别为a=4,b=2,c=e-1,d=1。
③如图7-图9所示,给出无人机在不同追踪路径下的避障效果图,从图中可以看出,无人机在障碍物的斥力作用范围内,均能飞往无障碍一侧进行避障,在无障碍物斥力场作用范围内,无人机紧跟目标的运动轨迹,以上三个实例均能说明本发明的合理性和有效性。
以上所述仅为本发明的较佳实施例,凡依本发明申请专利范围所做的均等变化与修饰,皆应属本发明的涵盖范围。

Claims (7)

1.一种无人机快速追踪协同避障方法,其特征在于,包括如下步骤:
步骤1:利用多源定位模块获得无人机在t时刻的位姿信息,并通过垂直向下安置的单目视觉相机模块获取具有追踪目标的二维图像信息,无人机坐标采用东北天右手坐标系;
步骤2:采用快速追踪算法对相机视野中追踪目标进行快速追踪;
步骤3:通过搭载在无人机上方的二维激光雷达获取水平面深度信息,以获得激光扫描范围内的每个障碍物的距离信息和角度信息;
步骤4:根据无人机在t时刻位姿预测其在t+1时刻期望位姿,以对目标进行轨迹预测,提高无人机跟踪响应速度;
步骤5:根据障碍物位置计算排斥矢量偏差值,以对障碍物进行初步规避;
步骤6:定义一个智能切换信号,基于步骤5得到的结果,优化避障策略,使无人机满足最小避障要求时触发该信号,然后按步骤4和步骤5的方法,在对追踪目标进行快速追踪的同时进行高效避障。
2.根据权利要求1所述的无人机快速追踪协同避障方法,其特征在于,所述步骤1具体为:
步骤1-1:将主要由全球定位系统模块、惯性测量单元模块和高度计模块组成的多源定位模块采集到的数据进行数据融合,获得无人机在t时刻的空间三维位姿信息 其中,上标W表示世界坐标系,下标t表示时刻,下标u表示无人机当前时刻状态,表示无人机在t时刻状态下在世界坐标系中的位姿, 分别表示无人机t时刻在世界坐标系中的x轴、y轴、z轴坐标及绕z轴旋转角,[]T表示转置;
步骤1-2:通过垂直向下安置的单目视觉相机模块获取具有追踪目标的二维图像信息,追踪目标在图像坐标系中的坐标为追踪目标在图像坐标系的高度为hC,宽度为wC,将图像坐标系中的转化为无人机机体坐标系中的坐标其中,上标C表示图像坐标系,上标U表示无人机机体坐标系,下标goal表示追踪目标当前状态,下标r表示无人机期望状态,追踪目标当前状态即为无人机期望状态,转换方程如下为:
其中,h为单目视觉相机模块CCD上的最大图像高度,w为CCD上的最大图像宽度;
步骤1-3:通过无人机的多源定位模块获得的真实高度信息hW,无人机的焦距f,可得到无人机的期望位置偏量转换方程如下:
3.根据权利要求2所述的无人机快速追踪协同避障方法,其特征在于,所述步骤2具体为:
步骤2-1:在t时刻,在当前位置pt附近采样,训练一个回归器来计算每个窗口的采样响应;根据当前帧的图片样本集(xi,yi),将原始的问题表述为:
f(xi)=ωTΦ(xi) (5)
其中,ω是表示权重系数的列向量,xi表示第i个样本元素,为行向量,f(xi)表示对样本xi的拟合结果,Φ(xi)为非线性函数列向量,表示将样本从非线性回归求解问题转化为线性求解问题;
将求解ω转为对偶问题,其中,αi表示ω的对偶系数;
采用最小二乘和正则项的岭回归方程为:
将上式求导并令导数为0,求解α:
α=(K+λI)-1y (8)
其中,α为列向量,表示αi的集合,表示对α的极小值求解运算,|| ||2表示取模长运算,x表示所有样本集合的矩阵形式,x=[x1,x2,…,xn]T的每一行表示一个向量,y是列向量,表示样本x所对应的真实值,y每个元素对应一个样本的标签,λ为用于控制系统的结构复杂性的参数,核空间的核矩阵K=Φ(x)Φ(x)T
核相关滤波算法KCF中所有的训练样本是由目标样本循环位移得到,用离散傅里叶矩阵进行对角化:
其中,X是由原向量x生成的循环矩阵,F是离散傅里叶矩阵,是常量,H表示复共轭转置,n表示为方阵F的尺寸,表示进行傅里叶变换的结果,表示矩阵X通过相似变换F变换的对角化矩阵;
最终可将式子化为如下形式:
其中,核矩阵Kxx=Φ(x)TΦ(X)T,Kxx是核空间的核矩阵K中的第一行,将求逆运算转换成点积运算,大大提高了计算速度;
步骤2-2:在t时刻,位置附近采样,用上述回归器判断每个采样的响应:
其中,z为待检测样本集,f(z)表示对样本z的拟合结果,Kxz=Φ(X)Φ(z),是Kz的第一列,Kz是测试样本和训练样本间在核空间的核矩阵,Kz=Φ(x)Φ(z)T,⊙表示点积;
步骤2-3:响应最强的采样作为追踪目标在t+1时刻的坐标并作为下一时刻的训练样本。
4.根据权利要求3所述的无人机快速追踪协同避障方法,其特征在于,所述步骤3具体为:
通过搭载在无人机上方的二维激光雷达获取水平面深度信息,获得激光扫描范围内的每个障碍物的距离信息和角度信息;激光分辨率为Δθ,激光从右往左开始进行周期扫描,障碍物角度公式为:
其中,是障碍物相对于无人机机体坐标系的角度,κ是障碍物系数,决定检测范围内选取的障碍物个数,So是激光雷达检测到障碍物的激光点,Shalf是激光雷达在无人机机体坐标系中处于x轴的激光点。
5.根据权利要求4所述的无人机快速追踪协同避障方法,其特征在于,所述步骤4具体为:
步骤4-1:假设无人机在t时刻的期望速度大小等于追踪目标在t-1时刻的速度大小,根据以下公式可得:
追踪目标在t-1和t-2时刻的速度分别为:
形成的旋转角度和方向计算公式如下:
步骤4-2:假设追踪目标在t时刻到t+1时刻仍保持与t-1时刻到t时刻相同的角度增量和方向,则可求得
步骤4-3:根据无人机t时刻的速度可求得无人机在t+1时刻期望位姿
步骤4-4:根据式(1)~(3)得到无人机的期望位置偏量因此,无人机的期望速度为:
6.根据权利要求5所述的无人机快速追踪协同避障方法,其特征在于,所述步骤5具体为:
步骤5-1:为了让无人机避开障碍物,引入斥力场的公式:
其中,η是斥力尺度因子,ρ(qi,qobs)表示物体和第i个障碍物之间的距离,ρo表示障碍物的影响半径;
斥力场的梯度为:
其中,为障碍物指向无人机的单位向量;
步骤5-2:第i个障碍物斥力的Frep(qi)x和Frep(qi)y分量分别为:
步骤5-3:将所有障碍物的斥力分量叠加并求得合斥力夹角为
步骤5-4:将斥力场的坐标值转换到世界坐标系下得到排斥矢量偏差值
其中,l为步长;
步骤5-5:将目标偏差值和排斥矢量偏差值扩成四维向量,即 转为同理,转为融合后得到无人机下一时刻的最终期望位姿为:
7.根据权利要求6所述的无人机快速追踪协同避障方法,其特征在于,所述步骤6具体为:
步骤6-1:给定智能切换信号s,s=1时,进入避障模式,s=0时进入跟随模式;当满足无人机和障碍物的距离ρ(qi,qobs)与无人机当前期望速度的夹角在区间内,且障碍物到无人机速度方向的距离rou小于给定值rmin,则无人机开始进入避障模式,信号方程如下:
则式(22)、(23)改写为:
当s=1时,无人机进入避障模式,当s=0,无人机进入跟随模式;
步骤6-2:设定一个动态排斥因子m,当无人机速度越快,m越大,产生的斥力偏量就越大;m的公式如下:
其中a,b,c,d为函数参数;
则式(27)改写为:
实现无人机的动态避障。
CN201910356849.5A 2019-04-29 2019-04-29 无人机快速追踪协同避障方法 Active CN110244756B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910356849.5A CN110244756B (zh) 2019-04-29 2019-04-29 无人机快速追踪协同避障方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910356849.5A CN110244756B (zh) 2019-04-29 2019-04-29 无人机快速追踪协同避障方法

Publications (2)

Publication Number Publication Date
CN110244756A true CN110244756A (zh) 2019-09-17
CN110244756B CN110244756B (zh) 2021-09-24

Family

ID=67883439

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910356849.5A Active CN110244756B (zh) 2019-04-29 2019-04-29 无人机快速追踪协同避障方法

Country Status (1)

Country Link
CN (1) CN110244756B (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110825112A (zh) * 2019-11-22 2020-02-21 渤海大学 基于多无人机的油田动态侵入目标追踪系统与方法
CN111098842A (zh) * 2019-12-13 2020-05-05 北京京东乾石科技有限公司 车辆速度控制方法及相关设备
CN111208526A (zh) * 2020-01-17 2020-05-29 西北工业大学 基于激光雷达与定位向量匹配的多无人机协同定位方法
CN111398522A (zh) * 2020-03-24 2020-07-10 山东智翼航空科技有限公司 基于微型无人机的室内空气质量检测系统及检测方法
CN111487997A (zh) * 2020-05-12 2020-08-04 西安爱生技术集团公司 一种攻击型无人机双机协同制导方法
CN111638709A (zh) * 2020-03-24 2020-09-08 上海黑眸智能科技有限责任公司 自动避障跟踪方法、系统、终端以及介质
CN111882577A (zh) * 2020-07-31 2020-11-03 中国人民解放军国防科技大学 基于视场感知的群体避障与一致性行进方法和装置
CN111982127A (zh) * 2020-08-31 2020-11-24 华通科技有限公司 LightWeight-3D避障方法
CN112306090A (zh) * 2020-10-26 2021-02-02 中国人民解放军军事科学院国防科技创新研究院 基于相对位移和速度矢量合成的无人机即时快速避障方法
CN112824832A (zh) * 2019-11-20 2021-05-21 炬星科技(深圳)有限公司 障碍物运动轨迹预测方法、系统、设备及计算机可读存储介质
CN113177918A (zh) * 2021-04-28 2021-07-27 上海大学 一种无人机对电力杆塔的智能精准巡检方法及系统
CN113194259A (zh) * 2021-05-07 2021-07-30 中山大学 一种基于多相机阵列的协同指向控制方法、系统及装置
CN113311867A (zh) * 2021-05-28 2021-08-27 沈阳航空航天大学 一种多无人机协同多目标追踪的运动控制方法
CN114063614A (zh) * 2021-10-27 2022-02-18 山东科技大学 基于机载单目视觉感知的多小型机器人系统混合队形快速收敛方法
CN114371720A (zh) * 2021-12-29 2022-04-19 国家电投集团贵州金元威宁能源股份有限公司 无人机实现跟踪目标的控制方法和控制装置
CN114371730A (zh) * 2021-12-23 2022-04-19 中国电子科技集团公司第五十四研究所 一种无人机跟踪移动目标航迹规划方法
CN114675670A (zh) * 2022-04-02 2022-06-28 广东工业大学 一种基于相对定位的无人机自主穿越框型障碍物方法
CN114779828A (zh) * 2022-06-22 2022-07-22 四川腾盾科技有限公司 基于异构队形基准点无人机集群拓扑控制与智能防撞方法

Citations (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017071143A1 (en) * 2015-10-30 2017-05-04 SZ DJI Technology Co., Ltd. Systems and methods for uav path planning and control
CN106873628A (zh) * 2017-04-12 2017-06-20 北京理工大学 一种多无人机跟踪多机动目标的协同路径规划方法
US9769387B1 (en) * 2013-11-05 2017-09-19 Trace Live Network Inc. Action camera system for unmanned aerial vehicle
CN107284661A (zh) * 2016-04-06 2017-10-24 成都积格科技有限公司 警用运动目标追踪无人机
US9896205B1 (en) * 2015-11-23 2018-02-20 Gopro, Inc. Unmanned aerial vehicle with parallax disparity detection offset from horizontal
CN108168706A (zh) * 2017-12-12 2018-06-15 河南理工大学 一种监测低空无人飞行器的多谱红外成像检测跟踪系统
US10044465B1 (en) * 2017-02-03 2018-08-07 Aai Corporation Adaptively disrupting unmanned aerial vehicles
CN108399642A (zh) * 2018-01-26 2018-08-14 上海深视信息科技有限公司 一种融合旋翼无人机imu数据的通用目标跟随方法和系统
CN108445908A (zh) * 2018-05-09 2018-08-24 中国海洋大学 基于时间最优的无人机跟踪水上目标的方法
CN108490780A (zh) * 2018-03-21 2018-09-04 中南大学 一种低功耗的四旋翼无人机大角度复杂姿态跟踪控制方法
CN108759839A (zh) * 2018-04-11 2018-11-06 哈尔滨工程大学 一种基于态势空间的无人飞行器路径规划方法
CN108829137A (zh) * 2018-05-23 2018-11-16 中国科学院深圳先进技术研究院 一种机器人目标追踪的避障方法及装置
CN108838991A (zh) * 2018-03-06 2018-11-20 南昌工程学院 一种自主类人双臂机器人及其对运动目标的跟踪操作系统
CN109034018A (zh) * 2018-07-12 2018-12-18 北京航空航天大学 一种基于双目视觉的低空小型无人机障碍物感知方法
CN109085849A (zh) * 2018-08-28 2018-12-25 成都飞机工业(集团)有限责任公司 一种舰载无人机定点着陆的自主控制方法
US20190023395A1 (en) * 2017-07-18 2019-01-24 Samsung Electronics Co., Ltd Electronic device moved based on distance from external object and control method thereof
CN109298725A (zh) * 2018-11-29 2019-02-01 重庆大学 一种基于phd滤波的群体机器人分布式多目标跟踪方法
CN109359536A (zh) * 2018-09-14 2019-02-19 华南理工大学 基于机器视觉的乘客行为监控方法
CN109445453A (zh) * 2018-09-12 2019-03-08 湖南农业大学 一种基于OpenCV的无人机实时压缩跟踪方法
WO2019067788A1 (en) * 2017-09-27 2019-04-04 CyPhy Works, Inc. PERMANENT AERIAL CONTROL AND COMMUNICATION SYSTEM
CN109582042A (zh) * 2019-02-01 2019-04-05 东喜和仪(珠海市)数据科技有限公司 一种无人机跟随飞行的控制方法和装置
CN109597418A (zh) * 2019-02-27 2019-04-09 福州大学 基于独立虚拟中心点的机器人分散式协同避障方法
CN109617596A (zh) * 2018-12-29 2019-04-12 芜湖鑫芯微电子有限公司 一种基于网络传感器的无人机追踪方法
CN109682378A (zh) * 2018-12-20 2019-04-26 南京航空航天大学 一种完全基于视觉信息的无人机室内定位与多目标跟踪方法

Patent Citations (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9769387B1 (en) * 2013-11-05 2017-09-19 Trace Live Network Inc. Action camera system for unmanned aerial vehicle
WO2017071143A1 (en) * 2015-10-30 2017-05-04 SZ DJI Technology Co., Ltd. Systems and methods for uav path planning and control
US9896205B1 (en) * 2015-11-23 2018-02-20 Gopro, Inc. Unmanned aerial vehicle with parallax disparity detection offset from horizontal
CN107284661A (zh) * 2016-04-06 2017-10-24 成都积格科技有限公司 警用运动目标追踪无人机
US10044465B1 (en) * 2017-02-03 2018-08-07 Aai Corporation Adaptively disrupting unmanned aerial vehicles
CN106873628A (zh) * 2017-04-12 2017-06-20 北京理工大学 一种多无人机跟踪多机动目标的协同路径规划方法
US20190023395A1 (en) * 2017-07-18 2019-01-24 Samsung Electronics Co., Ltd Electronic device moved based on distance from external object and control method thereof
WO2019067788A1 (en) * 2017-09-27 2019-04-04 CyPhy Works, Inc. PERMANENT AERIAL CONTROL AND COMMUNICATION SYSTEM
CN108168706A (zh) * 2017-12-12 2018-06-15 河南理工大学 一种监测低空无人飞行器的多谱红外成像检测跟踪系统
CN108399642A (zh) * 2018-01-26 2018-08-14 上海深视信息科技有限公司 一种融合旋翼无人机imu数据的通用目标跟随方法和系统
CN108838991A (zh) * 2018-03-06 2018-11-20 南昌工程学院 一种自主类人双臂机器人及其对运动目标的跟踪操作系统
CN108490780A (zh) * 2018-03-21 2018-09-04 中南大学 一种低功耗的四旋翼无人机大角度复杂姿态跟踪控制方法
CN108759839A (zh) * 2018-04-11 2018-11-06 哈尔滨工程大学 一种基于态势空间的无人飞行器路径规划方法
CN108445908A (zh) * 2018-05-09 2018-08-24 中国海洋大学 基于时间最优的无人机跟踪水上目标的方法
CN108829137A (zh) * 2018-05-23 2018-11-16 中国科学院深圳先进技术研究院 一种机器人目标追踪的避障方法及装置
CN109034018A (zh) * 2018-07-12 2018-12-18 北京航空航天大学 一种基于双目视觉的低空小型无人机障碍物感知方法
CN109085849A (zh) * 2018-08-28 2018-12-25 成都飞机工业(集团)有限责任公司 一种舰载无人机定点着陆的自主控制方法
CN109445453A (zh) * 2018-09-12 2019-03-08 湖南农业大学 一种基于OpenCV的无人机实时压缩跟踪方法
CN109359536A (zh) * 2018-09-14 2019-02-19 华南理工大学 基于机器视觉的乘客行为监控方法
CN109298725A (zh) * 2018-11-29 2019-02-01 重庆大学 一种基于phd滤波的群体机器人分布式多目标跟踪方法
CN109682378A (zh) * 2018-12-20 2019-04-26 南京航空航天大学 一种完全基于视觉信息的无人机室内定位与多目标跟踪方法
CN109617596A (zh) * 2018-12-29 2019-04-12 芜湖鑫芯微电子有限公司 一种基于网络传感器的无人机追踪方法
CN109582042A (zh) * 2019-02-01 2019-04-05 东喜和仪(珠海市)数据科技有限公司 一种无人机跟随飞行的控制方法和装置
CN109597418A (zh) * 2019-02-27 2019-04-09 福州大学 基于独立虚拟中心点的机器人分散式协同避障方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
TARIQ YOUNIS ALI,等: "Robotino obstacles avoidance capability using infrared sensors", 《2015 IEEE JORDAN CONFERENCE ON APPLIED ELECTRICAL ENGINEERING AND COMPUTING TECHNOLOGIES (AEECT)》 *
XIZHE XUE,等: "Unmanned Aerial Vehicle Object Tracking by Correlation Filter with Adaptive Appearance Model", 《SENSORS》 *
YUANWEI WU,等: "Vision-Based Real-Time Aerial Object Localization and Tracking for UAV Sensing System", 《 IEEE ACCESS》 *
王耀南,等: "旋翼飞行机器人多机视觉跟踪定位系统及方法", 《仪器仪表学报》 *
褚天鹏: "基于改进KCF算法的四旋翼无人机视觉跟踪系统设计", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *
邓孝逸,等: "单目视觉室内无人飞行器运动目标测距技术研究", 《计算机与现代化》 *

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112824832A (zh) * 2019-11-20 2021-05-21 炬星科技(深圳)有限公司 障碍物运动轨迹预测方法、系统、设备及计算机可读存储介质
CN110825112B (zh) * 2019-11-22 2022-10-28 渤海大学 基于多无人机的油田动态侵入目标追踪系统与方法
CN110825112A (zh) * 2019-11-22 2020-02-21 渤海大学 基于多无人机的油田动态侵入目标追踪系统与方法
CN111098842A (zh) * 2019-12-13 2020-05-05 北京京东乾石科技有限公司 车辆速度控制方法及相关设备
CN111098842B (zh) * 2019-12-13 2022-03-04 北京京东乾石科技有限公司 车辆速度控制方法及相关设备
CN111208526A (zh) * 2020-01-17 2020-05-29 西北工业大学 基于激光雷达与定位向量匹配的多无人机协同定位方法
CN111398522B (zh) * 2020-03-24 2022-02-22 山东智翼航空科技有限公司 基于微型无人机的室内空气质量检测系统及检测方法
CN111398522A (zh) * 2020-03-24 2020-07-10 山东智翼航空科技有限公司 基于微型无人机的室内空气质量检测系统及检测方法
CN111638709A (zh) * 2020-03-24 2020-09-08 上海黑眸智能科技有限责任公司 自动避障跟踪方法、系统、终端以及介质
CN111487997A (zh) * 2020-05-12 2020-08-04 西安爱生技术集团公司 一种攻击型无人机双机协同制导方法
CN111487997B (zh) * 2020-05-12 2023-06-23 西安爱生技术集团公司 一种攻击型无人机双机协同制导方法
CN111882577B (zh) * 2020-07-31 2022-09-09 中国人民解放军国防科技大学 基于视场感知的群体避障与一致性行进方法和装置
CN111882577A (zh) * 2020-07-31 2020-11-03 中国人民解放军国防科技大学 基于视场感知的群体避障与一致性行进方法和装置
CN111982127A (zh) * 2020-08-31 2020-11-24 华通科技有限公司 LightWeight-3D避障方法
CN112306090A (zh) * 2020-10-26 2021-02-02 中国人民解放军军事科学院国防科技创新研究院 基于相对位移和速度矢量合成的无人机即时快速避障方法
CN113177918A (zh) * 2021-04-28 2021-07-27 上海大学 一种无人机对电力杆塔的智能精准巡检方法及系统
CN113177918B (zh) * 2021-04-28 2022-04-19 上海大学 一种无人机对电力杆塔的智能精准巡检方法及系统
CN113194259A (zh) * 2021-05-07 2021-07-30 中山大学 一种基于多相机阵列的协同指向控制方法、系统及装置
CN113311867A (zh) * 2021-05-28 2021-08-27 沈阳航空航天大学 一种多无人机协同多目标追踪的运动控制方法
CN113311867B (zh) * 2021-05-28 2024-01-16 沈阳航空航天大学 一种多无人机协同多目标追踪的运动控制方法
CN114063614A (zh) * 2021-10-27 2022-02-18 山东科技大学 基于机载单目视觉感知的多小型机器人系统混合队形快速收敛方法
CN114063614B (zh) * 2021-10-27 2023-07-25 山东科技大学 基于机载单目视觉感知的多小型机器人系统混合队形快速收敛方法
CN114371730A (zh) * 2021-12-23 2022-04-19 中国电子科技集团公司第五十四研究所 一种无人机跟踪移动目标航迹规划方法
CN114371720A (zh) * 2021-12-29 2022-04-19 国家电投集团贵州金元威宁能源股份有限公司 无人机实现跟踪目标的控制方法和控制装置
CN114371720B (zh) * 2021-12-29 2023-09-29 国家电投集团贵州金元威宁能源股份有限公司 无人机实现跟踪目标的控制方法和控制装置
CN114675670B (zh) * 2022-04-02 2022-10-14 广东工业大学 一种基于相对定位的无人机自主穿越框型障碍物方法
CN114675670A (zh) * 2022-04-02 2022-06-28 广东工业大学 一种基于相对定位的无人机自主穿越框型障碍物方法
CN114779828B (zh) * 2022-06-22 2022-09-16 四川腾盾科技有限公司 基于异构队形基准点无人机集群拓扑控制与智能防撞方法
CN114779828A (zh) * 2022-06-22 2022-07-22 四川腾盾科技有限公司 基于异构队形基准点无人机集群拓扑控制与智能防撞方法

Also Published As

Publication number Publication date
CN110244756B (zh) 2021-09-24

Similar Documents

Publication Publication Date Title
CN110244756A (zh) 无人机快速追踪协同避障方法
Liu et al. Path planning for smart car based on Dijkstra algorithm and dynamic window approach
Mac et al. The development of an autonomous navigation system with optimal control of an UAV in partly unknown indoor environment
CN105652891B (zh) 一种旋翼无人机移动目标自主跟踪装置及其控制方法
CN105759829A (zh) 基于激光雷达的微型无人机操控方法及系统
Li et al. Localization and navigation for indoor mobile robot based on ROS
Zhang et al. A cognitively inspired system architecture for the Mengshi cognitive vehicle
Farmani et al. An optimal sensor management technique for unmanned aerial vehicles tracking multiple mobile ground targets
Wu et al. Robust LiDAR-based localization scheme for unmanned ground vehicle via multisensor fusion
Fu et al. Autonomous landing of a quadrotor on an UGV
CN116540784B (zh) 一种基于视觉的无人系统空地协同导航与避障方法
Teixeira et al. A quadral-fuzzy control approach to flight formation by a fleet of unmanned aerial vehicles
Valasek et al. Intelligent motion video guidance for unmanned air system ground target surveillance
Pritzl et al. Cooperative navigation and guidance of a micro-scale aerial vehicle by an accompanying UAV using 3D LiDAR relative localization
CN108646760B (zh) 基于单目视觉移动机器人目标跟踪及平台控制系统和方法
Leong et al. Vision-based sense and avoid with monocular vision and real-time object detection for uavs
Du et al. Autonomous measurement and semantic segmentation of non-cooperative targets with deep convolutional neural networks
Amidi et al. Research on an autonomous vision-guided helicopter
Punzo et al. Bipartite guidance, navigation and control architecture for autonomous aerial inspections under safety constraints
He et al. Cooperative localization and evaluation of small-scaled spherical underwater robots
Wang et al. Low-cost camera based sense and avoid in unmanned aerial vehicles: Sensing and control methods
Waxman et al. A visual navigation system
Yu et al. Visual confined-space navigation using an efficient learned bilinear optic flow approximation for insect-scale robots
Momot et al. Systems of Geo Positioning of the Mobile Robot
Xie et al. An image-based decoupling controller of quadrotor for moving target tracking

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant