CN114675670B - 一种基于相对定位的无人机自主穿越框型障碍物方法 - Google Patents
一种基于相对定位的无人机自主穿越框型障碍物方法 Download PDFInfo
- Publication number
- CN114675670B CN114675670B CN202210342593.4A CN202210342593A CN114675670B CN 114675670 B CN114675670 B CN 114675670B CN 202210342593 A CN202210342593 A CN 202210342593A CN 114675670 B CN114675670 B CN 114675670B
- Authority
- CN
- China
- Prior art keywords
- unmanned aerial
- aerial vehicle
- frame
- shaped
- obstacle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
Abstract
本发明公开了一种基于相对定位的无人机自主穿越框型障碍物方法,包括:在无人机行进路径上需要穿越的框形障碍物上布置UWB传感器;无人机飞行过程中,利用障碍物上的UWB传感器与无人机自身的UWB传感器配合实时获取无人机与框形障碍物的距离信息,并获取无人机的位移信息;根据实时获取的无人机的位移信息,以及无人机与框形障碍物的距离信息构建数学参数模型;利用所述数学参数模型,构建框形障碍物的位置估计器,进行框形障碍物位置的估计,从而可得到无人机与框形障碍物之间的相对位置估计值;构建事件驱动穿越控制器,基于无人机相对位置的估计值,利用所述控制器得到无人机的速度控制指令,通过速度控制指令控制无人机穿越框形障碍物。
Description
技术领域
本发明涉及无人机领域,具体涉及一种基于相对定位的无人机自主穿越框型障碍物方法。
背景技术
无人机以其体积小、操作方便、机动灵活而著称,在军事和民用领域得到了广泛的应用。在室外,无人机依靠GPS定位技术可以很好地获得定位信息。然而,在室内环境下,GPS容易信号弱且不稳定,无法提供有效的实时准确的定位信息,室内环境下无人机容易出现飞行故障和碰撞等情况,极大地限制了无人机在室内环境下的应用,同时,近几年,越来越多的无人机被用于室内调查、室内救援等诸多室内场景,在这种进入室内的场景下,无人机穿越相似的框型障碍物成为了一种挑战。
常用的室内定位技术有基于Wi-Fi的室内定位,基于iBeacon的室内定位、基于UWB的室内定位、基于红外的室内定位、基于激光雷达的室内定位、基于 LED的室内定位、基于Zigbee的室内定位和基于超声波的室内定位等。不管采用哪种技术,都追求一种性价比较高的技术方案来解决实际需求。现有技术中技术,比较常见的是未知环境下,基于无人机自主定位、障碍物检测、障碍物定位、障碍物跟踪和障碍物穿越为主的无GPS无人机穿越系统,但是这种方法对室内光线要求高,其次,其利用视觉SLAM确定自身对当前环境的位置和姿态计算较为复杂,其利用单目相机获取环境信息不够准确。还有双目相机配合多个毫米波雷达进行的障碍物检测,以及采用几何方法判断障碍物是否会阻碍无人机的飞行,从而进行避障穿越,但是这种方法复杂度较高,无人机在高速状态下反应不及时。
室内无人机定位要求定位精度较高、成本低且抗环境干扰(光、温度、湿度) 能力强等,但是当前的技术在应用中,当室内当无人机距离目标框型障碍物较远时,无人机无法通过摄像头对目标进行定位跟踪,自然无法实现自主穿越,同时,在光线薄弱的场景下,摄像头对于目标的检测的准确度不高,很难满足各种各样的室内场景,同时利用视觉SLAM确定自身对当前环境的位置和姿态计算较为复杂,其利用单目相机获取环境信息不够准确,多个毫米波雷达成本高,计算量大,信息融合需要时间长,无法满足无人机的高机动性,同时其采用的多传感器融合以及基于卡尔曼滤波的跟踪检测精度不高,实时性不强。所以无论是激光雷达进行定位还是红外传感,光流定位效果都不是很理想。
发明内容
本发明的目的是提供一种基于相对定位的无人机自主穿越框型障碍物方法,用以克服现有方法存在的技术问题。
为了实现上述任务,本发明采用以下技术方案:
一种基于相对定位的无人机自主穿越框型障碍物方法,包括:
在无人机行进路径上需要穿越的框形障碍物上布置UWB传感器;无人机飞行过程中,利用障碍物上的UWB传感器与无人机自身的UWB传感器配合实时获取无人机与框形障碍物的距离信息,并获取无人机的位移信息;
根据实时获取的无人机的位移信息,以及无人机与框形障碍物的距离信息构建数学参数模型;
利用所述数学参数模型,构建框形障碍物的位置估计器,进行框形障碍物位置的估计,从而可得到无人机与框形障碍物之间的相对位置估计值;
构建事件驱动穿越控制器,基于无人机相对位置的估计值,利用所述控制器得到无人机的速度控制指令,通过速度控制指令控制无人机穿越框形障碍物。
进一步地,所述根据实时获取的无人机的位移信息,以及无人机与框形障碍物的距离信息构建数学参数模型,包括:
利用所述距离信息与位移信息之间的数学关系构建数学参数模型:
其中,ps是框形障碍物的位置,p0(k)是k时刻无人机的位置,满足 q0(k)=p0(k)-ps;q0(k)表示k时刻无人机到框型障碍物的相对位置;p0(0)表示无人机初始时刻的位置,d0(k)表示k时刻无人机与框形障碍物之间的距离,表示无人机k时刻的位移,满足δ1是所构成的位移矩阵的最小特征值,N是本方法的维度。
进一步地,所述利用所述数学参数模型,构建框形障碍物的位置估计器,包括:
根据的数学参数模型构建目标函数,将位置估计问题等效成一个最优化问题,目标是使得J0最小:
其中E0(k)是参数模型∈s(k)的集合矩阵,Φ0(k)是位移构成的位移矩阵,μ是阻尼系数,满足N是本方法的维度,δ1是位移矩阵的最小特征值,M(k)是构建的遗忘算子矩阵,满足是k时刻对框形障碍物位置ps的估计值,λ为遗忘因子;
针对目标函数(1.3),采用梯度下降法,对其求导得到:
对式(1.4)进行归纳,便设计了如下的位置估计器:
进一步地,所述事件驱动穿越控制器具体推导如下:
针对未知环境下的无人机位置,将无人机建模为速度有界的离散时间积分器:
将无人机的穿越问题描述成一个不断变化的跟踪问题,因此得到事件驱动穿越控制器:
进一步地,穿越控制信号开关H0(k)满足:
其中表示无人机到框型障碍物的相对位置估计值,k1为初始时间,k4为运行时间,sup表示上确界;和是事件触发器的起始点和结束点,Rot是框型障碍物相对坐标系的旋转矩阵,在二维情况下,其旋转矩阵为w是障碍物相对于的无人机坐标系的角度,α是穿越过程中的穿越步长。
一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,处理器执行计算机程序时实现所述基于相对定位的无人机自主穿越框型障碍物方法的步骤。
一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序被处理器执行时实现所述基于相对定位的无人机自主穿越框型障碍物方法的步骤。
与现有技术相比,本发明具有以下技术特点:
本发明是一种长距离,高适用性的无人机自主穿越框型障碍物方法,没有光线和短距离的限制,且具有较低的计算复杂度,不仅限于无人机方面的应用,在其他如无人车,无人艇等在可获得的距离和位移的相对定位的应用场景方面都有良好的应用前景。
附图说明
图1为本发明方法的结构框架图;
图2为本方案中的数据流向示意图;
图3的(a)和(b)为本发明方法在gazebo上的实现效果图。
具体实施方式
本发明提出了一种具有长距离,高适用性的无人机自主穿越框型障碍物方法,没有光线和短距离的限制,具体来讲,本方案基于无人机与障碍物的距离设计了位置估计器,在不知道障碍物的位置时利用位置估计器来估算障碍物的位置;之后,设计了一个事件驱动穿越控制器来达到无人机穿越的目的。
参见图1,本发明的一种基于相对定位的无人机自主穿越框型障碍物方法,包括以下步骤:
步骤1,在无人机行进路径上需要穿越的框形障碍物上布置UWB传感器,可通过标枪等方式将UWB传感器标射到目标框型障碍物上,其中UWB传感器布置的具体位置是在框型障碍物的任意位置上,以此与无人机上的UWB传感器交互进而获得两者间的距离d0。
步骤2,无人机在自动飞行中实时进行传感器数据的采集,其中,UWB传感器的距离数据直接通过串口通信传输给机载电脑,用于测量无人机到框型障碍物的距离信息,而惯性测量单元IMU和超声波传感器搭载在无人机的控制平台PX4 上,IMU可以通过积分获得无人机的位移信息,超声波传感器可以获得无人机的高度信息,通过控制平台PX4与机载电脑的通信进行间接的获取。
步骤3,机载电脑进行数据的ROS话题包处理;具体的,针对IMU和超声波传感器的位移信息、高度信息,可通过控制平台PX4与ROS机器人操作系统的MAVROS包得到对应的数据话题,UWB传感器通过串口通信,将距离信息由不同的UWB型号和通信协议进行预处理,同时将其发布到一个自己构造的话题包。
步骤4,根据实时获取的无人机的位移信息,以及无人机与框形障碍物的距离信息构建数学参数模型,具体如下:
UWB传感器获取的距离信息与IMU传感器获得的无人机的位移信息这两者之间存在着数学关系,将其表示为数学参数模型∈s(k):
其中,ps是框形障碍物的位置,p0(k)是k时刻无人机的位置,满足 q0(k)=p0(k)-ps;q0(k)表示k时刻无人机到框型障碍物的相对位置;p0(0)表示无人机初始时刻的位置,d0(k)表示k时刻无人机与框形障碍物之间的距离,在三维情况下,可通过UWB传感器测量,在二维情况下,可通过超宽带传感器测量三维距离信息结合超声波的高度信息由勾股定理二维的距离信息,表示无人机k时刻的位移,满足δ1是所构成的位移矩阵的最小特征值,N是本方法的维度。
步骤5,利用所述数学参数模型,构建框形障碍物的位置估计器,进行框形障碍物位置的估计,从而可得到无人机与框形障碍物之间的相对位置估计值。
其中,所述位置估计器具体推导如下:
步骤5.1,根据步骤4所设计的数学参数模型(1.1)、(1.2),构建目标函数,将位置估计问题等效成一个最优化问题,目标是使得J0最小。
其中E0(k)是参数模型∈s(k)的集合矩阵,Φ0(k)是位移构成的位移矩阵,μ是阻尼系数,满足N是本方法的维度,若是二维则为2,若是三维则为3,δ1是位移矩阵的最小特征值,M(k)是构建的遗忘算子矩阵,满足是k时刻对框形障碍物位置ps的估计值,本方案中,参数上标Λ表示该参数的估计值,下同;λ为遗忘因子。
步骤5.2,针对目标函数(1.3),采用了梯度下降法,对其求导得到:
步骤5.3,对步骤5.2的式(1.4)进行归纳,便设计了如下的位置估计器:
其中,I是单位矩阵,R0(k)是构建的协方差矩阵,是k+1时刻对障碍物的位置估计,λ是设计的遗忘算子,目的为了使得新数据在算法中权重比更大,其大小限制在0<λ<1,μ是设计的阻尼系数,目的为使得数据不发生爆炸现象。
步骤6,构建事件驱动穿越控制器,基于无人机相对位置的估计值,利用所述控制器得到无人机的速度控制指令,通过速度控制指令控制无人机穿越框形障碍物。
所述事件驱动穿越控制器具体推导如下:
步骤6.1,针对未知环境下的无人机位置,将无人机建模为速度有界的离散时间积分器。
步骤6.2,在设计步骤5的障碍物位置估计器(1.5)后,结合式(1.6),将无人机的穿越问题描述成一个不断变化的跟踪问题,因此本发明设计一个事件驱动穿越控制器,如式1.7:
其中,A0是控制器增益,由控制器稳定性和收敛性分析后得到其范围,是设计的激励信号,目的是为了使得协方差矩阵R0(k+1)一直是持续激励状态, v0(k)是经过事件驱动穿越控制器所得到的速度控制指令,是对v0(k)进行了限速,使得最后的输出速度小于预设的最大速度V0;H0(k)是穿越控制信号开关,满足:
其中表示无人机到框型障碍物的相对位置估计值,满足式中k1为初始时间,k4为运行时间,sup表示上确界。和是事件触发器的起始点和结束点,Rot是框型障碍物相对坐标系的旋转矩阵。在二维情况下,其旋转矩阵为w是障碍物相对于的无人机坐标系的角度,可通过人为设置,也可通过附着在UWB传感器的里程计测出角度;α是穿越过程中的穿越步长。
本发明在具体应用时,首先根据步骤6的(1.7)、(1.8)解算出来的无人机速度控制数据,将通过ROS机器人操作系统,发布到ROS针对PX4无人机的MAVROS 包下的速度控制节点话题,由于步骤4无人机实时获取的数据在不断变化,进而步骤5不断更新,进而得到无人机与框形障碍物相对位置的估计值,而根据估计的相对位置的不同,会由步骤6得到对应的速度控制指令,以此使得无人机穿越框形障碍物。图3的(a)和(b)为本发明方法在gazebo上的实现效果图,可以看到,利用本发明方法能使无人机顺利地穿越框形障碍物,验证了本方法对实际无人机模型的合理性。
以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。
Claims (4)
1.一种基于相对定位的无人机自主穿越框型障碍物方法,其特征在于,包括:
在无人机行进路径上需要穿越的框型障碍物上布置UWB传感器;无人机飞行过程中,利用障碍物上的UWB传感器与无人机自身的UWB传感器配合实时获取无人机与框型障碍物的距离信息,并获取无人机的位移信息;
根据实时获取的无人机的位移信息,以及无人机与框型障碍物的距离信息构建数学参数模型;
利用所述数学参数模型,构建框型障碍物的位置估计器,进行框型障碍物位置的估计,从而可得到无人机与框型障碍物之间的相对位置估计值;
构建事件驱动穿越控制器,基于无人机相对位置的估计值,利用所述控制器得到无人机的速度控制指令,通过速度控制指令控制无人机穿越框型障碍物;
所述根据实时获取的无人机的位移信息,以及无人机与框型障碍物的距离信息构建数学参数模型,包括:
利用所述距离信息与位移信息之间的数学关系构建数学参数模型:
其中,ps是框型障碍物的位置,p0(k)是k时刻无人机的位置,满足q0(k)=p0(k)-ps;q0(k)表示k时刻无人机到框型障碍物的相对位置;p0(0)表示无人机初始时刻的位置,d0(k)表示k时刻无人机与框型障碍物之间的距离,表示无人机k时刻的位移,满足δ1是所构成的位移矩阵的最小特征值,N是本方法的维度;
所述利用所述数学参数模型,构建框型障碍物的位置估计器,包括:
根据的数学参数模型构建目标函数,将位置估计问题等效成一个最优化问题,目标是使得J0最小:
其中E0(k)是参数模型∈s(k)的集合矩阵,Φ0(k)是位移构成的位移矩阵,μ是阻尼系数,满足N是本方法的维度,δ1是位移矩阵的最小特征值,M(k)是构建的遗忘算子矩阵,满足 是k时刻对框型障碍物位置ps的估计值,λ为遗忘因子;
针对目标函数(1.3),采用梯度下降法,对其求导得到:
对式(1.4)进行归纳,便设计了如下的位置估计器:
所述事件驱动穿越控制器具体推导如下:
针对未知环境下的无人机位置,将无人机建模为速度有界的离散时间积分器:
将无人机的穿越问题描述成一个不断变化的跟踪问题,因此得到事件驱动穿越控制器:
穿越控制信号开关H0(k)满足:
3.一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,处理器执行计
算机程序时实现根据权利要求1-2中任一权利要求所述基于相对定位的无人机自主穿越框型障碍物方法的步骤。
4.一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,其特征在于,计算机程序被处理器执行时实现根据权利要求1-2中任一权利要求所述基于相对定位的无人机自主穿越框型障碍物方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210342593.4A CN114675670B (zh) | 2022-04-02 | 2022-04-02 | 一种基于相对定位的无人机自主穿越框型障碍物方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210342593.4A CN114675670B (zh) | 2022-04-02 | 2022-04-02 | 一种基于相对定位的无人机自主穿越框型障碍物方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114675670A CN114675670A (zh) | 2022-06-28 |
CN114675670B true CN114675670B (zh) | 2022-10-14 |
Family
ID=82076093
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210342593.4A Active CN114675670B (zh) | 2022-04-02 | 2022-04-02 | 一种基于相对定位的无人机自主穿越框型障碍物方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114675670B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109960269A (zh) * | 2019-04-04 | 2019-07-02 | 武汉大学 | 一种服务于无人机自主导航的简化环境建模方法 |
CN110162086A (zh) * | 2019-03-21 | 2019-08-23 | 中山大学 | 一种基于模型预测控制框架的集群无人机编队方法 |
CN110244756A (zh) * | 2019-04-29 | 2019-09-17 | 福州大学 | 无人机快速追踪协同避障方法 |
CN110362098A (zh) * | 2018-03-26 | 2019-10-22 | 北京京东尚科信息技术有限公司 | 无人机视觉伺服控制方法、装置以及无人机 |
EP3677929A1 (fr) * | 2019-01-07 | 2020-07-08 | Commissariat à l'Energie Atomique et aux Energies Alternatives | Dispositif d'estimation du vecteur vitesse d'un corps rigide mobile |
CN112666975A (zh) * | 2020-12-18 | 2021-04-16 | 中山大学 | 一种基于预测控制和屏障函数的无人机安全轨迹跟踪方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11017681B2 (en) * | 2016-06-24 | 2021-05-25 | Intel IP Corporation | Unmanned aerial vehicle avoiding obstacles |
CN107077148B (zh) * | 2016-11-22 | 2019-07-16 | 深圳市大疆创新科技有限公司 | 无人机避障控制方法、飞行控制器及无人飞行器 |
-
2022
- 2022-04-02 CN CN202210342593.4A patent/CN114675670B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110362098A (zh) * | 2018-03-26 | 2019-10-22 | 北京京东尚科信息技术有限公司 | 无人机视觉伺服控制方法、装置以及无人机 |
EP3677929A1 (fr) * | 2019-01-07 | 2020-07-08 | Commissariat à l'Energie Atomique et aux Energies Alternatives | Dispositif d'estimation du vecteur vitesse d'un corps rigide mobile |
CN110162086A (zh) * | 2019-03-21 | 2019-08-23 | 中山大学 | 一种基于模型预测控制框架的集群无人机编队方法 |
CN109960269A (zh) * | 2019-04-04 | 2019-07-02 | 武汉大学 | 一种服务于无人机自主导航的简化环境建模方法 |
CN110244756A (zh) * | 2019-04-29 | 2019-09-17 | 福州大学 | 无人机快速追踪协同避障方法 |
CN112666975A (zh) * | 2020-12-18 | 2021-04-16 | 中山大学 | 一种基于预测控制和屏障函数的无人机安全轨迹跟踪方法 |
Non-Patent Citations (5)
Title |
---|
Cooperative Obstacle Avoidance for Multiple UAVs Using Spline_VO Method;Peng mingzhu,等;《SENSORS》;20220321;第22卷(第5期);全文 * |
Velocity Obstacle Based 3D Collision Avoidance Scheme for Low-Cost Micro UAVs;Myungwhan Choi,等;《Sustainability》;20170706;第9卷(第7期);全文 * |
基于多传感器信息融合的无人机防碰撞系统;潘峥嵘,等;《自动化技术与应用》;20180331;第37卷(第3期);全文 * |
基于机载双目摄像头的无人机导航算法研究;黄晓鹏;《中国优秀博硕士学位论文全文数据库(硕士)工程科技II辑》;20190115(第1期);全文 * |
无人机室内自主定位与穿越多重门框关键技术研究;陈文杰;《中国优秀博硕士学位论文全文数据库(硕士)工程科技II辑》;20220115(第1期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN114675670A (zh) | 2022-06-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Kong et al. | Autonomous landing of an UAV with a ground-based actuated infrared stereo vision system | |
Saha et al. | A real-time monocular vision-based frontal obstacle detection and avoidance for low cost UAVs in GPS denied environment | |
WO2017177533A1 (zh) | 基于激光雷达的微型无人机操控方法及系统 | |
Dadkhah et al. | Survey of motion planning literature in the presence of uncertainty: Considerations for UAV guidance | |
Ahrens et al. | Vision-based guidance and control of a hovering vehicle in unknown, GPS-denied environments | |
Griffiths et al. | Maximizing miniature aerial vehicles | |
Saunders et al. | Static and dynamic obstacle avoidance in miniature air vehicles | |
WO2018086133A1 (en) | Methods and systems for selective sensor fusion | |
Griffiths et al. | Obstacle and terrain avoidance for miniature aerial vehicles | |
Levine et al. | Information-rich path planning with general constraints using rapidly-exploring random trees | |
IL185702A (en) | Method for collision avoidance of unmanned aerial vehicle with other aircraft | |
CN113467500B (zh) | 一种基于双目视觉的无人机非合作目标追踪系统 | |
WO2018222253A1 (en) | System and method of dynamically filtering depth estimates to generate a volumetric map of a three-dimensional environment having an adjustable maximum depth | |
CN110262555B (zh) | 连续障碍环境下无人机实时避障控制方法 | |
Lin et al. | Autonomous quadrotor navigation with vision based obstacle avoidance and path planning | |
Garcia et al. | High-speed vision-based autonomous indoor navigation of a quadcopter | |
US20230315126A1 (en) | Method for multi-unmanned aerial vehicle formation to pass through frame-shaped obstacle | |
CN110673627A (zh) | 一种森林无人机搜寻方法 | |
Haddadi et al. | Visual-inertial fusion for indoor autonomous navigation of a quadrotor using ORB-SLAM | |
Mueller et al. | Model predictive control for vision-based quadrotor guidance | |
Sanjukumar et al. | Obstacle Detection and Collision Avoidance on UAV using Rangefinder Sensor with Kalman Filter Technique | |
Yang et al. | Optimization of dynamic obstacle avoidance path of multirotor UAV based on ant colony algorithm | |
CN114675670B (zh) | 一种基于相对定位的无人机自主穿越框型障碍物方法 | |
Rydell et al. | Autonomous UAV-based forest mapping below the canopy | |
KR101862065B1 (ko) | 비행체를 이용한 영상 기반 바람 추정 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |