CN110941288A - 一种用于低空航空器的自动避障装置和方法 - Google Patents

一种用于低空航空器的自动避障装置和方法 Download PDF

Info

Publication number
CN110941288A
CN110941288A CN201911354492.3A CN201911354492A CN110941288A CN 110941288 A CN110941288 A CN 110941288A CN 201911354492 A CN201911354492 A CN 201911354492A CN 110941288 A CN110941288 A CN 110941288A
Authority
CN
China
Prior art keywords
obstacle
aircraft
information
obstacle avoidance
laser radar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911354492.3A
Other languages
English (en)
Other versions
CN110941288B (zh
Inventor
刘浩然
樊慧津
刘磊
王博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201911354492.3A priority Critical patent/CN110941288B/zh
Publication of CN110941288A publication Critical patent/CN110941288A/zh
Application granted granted Critical
Publication of CN110941288B publication Critical patent/CN110941288B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明公开了一种用于低空航空器的自动避障装置和方法,属于自动避障领域。该装置包括:激光雷达、摄像部件和控制器;激光雷达,用于判断航空器前方是否存在障碍物,当存在障碍物时,获取障碍物的深度信息;摄像部件,用于对航空器前方的小目标障碍物进行检测,获取障碍物的图像信息;控制器,用于根据激光雷达采集到深度信息与摄像部件采集到的图像信息,对障碍物进行检测、识别与分类,并根据检测得到的障碍物信息,实现航空器的自主避障。本发明通过摄像部件与激光雷达相融合,可准确获取小目标障碍物信息,利用避障单元使人工势场中的航空器在吸引力和排斥力的共同作用下避开障碍物,提高了低空航空器自动避障的准确性与安全性。

Description

一种用于低空航空器的自动避障装置和方法
技术领域
本发明属于自动避障领域,更具体地,涉及一种用于低空航空器的自动避障装置和方法。
背景技术
伴随着科技的发展,低空航空器(最大上升高度500米)已在交通监视、通讯中继、气候检测和土地规划等多领域,展现出巨大的发展空间。由于低空航空器在执行的任务过程中,时常会遇到各种类型的障碍物,故急需一种避障装置,以保障低空航空器的飞行安全。
低空航空器自主避障功能的实现,建立在障碍物检测的基础之上,为此,需要结合多种传感器,对低空航空器周围环境进行感知,以获取障碍物的位置、大小和类别信息。探测环境信息的方法主要包括视觉传感器、非视觉传感器、视觉与非视觉传感器融合等方法。常用的视觉传感器包括单目视觉传感器、双目视觉传感器、光流传感器;单目传感器无法获取深度信息,一般无法直接用于户外环境检测;双目传感器虽然可以获取深度信息,但由于摄像头之间的距离限制,对于检测较远距离障碍物有一定的难度;光流法由于对摄像头与障碍物之间的相对运动信息过于依赖,航空器在起飞、降落、慢速飞行时难以对障碍物进行准确的检测。
非视觉传感器包括激光、超声波、红外和雷达等传感器;激光传感器只能对一个方向进行检测;超声波传感器中超声波为机械波,有效测量距离较短,应用在航空器上时,容易受到干扰和衰减,使得检测精度较差,测得的有效数据较少,无法实现精确平滑的障碍物检测;红外传感器的测量距离较短,无法安装在航空器上,实现远距离探测。
总体而言,障碍物检测方法无法实现远距离、高精度的障碍物检测,造成低空航空器自动避障的准确度和安全性较低。
发明内容
针对现有技术的以上缺陷或改进需求,本发明提供了一种用于低空航空器的自动避障装置和方法,其目的在于实现远距离小目标障碍物的检测与识别,提高低空航空器自动避障的准确性与安全性。
为实现上述目的,按照本发明的一个方面,提供了一种用于低空航空器的自动避障装置,该装置固定在航空器底部;包括:激光雷达、摄像部件和控制器;
激光雷达,用于判断航空器前方是否存在障碍物,当存在障碍物时,获取障碍物的深度信息;
摄像部件,用于对小目标障碍物进行检测,获取小目标障碍物的图像信息;所述小目标障碍物指距航空器200米以外的障碍物;
控制器,用于根据激光雷达采集到深度信息与摄像部件采集到的图像信息,对障碍物进行检测、识别与分类,并根据检测得到的障碍物信息,实现航空器的自主避障。
进一步地,所述控制器包括特征提取单元和避障单元:
特征提取单元,利用前部卷积层提取激光雷达和摄像部件采集到的信息底层的细粒度特征,利用后部卷积层提取所述信息的语义特征,得到障碍物类型和距离信息;
避障单元,用于根据障碍物类型和距离信息,使人工势场中的航空器在吸引力和排斥力的共同作用下避开障碍物。
进一步地,所述装置还包括:机壳和底座;
所述底座为四方体支架结构;所述机壳为空心四方体结构,且其内部设置有H型结构的安装框架;激光雷达固定在底座一端,机壳固定在底座上方。
进一步地,所述装置还包括备用电源、稳压模块、存储模块和显示模块,分别通过所述安装框架固定在机壳内部。
本发明另一方面提供了一种用于航空器的自动避障方法,包括:
S1:判断航空器前方是否存在障碍物,当存在障碍物时,获取障碍物的深度信息;
S2:对小目标障碍物进行检测,获取小目标障碍物的图像信息;所述小目标障碍物指距航空器200米以外的障碍物;
S3:根据获取到的深度信息与图像信息,对障碍物进行检测、识别与分类,并根据检测得到的障碍物信息,实现航空器的自主避障。
进一步地,步骤S3具体包括:
S3.1对获取到的深度信息和图像信息进行底层的细粒度特征提取,并对上述信息进行语义特征提取;
S3.2根据提取到的细粒度特征和语义信息,对障碍物进行检测、识别与分类;
S3.3利用障碍物类型和距离信息,使人工势场中的航空器在吸引力和排斥力的共同作用下避开障碍物。
进一步地,步骤3.3具体包括:
当检测到障碍物位于航空器侧前方且为小型物体时,单次修正航空器偏转方向至靠近障碍物势能场切线方向,完成自主避障;其中,障碍物位于航空器侧前方指障碍物中心偏离航空器所在位置处的中心线
Figure BDA0002334035410000031
以内;de=(ds+3da)/2,de为障碍物势能场半径,ds为障碍物直径,da为航空器宽度;小型物体指最大直径小于航空器宽度的物体;
当检测到障碍物位于航空器正前方,或检测到的障碍物类型为大型物体时,根据障碍物势能场,周期性修正航空器偏转方向靠近障碍物势能场切线方向,直至偏离障碍物,完成自主避障。其中,障碍物位于正前方指偏离航空器所在位置处的中心线[-3°,3°];所述大型物体指最大直径大于航空器宽度的物体。
总体而言,通过本发明所构思的以上技术方案与现有技术相比,能够取得下列有益效果:
(1)本发明通过摄像部件与激光雷达相融合,可获得具有较高精度的小目标障碍物信息,利用避障单元使人工势场中的航空器在吸引力和排斥力的共同作用下避开障碍物,提高了低空航空器自动避障的准确性与安全性。
(2)本发明提供的低空航空器避障装置,质量轻,体积小,安装简单,操作方便。
附图说明
图1为本发明的用于航空器的自动避障装置整体结构图。
图2为本发明的底座结构图;
图3为本发明的机壳结构图;
图4为本发明的安装框架结构图;
图5为本发明的避障装置部件安装结构图;
其中,10为底座,20为机壳,30为安装框架,101为端盖,102为激光雷达,201为前面板,202为后面板,203为上面板,204为下面板,205为左面板,206为右面板,211为方形口,212为1号弹簧夹,213为2号弹簧夹,214为风扇,216为圆形槽口,306为左边1号角铝,307为右边1号角铝,308为2号角铝,401为电源,402为处理器面板,403为稳压模块,404为核心主板,405为双头六角螺柱,406为存储模块,407为备用电源,408为摄像部件,409为显示模块。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图1所示,本发明实施例以低空飞行器为例,详细介绍该自动避障装置,其核心部件包括:激光雷达、摄像部件和控制器;其中,激光雷达,判断飞行器前方是否存在障碍物,当存在障碍物时,获取障碍物的深度信息;摄像部件,对小目标障碍物进行检测,获取障碍物的图像信息;控制器,根据激光雷达采集到深度信息与摄像部件采集到的图像信息,对障碍物进行检测、识别与分类,并根据检测得到的障碍物信息,实现飞行器的自主避障。本发明中激光雷达检测距离为5-600米,检测精度为0.3米;摄像部件可以对距离飞行器200米外的小目标障碍物进行检测,且具有较大检测角度;上述控制器包括特征提取单元和避障单元:特征提取单元,利用前部卷积层提取激光雷达和摄像部件采集到的信息底层的细粒度特征,利用后部卷积层提取所述信息的语义特征,得到障碍物类型和距离信息;避障单元,用于根据障碍物类型和距离信息,使人工势场中的航空器在吸引力和排斥力的共同作用下避开障碍物。
当检测到障碍物位于航空器侧前方且为小型物体时,单次修正航空器偏转方向至靠近障碍物势能场切线方向,完成自主避障;其中,障碍物位于航空器侧前方指障碍物中心偏离航空器所在位置处的中心线
Figure BDA0002334035410000051
以内;de=(ds+3da)/2,de为障碍物势能场半径,ds为障碍物直径,da为航空器宽度;小型物体指最大直径小于航空器宽度的物体;
当检测到障碍物位于航空器正前方,或检测到的障碍物类型为大型物体时,根据障碍物势能场,周期性修正航空器偏转方向靠近障碍物势能场切线方向,直至偏离障碍物,完成自主避障。其中,障碍物位于正前方指偏离航空器所在位置处的中心线[-3°,3°];所述大型物体指最大直径大于航空器宽度的物体。
上述装置还包括:机壳20和底座10;如图1所示,机壳20固定在底座10上方,用于保护装置的重要部件,同时起到防尘、散热等作用;如图2所示,底座10为四方体支架结构,激光雷达102通过螺钉固定在底座10一侧,本发明实施例中底座10长边由两根1515型材500组成,短边由两根1515型材185组成,竖直方向由四根1515型材100组成;各边通过角码相互连接;各边与角码通过T型螺栓和法兰螺母连接;靠近激光雷达一侧上端安装有端盖101,用于防止人员划伤。
如图3所示,机壳20为空心四方体结构,包括前面板201、后面板202、上面板203、下面板204、左面板205、右面板206,以及四根2号型材207;前面板201、后面板202、上面板203、下面板204均通过螺栓与2号型材207侧面连接;螺栓中的螺母嵌扣在2号型材207的凹槽内;左面板205和右面板206分别通过螺钉与2号型材207的两端连接;后面板202开有方形口211;下面板204上安装有1号弹簧夹212和2号弹簧夹213;左面板205上安装有风扇214,右面板206均匀开有槽口,风扇和槽口相配合,对装置进行散热;左面板205开有圆形槽口216。
机壳20内部设置有如图4所示的H型结构的安装框架,该安装框架包括四根1515型材349、四根1515型材100、四根1515型材332;各根型材通过角码相互连接;各根型材与角码通过T型螺栓和法兰螺母连接;机壳和安装框架实现对避障装置相关部件的合理布局;涉及到的部件包括24V电源401、处理器面板402、稳压模块403、核心主板404、存储模块406、备用电源407、摄像部件408和显示模块409;其中,稳压模块403用于将电源401的输出电压转换至核心主板404的工作电压;核心主板404实现上述控制器的功能;备用电源407,可实现独立供电,且在一定程度上增强了装置的可靠性;存储模块和显示模块,对检测、识别、分类和避障过程中的数据进行存储与显示,有利于工作人员与设备之间的交互。
作为另一个可选的实施例,布局结构如图5所示,靠近后面板202和下面板204一侧的1515型材349上通过T型螺栓和法兰螺母安装有左右2个开有槽口的1号角铝;靠近左面板205和上面板203一侧的1515型材100上通过T型螺栓和法兰螺母安装有2号角铝308;存储模块406一端置于1号弹簧夹212内,一端通过螺钉与左端1号角铝306连接;备用电源407一端置于2号弹簧夹213内,一端通过螺钉与右端1号角铝307连接;电源401通过螺栓与上面板203相连;处理器面板402上安装有稳压模块403和核心主板404;稳压模块403和核心主板404通过双头六角螺柱与处理器面板402连接;摄像部件408前端穿过左面板205上的圆形槽口216,后端通过螺钉与2号角铝308连接;显示模块409后端通过螺钉与安装框架连接,前端与后面板的方形口211配合。
上述装置的应用过程如下:通过螺钉将底座固定在航空器底部;通过导线将电源401与稳压模块403相连;将存储装置406、单线雷达407、备用电源408、摄像部件409、显示装置409与核心主板404相连;在飞行器升空前,将相关程序烧录至核心主板404,程序调试期间,可通过显示模块409实现交互;在飞行器飞行过程中,利用激光雷达102与摄像部件408感知飞行器前方环境信息,对障碍物进行识别、分类。
本发明实施例另一方面提供了一种用于航空器的自动避障方法,包括:
S1:判断航空器前方是否存在障碍物,当存在障碍物时,获取障碍物的深度信息S2:对航空器前方的小目标障碍物进行检测,获取障碍物的图像信息;S3:根据激光雷达采集到深度信息与摄像部件采集到的图像信息,对障碍物进行检测、识别与分类,并根据检测得到的障碍物信息,实现航空器的自主避障。具体地,步骤S3具体包括:S3.1对激光雷达采集到深度信息与摄像部件采集到的图像信息进行底层的细粒度特征提取;S3.2对激光雷达采集到深度信息与摄像部件采集到的图像信息进行语义特征提取;S3.3根据提取到的细粒度特征和语义信息,对障碍物进行检测、识别与分类;S3.4避障单元利用障碍物类型和距离信息,使人工势场中的航空器在吸引力和排斥力的共同作用下避开障碍物。方法各步骤的实施过程与装置中各个模块的功能对应一致,本发明再次不再赘述。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (7)

1.一种用于低空航空器的自动避障装置,其特征在于,所述装置固定于航空器底部;该装置包括:激光雷达、摄像部件和控制器;
激光雷达,用于判断航空器前方是否存在障碍物,当存在障碍物时,获取障碍物的深度信息;
摄像部件,用于对小目标障碍物进行检测,获取小目标障碍物的图像信息;所述小目标障碍物指距航空器200米以外的障碍物;
控制器,用于根据激光雷达采集到深度信息与摄像部件采集到的图像信息,对障碍物进行检测、识别与分类,并根据检测得到的障碍物信息,实现航空器的自主避障。
2.如权利要求1所述的一种用于低空航空器的自动避障装置,其特征在于,所述控制器包括特征提取单元和避障单元:
特征提取单元,利用前部卷积层提取激光雷达和摄像部件采集到的信息底层的细粒度特征,利用后部卷积层提取所述信息的语义特征,得到障碍物类型和距离信息;
避障单元,用于根据障碍物类型和距离信息,使航空器在吸引力和排斥力的共同作用下避开障碍物。
3.如权利要求1或2所述的一种用于低空航空器的自动避障装置,其特征在于,所述装置还包括:机壳和底座;
所述底座为四方体支架结构;所述机壳为空心四方体结构,且其内部设置有H型结构的安装框架;激光雷达固定在底座一端,机壳固定在底座上方。
4.如权利要求3所述的一种用于低空航空器的自动避障装置,其特征在于,所述装置还包括备用电源、稳压模块、存储模块和显示模块,分别通过所述安装框架固定在机壳内部。
5.一种用于航空器的自动避障方法,其特征在于,包括:
S1:判断航空器前方是否存在障碍物,当存在障碍物时,获取障碍物的深度信息;
S2:对小目标障碍物进行检测,获取小目标障碍物的图像信息;所述小目标障碍物指距航空器200米以外的障碍物;
S3:根据获取到的深度信息与图像信息,对障碍物进行检测、识别与分类,并根据检测得到的障碍物信息,实现航空器的自主避障。
6.根据权利要求5所述的一种用于航空器的自动避障方法,其特征在于,步骤S3具体包括:
S3.1对获取到的深度信息和图像信息进行底层的细粒度特征提取,并对上述信息进行语义特征提取;
S3.2根据提取到的细粒度特征和语义信息,对障碍物进行检测、识别与分类;
S3.3利用障碍物类型和距离信息,使人工势场中的航空器在吸引力和排斥力的共同作用下避开障碍物。
7.根据权利要求5所述的一种用于航空器的自动避障方法,其特征在于,步骤S3.3具体包括:
当检测到障碍物位于航空器侧前方且为小型物体时,单次修正航空器偏转方向至靠近障碍物势能场切线方向,完成自主避障;其中,障碍物位于航空器侧前方指障碍物中心偏离航空器所在位置处的中心线
Figure FDA0002334035400000021
以内;de=(ds+3da)/2,de为障碍物势能场半径,ds为障碍物直径,da为航空器宽度;小型物体指最大直径小于航空器宽度的物体;
当检测到障碍物位于航空器正前方,或检测到的障碍物类型为大型物体时,根据障碍物势能场,周期性修正航空器偏转方向靠近障碍物势能场切线方向,直至偏离障碍物,完成自主避障。其中,障碍物位于正前方指偏离航空器所在位置处的中心线[-3°,3°];所述大型物体指最大直径大于航空器宽度的物体。
CN201911354492.3A 2019-12-24 2019-12-24 一种用于低空航空器的自动避障装置和方法 Active CN110941288B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911354492.3A CN110941288B (zh) 2019-12-24 2019-12-24 一种用于低空航空器的自动避障装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911354492.3A CN110941288B (zh) 2019-12-24 2019-12-24 一种用于低空航空器的自动避障装置和方法

Publications (2)

Publication Number Publication Date
CN110941288A true CN110941288A (zh) 2020-03-31
CN110941288B CN110941288B (zh) 2021-07-02

Family

ID=69912232

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911354492.3A Active CN110941288B (zh) 2019-12-24 2019-12-24 一种用于低空航空器的自动避障装置和方法

Country Status (1)

Country Link
CN (1) CN110941288B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117539268A (zh) * 2024-01-09 2024-02-09 吉林省吉邦自动化科技有限公司 基于机器视觉与激光雷达融合的vga自主避障系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109711448A (zh) * 2018-12-19 2019-05-03 华东理工大学 基于判别关键域和深度学习的植物图像细粒度分类方法
CN109871031A (zh) * 2019-02-27 2019-06-11 中科院成都信息技术股份有限公司 一种固定翼无人机的轨迹规划方法
US20190354099A1 (en) * 2018-05-18 2019-11-21 Qualcomm Incorporated Augmenting a robotic vehicle with virtual features
CN110514206A (zh) * 2019-08-02 2019-11-29 中国航空无线电电子研究所 一种基于深度学习的无人机飞行路径预测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190354099A1 (en) * 2018-05-18 2019-11-21 Qualcomm Incorporated Augmenting a robotic vehicle with virtual features
CN109711448A (zh) * 2018-12-19 2019-05-03 华东理工大学 基于判别关键域和深度学习的植物图像细粒度分类方法
CN109871031A (zh) * 2019-02-27 2019-06-11 中科院成都信息技术股份有限公司 一种固定翼无人机的轨迹规划方法
CN110514206A (zh) * 2019-08-02 2019-11-29 中国航空无线电电子研究所 一种基于深度学习的无人机飞行路径预测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
冯语姗、王子磊: "自上而下注意图分割的细粒度图像分类", 《中国图像图形学报》 *
刘佳铭: "基于深度卷积神经网络的无人机识别方法研究", 《舰船电子工程》 *
朱立华: "无人飞行器自主检测与避障技术研究", 《中国博士学位论文全文数据库 工程科技Ⅱ辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117539268A (zh) * 2024-01-09 2024-02-09 吉林省吉邦自动化科技有限公司 基于机器视觉与激光雷达融合的vga自主避障系统

Also Published As

Publication number Publication date
CN110941288B (zh) 2021-07-02

Similar Documents

Publication Publication Date Title
CN108039680B (zh) 一种自动巡航电力线路检测无人机及其检测方法
US9047748B2 (en) Safety guard device and method for detecting falling object
CN205345353U (zh) 一种并联搭载微型红外热像仪与运动相机的云台
US10937183B2 (en) Object dimensioning system and method
CN103134489A (zh) 基于移动终端进行目标定位的方法
CN109979468B (zh) 一种雷击光学路径监测系统及方法
WO2021093392A1 (zh) 移动机器人
US20230252679A1 (en) Extrinsic parameter calibration device and method for multiple camera devices, storage medium, and electronic device
CN110941288B (zh) 一种用于低空航空器的自动避障装置和方法
KR102153653B1 (ko) 드론을 이용한 노출배관의 3d 스캔 및 vr 점검 시스템
CN109002057A (zh) 一种电缆隧道的智能巡检无人机系统
CN112634577B (zh) 用于烟雾报警的方法和设备
KR20180136601A (ko) 포트홀 검출장치 및 포트홀 관리 시스템
CN209281254U (zh) 一种电力巡检无人机系统
CN106091942A (zh) 一种电力杆塔测距系统及其安全测距方法
CN111414001A (zh) 一种用于低空航空器的自主停机装置和方法
CN217767512U (zh) 人车核检一体设备
US10638098B2 (en) Surveillance method
CN103744110A (zh) 超声与单目视觉传感器结合的障碍物识别装置
CN212181030U (zh) 一种用于低空航空器的避障装置
CN208506246U (zh) 一种适用于烟囱内部作业飞行平台定位的装置
KR20220101140A (ko) 이동 로봇
CN112556650A (zh) 一种电线杆倾斜检测保护装置及其检测方法
CN113627343A (zh) 一种行人身高检测方法、装置、设备及可读存储介质
CN214875637U (zh) 一种应用于无人机探测的激光照明传感器信号处理设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant