CN114637876A - 基于矢量地图特征表达的大场景无人机图像快速定位方法 - Google Patents

基于矢量地图特征表达的大场景无人机图像快速定位方法 Download PDF

Info

Publication number
CN114637876A
CN114637876A CN202210541307.7A CN202210541307A CN114637876A CN 114637876 A CN114637876 A CN 114637876A CN 202210541307 A CN202210541307 A CN 202210541307A CN 114637876 A CN114637876 A CN 114637876A
Authority
CN
China
Prior art keywords
area
unmanned aerial
aerial vehicle
vector
percentage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210541307.7A
Other languages
English (en)
Other versions
CN114637876B (zh
Inventor
刘宇
孙方德
王港
耿虎军
朱进
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC 54 Research Institute
Original Assignee
CETC 54 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC 54 Research Institute filed Critical CETC 54 Research Institute
Priority to CN202210541307.7A priority Critical patent/CN114637876B/zh
Publication of CN114637876A publication Critical patent/CN114637876A/zh
Application granted granted Critical
Publication of CN114637876B publication Critical patent/CN114637876B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/56—Information retrieval; Database structures therefor; File system structures therefor of still image data having vectorial format
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
    • G01S19/485—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an optical system or imaging system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/206—Drawing of charts or graphs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于矢量地图特征表达的大场景无人机图像快速定位方法，属于无人机定位导航领域。该方法以足球场、篮球场、建筑单体、水体区域四类典型目标的矢量斑块为无人机图像定位参考底图，并将每个矢量斑块进行特征向量表达；对无人机采集到的高分辨率遥感图像进行足球场、篮球场、建筑单体、水体区域四类目标的快速识别，并对图像中心斑块进行特征向量计算；最后进行特征向量的匹配，实现无人机图像与底图数据的快速匹配。该方法能够极大地压缩无人机上携带的数据量，且能够极大地提高无人机图像匹配的效率，实现大场景GNSS信号拒止条件下的无人机图像快速定位。

Description

基于矢量地图特征表达的大场景无人机图像快速定位方法
技术领域
本发明属于无人机定位导航领域，特别涉及一种基于矢量地图特征表达的大场景无人机图像快速定位方法，可用于在城市场景中无人机丢失卫星定位信号时的自主定位方法。
背景技术
GNSS信号被广泛应用于无人机系统的实时高精度定位。但是，在高楼林立的城市场景中，经常发生GNSS信号退化或不可用的情况，导致无人机在城市内“迷路”。
为了解决无人机的自主定位问题，许多研究人员提出了基于视觉的无人机自主定位方法。其中主要包括以下两种：
1）基于图像匹配的无人机自主定位方法。该方法主要是以高分辨率遥感卫星图像为底图，将无人机拍摄到的图像与卫星图像进行配准以实现无人机的自主定位。该方法的缺点是高分辨率卫星遥感图像体量较大，一般难以将大范围的图像放在无人机上，所以仅能实现小范围的无人机自主定位；且当无人机的成像视角与卫星的成像视角差异过大时，图像匹配经常失败。
2）基于开源地图的无人机自主定位。该方法通常以矢量数据作为底图，数据量较小，一般通过识别无人机图像上的典型目标，然后将目标与矢量地图做匹配实现无人机图像定位；该方法中的典型地物一般选取道路交叉口和建筑物，但通过无人机图像进行目标识别通常难以描述地面目标的高精度轮廓，所以目标形状匹配的精度通常不高；在城市场景中，范围广阔、且相似目标物较多，该方法效率极低、且容易失效。
为了实现无人机在大范围城市场景中丢失定位信号时的快速高精度定位，需要研究一种更加快速且可靠的无人机自主定位方法。
发明内容
本发明为了解决现有技术中基于视觉的无人机自主定位精度低、效率低的问题，提出了一种基于矢量地图特征表达的无人机图像快速定位方法，该方法通过特征化描述矢量地图，可实现无人机图像与矢量地图的快速高精度匹配。
为了实现上述目的，本发明采用的技术方案为：
一种基于矢量地图特征表达的大场景无人机图像快速定位方法，包括以下步骤：
（1）构建无人机飞行区域的矢量地图；具体方式为：根据无人机所在的大概位置，通过网络公开方式或人工标绘的方式绘制足球场、篮球场、建筑单体、水体区域的矢量斑块，并制作Shapefile文件，足球场为类别A，篮球场为类别B，建筑单体为类别C，水体区域为类别D，同时计算每个斑块的面积；
（2）对矢量地图进行特征表达；具体方式为：以每个斑块的重心为中心，绘制半径为R1的圆O1，利用O1将矢量地图进行交运算，统计落在O1内的类别A的面积占O1面积的百分比A1、类别B的面积占O1面积的百分比B1、类别C的面积占O1面积的百分比C1、类别D的面积占O1面积的百分比D1；绘制半径为R2的圆O2，利用O2将矢量地图进行交运算，统计落在O2内的类别A的面积占O2面积的百分比A2、类别B的面积占O2面积的百分比B2、类别C的面积占O2面积的百分比C2、类别D的面积占O2面积的百分比D2；绘制半径为R3的圆O3，利用O3将矢量地图进行交运算，统计落在O3内的类别A的面积占O3面积的百分比A3、类别B的面积占O3面积的百分比B3、类别C的面积占O3面积的百分比C3、类别D的面积占O3面积的百分比D3；其中，20m<R1<50m,R2=2*R1，R3=3*R1；
通过上述计算构成每个斑块的特征向量：
V=(F|N)
其中，N =(A1,B1,C1,D1,A2,B2,C2,D2,A3,B3,C3,D3)，𝐹∈{𝐴,𝐵,𝐶,𝐷}；
每个斑块的特征向量构成了矢量地图的特征表达库；
（3）对无人机图像进行目标识别；具体方式为：无人机在空中获取图像后，利用Cascade Mask RCNN网络进行足球场、篮球场、建筑单体、水体区域的自动识别，然后以图像中心目标斑块T为目标对象，按照步骤（2）中的特征向量计算方法计算斑块T的特征向量V；
（4）特征向量匹配；具体方式为：在特征表达库中查找与斑块T类型相同的斑块，即，找到与斑块T的特征量F相同的斑块，然后逐一计算每个斑块的N向量与斑块T的N向量的相似度，相似度最高的斑块即为匹配成功的斑块；匹配成功即完成无人机图像定位。
本发明与背景技术相比具有如下优点：
1、本发明提出的一种基于矢量地图特征表达的大场景无人机图像快速定位方法，通过将矢量地图进行特征化表达，极大地压缩无人机上的存储数据量；
2、本发明提出的一种基于矢量地图特征表达的大场景无人机图像快速定位方法，通过将矢量地图特征化表达，能够提高无人机图像与矢量地图的匹配效率。
总之，本发明实现了无人机在丢失GNSS信号情况下的快速定位，其采用大范围的矢量地图，并将矢量地图进行特征向量表达，作为无人机图像定位参考底图数据；通过目标识别方法提取无人机图像上的足球场、篮球场、建筑单体、水体区域，并以中心斑块为目标，计算特征向量；最后进行特征向量的匹配，实现大场景GNSS信号拒止条件下的无人机图像快速定位。
附图说明
图1是本发明实施例中基于矢量地图特征表达的大场景无人机图像快速定位方法的原理框架图。
图2是本发明实施例中基于矢量地图特征表达的大场景无人机图像快速定位方法的矢量底图特征表达方法示意图。
具体实施方式
下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。
如图1所示，一种基于矢量地图特征表达的大场景无人机图像快速定位方法，包括如下步骤：
（1）构建无人机飞行区域的矢量地图。根据无人机所在的大概位置，通过网络公开方式或人工标绘的方式绘制足球场、篮球场、建筑单体、水体区域的矢量斑块，并制作Shapefile文件，足球场为类别A，篮球场为类别B，建筑单体为类别C，水体区域为类别D，同时计算每个斑块的面积；
（2）对矢量地图进行特征表达。如图2 所示，以每个斑块的重心为中心，绘制半径为R1的圆O1，利用O1将矢量地图进行交运算，统计落在O1内的类别A的面积占O1面积的百分比A1、类别B的面积占O1面积的百分比B1、类别C的面积占O1面积的百分比C1、类别D的面积占O1面积的百分比D1；绘制半径为R2的圆O2，利用O2将矢量地图进行交运算，统计落在O2内的类别A的面积占O2面积的百分比A2、类别B的面积占O2面积的百分比B2、类别C的面积占O2面积的百分比C2、类别D的面积占O2面积的百分比D2；绘制半径为R3的圆O3，利用O3将矢量地图进行交运算，统计落在O3内的类别A的面积占O3面积的百分比A3、类别B的面积占O3面积的百分比B3、类别C的面积占O3面积的百分比C3、类别D的面积占O3面积的百分比D3；其中，10m<R1<20m,R2=2*R1，R3=3*R1。通过上述计算构成每个斑块的特征向量：
V=(F|N)
其中，N =(A1,B1,C1,D1,A2,B2,C2,D2,A3,B3,C3,D3)，𝐹∈{𝐴,𝐵,𝐶,𝐷}；
每个斑块的特征向量构成了矢量地图的特征表达库。
（3）无人机图像目标识别。无人机在空中获取图像后，利用Cascade Mask RCNN网络进行足球场、篮球场、建筑单体、水体区域的自动识别。然后，以图像中心目标斑块T为目标对象，按照上面的特征向量计算方法计算斑块T的特征向量V。
（4）特征向量匹配。在特征表达库中查找与斑块T类型相同的斑块，即，找到与斑块T的特征量F相同的斑块，然后逐一计算每个斑块的N向量与斑块T的N向量的相似度，相似度最高的斑块即为匹配成功的斑块。
匹配成功即完成无人机图像定位。
本方法以足球场、篮球场、建筑单体、水体区域四类典型目标的矢量斑块为无人机图像定位参考底图，并将每个矢量斑块进行特征向量表达；对无人机采集到的高分辨率遥感图像进行足球场、篮球场、建筑单体、水体区域四类目标的快速识别，并对图像中心斑块进行特征向量计算；最后进行特征向量的匹配，实现无人机图像与底图数据的快速匹配。该方法能够极大地压缩无人机上携带的数据量，且能够极大地提高无人机图像匹配的效率，实现大场景GNSS信号拒止条件下的无人机图像快速定位。
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (1)

1.一种基于矢量地图特征表达的大场景无人机图像快速定位方法，其特征在于，包括以下步骤：
（1）构建无人机飞行区域的矢量地图；具体方式为：根据无人机所在的大概位置，通过网络公开方式或人工标绘的方式绘制足球场、篮球场、建筑单体、水体区域的矢量斑块，并制作Shapefile文件，足球场为类别A，篮球场为类别B，建筑单体为类别C，水体区域为类别D，同时计算每个斑块的面积；
（2）对矢量地图进行特征表达；具体方式为：以每个斑块的重心为中心，绘制半径为R1的圆O1，利用O1将矢量地图进行交运算，统计落在O1内的类别A的面积占O1面积的百分比A1、类别B的面积占O1面积的百分比B1、类别C的面积占O1面积的百分比C1、类别D的面积占O1面积的百分比D1；绘制半径为R2的圆O2，利用O2将矢量地图进行交运算，统计落在O2内的类别A的面积占O2面积的百分比A2、类别B的面积占O2面积的百分比B2、类别C的面积占O2面积的百分比C2、类别D的面积占O2面积的百分比D2；绘制半径为R3的圆O3，利用O3将矢量地图进行交运算，统计落在O3内的类别A的面积占O3面积的百分比A3、类别B的面积占O3面积的百分比B3、类别C的面积占O3面积的百分比C3、类别D的面积占O3面积的百分比D3；其中，20m<R1<50m,R2=2*R1，R3=3*R1；
通过上述计算构成每个斑块的特征向量：
V=(F|N)
其中，N =(A1,B1,C1,D1,A2,B2,C2,D2,A3,B3,C3,D3)，𝐹∈{𝐴,𝐵,𝐶,𝐷}；
每个斑块的特征向量构成了矢量地图的特征表达库；
（3）对无人机图像进行目标识别；具体方式为：无人机在空中获取图像后，利用CascadeMask RCNN网络进行足球场、篮球场、建筑单体、水体区域的自动识别，然后以图像中心目标斑块T为目标对象，按照步骤（2）中的特征向量计算方法计算斑块T的特征向量V；
（4）特征向量匹配；具体方式为：在特征表达库中查找与斑块T类型相同的斑块，即，找到与斑块T的特征量F相同的斑块，然后逐一计算每个斑块的N向量与斑块T的N向量的相似度，相似度最高的斑块即为匹配成功的斑块；匹配成功即完成无人机图像定位。
CN202210541307.7A 2022-05-19 2022-05-19 基于矢量地图特征表达的大场景无人机图像快速定位方法 Active CN114637876B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210541307.7A CN114637876B (zh) 2022-05-19 2022-05-19 基于矢量地图特征表达的大场景无人机图像快速定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210541307.7A CN114637876B (zh) 2022-05-19 2022-05-19 基于矢量地图特征表达的大场景无人机图像快速定位方法

Publications (2)

Publication Number Publication Date
CN114637876A true CN114637876A (zh) 2022-06-17
CN114637876B CN114637876B (zh) 2022-08-12

Family

ID=81952893

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210541307.7A Active CN114637876B (zh) 2022-05-19 2022-05-19 基于矢量地图特征表达的大场景无人机图像快速定位方法

Country Status (1)

Country Link
CN (1) CN114637876B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115495611A (zh) * 2022-11-18 2022-12-20 中国电子科技集团公司第五十四研究所 一种面向无人机自主定位的空间场景检索方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080159634A1 (en) * 2006-12-30 2008-07-03 Rajeev Sharma Method and system for automatically analyzing categories in a physical space based on the visual characterization of people
CN106649607A (zh) * 2016-11-28 2017-05-10 中国科学院自动化研究所 基于矢量掩膜的遥感图像在线目标识别与监测方法及系统
WO2019177471A1 (en) * 2018-01-29 2019-09-19 Uniwersytet Mikołaja Kopernika W Toruniu A method of object localization, particularly of human beings, and a device for human localization
WO2020000271A1 (zh) * 2018-06-27 2020-01-02 深圳大学 一种基于无人机的数据处理的方法及装置
CN110706240A (zh) * 2019-09-28 2020-01-17 滁州学院 基于小图斑的无人机影像数据批量裁切方法
CN113239952A (zh) * 2021-03-30 2021-08-10 西北工业大学 一种基于空间尺度注意力机制和矢量地图的航空图像地理定位方法
WO2022016563A1 (zh) * 2020-07-23 2022-01-27 南京科沃信息技术有限公司 一种植保无人机地面监控系统及其监控方法
CN114238675A (zh) * 2021-10-27 2022-03-25 湖北航天飞行器研究所 一种基于异源图像匹配的无人机地面目标定位方法
CN114509070A (zh) * 2022-02-16 2022-05-17 中国电子科技集团公司第五十四研究所 一种无人机导航定位方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080159634A1 (en) * 2006-12-30 2008-07-03 Rajeev Sharma Method and system for automatically analyzing categories in a physical space based on the visual characterization of people
CN106649607A (zh) * 2016-11-28 2017-05-10 中国科学院自动化研究所 基于矢量掩膜的遥感图像在线目标识别与监测方法及系统
WO2019177471A1 (en) * 2018-01-29 2019-09-19 Uniwersytet Mikołaja Kopernika W Toruniu A method of object localization, particularly of human beings, and a device for human localization
WO2020000271A1 (zh) * 2018-06-27 2020-01-02 深圳大学 一种基于无人机的数据处理的方法及装置
CN110706240A (zh) * 2019-09-28 2020-01-17 滁州学院 基于小图斑的无人机影像数据批量裁切方法
WO2022016563A1 (zh) * 2020-07-23 2022-01-27 南京科沃信息技术有限公司 一种植保无人机地面监控系统及其监控方法
CN113239952A (zh) * 2021-03-30 2021-08-10 西北工业大学 一种基于空间尺度注意力机制和矢量地图的航空图像地理定位方法
CN114238675A (zh) * 2021-10-27 2022-03-25 湖北航天飞行器研究所 一种基于异源图像匹配的无人机地面目标定位方法
CN114509070A (zh) * 2022-02-16 2022-05-17 中国电子科技集团公司第五十四研究所 一种无人机导航定位方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YANG GUOWEI等: ""Performance Analysis of Full Duplex Modulating Retro-Reflector Free-Space Optical Communications Over Single and Double Gamma-Gamma Fading Channels"", 《IEEE》 *
刘宇等: ""GPU支持的宽幅遥感影像RPC校正并行处理"", 《专题：遥感技术》 *
王兴华等: "遥感影像在地图中的应用", 《北京测绘》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115495611A (zh) * 2022-11-18 2022-12-20 中国电子科技集团公司第五十四研究所 一种面向无人机自主定位的空间场景检索方法

Also Published As

Publication number Publication date
CN114637876B (zh) 2022-08-12

Similar Documents

Publication Publication Date Title
CN109509230B (zh) 一种应用于多镜头组合式全景相机的slam方法
CN108171131B (zh) 基于改进MeanShift的Lidar点云数据道路标识线提取方法
Lin et al. A fast, complete, point cloud based loop closure for LiDAR odometry and mapping
Yang et al. Computing multiple aggregation levels and contextual features for road facilities recognition using mobile laser scanning data
CN102967305B (zh) 基于大小回字标志物的多旋翼无人机位姿获取方法
CN112767485B (zh) 一种基于静态语义信息的点云地图创建与场景辨识方法
JP2022520019A (ja) 画像処理方法、装置、移動可能なプラットフォーム、プログラム
CN110717387B (zh) 一种基于无人机平台的实时车辆检测方法
CN114184200B (zh) 一种结合动态建图的多源融合导航方法
CN104615146A (zh) 一种无需外部导航信号的无人机喷药作业自动导航方法
CN109460046B (zh) 一种无人机自然地标识别与自主着陆方法
Manana et al. A survey on vehicle detection based on convolution neural networks
CN114637876B (zh) 基于矢量地图特征表达的大场景无人机图像快速定位方法
CN114413881A (zh) 高精矢量地图的构建方法、装置及存储介质
CN106529431A (zh) 基于车载激光扫描数据的路坎点自动提取及矢量化方法
CN110599497A (zh) 一种基于深度神经网络的可行驶区域分割方法
Tao et al. SeqPolar: Sequence matching of polarized LiDAR map with HMM for intelligent vehicle localization
TWI667529B (zh) 環景點雲資料的建立方法與建立系統
Ren et al. Lightweight semantic-aided localization with spinning LiDAR sensor
Rao et al. Real time vision-based autonomous precision landing system for UAV airborne processor
CN115375766A (zh) 一种基于语义地图的无人机城市内自主定位方法
Wang et al. Pole-like objects mapping and long-term robot localization in dynamic urban scenarios
CN108921896B (zh) 一种融合点线特征的下视视觉罗盘
CN113885568A (zh) 一种基于视景定位的拒止环境下无人机航迹规划方法
TWM600873U (zh) 用於檢測道路破損之檢測系統

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant