CN111696143A - 一种事件数据的配准方法与系统 - Google Patents

一种事件数据的配准方法与系统 Download PDF

Info

Publication number
CN111696143A
CN111696143A CN202010549570.1A CN202010549570A CN111696143A CN 111696143 A CN111696143 A CN 111696143A CN 202010549570 A CN202010549570 A CN 202010549570A CN 111696143 A CN111696143 A CN 111696143A
Authority
CN
China
Prior art keywords
event
feature point
visual angle
image
point set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010549570.1A
Other languages
English (en)
Other versions
CN111696143B (zh
Inventor
高跃
李思奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202010549570.1A priority Critical patent/CN111696143B/zh
Publication of CN111696143A publication Critical patent/CN111696143A/zh
Application granted granted Critical
Publication of CN111696143B publication Critical patent/CN111696143B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Multimedia (AREA)
  • Algebra (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种事件数据的配准方法，该方法包括以下步骤：步骤1、获取双目事件数据，利用双目事件相机获取不同视角事件流数据；步骤2、完成事件图像转换，将所述双目事件数据转化为事件图像；步骤3、进行事件图像特征点检测，对上述事件图像执行特征点检测，获取候选特征点集并提取特征向量；步骤4、进行事件图像特征点匹配，计算获得候选特征点集间匹配关系；步骤5、完成配准变换矩阵计算，根据上述特征点匹配关系，计算配准变换矩阵。该发明的事件数据配准方法，可以有效实现事件数据配准。

Description

一种事件数据的配准方法与系统
技术领域
本发明涉及计算机视觉及计算摄像学领域，尤其涉及一种事件数据配准方法及系统。
背景技术
事件相机是一种受生物启发的传感器，工作原理与传统的相机有很大的差别。与传统相机以固定帧率采集场景绝对光强不同，这种相机当且仅当场景光强变化时输出数据，这种输出的数据称为事件流。与传统相机相比，事件相机有着高动态范围、高时间分辨率、无动态模糊等优点。
事件相机作为一种新型视觉传感器，其输出数据的形式与传统相机完全不同，无法直接应用传统相机及图像的各种算法。传统相机以固定速率(即帧率)采集场景的光强值，并以固定速率输出为图片数据。事件相机则没有帧率的概念，其每个像素点异步工作，当检测到光强变化时输出一条事件。每条事件为一个四元组(x,y,t,p)，包含像素横纵坐标(x,y)、时间戳t和事件极性p(其中，p＝-1表示该像素点光强减小，p＝1表示该像素点光强增大)。所有像素点输出的事件数据汇总起来，形成由一条条事件组成的事件列表，作为相机输出的事件流数据。一个长度为20秒传统相机获得的视频数据，和与之对应的事件相机输出的事件流数据的实例如图1所示。因此，传统相机及传统图像处理领域中适用的各种算法及方法，均无法直接使用于事件相机及事件数据。
针对传统相机及传统图像数据，目前有许多较为成熟的图像配准方法。但由于事件相机输出事件流数据，与传统相机存在较大差别，无法直接使用现有的图像配准方法。即，目前缺乏对于事件流数据进行配准的相关技术方法。
发明内容
为解决目前缺乏对于事件流数据进行配准的相关技术方法，本发明提出一种事件数据的配准方法，可以有效配准事件数据。
本发明提供了一种事件数据的配准方法，其特征是，包括如下步骤：
步骤1、获取双目事件数据，获取双目事件流数据，其中，双目事件流数据由两个不同位置的同步事件相机获取；
步骤2、完成事件图像转换，处理双目事件流数据，每个视角的事件流数据转化为一张两通道的事件计数图像，事件计数图像的每个像素点统计发生在该像素点的正负事件数目；
步骤3、进行事件图像特征点检测，利用Speeded Up Robust Features(SURF)算法对多视角事件计数图像实施特征点检测和特征向量提取，获取每个视角的事件计数图像的特征点集合及每个特征点的特征向量；
步骤4、进行事件图像特征点匹配，取第一个视角的事件相机所获取的事件流数据作为参考视角，第二个视角作为非参考视角，对非参考视角的特征点集合与参考视角特征点集合实施特征匹配，获取匹配关系；
步骤5、完成配准变换矩阵计算，根据相互匹配的特征点坐标，计算非参考视角相对于参考视角的配准变换矩阵。
本发明还提供了一种事件数据的配准系统，包括：双目事件数据获取单元，事件图像转换单元，事件图像特征点检测单元，事件图像特征点匹配单元，配准变换矩阵计算单元；其特征在于：
双目事件数据获取单元，获取双目事件流数据，其中，双目事件流数据由多个不同位置的同步事件相机获取；
事件图像转换单元，处理双目事件流数据，每个视角的事件流数据转化为一张两通道的事件计数图像，事件计数图像的每个像素点统计发生在该像素点的正负事件数目；
事件图像特征点检测单元，利用Speeded Up Robust Features(SURF)算法对事件计数图像实施特征点检测和特征向量提取，获取每个视角的事件计数图像的特征点集合及每个特征点的特征向量；
事件图像特征点匹配单元，取第一个视角的事件相机所获取的事件流数据作为参考视角，第二个视角作为非参考视角，对非参考视角的特征点集合与参考视角特征点集合实施特征匹配，获取匹配关系；
配准变换矩阵计算单元，根据相互匹配的特征点坐标，计算非参考视角相对于参考视角的配准变换矩阵。
本发明的有益效果是：本发明可以解决目前缺乏对于事件流数据进行配准的相关技术方法的问题。该发明的事件数据配准方法，可以有效实现事件数据配准。
附图说明
图1是一个时间长度为20秒的传统相机获得的视频数据和与之对应的事件相机获得的流数据示意图。
图2是本发明一种实施实例的事件数据配准方法的流程示意图。
具体实施方式
以下结合图2对发明的技术方案作进一步详细说明。
如图2所示，该实施例提供了一种事件数据配准方法，用于实现多视角事件相机所获取事件流数据的配准，包括如下步骤：
步骤1、获取双目事件流数据，其中，双目事件流数据由两个不同位置的同步事件相机获取；
该步骤中，利用两个现有事件相机，放置于不同角度，两个相机同步触发，采集双目事件流数据。事件相机作为仿生新型相机，其当且仅当场景光强变化时输出数据，这种输出的数据称为事件流。事件相机所输出的事件流数据可以用公式(1)的形式表示：
Figure BDA0002541954940000041
其中，ε为事件流集合，i表示事件流中事件的编号，xi为第i个事件的空间横坐标，yi为第i个事件的空间纵坐标，ti表示第i个事件的时间戳，pi为第i个事件的极性。pi＝1表示这个像素点的光强增大，pi＝-1表示这个像素点的光强减小。
步骤2、完成事件图像转换，处理双目事件流数据，每个视角的事件流数据转化为一张两通道的事件计数图像，事件计数图像的每个像素点统计发生在该像素点的正负事件数目；
该步骤中，事件计数图像的每个像素点统计发生在该像素点的正负事件数目，具体转换公式如下所示：
Figure BDA0002541954940000042
其中，I为事件计数图像，M为事件流数据中总事件数，δ为单位脉冲函数。
步骤3、进行事件图像特征点检测，利用Speeded Up Robust Features(SURF)算法对事件计数图像实施特征点检测和特征向量提取，获取每个视角的事件计数图像的特征点集合及每个特征点的特征向量；
步骤4、进行事件图像特征点匹配，取第一个视角的事件相机所获取的事件流数据作为参考视角，第二个视角作为非参考视角，对非参考视角的特征点集合与参考视角特征点集合实施特征匹配，获取匹配关系；
该步骤中，特征点匹配关系采用如下算法获得：
Figure BDA0002541954940000043
Figure BDA0002541954940000044
其中，A与B分别为参考视角a和非参考视角b的事件计数图像提取的特征点集合，Ai表示特征点集合A中第i个特征点，
Figure BDA0002541954940000051
表示其特征向量，Bj表示特征点集合B中第j个特征点，
Figure BDA0002541954940000052
表示其特征向量，对特征点集合A中的特征点Ai，Ai匹配的特征点为特征点集合B中的特征向量Bj，j由公式(4)计算得到。
步骤5、完成配准变换矩阵计算，根据相互匹配的特征点坐标，计算费参考视角相对于参考视角的配准变换矩阵。
该步骤中，根据相互匹配的特征点坐标，计算非参考视视角相对于参考视角的配准变换矩阵。配准变换矩阵由如下算法获得：
Figure BDA0002541954940000053
其中，
Figure BDA0002541954940000054
为参考视角a的事件计数图像所提取的特征点集合A中第i个特征点Ai的坐标，
Figure BDA0002541954940000055
为非参考视角b的事件计数图像所提取的特征点集合特征点集B中与特征点Ai匹配的特征点Bi的坐标，N为特征点集合A与特征点集合B中所匹配的特征点对的总数，Hab为非参考视角b相对于参考视角a的配准变换矩阵。
该实施例还提供了一种事件数据的配准系统，包括：双目事件数据获取单元，事件图像转换单元，事件图像特征点检测单元，事件图像特征点匹配单元，配准变换矩阵计算单元；其特征在于：
双目事件数据获取单元，获取双目事件流数据，其中，双目事件流数据由多个不同位置的同步事件相机获取；
事件图像转换单元，处理双目事件流数据，每个视角的事件流数据转化为一张两通道的事件计数图像，事件计数图像的每个像素点统计发生在该像素点的正负事件数目；
事件图像特征点检测单元，利用Speeded Up Robust Features(SURF)算法对事件计数图像实施特征点检测和特征向量提取，获取每个视角的事件计数图像的特征点集合及每个特征点的特征向量；
事件图像特征点匹配单元，取第一个视角的事件相机所获取的事件流数据作为参考视角，第二个视角作为非参考视角，对非参考视角的特征点集合与参考视角特征点集合实施特征匹配，获取匹配关系；
配准变换矩阵计算单元，根据相互匹配的特征点坐标，计算非参考视角相对于参考视角的配准变换矩阵。
通过事件数据的配准系统，可实现一种事件数据配准方法。
以上内容是结合具体的优选实施方式对本发明所做的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所述技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为本发明由所提交的权利要求书确定的专利保护范围。

Claims (8)

1.一种事件数据的配准方法，其特征在于其特征在于，包括如下步骤：
步骤1、获取双目事件流数据，其中，双目事件流数据由两个不同位置的同步事件相机获取；
步骤2、完成事件图像转换，处理双目事件流数据，每个视角的事件流数据转化为一张两通道的事件计数图像，事件计数图像的每个像素点统计发生在该像素点的正负事件数目；
步骤3、进行事件图像特征点检测，利用Speeded Up Robust Features(SURF)算法对多视角事件计数图像实施特征点检测和特征向量提取，获取每个视角的事件计数图像的特征点集合及每个特征点的特征向量；
步骤4、进行事件图像特征点匹配，取第一个视角的事件相机所获取的事件流数据作为参考视角，第二个视角作为非参考视角，对非参考视角的特征点集合与参考视角特征点集合实施特征匹配，获取匹配关系；
步骤5、完成配准变换矩阵计算，根据相互匹配的特征点坐标，计算非参考视角相对于参考视角的配准变换矩阵。
2.如权利要求1所述的事件数据配准方法，其特征在于，步骤2中，事件计数图像具体转换公式如下所示：
Figure FDA0002541954930000011
其中，I为事件计数图像，xi为第i个事件的空间横坐标，yi为第i个事件的空间纵坐标，pi为第i个事件的极性，N为事件流数据中的总事件数，δ为单位脉冲函数。
3.如权利要求1的事件数据配准方法，其特征在于，步骤4中，特征点匹配关系采用如下算法获得：
Figure FDA0002541954930000012
Figure FDA0002541954930000021
其中，A与B分别为参考视角a和非参考视角b的事件计数图像提取的特征点集合，Ai表示特征点集合A中第i个特征点，
Figure FDA0002541954930000022
表示其特征向量，Bj表示特征点集合B中第j个特征点，
Figure FDA0002541954930000023
表示其特征向量，对特征点集合A中的特征点Ai，Ai匹配的特征点为特征点集合B中的特征点Bj。
4.如权利要求1的事件数据配准方法，其特征在于，步骤5中，配准变换矩阵由如下算法获得：
Figure FDA0002541954930000024
其中，
Figure FDA0002541954930000025
为参考视角a的事件计数图像所提取的特征点集合A中第i个特征点Ai的坐标，
Figure FDA0002541954930000026
为非参考视角b的事件计数图像所提取的特征点集合特征点集B中与特征点Ai匹配的特征点Bi的坐标，N为特征点集合A与特征点集合B中所匹配的特征点对的总数，Hab为非参考视角b相对于参考视角a的配准变换矩阵。
5.一种事件数据的配准系统，包括：双目事件数据获取单元，事件图像转换单元，事件图像特征点检测单元，事件图像特征点匹配单元，配准变换矩阵计算单元；其特征在于：
双目事件数据获取单元，获取双目事件流数据，其中，双目事件流数据由多个不同位置的同步事件相机获取；
事件图像转换单元，处理双目事件流数据，每个视角的事件流数据转化为一张两通道的事件计数图像，事件计数图像的每个像素点统计发生在该像素点的正负事件数目；
事件图像特征点检测单元，利用Speeded Up Robust Features(SURF)算法对事件计数图像实施特征点检测和特征向量提取，获取每个视角的事件计数图像的特征点集合及每个特征点的特征向量；
事件图像特征点匹配单元，取第一个视角的事件相机所获取的事件流数据作为参考视角，第二个视角作为非参考视角，对非参考视角的特征点集合与参考视角特征点集合实施特征匹配，获取匹配关系；
配准变换矩阵计算单元，根据相互匹配的特征点坐标，计算非参考视角相对于参考视角的配准变换矩阵。
6.如权利要求5的事件数据配准系统，其特征在于，事件计数图像采用如下算法获得：
Figure FDA0002541954930000031
其中，I为事件计数图像，xi为第i个事件的空间横坐标，yi为第i个事件的空间纵坐标，pi为第i个事件的极性，N为事件流数据中的总事件数，δ为单位脉冲函数。
7.如权利要求5的事件数据配准系统，其特征在于，特征点匹配关系采用如下算法获得：
Figure FDA0002541954930000032
Figure FDA0002541954930000033
其中，A与B分别为参考视角a和非参考视角b的事件计数图像提取的特征点集合，Ai表示特征点集合A中第i个特征点，
Figure FDA0002541954930000034
表示其特征向量，Bj表示特征点集合B中第j个特征点，
Figure FDA0002541954930000035
表示其特征向量，对特征点集合A中的特征点Ai，Ai匹配的特征点为特征点集合B中的特征点Bj。
8.如权利要求5所述的事件数据配准系统，其特征在于，配准变换矩阵由如下算法获得：
Figure FDA0002541954930000041
其中，
Figure FDA0002541954930000042
为参考视角a的事件计数图像所提取的特征点集合A中第i个特征点Ai的坐标，
Figure FDA0002541954930000043
为非参考视角b的事件计数图像所提取的特征点集合特征点集B中与特征点Ai匹配的特征点Bi的坐标，N为特征点集合A与特征点集合B中所匹配的特征点对的总数，Hab为非参考视角b相对于参考视角a的配准变换矩阵。
CN202010549570.1A 2020-06-16 2020-06-16 一种事件数据的配准方法与系统 Active CN111696143B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010549570.1A CN111696143B (zh) 2020-06-16 2020-06-16 一种事件数据的配准方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010549570.1A CN111696143B (zh) 2020-06-16 2020-06-16 一种事件数据的配准方法与系统

Publications (2)

Publication Number Publication Date
CN111696143A true CN111696143A (zh) 2020-09-22
CN111696143B CN111696143B (zh) 2022-11-04

Family

ID=72481501

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010549570.1A Active CN111696143B (zh) 2020-06-16 2020-06-16 一种事件数据的配准方法与系统

Country Status (1)

Country Link
CN (1) CN111696143B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114913239A (zh) * 2022-04-06 2022-08-16 清华大学 一种事件相机传感器与rgb相机联合标定方法和装置
CN114926514A (zh) * 2022-05-13 2022-08-19 北京交通大学 一种事件图像与rgb图像的配准方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170278221A1 (en) * 2016-03-22 2017-09-28 Samsung Electronics Co., Ltd. Method and apparatus of image representation and processing for dynamic vision sensor
US20180137639A1 (en) * 2016-11-14 2018-05-17 Samsung Electronics Co., Ltd. Image vision processing method, device and equipment
CN109801314A (zh) * 2019-01-17 2019-05-24 同济大学 一种基于深度学习的双目动态视觉传感器立体匹配方法
CN110414558A (zh) * 2019-06-24 2019-11-05 武汉大学 基于事件相机的特征点匹配方法
US20200011668A1 (en) * 2018-07-09 2020-01-09 Samsung Electronics Co., Ltd. Simultaneous location and mapping (slam) using dual event cameras

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170278221A1 (en) * 2016-03-22 2017-09-28 Samsung Electronics Co., Ltd. Method and apparatus of image representation and processing for dynamic vision sensor
US20180137639A1 (en) * 2016-11-14 2018-05-17 Samsung Electronics Co., Ltd. Image vision processing method, device and equipment
US20200011668A1 (en) * 2018-07-09 2020-01-09 Samsung Electronics Co., Ltd. Simultaneous location and mapping (slam) using dual event cameras
CN109801314A (zh) * 2019-01-17 2019-05-24 同济大学 一种基于深度学习的双目动态视觉传感器立体匹配方法
CN110414558A (zh) * 2019-06-24 2019-11-05 武汉大学 基于事件相机的特征点匹配方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
BHARATH RAMESH ETC.: "DART: Distribution Aware Retinal Transform for Event-based Cameras", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *
DANIEL GEHRIG ETC.: "End-to-End Learning of Representations for Asynchronous Event-Based Data", 《IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV)》 *
IGNACIO ALZUGARAY AND MARGARITA CHLI: "Asynchronous Multi-Hypothesis Tracking of Features with Event Cameras", 《2019 INTERNATIONAL CONFERENCE ON 3D VISION》 *
PAUL ROGISTER: "Asynchronous Event-Based Binocular Stereo Matching", 《IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS》 *
黄鹏程等: "双目立体视觉的研究现状及进展", 《光学仪器》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114913239A (zh) * 2022-04-06 2022-08-16 清华大学 一种事件相机传感器与rgb相机联合标定方法和装置
CN114913239B (zh) * 2022-04-06 2024-06-18 清华大学 一种事件相机传感器与rgb相机联合标定方法和装置
CN114926514A (zh) * 2022-05-13 2022-08-19 北京交通大学 一种事件图像与rgb图像的配准方法及装置
CN114926514B (zh) * 2022-05-13 2023-02-03 北京交通大学 一种事件图像与rgb图像的配准方法及装置

Also Published As

Publication number Publication date
CN111696143B (zh) 2022-11-04

Similar Documents

Publication Publication Date Title
CN111145238B (zh) 单目内窥镜图像的三维重建方法、装置及终端设备
US8139823B2 (en) Method for capturing images comprising a measurement of local motions
CN103325112B (zh) 动态场景中运动目标快速检测方法
CN104685513B (zh) 根据使用阵列源捕捉的低分辨率图像的基于特征的高分辨率运动估计
CN111696044B (zh) 一种大场景动态视觉观测方法及装置
US20150262346A1 (en) Image processing apparatus, image processing method, and image processing program
KR101524548B1 (ko) 영상 정합 장치 및 방법
CN105934757B (zh) 一种用于检测第一图像的关键点和第二图像的关键点之间的不正确关联关系的方法和装置
KR100951309B1 (ko) 광학식 모션 캡처 장비를 위한 다중 카메라 보정 방법
CN111696143B (zh) 一种事件数据的配准方法与系统
CN111462198B (zh) 一种尺度、旋转和辐射不变性的多模态影像配准方法
CN103905746A (zh) 亚像素级图像偏移定位及叠加方法和装置以及视频设备
JP2014116716A (ja) 追尾装置
CN114520906B (zh) 基于单目相机的三维人像补全方法和补全系统
TWI496115B (zh) 移動攝影機之畫面穩定方法
CN109753930B (zh) 人脸检测方法及人脸检测系统
CN104966283A (zh) 图像分层配准方法
CN111080683B (zh) 图像处理方法、装置、存储介质及电子设备
CN112017221A (zh) 基于尺度空间的多模态图像配准方法、装置和设备
Wang et al. Facilitating PTZ camera auto-calibration to be noise resilient with two images
CN113808070A (zh) 一种双目数字散斑图像相关的视差测量方法
CN108280815B (zh) 一种面向监控场景结构的几何校正方法
JP2005309782A (ja) 画像処理装置
CN110826455A (zh) 一种目标识别方法及图像处理设备
WO2023176488A1 (ja) 移動体計測方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant