CN113658041A - 一种基于多图特征联合匹配的图像快速拼接方法 - Google Patents

一种基于多图特征联合匹配的图像快速拼接方法 Download PDF

Info

Publication number
CN113658041A
CN113658041A CN202110834408.9A CN202110834408A CN113658041A CN 113658041 A CN113658041 A CN 113658041A CN 202110834408 A CN202110834408 A CN 202110834408A CN 113658041 A CN113658041 A CN 113658041A
Authority
CN
China
Prior art keywords
image
images
reference image
matrix
transformation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110834408.9A
Other languages
English (en)
Other versions
CN113658041B (zh
Inventor
贺霖
贺新国
宋爽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202110834408.9A priority Critical patent/CN113658041B/zh
Publication of CN113658041A publication Critical patent/CN113658041A/zh
Application granted granted Critical
Publication of CN113658041B publication Critical patent/CN113658041B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于多图特征联合匹配的图像快速拼接方法，包括如下：获取待拼接图像，待拼接图像至少两张；对每一幅图像提取特征；获取待拼接像的匹配对；确定参考图及其它图像的拼接顺序；将参考图变换矩阵设为单位阵，根据图像的拼接顺序获得除参考图以外的其它图像的变换矩阵；根据其它图像相对于参考图的变换矩阵，得到所有图像的相对位置，得到最终拼接图像。本发明能在保证拼接质量的同时，有效减少拼接多幅图片所需的时间，使其能满足工业实时拼接要求。

Description

一种基于多图特征联合匹配的图像快速拼接方法
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于多图特征联合匹配的图像快速拼接方法。
背景技术
图像拼接是一种将多幅具有一定重叠区域的窄视角、低分辨率的图片拼接形成一幅广视角、高分辨率图片的技术，在实际场景中应用广泛，如无人机航拍、遥感图像处理、虚拟现实等。图像拼接是进一步做图像理解的基础，拼接效果的好坏对后续图像处理步骤具有很重大的意义。图像拼接技术主要操作步骤可概括位四个部分，即图像采集、图像预处理、图像配准和图像融合。其中最关键的步骤为图像配准，在这一步骤中，现有的方法首先提取图像的特征信息，如SIFT，SURF，ORB或Harris角点，根据图像特征点位置信息计算两幅匹配图像之间的变换矩阵，随后选取参考图，根据矩阵乘积确定任一图片相对于参考图像的变换矩阵，得出所有图像的相对位置。由于矩阵直接相乘会导致较大的累积误差，因此采用Bundle Adjustment方法迭代优化计算所有图像的配准矩阵，虽然最终拼接效果改善明显，但迭代优化计算速度很慢，不能达到工业实时应用的程度。
因此，设计一个实时性强、计算量少的多图拼接方法是很有必要的。本发明基于多图联合特征同时匹配，根据单幅图像与多幅相匹配图像中的特征点联合计算该图片的变换矩阵，无需进行迭代优化。使得其在满足快速拼接的基础上仍能获取较好的拼接效果。
发明内容
为了加快多幅图像的拼接速度，本发明提供一种基于多图特征联合匹配的图像快速拼接方法。
为了实现以上目的，本发明采用如下技术方案：
一种基于多图特征联合匹配的图像快速拼接方法,包括如下：
获取待拼接图像，待拼接图像至少两张；
对每一幅图像提取特征；
获取待拼接图像的匹配对；
确定参考图及其它图像的拼接顺序；
将参考图变换矩阵设为单位阵，根据图像的拼接顺序获得除参考图以外的其它图像的变换矩阵；
根据其它图像相对于参考图的变换矩阵，得到所有图像的相对位置，得到最终拼接图像。
进一步，所述对每一幅图像提取特征具体是提取SIFT特征。
进一步，所述获取待拼接图像的匹配对，具体为：
对于任意给定的两幅图像，设两幅图像提取的SIFT特征点匹配对总数量为nf；
预设匹配特征点之间的几何模型，通过RANSAC算法对两幅图像的SIFT特征点进行提纯后，分为内点及外点；
若提纯后得出的内点对数量为ni，若ni＞8+0.3·nf，即可判断两幅图像匹配。
进一步，确定参考图及其它图像的拼接顺序，具体为：
计算每一幅图像的匹配数量，选取匹配图片数量最多的一幅图像作为参考图；
根据广度优先遍历算法，按照每幅图片所匹配图像数量多少进行排序获得图像的拼接顺序。
进一步，所述将参考图变换矩阵设为单位阵，根据图像拼接顺序获得除参考图以外的其它图像的变换矩阵，具体为：
计算图像拼接顺序中第一幅图像相对于参考图像的变换矩阵，变换矩阵采用射影变换，
根据第一幅图的变换矩阵对第一幅图中的特征点进行坐标变换，获取第一幅图在参考图坐标下的位置；
计算图像拼接顺序中的第二幅图像相对于参考图像的变换矩阵，根据第二幅图像与参考图及第一幅图像之间的特征点匹配关系，计算第二幅图像的变换矩阵；
按照上述步骤，首先对前一幅图像中的特征点进行坐标变换，获取其在参考图像中的位置，随后根据该图片与前面处理完成的所有图片中的匹配特征点，计算当前图片相对于参考图像的变换矩阵。
进一步，采用平均值融合的方式获取最终拼接图像。
进一步，还包括对待拼接图像进行预处理步骤，所述预处理包括去噪处理。
进一步，通过贝叶斯估计判断任意两幅图像是否匹配。
进一步，变换矩阵的计算公式为：
Figure BDA0003176604170000031
Figure BDA0003176604170000032
其中N为提取出的图像SIFT内点特征数量，矩阵A即是根据所有特征内点计算得出的ai组合而成，其矩阵大小为2N×9。在此使用奇异值分解算法进行计算，最终需求解的矩阵h即为矩阵A最小的右奇异向量；设第一幅图像与参考图的其中一对内点分别为u1＝[x1y1]T和u2＝[x2 y2]T。
本发明的有益效果:
(1)本发明提出的利用多图特征联合匹配方法根据单幅图片与其相匹配的多幅图片之间的特征联合计算该图片的变换矩阵，相较于传统方法直接利用两幅图片之间的匹配特征计算变换矩阵而言得到的变换矩阵更加准确，多图拼接效果改善明显；
(2)本发明根据单幅图像与多幅匹配图像之间的特征直接计算变换矩阵，未采用两幅匹配图像的变换矩阵直接相乘，随后再通过Bundle Adjustment的方式对计算所得的矩阵迭代优化的方式，大大缩短了计算变换矩阵的时间，多图拼接速度明显加快。
附图说明
图1是本发明的工作流程图；
图2是本发明的图像变换矩阵计算图；
图3(a)为原始待拼接图片，图3(b)为直接采用矩阵直接相乘计算变换矩阵方法的拼接效果图，图3(c)为采用矩阵直接相乘后采用Bundle Adjustment迭代优化的拼接效果图，图3(d)为采用本实施例所述方法处理后的拼接效果图。
图4(a)-图4(c)是本发明实施例步骤S4的示意图。
具体实施方式
下面结合实施例及附图，对本发明作进一步地详细说明，但本发明的实施方式不限于此。
实施例
本实施例提供了一种基于多图特征联合匹配的图像快速拼接方法，提取所有待拼接图像内的特征点，确定任意两幅图像之间的匹配关系，根据单幅图像与其相匹配的多幅图像之间的特征点联合计算该幅图像的变换矩阵，使得矩阵计算结果更为精确，同时由于未采用矩阵直接相乘的方式计算相对于参考图像的变换矩阵，因此无需采用BundleAdjustment方法对所有变换矩阵进行迭代优化。该方法在保证拼接效果的同时大大减少了多图拼接所需的时间。
流程图如图1所示，包括以下步骤：
S1读取所有原始待拼接图片，对原始图像进行去噪预处理；待拼接图片至少两张。
S2对每一幅待拼接图像提取其SIFT特征；
S3通过贝叶斯估计根据提取的特征点信息判断任意两幅图像是否匹配，获取所有图像匹配对，并判断两幅图像是否匹配，具体如下：
对于任意给定的两幅图像，首先预设匹配特征点之间的几何模型，通过RANSAC(Random sample consensus)算法对特征点进行提纯后，将原有的提取出来的SIFT特征点分为内点和外点两部分，其中内点为满足预设几何模型的匹配特征点，外点不符合预设的几何模型。假设其直接提取所得的SIFT特征匹配对总数量为nf，通过RANSAC算法进行提纯后得出的内点对数量为ni。若ni＞8+0.3·nf，即可判断两幅图像匹配；
S4根据图像匹配关系，计算每幅图像匹配图片数量，选取匹配图片数量最多的一幅图像作为参考图，随后根据广度优先遍历算法，每层按照匹配图片数量多少进行排序，得出图像拼接顺序；
如4(a)图所示为两幅图片之间匹配关系，序号代表图片序号，连线代表两幅图片匹配，图4(b)的图像代表根据每两幅图像匹配关系构建的全体图像匹配关系图，图4(c)代表根据广度优先遍历算法得出的图像拼接顺序。
S5参考图变换矩阵设为单位阵，随后根据图像拼接顺序依次计算剩余所有图片变换矩阵，如图2所示，具体实施步骤如下：
S5.1根据图像拼接顺序计算第一幅图像相对于参考图像的变换矩阵，假设第一幅图像与参考图像的其中一对内点分别为u1＝[x1 y1]T和u2＝[x2 y2]T，变换矩阵采用射影变换，计算方式如下：
Figure BDA0003176604170000051
Figure BDA0003176604170000052
其中N为提取出的图像SIFT内点特征数量，矩阵A即是根据所有特征内点计算得出的ai组合而成，其矩阵大小为2N×9。在此可以使用奇异值分解算法进行计算，最终需求解的矩阵h即为矩阵A最小的右奇异向量；
S5.2根据计算得出的第一幅图的变换矩阵对第一幅图中特征点进行坐标变换，获得其在参考图坐标系下的位置，根据之前获取的第二幅图与第一幅图的特征点匹配关系，即两幅图之间的内点，第二幅图与参考图间特征点的匹配关系，剔除其中重复的特征匹配对，得出第二幅图与参考图及第一幅图之间特征点的匹配关系，联合该图像与已处理图像中所有匹配的特征点，此时该图像与两幅图像特征点匹配总数为N1,根据上述公式，代入该图与第一幅图内点对及该图与参考图内点对，计算第二幅图像的变换矩阵；
S5.3按照上一步骤，依次处理后续所有图片，首先对前一幅图像中的特征点进行坐标变换，获取其在参考图像中的位置，随后根据该图片与前面处理完成的所有图片中的匹配特征点，计算该图片相对于参考图像的变换矩阵。
S6根据计算所得的所有图像相对于参考图像的变换矩阵，得到所有图像的相对位置，根据平均值融合算法实现图像融合，得到最终拼接图像。
现有技术中直接采用矩阵相乘计算变换矩阵方法其每次计算变换矩阵的时间复杂度为O(n)，使用Bundle Adjustment迭代优化的方法其优化矩阵大小为2N×m，其中N为所有图像总体特征点数量，m为待拼接图像数量与每个变换矩阵参数数量的乘积，每次迭代优化过程需要进行矩阵相乘，矩阵转置、矩阵求逆等过程，每次迭代优化时间复杂度为O(n3)，本文提出的方法与原始矩阵直接相乘的方法计算过程类似，时间复杂度仍为O(n)，但由于中间多了一步特征点变换的过程，总体耗时相对于原始方法较长。
图3(a)为原始待拼接图片，图3(b)为直接采用矩阵直接相乘计算变换矩阵方法的拼接效果图，图3(c)为采用矩阵直接相乘后采用Bundle Adjustment迭代优化的拼接效果图，图3(d)为采用本实施例所述方法处理后的拼接效果图。直接采用矩阵直接相乘计算变换矩阵方法结果与参考图相比较，图像配准存在较大误差，存在明显的重影模糊现象，但运行时间最短；在此基础上采取的迭代优化算法图像配准效果最后，但运行时间大大增加，不能满足实际工业运用需求；而本实施例所提出的算法得到的结果拼接效果较好，图像配准误差较小，且所需时间相对与迭代优化算法明显减少，说明本实施例具有相较于现有算法，更符合实际运用需求。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (9)

1.一种基于多图特征联合匹配的图像快速拼接方法,其特征在于，包括如下：
获取待拼接图像，待拼接图像至少两张；
对每一幅图像提取特征；
获取待拼接图像的匹配对；
确定参考图及其它图像的拼接顺序；
将参考图变换矩阵设为单位阵，根据图像的拼接顺序获得除参考图以外的其它图像的变换矩阵；
根据其它图像相对于参考图的变换矩阵，得到所有图像的相对位置，得到最终拼接图像。
2.根据权利要求1所述的图像快速拼接方法，其特征在于，所述对每一幅图像提取特征具体是提取SIFT特征。
3.根据权利要求2所述的图像快速拼接方法，其特征在于，所述获取待拼接图像的匹配对，具体为：
对于任意给定的两幅图像，设两幅图像提取的SIFT特征点匹配对总数量为nf；
预设匹配特征点之间的几何模型，通过RANSAC算法对两幅图像的SIFT特征点进行提纯后，分为内点及外点；
若提纯后得出的内点对数量为ni，若ni＞8+0.3·nf，即可判断两幅图像匹配。
4.根据权利要求1-3任一项所述的图像快速拼接方法，其特征在于，确定参考图及其它图像的拼接顺序，具体为：
计算每一幅图像的匹配数量，选取匹配图片数量最多的一幅图像作为参考图；
根据广度优先遍历算法，按照每幅图片所匹配图像数量多少进行排序获得图像的拼接顺序。
5.根据权利要求1所述的图像快速拼接方法，其特征在于，所述将参考图变换矩阵设为单位阵，根据图像拼接顺序获得除参考图以外的其它图像的变换矩阵，具体为：
计算图像拼接顺序中第一幅图像相对于参考图像的变换矩阵，变换矩阵采用射影变换，
根据第一幅图的变换矩阵对第一幅图中的特征点进行坐标变换，获取第一幅图在参考图坐标下的位置；
计算图像拼接顺序中的第二幅图像相对于参考图像的变换矩阵，根据第二幅图像与参考图及第一幅图像之间的特征点匹配关系，计算第二幅图像的变换矩阵；
按照上述步骤，首先对前一幅图像中的特征点进行坐标变换，获取其在参考图像中的位置，随后根据该图片与前面处理完成的所有图片中的匹配特征点，计算当前图片相对于参考图像的变换矩阵。
6.根据权利要求1所述的图像快速拼接方法，其特征在于，采用平均值融合的方式获取最终拼接图像。
7.根据权利要求1所述的图像快速拼接方法，其特征在于，还包括对待拼接图像进行预处理步骤，所述预处理包括去噪处理。
8.根据权利要求3所述的图像快速拼接方法，其特征在于，通过贝叶斯估计判断任意两幅图像是否匹配。
9.根据权利要求5所述的图像快速拼接方法，其特征在于，变换矩阵的计算公式为：
Figure FDA0003176604160000021
Figure FDA0003176604160000022
其中N为提取出的图像SIFT内点特征数量，矩阵A即是根据所有特征内点计算得出的ai组合而成，其矩阵大小为2N×9，在此使用奇异值分解算法进行计算，最终需求解的矩阵h即为矩阵A最小的右奇异向量；设第一幅图像与参考图的其中一对内点分别为u1＝[x1 y1]T和u2＝[x2 y2]T。
CN202110834408.9A 2021-07-23 2021-07-23 一种基于多图特征联合匹配的图像快速拼接方法 Active CN113658041B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110834408.9A CN113658041B (zh) 2021-07-23 2021-07-23 一种基于多图特征联合匹配的图像快速拼接方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110834408.9A CN113658041B (zh) 2021-07-23 2021-07-23 一种基于多图特征联合匹配的图像快速拼接方法

Publications (2)

Publication Number Publication Date
CN113658041A true CN113658041A (zh) 2021-11-16
CN113658041B CN113658041B (zh) 2024-04-02

Family

ID=78489768

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110834408.9A Active CN113658041B (zh) 2021-07-23 2021-07-23 一种基于多图特征联合匹配的图像快速拼接方法

Country Status (1)

Country Link
CN (1) CN113658041B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114862672A (zh) * 2022-04-02 2022-08-05 华南理工大学 一种基于向量形状保持变换的图像快速拼接方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015007919A (ja) * 2013-06-25 2015-01-15 Kddi株式会社 異なる視点の画像間で高精度な幾何検証を実現するプログラム、装置及び方法
CN104318517A (zh) * 2014-11-19 2015-01-28 北京奇虎科技有限公司 一种图像拼接处理方法、装置及客户端
CN106940876A (zh) * 2017-02-21 2017-07-11 华东师范大学 一种基于surf的快速无人机航拍图像拼接算法
CN107067370A (zh) * 2017-04-12 2017-08-18 长沙全度影像科技有限公司 一种基于网格变形的图像拼接方法
CN107918927A (zh) * 2017-11-30 2018-04-17 武汉理工大学 一种匹配策略融合及低误差的快速图像拼接方法
CN109829853A (zh) * 2019-01-18 2019-05-31 电子科技大学 一种无人机航拍图像拼接方法
CN109859143A (zh) * 2019-02-22 2019-06-07 中煤航测遥感集团有限公司 高光谱图像全色锐化方法、装置及电子设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015007919A (ja) * 2013-06-25 2015-01-15 Kddi株式会社 異なる視点の画像間で高精度な幾何検証を実現するプログラム、装置及び方法
CN104318517A (zh) * 2014-11-19 2015-01-28 北京奇虎科技有限公司 一种图像拼接处理方法、装置及客户端
CN106940876A (zh) * 2017-02-21 2017-07-11 华东师范大学 一种基于surf的快速无人机航拍图像拼接算法
CN107067370A (zh) * 2017-04-12 2017-08-18 长沙全度影像科技有限公司 一种基于网格变形的图像拼接方法
CN107918927A (zh) * 2017-11-30 2018-04-17 武汉理工大学 一种匹配策略融合及低误差的快速图像拼接方法
CN109829853A (zh) * 2019-01-18 2019-05-31 电子科技大学 一种无人机航拍图像拼接方法
CN109859143A (zh) * 2019-02-22 2019-06-07 中煤航测遥感集团有限公司 高光谱图像全色锐化方法、装置及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SHUANG SONG等: "Turnover and shape filter based feature matching for image stitching", RECOGNITION AND COMPUTER VISION, 14 February 2020 (2020-02-14), pages 1 - 7 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114862672A (zh) * 2022-04-02 2022-08-05 华南理工大学 一种基于向量形状保持变换的图像快速拼接方法
CN114862672B (zh) * 2022-04-02 2024-04-02 华南理工大学 一种基于向量形状保持变换的图像快速拼接方法

Also Published As

Publication number Publication date
CN113658041B (zh) 2024-04-02

Similar Documents

Publication Publication Date Title
CN109360171B (zh) 一种基于神经网络的视频图像实时去模糊方法
CN108564617B (zh) 多目相机的三维重建方法、装置、vr相机和全景相机
WO2017054589A1 (zh) 一种多深度图融合方法及装置
CN111428575B (zh) 一种基于孪生网络的针对模糊目标的跟踪方法
CN107767339B (zh) 一种双目立体图像拼接方法
CN111709980A (zh) 基于深度学习的多尺度图像配准方法和装置
TWI459325B (zh) 數位影像處理裝置及其處理方法
CN112767467B (zh) 一种基于自监督深度学习的双图深度估计方法
CN106952223A (zh) 图像配准方法及装置
CN113658041B (zh) 一种基于多图特征联合匹配的图像快速拼接方法
CN114998773B (zh) 适用于无人机系统航拍图像的特征误匹配剔除方法及系统
CN111814792A (zh) 一种基于rgb-d图像的特征点提取与匹配方法
CN116310131A (zh) 一种考虑多视图融合策略的三维重建方法
CN109934765B (zh) 高速相机全景图像拼接方法
CN110580715B (zh) 一种基于照度约束和格网变形的图像对齐方法
CN116309844A (zh) 一种基于无人机单张航空图片的三维测量方法
CN107958489B (zh) 一种曲面重建方法及装置
CN109462748B (zh) 一种基于单应性矩阵的立体视频颜色校正算法
CN108109118B (zh) 一种无控制点的航拍图像几何校正方法
CN106683044B (zh) 一种多通道光学探测系统的图像拼接方法、装置
CN114608558A (zh) 基于特征匹配网络的slam方法、系统、设备及存储介质
CN110728296A (zh) 一种加速特征点匹配的两步随机抽样一致性方法及系统
JP7033294B2 (ja) 撮像システム、撮像方法
CN114219706A (zh) 基于网格分区特征点约减的图像快速拼接方法
CN106408499B (zh) 用于图像处理的逆向映射表的获取方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant