CN111028151B - 基于图残差神经网络融合的点云数据拼接方法 - Google Patents

基于图残差神经网络融合的点云数据拼接方法 Download PDF

Info

Publication number
CN111028151B
CN111028151B CN201911220871.3A CN201911220871A CN111028151B CN 111028151 B CN111028151 B CN 111028151B CN 201911220871 A CN201911220871 A CN 201911220871A CN 111028151 B CN111028151 B CN 111028151B
Authority
CN
China
Prior art keywords
point cloud
neural network
cloud data
graph
splicing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911220871.3A
Other languages
English (en)
Other versions
CN111028151A (zh
Inventor
赵栓峰
唐增辉
张传伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Science and Technology
Original Assignee
Xian University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Science and Technology filed Critical Xian University of Science and Technology
Priority to CN201911220871.3A priority Critical patent/CN111028151B/zh
Publication of CN111028151A publication Critical patent/CN111028151A/zh
Application granted granted Critical
Publication of CN111028151B publication Critical patent/CN111028151B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2321Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23211Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with adaptive number of clusters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/32Indexing scheme for image data processing or generation, in general involving image mosaicing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于图残差神经网络融合的点云数据拼接方法,其特征是利用图神经网络将非结构化的点云数据进行自适应聚类分层,然后将每一类的点云数据处理成大小相同的点云数据,再利用残差神经网络对点云数据进行特征提取,得到点云特征图,然后将两组待拼接的点云特征图进行逐一对比,筛选出成对的相似点云特征图,最后利用反卷积神经网络将反卷积出来的成对相似点云特征图进行模型匹配,从而计算出点云特征图的偏移量,将得到的偏移量作为初始值利用ICP算法进行点云细拼接,即可拼接出完整的点云图像。可以提高拼接精度与效率且不会破坏目标物体表面信息。

Description

基于图残差神经网络融合的点云数据拼接方法
技术领域
本发明涉及人工智能、计算机视觉测量领域,属于三维测量技术领域,尤其涉及基于图残差神经网络的点云数据拼接方法。
背景技术
点云数据的拼接问题是逆向工程、计算机视觉、医学图像处理等领域的一项重要研究内容。点云数据拼接是将不同视角下采集到的点云数据进行拼接,使不同视角下的局部点云数据转换到统一坐标系下,进而可以得到被测实体或场景的完整点云数据。按拼接精确度高低,点云数据拼接可分为粗拼接与细拼接。当前应用最广泛的拼接算法有迭代最近点(ICP)算法及其改进算法,ICP算法是一个性能优越的精确拼接算法,但其精度以及向全局最优的收敛性却在很大程度上依赖于待拼接数据的初始拼接位置。粗拼接技术可有效解决ICP算法对初始拼接位置的要求,采用遗传算法和度量准则来优化初始拼接位置,精度较高但效率很低;通过提取几何特征点,再匹配特征点以实现粗拼接,但该方法精度不高,且特征点提取比较耗时;通过引入参考点的方法来实现点云拼接,需要在测量前将标签点贴在目标上,该方法会破坏目标物体的表面信息。
发明内容
针对上述点云粗拼接的问题,本发明的目的是提供一种基于图残差神经网络融合的点云拼接方法,可以提高拼接精度与效率且不会破坏目标物体表面信息。
本发明提出了一种图残差神经网络,其特征是图残差神经网络由三部分组成,第一部分为图神经网络,对点云数据进行自适应聚类分层;第二部分为残差神经网络,将图神经网络输出的各类点云数据进行特征提取,得到点云特征图;第三部分为反卷积神经网络,利用残差神经网络提取的点云特征图重构出残差网络的输入。
本发明提出了一种基于图残差神经网络融合的点云数据拼接方法,其特征是利用图神经网络将非结构化的点云数据进行自适应聚类分层,然后将每一类的点云数据处理成大小相同的点云数据,再利用残差神经网络对点云数据进行特征提取,得到点云特征图,然后将两组待拼接的点云特征图进行逐一对比,筛选出成对的相似点云特征图,最后利用反卷积神经网络将反卷积出来的成对相似点云特征图进行模型匹配,从而计算出点云特征图的偏移量,将得到的偏移量作为初始值利用ICP算法进行点云细拼接,即可拼接出完整的点云图像。
本发明的创新点:
1、本发明在粗拼接阶段,采用图残差神经网络先对点云数据进行自适应聚类分层,然后提取特征,效果明显好于直接对非结构化点云数据进行特征提取。应用该方法进行点云粗拼接不仅准确率更高而且速度也更快。
2、本发明中设计的图残差神经网络是一种无监督自适应聚类的方法,其数据集无需类别标注。
附图说明
图1是整体方案流程图。
图2是三维扫描仪安装示意图。
图3是图神经网络结构图。
图4是残差/反卷积网络结构图。
具体实施方式
下面结合散装堆料的点云拼接对本发明内容进行详细描述。
如图1所示,一种基于图残差神经网络融合的点云数据拼接方法,包括以下步骤。
步骤1:点云数据的获取
点云数据可以通过三维扫描仪获取,附图2是三维扫描仪安装示意图。利用计算机1控制三维扫描仪3在散装堆料2上方进行不同角度拍摄即可获取具有重叠部分的点云数据。
步骤2:对点云数据进行预处理
对点云数据采集过程中会出现一些噪声点。噪声点的存在会对点云的配准产生很大的干扰,影响点云拼接的精确度,所以在对点云数据拼接前先应用最小二乘滤波对点云数据进行去噪处理。
步骤3:利用图残差神经网络提取点云数据的特征
本发明中的图残差神经网络由三部分组成,第一部分为图神经网络,对点云数据进行自适应聚类分层;第二部分为残差神经网络,将图神经网络输出的各类点云数据进行特征提取,得到点云特征图;第三部分为反卷积神经网络,利用残差神经网络提取的点云特征图重构出残差网络的输入。
本发明所使用的图神经网络结构如附图3所示,其中节点数设定为P个,每个节点的输入是此节点所代表的点在空间中的三维坐标。本实施例中P取2500,当每次采集的点云数大于2500个时,则选取 2500个点作为图神经网络的输入,之所以可以这样选取是因为点云数据为非结构化的数据。当点云数少于2500个时,将剩余节点的输入设为(0,0,0)最后将此类节点所聚成的类称之为无效类并进行剔除。
利用已训练好的图神经网络对步骤2中预处理后的点云数据进行自适应聚类分层,并将类别数设定为n,本实施例中n值取为8。这里所定义的种类是指有效类,即对上述所定义的无效类剔除之后剩余类的个数。当图神经网络的聚类小于8种时,便将各类进行对比,将点云数据量最大的类输入图神经网络再次进行聚类,直到类别数等于或大于8种,当类别数大于8种时,只需要选择包含点云数最多的 8种类别即可,因为这样选择可以最大限度的保留点云的信息。经过以上过程便可将点云数据自适应聚类分层。
图神经网络的数据集制作及训练如下:
(一)图神经网络训练数据集的制作
先利用三维扫描仪对多种形态的散装堆料进行不同角度扫描获得Q幅点云,本实施例中Q值取50000,然后对按照步骤2其进行预处理并从每幅点云中筛选出2500个点以适应图神经网络的输入。最后将处理好的50000幅点云,每幅点云中2500个点所对应的三维坐标存储为BinaryCompressed格式供网络训练使用。由于发明中设计的图神经网络为无监督学习,因此无需为点云数据制作标签。
(二)图神经网络的训练
(1)对图神经网络中的连接进行初始化
(2)在数据集里随机选取q组点云数据,本实施例中q值取500。将500组点云数据作为一批输入图神经网络,进行无监督学习,对节点的连接关系进行更新。
(3)当训练次数达到预设值N时结束训练,否则返回第2步再次进行训练。
点云数据经过图神经网络自适应聚类分层之后,非结构性的点云将具有一定的结构,为了适应残差/反卷积神经网络的输入,需要将图神经网络输出的每类结构性点云数据按照类别转化为大小w*h*3 的点云数据,本实施例中w值取为20,h值取为20。由于各类别的点数量并不一样多,所以在转化时需要在空缺位置填充0。
利用已训练好的残差/反卷积神经网络分别对转化的各类点云数据进行特征提取。
残差/反卷积神经网络结构图如附图4。
残差/反卷积神经网络的数据集制作及训练过程如下:
(一)残差/反卷积网络的数据集制作
本发明中的残差/反卷积神经网络的训练数据集,需要借助上述已训练好的图神经网络来生成,将R幅点云数据输入已训练好的图神经网络便可得到8种类别的点云数据,每种类别拥有R幅点云数据,本实施例中R值取为50000。最后再对每一幅点云进行维度转换,将其转换成大小为20*20*3的点云数据,以供残差/反卷积网络训练使用。由于本发明中设计的残差/反卷积神经网络为无监督学习,因此无需制作标签。
(二)残差/反卷积神经网络训练过程
(1)对网络卷积核、阈值进行初始化。
(2)在数据集中随机选取r组数,本实施例中r值取为500,将 500组点云数据作为一批输入网络,经过卷积层、下采样层、残差块、反卷积层、上采样层后得到重构点云。
(3)求出网络的输入点云与重构点云之间的误差,构造的损失函数如下:
Figure SMS_1
式中r为一次输入网络点云数据的个数
Yi(x,y)为输入点云在第i层坐标(x,y)处的值
Ti(x,y)为重构点云在第i层坐标(x,y)处的值
(4)设置期望值E,当误差大于E时,利用反向传播将误差传回网络对卷积核及阈值进行修改,然后在进入第二步。当误差等于或小于我们的期望值时,结束训练。
步骤4:筛选出两组点云经过卷积后的相似特征图
将步骤3中所提取出的两组特征图利用序贯相似性检测算法 (SequentialSimiliarity Detection Algorithm,简称SSDA算法)进行逐一对比,提取出m对相似特征图,这些特征图中蕴含的便是两组点云所共有的特征。
步骤5:将相似的成对特征图进行反卷积
将步骤4中提取出的成对的相似特征图,依照已训练好的卷积核和阈值进行反卷积。最后将每对特征图反卷积的结果进行模型匹配,从而计算出m对特征图所对应的偏移量y1′,y2′,……,ym′。
步骤6:点云的偏移量计算
点云的偏移量计算步骤可如下表示:
(1)计算偏移量的平均值
Figure SMS_2
式中:m为成功匹配成对特征图的个数
y'k为第k对特征图所计算出的偏移量
Figure SMS_3
为两幅点云中m对特征图偏移量的平均值
(2)去掉过大偏离点
Figure SMS_4
式中:y'k为第k对特征图所计算出的偏移量
Figure SMS_5
为两幅点云中m对特征图偏移量的平均值
dk为第k对特征图偏移量与平均偏移量的距离
去掉dk中最大的2个数据da与db
(3)得出偏移量
Figure SMS_6
式中:y'k为第k对特征图所计算出的偏移量
a,b为最大两个dk所对应的下标
y为待拼接的两幅点云的偏移量
步骤7:点云细拼接
将步骤6中计算出的偏移量y作为初始值利用ICP算法进行点云细拼接,即可拼接出完整的点云图像。
以上结合散装堆料的点云拼接对本发明进行详细描述。但本发明基于图残差神经网络的点云拼接方法,此点云拼接方法可在异物检测、体积测量、三维重构等多种点云拼接场合应用。
上述具体实施方式只是来解释本发明,而不是仅仅局限于该实施方式,对于其他运用该方法的实例都在保护范围之内,例如城市垃圾车装载体积测量、以及测量路面的路面谱、或者凸起部分体积测量等都在本发明精神和权利要求的保护范围之内,对本发明做出的任何修改和改变,都落入本发明的保护范围。

Claims (3)

1.一种基于图残差神经网络融合的点云数据拼接方法,其特征是利用图神经网络将非结构化的点云数据进行自适应聚类分层,然后将每一类的点云数据处理成大小相同的点云数据,再利用残差神经网络对点云数据进行特征提取,得到点云特征图,然后将两组待拼接的点云特征图进行逐一对比,筛选出成对的相似点云特征图,最后利用反卷积神经网络将反卷积出来的成对相似点云特征图进行模型匹配,从而计算出点云特征图的偏移量,将得到的偏移量作为初始值利用ICP算法进行点云细拼接,即可拼接出完整的点云图像;此点云拼接方法可在异物检测、体积测量、三维重构多种点云拼接场合应用;
其中图神经网络结构中节点数设定为P个,每个节点的输入是此节点所代表的点在空间中的三维坐标,当每次采集的点云数大于P个时,则选取P个点作为图神经网络的输入,当点云数少于P个时,将剩余节点的输入设为(0,0,0),最后将此类节点所聚成的类称之为无效类并进行剔除,无效类剔除之后剩余类的个数为有效类别;
其中自适应聚类分层的过程是,利用已训练好的图神经网络对点云数据进行预处理后,将有效类别数设定为8,当图神经网络的有效类别数小于8时,便将各类点云数据进行对比,将点云数据量最大的类别输入图神经网络再次进行聚类,直到有效类别数等于或大于8,当有效类别数大于8时,只选择包含点云数据最多的8种有效类别数来最大限度的保留点云数据。
2.如权利要求1所述的基于图残差神经网络融合的点云数据拼接方法,其特征是点云数据经过图神经网络自适应聚类分层之后,将图神经网络输出的结构性点云数据按照类别统一转化为点云数据。
3.如权利要求1所述的基于图残差神经网络融合的点云数据拼接方法,其特征是将提取出的两组特征图利用序贯相似性检测算法进行逐一对比,提取出相似特征图,这些特征图中蕴含两组点云数据所共有的特征。
CN201911220871.3A 2019-12-03 2019-12-03 基于图残差神经网络融合的点云数据拼接方法 Active CN111028151B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911220871.3A CN111028151B (zh) 2019-12-03 2019-12-03 基于图残差神经网络融合的点云数据拼接方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911220871.3A CN111028151B (zh) 2019-12-03 2019-12-03 基于图残差神经网络融合的点云数据拼接方法

Publications (2)

Publication Number Publication Date
CN111028151A CN111028151A (zh) 2020-04-17
CN111028151B true CN111028151B (zh) 2023-05-26

Family

ID=70207884

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911220871.3A Active CN111028151B (zh) 2019-12-03 2019-12-03 基于图残差神经网络融合的点云数据拼接方法

Country Status (1)

Country Link
CN (1) CN111028151B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111612046B (zh) * 2020-04-29 2023-10-20 杭州电子科技大学 特征金字塔图卷积神经网络及其在3d点云分类中的应用
CN113763570B (zh) * 2020-06-01 2024-05-10 武汉海云空间信息技术有限公司 隧道点云高精度快速自动拼接方法
CN112581515B (zh) * 2020-11-13 2022-12-13 上海交通大学 基于图神经网络的户外场景点云配准方法
CN112435343A (zh) * 2020-11-24 2021-03-02 杭州唯实科技有限公司 点云数据处理方法和装置、电子设备及存储介质
CN112767457A (zh) * 2021-01-25 2021-05-07 北京影谱科技股份有限公司 一种基于主成分分析的平面点云匹配方法及装置
CN113537238B (zh) * 2021-07-05 2022-08-05 上海闪马智能科技有限公司 一种信息处理方法及图像识别装置
CN113920255B (zh) * 2021-12-15 2022-02-22 湖北晓雲科技有限公司 基于点云数据的高效测绘系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109829399A (zh) * 2019-01-18 2019-05-31 武汉大学 一种基于深度学习的车载道路场景点云自动分类方法
CN110222767A (zh) * 2019-06-08 2019-09-10 西安电子科技大学 基于嵌套神经网络和栅格地图的三维点云分类方法
CN110363863A (zh) * 2019-07-15 2019-10-22 上海点积实业有限公司 一种神经网络的输入数据生成方法和系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107247960A (zh) * 2017-05-08 2017-10-13 深圳市速腾聚创科技有限公司 图像提取分类区域的方法、物体识别方法及汽车
US11004202B2 (en) * 2017-10-09 2021-05-11 The Board Of Trustees Of The Leland Stanford Junior University Systems and methods for semantic segmentation of 3D point clouds
US10719641B2 (en) * 2017-11-02 2020-07-21 Airworks Solutions, Inc. Methods and apparatus for automatically defining computer-aided design files using machine learning, image analytics, and/or computer vision
CN108133458A (zh) * 2018-01-17 2018-06-08 视缘(上海)智能科技有限公司 一种基于目标物体空间点云特征的自动拼接方法
CN109063753B (zh) * 2018-07-18 2021-09-14 北方民族大学 一种基于卷积神经网络的三维点云模型分类方法
CN110110802B (zh) * 2019-05-14 2020-09-15 南京林业大学 基于高阶条件随机场的机载激光点云分类方法
CN110276266B (zh) * 2019-05-28 2021-09-10 暗物智能科技(广州)有限公司 一种基于旋转的点云数据的处理方法、装置及终端设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109829399A (zh) * 2019-01-18 2019-05-31 武汉大学 一种基于深度学习的车载道路场景点云自动分类方法
CN110222767A (zh) * 2019-06-08 2019-09-10 西安电子科技大学 基于嵌套神经网络和栅格地图的三维点云分类方法
CN110363863A (zh) * 2019-07-15 2019-10-22 上海点积实业有限公司 一种神经网络的输入数据生成方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于Spider卷积的三维点云分类与分割网络;王本杰;农丽萍;张文辉;林基明;王俊义;;计算机应用;第40卷(第06期);第1607-1612页 *

Also Published As

Publication number Publication date
CN111028151A (zh) 2020-04-17

Similar Documents

Publication Publication Date Title
CN111028151B (zh) 基于图残差神经网络融合的点云数据拼接方法
CN109978807B (zh) 一种基于生成式对抗网络的阴影去除方法
CN112233181A (zh) 6d位姿识别的方法、装置及计算机存储介质
CN110136075B (zh) 一种基于边缘锐化循环生成对抗网络的遥感影像去雾方法
CN108764244B (zh) 基于卷积神经网络和条件随机场的潜在目标区域检测方法
CN111553845B (zh) 一种基于优化的三维重建的快速图像拼接方法
CN111524168A (zh) 点云数据的配准方法、系统、装置及计算机存储介质
CN116188999B (zh) 一种基于可见光和红外图像数据融合的小目标检测方法
CN110852327A (zh) 图像处理方法、装置、电子设备及存储介质
CN112734914A (zh) 一种增强现实视觉的图像立体重建方法及装置
CN116310098A (zh) 一种基于注意力机制与可变卷积深度网络的多视图三维重建方法
CN113627481A (zh) 一种面向智慧园林的多模型组合的无人机垃圾分类方法
CN113963272A (zh) 一种基于改进yolov3的无人机图像目标检测方法
Cho et al. Modified perceptual cycle generative adversarial network-based image enhancement for improving accuracy of low light image segmentation
CN111862321B (zh) 视差图的获取方法、装置、系统及存储介质
Zheng et al. Joint residual pyramid for joint image super-resolution
CN110599403A (zh) 一种具有良好高频视觉效果的图像超分辨率重建方法
CN116342877A (zh) 一种复杂场景下基于改进aspp和融合模块的语义分割方法
CN116152263A (zh) 一种基于cm-mlp网络的医学图像分割方法
CN111127474B (zh) 机载LiDAR点云辅助的正射影像镶嵌线自动选取方法及系统
CN112801894B (zh) 一种使用迭代滤波处理的深度图像修复方法
CN116823680B (zh) 一种基于级联神经网络的混储电池识别去模糊方法
CN114494640B (zh) 一种用于三维识别的旋转不变性点云表示方法和装置
Qin et al. A Novel Approach to Object Detection in Remote-Sensing Images Based on YOLOv3
Chen et al. Processing of volumetric video

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant