CN115423931B - 一种基于点体素的实景树木三维模型重建方法 - Google Patents

一种基于点体素的实景树木三维模型重建方法 Download PDF

Info

Publication number
CN115423931B
CN115423931B CN202210911407.4A CN202210911407A CN115423931B CN 115423931 B CN115423931 B CN 115423931B CN 202210911407 A CN202210911407 A CN 202210911407A CN 115423931 B CN115423931 B CN 115423931B
Authority
CN
China
Prior art keywords
point
tree
branch
point cloud
skeleton
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210911407.4A
Other languages
English (en)
Other versions
CN115423931A (zh
Inventor
刘兆伟
卢喜郎
王莹洁
马元庆
秦华伟
阎维青
王慎强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yantai University
Original Assignee
Yantai University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yantai University filed Critical Yantai University
Priority to CN202210911407.4A priority Critical patent/CN115423931B/zh
Publication of CN115423931A publication Critical patent/CN115423931A/zh
Application granted granted Critical
Publication of CN115423931B publication Critical patent/CN115423931B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于点体素的实景树木三维模型重建方法，其特征在于，方法包括：S100、数据采集，采集真实场景中树木的点云数据，并进行预处理，去除树叶点云；S200、枝干分割，利用训练好的基于点体素的神经分解网络对树木点云进行特征提取，预测每个点所属枝干簇的编号，分割枝干点云；S300、骨架提取，从每一个枝干点云中提取骨架结构，并将所有骨架连接为完整的树骨架；S400、程序建模，基于提取的树骨架结构拟合圆柱体生成树模型，添加树皮和树叶纹理贴图完整树木模型重建。本发明的一种基于点体素的实景树木三维模型重建方法，能够实现对真实场景中树木进行三维模型重建。

Description

一种基于点体素的实景树木三维模型重建方法
技术领域
本发明涉及计算机图形学及三维重建技术领域，具体来说，是一种实景树木三维模型的重建方法。
背景技术
树木、灌木和其他树在城市环境中无处不在，树木的真实模型可以为数字城市场景添加真实感。同时，在游戏、林业管理领域，树木模型同样有着重要的应用。尤其是近期数字孪生、元宇宙等概念的兴起，使得人们开始探索如何将物理世界中的场景映射到虚拟三维世界，其中树木模型是虚拟场景中不可或缺的。因此，获取精确的三维树木模型是必要的，对现代社会具有重要意义。
传统的树木建模方式是建模师通过建模工具，从零开始创建网格，最终创建出完整模型，这种方式虽然能够得到精美的三维模型，但需要大量具有专业技能的从业人员，且费时费力，对于林场等大规模场景并不适用。
市场上虽存在基于多视角图像的三维重建软件，但对于树木这种形态复杂的物体，重建出的模型会损失大量细节。基于参数的树木建模软件通过用户输入的参数来模拟树木的生长，但想要模拟出真实世界中的树木形态较为困难。
发明内容
鉴于以上，本发明提出一种基于点体素的实景树木三维模型重建方法，以克服现有技术中存在的缺陷与不足。
本发明的技术方案如下：
一种基于点体素的实景树木三维模型重建方法，其特殊之处在于，该方法包括：
S100、点云采集，提取真实场景中的树木点云数据，并进行点云预处理，从中过滤叶子点云，保留枝干点云；
S200、枝干分割，利用训练好的基于点体素的网络对S100所获得的枝干点云进行特征提取及融合，预测出每个点云所属的簇编号，分割出每一个枝干点云；
S300、骨架提取，从每一个枝干点云中提取骨架结构，并将所有骨架连接为完整的树骨架；
S400、程序建模，基于提取的骨架结构拟合圆柱体生成树模型，添加树皮和树叶纹理贴图完成树木模型重建。
优选的，所述S100的点云采集，包括：
S101、使用SFM方法采集树木的稀疏点云；
S102、为保证S200的枝干分割质量，通过pointNet++网络作为过滤器，将树木点云中的枝干点云和叶子点云分为两个簇，从中过滤掉叶子点云，随后使用DBSCAN聚类方法继续过滤离群点和噪音，完成树木点云的预处理，保留枝干点云。
优选的，所述S200的枝干分割，包括：
S201、使用程序建模方法创建树模型文件，通过对模型文件表面提取点获得树点云文件，手动分割每组枝干点云，将处理好的树木点云数据作为模型训练数据集；
S202、创建基于点体素的神经分解网络，使用S201得到的模型训练数据集在基于点体素的神经分解网络上进行训练，得到训练好的神经分解网络；
S203、使用训练好的神经分解网络分割S100保留的枝干点云数据，神经分解网络中基于点云的网络提取枝干点云的单点特征，基于体素的网络提取枝干点云的局部特征，将点云的单点特征和局部特征进行融合，预测每个点所属的簇编号，得到一个具有多个簇的集合{(p,b)i}，其中p表示点云，b表示点云所属的簇编号，完成枝干分割。
优选的，所述S300的骨架提取，包括：
S301、使用L中值方法将S200分割出的每一个枝干点云的枝干截面中心点提取出来，形成单个枝干骨架；
S302、将提取的枝干骨架按照欧式距离与基于角度的优化策略进行连接，获得完整的树骨架结构；
具体的，在获取单个枝干骨架后，通过主干的每个节点与支干的根节点的欧式距离初步选择连接点，此时基于支干末端两个节点的方向进行优化连接点，从初始连接点开始向主干两个方向移动，每次判断连接点与支干末端两点形成的夹角，并根据夹角优化移动方向和距离，当三点夹角大于170度小于190度时，确定当前主干连接点为最终的连接点，重复以上步骤直至所有枝干骨架都被连接到树骨架。
优选的，所述S400的程序建模，包括：
S401、基于从S300提取的树骨架结构拟合圆柱体。首先对树原始点云构建kd树数据结构，以加快搜索速度，如图5所示，从树骨架结构的根节点开始搜索，基于骨架节点pi从原始树点云中搜索n个最近点，取均值作为圆柱体的半径以相邻的两个骨架节点的方向向量a作为枝干方向，并以向量a为中心轴旋转获取n个点坐标，拟合圆形；
S402、按照异速生长模型和S401所述半径获取方法进行权重分配，获取其余枝干骨架的半径并拟合圆柱体，直至拟合所有圆柱体，最终生成的树三维模型如图2中(d)所示；
S403、对圆柱体添加树皮纹理，并基于枝干末端顶点随机方向选择四个点作为树叶纹理，并通过参数选择树叶密度和可生成树叶的树枝范围，添加纹理后的树模型如图2中(e)所示。
本发明的一种基于点体素的实景树三维模型重建方法，实现了对实景树木的精准三维建模。方法中基于点体素的点云网络训练更加高效，能够大幅降低GPU占用，且因为包含了基于体素的网络，可以提取局部特征，从而也提高分割的精度；采用两个骨架的欧式距离对枝干骨架进行初步连接，同时配合基于角度的优化连接点方法对连接进行优化；使用基于异速生长模型得到的半径和从原始点云中计算出的半径分别给一个权重，算出最终的枝干半径。与现有的实景树木三维模型重建方法相比，本发明的方法基于分割后的枝干进行提取骨架，大大提高了骨架提取的准确性，并且通过异速生长模型和原始点云搜索相结合的方法计算半径，使得树木枝干拟合圆柱体更加接近真实枝干，保证了精确的树木三维重建。
附图说明
图1为本发明方法的流程框图；
图2为本发明方法的重建过程示意图；
图3为本发明方法中基于点体素的神经分解网络架构图；
图4为本发明方法中骨架连接点示意图；
图5为本发明方法中搜索圆柱体半径示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例
如图1所示，一种基于点体素的实景树三维模型重建方法，包括：
S100、点云采集
S101、采用多角度以目标树为中心进行拍摄，每次旋转角度不超过30度，将拍摄的树照片使用SFM方法重建出树木的稀疏点云；
S102、通过pointNet++网络作为过滤器，将树木点云中的枝干点云和叶子点云分为两个簇，从中过滤掉叶子点云，随后使用DBSCAN聚类方法继续过滤离群点和噪音，完成树木点云的预处理，保留枝干点云，预处理结果如图2中(a)所示。
S200、枝干分割
S201、使用程序建模方法创建树模型文件，通过对模型文件表面提取点获得树点云文件，并手动分割每组枝干点云，将处理好的树木点云数据作为模型训练数据集；
S202、创建基于点体素的神经分解网络，使用数据集在基于点体素的神经分解网络上进行训练，并得到训练好的基于点体素的神经分解网络；
S203、使用训练好的基于点体素的神经分解网络分割S100中的枝干点云数据，将点云作为输入，神经分解网络结构如图3所示，其中基于点云的网络提取枝干点云的单点特征，基于体素的网络将枝干点云映射到体素空间并进行三维卷积操作，提取枝干点云的局部特征并将其映射到点云中，使点云的局部特征与从基于点云的网络中提取的单点特征相融合，预测每个点所属的簇编号，得到一个具有多个簇的集合{(p,b)i}，其中p表示点云，b表示点云所属簇的编号，拥有相同簇编号的点云组成一个树木枝干，分割结果如图2中(b)所示。
S300、骨架提取
S301、使用L中值方法将S200分割出的每一个枝干点云的枝干截面中心点提取出来，形成单个枝干骨架；
S302、将提取的枝干骨架按照欧式距离与基于角度的优化策略进行连接，获得完整的树骨架结构；
具体的，如图4所示，在获取单个枝干骨架后，通过主干的每个节点与支干的根节点的欧式距离初步选择连接点，此时基于支干末端两个节点的方向进行优化连接点，从初始连接点开始向主干两个方向移动，每次判断连接点与支干末端两点形成的夹角，并根据夹角优化移动方向和距离，当三点夹角大于170度小于190度时，确定当前主干连接点为最终的连接点，重复以上步骤直至所有枝干骨架都被连接到树骨架，连接结果如图2中(c)所示。
S400、程序建模
S401、基于从S300提取的树骨架结构拟合圆柱体。首先对树原始点云构建kd树数据结构，以加快搜索速度，如图5所示，从树骨架结构的根节点开始搜索，基于骨架节点pi从原始树点云中搜索n个最近点，取均值作为圆柱体的半径以相邻的两个骨架节点的方向向量a作为枝干方向，并以向量a为中心轴旋转获取n个点坐标，拟合圆形；
S402、按照异速生长模型和S401所述半径获取方法进行权重分配，获取其余枝干骨架的半径并拟合圆柱体，直至拟合所有圆柱体，最终生成的树三维模型如图2中(d)所示；
S403、对圆柱体添加树皮纹理，并基于枝干末端顶点随机方向选择四个点作为树叶纹理，并通过参数选择树叶密度和可生成树叶的树枝范围，添加纹理后的树模型如图2中(e)所示。

Claims (1)

1.一种基于点体素的实景树木三维模型重建方法，其特征在于，该方法包括：
S100、点云采集，提取真实场景中的树木点云数据,并进行点云预处理，过滤叶子点云，保留枝干点云；
S200、枝干分割，利用训练好的基于点体素的网络对S100所获得的枝干点云进行特征提取及融合，预测出每个点云所属的簇编号，分割出每一个枝干点云；
S300、骨架提取，从每一个枝干点云中提取骨架结构，并将所有骨架连接为完整的树骨架；
S400、程序建模，基于提取的骨架结构拟合圆柱体生成树模型，添加树皮和树叶纹理贴图完整树木模型重建；
所述S100的点云采集，包括：
S101、使用SFM方法采集树木的稀疏点云；
S102、为保证S200的枝干分割质量，通过pointNet++网络作为过滤器，将树木点云中的枝干点云和叶子点云分为两个簇，从中过滤掉叶子点云，随后使用DBSCAN聚类方法继续过滤离群点和噪音，完成树木点云的预处理，保留枝干点云；
所述S200的枝干分割，包括：
S201、使用程序建模方法创建树模型文件，通过对模型文件表面提取点获得树点云文件，手动分割每组枝干点云，将处理好的树木点云数据作为模型训练数据集；
S202、创建基于点体素的神经分解网络，使用S201得到的模型训练数据集在基于点体素的神经分解网络上进行训练，得到训练好的神经分解网络；
S203、使用训练好的神经分解网络分割S100保留的枝干点云数据，神经分解网络中基于点云的网络提取枝干点云的单点特征，基于体素的网络提取枝干点云的局部特征，将点云的单点特征和局部特征进行融合，预测每个点所属的簇编号，得到一个具有多个簇的集合{(p，b)i}，其中p表示点云，b表示点云所属的簇编号，完成枝干分割；
所述S300的骨架提取，包括：
S301、对S200分割出的每一个枝干点云使用L中值方法提取枝干截面的中心点，形成单个枝干骨架；
S302、将提取的枝干骨架按照欧式距离与基于角度的优化策略进行连接，获得完整的树骨架结构；
S302的骨架连接方法具体为：在获取单个枝干骨架后，通过主干的每个节点与支干的根节点的欧式距离初步选择连接点，此时基于支干末端两个节点的方向进行优化连接点，从初始连接点开始向主干两个方向移动，每次判断连接点与支干末端两点形成的夹角，并根据夹角优化移动方向和距离，当三点夹角大于170度小于190度时，确定当前主干连接点为最终的连接点，重复以上步骤直至所有枝干骨架都被连接到树骨架；
所述S400的程序建模，包括：
S401、基于从S300提取的树骨架结构拟合圆柱体；首先对树原始点云构建kd树数据结构，以加快搜索速度，从树骨架结构的根节点开始搜索，基于骨架节点pi从原始树点云中搜索n个最近点，取均值作为圆柱体的半径以相邻的两个骨架节点的方向向量a作为枝干方向，并以向量a为中心轴旋转获取n个点坐标，拟合圆形；
S402、按照异速生长模型和S401所述半径获取方法进行权重分配，获取其余枝干骨架的半径并拟合圆柱体，直至拟合所有圆柱体，最终生成树三维模型；
S403、对圆柱体添加树皮纹理，并基于枝干末端顶点随机方向选择四个点作为树叶纹理，并通过参数选择树叶密度和可生成树叶的树枝范围，生成添加纹理后的树模型。
CN202210911407.4A 2022-07-30 2022-07-30 一种基于点体素的实景树木三维模型重建方法 Active CN115423931B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210911407.4A CN115423931B (zh) 2022-07-30 2022-07-30 一种基于点体素的实景树木三维模型重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210911407.4A CN115423931B (zh) 2022-07-30 2022-07-30 一种基于点体素的实景树木三维模型重建方法

Publications (2)

Publication Number Publication Date
CN115423931A CN115423931A (zh) 2022-12-02
CN115423931B true CN115423931B (zh) 2023-09-01

Family

ID=84196131

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210911407.4A Active CN115423931B (zh) 2022-07-30 2022-07-30 一种基于点体素的实景树木三维模型重建方法

Country Status (1)

Country Link
CN (1) CN115423931B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103106684A (zh) * 2013-01-15 2013-05-15 北京农业信息技术研究中心 一种带叶状态树木形态结构三维重建的方法和系统
CN110136246A (zh) * 2019-05-15 2019-08-16 南京林业大学 基于类主干点的三维树木几何模型重建方法
CN112819830A (zh) * 2021-01-24 2021-05-18 南京林业大学 基于深度学习与机载激光点云的单株树冠分割方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103106684A (zh) * 2013-01-15 2013-05-15 北京农业信息技术研究中心 一种带叶状态树木形态结构三维重建的方法和系统
CN110136246A (zh) * 2019-05-15 2019-08-16 南京林业大学 基于类主干点的三维树木几何模型重建方法
CN112819830A (zh) * 2021-01-24 2021-05-18 南京林业大学 基于深度学习与机载激光点云的单株树冠分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于多站式激光点云的单木可视化建模;潘少杰;《中国优秀硕士学位论文全文数据库》;第1-56页 *

Also Published As

Publication number Publication date
CN115423931A (zh) 2022-12-02

Similar Documents

Publication Publication Date Title
CN103871100B (zh) 基于点云与数据驱动的树木模型重建方法
CN109166145B (zh) 一种基于聚类分割的果树叶片生长参数提取方法及系统
CN109242862B (zh) 一种实时的数字表面模型生成方法
CN110992473B (zh) 一种基于车载激光扫描点云的树木枝干建模方法及系统
CN109410321A (zh) 基于卷积神经网络的三维重建方法
WO2015149302A1 (zh) 基于点云与数据驱动的树木模型重建方法
Xie et al. Tree modeling with real tree-parts examples
CN110136246A (zh) 基于类主干点的三维树木几何模型重建方法
CN102930597A (zh) 一种外存三维模型的处理方法
CN112102494B (zh) 骨架线引导的树状点云表面重建方法及装置
CN103310481A (zh) 一种基于模糊熵迭代的点云精简方法
CN114756944A (zh) 用于bim模型的轻量化系统、方法、计算机设备及存储介质
CN114219912A (zh) 一种从地基激光雷达点云中自动重建树木结构的方法
CN111028335A (zh) 一种基于深度学习的点云数据的分块面片重建方法
CN113868476A (zh) 一种基于局部密度的八叉树点云预处理方法
CN113362359A (zh) 融合高度和光谱信息的倾斜摄影数据建筑物自动提取方法
CN115471634B (zh) 一种城市绿植孪生的建模方法及装置
CN115661404A (zh) 一种多细粒度树木实景参数化建模方法
CN114119902A (zh) 一种基于无人机倾斜三维模型的建筑物提取方法
CN115018982A (zh) 一种基于地基激光雷达点云的树木数字孪生方法
CN115423931B (zh) 一种基于点体素的实景树木三维模型重建方法
CN114241155A (zh) 一种基于车载激光点云数据的城市树木三维可视化方法
CN113111830A (zh) 一种葡萄藤冬剪点检测算法
CN109102565B (zh) 一种自动生成虚拟地形的方法
CN112991300B (zh) 一种基于邻域特征的单木骨架提取及可视化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant