CN113674369B - 一种深度学习采样改进g-pcc压缩的方法 - Google Patents

一种深度学习采样改进g-pcc压缩的方法 Download PDF

Info

Publication number
CN113674369B
CN113674369B CN202110848788.1A CN202110848788A CN113674369B CN 113674369 B CN113674369 B CN 113674369B CN 202110848788 A CN202110848788 A CN 202110848788A CN 113674369 B CN113674369 B CN 113674369B
Authority
CN
China
Prior art keywords
point cloud
point
pcc
clouds
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110848788.1A
Other languages
English (en)
Other versions
CN113674369A (zh
Inventor
郑明魁
王适
王泽峰
黄施平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Mindu Innovation Laboratory
Original Assignee
Fuzhou University
Mindu Innovation Laboratory
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University, Mindu Innovation Laboratory filed Critical Fuzhou University
Priority to CN202110848788.1A priority Critical patent/CN113674369B/zh
Publication of CN113674369A publication Critical patent/CN113674369A/zh
Application granted granted Critical
Publication of CN113674369B publication Critical patent/CN113674369B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/002Image coding using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/047Probabilistic or stochastic networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及一种深度学习采样改进G‑PCC压缩的方法。首先,把一帧点云按照64*64*64大小分块并素化。然后,采用卷积网络提取点云体素化的特征,把点映射到128维的向量,进一步把特征向量映射回只有原来总数四分之一的点云。再而,把采样后的点云经过G‑PCC编码和解码。最后,对解码后的点云体素化,并用反卷积网络提取特征,把点映射到128维的向量,进一步把特征向量映射回点云,同样根据重建的误差最小,不断优化采样和重建的点云,融合块点云生成解码点云。和直接使用G‑PCC编码相比,使用卷积网络采样和重建在保证了点云质量的同时只需要编码原来点云数目的四分之一,减少了大量比特的开销。

Description

一种深度学习采样改进G-PCC压缩的方法
技术领域
本发明涉及一种深度学习采样改进G-PCC压缩的方法。
背景技术
点云对物体表面的数字化采样,形式上,是一对点的集合,每一个点由几何信息(x,y,z)和属性信息(例如,R,G,B,反射强度等)组成。3D点云数字化重建了真实的三维世界。目前已经广泛应用于虚拟现实和增强现实、无人驾驶、医疗以及高精度地图等领域。然而,相比传统的2D的图像,2D图像是排列规则的属性信息(颜色信息比如:R,G,B或者灰度值)的集合,点云则是无序点的集合且数量级至少超过2D图像一个数量级,因此,有效的点云压缩是十分具有挑战性的,对点云的存储和传输是必不可少。
动态图像专家组(简称:MPEG)针对静态点云压缩设计了:基于几何的点云压缩方法(G-PCC),该方法把几何信息和属性信息分别编码,几何坐标首先通过坐标转换和缩放,减少了编码的位数和增加点的密集程度增强相关性;进一步体素化点云和移除重复点,然后使用八叉树对体素细分,对于体素有多点情况则采用平面近似的方法,只编码能确定平面的和体素相交的三个点。该方法对稀疏点云有较大的优势,然而一类静态点云是稠密点云。受到卷积神经网络在视频的处理和编码以及点云处理取得良好的性能。因此采用卷积网络自适应对点云采样,采样之后,使用G-PCC编解码,对解码的点云采用类似图像超分辨率重建的思路重建点云。
因此,和直接使用G-PCC编码,采样之后的点数是原来的四分之一,因此将减少大量的比特;同时采用反卷积网络重建点云,一定程度上消除了G-PCC编码带来的失真,保证了点云的质量。
发明内容
本发明的目的在于提供一种深度学习采样改进G-PCC压缩的方法,采用深度学习自适应下采样和重建的方法,使得G-PCC编码的点数为原来的四分之一。
为实现上述目的,本发明的技术方案是:一种深度学习采样改进G-PCC压缩的方法,包括如下步骤:
步骤M1、将点云均匀分割成64*64*64的块,并对点云体素化,有点用“1”表示,没有则用“0”表示;
步骤M2、对体素化的点云使用三层的卷积网络进行下采样,采样后的点云为原始点云的四分之一,假设X是原点云,Y是输出点云,则输出点云是输入点云的真子集,此时的损失函数lsample如式(1)所示:
其中,Ny是采样后点云的总数,y是采样后点云中的一点,x是原始点云中的一点;
步骤M3、对采样后的点云使用动态图像专家组MPEG制定的关于一类静态点云压缩的方案:基于几何的点云压缩G-PCC编码;
步骤M4、对G-PCC编码的点云进行解码;
步骤M5、通过反卷积网络上采样之后重建原始点云X,其过程和步骤M2相反,反卷积网络为三层,其损失函数lr如式(2)所示:
其中,输入点云Y,输出点云Z,Nx是原始点云的总数,Nz是重建后点云的总数,z是重建后点云的一点,x是原始点云中的一点;
步骤M6、模型训练,优化的目标是使得采样并经过编码后的点云和原始点云的点对点的均方误差最小,模型最后的损失函数如式(3)所示ltotal,达到自适应去采样,重建点云的点:
ltotal=lsample+lr (3)
步骤M7、输出的点云是64*64*64的块,而后对块融合输出最后的解码点云。
在本发明一实施例中,在所述步骤M2中,通过如下方式对体素化的点云使用卷积网络进行下采样:
步骤M21、对输入的64*64*64体素化的点云,采用128个5*5*5的3D卷积核学习体素化的点云的特征,步长为2,输出的的特征向量变为128*32*32*32;
步骤M22、采用128个5*5*5的3D卷积核学习体素化的点云的特征,步长为2,输出的的特征向量变为128*16*16*16;
步骤M23、采用1个5*5*5的3D卷积核学习体素化的点云的特征,步长为1,输出的的特征向量变为16*16*16;
步骤M24、用softmax把输出结果归一化到0到1之间,进一步四舍五入为0和1,分别表示空间是否被占用,被占用表示有点,从而输出点云。
在本发明一实施例中,步骤M5中,通过如下方式使用反卷积网络对点云上采样重建点云:
步骤M51、对输入的16*16*16体素化的点云,采用128个5*5*5的3D反卷积核学习体素化的点云的特征,步长为2,输出的的特征向量变为128*32*32*32;
步骤M52、采用128个5*5*5的3D反卷积核学习体素化的点云的特征,步长为2,输出的的特征向量变为128*64*64*64;
步骤M53、采用1个5*5*5的3D卷积核学习体素化的点云的特征,步长为1,输出的的特征向量变为64*64*64。
步骤M54、用softmax把输出结果归一化到0到1之间,进一步四舍五入为0和1,分别表示空间是否被占用,被占用表示有点,从而输出点云。
相较于现有技术,本发明具有以下有益效果:本发明采用自适应深度学习采样和重建的方法保证了点云质量的同时,使得适用于稀疏点云编码的G-PCC只需要编码原来点云数目的四分之一,因此减少了大量比特的开销编码。
附图说明
图1为本发明总体流程图。
图2为本发明卷积网络的点云下采样流程图。
图3为本发明反卷积网络的点云重建流程图。
具体实施方式
下面结合附图,对本发明的技术方案进行具体说明。
如图1所示,是本发明提供的一种深度学习采样的改进G-PCC几何编码的方法总体流程图,分为编码过程和解码过程两部分。包括如下步骤:
步骤M1、由于点云的点数较多,因此,把点云均匀分割成64*64*64的块。为了后续使用3D卷积提取点云特征,首先对点云体素化,有点用“1”表示,没有则用“0”表示。
步骤M2、对体素化的点云使用三层的卷积网络进行下采样,采样后的点云为原始点云的四分之一,假设X是原点云,Y是输出点云,则输出点云是输入点云的真子集,所以此时的损失函数lsample如式(1)所示,其中Ny是采样后点云的总数,y分别是采样后点云中的一点,x是原始点云中的一点。
步骤M3、对采样后的点云使用动态图像专家组(MPEG)制定的关于一类静态点云压缩的方案:基于几何的点云压缩(G-PCC)编码。
步骤M4、对G-PCC编码的点云进行解码。
步骤M5、通过反卷积网络上采样之后重建原始点云X,其过程和步骤M2相反,反卷积网络为三层,其损失函数lr如式(2)所示,其中输入点云Y,输出点云Z,其中Nx是原始点云的总数,其中Nz是重建后点云的总数,z是重建后点云的一点,x是原始点云中的一点。优化的目标是使得采样并经过编码后的点云和原始点云的点对点的均方误差最小。
步骤M6、模型最后的损失函数如式子(3)所示ltotal,达到了自适应去采样有助于点云重建的点。
ltotal=lsample+lr (3)
步骤M7、输出的点云是64*64*64的块,因此,对块融合输出最后的解码点云。
在本发明实施例中,所述步骤M2中,如图2,通过如下方式对体素化的点云使用卷积网络进行下采样:
步骤M21、对输入的64*64*64体素化的点云,采用128个5*5*5的3D卷积核学习体素化的点云的特征,步长为2,因此,输出的的特征向量变为128*32*32*32。
步骤M22、采用128个5*5*5的3D卷积核学习体素化的点云的特征,步长为2,因此,输出的的特征向量变为128*16*16*16。
步骤M23、采用1个5*5*5的3D卷积核学习体素化的点云的特征,步长为1,因此,输出的的特征向量变为16*16*16。
步骤M24、用softmax把输出结果归一化到0到1之间,进一步四舍五入为0和1,分别表示空间是否被占用,被占用表示有点,从而输出点云。
在本发明实施例中,所述步骤M5中,如图3,通过如下方式使用反卷积网络对点云上采样重建点云:
步骤M51、对输入的16*16*16体素化的点云,采用128个5*5*5的3D反卷积核学习体素化的点云的特征,步长为2,因此,输出的的特征向量变为128*32*32*32。
步骤M52、采用128个5*5*5的3D反卷积核学习体素化的点云的特征,步长为2,因此,输出的的特征向量变为128*64*64*64。
步骤M53、采用1个5*5*5的3D卷积核学习体素化的点云的特征,步长为1,因此,输出的的特征向量变为64*64*64。
步骤M54、用softmax把输出结果归一化到0到1之间,进一步四舍五入为0和1,分别表示空间是否被占用,被占用表示有点,从而输出点云。
本发明虽然已以较佳实施例公开如上,但其并不是用来限定本发明,任何本领域技术人员在不脱离本发明的精神和范围内,都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改,因此,凡是未脱离本发明技术方案的内容,依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰,均属于本发明技术方案的保护范围。以上所述仅为本发明的较佳实施例,凡依本发明申请专利范围所做的均等变化与修饰,皆应属本发明的涵盖范围。

Claims (3)

1.一种深度学习采样改进G-PCC压缩的方法,其特征在于,包括如下步骤:
步骤M1、将点云均匀分割成64*64*64的块,并对点云体素化,有点用“1”表示,没有则用“0”表示;
步骤M2、对体素化的点云使用三层的卷积网络进行下采样,采样后的点云为原始点云的四分之一,假设X是原点云,Y是输出点云,则输出点云是输入点云的真子集,此时的损失函数lsample如式(1)所示:
其中,Ny是采样后点云的总数,y是采样后点云中的一点,x是原始点云中的一点;
步骤M3、对采样后的点云使用动态图像专家组MPEG制定的关于一类静态点云压缩的方案:基于几何的点云压缩G-PCC编码;
步骤M4、对G-PCC编码的点云进行解码;
步骤M5、通过反卷积网络上采样之后重建原始点云X,其过程和步骤M2相反,反卷积网络为三层,其损失函数lr如式(2)所示:
其中,输入点云Y,输出点云Z,Nx是原始点云的总数,Nz是重建后点云的总数,z是重建后点云的一点,x是原始点云中的一点;
步骤M6、模型训练,优化的目标是使得采样并经过编码后的点云和原始点云的点对点的均方误差最小,模型最后的损失函数如式(3)所示ltotal,达到自适应去采样,重建点云的点:
ltotal=lsample+lr (3)
步骤M7、输出的点云是64*64*64的块,而后对块融合输出最后的解码点云。
2.根据权利要求1所述的一种深度学习采样改进G-PCC压缩的方法,其特征在于,在所述步骤M2中,通过如下方式对体素化的点云使用卷积网络进行下采样:
步骤M21、对输入的64*64*64体素化的点云,采用128个5*5*5的3D卷积核学习体素化的点云的特征,步长为2,输出的特征向量变为128*32*32*32;
步骤M22、采用128个5*5*5的3D卷积核学习体素化的点云的特征,步长为2,输出的特征向量变为128*16*16*16;
步骤M23、采用1个5*5*5的3D卷积核学习体素化的点云的特征,步长为1,输出的特征向量变为16*16*16;
步骤M24、用softmax把输出结果归一化到0到1之间,进一步四舍五入为0和1,分别表示空间是否被占用,被占用表示有点,从而输出点云。
3.根据权利要求1所述的一种深度学习采样改进G-PCC压缩的方法,其特征在于,在所述步骤M5中,通过如下方式使用反卷积网络对点云上采样重建点云:
步骤M51、对输入的16*16*16体素化的点云,采用128个5*5*5的3D反卷积核学习体素化的点云的特征,步长为2,输出的特征向量变为128*32*32*32;
步骤M52、采用128个5*5*5的3D反卷积核学习体素化的点云的特征,步长为2,输出的特征向量变为128*64*64*64;
步骤M53、采用1个5*5*5的3D卷积核学习体素化的点云的特征,步长为1,输出的特征向量变为64*64*64;
步骤M54、用softmax把输出结果归一化到0到1之间,进一步四舍五入为0和1,分别表示空间是否被占用,被占用表示有点,从而输出点云。
CN202110848788.1A 2021-07-27 2021-07-27 一种深度学习采样改进g-pcc压缩的方法 Active CN113674369B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110848788.1A CN113674369B (zh) 2021-07-27 2021-07-27 一种深度学习采样改进g-pcc压缩的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110848788.1A CN113674369B (zh) 2021-07-27 2021-07-27 一种深度学习采样改进g-pcc压缩的方法

Publications (2)

Publication Number Publication Date
CN113674369A CN113674369A (zh) 2021-11-19
CN113674369B true CN113674369B (zh) 2024-04-09

Family

ID=78540306

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110848788.1A Active CN113674369B (zh) 2021-07-27 2021-07-27 一种深度学习采样改进g-pcc压缩的方法

Country Status (1)

Country Link
CN (1) CN113674369B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110677652A (zh) * 2019-09-26 2020-01-10 叠境数字科技(上海)有限公司 一种基于体素卷积的点云几何有损压缩方法
CN110691243A (zh) * 2019-10-10 2020-01-14 叠境数字科技(上海)有限公司 一种基于深度卷积网络的点云几何压缩方法
CN110971898A (zh) * 2018-09-30 2020-04-07 华为技术有限公司 点云编解码方法和编解码器
CN112598635A (zh) * 2020-12-18 2021-04-02 武汉大学 一种基于对称点生成的点云3d目标检测方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3428887A1 (en) * 2017-07-13 2019-01-16 Thomson Licensing Method and device for encoding a point cloud
EP3467785A1 (en) * 2017-10-06 2019-04-10 Thomson Licensing A method and apparatus for encoding a point cloud representing three-dimensional objects

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110971898A (zh) * 2018-09-30 2020-04-07 华为技术有限公司 点云编解码方法和编解码器
CN110677652A (zh) * 2019-09-26 2020-01-10 叠境数字科技(上海)有限公司 一种基于体素卷积的点云几何有损压缩方法
CN110691243A (zh) * 2019-10-10 2020-01-14 叠境数字科技(上海)有限公司 一种基于深度卷积网络的点云几何压缩方法
CN112598635A (zh) * 2020-12-18 2021-04-02 武汉大学 一种基于对称点生成的点云3d目标检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
采用深度级联卷积神经网络的三维点云识别与分割;杨军;党吉圣;;光学精密工程(05);全文 *

Also Published As

Publication number Publication date
CN113674369A (zh) 2021-11-19

Similar Documents

Publication Publication Date Title
CN108875935B (zh) 基于生成对抗网络的自然图像目标材质视觉特征映射方法
CN110691243A (zh) 一种基于深度卷积网络的点云几何压缩方法
CN110349087B (zh) 基于适应性卷积的rgb-d图像高质量网格生成方法
CN111630570A (zh) 图像处理方法、设备及计算机可读存储介质
CN111899295B (zh) 一种基于深度学习的单目场景深度预测方法
CN112163990B (zh) 360度图像的显著性预测方法及系统
WO2023130333A1 (zh) 编解码方法、编码器、解码器以及存储介质
CN113506224A (zh) 基于多尺度生成对抗网络的图像修复方法
Jiang et al. Lightweight dual-stream residual network for single image super-resolution
CN110889868A (zh) 一种结合梯度和纹理特征的单目图像深度估计方法
CN117575915A (zh) 一种图像超分辨率重建方法、终端设备及存储介质
CN116630482B (zh) 一种基于多模态检索与轮廓引导的图像生成方法
CN117274059A (zh) 基于图像编码-解码的低分辨率图像重构方法及其系统
CN113674369B (zh) 一种深度学习采样改进g-pcc压缩的方法
CN115937429A (zh) 一种基于单张图像的细粒度3d人脸重建方法
CN116246010A (zh) 一种基于图像的人体三维重建方法
CN115393452A (zh) 一种基于非对称自编码器结构的点云几何压缩方法
CN115147317A (zh) 一种基于卷积神经网络的点云颜色质量增强方法及系统
CN114332259A (zh) 一种基于车载激光雷达的点云编解码方法
Yu et al. A Multi-layer Residual Architecture for Point Cloud Geometry Compression
CN117496091B (zh) 一种基于局部纹理的单视图三维重建方法
CN115797183B (zh) 一种图像超分辨率重建方法
CN113573060B (zh) 一种深度学习自适应特征维度的点云几何编码方法及系统
Li et al. Geometry to the Rescue: 3D Instance Reconstruction from a Cluttered Scene
WO2023050381A1 (en) Image and video coding using multi-sensor collaboration

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant