CN106530381B - 一种基于gpu加速的三维荧光显微图像的去卷积算法 - Google Patents

一种基于gpu加速的三维荧光显微图像的去卷积算法 Download PDF

Info

Publication number
CN106530381B
CN106530381B CN201610910509.9A CN201610910509A CN106530381B CN 106530381 B CN106530381 B CN 106530381B CN 201610910509 A CN201610910509 A CN 201610910509A CN 106530381 B CN106530381 B CN 106530381B
Authority
CN
China
Prior art keywords
image
gpu
visual angle
image array
algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610910509.9A
Other languages
English (en)
Other versions
CN106530381A (zh
Inventor
刘华锋
郭敏
李良骥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201610910509.9A priority Critical patent/CN106530381B/zh
Publication of CN106530381A publication Critical patent/CN106530381A/zh
Application granted granted Critical
Publication of CN106530381B publication Critical patent/CN106530381B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

本发明公开了一种基于GPU加速的三维荧光显微图像的去卷积算法，其通过建立光片显微成像技术对于三维荧光样本的成像退化模型，选用传统的二维理查德森露西算法加以改进，并运用于双视角光片荧光图像的联合去卷积处理；与此同时，将改进后的联合去卷积算法GPU加速，提高了去卷积的运算速度。本发明有效地解决了双视角图像去卷积的问题，并且通过GPU快速，使本发明适于对光片荧光显微镜长时间连续成像的大批量数据进行处理。

Description

一种基于GPU加速的三维荧光显微图像的去卷积算法
技术领域
本发明属于生物显微镜成像技术领域，具体涉及一种基于GPU加速的三维荧光显微图像的去卷积算法。
背景技术
现代生命科学是以生命为研究对象，基于对生命现象观察和实验的现代科学体系，所以生物分子动态过程的观察和研究在现代生命科学的研究中占有举足轻重的地位。近几年来，在对动植物体组织、器官以及胚胎等大样本的三维(加上时间，四个维度)成像方面，低光毒性、高成像速度的光片荧光显微成像技术(Light Sheet FluorescenceMicroscopy,LSFM)作为一种非入侵性显微成像技术更是受到科学工作者的青睐。
本次研究中实验图像的采集设备为双视角光片照明显微镜(Dual-ViewSelective Plane Illumination Microscope,diSPIM)，其图像采集由两个相互垂直的显微镜组成，两个显微镜所采集的图像在三维空间上的图像分辨效果优势互补，在后期的图像融合中需充分利用双视角图像各自的优势。
图像去卷积(又称反卷积)处理在光片显微成像后期的显微图像高分辨率还原中具有重要的作用。传统的理查德森露西算法只是针对二维图像的去卷积运算，无法针对三维图像实施有效的去卷积处理。因此，如何将二维的理查德森露西算法改进并应用于三维图像的去卷积运算是一个值得研究的问题。
图像处理器(Graphics Processing Unit,GPU)作为一种专门进行图像运算工作的微处理器如今已经发展成为高度并行，多线程，具有强大运算能力和高存储器带宽的多核处理器。相对于计算机的中央处理器(Central Processing Unit,CPU)，GPU更加适合处理大量数据的并行运算问题。CUDA(Compute Unified Device Architecture)是NVIDIA公司于2006年推出的一种通用并行计算架构，它能够利用NVIDIA公司生产的GPU进行数据并行计算，并且目前已经在生物医学和图像处理等方面具有多种应用。
因此基于GPU加速的三维荧光显微图像的去卷积算法的研究在实时成像的生物医学样本的观察中是一个十分值得研究的内容。
发明内容
为了解决双视角图像去卷积的问题，本发明提供了一种基于GPU加速的三维荧光显微图像的去卷积算法，该算法能够通过GPU运算高速实现双视角光片荧光显微图像的去卷积处理。
一种基于GPU加速的三维荧光显微图像的去卷积算法，具体步骤如下：
(1)采集生物样品视角A、视角B的荧光图像，得到图像矩阵fA和图像矩阵fB，并获取每个视角系统的点扩散函数hA和点扩散函数hB；
(2)根据每个视角的图像矩阵及每个视角系统的点扩散函数，建立每个视角的成像退化模型：
其中，u为样品的真实荧光图像，表示卷积运算；
(3)对点扩散函数hA和点扩散函数hB进行翻转，分别得到翻转矩阵和，并进行傅立叶变换，翻转公式为：
其中i，j，k分别为元素的三维坐标；m，n，l分别为点扩散函数的三维维度大小，且1≤i≤m，1≤j≤n，1≤k≤l；
(4)基于传统的理查德森露西算法，建立迭代方程：
其中ut为第t次迭代的重建图像，为第t次迭代的中间变量图像； 分别为hA、hB的翻转矩阵；
(5)采用GPU加速进行迭代去卷积过程，得到样品的真实荧光图像。
步骤(1)于CPU内核中实现，步骤(2～5)于GPU内核中实现；将改进后的三维图像联合去卷积算法采用GPU加速，实现CPU和GPU端的运算，并通过GPU端程序的优化加快去卷积运算的速度。
在步骤(1)中，所述的荧光图像的采集过程中，显微镜的视角A与视角B对荧光标记的生物样品交替进行采集，用三维矩阵表示荧光图像，得到图像矩阵fA和图像矩阵fB。
在步骤(1)中，所述的点扩散函数既可以通过对荧光点进行成像获取，也可以基于成像的衍射模型进行理论计算获取，得到视角A系统的点扩散函数hA和视角B系统的点扩散函数hB。
在步骤(4)中，对传统的理查德森露西算法改进并将其应用于双视角图像去卷积，然后建立迭代方程。
在步骤(5)中，迭代的初始值u0的计算方法为：
(5-1)将图像矩阵fA和图像矩阵fB以相同的权重进行融合，对视角A、视角B，初始总能量分别为：
其中：EA、EB分别为视角A、视角B的总能量，分别为视角A、视角B的图像矩阵中第r元素值，N为图像矩阵中的元素总个数，r为自然数且1≤r≤N；
(5-2)对fB进行归一化，得到归一化的图像矩阵fB′，对于fB′的每一个元素有：
其中q表示任意一个元素，此时则有：
(5-3)设定迭代的初始值u0：
在步骤(5)中，所述的采用GPU加速实现的迭代过程中涉及的卷积运算均根据卷积定理通过傅立叶变换转化为在频域中作相乘处理；卷积定理具体如下：
其中为卷积运算，F为傅立叶变换，F-1为傅立叶逆变换。
在步骤(5)中，所述的通过GPU加速实现的迭代过程中涉及的加、减、乘、除运算均在GPU内核中并行实现。
在步骤(5)中，迭代收敛条件可以为预设的最大迭代次数，也可以根据相邻两次迭代结果的差值设定收敛阈值，终止迭代；
相邻两次迭代结果与收敛阈值满足的关系为：
其中：为第t次迭代后的图像矩阵中第j元素值，为第t-1次迭代后的图像矩阵中第r元素值，N为图像矩阵中的元素总个数，ρ为收敛阈值，r为自然数且1≤j≤N。
本发明通过建立光片显微成像技术对于三维荧光样本的成像退化模型，针对光片荧光显微镜成像中图像所服从的泊松分布，选用传统的二维理查德森露西算法加以改进并运用于三维双视角图像的联合去卷积处理中，与此同时，将改进后的三维图像联合去卷积算法采用GPU加速，实现CPU和GPU端的运算，并通过GPU端程序的优化加快去卷积运算的速度。本发明有效地解决了双视角图像去卷积的问题，并且通过GPU快速，使本发明适于对光片荧光显微镜长时间连续成像的大批量数据进行处理。
附图说明
图1为本发明双视角图像处理的流程示意图；
图2为线虫胚胎荧光图像的原始图像视角A下在XY平面投影图；
图3为线虫胚胎荧光图像的原始图像视角B下在YZ平面投影图；
图4为线虫胚胎荧光图像去卷积之后的图像在YZ平面的投影图；
图5为线虫胚胎荧光图像去卷积之后的图像在XZ平面的投影图；
图6为线虫胚胎荧光图像去卷积之后的图像在XY平面的投影图。
具体实施方式
为了更为具体地描述本发明，下面结合附图及具体实施方式对本发明的技术方案进行详细说明。
如图1所示，本发明基于GPU加速的三维荧光显微图像的去卷积算法，包括如下步骤：
(1)使用双视角光片荧光显微镜采集生物样品视角A的图像矩阵fA和视角B的图像矩阵fB；并根据成像的衍射模型计算系统的点扩散函数hA和点扩散函数hB。
(2)对点扩散函数hA和点扩散函数hB进行如下翻转，分别得到翻转矩阵和并进行傅立叶变换，通过如下两个公式进行翻转过程，
其中i，j，k分别为元素的三维坐标；m，n，l分别为点扩散函数hs的三维维度大小。
(3)将图像矩阵fA和图像矩阵fB以相同的权重进行融合，即根据三维矩阵的总能量(元素总和)进行衡量，使两个视角图像矩阵的总能量相等。对于两个视角，初始总能量分别为：
其中：EA、EB分别为视角A、视角B的总能量，分别为视角A、视角B的图像矩阵中第r元素值，N为图像矩阵中的元素总个数，r为自然数且1≤r≤N。
对fB进行归一化，得到归一化的图像矩阵fB′，对于fB′的每一个元素有：
其中q表示任意一个元素，此时则有：
(4)设定迭代的初始值u0：
(5)对传统的理查德森露西算法改进并将其应用于双视角图像去卷积，建立迭代方程：
ut为第t次迭代的重建图像，为第t次迭代的中间变量图像。
(6)基于迭代方程和以上的预处理，采用GPU加速开始进行迭代去卷积过程，得到样品的真实荧光图像；
根据相邻两次迭代结果的差值设定收敛阈值，终止迭代；
相邻两次迭代结果与收敛阈值满足的关系为：
其中：为第t次迭代后的图像矩阵中第j元素值，为第t-1次迭代后的图像矩阵中第r元素值，N为图像矩阵中的元素总个数，ρ为收敛阈值，r为自然数且1≤j≤N。
迭代过程中涉及的加、减、乘、除运算均在GPU内核中并行实现。
在具体的实施过程中，本发明整个算法在Ubuntu 14.04LTS(64-bit)系统中测试，其中CPU为Dual-Intel E5-2690(2.6GHz)，主机内存为128GB RAM，显卡型号为NVIDIAM5000(8GB内存)。在编程中，采用CUDA(Compute Unified Device Architecture)平台来进行GPU的编程，平台基于C/C++语言，可以在多个程序开发环境中结合使用。对于傅立叶变换，使用CUDA内置的cuFFT工具包；为了实现卷积运算，在对图像和卷积进行尺度拓展之后，通过调用其中的傅里叶变换函数，将图像和卷积核投射到频域空间，在频域中做相乘之后，再通过傅里叶逆变换函数，返回到空域空间。
为验证本算法对于实验中三维生物荧光显微图像的处理能力，通过上述方法对用BV24标记的秀丽隐杆线虫(Caenorhabditis elegans,C.Elegans)胚胎的细胞核的双视角荧光图像进行联合去卷积处理。数据由diSPIM系统采集，对于各个视角，图像切片的厚度为1μm，在横向上，像素对应的实际大小为0.1625um×0.1625um。每一个视角图像的维度为240×360×40，重建后，图像的尺寸变为240×360×240，图像像素对应的实际尺寸在三个维度方向上都是0.1625um。如图2所示，原始视角A在Z轴方向上的图像比较模糊，而原始视角B在X轴方向上的图像较为模糊，如图3所示。经过本发明的联合去卷积处理后的图像在X、Y、Z三个方向上均有更加清晰，如图4，5，6所示。
同时记录并分析了算法的重建速度，并与在CPU中运行类似算法的时间作对比，结果如表1所示。从表1中可以看出，基于本发明设计的GPU和CPU去卷积程序，GPU相比于CPU对图像进行去卷积处理的速度提升效果是十分明显的，对于选取所的三个图像数据，GPU的去卷积处理速度接近或超过CPU的30倍，而且整体的处理速度倍率随图像数据尺寸增大有增大的趋势。
表1：CPU和GPU的运算时间对比
上述的对具体实施方式的描述是为便于本技术领域的普通技术人员能理解和应用本发明。熟悉本领域技术的人员显然可以容易地对上述具体实施方式做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于上述实施例，本领域技术人员根据本发明的揭示，对于本发明做出的改进和修改都应该在本发明的保护范围之内。

Claims (8)

1.一种基于GPU加速的三维荧光显微图像的去卷积算法，具体步骤如下：
(1)采集生物样品视角A、视角B的荧光图像，得到图像矩阵fA和图像矩阵fB，并获取每个视角系统的点扩散函数hA和点扩散函数hB；
(2)根据每个视角的图像矩阵及每个视角系统的点扩散函数，建立每个视角的成像退化模型：
其中，u为样品的真实荧光图像，表示卷积运算；
(3)对点扩散函数hA和点扩散函数hB进行翻转，分别得到翻转矩阵和并进行傅立叶变换，翻转公式为：
其中i，j，k分别为元素的三维坐标；m，n，l分别为点扩散函数的三维维度大小，且1≤i≤m，1≤j≤n，1≤k≤l；
(4)基于传统的理查德森露西算法，建立迭代方程：
其中ut为第t次迭代的重建图像，ut％为第t次迭代的中间变量图像； 分别为hA、hB的翻转矩阵；
(5)采用GPU加速进行迭代去卷积过程，得到样品的真实荧光图像。
2.根据权利要求1所述的基于GPU加速的三维荧光显微图像的去卷积算法，其特征在于：步骤(1)于CPU内核中实现，步骤(2)～(5)于GPU内核中实现。
3.根据权利要求1所述的基于GPU加速的三维荧光显微图像的去卷积算法，其特征在于：在步骤(1)中，所述的图像矩阵为三维矩阵。
4.根据权利要求1所述的基于GPU加速的三维荧光显微图像的去卷积算法，其特征在于：步骤(1)中所述的点扩散函数获取的方式为对荧光点进行成像或基于成像的衍射模型进行理论计算。
5.根据权利要求1所述的基于GPU加速的三维荧光显微图像的去卷积算法，其特征在于：在步骤(5)中，迭代的初始值u0的计算方法为：
(5-1)将图像矩阵fA和图像矩阵fB以相同的权重进行融合，对视角A、视角B，初始总能量分别为：
其中：EA、EB分别为视角A、视角B的总能量，分别为视角A、视角B的图像矩阵中第r元素值，N为图像矩阵中的元素总个数，r为自然数且1≤r≤N；
(5-2)对fB进行归一化，得到归一化的图像矩阵fB′，对于fB′的每一个元素有：
其中q表示任意一个元素，表示图像矩阵fB中第q元素值，表示图像矩阵fB′中第q元素值，此时则有：
其中，表示归一化的图像矩阵fB′中第r元素值，E′B表示归一化的视角A的总能量；
(5-3)设定迭代的初始值u0：
6.根据权利要求1所述的基于GPU加速的三维荧光显微图像的去卷积算法，其特征在于：在步骤(4)中，迭代收敛条件为预设的最大迭代次数或者根据相邻两次迭代结果的差值设定的收敛阈值。
7.根据权利要求6所述的基于GPU加速的三维荧光显微图像的去卷积算法，其特征在于：相邻两次迭代结果与收敛阈值满足的关系为：
其中：为第t次迭代后的图像矩阵中第j元素值，为第t-1次迭代后的图像矩阵中第r元素值，N为图像矩阵中的元素总个数，ρ为收敛阈值，r为自然数且1≤j≤N。
8.根据权利要求1所述的基于GPU加速的三维荧光显微图像的去卷积算法，其特征在于：所述的采用GPU加速实现的迭代去卷积过程中涉及的卷积运算均根据卷积定理通过傅立叶变换转化为在频域中作相乘处理。
CN201610910509.9A 2016-10-19 2016-10-19 一种基于gpu加速的三维荧光显微图像的去卷积算法 Active CN106530381B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610910509.9A CN106530381B (zh) 2016-10-19 2016-10-19 一种基于gpu加速的三维荧光显微图像的去卷积算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610910509.9A CN106530381B (zh) 2016-10-19 2016-10-19 一种基于gpu加速的三维荧光显微图像的去卷积算法

Publications (2)

Publication Number Publication Date
CN106530381A CN106530381A (zh) 2017-03-22
CN106530381B true CN106530381B (zh) 2019-01-29

Family

ID=58332494

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610910509.9A Active CN106530381B (zh) 2016-10-19 2016-10-19 一种基于gpu加速的三维荧光显微图像的去卷积算法

Country Status (1)

Country Link
CN (1) CN106530381B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107065159B (zh) * 2017-03-24 2019-10-18 南京理工大学 一种基于大照明数值孔径的大视场高分辨率显微成像装置及迭代重构方法
CN108520507B (zh) * 2018-03-07 2020-07-17 浙江大学 一种改进去卷积效率的多视角光片显微镜图像融合方法
CN109497955A (zh) * 2018-12-18 2019-03-22 聚品(上海)生物科技有限公司 人体自发荧光照明激发及图像处理系统及方法
CN110441271B (zh) * 2019-07-15 2020-08-28 清华大学 基于卷积神经网络的光场高分辨解卷积方法及系统
CN110706346B (zh) * 2019-09-17 2022-11-15 浙江荷湖科技有限公司 时空联合优化重建方法及系统
CN111476733B (zh) * 2020-04-07 2022-04-29 浙江大学 一种基于不匹配算子的显微镜图像去卷积加速算法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101061504A (zh) * 2004-11-17 2007-10-24 皇家飞利浦电子股份有限公司 通过迭代约束去卷积进行核医学2d平面图像的恢复
CN101639938A (zh) * 2009-08-28 2010-02-03 浙江大学 一种基于双边滤波器和余量去卷积的图像复原方法
US7679642B2 (en) * 2001-10-10 2010-03-16 Sony Computer Entertainment America Inc. Camera navigation in a gaming environment
CN101930601A (zh) * 2010-09-01 2010-12-29 浙江大学 一种基于边缘信息的多尺度模糊图像盲复原方法
CN103295192A (zh) * 2013-05-08 2013-09-11 西安电子科技大学 基于gpu加速的图像实时超分辨重建方法
CN103559729A (zh) * 2013-11-18 2014-02-05 首都师范大学 一种双能谱ct图像迭代重建方法
US8761533B2 (en) * 2011-05-05 2014-06-24 Mitsubishi Electric Research Laboratories, Inc. Method for performing image processing applications using quadratic programming
CN104966277A (zh) * 2015-07-10 2015-10-07 浙江大学 一种基于长短曝光图像对的图像复原方法
CN105447828A (zh) * 2015-11-23 2016-03-30 武汉工程大学 沿运动模糊路径进行一维反卷积的单视点图像去模糊方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7679642B2 (en) * 2001-10-10 2010-03-16 Sony Computer Entertainment America Inc. Camera navigation in a gaming environment
CN101061504A (zh) * 2004-11-17 2007-10-24 皇家飞利浦电子股份有限公司 通过迭代约束去卷积进行核医学2d平面图像的恢复
CN101639938A (zh) * 2009-08-28 2010-02-03 浙江大学 一种基于双边滤波器和余量去卷积的图像复原方法
CN101930601A (zh) * 2010-09-01 2010-12-29 浙江大学 一种基于边缘信息的多尺度模糊图像盲复原方法
US8761533B2 (en) * 2011-05-05 2014-06-24 Mitsubishi Electric Research Laboratories, Inc. Method for performing image processing applications using quadratic programming
CN103295192A (zh) * 2013-05-08 2013-09-11 西安电子科技大学 基于gpu加速的图像实时超分辨重建方法
CN103559729A (zh) * 2013-11-18 2014-02-05 首都师范大学 一种双能谱ct图像迭代重建方法
CN104966277A (zh) * 2015-07-10 2015-10-07 浙江大学 一种基于长短曝光图像对的图像复原方法
CN105447828A (zh) * 2015-11-23 2016-03-30 武汉工程大学 沿运动模糊路径进行一维反卷积的单视点图像去模糊方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Swoger J等.Multi-view image fusion improves resolution in three-dimensional microscopy.《Optics express》.2007,第15卷(第13期),第8029-8042页.
医学免疫学研究中激光共聚焦显微镜的应用;张馨予等;《天津医科大学学报》;20080615;第14卷(第2期);第268-273页

Also Published As

Publication number Publication date
CN106530381A (zh) 2017-03-22

Similar Documents

Publication Publication Date Title
CN106530381B (zh) 一种基于gpu加速的三维荧光显微图像的去卷积算法
Lehmussola et al. Computational framework for simulating fluorescence microscope images with cell populations
CN105158893B (zh) 基于lcd液晶面板的可编程孔径显微镜系统的光场成像方法
CN108169173A (zh) 一种大视场高分辨三维衍射层析显微成像方法
Reljić et al. Photogrammetric 3D Scanning of Physical Objects: Tools and Workflow.
CN108509887A (zh) 一种获取环境光照信息方法、装置和电子设备
Engelkes et al. A simple setup for episcopic microtomy and a digital image processing workflow to acquire high-quality volume data and 3D surface models of small vertebrates
Kim et al. Synchrotron X‐ray microscopic computed tomography of the pump system of a female mosquito
JP2008259697A (ja) 画像処理方法および装置ならびにプログラム
Ammirato et al. Active vision dataset benchmark
CN108520507B (zh) 一种改进去卷积效率的多视角光片显微镜图像融合方法
Wiesner et al. Generative modeling of living cells with so (3)-equivariant implicit neural representations
Zhu et al. Noise-robust phase-space deconvolution for light-field microscopy
CN108226926B (zh) 一种基于组网雷达的三维散射分布重构方法
Krauze et al. Total variation iterative constraint algorithm for limited-angle tomographic reconstruction of non-piecewise-constant structures
Ulman et al. TRAgen: a tool for generation of synthetic time-lapse image sequences of living cells
Malkin et al. CUDA-Optimized real-time rendering of a Foveated Visual System
Geier et al. Correlative 3D anatomy and spatial chemistry in animal-microbe symbioses: developing sample preparation for phase-contrast synchrotron radiation based micro-computed tomography and mass spectrometry imaging
CN109146790A (zh) 一种图像重构方法、装置、电子设备和存储介质
CN110967827A (zh) 一种基于光场微型显微系统的成像建模方法及装置
Friborg et al. GPU accelerated likelihoods for stereo-based articulated tracking
Yoshino et al. Geometrical properties of skeletal structures of radiolarian genus didymocyrtis
CN108345098A (zh) 一种光场显微转换模块
Ceylan et al. Uterus and myoma histomorphology
Kerepecky et al. Dual-cycle: Self-supervised dual-view fluorescence microscopy image reconstruction using cyclegan

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant