CN105973164B - 一种基于像素偏振片阵列的数字全息显微方法 - Google Patents
一种基于像素偏振片阵列的数字全息显微方法 Download PDFInfo
- Publication number
- CN105973164B CN105973164B CN201610289036.5A CN201610289036A CN105973164B CN 105973164 B CN105973164 B CN 105973164B CN 201610289036 A CN201610289036 A CN 201610289036A CN 105973164 B CN105973164 B CN 105973164B
- Authority
- CN
- China
- Prior art keywords
- phase
- amplitude
- interference
- micro
- polarization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/2441—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using interferometry
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Holo Graphy (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明涉及一种基于像素偏振片阵列的数字全息显微方法,利用微偏振片阵列相机作为相移偏振光路中的相移器和感光元件来记录物光和参考光干涉形成的全息图;从微偏振片阵列相机记录采集的全息图中提取四个偏振方向的干涉图;利用线性插值等插值方法将提取的四个偏振方向干涉图恢复到原始全息图的大小,避免分辨率损失;利用四个偏振方向的干涉图和相移干涉算法计算得到物光波前振幅图和相位图;利用滤波算法对物光波前振幅和相位进行滤波,消除噪声;根据衍射积分的反演算法,利用物光波前振幅图和相位图实现对观测物体三维形貌的实时显微重构。
Description
技术领域
本发明属于或涉及细胞等微小物体的显微成像领域,具体来讲,本发明提出了一种对于微米尺度物体进行实时超景深三维成像的方法,该方法主要基于像素偏振片阵列。偏振片阵列每一个结构单元的尺寸与所搭配使用的图像传感器(CCD或CMOS)像素尺寸相匹配。将其应用于数字相移干涉技术中,不同于传统的四步相移方法,该方法可以实时解算出显微物体在检测面的振幅与相位分布图。通过衍射的反演算法,用计算机做“透镜”可以实时得到成像物体的三维形貌图像。
背景技术
数字全息显微技术是基于数字全息技术的一种显微观察手段。受到观测物体调制的物光和参考光进行干涉形成全息图,利用CCD等光电记录器件将全息图数字化存入计算机,然后通过相应的算法模拟光学衍射过程,可在计算机中再现被测物体的三维信息。数字全息显微可应用于材料表面三维形貌测量,细胞无损立体观察及MEMS传感器动态性能测量等诸多领域。
目前实现数字全息显微的传统方法主要为离轴数字全息和同轴相移数字全息。
离轴数字全息可以消除衍射再现过程中零级像和共轭像的干扰,但该方法要求精确的光路布置,并且受到目前光电记录器件分辨率的限制,影响重建图像的分辨率。
同轴相移数字全息利用相移技术消除零级像和共轭像的干扰,可充分利用CCD空间带宽积,改善再现图像的质量。实现多图相移干涉的方法主要有多CCD记录法、平行分隔法。多CCD记录法成本较高,对隔振也有严格的要求,并且需要对拍摄的多幅图像进行像素级位置匹配[7]。平行分隔法将不同相移的图像投射到CCD靶面的不同空间区域,这种方法同样需要进行图像位置匹配,并且缩小了视场范围。
此外,传统方法的重构算法冗余耗时,而且重建像中含有零级和正负一级衍射像,因而分离零级和负一级共轭像时会导致重建图像的分辨率降低。传统四步相移法虽然可以消除干涉光路中形成的零级斑,但只适合于静态物体的数字全息重建,不能用于活细胞观测。
发明内容
本发明技术解决问题:克服现有技术的不足,提供一种基于像素偏振片阵列的数字全息显微方法,该方法主要基于像素偏振片阵列相机。利用封装了像素偏振片的CCD相机记录测量光路中被测物体的干涉条纹。采集单帧图像即可实时获得显微物体的振幅和相位信息,并通过计算机算法反演重构出物体的三维形貌。摆脱了传统离轴数字全息成像方法成像中零级和共轭光斑带来的干扰,避免了大量矫正计算,大幅提高全息图像的重建效率和图像分辨率。此外,相较于传统同轴全息显微成像技术这种方法简化了装置结构,无需进行图像位置的像素尺度匹配,稳定性高,可实现实时、高速、动态显微测量。
本发明技术解决方案:一种基于像素偏振片阵列的数字全息显微方法,实现步骤如下:
(1)利用微偏振片阵列相机作为相移偏振光路中的相移器和感光元件来记录物体干涉的全息图;
(2)从微偏振片阵列相机记录采集的全息图中提取任意四个不同偏振方向的干涉条纹图;
(3)利用线性插值方法将提取的四个偏振方向干涉图恢复到原始全息图的大小,避免分辨率损失;
(4)利用四个偏振方向的干涉图和相移干涉算法计算得到物光的波前振幅图和相位图;
(5)利用滤波算法对物光的波前振幅和相位进行滤波,消除噪声;
(6)根据菲涅耳积分的反演算法,利用物光的波前振幅和相位信息实现对观测物体三维形貌的实时显微重构。
所述步骤(3)中的利用线性插值方法将提取的四个偏振方向干涉图恢复到原始全息图的大小的过程如下:
(1)将四个不同偏振方向对应的像素点的灰度值提取出来,按照其行列数位置放在与原灰度值矩阵大小相等的对应赋值矩阵中;
(2)对赋值矩阵的空单元进行线性插值,如果与空单元Ii,j左右相邻的单元Ii-1,j和
Ii+1,j不为空,则如果与空单元Ii,j上下相邻的单元Ii,j-1和Ii,j+1不为空,则如果与空单元Ii,j相邻的单元Ii-1,j,Ii+1,j,Ii,j-1,Ii,j+1都为空,则
所述步骤(4)利用四个偏振方向的干涉图和相移干涉算法计算得到物光波前振幅和相位图的过程如下:
(1)利用像素偏振片阵列在偏振相移干涉装置中可以同时记录四幅不同偏振方向的干涉图I(0),I(π/4),I(π/2),I(3π/4);
(2)根据相移干涉公式:计算出全息图的相位信息图以及全息的振幅信息图:
其中Is,Ir分别表示全息图的物光强度图以及参考光的强度图,α为相移量,即像素偏振单元的偏振方向。
所述步骤(5)利用滤波算法对全息振幅和相位进行滤波的过程如下:
(1)利用小孔滤波对全息振幅图进行空间滤波,生成滤波后的全息振幅图
(2)利用Window Fourier Ridge和Window Fourier Transform等算法,选取适当的高斯窗口参数以及频率阈值即可对全息相位图滤波,将其高频噪声消除,最终得到滤波后的全息相位图
所述步骤(6)根据菲涅耳积分的反演算法,利用全息振幅图和相位图实现对观测物体的振幅和相位进行实时显微重构的过程如下:
根据得到的滤波后的全息振幅与相位图和菲涅耳积分的反演算法可以得到物光的真实相位图以及真实的振幅信息图其中C为传播距离有关的参数,r2表示的是与参考原点的距离矩阵,FFT表示的是快速傅立叶算法,abs和angle分别表示取模和取幅角运算,为显微物体的重构振幅图像,表示显微物体的重构相位包裹图像;将像素偏振片阵列应用于显微干涉光路中,对透明细胞等的相位型物体以及金属纳米材料的振幅型物体实现实时三维超景深显微成像。
本发明与现有技术相比的优点在于:
(1)本发明应用于相移测量中时,采集一帧图像即可获得显微样本的光强和相位信息,因此可用来测量动态显微物体的光强和相位信息,既克服了传统时间相移法不能测量动态物体的缺点,又克服了传统空间相移法需要精确地位置匹配和灰度矫正的缺点。
(2)本发明利用计算机算法来反演物体在不同高度平面的像,可以做到实时还原测量物体三维形貌。
(3)本发明利用计算机算法来反演不同景深物体所成的像,可以摆脱传统显微成像因为物镜景深较短造成的散焦问题。
(4)本发明由于测量方法基于偏振相移法,所以可以避免图像重构时出现零级和负一级斑,提高了全息图像重建的效率以及分辨率。
(5)本发明基于像素的偏振片阵列可以和感光元件(CCD或CMOS)集成到一起,不需要在具体应用时对准,大大降低了使用繁琐程度。
(6)本发明对抗振要求不高,因此使用范围更广。
附图说明
图1为本发明方法实现流程图;
图2为像素偏振片阵列示意图;
图3由单帧图像拆分为四幅图像示意图;
图4单帧图像差值平均获得同等分辨率的四幅图像示意图;
图5实时数字全息显微的工作图;
图6实施案例的实验结果图。
具体实施方式
下面结合具体实施例子对本发明在制备微偏振片阵列上做进一步说明,但不限制本发明。
像素偏振片阵列的结构示意图如图2所示,每个单元的尺寸与所要装配的感光元件(CCD或CMOS)的像素尺寸一致,相邻的每2×2单元构成一个子单元,子单元内四个单元的透偏振方向不同,分别为0,π/4,π/2,3π/4。像素偏振片阵列需要与感光元件集成在一起使用,阵列单元与感光元件单元要一一对准,两者之间的距离要尽可能小。
每个子单元内的四个像素单元所获得的光强值并不是相互独立的,已知其中三个像素单元的光强值即可算出另一个像素单元的光强值,因此也可只制作具有三个相位延迟量的像素偏振片阵列。
如图1所示,本发明的方法具体实现如下:
(1)利用微偏振片阵列相机作为相移偏振光路中的相移器和感光元件来记录物体干涉的全息图。
实验光路图如图5所示。由激光器发出的激光经扩束准直后,照射到偏振分光棱镜1上,被分为两束互相垂直的线偏振光。一束向前透过非偏振分光棱镜1照射到观测样本上,透过样本携带物光信息。另一束线偏振光分别经过偏振分光棱镜1、物镜2和非偏振分光棱镜2反射成为参考光。物光和参考光于偏振分光棱镜2处汇合,经四分之一波片后分别被调制为左旋圆偏振光和右旋圆偏振光,并被集成了像素偏振片阵列的相机采集。
(2)从微偏振片阵列相机记录采集的全息图中提取四个偏振方向的干涉图。
将采集的图片中相同透偏振方向单元像素分别取出,可重新组合为四幅图片,如图3所示。其中图3中的a为由集成了像素偏振片阵列的相机拍摄的单帧图像,将四种透偏振方向的图像灰度值取出,重新组合为四幅干涉图像,如图3中的b所示,分别代表透偏振方向为0,π/4,π/2和3π/4时CCD所采集到的图像,其光强值分别为I(0),I(π/4),I(π/2)和I(3π/4)。
(3)利用线性插值等插值方法将提取的四个偏振方向干涉图恢复到原始全息图的大小,避免分辨率损失。
将四个不同偏振方向对应的像素点的灰度值提取出来,按照其行列数位置放在与原灰度值矩阵大小相等的对应赋值矩阵中。对赋值矩阵的空单元进行线性插值,如果与空单元Ii,j左右相邻的单元Ii-1,j和Ii+1,j不为空,则如果与空单元Ii,j上下相邻的单元Ii,j-1和Ii,j+1不为空,则如果与空单元Ii,j相邻的单元Ii-1,j,Ii+1,j,Ii,j-1,Ii,j+1都为空,则依照如上的步骤可以实现对四个偏振方向干涉的插值填充,避免分辨率降低。
(4)利用四个偏振方向的干涉图和相移干涉算法计算得到物光波前振幅和相位图。
被相机采集的光强与偏振片单元的偏振角有关,如下公式所示:
其中Is为物光光强,Ir为参考光光强。由于参考光为平行光,因此φ可视为物光相位。α为偏振片单元的透偏振角度。可得:
从而物光波前振幅和相位分别为:
(5)利用滤波算法对全息振幅和相位进行滤波,消除噪声。
利用小孔滤波对全息振幅图进行空间滤波,生成滤波后的全息振幅图利用Window Fourier Ridge和Window Fourier Transform等算法,选取适当的高斯窗口参数(本发明实施例选为10)以及频率阈值即可对全息相位图滤波,将其高频噪声消除,最终得到滤波后的全息相位图
(6)根据菲涅耳积分的反演算法,利用全息振幅图和相位图实现对观测物体的振幅和相位的实时显微重构。
利用滤波后的物光波前振幅与相位图和衍射积分的反演算法可以得到物光的真实相位图以及真实的振幅信息图其中C为传播距离有关的参数,r2表示的是与参考原点的距离矩阵。FFT表示的是快速傅立叶算法。abs和angle分别表示取模和取幅角运算。为显微物体的重构振幅图像,表示显微物体的重构相位包裹图像。因此,将像素偏振片阵列应用于显微干涉光路中,可对微小物体进行实时三维超景深显微成像。
实施案例1.基于上述的发明技术原理,以下为具体的实施案例。测量样本为一个写有“光”字的不透明小薄板,“光”字所在区域是透光的。实验光路图如图5所示。由激光器发出的激光经扩束准直后,照射到偏振分光棱镜1上,被分为两束互相垂直的线偏振光。一束向前透过非偏振分光棱镜1照射到如图6(a)的测量样本上,透过样本携带物光信息。另一束线偏振光分别经过偏振分光棱镜1、物镜和非偏振分光棱镜2反射成为参考光。物光和参考光于偏振分光棱镜2处汇合,经四分之一波片后分别被调制为左旋圆偏振光和右旋圆偏振光,并被集成了像素偏振片阵列的相机采集。将采集的图片中相同透偏振方向单元像素分别取出,可重新组合为四幅图片,如图3所示。将四种透偏振方向的图像灰度值取出,重新组合为四幅干涉图像,如图6中的b所示,分别代表透偏振方向为0,π/4,π/2和3π/4时CCD所采集到的干涉图像,其光强值分别为I(0),I(π/4),I(π/2)和I(3π/4)。该方法使得图像分辨率降低,也可采用图三方式,用差值平均方法补充数据值,使得图像分辨率不变。比如,某一偏振方向(0,π/4,π/2,3π/4)的一个空像素如果相邻两像素的值不为空则取两相邻像素的均值进行填充,如果相邻的两像素的值为空,则取以该空像素为中心、大小为3x3的矩阵中的像素灰度值均值进行填充。在得到插值填充后的不同偏振方向干涉图像后,根据等式相移干涉公式(6)-(12)即可实时解算出检测样本的物光波前振幅和相位图像,如图6中的(c)和(d)。经过滤波处理并利用衍射积分的反演公式(13)和(14)即可重构得到物体的真实振幅和相位信息,实现对物体地实时显微成像。
提供以上实施例仅仅是为了描述本发明的目的,而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改,均应涵盖在本发明的范围之内。
Claims (1)
1.一种基于像素偏振片阵列的数字全息显微方法,其特征在于实现步骤如下:
(1)利用微偏振片阵列相机作为相移偏振光路中的相移器和感光元件来记录物体干涉的全息图;
(2)从微偏振片阵列相机记录采集的全息图中提取任意四个不同偏振方向的干涉条纹图;
(3)利用线性插值方法将提取的四个偏振方向干涉图恢复到原始全息图的大小,避免分辨率损失;
(4)利用四个偏振方向的干涉图和相移干涉算法计算得到物光的波前振幅图和相位图;
(5)利用滤波算法对物光的波前振幅和相位进行滤波,消除噪声;
(6)根据菲涅耳积分的反演算法,利用物光的波前振幅和相位信息实现对观测物体三维形貌的实时显微重构;
所述步骤(3)中的利用线性插值方法将提取的四个偏振方向干涉图恢复到原始全息图的大小的过程如下:
(11)将四个不同偏振方向对应的像素点的灰度值提取出来,按照其行列数位置放在与原灰度值矩阵大小相等的对应赋值矩阵中;
(12)对赋值矩阵的空单元进行线性插值,如果与空单元Ii,j左右相邻的单元Ii-1,j和Ii+1,j不为空,则如果与空单元Ii,j上下相邻的单元Ii,j-1和Ii,j+1不为空,则如果与空单元Ii,j相邻的单元Ii-1,j,Ii+1,j,Ii,j-1,Ii,j+1都为空,则
所述步骤(4)利用四个偏振方向的干涉图和相移干涉算法计算得到物光波前振幅和相位图的过程如下:
(21)利用像素偏振片阵列在偏振相移干涉装置中可以同时记录四幅不同偏振方向的干涉图I(0),I(π/4),I(π/2),I(3π/4);
(22)根据相移干涉公式:计算出物光波前的相位信息图以及振幅信息图:
其中Is,Ir分别表示全息图的物光强度图以及参考光的强度图,α为相移量,即像素偏振单元的偏振方向;
所述步骤(5)利用滤波算法对物光波前振幅和相位进行滤波的过程如下:
(31)利用小孔滤波对全息振幅图进行空间滤波,生成滤波后的全息振幅图
(32)利用WindowFourierRidge和WindowFourierTransform算法,选取适当的高斯窗口参数以及频率阈值即可对物光波前相位图滤波,将其高频噪声消除,最终得到滤波后的物光波前相位图
所述步骤(6)根据衍射积分的反演算法,利用全息振幅图和相位图实现对观测物体的振幅和相位进行实时显微重构的过程如下:
根据得到的滤波后的全息振幅与相位图和菲涅耳积分的反演算法可以得到物光的真实相位图以及真实的振幅信息图其中C为传播距离有关的参数,r2表示的是与参考原点的距离矩阵,FFT表示的是快速傅立叶算法,abs和angle分别表示取模和取幅角运算,为显微物体的重构振幅图像,表示显微物体的重构相位包裹图像;将像素偏振片阵列应用于显微干涉光路中,对透明细胞的相位型物体以及金属纳米材料的振幅型物体实现实时三维超景深显微成像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610289036.5A CN105973164B (zh) | 2016-04-29 | 2016-04-29 | 一种基于像素偏振片阵列的数字全息显微方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610289036.5A CN105973164B (zh) | 2016-04-29 | 2016-04-29 | 一种基于像素偏振片阵列的数字全息显微方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105973164A CN105973164A (zh) | 2016-09-28 |
CN105973164B true CN105973164B (zh) | 2019-02-12 |
Family
ID=56994389
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610289036.5A Active CN105973164B (zh) | 2016-04-29 | 2016-04-29 | 一种基于像素偏振片阵列的数字全息显微方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105973164B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3585045B1 (en) * | 2017-02-15 | 2023-11-01 | Sony Group Corporation | Information processing device, information processing method, and program |
CN107014490A (zh) * | 2017-04-17 | 2017-08-04 | 大连理工大学 | 一种分焦面型实时偏振成像系统 |
CN107145052B (zh) * | 2017-05-24 | 2019-07-09 | 上海交通大学 | 基于数字插值和相位迭代的全息显微成像方法 |
JP7207303B2 (ja) * | 2017-07-12 | 2023-01-18 | ソニーグループ株式会社 | 撮像装置、画像生成方法、撮像システム |
CN110392186B (zh) * | 2018-04-13 | 2021-10-01 | 合肥京东方显示技术有限公司 | 减少雾霾影响的成像装置及成像方法 |
US10830709B2 (en) * | 2018-09-28 | 2020-11-10 | Onto Innovation Inc. | Interferometer with pixelated phase shift mask |
CN110095085A (zh) * | 2019-05-31 | 2019-08-06 | 西安工业大学 | 一种实时相移共光路干涉显微装置和方法 |
CN111121675B (zh) * | 2019-12-11 | 2021-09-03 | 南京理工大学 | 一种用于微球表面显微干涉测量的视场扩展方法 |
CN112363177B (zh) * | 2020-10-26 | 2022-08-05 | 哈尔滨工业大学 | 基于相邻像元纠缠调控滤噪的光子计数激光雷达 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8665504B2 (en) * | 2007-11-22 | 2014-03-04 | National University Corporation Kyoto Institute Of Technology | Digital holography device and phase plate array |
JP5891566B2 (ja) * | 2011-02-25 | 2016-03-23 | 国立大学法人京都工芸繊維大学 | デジタルホログラフィ装置、及びデジタルホログラフィによる画像生成方法 |
CN103969840B (zh) * | 2013-01-25 | 2017-05-03 | 中国科学技术大学 | 基于金属纳米光栅的微偏振片阵列及其制备方法 |
CN103454712B (zh) * | 2013-09-10 | 2015-11-18 | 中国科学技术大学 | 基于像素的波片阵列及其制备方法 |
-
2016
- 2016-04-29 CN CN201610289036.5A patent/CN105973164B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN105973164A (zh) | 2016-09-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105973164B (zh) | 一种基于像素偏振片阵列的数字全息显微方法 | |
JP5691082B2 (ja) | 偏光イメージング装置および偏光イメージング方法 | |
JP5648193B2 (ja) | 干渉計測装置および干渉計測方法 | |
US20140347672A1 (en) | Apparatus and method for quantitive phase tomography through linear scanning with coherent and non-coherent detection | |
JPWO2018147473A1 (ja) | 3次元物体情報計測装置 | |
WO2019044336A1 (ja) | ホログラフィック撮像装置および同装置に用いるデータ処理方法 | |
CN107885070B (zh) | 一种基于slm的非相干数字全息单次曝光成像方法与系统 | |
CN102865811A (zh) | 基于正交双光栅的同步移相共光路干涉显微检测装置及检测方法 | |
CN102914257A (zh) | 分光同步移相干涉显微检测装置及检测方法 | |
JPWO2015040925A1 (ja) | デジタルホログラフィ装置およびデジタルホログラフィ方法 | |
CN102954757A (zh) | 基于同步载频移相的干涉显微检测装置与检测方法 | |
CN107462150A (zh) | 基于一维周期光栅和点衍射的双视场数字全息检测装置与方法 | |
CN101477326A (zh) | 多视角图形输入的三维图形直写方法 | |
CN115436658A (zh) | 基于单光场相机双视角的高分辨率三维流场测试方法及系统 | |
CN107388986A (zh) | 基于二维相位光栅和点衍射的双视场数字全息检测装置与方法 | |
CN107356195B (zh) | 基于二维周期光栅和点衍射的三视场数字全息检测装置与方法 | |
EP3977096A1 (en) | System for spatial multiplexing | |
Javidi et al. | Three-dimensional holographic image sensing and integral imaging display | |
KR100910642B1 (ko) | 홀로그래피 기법에 의해 획득된 영상의 3차원 집적 영상복원 방법 및 장치 | |
EP4260026A1 (en) | Totagraphy: coherent diffractive/digital information reconstruction by iterative phase recovery using special masks | |
CN102914258A (zh) | 基于正交双光栅的同步移相干涉显微检测装置及检测方法 | |
Fructuoso et al. | Photoelastic analysis of partially occluded objects with an integral-imaging polariscope | |
CN102954758A (zh) | 基于同步载频移相的干涉检测装置与检测方法 | |
Phan et al. | Super-resolution digital holographic microscopy for three dimensional sample using multipoint light source illumination | |
KR101733346B1 (ko) | 직접영상 시스템에서 정치 실영상 구현을 위한 요소영상 변환 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |