CN103823353B - 基于微球体的亚波长超分辨率数字全息成像系统 - Google Patents
基于微球体的亚波长超分辨率数字全息成像系统 Download PDFInfo
- Publication number
- CN103823353B CN103823353B CN201410085752.2A CN201410085752A CN103823353B CN 103823353 B CN103823353 B CN 103823353B CN 201410085752 A CN201410085752 A CN 201410085752A CN 103823353 B CN103823353 B CN 103823353B
- Authority
- CN
- China
- Prior art keywords
- hologram
- microsphere
- digital
- testing sample
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Holo Graphy (AREA)
- Microscoopes, Condenser (AREA)
Abstract
本发明涉及一种基于微球体的亚波长超分辨率数字全息成像系统,包括全息图自动采集控制模块,数字全息图记录模块,数字全息图预处理模块,全息图数值分析和处理模块,相衬图像显示模块。其中,全息图自动采集控制模块利用Labview软件控制曝光时间、图像采集速度;数字全息图记录模块包括激光器、待测样品以及完成全息图形成的光学器件,其中的待测样品进行前期微球铺置,可利用丙酮或水对微球体进行稀释,将稀释好的微球体溶液用滴管将少量溶液滴到待测样品上,静置至丙酮或水挥发完毕,完成微球体的单层铺置。本发明采用微球体和显微物镜对微细结构进行两次放大,可实现微纳结构的三维相衬成像,横向分辨率可突破衍射极限,且系统结构简单,成本低。
Description
技术领域
基于微球体的亚波长超分辨率数字全息成像系统属于高分辨率成像和数字全息技术领域,涉及一种超分辨率数字全息成像装置,特别是基于微球体收集近场倏逝波的亚波长超分辨率数字全息成像装置。
背景技术
随着纳米科学和微电子技术的快速发展,微加工工艺和微纳元件得到了广泛应用,为了对微细结构进行定量的检测和评估,迫切需求与之配套的高精度微纳结构检测技术。与传统的光学成像方法相比较,数字全息显微成像具有全视场、非接触、无损伤和定量检测的独特优势,是一种具有发展潜力的微细结构检测方法。由于当前数字全息光路设计,CCD、CMOS等图像成像器件的感光尺寸和像元尺寸的限制,这大大降低了数字全息显微成像系统的分辨率,因此如何提高数字全息显微成像系统的分辨率已经成为数字全息成像领域中的关键问题之一。
针对此问题,目前已经提出了多种超分辨率数字全息成像方法,1)空间复用技术:采用CCD扫描的方法获取衍射光不同位置的信息,然后将不同位置的全息图进行合成再现,或者将CCD移动亚像素级的距离记录多幅全息图,通过数据融合分析降低了CCD像素的有效尺寸,达到提高分辨率的目的。2)多光束照明技术:利用物体频移与倾斜照明光的关系,通过改变照明光波的入射方向依次记录一系列的数字全息图,将他们按一定方式合成进行再现。3)光栅技术:将原本落在CCD之外的高频谱利用光栅收集起来,然后将再现的不同衍射级合成再现提高分辨率。虽然这些超分辨率方法均有效地提高了系统的数值孔径,但这些方法的出发点都是如何更多的收集远场的高频信息,而没有有效的利用蕴含亚波长信息的近场倏逝波,因此目前的成像系统不能实现亚波长的成像分辨率。2011年Wang等人在NatureCommunicaitions期刊上发表了题为“Opticalvirtualimagingat50nmlateralresolutionwithawhite-lightnanscope”的论文,利用透明微球体实现了突破白光衍射极限的成像,其横向分辨率达到50nm。Hao等人2011年在AppliedPhysicsLetters期刊上发表了题为“Microspherebasedmicroscopewithopticalsuper-resolutioncapacity”的论文,利用角谱理论和散射理论解释微球体成像问题。然而Wang和Hao等人均将微球体超级透镜与普通的光学显微镜相结合获取了亚波长的横向分辨率,但不能检测物体的轴向信息,即这些方法不能反映物体的三维形貌信息。
发明内容
本发明的目的是提供一种基于微球体的亚波长超分辨率数字全息成像装置,可实现待测样品的三维相衬成像,且其横向分辨率可以突破衍射极限,具有成像分辨率高,实现简单,价格低廉的优势。
为了实现上述目的,本发明设计了一种基于微球体的亚波长超分辨率数字全息成像系统,由全息图自动采集控制模块、数字全息图记录模块、数字全息图预处理模块、全息图数值分析和处理模块、相衬图像显示模块组成,其中,
所述全息图自动采集控制模块17利用Labview软件输出控制信号b控制曝光时间、图像采集速度;
所述数字全息图记录模块包括激光器,半波片,偏振分束棱镜,光纤耦合器,第一光纤跳线5和第二光纤跳线7,光纤衰减器,光纤准直镜,已经铺置了微球体的待测样品9,三维调整架,手动可调放大倍率显微物镜10,反射镜,衰减器,扩束准直单元,反用的显微物镜14,合束棱镜,图像传感器16,其中,激光器1发射激光束a1,半波片2和偏振分束棱镜3联合控制从偏振分束棱镜3出射的光束a2和光束a8的光强比例,光束a2通过光纤耦合器4进第一光纤跳线5输出光束a3,光束a3输入光纤衰减器6,经光纤衰减器6调节光强输出光束a4,光束a4输入第二光纤跳线7,第二光纤跳线7与光纤准直镜8连接,输出平行光束a5,该平行光束照明待测样品9输出光束a6,待测样品9已经进行了前期微球铺置工作18,待测样品放置在三维调整架19上,以便调整待测视场和物距,光束a6入射手动可调放大倍率显微物镜10输出光束a7,光束a7即为经过手动可调放大倍率显微物镜放大的物光波;偏振分束棱镜3出射的光束a8经过反射镜11入射衰减器12输出光束a9,并经过由显微物镜和透镜构成的扩束准直单元13得到平行光束a10,利用反用的显微物镜14获得球面参考光a11;物光波a7和参考光a11入射合束棱镜15,由图像传感器16在全息图自动采集控制模块17输出的控制信号b的控制下定时记录全息图至全息图自动采集控制模块17,得到数字全息图数据c;
所述数字全息图预处理模块对全息图自动采集控制模块17中的数字全息图数据c进行预处理,利用切趾滤波降低边缘衍射效应,提高图像信噪比;
所述全息图数值分析和处理模块对预处理后的数字全息图进行数值再现等处理实现三维相衬成像,利用Labview软件自动进行操作,流程如下:
S1:利用频谱滤波法获取正1级像;
S2:利用角谱法再现在不同再现距离处u1平面处的再现图像;
S3:采用自动数字对焦算法查找在d±d’范围内再现时图像最清晰的再现距离,获得物体在u1平面的准确再现振幅像,其中,d为记录距离,d’为最大测量误差;
S4:采用曲面拟合方法去除相位畸变,得到u1平面准确再现相位像;
S5:利用微球体成像关系获得物体的三维相衬像;
所述相衬图像显示模块利用Labview软件对所述全息图数值分析和处理模块输出的三维相衬像进行显示。
所述已经铺置了微球体的待测样品采用如下方法得到,利用丙酮或水对微球体进行稀释,将稀释好的微球体溶液用滴管将少量溶液滴到待测样品上,静置至丙酮或水挥发完毕,完成微球体的单层铺置。
所述激光器采用532nm单纵模激光器MSL-ΙΙΙ-532nm-50mw,出光孔光斑直径约为2mm,功率稳定性为3%。。
本发明的工作原理为:激光器发出的激光经过分束、耦合、衰减和扩束准直获得平行光束,该平行光束照明经过微球体铺置的待测样品,利用微球体收集待测样品的微纳结构的近场倏逝波,并将其转换为可以远场传播的光波,这里微球体的功能是对待测样品进行首次放大。该远场传播的放大的物光波通过显微物镜再次放大,并记录经过二次放大后的物光波与参考光波的干涉图样,得到数字全息图,此全息图已经记录下了蕴含近场倏逝波的亚波长信息。再利用全息图预处理、数值再现、相位去畸变算法可以计算得到一次放大后的光场分布,再结合微球体的成像特性可获取物体三维相衬像,进而获取物体的三维微纳结构信息。
本发明由于采用如上技术方案,其具有以下特点:1、本发明采用微球体和显微物镜对微细结构进行两次放大,可以基于数字全息显微成像装置记录蕴含近场倏逝波的微细结构信息,进而使该数字全息成像装置突破衍射极限,实现亚波长的横向分辨率,同时利用数字全息系统还可记录下物体的轴向信息,可以通过数值分析和处理定量获得物体的轴向信息,从而本发明的成像装置可以实现微纳结构的三维相衬成像,且其横向分辨率高达亚波长量级。2、本发明实现超分辨率的关键是对待测样品进行微球体单层铺置,并没有大大增加数字全息显微成像装置的复杂度,且微球体价格低廉,与其他超分辨率数字全息成像系统相比,系统结构简单,成本低。
本发明的有益效果是:通过将微球体收集近场倏逝波的功能与数字全息可实现三维相衬成像优势融合起来,对微纳结构进行二次放大,并结合数值再现、自动对焦、相位畸变校正算法和微球体成像理论,使得该超分辨率数字全息成像系统实现无损定量的三维相衬成像,且其横向分辨率突破传统的衍射极限,达到亚微米量级,该方法将为日益微型化的微纳元件、微流控芯片等元件的微细结构检测提供一种超衍射极限分辨率、全视场的检测方法。
附图说明
图1为本发明基于微球体的亚波长超分辨率数字全息成像系统的结构示意图;
图2为本发明基于微球体的亚波长超分辨率数字全息成像系统的数字全息图记录模块的结构示意图;
图3为本发明基于微球体的亚波长超分辨率数字全息成像系统中全息图数值分析和处理模块的流程图。
图中:1-激光器;2-半波片;3-偏振分束棱镜;4-光纤耦合器;5-第一光纤跳线;6-光纤衰减器;7-第二光纤跳线7;8-光纤准直镜;9-待测样品;10-手动可调放大倍率显微物镜;11-反射镜;12-衰减器;13-扩束准直单元;14-反用的显微物镜;15-合束棱镜;16-图像传感器;17-全息图自动采集控制模块;18-前期微球铺置工作。
具体实施方式
下面结合附图和具体实施例对本发明进行详细的描述说明。
如图1所示,本发明包括全息图自动采集控制模块、数字全息图记录模块、数字全息图预处理模块、全息图数值分析和处理模块、相衬图像显示模块,且全息图记录模块中的待测样品需要进行前期微球铺置18。其中,全息图自动采集控制模块控制数字全息图记录模块对待测样品的全息图定时记录,并采集全息图数据信息;数字全息图预处理模块对全息图数据信息进行切趾滤波降低边缘衍射效应,提高图像信噪比;全息图数值分析和处理模块对预处理后的数字全息图进行数值分析,得到三维相衬像;相衬图像显示模块将三维相衬像显示出来,直观地显示出待测样品的三维信息。
如图2所示,在本发明的数字全息图记录模块中,激光器1发射激光束a1,半波片2和偏振分束棱镜3联合控制从偏振分束棱镜3出射的两束光波a2和a8的光强比例,光束a2通过光纤耦合器4进第一光纤跳线5输出光束a3,光束a3输入光纤衰减器6,经光纤衰减器6调节光强输出光束a4,光束a4输入第二光纤跳线7,第二光纤跳线7与光纤准直镜8连接,输出平行光束a5,该平行光束照明待测样品9输出光束a6,待测样品9已经进行了前期微球铺置工作18,待测样品放置在三维调整架19上,以便调整待测视场和物距,光束a6入射手动可调放大倍率显微物镜10输出光束a7,光束a7即为经过手动可调放大倍率显微物镜放大的物光波;偏振分束棱镜3出射的光束a8经过反射镜11入射衰减器12输出光束a9,并经过由显微物镜和透镜构成的扩束准直单元13得到平行光束a10,利用反用的显微物镜14获得球面参考光a11;物光波a7和参考光a11入射合束棱镜15,由图像传感器16在全息图自动采集控制模块17输出的控制信号b的控制下定时记录全息图,该全息图数据通过USB接口与计算机相连,采集到全息图自动采集控制模块17,得到数字全息图数据c。
所述数字全息图预处理模块:利用Labview软件切趾滤波降低边缘衍射效应,提高图像信噪比。
如图3所示,本发明的全息图数值分析和处理模块的流程如下:
S1:利用频谱滤波法获取正1级像c2;
S2:设在记录光路中实验测量的记录距离为d,根据测量工具的精度确定最大测量误差d’,物体通过微球体成像在u1平面上,利用角谱法再现在不同再现距离处u1平面处的一系列再现图像c3;
S3:采用自动数字对焦算法查找在d±d’范围内再现时图像最清晰的再现距离,获得物体在u1平面的准确再现振幅像c4;
S4:采用曲面拟合方法去除相位畸变,得到u1平面准确的再现相位像c5;
S5:利用微球体成像关系获得物体的三维相衬像d;
S6:显示三维相衬像d。
所述全息图数值分析和处理模块利用Labview软件自动进行操作。
所述相衬图像显示模块在计算机中利用Labview软件,对数字全息图进行三维相衬处理后的像进行显示,直观地显示出待测样品的三维信息。
以具有微纳结构的光栅作为待测样品为例,利用水或者丙酮对微球体进行稀释,将稀释好的微球体溶液用滴管将少量溶液滴到光栅上,静置至水或丙酮挥发完毕,即可完成微球体的单层铺置。
上述实施中,激光器采用532nm单纵模激光器MSL-ΙΙΙ-532nm-50mw,出光孔光斑直径约为2mm,功率稳定性为3%。采用与激光器对应的传输波段光纤跳线532±3.2μm、光纤耦合器HPUC-23AF-532-3.9AS-2和光纤准直径镜,满足数字全息系统的相干长度和图像传感器的灵敏度对光功率的要求。
上述实施中,从三个方面调节物光波和参考光波的光强对比度,一方面,采用半波片2和偏振分束棱镜3联合控制偏振分束棱镜3出射的两束光波a2和a8的光强比例,一方面,可以采用光纤衰减器6调节物光波的光强,另一方面采用衰减器13调节参考光波的光强,达到既可以控制物光波a7和参考光波a11的总光强,又可以控制物光波a7和参考光波a11的光强比例,更容易提高全息图的质量,并满足图像采集传感器对光功率范围的要求。
本发明所涉及的基于微球体的亚波长超分辨率数字全息成像系统,采用微球体收集近场倏逝波,利用预放大数字全息成像系统获取物体的轴向信息,可以实现微纳结构的三维无损定量相衬成像,且其横向分辨率可以突破衍射极限。该发明将为微纳元件、微流控芯片等元件的微细结构检测提供一种超衍射极限分辨率、全视场的检测方法,可无损定量地获取微纳结构表面的粗糙度、轮廓、动态特性等三维信息。
Claims (3)
1.基于微球体的亚波长超分辨率数字全息成像系统,由全息图自动采集控制模块、数字全息图记录模块、数字全息图预处理模块、全息图数值分析和处理模块、相衬图像显示模块组成,其特征在于:其中,
所述全息图自动采集控制模块(17)利用Labview软件输出控制信号b控制曝光时间、图像采集速度;
所述数字全息图记录模块包括激光器,半波片,偏振分束棱镜,光纤耦合器,第一光纤跳线(5)和第二光纤跳线(7),光纤衰减器,光纤准直镜,已经铺置了微球体的待测样品(9),三维调整架,手动可调放大倍率显微物镜(10),反射镜,衰减器,扩束准直单元,反用的显微物镜(14),合束棱镜,图像传感器(16),其中,激光器(1)发射激光束a1,半波片(2)和偏振分束棱镜(3)联合控制从偏振分束棱镜(3)出射的光束a2和光束a8的光强比例,光束a2通过光纤耦合器(4)进第一光纤跳线(5)输出光束a3,光束a3输入光纤衰减器(6),经光纤衰减器(6)调节光强输出光束a4,光束a4输入第二光纤跳线(7),第二光纤跳线(7)与光纤准直镜(8)连接,输出平行光束a5,该平行光束照明待测样品(9)输出光束a6,待测样品(9)已经进行了前期微球铺置工作(18),待测样品放置在三维调整架(19)上,以便调整待测视场和物距,光束a6入射手动可调放大倍率显微物镜(10)输出光束a7,光束a7即为经过手动可调放大倍率显微物镜放大的物光波;偏振分束棱镜(3)出射的光束a8经过反射镜(11)入射衰减器(12)输出光束a9,并经过由显微物镜和透镜构成的扩束准直单元(13)得到平行光束a10,利用反用的显微物镜(14)获得球面参考光a11;物光波a7和参考光a11入射合束棱镜(15),由图像传感器(16)在全息图自动采集控制模块(17)输出的控制信号b的控制下定时记录全息图至全息图自动采集控制模块(17),得到数字全息图数据c;
所述数字全息图预处理模块对全息图自动采集控制模块(17)中的数字全息图数据c进行预处理,利用切趾滤波降低边缘衍射效应,提高图像信噪比;
所述全息图数值分析和处理模块对预处理后的数字全息图进行数值再现处理实现三维相衬成像,利用Labview软件自动进行操作,流程如下:
S1:利用频谱滤波法获取正1级像;
S2:利用角谱法再现在不同再现距离处u1平面处的再现图像;
S3:采用自动数字对焦算法查找在d±d’范围内再现时图像最清晰的再现距离,获得物体在u1平面的准确再现振幅像,其中,d为记录距离,d’为最大测量误差;
S4:采用曲面拟合方法去除相位畸变,得到u1平面准确再现相位像;
S5:利用微球体成像关系获得物体的三维相衬像;
所述相衬图像显示模块利用Labview软件对所述全息图数值分析和处理模块输出的三维相衬像进行显示。
2.如权利要求1所述的基于微球体的亚波长超分辨率数字全息成像系统,其特征在于:所述已经铺置了微球体的待测样品采用如下方法得到,利用丙酮或水对微球体进行稀释,将稀释好的微球体溶液用滴管将少量溶液滴到待测样品上,静置至丙酮或水挥发完毕,完成微球体的单层铺置。
3.如权利要求1或2所述的基于微球体的亚波长超分辨率数字全息成像系统,其特征在于:所述激光器采用532nm单纵模激光器,出光孔光斑直径约为2mm,功率稳定性为3%。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410085752.2A CN103823353B (zh) | 2014-03-10 | 2014-03-10 | 基于微球体的亚波长超分辨率数字全息成像系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410085752.2A CN103823353B (zh) | 2014-03-10 | 2014-03-10 | 基于微球体的亚波长超分辨率数字全息成像系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103823353A CN103823353A (zh) | 2014-05-28 |
CN103823353B true CN103823353B (zh) | 2016-04-20 |
Family
ID=50758471
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410085752.2A Active CN103823353B (zh) | 2014-03-10 | 2014-03-10 | 基于微球体的亚波长超分辨率数字全息成像系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103823353B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104568753B (zh) * | 2014-12-24 | 2017-08-22 | 天津大学 | 基于数字全息的样品漂移主动补偿方法及装置 |
CN104713495B (zh) * | 2015-02-10 | 2017-05-03 | 浙江科技学院 | 一种可消除光场畸变的横向剪切数字全息方法 |
CN104834201B (zh) * | 2015-05-13 | 2018-01-19 | 北京工业大学 | 双波长偏振复用数字全息成像系统及方法 |
CN108779976A (zh) * | 2015-12-11 | 2018-11-09 | 赫尔辛基大学 | 使用光子射流进行白光干涉的表面和表面下层结构的性质 |
CN106885796B (zh) * | 2017-04-01 | 2023-09-01 | 北京工业大学 | 一种超分辨率荧光数字全息断层显微成像系统与方法 |
EP3388779A1 (fr) * | 2017-04-11 | 2018-10-17 | Université de Strasbourg | Systeme et procede de metrologie optique en super resolution a l'echelle nanometrique en champ lointain |
CN107817669B (zh) * | 2017-12-14 | 2019-09-20 | 中国科学院光电技术研究所 | 一种基于pb相位实现全空间可视范围全息像的平面全息图设计方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102749834A (zh) * | 2012-07-24 | 2012-10-24 | 河北工程大学 | 一种光学显微成像系统及成像方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009111609A2 (en) * | 2008-03-05 | 2009-09-11 | Purdue Research Foundation | Method and apparatus for motility contrast imaging |
WO2013019640A1 (en) * | 2011-07-29 | 2013-02-07 | The Regents Of The University Of California | Lensfree holographic microscopy using wetting films |
US8896840B2 (en) * | 2012-04-25 | 2014-11-25 | Canon Kabushiki Kaisha | Interferometric method and digital holographic microscope |
-
2014
- 2014-03-10 CN CN201410085752.2A patent/CN103823353B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102749834A (zh) * | 2012-07-24 | 2012-10-24 | 河北工程大学 | 一种光学显微成像系统及成像方法 |
Non-Patent Citations (3)
Title |
---|
基于数字全息显微成像的微光学元件三维面形检测;王云新等;《光学学报》;20110430;第31卷(第4期);第0412003-1至0412003-6页 * |
数字全息技术在生物医学成像和分析中的应用;王云新等;《中国激光》;20140228;第41卷(第2期);第0209002-1至0209002-13页 * |
数字全息显微术应用于生物样品相衬成像的实验研究;赵洁等;《中国激光》;20101130;第37卷(第11期);第2906-2911页 * |
Also Published As
Publication number | Publication date |
---|---|
CN103823353A (zh) | 2014-05-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103823353B (zh) | 基于微球体的亚波长超分辨率数字全息成像系统 | |
Kumar et al. | Common-path multimodal three-dimensional fluorescence and phase imaging system | |
KR101441245B1 (ko) | 디지털 홀로그래픽 현미경 장치 | |
Bouchet et al. | Maximum information states for coherent scattering measurements | |
CN102499648B (zh) | 一种基于菲涅尔光谱仪的频域光学相干层析成像系统 | |
US9696686B2 (en) | Method and device for focussing a microscope automatically | |
US5754514A (en) | Phase controlled evanescent field systems and methods for optical recording and retrieval | |
CN101634548B (zh) | 一种光纤-空间光合成孔径的数字全息三维显微观测装置 | |
CN102436061B (zh) | 高速三维荧光成像显微镜 | |
EP3488221A1 (en) | An integrated lens free imaging device | |
CN102519976A (zh) | 光学元件亚表面缺陷数字全息检测装置 | |
CN104111590B (zh) | 基于复合涡旋双瓣聚焦光斑的激光直写装置 | |
CN103913127A (zh) | 一种基于子孔径相位拼接的数字全息球面面型检测装置 | |
Nelson et al. | Digital plasmonic holography | |
Anand et al. | Single beam Fourier transform digital holographic quantitative phase microscopy | |
US20160363735A1 (en) | Imaging through optical fibers for coupling optimization | |
CN110500963A (zh) | 光学测定装置以及光学测定方法 | |
CA2963297A1 (fr) | Optical telemetry device | |
CN102402172A (zh) | 一种三维实时超分辨数字全息记录系统 | |
CN102279555B (zh) | 具有空间载频的能够以多色辐射进行成像的干涉仪系统 | |
CN203828901U (zh) | 用于频域oct系统的光谱仪 | |
CN102878930B (zh) | 一种位相物体位相分布的定量测量方法和装置及其应用 | |
Abrashitova et al. | Multimode fiber ruler for detecting nanometric displacements | |
Watanabe et al. | Portable digital holographic microscope using spherical reference beam | |
CN103845039A (zh) | 用于频域oct系统的光谱仪 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |