CN101853520A - 一种基于光学成像的视网膜三维建模方法及其装置 - Google Patents

一种基于光学成像的视网膜三维建模方法及其装置 Download PDF

Info

Publication number
CN101853520A
CN101853520A CN 201010157034 CN201010157034A CN101853520A CN 101853520 A CN101853520 A CN 101853520A CN 201010157034 CN201010157034 CN 201010157034 CN 201010157034 A CN201010157034 A CN 201010157034A CN 101853520 A CN101853520 A CN 101853520A
Authority
CN
China
Prior art keywords
images
retina
sphere
image
radius
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN 201010157034
Other languages
English (en)
Other versions
CN101853520B (zh
Inventor
刘伟
唐仕波
肖斌
丁小燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinlian'an Police Technology Research & Development Center Co Ltd Zhuhai
Zhongshan Ophthalmic Center
Original Assignee
Jinlian'an Police Technology Research & Development Center Co Ltd Zhuhai
Zhongshan Ophthalmic Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinlian'an Police Technology Research & Development Center Co Ltd Zhuhai, Zhongshan Ophthalmic Center filed Critical Jinlian'an Police Technology Research & Development Center Co Ltd Zhuhai
Priority to CN 201010157034 priority Critical patent/CN101853520B/zh
Publication of CN101853520A publication Critical patent/CN101853520A/zh
Application granted granted Critical
Publication of CN101853520B publication Critical patent/CN101853520B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Eye Examination Apparatus (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于光学成像的视网膜三维建模方法及其装置,所述方法包括,步骤一、摄取视网膜各个部位的图像;步骤二、取位于相邻部位的两个图像,统一该两个图像的缩放比例和方向,按照视网膜血管走向特征找出该两个图像的重叠区;比较该两个图像在重叠区的视网膜血管的吻合度,将该两个图像拼接为满足预设吻合度的半径为R的球面,并去除该重叠区中的不吻合的视网膜血管;步骤三、遍历其他周边图像,将该周边图像拼接到所述半径为R的球面上,并去除该重叠区中的不吻合的视网膜血管。本发明采用非介入、无损害的可见光摄像,建立三维视网膜球面模型,可清晰、全面、立体呈现出最接近患者视网膜的三维影像。

Description

一种基于光学成像的视网膜三维建模方法及其装置
技术领域
本发明涉及图像信息处理技术领域,尤其涉及一种基于光学成像的视网膜三维建模方法及其装置。
背景技术
视网膜玻璃体疾病是所有眼科疾病中最常见也是最严重的疾病之一。随着社会经济的不断发展,人口平均寿命不断增长,近年来以糖尿病视网膜病变、视网膜脱离、增殖性玻璃体视网膜病变、年龄相关性黄斑病变、高度近视性眼底病变等为代表的玻璃体视网膜疾病的发病率日益增高。
其中,RD(renital detachment,视网膜脱离)是一种常见的致盲性玻璃体视网膜疾病,此病发病急、病情发展迅速、对视力危害大,需早期发现、诊断,及时手术治疗。流行病学资料显示,2000年北京市城区和近郊区孔源性RD(RD的主要类型,占RD总数的90%以上)年发病率为7.98/10万;上海市北新泾地区孔源性RD的流行病学调查,年发病率分别为11.3/10万(1996年)、14.1/10万(1997和1998年)及17.6/10万(1999年)。据此概率计算,考虑到该疾病复发率高,需反复多次手术等因素,估计每年我国需要接受RD复位手术的人数达35万之多。若未能获得及时正确的治疗,将最终导致眼球萎缩,视力完全丧失;若延误了手术最佳时机,将造成手术后视力恢复不良、手术并发症多,手术成功率低等问题。
目前对于RD疾病的诊断,主要是由有经验的眼科医生通过直接眼底镜检查法、间接眼底镜检查法(包括前置镜,需配合裂隙灯使用)、三面镜检查法详细检查,辅以眼部B超、眼底彩照、眼底荧光素造影、光学相干断层成像等而最终获得诊断。
直接眼底镜检查法是广大基层医院最常用的方法,具有简单方便、费用低廉的优点,但存在无立体感、观察范围小、不能发现微小病变、无客观记录方法等问题,对手术或其他治疗无指导意义,因此在专科眼科医院已经很少应用。
三面镜检查法主要用于发现周边玻璃体视网膜的病变,但同样存在无立体感、无整体感、无客观记录方法等明显缺点,目前在临床上的运用也有限。
间接眼底镜检查法虽然克服了直接眼底镜检查法无立体感的缺点,但仍存在很多不足之处,如看到的仅仅是眼球内部部分的二维图像,不能提示病灶占位的精确范围和体积,以及与眼表解剖标志结构的对应关系。B超检查的优点为在屈光间质混浊的情况下也能获得图像,但获得的图像质量低,分辨率低,且为三维黑白图像,远不能达到临床手术指导的要求。因此,目前在临床上视网膜手术的设计主要是建立在手术医生大量临床经验积累的基础上的,这在很大程度上限制了这一手术在基层医院的开展。
发明内容
本发明提供了一种基于光学成像的视网膜三维建模方法及其装置,可清晰、全面、立体呈现出最接近患者视网膜的三维影像,帮助医生及时、准确地发现患者视网膜病变,确定病变位置。
本发明的技术方案是:
一、一种基于光学成像的视网膜三维建模方法,包括:
步骤一、摄取视网膜各个部位的图像,位于相邻部位的两个图像有部分像素重叠;
步骤二、取位于相邻部位的两个图像,统一该两个图像的缩放比例和方向,按照视网膜血管走向特征找出该两个图像的重叠区;
比较该两个图像在重叠区的视网膜血管的吻合度,将该两个图像拼接为满足预设吻合度的半径为R的球面,并去除该重叠区中的不吻合的视网膜血管;
步骤三、遍历与所述两个图像位于相邻部位的周边图像,统一该周边图像与所述两个图像的缩放比例和方向,按照视网膜血管走向特征找出该周边图像与所述两个图像的重叠区;
将该周边图像拼接到所述半径为R的球面上,并去除该重叠区中的不吻合的视网膜血管。
二、一种基于光学成像的视网膜三维建模装置,包括拍摄模块、获取模块和拼接处理模块:
拍摄模块,摄取视网膜各个部位的图像,位于相邻部位的两个图像有部分像素重叠;
获取模块,取位于相邻部位的两个图像,统一该两个图像的缩放比例和方向,按照视网膜血管走向特征找出该两个图像的重叠区;在所述拼接处理模块拼接完该两个图像后,遍历与所述两个图像位于相邻部位的周边图像,统一该周边图像与所述两个图像的缩放比例和方向,按照视网膜血管走向特征找出该周边图像与所述两个图像的重叠区;
拼接处理模块,比较该两个图像在重叠区的视网膜血管的吻合度,将该两个图像拼接为满足预设吻合度的半径为R的球面,并去除该重叠区中的不吻合的视网膜血管;并将该周边图像拼接到所述半径为R的球面上,同时去除该重叠区中的不吻合的视网膜血管。
本发明的基于光学成像的视网膜三维建模方法及其装置,采用非介入、无损害的可见光摄像,建立三维视网膜球面模型,可清晰、全面、立体呈现出最接近患者视网膜的三维影像,帮助医生及时、准确地发现患者视网膜病变,确定病变位置;且本发明成本比较低,可以在基层医院普遍发展使用。
附图说明
图1是本发明实施例中的基于光学成像的视网膜三维建模方法的流程图;
图2是本发明实施例中的基于光学成像的视网膜三维建模装置的结构框图;
图3是本发明使用法向拼接法将图像拼接成球面的示意图一;
图4是本发明使用法向拼接法将图像拼接成球面的示意图二;
图5是本发明将平面图像a映射为球面A的示意图;
图6是本发明将平面图像b映射为球面B的示意图;
图7是本发明球面A与球面B拼接后的示意图。
具体实施方式
本发明的基于光学成像的视网膜三维建模方法及其装置,采用非介入、无损害的可见光摄像,建立三维视网膜球面模型,可清晰、全面、立体呈现出最接近患者视网膜的三维影像,帮助医生及时、准确地发现患者视网膜病变,确定病变位置;且本发明成本比较低,可以在基层医院普遍发展使用。
下面结合附图对本发明的具体实施例做一详细的阐述。
本发明的基于光学成像的视网膜三维建模方法,如图1,其包括步骤:
S101、摄取视网膜各个部位的图像,位于相邻部位的两个图像有部分像素重叠;可以通过专业广角数码相机或其它摄像工具拍摄视网膜各个部位的图像,确保位于相邻部位的两个图像有部分像素重叠,即相邻部分的两个图像含有同一局部的像素,这样可以精确的对各个部位图像的拼接;
S102、取位于相邻部位的两个图像,统一该两个图像的缩放比例和方向,分析该两个图像中的视网膜血管的走向,按照视网膜血管走向特征找出该两个图像的重叠区;
S103、比较该两个图像在重叠区的视网膜血管的吻合度,将该两个图像拼接为满足预设吻合度的半径为R的球面,并去除该重叠区中的不吻合的视网膜血管,以此来完成该两个图像的拼接;
其中,比较该两个图像在重叠区的视网膜血管的吻合度,具体可以为:先比较该两个图像在重叠区的视网膜大血管的吻合度,再比较该两个图像在重叠区的视网膜小血管的吻合度;该视网膜大血管可以是主干血管和一二级分支血管,视网膜小血管是视网膜大血管下一级的血管;即采取分级比较法,先隐去视网膜小血管,比较视网膜大血管的吻合度,进行初级比较,在视网膜大血管初步吻合情况下,再添加上视网膜小血管,进行高级比较,如此比较设计,可以方便对比、调整;
其中,将该两个图像拼接为满足预设吻合度的半径为R的球面,具体可以为:先将该两个图像在所述重叠区处进行拼接,再利用法向拼接法或映射方法将该两个图像分别转换为半径为R的球面,在人类眼球曲率半径的上下限之间变换R值,找出满足预设吻合度的R值;该预设程度值可以认为设定,也可以根据实际需要来设定,在具体应用时,可以找出吻合度最高时的R值,此时拼接后半径为R的球面也更能接近实际的视网膜的三维图像;
利用法向拼接法分别将该两个图像转换为半径为R的球面,如图3、4,即是将图像分别切分成多个微小的像点或像域(图中所示的切分为3个像点或像域1、2、3),在每个像点或像域中心作一条法线,并使其长度与球半径为R相等,然后将所有法线的末端汇于一点,所有像点或像域依次排布,即得球半径为R的近似球面(像点或像域越小,越接近于像点,越接近球面);
利用映射方法分别将该两个图像转换为半径为R的球面,即将图像分别切分成多个微小的像点或像域,每个像点或像域沿垂直于该图像的法线,投于半径为R的球,即得球半径为R的球面。如图5是将平面图像a映射为球面A的示意图;图6是将平面图像b映射为球面B的示意图;图7是本发明球面A与球面B拼接后的示意图;
S104、遍历与所述两个图像位于相邻部位的周边图像,统一该周边图像与所述两个图像的缩放比例和方向,按照视网膜血管走向特征找出该周边图像与所述两个图像的重叠区;与所述两个图像位于相邻部位的周边图像可以有多个,在拼接时按顺序进行拼接;
S105、将该周边图像拼接到所述半径为R的球面上,并去除该重叠区中的不吻合的视网膜血管,以此完成周边图像与该两个图像的拼接,最终完成视网膜的三维建模图像。
其中,将该周边图像拼接到所述半径为R的球面上,具体可以为:用法向拼接法或映射方法将该周边图像拼接到所述半径为R的球面上。该法向拼接法或映射方法具体实施时和步骤S103中的相同。
与上述的基于光学成像的视网膜三维建模方法相对应,本发明还揭示了一种基于光学成像的视网膜三维建模装置,如图2,包括拍摄模块、获取模块和拼接处理模块:
拍摄模块,摄取视网膜各个部位的图像,位于相邻部位的两个图像有部分像素重叠;该拍摄模块可以是专业广角数码相机或其它摄像工具,位于相邻部位的两个图像有部分像素重叠,即相邻部分的两个图像含有同一局部的像素,这样可以精确的对各个部位图像的拼接;
获取模块,取位于相邻部位的两个图像,统一该两个图像的缩放比例和方向,按照视网膜血管走向特征找出该两个图像的重叠区;在所述拼接处理模块拼接完该两个图像后,遍历与所述两个图像位于相邻部位的周边图像,统一该周边图像与所述两个图像的缩放比例和方向,按照视网膜血管走向特征找出该周边图像与所述两个图像的重叠区;
拼接处理模块,比较该两个图像在重叠区的视网膜血管的吻合度,将该两个图像拼接为满足预设吻合度的半径为R的球面,并去除该两个图像的重叠区中的不吻合的视网膜血管;并将该周边图像拼接到所述半径为R的球面上,同时去除该周边图像与所述两个图像的重叠区中的不吻合的视网膜血管。
其中,所述拼接处理模块具体包括比较模块、拼接模块和去除模块;
比较模块,先比较该两个图像在重叠区的视网膜大血管的吻合度,再比较该两个图像在重叠区的视网膜小血管的吻合度;即采取分级比较法,先隐去视网膜小血管,比较视网膜大血管,进行初级比较,在视网膜大血管初步吻合情况下,再添加上视网膜小血管,进行高级比较,如此比较设计,可以方便对比、调整;
拼接模块,将该两个图像拼接为满足预设吻合度的半径为R的球面;及将该周边图像拼接到所述半径为R的球面上,以此完成周边图像与该两个图像的拼接,最终完成视网膜的三维建模图像。
其中,所述拼接模块将该两个图像拼接为满足预设吻合度的半径为R的球面,具体可以为:用法向拼接法或映射方法将该两个图像拼接为满足预设吻合度的半径为R的球面;
所述拼接模块利用法向拼接法分别将该两个图像转换为半径为R的球面,即是将图像分别切分成多个微小的像点或像域,在每个像点或像域中心作一条法线,并使其长度与球半径为R相等,然后将所有法线的末端汇于一点,所有像点或像域依次排布,即得球半径为R的近似球面(像点或像域越小,越接近于像点,越接近球面);
利用映射方法分别将该两个图像转换为半径为R的球面,即将图像分别切分成多个微小的像点或像域,每个像点或像域沿垂直于该图像的法线,投于半径为R的球,即得球半径为R的球面。
所述拼接模块将该周边图像拼接到所述半径为R的球面上,具体可以为:用法向拼接法或映射方法将该周边图像拼接到所述半径为R的球面上。该法向拼接法或映射方法具体实施时和上述所述相同。
以上所述的本发明实施方式,并不构成对本发明保护范围的限定。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明的权利要求保护范围之内。

Claims (6)

1.一种基于光学成像的视网膜三维建模方法,其特征在于,包括:
步骤一、摄取视网膜各个部位的图像,位于相邻部位的两个图像有部分像素重叠;
步骤二、取位于相邻部位的两个图像,统一该两个图像的缩放比例和方向,按照视网膜血管走向特征找出该两个图像的重叠区;
比较该两个图像在重叠区的视网膜血管的吻合度,将该两个图像拼接为满足预设吻合度的半径为R的球面,并去除该两个图像的重叠区中的不吻合的视网膜血管;
步骤三、遍历与所述两个图像位于相邻部位的周边图像,统一该周边图像与所述两个图像的缩放比例和方向,按照视网膜血管走向特征找出该周边图像与所述两个图像的重叠区;
将该周边图像拼接到所述半径为R的球面上,并去除该周边图像与所述两个图像的重叠区中的不吻合的视网膜血管。
2.根据权利要求1所述的基于光学成像的视网膜三维建模方法,其特征在于:
步骤二中的比较该两个图像在重叠区的视网膜血管的吻合度,具体为:先比较该两个图像在重叠区的视网膜大血管的吻合度,再比较该两个图像在重叠区的视网膜小血管的吻合度。
3.根据权利要求1或2所述的基于光学成像的视网膜三维建模方法,其特征在于:
步骤二中的将该两个图像拼接为满足预设吻合度的半径为R的球面,具体为:用法向拼接法或映射方法将该两个图像拼接为满足预设吻合度的半径为R的球面;
步骤三中的将该周边图像拼接到所述半径为R的球面上,具体为:用法向拼接法或映射方法将该周边图像拼接到所述半径为R的球面上。
4.一种基于光学成像的视网膜三维建模装置,其特征在于,包括拍摄模块、获取模块和拼接处理模块:
拍摄模块,摄取视网膜各个部位的图像,位于相邻部位的两个图像有部分像素重叠;
获取模块,取位于相邻部位的两个图像,统一该两个图像的缩放比例和方向,按照视网膜血管走向特征找出该两个图像的重叠区;在所述拼接处理模块拼接完该两个图像后,遍历与所述两个图像位于相邻部位的周边图像,统一该周边图像与所述两个图像的缩放比例和方向,按照视网膜血管走向特征找出该周边图像与所述两个图像的重叠区;
拼接处理模块,比较该两个图像在重叠区的视网膜血管的吻合度,将该两个图像拼接为满足预设吻合度的半径为R的球面,并去除该两个图像的重叠区中的不吻合的视网膜血管;并将该周边图像拼接到所述半径为R的球面上,同时去除该周边图像与所述两个图像的重叠区中的不吻合的视网膜血管。
5.根据权利要求4所述的基于光学成像的视网膜三维建模装置,其特征在于:
所述拼接处理模块具体包括比较模块、拼接模块和去除模块;
比较模块,先比较该两个图像在重叠区的视网膜大血管的吻合度,再比较该两个图像在重叠区的视网膜小血管的吻合度;
拼接模块,将该两个图像拼接为满足预设吻合度的半径为R的球面;及将该周边图像拼接到所述半径为R的球面上。
6.根据权利要求5所述的基于光学成像的视网膜三维建模装置,其特征在于:
所述拼接模块将该两个图像拼接为满足预设吻合度的半径为R的球面,具体为:用法向拼接法或映射方法将该两个图像拼接为满足预设吻合度的半径为R的球面;
所述拼接模块将该周边图像拼接到所述半径为R的球面上,具体为:用法向拼接法或映射方法将该周边图像拼接到所述半径为R的球面上。
CN 201010157034 2010-04-20 2010-04-20 一种基于光学成像的视网膜三维建模装置 Active CN101853520B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 201010157034 CN101853520B (zh) 2010-04-20 2010-04-20 一种基于光学成像的视网膜三维建模装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201010157034 CN101853520B (zh) 2010-04-20 2010-04-20 一种基于光学成像的视网膜三维建模装置

Publications (2)

Publication Number Publication Date
CN101853520A true CN101853520A (zh) 2010-10-06
CN101853520B CN101853520B (zh) 2012-04-25

Family

ID=42804985

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201010157034 Active CN101853520B (zh) 2010-04-20 2010-04-20 一种基于光学成像的视网膜三维建模装置

Country Status (1)

Country Link
CN (1) CN101853520B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780320A (zh) * 2016-11-16 2017-05-31 王冠楠 一种利用裂隙灯进行眼底全景图成像的方法
CN107204041A (zh) * 2017-05-31 2017-09-26 重庆大学 基于眼底图像的视网膜血管三维模型构建方法及装置
CN108510446A (zh) * 2018-04-10 2018-09-07 四川和生视界医药技术开发有限公司 视网膜图像的叠加方法及视网膜图像的叠加装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030063258A1 (en) * 2001-10-02 2003-04-03 Nidek Co., Ltd. Apparatus for examining an anterior-segment of an eye
CN2595341Y (zh) * 2002-12-03 2003-12-31 程康 同视功能训练图谱
CN101254091A (zh) * 2007-02-28 2008-09-03 深圳大学 用二次谐波和双光子激发荧光实现高空间分辨视网膜成像的方法
EP1992277A1 (en) * 2007-05-14 2008-11-19 Institut National De La Sante Et De La Recherche Medicale (Inserm) Optical device and method for acquiring images of eye structures
CN101534701A (zh) * 2006-11-09 2009-09-16 奥普托斯股份有限公司 在视网膜扫描中或关于视网膜扫描的改进

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030063258A1 (en) * 2001-10-02 2003-04-03 Nidek Co., Ltd. Apparatus for examining an anterior-segment of an eye
CN2595341Y (zh) * 2002-12-03 2003-12-31 程康 同视功能训练图谱
CN101534701A (zh) * 2006-11-09 2009-09-16 奥普托斯股份有限公司 在视网膜扫描中或关于视网膜扫描的改进
CN101254091A (zh) * 2007-02-28 2008-09-03 深圳大学 用二次谐波和双光子激发荧光实现高空间分辨视网膜成像的方法
EP1992277A1 (en) * 2007-05-14 2008-11-19 Institut National De La Sante Et De La Recherche Medicale (Inserm) Optical device and method for acquiring images of eye structures

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780320A (zh) * 2016-11-16 2017-05-31 王冠楠 一种利用裂隙灯进行眼底全景图成像的方法
CN107204041A (zh) * 2017-05-31 2017-09-26 重庆大学 基于眼底图像的视网膜血管三维模型构建方法及装置
CN108510446A (zh) * 2018-04-10 2018-09-07 四川和生视界医药技术开发有限公司 视网膜图像的叠加方法及视网膜图像的叠加装置
CN108510446B (zh) * 2018-04-10 2023-03-14 四川和生视界医药技术开发有限公司 视网膜图像的叠加方法及视网膜图像的叠加装置

Also Published As

Publication number Publication date
CN101853520B (zh) 2012-04-25

Similar Documents

Publication Publication Date Title
EP3020326B1 (en) Simultaneous capture of filtered images of the eye
Kuo et al. Correction of ocular shape in retinal optical coherence tomography and effect on current clinical measures
US8636364B2 (en) Systems and methods for widefield mapping of the retina
US20010033362A1 (en) Combination advanced corneal topography/wave front aberration measurement
JP5928844B2 (ja) 角膜共焦点顕微鏡(ccm)
CN111616800B (zh) 眼科手术导航系统
US10054802B2 (en) Topology guided ocular lens design
US20120249955A1 (en) Retro-illumination and eye front surface feature registration for corneal topography and ocular wavefront system
CA3068530A1 (en) Topology guided ocular lens design
CN104545790A (zh) 活体监测角膜塑形镜塑形效果的oct成像系统和方法
CN106343950A (zh) 一种基于眼模型的眼底相机双目立体成像系统
CN101853520B (zh) 一种基于光学成像的视网膜三维建模装置
CN101862177B (zh) 一种视网膜裂孔三维定位装置
EP3984016A1 (en) Systems and methods for superimposing virtual image on real-time image
US20040021826A1 (en) Combination advanced corneal topography/wave front aberration measurement
Wolffsohn et al. Anterior ophthalmic imaging
CN113012151B (zh) 用于ss-oct手术导航系统的oct图像矫正方法及系统
JP2002034925A (ja) 多方向から撮影した眼底画像の重合せによる眼底3次元パターンの復元法及び装置
CN108577801B (zh) 便携式立体成像眼底相机光学系统
CN108230287B (zh) 一种眼前节图像的晶体区域的检测方法及装置
US20140160262A1 (en) Lensless retinal camera apparatus and method
CN115644796B (zh) 一种基于斜视度的ac/a检测方法和装置
Jiménez-Villar et al. Stereo Slit-Scanning Tomography
Khachikian 2 Tomographic Imaging
Fang et al. Freeform robotic optical coherence tomography beyond the optical field-of-view limit

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant