CN108734701B - 一种Placido环图像形态变化识别方法 - Google Patents

一种Placido环图像形态变化识别方法 Download PDF

Info

Publication number
CN108734701B
CN108734701B CN201810376844.4A CN201810376844A CN108734701B CN 108734701 B CN108734701 B CN 108734701B CN 201810376844 A CN201810376844 A CN 201810376844A CN 108734701 B CN108734701 B CN 108734701B
Authority
CN
China
Prior art keywords
area
eyelash
image
placido
center
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810376844.4A
Other languages
English (en)
Other versions
CN108734701A (zh
Inventor
王元
王雪乔
张琨
齐岳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Suowei Electronic Technology Co ltd
Original Assignee
Tianjin Suowei Electronic Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Suowei Electronic Technology Co ltd filed Critical Tianjin Suowei Electronic Technology Co ltd
Priority to CN201810376844.4A priority Critical patent/CN108734701B/zh
Publication of CN108734701A publication Critical patent/CN108734701A/zh
Application granted granted Critical
Publication of CN108734701B publication Critical patent/CN108734701B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/187Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明涉及一种Placido环图像形态变化识别算法,包括步骤有:第一步,对输入的图像定位Placido环中心;第二步,以Placido环中心为圆心,极坐标展开图像:第三步,二值化极坐标图像:第四步,butterworth滤波,得到圆环的初步边界:第五步,形态学滤波,得到无睫毛干扰的区域:第六步,以无睫毛区域为基础,判断计算出含睫毛区域的范围:第七步,分别判断有睫毛和无睫毛区域的圆环扭曲破裂情况,得到泪膜的破裂情况。本发明方法大大提高了对Placido环形态变化的识别,提高了泪膜破裂时间测量的准确度,为干眼症的诊断及治疗提供科学依据。

Description

一种Placido环图像形态变化识别方法
技术领域
本发明属于图像识别技术领域,涉及的是一种Placido环图像形态变化识别方法,用于测定眼睛泪膜的破裂时间,辅助干眼症的诊断。
背景技术
干眼症是指由于泪液分泌异常引起的泪膜不完整,从而导致眼部不适症状的一类疾病。随着现代生活的发展,大量电子设备的使用以及环境的污染导致了干眼症的发病率逐年上升。对干眼症的研究和防治工作也逐渐被人们所重视。
传统的干眼症的诊断方法包括泪液分泌测试、泪膜破裂时间测试、泪液渗透压测试等。但这些方法都需要接触人眼,有些还需要对眼表进行活体染色,并配合裂隙灯使用。随着角膜地形图仪等眼表成像仪器的普及,非侵入式的干眼症诊断已经逐渐成为主流。其中非接触式的泪膜破裂时间测试、睑板腺成像、泪河高度测量和眼红分析等项目可以对人眼眼表状态进行综合诊断,极大的提高了门诊效率和准确度。
非接触式的泪膜破裂时间测试是一种基于角膜地形图仪的技术,它利用Placido盘照明系统在人眼角膜表面投射一组黑白相间的同心圆环,再利用角膜地形图仪的摄像功能监视这些圆环的形态变化。当某处圆环形态发生变化,如扭曲、变形、断裂时,说明该处泪膜已经破裂。记录下圆环发生形变的时间点即可以完成泪膜破裂时间的测量。在测量过程中,对Placido环形态变化的识别尤为关键,识别的准确度直接影响测量的准确度。
发明内容
本发明的目的是为了克服现有技术的不足,提供一种判别眼表Placido环形态变化,如扭曲、变形、断裂的方法,同时结合录像时序来计算眼表泪膜破裂时间的方法。
本发明解决其技术问题是采取以下技术方案实现的:
一种Placido环图像形态变化识别方法,包括如下步骤:
第一步,对输入的图像定位Placido环中心;
第二步,以Placido环中心为圆心,极坐标展开图像:以Placido环为圆心,分别计算极坐标下的像素对应原图像的像素位置,将环形图像转换成水平的平行线图像;
第三步,二值化极坐标图像:自适应的计算每个像素点的二值化阈值,依次对图像进行二值化;
第四步,butterworth滤波,得到圆环的初步边界:极坐标系下的黑白横纹,呈平行分布,计算出其变化频率,去除超过或低于一定频率之外的区域,得到的即为Placido环的分布区域;
第五步,形态学滤波,得到无睫毛干扰的区域:具体步骤如下:
(1)将Butterworth滤波后的图像横向划分为24个区域;
(2)依次对这24个区域使用连通区域查找算法,去除长宽不符合标准的区域;
(3)按中心位置依次排列这些区域;
(4)去除距离太远或者太近的区域;
(5)求出剩余区域的最小包围,即为无睫毛干扰的区域;
第六步,以无睫毛区域为基础,判断计算出含睫毛区域的范围:具体步骤如下:
(1)对上述第五步中所求的无睫毛区域,求得其Placido环的最大环数;
(2)Placido环的最大环数以内,无睫毛区域之外,为睫毛区域的备选区域;
(3)对于每个Placido环对应的条纹区域,找到睫毛备选区域临近的无睫毛区域,以此为基准得到睫毛区域的上下边界;
第七步,分别判断有睫毛和无睫毛区域的圆环扭曲破裂情况,得到泪膜的破裂情况,具体步骤如下:
(1)计算区域内各条纹的宽度信息;
(2)对于无睫毛区域内,找到宽度变化未超过阈值的区域,即变形幅度未达到Placido环扭曲破裂的标准的区域,以此为基准,确定所有睫毛区域的变化幅度上限,变化幅度超过阈值的区域,即为泪膜破裂区域;
(3)对于有睫毛的区域,判断变化幅度是否超过上述(2)步中确定的上限时,凹变化不计入其内,因为可能是睫毛带来的干扰,对于凸变化超过上限的,判定为泪膜破裂;
(4)综合上述步骤(2)和步骤(3)中的泪膜破裂区域,得到最终结果,然后根据图片序列,得到整体的泪膜初次破裂时间和泪膜平均破裂时间。
所述第一步中定位Placido环中心的具体步骤如下:
(1)从输入图像中心选取256*256的ROI区域;
(2)对ROI区域进行自适应二值化;
(3)使用查找连通区域算法,提取出各团块;
(4)去除长宽和长宽比不符合要求的团块;
(5)对剩余的团块进行圆拟合,在其中找到半径最小的圆,其圆心即为Placido环中心。
所述第二步中的像素位置,对于非整数的像素位置采用双线性插值法计算新的像素灰度。
本发明的优点和积极效果是:
本发明设计实现了一种判别眼表Placido环形态变化,如扭曲、变形、断裂的方法。该方法分别对有睫毛区域和无睫毛区域进行判断,有效避免了睫毛区域容易造成的误识别,准确性高,速度快,提高了泪膜破裂时间测量的准确度,为干眼症的诊断及治疗提供科学依据。
附图说明
图1是本发明方法的测量眼睛表面Placido环扭曲变形的主流程图;
图2是本发明中定位Placido环中心的流程图;
图3是本发明方法中无睫毛区域识别的流程图;
图4是本发明方法中有睫毛区域识别的流程图;
图5是本发明方法中判断Placido环扭曲变形的流程图;
图6是本发明方法中原始输入图像的示意图;
图7是本发明方法中输入图像中心选取256*256的ROI区域图像示意图;
图8是本发明方法中ROI区域二值化图像示意图;
图9是本发明方法中ROI区域圆拟合点的图像示意图;
图10是本发明方法中极坐标展开图像示意图;
图11是本发明方法中极坐标二值化图像示意图;
图12是本发明方法中butterworth滤波后图像示意图;
图13是本发明方法中24块区域划分图像示意图;
图14是本发明方法中无睫毛区域识别图像示意图;
图15是本发明方法中有睫毛区域识别图像示意图;
图16是本发明方法中极坐标系下判断条纹扭曲变形的结果图像示意图;
图17是本发明方法中判断Placido环扭曲变形的结果图像示意图;
图18是本发明方法中泪膜破裂时间的结果图像示意图。
具体实施方式
以下结合附图对本发明实施做进一步详述,以下实施例只是描述性的,不是限定性的,不能以此限定本发明的保护范围。
本发明的原理为:眼睛表面的泪膜破裂会反映到Placido环的扭曲变形,Placido环在极坐标系下表现为一系列的平行条纹,通过测量二值化后的平行条纹变形情况,即可进行泪膜破裂的判定。
一种Placido环图像形态变化识别算法,如图1所示,包括如下步骤:
第一步,对输入的图像定位Placido环中心:如图2所示,定位Placido环中心的具体步骤如下:
(1)从输入图像,如图6所示,中心选取256*256的ROI区域,参见图7;
(2)对ROI区域进行自适应二值化,参见图8;
(3)使用查找连通区域算法,提取出各团块;
(4)去除长宽和长宽比不符合要求的团块,参见图9;
(5)对剩余的团块进行圆拟合,在其中找到半径最小的圆,其圆心即为Placido环中心;
第二步,以Placido环中心为圆心,极坐标展开图像:
Placido环由于半径不同,导致难以对不用环使用统一标准进行判断,而根据极坐标系下的半径,可以将Placido环转换为一系列的平行条纹,更有利于实施后续的计算,以Placido环为圆心,分别计算极坐标下的像素对应原图像的像素位置,将环形图像转换成水平的平行线图像,极坐标转换后的展开图像如图10所示;其中,对于非整数的像素位置采用双线性插值法计算新的像素灰度。
第三步,二值化极坐标图像:
自适应的计算每个像素点的二值化阈值,依次对图像进行二值化,二值化后并极坐标展开的图像如图11所示;
第四步,butterworth滤波,得到圆环的初步边界:
由于只对Placido环范围内的图像进行判断,因此有必要判断Placido环的边界,一些区域受到睫毛干扰,眼皮遮挡,所以不能简单的以Placido环的最大环数作为边界条件,
极坐标系下的黑白横纹,大致呈平行分布,可以计算出其变化频率,去除超过或低于一定频率之外的区域,得到的即为Placido环的分布区域,如图12所示;
第五步,形态学滤波,得到无睫毛干扰的区域:如图3所示,形态学滤波包括具体步骤如下:
(1)将Butterworth滤波后的图像横向划分为24个区域,如图13所示;
(2)依次对这24个区域使用连通区域查找算法,去除长宽不符合标准的区域;
(3)按中心位置依次排列这些区域;
(4)去除距离太远或者太近的区域;
(5)求出剩余区域的最小包围,即为无睫毛干扰的区域,如图14所示;
第六步,以无睫毛区域为基础,判断计算出含睫毛区域的范围:如图4所示,判断计算出含睫毛区域范围的具体步骤如下:
(1)对上述第五步中所求的无睫毛区域,求得其Placido环的最大环数;
(2)Placido环的最大环数以内,无睫毛区域之外,为睫毛区域的备选区域;
(3)对于每个Placido环对应的条纹区域,找到睫毛备选区域临近的无睫毛区域,以此为基准得到睫毛区域的上下边界,如图15所示;
第七步,分别判断有睫毛和无睫毛区域的圆环扭曲破裂情况,得到泪膜的破裂情况:
由于睫毛区域会出现睫毛造成的环的内陷,容易误判为Placido环的扭曲变形,所以需要分别对两种区域采用不同的判断标准。
如图5所示,得到泪膜破裂情况的具体步骤如下:
(1)计算区域内各条纹的宽度信息;
(2)在无睫毛区域内,找到宽度变化未超过阈值的区域,即变形幅度未达到Placido环扭曲破裂的标准的区域,以此为基准,确定所有睫毛区域的变化幅度上限,变化幅度超过阈值的区域,即为泪膜破裂区域;
(3)对于有睫毛的区域,判断变化幅度是否超过上述(2)步中确定的上限时,其中凹变化不计入其内,因为可能是睫毛带来的干扰,对于凸变化超过上限的,判定为泪膜破裂;
(4)综合上述步骤(2)和步骤(3)中的泪膜破裂区域,得到最终结果,如图16及图17所示,进一步的,根据图片序列,得到整体的泪膜初次破裂时间和泪膜平均破裂时间,如图18所示。

Claims (3)

1.一种Placido环图像形态变化识别方法,其特征在于包括如下步骤:
第一步,对输入的图像定位Placido环中心;
第二步,以Placido环中心为圆心,极坐标展开图像:以Placido环中心为圆心,分别计算极坐标下的像素对应原图像的像素位置,将环形图像转换成水平的平行线图像;
第三步,二值化极坐标图像:自适应的计算每个像素点的二值化阈值,依次对图像进行二值化;
第四步,butterworth滤波,得到圆环的初步边界:极坐标系下的黑白横纹,呈平行分布,计算出其变化频率,去除超过或低于一定频率之外的区域,得到的即为Placido环的分布区域;
第五步,形态学滤波,得到无睫毛干扰的区域:具体步骤如下:
(1)将Butterworth滤波后的图像横向划分为24个区域;
(2)依次对这24个区域使用连通区域查找算法,去除长宽不符合标准的区域;
(3)按中心位置依次排列这些区域;
(4)去除距离太远或者太近的区域;
(5)求出剩余区域的最小包围,即为无睫毛区域;
第六步,以无睫毛区域为基础,判断计算出含睫毛区域的范围:具体步骤如下:
(1)对上述第五步中所求的无睫毛区域,求得其Placido环的最大环数;
(2)Placido环的最大环数以内,无睫毛区域之外,为睫毛区域的备选区域;
(3)对于每个Placido环对应的条纹区域,找到睫毛备选区域临近的无睫毛区域,以此为基准得到睫毛区域的上下边界;
第七步,分别判断有睫毛和无睫毛区域的圆环扭曲破裂情况,得到泪膜的破裂情况,具体步骤如下:
(1)计算区域内各条纹的宽度信息;
(2)对于无睫毛区域内,找到宽度变化未超过阈值的区域,即变形幅度未达到Placido环扭曲破裂的标准的区域,以此为基准,确定所有睫毛区域的变化幅度上限,变化幅度超过阈值的区域,即为泪膜破裂区域;
(3)对于有睫毛的区域,判断变化幅度是否超过上述(2)步中确定的上限时,凹变化不计入其内,因为可能是睫毛带来的干扰,对于凸变化超过上限的,判定为泪膜破裂;
(4)综合上述步骤(2)和步骤(3)中的泪膜破裂区域,得到最终结果,然后根据图片序列,得到整体的泪膜初次破裂时间和泪膜平均破裂时间。
2.根据权利要求1所述的Placido环图像形态变化识别方法,其特征在于:所述第一步中定位Placido环中心的具体步骤如下:
(1)从输入图像中心选取256*256的ROI区域;
(2)对ROI区域进行自适应二值化;
(3)使用查找连通区域算法,提取出各团块;
(4)去除长宽和长宽比不符合要求的团块;
(5)对剩余的团块进行圆拟合,在其中找到半径最小的圆,其圆心即为Placido环中心。
3.根据权利要求1所述的Placido环图像形态变化识别方法,其特征在于:所述第二步中的像素位置,对于非整数的像素位置采用双线性插值法计算新的像素灰度。
CN201810376844.4A 2018-04-25 2018-04-25 一种Placido环图像形态变化识别方法 Active CN108734701B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810376844.4A CN108734701B (zh) 2018-04-25 2018-04-25 一种Placido环图像形态变化识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810376844.4A CN108734701B (zh) 2018-04-25 2018-04-25 一种Placido环图像形态变化识别方法

Publications (2)

Publication Number Publication Date
CN108734701A CN108734701A (zh) 2018-11-02
CN108734701B true CN108734701B (zh) 2021-05-25

Family

ID=63939286

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810376844.4A Active CN108734701B (zh) 2018-04-25 2018-04-25 一种Placido环图像形态变化识别方法

Country Status (1)

Country Link
CN (1) CN108734701B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111062443B (zh) * 2019-12-20 2022-05-03 浙江大学 一种基于深度学习的泪膜破裂时间检测系统
CN111932502B (zh) * 2020-07-13 2023-09-05 深圳大学 一种角膜图像点云选取方法、系统、智能终端及存储介质
CN111968083B (zh) * 2020-08-03 2024-05-14 上海美沃精密仪器股份有限公司 一种基于深度学习的在线泪膜破裂时间检测方法
CN115294071A (zh) * 2022-08-10 2022-11-04 中山大学中山眼科中心 基于视频数据的泪膜检测系统及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101231744A (zh) * 2007-01-23 2008-07-30 天津市索维电子技术有限公司 角膜内皮细胞图像处理方法
CN102961118A (zh) * 2012-11-23 2013-03-13 浙江工业大学 一种基于Placido盘测量屈光度及绘制角膜地形图的方法
CN103198484A (zh) * 2013-04-07 2013-07-10 山东师范大学 基于非线性尺度空间的虹膜图像分割算法
CN105488487A (zh) * 2015-12-09 2016-04-13 湖北润宏科技有限公司 一种虹膜定位方法及装置
CN207055477U (zh) * 2016-12-14 2018-03-02 中国科学院苏州生物医学工程技术研究所 干眼症综合分析系统
CN107871322A (zh) * 2016-09-27 2018-04-03 北京眼神科技有限公司 虹膜图像分割方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9339177B2 (en) * 2012-12-21 2016-05-17 Tearscience, Inc. Full-eye illumination ocular surface imaging of an ocular tear film for determining tear film thickness and/or providing ocular topography

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101231744A (zh) * 2007-01-23 2008-07-30 天津市索维电子技术有限公司 角膜内皮细胞图像处理方法
CN102961118A (zh) * 2012-11-23 2013-03-13 浙江工业大学 一种基于Placido盘测量屈光度及绘制角膜地形图的方法
CN103198484A (zh) * 2013-04-07 2013-07-10 山东师范大学 基于非线性尺度空间的虹膜图像分割算法
CN105488487A (zh) * 2015-12-09 2016-04-13 湖北润宏科技有限公司 一种虹膜定位方法及装置
CN107871322A (zh) * 2016-09-27 2018-04-03 北京眼神科技有限公司 虹膜图像分割方法和装置
CN207055477U (zh) * 2016-12-14 2018-03-02 中国科学院苏州生物医学工程技术研究所 干眼症综合分析系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Enhancing the Standard Operating Range of a Placido Disk Videokeratoscope for Corneal Surface Estimation;Weaam Alkhaldi等;《IEEE Transactions on Biomedical Engineering》;20081003;第800-809页 *
一种角膜Placido 圆环边缘检测方法;郭雁文;《中北大学学报( 自然科学版)》;20141231;第599-604页 *

Also Published As

Publication number Publication date
CN108734701A (zh) 2018-11-02

Similar Documents

Publication Publication Date Title
CN108734701B (zh) 一种Placido环图像形态变化识别方法
Almazroa et al. Optic disc and optic cup segmentation methodologies for glaucoma image detection: a survey
Khan et al. Detection of glaucoma using retinal fundus images
Besenczi et al. A review on automatic analysis techniques for color fundus photographs
Chalakkal et al. Fundus retinal image analyses for screening and diagnosing diabetic retinopathy, macular edema, and glaucoma disorders
CN104794721B (zh) 一种基于多尺度斑点检测的快速视盘定位方法
CN106846293B (zh) 图像处理方法和装置
CN105787927A (zh) 视网膜眼底图像的渗出液检测方法
Mane et al. Detection of red lesions in diabetic retinopathy affected fundus images
Mithun et al. Automated detection of optic disc and blood vessel in retinal image using morphological, edge detection and feature extraction technique
Allam et al. Automatic segmentation of optic disc in eye fundus images: a survey
Mane et al. Progress towards automated early stage detection of diabetic retinopathy: Image analysis systems and potential
Das et al. Detection of glaucoma using Neuroretinal Rim information
Karmawat et al. Glaucoma detection using fuzzy C-means optic cup segmentation and feature classification
Lenka et al. Optic Disc Segmentation using Nonconvex Rank Approximation from Retinal Fundus Images
WO2023036899A1 (en) Method and system for retinal tomography image quality control
Maruthusivarani et al. Comparison of automatic blood vessel segmentation methods in retinal images
Zulfira et al. Multi-class peripapillary atrophy for detecting glaucoma in retinal fundus image
Li et al. Detection and identification of hemorrhages in fundus images of diabetic retinopathy
Lotankar et al. Glaucoma Screening using Digital Fundus Image through Optic Disc and Cup Segmentation
Ghorab et al. Computer-Based Detection of Glaucoma Using Fundus Image Processing
Aggarwal et al. A new method for optic disc localization in retinal images
Kanyunthong et al. Segmentation of Retinal Blood Vessels based on Adaptive Interval Top-Hat Filtering in Heterogeneous Environment Optic Disc Image
Halder et al. Qualitative comparison of OTSU thresholding with morphology based thresholding for vessels segmentation of retinal fundus images of human eye
Jose et al. Automated Detection of Microaneurysm using Textural Analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant