CN113962995A - 一种白内障模型的训练方法及白内障识别方法 - Google Patents

一种白内障模型的训练方法及白内障识别方法 Download PDF

Info

Publication number
CN113962995A
CN113962995A CN202111575539.6A CN202111575539A CN113962995A CN 113962995 A CN113962995 A CN 113962995A CN 202111575539 A CN202111575539 A CN 202111575539A CN 113962995 A CN113962995 A CN 113962995A
Authority
CN
China
Prior art keywords
cataract
model
samples
training
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111575539.6A
Other languages
English (en)
Other versions
CN113962995B (zh
Inventor
徐籴
何兰青
赵昕
和超
张大磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Eaglevision Medical Technology Co Ltd
Beijing Airdoc Technology Co Ltd
Original Assignee
Shanghai Eaglevision Medical Technology Co Ltd
Beijing Airdoc Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Eaglevision Medical Technology Co Ltd, Beijing Airdoc Technology Co Ltd filed Critical Shanghai Eaglevision Medical Technology Co Ltd
Priority to CN202111575539.6A priority Critical patent/CN113962995B/zh
Publication of CN113962995A publication Critical patent/CN113962995A/zh
Application granted granted Critical
Publication of CN113962995B publication Critical patent/CN113962995B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Surgery (AREA)
  • Evolutionary Biology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Animal Behavior & Ethology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种白内障模型的训练方法及白内障识别方法,所述白内障识别模型的训练方法包括:获取多个训练样本,其中包括图像质量原因导致的图像不清的非白内障样本,所述训练样本包括样本图像以及指示其所属类别的标签,预设的类别包括白内障类、非白内障且图像质量正常类、非白内障且图像不清类;利用所述多个训练样本训练白内障识别模型识别相应样本图像所属的类别,输出识别结果,根据所述识别结果和对应的标签计算的损失值更新白内障识别模型的参数;本发明针对非白内障类设置非白内障且图像质量正常类、非白内障且图像不清类,由此,以训练白内障识别模型区分白内障以及图像不清的非白内障的特征,从而提高模型的精度。

Description

一种白内障模型的训练方法及白内障识别方法
技术领域
本发明涉及辅助医疗检测技术领域,具体地说,涉及一种白内障识别方法,更具体地说涉及一种基于眼底图像质量检测的白内障识别方法。
背景技术
白内障是一种可能导致失明的严重性眼底疾病。在以前的临床白内障筛查工作中,通过裂隙灯检查法和虹膜投影法来进行白内障的诊断。后来通过眼底相机采集的眼底图像来诊断白内障,由于眼底相机存在操作便捷和数据处理高效的特点,通过其采集的眼底图像来诊断白内障已经成为一种更常用的方式。
现阶段有很多研究都基于深度学习的卷积神经网络来进行白内障的识别和分级,但是大部分研究都是在图片质量良好的情况下完成的。然而在现实情况中,由于拍摄条件和设备的影响会存在很多质量不佳的非白内障图像,而且该质量不佳的图片很可能被误分为白内障图像,增加了白内障识别的难度。例如图1所示的示意性的三种图像,图1 a为图像质量正常的非白内障患者对应的眼底图像;图1 b为白内障患者的眼底图像;图1 c为非白内障患者的眼底图像,但是由于拍摄图像的质量问题,出现了图像模糊的情况,很容易被误认为是白内障的眼底图像,给白内障的识别带来了一定的干扰。概括来说,参见图2,对于白内障和非白内障,由于图像质量的原因,在非白内障处容易因为图像质量引发白内障识别模型错误分类,影响模型的精度。
发明内容
因此,本发明的目的在于克服上述现有技术的缺陷,提供一种白内障模型的训练方法及白内障识别方法。
本发明的目的是通过以下技术方案实现的:
根据本发明的第一方面,提供一种白内障识别模型的训练方法,包括:获取多个训练样本,其中包括图像质量原因导致的图像不清的非白内障样本,所述训练样本包括样本图像以及指示其所属类别的标签,预设的类别包括白内障类、非白内障且图像质量正常类、非白内障且图像不清类;利用所述多个训练样本训练白内障识别模型识别相应样本图像所属的类别,输出识别结果,根据所述识别结果和对应的标签计算的损失值更新白内障识别模型的参数。
在本发明的一些实施例中,所述多个训练样本还包括:白内障样本以及图像质量正常的非白内障样本,所述标签的值为0类、1类或者2类,其中,0类表示白内障类,1类表示非白内障且图像质量正常类,2类表示非白内障且图像不清类。
在本发明的一些实施例中,所述多个训练样本中包括因图像过亮、图像过暗和图像模糊导致图像不清的样本图像。
在本发明的一些实施例中,所述多个训练样本中包括多种程度的因图像过亮、图像过暗和图像模糊导致图像不清的样本图像。
在本发明的一些实施例中,所述方法还包括:利用图像质量检测模型对数据集中属于非白内障类的样本进行图像质量检测,输出属于非白内障类的样本的质量检测结果,该质量检测结果指示对应样本属于图像质量正常的样本、相应程度的因图像过亮、图像过暗或图像模糊导致图像不清的样本;根据所述质量检测结果设置对应样本图像的标签以指示其属于非白内障且图像质量正常类或者非白内障且图像不清类。
在本发明的一些实施例中,所述多个训练样本不包含属于指定的非常规白内障类型的样本,所述指定的非常规白内障类型包括:先天性白内障、外伤性白内障、后发性白内障、代谢性白内障、药物性白内障或者其组合。
在本发明的一些实施例中,所述多个训练样本中的处于各年龄段内的每种类别的训练样本的数量分布与统计的白内障患者数量在年龄段上的分布一致或者大致一致。
在本发明的一些实施例中,所述多个训练样本是由数据集经剔除指定的非常规白内障类型对应样本的剔除处理得到,所述指定的非常规白内障类型包括:先天性白内障、外伤性白内障、后发性白内障、代谢性白内障、药物性白内障或者其组合。
在本发明的一些实施例中,所述多个训练样本是按年龄段对经所述剔除处理的数据集进行分布配准处理得到,以使处于各年龄段内的每种类别的样本的数量分布与统计的白内障患者数量在年龄段上的分布一致或者大致一致;其中,将经分布配准处理的数据集中的各类别的样本按照预定比例分为训练集、验证集和测试集,所述训练集中的样本为所述多个训练样本。
在本发明的一些实施例中,所述白内障识别模型和/或图像质量检测模型采用的模型为:Resnet模型、EfficientNet模型、Inception模型,其中,Inception模型包括Inception-Resnet-V2模型。
根据本发明的第二方面,提供一种基于眼底图像质量检测的白内障识别方法,包括:获取眼底图像;将所述眼底图像输入如第一方面所述的方法训练好的白内障识别模型,输出识别结果,所述识别结果指示所述眼底图像属于白内障类、非白内障且图像质量正常类、非白内障且图像不清类中的一种类别。
根据本发明的第三方面,提供一种电子设备,包括:一个或多个处理器;以及存储器,其中存储器用于存储可执行指令;所述一个或多个处理器被配置为经由执行所述可执行指令以实现第一方面和/或第二方面所述方法的步骤。
与现有技术相比,本发明的优点在于:
本发明针对非白内障类设置非白内障且图像质量正常类、非白内障且图像不清类,由此,以训练白内障识别模型区分白内障以及图像不清的非白内障的特征,从而提高模型的精度。
附图说明
以下参照附图对本发明实施例作进一步说明,其中:
图1为非白内障、白内障以及图像模糊的非白内障对应眼底图像的示意图;
图2为图像质量正常与图像不清的眼底图像示意图;
图3为根据本发明实施例的Inception-Resnet-V2模型的模型结构整体示意图;
图4为根据本发明实施例的Inception-Resnet-V2模型的Stem模块的结构示意图;
图5为根据本发明实施例的Inception-Resnet-V2模型的Inception-Resnet-A模块、Inception-Resnet-B模块、Inception-Resnet-C模块的结构示意图;
图6为根据本发明实施例的Inception-Resnet-V2模型的Reduction-A模块、Reduction-B模块的结构示意图;
图7为根据本发明实施例的多种程度的因图像过亮、图像过暗和图像模糊导致图像不清的样本图像的示意图;
图8为根据本发明实施例的数据集中各类样本随年龄的分布曲线;
图9为根据本发明实施例的数据集经分布配准处理后的各类样本在年龄上的分布示意图;
图10为根据本发明实施例的用于处理数据集的系统的原理示意图;
图11为根据本发明实施例的白内障识别模型在模型预测阶段的示意图;
图12为根据本发明实施例的白内障识别模型在测试集上完成测试得到的多类ROC曲线的示意图。
具体实施方式
为了使本发明的目的,技术方案及优点更加清楚明白,以下结合附图通过具体实施例对本发明进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
如在背景技术部分提到的,在现实情况中,由于拍摄条件和设备的影响会存在很多质量不佳的非白内障图像,而且该质量不佳的图片很可能被误分为白内障图像,增加了白内障识别的难度。因此,本发明针对非白内障类设置非白内障且图像质量正常类、非白内障且图像不清类,由此,以训练白内障识别模型区分白内障以及图像不清的非白内障的特征,从而提高模型的精度。
在对本发明的实施例进行具体介绍之前,先对其中使用到的部分术语作如下解释:
眼底:指眼球内后部的区域,包括视网膜、视乳头、黄斑和视网膜中央动脉等解剖结构。
眼底图像:指利用眼底相机拍摄相应人员的眼底得到的图像。
白内障:指晶状体混浊导致的视觉障碍性疾病。白内障包括常规白内障类型(年龄相关性白内障,即:老年性白内障))和非常规白内障类型。由于非常规白内障类型往往是异常或者非常规的因素导致的,其外在表现与年龄相关性白内障的外在表现较为不同。
以下是几种非常规白内障类型的说明:
先天性白内障,指多在出生前后即已存在或在儿童期内罹患的白内障。
外伤性白内障,指因眼球顿挫伤、穿通伤、辐射性损伤和电击伤等外伤引起的白内障。
后发性白内障,指晶体摘除或者是外伤白内障吸收之后,因残存的上皮组织细胞增生而导致的在瞳孔区形成半透明的膜。
代谢性白内障,指人体代谢障碍所引起的晶状体混浊。例如,糖尿病性白内障、半乳糖性白内障、手足搐搦性白内障等。
药物性白内障,指因接触到化学药品或是使用某些药物而引发不同程度的晶体混浊所对应的白内障。
根据本发明的一个实施例,白内障识别模型可以使用Resnet模型、EfficientNet模型、Inception模型等深度学习模型。或者在前述深度学习模型的基础上进行改进,自行设计的分类模型,用于对相应的眼底图像进行分类。Inception模型包括Inception v1模型、Inception v2模型、Inception v3模型、Inception v4模型、Inception-Resnet-V1模型、Inception-Resnet-V2模型。例如,使用Inception-Resnet-V2模型作为白内障识别模型。Inception-Resnet-V2模型的网络结构如图3所示,Inception-Resnet-V2模型包括:依次连接的Stem模块、5个Inception-resnet-A模块、Reduction-A模块、10个Inception-resnet-B模块、Reduction-B模块、5个Inception-resnet-C模块、池化模块(采用AveragePooling,即平均池化)模块、随机失活(Dropout)模块和Softmax模块。优选的,Inception-Resnet-V2模型的输入图像的大小采用299×299×3(宽×高×通道数)。根据本发明的一些实施例,Stem模块的结构如图4所示、Inception-resnet-A模块的结构如图5 a所示、Inception-resnet-B模块的结构如图5 b所示、Inception-resnet-C模块的结构如图5 c所示、Reduction-A模块的结构如图6 a所示和Reduction-B模块的结构如图6 b所示。在图3、图4、图5和图6中,a×b conv表示卷积核大小为a×b的卷积层,例如,3×3 conv表示卷积核大小为3×3的卷积层,同理1×1 conv表示卷积核大小为1×1的卷积层;3×3 Maxpool表示采样核大小为3×3的最大池化层;叠加表示将获得的特征图在通道维度上进行叠加处理(按照深度进行连接);Relu激活函数表示将特征图经过Relu激活函数的处理;AveragePooling表示平均池化层。
根据本发明的一个实施例,对白内障识别模型进行训练前,需要准备多个训练样本。多个训练样本包括白内障样本、图像质量正常的非白内障样本、图像质量原因导致的图像不清的非白内障样本。预设的类别包括白内障类、非白内障且图像质量正常类、非白内障且图像不清类。每个训练样本包括样本图像以及指示其所属类别的标签。标签的值指示其对应样本图像为预设的类别中的相应类。根据本发明的一个实施例,标签的值为0类、1类或2类,其中,0类表示白内障类,1类表示非白内障且图像质量正常类,2类表示非白内障且图像不清类。
为了提高白内障识别模型的性能,本发明在训练样本中增加了多种因素导致的图像不清的样本图像。根据本发明的一个实施例,多个训练样本中包括因图像过亮、图像过暗和图像模糊导致图像不清的样本图像(统称图像不清的样本图像)。
为了提高白内障识别模型的性能,本发明添加了不同干扰程度的样本图像。根据本发明的一个实施例,多个训练样本中包括多种程度的因图像过亮、图像过暗和/或图像模糊导致图像不清的样本图像。如图7所示,图像过亮包括轻微过亮和严重过亮,图像过暗包括轻微过暗和严重过暗,图像模糊包括轻微模糊和严重模糊。
为了降低非常规白内障类型对白内障识别模型的性能产生不利影响,根据本发明的一个实施例,多个训练样本不包含属于指定的非常规白内障类型的样本,所述指定的非常规白内障类型包括:先天性白内障、外伤性白内障、后发性白内障、代谢性白内障、药物性白内障或者其组合。例如,在制作训练集前,可以通过一个或者多个具有白内障眼科方面经验的人排除属于指定的非常规白内障类型的样本图像。
为了降低各类样本在年龄上的数量分布与白内障患者随年龄的数量分布不一致对白内障识别模型的性能产生不利影响,根据本发明的一个实施例,所述多个训练样本中的处于各年龄段内的每种类别的训练样本的数量分布与统计的白内障患者数量在年龄段上的分布一致或者大致一致。例如,统计当前获得的所有样本中白内障患者数量在年龄段上的分布,用于调整训练样本的数量在年龄段上的分布。又例如,根据其他研究者统计的白内障患者数量在年龄段上的分布,用于调整训练样本的数量在年龄段上的分布。
应当理解,可以利用相应的处理过程直接制作满足上述要求的训练数据。另外,也可以利用一些现有的数据集来进行改造。例如,获得的数据集中设有白内障类和非白内障类对应的样本图像,但是并不满足以上要求。
在获得的数据集中,其中可能存在因各种因素导致白内障的样本,由于一些白内障的外在表现与常规的白内障存在较大差异,若加入到训练样本中,容易对白内障识别模型的性能产生不利影响;所以需要排除其中属于非常规白内障类型的样本,以保障模型性能。根据本发明的一个实施例,多个训练样本是由数据集经剔除指定的非常规白内障类型的剔除处理得到,所述指定的非常规白内障类型包括:先天性白内障、外伤性白内障、后发性白内障、代谢性白内障、药物性白内障或者其组合。优选的,经剔除处理后,留下的主要是老年性白内障(即常规的白内障类型)。
在获得的数据集中,可能存在各年龄段内不同类别的样本的数量分布与白内障患者随年龄的数量分布不一致,例如,假设原始的数据分布如图8中所示,其中按照年龄段进行划分,每十年为一组;可以看到,不同类别上的年龄分布是不一致的。如对于白内障类,其年龄分布主要集中在50-80年龄段;而对于非白内障且图像质量正常类,20-60为样本的主要年龄分布段。年龄分布不一致会对白内障识别模型的性能造成影响,而模型关注的重点应当为白内障的高发年龄段的人群。根据本发明的一个实施例,多个训练样本是按年龄段对经所述剔除处理的数据集进行分布配准处理得到,以使处于各年龄段内的每种类别的样本的数量分布与统计的白内障患者数量在年龄段上的分布一致或者大致一致;其中,将经分布配准处理的数据集中的各类别的样本按照预定比例分为训练集、验证集和测试集,所述训练集中的样本为所述多个训练样本。本发明针对白内障、非白内障质量正常和非白内障质量不清的三种类别,调整数据的年龄分布,保证训练集、验证集和测试集中的阳性样本和2种阴性样本的年龄分布一致。如图9所示,按年龄进行分布配准处理后,训练集中的多个训练样本中三种类别的数量均衡,可以排除因为各个年龄段内不同类别的样本不均衡对结果造成的影响,保障白内障识别模型的性能。
根据本发明的一个实施例,本发明提供一种白内障识别模型的训练方法,包括:获 取多个训练样本,其中包括白内障样本、图像质量正常的非白内障样本、图像质量原因导致 的图像不清的非白内障样本,所述训练样本包括样本图像以及指示其所属类别的标签,预 设的类别包括白内障类、非白内障且图像质量正常类、非白内障且图像不清类;利用所述多 个训练样本训练白内障识别模型识别相应样本图像所属的类别,输出识别结果,根据所述 识别结果和对应的标签计算的损失值更新白内障识别模型的参数。优选的,在训练白内障 识别模型时,采用交叉熵损失函数计算损失值。交叉熵损失函数表示为:
Figure DEST_PATH_IMAGE001
,其中,
Figure 913723DEST_PATH_IMAGE002
表示批大小(Batch size),
Figure DEST_PATH_IMAGE003
表示样本 n在第
Figure 502967DEST_PATH_IMAGE004
个类别的标签值(如果样本n属于该类别,则
Figure 17125DEST_PATH_IMAGE003
为1,否则为0),C为类别总数,
Figure DEST_PATH_IMAGE005
表示样本n为第i个类别的预测概率。例如,批大小设为24,分类数量设为3,则该公式中
Figure 51815DEST_PATH_IMAGE002
为 24,
Figure 866188DEST_PATH_IMAGE006
为3。优选的,训练时采用的梯度下降算法为随机梯度下降算法(SGD);使用指定指标不 发生变化时调整学习率(ReduceLROnPlateau)方式,指定指标例如为:验证集精度或者训练 集损失等;初始学习率(Learning rate)例如设为0.0001;耐心值(Patience,用于设置在指 定指标在连续多少轮(Epoch)不变化后开始调整学习率)例如设为2-6的整数,设置学习率 调整因子(Factor,用于为学习率调整倍数)例如设为0.2-0.5之间的值。训练过程中,训练 轮次(Epoch,即多个样本整体被训练使用的总次数)例如设为100,批大小(Batch size,即 每一个训练轮次中将每批次使用的训练样本数量)例如设为24。优选的,根据所述识别结果 和对应的标签计算的损失值更新白内障识别模型的参数包括:根据所述识别结果和对应的 标签计算的损失值求梯度并通过反向传播更新白内障识别模型的参数。
由于初始获得的数据集可能不满足本发明对训练样本的要求,可以设置图像质量检测模型和数据预处理模块来对数据集进行相应处理,以高效实现本发明对训练样本的需求。根据本发明的一个实施例,参见图10,提供一种用于处理数据集的系统,包括:图像质量检测模型10,用于对数据集中属于非白内障类的样本进行图像质量检测,输出属于非白内障类的样本的质量检测结果,该质量检测结果指示对应样本属于图像质量正常的样本、相应程度的因图像过亮、图像过暗或图像模糊导致图像不清的样本;数据预处理模块20,用于对数据集进行标签调整、剔除处理和分布配准处理,得到多个训练样本。优选的,标签调整包括根据所述质量检测结果设置对应样本图像的标签以指示其属于非白内障且图像质量正常类或者非白内障且图像不清类。即:数据集的原始标签包括白内障类(0类)和非白内障类(1类),根据质量检测结果,若样本图像属于图像质量正常的样本,则其标签仍为1类,但代表非白内障且图像质量正常类,若样本属于相应程度的因图像过亮、图像过暗或图像模糊导致图像不清的样本中的任一类,则将其标签由1类内改为2类,代表非白内障且图像不清类。优选的,剔除处理用于剔除数据集中指定的非常规白内障类型。例如,基于专家经验手动剔除数据集中指定的非常规白内障类型。或者,也可以训练模型来识别指定的非常规白内障类型,并将从数据集中其剔除。优选的,所述分布配准处理用于将经剔除处理后的数据集中处于各年龄段内的每种类别的样本的数量分布与统计的白内障患者数量在年龄段上的分布进行配准,以使处于各年龄段内的每种类别的样本的数量分布与统计的白内障患者数量在年龄段上的分布一致或者大致一致。将经分布配准处理的数据集中的各类别的样本按照预定比例分为训练集、验证集和测试集,所述训练集中的样本为所述多个训练样本。其中,按年龄进行分布配准可以是对整个数据集进行配准,然后按预定比例(如8:1:1)以及类别均衡的方式分为训练集、验证集和测试集。处理完成后,可以利用训练集中的多个训练样本训练白内障识别模型。
根据本发明的一个实施例,图像质量检测模型10可以使用Resnet模型、 EfficientNet模型、Inception模型等深度学习模型。或者在前述深度学习模型的基础上进 行改进,自行设计的分类模型,用于对相应的眼底图像进行分类。Inception模型包括 Inception v1模型、Inception v2模型、Inception v3模型、Inception v4模型、 Inception-Resnet-V1模型、Inception-Resnet-V2模型。图像质量检测模型10可以和白内 障识别模型采用相同的模型结构、损失函数以及超参数设置;但分类设置和标签设置不同。 图像质量检测模型10是基于七个类别的分类模型。图像质量检测模型10采用的训练数据包 括多种图像质量的样本,多种图像质量的样本包括质量正常、轻微过暗、轻微过亮、严重过 暗、严重过亮、轻微模糊和严重模糊的图像,对应的图像质量标签包括指示相应图像属于质 量正常类、轻微过暗类、轻微过亮类、严重过暗类、严重过亮类、轻微模糊类和严重模糊类的 标签。图像质量检测模型10是按照以下方式训练得到:利用所述多种图像质量的样本训练 图像质量检测模型10检测相应图像的质量,输出质量检测结果,根据所述质量检测结果和 对应的图像质量标签计算的损失值更新图像质量检测模型10的参数。优选的,在训练图像 质量检测模型10时,也可采用交叉熵损失函数计算损失值。交叉熵损失函数表示为:
Figure 157492DEST_PATH_IMAGE001
,其中,
Figure 158946DEST_PATH_IMAGE002
表示批大小(Batch size),
Figure 826687DEST_PATH_IMAGE003
表示样本n 在第
Figure 495566DEST_PATH_IMAGE004
个类别的标签值(如果样本n属于该类别,则
Figure 417427DEST_PATH_IMAGE003
为1,否则为0),C为类别总数,
Figure 640598DEST_PATH_IMAGE005
表 示样本n为第i个类别的预测概率。例如,批大小设为10,分类数量设为7,则该公式中
Figure 49714DEST_PATH_IMAGE002
为 10,
Figure 573099DEST_PATH_IMAGE006
为7。优选的,优选的,根据所述质量检测结果和对应的图像质量标签计算的损失值更 新图像质量检测模型10的参数包括:根据所述质量检测结果和对应的图像质量标签计算的 损失值求梯度并通过反向传播更新图像质量检测模型10的参数。将图像质量检测模型10训 练至收敛后,可以用于对数据集进行图像质量标注(即图像质量检测)。
根据本发明的一个实施例,在模型预测阶段,参见图11,一种基于眼底图像质量检测的白内障识别方法,包括:获取眼底图像;将所述眼底图像输入前述实施例的方法训练好的白内障识别模型,输出识别结果,所述识别结果指示所述眼底图像属于白内障类(0类)、非白内障且图像质量正常类(1类)、非白内障且图像不清类中的一种类别(2类)。例如,医生通过眼底相机拍摄一张被检测者的眼底图像,该眼底图像输入经本发明的方法训练好的白内障识别模型,输出预测结果。例如,假设输出的预测结果为:非白内障且图像不清类;则表示当前拍摄的眼底图像存在图像质量问题,但被检测者并未患有白内障。由此,医生也可根据检查的结果,在出现非白内障且图像不清类时再进行人工复核,以进一步确保检测结果的准确性,降低误诊的概率。
为了使本发明的目的、技术方案及优点更加清楚明白,同时使实验过程更加清楚,对本发明提出的方法在实验进一步详细说明。
一、实验设备
本发明使用设备的CPU型号为48 Intel(R) Xeon(R) CPU E5-2678 v3 @2.50GHz,GPU型号为GTX 1080。
二、白内障识别模型训练
(1)实验数据分布
针对预处理之后的数据集,其包括白内障类、非白内障且图像质量正常类和非白内障且质量不清类三种类别。在模型训练阶段,对三种类别的数据均选取4750张,其中数据的分布情况为:训练集(Train):验证集(Val):测试集(Test)≈8:1:1,其中具体的样本数据如表1所示。
表1 实验数据分布情况
Figure DEST_PATH_IMAGE008A
(2)实验参数设置
在实验时,白内障识别模型采用Inception-Resnet-V2模型,对白内障识别模型进行训练的过程中,使用的损失函数为交叉熵(Cross entropy)损失函数。优化算法为随机梯度下降算法(SGD),初始学习率(learning rate)为0.0001,训练过程中学习率的调整方法为指定指标不发生变化时调整学习率(ReduceLROnPlateau),根据损失函数来动态更新学习率,耐心值设为6,学习率调整因子为0.2。训练过程中,训练轮次设为100,批大小设为24。但应当理解,在采用本发明制作好的多个训练样本训练时,除实验采用的具体模型结构外,前述实施例中提及的其他可用的模型也能实现类似的效果。
(3)实验过程
在整体流程训练阶段中,首先使用带标注的质量正常和图像不清的眼底图片训练质量检测模型;然后在白内障检测的预处理阶段,选取带标签的白内障图像和非白内障图像,对于非白内障图片使用质量检测模型,将其分为非白内障且图像质量正常的图像和非白内障且质量不清的图像;同时为了防止因为年龄分布不均衡对模型结果造成的偏差,按年龄进行分布配准以调整阴性和阳性样本的年龄分布保持一致,随后划分训练集、验证集和测试集。最后实验在训练集(对应多个训练样本)上训练,其中训练集中的样本图像的尺寸被调整到299x299,并且选取验证集上结果最好的模型作为白内障识别模型。
在测试阶段,将测试集中的图片作为输入,使用白内障识别模型得到最终的识别结果。
(4)实验结果评估
针对实验结果,使用AUC和ACC作为评估指标。实验中在训练集上训练,选取验证集上结果最好的模型,在测试集上完成测试,其中多类ROC曲线如图12所示。在测试集上的结果显示,AUC指标为0.8405,ACC指标为0.6507,其中图中类0表示白内障类,类1表示非白内障且图像质量正常类,类2表示非白内障且图像不清类,平均ROC曲线表示模型对于正确类的AUC值,宏平均ROC曲线表示模型对于三分类的平均AUC值。可见,本发明的白内障识别模型可以实现较好的识别精度。
总的来说,在现实使用场景中,因为拍摄质量和相机的影响存在大量的质量不清的非白内障图像,而这部分图像易于白内障图像混淆,因此如何在存在大量干扰的条件下实现白内障识别的准确性是一个挑战,因此本发明通过以上实施例实现了一种基于眼底图像质量检测的白内障识别方法。其中,通过图像质量检测模型,检测出图像不清的眼底图并改造非白内障类的标签以使其变为与图像质量相关的标签并用于模型的训练,以训练白内障识别模型区分白内障以及图像不清的非白内障的特征,从而提高模型的精度。此外,本发明通过对不同类别的样本按照年龄段进行配准,排除了不同年龄段内各类别数量不均衡对图像识别的影响,从而实现更高鲁棒性的白内障识别模型。换言之,针对白内障识别中存在质量不清的图片干扰的情况,本发明提出了基于质量检测的白内障识别方法,在白内障识别模型的基础上增加了图像质量检测模型,同时在模型训练时增加了干扰样本,增强了模型的鲁棒性,实现了在存在大量干扰的情况下仍能完成对白内障的准确识别,同时可以辅助医生更高效的进行白内障的识别,提升其工作效率。
需要说明的是,虽然上文按照特定顺序描述了各个步骤,但是并不意味着必须按照上述特定顺序来执行各个步骤,实际上,这些步骤中的一些可以并发执行,甚至改变顺序,只要能够实现所需要的功能即可。
本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质,其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以包括但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。
以上已经描述了本发明的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (12)

1.一种白内障识别模型的训练方法,其特征在于,包括:
获取多个训练样本,其中包括图像质量原因导致的图像不清的非白内障样本,所述训练样本包括样本图像以及指示其所属类别的标签,预设的类别包括白内障类、非白内障且图像质量正常类、非白内障且图像不清类;
利用所述多个训练样本训练白内障识别模型识别相应样本图像所属的类别,输出识别结果,根据所述识别结果和对应的标签计算的损失值更新白内障识别模型的参数。
2.根据权利要求1所述的方法,其特征在于,所述多个训练样本还包括:白内障样本以及图像质量正常的非白内障样本,所述标签的值为0类、1类或者2类,其中,0类表示白内障类,1类表示非白内障且图像质量正常类,2类表示非白内障且图像不清类。
3.根据权利要求2所述的方法,其特征在于,所述多个训练样本中包括因图像过亮、图像过暗和图像模糊导致图像不清的样本图像。
4.根据权利要求3所述的方法,其特征在于,所述多个训练样本中包括多种程度的因图像过亮、图像过暗和图像模糊导致图像不清的样本图像。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
利用图像质量检测模型对数据集中属于非白内障类的样本进行图像质量检测,输出属于非白内障类的样本的质量检测结果,该质量检测结果指示对应样本属于图像质量正常的样本、相应程度的因图像过亮、图像过暗或图像模糊导致图像不清的样本;
根据所述质量检测结果设置对应样本图像的标签以指示其属于非白内障且图像质量正常类或者非白内障且图像不清类。
6.根据权利要求1所述的方法,其特征在于,所述多个训练样本不包含属于指定的非常规白内障类型的样本,所述指定的非常规白内障类型包括:先天性白内障、外伤性白内障、后发性白内障、代谢性白内障、药物性白内障或者其组合。
7.根据权利要求6所述的方法,其特征在于,所述多个训练样本中的处于各年龄段内的每种类别的训练样本的数量分布与统计的白内障患者数量在年龄段上的分布一致或者大致一致。
8.根据权利要求1所述的方法,其特征在于,所述多个训练样本是由数据集经剔除指定的非常规白内障类型对应样本的剔除处理得到,所述指定的非常规白内障类型包括:先天性白内障、外伤性白内障、后发性白内障、代谢性白内障、药物性白内障或者其组合。
9.根据权利要求8所述的方法,其特征在于,所述多个训练样本是按年龄段对经所述剔除处理的数据集进行分布配准处理得到,以使处于各年龄段内的每种类别的样本的数量分布与统计的白内障患者数量在年龄段上的分布一致或者大致一致;
其中,将经分布配准处理的数据集中的各类别的样本按照预定比例分为训练集、验证集和测试集,所述训练集中的样本为所述多个训练样本。
10.根据权利要求1-9任一项所述的方法,其特征在于,所述白内障识别模型和/或图像质量检测模型采用的模型为:Resnet模型、EfficientNet模型、Inception模型,其中,Inception模型包括Inception-Resnet-V2模型。
11.一种基于眼底图像质量检测的白内障识别方法,其特征在于,包括:
获取眼底图像;
将所述眼底图像输入如权利要求1-10任一项所述的方法训练好的白内障识别模型,输出识别结果,所述识别结果指示所述眼底图像属于白内障类、非白内障且图像质量正常类、非白内障且图像不清类中的一种类别。
12.一种电子设备,其特征在于,包括:
一个或多个处理器;以及
存储器,其中存储器用于存储可执行指令;
所述一个或多个处理器被配置为经由执行所述可执行指令以实现权利要求1至11中任一项所述方法的步骤。
CN202111575539.6A 2021-12-21 2021-12-21 一种白内障模型的训练方法及白内障识别方法 Active CN113962995B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111575539.6A CN113962995B (zh) 2021-12-21 2021-12-21 一种白内障模型的训练方法及白内障识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111575539.6A CN113962995B (zh) 2021-12-21 2021-12-21 一种白内障模型的训练方法及白内障识别方法

Publications (2)

Publication Number Publication Date
CN113962995A true CN113962995A (zh) 2022-01-21
CN113962995B CN113962995B (zh) 2022-04-19

Family

ID=79473545

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111575539.6A Active CN113962995B (zh) 2021-12-21 2021-12-21 一种白内障模型的训练方法及白内障识别方法

Country Status (1)

Country Link
CN (1) CN113962995B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115456962A (zh) * 2022-08-24 2022-12-09 中山大学中山眼科中心 一种基于卷积神经网络的脉络膜血管指数预测方法和装置
CN117197145A (zh) * 2023-11-08 2023-12-08 天津医科大学眼科医院 一种基于深度学习的白内障病变图像识别方法及系统

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106056116A (zh) * 2016-05-31 2016-10-26 河北工业大学 一种基于模糊粗糙集的睡姿压力图像识别方法
CN109102885A (zh) * 2018-08-20 2018-12-28 北京邮电大学 基于卷积神经网络与随机森林组合的白内障自动分级方法
CN109858498A (zh) * 2019-01-22 2019-06-07 电子科技大学 一种用于核型白内障图像的特征提取方法
US20190236371A1 (en) * 2018-01-30 2019-08-01 Deluxe Entertainment Services Group Inc. Cognitive indexing of images in digital video content
CN110188641A (zh) * 2019-05-20 2019-08-30 北京迈格威科技有限公司 图像识别和神经网络模型的训练方法、装置和系统
CN110188613A (zh) * 2019-04-28 2019-08-30 上海鹰瞳医疗科技有限公司 图像分类方法及设备
CN111462082A (zh) * 2020-03-31 2020-07-28 重庆金山医疗技术研究院有限公司 一种病灶图片识别装置、方法、设备及可读存储介质
CN112036335A (zh) * 2020-09-03 2020-12-04 南京农业大学 一种反卷积引导的半监督植物叶部病害识别与分割方法
CN112101424A (zh) * 2020-08-24 2020-12-18 深圳大学 一种视网膜病变识别模型的生成方法、识别装置及设备
CN112220445A (zh) * 2020-09-29 2021-01-15 温州医科大学附属眼视光医院 一种基于移动终端的白内障和后发性白内障的分析系统和装置
CN112233061A (zh) * 2020-09-07 2021-01-15 中国人民解放军海军军医大学第一附属医院 一种基于深度学习的皮肤基底细胞癌和鲍温病识别方法
CN112434730A (zh) * 2020-11-10 2021-03-02 广东电力信息科技有限公司 一种基于GoogleNet的视频图像质量异常分类方法
WO2021056046A1 (en) * 2019-09-25 2021-04-01 Presagen Pty Ltd Method and system for performing non-invasive genetic testing using an artificial intelligence (ai) model
CN112634221A (zh) * 2020-12-17 2021-04-09 广西壮族自治区人民医院 基于图像和深度的角膜层次识别及病变定位方法和系统
CN113159223A (zh) * 2021-05-17 2021-07-23 湖北工业大学 一种基于自监督学习的颈动脉超声图像识别方法

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106056116A (zh) * 2016-05-31 2016-10-26 河北工业大学 一种基于模糊粗糙集的睡姿压力图像识别方法
US20190236371A1 (en) * 2018-01-30 2019-08-01 Deluxe Entertainment Services Group Inc. Cognitive indexing of images in digital video content
CN109102885A (zh) * 2018-08-20 2018-12-28 北京邮电大学 基于卷积神经网络与随机森林组合的白内障自动分级方法
CN109858498A (zh) * 2019-01-22 2019-06-07 电子科技大学 一种用于核型白内障图像的特征提取方法
CN110188613A (zh) * 2019-04-28 2019-08-30 上海鹰瞳医疗科技有限公司 图像分类方法及设备
CN110188641A (zh) * 2019-05-20 2019-08-30 北京迈格威科技有限公司 图像识别和神经网络模型的训练方法、装置和系统
WO2021056046A1 (en) * 2019-09-25 2021-04-01 Presagen Pty Ltd Method and system for performing non-invasive genetic testing using an artificial intelligence (ai) model
CN111462082A (zh) * 2020-03-31 2020-07-28 重庆金山医疗技术研究院有限公司 一种病灶图片识别装置、方法、设备及可读存储介质
CN112101424A (zh) * 2020-08-24 2020-12-18 深圳大学 一种视网膜病变识别模型的生成方法、识别装置及设备
CN112036335A (zh) * 2020-09-03 2020-12-04 南京农业大学 一种反卷积引导的半监督植物叶部病害识别与分割方法
CN112233061A (zh) * 2020-09-07 2021-01-15 中国人民解放军海军军医大学第一附属医院 一种基于深度学习的皮肤基底细胞癌和鲍温病识别方法
CN112220445A (zh) * 2020-09-29 2021-01-15 温州医科大学附属眼视光医院 一种基于移动终端的白内障和后发性白内障的分析系统和装置
CN112434730A (zh) * 2020-11-10 2021-03-02 广东电力信息科技有限公司 一种基于GoogleNet的视频图像质量异常分类方法
CN112634221A (zh) * 2020-12-17 2021-04-09 广西壮族自治区人民医院 基于图像和深度的角膜层次识别及病变定位方法和系统
CN113159223A (zh) * 2021-05-17 2021-07-23 湖北工业大学 一种基于自监督学习的颈动脉超声图像识别方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
ELENA,GARCIA-MARTIN等: "Ability and reproducibility of Fourier-domain optical coherence tomography to detect retinal nerve fiber layer atrophy in Parkinson"s disease", 《OPHTHALMOLOGY》 *
F LALYS等: "Surgical Tools Recognition and Pupil Segmentation for Cataract Surgical Process Modeling", 《STUD HEALTH TECHNOL INFORM》 *
俞俊: "基于用户点击数据的细粒度图像识别方法概述", 《南京信息工程大学学报:自然科学》 *
刘宇等: "基于水平集方法和模糊模型的医学图像分割算法研究", 《中国博士学位论文全文数据库 (信息科技辑)》 *
郭克友等: "卷积神经网络在车牌分类器中的应用", 《计算机工程与应用》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115456962A (zh) * 2022-08-24 2022-12-09 中山大学中山眼科中心 一种基于卷积神经网络的脉络膜血管指数预测方法和装置
CN115456962B (zh) * 2022-08-24 2023-09-29 中山大学中山眼科中心 一种基于卷积神经网络的脉络膜血管指数预测方法和装置
CN117197145A (zh) * 2023-11-08 2023-12-08 天津医科大学眼科医院 一种基于深度学习的白内障病变图像识别方法及系统
CN117197145B (zh) * 2023-11-08 2024-02-13 天津医科大学眼科医院 一种基于深度学习的白内障病变图像识别系统

Also Published As

Publication number Publication date
CN113962995B (zh) 2022-04-19

Similar Documents

Publication Publication Date Title
Junayed et al. CataractNet: An automated cataract detection system using deep learning for fundus images
CN113962995B (zh) 一种白内障模型的训练方法及白内障识别方法
Hossain et al. Automatic detection of eye cataract using deep convolution neural networks (DCNNs)
Keenan et al. DeepLensNet: deep learning automated diagnosis and quantitative classification of cataract type and severity
Sertkaya et al. Diagnosis of eye retinal diseases based on convolutional neural networks using optical coherence images
KR102354980B1 (ko) 전안부 질환 진단 시스템 및 이를 이용한 진단 방법
US20230022921A1 (en) System and method for analyzing corneal lesion using anterior ocular segment image, and computer-readable recording medium
CN109464120A (zh) 一种糖尿病视网膜病变筛查方法、装置及存储介质
CN113889267A (zh) 基于眼象识别的糖尿病诊断模型的构建方法和电子设备
Raza et al. Classification of eye diseases and detection of cataract using digital fundus imaging (DFI) and inception-V4 deep learning model
Kajan et al. Detection of diabetic retinopathy using pretrained deep neural networks
Tasin et al. Computer-Aided Cataract Detection Using Random Forest Classifier
CN111700582A (zh) 一种基于智能终端的常见眼表疾病诊断系统
CN113222927B (zh) 一种早产儿视网膜病变附加性病变的自动检查机器
Chen et al. Using deep neural networks to classify the severity of diabetic retinopathy
Triyadi et al. Deep learning in image classification using vgg-19 and residual networks for cataract detection
EP4365829A1 (en) Binocular keratoconus diagnosis method based on multi-modal data
Sengar et al. An efficient artificial intelligence-based approach for diagnosis of media haze disease
Kazi et al. Processing retinal images to discover diseases
Latha et al. Diagnosis of diabetic retinopathy and glaucoma from retinal images using deep convolution neural network
Cruz-Vega et al. Nuclear Cataract Database for Biomedical and Machine Learning Applications
Saju et al. A Comprehensive Study on Computer-Aided Cataract Detection, Classification, and Management Using Artificial Intelligence
C Gandhi et al. Glaucoma Eyes Disease Identification: Using Vgg16 Model throughDeep Neural Network
Hussein et al. Convolutional Neural Network in Classifying Three Stages of Age-Related Macula Degeneration
Jayanthi SOM clustering approach: investigation on cataract surgery structural changes in iris.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant