CN113591601B - 角膜共聚焦图像中菌丝识别方法及装置 - Google Patents
角膜共聚焦图像中菌丝识别方法及装置 Download PDFInfo
- Publication number
- CN113591601B CN113591601B CN202110773694.2A CN202110773694A CN113591601B CN 113591601 B CN113591601 B CN 113591601B CN 202110773694 A CN202110773694 A CN 202110773694A CN 113591601 B CN113591601 B CN 113591601B
- Authority
- CN
- China
- Prior art keywords
- cornea
- segmentation result
- nerve fiber
- confocal image
- hyphae
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000004087 cornea Anatomy 0.000 title claims abstract description 171
- 238000000034 method Methods 0.000 title claims abstract description 72
- 230000011218 segmentation Effects 0.000 claims abstract description 218
- 210000004126 nerve fiber Anatomy 0.000 claims abstract description 110
- 238000010586 diagram Methods 0.000 claims abstract description 79
- 239000000835 fiber Substances 0.000 claims abstract description 67
- 238000002372 labelling Methods 0.000 claims description 39
- 230000000007 visual effect Effects 0.000 claims description 21
- 238000012549 training Methods 0.000 claims description 20
- 238000012937 correction Methods 0.000 claims description 19
- 238000010801 machine learning Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 9
- 238000004891 communication Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 208000014260 Fungal keratitis Diseases 0.000 description 1
- 108010068977 Golgi membrane glycoproteins Proteins 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Eye Examination Apparatus (AREA)
Abstract
本发明提供一种角膜共聚焦图像中菌丝识别方法及装置，该方法包括：获取待识别的角膜共聚焦图像；将所述角膜共聚焦图像输入到菌丝‑神经纤维分割模型，根据所述菌丝‑神经纤维分割模型输出预分割结果图；对预分割结果图进行自动修正得到最终分割结果图；根据所述最终分割结果图判断是否存在菌丝。本发明提供的角膜共聚焦图像中菌丝识别方法及装置，通过将角膜共聚焦图像输入到菌丝‑神经纤维分割模型，根据菌丝‑神经纤维分割模型输出预分割结果图，对预分割结果图进行自动修正得到最终分割结果图，根据最终分割结果图判断是否存在菌丝，实现对图像中菌丝和神经纤维的准确区分，由此可以实现角膜共聚焦图像中菌丝的自动化准确识别。
Description
技术领域
本发明涉及医学图像处理技术领域，尤其涉及一种角膜共聚焦图像中菌丝识别方法及装置。
背景技术
角膜共聚焦图像中菌丝的出现是判断真菌性角膜炎的重要依据，但有时角膜共聚焦图像中菌丝和神经纤维会同时存在，菌丝和神经纤维都是线状结构，形态类似、很难区分，需要很有经验的眼科医生找准两者的不同点，仔细辨别，因此可能会由于不同医生的主观经验不同，造成漏诊和误诊。现有技术没有考虑菌丝和神经纤维的区分技术，然而这正是菌丝识别的难点所在。
发明内容
为解决现有技术中的问题，本发明提供一种角膜共聚焦图像中菌丝识别方法及装置。
本发明提供一种角膜共聚焦图像中菌丝识别方法，包括：获取待识别的角膜共聚焦图像；将所述角膜共聚焦图像输入到菌丝-神经纤维分割模型，根据所述菌丝-神经纤维分割模型输出预分割结果图；其中，所述菌丝-神经纤维分割模型是以角膜共聚焦图像样本作为输入、以所述角膜共聚焦图像样本中每个像素点属于菌丝区域、神经纤维区域或背景区域的标注结果作为输出标签，进行机器学习训练得到的；对所述预分割结果图进行自动修正得到最终分割结果图；根据所述最终分割结果图判断是否存在菌丝。
根据本发明提供的一种角膜共聚焦图像中菌丝识别方法，在所述获取待识别的角膜共聚焦图像之前，所述方法还包括：获取所述角膜共聚焦图像样本，以及基于所述角膜共聚焦图像样本沿着菌丝和/或神经纤维的中线分别进行描绘获取区域标注图像样本；其中，所述区域标注图像样本中表示菌丝和神经纤维的像素具有不同的像素值。
根据本发明提供的一种角膜共聚焦图像中菌丝识别方法，所述对所述预分割结果图进行自动修正得到最终分割结果图，具体包括：获取所述预分割结果图中的各个菌丝分段和各个神经纤维分段；计算所述菌丝分段和所述神经纤维分段的预设特征指标，并将所述预设特征指标和预设特征指标的阈值进行比较，根据比较结果对所述预分割结果图中所述菌丝分段和所述神经纤维分段进行类别修正，得到所述最终分割结果图。
根据本发明提供的一种角膜共聚焦图像中菌丝识别方法，所述预设特征指标包括分段中交叉点处分支间角度、分段长度、分段弯曲度中的至少一种。
根据本发明提供的一种角膜共聚焦图像中菌丝识别方法，所述方法还包括：将所述最终分割结果图和所述角膜共聚焦图像进行叠加，得到可视化图像，并展示所述可视化图像。
根据本发明提供的一种角膜共聚焦图像中菌丝识别方法，所述将所述角膜共聚焦图像输入到菌丝-神经纤维分割模型，根据所述菌丝-神经纤维分割模型输出预分割结果图，具体包括：将所述角膜共聚焦图像输入到编码器的骨架网络块，输出第一特征图；将所述第一特征图输入到所述编码器的大核可分离卷积块，输出第二特征图；将所述第二特征图输入到所述编码器的自注意力块，输出第三特征图；将所述第三特征图输入到解码器，输出所述预分割结果图。
根据本发明提供的一种角膜共聚焦图像中菌丝识别方法，所述骨架网络块的部分深层卷积层调整为可变形卷积层；所述大核可分离卷积块，将输入的所述第一特征图分成两个分支，一个分支通过串联的1*k卷积和k*1卷积，另一个分支通过串联的k*1卷积和1*k卷积，然后将所述两个分支获得的特征图逐点相加得到所述第二特征图。
本发明还提供一种角膜共聚焦图像中菌丝识别装置，包括：图像获取模块，用于：获取待识别的角膜共聚焦图像；菌丝预分割模块，用于：将所述角膜共聚焦图像输入到菌丝-神经纤维分割模型，根据所述菌丝-神经纤维分割模型输出预分割结果图；其中，所述菌丝-神经纤维分割模型是以角膜共聚焦图像样本作为输入、以所述角膜共聚焦图像样本中每个像素点属于菌丝区域、神经纤维区域或背景区域的标注结果作为输出标签，进行机器学习训练得到的；预分割结果自动修正模块，用于：对所述预分割结果图进行自动修正得到最终分割结果图；菌丝识别模块，用于：根据所述最终分割结果图判断是否存在菌丝。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述角膜共聚焦图像中菌丝识别方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述角膜共聚焦图像中菌丝识别方法的步骤。
本发明提供的角膜共聚焦图像中菌丝识别方法及装置，通过将角膜共聚焦图像输入到菌丝-神经纤维分割模型，根据菌丝-神经纤维分割模型输出预分割结果图，对预分割结果图进行自动修正得到最终分割结果图，根据最终分割结果图判断是否存在菌丝，实现对图像中菌丝和神经纤维的准确区分，由此可以实现角膜共聚焦图像中菌丝的自动化准确识别。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的角膜共聚焦图像中菌丝识别方法流程图之一；
图2是本发明提供的角膜共聚焦图像中菌丝识别方法流程图之二；
图3是本发明提供的角膜共聚焦图像中菌丝识别装置的结构示意图；
图4示例了一种电子设备的实体结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1-图4描述本发明的角膜共聚焦图像中菌丝识别方法及装置。
图1是本发明提供的角膜共聚焦图像中菌丝识别方法流程图之一。如图1所示，所述方法包括：
步骤101、获取待识别的角膜共聚焦图像；
步骤102、将所述角膜共聚焦图像输入到菌丝-神经纤维分割模型，根据所述菌丝-神经纤维分割模型输出预分割结果图；其中，所述菌丝-神经纤维分割模型是以角膜共聚焦图像样本作为输入、以所述角膜共聚焦图像样本中每个像素点属于菌丝区域、神经纤维区域或背景区域的标注结果作为输出标签，进行机器学习训练得到的；
步骤103、对所述预分割结果图进行自动修正得到最终分割结果图；
步骤104、根据所述最终分割结果图判断是否存在菌丝。
首先获取利用共聚焦显微镜拍摄的待识别的角膜共聚焦图像。然后将角膜共聚焦图像输入到预先训练好的菌丝-神经纤维分割模型，根据菌丝-神经纤维分割模型输出预分割结果图。菌丝-神经纤维分割模型是以角膜共聚焦图像样本作为输入、以角膜共聚焦图像样本中每个像素点属于菌丝区域、神经纤维区域或背景区域的标注结果作为输出标签，进行机器学习训练得到的。可以通过对角膜共聚焦图像样本进行菌丝区域标注和/或神经纤维区域标注后得到的区域标注图像样本，根据区域标注图像样本设置对应角膜共聚焦图像样本各个像素点的输出标签。比如，可将背景类像素的输出标签设置为0，菌丝类像素的输出标签设置为1，神经纤维类像素的输出标签设置为2。
在训练菌丝-神经纤维分割模型时，首先获取角膜共聚焦图像样本和区域标注图像样本用于机器学习训练。采集到拟用于机器学习训练的所有角膜共聚焦图像后，首先一个专业医生根据图像质量进行筛选，选出含有菌丝和神经纤维(两种都有或至少有一种)的清晰度高的图像。然后，由若干个经过菌丝和神经纤维分辨方法培训的专业医生，对图像中的菌丝区域和神经纤维区域分别进行标注，从而得到区域标注图像样本。当然，若不存在菌丝区域则不对菌丝区域进行标注，若不存在神经纤维区域则不对神经纤维区域进行标注。若一张角膜共聚焦图像中既包含菌丝区域也包含神经纤维区域，则对菌丝区域和神经纤维区域均要标注。区域标注图像样本中菌丝区域和神经纤维区域要区分开，比如用不同的像素值分别表示菌丝区域和神经纤维区域。然后，以角膜共聚焦图像样本作为输入、以角膜共聚焦图像样本中每个像素点属于菌丝区域、神经纤维区域或背景区域的标注结果作为输出标签，进行机器学习训练得到菌丝-神经纤维分割模型。
在进行角膜共聚焦图像中菌丝识别时，将角膜共聚焦图像输入到菌丝-神经纤维分割模型后，输出是一张同时给出菌丝区域和神经纤维区域的预分割结果图。预分割结果图中的每个像素点被预测为背景类、菌丝类或神经纤维类。其中，菌丝区域的像素点为菌丝类，神经纤维区域的像素点为神经纤维类。非菌丝区域及非神经纤维区域的其他区域的像素点为背景类。对所述预分割结果图进行自动修正得到最终分割结果图，比如对预分割结果图中的像素点的类别进行自动修正得到最终分割结果图。根据最终分割结果图是否包含菌丝区域，可以实现角膜共聚焦图像中的菌丝识别。
本发明提供的角膜共聚焦图像中菌丝识别方法，通过将角膜共聚焦图像输入到菌丝-神经纤维分割模型，根据菌丝-神经纤维分割模型输出预分割结果图，对预分割结果图进行自动修正得到最终分割结果图，根据最终分割结果图判断是否存在菌丝，实现对图像中菌丝和神经纤维的准确区分，由此可以实现角膜共聚焦图像中菌丝的自动化准确识别。
根据本发明提供的一种角膜共聚焦图像中菌丝识别方法，在所述获取待识别的角膜共聚焦图像之前，所述方法还包括：获取所述角膜共聚焦图像样本，以及基于所述角膜共聚焦图像样本沿着菌丝和/或神经纤维的中线分别进行描绘获取区域标注图像样本；其中，所述区域标注图像样本中表示菌丝和神经纤维的像素具有不同的像素值。
在利用菌丝-神经纤维分割模型进行菌丝识别之前，首先需要通过机器学习训练得到菌丝-神经纤维分割模型。在训练菌丝-神经纤维分割模型之前，首先需要获取角膜共聚焦图像样本及区域标注图像样本。角膜共聚焦图像样本可以直接通过共聚焦显微镜拍摄角膜图像获取。区域标注图像样本通过对角膜共聚焦图像样本进行菌丝区域标注和/或神经纤维区域标注后获取。在对角膜共聚焦图像样本进行菌丝区域标注和/或神经纤维区域标注时，可以沿着菌丝的中线进行描绘进行菌丝区域标注，沿着神经纤维的中线进行描绘进行神经纤维区域标注，从而得到区域标注图像样本。标注工具可以使用GIMP图像处理软件。
区域标注图像样本中菌丝和神经纤维的描绘结果图要区分开，比如，区域标注图像样本中表示菌丝和神经纤维的像素具有不同的像素值以进行菌丝区域和神经纤维区域的区分。
标注完成之后，构建了包含菌丝区域标注和神经纤维区域标注的角膜共聚焦图像样本库，按照预设比例将图像数据随机分成训练数据集和验证数据集，用于训练和验证模型。该样本库可用于例如角膜共聚焦图像的菌丝识别与分割、神经纤维识别与分割以及相关基础指标计算工作。本实施例中，用于菌丝-神经纤维分割模型的训练。
本发明提供的角膜共聚焦图像中菌丝识别方法，通过获取角膜共聚焦图像样本，以及基于角膜共聚焦图像样本沿着菌丝和/或神经纤维的中线分别进行描绘获取区域标注图像样本，提高了菌丝区域和神经纤维区域标注的精确性。
根据本发明提供的一种角膜共聚焦图像中菌丝识别方法，所述对所述预分割结果图进行自动修正得到最终分割结果图，具体包括：获取所述预分割结果图中的各个菌丝分段和各个神经纤维分段；计算所述菌丝分段和所述神经纤维分段的预设特征指标，并将所述预设特征指标和预设特征指标的阈值进行比较，根据比较结果对所述预分割结果图中所述菌丝分段和所述神经纤维分段进行类别修正，得到所述最终分割结果图。
在利用菌丝-神经纤维分割模型进行菌丝和神经纤维的区域提取之后，可以进一步对预分割结果图进行结果修正。可以通过利用菌丝分段和神经纤维分段的特征指标进行结果修正。具体方法可以是获取预分割结果图中的菌丝分段和神经纤维分段，计算菌丝分段和神经纤维分段的预设特征指标，并将预设特征指标和预设特征指标的阈值进行比较，根据比较结果对预分割结果图中菌丝分段和神经纤维分段进行类别修正，得到最终分割结果图。
预设特征指标的阈值可以根据经验获取，或根据训练过程中的样本的统计值获取。在设置预设特征指标的阈值时，通过对菌丝分段的预设特征指标进行统计分析，得到对应于菌丝的预设特征指标的阈值；通过对神经纤维分段的预设特征指标进行统计分析，得到对应于神经纤维的预设特征指标的阈值。因此，预设特征指标的阈值包括菌丝的预设特征指标的阈值及神经纤维的预设特征指标的阈值。菌丝的预设特征指标的阈值及神经纤维的预设特征指标的阈值均可以是单个值或是一区间范围。
在对菌丝-神经纤维分割模型输出的预分割结果图进行修正时，计算菌丝分段和神经纤维分段的预设特征指标，可以分别将得到的预设特征指标与菌丝的预设特征指标的阈值及神经纤维的预设特征指标的阈值进行比对，实际的预设特征指标属于哪个阈值范围，则修改为相应的类别。比如，对于某个菌丝分段进行计算得到预设特征指标之后，将得到的预设特征指标与菌丝的预设特征指标的阈值进行比较后，发现实际计算的预设特征指标不满足菌丝的预设特征指标的阈值范围；在将得到的预设特征指标与神经纤维的预设特征指标的阈值进行比较后，发现实际计算的预设特征指标满足神经纤维的预设特征指标的阈值范围，则将相应的菌丝分段的类别修改为神经纤维类。
本发明提供的角膜共聚焦图像中菌丝识别方法，通过获取预分割结果图中的菌丝分段和神经纤维分段，计算菌丝分段和神经纤维分段的预设特征指标，并将预设特征指标和预设特征指标的阈值进行比较，根据比较结果对预分割结果图中菌丝分段和神经纤维分段进行类别修正，得到最终分割结果图，进一步提高了分割结果的准确性。
根据本发明提供的一种角膜共聚焦图像中菌丝识别方法，所述预设特征指标包括分段中交叉点处分支间角度、分段长度、分段弯曲度中的至少一种。
基于菌丝-神经纤维分割模型输出的预分割结果图，先计算预分割结果中菌丝分段和神经纤维分段的特征指标，包括分段中交叉点处分支间角度、分段长度、分段弯曲度中的至少一种，并根据标注数据中的统计信息给每个特征指标设定阈值，然后分别判断各个特征指标结果是否满足阈值要求，以此来对预分割结果中的菌丝分段和神经纤维分段进行类别修正，得到菌丝和神经纤维的最终分割结果图。
在设置多个预设特征指标的情况下，可以设置所有的预设特征指标均满足相应阈值的情况下才进行结果修正。
本发明提供的角膜共聚焦图像中菌丝识别方法，通过设置预设特征指标包括分段中交叉点处分支间角度、分段长度、分段弯曲度中的至少一种，进一步提高了分割结果的准确性。
根据本发明提供的一种角膜共聚焦图像中菌丝识别方法，所述方法还包括：将所述最终分割结果图和所述角膜共聚焦图像进行叠加，得到可视化图像，并展示所述可视化图像。
最终分割结果图中，菌丝区域和神经纤维区域可以通过不同的像素值区分显示，对于背景类像素，其像素值可以设置为0。可以将最终分割结果图和输入的待识别的角膜共聚焦图像进行叠加，得到可视化图像，并展示可视化图像。可视化图像中，可以同时展示菌丝区域和神经纤维区域，也可以根据需要只展示菌丝区域或只展示神经纤维区域。
通过上述处理，可以得到待识别的角膜共聚焦图像中区分菌丝和神经纤维的最终分割结果图，根据最终分割结果图中是否存在菌丝区域可以给出识别结果；另外，将最终分割结果图与待诊断图像进行叠加，得到可视化图像。检测报告上可以给出菌丝识别结果和可视化图像，这样可以通过展示菌丝区域实现直观的展示。
本发明提供的角膜共聚焦图像中菌丝识别方法，通过将最终分割结果图和角膜共聚焦图像进行叠加，得到可视化图像，并展示可视化图像，提高了识别结果展示的直观性。
根据本发明提供的一种角膜共聚焦图像中菌丝识别方法，所述将所述角膜共聚焦图像输入到菌丝-神经纤维分割模型，根据所述菌丝-神经纤维分割模型输出预分割结果图，具体包括：将所述角膜共聚焦图像输入到编码器的骨架网络块，输出第一特征图；将所述第一特征图输入到所述编码器的大核可分离卷积块，输出第二特征图；将所述第二特征图输入到所述编码器的自注意力块，输出第三特征图；将所述第三特征图输入到解码器，输出所述预分割结果图。
菌丝-神经纤维分割模型包括编码器和解码器。其中，编码器利用骨架网络块、大核可分离卷积块和自注意力块提取图像特征，输出下采样的特征图。骨架网络块的部分深层卷积层调整为可变形卷积层，可变形卷积层通过使用平行网络在输入特征图的每个采样点上学习一个偏移量，自适应学习感受野大小(传统卷积是固定感受野大小的)，集中于感兴趣区域或目标，更适用于菌丝和神经纤维这样尺度多样、几何形变不定的物体。大核可分离卷积块，将输入的特征图分成两个分支，一个分支通过串联的1*k卷积和k*1卷积，另一个分支通过串联的k*1卷积和1*k卷积，然后将两个分支获得的特征图逐点相加得到输出特征图，大核可分离卷积可以在计算量不大的情况下，获得较大感受野。k一般取大于3的正整数。自注意力块自适应地学习注意力权重，对输入的特征图进行加权，使编码器更关注与菌丝和神经纤维有关的全局特征。解码器包括反卷积层、卷积层和softmax层，反卷积层通过逐层上采样的方式对解码器输出的特征图进行特征提取，输出上采样的特征图。解码器的最后通过一个卷积层用于对反卷积层输出的特征图进行维度变换，根据类别数量输出维度数等于类别数量的特征图。Softmax层用于对输入的特征图上每个像素位置的特征向量进行归一化处理，得到每个像素为背景类、菌丝类或神经纤维类的概率，将概率值最大的类别作为相应像素的类别。解码器可以采用U-Net的跳跃连接结构，在上采样过程中，将反卷积层输出的特征图与编码过程中对应大小的特征图进行拼接，拼接后的特征图可以通过多个卷积层，实现浅层特征和深层特征的融合。
骨架网络块可以使用各种现有的卷积神经网络的骨架网络，包括但不限于使用VGG、ResNet、DenseNet等。
本发明提供的角膜共聚焦图像中菌丝识别方法，通过利用包括骨架网络块、大核可分离卷积块和自注意力块的编码器提取特征，以及利用解码器输出预分割结果图，保障了菌丝-神经纤维分割模型的功能实现。
根据本发明提供的一种角膜共聚焦图像中菌丝识别方法，其特征在于，所述骨架网络块的部分深层卷积层调整为可变形卷积层；所述大核可分离卷积块，将输入的所述第一特征图分成两个分支，一个分支通过串联的1*k卷积和k*1卷积，另一个分支通过串联的k*1卷积和1*k卷积，然后将所述两个分支获得的特征图逐点相加得到所述第二特征图。
针对考虑菌丝和神经纤维在连贯性、长度、分支角度等不同，菌丝-神经纤维分割模型结构重点在于，第一点，菌丝和神经纤维的尺度多样、几何形变不定的特点；第二点，菌丝和神经纤维的细长形态；第三点，关注周边较大范围的特征，增大模型感受野。将骨架网络块的部分深层卷积层调整为可变形卷积层，可变形卷积通过平行网络在输入特征图的每个采样点上学习一个偏移量，自适应学习感受野大小，集中于感兴趣区域或目标。使用大核可分离卷积块，大核可分离卷积块中的k*1卷积和1*k卷积可以计算量不大的情况下，获得较大感受野。
本发明提供的角膜共聚焦图像中菌丝识别方法，通过令骨架网络块调整为可变形卷积层，以及利用k*1卷积和1*k卷积构建大核可分离卷积块，进一步保障了菌丝-神经纤维的功能实现。
本发明提供了一种角膜共聚焦图像中菌丝的识别方法，该方法通过提取菌丝和神经纤维两种区域、提取结果自动修正这两步之后，实现对图像中菌丝和神经纤维的准确区分，从而准确识别出图像中的菌丝。另外，还可以生成菌丝检测结果报告，可视化展示图像中菌丝和神经纤维区域，给医生直观的检查结果。
图2是本发明提供的角膜共聚焦图像中菌丝识别方法流程图之二。本发明提供的角膜共聚焦图像中菌丝识别方法包括如下步骤：
S1、获取待识别的角膜共聚焦图像；
S2、将待识别的角膜共聚焦图像输入到已训练的菌丝-神经纤维分割模型，得到菌丝和神经纤维的预分割结果图；
S3、基于预分割结果图，计算菌丝分段和神经纤维分段的特征指标，并将各个特征指标与统计信息得到的阈值比较，进行提取结果的自动修正，得到菌丝和神经纤维的最终分割结果图；
S4、基于最终分割结果图，识别出待识别的角膜共聚焦图像中是否存在菌丝区域，给出角膜共聚焦图像中菌丝的识别结果。
本发明提供的角膜共聚焦图像中菌丝识别方法，针对菌丝和神经纤维进行区分，获得准确的菌丝区域，从而完成角膜共聚焦图像中菌丝的准确识别。
下面对本发明提供的角膜共聚焦图像中菌丝识别装置进行描述，下文描述的角膜共聚焦图像中菌丝识别装置与上文描述的角膜共聚焦图像中菌丝识别方法可相互对应参照。
图3是本发明提供的角膜共聚焦图像中菌丝识别装置的结构示意图。如图3所示，所述装置包括图像获取模块10、菌丝预分割模块20、预分割结果自动修正模块30及菌丝识别模块40，其中：图像获取模块10用于：获取待识别的角膜共聚焦图像；菌丝预分割模块20用于：将所述角膜共聚焦图像输入到菌丝-神经纤维分割模型，根据所述菌丝-神经纤维分割模型输出预分割结果图；其中，所述菌丝-神经纤维分割模型是以角膜共聚焦图像样本作为输入、以所述角膜共聚焦图像样本中每个像素点属于菌丝区域、神经纤维区域或背景区域的标注结果作为输出标签，进行机器学习训练得到的；预分割结果自动修正模块30用于对所述预分割结果图进行自动修正得到最终分割结果图；菌丝识别模块40用于根据所述最终分割结果图判断是否存在菌丝。
本发明提供的角膜共聚焦图像中菌丝识别装置，通过将角膜共聚焦图像输入到菌丝-神经纤维分割模型，根据菌丝-神经纤维分割模型输出预分割结果图，对预分割结果图进行自动修正得到最终分割结果图，根据最终分割结果图判断是否存在菌丝，实现对图像中菌丝和神经纤维的准确区分，由此可以实现角膜共聚焦图像中菌丝的自动化准确识别。
根据本发明提供的一种角膜共聚焦图像中菌丝识别装置，所述装置还包括样本构建模块，所述样本构建模块用于：获取所述角膜共聚焦图像样本，以及基于所述角膜共聚焦图像样本沿着菌丝和/或神经纤维的中线分别进行描绘获取区域标注图像样本；其中，所述区域标注图像样本中表示菌丝和神经纤维的像素具有不同的像素值。
本发明提供的角膜共聚焦图像中菌丝识别装置，通过获取角膜共聚焦图像样本，以及基于角膜共聚焦图像样本沿着菌丝和/或神经纤维的中线分别进行描绘获取区域标注图像样本，提高了菌丝区域和神经纤维区域标注的精确性。
根据本发明提供的一种角膜共聚焦图像中菌丝识别装置，所述预分割结果自动修正模块30在用于对所述预分割结果图进行自动修正得到最终分割结果图时，具体用于：获取所述预分割结果图中的各个菌丝分段和各个神经纤维分段；计算所述菌丝分段和所述神经纤维分段的预设特征指标，并将所述预设特征指标和预设特征指标的阈值进行比较，根据比较结果对所述预分割结果图中所述菌丝分段和所述神经纤维分段进行类别修正，得到所述最终分割结果图。
本发明提供的角膜共聚焦图像中菌丝识别装置，通过获取预分割结果图中的菌丝分段和神经纤维分段，计算菌丝分段和神经纤维分段的预设特征指标，并将预设特征指标和预设特征指标的阈值进行比较，根据比较结果对预分割结果图中菌丝分段和神经纤维分段进行类别修正，得到最终分割结果图，进一步提高了分割结果的准确性。
根据本发明提供的一种角膜共聚焦图像中菌丝识别装置，所述预设特征指标包括分段中交叉点处分支间角度、分段长度、分段弯曲度中的至少一种。
本发明提供的角膜共聚焦图像中菌丝识别装置，通过设置预设特征指标包括分段中交叉点处分支间角度、分段长度、分段弯曲度中的至少一种，进一步提高了分割结果的准确性。
根据本发明提供的一种角膜共聚焦图像中菌丝识别装置，所述装置还包括可视化展示模块，所述可视化展示模块用于：将所述最终分割结果图和所述角膜共聚焦图像进行叠加，得到可视化图像，并展示所述可视化图像。
本发明提供的角膜共聚焦图像中菌丝识别装置，通过将最终分割结果图和角膜共聚焦图像进行叠加，得到可视化图像，并展示可视化图像，提高了识别结果展示的直观性。
根据本发明提供的一种角膜共聚焦图像中菌丝识别装置，菌丝预分割模块20在用于将所述角膜共聚焦图像输入到菌丝-神经纤维分割模型，根据所述菌丝-神经纤维分割模型输出预分割结果图时，具体用于：将所述角膜共聚焦图像输入到编码器的骨架网络块，输出第一特征图；将所述第一特征图输入到所述编码器的大核可分离卷积块，输出第二特征图；将所述第二特征图输入到所述编码器的自注意力块，输出第三特征图；将所述第三特征图输入到解码器，输出所述预分割结果图。
本发明提供的角膜共聚焦图像中菌丝识别装置，通过利用包括骨架网络块、大核可分离卷积块和自注意力块的编码器提取特征，以及利用解码器输出预分割结果图，保障了菌丝-神经纤维分割模型的功能实现。
根据本发明提供的一种角膜共聚焦图像中菌丝识别装置，所述骨架网络块的部分深层卷积层调整为可变形卷积层；所述大核可分离卷积块，将输入的所述第一特征图分成两个分支，一个分支通过串联的1*k卷积和k*1卷积，另一个分支通过串联的k*1卷积和1*k卷积，然后将所述两个分支获得的特征图逐点相加得到所述第二特征图。
本发明提供的角膜共聚焦图像中菌丝识别装置，通过令骨架网络块调整为可变形卷积层，以及利用k*1卷积和1*k卷积构建大核可分离卷积块，进一步保障了菌丝-神经纤维的功能实现。
图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行角膜共聚焦图像中菌丝识别方法，该方法包括：获取待识别的角膜共聚焦图像；将所述角膜共聚焦图像输入到菌丝-神经纤维分割模型，根据所述菌丝-神经纤维分割模型输出预分割结果图；其中，所述菌丝-神经纤维分割模型是以角膜共聚焦图像样本作为输入、以所述角膜共聚焦图像样本中每个像素点属于菌丝区域、神经纤维区域或背景区域的标注结果作为输出标签，进行机器学习训练得到的；对所述预分割结果图进行自动修正得到最终分割结果图；根据所述最终分割结果图判断是否存在菌丝。
此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的角膜共聚焦图像中菌丝识别方法，该方法包括：获取待识别的角膜共聚焦图像；将所述角膜共聚焦图像输入到菌丝-神经纤维分割模型，根据所述菌丝-神经纤维分割模型输出预分割结果图；其中，所述菌丝-神经纤维分割模型是以角膜共聚焦图像样本作为输入、以所述角膜共聚焦图像样本中每个像素点属于菌丝区域、神经纤维区域或背景区域的标注结果作为输出标签，进行机器学习训练得到的；对所述预分割结果图进行自动修正得到最终分割结果图；根据所述最终分割结果图判断是否存在菌丝。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的角膜共聚焦图像中菌丝识别方法，该方法包括：获取待识别的角膜共聚焦图像；将所述角膜共聚焦图像输入到菌丝-神经纤维分割模型，根据所述菌丝-神经纤维分割模型输出预分割结果图；其中，所述菌丝-神经纤维分割模型是以角膜共聚焦图像样本作为输入、以所述角膜共聚焦图像样本中每个像素点属于菌丝区域、神经纤维区域或背景区域的标注结果作为输出标签，进行机器学习训练得到的；对所述预分割结果图进行自动修正得到最终分割结果图；根据所述最终分割结果图判断是否存在菌丝。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (8)
1.一种角膜共聚焦图像中菌丝识别方法，其特征在于，包括：
获取待识别的角膜共聚焦图像；
将所述角膜共聚焦图像输入到菌丝-神经纤维分割模型，根据所述菌丝-神经纤维分割模型输出预分割结果图；其中，所述菌丝-神经纤维分割模型是以角膜共聚焦图像样本作为输入、以所述角膜共聚焦图像样本中每个像素点属于菌丝区域、神经纤维区域或背景区域的标注结果作为输出标签，进行机器学习训练得到的；
对所述预分割结果图进行自动修正得到最终分割结果图；
根据所述最终分割结果图判断是否存在菌丝；
所述将所述角膜共聚焦图像输入到菌丝-神经纤维分割模型，根据所述菌丝-神经纤维分割模型输出预分割结果图，具体包括：
将所述角膜共聚焦图像输入到编码器的骨架网络块，输出第一特征图；将所述第一特征图输入到所述编码器的大核可分离卷积块，输出第二特征图；将所述第二特征图输入到所述编码器的自注意力块，输出第三特征图；将所述第三特征图输入到解码器，输出所述预分割结果图；
所述对所述预分割结果图进行自动修正得到最终分割结果图，具体包括：
获取所述预分割结果图中的各个菌丝分段和各个神经纤维分段；
计算所述菌丝分段和所述神经纤维分段的预设特征指标，并将所述预设特征指标和预设特征指标的阈值进行比较，根据比较结果对所述预分割结果图中所述菌丝分段和所述神经纤维分段进行类别修正，得到所述最终分割结果图。
2.根据权利要求1所述的角膜共聚焦图像中菌丝识别方法，其特征在于，在所述获取待识别的角膜共聚焦图像之前，所述方法还包括：
获取所述角膜共聚焦图像样本，以及基于所述角膜共聚焦图像样本沿着菌丝和/或神经纤维的中线分别进行描绘获取区域标注图像样本；其中，所述区域标注图像样本中表示菌丝和神经纤维的像素具有不同的像素值。
3.根据权利要求1所述的角膜共聚焦图像中菌丝识别方法，其特征在于，所述预设特征指标包括分段中交叉点处分支间角度、分段长度、分段弯曲度中的至少一种。
4.根据权利要求1所述的角膜共聚焦图像中菌丝识别方法，其特征在于，所述方法还包括：
将所述最终分割结果图和所述角膜共聚焦图像进行叠加，得到可视化图像，并展示所述可视化图像。
5.根据权利要求1所述的角膜共聚焦图像中菌丝识别方法，其特征在于，所述骨架网络块的部分深层卷积层调整为可变形卷积层；
所述大核可分离卷积块，将输入的所述第一特征图分成两个分支，一个分支通过串联的1*k卷积和k*1卷积，另一个分支通过串联的k*1卷积和1*k卷积，然后将所述两个分支获得的特征图逐点相加得到所述第二特征图。
6.一种角膜共聚焦图像中菌丝识别装置，其特征在于，包括：
图像获取模块，用于：获取待识别的角膜共聚焦图像；
菌丝预分割模块，用于：将所述角膜共聚焦图像输入到菌丝-神经纤维分割模型，根据所述菌丝-神经纤维分割模型输出预分割结果图；其中，所述菌丝-神经纤维分割模型是以角膜共聚焦图像样本作为输入、以所述角膜共聚焦图像样本中每个像素点属于菌丝区域、神经纤维区域或背景区域的标注结果作为输出标签，进行机器学习训练得到的；
预分割结果自动修正模块，用于：对所述预分割结果图进行自动修正得到最终分割结果图；
菌丝识别模块，用于：根据所述最终分割结果图判断是否存在菌丝；
所述菌丝预分割模块在用于将所述角膜共聚焦图像输入到菌丝-神经纤维分割模型，根据所述菌丝-神经纤维分割模型输出预分割结果图时，具体用于：将所述角膜共聚焦图像输入到编码器的骨架网络块，输出第一特征图；将所述第一特征图输入到所述编码器的大核可分离卷积块，输出第二特征图；将所述第二特征图输入到所述编码器的自注意力块，输出第三特征图；将所述第三特征图输入到解码器，输出所述预分割结果图；
所述预分割结果自动修正模块在用于对所述预分割结果图进行自动修正得到最终分割结果图时，具体用于：获取所述预分割结果图中的各个菌丝分段和各个神经纤维分段；计算所述菌丝分段和所述神经纤维分段的预设特征指标，并将所述预设特征指标和预设特征指标的阈值进行比较，根据比较结果对所述预分割结果图中所述菌丝分段和所述神经纤维分段进行类别修正，得到所述最终分割结果图。
7.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5任一项所述角膜共聚焦图像中菌丝识别方法的步骤。
8.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述角膜共聚焦图像中菌丝识别方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110773694.2A CN113591601B (zh) | 2021-07-08 | 2021-07-08 | 角膜共聚焦图像中菌丝识别方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110773694.2A CN113591601B (zh) | 2021-07-08 | 2021-07-08 | 角膜共聚焦图像中菌丝识别方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113591601A CN113591601A (zh) | 2021-11-02 |
| CN113591601B true CN113591601B (zh) | 2024-02-02 |
Family
ID=78246426
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110773694.2A Active CN113591601B (zh) | 2021-07-08 | 2021-07-08 | 角膜共聚焦图像中菌丝识别方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113591601B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115690092B (zh) * | 2022-12-08 | 2023-03-31 | 中国科学院自动化研究所 | 角膜共聚焦图像中阿米巴包囊的识别与计数方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110310282A (zh) * | 2019-07-31 | 2019-10-08 | 广西壮族自治区人民医院 | 一种利用活体共聚焦显微镜图像智能分析角膜神经纤维的系统 |
| CA3122853A1 (en) * | 2018-12-18 | 2020-06-25 | Pathware Inc. | Computational microscopy based-system and method for automated imaging and analysis of pathology specimens |
| CN111754457A (zh) * | 2020-05-15 | 2020-10-09 | 中山大学 | 一种基于角膜共聚焦图像的菌丝筛查系统 |
| WO2020236729A1 (en) * | 2019-05-17 | 2020-11-26 | Voxeleron, LLC | Deep learning-based segmentation of corneal nerve fiber images |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11745024B2 (en) * | 2018-12-27 | 2023-09-05 | Iridex Corporation | Electrical methods and devices for ophthalmic treatment |
-
2021
- 2021-07-08 CN CN202110773694.2A patent/CN113591601B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA3122853A1 (en) * | 2018-12-18 | 2020-06-25 | Pathware Inc. | Computational microscopy based-system and method for automated imaging and analysis of pathology specimens |
| WO2020236729A1 (en) * | 2019-05-17 | 2020-11-26 | Voxeleron, LLC | Deep learning-based segmentation of corneal nerve fiber images |
| CN110310282A (zh) * | 2019-07-31 | 2019-10-08 | 广西壮族自治区人民医院 | 一种利用活体共聚焦显微镜图像智能分析角膜神经纤维的系统 |
| CN111754457A (zh) * | 2020-05-15 | 2020-10-09 | 中山大学 | 一种基于角膜共聚焦图像的菌丝筛查系统 |
Non-Patent Citations (3)
| Title |
|---|
| "A Deep Learning Model for Automated Sub-Basal Corneal Nerve Segmentation and Evaluation Using In Vivo Confocal Microscopy";ShanshanWei;《tvst》;第1-9页 * |
| "In vivo confocal microscopy of the inflamed anterior segment: A review of clinical and research applications";Patel, DV;《Clin. Experiment. Ophthalmol》;第1-12页 * |
| 基于深度学习算法在角膜共聚焦显微镜图像中炎症细胞智能识别的研究;吕健;陈琦;张凯;蒋莉;唐芬;陈青;蓝倩倩;李兰建;曾思明;徐帆;;中国临床新医学(第02期);第1-4页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113591601A (zh) | 2021-11-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110070531B (zh) | 用于检测眼底图片的模型训练方法、眼底图片的检测方法及装置 | |
| CN114612472B (zh) | 一种基于SegNet改进的皮革缺陷分割网络算法 | |
| JP6985856B2 (ja) | 情報処理装置、情報処理装置の制御方法及びプログラム | |
| CN111524144B (zh) | 一种基于GAN和Unet网络的肺结节智能诊断方法 | |
| CN109919938B (zh) | 青光眼的视盘分割图谱获取方法 | |
| CN113610842B (zh) | 基于CAS-Net的OCT图像视网膜脱离和劈裂自动分割方法 | |
| CN109189965A (zh) | 图像文字检索方法及系统 | |
| CN111899247A (zh) | 脉络膜血管的管腔区域识别方法、装置、设备及介质 | |
| CN112465820A (zh) | 基于语义分割的融合全局上下文信息的水稻病害检测方法 | |
| CN113591601B (zh) | 角膜共聚焦图像中菌丝识别方法及装置 | |
| CN113128518B (zh) | 基于孪生卷积网络和特征混合的sift误匹配检测方法 | |
| CN114841974A (zh) | 一种水果内部结构无损检测方法、系统、电子设备及介质 | |
| CN112991343B (zh) | 眼底图像黄斑区域的识别检测方法和装置及设备 | |
| CN116934747B (zh) | 眼底图像分割模型训练方法、设备和青光眼辅助诊断系统 | |
| CN113673396A (zh) | 一种孢子发芽率计算方法、装置及存储介质 | |
| CN113158822B (zh) | 基于跨模态关系推理的眼部检测数据的分类方法及装置 | |
| CN115456974A (zh) | 基于人脸关键点的斜视检测系统、方法、设备及介质 | |
| CN113570556A (zh) | 眼部染色图像定级方法及装置 | |
| CN112861689A (zh) | 一种基于nas技术的坐标识别模型的搜索方法及装置 | |
| CN112733959A (zh) | 肺部影像分类方法、分类网络确定方法及其装置 | |
| CN117934489A (zh) | 基于残差和金字塔切分注意力的眼底硬渗出物分割方法 | |
| CN112651921B (zh) | 一种基于深度学习的青光眼视野数据区域提取方法 | |
| CN117765532B (zh) | 基于共聚焦显微图像的角膜朗格汉斯细胞分割方法和装置 | |
| CN115457038B (zh) | 分级预测模型的训练方法、分级预测的方法及相关产品 | |
| CN113627231B (zh) | 一种基于机器视觉的视网膜oct图像中液体区域自动分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |