CN113576399B - 一种糖网分析方法、系统以及电子设备 - Google Patents
一种糖网分析方法、系统以及电子设备 Download PDFInfo
- Publication number
- CN113576399B CN113576399B CN202110881198.9A CN202110881198A CN113576399B CN 113576399 B CN113576399 B CN 113576399B CN 202110881198 A CN202110881198 A CN 202110881198A CN 113576399 B CN113576399 B CN 113576399B
- Authority
- CN
- China
- Prior art keywords
- segmentation
- fundus
- map
- pixel
- sugar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 23
- 230000011218 segmentation Effects 0.000 claims abstract description 162
- 238000000605 extraction Methods 0.000 claims abstract description 63
- 238000000034 method Methods 0.000 claims abstract description 27
- 238000003012 network analysis Methods 0.000 claims abstract description 10
- 238000010586 diagram Methods 0.000 claims description 30
- 238000004445 quantitative analysis Methods 0.000 claims description 22
- 238000012549 training Methods 0.000 claims description 21
- 208000032843 Hemorrhage Diseases 0.000 claims description 19
- 210000004204 blood vessel Anatomy 0.000 claims description 19
- 230000003902 lesion Effects 0.000 claims description 17
- 230000035755 proliferation Effects 0.000 claims description 15
- 239000012528 membrane Substances 0.000 claims description 13
- 238000013528 artificial neural network Methods 0.000 claims description 12
- 238000005070 sampling Methods 0.000 claims description 9
- 238000002372 labelling Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 3
- 238000003745 diagnosis Methods 0.000 abstract description 7
- 230000004913 activation Effects 0.000 description 13
- 208000034158 bleeding Diseases 0.000 description 12
- 230000000740 bleeding effect Effects 0.000 description 12
- 238000013145 classification model Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 8
- 238000013139 quantization Methods 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 7
- 201000010099 disease Diseases 0.000 description 7
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 7
- 238000010606 normalization Methods 0.000 description 6
- 208000024891 symptom Diseases 0.000 description 6
- 238000011176 pooling Methods 0.000 description 5
- 238000011002 quantification Methods 0.000 description 5
- 101100400452 Caenorhabditis elegans map-2 gene Proteins 0.000 description 4
- 206010025421 Macule Diseases 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 210000001525 retina Anatomy 0.000 description 4
- 238000012216 screening Methods 0.000 description 4
- 206010012689 Diabetic retinopathy Diseases 0.000 description 3
- 101150064138 MAP1 gene Proteins 0.000 description 3
- 206010012601 diabetes mellitus Diseases 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 208000009857 Microaneurysm Diseases 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000000416 exudates and transudate Anatomy 0.000 description 2
- 201000011066 hemangioma Diseases 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000002207 retinal effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 201000004569 Blindness Diseases 0.000 description 1
- 206010020772 Hypertension Diseases 0.000 description 1
- 102000004895 Lipoproteins Human genes 0.000 description 1
- 108090001030 Lipoproteins Proteins 0.000 description 1
- 208000031471 Macular fibrosis Diseases 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 208000037111 Retinal Hemorrhage Diseases 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 210000003850 cellular structure Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 206010020718 hyperplasia Diseases 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 150000002632 lipids Chemical class 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000004126 nerve fiber Anatomy 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 210000003733 optic disk Anatomy 0.000 description 1
- 210000001328 optic nerve Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000008506 pathogenesis Effects 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 239000002243 precursor Substances 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000002062 proliferating effect Effects 0.000 description 1
- 210000001927 retinal artery Anatomy 0.000 description 1
- 230000004256 retinal image Effects 0.000 description 1
- 210000001210 retinal vessel Anatomy 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
- 206010055031 vascular neoplasm Diseases 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/14—Arrangements specially adapted for eye photography
Landscapes
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Ophthalmology & Optometry (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Eye Examination Apparatus (AREA)
Abstract
本发明实施例提供了一种糖网分析方法、系统以及电子设备，该方法包括：利用特征提取模块对眼底图像进行多次下采样以提取眼底特征图；利用分割预测模块对提取的眼底特征图进行多次上采样以得到多通道分割图，基于多通道分割图进行预测得到分割预测图，其中每个通道对应于非眼底像素类别、多种眼底生理构造像素类别和多种眼底病灶像素类别中的一种类别；利用分割特征提取模块基于多通道分割图或者分割预测图进行特征提取，得到分割特征图；利用分级预测模块根据最后一次下采样的眼底特征图和分割特征图进行糖网分析，从而辅助医生快速、精准地为患者作出诊断结果。
Description
技术领域
本发明涉及糖尿病性视网膜病变的分析方法，具体来说涉及利用神经网络模型进行糖尿病性视网膜病变分析的技术领域，更具体地说，涉及一种糖网分析方法、系统以及电子设备。
背景技术
随着人们物质生活水平的提高，糖尿病在我国人群中的发病率也呈现出逐渐增加的趋势。据统计，近年来我国患糖尿病的人数已突破1亿，其中每三个人中就有一个人患有糖尿病性视网膜病变(简称糖网)。也就是说，我国有超过三千万的糖网患者，而这些糖网患者中的大多数却还不知道，糖网是糖尿病常见的并发症之一，也是导致我国40-60岁人群失明的主要原因之一。因此，针对糖尿病患者的糖网早期预防筛查，分级转诊意义重大。我国现有的专业眼科医生不足3万名，难以应付如此庞大的筛查群体。近年来深度卷积神经网络的兴起让计算机图像识别技术成为医疗筛查领域的有力助手。
目前广泛应用于医疗图像识别的深度学习模型多为分类或者分割模型。对于糖网的识别，分类模型往往是输入一张眼底图片，然后模型输出整张图片糖网分期的类别标签。糖网一般分为五期：无糖网、轻度糖网、中度糖网、重度糖网、糖网增殖期。这种情况下人类医生或者患者都会觉得模型是一种黑箱操作，不知道模型给出最终判断的依据是什么，虽然有类别激活映射图(Class Activation Mapping，简写为CAM，也称类别热力图)技术可以给出模型的响应区域，实际应用中发现大多数情况模型响应区域和人类医生判读的依据存在不一致。由于给到分类模型的监督信号只是一个单一的分类标签过于粗糙，导致实际上的模型有可能只会进行糖网和非糖网的判别，不同的糖网分级多会存在误判。比如糖网中度、重度都有可能存在出血渗出等症状，一般会根据出血渗出点的面积和数量进行区分。而分类模型很难有这种细粒度量化的能力，因此存在误分级情况。同时对于糖网的早期，会存在微血管瘤的症状，这在视网膜图像上可能只有几个像素的区域，对于分类模型在经过一些卷积池化操作后，这些特征基本都消失了。因此分类模型也通常会将糖网早期和正常眼底误分。
另一种常用的分割模型，输入是一张眼底图片，输出是这张图片上每一个像素点的对应类别标签。例如，判断一个像素点是非眼底区域、眼底正常区域、眼底病变区域(如出血、血管瘤等)。分割模型可以给出更加精确的病灶量化结果，可解释性也强，不足之处就是模型只关注在病灶层面，不能给出具体疾病类别或者糖网分级的结果。比如说，静脉阻塞眼底、高血压眼底、糖网等都可能有出血的症状，纯粹的分割模型只能识别出血，不能进行更上层的疾病类别判断。这时人类医生会综合整个眼底图像，比如血管的形态，是否迂曲变细，是否有交叉压迹，是否伴随渗出等来对相关的症状做进一步的发病原理分析，从而给出更高一级的疾病类别标签或者糖网的分级诊断。然而，训练分割模型需要专业医生进行像素级的分割标注，训练数据的获取极其困难。
可见，现有技术中，直接采用分类模型时糖网分级容易误判；而直接采用分割模型时模型只关注病灶层面，不能进行更上层的疾病类别判断。
发明内容
因此，本发明的目的在于克服上述现有技术的缺陷，提供一种糖网分析方法、系统以及电子设备。
本发明的目的是通过以下技术方案实现的：
根据本发明的第一方面，提供一种糖网分析方法，包括：利用特征提取模块对眼底图像进行多次下采样以提取眼底特征图；利用分割预测模块对提取的眼底特征图进行多次上采样以得到多通道分割图，基于多通道分割图进行预测得到分割预测图，其中每个通道对应于非眼底像素类别、多种眼底生理构造像素类别和多种眼底病灶像素类别中的一种类别；利用分割特征提取模块基于多通道分割图或者分割预测图进行特征提取，得到分割特征图；利用分级预测模块根据最后一次下采样的眼底特征图和分割特征图进行糖网分析。
在本发明的一些实施例中，所述多种眼底生理构造像素类别是眼底视盘区域、动脉血管、静脉血管、眼底其他区域中类别的组合；或者所述多种眼底生理构造像素类别是眼底视盘区域、眼底血管、眼底其他区域中类别的组合。
在本发明的一些实施例中，所述多种病灶像素类别是微血管瘤、出血、硬性渗出、软性渗出、糖网增殖膜中类别的组合。
在本发明的一些实施例中，利用分割预测模块对提取的特征进行多次上采样以得到多通道分割图的步骤包括：在首次上采样时对眼底特征图增大特征图的尺寸且降低特征通道数；在第二次以及其后的每次上采样前，先将前次上采样得到的特征图和与其同尺寸的下采样的特征图进行叠加，然后对叠加后的特征图增大特征图的尺寸且降低特征通道数。
在本发明的一些实施例中，所述方法还包括：根据分割概率图对每种病灶的一个或者多个量化分析指标进行量化分析，得到量化分析结果。
在本发明的一些实施例中，所述一个或者多个量化分析指标包括病灶的个数、最大面积和总面积中的一个或者多个量化分析指标。
在本发明的一些实施例中，所述总面积包括用原始眼底图像的像素个数所指代的面积以及真实的物理面积。
在本发明的一些实施例中，所述特征提取模块、分割预测模块、分割特征提取模块和分级预测模块是按照以下方式训练得到的：获取多张眼底图片，其中，每张眼底图片设有对该眼底图片整体进行糖网分级标签，至少部分眼底图片设有对该眼底图片的每个像素进行标注的像素类别标签，每个像素标注有多种非病灶像素类别和多种病灶像素类别中的一种像素类别标签；利用所述多张眼底图像对特征提取模块、分割预测模块、分割特征提取模块和分级预测模块进行训练，根据分割预测模块输出的多通道分割图和像素类别标签计算分割损失，根据分级预测模块和糖网分级标签计算分级损失，其中，没有像素类别标签的眼底图像对应的分割损失为零；根据分割损失和分级损失的加权求和结果对特征提取模块、分割预测模块、分割特征提取模块和分级预测模块的权重参数进行调整。
根据本发明的第二方面，提供一种糖网分析系统，包括：特征提取模块，用于对眼底图像进行多次下采样以提取眼底特征图；分割预测模块，用于对提取的眼底特征图进行多次上采样以得到多通道分割图，其中每个通道对应于非眼底像素类别、多种眼底生理构造像素类别和多种眼底病灶像素类别中的一种类别；分割图特征提取模块，用于对多通道分割图进行特征提取，得到分割特征图；分级预测模块，用于根据最后一次下采样的眼底特征图和分割特征图叠加后的特征图进行糖网分析。
在本发明的一些实施例中，所述多种眼底生理构造像素类别是眼底视盘区域、动脉血管、静脉血管、眼底其他区域中类别的组合；或者所述多种眼底生理构造像素类别是眼底视盘区域、眼底血管、眼底其他区域中类别的组合。
在本发明的一些实施例中，所述多种眼底病灶像素类别是微血管瘤、出血、硬性渗出、软性渗出、糖网增殖膜中类别的组合。
在本发明的一些实施例中，所述糖网分析系统还包括：量化分析模块，用于根据分割概率图对每种病灶的一个或者多个量化分析指标进行量化分析，其中，所述一个或者多个量化分析指标包括病灶的个数、最大面积和总面积中的一个或者多个量化分析指标。
根据本发明的第三方面，提供一种电子设备，包括：一个或多个处理器；以及存储器，其中存储器用于存储一个或多个可执行指令；所述一个或多个处理器被配置为经由执行所述一个或多个可执行指令以实现第一方面所述方法的步骤。
与现有技术相比，本发明的优点在于：
1、本发明提出了一套统一的端到端的糖网分期诊断级病灶量化系统，有效解决专业眼科医生不足，难以应对大规模糖网筛查群体的实际问题；
2、本发明可以充分利用数据现状，有大量糖网分级数据以及少量高精度分割数据；
3、本发明将分类模型和分割模型整合到一个统一的框架中，且共享原始图的特征提取部分，可以充分发挥两类模型的优势，具备分割模型的精确定位和量化能力，也具备分类模型在更高层语义层面的综合判断能力。且全流程均为模型自主学习，无任何手动的特征组合；
4、具体到糖网分级量化，本发明的整合模型可以做到两类模型相互促进，共同学习。分割模型为分类模型在微血管瘤等微小病灶上提供更精准的指引，区分正常眼底和糖网轻度。分割模型提供的出血渗出等病灶的精确量化能力，也很有助于进行糖网分级的预测，整个过程更接近于人类医生的诊断逻辑；
5、本发明提供了更加准确可靠的糖网分级结果，并且分级预测结果有据可循，同时对于糖网相关的病灶也提供了不同维度的量化分析指标，包括图片像素维度的病灶面积和对应于真实物理世界的面积。
附图说明
以下参照附图对本发明实施例作进一步说明，其中：
图1为根据本发明实施例的糖网分析系统的系统模块示意图；
图2为根据本发明实施例的特征提取模块的第一个实施方式的结构示意图；
图3为根据本发明实施例的特征提取模块的第二个实施方式的结构示意图；
图4为根据本发明实施例的特征提取模块的第三个实施方式的结构示意图；
图5为根据本发明实施例的特征提取模块和分割预测模块的结构示意图；
图6为根据本发明实施例的四个模块的训练过程的示意图；
图7为根据本发明实施例的糖网分析系统的系统模块示意图。
具体实施方式
为了使本发明的目的，技术方案及优点更加清楚明白，以下结合附图通过具体实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
如在背景技术部分提到的，现有技术直接采用分类模型时糖网分级容易误判；而直接采用分割模型时模型只关注病灶层面，不能进行更上层的疾病类别判断；两种模型均难以客观精确地对糖网进行量化分析，给出病灶量化结果，不便于辅助医生高效、准确的对糖网患者的病情进行分析。基于此，本发明对原始的眼底图像中的非眼底像素类别、多种眼底生理构造像素类别和多种眼底病灶像素类别进行像素级识别，并基于此提取分割特征图，通过分割特征图和特征提取模块最后一次下采样的眼底特征图来进行最终的糖网分析，从而可以利用识别糖网相关的病灶特征以及眼底主要生理组织特征，帮助模型更好的理解眼底图像构造，尽可能模仿人类的认知过程，从而更精准地给出糖网分级结果。
在对本发明的实施例进行具体介绍之前，先对其中使用到的部分术语作如下解释：
眼底是指眼球内后部的区域，包括视网膜、视乳头、黄斑和视网膜中央动脉等解剖结构。
视盘(Optic Disc)，是指视神经盘，也叫视神经乳头。视网膜由黄斑向鼻侧约3mm处有一直径约1.5mm，境界清楚的淡红色圆盘状结构，称为视神经盘，简称视盘。
微血管瘤，是指由于血管组织的错构，瘤样增生而形成的微型血管肿瘤。
硬性渗出(Retinal Hard Exudates)，是视网膜出血的一种表现，主要是指血管内的脂质或者脂蛋白从视网膜的血管里渗出，沉积在视网膜内，从而变成一种黄白色的颗粒状或者斑块状的病变，这种情况称为硬性渗出。
软性渗出(Retinal Soft Exudates)，又称棉絮状斑，为形状不规则、边界模糊、大小不等的棉絮或绒毛样的渗出斑，位于视网膜浅层的神经纤维层。软性渗出的出现是发生增殖型病变的前兆。
糖网增殖膜，是发生在黄斑区的多种细胞成分移行增生形成的纤维膜，通常也称黄斑前膜。黄斑前膜在视网膜前和玻璃体腔的后界膜，或者是玻璃体后界膜剥除后，会出现的一层增殖膜，这层增殖膜覆盖在黄斑前，而且会收缩。
为了更好地理解本发明，下面结合具体的实施例针对每一个步骤分别进行详细说明。
本发明实施例提供一种糖网分析方法，该方法可以由计算机或者服务器等电子设备执行。本方法借助一个包含神经网络的系统对眼底图像进行识别和分析，如图1所示，该系统包括特征提取模块1、分割预测模块2、分割特征提取模块3、分级预测模块4。
其中，特征提取模块1也可以称为编码模块(Encoder)，是一个多层的神经网络，用于对输入的眼底图像进行下采样。输入模型的眼底图像经过此模块采样后分辨率逐层降低为原来的1/2，特征通道数逐渐增加，得到相应的眼底特征图。举例来说，参见图2，特征提取模块1包括五层子网络，眼底图像经过第一层、第二层、第三层、第四层和第五层的子网络进行多次下采样，图像的分辨率逐渐减少，特征通道数逐渐增大。原始的512*512*3(长*宽*特征通道数，后续数据含义相同，不作赘述)的眼底图像经过第一层的处理得到256*256*40的特征图1，再经第二层的处理，得到128*128*80的特征图2，再经第三层的处理，得到64*64*160的特征图3，再经第四层的处理，得到32*32*320的特征图4，再经第五层的处理，得到16*16*640的特征图5。特征图5对应于眼底特征图。
根据本发明的实施例，特征提取模块1有多种可选择的网络结构，比如：包括卷积神经网络的CNN卷积块、基于自注意力机制的Transformer块、U-net等网络中的特征提取部分的结构或者其组合。
在一个实施例中，特征提取模块1的每层子网络可以为基于卷积神经网络的CNN卷积块，通常包含批归一化层(BN)、卷积层、池化层、激活层等任意组合形式。参见图3，以图2所示实施例的第一层子网络为例，其可以包括卷积块1和卷积块2，其中，特征图1输入卷积块1，依次经过卷积块1的批归一化层、卷积层和激活层的处理后，输入卷积块2，依次经过卷积块2的批归一化层、卷积层、激活层和平均池化层的处理，得到特征图2。其中，256*256*40的特征图1经卷积块1的批归一化层的处理，得到256*256*40的特征图1.1，再经卷积层的处理，得到256*256*80的特征图1.2，再经激活层的处理，得到256*256*80的特征图1.3；将特征图1.3输入卷积块2，经卷积块2的批归一化层的处理，得到256*256*80的特征图1.4，再经卷积层的处理，得到256*256*80的特征图1.5，再经激活层的处理，得到256*256*80的特征图1.6，再经平均池化层的处理，得到128*128*80的特征图2。可以看到，卷积块1的卷积处理过程被配置为将特征通道数调整为原来的两倍，即从40调整为80；卷积块2的卷积处理过程被配置为保持特征通道数不变；两个激活层采用的激活函数为Relu。
在另一个实施例中，特征提取模块1包括卷积神经网络的CNN卷积块、基于自注意力机制的Transformer块。参见图4，将图3所示的结构中，卷积块1替换为Transformer块1，其中，Transformer块1不采用卷积层，而采用多头注意力层Transformer，其他不变。
但应当理解，以上实施例中的网络层数、每一层的卷积块数、每一个卷积块包含的批归一化层、卷积层、激活层、池化层等都可以根据实际情况调整。换言之，以上对特征提取模块的神经网络的具体实施结构仅作为示例，以便于理解本发明的技术方案。在本发明的保护范围之内，本领域技术人员可以根据需要对神经网络的具体实施结构进行设置或者调整。将卷积块2的卷积处理配置为用于增加特征通道数，卷积块1的卷积处理不调整特征通道数；又或者，将卷积块1的卷积处理配置为将特征通道数由40调整为60，将卷积块2的卷积处理配置为将特征通道数由60调整为80。同样地，激活层所采用的激活函数也可以根据需要设置和调整，如采用Mish激活函数等。此外，输入、输出的图像或者中间层的特征图的尺寸和特征通道数也可以根据需要设置和调整。
图1中的分割预测模块2也可以称为解码模块(Decoder)，是一个多层的神经网络，用于对相应的输入进行多次上采样。在第二次及以后的上采样前，将上采样的特征图与特征提取模块1中对应层输出的分辨率相同的特征图进行叠加，将原始眼底特征图的分辨率逐层增大2倍，最终得到和原始输入图像分辨率相同，通道数等于分割类别数量(例如10)的多通道分割图，经过取最大值(Argmax)操作之后得到每一个像素位置对应的像素类别，所有像素对应的像素类别构成分割预测图。
特征提取模块1和分割预测模块2的组成的网络结构为U型网络结构，可参照图5所示实施例的网络结构。眼底图像为512*512*3的尺寸，经过特征提取模块1的5层子网络的处理(下采样)，每经过一层的处理，分辨率缩小为输入的一半，通道数逐渐增加，依次得到特征图1(256*256*40)、特征图2(128*128*80)、特征图3(64*64*160)、特征图4(32*32*320)、特征图5(16*16*640)，特征图5即为最后一次下采样得到的眼底特征图。然后，经过分割预测模块2的5层子网络的处理(上采样)，每经过一层的处理，分辨率增大为输入的2倍，通道数逐渐减少，依次得到特征图6(32*32*320)、特征图7(64*64*160)、特征图8(128*128*80)、特征图9(256*256*40)、特征图10(512*512*20)，然后经过1x1卷积得到特征图11(512*512*10)；特征图11即为多通道分割图。可以看到，在分割预测模块2的第一层以外的其他层，还会通过跳转链接获取将来自特征提取模块1的相应层的同分辨率的特征图，将其与分割预测模块2的前一层的输出进行叠加后，再进行上采样。
图1中的分割特征提取模块3，其与特征提取模块1类似，可采用CNN、Transformer或两者任意组合，用于提取分割特征图，并且最终得到的分割特征图和眼底特征图的分辨率相同。例如，以特征提取模块1的图2所示结构为基础，第二层网络为例来说明可能的一种组合方式，可以将卷积块2替换为Transformer块，其他部分保持不变，应当理解，这种替换还可以为其它层的任一个卷积块，从而形成其他可行的替代实施方式。
在一个实施例中，分割特征提取模块3被配置为基于多通道分割图提取分割特征图。举例来说，若多通道分割图为10通道，则分割特征提取模块3的输入为10通道，在第一层采用10通道的卷积块或者Transformer块进行特征提取。
在另一个实施例中，分割特征提取模块3被配置为基于分割预测图提取分割特征图。分割预测图为单通道，则分割特征提取模块3的输入为单通道，在第一层采用单通道的卷积块或者Transformer块进行特征提取。
应当理解，多通道分割图是将不同类型的不论采用多通道分割图还是分割预测图，均利用了对分割预测模块2中提取的眼底视盘、血管等主要生理构造以及糖网相关的主要病灶类型的信息，只是多通道分割图中将相关的这些信息分散到不同的通道，每个通道中各像素位置模型预测的概率值为0～1之间，并且在每个像素位置，所有通道的10个概率值之和为1，经过取最大值(Argmax)操作之后得到每一个像素位置对应的类别标签(分割预测图，尺寸为512*512*1)，此时每个像素位置的数值可能为0～9中的一个，分别表示模型预测的该像素的类别。
图1中的分级预测模块4是一个用于执行糖网分级任务的神经网络，其中包括全连接层或者Transformer层，根据眼底特征图和分割特征图对眼底图像进行分级。此部分将眼底特征图和分割特征图进行叠加，经过一些全连接层或者Transformer层，映射到糖网分级的五个类别。可以认为此部分类似于人类医生的综合诊断的过程，通过眼底特征图来综合判断整个眼底的情况，同时结合分割特征图的眼底视盘、血管等主要生理构造以及糖网相关的主要病灶类型给出更加准确可靠的糖网分级预测。由于结合了分割预测模块的特征图，模型不仅可以对微血管瘤等微小病灶进行精确识别，进而准确区分糖网早期病变和正常眼底图像。同时也具备对于出血、渗出点、糖网增殖膜等病灶的精确量化分析的能力，预测的糖网分级更加精确可靠，本模块通过神经网络来自动学习原始特征图和分割特征图的组合特征图，最终给出综合性的糖网分级预测，与纯粹的手工提取分割特征图中的每一个病灶的数量、面积等统计数据，再手动组合预测的方式相比模型的表达能力要更强，泛化性更好，更自动化。
分级预测模块4对应的糖网分级标签可以根据相应的糖网分级标准、医疗手册或者用户需要自定义设置。举例来说，糖网分级标签包括正常眼底、糖网轻度、糖网中度、糖网重度、糖网增殖期对应的标签。
以下介绍对于特征提取模块1、分割预测模块2、分割特征提取模块3和分级预测模块4的训练。根据本发明的一个实施例，提供了一套统一的端到端的糖网分析系统，结构示意如图1端到端的糖网分期诊断级病灶量化系统，详细的结构示意如图6。
训练时计算的总损失等于分割损失和分级损失之和或者两者的加权和：
Lall＝α*Lseg+β*Lclf；
其中，Lseg表示分割损失(糖网分割预测loss)，α表示分割损失的权重，Lclf表示分级损失(糖网分级预测loss)，β表示分级损失的权重。分割损失可以用Dice loss或者像素级交叉熵损失等；分级损失可以用交叉熵损失或任意分类损失；α和β为分割损失、分级损失的均衡权重，具体数值可以根据需要自定义设置，训练时还可以视训练情况调节。例如，α、β分别设为0.05、1。
由于像素级地标注像素类别标签十分费时，且对专家能力要求非常高，因此，并非所有眼底图像都带有像素类别标签。在本发明的实施例中，仅部分眼底图像带有像素类别标签。优选地，带有像素类别标签的眼底图像的训练样本占总样本的比例小于等于二分之一。鉴于像素类别标签的稀缺性，当输入不包含像素类别标签时，分割损失默认为0，即：
Lall＝β*Lclf。
对于分割Dice loss：
其中，X为多通道分割图(代表系统预测的分割结果)，Y为像素类别标签(分割标注结果)。举例来说，对于出血类，模型预测出的概率图X尺寸为512*512，每一个像素点取值范围为[0，1]，表示模型预测该像素可能为出血的概率值。分割标注结果Y尺寸为512*512的分割图，每一个像素点的取值为0或1，表示该像素点是否为出血。|X∩Y|表示X与Y之间的交集，具体为两个矩阵进行点乘后对所有元素求和，可以理解为Y中所有值为1的像素点在X中对应位置预测概率值之和。|X|、|Y|分别表示X和Y中的所有元素之和。
对于分割交叉熵损失：
其中，y表示某一病灶类别的像素级类别标签，可以为0或1，表示某一类病灶的像素级预测结果，取值范围为[0，1]。
对于分类损失，例如分类交叉熵损失，其公式与分割交叉熵损失一样，y表示标注的糖网级别，表示预测的糖网级别。
在一个训练样本中，包括眼底图像和糖网分级标签两部分，一些训练样本只有以上这两部分。一些训练样本还包括像素类别标签，总共三部分。
以下通过包括三部分的一个训练样本进行举例说明：
1、眼底图像(原始眼底图)。举例来说，眼底图像的尺寸为512*512，包含3个通道(红绿蓝，RGB)，格式为jpg、png、tif等格式。
2、糖网分级标签。一共有正常眼底图、糖网轻度、糖网中度、糖网重度、糖网增殖期5个标签，每一个标签之间不共存。比如：标注为糖网轻度，则糖网分级标签标注输入为one-hot形式的稀疏编码[0,1,0,0,0]；若标注为糖网增殖期，糖网分级标签输入为[0,0,0,0,1]；
3、像素类别标签。举例来说，像素类别标签包括以下10类：1类非眼底像素类别(非眼底区域)、4类眼底生理构造像素类别(眼底视盘区域、动脉血管、静脉血管、眼底其他区域)、5类眼底病灶像素类别(微血管瘤、出血、硬性渗出、软性渗出、糖网增殖膜)。像素类别标签是尺寸为512*512*10的稀疏数组。512*512对应图像的分辨率，10表示10个分割类别处于不同的通道。比如第六通道表示出血分割类别，每一个像素点数值为0或1，分别表示该像素点是否为出血。同一个像素位置，在不同通道上只能有一个通道的值为1，即每一个像素点只能属于一个像素类别。在一些实施例中，像素类别标签的具体类别可以视情况调整，如合并或者删除一些类别。例如，将静脉血管和动脉血管合并为血管。又例如，删除硬性渗出。
可见，本发明提出一种统一的端到端的网络结构，充分利用大量的糖网分级的分类数据，以及少量像素级高精度的分割数据，既保留了分割模型精确定位量化病灶的能力，又充分发挥了分类模型通过大量数据进行图像级的综合病理判断的能力，更深层次的模拟人类医生的诊断行为，给出糖网分级的预测结果，同时给出更加客观精确的病灶量化结果。
在使用上述系统对眼底图像进行分级后，虽然医生可以看到糖网分级的结果，但是，由于未提供病灶量化结果，医生无法看到与糖网分级有关的具体量化指标，不便于辅助医生高效、准确地对糖网患者的病情进行分析。参见图7，根据本发明的一个实施例，该系统还包括：量化分析模块5，用于根据分割概率图对每种病灶的一个或者多个量化分析指标进行量化分析，得到量化分析结果。将量化分析结果作为糖网分级的预测依据，提供糖网分级结果以及相关的量化分级结果。由此，可以将病灶进行各维度的量化分析计算，进一步为医生提供更加精确的指标，为糖网分级结果提供预测依据，在患者治疗过程中，可以根据量化分析指标为病灶大小的发展变化提供参考，给模型更好的解释性，让医生、患者更加信服。举例来说，量化分析指标包括各糖网相关病灶(微血管瘤、出血、硬性渗出、软性渗出、糖网增殖膜)的个数、最大面积、总面积等指标。
其中，面积指标包括：相对于原始眼底图像的像素个数，以及真实的物理面积；
根据本发明的一个实施例，真实物理面积通过以下公式计算得到：
其中，S1为某类病灶对应原始图像尺寸的像素总个数或像素面积；Seye为整个眼底区域的像素总个数或像素面积，对应于本发明中的整张眼底图除去非眼底区域的所有类别面积之和，即眼底视盘区域、动脉血管、静脉血管、微血管瘤、出血、硬性渗出、软性渗出、糖网增殖膜、眼底其他区域面积之和；π为圆周率；D为不同视角眼底相机拍摄出的眼底图真实物理直径。比如，申请人试验时采用的一种品牌相机，45度视角的新视野眼底相机拍摄出的眼底图真实直径为12.4mm。
由此，本发明可以直接输出相应的糖网分级结果以及相应的量化指标，从而辅助医生快速、精准地为患者作出诊断结果。举例来说，可以按照表1的形式给出相应的糖网分级结果以及相应的量化指标(数据并非真实，仅示意用)：
表1
为了验证本发明的效果，申请人还进行相应的实验，以下是实验说明：
1、数据集说明
本发明的数据标注类型共有两种。一种仅包含糖网分级标签的样本共30000例，一种同时包含像素分类标签(像素级分割标注)和糖网分级标签的样本共4373例。
训练集和测试集在两类数据集上均按照8:2的原则来划分。即
训练集纯分类标签：24000张，分类分割标注均有：3500张；测试集纯分类标签：6000张，分类分割标注均有：873张
所有图片均从全人群分布中随机采样获得，可以包含各年龄段及相机品牌分布，由此，训练集的数据包含了各个年龄段、各地域分布、多种相机品牌、多种眼底疾病类型，具有代表性。
2、训练过程摘要
训练过程摘要详见表2，一共训练60个轮次(Epoch)，在第53个轮次时的模型结果最优。因此，可选第53个轮次训练得到的各个模块组成糖网分析系统，并部署到相应的糖网分析设备中。
表2
对于分类预测，用每一个类别的AUC(敏感性-特异性/ROC曲线下的面积)进行评估，数值越大越好。对于分割预测，用每一个类别的Iou(模型预测病灶区域与真实标注病灶区域的交集和并集之比)进行评估，数值越大越好。
需要说明的是，虽然上文按照特定顺序描述了各个步骤，但是并不意味着必须按照上述特定顺序来执行各个步骤，实际上，这些步骤中的一些可以并发执行，甚至改变顺序，只要能够实现所需要的功能即可。
本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以包括但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (13)
1.一种糖网分析方法，其特征在于，包括：
利用特征提取模块对眼底图像进行多次下采样以提取眼底特征图；
利用分割预测模块对提取的眼底特征图进行多次上采样以得到多通道分割图，基于多通道分割图进行预测得到分割预测图，其中，所述多通道分割图的每个通道对应于非眼底像素类别、多种眼底生理构造像素类别和多种眼底病灶像素类别中的一种类别，该多通道分割图的每个通道的每个像素位置的值表示该像素为通道对应类别的概率值，所述分割预测图包括预测的所有像素位置对应的像素类别；
利用分割特征提取模块以神经网络的方式对多通道分割图或者分割预测图进行特征提取，得到分割特征图；
利用分级预测模块根据最后一次下采样的眼底特征图和分割特征图进行糖网分析，其中，分级预测模块是一个用于根据眼底特征图和分割特征图进行叠加后的组合特征图执行糖网分级任务的神经网络；
其中，所述特征提取模块、分割预测模块、分割特征提取模块和分级预测模块是按照以下方式训练得到的：
获取多张眼底图片，其中，每张眼底图片设有对该眼底图片整体进行糖网分级标签，至少部分眼底图片设有对该眼底图片的每个像素进行标注的像素类别标签，每个像素标注有多种非病灶像素类别和多种病灶像素类别中的一种像素类别标签；
利用所述多张眼底图片对特征提取模块、分割预测模块、分割特征提取模块和分级预测模块进行训练，根据分割预测模块输出的多通道分割图和像素类别标签计算分割损失，根据分级预测模块和糖网分级标签计算分级损失，其中，没有像素类别标签的眼底图片对应的分割损失为零；
根据分割损失和分级损失的加权求和结果对特征提取模块、分割预测模块、分割特征提取模块和分级预测模块的权重参数进行调整。
2.根据权利要求1所述的方法，其特征在于，所述多种眼底生理构造像素类别是眼底视盘区域、动脉血管、静脉血管、眼底其他区域中类别的组合；或者
所述多种眼底生理构造像素类别是眼底视盘区域、眼底血管、眼底其他区域中类别的组合。
3.根据权利要求1所述的方法，其特征在于，所述多种病灶像素类别是微血管瘤、出血、硬性渗出、软性渗出、糖网增殖膜中类别的组合。
4.根据权利要求1所述的方法，其特征在于，利用分割预测模块对提取的特征进行多次上采样以得到多通道分割图的步骤包括：
在首次上采样时对眼底特征图增大特征图的尺寸且降低特征通道数；
在第二次以及其后的每次上采样前，先将前次上采样得到的特征图和与其同尺寸的下采样的特征图进行叠加，然后对叠加后的特征图增大特征图的尺寸且降低特征通道数。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据分割概率图对每种病灶的一个或者多个量化分析指标进行量化分析，得到量化分析结果。
6.根据权利要求5所述的方法，其特征在于，所述一个或者多个量化分析指标包括病灶的个数、最大面积和总面积中的一个或者多个量化分析指标。
7.根据权利要求6所述的方法，其特征在于，所述总面积包括用原始眼底图像的像素个数所指代的面积以及真实的物理面积。
8.一种糖网分析系统，其特征在于，包括：
特征提取模块，用于对眼底图像进行多次下采样以提取眼底特征图；
分割预测模块，用于对提取的眼底特征图进行多次上采样以得到多通道分割图，其中，所述多通道分割图的每个通道对应于非眼底像素类别、多种眼底生理构造像素类别和多种眼底病灶像素类别中的一种类别，该多通道分割图的每个通道的每个像素位置的值表示该像素为通道对应类别的概率值，所述分割预测图包括预测的所有像素位置对应的像素类别；
分割图特征提取模块，用于以神经网络的方式对多通道分割图或者分割预测图进行特征提取，得到分割特征图；
分级预测模块，用于根据最后一次下采样的眼底特征图和分割特征图叠加后的特征图进行糖网分析，其中，分级预测模块是一个用于根据眼底特征图和分割特征图进行叠加后的组合特征图执行糖网分级任务的神经网络；
其中，所述特征提取模块、分割预测模块、分割特征提取模块和分级预测模块是按照以下方式训练得到的：
获取多张眼底图片，其中，每张眼底图片设有对该眼底图片整体进行糖网分级标签，至少部分眼底图片设有对该眼底图片的每个像素进行标注的像素类别标签，每个像素标注有多种非病灶像素类别和多种病灶像素类别中的一种像素类别标签；
利用所述多张眼底图片对特征提取模块、分割预测模块、分割特征提取模块和分级预测模块进行训练，根据分割预测模块输出的多通道分割图和像素类别标签计算分割损失，根据分级预测模块和糖网分级标签计算分级损失，其中，没有像素类别标签的眼底图片对应的分割损失为零；
根据分割损失和分级损失的加权求和结果对特征提取模块、分割预测模块、分割特征提取模块和分级预测模块的权重参数进行调整。
9.根据权利要求8所述的糖网分析系统，其特征在于，所述多种眼底生理构造像素类别是眼底视盘区域、动脉血管、静脉血管、眼底其他区域中类别的组合；或者
所述多种眼底生理构造像素类别是眼底视盘区域、眼底血管、眼底其他区域中类别的组合。
10.根据权利要求8所述的糖网分析系统，其特征在于，所述多种眼底病灶像素类别是微血管瘤、出血、硬性渗出、软性渗出、糖网增殖膜中类别的组合。
11.根据权利要求8所述的糖网分析系统，其特征在于，所述糖网分析系统还包括：
量化分析模块，用于根据分割概率图对每种病灶的一个或者多个量化分析指标进行量化分析，其中，所述一个或者多个量化分析指标包括病灶的个数、最大面积和总面积中的一个或者多个量化分析指标。
12.一种计算机可读存储介质，其特征在于，其上包含有计算机程序，所述计算机程序可被处理器执行以实现权利要求1至7中任一项所述方法的步骤。
13.一种电子设备，其特征在于，包括：
一个或多个处理器；以及
存储器，其中存储器用于存储一个或多个可执行指令；
所述一个或多个处理器被配置为经由执行所述一个或多个可执行指令以实现权利要求1至7中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110881198.9A CN113576399B (zh) | 2021-08-02 | 2021-08-02 | 一种糖网分析方法、系统以及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110881198.9A CN113576399B (zh) | 2021-08-02 | 2021-08-02 | 一种糖网分析方法、系统以及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113576399A CN113576399A (zh) | 2021-11-02 |
| CN113576399B true CN113576399B (zh) | 2024-03-08 |
Family
ID=78253819
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110881198.9A Active CN113576399B (zh) | 2021-08-02 | 2021-08-02 | 一种糖网分析方法、系统以及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113576399B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115457038B (zh) * | 2022-11-11 | 2023-08-22 | 北京鹰瞳科技发展股份有限公司 | 分级预测模型的训练方法、分级预测的方法及相关产品 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010138645A2 (en) * | 2009-05-29 | 2010-12-02 | University Of Pittsburgh - Of The Commonwealth System Of Higher Education | Blood vessel segmentation with three-dimensional spectral domain optical coherence tomography |
| CN107480644A (zh) * | 2017-08-21 | 2017-12-15 | 吉林大学 | 眼底图像中视盘的定位与分割方法、装置和存储介质 |
| WO2019180742A1 (en) * | 2018-03-21 | 2019-09-26 | Artificial Learning Systems India Private Limited | System and method for retinal fundus image semantic segmentation |
| CN110309849A (zh) * | 2019-05-10 | 2019-10-08 | 腾讯医疗健康(深圳)有限公司 | 血管图像处理方法、装置、设备及存储介质 |
| CN110555845A (zh) * | 2019-09-27 | 2019-12-10 | 上海鹰瞳医疗科技有限公司 | 眼底oct图像识别方法及设备 |
| CN111046835A (zh) * | 2019-12-24 | 2020-04-21 | 杭州求是创新健康科技有限公司 | 一种基于区域特征集合神经网络的眼底照多病种检测系统 |
| CN112016626A (zh) * | 2020-08-31 | 2020-12-01 | 南京泰明生物科技有限公司 | 基于不确定度的糖尿病视网膜病变分类系统 |
| CN112869704A (zh) * | 2021-02-02 | 2021-06-01 | 苏州大学 | 一种基于循环自适应多目标加权网络的糖尿病视网膜病变区域自动分割方法 |
| CN113066066A (zh) * | 2021-03-30 | 2021-07-02 | 北京鹰瞳科技发展股份有限公司 | 视网膜异常分析方法及设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6656063B2 (ja) * | 2016-04-15 | 2020-03-04 | キヤノン株式会社 | 画像処理装置及び画像処理方法、プログラム |
-
2021
- 2021-08-02 CN CN202110881198.9A patent/CN113576399B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010138645A2 (en) * | 2009-05-29 | 2010-12-02 | University Of Pittsburgh - Of The Commonwealth System Of Higher Education | Blood vessel segmentation with three-dimensional spectral domain optical coherence tomography |
| CN107480644A (zh) * | 2017-08-21 | 2017-12-15 | 吉林大学 | 眼底图像中视盘的定位与分割方法、装置和存储介质 |
| WO2019180742A1 (en) * | 2018-03-21 | 2019-09-26 | Artificial Learning Systems India Private Limited | System and method for retinal fundus image semantic segmentation |
| CN110309849A (zh) * | 2019-05-10 | 2019-10-08 | 腾讯医疗健康(深圳)有限公司 | 血管图像处理方法、装置、设备及存储介质 |
| CN110555845A (zh) * | 2019-09-27 | 2019-12-10 | 上海鹰瞳医疗科技有限公司 | 眼底oct图像识别方法及设备 |
| CN111046835A (zh) * | 2019-12-24 | 2020-04-21 | 杭州求是创新健康科技有限公司 | 一种基于区域特征集合神经网络的眼底照多病种检测系统 |
| CN112016626A (zh) * | 2020-08-31 | 2020-12-01 | 南京泰明生物科技有限公司 | 基于不确定度的糖尿病视网膜病变分类系统 |
| CN112869704A (zh) * | 2021-02-02 | 2021-06-01 | 苏州大学 | 一种基于循环自适应多目标加权网络的糖尿病视网膜病变区域自动分割方法 |
| CN113066066A (zh) * | 2021-03-30 | 2021-07-02 | 北京鹰瞳科技发展股份有限公司 | 视网膜异常分析方法及设备 |
Non-Patent Citations (3)
| Title |
|---|
| 基于深度学习的眼底图分类与分割研究;王静雯;《中国优秀硕士学位论文全文数据库（医药卫生科技辑）》(第第1期期);E073-106 * |
| 基于眼底彩照的病理性近视分类和脉络膜视网膜萎缩分割;陆如意;《中国优秀硕士学位论文全文数据库（医药卫生科技辑）》(第第2期期);E073-214 * |
| 基于眼底彩照的近视性黄斑病变自动分级和病灶识别系统研究;汤加;《中国博士学位论文全文数据库 医药卫生科技辑》(第第5期期);E073-29 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113576399A (zh) | 2021-11-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108771530B (zh) | 基于深度神经网络的眼底病变筛查系统 | |
| KR20200005404A (ko) | 진단 보조 시스템 | |
| CN111481166A (zh) | 基于眼底筛查的自动识别系统 | |
| CN113768460B (zh) | 一种眼底图像分析系统、方法以及电子设备 | |
| CN113689954B (zh) | 高血压风险预测方法、装置、设备及介质 | |
| CN111080643A (zh) | 基于眼底图像的糖尿病及相关疾病的分类方法及设备 | |
| CN113012163A (zh) | 一种基于多尺度注意力网络的视网膜血管分割方法、设备及存储介质 | |
| CN113610842B (zh) | 基于CAS-Net的OCT图像视网膜脱离和劈裂自动分割方法 | |
| CN112101424A (zh) | 一种视网膜病变识别模型的生成方法、识别装置及设备 | |
| CN114724231A (zh) | 一种基于迁移学习的青光眼多模态智能识别系统 | |
| CN112869697A (zh) | 同时识别糖尿病视网膜病变的分期和病变特征的判断方法 | |
| CN115578783B (zh) | 基于眼部图像进行眼部疾病识别的装置、方法及相关产品 | |
| CN111028232A (zh) | 基于眼底图像的糖尿病分类方法及设备 | |
| Kajan et al. | Detection of diabetic retinopathy using pretrained deep neural networks | |
| CN118279299B (zh) | 采用非可见光闪光灯拍摄视网膜图像的方法 | |
| CN113576399B (zh) | 一种糖网分析方法、系统以及电子设备 | |
| CN114984457A (zh) | 基于脑功能网络的患者光刺激参数选择方法及系统 | |
| Chuter et al. | Deep Learning Identifies High-Quality Fundus Photographs and Increases Accuracy in Automated Primary Open Angle Glaucoma Detection | |
| Santhosh et al. | Retinal Glaucoma Detection from Digital Fundus Images using Deep Learning Approach | |
| Giancardo et al. | Quality assessment of retinal fundus images using elliptical local vessel density | |
| Taranum et al. | Image Based Edge Weighted Linked Segmentation Model Using Deep Learning for Detection of Diabetic Retinopathy. | |
| Alhajim et al. | Application of optimized Deep Learning mechanism for recognition and categorization of retinal diseases | |
| Sharma et al. | Machine Learning/Deep Learning Algorithms & Variability in Grading Improves Early Detection of DR | |
| Abualigah et al. | Hybrid Classification Approach Utilizing DenseUNet+ for Diabetic Macular Edema Disorder Detection. | |
| KR102587830B1 (ko) | 딥러닝을 이용한 백내장 진단방법 및 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |