CN113724242A - 糖尿病视网膜病变和糖尿病性黄斑水肿的联合分级方法 - Google Patents
糖尿病视网膜病变和糖尿病性黄斑水肿的联合分级方法 Download PDFInfo
- Publication number
- CN113724242A CN113724242A CN202111059104.6A CN202111059104A CN113724242A CN 113724242 A CN113724242 A CN 113724242A CN 202111059104 A CN202111059104 A CN 202111059104A CN 113724242 A CN113724242 A CN 113724242A
- Authority
- CN
- China
- Prior art keywords
- model
- network
- training
- data
- attention module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 206010012689 Diabetic retinopathy Diseases 0.000 title claims abstract description 35
- 206010012688 Diabetic retinal oedema Diseases 0.000 title claims abstract description 31
- 201000011190 diabetic macular edema Diseases 0.000 title claims abstract description 31
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000012549 training Methods 0.000 claims abstract description 46
- 230000008569 process Effects 0.000 claims abstract description 5
- 238000012360 testing method Methods 0.000 claims abstract description 5
- 239000004576 sand Substances 0.000 claims description 21
- 230000003044 adaptive effect Effects 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 8
- 201000010099 disease Diseases 0.000 claims description 6
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 6
- 230000003902 lesion Effects 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 2
- 238000005194 fractionation Methods 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 2
- 238000011176 pooling Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 210000000416 exudates and transudate Anatomy 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 201000004569 Blindness Diseases 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000001575 pathological effect Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 206010002329 Aneurysm Diseases 0.000 description 1
- 208000002249 Diabetes Complications Diseases 0.000 description 1
- 206010025421 Macule Diseases 0.000 description 1
- 208000009857 Microaneurysm Diseases 0.000 description 1
- 208000017442 Retinal disease Diseases 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000003722 extracellular fluid Anatomy 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000004220 fundus oculi Anatomy 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 231100000915 pathological change Toxicity 0.000 description 1
- 230000036285 pathological change Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000008719 thickening Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Ophthalmology & Optometry (AREA)
- Animal Behavior & Ethology (AREA)
- Signal Processing (AREA)
- Bioinformatics & Computational Biology (AREA)
- Heart & Thoracic Surgery (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Surgery (AREA)
- Evolutionary Biology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明适用于医疗影像处理技术领域，提供了糖尿病视网膜病变和糖尿病性黄斑水肿的联合分级方法，包括如下步骤：1）构建联合分级网络，其中MobileNet V2为模型的骨干网，并含有自适应注意力模块，模型在PyTorch架构上实现，并以端到端的方式进行训练；2）构建基于半监督学习的网络训练，所述半监督学习的网络训练采用一个学生模型和一个教师模型，同时进行训练，并且都使用提出的联合分级网络；3）进行网络分级测试。本发明实现糖尿病视网膜病变和糖尿病性黄斑水肿联合分级任务，在训练过程中进行自适应调整，灵活性高；半监督学习策略可以充分利用未标记数据，在一定程度上缓解标记数据不足的问题。
Description
技术领域
本发明属于医疗影像处理技术领域，尤其涉及糖尿病视网膜病变和糖尿病性黄斑水肿的联合分级方法。
背景技术
糖尿病视网膜病变(DR)是糖尿病的严重并发症之一，是世界上致盲和视力损害的主要原因之一。DR的病理特征包括微动脉瘤、出血、软渗出物和硬渗出物。这些病变症状可提示眼科医生确定DR等级。糖尿病性黄斑水肿(DME)是DR的一种并发症，其原因是细胞外液在黄斑区积聚，导致视网膜增厚或硬渗出物。硬渗出物和黄斑之间的距离被用作诊断DME的线索，距离越近，风险越高。如果DR和DME能够及早发现和治疗，大多数患者可以避免失明的风险。因此，在临床实践中，高效准确地筛查DR和DME尤为重要。
有监督的CNN需要大量标记数据进行训练。然而，由于成本高，标记医学数据相对稀少，这极大地限制了有监督CNN的临床应用。
发明内容
本发明实施例是这样实现的，糖尿病视网膜病变和糖尿病性黄斑水肿的联合分级方法，包括如下步骤：
1)构建联合分级网络，其中MobileNet V2为模型的骨干网，并含有自适应注意力模块，模型在PyTorch架构上实现，并以端到端的方式进行训练；
2)构建基于半监督学习的网络训练，所述半监督学习的网络训练采用一个学生模型和一个教师模型，同时进行训练，并且都使用提出的联合分级网络；
3)进行网络分级测试，所述网络分级测试根据数据类型分如下几种情况：
a有标签数据DR病变分级，
b有标签数据DME病变分级，
c有标签数据DR和DME病变联合分级，
d无标签数据病变分级。
进一步的技术方案，联合分级网络训练配置步骤还包括：
一、加载ImageNet中预训练的参数；
二、对训练数据集中的图像进行裁剪，使其仅包含视场(FOV)的一部分，并将其大小调整为250×250；
三、将图像随机缩放并裁剪为224×224，然后在水平和垂直方向上随机翻转、随机旋转和仿射；
四、使用Adam优化器对网络进行优化；
五、最大学习率设置为0.001，预热策略用于提高前20期的学习率，并用于降低后12期的学习率；
六、所有模型都训练100期，批量大小设置为80。
进一步的技术方案，所述基于半监督学习的网络训练的步骤包括：
a)训练开始时，两个可学习参数β和γ都设置为1，训练过程中，β和γ逐渐变化，网络根据不同的任务选择是否启用自适应注意力模块，并自适应调整自适应注意力模块；
b)随机数据增强，使用相同数量的标记和未标记数据进行训练；
c)将标记数据发送到学生模型以生成预测ys，并使用交叉熵损失来计算ys和真实标签y之间的分类损失；
d)将增强的未标记数据发送给学生和教师模型，以生成预测ys和伪标签yt，并使用均方误差损失计算ys和yt之间的一致性损失；
e)教师模型参数由学生模型权重的指数移动平均值(EMA)更新。进一步的技术方案，所述自适应注意力模块包括通道注意力模块和空间注意力模块两个子模块，通过使用快捷连接改进卷积块注意力模块，使网络能够根据不同的任务自适应调整注意力模块，并决定是否使用注意力模块以及关注哪个子模块。
进一步的技术方案，对所述的一个学生模型和一个教师模型使用相同数量的标记和未标记数据进行训练，从而避免过度拟合，只计算未标记数据的一致性损失；对于未标记样本XU，随机生成其两个数据增强版本
和
其中
被发送到学生模型以生成预测
被发送到教师模型以生成预测
将预测
作为伪标签，计算ys和
的一致性损失，以迫使学生模型产生与教师模型一致的预测。
进一步的技术方案，一致性损失的定义如下，
其中Nu是未标记样本的总数，ci是未标记样本的目标类
ys和
分别是学生模型和教师模型的预测。
对于标记样本XL，训练策略与传统的监督学习相同，将随机增强数据X′L发送到网络以生成预测ys＝f(X′L，θ)，并计算ys和真值y之间的交叉熵损失作为监督信号进行分级。分级损失定义如下，
其中Nl是标记样本的总数，K是疾病等级的数量；最终损失定义如下，
L＝Lcls+ω×δ×Lconsist (7)
在总损耗函数中引入一个超参数ω来控制Lconsist的权重，δ是一个自适应加权系数，计算如下，
其中S是当前训练步骤，L是长度，δ的使用使模型在训练早期侧重于提高评分精度，而在后期更注重预测的一致性。
进一步的技术方案，所述学生模型和教师模型在每个步骤更新模型参数，前者使用反向传播更新参数，后者执行指数移动平均(EMA)更新生成的目标，如下所示，
θ′t＝αθ′t-1+(1-α)θt
其中t表示训练步骤，θ和θ′分别是学生模型和教师模型的参数，α是EMA衰减。在第一个L步中使用α＝min(1-1/(global_step+1)，0.6)，其余训练中使用α＝0.6，调整函数可以控制α更平滑地变化，并允许教师模型保留更多以前的信息。
本发明实施例提供的糖尿病视网膜病变和糖尿病性黄斑水肿的联合分级方法，其有益效果如下：
1.提出了针对眼底病变的联合分级网络，实现糖尿病视网膜病变和糖尿病性黄斑水肿联合分级任务；
2.提出了一种通用的自适应注意力模块，它可以嵌入到任何网络中，并在训练过程中进行自适应调整，增强注意力模块的灵活性；
3.额外的未标记数据用于在网络上执行半监督学习。半监督学习策略可以充分利用未标记数据，在一定程度上缓解标记数据不足的问题。
附图说明
图1为本发明实施例提供的糖尿病视网膜病变和糖尿病性黄斑水肿的联合分级方法的流程图；
图2为本发明实施例提供的糖尿病视网膜病变和糖尿病性黄斑水肿的联合分级方法中的联合分级网络训练配置的流程图；
图3为本发明实施例提供的糖尿病视网膜病变和糖尿病性黄斑水肿的联合分级方法中的基于半监督学习网络训练的流程图；
图4为本发明实施例提供的糖尿病视网膜病变和糖尿病性黄斑水肿的联合分级方法中的联合分级网络的总体结构图；
图5为本发明实施例提供的糖尿病视网膜病变和糖尿病性黄斑水肿的联合分级方法中的自适应注意力模块的体系结构图；
图6为本发明实施例提供的糖尿病视网膜病变和糖尿病性黄斑水肿的联合分级方法中的半监督学习的示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
以下结合具体实施例对本发明的具体实现进行详细描述。
方法论：
联合分级网络的基本结构如图1和4所示，它由三部分组成：骨干网络、自适应注意力模块和分类器。联合分级网络可以以端到端的方式进行训练。为了充分利用未标记数据，使用半监督学习对网络进行训练。
一、联合分级网络概述
如图1和4所示，联合分级网络使用骨干网络作为特征提取器，从输入的彩色图像中提取与疾病相关的特征。骨干网可以是任何经过预训练的网络。考虑到模型的实用性，选择MobileNet V2作为后端网络，只保留完全连接层之前的部分。在训练开始时，在ImageNet数据集上对模型进行预训练。骨干网可以从最后一个特征提取层生成特征映射F∈RH×W×C。为了降低计算量，在骨干网后增加1×1卷积层，对F进行1×1卷积运算，得到Freduce∈RH ×W×C′，其中C′＝C/2。然后根据分级任务将Freduce发送到不同的分支。在DR或DME分级任务中，Freduce仅发送到DR或DME分级分支，而在联合分级任务中，Freduce同时发送到DR和DME分级分支。以DR分级分支为例，将Freduce作为输入发送给自适应注意力模块，自适应注意力模块可以自适应地从Freduce学习有利于DR分级的特征，并将其集成到Freduce中，生成注意力特征图FDR∈RH×W×C′。然后将FDR输入到由全局平均池化(GAP)层和多层感知(MLP)组成的分类器进行分级。最后，为了充分利用未标记的数据，在最终损失中引入一致性正则化，并以半监督学习的方式对网络进行训练。
DR分支和DME分支是两个独立的分支，可以分别用于DR或DME的分级，也可以同时用于DR和DME的联合分级。GAP和MLP是全局平均池化和多层感知的缩写。
二、自适应注意力模块
提出的自适应注意力模块包括两个子模块，通道注意力模块和空间注意力模块，它通过使用快捷连接改进卷积块注意力模块，使网络能够根据不同的任务自适应调整注意力模块，并决定是否使用注意力模块以及关注哪个子模块。
自适应注意力模块的结构如图5所示，通道注意力模块采用Fi∈RH×W×C作为输入。
和
分别通过Fi中通道维度的每个特征图上的平均池化和最大池化获得，然后发送到共享MLP以生成通道方向的注意力尺度
如下所述，
其中σ是一个sigmoid函数，W0∈Rc×c′和W1∈Rc′×c是MLP的参数，C′＝C/2。
可以增强有用的特征映射，并在通道维度上抑制Fi中无用的特征映射。因此，可以如下获得注意力方向的注意力Fc_att，
其中
表示元素相乘，β是可学习的参数。
为了进一步突出跨空间域的疾病特定特征，自适应注意力模块还包含一个空间注意力模块，该模块通过沿空间域应用最大池化和平均池化操作来聚合空间信息标注并生成要素图
和
然后，将
和
串联并发送到卷积层，以获得空间方向的注意力尺度
如下所示，
其中Conv是卷积层操作。因此，可以如下获得空间方向的注意Fc_att，
其中γ是一个可学习的参数。
在训练开始时，两个可学习参数β和γ都设置为1。在训练过程中，β和γ逐渐变化，网络可以根据不同的任务选择是否启用自适应注意力模块，并自适应调整自适应注意力模块。
它由通道注意力部分和空间注意力部分组成。通道注意力和空间注意力可以利用特征的通道之间和空间之间关系。β和γ是两个可以学习的超参数。β＝0和γ＝0分别表示通道和空间注意力部分不工作。在训练期间，β和γ将自适应地学习调整注意力模块。
三、半监督学习
为了有效地利用未标记数据，采用半监督学习对模型进行训练(如图3和6所示)。它不破坏图像细节，也不严格要求未标记图像的质量，因此更适合于视网膜疾病分类任务。训练的核心是一致性正则化。如图6所示，它被添加到损失中以提供用于训练的附加监督信号以获得更精确的模型。
在随机数据增强后，将标记数据发送到学生模型以生成预测ys，并使用交叉熵损失来计算ys和真实标签y之间的分类损失。将增强的未标记数据发送给学生和教师模型，以生成预测ys和伪标签yt，并使用均方误差损失计算ys和yt之间的一致性损失。教师模型参数由学生模型权重的指数移动平均值(EMA)更新。
两个CNN网络，一个学生模型和一个教师模型，同时进行训练，并且都使用提出的联合分级网络。使用相同数量的标记和未标记数据进行训练。为了避免过度拟合，只计算未标记数据的一致性损失。对于未标记样本XU，随机生成其两个数据增强版本
和
其中
被发送到学生模型以生成预测
被发送到教师模型以生成预测
将预测
作为伪标签。计算ys和
的一致性损失，以迫使学生模型产生与教师模型一致的预测。一致性损失的定义如下，
其中Nu是未标记样本的总数，ci是未标记样本的目标类
ys和
分别是学生模型和教师模型的预测。
对于标记样本XL，训练策略与传统的监督学习相同，将随机增强数据X′L发送到网络以生成预测ys＝f(X′L，θ)，并计算ys和真值y之间的交叉熵损失作为监督信号进行分级。分级损失定义如下，
其中Nl是标记样本的总数，K是疾病等级的数量。最终损失定义如下，
L＝Lcls+ω×δ×Lconsist (7)
在总损耗函数中引入一个超参数ω来控制Lconsist的权重，δ是一个自适应加权系数，计算如下，
其中S是当前训练步骤，L是长度。δ的使用使模型在训练早期侧重于提高评分精度，而在后期更注重预测的一致性。
学生模型和教师模型在每个步骤更新模型参数。前者使用反向传播更新参数，后者执行指数移动平均(EMA)更新生成的目标，如下所示，
θ′t＝αθ′t-1+(1-α)θt (9)
其中t表示训练步骤，θ和θ′分别是学生模型和教师模型的参数，α是EMA衰减。本申请设计了一个分段调整函数，即在第一个L步中使用α＝min(1-1/(global_step+1)，0.6)，其余训练中使用α＝0.6。调整函数可以控制α更平滑地变化，并允许教师模型保留更多以前的信息。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.糖尿病视网膜病变和糖尿病性黄斑水肿的联合分级方法，其特征在于，包括如下步骤：
1)构建联合分级网络，其中MobileNet V2为模型的骨干网，并含有自适应注意力模块，模型在PyTorch架构上实现，并以端到端的方式进行训练；
2)构建基于半监督学习的网络训练，所述半监督学习的网络训练采用一个学生模型和一个教师模型，同时进行训练，并且都使用提出的联合分级网络；
3)进行网络分级测试。
2.根据权利要求1所述的糖尿病视网膜病变和糖尿病性黄斑水肿的联合分级方法，其特征在于，联合分级网络训练配置步骤还包括：
a)加载ImageNet中预训练的参数；
b)对训练数据集中的图像进行裁剪，使其仅包含视场的一部分，并将其大小调整为250×250；
c)将图像随机缩放并裁剪为224×224，然后在水平和垂直方向上随机翻转、随机旋转和仿射；
d)使用Adam优化器对网络进行优化；
e)最大学习率设置为0.001，预热策略用于提高前20期的学习率，并用于降低后12期的学习率；
f)所有模型都训练100期，批量大小设置为80。
3.根据权利要求2所述的糖尿病视网膜病变和糖尿病性黄斑水肿的联合分级方法，其特征在于，所述基于半监督学习的网络训练的步骤包括：
一、训练开始时，两个可学习参数β和γ都设置为1，训练过程中，β和γ逐渐变化，网络根据不同的任务选择是否启用自适应注意力模块，并自适应调整自适应注意力模块；
二、随机数据增强，使用相同数量的标记和未标记数据进行训练；
三、将标记数据发送到学生模型以生成预测ys，并使用交叉熵损失来计算ys和真实标签y之间的分类损失；
四、将增强的未标记数据发送给学生和教师模型，以生成预测ys和伪标签yt，并使用均方误差损失计算ys和yt之间的一致性损失；
五、教师模型参数由学生模型权重的指数移动平均值更新。
4.根据权利要求2所述的糖尿病视网膜病变和糖尿病性黄斑水肿的联合分级方法，其特征在于，所述网络分级测试根据数据类型分如下几种情况：
(1)有标签数据糖尿病视网膜病变病变分级，
(2)有标签数据糖尿病性黄斑水肿病变分级，
(3)有标签数据糖尿病视网膜病变和糖尿病性黄斑水肿病变联合分级，
(4)无标签数据病变分级。
5.根据权利要求1所述的糖尿病视网膜病变和糖尿病性黄斑水肿的联合分级方法，其特征在于，所述自适应注意力模块包括通道注意力模块和空间注意力模块两个子模块，通过使用快捷连接改进卷积块注意力模块，使网络能够根据不同的任务自适应调整注意力模块，并决定是否使用注意力模块以及关注哪个子模块。
6.根据权利要求1所述的糖尿病视网膜病变和糖尿病性黄斑水肿的联合分级方法，其特征在于，对所述的一个学生模型和一个教师模型使用相同数量的标记和未标记数据进行训练，从而避免过度拟合，只计算未标记数据的一致性损失；对于未标记样本XU，随机生成其两个数据增强版本
和
其中
被发送到学生模型以生成预测
被发送到教师模型以生成预测
将预测
作为伪标签，计算ys和
的一致性损失，以迫使学生模型产生与教师模型一致的预测。
7.根据权利要求6所述的糖尿病视网膜病变和糖尿病性黄斑水肿的联合分级方法，其特征在于，所述一致性损失的定义如下，
其中Nu是未标记样本的总数，ci是未标记样本的目标类
ys和
分别是学生模型和教师模型的预测；
对于标记样本XL，训练策略与传统的监督学习相同，将随机增强数据X′L发送到网络以生成预测ys＝f(X′L，θ)，并计算ys和真值y之间的交叉熵损失作为监督信号进行分级。
8.根据权利要求7所述的糖尿病视网膜病变和糖尿病性黄斑水肿的联合分级方法，其特征在于，分级损失定义如下：
其中Nl是标记样本的总数，K是疾病等级的数量；最终损失定义如下：
L＝Lcls+ω×δ×Lconsist
在总损耗函数中引入一个超参数ω来控制Lconsist的权重，δ是一个自适应加权系数，计算如下：
其中S是当前训练步骤，L是长度，δ的使用使模型在训练早期侧重于提高评分精度，而在后期更注重预测的一致性。
9.根据权利要求2所述的糖尿病视网膜病变和糖尿病性黄斑水肿的联合分级方法，其特征在于，所述学生模型和教师模型在每个步骤更新模型参数，前者使用反向传播更新参数，后者执行指数移动平均更新生成的目标，如下所示，
θ′t＝αθ′t-1+(1-α)θt；
其中t表示训练步骤，θ和θ′分别是学生模型和教师模型的参数，a是指数移动平均衰减。
10.根据权利要求9所述的糖尿病视网膜病变和糖尿病性黄斑水肿的联合分级方法，其特征在于，在第一个L步中使用α＝min(1-1/(global_step+1)，0.6)，其余训练中使用α＝0.6，调整函数可以控制α更平滑地变化，并允许教师模型保留更多以前的信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111059104.6A CN113724242A (zh) | 2021-09-10 | 2021-09-10 | 糖尿病视网膜病变和糖尿病性黄斑水肿的联合分级方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111059104.6A CN113724242A (zh) | 2021-09-10 | 2021-09-10 | 糖尿病视网膜病变和糖尿病性黄斑水肿的联合分级方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113724242A true CN113724242A (zh) | 2021-11-30 |
Family
ID=78683117
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111059104.6A Pending CN113724242A (zh) | 2021-09-10 | 2021-09-10 | 糖尿病视网膜病变和糖尿病性黄斑水肿的联合分级方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113724242A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114092918A (zh) * | 2022-01-11 | 2022-02-25 | 深圳佑驾创新科技有限公司 | 模型训练方法、装置、设备及存储介质 |
| CN114387270A (zh) * | 2022-03-22 | 2022-04-22 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、计算机设备和存储介质 |
| CN118262911A (zh) * | 2024-03-12 | 2024-06-28 | 广东省人民医院 | 一种糖尿病患者dme风险评估模型及早期筛查系统 |
-
2021
- 2021-09-10 CN CN202111059104.6A patent/CN113724242A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114092918A (zh) * | 2022-01-11 | 2022-02-25 | 深圳佑驾创新科技有限公司 | 模型训练方法、装置、设备及存储介质 |
| CN114387270A (zh) * | 2022-03-22 | 2022-04-22 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、计算机设备和存储介质 |
| CN118262911A (zh) * | 2024-03-12 | 2024-06-28 | 广东省人民医院 | 一种糖尿病患者dme风险评估模型及早期筛查系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113724242A (zh) | 糖尿病视网膜病变和糖尿病性黄斑水肿的联合分级方法 | |
| CN110992382B (zh) | 用于辅助青光眼筛查的眼底图像视杯视盘分割方法及系统 | |
| WO2021253939A1 (zh) | 一种用于眼底视网膜血管图像分割的粗糙集神经网络方法 | |
| CN106920227B (zh) | 基于深度学习与传统方法相结合的视网膜血管分割方法 | |
| CN111507993B (zh) | 一种基于生成对抗网络的图像分割方法、装置及存储介质 | |
| CN112102266B (zh) | 基于注意力机制的脑梗死医学影像分类模型的训练方法 | |
| WO2018140332A1 (en) | Real-time semantic-aware camera exposure control | |
| CN111667490B (zh) | 一种眼底图片视杯视盘分割方法 | |
| Wei et al. | Learn to segment retinal lesions and beyond | |
| CN112132817A (zh) | 一种混合注意力机制的眼底图像视网膜血管分割方法 | |
| CN109886946B (zh) | 基于深度学习的早期老年性黄斑病变弱监督分类方法 | |
| CN113628152A (zh) | 一种基于多尺度特征选择性融合的暗光图像增强方法 | |
| CN114693898B (zh) | 一种胰腺和肿瘤三维图像分割系统和方法 | |
| Ullah et al. | SSMD-UNet: semi-supervised multi-task decoders network for diabetic retinopathy segmentation | |
| CN112712526A (zh) | 基于非对称卷积神经网络双通道的视网膜血管分割方法 | |
| CN114372985B (zh) | 适应多中心图像的糖尿病视网膜病变病灶分割方法及系统 | |
| CN114998591A (zh) | 一种人体骨骼语义分割模型的半监督学习方法 | |
| Jayachandran et al. | Multi-dimensional cascades neural network models for the segmentation of retinal vessels in colour fundus images | |
| CN117314793B (zh) | 基于bim模型的建筑施工数据采集方法 | |
| Dong et al. | Supervised learning-based retinal vascular segmentation by m-unet full convolutional neural network | |
| Guo et al. | Joint grading of diabetic retinopathy and diabetic macular edema using an adaptive attention block and semisupervised learning | |
| CN116385725B (zh) | 眼底图像视盘视杯分割方法及装置、电子设备 | |
| CN117314763A (zh) | 一种基于机器学习的口腔卫生管理方法及系统 | |
| Ning et al. | A macro-micro weakly-supervised framework for as-oct tissue segmentation | |
| CN116403537A (zh) | 基于图像显著性排名模型的液晶显示区域动态调光方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |