CN112869704B - 一种基于循环自适应多目标加权网络的糖尿病视网膜病变区域自动分割方法 - Google Patents

一种基于循环自适应多目标加权网络的糖尿病视网膜病变区域自动分割方法 Download PDF

Info

Publication number
CN112869704B
CN112869704B CN202110140542.9A CN202110140542A CN112869704B CN 112869704 B CN112869704 B CN 112869704B CN 202110140542 A CN202110140542 A CN 202110140542A CN 112869704 B CN112869704 B CN 112869704B
Authority
CN
China
Prior art keywords
fundus color
target
network
diabetic retinopathy
adaptive multi
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110140542.9A
Other languages
English (en)
Other versions
CN112869704A (zh
Inventor
陈新建
汪恋雨
朱伟芳
陈中悦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou University
Original Assignee
Suzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou University filed Critical Suzhou University
Priority to CN202110140542.9A priority Critical patent/CN112869704B/zh
Publication of CN112869704A publication Critical patent/CN112869704A/zh
Application granted granted Critical
Publication of CN112869704B publication Critical patent/CN112869704B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ophthalmology & Optometry (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Probability & Statistics with Applications (AREA)
  • Radiology & Medical Imaging (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本申请公开了一种基于循环自适应多目标加权网络的糖尿病视网膜病变区域自动分割方法，涉及医学图像分割技术领域，所述方法包括：获取样本眼底彩照图像；根据样本眼底彩照图像训练糖尿病视网膜病变区域分割模型，糖尿病视网膜病变区域分割模型包括循环自适应多目标加权网络，循环自适应多目标加权网络用于自适应的为不同目标分配权重并增强网络的稳定性，不同目标包括样本眼底彩照图像中的背景、出血HE、硬性渗出EX、微血管瘤MA、视盘OD和棉绒斑SE中的至少一种，训练后的视网膜病变分割模型用于对目标眼底彩照图像进行分割。也即通过自适应的为不同目标分配权重，进而缓解子类间不平衡的问题，达到了可以提高网络的分割精度的效果。

Description

一种基于循环自适应多目标加权网络的糖尿病视网膜病变区 域自动分割方法
技术领域
本发明涉及糖尿病视网膜病变区域分割模型训练方法和糖尿病视网膜病变区域分割方法，属于医学图像分割技术领域。
背景技术
糖尿病视网膜病变(Diabetic retinopathy,DR)是糖尿病最常见的微血管并发症之一，是一种不可逆转的致盲疾病，也是四大致盲因素之一。早期准确的DR筛查，尤其是出血(Hemorrhages,HE)、硬性渗出(Hard Exudates,EX)、微血管瘤(Microaneurysms,MA)和棉绒斑(Soft Exudates,SE)等病变区域的分割，对于眼科医生制定治疗计划至关重要。然而由于病变区域形状多样、边界模糊、病理特征不明确，多个病灶的联合分割仍然具有很大的挑战。
近年来，随着深度学习的迅速发展，许多基于卷积神经网络(ConvolutionalNeural Networks，CNN)的深度学习方法应用于DR图像分析。但是，大多数基于CNN的DR分割方法精度不足，且尚未有对DR中的出血HE、硬性渗出EX、微血管瘤MA和棉绒斑SE进行联合分割的研究报道。
发明内容
本发明的目的在于提供一种糖尿病视网膜病变区域分割模型训练方法和糖尿病视网膜病变区域分割方法，用于解决现有技术中存在的问题。
为达到上述目的，本发明提供如下技术方案：
根据第一方面，本发明实施例提供了一种糖尿病视网膜病变区域分割模型训练方法，所述方法包括：
获取样本眼底彩照图像；
根据所述样本眼底彩照图像训练糖尿病视网膜病变区域分割模型，所述糖尿病视网膜病变区域分割模型包括循环自适应多目标加权网络，所述循环自适应多目标加权网络用于自适应的为不同目标分配权重并增加网络的稳定性，不同目标包括所述样本眼底彩照图像中的背景、出血HE、硬性渗出EX、微血管瘤MA、视盘OD和棉绒斑SE中的至少一种，训练后的所述糖尿病视网膜病区域变分割模型用于对目标眼底彩照图像进行分割。
可选的，所述循环自适应多目标加权网络包括前向编码解码模块与自适应多目标加权模块，所述前向编码解码模块的输入为三通道的所述样本眼底彩照图像，输出为六通道预测概率图；其中，输出的每个通道分别对应所述样本眼底彩照图像中的背景、出血HE、硬性渗出EX、微血管瘤MA、视盘OD和棉绒斑SE。
可选的，所述自适应多目标加权模块的输入为所述前向编码解码模块中的编码器提取得到的高级语义特征，输出为为不同目标分配的权重。
可选的，所述自适应多目标加权模块的输出为：w＝gAMW(XH)；
其中，XH为所述编码器提取得到的高级语义特征，
Figure BDA0002928621370000021
为权重，5为目标的数量；
权重与所述前向编码解码模块中的解码器的输出相乘为：
Figure BDA0002928621370000022
Fc和wc分别代表第c个通道对应的预测概率图与权重，×为标量乘法，
Figure BDA0002928621370000023
表示加权后第c个通道的预测概率图；
所述循环自适应多目标加权网络的最终预测结果为：
Figure BDA0002928621370000024
可选的，所述循环自适应多目标加权网络还包括反向数据恢复网络，所述反向数据恢复网络的输入为所述前向编码解码模块中的解码器的输出，输出为恢复得到的眼底彩照图像。
可选的，所述反向数据恢复网络恢复得到的眼底彩照图像为：
XR＝RRN(F)；
其中，XR表示恢复后的图像，F为预测概览图。
可选的，所述根据所述样本眼底彩照图像训练糖尿病视网膜病变区域分割模型，包括：
通过双线性插值方法对所述样本眼底彩照图像进行下采样；
对下采样后的所述样本眼底彩照图像进行归一化处理；
根据归一化后的所述样本眼底彩照图像训练所述糖尿病视网膜病变区域分割模型。
可选的，所述方法还包括：
根据二进制交叉熵BCE损失、Dice损失和均方误差MSE损失优化训练后的所述糖尿病视网膜病变区域分割模型。
第二方面，提供了一种糖尿病视网膜病变区域分割方法，所述方法包括：
获取目标眼底彩照图像；
根据训练后的前向编码解码模块对所述目标眼底彩照图像进行分割，所述训练后的所述前向编码解码模块通过第一方面所述的方法训练得到。
可选的，所述方法还包括：
通过双线性插值方法对所述目标眼底彩照图像进行下采样；
对下采样后的所述目标眼底彩照图像进行归一化处理；
根据训练后的前向编码解码模块对归一化后的所述目标眼底彩照图像进行分割。
通过获取样本眼底彩照图像；根据所述样本眼底彩照图像训练糖尿病视网膜病变区域分割模型，所述糖尿病视网膜病变区域分割模型包括循环自适应多目标加权网络，所述循环自适应多目标加权网络用于自适应的为不同目标分配权重并增加网络的稳定性，不同目标包括所述样本眼底彩照图像中的背景、出血HE、硬性渗出EX、微血管瘤MA、视盘OD和棉绒斑SE中的至少一种，训练后的所述糖尿病视网膜病变区域分割模型用于对目标眼底彩照图像进行分割。也即通过自适应的为不同目标分配权重，进而缓解子类间不平衡的问题，达到了可以提高网络的分割精度的效果。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。
附图说明
图1为本发明一个实施例提供的糖尿病视网膜病变区域分割模型训练方法的方法流程图；
图2为本发明一个实施例提供的样本眼底彩照图像的几种可能的结构示意图；
图3为本发明一个实施例提供的糖尿病视网膜病变区域分割模型CAMWNet的一种可能的框图；
图4为本发明一个实施例提供的前向编码解码模块与自适应多目标加权模块的示意图；
图5为本发明一个实施例提供的反向数据恢复网络的结构示意图；
图6为本发明一个实施例提供的本申请的方法与现有方案方法的分割结果的对比图；
图7为本发明一个实施例提供的糖尿病视网膜病变区域分割方法的方法流程图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
请参考图1，其示出了本申请一个实施例提供的糖尿病视网膜病变区域分割模型训练方法的方法流程图，如图1所示，所述方法包括：
步骤101，获取样本眼底彩照图像；
请参考图2，其示出了样本眼底彩照图像的几种可能的结构示意图。
本申请中使用的样本眼底彩照图像为印度糖尿病糖尿病视网膜病变区域图像数据集(IDRiD)，IDRiD包含81张图片,每张图片的分辨率为4288×2848。
本申请基于Pytorch的集成环境和3块带有12GB存储空间的NVIDIA Tesla K40GPU完成模型的训练。
步骤102，根据所述样本眼底彩照图像训练糖尿病视网膜病变区域分割模型，所述糖尿病视网膜病变区域分割模型包括循环自适应多目标加权网络，所述循环自适应多目标加权网络用于自适应的为不同目标分配权重并增加网络的稳定性，不同目标包括所述样本眼底彩照图像中的背景、出血HE、硬性渗出EX、微血管瘤MA、视盘OD和棉绒斑SE中的至少一种，训练后的所述糖尿病视网膜病变区域分割模型用于对目标眼底彩照图像进行分割。
请参考图3，其示出了本申请提供的糖尿病视网膜病变区域分割模型CAM WNet的一种可能的框图，CAMWNet是一个基于编码-解码结构的神经网络，主要包括前向编码-解码模块、自适应多目标加权模块AMW(Adaptive Multi-Target Weighting Module)、反向数据恢复网络RRN三个部分。自适应多目标加权模块AMW位于编码器顶端，以获取丰富且重要高级全局语义信息，本发明设计的反向数据恢复网络RRN位于解码器顶端，以模拟生物视觉系统中从高级视觉层次到低级视觉层次的反馈。每个模块的具体结构详见如下介绍。
前向编码解码模块，请参考图4，所述前向编码解码模块的输入为三通道的所述样本眼底彩照图像，输出为六通道预测概率图；其中，输出的每个通道分别对应所述样本眼底彩照图像中的背景、出血HE、硬性渗出EX、微血管瘤MA、视盘OD和棉绒斑SE。其中：
编码模块用于提取输入图像中丰富的语义信息和全局特征，并对不同阶段的特征映射进行下采样。为了节省计算量，本发明在编码器路径中使用了五个编码器，其深度分别为32、64、128、256和512。每个编码器均由两个3×3卷积层(后接Relu非线性层)和一个最大池化层组成。解码模块的目的是对具有较强语义信息但分辨率较低的特征地图进行上采样。与编码路径对应，解码路径中使用了四个解码器，其深度分别为256、128、64和32。每个解码器将来自上级解码器的特征图进行2×2反卷积并与来自同级编码器的特征图进行拼接，随后经过两个3×3卷积层(后接Relu非线性层)，最后将卷积结果传输到下一级解码器。U型结构中所有3×3卷积层的步长均为1，所有池化层与反卷积层的步长均为2。另外，本发明不使用现有的预训练模型，而是采用模型随机初始化。
所述自适应多目标加权模块的输入为所述前向编码解码模块中的编码器提取得到的高级语义特征，输出为为不同目标分配的权重。
自适应多目标加权模块由三个3×3卷积层(后接Relu非线性层)和两个完全连接层构成。卷积层步长均为2，完全连接层输出维度分别为128和5。由于CNN最高阶段的顶部特征包含了最强的有利于分类的语义信息，因此，为了解决类不平衡的问题，将编码模块顶端的高级语义特征XH作为AMW的输入。随后，该高级特征XH被AMW编码为权值向量
Figure BDA0002928621370000071
具体如下：
w＝gAMW(XH) (1)
其中，gAMW代表AMW的参数，5为分割目标的数量(出血HE、硬性渗出EX、微血管瘤MA、视盘OD和棉绒斑SE)。然后，权重w与解码器顶端的预测概率图逐通道相乘，如公式2所示：
Figure BDA0002928621370000072
其中，Fc和wc分别代表第c个通道对应的预测概率图与权重，×为标量乘法，
Figure BDA0002928621370000073
表示加权后第c个通道的预测概率图。最后通过SoftMax函数对空间值进行像素级预测，如公式3所示其中，(x，y)表示特征图的空间坐标。Y为最终预测结果，其分辨率与原始输入图像一致。
Figure BDA0002928621370000081
本发明所提出的AMW的作用如下：
AMW采用了通道注意力机制，从高级语义特征中学习类别相关的权重系数，并且利用得到的权重系数加强解码模块重要类别的特征通道并抑制对当前任务不重要的通道，从而缓解类间不平衡的问题。
所述反向数据恢复网络的输入为所述前向编码解码模块中的解码器的输出，输出为恢复得到的眼底彩照图像。
生物学已经证明，人类大脑的认知是一个循环的感知过程，它可以将视觉对象从源域映射到目标域，也可与从目标域映射对象的源域。这种双向学习过程增加了视觉系统的稳定性，同时提高了源域到目标域映射的能力，即大脑的语义理解能力。前向编码-解码结构模拟了生物视觉系统中源域到目标域的映射，它以原始图片为输入，输出预测概率图；而反向编码-解码网络模拟了目标域到源域的映射，它以预测概率图为输入，旨在恢复出原始图片。本发明中提出一个反向数据恢复网络RRN以恢复原始图片，从而提高前向编码-解码网络的特征提取能力。如附图5所示，RRN采用U型网络，包含五个编码器与四个解码器，其深度与前向编码-解码网络相同。该网络以预测概率图F为输入，输出为恢复后的原始图片，所述反向数据恢复网络恢复得到的眼底彩照图像为：
XR＝RRN(F)；
其中，XR表示恢复后的图像，F为预测概览图。
在训练糖尿病视网膜病变区域分割模型时，根据BCE(Binary Cross Entropy，二进制交叉熵)损失、Dice损失和MSE(mean-square error，均方误差)损失优化训练后的所述糖尿病视网膜病变区域分割模型。
需要补充说明的是，在训练之前，还可以先对样本眼底彩照图像进行预处理，进而根据预处理后的样本眼底彩照图像进行训练。
其中，预处理的步骤包括：
(1)、通过双线性插值方法对所述样本眼底彩照图像进行下采样。比如，通过双线性插值方法将所述样本眼底彩照图像下采样到512×512×3。
(2)、对下采样后的所述样本眼底彩照图像进行归一化处理。
此外，为了防止过拟合和增强模型的泛化能力，对数据进行在线的随机水平翻转与垂直翻转操作以进行数据扩增。由于病灶区域边界模糊且对比度不高，本发明中不使用随机噪声进行增强。
在训练得到糖尿病视网膜病变区域分割模型之后，可以验证训练得到的糖尿病视网膜病变区域分割模型的性能，本申请通过7个常用的分类评价指标，包括戴斯相似系数(dice similarity coefficients,DSC)、准确率(accuracy,ACC)、敏感性(sensitivity,SEN)、特异性(specificity,SEP)、雅卡尔相似系数(Jaccard similarity coefficient,JSC)、精确度(precision,PC)和皮尔逊相关系数(Pears on’s correlation coefficient,PCC)。这些指标的定义如下：
Figure BDA0002928621370000091
Figure BDA0002928621370000092
Figure BDA0002928621370000101
Figure BDA0002928621370000102
Figure BDA0002928621370000103
Figure BDA0002928621370000104
Figure BDA0002928621370000105
其中TP、FP、TN和FN分别代表真阳性、假阳性、真阴性和假阴性，X和Y分别表示预测集合与金标准集合。
本发明在测试数据集中评估和对比U型网络与本发明中所提出的循环自适应多目标加权网络CAMWNet。为了证明AMW和RRN的有效性，进行了一系列的消融实验。实验结果如表1和表2所示。原始U型网络用“Baseline”表示，“baseline+AMW”表示在原始U型网络中添加AMW模块，“Baseline+RRN”表示在原始U型网络添加RRN，“CAMWNet”表示在原始U型网络中同时添加AMW和RRN，即本发明中提出的方法。可以看出，相比于原始U型网络，本发明的DSC、ACC、SEN、SPE、JSC、PC和PCC分别提高了3.38％、0.14％、0.87％、0.03％、2.60％、4.74％和2.64％。消融实验如表3所示，可以看出本发明中设计的AMWNet和RRN均比原始U型网络的分割性能好。
Figure BDA0002928621370000106
Figure BDA0002928621370000111
表1
Figure BDA0002928621370000112
表2
方法/评价指标 DSC HEDSC EXDSC MADSC SEDSC
baseline 50.46±1.80 51.54±3.16 71.21±3.26 39.62±2.41 39.50±1.63
baseline+AMW 53.43±1.42 52.97±2.97 71.44±2.43 39.17±1.61 50.14±2.16
baseline+RRN 52.29±1.97 51.74±3.02 71.25±2.31 39.02±2.12 47.15±2.88
CAMWNet 53.84±2.36 52.73±5.44 71.41±2.48 38.13±3.29 53.12±3.09
表3
为了进一步证明本发明方法的有效性，附图6还给出了定性分割结果。由此可见，CAMWNet在DR病灶分割任务中准确率更高，鲁棒性更好。
至此，一种针对糖尿病视网膜病变的眼底彩照图像自动分割方法--CAMWNet已实现并进行验证。其在实验中的表现优于原始U型网络，此发明能对二维视网膜眼底彩照图像做出更优的判断，从另一方面来说，本发明中设计的自适应多目标加权模块AMW、反向数据恢复网络RRN并不复杂，可以嵌入到其他任何卷积神经网络中去，使得网络的特征提取能力更强，从而提高网络的整体性能，有助于二维视网膜眼底彩照图像的分割和检测，大大提高了二维视网膜眼底彩照图像的筛查效率。本发明结合了图像预处理、CAMWNet网络模型的搭建与训练以及测试，使后续对糖尿病视网膜病变的研究，如病变区域配准以及自动分级研究等有很大的帮助。
综上所述，通过获取样本眼底彩照图像；根据所述样本眼底彩照图像训练糖尿病视网膜病变区域分割模型，所述糖尿病视网膜病变区域分割模型包括循环自适应多目标加权网络，所述循环自适应多目标加权网络用于自适应的为不同目标分配权重并增加网络的稳定性，不同目标包括所述样本眼底彩照图像中的背景、出血HE、硬性渗出EX、微血管瘤MA、视盘OD和棉绒斑SE中的至少一种，训练后的所述糖尿病视网膜病变区域分割模型用于对目标眼底彩照图像进行分割。也即通过自适应的为不同目标分配权重，进而缓解子类间不平衡的问题，达到了可以提高网络的分割精度的效果。
请参考图7，其示出了本申请一个实施例提供的糖尿病视网膜病变区域分割方法的方法流程图，如图7所示，所示方法包括：
步骤701，获取目标眼底彩照图像；
步骤702，根据训练后的前向编码解码模块对所述目标眼底彩照图像进行分割。
前向编码解码模块为通过图1所示的实施例的训练方法训练得到。
其中，所述方法还包括：
通过双线性插值方法对所述目标眼底彩照图像进行下采样；
对下采样后的所述目标眼底彩照图像进行归一化处理；
根据训练后的前向编码解码模块对归一化后的所述目标眼底彩照图像进行分割。
综上所述，获取目标眼底彩照图像；根据训练后的视网膜病变分割模型对所述目标眼底彩照图像进行分割。也即通过自适应的为不同目标分配权重，进而缓解子类间不平衡的问题，达到了可以提高网络的分割精度的效果。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (7)

1.一种糖尿病视网膜病变区域分割模型训练方法，其特征在于，所述方法包括：
获取样本眼底彩照图像；
根据所述样本眼底彩照图像训练糖尿病视网膜病变区域分割模型，所述糖尿病视网膜病变区域分割模型包括循环自适应多目标加权网络，所述循环自适应多目标加权网络用于自适应的为不同目标分配权重并增强网络的稳定性，不同目标包括所述样本眼底彩照图像中的背景、出血HE、硬性渗出EX、微血管瘤MA、视盘OD和棉绒斑SE中的至少一种，训练后的所述视网膜病变分割模型用于对目标眼底彩照图像进行分割；
所述循环自适应多目标加权网络包括前向编码解码模块与自适应多目标加权模块，所述前向编码解码模块的输入为三通道的所述样本眼底彩照图像，输出为六通道预测概率图；其中，输出的每个通道分别对应所述样本眼底彩照图像中的背景、出血HE、硬性渗出EX、微血管瘤MA、视盘OD和棉绒斑SE；
所述自适应多目标加权模块的输入为所述前向编码解码模块中的编码器提取得到的高级语义特征，输出为为不同目标分配的权重；
所述自适应多目标加权模块的输出为：w＝gAMW(XH)；
其中，XH为所述编码器提取得到的高级语义特征，
Figure FDA0003626941860000011
为权重，5为目标的数量；
权重与所述前向编码解码模块中的解码器的输出相乘为：
Figure FDA0003626941860000012
Fc和wc分别代表第c个通道对应的预测概率图与权重，×为标量乘法，
Figure FDA0003626941860000013
表示加权后第c个通道的预测概率图；
所述循环自适应多目标加权网络的最终预测结果为：
Figure FDA0003626941860000021
2.根据权利要求1所述的方法，其特征在于，所述循环自适应多目标加权网络还包括反向数据恢复网络，所述反向数据恢复网络的输入为所述前向编码解码模块中的解码器的输出，输出为恢复得到的眼底彩照图像。
3.根据权利要求2所述的方法，其特征在于，所述反向数据恢复网络恢复得到的眼底彩照图像为：
XR＝RRN(F)；
其中，XR表示恢复后的图像，F为预测概览图。
4.根据权利要求1至3任一所述的方法，其特征在于，所述根据所述样本眼底彩照图像训练糖尿病视网膜病变区域分割模型，包括：
通过双线性插值方法对所述样本眼底彩照图像进行下采样；
对下采样后的所述样本眼底彩照图像进行归一化处理；
根据归一化后的所述样本眼底彩照图像训练所述糖尿病视网膜病变区域分割模型。
5.根据权利要求1至3任一所述的方法，其特征在于，所述方法还包括：
根据二进制交叉熵BCE损失、Dice损失和均方误差MSE损失优化训练后的所述糖尿病视网膜病变区域分割模型。
6.一种糖尿病视网膜病变区域分割方法，其特征在于，所述方法包括：
获取目标眼底彩照图像；
根据训练后的前向编码解码模块对所述目标眼底彩照图像进行分割，所述训练后的所述前向编码解码模块分割模型通过如权利要求1至5任一所述的方法训练得到。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
通过双线性插值方法对所述目标眼底彩照图像进行下采样；
对下采样后的所述目标眼底彩照图像进行归一化处理；
根据训练后的前向编码解码模块对归一化后的所述目标眼底彩照图像进行分割。
CN202110140542.9A 2021-02-02 2021-02-02 一种基于循环自适应多目标加权网络的糖尿病视网膜病变区域自动分割方法 Active CN112869704B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110140542.9A CN112869704B (zh) 2021-02-02 2021-02-02 一种基于循环自适应多目标加权网络的糖尿病视网膜病变区域自动分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110140542.9A CN112869704B (zh) 2021-02-02 2021-02-02 一种基于循环自适应多目标加权网络的糖尿病视网膜病变区域自动分割方法

Publications (2)

Publication Number Publication Date
CN112869704A CN112869704A (zh) 2021-06-01
CN112869704B true CN112869704B (zh) 2022-06-17

Family

ID=76052552

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110140542.9A Active CN112869704B (zh) 2021-02-02 2021-02-02 一种基于循环自适应多目标加权网络的糖尿病视网膜病变区域自动分割方法

Country Status (1)

Country Link
CN (1) CN112869704B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113576399B (zh) * 2021-08-02 2024-03-08 北京鹰瞳科技发展股份有限公司 一种糖网分析方法、系统以及电子设备
CN115424084B (zh) * 2022-11-07 2023-03-24 浙江省人民医院 基于类别加权网络的眼底照片分类方法与装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106980899B (zh) * 2017-04-01 2020-11-17 北京昆仑医云科技有限公司 预测血管树血管路径上的血流特征的深度学习模型和系统
CN108615051B (zh) * 2018-04-13 2020-09-15 博众精工科技股份有限公司 基于深度学习的糖尿病视网膜图像分类方法及系统
CN108960261B (zh) * 2018-07-25 2021-09-24 扬州万方电子技术有限责任公司 一种基于注意力机制的显著物体检测方法
CN109829882B (zh) * 2018-12-18 2020-10-27 广州比格威医疗科技有限公司 一种糖尿病视网膜病变分期预测方法
CN112016626B (zh) * 2020-08-31 2023-12-01 中科泰明(南京)科技有限公司 基于不确定度的糖尿病视网膜病变分类系统

Also Published As

Publication number Publication date
CN112869704A (zh) 2021-06-01

Similar Documents

Publication Publication Date Title
CN111145170B (zh) 一种基于深度学习的医学影像分割方法
CN110807788B (zh) 医学图像处理方法、装置、电子设备及计算机存储介质
Wang et al. Frnet: an end-to-end feature refinement neural network for medical image segmentation
CN115018824B (zh) 一种基于CNN和Transformer融合的结肠镜息肉图像分割方法
CN112785617A (zh) 残差UNet直肠癌肿瘤磁共振图像自动分割方法
CN110751636B (zh) 一种基于改进型编解码网络的眼底图像视网膜动脉硬化检测方法
CN114998210B (zh) 一种基于深度学习目标检测的早产儿视网膜病变检测系统
CN112869704B (zh) 一种基于循环自适应多目标加权网络的糖尿病视网膜病变区域自动分割方法
CN112712528B (zh) 一种多尺度u型残差编码器与整体反向注意机制结合的肠道病灶分割方法
CN116681679A (zh) 基于双分支特征融合注意的医学图像小目标分割方法
CN111275686B (zh) 用于人工神经网络训练的医学图像数据的生成方法及装置
CN115496771A (zh) 一种基于脑部三维mri图像设计的脑肿瘤分割方法
CN114820635A (zh) 联合注意力u形网络和多尺度特征融合的息肉分割方法
CN112150476A (zh) 基于时空判别性特征学习的冠状动脉序列血管分割方法
CN113205524B (zh) 基于U-Net的血管图像分割方法、装置和设备
CN113012163A (zh) 一种基于多尺度注意力网络的视网膜血管分割方法、设备及存储介质
CN110084238A (zh) 基于LadderNet网络的指静脉图像分割方法、装置和存储介质
CN115471470A (zh) 一种食管癌ct图像分割方法
Yang et al. RADCU-Net: Residual attention and dual-supervision cascaded U-Net for retinal blood vessel segmentation
Li et al. Wavelet u-net for medical image segmentation
Huang et al. Automatic Retinal Vessel Segmentation Based on an Improved U‐Net Approach
Suo et al. Casm-amfmnet: a network based on coordinate attention shuffle mechanism and asymmetric multi-scale fusion module for classification of grape leaf diseases
CN113344933B (zh) 一种基于多层次特征融合网络的腺体细胞分割方法
Yang et al. MR‐UNet: An UNet model using multi‐scale and residual convolutions for retinal vessel segmentation
Zhang et al. Multi-scale aggregation networks with flexible receptive fields for melanoma segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant