CN109615632A - 一种基于半监督条件生成式对抗网络的眼底图视盘和视杯分割方法 - Google Patents

一种基于半监督条件生成式对抗网络的眼底图视盘和视杯分割方法 Download PDF

Info

Publication number
CN109615632A
CN109615632A CN201811333832.XA CN201811333832A CN109615632A CN 109615632 A CN109615632 A CN 109615632A CN 201811333832 A CN201811333832 A CN 201811333832A CN 109615632 A CN109615632 A CN 109615632A
Authority
CN
China
Prior art keywords
eyeground
segmentation
optic
optic disk
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811333832.XA
Other languages
English (en)
Other versions
CN109615632B (zh
Inventor
刘少鹏
贾西平
关立南
林智勇
廖秀秀
梁杰鹏
洪佳明
严继利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Polytechnic Normal University
Original Assignee
Guangdong Polytechnic Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Polytechnic Normal University filed Critical Guangdong Polytechnic Normal University
Priority to CN201811333832.XA priority Critical patent/CN109615632B/zh
Publication of CN109615632A publication Critical patent/CN109615632A/zh
Application granted granted Critical
Publication of CN109615632B publication Critical patent/CN109615632B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明公开了一种基于半监督条件生成式对抗网络的眼底图视盘和视杯分割方法，包括以下步骤：组建网络框架，所述网络框架包括视盘语义分割和视杯语义分割两个阶段；所述两个阶段均包括语义分割网络、生成器和判别器；语义分割网络利用有标注与无标注的眼底图生成(视盘或视杯)分割图；生成器将真实的(视盘或视杯)分割图作为输入来生成眼底图；判别器鉴别眼底图及其(视盘或视杯)分割图的数据配对是真实的还是伪造的，引导生成器和语义分割网络学习眼底图及其分割图的联合分布，最后将两个语义分割阶段的结果进行合并，得到眼底图的视盘和视杯分割图。

Description

一种基于半监督条件生成式对抗网络的眼底图视盘和视杯分 割方法
技术领域
本发明涉及青光眼医学影像分析领域，更具体地，设计一种基于半监督条件生成式对抗网络的眼底图视盘和视杯分割方法。
背景技术
青光眼是一种由眼内压间断或持续升高而造成视神经损害、视野缺损和视力下降等一系列视功能损伤的眼科疾病。青光眼是全球排名第二位的致盲性眼病，总人群发病率为1％，45岁以后为2％。据世界卫生组织预测，至2020年，全球青光眼患者人数将达到7960万。由于青光眼造成的视神经损伤和视力损失无法逆转，青光眼的早期筛查和诊断对于保持视力至关重要。
杯盘比(Cup to Disc Ratio,CDR)作为青光眼早期筛查的一项重要指标，指的是眼底图的视杯与视盘之间的比例。通常，CDR值越大，青光眼患病概率越高。对于大规模群体筛查而言，采用人工评估方法难以保证客观，且耗时、昂贵。遵循临床实践设计具有医学解释的自动评估方法，视盘和视杯的准确分割是关键之处。
目前，眼底图视盘和视杯分割的常用方法包括传统的计算机视觉技术和深度学习。传统的计算机视觉技术融合图像亮度、颜色及其对比度增强，Graph Cut，边缘检测以及形态学等方法，对眼底图进行处理与分析，得到有效的特征信息，用以检测出视盘和视杯。由于过分依赖人工经验来选择特征，且处理数据规模较小，导致模型泛化能力差，视盘和视杯分割效果有待改进，实际推广应用价值不高。
深度学习能够自动提取图像特征，无需人工干预，适用于图像语义分割等任务。因此，结合深度学习分析青光眼医学影像成为研究热点，利用全连接卷积神经网络和生成式对抗网络已取得若干研究成果。经过图像预处理的眼底图，作为全连接语义分割网络U-Net和M-Net等模型输入，计算并输出眼底图视盘和视杯的分割结果。网络参数通过后向传播技术训练得到，是一种完备的端对端模型。然而，直接将已有全连接语义分割网络应用于眼底图视盘和视杯分割，忽略像素之间的空间与位置关系，导致输出结果与真实眼底图之间存在高阶不一致性。引入生成式对抗网络有助于发现像素之间的语义关联信息，以便获取具有高阶一致性的分割结果。通常，深度学习需要大量训练数据以保证模型稳定性和泛化能力，但有标注的眼底图样本过少，现有模型仍有待提升。
综上，如何构建基于深度学习的眼底图视盘和视杯语义分割模型，应对眼底图标注样本少的挑战，进一步优化视盘和视杯分割结果，是目前亟待解决的问题。
发明内容
本发明的目的是解决目前现有技术条件下视盘和视杯分割结果优化情况欠佳的缺陷，提出一种面向眼底图视盘和视杯语义分割方法。
为实现以上发明目的，采用的技术方案是：
一种基于半监督条件生成式对抗网络的眼底图视盘和视杯分割方法，包括以下步骤：组建网络框架，所述网络框架包括视盘语义分割和视杯语义分割两个阶段；所述两个阶段均包括语义分割网络Si、生成器Gi和判别器Di；
语义分割网络Si利用有标注与无标注的眼底图生成(视盘或视杯)分割图；生成器Gi将真实的(视盘或视杯)分割图作为输入来生成眼底图；判别器Di鉴别眼底图及其(视盘或视杯)分割图的数据配对是真实的还是伪造的，引导生成器Gi和语义分割网络Si学习眼底图及其分割图的联合分布，最后将两个语义分割阶段的结果进行合并，得到眼底图的视盘和视杯分割图。
优选的是，所述语义分割网络Si、生成器Gi和判别器Di使用相同的网络架构。
优选的是，所述语义分割网络Si为全连接卷积神经网络，具体包括全卷积、上采样和跳跃连接；其中所述全卷积将卷积神经网络中的全连接层转化为卷积层；所述上采样操作通过转置卷积实现，通过对最后一个卷积层的特征图进行上采样，使它放大恢复到输入图像相同的尺寸，从而预测每个像素分类；所述跳跃连接操作能够将不同池化层的特征图合并，再进行上采样，可优化最终的语义分割结果。
优选的是，所述语义分割网络Si、生成器Gi和判别器Di的训练流程均包括以下步骤：
S1.1：输入眼底图及其分割图；
S1.2：网络初始化，并设置迭代次数为0；
S1.3：进行语义分割网络，迭代次数加1；
S1.4：判断迭代次数是否超过上限，结果为是则进入步骤S；结果为否进入步骤S1.5；
S1.5：根据眼底图生成(视盘或视杯)分割图；
S1.6：前向传播计算分割图损失函数差值；
S1.7：计算对抗损失值；
S1.8：判断训练样本是否遍历完成；结果为是则进入步骤S1.9，结果为否则进入步骤S1.10；
S1.9：反向传播更新参数并进入步骤S1.11；
S1.10：判断数据集中所有训练样本损失值与对抗损失值之和是否小于阈值，结果为是则转入步骤S1.11，结果为否则转入步骤S1.3；
S1.11：结束。
优选的是，所述语义分割网络Si和生成器Gi的训练流程还包括对输入图像进行预处理操作；所述预处理操作所处流程为输入眼底图及其分割图之后，具体包括图像裁剪、旋转和颜色对比度增强。
优选的是，所述判别器Di的训练流程还包括在卷积神经网络的最后一层输出真假断言，所处流程为步骤S1.5根据眼底图生成(视盘或视杯)分割图之后。
优选的是，所述生成器Gi为具有Residual结构的卷积神经网络并引入残差学习和转置卷积操作。
优选的是，所述生成器Gi中间层的激活函数为ReLU；输出层的激活函数选择Tanh。
优选的是，所述判别器Di为卷积神经网络，激活函数采用LeakyReLU替换ReLU，并引入BatchNorm2d规范化操作，通过零均值化每一层的输入，使每一层拥有服从相同分布的输入样本。
优选的是，所述网络框架的对抗损失LGAN(Si，Gi，Di)定义为：
其中α∈(0，1)，反映Si和Gi在对抗学习中的重要程度；以对抗损失的minmax形式为优化目标函数，当且仅当：
minmax达到均衡；但是该最优解条件无法保证Si和Gi学习到眼底图和分割图的联合分布，因此加入监督学习的损失，并且对抗损失LGAN(Si，Gi，Di)改为：
仍以对抗损失的minmax形式为优化目标函数，当取得全局最优时：
该最优解条件表明Si和Gi学习到眼底图和分割图的联合分布。为进一步提升Si和Gi生成图像的质量，增加L1(Si，Gi)损失函数：
因此，模型最终的损失函数L(Si，Gi，Di)定义如下：
L(Si，Gi，Di)＝LGAN(Si，Gi，Di)+L1(Si，Gi)
全局优化目标如下：
对于Di，其目标是最大化对抗损失LGAN，而Si和Gi则是最小化对抗损失LGAN和L1损失；训练后的两个不同阶段的Si，可分别用于识别眼底图的视盘和视杯，进而计算CDR指标，为青光眼筛查提供参考依据。
与现有技术相比，本发明的有益效果是：
相对于现有技术，本发明CDR-GANs模型在眼底图视盘和视杯语义分割任务上综合表现更优，有效地解决有标注眼底图数据不足的困难，且分开识别视盘和视杯比同时识别两者更为简单可行。
附图说明
图1为本发明所述的方法的框架图；
图2为本发明所述的生成器和判别器的网络框架图；
图3为眼底图的视盘和视杯分割流程图；
图4为语义分割网络训练流程图；
图5为生成器网络训练流程图；
图6为判别器网络训练流程图；
图7为本发明与主流模型在10张眼底图的分割图对比情况图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
以下结合附图和实施例对本发明做进一步的阐述。
实施例1
一种基于半监督条件生成式对抗网络的眼底图视盘和视杯分割方法，包括以下步骤：组建网络框架，所述网络框架包括视盘语义分割和视杯语义分割两个阶段；所述两个阶段均包括语义分割网络Si、生成器Gi和判别器Di；本发明中的网络框架由视盘语义分割和视杯语义分割两个阶段构成，相比同时分割视盘和视杯，有效降低任务难度；
语义分割网络Si利用有标注与无标注的眼底图生成(视盘或视杯)分割图，有效解决标注样本过少问题；生成器Gi将真实的(视盘或视杯)分割图作为输入来生成眼底图；判别器Di鉴别眼底图及其(视盘或视杯)分割图的数据配对是真实的还是伪造的，引导生成器Gi和语义分割网络Si学习眼底图及其分割图的联合分布，保证分割结果的高阶一致性，最后将两个语义分割阶段的结果进行合并，得到眼底图的视盘和视杯分割图，其准确率明显优于现有方法。
整个网络框架包括视盘语义分割和视杯语义分割两个阶段。每个阶段均由语义分割网络、生成器和判别器共同构成，具体如图1所示。在视盘和视杯两个不同的语义分割阶段中，Si、Gi和Di使用相同的网络架构，不同之处在于网络参数。
在第i个语义分割阶段中，眼底图(包含有标注的和无标注的)进行预处理后的数据表示为xi，其中，有标注的眼底图对应的(视盘或视杯)真实分割图进行预处理后的数据记为yi，则标注样本为(xi，yi)。预处理操作具体包括图像裁剪、旋转和颜色对比度增强等。在模型训练中，Si对xi进行语义分割后输出y′i构成生成样本(xi，y′i)，而Gi对yi进行语义分割后输出x′i构成另一组生成样本(x′i，yi)，标注样本和生成样本作为Di的输入被判定真假。经过多次对抗学习后，Di迫使Si和Gi学习眼底图和(视盘或视杯)分割图的联合分布P(xi，yi)，由于有标注和无标注的眼底图数据均可作为训练样本，避免了因标注数据过少而导致网络难以训练的问题，使得学习到的联合分布更加逼近真实分布。一旦完成生成式对抗网络训练，即可使用两个不同阶段的语义分割网络对任意眼底图的输入，分别识别出视盘和视杯，进而计算CDR指标，作为青光眼早期筛查的重要依据。下面对语义分割网络、生成器和判别器的网络架构作进一步具体描述。
语义分割网络是广泛应用于语义分割任务的全连接卷积神经网络(FullyConvolutional Networks,FCN)，根据原始眼底图输入，输出其视盘或视杯的分割图。其中关键技术包括：全卷积、上采样和跳跃连接等操作。全卷积操作将卷积神经网络中的全连接层转化为卷积层，有利于从抽象的特征图中恢复出每个像素所属的类别。上采样操作通过转置卷积实现，通过对最后一个卷积层的特征图进行上采样,使它放大恢复到输入图像相同的尺寸，从而预测每个像素分类。直接采用最后的特征图进行上采样的结果很粗糙，因为较深的卷积层具有较大的感知域，能够学习到更加抽象一些的特征，但对物体的大小、位置和方向等敏感性更低。跳跃连接操作能够将不同池化层的特征图合并，再进行上采样，可优化最终的语义分割结果。
生成器和判别器的完整网络架构如图2所示。其中，Conv表示卷积操作，ConvTran是转置卷积操作，BatchNorm2d为规范化操作(防止梯度消失或梯度爆炸)，Tanh、ReLU和LeakyReLU均为神经元激活函数，IN#和OUT#分别表示输入和输出的通道数目(比如IN3指的是输入通道数目为3)，K#为滤波器尺寸，S#为步长，P#为填充数目。
生成器是具有Residual结构的卷积神经网络，深度达到62层，可将视盘或视杯的分割图作为输入，生成相应的眼底图。为解决网络越深越难训练的问题，引入残差学习，深层网络变得容易优化，并且能够在增加深度的同时提升训练准确度。另外，为了利用(视盘或视杯)分割图的深度特征，以生成高分辨率眼底图，需要引入转置卷积操作。中间层的激活函数选择ReLU，因其具有分段线性性质，更容易计算梯度，且能避免Tanh等函数的梯度在饱和区域消失的问题。最后输出层的激活函数选择Tanh而非ReLU，主要考虑Tanh具有更好的输出表达能力，使得生成图像更为光滑真实。
判别器是深度为12层的卷积神经网络，以眼底图及其视盘或视杯分割图的数据对作为输入，最后一层网络输出真假断言。原因在于整个对抗网络除了要生成视盘和视杯分割图像，还要保证生成图像和输入眼底图是匹配的。激活函数采用LeakyReLU替换ReLU，当输入为负值时，赋予较小的非零梯度值，避免出现神经元无法激活的问题。考虑到深度网络参数训练时内部存在协方差偏移(Internal Covariate Shift)，即参数更新会导致网络输出层输出数据的分布发生变化，而且随着层数的增加，根据链式规则，这种偏移现象会逐渐被放大。引入BatchNorm2d规范化操作，通过零均值化每一层的输入，使每一层拥有服从相同分布的输入样本，从而克服内部协方差偏移的影响，有效解决反向传播中梯度消失和爆炸的问题。
本实施例中，请参考图4-6，所述语义分割网络Si、生成器Gi和判别器Di的训练流程均包括以下步骤：
S1.1：输入眼底图及其分割图；
S1.2：网络初始化，并设置迭代次数为0；
S1.3：进行语义分割网络，迭代次数加1；
S1.4：判断迭代次数是否超过上限，结果为是则进入步骤S；结果为否进入步骤S1.5；
S1.5：根据眼底图生成(视盘或视杯)分割图；
S1.6：前向传播计算分割图损失函数差值；
S1.7：计算对抗损失值；
S1.8：判断训练样本是否遍历完成；结果为是则进入步骤S1.9，结果为否则进入步骤S1.10；
S1.9：反向传播更新参数并进入步骤S1.11；
S1.10：判断数据集中所有训练样本损失值与对抗损失值之和是否小于阈值，结果为是则转入步骤S1.11，结果为否则转入步骤S1.3；
S1.11：结束。
本实施例中，所述语义分割网络Si和生成器Gi的训练流程还包括对输入图像进行预处理操作；所述预处理操作所处流程为输入眼底图及其分割图之后，具体包括图像裁剪、旋转和颜色对比度增强。
本实施例中，所述判别器Di的训练流程还包括在卷积神经网络的最后一层输出真假断言，所处流程为步骤S1.5根据眼底图生成(视盘或视杯)分割图之后。
本实施例中，约定在第i个语义分割阶段中，眼底图(包含有标注的和无标注的)数据表示为xi，有标注的眼底图对应的视盘或视杯真实分割数据记为yi，标注样本则为(xi，yi)，Si对xi进行语义分割后输出y′i构成生成样本(xi，y′i)，Gi对yi进行语义分割后输出x′i构成另一组生成样本(x′i，yi)。在整个对抗网络在训练过程中，Si、Gi和Di三方博弈，交替更新，最终Di迫使Si和Gi学习眼底图xi及其(视盘或视杯)分割图yi的联合分布P(xi，yi)。
由此可得本发明的对抗损失LGAN(Si，Gi，Di)定义为：
其中α∈(0，1)，反映Si和Gi在对抗学习中的重要程度；以对抗损失的minmax形式为优化目标函数，当且仅当：
minmax达到均衡；但是该最优解条件无法保证Si和Gi学习到眼底图和分割图的联合分布，因此加入监督学习的损失，并且对抗损失LGAN(Si，Gi，Di)改为：
仍以对抗损失的minmax形式为优化目标函数，当取得全局最优时：
该最优解条件表明Si和Gi学习到眼底图和分割图的联合分布。为进一步提升Si和Gi生成图像的质量，增加L1(Si，Gi)损失函数：
因此，模型最终的损失函数L(Si，Gi，Di)定义如下：
L(Si,Gi,Di)＝LGAN(Si,Gi,Di)+L1(Si,Gi)
全局优化目标如下：
对于Di，其目标是最大化对抗损失LGAN，而Si和Gi则是最小化对抗损失LGAN和L1损失；训练后的两个不同阶段的Si，可分别用于识别眼底图的视盘和视杯，进而计算CDR指标，为青光眼筛查提供参考依据。
相对于现有技术，本发明CDR-GANs模型在眼底图视盘和视杯语义分割任务上综合表现更优，有效地解决有标注眼底图数据不足的困难，且分开识别视盘和视杯比同时识别两者更为简单可行。采用青光眼视杯和视盘分割的权威数据集iMED-Origa650开展实验，选择均交并比(Mean Intersection over Union,MIoU)指标作为各个模型语义分割结果的标准度量。眼底图的每个像素可划分为视盘或视杯或背景等类别，k表示类别个数，pij表示属于类别i但被预测为类别j的像素数量。MIoU是对每一类别的预测值和真实值两个集合的交集与并集的比值，累加之后再求平均值，计算公式为：
考虑到分割视盘和视杯的目的在于计算CDR，以此作为青光眼筛查的参考依据。因此，采用δE指标衡量由模型计算的CDR(采用CDR′表示)与真实的CDR之间差距，计算公式如下：
δE|CDR′-CDR|
表1本发明与主流眼底图视盘和视杯分割模型的MIoU对比情况
模型 MIoU of Disc MIoU of Cup MIoU of Disc&Cup
CDR-GANs(supervised) 0.953 0.787 0.856
U-Net 0.923 0.758 0.823
U-Net-GANs 0.939 0.767 0.837
M-Net 0.934 0.755 0.83
表1为本发明与主流眼底图视盘和视杯分割模型的MIoU对比情况。对比模型包括经典U-Net、引入生成式对抗学习的U-Net-GANs，以及最近提出的M-Net。为了尽可能地避免实验结果受其它非模型结构问题的影响，实验过程中只改动模型结构和与之相关的损失函数，其它数据预处理结果保持不变，其它对比模型则严格按照已发表论文实现。MIoU ofDisc列指视盘分割效果对比，U-Net-GANs表现最优，而本发明与之差距不大；MIoU of Cup列是指视杯分割效果对比，本发明取得最优效果，原因在于眼底图视杯与视盘亮度接近难以检测，而本发明通过增大训练样本数量最终提升检测准确性；MIoU of Disc&Cup列为视盘和视杯两者的分割效果对比，本发明在视盘检测和视杯检测中效果均优于其它模型，最终使得本发明在视盘和视杯分割的整体表现上最优。
表2本发明的不同实现版本之间MIoU对比情况
模型 MIoU of Disc MIoU of Cup MIoU of Disc&Cup
CDR-GANs 0.953 0.787 0.856
CDR-GANs(supervised) 0.947 0.781 0.85
CDR-GANs(joint) 0.941 0.783 0.847
表2为本发明的不同实现版本之间MIoU对比情况。其中CDR-GANs(supervised)仅利用标注数据，属于监督学习；而CDR-GANs(joint)也属于监督学习，且实现同时分割视盘和视杯，并不将它们拆分成两个分割阶段。本发明同时识别视盘和视杯的实现版本，各项MIoU值均为最差，而分开识别视盘和视杯的实现版本效果明显更优，原因在于降低了分割任务总体难度。增加未标注数据的实现版本各项MIoU值均为最佳，可见半监督学习比监督学习具有明显优势，避免了标注样本不足导致模型难以训练的问题。通常，尽量选择与标注数据分布接近的未标注数据。实验中，另一个青光眼视杯和视盘分割的权威数据集DRISHTI-GS被采用，作为本发明半监督学习版本的未标注数据。
表3本发明的不同实现版本与主流眼底图视盘和视杯分割模型的δE对比情况
表3为本发明的不同实现版本与主流眼底图视盘和视杯分割模型的δE对比情况。本发明的半监督学习版本δE值明显优于主流模型，其提供的CDR在青光眼筛查中作为参考依据更为可信。本发明同时分割视盘和视杯的实现版本δE值模型下降，甚至比N-Net-GANs略差，可见两阶段语义分割网络框架更有优势。
图7选取了各个模型针对10张眼底图的视盘和视杯分割图对比。其中，前六行的眼底图为正常眼，而剩下的皆为青光眼。总的来说，CDR-GANs模型(包括supervised和joint版本)分割结果与真实分割图接近，视盘与视杯边缘光滑，形状偏圆，符合真实情况；而其它对比模型分割图的形状变化较大，边缘锯齿现象明显，分割效果不理想。综上，本发明CDR-GANs模型能够获得具有高阶一致性的视盘和视杯分割图，其分割效果明显优于现有技术，计算得到的CDR值更接近真实值，用作青光眼筛查的参考依据可信度非常高。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种基于半监督条件生成式对抗网络的眼底图视盘和视杯分割方法，其特征在于，包括以下步骤：组建网络框架，所述网络框架包括视盘语义分割和视杯语义分割两个阶段；所述两个阶段均包括语义分割网络Si、生成器Gi和判别器Di；
语义分割网络Si利用有标注与无标注的眼底图生成(视盘或视杯)分割图；生成器Gi将真实的(视盘或视杯)分割图作为输入来生成眼底图；判别器Di鉴别眼底图及其(视盘或视杯)分割图的数据配对是真实的还是伪造的，引导生成器Gi和语义分割网络Si学习眼底图及其分割图的联合分布，最后将两个语义分割阶段的结果进行合并，得到眼底图的视盘和视杯分割图。
2.根据权利要求1所述的一种基于半监督条件生成式对抗网络的眼底图视盘和视杯分割方法，其特征在于，所述语义分割网络Si、生成器Gi和判别器Di使用相同的网络架构。
3.根据权利要求2所述的一种基于半监督条件生成式对抗网络的眼底图视盘和视杯分割方法，其特征在于，所述语义分割网络Si为全连接卷积神经网络，具体包括全卷积、上采样和跳跃连接；其中所述全卷积将卷积神经网络中的全连接层转化为卷积层；所述上采样操作通过转置卷积实现，通过对最后一个卷积层的特征图进行上采样，使它放大恢复到输入图像相同的尺寸，从而预测每个像素分类；所述跳跃连接操作能够将不同池化层的特征图合并，再进行上采样，可优化最终的语义分割结果。
4.根据权利要求2所述的一种基于半监督条件生成式对抗网络的眼底图视盘和视杯分割方法，其特征在于，所述语义分割网络Si、生成器Gi和判别器Di的训练流程均包括以下步骤：
S1.1：输入眼底图及其分割图；
S1.2：网络初始化，并设置迭代次数为0；
S1.3：进行语义分割网络，迭代次数加1；
S1.4：判断迭代次数是否超过上限，结果为是则进入步骤S；结果为否进入步骤S1.5；
S1.5：根据眼底图生成(视盘或视杯)分割图；
S1.6：前向传播计算分割图损失函数差值；
S1.7：计算对抗损失值；
S1.8：判断训练样本是否遍历完成；结果为是则进入步骤S1.9，结果为否则进入步骤S1.10；
S1.9：反向传播更新参数并进入步骤S1.11；
S1.10：判断数据集中所有训练样本损失值与对抗损失值之和是否小于阈值，结果为是则转入步骤S1.11，结果为否则转入步骤S1.3；
S1.11：结束。
5.根据权利要求4所述的一种基于半监督条件生成式对抗网络的眼底图视盘和视杯分割方法，其特征在于，所述语义分割网络Si和生成器Gi的训练流程还包括对输入图像进行预处理操作；所述预处理操作所处流程为输入眼底图及其分割图之后，具体包括图像裁剪、旋转和颜色对比度增强。
6.根据权利要求4所述的一种基于半监督条件生成式对抗网络的眼底图视盘和视杯分割方法，其特征在于，所述判别器Di的训练流程还包括在卷积神经网络的最后一层输出真假断言，所处流程为步骤S1.5根据眼底图生成(视盘或视杯)分割图之后。
7.根据权利要求1所述的一种基于半监督条件生成式对抗网络的眼底图视盘和视杯分割方法，其特征在于，所述生成器Gi为具有Residual结构的卷积神经网络并引入残差学习和转置卷积操作。
8.根据权利要求4所述的一种基于半监督条件生成式对抗网络的眼底图视盘和视杯分割方法，其特征在于，所述生成器Gi中间层的激活函数为ReLU；输出层的激活函数选择Tanh。
9.根据权利要求1所述的一种基于半监督条件生成式对抗网络的眼底图视盘和视杯分割方法，其特征在于，所述判别器Di为卷积神经网络，激活函数采用LeakyReLU替换ReLU，并引入BatchNorm2d规范化操作，通过零均值化每一层的输入，使每一层拥有服从相同分布的输入样本。
10.根据权利要求1-9任一项所述的一种基于半监督条件生成式对抗网络的眼底图视盘和视杯分割方法，其特征在于，所述网络框架的对抗损失LGAN(Si，Gi，Di)定义为：
其中α∈(0，1)，反映Si和Gi在对抗学习中的重要程度；以对抗损失的minmax形式为优化目标函数，当且仅当：
minmax达到均衡；但是该最优解条件无法保证Si和Gi学习到眼底图和分割图的联合分布，因此加入监督学习的损失，并且对抗损失LGAN(Si，Gi，Di)改为：
仍以对抗损失的minmax形式为优化目标函数，当取得全局最优时：
该最优解条件表明Si和Gi学习到眼底图和分割图的联合分布。为进一步提升Si和Gi生成图像的质量，增加L1(Si，Gi)损失函数：
因此，模型最终的损失函数L(Si，Gi，Di)定义如下：
L(Si，Gi，Di)＝LGAN(Si，Gi，Di)+L1(Si，Gi)
全局优化目标如下：
对于Di，其目标是最大化对抗损失LGAN，而Si和Gi则是最小化对抗损失LGAN和L1损失；训练后的两个不同阶段的Si，可分别用于识别眼底图的视盘和视杯，进而计算CDR指标，为青光眼筛查提供参考依据。
CN201811333832.XA 2018-11-09 2018-11-09 一种基于半监督条件生成式对抗网络的眼底图视盘和视杯分割方法 Active CN109615632B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811333832.XA CN109615632B (zh) 2018-11-09 2018-11-09 一种基于半监督条件生成式对抗网络的眼底图视盘和视杯分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811333832.XA CN109615632B (zh) 2018-11-09 2018-11-09 一种基于半监督条件生成式对抗网络的眼底图视盘和视杯分割方法

Publications (2)

Publication Number Publication Date
CN109615632A true CN109615632A (zh) 2019-04-12
CN109615632B CN109615632B (zh) 2023-07-21

Family

ID=66004091

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811333832.XA Active CN109615632B (zh) 2018-11-09 2018-11-09 一种基于半监督条件生成式对抗网络的眼底图视盘和视杯分割方法

Country Status (1)

Country Link
CN (1) CN109615632B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110111335A (zh) * 2019-05-08 2019-08-09 南昌航空大学 一种自适应对抗学习的城市交通场景语义分割方法及系统
CN110265117A (zh) * 2019-06-05 2019-09-20 深圳大学 医学图像生成方法及装置
CN110320162A (zh) * 2019-05-20 2019-10-11 广东省智能制造研究所 一种基于生成对抗网络的半监督高光谱数据定量分析方法
CN110334575A (zh) * 2019-04-29 2019-10-15 上海交通大学 眼底照片识别方法、装置、设备及存储介质
CN110517248A (zh) * 2019-08-27 2019-11-29 北京百度网讯科技有限公司 眼底图像的处理、训练方法、装置及其设备
CN110728639A (zh) * 2019-09-29 2020-01-24 三星电子（中国）研发中心 图片修复方法及系统
CN110992309A (zh) * 2019-11-07 2020-04-10 吉林大学 基于深层信息传递网络的眼底图像分割方法
CN110992382A (zh) * 2019-12-30 2020-04-10 四川大学 用于辅助青光眼筛查的眼底图像视杯视盘分割方法及系统
CN111027575A (zh) * 2019-12-13 2020-04-17 广西师范大学 一种自注意对抗学习的半监督语义分割方法
CN112288720A (zh) * 2020-10-29 2021-01-29 苏州体素信息科技有限公司 一种基于深度学习的彩色眼底图像青光眼筛查方法及系统
CN112541923A (zh) * 2020-12-03 2021-03-23 南开大学 一种基于眼底图数据集迁移学习的视杯视盘分割方法
CN113534251A (zh) * 2020-04-22 2021-10-22 中国石油天然气股份有限公司 基于卷积神经网络的地震数据断裂识别方法及装置
CN114937022A (zh) * 2022-05-31 2022-08-23 天津大学 一种新型冠状肺炎的疾病检测分割方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120230564A1 (en) * 2009-11-16 2012-09-13 Jiang Liu Obtaining data for automatic glaucoma screening, and screening and diagnostic techniques and systems using the data
CN108520522A (zh) * 2017-12-31 2018-09-11 南京航空航天大学 基于深度全卷积神经网络的视网膜眼底图像分割方法
CN108764342A (zh) * 2018-05-29 2018-11-06 广东技术师范学院 一种对于眼底图中视盘和视杯的语义分割方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120230564A1 (en) * 2009-11-16 2012-09-13 Jiang Liu Obtaining data for automatic glaucoma screening, and screening and diagnostic techniques and systems using the data
CN108520522A (zh) * 2017-12-31 2018-09-11 南京航空航天大学 基于深度全卷积神经网络的视网膜眼底图像分割方法
CN108764342A (zh) * 2018-05-29 2018-11-06 广东技术师范学院 一种对于眼底图中视盘和视杯的语义分割方法

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110334575A (zh) * 2019-04-29 2019-10-15 上海交通大学 眼底照片识别方法、装置、设备及存储介质
CN110111335A (zh) * 2019-05-08 2019-08-09 南昌航空大学 一种自适应对抗学习的城市交通场景语义分割方法及系统
WO2020233207A1 (zh) * 2019-05-20 2020-11-26 广东省智能制造研究所 一种基于半监督学习策略的高光谱数据分析方法
CN110320162A (zh) * 2019-05-20 2019-10-11 广东省智能制造研究所 一种基于生成对抗网络的半监督高光谱数据定量分析方法
CN110320162B (zh) * 2019-05-20 2021-04-23 广东省智能制造研究所 一种基于生成对抗网络的半监督高光谱数据定量分析方法
CN110265117A (zh) * 2019-06-05 2019-09-20 深圳大学 医学图像生成方法及装置
CN110517248A (zh) * 2019-08-27 2019-11-29 北京百度网讯科技有限公司 眼底图像的处理、训练方法、装置及其设备
CN110728639A (zh) * 2019-09-29 2020-01-24 三星电子（中国）研发中心 图片修复方法及系统
CN110728639B (zh) * 2019-09-29 2023-07-21 三星电子（中国）研发中心 图片修复方法及系统
CN110992309A (zh) * 2019-11-07 2020-04-10 吉林大学 基于深层信息传递网络的眼底图像分割方法
CN110992309B (zh) * 2019-11-07 2023-08-18 吉林大学 基于深层信息传递网络的眼底图像分割方法
CN111027575A (zh) * 2019-12-13 2020-04-17 广西师范大学 一种自注意对抗学习的半监督语义分割方法
CN111027575B (zh) * 2019-12-13 2022-06-17 广西师范大学 一种自注意对抗学习的半监督语义分割方法
CN110992382A (zh) * 2019-12-30 2020-04-10 四川大学 用于辅助青光眼筛查的眼底图像视杯视盘分割方法及系统
CN113534251A (zh) * 2020-04-22 2021-10-22 中国石油天然气股份有限公司 基于卷积神经网络的地震数据断裂识别方法及装置
CN112288720A (zh) * 2020-10-29 2021-01-29 苏州体素信息科技有限公司 一种基于深度学习的彩色眼底图像青光眼筛查方法及系统
CN112541923A (zh) * 2020-12-03 2021-03-23 南开大学 一种基于眼底图数据集迁移学习的视杯视盘分割方法
CN114937022A (zh) * 2022-05-31 2022-08-23 天津大学 一种新型冠状肺炎的疾病检测分割方法
CN114937022B (zh) * 2022-05-31 2023-04-07 天津大学 一种新型冠状肺炎的疾病检测分割方法

Also Published As

Publication number Publication date
CN109615632B (zh) 2023-07-21

Similar Documents

Publication Publication Date Title
CN109615632A (zh) 一种基于半监督条件生成式对抗网络的眼底图视盘和视杯分割方法
Kumar et al. An automated early diabetic retinopathy detection through improved blood vessel and optic disc segmentation
Sarki et al. Convolutional neural network for multi-class classification of diabetic eye disease
Wu et al. Coarse-to-fine classification for diabetic retinopathy grading using convolutional neural network
US11636340B2 (en) Modeling method and apparatus for diagnosing ophthalmic disease based on artificial intelligence, and storage medium
Jiang et al. White blood cells classification with deep convolutional neural networks
Guo et al. Automated glaucoma screening method based on image segmentation and feature extraction
Zong et al. U-net based method for automatic hard exudates segmentation in fundus images using inception module and residual connection
CN107704886A (zh) 一种基于深度卷积神经网络的医疗图像分级系统和方法
CN108717693A (zh) 一种基于rpn的视盘定位方法
Chen et al. Cell nuclei detection and segmentation for computational pathology using deep learning
Zhang et al. Identifying diabetic macular edema and other retinal diseases by optical coherence tomography image and multiscale deep learning
Sridhar et al. Detection and prognosis evaluation of diabetic retinopathy using ensemble deep convolutional neural networks
Xu et al. GLA-Net: A global-local attention network for automatic cataract classification
Chakroborty et al. Narrative review of artificial intelligence in diabetic macular edema: Diagnosis and predicting treatment response using optical coherence tomography
Zhang et al. MC-UNet multi-module concatenation based on U-shape network for retinal blood vessels segmentation
Ding et al. An improved SFLA-kmeans algorithm based on approximate backbone and its application in retinal fundus image
CN111028230A (zh) 一种基于yolo-v3的眼底图像视盘及黄斑定位检测算法
Mudaser et al. Diabetic retinopathy classification with pre-trained image enhancement model
CN116310525A (zh) 一种基于对比表示蒸馏与输出蒸馏的病理图像分类方法
Jiang et al. Ophthalmologist-level classification of fundus disease with deep neural networks
Khanal et al. Fully automated tree topology estimation and artery-vein classification
Shetty et al. Current state of artificial intelligence applications in ophthalmology and their potential to influence clinical practice
Li et al. Retinal Vessel Segmentation Network Based on Patch-GAN
Liu et al. Detection and classification of chronic total occlusion lesions using deep learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant