CN109635862A - 早产儿视网膜病plus病变分类方法 - Google Patents

Abstract

本发明实施例公开一种早产儿视网膜病plus病变分类方法，构建能够从眼底图像中分割出血管图的血管分割模型，构建能够对血管图进行plus病变分类的分类模型，应用血管分割模型从目标眼底图像中分割出目标眼底图像中的血管图，应用分类模型对目标眼底图像中的血管图进行分类，得到目标眼底图像中的血管图所属的plus病变类别。从而基于血管分割模型及分类模型实现对眼底图像进行血管分割及血管图进行分类，与现有的通过人为进行plus病变分类的方式相比，能够提高早产儿视网膜病plus病变分类效率。

Description

早产儿视网膜病plus病变分类方法

技术领域

本发明涉及计算机领域，尤其涉及一种早产儿视网膜病plus病变分类方法。

背景技术

早产儿视网膜病(ROP)是全世界重要的致盲眼病，占儿童致盲病因的6％到8％，早产儿视网膜病中的plus病变对ROP有重要的临床意义。plus病变表现为ROP中视网膜后极部血管扩张、迂曲、玻璃体混浊、虹膜血管扩张和瞳孔强直等一系列临床表现。

目前，早产儿视网膜病plus病变的识别方式为，通过眼底相机获取眼底图像后，再由眼科医生依靠肉眼观察plus病变情况，进行plus病变分类。由于全球ROP患病率的持续增加，大部分的患者甚至没有及时地接受任何形式的检查，从而导致患者病情加重。

因此，如何提高早产儿视网膜病plus病变分类效率，是当前需要解决的技术问题。

发明内容

本发明实施例提供一种早产儿视网膜病plus病变分类方法，能够提高早产儿视网膜病plus病变分类效率。

本发明实施例采用如下技术方案：

一种早产儿视网膜病plus病变分类方法，包括：

构建血管分割模型，所述血管分割模型能够从眼底图像中分割出血管图；

获取目标眼底图像，应用所述血管分割模型从所述目标眼底图像中分割出所述目标眼底图像中的血管图；

构建分类模型，所述分类模型能够对血管图进行plus病变分类；

应用所述分类模型，对所述目标眼底图像中的血管图进行分类，得到所述目标眼底图像中的血管图所属的plus病变类别。

本发明实施例提供的早产儿视网膜病plus病变分类方法，构建能够从眼底图像中分割出血管图的血管分割模型，构建能够对血管图进行plus病变分类的分类模型，应用血管分割模型从目标眼底图像中分割出目标眼底图像中的血管图，应用分类模型对目标眼底图像中的血管图进行分类，得到目标眼底图像中的血管图所属的plus病变类别。从而基于血管分割模型及分类模型实现对眼底图像进行血管分割及血管图进行分类，与现有的通过人为进行plus病变分类的方式相比，能够提高早产儿视网膜病plus病变分类效率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1为本发明实施例示出的早产儿视网膜病plus病变分类方法的处理流程示意图。

图2为本发明实施例示出的早产儿视网膜病plus病变分类方法的流程图。

图3为本发明实施例示出的分割血管图的示意图。

图4为本发明实施例示出的对血管图进行分类的示意图。

图5为本发明实施例示出的训练血管分割模型的示意图。

图6为本发明实施例示出的分类模型结构示意图。

图7为本发明实施例示出的训练分类模型的示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

本发明实施例提供一种快速、准确、可靠性高、易于推广且能够有效辅助医生进行诊断的基于深度学习的早产儿视网膜病plus病变分类分级方法。首先利用深度学习技术自动分割出视网膜血管，并通过深度学习技术自动诊断早产儿视网膜病plus病变类别，并兼具准确性和可靠性，经试验测试，在多种指标上可以达到甚至超过人类医生的水平。

在本发明实施例利用深度学习技术对早产儿图像进行自动判断，并输出判断结果。本发明实施例自动判断早产儿视网膜病plus病变类别，耗时仅需数百毫秒，并兼具可靠性和准确性，能够大幅度地提高识别效率，辅助医生进行大范围的早产儿视网膜病plus病变分类。构建血管分割模型，所述血管分割模型能够从眼底图像中分割出血管图；

获取目标眼底图像，应用所述血管分割模型从所述目标眼底图像中分割出所述目标眼底图像中的血管图；

构建分类模型

如图1所示，本发明实施例早产儿视网膜病plus病变分类方法的处理流程示意图，图1中血管分割模型、分类模型均采用神经网络的架构，这2个神经网络都是卷积神经网络。血管分割模型(图1中的卷积神经网络A)经过训练后，输入一张早产儿视网膜眼底图像后，可以输出一个新的图像，该图像上像素强度范围在0和1之间。每个像素值表示它属于视网膜血管的概率，血管分割处理过程可以有效地消除色素沉着、光照和非血管病变的变化。血管分割模型采用U-Net结构。分类模型采用血管分割后的血管概率图进行训练，用于诊断早产儿视网膜病plus病变，通过一系列交替的卷积和下采样操作，分类网络(图1中的卷积神经网络B)最终输出3个概率值，分别对应3个类别normal、preplus、plus，从而实现plus病变分类。

本发明实施例提供一种早产儿视网膜病plus病变分类方法，如图2所示，该方法包括：

S1、构建血管分割模型，所述血管分割模型能够从眼底图像中分割出血管图。

S2、获取目标眼底图像，应用所述血管分割模型从所述目标眼底图像中分割出所述目标眼底图像中的血管图。

具体的，从所述目标眼底图像中分割出所述目标眼底图像中的血管图的过程如图3所示血管分割网络由左侧的编码器和右侧的解码器组成，编码器通过池化层逐渐减少空间维度，解码器则逐渐恢复眼底图像中的血管细节和空间维度。编码器和解码器之间的跨层连接，可以更好的恢复血管的细节信息，并可以对图像中的每个像素进行分类，从而实现对眼底图像中的血管进行分割。

S3、构建分类模型，所述分类模型能够对血管图进行plus病变分类。

S4、应用所述分类模型，对所述目标眼底图像中的血管图进行分类，得到所述目标眼底图像中的血管图所属的plus病变类别。

具体的，对所述目标眼底图像中的血管图进行分类的过程如图4所示，输入血管分割模型分割出的眼底血管概率图后，经过卷积神经网络中的一系列卷积层、池化层和全连接层的运算后，最后输出3个概率值。这组概率值分别指该眼底图像被判定为normal、preplus和plus的概率，3个概率值中最大概率值对应的类别就是本发明方法预测的类别。

本发明实施例提供的早产儿视网膜病plus病变分类方法，构建能够从眼底图像中分割出血管图的血管分割模型，构建能够对血管图进行plus病变分类的分类模型，应用血管分割模型从目标眼底图像中分割出目标眼底图像中的血管图，应用分类模型对目标眼底图像中的血管图进行分类，得到目标眼底图像中的血管图所属的plus病变类别。从而基于血管分割模型及分类模型实现对眼底图像进行血管分割及血管图进行分类，与现有的通过人为进行plus病变分类的方式相比，能够提高早产儿视网膜病plus病变分类效率。

在一个实施例中，所述构建血管分割模型包括：

获取血管分割数据集，所述数据集中包含多张早产儿眼底照片，所述多张早产儿眼底照片经过专业的眼科医生进行对血管进行像素级别的标注；

对所述数据集中的所述多张早产儿眼底照片进行数据增强和预处理操作，构建所述血管分割模型，所述血管分割模型为U-Net网络；

构建训练集，在所述训练集上训练所述血管分割模型，训练时按照设定的学习率以及设定的学习率衰减策略进行训练，训练过程中调整血管分割模型结构中的参数，得到具有更优泛化能力的所述血管分割模型。

在一个实施例中，图像预处理时，将眼底图像缩放到480x640大小图像，然后将眼底图像像素值归一化到0和1范围，具体如下：x_norm＝x/255。

在一个实施例中，所述对所述数据集中的所述多张早产儿眼底照片进行数据增强和预处理操作包括：

对所述血管分割数据集中的所述多张早产儿眼底图像进行预处理，通过减均值、除以方差的方法将数据映射到-1到1的范围内。从而可以起到加速网络训练和收敛的作用，然后将数据集按照4:1划分为训练集和测试集。

对于深度学习而言，需要大量的训练数据，然而在训练数据有限的情况下，为了提供血管分割模型的泛化能力和准确率。在一个实施例中，采用以下一种或者多种方式对所述数据集中的所述多张早产儿眼底图像进行数据增强：随机左右镜面翻转(50％)、随机上下镜面翻转(50％)、随机旋转(0～90度)、随机裁剪(480×640)、随机饱和度抖动、随机对比度抖动、随机亮度抖动。

在一个实施例中，所述构建训练集，在所述训练集上训练所述血管分割模型，训练时按照设定的学习率以及设定的学习率衰减策略进行训练，同时训练过程中调整血管分割模型结构中的参数，得到具有更优泛化能力的所述血管分割模型包括：

将所述血管分割数据集按照4:1划分为训练集和测试集；

所述血管分割模型在所述训练集上进行训练，在所述测试集上进行测试，选取在所述测试集上dice指标最高的模型作为最终的所述血管分割模型。

具体的，构建的血管分割模型呈U形结构。在每次池化操作后，特征图的尺寸都会降低为原先的一半，随着特征图尺寸的不断地降低，血管分割模型可以充分地学习到图像中的语义信息，然而确丢失了局部的细节信息。为了更好的利用低层的局部细节信息，本发明实施例通过将上采样后的高层特征图与底层的特征图相连，来同时获得高层的语义信息和细节信息，以此来提升血管分割的准确性。血管分割模型在血管分割数据集中分出的训练集上进行训练，在测试集上进行测试，选取在测试集上dice指标最高的模型作为最终的血管分割模型。

血管分割模型的输入为RGB三通道眼底图像，血管分割模型每层的网络结构如表1。

表1

在一个实施例中，可以采用图5所示的流程训练所述血管分割模型，训练时，输入眼底图像后，血管分割网络经过一系列复杂运算后，输出血管概率图，血管概率图上的每个像素都意味着输入图像中该像素属于血管的概率。通过将该概率图和医生标注的血管图进行对比，并通过反向传播算法计算每一层的梯度，最后更新每一层网络的参数。直到血管分割网络的输出结果和医生标注的血管图像具有高度一致性时，且dice指标停止上升后，停止训练。

在一个实施例中，在训练血管分割模型的过程中采用以下方式：

使用CrossEntropy Loss(SoftMax Loss)作为损失函数；

使用小批量梯度下降算法作为血管分割模型的学习算法；

每个血管分割模型训练250个epoch，在训练中按照设定好的衰减策略来降低学习率，学习率随着训练的深入而逐渐变小，每间隔一个epoch，学习率就衰减一次，初始学习率设置为0.005，衰减率设置为0.986，最终学习率固定至0.0001。例如在训练开始时的学习率为0.005，第m次epoch后的学习率为lr，则第m+1次epoch后的学习率为lr*0.986，若学习率低于0.0001后，则固定至0.0001；

每个血管分割模型中的各参数均采用了L2Weight Decay正则化，该正则化方法可以缓解由于参数过大所带来的过拟合问题。

在一个实施例中，所述构建分类模型包括：

获取早产儿眼底数据库，所述早产儿眼底数据库中的图像共计3种类别，分别为normal、preplus和plus，每一类都具有多张早产儿眼底图像，图像的类别标注由多名眼科专家会诊标记而来；

用所述血管分割模型对所述早产儿眼底数据库中的中的图像进行分割，并对分割出的血管概率图像进行数据增强和预处理；

构建所述分类模型，所述分类模型结构为DenseNet，使用数据增强和预处理后的血管概率图像训练所述分类模型。

具体地，用所述血管分割模型对所述早产儿眼底数据库中的中的图像进行分割，这是由于早产儿视网膜病plus病变特征主要在于视网膜血管的动脉迂曲和静脉扩张，因此通过对血管进行分割的方法可以有效地去除眼底照片中的冗余信息，让分类模型更专注于血管本身，而不是其他的干扰信息。由于上述原因，构建早产儿眼底血管数据集可以带来明显的准确性和可靠性的提升。同样需要对早产儿眼底血管数据集进行相同的数据增强处理。

在一个实施例中，所述血管分割模型对所述早产儿眼底数据库中的中的图像进行分割，并对分割出的血管概率图像进行数据增强和预处理包括：

对所述早产儿眼底数据库中的所述多张早产儿眼底图像进行预处理，通过减均值、除以方差的方法将数据映射到-1到1的范围内；

采用以下一种或者多种方式对所述早产儿眼底数据库中图像进行数据增强：随机左右镜面翻转(50％)、随机上下镜面翻转(50％)、随机旋转(0～90度)、随机裁剪(480×640)、随机饱和度抖动、随机对比度抖动、随机亮度抖动。

在一个实施例中，所述构建所述分类模型，所述分类模型结构为DenseNet，使用数据增强和预处理后的血管概率图像训练所述分类模型包括：

将所述血管分割数据集按照4:1划分为训练集和测试集；

分类模型中每一个密集块结构中，每一层网络都与之前的每一层进行连接，接受它们的输出作为本层的输入，在划分出的训练集来训练分类模型，所述分类模型每一层网络都与所述血管分割模型中对应的层进行连接，第l层的网络接受第l层之前的每一层网络的输出作为输入：

x_l＝H_l([x₀,x₁,...,x_l-1])

其中[x₀,x₁,...,x_l-1]是第0层到第l-1层网络输出的串联结果，H_l是第l层网络的映射函数，H_l包含三个连续的操作，批标准化(BatchNormalization)、ReLU激活函数和3×3的卷积运算；若H_l函数的输出为k个特征图，则第l层的网络的输入k₀+k×(l-1)个特征图，其中k₀是第0层的输入特征图的数量，在分类模型中，k被统一设置为16；

所述分类模型的下采样层是用于降低特征图的大小，为了便于在本发明实施例的分类模型中进行下采样，所述分类模型被分成了多个密集连接的密集块(DenseBlock)，如图6所示。不同密集块之间由过渡层(TransitionLayer)进行连接，过渡层由批标准化层、1×1的卷积层和2×2的平均池化层组成。如表2所示。

表2

针对血管分割模型和分类模型的训练，需要遍历其所对应的训练集中的所有照片。血管分割模型的训练过程中以480×640×3的RGB图像作为输入，其对应的标注数据为480×640的灰度图像，该灰度图像中对血管进行了标注。分类模型的训练过程中以480×640的灰度图像作为输入，其对应的标注为多名眼科专家会诊后判断的plus病变类别，该灰度图像由血管分割模型进行语义分割后得到。

在一个实施例中，可以采用图7所示的流程训练所述分类模型，输入血管分割模型分割出的眼底血管概率图后，经过卷积神经网络中的一系列卷积层、池化层和全连接层的运算后，最后输出3个概率值。这组概率值分别指该眼底图像被判定为normal、preplus和plus的概率，3个概率值中最大概率值对应的类别即预测的类别。

在一个实施例中，在训练分类模型的过程中采用以下方式：

使用CrossEntropy Loss(SoftMax Loss)作为损失函数；

使用小批量梯度下降算法作为卷积神经模型的学习算法；

每个卷积神经模型训练250个epoch，在训练中按照设定好的衰减策略来降低学习率，学习率随着训练的深入而逐渐变小，每间隔一个epoch，学习率就衰减一次，初始学习率设置为0.005，衰减率设置为0.986，最终学习率固定至0.0001。例如在训练开始时的学习率为0.005，第m次epoch后的学习率为lr，则第m+1次epoch后的学习率为lr*0.986，若学习率低于0.0001后，则固定至0.0001；

每个卷积神经模型中的各参数均采用了L2Weight Decay正则化，该正则化方法可以缓解由于参数过大所带来的过拟合问题；

所述血管分割数据集中的诊断标记从0到2级，分别对用normal、preplus和plus级别。由于收集到的数据有限，为了充分地训练模型，因此在训练的过程中，通过数据增强的方法来对数据进行了大量的扩增，使得数据量达到了百倍以上的扩增，从而使得训练出的模型得到充分训练，并具有较好的防滑能力；

所述分类模型对血管分割模型输出的血管概率图进行早产儿视网膜PLUS病变分类。

本发明实施例中，plus病变分类包括以下三种：normal、preplus、plus。

本发明实施例可以实现自动判断眼底图像的类别，分类结果兼具准确性与可靠性；本发明实施例自动分割出眼底图像中的血管，对分割出的血管图像进行分类分级，使得血管分割模型专注于血管信息。该策略有效地去除了干扰信息，从而使得最终的分类结果更加可靠；本发明实施例采用深度学习方法自动学习眼底图像中不同层次的抽象特征，从而更好地提取出了眼底图像中的本质信息，避免了复杂的人工特征设计过程。

本发明实施例通过深度学习，先分割出图像的血管，再自动学习血管图像中所需的特征，对学习到的特征进行分类判断，并在训练过程中不断调整模型的参数。相较于已有的传统技术，本发明实施例的性能可以随着训练数据的增加而上升，这极大的提高了在现实场景下应用的可靠性。本发明实施例在前期测试中，使用了超过一万张以上有专业眼科医生标注的眼底照片进行训练，并在多达一千多张的测试数据集上进行了测试。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。

Claims (10)

1.一种早产儿视网膜病plus病变分类方法，其特征在于，包括：

构建血管分割模型，所述血管分割模型能够从眼底图像中分割出血管图；

获取目标眼底图像，应用所述血管分割模型从所述目标眼底图像中分割出所述目标眼底图像中的血管图；

构建分类模型，所述分类模型能够对血管图进行plus病变分类；

应用所述分类模型，对所述目标眼底图像中的血管图进行分类，得到所述目标眼底图像中的血管图所属的plus病变类别。

2.根据权利要求1所述的方法，其特征在于，所述构建血管分割模型包括：

获取血管分割数据集，所述数据集中包含多张早产儿眼底照片，所述多张早产儿眼底照片经过专业的眼科医生进行对血管进行像素级别的标注；

对所述数据集中的所述多张早产儿眼底照片进行数据增强和预处理操作，构建所述血管分割模型，所述血管分割模型为U-Net网络；

构建训练集，在所述训练集上训练所述血管分割模型，训练时按照设定的学习率以及设定的学习率衰减策略进行训练，训练过程中调整模型结构中的参数，得到具有更优泛化能力的所述血管分割模型。

3.根据权利要求2所述的方法，其特征在于，所述对所述数据集中的所述多张早产儿眼底照片进行数据增强和预处理操作包括：

对所述血管分割数据集中的所述多张早产儿眼底图像进行预处理，通过减均值、除以方差的方法将数据映射到-1到1的范围内；

采用以下一种或者多种方式对所述数据集中的所述多张早产儿眼底图像进行数据增强：随机左右镜面翻转(50％)、随机上下镜面翻转(50％)、随机旋转(0～90度)、随机裁剪(480×640)、随机饱和度抖动、随机对比度抖动、随机亮度抖动。

4.根据权利要求2所述的方法，其特征在于，所述构建训练集，在所述训练集上训练所述血管分割模型，训练时按照设定的学习率以及设定的学习率衰减策略进行训练，同时训练过程中调整模型结构中的参数，得到具有更优泛化能力的所述血管分割模型包括：

将所述血管分割数据集按照4:1划分为训练集和测试集；

所述血管分割模型在所述训练集上进行训练，在所述测试集上进行测试，选取在所述测试集上dice指标最高的模型作为最终的所述血管分割模型。

5.根据权利要求2或3或4所述的方法，其特征在于，在训练血管分割模型的过程中采用以下方式：

使用CrossEntropy Loss(SoftMax Loss)作为损失函数；

使用小批量梯度下降算法作为血管分割模型的学习算法；

每个血管分割模型训练250个epoch，在训练中按照设定好的衰减策略来降低学习率，学习率随着训练的深入而逐渐变小，每间隔一个epoch，学习率就衰减一次，初始学习率设置为0.005，衰减率设置为0.986，最终学习率固定至0.0001；

每个血管分割模型中的各参数均采用了L2 Weight Decay正则化，该正则化方法可以缓解由于参数过大所带来的过拟合问题。

6.根据权利要求1所述的方法，其特征在于，所述构建分类模型包括：

获取早产儿眼底数据库，所述早产儿眼底数据库中的图像共计3种类别，分别为normal、preplus和plus，每一类都具有多张早产儿眼底图像，图像的类别标注由多名眼科专家会诊标记而来；

用所述血管分割模型对所述早产儿眼底数据库中的中的图像进行分割，并对分割出的血管概率图像进行数据增强和预处理；

构建所述分类模型，所述分类模型结构为DenseNet，使用数据增强和预处理后的血管概率图像训练所述分类模型。

7.根据权利要求6所述的方法，其特征在于，所述血管分割模型对所述早产儿眼底数据库中的中的图像进行分割，并对分割出的血管概率图像进行数据增强和预处理包括：

对所述早产儿眼底数据库中的所述多张早产儿眼底图像进行预处理，通过减均值、除以方差的方法将数据映射到-1到1的范围内；

采用以下一种或者多种方式对所述早产儿眼底数据库中图像进行数据增强：随机左右镜面翻转(50％)、随机上下镜面翻转(50％)、随机旋转(0～90度)、随机裁剪(480×640)、随机饱和度抖动、随机对比度抖动、随机亮度抖动。

8.根据权利要求6所述的方法，其特征在于，所述构建所述分类模型，所述分类模型结构为DenseNet，使用数据增强和预处理后的血管概率图像训练所述分类模型包括：

将所述血管分割数据集按照4:1划分为训练集和测试集；

在划分出的训练集来训练分类模型，所述分类模型每一层网络都与所述血管分割模型中对应的层进行连接，第l层的网络接受第l层之前的每一层网络的输出作为输入：

x_l＝H_l([x₀,x₁,...,x_l-1])

其中[x₀,x₁,...,x_l-1]是第0层到第l-1层网络输出的串联结果，H_l是第l层网络的映射函数，H_l包含三个连续的操作，批标准化(Batch Normalization)、ReLU激活函数和3×3的卷积运算；若H_l函数的输出为k个特征图，则第l层的网络的输入k₀+k×(l-1)个特征图，其中k₀是第0层的输入特征图的数量，在分类网络中，k被统一设置为16；

所述分类模型的下采样层是用于降低特征图的大小，所述分类模型被分成了多个密集连接的密集块(Dense Block)，不同密集块之间由过渡层(Transition Layer)进行连接，过渡层由批标准化层、1×1的卷积层和2×2的平均池化层组成。

9.根据权利要求6或7或8所述的方法，其特征在于，在训练分类模型的过程中采用以下方式：

使用CrossEntropy Loss(SoftMax Loss)作为损失函数；

使用小批量梯度下降算法作为分类模型的学习算法；

每个分类模型训练250个epoch，在训练中按照设定好的衰减策略来降低学习率，学习率随着训练的深入而逐渐变小，每间隔一个epoch，学习率就衰减一次，初始学习率设置为0.005，衰减率设置为0.986，最终学习率固定至0.0001；

每个分类模型中的各参数采用L2 Weight Decay正则化，该正则化方法可以缓解由于参数过大所带来的过拟合问题；

所述血管分割数据集中的诊断标记从0到2级，分别对用normal、preplus和plus级别；

所述分类模型对血管分割模型输出的血管概率图进行早产儿视网膜PLUS病变分类。

10.根据权利要求1至9中任一项所述的方法，其特征在于，plus病变分类包括以下三种：normal、preplus、plus。