CN109919915B - 基于深度学习的视网膜眼底图像异常区域检测方法及设备 - Google Patents

Abstract

本发明实施例涉及基于深度学习的视网膜眼底图像异常区域检测方法及设备。方法包括：获取待处理的眼底图像；提取眼底图像的绿色通道图像；对绿色通道图像进行预处理以得到预处理图像；将绿色通道图像和预处理图像作为双通道图像输入神经网络以提取图像特征；以及将提取的图像特征输入分类器进行分类以得到检测结果。根据本发明实施例，在不需要先验知识的情况下，有效提升了检测糖尿病视网膜性病变相关的异常区域的准确率。

Description

基于深度学习的视网膜眼底图像异常区域检测方法及设备

技术领域

本发明总体上涉及眼底图像处理领域，具体涉及一种基于深度学习的视网膜眼底图像异常区域检测方法及设备。

背景技术

糖尿病已成为当今对身体健康负担严重的世界性疾病，其主要并发症之一是糖尿病视网膜性病变，有三分之一的糖尿病患者同时患有糖尿病视网膜性病变。由于患者人数众多，自动化的计算机辅助检测工具被用来检测眼底图像上是否有糖尿病视网膜性病变有关的异常区域，以帮助临床医生更有效地诊断糖尿病视网膜性病变。

目前大部分用于检测糖尿病视网膜性病变相关的异常区域的计算机辅助检测算法是基于传统图像处理的方法实现，这种方法需要一定的先验知识，并且准确率也很难达到临床应用的需求。

发明内容

针对上述问题，本发明的实施例提供一种基于深度学习的视网膜眼底图像异常区域检测方法、电子设备及计算机可读存储介质，在不需要先验知识的情况下，有效提升了检测糖尿病视网膜性病变相关的异常区域的准确率。

在本发明的第一方面，提供一种基于深度学习的视网膜眼底图像异常区域检测方法。该方法包括：获取待处理的眼底图像；提取眼底图像的绿色通道图像；对绿色通道图像进行预处理以得到预处理图像；将绿色通道图像和预处理图像作为双通道图像输入神经网络以提取图像特征；以及将提取的图像特征输入分类器进行分类以得到检测结果。

在某些实施例中，方法还包括：将绿色通道图像和预处理图像下采样至预定分辨率大小的图像。

在某些实施例中，对绿色通道图像进行预处理包括：通过中值滤波器和高斯滤波器对绿色通道图像进行滤波；以及对经滤波后的绿色通道图像进行对比限制适应性直方图均衡化处理。

在某些实施例中，方法还包括：构建基于全卷积网络的神经网络，神经网络包括依次串联的第一卷积块、多个第二卷积块、多个第三卷积块和第四卷积块，第一卷积块包括两个卷积层，第二卷积块包括串联的残差块和池化层，第三卷积块包括串联的反卷积层、组合单元和残差块，第四卷积块包括串联的反卷积层和两个卷积层，组合单元用于将第二卷积块输出的特征图与第三卷积块中反卷积层输出的相同分辨率的特征图进行组合。

在某些实施例中，方法还包括：将绿色通道图像下采样至与经首个第二卷积块后相同的图像分辨率；以及将经下采样的绿色通道图像输入具有相同分辨率的特征图的第三卷积块的组合单元。

在某些实施例中，残差块包括多个串联的残差单元，每个残差单元包括卷积单元、批标准化单元和线性修正单元。

在某些实施例中，方法还包括对用以训练神经网络的样本眼底图像进行数据增强处理，数据增强处理包括以下中的任一项：随机翻转、随机旋转以及随机裁剪并上采样至裁剪前分辨率。

在本发明的第二方面，提供一种电子设备，包括：处理器；以及存储有指令的存储器，指令在被处理器执行时促使设备执行动作，动作包括根据本发明第一方面所描述的操作。

在本发明的第三方面，提供一种计算机可读存储介质，其存储有机器可读的指令，指令在由机器执行时使得机器执行根据本发明第一方面所描述的方法。

本发明的实施例提出的基于深度学习的视网膜眼底图像异常区域检测方案，采用全卷积神经网络进行深度学习，从输入图像的处理和神经网络结构等方面，提升了检测准确率。

附图说明

图1示出根据本发明实施例的基于深度学习的视网膜眼底图像异常区域检测过程的流程图；

图2示出眼底图像、相应的绿色通道图像以及根据本发明的一个实施例对绿色通道图像预处理后的预处理图像；

图3示出根据本发明的一个实施例的FCN网络结构的示意图；

图4示出根据本发明的一个实施例的图3所示FCN网络结构中残差块的结构的示意图；以及

图5示出适合实现本发明的实施例的电子设备的方框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。但本领域技术人员知晓，本发明并不局限于附图和以下实施例。

如本文中所述，术语“包括”及其各种变体可以被理解为开放式术语，其意味着“包括但不限于”。术语“基于”可以被理解为“至少部分地基于”。术语“一个实施例”可以被理解为“至少一个实施例”。术语“另一实施例”可以被理解为“至少一个其它实施例”。

在医学上，糖尿病视网膜性病变的主要异常表现有微动脉瘤(microaneurysms)、出血(hemorrhages)、软渗出(soft exudates)和硬渗出(hard exudates)等。其中，微动脉瘤是糖尿病视网膜性病变最早期的临床可见变化，是由局部毛细血管扩张引起的，在眼底图像中表现为红色小点；出血包括微血管瘤破裂引起的出血、神经纤维层出血以及视网膜前出血；软渗出是神经纤维层的微小梗塞，表现为白色的边缘模糊的块状；硬渗出是由毛细血管浆液渗漏的脂质残留物组成的黄色斑点，边缘清晰可见。

如前所述，当前用于检测糖尿病视网膜性病变相关的这些异常区域的计算机辅助检测算法存在需要大量先验知识、检测准确率差等问题。本发明实施例提出的基于深度学习的视网膜眼底图像异常区域检测方案，不需要先验知识，并且提升了异常区域的检测和分割准确率。下面结合附图对本发明实施例进行详细描述。

图1示出了根据本发明实施例的基于深度学习的视网膜眼底图像异常区域检测过程100的流程图。如图所示，过程100利用神经网络提取图像特征，特别地，可以采用全卷积网络(FCN，Fully Convolutional Network)实现。在对FCN网络进行训练时，对来自训练集101的视网膜眼底图像103进行处理，而在测试时，对来自测试集102的视网膜眼底图像103进行处理。

在一个实施例中，训练集101的眼底图像数据来源可以是2018年ISBI挑战中的IDRiD比赛，该数据集中的眼底图像为4288*2848的高分辨率的RGB图像，其需要分割病变包括上述的微血管瘤、出血、软渗出以及硬渗出四类病灶。

在110，对眼底图像103提取绿色通道图像，得到绿色通道图像104。然后在120对绿色通道图像进行预处理，得到预处理图像105。根据本发明的实施例，考虑到绿色通道图像对比度较高，提取眼底图像105的绿色通道图像并且对绿色通道图像进行预处理，以提升检测准确率。

预处理过程可以包括采用中值滤波器和高斯滤波器结合使用的方式，在去除噪点的同时，保存图像中异常区域的边缘信息。进一步地，应用对比限制适应性直方图均衡化(CLAHE，Contrast Limited Adaptive Histogram Equalization)可以增强图像对比度，突出异常区域。图2从左至右分别示出了眼底图像201、相应的绿色通道图像202以及根据本发明实施例对绿色通道图像预处理后的预处理图像203。

由于训练样本数据量少，通常使用数据增强的手段扩充数据量。在一个实施例中，数据增强可以包括随机翻转、随机旋转以及随机裁剪并上采样至裁剪前分辨率三种操作。其中，随机裁剪并上采样至裁剪前分辨率操作不仅可以扩展数据量，还有利于提升体积较小的异常区域(例如微血管瘤)的准确率。

在130，将绿色通道图像104和预处理图像105作为双通道输入FCN网络，提取图像特征。由于经过处理后的图像在突出异常区域的同时也丢失了一些未经处理的绿色通道图像信息，本发明实施例使用双通道输入，弥补了这一缺陷，使最终的检测准确率得到提升。然后，在140将提取的图像特征输入分类器进行分类，得到每个像素是病灶的概率，进而获得检测结果106。

在本发明本实施例中，使用FCN网络自动提取特征，不需要先验知识，并且可以比传统检测方法提取到更多有用信息，从而提升异常区域的检测和分割准确率。

图3示出了根据本发明的一个实施例的FCN网络结构300的示意图。在该FCN网络中，包括第一卷积块310、多个第二卷积块320、多个第三卷积块330和第四卷积块340。作为示例，在本实施例中，以绿色通道图像104和经预处理的绿色通道图像(即预处理图像)105为640*640大小为例，二者作为双通道图像输入到FCN网络中。

可以将例如4288*2848的原始图像通过池化层实现图像尺寸的变化，转变为合适的尺寸大小，例如640*640的图像。

第一卷积块310包括两个卷积层，即第一卷积层和第二卷积层，其卷积核可以为3*3，步长为1，填充为1。第二卷积块320包括串联的残差块(Residual Block)和池化层，池化层可以采用最大池化(max pooling)，其卷积核可以为2*2，步长为2，填充为0。经过多个第二卷积块320处理后，图像特征提取过程结束，接下来由多个第三卷积块330和第四卷积块340实现图像信息还原过程。

第三卷积块330包括串联的反卷积层、组合单元(Combing unit)和残差块，该组合单元用于将第二卷积块输出的特征图与第三卷积块中得到的相同分辨率的特征图进行组合。第四卷积块340包括串联的反卷积层和两个卷积层。反卷积层的卷积核可以为2*2，步长为2，填充为0。

绿色通道图像104和预处理图像105经过两次卷积，得到24个(即24通道)大小为640*640的特征图(feature map)，再输入到残差块中，紧跟残差块的是池化层，使图像分辨率从640*640下采样至1/2，得到32个大小为320*320的特征图。再依次经过第二卷积块320，最终得到128个40*40大小的特征图，至此图像特征提取过程结束。

紧接着是图像信息还原过程，首先将40*40大小的特征图通过反卷积层进行反卷积操作，使分辨率上采样2倍，再通过组合单元对同分辨率大小的进行结合，再经过残差块，重复操作至输出640*640大小的特征图。之后，通过分类器350对特征进行分类，得到一个与输入相同大小的概率矩阵，表示每个像素点是病灶的概率。分类器350可以是采用Sigmoid二分类方法的Sigmoid分类器或支持向量机SVM分类器，或者其他适宜的分类器。

在本实施例中，FCN网络在倒数第二个反卷积之后的组合单元中额外加入了输入图像的信息。将绿色通道图像104通过尺寸调整单元360转换为320*320的图像，作为1个特征图融合进去。尺寸调整单元360可以将原始图像若干个像素的平均值作为目标图像中某个像素的值，换言之，可以通过平均池化过程将绿色通道图像104下采样至1/2，得到320*320特征图。由于在反卷积操作对图像信息进行还原时，图像边缘特征会比较模糊，把绿色通道图像信息作为一个特征图融合进去之后，有利于图像信息更清晰的还原，从而提升检测和分割准确率。

可以理解，结构300仅是示例，可以根据图像分辨率要求布置不同层或数量的第一卷积块310、第二卷积块320、第三卷积块330和第四卷积块340，以达到计算量与检测准确率之间的平衡。

图4示出了根据本发明的一个实施例的图3所示FCN网络结构300中残差块的结构400的示意图。如图所示，每个残差块410包含3个残差单元(Residual unit)420，残差单元420中卷积单元412，其可以使用3*3大小卷积核进行卷积，在卷积单元412之后使用批标准化(BN，Batch Normalization)单元422来提高模型的泛化能力，以及线性修正单元423(ReLU，Rectified Linear Unit)来解决训练过程中梯度弥散问题。

残差单元420中可以包括多个卷积单元、批标准化单元和线性修正单元。图4示出的具体示例中，其还包括卷积单元424、批标准化单元425和线性修正单元426。残差块410对输入的特征图通过结构400进行残差学习。

根据本发明的实施例，采用如图3和图4所示的FCN网络结构300对视网膜眼底图像进行处理。在训练时，首先对眼底图像进行提取绿色通道图像，对绿色通道图像进行去除黑边框、去噪、对比限制适应性直方图均衡化以及数据增强等预处理得到处理后的图像。接着，将绿色通道图像以及处理后的图像下采样至某一分辨率(例如640*640)作为双通道输入全卷积神经网络，提取特征。最后，通过Sigmoid分类器得到和输入图像分辨率相同的概率矩阵，使用二分类交叉熵损失函数或者基于Dice的损失函数等计算概率矩阵与真实结果的损失，利用Adam优化器或带动量项的随机梯度下降法的优化器等来反向传播更新网络参数，一直迭代直至损失函数收敛。

在测试或执行图像检测时，对眼底图像进行提取绿色通道图像，对绿色通道图像进行去除黑边框、去噪、直方图均衡化处理得到处理后的图像；接着将绿色通道图像以及处理后的图像作为双通道输入全卷积神经网络，提取特征；最后通过Sigmoid分类器进行像素级的分类，得到检测/分割结果。

本发明实施例提出的方案能够快速对糖尿病视网膜性病变进行自动检测/分割，提升了视网膜眼底图像异常区域检测的准确率，使之满足临床应用的需求。

图5示出了适合实现本发明的实施例的电子设备500的方框图。设备500可以作为显示设备的一部分或者与显示设备关联的装置。如图所示，设备500包括处理器510。处理器510控制设备500的操作和功能。例如，在某些实施例中，处理器510可以借助于与其耦合的存储器520中所存储的指令530来执行各种操作。存储器520可以是适用于本地技术环境的任何合适的类型，并且可以利用任何合适的数据存储技术来实现，包括但不限于基于半导体的存储器件、磁存储器件和系统、光存储器件和系统。尽管图5中仅仅示出了一个存储器单元，但是在设备500中可以有多个物理不同的存储器单元。

处理器510可以是适用于本地技术环境的任何合适的类型，并且可以包括但不限于通用计算机、专用计算机、微控制器、数字信号控制器(DSP)以及基于控制器的多核控制器架构中的一个或多个多个。设备500也可以包括多个处理器510。

当设备500作为显示设备的一部分或者充当与显示设备关联的装置时，处理器510在执行指令530时促使显示设备执行动作，以实现上文参考图1-4描述的过程100。根据本发明的实施例，所述动作包括：获取待处理的眼底图像；提取眼底图像的绿色通道图像；对绿色通道图像进行预处理以得到预处理图像；将绿色通道图像和预处理图像作为双通道图像输入神经网络以提取图像特征；以及将提取的图像特征输入分类器进行分类以得到检测结果。

在某些实施例中，动作还包括：将绿色通道图像和预处理图像下采样至预定分辨率大小的图像。

在某些实施例中，对绿色通道图像进行预处理包括：通过中值滤波器和高斯滤波器对绿色通道图像进行滤波；以及对经滤波后的绿色通道图像进行对比限制适应性直方图均衡化处理。

在某些实施例中，动作还包括：构建基于全卷积网络的神经网络，神经网络包括依次串联的第一卷积块、多个第二卷积块、多个第三卷积块和第四卷积块，第一卷积块包括两个卷积层，第二卷积块包括串联的残差块和池化层，第三卷积块包括串联的反卷积层、组合单元和残差块，第四卷积块包括串联的反卷积层和两个卷积层，组合单元用于将第二卷积块输出的特征图与第三卷积块中得到的相同分辨率的特征图进行组合。残差块包括多个串联的残差单元，每个残差单元包括卷积单元、批标准化单元和线性修正单元。

在某些实施例中，动作还包括：将绿色通道图像下采样至与经第一卷积块后相同的图像分辨率；以及将经下采样的绿色通道图像输入具有相同分辨率的特征图的第三卷积块的组合单元。

在某些实施例中，动作还包括对用以训练神经网络的样本眼底图像进行数据增强处理，数据增强处理包括以下中的任一项：随机翻转、随机旋转以及随机裁剪并上采样至裁剪前分辨率。

本发明的实施例还提供一种计算机可读存储介质，其存储有机器可读的指令，指令在由机器执行时使得机器执行根据本发明所描述的方法。

本领域技术人员可以理解，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。

计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或它们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上，对本发明的实施方式进行了说明。但是，本发明不限定于上述实施方式。凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于深度学习的视网膜眼底图像异常区域检测方法，其特征在于，包括：

获取待处理的眼底图像；

提取所述眼底图像的绿色通道图像；

对所述绿色通道图像进行预处理以得到预处理图像；

将所述绿色通道图像和所述预处理图像作为双通道图像输入神经网络以提取图像特征；以及

将提取的所述图像特征输入分类器进行分类以得到检测结果；

所述方法还包括：

构建基于全卷积网络的所述神经网络，所述神经网络包括依次串联的第一卷积块、多个第二卷积块、多个第三卷积块和第四卷积块，所述第一卷积块包括两个卷积层，所述第二卷积块包括串联的残差块和池化层，所述第三卷积块包括串联的反卷积层、组合单元和残差块，所述第四卷积块包括串联的反卷积层和两个卷积层，所述组合单元用于将第二卷积块输出的特征图与第三卷积块中反卷积层输出的相同分辨率的特征图进行组合；

所述方法还包括：

将所述绿色通道图像下采样至与经首个第二卷积块后相同的图像分辨率；以及

将经下采样的绿色通道图像输入具有相同分辨率的特征图的第三卷积块的组合单元。

2.根据权利要求1所述的方法，其特征在于，还包括：

将所述绿色通道图像和所述预处理图像下采样至预定分辨率大小的图像。

3.根据权利要求1所述的方法，其特征在于，其中对所述绿色通道图像进行预处理包括：

通过中值滤波器和高斯滤波器对所述绿色通道图像进行滤波；以及

对经滤波后的绿色通道图像进行对比限制适应性直方图均衡化处理。

4.根据权利要求1所述的方法，其特征在于，所述残差块包含3个残差单元。

5.根据权利要求1所述的方法，其特征在于，所述预处理包括：去除黑边框、去噪、对比限制适应性直方图均衡化以及数据增强。

6.根据权利要求1所述的方法，其特征在于，所述残差块包括多个串联的残差单元，每个残差单元包括卷积单元、批标准化单元和线性修正单元。

7.根据权利要求1所述的方法，其特征在于，还包括对用以训练所述神经网络的样本眼底图像进行数据增强处理，所述数据增强处理包括以下中的任一项：随机翻转、随机旋转以及随机裁剪并上采样至裁剪前分辨率。

8.一种电子设备，其特征在于，包括：

处理器；以及

存储有指令的存储器，所述指令在被所述处理器执行时促使所述设备执行根据权利要求1-7中任一项所述的方法。

9.一种计算机可读存储介质，其特征在于，其存储有机器可读的指令，所述指令在由所述机器执行时使得所述机器执行根据权利要求1-7中任一项所述的方法。

Images