CN109934823A

CN109934823A - 一种基于深度学习的dr眼底图像黄斑水肿分级方法

Info

Publication number: CN109934823A
Application number: CN201910236184.4A
Authority: CN
Inventors: 吴骏; 李迪; 刘梦佳; 肖志涛; 张芳; 耿磊; 刘彦北; 王雯
Original assignee: Tianjin Polytechnic University
Current assignee: Tianjin Polytechnic University
Priority date: 2019-03-25
Filing date: 2019-03-25
Publication date: 2019-06-25

Abstract

本发明针对提高DR眼底图像黄斑中心定位准确率和硬性渗出物分割精度的问题，提出了一种基于深度学习的DR眼底图像黄斑水肿分级方法。该方法实现过程是：先在Faster R‑CNN网络中设计2种不同大小的锚点框；之后，将黄斑中央凹周围特定区域内的毛细血管加入到标注范围中；然后结合空洞卷积与多级特征融合策略改进得到MD‑ResNet网络并应用于硬性渗出物的分割中；最后通过建立眼底极坐标系并判断硬性渗出物出现在眼底极坐标系中的位置，将DR眼底图像分为正常、轻度黄斑水肿、中度黄斑水肿和重度黄斑水肿四个等级。采用本方法对HEI‑MED、e‑ophtha EX和医院数据集进行测试，结果表明黄斑定位准确率和硬性渗出物分割精度均达到临床要求，最终实现黄斑水肿的准确分级。

Description

一种基于深度学习的DR眼底图像黄斑水肿分级方法

技术领域

本发明涉及一种基于深度学习的DR眼底图像黄斑水肿分级方法，该方法实现了一种通过深度卷积神经网络定位黄斑中心并分割硬性渗出物的黄斑水肿分级功能。

背景技术

糖尿病性视网膜病变Diabetic Retinopathy是导致继发性失明最常见的原因之一，因此被认为是所有糖尿病并发症中最危险的因素之一。人眼中第一个可检测的异常是微动脉瘤，它代表视网膜毛细血管的局部扩大。破裂的微动脉瘤可引起出血，血浆内的脂类物质会从血管中流出并沉积在视网膜中形成硬性渗出物Hard Exudate。如果HE出现在黄斑区附近会严重导致中央视力下降，引起糖尿病性黄斑水肿，这种病症是导致视力损伤的主要原因。由于黄斑水肿可能在没有任何外部症状的情况下出现，所以尽早发现黄斑水肿至关重要。通过DR眼底图像分析的方法是目前国际上评估黄斑水肿的标准方法。近年来涌现出许多黄斑水肿自动分级方法，这些方法主要的不同之处在于黄斑中心定位和HE分割的方法不同。虽然数字图像处理技术已在DR眼底图像领域中取得突破进展，但面对像黄斑和HE这种受颜色、形态、病变干扰严重的结构，传统医学图像处理方法的准确性和稳定性都难以得到保障，这对于临床医学诊断来说也是一大挑战，而黄斑中心定位和HE分割的准确率将直接决定黄斑水肿分级的准确率，因此基于这两项任务的DR眼底图像黄斑水肿分级仍是急需解决的难题。

深度学习技术近几年得到了研究者们广泛关注，特别是在医学图像研究领域取得了显著成就，为医疗诊断提供了极大的帮助。深度学习通过神经网络去学习图像中最具描述性、最突出的特征，无需手动决定采用哪种传统机器视觉技术来描述特征。这样不但可以节省人工寻找特征的时间，而且网络能够找到更多人为发现不了的特征，因此可以适应复杂的图像背景，得到准确的识别效果。

综合以上因素，本发明提出一种基于深度学习的黄斑中心定位和HE分割方法，进而可对DR眼底图像进行黄斑水肿分级。

发明内容

本发明提出一种基于深度学习的DR眼底图像黄斑水肿分级方法，根据黄斑大小在Faster R-CNN网络中设计2种大小的锚点框以得到适合于黄斑的目标参照框，并采用MD-ResNet网络对HE进行分割，最后可将DR眼底图像分为正常、轻度黄斑水肿、中度黄斑水肿和重度黄斑水肿四个等级。

本发明的技术方案，包括下列步骤：

步骤1：改进Faster R-CNN网络，在该网络中设计2种不同大小的锚点框以得到适合于黄斑的目标参照框；

步骤2：在训练样本数据中加入黄斑中央凹周围特定区域内的毛细血管，与黄斑中央凹一起作为整个黄斑的真实样本；

步骤3：在ResNet基础上结合空洞卷积和多级特征融合策略得到MD-ResNet网络，将其应用于HE的分割；

步骤4：通过建立眼底极坐标系对DR眼底图像进行黄斑水肿分级。

与现有技术相比，本发明的有益效果是：

本发明能够在黄斑被病变遮挡过多的情况下，准确定位黄斑中心，且能对大小差异明显、形状和亮度均有变化的HE进行准确分割。本发明避免了复杂的图像预处理过程，整体提升糖尿病视网膜病变的检测准确率，并缩短了检测时间。

附图说明

图1：总体框图；

图2：黄斑中央凹周围血管走向图；

图3：改进型Faster R-CNN网络结构；

图4：MD-ResNet网络结构；

图5：眼底极坐标系。

具体实施方式

下面结合具体实施方式对本发明作进一步详细地描述。

本发明的总体流程如图1所示，首先，对黄斑中心进行定位，主要步骤包括数据集的准备、改进Faster R-CNN以及计算黄斑中心的坐标；同时，针对HE的分割，先准备HE数据集，然后引进空洞卷积与多级特征融合改进得到MD-ResNet；最后基于前两项的测试结果进行黄斑水肿分级。

下面结合附图，对本发明技术方案的具体实施过程加以说明。

1.黄斑中心定位

1.1准备数据集

由于黄斑数据集中的图像大小不一，为方便制作网络训练样本，首先统一对数据集图像进行尺寸归一化处理。然后，对裁剪后的图像按照原图比例做相应的缩放处理以便后续适应网络输入的大小。由于原图大小和黄斑的整体目标偏大，所以缩放后的图像仍然很清晰，不会影响后续训练过程中网络对黄斑特征的识别。黄斑多位于视网膜中央，在黄斑区中间有一凹陷处称为黄斑中央凹，直径约为一个视盘直径ODD。黄斑中央凹在眼底图像中近似圆形且边缘不清晰，尤其对于黄斑区存在病变的DR眼底图像来说，黄斑中央凹的边缘肉眼几乎辨别不出。此外，有些DR眼底图像中不仅存在着基本的组织结构，还存在着许多病变结构，其外观、颜色与黄斑中央凹非常相似，其中以大块状出血点最为相似，这都会对黄斑中心定位产生影响。然而，黄斑中央凹独有的特点是：它所在的区域为中央无血管区，四周被毛细血管弓包绕，这一特点可以从OCT模拟图和彩色眼底图像中清晰可见，如图2所示。因此，为减小DR眼底图像中类似于出血点这样的干扰物对黄斑中心定位产生的影响，本方法将以黄斑中心为基点，2ODD范围内的黄斑中央凹作为数据样本，此样本加入了中央凹周围特定区域的毛细血管。

1.2改进型Faster R-CNN

改进型Faster R-CNN的网络结构如图3所示，其中红色选区为改动部分。FasterR-CNN主要由两个模块组成：一是Faster R-CNN的前身Fast R-CNN网络，二是提取建议窗口的RPN网络。在Faster R-CNN中，RPN会为特征图上的每一个位置提供9种锚点框，它们是一组分别对应三种大小128、256和512以及三种长宽比1∶1、1∶2和2∶1的矩形框。但是这9种锚点框是针对原始VOC数据集中的目标大小设定的，对于眼底数据集来说，有些大小的锚点框可能会对检测结果造成偏差，甚至多余的锚点框会影响检测速度，所以本发明对锚点框进行了重新设定：将原来的三种大小和三种长宽比改为两种大小80和160以及一种长宽比1∶1共2种锚点框，从而适合于黄斑中心定位的任务。

改进型Faster R-CNN最终有两个同级输出的全连接层即边框分类层和边框回归层，统称为多任务输出层。边框分类层使用评估分类损失函数，由真实分类u对应的概率决定：

L_cls(p，u)＝-log p_u

其中p为每个ROI输出的概率，通常它由两类全连接层利用Softmax函数计算得出。

边框回归层使用评估检测框定位的损失函数，用来比较真实分类所对应的预测平移缩放参数和真正平移缩放参数v＝(v_x，v_y，v_w，v_h)之间的差别，计算如下：

其中，SmoothL₁损失函数为：

最后，总损失和为：

其中μ＝1。

于是遵循多任务损失的定义，改进型Faster R-CNN中对一幅图像的损失函数可定义为：

其中p_i为锚点框预测为目标的概率，前景为1，背景为0；t_i＝(t_x，t_y，t_w，t_h)是一个向量，表示预测的锚点框的四个参数化坐标；是与正样本对应的真实目标区域框的坐标向量；为目标与非目标之间的对数损失：

是回归损失，这项意味着只有正样本才有回归损失，其他情况则没有。

2.HE分割

首先，根据HE在DR眼底图像中具有明显的类内差异和类间相似性问题，设计了一种结合空洞卷积与多级特征融合的MD-ResNet网络分割HE。MD-ResNet网络结构如图4所示，主要使用ResNet作为HE分割网络的主体结构，再结合下采样模块、空洞卷积残差模块和多级特征融合模块。

2.1 ResNet结构

ResNet主要由一系列残差块组成，而残差块的设计思想主要是恒等映射和跳跃连接。残差块是由几个堆叠层组成，即卷积层、ReLU激活层和BN层。每个残差块可由下式表示：

其中x_l和y_l分别是第l个残差块的输入和输出，F是第l个残差块学习的残差函数。

2.2下采样模块

下采样模块由1个7×7的卷积层、1个3×3的Max Pooling层和两组残差块res2a-res2c、res3a-res3c组成。每个残差块均有两个1×1卷积层和一个3×3卷积层组成，每个卷积层之后是BN层和ReLU激活层。经过下采样处理之后，原始输入图像尺寸从224×224降到了28×28。

2.3空洞卷积残差模块

为保留低层网络部分的高分辨率特征图，在下采样模块的最后一个结构res3c之后加入了空洞卷积残差模块。而之所以选择在res3c残差块之后开始使用空洞卷积是因为28×28的分辨率已足够识别HE的结构，而如果在一开始就加入空洞卷积反而会带来计算上的负担。空洞卷积残差模块具体结构如下：对于res4a-res4c和res5a-res5c两组残差块，其中res4a和res5a的每一层步长均设置为1，由此可以使这两个残差块中卷积核的感受野与原来相同。为避免连续使用扩张率相同的扩张卷积所带来的网格效应，本发明根据混合扩张卷积的三大原则选取扩张率，混合扩张卷积三大原则如下：

(1)叠加扩张卷积的扩张率不能有大于1的公约数；

(2)可将扩张率设置为锯齿形结构；

(3)所选择的扩张率应满足下列公式：

M_i＝max[M_i+1-2r_i，M_i+1-2(M_i+1-r_i)，r_i]

因此，本发明将res4a-res4c和res5a-res5c两组残差块的卷积核扩张率设置为[1，2，3，1，2，3]的锯齿形形式。

2.3多级特征融合模块

由于ResNet是通过连续的下采样操作来获得更大的感受野，但是特征图的大小却在逐渐减小并且变得远小于原图尺寸，所以为能够充分利用每层输出的不同尺度的特征信息，本发明加入了多级特征融合模块，即在下采样和上采样之间引入跳跃连接。跳跃连接包括多级分层功能，并帮助上采样层从下采样层中恢复细粒度信息。

多级特征融合模块包括卷积层和反卷积层，其中反卷积是通过向后跨步卷积实现的，其卷积核可以在训练期间学习。具体而言，分别在网络的conv1、res2c、res3c、res4e和res5c上添加了通道维数为2的1×1卷积层，用来预测这五个输出位置上HE和非HE的类别得分，这将产生三个级别的预测图，它们分别是2像素、4像素和8像素步幅预测图。然后本发明通过上采样与求和运算融合这三种不同层次特征的信息，首先在8像素步幅预测图的顶部添加一个2倍的上采样反卷积层，通过使用逐元素求和操作将其与4像素步幅预测图融合，从而生成新的4像素步幅预测图。类似地，本发明继续融合新的4像素步幅预测图和2像素步幅预测图，方法是在新的4像素步幅预测图的顶部添加一个2倍的上采样反卷积层，进而生成融合后的2像素步幅预测图。最后，在融合的2像素步幅预测图的顶部添加一个2倍的上采样反卷积层，以生成与输入图像大小相等的最终得分图。

其次，制作HE数据样本。由于在HE分割中可用的训练数据有限，因此为减少深度网络中的过拟合现象产生，同时也为了适应残差网络要求的输入尺寸，本方法分别对原始图像和标注图像进行裁剪分块处理，图像块大小设置为224×224。

3.黄斑水肿分级

国际临床黄斑水肿分级标准采用四级分类法对DR图像进行黄斑水肿分级。如果图像中无明显视网膜增厚及HE出现则被认为是正常眼底图像，如果有视网膜增厚或HE出现则进一步分为轻、中、重三级：将HE远离黄斑中心定义为轻度黄斑水肿，将HE接近但并未累及黄斑中心定义为中度黄斑水肿，将HE累及黄斑中心定义为重度黄斑水肿。本发明将根据现有文献中的评估方法，以前面工作定位出的黄斑中心为圆心，分别以1/3ODD、1ODD和2ODD为圆半径，建立基于黄斑中心的眼底图像极坐标系，如图5所示。由此极坐标系可得黄斑水肿具体的分级规则为：

(1)轻度黄斑水肿眼底图像：HE落在1ODD半径圆形区域范围之外；

(2)中度黄斑水肿眼底图像：HE落在1/3ODD～1ODD半径圆形区域之内；

(3)重度黄斑水肿眼底图像：HE落在1/3ODD半径圆形区域以内；

(4)正常图像：图像中无明显HE。

本发明提出的是一种基于深度学习的DR眼底图像黄斑水肿分级方法，本方法可以精确定位黄斑中心，并对HE进行准确分割，最后实现DR眼底图像黄斑水肿的准确分级。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，应当理解，本发明并不限于这里所描述的实现方案，这些实现方案描述的目的在于帮助本领域中的技术人员实践本发明。任何本领域中的技术人员很容易在不脱离本发明精神和范围的情况下进行进一步的改进和完善，因此本发明只受到本发明权利要求的内容和范围的限制，其意图涵盖所有包括在由所附权利要求所限定的本发明精神和范围内的备选方案和等同方案。

Claims

1.一种基于深度学习的DR眼底图像黄斑水肿分级方法，所述方法包括下列步骤：

步骤3：在ResNet基础上结合空洞卷积和多级特征融合策略得到MD-ResNet网络，将其应用于硬性渗出物的分割；

2.根据权利要求1所述的一种基于深度学习的DR眼底图像黄斑水肿分级方法，其特征在于，步骤1中，针对黄斑中心定位现存在的问题，提出一种适用于黄斑检测的改进型Faster R-CNN网络，通过对不同数据集中标注的黄斑大小进行统计然后重新设定适合于黄斑尺寸的锚点框。

3.根据权利要求1所述的一种基于深度学习的DR眼底图像黄斑水肿分级方法，其特征在于，步骤2中，制作黄斑训练样本数据时，加入黄斑中央凹周围特定区域内的毛细血管，与黄斑中央凹一起作为整个黄斑的真实样本。

4.根据权利要求1所述的一种基于深度学习的DR眼底图像黄斑水肿分级方法，其特征在于，步骤3中，针对硬性渗出物在DR眼底图像中形态复杂多变且干扰物多的问题，提出一种结合空洞卷积和多级特征融合策略的深度残差网络MD-ResNet，利用深层的残差网络作为主体结构，可通过加深网络来挖掘硬性渗出物丰富的特征，再在MD-ResNet网络的后半部分加入了空洞卷积残差模块，将低层的细节信息与高层的全局信息相融合，得到准确的分割结果，并采用端到端的方式获得与原始输入图像同等大小的分割概率图，从而缩短训练时间。

5.根据权利要求1所述的一种基于深度学习的DR眼底图像黄斑水肿分级方法，其特征在于，步骤4中，针对DR眼底图像黄斑水肿分级问题，采用建立眼底极坐标系的方法对前两项检测结果进行分析，从而能直观、全面地得出黄斑水肿分级结果，最终将DR眼底图像分为正常、轻度黄斑水肿、中度黄斑水肿和重度黄斑水肿四个等级。