CN113793348B - 一种视网膜血管分割方法和装置 - Google Patents

Abstract

本发明提供了一种视网膜血管分割方法和装置。本发明中视网膜血管分割方法是一种基于深度卷积神经网络的彩色视网膜图像自动分割方法。该方法首先对视网膜图像进行预处理，经过G通道、直方图均衡化、伽马变换后将彩色图像处理为对比度较高的灰度图；其次，将处理后的图像随机分割成统一小块形成训练数据集；然后将数据集送入结合空洞空间金字塔池化和高效融合注意力机制的深度卷积神经网络中，进行视网膜血管分割模型的训练。最后通过融合代价敏感矩阵的交叉熵损失函数对模型参数进行调整，使用优化后的模型对彩色视网膜图像中的血管进行分割。通过本发明能够实现较高分割准确率和速率，并减少医师人力成本。

Description

一种视网膜血管分割方法和装置

技术领域

本发明涉及医学图像处理和机器视觉技术领域，具体地说是一种视网膜血管分割方法和装置。

背景技术

视网膜血管是医生通过非创方式径直诊断人体血管结构的小型血管。视网膜血管的分割检测，可为眼科疾病、糖尿病、心脏病等诊断提供重要临床信息。目前视网膜血管分割方法主要以专业医生手工分割为主，但人工分割存在无法批处理及主观因素影响的弊端。近些年来，机器视觉在医学图像处理上表现出色，使用机器替代医生对视网膜图像进行智能化观察和分析，辅助医生确定患者治疗方案，提升自动分割彩色眼底视网膜图像的准确率尤为重要。

发明内容

本发明的目的就是提供一种视网膜血管分割方法和装置，该方法基于空洞空间金字塔池化和高效融合注意力机制的卷积神经网络，能够实现较高分割准确率和速率，并减少医师人力成本。

本发明是这样实现的：一种视网膜血管分割方法，包括如下步骤：

a、基于级联残差深度卷积神经网络对视网膜血管分割模型进行训练，训练完成后得到优化后的视网膜血管分割模型；

所述级联残差深度卷积神经网络中包含三个编码-解码结构模块，输入图像依次经过这三个编码-解码结构模块，且每一个编码-解码结构模块输出的特征图与其输入端的特征图对应的像素相加，作为下一级的输入；图像在每一个编码-解码结构模块内所执行的操作依序包括：第一组卷积操作、第一次dropout操作、第一次下采样操作、第二组卷积操作、第二次dropout操作、第二次下采样操作、空洞空间金字塔池化操作、第一次上采样操作、第二高效融合注意力机制操作、第三组卷积操作、第三次dropout操作、第二次上采样操作、第一高效融合注意力机制操作、第四组卷积操作、第四次dropout操作；每一组卷积操作均包括两次卷积操作；

所述第二高效融合注意力机制操作具体是：将经第二次dropout操作后所得特征图与经第一次上采样操作后所得特征图进行特征图融合操作，再经过全局平均池化操作、一维卷积操作后，使用sigmoid、softmax两种激活函数获得不同的权重值，最后将两个权重值相加后的结果与融合操作后的特征图对应通道相乘，最终获得带有不同权重值的特征图；

所述第一高效融合注意力机制操作具体是：将经第一次dropout操作后所得特征图与经第二次上采样操作后所得特征图进行特征图融合操作，再经过全局平均池化操作、一维卷积操作后，使用sigmoid、softmax两种激活函数获得不同的特征权重值，最后将两个特征权重值相加后的结果与融合操作后的特征图对应通道相乘，最终获得带有不同权重值的特征图；

所述空洞空间金字塔池化操作具体是：首先利用四个不同膨胀率的卷积核对经第二次下采样操作后得到的特征图进行并行卷积操作，然后做一次卷积核为1×1的卷积操作，得到四个不同大小的特征图，将所得的四个不同大小的特征图归一化后进行融合；

b、采用优化后的视网膜血管分割模型对视网膜图像中血管进行分割。

步骤a中，对视网膜血管分割模型进行训练时所采用的损失函数如下：

式中，x_k指输入图像输入到基于深度卷积神经网络所训练的视网膜血管分割模型后所得到的分割结果图中像素k的值，y_k指输入图像所对应的标准分割图中像素k的值；为拉普拉斯平滑因子，N为每一幅图像中像素的数量，α为损失函数比例因子；

X为指标函数，公式如下：

步骤a中所述输入图像的获取方式如下：

①对彩色视网膜图像进行绿色通道处理完成灰度转化，得到灰度图像；

②对灰度图像进行对比度受限的直方图均衡化、伽马变化处理，得到预处理后图像；

③对预处理后图像进行预设固定大小的切分，形成若干图像子块；

④对每幅图像中的各图像子块随机地进行90°旋转、120°旋转、270°旋转或镜像翻转，获得输入图像。

每一幅输入图像对应一个标准分割图，两者所对应的彩色视网膜图像是同一个，所述标准分割图是人工对彩色视网膜图像中血管进行分割的结果图；所述标准分割图同其所对应的输入图像一样，进行了预设固定大小的切分，形成了相同数量相同大小的图像子块，且各对应图像子块进行了相应的90°旋转、120°旋转、270°旋转或镜像翻转。

与上述方法所对应的本发明的视网膜血管分割装置，包括：

视网膜图像获取模块，与预处理模块相接，用于获取彩色视网膜图像；

预处理模块，分别与所述视网膜图像获取模块和网络模型训练模块相接，用于对彩色视网膜图像进行颜色校正、对比度增强以及裁剪操作，为网络模型训练模块提供输入图像；

网络模型训练模块，分别与所述预处理模块和视网膜图像分割模块相接，利用预处理模块输出的输入图像，使用级联残差深度卷积神经网络训练视网膜血管分割模型，以获得优化的视网膜血管分割模型，并输出给视网膜图像分割模块；

视网膜图像分割模块，分别与所述网络模型训练模块和图像分割结果输出模块相接，用于通过优化的视网膜血管分割模型对视网膜图像中的血管进行分割；以及

图像分割结果输出模块，与所述视网膜图像分割模块相接，用于将视网膜血管分割后的图像进行输出；

所述级联残差深度卷积神经网络包括三个编码-解码结构模块，输入图像依次经过这三个编码-解码结构模块，且每一个编码-解码结构模块输出的特征图与其输入端的特征图对应的像素相加，作为下一级的输入；每一个编码-解码结构模块包括依序连接的第一编码模块、第二编码模块、ASPP模块、第一解码模块和第二解码模块；在第一编码模块与第二解码模块之间设置有第一高效融合注意力机制模块，在第二编码模块与第一解码模块之间设置有第二高效融合注意力机制模块；

ASPP模块是使经第二编码模块输出的特征图通过四个并行空洞率为{2,4,8,16}的空洞卷积，经过双线性插值采样后进行像素级融合；高效融合注意力机制模块是将对应编码模块和解码模块特征融合后，经过全局平均池化、一维通道卷积、sigmoid及softmax激活函数对特征图激活值相加，最后将各个通道的激活值乘以原始的融合特征，得到带有不同权重的特征图。

所述网络模型训练模块使用级联残差深度卷积神经网络训练视网膜血管分割模型时，基于Dice损失函数和融合代价矩阵的交叉熵损失函数，对视网膜血管分割模型的参数进行调整。

本发明针对人工分割视网膜血管工作强度大、人为分割标准不统一的缺点，通过基于深度卷积网络对视网膜血管自动分割的方法，达到高精度、高速率、低成本的血管分割目的。

本发明中方法是一种基于深度卷积神经网络的彩色视网膜图像自动分割方法。该方法首先对视网膜图像进行预处理，经过G通道、直方图均衡化、伽马变换后将彩色图像处理为对比度较高的灰度图；其次，将处理后的图像随机分割成统一小块形成训练数据集；然后将数据集送入深度神经网络进行血管分割模型的训练，并通过融合代价敏感矩阵的交叉熵损失函数对模型参数进行调整；最后，通过模型进行彩色视网膜图像的血管分割。

本发明所提供的基于级联残差的深度卷积神经网络对视网膜血管分割方法的优点在于：

本发明将彩色眼底视网膜图像经过G通道、直方图均衡化、伽马变换后，将彩色图像处理为对比度较高的灰度图，提高了血管的辨识度，有助于提升深度卷积神经视网膜血管分割精度。

本发明基于空洞空间金字塔池化和高效注意力机制的卷积神经网络，在编码-解码结构的基础上通过高效融合注意力机制和空洞空间金字塔池化，实现空间信息和高级特征的语义信息之间的关系有效融合，也能实现多尺度获取上下文信息，同时以残差的方式级联模块加深网络深度，更有利提取血管图像中的细小血管和复杂曲度血管。

本发明设计了一种基于Dice损失函数和代价敏感交叉熵的新损失函数，根据视网膜血管图像的特点，实现血管和非血管像素之间更平衡分割。

附图说明

图1是本发明中视网膜血管分割方法的流程示意图。

图2是本发明中整体神经网络的结构示意图。

图3是本发明中ASPP模块的结构示意图。

图4是本发明中ECFA模块的结构示意图。

图5是本发明实施例中对视网膜图像进行灰度化处理后以及后期对视网膜图像进行直方图均衡化、伽马变化后的示例图。

图6是本发明实施例中预处理后图像与标准分割图中对应的其中一个图像子块的示例图。

图7是采用本发明中方法对视网膜图像中血管进行分割与标准分割图的结果对比示例图。

具体实施方式

本发明所提供的视网膜血管分割方法是一种基于级联残差的深度神经网络的彩色视网膜血管分割方法，如图1所示，该方法包括如下步骤：

步骤1：输入彩色视网膜图像。本步骤中所输入的彩色视网膜图像一般选自公共视网膜数据集DRIVE或CHASE DB1中。所输入的彩色视网膜图像，是为后续训练和验证视网膜血管分割模型打基础的。

步骤2：将步骤1中的视网膜图像进行绿色(Green，G)通道处理完成灰度转化，灰度转化后的图见图5中(a)所示。

步骤3：对步骤2的灰度图进行对比度受限的直方图均衡化(CLAHE)、伽马变化(Gamma Conversion)处理，伽马变化后的图像如图5中(b)所示。本发明中将经过G通道处理、直方图均衡化、伽马变化后的图像称为预处理后图像，

本步骤包括如下三个步骤：

步骤3.1：针对对比度受限的自适应直方图均衡创建一个对象，并将clipLimit(颜色对比度的阈值)设置为2.0，tileGridSize(进行像素均衡化的网格大小)设置为8×8。

步骤3.2：利用步骤3.1创建的直方图均衡对象对步骤2中通过G通道信息进行对比度受限的自适应直方图均衡处理。

步骤3.3：将步骤3.2得到的视网膜图像进行伽马变化(Gamma Conversion)校正。伽马校正的计算公式如下：Vout(x,y)＝A×Vin(x,y)^gamma。

其中Vout(x,y)表示输出(x,y)的像素值，Vin(x,y)表示输入(x,y)的值，A和gamma为可变参数；在本发明中A设置为1，gamma设置为2.2。

步骤4：获取步骤1中的彩色视网膜图像对应的专家分割后的金标准分割图(此为依靠现有专家人工分割出来的结果)，简称标准分割图，用于网络的训练以及网络的精确性验证。

步骤5：对步骤3所得预处理后图像以及步骤4所得标准分割图分别进行预设固定大小(例如48×48pixel)的切分，即将每一幅图像通过切分形成大小相等的图像子块。每一个预处理后图像对应一个标准分割图，每一个预处理后图像中的每一图像子块对应一个标准分割图中的一个图像子块，如图6所示。

步骤6：对步骤5中得到的图像进行旋转或翻转，形成视网膜分割方法的数据集。

在步骤5中，每一个预处理后图像对应一个标准分割图，此步骤中仍然是每一个预处理后图像对应一个标准分割图，且在本步骤中，对每一个预处理后图像以及与其相对应的标准分割图执行相同标准的旋转或翻转。

对图像进行旋转或翻转，具体是：对每一幅图像中的各图像子块，随机地进行90°旋转、120°旋转、270°旋转或镜像翻转。预处理后图像以及与其相对应的标准分割图在进行旋转或翻转时，其上对应的各图像子块所执行的旋转或翻转操作均是一致的，因此，本步骤执行旋转或翻转操作后，仍然是一个预处理后图像对应一个标准分割图，预处理后图像中每一图像子块对应标准分割图中的一个图像子块。

对每幅图像进行10次随机翻转或旋转，最终所得视网膜分割方法所用数据集是原图像数量的10倍。

步骤7：将步骤6中的数据集以9:1的比例分为训练集和验证集。在训练集和验证集中，仍然是一个预处理后图像对应一个标准分割图。

本步骤中，以公共视网膜数据集DRIVE为例，设预处理后图像数量为190000张，其中171000张图像作为训练集，19000张图像作为验证集。每一张预处理后图像对应一个标准分割图。

步骤8：设置深度卷积神经网络。

本步骤中所设置的深度卷积神经网络是针对视网膜中细小血管及复杂度血管分割而专门设计。该步骤的整体神经网络结构图如图2所示，该步骤中的ASPP模块结构如图3所示，该步骤中的ECFA模块结构如图4所示。本步骤具体如下：

将步骤7中的训练集(此处仅利用训练集中预处理后图像，而不用标准分割图)作为步骤8的输入图像。如图2所示，对输入图像首先进行1×1卷积操作，所用的卷积核大小为1×1×32，得到32层的特征图。特征图的信息流复制成一样的两部分，第一部分进入编码-解码结构模块，第二部分与第一部分编码-解码结构模块的结果相融合。

本发明中连续设置了三个编码-解码结构模块，下面就编码-解码结构模块的具体结构以及所执行的操作进行详细描述：

每一编码-解码结构模块包括两个编码模块和两个解码模块，两个编码模块分别为第一编码模块(m1模块)和第二编码模块(m2模块)，两个解码模块分别为第一解码模块(m3模块)和第二解码模块(m4模块)。

特征图首先经过m1模块，在m1模块内进行第一组卷积操作，第一组卷积操作包括了两个3×3的卷积操作，在第一组卷积操作之后为了解决特征冗余问题，加入了dropout策略(dropout策略使特征图中的值具有一定概率失活，即将不参与以后的特征图的运算。这个概率称为失活率)。在第一组卷积操作及dropout操作之后，进行一次最大池化操作(最大池化是将特征图中的每层，以相邻的四个元素选取出最大的那个元素作为输入，最大池化的结果是将特征图的每层长宽都缩小一半，而层数不变)，即第一次下采样操作。经第一次下采样操作后得到的特征图进入m2模块。

在m2模块内，首先进行第二组卷积操作，第二组卷积操作同样包括了两个3×3的卷积操作，在第二组卷积操作之后同样执行dropout操作。在第二组卷积操作及dropout操作之后，再进行一次最大池化操作，即进行第二次下采样操作。m1模块、m2模块结合最大池化操作形成了编码的效果，因此统称为编码器。

在m2模块以及第二次下采样操作之后，特征图被送入空洞空间金字塔池化(Atrous Space Pyramid Pooling)模块，即ASPP模块。ASPP模块连接编码模块与解码模块。ASPP模块如图3所示。特征图进入ASPP模块之后，首先利用四个不同膨胀率的卷积核对特征图进行并行卷积操作，然后做一次卷积核为1×1的卷积操作。由于用到了不同膨胀率的卷积核，因此得到不同大小的特征图。将以上四个不同大小的特征图归一化后进行融合。归一化操作用的是双线性差值转换操作，融合操作过程是将四个特征图对应的元素相加。之后的输出即为ASPP模块的输出。

本发明中两个解码模块(m3模块和m4模块)的设置与编码模块相似，即：特征图在经过m3模块时，进行第三组卷积操作，第三组卷积操作包括两个3×3的卷积操作，第三组卷积操作后执行一次dropout操作；特征图在经过m4模块时，进行第四组卷积操作，第四组卷积操作包括两个3×3的卷积操作，第四组卷积操作后执行一次dropout操作。m3模块和m4模块结合形成了解码效果，因此统称为解码器。本发明中在m3模块和m4模块之前要设置上采样操作(即利用反卷积操作作为上采样操作)，上采样操作是将特征图每一层中每一个元素周围添加三个与该元素一样的元素，得到结果的长宽与原来的特征图长宽一致，而其层数不变。具体是，在ASPP模块之后进行第一次上采样操作，在m3模块之后进行第二次上采样操作。

为了解决m1模块与m4模块以及m2模块与m3模块之间直接融合语义差异大的问题，本发明在m1模块与m4模块之间以及在m2模块与m3模块之间利用特殊的高效融合注意力机制(Effective Channel Fusion Attention，ECFA)进行连接，结合图2，即在m1模块与m4模块之间设置ECFA1，在m2模块与m3模块之间设置ECFA2。如图4所示，这种高效融合注意力机制是使用concat操作融合来自编码器端下采样操作之前以及解码器端上采样操作之后的特征图，并将特征图经过全局平均池化(GAP)、一维卷积(1D)及sigmoid和softmax激活函数获取两个不同的特征权重值，将两个特征权重值相加后与concat操作融合后的特征图对应相乘，获取一个带有不同权重值的特征图。之后作为解码模块的输入。

如图4所示，在ECFA模块中，首先进行concat操作使编码-解码器的特征融合，得到的特征图F_in∈g^W×H×C，其中特征图F_in的宽为W、长为H、通道维度为C。然后将F_in经过全局平均池化(GAP)获得一维特征图y：

y=GAP(F_in)

其中GAP为全局平均池化操作，y∈g^1×1×C，一维特征图宽度为1、长为1、通道维度为C。

对于语义差异较大的编码模块和解码模块，两者之间的特征图先进行融合，利用本地跨通道交互策略，即一维卷积(1D)，通过考虑每个通道及其k个近邻通道来实现跨通道交互(k决定了交互的覆盖范围，以k为单位对一维特征图进行一维卷积操作)，加强高低级语义特征之间的联系。最后将一维卷积后的带权特征图与特征图F_in像素对应相乘，得到带有不同权重值的输出特征F_out，此过程公式为：

其中，F_out为输出特征，C_1D表示1D卷积，k的值为5，σ表示sigmoid激活函数，ω表示softmax激活函数，F_in表示编码器特征和解码器特征融合结果，表示concat操作。

特征图经过一个编码-解码结构模块的具体操作如下：特征图经过编码器中m1模块，进行第一组卷积，该组卷积包括两次卷积操作，两次卷积操作后进行一次dropout操作，得到低级语义信息特征图n1；特征图n1再经过第一次下采样，进入m2模块，在m2模块中进行第二组卷积操作、dropout操作，得到低级语义信息特征图n2。特征图n2经过第二次下采样后，被送入空洞空间金字塔池化ASPP模块中，通过四个空洞率为{2,4,8,16}的空洞卷积，对应空洞空间卷积核为n_q：

n_q＝k+(k-1)×(d_q-1)

其中d_q表示空洞卷积的空洞率，q＝2,4,8,16；k表示卷积核尺寸；特征图n2经第二次下采样后再经过四个并联的空洞卷积，每个特征图获得四个不同尺度的上下文信息，经过双线性插值采样后进行像素级融合，再经过第一次上采样后形成特征图p1。

特征图p1与特征图n2之间进行concat操作(或称融合操作)后经过第二高效融合注意力机制模块(即ECFA2模块)得到特征图r1；特征图r1经过解码器中的m3模块，经第二次上采样操作后得到语义信息相对高级的特征图n3；将特征图n3与特征图n1进行concat操作后经过第一高效融合注意力机制模块(即ECFA1模块)得到特征图r2；特征图r2经过解码器中的m4模块后得到语义信息相对高级的特征图n4。

从m1模块到m4模块，特征图经过编码和解码过程，称为一个编码-解码结构模块。图2中示出了3个编码-解码结构模块，分别为block1、block2和block3。经过编码-解码结构模块的特征图和没有经过编码-解码结构模块的特征图对应的像素相加得到新的特征图。每个图像的特征图依次经过block1、block2、block3三个编码-解码结构模块，然后经过一个1×1卷积操作得到最终的分割结果。具体是：在进行第一个编码-解码结构模块(block1)后得到特征图n4，将特征图n4与未经第一个编码-解码结构模块的特征图(即上述对输入图像进行1×1卷积操作后得到的32层的特征图)进行特征图叠加操作(或称融合操作)，得到特征图A1。使特征图A1经过第二个编码-解码结构模块(block2)，将特征图A1经过第二个编码-解码结构模块后得到的特征图与特征图A1进行叠加操作，得到特征图A2。接着使特征图A2经过第三个编码-解码结构模块(block3)，将特征图A2经过第三个编码-解码结构模块后得到的特征图与特征图A2进行叠加操作，得到特征图A3。特征图A3再经过一个1×1卷积操作得到最终的分割结果。经过编码-解码结构模块的特征图和没有经过编码-解码结构模块的特征图对应的像素相加，这种特征图叠加操作实现了残差连接功能。

步骤8是整个网络的构建，其中每一个卷积核的参数都需要训练得到，即通过训练集中预处理后图像在该网络中的输出结果与专家给出的标准分割结果的差异对各个卷积层的参数进行训练。两个结果的差异是通过损失函数(见步骤9)进行描述。

本发明中深度卷积神经网络的各参数设置如下：

m1模块：两个卷积层的卷积核大小为3×3，步长为1，卷积核数量为32，ReLu激活函数，下采样DownSampling为2×2的最大池化，步长为2，填充模式为same，Dropout层的失活率值为0.2，激活函数为ReLu激活函数。

m2模块：两个卷积层的卷积核大小为3×3，步长为1，卷积核数量为64，ReLu激活函数，下采样DownSampling为2×2的最大池化，步长为2，填充模式为same，Dropout层的失活率值为0.2，激活函数为ReLu激活函数。

ASPP模块：首先，使用空洞率为{2,4,8,16}的空洞卷积，卷积核大小为3×3，步长为1，卷积核数量为128。其次，在每个空洞卷积后的卷积核大小为1×1，步长为1，卷积核数量为128。

ECFA1模块：输入特征的卷积核数量为32，经过全局平均池化(GAP)卷积核大小为1×1×32，通过考虑每个通道及其5个近邻通道来局部跨通道交互的1D卷积，分别使用sigmoid和softmax激活函数获取不同的激活权重值，将两权重值求和，使激活权重值与输入模块特征值相乘。

ECFA2模块：输入特征的卷积核数量为64，输入特征经过全局平均池化(GAP)卷积核大小为1×1×64，通过考虑每个通道及其5个近邻通道来局部跨通道交互的1D卷积，分别使用sigmoid和softmax激活函数获取不同的激活权重值，将两权重值求和，使激活权重值与输入模块特征值相乘。

m3模块：两个卷积层的卷积核大小为3×3，步长为1，卷积核数量为64，ReLu激活函数，上采样UpSampling为2×2的最大池化，步长为2，填充模式为same，Dropout层的失活率值为0.2，激活函数为ReLu激活函数。

m4模块：两个卷积层的卷积核大小为3×3，步长为1，卷积核数量为32，ReLu激活函数，上采样UpSampling为2×2的最大池化，步长为2，填充模式为same，Dropout层的失活率值为0.2，激活函数为softmax激活函数。

步骤9：将步骤7的训练集输入到步骤8中的深度卷积神经网络中进行视网膜血管分割模型的训练。由于眼底视网膜图像中只有6.8％的像素是血管，基础损失函数在学习过程中倾向分割背景区域，因此，本发明针对视网膜血管图像设计基于Dice损失函数和融合代价矩阵的交叉熵损失函数，对网络模型参数进行调整，训练完成后保存模型参数。

本步骤具体如下：

步骤9.1：构建符合视网膜血管像素在图片中占比过小的二权交叉熵损失函数。

步骤9.2：选取合适的二进制分类任务的Dice损失函数(L_dice)，公式如下：

其中x_k指将训练集中预处理后图像输入到所构建的深度卷积神经网络中得到的视网膜血管分割结果(表示输入像素k预测为血管像素概率)，y_k表示训练集中标准分割图(表示像素k的真实值)，在本发明中血管像素为1，非血管像素为0。表示拉普拉斯平滑因子，N为每一幅图像中像素的数量。

步骤9.3：选取代价敏感矩阵，增加对血管像素的关注度，代价敏感矩阵的公式为：

其中指标函数表示为：/>

步骤9.4：将步骤9.3中的代价敏感矩阵融合交叉熵损失函数形成L_CE，公式如下：

步骤9.5：将步骤9.2中的L_dice损失函数和步骤9.4中的L_CE结合，结合后公式如下：

其中α设置为0.25，将此结合后的函数作为损失函数引入到步骤8建立的深度卷积神经网络中，计算损失函数并对网络模型进行参数调整。

步骤9.6：重复步骤9.5，将迭代次数设置为150，并保存每次迭代最优学习率和模型参数。

通过本步骤，最终训练得到基于深度卷积神经网络的视网膜血管分割模型，依据该视网膜血管分割模型可对视网膜图像中血管进行分割。如图7所示，图7给出了本发明与现有方法的一个对比。图7中，(a)是灰度化后的视网膜图像，(b)是标准分割图，(c)是依据本发明中方法进行血管分割的结果图。可见，本发明能够较好地分割视网膜中细小血管及复杂度血管。

本发明使用的具体评估指标及结果如下所示：

步骤10：从验证集中随机选取彩色视网膜图像送入步骤9中训练好的视网膜血管分割模型中，并获得验证集血管分割结果图及分割评估指标参数值。

本步骤所使用的性能评估指标为准确率(ACC)、灵敏度(Sen)、特异性(Spe)、F1-Score以及下曲线(ROC)面积，通过这些评估指标来评价模型的性能，各评估指标计算公式如下：

其中T_P表示血管像素已正确检测为血管；T_N表示背景像素已正确检测为背景；F_P表示背景像素被错误地检测为血管；F_N表示血管像素被错误地检测为背景；ROC表示横坐标为FPR，纵坐标为TPR的一条曲线，计算公式为：

AUC表示ROC与坐标轴围成区域的归一化面积。AUC值范围为0到1，若AUC＝1，表示非常贴合分类器；0.5到1，表示优于随机分类器；0到0.5表示差于随机分类器。

本发明对DRIVE、CHASEDB1数据集进行实验，根据评估指标对DRIVE中的20张视网膜图像以及CHASEDB1中的14张视网膜图像进行分割，实验数据结果分别见表1和表2，表中给出两个数据集的准确率(ACC)、灵敏度(Sen)、特异性(Spe)、F1-Score以及AUC(AUC表示ROC与坐标轴围成区域的归一化面积)的数值，并将本发明和其他深度学习方法的结果进行比较。表1给出了本发明方法与R2U-Net、MS-NFN、DEU-Net、Mou及MSFFU-Net方法在DRIVE数据集上在各指标上的实验数据；表2给出了本发明方法与R2U-Net、MS-NFN、DEU-Net、Tamim及Sine-Net方法，在CHASE DB1数据集上在各指标上的实验数据，可以看出本发明方法灵敏度，准确率及F1均较高，优于其他方法。

表1基于DRIVE数据集本发明与其他深度学习方法结果比较

表2基于CHASE DB1数据集本发明与其他深度学习方法结果比较

在提取视网膜血管特征方面，首先，U-Net网络中的高效融合注意力机制实现高级特征的空间定位，这种方式将低级特征的空间信息和高级特征的语义信息之间的关系有效融合，同时抑制视网膜背景噪声。使用空洞空间金字塔池化多尺度提取上下文信息，提升对细小血管的分割识别。接着，使用高效融合注意力机制，将高低级语义特征直接相互联系，达到高级语义特征的精确定位，更有利于复杂曲度血管分割。最后，使用残差连接将模块连接，加深网络深度，使视网膜图像更充分训练，有利于复杂曲度血管分割。再有，在Dice损失函数中增加拉普拉斯平滑因子减少模型训练时过拟合，使得图像的空间结构信息得以保持，提升网络的鲁棒性。最后，代价敏感矩阵的加入，将对血管像素更敏感，降低由血管像素与背景像素的比例造成的失衡，增加网络训练中对血管像素的关注度，加快网络收敛能力。

基于国际公用数据集DRIVE和CHASE DB1数据集的结果显示，平均精度达到0.9700和0.9776，且灵敏度和F1值均高于现有方法。本发明所述网络能够以较高精度进行自动分割，具有良好的稳定性和抗干扰能力，因此，本发明能够有效完成眼底图像的血管分割任务。

步骤11：利用训练好的视网膜血管分割模型对现实视网膜图像中血管进行分割。

本发明中与上述方法相对应的一种基于级联残差的深度卷积神经网络的视网膜血管分割装置，如图1所示，具体包括视网膜图像获取模块、预处理模块、网络模型训练模块、视网膜图像分割模块以及图像分割结果输出模块。其中，视网膜图像获取模块的作用是获得视网膜和眼底的RGB图像数据，为后续模块提供训练及分割数据；预处理模块作用是对图像进行颜色校正、对比度增强以及裁剪操作，为后续的网络模型训练模块和视网膜图像分割模块提供直接数据；预处理模块输出的数据分为两类：训练数据和测试数据(或称验证数据)。网络模型训练模块利用训练数据，使用空洞空间金字塔池化和高效融合注意力机制卷积网络训练视网膜血管分割模型，以获得优化的视网膜血管分割模型；视网膜图像分割模块利用测试数据和网络模型训练模块输出的训练好的视网膜血管分割模型，在特定应用场景中实现视网膜图像的分割；图像分割结果输出模块用于输出视网膜图像的分割结果，以便显示和保存。

Claims (8)

1.一种视网膜血管分割方法，其特征是，包括如下步骤：

a、基于级联残差深度卷积神经网络对视网膜血管分割模型进行训练，训练完成后得到优化后的视网膜血管分割模型；

所述级联残差深度卷积神经网络中包含三个编码-解码结构模块，输入图像依次经过这三个编码-解码结构模块，且每一个编码-解码结构模块输出的特征图与其输入端的特征图对应的像素相加，作为下一级的输入；图像在每一个编码-解码结构模块内所执行的操作依序包括：第一组卷积操作、第一次dropout操作、第一次下采样操作、第二组卷积操作、第二次dropout操作、第二次下采样操作、空洞空间金字塔池化操作、第一次上采样操作、第二高效融合注意力机制操作、第三组卷积操作、第三次dropout操作、第二次上采样操作、第一高效融合注意力机制操作、第四组卷积操作、第四次dropout操作；每一组卷积操作均包括两次卷积操作；

所述第二高效融合注意力机制操作具体是：将经第二次dropout操作后所得特征图与经第一次上采样操作后所得特征图进行特征图融合操作，再经过全局平均池化操作、一维卷积操作后，使用sigmoid、softmax两种激活函数获得不同的权重值，最后将两个权重值相加后的结果与融合操作后的特征图对应通道相乘，最终获得带有不同权重值的特征图；

所述第一高效融合注意力机制操作具体是：将经第一次dropout操作后所得特征图与经第二次上采样操作后所得特征图进行特征图融合操作，再经过全局平均池化操作、一维卷积操作后，使用sigmoid、softmax两种激活函数获得不同的特征权重值，最后将两个特征权重值相加后的结果与融合操作后的特征图对应通道相乘，最终获得带有不同权重值的特征图；

所述空洞空间金字塔池化操作具体是：首先利用四个不同膨胀率的卷积核对经第二次下采样操作后得到的特征图进行并行卷积操作，然后做一次卷积核为1×1的卷积操作，得到四个不同大小的特征图，将所得的四个不同大小的特征图归一化后进行融合；

b、采用优化后的视网膜血管分割模型对视网膜图像中血管进行分割。

2.根据权利要求1所述的视网膜血管分割方法，其特征是，步骤a中，对视网膜血管分割模型进行训练时所采用的损失函数如下：

式中，x_k指输入图像输入到基于深度卷积神经网络所训练的视网膜血管分割模型后所得到的分割结果图中像素k的值，y_k指输入图像所对应的标准分割图中像素k的值；为拉普拉斯平滑因子，N为每一幅图像中像素的数量，α为损失函数比例因子；

X为指标函数，公式如下：

3.根据权利要求1所述的视网膜血管分割方法，其特征是，步骤a中所述输入图像的获取方式如下：

①对彩色视网膜图像进行绿色通道处理完成灰度转化，得到灰度图像；

②对灰度图像进行对比度受限的直方图均衡化、伽马变化处理，得到预处理后图像；

③对预处理后图像进行预设固定大小的切分，形成若干图像子块；

④对每幅图像中的各图像子块随机地进行90°旋转、120°旋转、270°旋转或镜像翻转，获得输入图像。

4.根据权利要求3所述的视网膜血管分割方法，其特征是，每一幅输入图像对应一个标准分割图，两者所对应的彩色视网膜图像是同一个，所述标准分割图是人工对彩色视网膜图像中血管进行分割的结果图；所述标准分割图同其所对应的输入图像一样，进行了预设固定大小的切分，形成了相同数量相同大小的图像子块，且各对应图像子块进行了相应的90°旋转、120°旋转、270°旋转或镜像翻转。

5.根据权利要求1所述的视网膜血管分割方法，其特征是，dropout操作中失活率值为0.2。

6.根据权利要求1所述的视网膜血管分割方法，其特征是，在空洞空间金字塔池化操作中，归一化操作用的是双线性差值转换操作，融合操作过程是将四个特征图对应的元素相加。

7.一种视网膜血管分割装置，其特征是，包括：

视网膜图像获取模块，与预处理模块相接，用于获取彩色视网膜图像；

预处理模块，分别与所述视网膜图像获取模块和网络模型训练模块相接，用于对彩色视网膜图像进行颜色校正、对比度增强以及裁剪操作，为网络模型训练模块提供输入图像；

网络模型训练模块，分别与所述预处理模块和视网膜图像分割模块相接，利用预处理模块输出的输入图像，使用级联残差深度卷积神经网络训练视网膜血管分割模型，以获得优化的视网膜血管分割模型，并输出给视网膜图像分割模块；

视网膜图像分割模块，分别与所述网络模型训练模块和图像分割结果输出模块相接，用于通过优化的视网膜血管分割模型对视网膜图像中的血管进行分割；以及

图像分割结果输出模块，与所述视网膜图像分割模块相接，用于将视网膜血管分割后的图像进行输出；

所述级联残差深度卷积神经网络包括三个编码-解码结构模块，输入图像依次经过这三个编码-解码结构模块，且每一个编码-解码结构模块输出的特征图与其输入端的特征图对应的像素相加，作为下一级的输入；每一个编码-解码结构模块包括依序连接的第一编码模块、第二编码模块、ASPP模块、第一解码模块和第二解码模块；在第一编码模块与第二解码模块之间设置有第一高效融合注意力机制模块，在第二编码模块与第一解码模块之间设置有第二高效融合注意力机制模块；

ASPP模块是使经第二编码模块输出的特征图通过四个并行空洞率为{2,4,8,16}的空洞卷积，经过双线性插值采样后进行像素级融合；高效融合注意力机制模块是将对应编码模块和解码模块特征融合后，经过全局平均池化、一维通道卷积、sigmoid及softmax激活函数对特征图激活值相加，最后将各个通道的激活值乘以原始的融合特征，得到带有不同权重的特征图。

8.根据权利要求7所述的视网膜血管分割装置，其特征是，所述网络模型训练模块使用级联残差深度卷积神经网络训练视网膜血管分割模型时，基于Dice损失函数和融合代价矩阵的交叉熵损失函数，对视网膜血管分割模型的参数进行调整。