CN107292887A - 一种基于深度学习自适应权重的视网膜血管分割方法 - Google Patents

Abstract

本发明公开了一种基于深度学习自适应权重的视网膜血管分割方法，包括：对视网膜血管图像进行样本扩充，并对样本进行分组；构建血管分割全卷积神经网络，用训练样本对网络进行预训练，对视网膜血管图像进行全局自适应权重分割，得到视网膜血管分割初始模型参数；在网络层最后添加条件随机场层，对网络进行调优；采用轮换测试的方法将测试样本输入网络，得到视网膜血管分割结果图。本发明提出的血管分割全卷积神经网络结构和自适应权重方法能够实现人眼级别的图像分割，在DRIVE和CHASE_DB1两个国际公开视网膜图像数据库上进行测试，平均准确率分别达到了96.00％和95.17％，均高于目前最新的算法。

Description

一种基于深度学习自适应权重的视网膜血管分割方法

技术领域

本发明涉及医学图像处理领域，特别涉及一种基于深度学习自适应权重的视网膜血管分割方法。

背景技术

视网膜可作为常见疾病，如高血压、糖尿病等重要检测指标，多年来一直是国内外研究的热点。基于计算机的眼底血管自动提取、测量与分析技术，在医学诊断中有着重要的应用价值。

视网膜血管图像的分割方法主要分为两大类：基于规则和基于学习。

基于规则的方法主要是是利用视网膜图像中血管的特性，设计相应的滤波器完成增强血管特征和抑制背景噪声任务，通常由预处理、分割、后处理三个部分组成。Chaudhuri等人提出了采用高斯曲线估计视网膜血管的灰度值，设计了12个不同方向的匹配滤波器对血管进行增强处理。Al-Rawi等人使用一组参数{L,σ,T}构造了12个模板，沿着不同方向对视网膜图像进行滤波，然后选择出最佳响应，通过遗传算法优化该方法能达到最大的平均准确率为94.22％。Azzopardi等人提出了引入B-COSFIRE滤波器有方向选择性地检测血管，平均准确率为94.42％。匹配滤波器的方法能够很好地检测到血管状物体，但是该方法缺点在于对背景中的纹理缺乏鲁棒性，容易将背景中的纹理提取成为血管。所以该方法对于图像预处理要求较高，需要尽可能减少背景的影响。同时该方法中的参数对血管提取影响很大。等人提出了区域生长的方法，利用在不同尺度下图像的一阶导数和二阶导数作为特征将视网膜血管图像像素分为血管类和非血管类。Zana等人提出了基于数学形态学变换和曲率评估的方法检测血管。Bankhead等人提出了基于各向同性非抽样小波变换(IUWT)的方法，结合基于最大梯度的边缘检测算法，可达到93.71％的准确率。

基于学习的视网膜图像血管分割方法大致可以划分为两类：基于传统机器学习的方法和基于深度学习的方法。基于传统机器学习的方法主要是选取有效特征和分类器选择，而基于深度学习的方法关键在于网络结构的设计。Niemeijer等人采用KNN(k-NearestNeighbor)分类器对视网膜数字图像中的每个像素进行分类。Soares等人提出了采用类条件概率密度函数的贝叶斯分类器，其中特征向量由像素强度和二维Gabor小波变换响应组成。Xu等人采用自适应局部阈值将原图像转换成二进制图像，提取出大量连通部分作为血管，然后训练支持向量机对剩余的图像像素进行分类，平均准确率为93.2％。基于固定长度的物体的平均灰度值估计，Ricci等人提出了采用线性检测器和支持向量机对视网膜图像像素进行分类。Melinsca等人提出一个10层的CNN网络用于视网膜图像血管分割，针对视网膜图像进行逐像素的分类以完成分割，可达到94.66％的平均准确率。Maji等人提出使用12个卷积神经网络构成一个集成学习框架，对每幅图像经过12个网络分割后取平均值，以克服单个复杂网络容易造成过拟合的问题，平均准确率为94.7％。Li等人提出一个多隐层的神经网络完成端到端的分块分割，不需要额外的预处理和后处理步骤，但是该网络需要使用自编码器进行预训练以使得网络能够收敛，能够达到95.22％的平均准确率。

发明内容

本发明所要解决的技术问题是提供一种基于深度学习自适应权重的视网膜血管分割方法，能够实现端到端的网络训练，在视网膜血管图像分割上达到很好的效果。

为解决上述技术问题，本发明采用的技术方案是：

一种基于深度学习自适应权重的视网膜血管分割方法，包括以下步骤：

步骤1：对数据库中的视网膜血管图像进行样本扩充，并对扩充后的样本进行分组；

步骤2：在Caffe(Convolutional Architecture for Fast Feature Embedding，快速特征提取卷积框架)库中构建血管分割(Seg Vessel)全卷积神经网络，将视网膜血管图像训练样本作为血管分割全卷积神经网络的输入，对神经网络进行预训练，对视网膜血管图像进行全局自适应权重分割，得到视网膜血管图像分割预训练的初始模型参数；

所述血管分割全卷积神经网络由神经网络块组合而成，每3个神经网络块形成一组，每组内的参数一致；每个神经网络块有三个不同的分支，第一分支直接由输入连接输出结果，形成了快捷连接，第二分支使用带孔的卷积(atrous卷积)，扩大感受野，第三分支用于学习抽象的特征；

步骤3：在网络层最后添加条件随机场层，对网络进行调优；条件随机场能量函数包括一元能量项和二元能量项，其中一元能量项是基于每个像素属于各个类别的概率，二元能量项是基于图像中任意两像素之间的灰度值差异和空间距离的能量；

步骤4：采用轮换测试方法将测试样本输入血管分割全卷积神经网络，得到视网膜血管图像分割结果图。

根据上述方案，在步骤1中，对视网膜血管图像进行扩充处理，具体包括上下平移、左右平移、旋转90°、旋转180°、旋转270°、上下对称变换、左右对称变换和亮度变换。

根据上述方案，所述步骤4中，轮换测试方法具体为：对数据进行分组，每5张图片作为一组；当其中一组作为测试数据时，另外所有样本都作为训练数据训练一个模型，用训练的模型测试此5张图片；以此类推，所有图片都能被测试到。

根据上述方案，所述步骤2中的全局自适应权重分割，其针对视网膜血管图像分割结果中的误分割像素动态地分配较大的权重，对正确分割的像素分配较小的权重，随着迭代的进行不断更新像素在损失函数中的权重。

与现有技术相比，本发明的有益效果是：通过提出新的血管分割全卷积神经网络结构，能够实现端到端的网络训练，在视网膜图像分割上达到了很好的效果。在DRIVE和CHASE_DB1两个国际公开视网膜图像数据库上进行测试，平均准确率分别达到了96.00％和95.17％，均高于目前最新的算法。本发明还提出了自适应权重的方法，促使神经网络的损失函数主要来自于误分割的区域，一方面消除了由于背景像素和血管像素比例差异较大而导致的类不均衡问题，另一方面也使得网络专注于学习误分割的区域，加速了网络的收敛，有效避免了图像背景中类似血管状的纹理引入的干扰，提高了分割精度。

附图说明

图1是视网膜血管图像分割流程示意图。

图2是血管分割全卷积神经网络块示意图。

图3是血管分割全卷积神经网络框架图。

图4是权重在迭代过程中的变化图之迭代0次。

图5是权重在迭代过程中的变化图之迭代40次。

图6是权重在迭代过程中的变化图之迭代267次。

图7是权重在迭代过程中的变化图之迭代2522次。

图8是DRIVE数据库血管图像分割准确率与阀值曲线图。

图9是DRIVE数据库血管图像分割ROC曲线图。

具体实施方式

本发明方法首先对视网膜血管图像进行样本扩充，并对样本进行分组；针对感受野较小和收敛速度慢的问题，建立血管分割全卷积神经网络结构，用训练样本对网络进行预训练，得到视网膜血管分割初始模型参数；为了解决视网膜图像中血管像素和背景像素比例不平衡的问题，提出一种全局自适应权重的方法，能够随着迭代的进行更新像素在损失函数中的权重，促使神经网络的损失函数主要来自误分割的区域，同时加速网络收敛；在网络层最后添加条件随机场层，增强特征的空间约束，对网络进行调优；最后采用轮换测试的方法将测试样本输入网络，得到视网膜血管分割结果图。

下面通过实例对本发明方法及效果进行详细说明。

步骤1：对数据库中的视网膜血管图像进行样本扩充，并对样本进行分组。

本发明中所使用的公开数据库包括DRIVE(Digital Retinal Image for VesselExtraction)和CHASE_DB1。DRIVE包含了40张视网膜图像，分辨率为565×584。CHASE_DB1主要包含了14组视网膜图像，每组两张，分别为左眼和右眼图像，分辨率较高，达到了999×960。

由于数据库中的图像数量太少易导致过拟合，因此对样本进行扩充。对视网膜血管图像和对应的标签图像分别进行上下平移、左右平移、旋转90°、旋转180°、旋转270°、上下对称变换、左右对称变换和亮度变换，完成对视网膜血管图像的数据扩增，然后打乱顺序，将每5个样本作为一组，对数据进行分组处理。

步骤2：将视网膜图像训练样本作为神经网络的输入，在Caffe库中构建设计的血管分割全卷积神经网络，对神经网络进行预训练，对视网膜血管图像进行全局自适应权重分割，得到视网膜血管分割预训练的初始模型参数。

实验硬件：中央处理器为2颗E5 2620V3，图形处理器为GTX Titan X，随机存取存储器为128GB。实验软件：操作系统为乌班图16.04LTS 64位版，深度学习库为Caffe，加速工具使用了cuDNN5.1。

步骤2-1：本发明中设计的血管分割全卷积神经网络是由9个如图2所示的神经网络块组合而成的，每3个块形成一组，每个组内的参数是一致的。血管分割全卷积神经网络框架图如图3所示，每两个组之间由卷积、批规范化、参数修正线性单元连接。三个组的卷积核个数分别设置为16、24和32，随着网络深度的增加，网络学习到的特征更加抽象。在每个组的后面都连接了一个卷积层和一个损失函数层，其中卷积层的目的是为了将输出的通道数降低为2，使得输出的特征图和背景、血管两个类相对应，损失函数层是为了得到损失函数。三个损失函数层能够得到三个损失函数值并且产生三个梯度，独立地进行反向传播，浅层的参数能够被三个梯度及时更新。第一个损失函数保证了前面三个网络块学习到了视网膜图像中区分血管和背景的特征，接下来的三个网络块在前面特征的基础上继续学习，所以第二个损失函数也就保证了这三个块能够学习到更好的特征。以此类推，最后三个网络块学习到的特征应该是三个组当中最适合于分割图像的特征。

上述神经网络块有三个不同的分支，如图2所示，分支1直接由输入连接输出结果，形成了快捷连接，分支2主要是使用了带孔的卷积(atrous卷积)，扩大感受野，分支3拥有最多的神经网络层，主要是用于学习更抽象的特征。神经网络块中的所有卷积层的卷积核尺寸都设置为3×3，三个分支最后通过对应位置相加的方式组合在一起，作为整个神经网络块的输出结果。

其中，快捷连接相当于神经网络中的残差，带有这种快捷连接的神经网络又被称为残差网络(Residual Network)。神经网络的层数越深，能所学习到的特征也就越抽象，因此层数对神经网络影响很大。但是当层数增加时，更深的模型却很难表达浅层已学习到的特征，梯度消失、梯度爆炸的问题也会更明显。假设期望的神经网络的输入输出映射关系为H(x)，令实际映射为F(x)＝H(x)-x，原始的映射即可表示为H(x)＝F(x)+x。在最极端情况下，如果x本身即是最优的特征，只需使F(x)为0即可。这就保证了添加神经网络层后，整个神经网络学习到的特征不会变差。分支1使用了该原理，使输入的数据能够直接流向输出。整个快捷连接过程表示为：

y＝F(x,{W_i})+W_sx， (1)

其中，W_i为映射F的参数，而W_s是为了使F(x)和x尺寸不一致时能够相加而引入的一个线性投影矩阵。

为保留更多的血管细节特征，网络结构中须保持输出图像和输入图像尺寸大小相同，由于视网膜血管中存在大量细小的血管，特别是处于末端的血管网，池化时容易丢失这些细节信息，本发明中设计的网络结构没有采用池化层。为了达到较大的感受野而又不增加网络的参数，分支2中主要采用atrous卷积来扩大感受野，首先考虑一维信号，atrous卷积表示为：

其中x为输入信号，y为输出信号，w为卷积核参数，K为卷积核内参数个数，r为膨胀参数，用于控制跳过的元素个数。卷积神经网络中常用的二维卷积操作，卷积核在图像中只能与相邻的元素乘积，而atrous卷积可以通过控制膨胀参数r来控制卷积时可以跳过的元素个数。分支2中的膨胀参数r控制着感受野的增长速度，在本发明中设置为3。

分支3在整个网络块中层数最多，该分支有两个卷积层，能够学习到的特征更加抽象，其中还引入了批规范层和参数修正线性单元。

令批规范化层地输入为x＝(x⁽¹⁾,x⁽²⁾,...,x^(d))，d表示输入的维度，则每个维度上都可以被规范化为

其中，为规范化后的数据，E[x^(k)]为输入数据的期望，Var[x^(k)]为其方差。必须注意到简单的规范化层的每个输入会改变这个层所表达的特征，限制了数据地表达能力。因此，为了增加该层能够表达地特征地范围，对公式(3)引入缩放、平移量：

其中，γ^(k)和β^(k)均为该层中可以学习更新地变量。批规范化将数据规范化到同一合适的分布下，加快了网络的收敛速度。

本发明中还引入了参数修正线性单元(Rectified linear unit，PReLU)，其函数表示为：

其中l表示当前为第l层，i和j表示像素在图像矩阵中的横纵坐标，x表示输入变量，y表示输出变量，是用于增强特征表达能力的参数。

步骤2-2：为了促使神经网络学习的损失函数主要来自误分割的区域，提出了自适应权重方法。自适应权重更新过程如下：

其中，i，j分别为权重矩阵的行号和列号，w为权重矩阵，k表示当前迭代次数为k,c为设置的常数，本发明中设置c＝2，o_i,j为输出矩阵在i行j列的值，l_i,j为标注的矩阵在i行j列的值，δ函数为判断输出值和标签值是否相等，相等则为0，不相等则为1。由于权重矩阵值不可能无限增加，需要进行归一化，

其中，w_max和w_min即为权重矩阵的最大值和最小值，为平均值。由于常量c＞0，每次归一化时，δ(o_i,j,l_i,j)＝1的点，其权重值会接近于0；而对于δ(o_i,j,l_i,j)＝0的点，其权重值会被削弱到原来的1/c+1。因此，对于整个权重矩阵而言，归一化后使得分割正确的像素点的权重被削弱，c值越大，这些点的权重衰减越快。n次迭代中，如果这些点都被正确分割，则其权重衰减到原来的1/(c+1)ⁿ。

自适应权重对损失函数值表示为：

其中，f(i,j)为输出矩阵中第i行j列元素产生的损失函数值。在梯度反向传播时，由公式(5)可知，损失函数值主要由权重较大的元素所决定，而权重小的元素在损失函数中影响甚微，所以梯度也是主要由权重较大的元素所决定。因此，由于神经网络是通过梯度来更新参数，所以整个网络是由学习权重较大的元素决定的，因此神经网络主要是在学习被分割出错的部分，进一步提高视网膜血管图像分割准确率。

将训练样本对应的标签图像进行数学形态学膨胀运算所得到的图像矩阵作为初始权重值，随着迭代的进行，权重矩阵可视化的结果如图4至图7所示，其中亮度越高的区域表明网络分割的错误次数越多。迭代次数为0时，得到的是初始化的权重矩阵。权重矩阵主要是为了使网络能够更好将注意力聚集于血管附近。迭代过程中，网络从学会区分视网膜圆形区域过渡到视网膜血管区域、视盘、圆形边界、血管末端以及随机噪声处。而当迭代到了2522次时，网络基本上只在血管附近才分割出错。

选择交叉熵函数作为损失函数进行预训练，设N表示每幅图像中的像素个数，y_n表示对应像素的标签值，0表示背景，1表示血管；表示对应像素的网络的预测结果值，w为网络中的参数，则有

采用Nesterov的加速梯度方法最小化损失函数，首先按照原来的更新方向更新一步，然后在该位置计算梯度值，用这个梯度值修正最终的更新方向。选择多步学习率策略改变学习速率，本发明的神经网络中所有的参数更新可以按如下方式进行：

θ_t＝θ_t-1+v_t (11)

其中，ν表示权重，t表示时间，μ表示动量的控制参数，表示函数的梯度，θ为网络中的参数，ε为学习率，设置初始学习率为1×10⁹，根据迭代次数而逐渐减小。当达到指定的迭代次数时，网络停止训练，得到预训练的模型参数。

步骤3：在网络层最后添加条件随机场层，对网络进行调优。

利用预先训练的参数对神经网络进行初始化，使用条件随机场对视网膜血管图像进行分割，为网络的特征添加更强的空间约束。本发明中采用的条件随机场能量函数包括一元能量项和二元能量项，其中一元能量项是基于每个像素属于各个类别的概率，二元能量项是基于图像中任意两像素之间的灰度值差异和空间距离的能量。

假设X为像素向量，x_i为第i层的标签，ψ_u(x_i)表示将元素i划分为标签x_i的能量，ψ_p(x_i,x_j)表示将像素点i，j同时划分为x_i，x_j的能量，则能量函数可以表示为

对网络进行调优，此时训练集不再使用扩充的样本，而只使用原始的图像样本。通过最小化能量函数，不断更新网络层的权值和偏置的大小。学习率降低到5×10^-10，调优的迭代次数设置为5000次。

对网络进行二次调优，此时训练集同样只使用原始图片样本，而且只使用了当前数据库中的样本，即训练DRIVE时不使用CHASE_DB1数据，训练CHASE_DB1时也不会使用DRIVE数据。学习率降低到1×10^-10，二次调优的迭代次数设置为2000次。

步骤4：采用轮换测试的方法将测试样本输入血管分割全卷积神经网络，得到视网膜血管图像分割结果图。

为了充分利用有限的数据，在测试阶段采用轮换训练测试的方法。首先对数据进行分组，每5张图片作为一组。当其中一组作为测试数据时，另外所有样本都作为训练数据训练一个模型来测试这5张图片。以此类推，所有图片都可以被测试到。但是在同一个模型中，测试集和训练集没有相同的图片。

利用本发明提出的血管分割全卷积神经网络结构和全局自适应权重分割方法在DRIVE数据库下的分割结果如图8、图9所示，在阈值为0.9时，分割准确率下降速度加快，说明本发明的血管分割全卷积神经网络最后输出的概率图中对于判断为血管的像素，其概率主要集中于0.9附近。通过实验验证，在DRIVE数据库上，视网膜血管图像分割平均准确率达到了96.00％，平均召回率达到了77.46％，都高于目前提出的其他算法，处理一张图像只需要0.57秒。而且，平均准确率超过了人类的94.72％。在CHASE_DB1数据库上，本发明算法的平均准确率达到了95.38％，也优于其他算法，仅比人类分割结果低0.15％。

Claims (4)

1.一种基于深度学习自适应权重的视网膜血管分割方法，其特征在于，包括以下步骤：

步骤1：对数据库中的视网膜血管图像进行样本扩充，并对扩充后的样本进行分组；

步骤2：在Caffe库中构建血管分割全卷积神经网络，将视网膜血管图像训练样本作为血管分割全卷积神经网络的输入，对神经网络进行预训练，对视网膜血管图像进行全局自适应权重分割，得到视网膜血管图像分割预训练的初始模型参数；

所述血管分割全卷积神经网络由9个神经网络块组合而成，每3个神经网络块形成一组，每组内的参数一致；每个神经网络块有三个不同的分支，第一分支直接由输入连接输出结果，形成了快捷连接，第二分支使用带孔的卷积，扩大感受野，第三分支用于学习抽象的特征；

步骤3：在网络层最后添加条件随机场层，对网络进行调优；条件随机场能量函数包括一元能量项和二元能量项，其中一元能量项是基于每个像素属于各个类别的概率，二元能量项是基于图像中任意两像素之间的灰度值差异和空间距离的能量；

步骤4：采用轮换测试方法将测试样本输入血管分割全卷积神经网络，得到视网膜血管图像分割结果图。

2.如权利要求1所述的一种基于深度学习自适应权重的视网膜血管分割方法，其特征在于，在步骤1中，对视网膜血管图像进行扩充处理，具体包括上下平移、左右平移、旋转90°、旋转180°、旋转270°、上下对称变换、左右对称变换和亮度变换。

3.如权利要求1所述的一种基于深度学习自适应权重的视网膜血管分割方法，其特征在于，所述步骤4中，轮换测试方法具体为：对数据进行分组，每5张图片作为一组；当其中一组作为测试数据时，另外所有样本都作为训练数据训练一个模型，用训练的模型测试此5张图片；以此类推，所有图片都能被测试到。

4.如权利要求1所述的一种基于深度学习自适应权重的视网膜血管分割方法，其特征在于，所述步骤2中的全局自适应权重分割，其针对视网膜血管图像分割结果中的误分割像素动态地分配较大的权重，对正确分割的像素分配较小的权重，随着迭代的进行不断更新像素在损失函数中的权重。