CN109685813B - 一种自适应尺度信息的u型视网膜血管分割方法 - Google Patents

Abstract

本发明涉及一种自适应尺度信息的U型视网膜血管分割方法，包括视网膜血管图像预处理；构建视网膜血管分割模型二步骤。本发明能有效地解决相邻血管易相连、微血管过宽、细小血管易断裂、血管交叉处分割不足以及对图像噪声过于敏感、目标与背景灰度值交叉、视盘与病灶误分割等问题。本发明在较低复杂度的情况下融合多种网络模型，在DRIVE数据集上取得优异的分割结果，其准确率和灵敏度分别为97.48％和85.78％。ROC曲线值达到98.72％，已达到现在医疗实际应用的水准。

Description

一种自适应尺度信息的U型视网膜血管分割方法

技术领域

本发明涉及一种自适应目标尺度信息的U型密集连接视网膜血管分割方法，较好地解决了现有算法对血管尺度、姿态和纹理边缘信息鲁棒性不强的问题，有助于解决算法存在微血管分割不足、微血管分割过宽、血管交叉处分割断裂、病变处血管断裂、病灶与视盘误分割为血管等问题。

背景技术

血管是视网膜最重要的组成部分之一，视网膜血管分割和血管形态属性的划分，如长度、宽度、迂曲和角度，可用于各种心血管和眼科疾病的诊断、筛选、治疗和评估。近年来深度学习模型能够通过组合底层的特征形成高层的数据抽象特征进而模拟人类大脑认知机制，且能够自动发现隐藏在数据中的模式，具有强大的数据结构学习能力和特征提取能力，可以使用这类模型来学习图像形状复杂的全局特征进而表征形状，但传统的卷积模型仍然存在模型固化，尺度单一等缺点。

最新文献“(蒋芸,谭宁.基于条件深度卷积生成对抗网络的视网膜血管分割[J/OL].自动化学报:1-12,2018-08-27.doi.org/10.16383/j.aas.c180285.)”记载，在DRIVE数据集上分割准确率和灵敏度分别在96.08％和82.74％，而在医学图像处理技术中，视网膜血管分割结果准确率即使提升0.1％都需要在算法复杂度与分割性能之间做出优异的权衡，往往高精度代表着算法的高复杂度，达不到实时辅助专家医疗的水平。

发明内容

本发明的目的是针对视网膜血管特征复杂多样与现有分割算法存在的不足，提出一种自适应尺度信息的U型视网膜血管分割方法。

本发明的技术方案：一种自适应尺度信息的U型视网膜血管分割方法，包括以下步骤：

步骤A01，视网膜血管图像预处理：

首先利用二维K-L变换方法综合分析视网膜图像的RGB三通道的频带信息，获取最优化目标形态结构和特征信息的第一主分量p₁作为主要研究对象；然后利用多尺度形态学Top-Hot滤波提升视网膜图像微小血管的多尺度亮、暗细节特征，并平滑去噪；

步骤A02，构建视网膜血管分割模型：

首先在U-net模型中引入局部信息熵采样方法将视网膜图像划分为含血管信息量丰富的块状图像，有助于增加训练集，解决算法过拟合的问题；编码部分引入DenseNet网络DenseBlock结构，并且在DenseBlock结构嵌入可变形卷积层Deformable Convolutional，这样不仅能有效地学习金标准图像提供的特征信息，而且具有自适应血管形态结构和尺度信息能力，使得算法更鲁棒地提取血管复杂结构的特征信息；同时DenseBlock结构能充分利用每层可变形卷积的前后输出层特征图的结构信息，以降低特征提取时的网络参数复杂度，进一步克服原始U-net网络存在对底层卷积层血管特征信息利用不全的现象；其次，在U型模型底部引入金字塔型空洞卷积，通过设置不同扩张率有助于空洞卷积捕捉血管的局部或者全局特征信息，同时在增加网路整体的感受野信息情况下不增加算法的复杂度；在解码部分引入带有注意门模型Attention gates的反卷积网络；注意门模型Attentiongates，简称AGs，AGs可以根据金标准图像g_τ特征信息增加经编码处理后第l网络层输入特征图

血管的权重特征，能有效捕捉到血管的全局或者局部特征信息，并且过滤背景伪影、硬性渗出物、视盘和黄斑，提升反卷积层对血管图像信息的恢复和特征整合的性能，并结合U-net自身具有将高层信息与底层信息相结合的优点，有利于降低解码操作在恢复图像细节信息时，因信息恢复不全而造成的微血管断裂和分割不足的现象；最后，由Softmax激活函数进行血管与背景像素分类，以实现视网膜血管精分割。

所述的视网膜血管图像预处理包括以下子步骤：

步骤A01.1，利用二维K-L变换分析图像的统计信息来减少由颜色频带之间组成的数据维度，同时尽可能地保留数据集中主要的血管空间尺度信息；对于原始三通道图像x＝(x_R,x_G,x_B)^T，频带之间信息是不相关的，故将原始颜色频带分量转换到主分量P＝(p₁,p₂,p₃)空间并创建三个新通道R′,G′,B′，相当于将原始RGB坐标系的中心点移到点分布的中心位置；原始图像x＝(x_R,x_G,x_B)^T经K-L变换得到图像I_k，其定义如下：

式(1)中，

为x的协方差矩阵的特征向量矩阵，T为转置符号；k＝1,2,3；为了找到图像三通道的主分量P＝(p₁,p₂,p₃)，并得到特征向量矩阵，需要将数据进行协方差对角化，故定义协方差矩阵C(i,j)为：

式(2)中，x_i(m,n)和x_j(m,n)分别为像素点(m,n)在i和j频带的值；x_i0和x_j0分别为i和j频带的平均值；由于眼底视网膜图像有R、G和B三个频带，故i,j＝1,2,3；N为像素个数；

步骤A01.2，由多尺度形态学Top-Hot变换进行血管图像的整体增强，同时提取视网膜血管的微血管信息；通过控制图像边缘信息控制因子γ_a，调整相邻血管像素尺度的差值，降低视盘与黄斑特征信息的干扰，提高视网膜图像微小血管的多尺度亮、暗细节特征；多尺度形态学Top-Hot模型定义如下：

式(3)中，N为视网膜图像像素索引；λ为视网膜图像边缘增强因子；I_d为输出图像；I₁为包含最优化目标形态结构和特征信息的第一主分量p₁所对应的图像；Dop_a与Dcl_a分别为视网膜图像血管的亮与暗细节特征；控制因子γ_a的值由下式给出：

式(4)中，Sigmoid为激活函数；e_a是视网膜图像膨胀与腐蚀之差；e_amax与e_amin分别为e_a的最大值与最小值；γ_a的变化主要由视网膜图像的梯度信息决定；m，n为图像邻域像素值；

步骤A01.3，采用48×48的滑动窗口根据金标准图像局部块状所提供的目标特征信息确定训练图片局部区域的标签，并通过局部信息熵采样的方法捕捉预处理图像中的信息熵最高的块状部分，确保局部块状中含有目标特征信息；其图像信息熵H定义如下：

式(5)中，h为灰度级，q_h为在灰度级h下的概率。

所述的构建视网膜血管分割模型包括编码、解码和视网膜血管分割三部分：

A02.1编码部分：

在U-net编码部分将DenseNet网络的DenseBlock结构与可变形卷积相结合，密集连接的路径有助于保证可变形卷积层之间的最大信息流，进而提高可变形卷积对目标尺度和形态特征的提取，从而改善梯度消失的问题；设l层的输出为θ_l，则该模型第l层的输出定义为：

θ_l＝H_l([θ₀,θ₁,…,θ_l-1]) (6)

式(6)中，θ₀,θ₁,…,θ_l-1表示0,1,…,l-1层输出特征层的特征相合并,H_l(·)表示第l层非线性映射；函数H_l(·)会产生κ个特征映射，κ为增长率，则l层会具有κ₀+κ(l-1)特征映射，其中κ₀是输入层中的通道数目，因此每一层可以访问其模块中所有前面的特征映射；此外，DenseNet网络结构一个重要优势可以设定一个固定的特征图增长率κ；因此提取的特征图相比传统网络具有更少的输出维数，避免学习冗余特征，从而增强网络对视网膜血管分割的性能；可变形卷积通过偏移量Δt_b提升

的提取特征能力，其定义为：

式(7)中f(·)为输入特征图；w表示样本权重值；t_b表示在

的局部位置；b＝1,...,N，

y(t₀)为可变形卷积的输出特征图；

编码部分的底部设置为金字塔型的空洞卷积模块，以进一步提高中间图像特征映射的感受野信息；空洞卷积将传统矩形卷积核的每个像素之间插入为0的像素值，从而增加网络的扩张率r；设输入与滤波器分别为E[s]和

的空洞卷积输出y'[s]定义如下：

式(8)中，L是

的长度；β为卷积核的大小，经扩张后卷积核为β'＝β+(β-1)(r-1)；采用小扩张率多尺度的策略，组成金字塔型的空洞卷积网络，该扩张率设置公式定义如下：

M_v＝max[M_v+1-2r_v,M_v+1-2(M_v+1-r_v),r_v] (9)

其中，M_v是指第v层的最大扩张率，r_v为第v层的扩张率，即设置扩张率为r＝1,2,5,1；

A02.2解码部分：

在解码结构中利用上池化跟踪目标图像的原始位置，上池化层能通过使用一组转换变量记录每个池化区域内的最大值激活位置，以获得近似的池化逆过程，有效地重构血管的精细分辨率结构信息，并以此联系空间网络水平模型的位置和全局范围内血管组织的关系；同时引入反卷积层学习上池化层的稀疏特征图，该反卷积层具有多个学习滤波器，能有效地捕捉血管特征图不同级别的细节信息；

在上池化层和反卷积层基础上引入注意门AGs模型降低周围噪音的干扰；AGs模型通过一个跳过连接传播特征，即不再经过上池化层，更重要的是AGs模型每跳过连接的选通信号可以聚集来自多个成像尺度的血管信息；AGs模型在不相关的背景区中会逐渐抑制特征响应，而不需要在网络之间裁剪感兴趣区域ROI，进而降低算法的计算复杂度，解决传统U-net卷积网络对特征图注意力分散的现象，使得血管权重与背景噪音权重具有明显差异，大幅度提高U型网络对背景的抗噪能力，降低假阳性率；设AGs模型的门注意系数为

通过该系数能够识别血管特征的显著性区域和修剪相应的特征，仅保留与特征任务相关的特征信息，降低数据的冗余度。AGs输出特征

定义如下：

式(10)中，x'_τ为输入特征图，l为网络层，d表示通道尺寸，τ为像素空间大小；AGs的门注意系数

可以通过加性注意公式

得到

式(11)中T为转置符号；η为视网膜血管特征图学习参数；AGs的特征由一组包含线性变换的参数ξ_att得到，该参数ξ_att包括：线性转换系数W_x',W_g分别为输入图像和金标准图像权重系数，b'_g和b'_η为偏置项；σ'₁为ReLU激活函数：

在式(12)中，为防止特征过于稀疏，选择sigmoid激活函数

进行非线性变换；x'_τ和g_τ分别为输入特征图和金标准图像。AGs通过结合编码结构的特征图分析得到相应的门相关系数，使得AGs能够集中于与金标准图像相似的主要目标信息的结构特征，剔除其他噪音等异常特征信息影响；

A02.3视网膜血管分割部分：

视网膜血管分割的整个训练过程通过交叉验证来最小化像素分割错误率，采用Adam算法优化损失函数，最后由Softmax激活函数对血管图像精分割。

本发明不需要按照最新文献“融合形状先验的水平集眼底图像血管分割[J]，梁礼明等，计算机学报，2018,41(7):1678-1692”进行后处理步骤即可得到较精细血管图像。

本发明能有效地解决相邻血管易相连、微血管过宽、细小血管易断裂、血管交叉处分割不足以及对图像噪声过于敏感、目标与背景灰度值交叉、视盘与病灶误分割等问题。本发明在较低复杂度的情况下融合多种网络模型，在DRIVE数据集上取得优异的分割结果，其准确率和灵敏度分别为97.48％和85.78％。ROC曲线值达到98.72％，已达到现在医疗实际应用的水准。

附图说明

图1为本发明经K-L变换后彩色坐标空间形成的点簇。其中p₁,p₂,p₃分别为视网膜图像第一主分量、第二主分量和第三主分量；R′,G′,B′为原始R,G,B三通道转换到主分量P＝(p₁,p₂,p₃)空间所创建的新通道。

图2为本发明利用二维K-L变换提取视网膜图像第一主分量所对应的图像I₁。

图3为本发明采用多尺度形态学高低帽滤波的图像效果图。

图4为本发明局部信息熵采样的效果图。

图5为本发明密集可变形卷积内部结构图。

图6为本发明金子塔型空洞卷积的模型图。

图7为本发明AGs模型内部结构图。

图8为本发明最终的分割结果图。

图9为本发明自适应尺度信息算法的总结网络结构图。

图10为本发明DRIVE数据集ROC曲线图。

具体实施方式

本发明基于U型网络结构融合密集型可变形卷积、金字塔型空洞卷积和带有注意力机制的反卷积层，提出一种自适应目标图像形态结构和尺度信息的U型视网膜图像分割算法；此模型能更高效、更高精度地捕捉血管形状特征，可以简化目前眼科专家采取手工提取视网膜血管的繁琐过程，并将其从定性分析转为定量分析，避免不同眼科医生因主观因素存在的误差，为临床眼科医生对疾病的诊断和治疗提供帮助。

实验说明：实施例数据来自DRIVE数据库健康人的03_test视网膜图像。

下面结合具体实施方式，进一步阐述本发明。

步骤A01，视网膜血管图像预处理：

步骤A01.1利用二维K-L变换分析图像的统计信息来减少由颜色频带之间组成的数据维度，同时增加血管与背景的类间差异，提高目标图像的可分性。由原始图像x＝(x_R,x_G,x_B)^T经K-L变换得到图像I_k，其定义如下：

式(1)中，

为x的协方差矩阵的特征向量矩阵，T为转置符号；k＝1,2,3；同时，将数据进行协方差对角化，故定义协方差矩阵C(i,j)为：

式(2)中x_i(m,n)和x_j(m,n)分别为像素点(m,n)在i和j频带的值；x_i0和x_j0分别为i和j频带的平均值；由于眼底视网膜图像有R，G，B三个频带，故i和j取值仅为三种；N为像素个数。K-L变换综合考虑了原始视网膜图像RGB三通道频带信息，因此变换后得到灰度图能更好的反映出血管的本质特征信息，其中第一个主分量P₁包含最优结构化的目标形态结构和特征信息，故选取第一主分量图像I₁作为进一步处理对象，如图2所示；

步骤A01.2构建多尺度形态学Top-Hot模型，以增强血管与其周围区域背景之间的对比度差异性，由形态学运算滤除比目标结构小的亮或暗细节特征信息，而且按照一定比例增强目标的细节信息，同时能够保证图像的灰度不变性。多尺度形态学Top-Hot模型定义如下：

式(3)中，N为视网膜图像像素索引；λ是视网膜图像边缘增强因子；I_d为输出图像；I₁为包含最优化目标形态结构和特征信息的第一主分量p₁所对应的图像；Dop_a与Dcl_a分别为视网膜图像血管的亮与暗细节特征；控制因子γ_a的值由下式给出：

式(4)中，Sigmoid为激活函数；e_a为视网膜图像膨胀与腐蚀之差；e_amax与e_amin分别为e_a的最大值与最小值；γ_a的变化主要由视网膜图像的梯度信息决定；m，n为图像邻域像素值；黄斑、宽血管与背景之间梯度信息较大，增强程度较弱；微小血管与背景梯度信息适中，为突出微小血管特征等隐藏细节，进行较大的增强；微小血管与主血管存在较小梯度信息，为避免微小血管过度增强致使分割结果变粗，增强程度相应减弱，其效果如图3所示；

步骤A01.2采用48×48的滑动窗口与局部信息熵采样的方法，根据金标准图像局部块状所提供的目标特征信息确定训练图片局部区域的标签，其图像信息熵H定义如下：

式(5)中，h为灰度级，q_h为在灰度级h下的概率；局部信息熵采样的效果如图4所示。

步骤A02，构建视网膜血管分割模型：

步骤A02.1编码部分：在U-net编码部分将DenseNet网络的DenseBlock结构与可变形卷积相结合，构成密集连接模型。密集连接的路径有助于保证可变形卷积层之间的最大信息流，进而提高可变形卷积对目标尺度和形态特征的提取，从而改善梯度消失的问题；设l层的输出为θ_l，则该模型第l层的输出定义为：

θ_l＝H_l([θ₀,θ₁,…,θ_l-1]) (6)

式(6)中，θ₀,θ₁,…,θ_l-1表示0,1,…,l-1层输出特征层的特征相合并,H_l(·)表示第l层非线性映射；函数H_l(·)会产生κ个特征映射，κ为增长率，则l层会具有κ₀+κ(l-1)特征映射，其中κ₀是输入层中的通道数目，因此提取的特征图相比传统网络具有更少的输出维数，避免学习冗余特征，从而增强网络对视网膜血管分割的性能，可以更准确且更多地提取微血管特征信息，保证网络编码部分的特征提取能力，其可变形卷积y(t₀)的定义为：

其中，f(·)为输入特征图；w表示样本权重值；t_b表示在

的局部位置；b＝1,...,N，

Dense Block结构与可变形卷积融合的模型如图5所示；

在图5中虽然每层的特征映射均由κ作为限制，但仍然会使下一个密集模块具有大量的输入，因此在每个3×3可变形卷积前和整个密集模块后引入1×1卷积层作为瓶颈层，以减少输入特征映射的数量，从而提高计算效率；卷积核为3×3四部分密集可变形卷积网络结构提取相关血管特征，并设定特征图增长率κ＝12控制特征参数的数目，提高特征提取的效率，降低特征图冗余度；接着将每层的前后层特征图信息进行合并并重复利用，其中激活函数均指数线性单元Exponential Linear Unit,简称ELU；然后将视网膜图像特征图信息进行批量归一化Batch Normalization，简称BN，每次选取15个数据处理，用来降低模型训练中的协变转移，防止因视网膜图像存在病理性造成梯度消失，并且降低网络对初始参数选择的敏感性；密集可变形卷积层后均有一层具有平移不变性的2×2最大下采样层Maxpooling用以整合Dense block提取的血管特征，提高特征图感受野，减少后续训练的参数；

将编码部分的底部设置为金字塔型的空洞卷积模块，以进一步提高中间图像特征映射的感受野信息；空洞卷积将传统矩形卷积核的每个像素之间插入为0的像素值，从而增加网络的扩张率r；设输入与滤波器分别为E[s]和

的空洞卷积输出y'[s]定义如下：

式(8)中，L是

的长度；β为卷积核的大小，经扩张后卷积核为β'＝β+(β-1)(r-1)。本发明采用小扩张率多尺度的策略，组成金字塔型的空洞卷积网络，该扩张率设置公式定义如下：

M_v＝max[M_v+1-2r_v,M_v+1-2(M_v+1-r_v),r_v] (9)

式(9)中，M_v指的是第v层的最大扩张率，r_v为第v层的扩张率；空洞卷积模型如图6所示；

步骤A02.2解码部分：虽然编码结构的最大池化层能保留鲁棒性强的激活特征，但是仍会造成部分空间信息在汇集期间丢失，为了解决这一问题，在解码结构中利用上池化跟踪目标图像的原始位置，上池化层能通过使用一组转换变量记录每个池化区域内的最大值激活位置，以获得近似的池化逆过程，有效地重构血管的精细分辨率结构信息，并以此联系空间网络水平模型的位置和全局范围内血管组织的关系；但上池化操作易造成特征较稀疏的现象，故在此基础上引入反卷积学习上池化层的稀疏特征图，该反卷积层具有多个学习滤波器，能有效地捕捉血管特征图不同级别的细节信息，较底层的过滤器捕捉血管的总体轮廓特征，而视网膜图像中的微血管信息和交叉血管处的细节在高层滤波器中体现，进而使得特征图更密集，保证最后分割结构的鲁棒性；

AGs模型根据金标准图像的特征信息将输入图像血管权重系数W_x增大，削弱背景病理信息、视盘和黄斑权重比例，其中AGs模型的注意函数为α_i，该函数主要用来识别显著图像区域和修剪特征，仅保留与特征任务相关的信息；设AGs模型的门注意系数为

通过该系数能够识别血管特征的显著性区域和修剪相应的特征，仅保留与特征任务相关的特征信息，降低数据的冗余度。AGs输出特征

定义如下：

式(10)中，x'_τ为输入特征图，l为网络层，d表示通道尺寸，τ为像素空间大小。AGs的门注意系数

可以通过加性注意公式

得到

式(11)中T为转置符号；η为视网膜血管特征图学习参数；AGs的特征由一组包含线性变换的参数ξ_att得到，该参数ξ_att包括：线性转换系数W_x',W_g分别为输入图像和金标准图像权重系数，b'_g和b'_η为偏置项；σ'₁为ReLU激活函数：

在式(12)中，为防止特征过于稀疏，选择sigmoid激活函数

进行非线性变换；x'_τ和g_τ分别为输入特征图和金标准图像；AGs模型在解码结构中通过跳过上池化层直接级联到下一个反卷积层以融合互补目标的特征信息，同时采用1×1卷积层进行线性变换将特征解耦并映射到低维空间进行选通操作，而U型结构自身具有将高层信息与底层信息结合的优势，有助于进一步降低图像细节因恢复不足而造成目标结构分割断裂或出现缺口的现象，注意门内部结构如图7所示；

将AGs模型提取的特征图通过U型网络特性将编码部分的底层信息与解码部分的高层信息相结合通过3×3卷积层提取更加复杂的特征，从而提高微小血管的分割精度，使得设计的较浅层网络能够完成深层网络的分割性能；紧接着通过核大小为2×2的上池化层进行图像编码，恢复图像信息，并根据金标准图像与网络提取的血管特征信息补足粗分割的血管信息；

步骤A02.3视网膜血管分割部分：视网膜血管分割的训练过程中通过算法随机初始化初始权重信息，设置批量大小为15，迭代100次。通过交叉验证最小化像素错误率，采用Adam算法优化损失函数，其初始学习率设为默认值0.001；为了降低过拟合和加速训练过程收敛，动态设置学习率，若损失迭代4次仍不变降低10倍学习率，若经过20次不变则停止训练；最后由Softmax激活函数对血管图像精分割，得到血管分割结果如图8所示，并且不需要进一步的后处理即可得到较精细血管图像，不存在视盘和相关病理信息误分割的现象。

本发明采用了一种新型的卷积神经网络，在U型网络框架下引入密集可变形卷积结构，在编码结构中较充分地提取血管形态结构和尺度信息，较好地克服了现有算法在视网膜血管分割中微血管分割不足的难题。在U型网络的底部引入U型结构底部去掉池化层采用多尺度空洞卷积的，使得网络具有更大的感受野，并且能获得多尺度下的血管特征信息。在解码部分引入带有注意力机制的反卷积层，解决了现有传统深度学习算法血管特征与噪音的权重比例差距不明显而造成的误分割，并且能有效地恢复编码结构存在信息损失的现象，在DRIVE数据集得到的最终分割结果准确率与灵敏度分别高达97.48％和85.78％；本发明总体网络结构如图9所示。

总体性能由受试者工作特征曲线(receiver operating characteristic curve，简称ROC曲线)体现，ROC曲线以假阳性概率(False positive rate，FPR)为横轴，真阳性率(True positive rate，TPR)为纵轴，如图10所示；ROC曲线值达到98.72％，已达到现在医疗实际应用的水准。

Claims (2)

1.一种自适应尺度信息的U型视网膜血管分割方法，其特征是：包括以下步骤：

步骤A01，视网膜血管图像预处理：

首先利用二维K-L变换方法综合分析视网膜图像的RGB三通道的频带信息，获取最优化目标形态结构和特征信息的第一主分量p₁作为主要研究对象；然后利用多尺度形态学Top-Hot滤波提升视网膜图像微小血管的多尺度亮、暗细节特征，并平滑去噪；

步骤A02，构建视网膜血管分割模型：

首先在U-net模型中引入局部信息熵采样方法将视网膜图像划分为含血管信息量丰富的块状图像，有助于增加训练集，解决算法过拟合的问题；编码部分引入DenseNet网络DenseBlock结构，并且在DenseBlock结构嵌入可变形卷积层Deformable Convolutional，这样不仅能有效地学习金标准图像提供的特征信息，而且具有自适应血管形态结构和尺度信息能力，使得算法更鲁棒地提取血管复杂结构的特征信息；同时DenseBlock结构能充分利用每层可变形卷积的前后输出层特征图的结构信息，以降低特征提取时的网络参数复杂度，进一步克服原始U-net网络存在对底层卷积层血管特征信息利用不全的现象；其次，在U型模型底部引入金字塔型空洞卷积，通过设置不同扩张率有助于空洞卷积捕捉血管的局部或者全局特征信息，同时在增加网路整体的感受野信息情况下不增加算法的复杂度；在解码部分引入带有注意门模型Attention gates的反卷积网络；注意门模型Attentiongates，简称AGs，AGs可以根据金标准图像g_τ特征信息增加经编码处理后第l网络层输入特征图x’_τ ^l血管的权重特征，能有效捕捉到血管的全局或者局部特征信息，并且过滤背景伪影、硬性渗出物、视盘和黄斑，提升反卷积层对血管图像信息的恢复和特征整合的性能，并结合U-net自身具有将高层信息与底层信息相结合的优点，有利于降低解码操作在恢复图像细节信息时，因信息恢复不全而造成的微血管断裂和分割不足的现象；最后，由Softmax激活函数进行血管与背景像素分类，以实现视网膜血管精分割；

所述的视网膜血管图像预处理包括以下子步骤：

步骤A01.1，利用二维K-L变换分析图像的统计信息来减少由颜色频带之间组成的数据维度，同时尽可能地保留数据集中主要的血管空间尺度信息；对于原始三通道图像x＝(x_R,x_G,x_B)^T，频带之间信息是不相关的，故将原始颜色频带分量转换到主分量P＝(p₁,p₂,p₃)空间并创建三个新通道R′,G′,B′，相当于将原始RGB坐标系的中心点移到点分布的中心位置；原始图像x＝(x_R,x_G,x_B)^T经K-L变换得到图像I_k，其定义如下：

式(1)中，

为x的协方差矩阵的特征向量矩阵，T为转置符号；k＝1,2,3；为了找到图像三通道的主分量P＝(p₁,p₂,p₃)，并得到特征向量矩阵，需要将数据进行协方差对角化，故定义协方差矩阵C(i,j)为：

式(2)中，x_i(m,n)和x_j(m,n)分别为像素点(m,n)在i和j频带的值；x_i0和x_j0分别为i和j频带的平均值；由于眼底视网膜图像有R、G和B三个频带，故i,j＝1,2,3；N为像素个数；

步骤A01.2，由多尺度形态学Top-Hot变换进行血管图像的整体增强，同时提取视网膜血管的微血管信息；通过控制图像边缘信息控制因子γ_a，调整相邻血管像素尺度的差值，降低视盘与黄斑特征信息的干扰，提高视网膜图像微小血管的多尺度亮、暗细节特征；多尺度形态学Top-Hot模型定义如下：

式(3)中，N为视网膜图像像素索引；λ为视网膜图像边缘增强因子；I_d为输出图像；I₁为包含最优化目标形态结构和特征信息的第一主分量p₁所对应的图像；Dop_a与Dcl_a分别为视网膜图像血管的亮与暗细节特征；控制因子γ_a的值由下式给出：

式(4)中，Sigmoid为激活函数；e_a是视网膜图像膨胀与腐蚀之差；e_amax与e_amin分别为e_a的最大值与最小值；γ_a的变化主要由视网膜图像的梯度信息决定；m，n为图像邻域像素值；

步骤A01.3，采用48×48的滑动窗口根据金标准图像局部块状所提供的目标特征信息确定训练图片局部区域的标签，并通过局部信息熵采样的方法捕捉预处理图像中的信息熵最高的块状部分，确保局部块状中含有目标特征信息；其图像信息熵H定义如下：

式(5)中，h为灰度级，q_h为在灰度级h下的概率。

2.根据权利要求1所述的一种自适应尺度信息的U型视网膜血管分割方法，其特征是：所述的构建视网膜血管分割模型包括编码、解码和视网膜血管分割三部分：

A02.1编码部分：

在U-net编码部分将DenseNet网络的DenseBlock结构与可变形卷积相结合，密集连接的路径有助于保证可变形卷积层之间的最大信息流，进而提高可变形卷积对目标尺度和形态特征的提取，从而改善梯度消失的问题；设l层的输出为θ_l，则该模型第l层的输出定义为：

θ_l＝H_l([θ₀,θ₁,…,θ_l-1]) (6)

式(6)中，θ₀,θ₁,…,θ_l-1表示0,1,…,l-1层输出特征层的特征相合并,H_l(·)表示第l层非线性映射；函数H_l(·)会产生κ个特征映射，κ为增长率，则l层会具有κ₀+κ(l-1)特征映射，其中κ₀是输入层中的通道数目，因此每一层可以访问其模块中所有前面的特征映射；此外，DenseNet网络结构一个重要优势可以设定一个固定的特征图增长率κ；因此提取的特征图相比传统网络具有更少的输出维数，避免学习冗余特征，从而增强网络对视网膜血管分割的性能；可变形卷积通过偏移量Δt_b提升

的提取特征能力，其定义为：

式(7)中f(·)为输入特征图；w表示样本权重值；t_b表示在

的局部位置；b＝1,...,N，

y(t₀)为可变形卷积的输出特征图；

编码部分的底部设置为金字塔型的空洞卷积模块，以进一步提高中间图像特征映射的感受野信息；空洞卷积将传统矩形卷积核的每个像素之间插入为0的像素值，从而增加网络的扩张率r；设输入与滤波器分别为E[s]和

的空洞卷积输出y'[s]定义如下：

式(8)中，L是

的长度；β为卷积核的大小，经扩张后卷积核为β'＝β+(β-1)(r-1)；采用小扩张率多尺度的策略，组成金字塔型的空洞卷积网络，该扩张率设置公式定义如下：

M_v＝max[M_v+1-2r_v,M_v+1-2(M_v+1-r_v),r_v] (9)

其中，M_v是指第v层的最大扩张率，r_v为第v层的扩张率，即设置扩张率为r＝1,2,5,1；

A02.2解码部分：

在解码结构中利用上池化跟踪目标图像的原始位置，上池化层能通过使用一组转换变量记录每个池化区域内的最大值激活位置，以获得近似的池化逆过程，有效地重构血管的精细分辨率结构信息，并以此联系空间网络水平模型的位置和全局范围内血管组织的关系；同时引入反卷积层学习上池化层的稀疏特征图，该反卷积层具有多个学习滤波器，能有效地捕捉血管特征图不同级别的细节信息；

在上池化层和反卷积层基础上引入注意门AGs模型降低周围噪音的干扰；AGs模型通过一个跳过连接传播特征，即不再经过上池化层，更重要的是AGs模型每跳过连接的选通信号可以聚集来自多个成像尺度的血管信息；AGs模型在不相关的背景区中会逐渐抑制特征响应，而不需要在网络之间裁剪感兴趣区域ROI，进而降低算法的计算复杂度，解决传统U-net卷积网络对特征图注意力分散的现象，使得血管权重与背景噪音权重具有明显差异，大幅度提高U型网络对背景的抗噪能力，降低假阳性率；设AGs模型的门注意系数为

通过该系数能够识别血管特征的显著性区域和修剪相应的特征，仅保留与特征任务相关的特征信息，降低数据的冗余度，AGs输出特征

定义如下：

式(10)中，x'_τ为输入特征图，l为网络层，d表示通道尺寸，τ为像素空间大小；AGs的门注意系数

可以通过加性注意公式

得到

式(11)中T为转置符号；η为视网膜血管特征图学习参数；AGs的特征由一组包含线性变换的参数ξ_att得到，该参数ξ_att包括：线性转换系数W_x',W_g分别为输入图像和金标准图像权重系数，b'_g和b'_η为偏置项；σ'₁为ReLU激活函数：

在式(12)中，为防止特征过于稀疏，选择sigmoid激活函数

进行非线性变换；x'_τ和g_τ分别为输入特征图和金标准图像；AGs通过对跨过连接特征图分析得到相应的门相关系数，使得AGs能够集中于和金标准图像相似的结构特征，剔除其他噪音等异常特征信息影响；

A02.3视网膜血管分割部分：

视网膜血管分割的整个训练过程通过交叉验证来最小化像素分割错误率，采用Adam算法优化损失函数，最后由Softmax激活函数对血管图像精分割。

Images