CN112712526A - 基于非对称卷积神经网络双通道的视网膜血管分割方法 - Google Patents

Abstract

本发明公开了基于非对称卷积神经网络双通道的视网膜血管分割方法。该方法对数据进行预处理，在血管方向最佳匹配角下利用多尺度的Gabor滤波器提取主血管特征图和细血管特征图。针对性地构建主、细血管特征提取非对称卷积神经网络双通道，其中主血管分割网络引入逐级连接策略进行采样，以卷积层级间的信息互补来减少特征丢失，快速定位和精准分割主血管；细血管补偿网络的编‑解码器结合了跳跃连接模块，低层特征图经过不同扩张率的并联空洞卷积块与对应解码器的高层特征图逐级结合，提升细小血管的分割精度。最后将双通道血管分割图融合，从而获取精细的血管分割图。解决了视网膜血管图像中目标方向复杂、细小血管末梢难以识别的问题。

Description

基于非对称卷积神经网络双通道的视网膜血管分割方法

技术领域

本发明属于机器学习与医学图像处理领域，具体涉及一种基于非对称卷积神经网络双通道的视网膜血管分割方法。

背景技术

通过分析视网膜血管的形态结构有助于诊断和预测包括青光眼在内的典型眼科疾病，但现有技术采集得到的眼底图像通常存在光照不均匀和血管粗细、对比度不均衡的情况。因此在眼底图像处理中，由于无法有效区分细小血管与复杂背景的干扰，经常会发生细小血管分割精度过低的问题，视网膜血管分割技术已成为提升眼底图像分析性能和效率的重要因素。

近年来视网膜血管分割研究陆续产生了一些新算法，例如基于多路径网络分割模型，提高血管图像的特征提取性能；还有研究提出一种基于频域分级的眼底图像血管分割方法，将高低频信息分别输入到多路径卷积神经网络中进行特征提取，进而融合高低维特征得到视网膜血管分割图。上述方法虽然考虑到了多路径网络分割的优势，但仍然存在如下问题：(1)血管分割过程中未考虑到血管方向错综复杂且宽度不一，弱化了视网膜血管图像的方向选择和多尺度预处理；(2)网络训练过程中对于层级间的关联性考虑不充分，尤其是多路径网络对于输入差异性的针对性不足，通常单纯地利用通道数合并来实现特征融合，不可避免的在卷积和采样操作过程中损失血管的细节信息。

发明内容

为解决上述存在的问题，本发明提出基于非对称卷积神经网络双通道的视网膜血管分割方法。首先在数据预处理阶段，在求出血管方向最佳匹配角的基础上，利用多尺度的Gabor滤波器自适应地提取表征整体特性的主血管特征图和保留细小血管末梢的细血管特征图。针对主、细血管特征图的特点构建非对称卷积神经网络双通道，包含主血管分割网络和细血管补偿网络。最后将双通道血管分割图融合，以细血管补偿网络分割图补全主血管分割过程中丢失的细小血管末梢，提高网络分割精度。

基于非对称卷积神经网络双通道的视网膜血管分割方法，具体包括以下步骤：

步骤一、获取主、细血管特征图

选取视网膜血管图像的绿色通道分量图像作为待处理图像f(x,y)，x、y分别表示图像像素点的横纵坐标，图像的宽度和高度分别为H、W。

由于血管粗细和对比度特征不均衡，因此引入二维Gabor函数

模拟视皮层简单细胞的方向选择特性和感知尺度差异特性：

其中，

γ表示Gabor滤波器的椭圆率；1/λ表示cosine因子的空间调制频率；σ表示Gabor滤波核响应的尺度，即血管尺度；θ表示Gabor滤波器的方向，即血管方向；

表示Gabor滤波器的相角。

由于待处理图像f(x,y)中血管方向任意，因此θ∈[0,180°)，以15°为间隔，选取12个不同的方向，记为θ_i，i＝1,2,…,12；将12个不同方向的Gabor滤波器分别与待处理图像f(x,y)进行卷积，得到卷积响应

其中，*表示卷积运算。

将卷积响应

经过奇偶对称Gabor滤波处理后得到Gabor滤波器响应

其中，

和

表示卷积响应经过奇偶对称Gabor滤波后的响应，其中

由于血管方向对尺度参数σ不敏感，因此在σ＝2.5的条件下提取不同方向θ_i所对应的Gabor滤波器响应

的最大值

其中，θ_ZY为Gabor滤波响应取最大值时所对应的血管方向，即血管方向最佳匹配角。

设置Gabor滤波核响应的尺度σ∈(σ_min,σ_max]，尺度间隔为tab，选取

个不同的尺度，记为σ_j，j＝1,2,…,

σ₁＝σ_min+tab；在最佳匹配角θ_ZY下提取所有尺度σ_j下的Gabor滤波器响应

并计算其熵ENT_j：

然后获取最大熵值ENT_jmax及其所对应的尺度σ_jmax。

计算细血管特征图

和主血管特征图

作为优选，设置γ＝0.5、λ＝3.5；σ_min＝1，σ_max＝4，tab＝0.5。

步骤二、分割主血管特征图

构建主血管分割网络，将步骤一得到的主血管特征图

输入四个由两个3×3卷积层和2倍下采样组成的模块中，依次得到尺寸为原图1/2、1/4、1/8、1/16的特征图Q_p，p＝1,2,3,4：

Q_p＝pool(conv₁(Q_p-1)) (8)

其中，pool表示2×2最大池化操作；conv₁表示两层3×3、步长为1的普通卷积。Q₀为主血管特征图

引入逐级连接策略，对特征图Q₄进行逐级上采样，完成对主血管特征图的分割：

其中，unsampling表示采用双线性内插值法的上采样操作，Q₃ ¹表示特征图Q₄经过2倍上采样后得到的与特征图Q₃尺寸相同的特征图。

步骤三、分割细血管特征图

构建细血管补偿网络，将步骤一得到的细血管特征图

经过编码器由卷积层和下采样组成的三个模块，依次得到三个低层特征图P₁，P₂，P₃；其中低层特征图P₃经过两个混合空洞卷积残差块，得到特征图P₄：

P₄＝Res2(conv₂(P₃)) (10)

其中，Res2表示两次残差块操作；conv₂表示两层空洞卷积。

将特征图P₄输入解码器由上采样和混合空洞卷积残差块组成的三个模块，依次得到三个高层特征图P₃ ¹，P₂ ¹，P₁ ¹。

在解码器与编码器之间增加跳跃连接模块，通过三个扩张率为2、4、8的空洞卷积并行采样，对应的空洞卷积核n_q为：

n_q＝k+(k-1)×(d_q-1) (11)

其中，d_q表示空洞卷积的扩张率，q＝1,2,3；k表示卷积核尺寸；

将编码器的三个低层特征图P₁，P₂，P₃分别经过三个并联的空洞卷积，将每个特征图获得的三个不同尺度的上下文信息通过串联拼接，形成对应的跳跃响应特征图

将每一层跳跃响应特征图与其对应的解码器高层特征图P_q ¹进行通道拼接后经过解码器的混合空洞卷积残差块后，获得细血管补偿分割图

并且将最后一层解码器输出的

作为细血管的分割图F_fine(x,y)：

作为优选，k＝3。

步骤四、获得血管分割图

对步骤二、三中的非对称卷积神经网络进行双通道融合，将步骤二得到的粗血管分割图经过1x1卷积和ReLu激活函数得到的单通道血管预测图

与步骤三得到的细血管分割图经过1x1卷积和ReLu激活函数得到的单通道血管预测图

进行逻辑或操作，得到视网膜血管预测分割图F_fuse(x,y)：

其中，

表示逻辑或操作。

步骤五、网络训练优化

计算步骤四得到的视网膜血管预测分割图F_fuse(x,y)与对应已知标签X_m的损失值Loss：

其中，z_m表示经过sigmoid激活函数得到的第m个图像像素点的预测值。

对非对称卷积神经网络进行反复的迭代训练，使用Adam优化函数对非对称卷积神经网络的双通道参数进行优化，当Loss的值小于阈值ε时结束迭代，并保存网络权重。

作为优选，ε的值为输入的血管图像样本像素总数的1％～3％。

步骤六、视网膜血管分割

将标签未知的视网膜血管图像经过方向和尺度特征预处理后，输入步骤五训练优化后的非对称卷积神经网络双通道模型中，获得视网膜血管分割图。

本发明具有以下有益效果：

1、强化了对视网膜血管图像的方向选择和多尺度预处理，选用二维Gabor滤波器在血管方向最佳匹配角下获取多尺度血管特征图，并针对主、细血管特点自适应地提取主、细血管特征图，构建非对称卷积神经网络双通道模型。

2、构建非对称卷积神经网络双通道模型，主血管分割网络引入逐级连接策略进行采样，以卷积层级间的信息互补来减少特征丢失；细血管补偿网络采用结合跳跃连接模块的编-解码器，有效补偿解码过程中无法还原的细小血管特征。

3、将双通道血管分割图融合，以细血管补偿网络分割图补全主血管分割过程中被忽略的细小血管末梢，提高血管分割的效率和精度。

附图说明

图1为本方法的流程图。

具体实施方式

以下结合附图对本发明作进一步的解释说明；

如图1所示，该方法包括以下步骤：

步骤一、获取主、细血管特征图

考虑到视网膜血管图像的绿色通道分量能够清晰表达血管的形态结构，选取视网膜血管图像的绿色通道分量的图像作为待处理图像f(x,y)，x、y分别表示图像像素点的横纵坐标，图像的宽度和高度分别为H、W。

由于血管粗细和对比度特征不均衡，因此引入二维Gabor函数

模拟视皮层简单细胞的方向选择特性和感知尺度差异特性：

其中，

γ表示Gabor滤波器的椭圆率，γ＝0.5；1/λ表示cosine因子的空间调制频率，λ＝3.5；σ表示Gabor滤波核响应的尺度，即血管尺度；θ表示Gabor滤波器的方向，即血管方向；

表示Gabor滤波器的相角。

由于待处理图像f(x,y)中血管方向任意，因此θ∈[0,180°)，以15°为间隔，选取12个不同的方向，记为θ_i，i＝1,2,…,12；将12个不同方向的Gabor滤波器分别与待处理图像f(x,y)进行卷积，得到卷积响应

其中，*表示卷积运算。

将卷积响应

经过奇偶对称Gabor滤波处理后得到Gabor滤波器响应

其中，

和

表示卷积响应经过奇偶对称Gabor滤波后的响应，其中

由于血管粗细和对比度特征不均衡，因此选取多尺度的Gabor滤波器捕捉血管特征。血管方向对尺度参数σ不敏感，在σ＝2.5的条件下提取不同方向θ_i所对应的Gabor滤波器响应

的最大值

其中，θ_ZY为Gabor滤波响应取最大值时所对应的血管方向，即血管方向最佳匹配角。

由于血管宽度对尺度参数σ较敏感，因此为了提取不同宽度的血管，在θ_ZY确定的基础上，进一步提出Gabor滤波核响应尺度的自适应选取策略。设置Gabor滤波核响应的尺度σ∈(σ_min,σ_max]，尺度间隔为tab，选取

个不同的尺度，记为σ_j，j＝1,2,…,

σ₁＝σ_min+tab；提取所有尺度σ_j下的Gabor滤波器响应

并计算其熵ENT_j：

然后获取最大熵值ENT_jmax及其所对应的尺度σ_jmax。

计算细血管特征图

考虑到视网膜主体血管分支由粗到细发散性分布，因此将其余尺度图像融合得到主血管特征图

作为优选，设置γ＝0.5、λ＝3.5；σ_min＝1，σ_max＝4，tab＝0.5。

步骤二、分割主血管特征图

构建主血管分割网络，快速分割主体血管。主血管分割网络由五个模块组成，前四个模块为卷积和下采样的组合，第五模块为上采样。考虑到多层池化会造成主血管细节信息丢失，因此本方法从卷积层级间的关联性出发，引入逐级连接策略，以卷积层之间的信息互补来减少主血管特征的损失。

将步骤一得到的主血管特征图

输入四个由两个3×3卷积层和2倍下采样组成的模块中，依次得到尺寸为原图1/2、1/4、1/8、1/16的特征图Q_p，p＝1,2,3,4：

Q_p＝pool(conv₁(Q_p-1)) (8)

其中，pool表示2×2最大池化操作；conv₁表示两层3×3、步长为1的普通卷积。Q₀为主血管特征图

经过四次池化操作后，主血管特征图尺寸降为原图的1/16，若直接采用双线性内插值法对特征图Q₄进行16倍上采样，会造成主血管分割精度较差。考虑到卷积层之间的信息互补能够有效地减少池化造成的细节信息丢失，引入逐级连接策略，对特征图Q₄进行逐级上采样，完成对主血管特征图的分割：

其中，unsampling表示采用双线性内插值法的上采样操作，Q₃ ¹表示特征图Q₄经过2倍上采样后得到的与特征图Q₃尺寸相同的特征图。

步骤三、分割细血管特征图

构建细血管补偿网络，精细分割细小血管。考虑到细小血管特征提取难度大、易丢失，因此构建细血管补偿网络，与主血管分割网络具有结构非对称特性。将步骤一得到的细血管特征图

经过编码器由卷积层和下采样组成的三个模块，依次得到三个低层特征图P₁，P₂，P₃；为了避免细小血管末梢的丢失，将低层特征图P₃经过两个混合空洞卷积残差块，得到特征图P₄：

P₄＝Res2(conv₂(P₃)) (10)

其中，Res2表示两次残差块操作；conv₂表示两层空洞卷积。

将特征图P₄输入解码器由上采样和混合空洞卷积残差块组成的三个模块，依次得到三个高层特征图P₃ ¹，P₂ ¹，P₁ ¹。

在解码器与编码器之间增加跳跃连接模块，通过三个扩张率为2、4、8的空洞卷积并行采样，对应的空洞卷积核n_q为：

n_q＝k+(k-1)×(d_q-1) (11)

其中，d_q表示空洞卷积的扩张率，q＝1,2,3；k＝3，表示卷积核尺寸；

将编码器的三个低层特征图P₁，P₂，P₃分别经过三个并联的空洞卷积，将每个特征图获得的三个不同尺度的上下文信息通过串联拼接，形成对应的跳跃响应特征图

将每一层跳跃响应特征图与其对应的解码器高层特征图P_q ¹进行通道拼接后经过解码器的混合空洞卷积残差块后，获得细血管补偿分割图

并且将最后一层解码器输出的

作为细血管的分割图F_fine(x,y)：

步骤四、获得血管分割图

为了达到精细血管分割的目的，利用细血管补偿网络分割图补全主血管分割过程中被忽略的细血管末梢。对步骤二、三中的非对称卷积神经网络进行双通道融合，将步骤二得到的粗血管分割图经过1x1卷积和ReLu激活函数得到的单通道血管预测图

与步骤三得到的细血管分割图经过1x1卷积和ReLu激活函数得到的单通道血管预测图

进行逻辑或操作，得到视网膜血管预测分割图F_fuse(x,y)：

其中，

表示逻辑或操作。

步骤五、网络训练优化

计算步骤四得到的视网膜血管预测分割图F_fuse(x,y)与对应已知标签X_m的损失值Loss：

其中，z_m表示经过sigmoid激活函数得到的第m个图像像素点的预测值。

对非对称卷积神经网络进行反复的迭代训练，使用Adam优化函数对非对称卷积神经网络的双通道参数进行优化，当Loss的值小于输入的血管图像样本像素点的1％～3％结束迭代，并保存网络权重，并保存网络权重。

步骤六、视网膜血管分割

将标签未知的视网膜血管图像经过方向和尺度特征预处理后，输入步骤五训练优化后的非对称卷积神经网络双通道模型中，获得视网膜血管分割图。

Claims (4)

1.基于非对称卷积神经网络双通道的视网膜血管分割方法，其特征在于：该方法包括以下步骤：

步骤一、获取主、细血管特征图

选取视网膜血管图像的绿色通道分量图像作为待处理图像f(x,y)，x、y分别表示图像像素点的横纵坐标，图像的宽度和高度分别为H、W；

引入二维Gabor函数

模拟视皮层简单细胞的方向选择特性和感知尺度差异特性：

其中，

γ表示Gabor滤波器的椭圆率；1/λ表示cosine因子的空间调制频率；σ表示Gabor滤波核响应的尺度，即血管尺度；θ表示Gabor滤波器的方向，即血管方向；

表示Gabor滤波器的相角；

设置血管方向θ∈[0,180°)，以15°为间隔，选取12个不同的方向，记为θ_i，i＝1,2,…,12；将12个不同方向的Gabor滤波器分别与待处理图像f(x,y)进行卷积，得到卷积响应

其中，*表示卷积运算；

将卷积响应

经过奇偶对称Gabor滤波处理后得到Gabor滤波器响应

其中，

和

表示卷积响应经过奇偶对称Gabor滤波后的响应，其中

在σ＝2.5的条件下提取不同方向θ_i所对应的Gabor滤波器响应

的最大值

其中，θ_ZY为Gabor滤波响应取最大值时所对应的血管方向，即血管方向最佳匹配角；

设置Gabor滤波核响应的尺度σ∈(σ_min,σ_max]，尺度间隔为tab，选取

不同的尺度，记为σ_j，

σ₁＝σ_min+tab；在最佳匹配角θ_ZY下提取所有尺度σ_j下的Gabor滤波器响应

并计算其熵ENT_j：

然后获取最大熵值ENT_jmax及其所对应的尺度σ_jmax；

计算细血管特征图

和主血管特征图

步骤二、分割主血管特征图

构建主血管分割网络，将步骤一得到的主血管特征图

输入四个由两个3×3卷积层和2倍下采样组成的模块中，依次得到尺寸为原图1/2、1/4、1/8、1/16的特征图Q_p，p＝1,2,3,4：

Q_p＝pool(conv₁(Q_p-1)) (8)

其中，pool表示2×2最大池化操作；conv₁表示两层3×3、步长为1的普通卷积；Q₀为主血管特征图

引入逐级连接策略，对特征图Q₄进行逐级上采样，完成对主血管特征图的分割：

其中，unsampling表示采用双线性内插值法的上采样操作，Q₃ ¹表示特征图Q₄经过2倍上采样后得到的与特征图Q₃尺寸相同的特征图；

步骤三、分割细血管特征图

构建细血管补偿网络，将步骤一得到的细血管特征图

经过编码器由卷积层和下采样组成的三个模块，依次得到三个低层特征图P₁，P₂，P₃；其中低层特征图P₃经过两个混合空洞卷积残差块，得到特征图P₄：

P₄＝Res2(conv₂(P₃)) (10)

其中，Res2表示两次残差块操作；conv₂表示两层空洞卷积；

将特征图P₄输入解码器由上采样和混合空洞卷积残差块组成的三个模块，依次得到三个高层特征图P₃ ¹，P₂ ¹，P₁ ¹；

在解码器与编码器之间增加跳跃连接模块，通过三个扩张率为2、4、8的空洞卷积并行采样，对应的空洞卷积核n_q为：

n_q＝k+(k-1)×(d_q-1) (11)

其中d_q表示空洞卷积的扩张率，q＝1,2,3；k表示卷积核尺寸；

将编码器的三个低层特征图P₁，P₂，P₃分别经过三个并联的空洞卷积，将每个特征图获得的三个不同尺度的上下文信息通过串联拼接，形成对应的跳跃响应特征图

将每一层跳跃响应特征图与其对应的解码器高层特征图P_q ¹进行通道拼接后经过解码器的混合空洞卷积残差块后，获得细血管补偿分割图

并且将最后一层解码器输出的

作为细血管的分割图F_fine(x,y)：

步骤四、获得血管分割图

对步骤二、三中的非对称卷积神经网络进行双通道融合，将步骤二得到的粗血管分割图经过1×1卷积和ReLu激活函数得到的单通道血管预测图

与步骤三得到的细血管分割图经过1×1卷积和ReLu激活函数得到的单通道血管预测图

进行逻辑或操作，得到视网膜血管预测分割图F_fuse(x,y)：

其中，

表示逻辑或操作；

步骤五、网络训练优化

计算步骤四得到的视网膜血管预测分割图F_fuse(x,y)与对应已知标签X_m的损失值Loss：

其中，z_m表示经过sigmoid激活函数得到的第m个图像像素点的预测值；

对非对称卷积神经网络进行反复的迭代训练，使用Adam优化函数对非对称卷积神经网络的双通道参数进行优化，当Loss的值小于阈值ε时结束迭代，并保存网络权重；

步骤六、视网膜血管分割

将标签未知的视网膜血管图像经过方向和尺度特征预处理后，输入步骤五训练优化后的非对称卷积神经网络双通道模型中，获得视网膜血管分割图。

2.如权利要求1所述基于非对称卷积神经网络双通道的视网膜血管分割方法，其特征在于：在步骤一中，设置γ＝0.5、λ＝3.5；σ_min＝1，σ_max＝4，tab＝0.5。

3.如权利要求1所述基于非对称卷积神经网络双通道的视网膜血管分割方法，其特征在于：在步骤三中，设置空洞卷积的卷积核尺寸k＝3。

4.如权利要求1所述基于非对称卷积神经网络双通道的视网膜血管分割方法，其特征在于：在网络训练优化过程中，设置阈值ε为输入的血管图像样本像素总数的1％～3％。

Images