CN115731242A - 基于混合注意力机制和非对称卷积的视网膜血管分割方法 - Google Patents

Abstract

本发明公开了一种基于混合注意力机制和非对称卷积的视网膜血管分割方法，首先获取数据，划分训练集和测试集，对训练集和测试集进行图像预处理，对训练集图像进行数据增强，再对训练集和测试集提取patches，构建融入混合注意力机制和非对称卷积的神经网络模型，用训练集训练所述神经网络模型，并用测试集验证模型效果，将待分割眼底图像输入到训练好的神经网络模型，神经网络输出视网膜血管分割效果。本发明的方法使用非对称卷积核减少大量训练参数，降低计算复杂度，在分割准确率、ROC曲线下面积、敏感度等指标上较现有方法有提高，使对微小血管的分割更加精确，促进智能医疗的发展，实现自动化辅助诊断，提高诊断速度，缓解医疗压力，减少运营费用。

Description

基于混合注意力机制和非对称卷积的视网膜血管分割方法

技术领域

本发明属于视网膜血管分割技术领域，具体涉及一种基于混合注意力机制和非对称卷积的视网膜血管分割方法。

背景技术

通过观测眼底视网膜血管，可有助于心脑血管疾病和眼底疾病等疾病的早期诊断。现有的视网膜血管分割技术可以分为6类：基于血管追踪的方法、基于匹配过滤的方法、基于形态学操作的方法、基于变形模型的方法、基于传统机器学习的方法、以及基于深度学习的方法。基于血管追踪的方法虽然简单易懂，但缺点是该方法的分割结果取决于初始种子点的选择，并且容易受到分支点的影响，容错能力弱。基于匹配过滤的方法，缺点是该算法的效果取决于模板与血管之间的匹配程度，而该程度受许多因素的影响，比如说噪声干扰，半径变化等。基于形态学操作的方法分割快速有效，但不足是没有充分利用血管特征，并且分割结果严重依赖于结构要素的选择，该方法常用来提取血管中心线并与其它方法配合使用进行血管分割。基于变形模型的分割方法的不足是，初始曲线位置的选取至关重要，而且该方法计算也更加的复杂。基于传统机器学习的方法简单易懂，但是仍然需要大量的人工干预，人为提取特征等不足。基于深度学习的方法，简单易懂，相较于前面所提的方法人为干预少，模型设计训练好，就可以直接使用，受制条件少。但是现有的基于深度学习的视网膜血管分割方法仍存在着训练数据不足，微小血管分割难度大等不足。

发明内容

为解决上述技术问题，本发明提出了一种基于混合注意力机制和非对称卷积的视网膜血管分割方法。

本发明采用的技术方案为：一种基于混合注意力机制和非对称卷积的视网膜血管分割方法，具体步骤如下：

S1、获取眼底图像数据集，将数据集划分为训练集和测试集；

S2、对训练集和测试集图像进行预处理，对训练集图像进行数据增强；

S3、对训练集和测试集中的每一张图片提取相同数量的48*48大小的图像块；

S4、构建融入混合注意力机制和非对称卷积的神经网络模型；

S5、利用步骤S3中所得的训练集训练步骤S4所述的神经网络，用步骤S3中所得的测试集测试训练集训练后的神经网络，得到训练好的融入注意力机制和非对称卷积的神经网络；

S6、将待分割的眼底图像输入到训练好的融入注意力机制和非对称卷积的神经网络，所述神经网络输出视网膜图像血管分割结果。

进一步地，所述步骤S1中，获取的数据集来自三个彩色视网膜图像公共数据库DRIVE、STARE、CHASE_DB1。

进一步地，所述步骤S2中，对训练集和测试集图像进行预处理，包括灰度转换、自适应直方均衡、Gamma调整以及数据归一化处理；增加训练数据对训练集图像进行数据增强，包括水平翻转、垂直翻转、90°，180°，270°旋转和图像平移。

进一步地，所述步骤S4中，所述神经网络模型用于视网膜血管的分割，主骨架基于现有的U-NET模型，包括五大部分：输入层、编码器模块、混合注意力模块、解码器模块、输出层模块，具体如下：

输入层：用以输入眼底图像块数据，大小为1*48*48；

编码器模块：包括三个一模一样的卷积模块，用于提取图像浅层特征，每个卷积模块包含一个3*1的卷积核和一个1*3的卷积核，步长均为1，根据卷积核大小用0填充卷积得到的特征图使其恢复到卷积前的大小；后面跟着一个BN层，RELU激活函数，以及一个dropout rate为0.2的Dropout层，再后面接的是同前面一模一样的两个卷积层，一个BN层，一个RELU激活函数层；每个卷积模块的通道数分别为32、64、128；编码器模块包含2个大小为2*2，步长为2的最大池化层用来缩小特征图。

解码器模块：包括两个同编码器模块内一模一样的卷积模块，唯一的区别就是在每个卷积模块前多了一个级联层，用以将上采样得到的特征图和跳跃连接得到的特征图级联起来；每个卷积模块的通道数分别为64、32；同时包含2个大小为2*2，步长为2的上采样层用以特征图维度的恢复。

混合注意力模块：放在跳跃连接处，将浅层网络提取得到的特征传递给深层网络，有效抑制由于网络层数的加深导致特征消失的问题。

混合注意力模块的具体过程：假设浅层特征F和信号g，F和g先经过通道注意力模块得到特征F'，然后F'和g再经过空间注意力模块得到最终的细化后的特征F"；在通道注意力模块中，g先通过2*2的上采样和3*3的卷积以及BN层和RELU激活后得到和F相同的形状，F和g分别在空间上进行最大池化和平均池化，得到4个通道数不变，大小为1*1的特征图；然后分别将F和g最大池化和平均池化后的特征图对应相加，再将得到的两个特征向量分别经过多层感知机层，再将得到的两个特征向量相加交由sigmoid函数处理得到细化后的特征，最后将细化后的特征和特征F相乘，得到通道注意力特征F'；在空间注意力模块中，将F'和g分别在通道上进行最大池化和平均池化，再将F'最大池化和平均池化后的特征图级联起来，将g最大池化和平均池化后的特征图级联起来，然后将F'和g级联得到的两个特征向量相加，再经过一个1*7*7的卷积核和一个Sigmoid激活函数，得到细化后的特征，最后将F'和细化后的特征相乘得到最终的混合注意力特征F"。

输出层模块：一个通道数为1，大小为1*1的卷积核后接一个Sigmoid激活函数，输出激活值在范围【0,1】之间，表示像素属于正类的概率,最终阈值取0.5。

本发明的有益效果：本发明的方法首先获取数据，划分训练集和测试集，对训练集和测试集进行图像预处理，对训练集图像进行数据增强，再对训练集和测试集提取patches，构建融入混合注意力机制和非对称卷积的神经网络模型，用训练集训练所提出的神经网络模型，并用测试集验证模型效果，将待分割眼底图像输入到训练好的神经网络模型，神经网络输出视网膜血管分割效果。本发明的方法使用非对称卷积核减少大量训练参数，降低计算复杂度，在分割准确率、ROC曲线下面积、敏感度等指标上较现有方法有提高，使对微小血管的分割更加精确，促进智能医疗的发展，实现自动化辅助诊断，提高诊断速度，缓解医疗压力，减少运营费用，可以让专业的医生从简单冗余的工作中解放出来，然后可以更加自由地集中精力在更加专业的医疗问题上面，从而执行更高价值的工作。

附图说明

图1为本发明的一种基于混合注意力机制和非对称卷积的视网膜血管分割方法的流程图。

图2为本发明实施例中基于混合注意力机制和非对称卷积的神经网络模型架构图。

图3为本发明实施例中带触发信号的混合注意力模块具体过程图。

图4为本发明实施例中通道注意力模块具体过程图。

图5为本发明实施例中空间注意力模块具体过程图。

具体实施方式

下面结合附图和实施例对本发明作进一步的说明。

如图1所示，本发明的一种基于混合注意力机制和非对称卷积的视网膜血管分割方法流程图，本实施例应用于DRIVE数据集，具体步骤如下：

S1、获取眼底图像数据集，将数据集划分为训练集和测试集；

S2、对训练集和测试集图像进行预处理，对训练集图像进行数据增强；

S3、对训练集和测试集中的每一张图片提取相同数量的48*48大小的图像块；

S4、构建融入混合注意力机制和非对称卷积的神经网络模型；

S5、利用步骤S3中所得的训练集训练步骤S4所述的神经网络，用步骤S3中所得的测试集测试训练集训练后的神经网络，得到训练好的融入注意力机制和非对称卷积的神经网络；

S6、将待分割的眼底图像输入到训练好的融入注意力机制和非对称卷积的神经网络，所述神经网络输出视网膜图像血管分割结果。

在本实施例中，所述步骤S1中，按照官方划分将DRIVE数据集划分为训练集和测试集，DRIVE数据集的详细信息如表1：

表1

数据集	图像分辨率	训练集	测试集
				DRIVE	565*584	20张	20张

在本实施例中，所述步骤S2中，对训练集和测试集图像进行预处理，包括灰度转换、自适应直方均衡、Gamma调整以及数据归一化处理；同时为了增加训练数据对训练集图像进行数据增强，包括水平翻转、垂直翻转、90°，180°，270°旋转和图像平移，包括原图每张图片共有7张增强图片，总的训练集图片就有140张。

在本实施例中，所述步骤S3中，对训练集中的140张图片提取图像块，每张图片随机提取3200个尺寸为48*48的图像块，则训练集图像块共有448000张；

如图2所示，在本实施例中，所述步骤S4中，所述神经网络模型用于视网膜血管的分割，主骨架基于现有的U-NET模型，包括五大部分：输入层、编码器模块、混合注意力模块、解码器模块、输出层模块，具体如下：

输入层：用以输入眼底图像块数据，大小为1*48*48(通道数*高*宽)；

编码器模块：包括三个一模一样的卷积模块，用于提取图像浅层特征，每个卷积模块包含一个3*1的卷积核和一个1*3的卷积核，步长均为1，根据卷积核大小用0填充卷积得到的特征图使其恢复到卷积前的大小(非对称卷积核的使用可以减少训练参数量，以及增加卷积的鲁棒性)；后面跟着一个BN(batch normalization)层(为了加速模型收敛，缓解深层网络中“梯度弥散”的问题)，RELU激活函数，以及一个dropout rate为0.2的Dropout层(防止模型过拟合)，再后面接的是同前面一模一样的两个卷积层，一个BN层，一个RELU激活函数层；每个卷积模块的通道数分别为32、64、128；编码器模块包含2个大小为2*2，步长为2的最大池化层用来缩小特征图。

解码器模块：包括两个同编码器模块内一模一样的卷积模块，唯一的区别就是在每个卷积模块前多了一个级联层，用以将上采样得到的特征图和跳跃连接得到的特征图级联起来；每个卷积模块的通道数分别为64、32；同时包含2个大小为2*2，步长为2的上采样层用以特征图维度的恢复。

混合注意力模块：放在跳跃连接处，用以将浅层网络提取到的特征和深层网络提取到的特征进一步细化，抑制无用的特征，关注有效的特征；跳跃连接可以将浅层网络提取得到的特征传递给深层网络，有效抑制了由于网络层数的加深导致特征消失的问题。混合注意力模块的具体过程如图3所示，假设浅层特征F和信号g，F和g先经过通道注意力模块得到特征F'，然后F'和g再经过空间注意力模块得到最终的细化后的特征F"。通道注意力模块如图4所示，g先通过2*2的上采样和3*3的卷积以及BN层和RELU激活后得到和F相同的形状，F和g分别在空间上进行最大池化和平均池化，得到4个通道数不变，大小为1*1的特征图；然后分别将F和g最大池化和平均池化后的特征图对应相加，再将得到的两个特征向量分别经过多层感知机层(三层，第一层输入特征向量通道数个神经元，第二层输入特征向量通道数除以16个神经元，第三层输入特征向量通道数个神经元)，再将得到的两个特征向量相加交由sigmoid函数处理得到细化后的特征，最后将细化后的特征和特征F相乘，得到通道注意力特征F'。空间注意力模块如图5所示，将F'和g分别在通道上进行最大池化和平均池化，再将F'最大池化和平均池化后的特征图级联起来，将g最大池化和平均池化后的特征图级联起来，然后将F'和g级联得到的两个特征向量相加，再经过一个1*7*7的卷积核和一个Sigmoid激活函数，得到细化后的特征，最后将F'和细化后的特征相乘得到最终的混合注意力特征F"。

输出层模块：一个通道数为1，大小为1*1的卷积核后接一个Sigmoid激活函数，输出激活值在范围【0,1】之间，表示像素属于正类的概率,最终阈值取0.5。

在本实施例中，所述步骤S5中，利用步骤S3中所得的训练集训练步骤S4所述的神经网络，其选取0.1比例的训练集作为验证集。这里采用Keras框架，使用Adam(默认值)优化器进行优化，损失函数为二进制交叉熵损失函数，训练代数50代，batch sizes为32，训练结束得到训练好的模型(即使验证集准确率最优的模型)。

在本实施例中，所述步骤S6中，按照测试集的图片的大小，对测试集的每一张图片，选取步长为5，尺寸为48*48的图像块，这里不随机提取，方便图像的复原。然后将得到的图像块测试集输入到第5步训练好的模型，测试时的batch sizes取64。由于是像素级别的二分类，模型最后的激活函数为Sigmoid函数，模型输出层的取值在[0,1]之间，表示了该像素点为正类的概率值，最终的概率置信度图均为通过阈值处理后得到，阈值取为0.5。最终得到非0即1的概率图，也即是眼底图像视网膜血管的分割结果。

如表2所示，本发明的方法与现有技术性能的对比，DRIVE数据集的划分按照官方划分，由于STARE数据集和CHASE_DB数据集官方没有给出视野蒙板，故本实施例中采用色彩阈值分割获得每张图片的视野蒙板；另外STARE数据集和CHASE_DB数据集官方没有划分训练集和测试集，故针对STARE数据集采用leave-one-out的方法，即采取19张图片作为训练集，剩下一张为测试集，如此反复20次；对于CHASE_DB数据集随机抽取20张作为训练集，剩下的8张作为测试集。

表2

综上，观测视网膜血管状态，可以诊断心血管疾病和眼科疾病，但是手动提取视网膜血管是件冗余和耗时的工作，本发明的方法实现了视网膜血管的自动分割，无需人为干预，提供眼底照片即可快速给出视网膜血管分割结果，节省了大量的时间和人力资源，为进一步的智能医疗诊断提供了基础，同时本发明的方法使用非对称卷积核减少了大量训练参数，降低计算复杂度，在分割准确率、ROC曲线下面积(receiver operator characteristiccurve)、敏感度等指标上较现有方法有一定的提高，对微小血管的分割也更加精确。促进了智能医疗的发展，实现了自动化辅助诊断，同时缓解了医疗压力、加快就诊速度以及减少了运营费用，可以让专业的医生从简单冗余的工作中解放出来，然后可以更加自由地集中精力在更加专业的医疗问题上面，从而执行更高价值的工作。

Claims (4)

1.一种基于混合注意力机制和非对称卷积的视网膜血管分割方法，具体步骤如下：

S1、获取眼底图像数据集，将数据集划分为训练集和测试集；

S2、对训练集和测试集图像进行预处理，对训练集图像进行数据增强；

S3、对训练集和测试集中的每一张图片提取相同数量的48*48大小的图像块；

S4、构建融入混合注意力机制和非对称卷积的神经网络模型；

S5、利用步骤S3中所得的训练集训练步骤S4所述的神经网络，用步骤S3中所得的测试集测试训练集训练后的神经网络，得到训练好的融入注意力机制和非对称卷积的神经网络；

S6、将待分割的眼底图像输入到训练好的融入注意力机制和非对称卷积的神经网络，所述神经网络输出视网膜图像血管分割结果。

2.根据权利要求1所述的一种基于混合注意力机制和非对称卷积的视网膜血管分割方法，其特征在于，所述步骤S1中，获取的数据集来自三个彩色视网膜图像公共数据库DRIVE、STARE、CHASE_DB1。

3.根据权利要求1所述的一种基于混合注意力机制和非对称卷积的视网膜血管分割方法，其特征在于，所述步骤S2中，对训练集和测试集图像进行预处理，包括灰度转换、自适应直方均衡、Gamma调整以及数据归一化处理；增加训练数据对训练集图像进行数据增强，包括水平翻转、垂直翻转、90°，180°，270°旋转和图像平移。

4.根据权利要求1所述的一种基于混合注意力机制和非对称卷积的视网膜血管分割方法，其特征在于，所述步骤S4中，所述神经网络模型用于视网膜血管的分割，主骨架基于现有的U-NET模型，包括五大部分：输入层、编码器模块、混合注意力模块、解码器模块、输出层模块，具体如下：

输入层：用以输入眼底图像块数据，大小为1*48*48；

编码器模块：包括三个一模一样的卷积模块，用于提取图像浅层特征，每个卷积模块包含一个3*1的卷积核和一个1*3的卷积核，步长均为1，根据卷积核大小用0填充卷积得到的特征图使其恢复到卷积前的大小；后面跟着一个BN层，RELU激活函数，以及一个dropoutrate为0.2的Dropout层，再后面接的是同前面一模一样的两个卷积层，一个BN层，一个RELU激活函数层；每个卷积模块的通道数分别为32、64、128；编码器模块包含2个大小为2*2，步长为2的最大池化层用来缩小特征图；

解码器模块：包括两个同编码器模块内一模一样的卷积模块，唯一的区别就是在每个卷积模块前多了一个级联层，用以将上采样得到的特征图和跳跃连接得到的特征图级联起来；每个卷积模块的通道数分别为64、32；同时包含2个大小为2*2，步长为2的上采样层用以特征图维度的恢复；

混合注意力模块：放在跳跃连接处，将浅层网络提取得到的特征传递给深层网络，有效抑制由于网络层数的加深导致特征消失的问题；

混合注意力模块的具体过程：假设浅层特征F和信号g，F和g先经过通道注意力模块得到特征F'，然后F'和g再经过空间注意力模块得到最终的细化后的特征F"；在通道注意力模块中，g先通过2*2的上采样和3*3的卷积以及BN层和RELU激活后得到和F相同的形状，F和g分别在空间上进行最大池化和平均池化，得到4个通道数不变，大小为1*1的特征图；然后分别将F和g最大池化和平均池化后的特征图对应相加，再将得到的两个特征向量分别经过多层感知机层，再将得到的两个特征向量相加交由sigmoid函数处理得到细化后的特征，最后将细化后的特征和特征F相乘，得到通道注意力特征F'；在空间注意力模块中，将F'和g分别在通道上进行最大池化和平均池化，再将F'最大池化和平均池化后的特征图级联起来，将g最大池化和平均池化后的特征图级联起来，然后将F'和g级联得到的两个特征向量相加，再经过一个1*7*7的卷积核和一个Sigmoid激活函数，得到细化后的特征，最后将F'和细化后的特征相乘得到最终的混合注意力特征F"；

输出层模块：一个通道数为1，大小为1*1的卷积核后接一个Sigmoid激活函数，输出激活值在范围【0,1】之间，表示像素属于正类的概率,最终阈值取0.5。

Images