CN112132817A - 一种混合注意力机制的眼底图像视网膜血管分割方法 - Google Patents

Abstract

本发明公开了一种混合注意力机制的眼底图像视网膜血管分割方法，包括以下步骤：S1：获取视网膜眼底图像，将视网膜图像分为训练集和测试集；S2：构建混合注意力卷积神经网络，所述混合注意力卷积神经网络用于对视网膜眼底图像中视网膜血管的分割；S3：利用训练集训练所述混合注意力卷积神经网络，利用测试集测试所述混合注意力卷积神经网络，得到训练好的混合注意力卷积神经网络；S4：将待分割的视网膜图像输入至训练好的混合注意力卷积神经网络，所述混合注意力卷积神经网络输出视网膜图像血管分割结果。本发明有效的对低对比度的血管结构进行精准分割，对复杂的眼底图像病灶、血管中心反光现象的干扰和光照不均衡现象的干扰具有较强的鲁棒性。

Description

一种混合注意力机制的眼底图像视网膜血管分割方法

技术领域

本发明涉及图像处理领域，更具体地，涉及一种混合注意力机制的眼底图像视网膜血管分割方法。

背景技术

视网膜眼底图像分析被广泛用于如青光眼和白内障等眼科疾病、糖尿病、高血压和动脉硬化等心血管类疾病的诊断，筛查和临床研究。对视网膜血管的精确分割是视网膜眼底图像分析中最重要的一个步骤，视网膜血管不但能反映如糖尿病视网膜病变等疾病的病情，还能帮助如微动脉瘤和硬性渗出等视网膜眼底病灶的定位和诊断。但是在临床实践中，视网膜血管分割一般由眼科医师或专家标注完成，是一项需要熟练技巧，乏味而耗时的工作。再者，不同观察者的经验判断，主观感受都不一样，即便是对同一张视网膜眼底图像进行血管分割标注，不同观察者给出的血管分割结果也各不相同。因此传统的手工视网膜血管分割不仅耗费大量人力，而且没有办法保证血管分割的精度和效率由于视网膜病变、血管中心反光现象、血管背景对比度低、血管分支和拓扑结构复杂等影响，给视网膜血管分割带来了一定的难度。

据调研，现如今对眼底血管进行分割的方法大致可以分为三大类：传统数字图像处理方法、无监督方法和有监督方法。

因为视网膜眼底图像成像质量常会受如噪声、光照不均衡和血管和背景对比度低等因素影响，采用传统数字图像处理方法得到的血管分割效果并不理想，且处理过程十分耗时。

无监督方法可分为三个子类：匹配滤波、血管跟踪和形体学方法。匹配滤波利用分段线性逼近以及视网膜血管的类高斯分布来设计匹配的滤波器内核。血管跟踪使用局部信息来划分两点之间的血管，血管纵向横截面的中心由灰度值和血管弯曲度决定。形态学方法常用于提取复杂图像结构，构造有用的特征表达，描述如边界、骨架和凸包等图像区域形状。形态学操作具有速度快、抗噪声能力强的优点，但是在处理高弯曲度地血管时，效果较差。

有监督方法可以被看作是像素级别的二分类问题。即每个像素属于血管或非血管。常采用逐像素分类器来确定其属性，如采用深度卷积神经网络对血管像素和非血管像素进行分类。在处理大规模视网膜图像时，像素级方法耗时且难以满足临床要求。

总体而言，采用传统图像处理方法对视网膜血管进行分割，其对图像的要求较高，且操作复杂，耗时，得到的分割效果不太理想，精度不高；采用无监督方法，神经网络模型通常涉及较多需要满足的附加条件，对图像的质量要求较高，且分割出的血管精度较低；有监督方法中，神经网络模型需要逐层提取图像特征，丢失许多有用的信息，导致神经网络模型学得的参数不能完全刻画血管特征。近年来随着深度学习的发展，用深度学习进行图像特征提取有着很好的效果，也有人尝试用深度学习来进行视网膜血管分割。采用深度学习方法来对视网膜血管进行分割的方法比较多，均是通过神经网络来进行特征训练，以便于对视网膜血管进行分割。现有的基于U-net的编码器解码器架构的深度神经网络已成为医学图像处理任务的常用技术手段和基准模型。《Recurrent Residual Convolutional NeuralNetwork based on U-Net(R2U-Net)for Medical Image Segmentation》提出了通过结合残差连接和循环卷积来改进U-net的网络架构，改善了基于图像补丁中心点分类的视网膜血管分割效果。类似地，《U-net:Convolutional networks for biomedical imagesegmentation》提出了利用残差模块代替U-net中的子模块，构建了Res-UNet用于视网膜血管分割。

发明内容

本发明提供一种混合注意力机制的眼底图像视网膜血管分割方法，实现了高精度的视网膜血管自动分割。

为解决上述技术问题，本发明的技术方案如下：

一种混合注意力机制的眼底图像视网膜血管分割方法，包括以下步骤：

S1：获取视网膜眼底图像，将视网膜图像分为训练集和测试集；

S2：构建混合注意力卷积神经网络，所述混合注意力卷积神经网络用于对视网膜眼底图像中视网膜血管的分割；

S3：利用训练集训练所述混合注意力卷积神经网络，利用测试集测试所述混合注意力卷积神经网络，得到训练好的混合注意力卷积神经网络；

S4：将待分割的视网膜图像输入至训练好的混合注意力卷积神经网络，所述混合注意力卷积神经网络输出视网膜图像血管分割结果。

优选地，步骤S1中获取视网膜眼底图像从四个彩色视网膜图像公共数据库DRIVE、STARE、CHASE_DB1和HRF获取。

优选地，所述混合注意力卷积神经网络包括初始卷积模块、4组卷积编码器模块、1组混合注意力模型层数加深模块、4组注意力卷积解码器模块和卷积输出层模块，其中，视网膜眼底图像从初始卷积模块输入，依次经4组卷积编码器模块、1组混合注意力模型层数加深模块、4组注意力卷积解码器模块和卷积输出层模块输出。

优选地，所述初始卷积模块包括输入层和2层卷积层，其中所述输入层为整个混合注意力卷积神经网络输入视网膜眼底图像数据，并产生一个通道优先的3×512×512维度的张量，在2层卷积层中，卷积核大小均设置为3×3，步长均为1，边缘补值方式为等大补零，即根据卷积核大小和步长，在边缘补1像素的常数灰度值0，空洞系数为1。

优选地，所述4组卷积编码器模块中的每一个卷积编码模块均包括最大池化层和2组卷积层，所述张量在卷积编码器模块内部时，维度保持一致，通道数有最后一组卷积层的卷积运算翻倍。

优选地，所述混合注意力模型层数加深模块包括两个标准残差神经网络与一个混合注意力模型，所述混合注意力模型具体为：

将最后一个卷积编码器模块的输出特征图、经过两个标准残差神经网络后的输出特征图、最后一个卷积编码器模块的输出和经过两个标准残差神经网络后的输出相加后的特征图分别进行自适应均值池化，分别得到通道数为C，长x宽分别为2x2的第一特征图、2x2的第二特征图和1x1的第三特征图，所述第一特征图经1x1卷积操作后加修正线性单元操作后与第三特征图相乘后，再与第二特征图相加，再经1x1卷积操作后加修正线性单元操作后，再进行平均池化得到第四特征图，所述第四特征图与经1x1卷积操作后加修正线性单元操作后的最后一个卷积编码器模块的输出特征图相乘后，再与经过两个标准残差神经网络后的输出特征图相加，最后经1x1卷积操作后加修正线性单元操作后输出。

优选地，所述4组注意力卷积解码器模块中的每组注意力卷积解码器模块均包括上采样卷积层，基本注意力模型层和卷积层。

优选地，所述卷积输出层模块包括一层与输出特征分量相关的卷积运算。

优选地，卷积输出层模块输出激活值在范围【0，1】内的代表像素属于正类的概率置信度图，激活函数为Sigmoid函数。

优选地，步骤S4中输出视网膜图像血管分割结果，具体为：

视网膜图像经混合注意力卷积神经网络处理后，输出与输入图像尺度大小一致的概率置信度图，所述概率置信度图上像素点的概率值代表该像素点属于正类血管像素的置信度大小，最终的概率置信度图均为通过阈值处理后得到，阈值取为0.4。

与现有技术相比，本发明技术方案的有益效果是：

本发明利用混合注意力模型能够对图像整体的信息进行解析，从而有效的对低对比度的血管结构进行精准分割，对复杂的眼底图像病灶、血管中心反光现象的干扰和光照不均衡现象的干扰具有较强的鲁棒性。

附图说明

图1为本发明的方法流程示意图。

图2为混合注意力卷积神经网络架构示意图。

图3为混合注意力模型结构示意图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；

对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

下面结合附图和实施例对本发明的技术方案做进一步的说明。

实施例1

本实施例提供一种混合注意力机制的眼底图像视网膜血管分割方法，如图1，包括以下步骤：

S1：获取视网膜眼底图像，将视网膜图像分为训练集和测试集；

S2：构建混合注意力卷积神经网络，所述混合注意力卷积神经网络用于对视网膜眼底图像中视网膜血管的分割；

S3：利用训练集训练所述混合注意力卷积神经网络，利用测试集测试所述混合注意力卷积神经网络，得到训练好的混合注意力卷积神经网络；

S4：将待分割的视网膜图像输入至训练好的混合注意力卷积神经网络，所述混合注意力卷积神经网络输出视网膜图像血管分割结果，待分割的视网膜图像可通过眼底立体摄像机、血管造影设备、各种激光断层扫描设备以及超声波成像设备等获得的血管图像。

步骤S1中获取视网膜眼底图像从四个彩色视网膜图像公共数据库DRIVE、STARE、CHASE_DB1和HRF获取，对于DRIVE数据库训练集和测试集均为20张，而在STARE、CHASE_DB1和HRF这三个数据库上的实验结果均通过Leave One Out(留一法交叉验证)策略划分训练集和测试样本，进行多次独立交叉实验获得。以STARE数据库为例，STARE数据库包含20个数据样本对，在每个独立实验中，都会把其中1个数据样本对作为测试样本评价算法指标，其余的19个样本对作为训练集，用于网络训练。通过共20次独立实验，获得20张STARE数据库中视网膜眼底图像样本的分割效果。具体的用于训练卷积神经网络的图像公共数据库如下表所示：

所述混合注意力卷积神经网络如图2，该混合注意力卷积神经网络是一种基于残差神经以及注意力模型的U型卷积神经网络。将视网膜血管图像中的血管与背景进行分割；

在本实施例中，对混合注意力神经网络进行训练时，最大的训练代数设为500；

本发明实施例中采用的基于编码器和解码器的卷积神经网络架构主要包含如下5个部分，包括初始卷积模块、4组卷积编码器模块、1组混合注意力模型层数加深模块、4组注意力卷积解码器模块和卷积输出层模块，其中，视网膜眼底图像从初始卷积模块输入，依次经4组卷积编码器模块、1组混合注意力模型层数加深模块、4组注意力卷积解码器模块和卷积输出层模块输出。

所述初始卷积模块包括输入层和2层卷积层，其中所述输入层为整个混合注意力卷积神经网络输入视网膜眼底图像数据，并产生一个通道优先的3×512×512维度的张量，在2层卷积层中，卷积核大小均设置为3×3，步长均为1，边缘补值方式为等大补零，即根据卷积核大小和步长，在边缘补1像素的常数灰度值0，空洞系数为1，即没有使用空洞卷积。

所述4组卷积编码器模块中的每一个卷积编码模块均包括最大池化层和2组卷积层，所述张量在卷积编码器模块内部时，维度保持一致，通道数有最后一组卷积层的卷积运算翻倍，这是因为随着抽象层级的增加，复杂特征的种类会比简单特征种类多，故用于学习不同特征的卷积核数量及其产生的不同通道数量也应增加。

所述混合注意力模型层数加深模块包括两个标准残差神经网络与一个混合注意力模型，所述混合注意力模型如图3，其中，

和

分别表示相乘(矩阵相乘)和相加(矩阵对应元素相加)，所述混合注意力模型具体为：

将最后一个卷积编码器模块的输出特征图、经过两个标准残差神经网络后的输出特征图、最后一个卷积编码器模块的输出和经过两个标准残差神经网络后的输出相加(特征融合)后的特征图分别进行自适应均值池化，分别得到通道数为C，长x宽分别为2x2的第一特征图、2x2的第二特征图和1x1的第三特征图，所述第一特征图经1x1卷积操作后加修正线性单元操作后与第三特征图相乘后，再与第二特征图相加，再经1x1卷积操作后加修正线性单元操作后，再进行平均池化得到第四特征图，所述第四特征图与经1x1卷积操作后加修正线性单元操作后的最后一个卷积编码器模块的输出特征图相乘后，再与经过两个标准残差神经网络后的输出特征图相加，最后经1x1卷积操作后加修正线性单元操作后输出，其中该混合注意力模型结构中的自适应均值池化操作可以大大降低网络模型的参数量，使网络轻量化。分别获取高维特征和低维特征对应的注意力模型权重，从而保证在经过两次BasicResblock后能够保留足够的特征信息。

其在该维度出作用是在不加深层数的前提下能够更加有效地提取出目标信息。首先利用残差神经网络实现大幅度的网络层数加深，之后经验证传统的注意力模型机制不能满足该残差神经网络的权重分配，所以设计了如图3所示的混合残差神经网络模型。

所述4组注意力卷积解码器模块中的每组注意力卷积解码器模块均包括将输入特征张量的空间尺度分别恢复到原来一倍的上采样卷积层，基本注意力模型层和卷积层，与编码器类似，在整个解码器模块内部，特征张量的维度保持一致。但通道数则由最后一层卷积运算减半。

所述卷积输出层模块包括一层与输出特征分量相关的卷积运算。

卷积输出层模块输出激活值在范围【0,1】内的代表像素属于正类的概率置信度图，激活函数选用了针对像素级别的二分类问题的Sigmoid函数。

步骤S4中输出视网膜图像血管分割结果，具体为：

视网膜图像经混合注意力卷积神经网络处理后，输出与输入图像尺度大小一致的概率置信度图，所述概率置信度图上像素点的概率值代表该像素点属于正类血管像素的置信度大小，最终的概率置信度图均为通过阈值处理后得到，阈值取为0.4。

相同或相似的标号对应相同或相似的部件；

附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种混合注意力机制的眼底图像视网膜血管分割方法，其特征在于，包括以下步骤：

S1：获取视网膜眼底图像，将视网膜图像分为训练集和测试集；

S2：构建混合注意力卷积神经网络，所述混合注意力卷积神经网络用于对视网膜眼底图像中视网膜血管的分割；

S3：利用训练集训练所述混合注意力卷积神经网络，利用测试集测试所述混合注意力卷积神经网络，得到训练好的混合注意力卷积神经网络；

S4：将待分割的视网膜图像输入至训练好的混合注意力卷积神经网络，所述混合注意力卷积神经网络输出视网膜图像血管分割结果。

2.根据权利要求1所述的混合注意力机制的眼底图像视网膜血管分割方法，其特征在于，步骤S1中获取视网膜眼底图像从四个彩色视网膜图像公共数据库DRIVE、STARE、CHASE_DB1和HRF获取。

3.根据权利要求1所述的混合注意力机制的眼底图像视网膜血管分割方法，其特征在于，所述混合注意力卷积神经网络包括初始卷积模块、4组卷积编码器模块、1组混合注意力模型层数加深模块、4组注意力卷积解码器模块和卷积输出层模块，其中，视网膜眼底图像从初始卷积模块输入，依次经4组卷积编码器模块、1组混合注意力模型层数加深模块、4组注意力卷积解码器模块和卷积输出层模块输出。

4.根据权利要求3所述的混合注意力机制的眼底图像视网膜血管分割方法，其特征在于，所述初始卷积模块包括输入层和2层卷积层，其中所述输入层为整个混合注意力卷积神经网络输入视网膜眼底图像数据，并产生一个通道优先的3×512×512维度的张量，在2层卷积层中，卷积核大小均设置为3×3，步长均为1，边缘补值方式为等大补零，即根据卷积核大小和步长，在边缘补1像素的常数灰度值0，空洞系数为1。

5.根据权利要求4所述的混合注意力机制的眼底图像视网膜血管分割方法，其特征在于，所述4组卷积编码器模块中的每一个卷积编码模块均包括最大池化层和2组卷积层，所述张量在卷积编码器模块内部时，维度保持一致，通道数有最后一组卷积层的卷积运算翻倍。

6.根据权利要求5所述的混合注意力机制的眼底图像视网膜血管分割方法，其特征在于，所述混合注意力模型层数加深模块包括两个标准残差神经网络与一个混合注意力模型，所述混合注意力模型具体为：

将最后一个卷积编码器模块的输出特征图、经过两个标准残差神经网络后的输出特征图、最后一个卷积编码器模块的输出和经过两个标准残差神经网络后的输出相加后的特征图分别进行自适应均值池化，分别得到通道数为C，长x宽分别为2x2的第一特征图、2x2的第二特征图和1x1的第三特征图，所述第一特征图经1x1卷积操作后加修正线性单元操作后与第三特征图相乘后，再与第二特征图相加，再经1x1卷积操作后加修正线性单元操作后，再进行平均池化得到第四特征图，所述第四特征图与经1x1卷积操作后加修正线性单元操作后的最后一个卷积编码器模块的输出特征图相乘后，再与经过两个标准残差神经网络后的输出特征图相加，最后经1x1卷积操作后加修正线性单元操作后输出。

7.根据权利要求6所述的混合注意力机制的眼底图像视网膜血管分割方法，其特征在于，所述4组注意力卷积解码器模块中的每组注意力卷积解码器模块均包括上采样卷积层，基本注意力模型层和卷积层。

8.根据权利要求7所述的混合注意力机制的眼底图像视网膜血管分割方法，其特征在于，所述卷积输出层模块包括一层与输出特征分量相关的卷积运算。

9.根据权利要求8所述的混合注意力机制的眼底图像视网膜血管分割方法，其特征在于，卷积输出层模块输出激活值在范围【0,1】内的代表像素属于正类的概率置信度图，激活函数为Sigmoid函数。

10.根据权利要求9所述的混合注意力机制的眼底图像视网膜血管分割方法，其特征在于，步骤S4中输出视网膜图像血管分割结果，具体为：

视网膜图像经混合注意力卷积神经网络处理后，输出与输入图像尺度大小一致的概率置信度图，所述概率置信度图上像素点的概率值代表该像素点属于正类血管像素的置信度大小，最终的概率置信度图均为通过阈值处理后得到，阈值取为0.4。

Images