CN112150476A - 基于时空判别性特征学习的冠状动脉序列血管分割方法 - Google Patents

Abstract

本发明涉及一种基于时空判别性特征学习的冠状动脉序列血管分割方法，对心脏冠状动脉造影序列图像进行血管分割处理，该方法基于预训练的改进U‑net网络模型对当前帧图像及其临近几帧图像进行处理，获取当前帧图像的血管分割结果，所述改进U‑net网络模型包括编码部分、跳跃连接层和解码部分，所述编码部分采用3D卷积层进行时间空间特征提取，所述解码部分设有通道注意力模块，所述跳跃连接层对编码部分提取的特征进行聚合，得到聚合特征图并传输至解码部分。与现有技术相比，本发明引入时空特征进行心脏冠状动脉血管分割，并降低了时域噪声的干扰，强调了血管特征，缓解了血管分割中类别不平衡的问题，具有更高的血管分割准确率。

Description

基于时空判别性特征学习的冠状动脉序列血管分割方法

技术领域

本发明涉及图像分割领域，尤其是涉及一种基于时空判别性特征学习的冠状动脉序列血管分割方法。

背景技术

根据世界卫生组织的数据显示，近年来心血管疾病呈现高发态势，其高死亡率位列各种恶性疾病之首，严重威胁着人类的生命健康。心血管疾病的早期筛查，是降低心血管疾病发病率的有效手段。基于计算机辅助诊断技术，可以辅助医生快速、准确的诊疗，大大减少医生的工作量，提高医疗资源的利用效率，让医疗资源覆盖更多的人群。血管分割，作为计算机辅助诊断的基础步骤，为后续心血管疾病的筛查、诊断提供支持。

在深度学习发展起来之前，血管分割多采用传统分割算法。基于血管的管状结构特点而设计的血管增强和特征提取方法，可以把血管的主干较准确的分割出来，但是该类算法是基于局部滑动窗口检测的思想，具有有限的感受野，算法易受到噪声干扰，且效率较低。基于区域生长的算法，对初始生长点的选择、生长规则、迭代中止条件的选取比较敏感，算法需要人的介入，不是自动分割算法。

近年来，卷积神经网络以其高准确率、高推断速度、高泛化能力等优势，在图像分类、分割、检测等领域都取得了令人瞩目的表现。卷积神经通过权值共享、局部连接、池化操作等可以有效降低网络参数数量，保持平移、尺缩、形变不变性；卷积神经网络可以通过自动的提取多层级、多尺度特征，避免复杂特征工程的设计环节。随着卷积神经网络的发展，研究者开始将其应用于医学图像处理领域。起初，人们利用全连接网络结构，先利用一系列卷积层进行特征提取，然后利用全连接层对特征进行分类，通过逐像素的分类，可以完成分割任务。全连接的网络结构中，全连接层集中了整个网络80％的参数，易发生过拟合问题。此外，全连接网络结构的输入是由整张图像切分出来的若干patch,网络的感受野较小，这会降低网络的分割效果，为了得到整张图像的分割结果，需要重复运行网络多次，利用各个patch的分割结果拼接成整张原始图片的分割结果。后来，全卷积网络结构的提出，解决了全连接网络易过拟合的问题，逐渐成为分割网络的首选结构。针对医学图像低对比度、边界模糊、噪声多等问题，设计的u-net全卷积分割网络，通过编码层提取多尺度的特征，并传递具有丰富细节信息的浅层特征到解码层等手段，可以得到较为准确的分割边界。因此u-net网络结构逐渐成为医学图像分割的基础结构。然而，将u-net直接应用于心脏冠状动脉血管序列分割中，会存在如下问题：

第一，由于冠状动脉造影图像的对比度低、边界模糊、空间分布的噪声干扰、其他组织的遮挡，单张图像不能提供充分的信息用于区分血管像素和背景像素。现有的文献里面有的忽略了时域信息的运用，有的单纯引入时域信息，而忽略引入时域信息过程中同时引入了噪声干扰。

第二，为当前帧造影图像的血管分割提供上下文参考的过程中，我们人为的引入了更多的时域信息，但是时域信息里面也不可避免的引入了噪声干扰，时域信息的引入一方面为后续血管分割图重建提供了充足信息，另一方面也引入了较多的信息冗余，增加了GPU运算负担。

第三，由于血管造影图像中，前景(血管)像素数量占总像素的比例在5％左右，因此前景分割会遇到严重的类不平衡问题。在类不平衡问题中，会使得网络倾向于将所占比例较小的那一类像素判断为所占比例较多的那一类像素，使得分割精度下降。以往的血管分割模型中，大多采用交叉熵作为损失函数，没有考虑到类别不平衡问题。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于时空判别性特征学习的冠状动脉序列血管分割方法。

本发明的目的可以通过以下技术方案来实现：

一种基于时空判别性特征学习的冠状动脉序列血管分割方法，对心脏冠状动脉造影序列图像进行血管分割处理，该方法基于预训练的改进U-net网络模型对当前帧图像及其临近几帧图像进行处理，得到时间空间特征表示，为网络提供推断当前帧血管像素的上下文参考知识，提高推断的准确性，最终获取当前帧图像的血管分割结果，所述改进U-net网络模型包括编码部分、跳跃连接层和解码部分，所述编码部分采用3D卷积层进行时间空间特征提取，所述解码部分设有通道注意力模块，所述跳跃连接层对编码部分提取的特征进行聚合，得到聚合特征图并传输至解码部分。

进一步地，所述编码部分包括有多个卷积阶段，所述卷积阶段依次包括一个3D卷积层和一个3D残差块，所述编码部分的最后一个卷积阶段为一个3D卷积层。

进一步地，所述编码部分中第一个卷积阶段的3D卷积层的卷积核为1×1×1，卷积步幅为1×1×1，其余卷积阶段的3D卷积层的卷积核大小为2×2×2，卷积步幅为1×2×2。所述3D残差块的卷积核大小为3×3×3，卷积步幅为1×1×1。

进一步地，所述编码部分中最后两个卷积阶段的3D卷积层前设有一个Spatialdropout3D操作。

进一步地，所述跳跃连接层包含多个卷积核大小为4×1×1的3D卷积层，分别对各个卷积阶段提取的时空特征进行聚合处理，得到聚合特征图，有效减少GPU计算的缓存。

进一步地，所述解码部分包括多个双线性上采样操作，所述双线性上采样操作依次包括上采样模块、通道注意力模块和2D残差块，所述上采样模块对特征图依次进行上采样处理和2D卷积处理，得到上采样特征图。所述2D残差块的卷积核大小为3×3，卷积步幅为1×1。

进一步地，所述通道注意力模块对聚合后的时空特征进行加权，在特征空间抑制噪声响应同时筛选具有判别性的特征用于血管分割图的重建。通道注意力模块的处理步骤包括：

首先，获取对应的聚合特征图的通道注意力权重；

然后，将通道注意力权重与对应的聚合特征图进行加权；

最后，将加权后的聚合特征图与对应大小的上采样特征图进行逐像素相加，得到纯化后的特征图。

进一步地，所述通道注意力权重的获取具体为：将聚合特征图与对应大小的上采样特征图沿通道轴拼接，然后依次进行全局平均池化、第一次卷积和第二次卷积，得到通道注意力权重；所述第一次卷积包括一个卷积核为1×1的2D卷积层和一个Relu非线性激活函数，所述第二次卷积包括一个卷积核为1×1的2D卷积层和一个Sigmoid非线性激活函数。

进一步地，为了增加训练样本的数量进而提高网络的泛化能力，所述对改进U-net网络模型的预训练过程还对训练样本进行数据增强处理，所述数据增强处理包括旋转、水平翻转、垂直翻转、比例尺缩、随机剪切和仿射变换。

进一步地，为了缓解血管分割过程中存在的类不平衡问题，所述对改进U-net网络模型的预训练过程的损失函数为Dice系数的相反数，Dice系数衡量了血管标签与网络预测出的血管分割图的吻合度。Dice系数介于0-1之间，0表示两者完全不重合，1表示两者完全重合。所述损失函数的表达式为：

式中，L_Dice为损失函数，p_i为预测的血管分割图上第i个像素的概率取值，介于0-1之间。y_i为血管标签中第i个像素的取值，0代表背景像素，1代表血管像素。ε为确保数值稳定的常量，n表示像素的总数量。

与现有技术相比，本发明具有以下优点：

(1)本发明通过将当前帧图像和其临近几帧图像同时输入进网络，为网络提供推断当前帧血管像素的上下文参考信息，提高推断的准确性。在网络的编码部分采用多个卷积阶段来提取时空特征，为解码部分的血管推测提供上下文环境。卷积阶段由3D卷积层及3D残差block组成，在拓展网络深度的同时，又促进了梯度向浅层反向传播。通过时空特征的提取，一定程度上解决造影图像中背景遮挡、背景前景对比度低导致的难以分辨的问题。

(2)本发明在跳跃连接阶段沿着时间轴聚合时间空间特征，有效减少了GPU计算的缓存。

(3)本发明网络中通道注意力机制对聚合后的时空特征进行加权，在特征空间抑制噪声响应同时筛选具有判别性的特征用于血管分割图的重建。该方法降低了时域噪声的干扰，强调了血管的特征，减少了分割得到的图像中背景的残留。解码部分采用双线性上采样策略，减少了网络可训练参数的数量。

(4)本发明网络模型训练的损失函数为Dice系数的相反数，缓解了血管分割中类别不平衡的问题，提高了分割的准确率。

附图说明

图1为本发明改进U-net网络模型总体结构示意图；

图2为本发明残差块结构示意图，其中a)为3D残差块结构示意图，b)为2D残差块结构示意图；

图3为本发明跳跃连接层时空特征聚合操作的示意图；

图4为本发明通道注意力模块的结构示意图；

图5为本发明中改进U-net网络模型采用不同特征提取方式及通道注意力机制的心脏冠状动脉血管分割效果的评价指标对比图；

图6为本发明分割方法与其它主流血管分割算法的心脏冠状动脉血管分割效果的评价指标对比图；

图7为本发明分割方法与其它主流血管分割算法的心脏冠状动脉血管分割结果对比图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

本实施例提供一种基于时空判别性特征学习的冠状动脉序列血管分割方法，该方法运行在GPU中，包括：

1、网络结构的设计

如图1所示，本实施例网络结构是基于传统U-net结构的改进版，包括有编码部分、跳跃连接层和解码部分。

1.1、编码部分

本实施例网络模型的输入是临近的4帧造影图像(F_i-2,F_i-1,F_i,F_i+1)，输出为当前帧F_i的分割结果P_i。网络的输入经过编码层进行特征提取，得到时间空间特征表示。编码层包括7个卷积阶段。前6个卷积阶段均是由一个3D卷积层(Conv3D+BN+Relu,其中Conv3D表示3D卷积操作，BN表示Batch Normalization，为正则化，Relu表示非线性激活操作)和一个3D残差块(Block3D)组成，3D残差块的结构如图2a)所示，第七个编码部分由一个3D卷积层组成。第一个卷积阶段的3D卷积层的卷积核为1×1×1,卷积步幅为1×1×1。其余卷积阶段的3D卷积层采用2×2×2的卷积核，卷积步幅为1×2×2。编码部分的残差block(Block3D)均采用3×3×3的卷积核，卷积步幅仍为1×1×1。第6和第7两个卷积阶段的3D卷积层在卷积操作之前先用Spatialdropout3D操作，池化的概率为0.5。各个卷积阶段的输出特征图的通道数从前到后分别为8,16,32,64,128,256,512。

1.2、跳跃连接层

如图3所示，跳跃连接层接收各个编码部分提取到的时空特征后，做聚合处理，然后传递给相应的解码部分。跳跃连接层仍采用3D卷积操作，卷积核大小为4×1×1。各个跳跃连接操作输出的特征图的通道数依次为8,16,32,64,128,256,512。

1.3、解码部分

解码部分包含6次的双线性上采样操作。每一次的双线性上采样操作均是由上采样模块、通道注意力模块和2D残差块组成。

上采样模块采用2×2的卷积核将特征图上采样，接着进行2D卷积处理(Conv2D+BN+Relu,其中Conv2D表示2D卷积操作，BN表示Batch Normalization，为正则化，Relu表示非线性激活操作)，2D卷积的卷积核为2×2，卷积步幅为1×1。

如图4所示，通道注意力模块通过将聚合特征图和上采样特征图沿着通道轴拼接，然后用全局平均池化(GlobalAvgPooling)操作学习全局特征，接着分别用两次卷积操作(Conv2D+Relu,其中Conv2D表示2D卷积操作,卷积核为1×1，Relu表示非线性激活操作；Conv2D+Sigmoid,其中Conv2D表示2D卷积操作,卷积核为1x1，Sigmoid表示非线性激活操作)得到通道注意力权重。利用得到的权重对聚合特征图进行加权，将加权后的聚合特征图与上采样特征图进行逐像素的相加，得到纯化后的特征图。上述纯化后的特征图输入进2D残差块，2D残差块的结构如图2b)所示。2D残差块中采用3×3的卷积核，卷积步幅为1×1。最后一次双线性上采样操作后面使用卷积核大小为1×1，步幅为1×1的2D卷积操作，利用sigmoid激活函数获得最终的分割结果。

2、数据增强

为了增加训练样本的数量进而提高网络的泛化能力，我们采用了数据增强的方法。我们把连续的四帧图像(F_i-2,F_i-1,F_i,F_i+1)看作一个训练样本，我们分别对训练样本以0.5的概率进行旋转(旋转角度范围为[-10°,10°])，水平翻转，垂直翻转，以0.2的比例进行尺缩，随机剪切和仿射变换。

3、网络模型的训练

3.1、损失函数

为了缓解血管分割过程中存在的类不平衡问题，本网络模型采用Dice系数的相反数作为损失函数来指导网络权重的更新。Dice系数衡量了血管标签与网络预测出的血管分割图的吻合度。Dice系数介于0-1之间，0表示两者完全不重合，1表示两者完全重合。该损失函数的表达式为：

式中，L_Dice为损失函数，p_i为预测的血管分割图上第i个像素的概率取值，介于0-1之间。y_i为血管标签中第i个像素的取值，0代表背景像素，1代表血管像素。ε为确保数值稳定的常量，n表示像素的总数量。

3.2、网络参数设置

采用随机梯度下降法SGD来更新网络参数。权重初始学习率为0.01，每200个epoch衰减至原来的10％，网络的batchsize设置为4。

3.3、划分数据集并进行网络训练

将数据集以0.7、0.15、0.15的比例随机划分为训练集、验证集、测试集。根据验证集上的Dice指标，来决定训练中止的时刻。连续20个epoch，当验证集的Dice数值增加小于0.001，则停止训练。

4、网络模型的使用

在测试集上，使用训练好的改进U-net网络模型，对造影图像进行血管分割，获取心脏冠状动脉血管分割结果。

本实施例用以验证本发明的性能，首先，分别测试了改进U-net网络模型编码部分采用2D卷积和3D卷积两种特征提取方式及有无通道注意力机制的效果对比。然后，测试了采用未考虑类不平衡问题的交叉熵损失函数和考虑了类不平衡问题的Dice系数的相反数(Dice loss)的效果对比。最后测试了本发明血管分割算法与采用其他主流血管分割算法的效果对比。

1、采用不同特征提取方式及有无通道注意力机制的效果对比

如表1和图5所示，为对本发明改进U-net网络模型采用不同特征提取方式及通道注意力机制的心脏冠状动脉血管分割效果的评价指标对比。

表1

Method	DR	P	F
				2D naive	0.8261±0.0629	0.8120±0.1080	0.8122±0.0632
2D+CAB	0.7860±0.0680	0.8503±0.0779	0.8129±0.0494
				3D naive	0.8313±0.0495	0.8533±0.0651	0.8402±0.0415
3D+CAB	0.8765±0.0656	0.8361±0.0668	0.8541±0.0550

表中，Method为方法，2D naive为编码部分用2D卷积层做特征提取，解码部分不使用通道注意力模块的改进U-net网络模型，2D+CAB为编码部分用2D卷积层做特征提取，解码部分使用通道注意力模块的改进U-net网络模型，3D naive为编码部分用3D卷积层做特征提取，解码部分不使用通道注意力模块的改进U-net网络模型，3D+CAB为编码部分用3D卷积层做特征提取，解码部分使用通道注意力模块的改进U-net网络模型，DR(Detection Rate)为检测率，P(Pre)为准确性，F为F1-measure，

式中，TP为被正确分类的血管像素的数量，FN为被错误分类的血管像素的数量，FP为被错误分类的背景像素的数量。

从表1和图5可见，对于编码部分采用2D卷积的特征提取方式，解码部分有无通道注意力机制，对分割效果作用不明显，此时可能是由于2D卷积提取到的空间特征没有提供充足的有价值的信息供通道注意力机制筛选；对于编码部分采用3D卷积特征提取时空特征，解码部分采用通道注意力机制会使得检测率DR和F分别提高5.4％和1.65％，可见通道注意力机制可以筛选出有判别性的特征用于血管分割图的重建，从而提高了分割效果。

2、采用不同损失函数的效果对比

如表2所示，对本发明编码部分用3D卷积层做特征提取，解码部分使用通道注意力模块的改进U-net网络模型，分别采用未考虑类不平衡问题的交叉熵损失函数(CE loss)和考虑了类不平衡问题的Dice系数的相反数(Dice loss)的心脏冠状动脉血管分割效果的评价指标对比。

表2

Method	DR	P	F
				CE loss	0.7900±0.0668	0.8854±0.0626	0.8321±0.0453
Dice loss	0.8765±0.0656	0.8361±0.0668	0.8541±0.0550

从表2可见，使用Dice loss作为损失函数，相对于交叉熵损失函数来说，检测率DR和F(F1-measure)均有明显的提高，分别提高10.9％，2.6％。

3、本发明血管分割算法与其他主流血管分割算法的效果对比

如表3和图6所示，为采用本发明改进U-net网络模型(Ours)，与采用其他主流血管分割算法，如Coye’s、Jin’s、Kerkeni’s、SDSN_net、U_net和Catheter_net的心脏冠状动脉血管分割效果的评价指标对比。

表3

Method	DR	P	F
				Coye’s	0.8187±0.0838	0.2898±0.1237	0.4102±0.1327
Jin’s	0.6470±0.2149	0.6737±0.2516	0.6403±0.2023
				Kerkeni’s	0.6833±0.1326	0.7285±0.1360	0.6894±0.1058
SDSN_net	0.6895±0.0975	0.3290±0.0978	0.4355±0.1004
				U_net	0.8191±0.0913	0.6558±0.1303	0.7157±0.0927
Catheter_net	0.8206±0.0749	0.7501±0.1232	0.7738±0.0729
				Ours	0.8765±0.0656	0.8361±0.0668	0.8541±0.0550

如图7所示，为采用本发明改进U-net网络模型(Ours)，与采用其他主流血管分割算法的心脏冠状动脉血管分割结果对比，图中，从左至右，每一列依次代表：原始造影图像，造影图像标签，分割算法Coye’s,Jin’s,Kerkeni’s,SDSN_net,U_net,Catheter_net以及本发明分割算法的心脏冠状动脉血管分割结果；图中从上往下，每一行代表不同造影图像及其不同算法的分割结果。

从表3和图6可见，本发明分割算法相对于其他算法，在检测率、精确性和F1-measure三个指标上均有明显的提升。从图7可见，本发明分割算法分割得到的血管分割图结构完整，断点少，背景残留较少。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (9)

1.一种基于时空判别性特征学习的冠状动脉序列血管分割方法，对心脏冠状动脉造影序列图像进行血管分割处理，其特征在于，该方法基于预训练的改进U-net网络模型对当前帧图像及其临近几帧图像进行处理，获取当前帧图像的血管分割结果，所述改进U-net网络模型包括编码部分、跳跃连接层和解码部分，所述编码部分采用3D卷积层进行时间空间特征提取，所述解码部分设有通道注意力模块，所述跳跃连接层对编码部分提取的特征进行聚合，得到聚合特征图并传输至解码部分。

2.根据权利要求1所述的一种基于时空判别性特征学习的冠状动脉序列血管分割方法，其特征在于，所述编码部分包括有多个卷积阶段，所述卷积阶段依次包括一个3D卷积层和一个3D残差块，所述编码部分的最后一个卷积阶段为一个3D卷积层。

3.根据权利要求2所述的一种基于时空判别性特征学习的冠状动脉序列血管分割方法，其特征在于，所述编码部分中最后两个卷积阶段的3D卷积层前设有一个Spatialdropout3D操作。

4.根据权利要求1所述的一种基于时空判别性特征学习的冠状动脉序列血管分割方法，其特征在于，所述跳跃连接层包含多个3D卷积层，分别对各个卷积阶段提取的特征进行聚合处理，得到聚合特征图。

5.根据权利要求1所述的一种基于时空判别性特征学习的冠状动脉序列血管分割方法，其特征在于，所述解码部分包括多个双线性上采样操作，所述双线性上采样操作依次包括上采样模块、通道注意力模块和2D残差块，所述上采样模块对特征图依次进行上采样处理和2D卷积处理，得到上采样特征图。

6.根据权利要求5所述的一种基于时空判别性特征学习的冠状动脉序列血管分割方法，其特征在于，所述通道注意力模块的处理步骤包括：

首先，获取对应的聚合特征图的通道注意力权重；

然后，将通道注意力权重与对应的聚合特征图进行加权；

最后，将加权后的聚合特征图与对应大小的上采样特征图进行逐像素相加，得到纯化后的特征图。

7.根据权利要求6所述的一种基于时空判别性特征学习的冠状动脉序列血管分割方法，其特征在于，所述通道注意力权重的获取具体为：将聚合特征图与对应大小的上采样特征图沿通道轴拼接，然后依次进行全局平均池化、第一次卷积和第二次卷积，得到通道注意力权重；所述第一次卷积包括一个2D卷积层和一个Relu非线性激活函数，所述第二次卷积包括一个2D卷积层和一个Sigmoid非线性激活函数。

8.根据权利要求1所述的一种基于时空判别性特征学习的冠状动脉序列血管分割方法，其特征在于，所述对改进U-net网络模型的预训练过程还对训练样本进行数据增强处理，所述数据增强处理包括旋转、水平翻转、垂直翻转、比例尺缩、随机剪切和仿射变换。

9.根据权利要求1所述的一种基于时空判别性特征学习的冠状动脉序列血管分割方法，其特征在于，所述对改进U-net网络模型的预训练过程的损失函数的表达式为：

式中，L_Dice为损失函数，p_i为预测的血管分割图上第i个像素的概率取值，介于0-1之间。y_i为血管标签中第i个像素的取值，0代表背景像素，1代表血管像素。ε为确保数值稳定的常量，n表示像素的总数量。

Images