CN114862865B - 基于多视角冠状动脉造影序列图像的血管分割方法及系统 - Google Patents

Abstract

本发明提供了基于多视角冠状动脉造影序列图像的血管分割方法及系统，包括如下步骤：S1、构建样本集；读取原始冠状动脉血管造影序列图像，选取背景帧图像，并依据采集时间定义为当前帧图像、历史帧图像，在不同视角造影序列中选择对应的辅助帧图像，生成样本集；S2、利用深度神经网络模型，基于背景帧图像抑制当前帧序列图像中的背景相关项特征，基于历史帧图像增强当前帧序列图像中的血管相关项特征，并利用辅助帧图像增强当前帧序列图像中的狭窄血管段相关项特征，以使冠状动脉血管造影序列图像完成血管分割。本发明利用造影序列中图像的相关性，具有更好的血管分割精度，获取的血管分割结果具有更高的血管连通性和更少的伪影。

Description

基于多视角冠状动脉造影序列图像的血管分割方法及系统

技术领域

本发明属于冠状动脉血管分割技术领域，尤其是涉及基于多视角冠状动脉造影序列图像的血管分割方法及系统。

背景技术

冠状动脉硬化性心脏病是死亡率最高的疾病之一,冠状动脉血管造影（CoronaryAngiography简称CAG）技术是通过X射线实现冠状动脉的术中实时成像，具有适应症广、诊断效率高等优点，是目前冠心病诊断的“金标准”。在现有基于CAG技术的冠心病诊断流程中，几乎完全依赖于医师视觉估计或手工测量评价患者病情，受主观因素的干扰较大，很难保证评价结果的准确性和客观性。随着图像分割技术在医学图像分析领域的推广和应用，以及临床的需要，计算机辅助CAG冠脉评价逐渐成为研究热点，受到了医学界和学术界的普遍关注。

传统的冠状动脉评估框架一般分为三步：（1）冠脉结构轮廓提取；（2）冠脉血管直径计算；（3）冠脉狭窄分析。常见的CAG血管分割方法可以被分为：特征提取类方法、基于模型的方法和人工智能方法。由于海森（Hessian）矩阵能够获取血管的尺寸和方向信息，所以被广泛用于冠脉造影增强和分割任务中，是一种典型的特征提取类方法。然而，由于血管几何结构的复杂性，这种方法往往得不到连续的血管分割结果。Wan等人结合线条特征设计了一组定向滤波器，改进了基于Hessian的血管分割方法。由于血管结构多为连通管状，Wang等人将Hessian滤波与区域生长算法相结合用于冠状血管图像的分割。此外主动轮廓模型和轨迹追踪模型也被应用于冠脉血管分割。Wilkinson等人提出了用于血管分割的主动轮廓模型，该方法通过变形曲线最小化能量函数来提取血管。Zhou等人提出一种基于多特征的模糊识别方法来指导概率跟踪算子沿着血管树方向进行跟踪，并在跟踪的同时确认血管轴线和测量血管直径，之后又加入血管结构识别算子实现对血管分叉位置的识别。传统方法虽然能够实现的血管分割，但抗扰性和泛化性较差，对狭窄血管段分割效果不理想，在临床中应用十分有限。在狭窄检测问题上，三步式框架是以精准提取冠脉结构轮廓为基础的，且仅利用了冠脉血管的直径信息，忽略了血管狭窄处造影液不充盈，灰度值会低于正常血管段的颜色信息。

近年来，卷积神经网络在医学影像处理中的到了广泛应用并取得了极大的成功。对于医学图像分割，早期的基于深度学习的方法大多使用图像块和滑动窗口。但是这种方法效率低下，产生大量的计算量，同时忽略全局特征信息。Ronneberger等提出了U-net用于医学图像分割，取得了良好的效果，成为最经典的医学图像分割网络，涌现出了大量基于U-net的模型，编码-解码（Encode-Decode）的结构体系也很大程度上启发了后续研究。Tae等人在U-Net的基础上提出了T-Net，在编码和解码块之间的skip connection中加入池化层和上采用层，提高了血管分割精度；Gu等人通过在神经网络的编码器模块中增加DAC(density atrous convolution)块和RMP (residual multi-kernel pooling)块的方法，实现更高层次语义特征提取；Jiang等人将多分辨率和多尺度卷积滤波融合到U-net框架中，使其能够处理不同位置的不同尺度的冠脉血管；Iyer等提出了一个复合神经网络，自动学习能够提高分割性能的最佳预处理滤波器，然后再由分割神经网络进行血管分割。

直接利用神经网络在冠脉造影图像中定位狭窄是近年来一种流行的狭窄检测框架。这是一种端到端的框架，相较于三步式框架速度快，精度高。Du等人首次提出了一种基于深度学习和卷积神经网络的心脏冠状动脉造影病变自动检测方法，设计了一种多尺度卷积神经网络检测和定位狭窄。Cong等人使用卷积神经网络和循环神经网络模型来从造影序列中选择关键帧，并对关键帧中的狭窄血管进行分类。Ovalle-Magallanes等人采用对预训练的卷积神经网络进行切割和微调的方法，通过迁移学习实现狭窄检测。Wu等人在卷积神经网络的基础上加入了连续帧的时间一致性约束来减少错误的数量。Pang等人提出了一种目标检测网络，包括序列特征融合模块和序列一致性比对模块，以最大限度地获取时间信息，实现准确的检测结果。

综上所述，目前已报道的基于深度学习的冠状动脉血管造影图像分割方法和狭窄检测方法，只针对单帧图像进行分割，未能充分利用不同视角造影序列及造影序列不同帧图像间的相关性，导致血管分割效果不理想，临床应用十分有限；故此，本专利申请提出基于多视角冠状动脉造影序列图像的血管分割方法及系统。

发明内容

有鉴于此，本发明旨在提出基于多视角冠状动脉造影序列图像的血管分割方法及系统，以解决目前已报道的基于深度学习的冠状动脉血管造影图像分割方法和狭窄检测方法，只针对单帧图像进行分割，未能充分利用不同视角造影序列及造影序列不同帧图像间的相关性，导致血管分割效果不理想，临床应用十分有限的问题。

为达到上述目的，本发明的技术方案是这样实现的：

一方面，本实施例提供了基于多视角冠状动脉造影序列图像的血管分割方法，包括如下步骤：S1、构建样本集；读取原始冠状动脉血管造影序列图像，从读取的所述序列图像中挑选不同成像角度的主视角序列图像和辅助视角序列图像，并从主视角序列图像中选取背景帧图像，对主视角序列图像和辅助视角序列图像进行序列配准，从主视角序列图像中截取连续多帧可用图像作为主视角子序列图像，根据配准结果确定主视角子序列图像对应的辅助视角子序列图像，对主视角子序列图像依据采集时间定义为当前帧图像、历史帧图像，将辅助视角子序列图像中与当前帧图像配准的图像定义为辅助帧图像，生成样本集；

S2、构建深度神经网络模型，利用深度神经网络模型，基于背景帧图像抑制当前帧序列图像中的背景相关项特征，基于历史帧图像增强当前帧序列图像中的血管相关项特征，并利用辅助帧图像增强当前帧序列图像中的狭窄血管段相关项特征，以完成冠状动脉血管造影序列图像完成血管分割。

进一步的，步骤S1中的背景帧图像选取原则为：选取主视角序列图像中血管段不可见或不清晰的序列图像作为背景帧图像。

进一步的，步骤S1具体包括如下方法：

S11、从读取的原始冠状动脉血管造影序列图像中，从读取的所述序列图像中挑选两个不同成像角度的序列图像，选取其中血管最为明显且狭窄血管段清晰可见的序列图像作为主视角序列图像，另一个作为辅助视角序列图像，将主视角序列图像中成像伪影少、信噪比高、血管轮廓清晰的图像标记为可用图像；

S12、通过分析主视角序列图像和辅助视角序列图像的心跳相位信息完成序列配准；

S13、截取主视角序列图像中连续N帧可用图像作为主视角子序列图像，根据步骤S12中的序列配准结果，确定主视角子序列图像对应的辅助视角子序列图像；

S14、对主视角子序列图像和辅助视角子序列图像进行数据预处理；

S15、对预处理后的主视角子序列图像进行人工数据标注，并从主视角子序列图像中手动分割出正常血管和狭窄血管，获得正常血管掩码图像和狭窄血管掩码图像；

S16、对主视角子序列图像依据采集时间定义为当前帧图像、历史帧图像，将辅助视角子序列图像中与当前帧图像配准的图像定位为辅助帧图像，构建样本集。

进一步的，步骤S16中，主视角子序列中的图像按照采集先后进行排序，图像序号记为t，t为1至N内的正整数，按与主视角子序列相同的方式，对辅助视角子序列中的图像进行编号；

在t=1时刻，第1帧主视角图像记为当前帧图像，第1帧辅助视角图像记为辅助帧图像，背景帧图像记为历史帧图像；

在t>1时刻，第t帧主视角图像记为当前帧图像，第t帧辅助视角图像记为辅助帧图像，第t-1帧主视角图像记为历史帧图像；

将当前帧图像、辅助帧图像、历史帧图像、背景帧图像及当前帧图像所对应手工分割出的血管掩码图像和狭窄血管掩码图像定义为一个样本，长度为N的主视角子序列及其辅助视角序列得到N个样本，读取M个原始冠状动脉血管造影序列图像，生成包含M×N个样本的样本集。

进一步的，基于深度学习开发平台，搭建深度神经网络模型，步骤S2具体包括如下步骤：

S21、提取当前帧图像、历史帧图像、背景帧图像和辅助帧图像的图像特征；

S22、利用深度神经网络模型，根据背景帧图像抑制当前帧序列图像中的背景相关项特征，根据历史帧图像增强当前帧序列图像中的血管相关项特征，利用辅助帧图像增强当前帧序列图像中的狭窄血管段相关项特征；

S23、利用深度神经网络模型，对冠状动脉血管相关项特征进行数据增强，将增强后的冠状动脉血管相关项特征进行数据融合，利用融合后的图像特征输出预测的正常血管掩码图像和狭窄血管掩码图像，通过对比网络对预测的正常血管掩码图像、狭窄血管掩码图像与手工分割出的正常血管掩码图像、狭窄血管掩码图像进行对比，实现血管分割。

进一步的，将步骤S1中的样本集随机划分为训练集、验证集和测试集，对步骤S2中构建好的深度神经网络模型进行模型性能训练、验证和测试；

将训练集中的当前帧图像、历史帧图像、背景帧图像、辅助帧图像、以及手工分割出的正常血管掩码图像和狭窄血管掩码图像输入至深度神经网络模型进行模型性能训练；

将验证集中的当前帧图像、历史帧图像、背景帧图像、辅助帧图像、以及手工分割出的正常血管掩码图像和狭窄血管掩码图像输入至深度神经网络模型进行模型性能验证；

将测试集中的将当前帧图像、历史帧图像、背景帧图像和辅助帧图像输入至训练好的深度神经网络模型中，将模型输出作为正常血管掩码图像、狭窄血管掩码图像的预测值，将预测值与手工分割出的正常血管掩码图像、狭窄血管掩码图像进行对比，观察输出标签预测结果，计算评价指标。

另一方面，本实施例还提供了基于多视角冠状动脉造影序列图像的血管分割系统，包括：

数据准备模块；读取原始冠状动脉血管造影序列图像，从读取的所述序列图像中挑选不同成像角度的主视角序列图像和辅助视角序列图像，并从主视角序列图像中选取背景帧图像，对主视角序列图像和辅助视角序列图像进行序列配准，从主视角序列图像中截取连续多帧可用图像作为主视角子序列图像，根据配准结果确定主视角子序列图像对应的辅助视角子序列图像，对主视角子序列图像和辅助视角子序列图像依据采集时间定义为当前帧图像、历史帧图像，将辅助视角子序列图像中与当前帧图像配准的图像定义为辅助帧图像，生成样本集；

网络构建模块；构建深度神经网络模型，利用深度神经网络模型，基于背景帧图像抑制当前帧序列图像中的背景相关项特征，基于历史帧图像增强当前帧序列图像中的血管相关项特征，并利用辅助帧图像增强当前帧序列图像中的狭窄血管段相关项特征，以完成冠状动脉血管造影序列图像完成血管分割。

进一步的，网络构建模块包括编码模块、记忆模块、减影模块、融合模块和解码模块；

编码模块用于提取当前帧图像、历史帧图像、背景帧图像和辅助帧图像的图像特征；

记忆模块用于根据历史帧图像特征增强当前帧图像特征的血管相关项特征；

减影模块用于根据背景帧图像特征抑制当前帧图像特征中的背景相关项特征，增强当前帧图像特征中的血管相关项特征；

融合模块用于融合辅助帧图像特征、记忆模块和减影模块增强后的血管相关项特征；

解码模块利用融合后的图像特征预测血管掩码图像，实现血管分割。

进一步的，还包括网络训练模块，网络训练模块包括训练模块、测试模块和验证模块；将样本集随机划分为训练集、测试集和验证集；

训练模块，将训练集中的样本输入至深度神经网络模型进行模型训练；

验证模块，将验证集中的样本输入至深度神经网络模型进行模型性能验证；

测试模块，将验证集中的样本输入至训练好的深度神经网络模型进行模型性能测试，该模块输出作为血管掩码图像的预测值，该预测值为血管分割结果，根据网络模型预测的正常血管掩码图像、狭窄血管掩码图像与人工分割的正常血管掩码图像、狭窄血管掩码图像进行指标计算，完成网络模型性能的定量评价。

相对于现有技术，本发明所述的基于多视角冠状动脉造影序列图像的血管分割方法及系统具有以下有益效果：

（1）本发明所述的基于多视角冠状动脉造影序列图像的血管分割方法及系统将冠脉造影序列中的图像分为当前帧、历史帧、背景帧和辅助帧，采用深度神经网络，基于背景帧图像抑制当前帧序列图像中的背景相关项特征，基于历史帧图像增强当前帧序列图像中的血管相关项特征，并利用辅助帧图像增强当前帧序列图像中的狭窄血管段相关项特征，实现高精度血管分割；

相较于现有的冠状动脉造影血管分割方法，本发明通过利用造影序列中图像的相关性，具有更好的血管分割精度。

（2）本发明所述的基于多视角冠状动脉造影序列图像的血管分割方法及系统得到的血管分割结果，具有更高的血管连通性和更少的伪影。

（3）本发明所述的基于多视角冠状动脉造影序列图像的血管分割方法及系统可用于冠心病经皮介入治疗中，实现冠状动脉造影图像高精度血管分割，可以显著节约手术时间、降低人工阅图误差、减少人力资源。

附图说明

构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明实施例所述的血管分割方法流程图；

图2为本发明实施例所述的深度神经网络模型各模块组成示意图；

图3为本发明实施例所述的冠状动脉造影序列图像血管分割结果图；

图4为本发明实施例所述的血管分割系统模块组成示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明中的具体含义。

下面将参考附图并结合实施例来详细说明本发明。

实施例中针对冠状动脉造影序列血管分割的特殊应用形式，以当前帧图像、辅助帧图像、历史帧图像、背景帧图像作为模型的输入，正常血管掩码和狭窄血管掩码作为模型的输出；

实施例一：

本发明提供了一种基于多视角冠状动脉造影序列图像的血管分割方法，包括如下步骤：

第一步，对冠状动脉血管造影序列图像进行图像预处理并构建样本集；

1)读入试受者的冠状动脉血管造影序列图像；挑选两个不同成像角度的冠状动脉血管造影序列图像，选取其中血管最为明显且狭窄血管段清晰可见的序列作为主视角序列，另一个作为辅助视角序列,主视角和辅助视角应相差30度以上，本实施例中以挑选两个正交角度的冠状动脉血管造影序列图像为例，选取主视角序列中血管轮廓不可见或不清晰的图像作为背景帧图像，将主视角序列中成像伪影少、信噪比高、血管轮廓清晰的图像标记为可用图像；

2)对主视角序列图像和辅助视角度序列图像进行配准；可以通过分析主视角序列图像和辅助视角序列图像的心跳相位信息实现序列配准，配准过程中所涉及的心跳相位信息，可通过与造影图像同步采集的心电信号（ECG）或者图像门控算法得到，图像门控算法通过分析图像特征估计图像所对应的心跳相位，所涉及的图像特征包括但不仅限于：血管轮廓、图像模糊度、图像平均偏差、相邻帧图像相关系数、相邻帧图像距离平方和等，图像特征分析方法包括但不仅限于：频谱分析、低通滤波器、支持向量机等利用频谱分析法分析图像模糊度、图像平均偏差、相邻帧图像相关系数等图像特征对主视角序列图像和辅助视角度序列图像进行配准；

3)截取主视角序列中连续N帧可用图像，作为主视角图像子序列，根据步骤2)中的图像配准结果，确定主视角子序列图像所对应的辅助视角子序列图像，帧数N根据造影图像采集模式确定，由N所决定的图像子序列应包含至少一个完整的心跳周期，推荐10 < N <20；统计临床数据拍摄频率，计算子序列长度，确保子序列包括一个完整心脏周期，在本例中子序列长度为15，分别从主视角序列和辅助视角序列中排除造影质量差，血管轮廓不清楚的图像，截取包含连续15帧图像的主视角子序列图像和辅助视角子序列图像；

4)对主视角子序列图像和辅助视角子序列图像进行数据预处理，预处理目的包括：减少图像噪声、增强血管信息、增强血管和背景的对比度，预处理方法包括但不仅限于：中值滤波、Frangi滤波、Hessian血管增强、自适应直方图均衡化；

本实施例，对主视角子序列和辅助视角子序列中每张图像进行中值滤波和自适应直方图均衡化，减少图像噪声，增强血管和背景的对比度，本实施例中中值滤波采用3×3的滤波器模板；

5)对预处理后的主视角子序列中的图像进行人工数据标注，手动分割出图像中正常血管及狭窄血管，将人工分割得到的正常血管的掩码图像和狭窄血管的掩码图像，用于后续的深度神经网络训练，本实施例中正常血管灰度值标记为255，狭窄血管灰度值标记为127；

6)对主视角子序列图像按照采集时的先后顺序进行编号，序号记为t，t为1至N内的正整数，按与主视角子序列图像相同的方式，对辅助视角子序列图像中的图像进行编号；在t=1时刻，第1帧主视角子序列图像记为当前帧图像，第1帧辅助视角子序列图像记为辅助帧图像，背景帧图像记为历史帧图像；在t>1时刻，第t帧主视角子序列图像记为当前帧图像，第t帧辅助视角子序列图像记为辅助帧图像，第t-1帧主视角子序列图像记为历史帧图像；当前帧图像、辅助帧图像、历史帧图像、背景帧图像及当前帧图像所对应的血管掩码图像被定义为一个样本，长度为N的主视角子序列图像及其辅助视角子序列图像可得到N个样本；本实施例中每位受试者可获得15各样本；

7)重复上述步骤，直至所有受试者样本均提取完成，读取M个受试者的造影图像序列，共可生成M×N个样本。

第二步，利用编程语言工具，例如：C++、Matlab、Python，基于深度学习开发平台，例如：Tensorflow、Pytorch，构建深度神经网络模型；

S21、提取当前帧图像、历史帧图像、背景帧图像和辅助帧图像的图像特征；

S22、利用深度神经网络模型，根据背景帧图像抑制当前帧序列图像中的背景相关项特征，根据历史帧图像增强当前帧序列图像中的血管相关项特征，利用辅助帧图像增强当前帧序列图像中的狭窄血管段相关项特征；

S23、利用深度神经网络模型，对冠状动脉血管相关项特征进行数据增强，将增强后的冠状动脉血管相关项特征进行数据融合，利用融合后的图像特征输出预测的正常血管掩码图像和狭窄血管掩码图像，通过对比网络对预测的正常血管掩码图像、狭窄血管掩码图像与手工分割出的正常血管掩码图像、狭窄血管掩码图像进行对比，实现血管分割。

第三步，将构建好的深度神经网络模型进行模型训练、测试和验证；

模型使用Tensorflow框架实现，采用Adam优化器优化，初始设置学习率为0.0001，学习率下降规则为：如果经过3个epoch后仍不下降，学习率缩小为原来的0.5倍，设置bathsize为8，epoch为100；损失函数由二类交叉熵损失和交并比损失函数组成：

其中，

和

为两类损失的权重参数、

为真实标签向量、

为预测标签向量、

为真实图像、

为预测图像，将预处理好的训练集和验证集数据输入模型，进行训练和验 证，训练和验证交替进行，当验证阶段的损失值不再下降时，结束训练。

将测试集中的当前帧图像、历史帧图像、背景帧图像和辅助帧图像输入至训练好的深度神经网络模型，将模型输出作为血管掩码图像的预测值，即网络的血管分割结果，根据网络预测血管掩码图像和人工分割血管掩码图像计算准确度、精度、F1分数等指标，对模型的性能进行定量评价。

本发明相较于现有的冠状动脉造影血管分割方法，通过利用造影序列中图像的相关性，具有更好的血管分割精度，利用本发明获得的血管分割结果，具有更高的血管连通性和更少的伪影；利用本发明进行的冠状动脉造影血管分割结果如图3所示。

如图4所示，实施例二，本发明还提供了一种基于多视角冠状动脉造影序列图像的血管分割系统，包括：

数据准备模块；读取原始冠状动脉血管造影序列图像，从读取的所述序列图像中挑选不同成像角度的主视角序列图像和辅助视角序列图像，并从主视角序列图像中选取背景帧图像，对主视角序列图像和辅助视角序列图像进行序列配准，从主视角序列图像中截取连续多帧可用图像作为主视角子序列图像，根据配准结果确定主视角子序列图像对应的辅助视角子序列图像，对主视角子序列图像和辅助视角子序列图像依据采集时间定义为当前帧图像、历史帧图像，将辅助视角子序列图像中与当前帧图像配准的图像定义为辅助帧图像，生成样本集；

网络构建模块；使用tensorflow框架完成模型的编程，模型采用了编码器-解码器的结构，编码器采用了在ImageNet预训练好的VGG16模型，解码器则采用了常规的U-net解码器结构；本实施例中图像分辨率均为512×512，即w=512，h=512。下面进行详细介绍：

请参阅图2所示，深度神经网络模型中的各模块具体结构未在附图中展示，各模块具体结构属于本领域的公知常识；

编码模块将单通道灰度图像作为输入，大小为512×512×1，采用在ImageNet预训练好的VGG16模型作为特征提取网络进行迁移学习，共包括13个3×3卷积层和4个2×2最大池化层，3×3卷积层拉伸通道数，2×2最大池化层压缩分辨率，最终输出特征空间大小为32×32×1024，此外每个即将进入池化层的输入特征都会被提取出来与解码器对应分辨率的特征进行跳跃连接，大小分别为512×512×64，256×256×128，128×128×256，64×64×512。

记忆模块输入为历史帧和当前帧图像特征，历史帧和当前帧图像特征分别通过两个并行3×3卷积层，得到历史帧和当前帧图像的键特征空间和值特征空间，大小分别为32×32×128和32×32×512；将当前帧图像的键特征重塑为1024×128，历史帧图像的键特征重塑128×102，重塑后的历史帧图像键特征和当前帧图像键特征做矩阵乘法，通过一个softmax层归一化后得到1024×1024的输出，该输出作为权重，与重塑为1024×512的记忆值特征做矩阵乘法，得到1024×512的特征向量，将其重塑为32×32×512的特征空间后其与当前帧的值特征连接作为输出记忆模块的输出，大小为32×32×1024。

减影模块输入为背景帧和当前帧图像特征，分别计算背景帧和当前帧图像特征通道维度上的平均值和最大值，将得到的平均值特征和最大值特征堆叠起来，得到两个32×32×2的特征空间，两个特征空间求差后通过一个7×7卷积层将通道数压缩为1，即大小为32×32×1，作为当前帧图像特征的空间注意力权重，与当前帧图像特征相乘后作为减影模块输出，大小为32×32×1024。

辅助帧图像经过编码器提取特征后，编码器输出的图像特征与记忆模块输出、减影模块输出堆叠后作为融合模块输入，融合模块由一个全局平均池化层，一个一维卷积层和一个sigmoid层组成。其中一维卷积的卷积核k大小计算公式为：

其中C表示输入特征层通道数，|*|odd表示距离最近的奇数。sigmoid层输出大小为1×1×3072权重 向量，与输入相乘后作为最终融合图像特征，大小为32×32×3072。

解码模块共包括9个3×3卷积层和4个2×2的上采样层，融合模块输出的最终融合图像特征作为解码模块输入，输入特征经过一个3×3卷积层和一个2×2的上采样层，将特征分辨率上升为64×64，通道数压缩为1024，并与编码器输出的对应分辨率的特征空间相跳跃连接，得到64×64×1536特征空间作为编码器下一层输入，64×64×1536特征空间经过两个3×3卷积层压缩通道数和一个2×2的上采样层还原分辨率，得到128×128×512的特征空间，与编码器输出的对应分辨率的特征空间相跳跃连接，此过程共重复三次，最终的得到512×512×192的特征空间，经过一个3×3卷积层，通道数缩减为64，然后使用softmax层进行标签的预测，得到标签预测结果。

模型训练模块，用于模型训练、测试和验证。将第一步中生成的样本集按照一定比例，例如：8：1：1，分为训练集、测试集、验证集；模型使用随机梯度降的方法进行训练，可以采用优化器，例如：Adam优化器，采用自适应学习率，初始学习率根据经验选取，损失函数由多类损失函数组合而成，例如：二类交叉熵损失函数和交并比损失函数；

训练过程中，将训练集中的当前帧图像、历史帧图像、背景帧图像、辅助帧图像、手工分割出的正常血管掩码图像和手工分割出的狭窄血管掩码图像输入至深度神经网络模型中，根据损失函数，计算网络预测血管掩码图像和人工分割血管掩码图像之间损失值，记为Loss_train；损失值反向传播至网络各层，由网络优化器实现网络参数更新。

将验证集中的当前帧图像、历史帧图像、背景帧图像、辅助帧图像、手工分割出的正常血管掩码图像和手工分割出的狭窄血管掩码图像输入至深度神经网络模型，根据损失函数，计算网络预测血管掩码图像和人工分割血管掩码图像之间损失值，记为Loss_validation，训练和验证交替进行，根据训练Loss_train和Loss_validation的变化情况，判断是否结束模型训练。

完成模型训练后，将测试集中的当前帧图像、历史帧图像、背景帧图像和辅助帧图像输入至训练好的深度神经网络模型，将网络模型输出作为血管掩码图像的预测值，即网络的血管分割结果，根据网络模型预测血管掩码图像和人工分割血管掩码图像计算准确度、精度、F1分数等指标，对模型的性能进行定量评价。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.基于多视角冠状动脉造影序列图像的血管分割方法，其特征在于，包括如下步骤：S1、构建样本集；读取原始冠状动脉血管造影序列图像，从读取的所述序列图像中挑选不同成像角度的主视角序列图像和辅助视角序列图像，并从主视角序列图像中选取背景帧图像，对主视角序列图像和辅助视角序列图像进行序列配准，从主视角序列图像中截取连续多帧可用图像作为主视角子序列图像，根据配准结果确定主视角子序列图像对应的辅助视角子序列图像，对主视角子序列图像依据采集时间定义为当前帧图像、历史帧图像，将辅助视角子序列图像中与当前帧图像配准的图像定义为辅助帧图像，生成样本集；

S2、构建深度神经网络模型，利用深度神经网络模型，基于背景帧图像抑制当前帧序列图像中的背景相关项特征，基于历史帧图像增强当前帧序列图像中的血管相关项特征，并利用辅助帧图像增强当前帧序列图像中的狭窄血管段相关项特征，以完成冠状动脉血管造影序列图像完成血管分割。

2.根据权利要求1所述的基于多视角冠状动脉造影序列图像的血管分割方法，其特征在于，步骤S1中的背景帧图像选取原则为：选取主视角序列图像中血管段不可见或不清晰的序列图像作为背景帧图像。

3.根据权利要求1所述的基于多视角冠状动脉造影序列图像的血管分割方法，其特征在于，步骤S1具体包括如下方法：

S11、从读取的原始冠状动脉血管造影序列图像中，从读取的所述序列图像中挑选两个不同成像角度的序列图像，选取其中血管最为明显且狭窄血管段清晰可见的序列图像作为主视角序列图像，另一个作为辅助视角序列图像，将主视角序列图像中成像伪影少、信噪比高、血管轮廓清晰的图像标记为可用图像；

S12、通过分析主视角序列图像和辅助视角序列图像的心跳相位信息完成序列配准；

S13、截取主视角序列图像中连续N帧可用图像作为主视角子序列图像，根据步骤S12中的序列配准结果，确定主视角子序列图像对应的辅助视角子序列图像；

S14、对主视角子序列图像和辅助视角子序列图像进行数据预处理；

S15、对预处理后的主视角子序列图像进行人工数据标注，并从主视角子序列图像中手动分割出正常血管和狭窄血管，获得正常血管掩码图像和狭窄血管掩码图像；

S16、对主视角子序列图像依据采集时间定义为当前帧图像、历史帧图像，将辅助视角子序列图像中与当前帧图像配准的图像定位为辅助帧图像，构建样本集。

4.根据权利要求3所述的基于多视角冠状动脉造影序列图像的血管分割方法，其特征在于：步骤S16中，主视角子序列中的图像按照采集先后进行排序，图像序号记为t，t为1至N内的正整数，按与主视角子序列相同的方式，对辅助视角子序列中的图像进行编号；

在t=1时刻，第1帧主视角图像记为当前帧图像，第1帧辅助视角图像记为辅助帧图像，背景帧图像记为历史帧图像；

在t>1时刻，第t帧主视角图像记为当前帧图像，第t帧辅助视角图像记为辅助帧图像，第t-1帧主视角图像记为历史帧图像；

将当前帧图像、辅助帧图像、历史帧图像、背景帧图像及当前帧图像所对应手工分割出的血管掩码图像和狭窄血管掩码图像定义为一个样本，长度为N的主视角子序列及其辅助视角序列得到N个样本，读取M个原始冠状动脉血管造影序列图像，生成包含M×N个样本的样本集。

5.根据权利要求3所述的基于多视角冠状动脉造影序列图像的血管分割方法，其特征在于，基于深度学习开发平台，搭建深度神经网络模型，步骤S2具体包括如下步骤：

S21、提取当前帧图像、历史帧图像、背景帧图像和辅助帧图像的图像特征；

S22、利用深度神经网络模型，根据背景帧图像抑制当前帧序列图像中的背景相关项特征，根据历史帧图像增强当前帧序列图像中的血管相关项特征，利用辅助帧图像增强当前帧序列图像中的狭窄血管段相关项特征；

S23、利用深度神经网络模型，对冠状动脉血管相关项特征进行数据增强，将增强后的冠状动脉血管相关项特征进行数据融合，利用融合后的图像特征输出预测的正常血管掩码图像和狭窄血管掩码图像，通过对比网络对预测的正常血管掩码图像、狭窄血管掩码图像与手工分割出的正常血管掩码图像、狭窄血管掩码图像进行对比，实现血管分割。

6.根据权利要求5所述的基于多视角冠状动脉造影序列图像的血管分割方法，其特征在于：将步骤S1中的样本集随机划分为训练集、验证集和测试集，对步骤S2中构建好的深度神经网络模型进行模型性能训练、验证和测试；

将训练集中的当前帧图像、历史帧图像、背景帧图像、辅助帧图像、以及手工分割出的正常血管掩码图像和狭窄血管掩码图像输入至深度神经网络模型进行模型性能训练；

将验证集中的当前帧图像、历史帧图像、背景帧图像、辅助帧图像、以及手工分割出的正常血管掩码图像和狭窄血管掩码图像输入至深度神经网络模型进行模型性能验证；

将测试集中的将当前帧图像、历史帧图像、背景帧图像和辅助帧图像输入至训练好的深度神经网络模型中，将模型输出作为正常血管掩码图像、狭窄血管掩码图像的预测值，将预测值与手工分割出的正常血管掩码图像、狭窄血管掩码图像进行对比，观察输出标签预测结果，计算评价指标。

7.基于多视角冠状动脉造影序列图像的血管分割系统，其特征在于，包括：

数据准备模块；读取原始冠状动脉血管造影序列图像，从读取的所述序列图像中挑选不同成像角度的主视角序列图像和辅助视角序列图像，并从主视角序列图像中选取背景帧图像，对主视角序列图像和辅助视角序列图像进行序列配准，从主视角序列图像中截取连续多帧可用图像作为主视角子序列图像，根据配准结果确定主视角子序列图像对应的辅助视角子序列图像，对主视角子序列图像和辅助视角子序列图像依据采集时间定义为当前帧图像、历史帧图像，将辅助视角子序列图像中与当前帧图像配准的图像定义为辅助帧图像，生成样本集；

网络构建模块；构建深度神经网络模型，利用深度神经网络模型，基于背景帧图像抑制当前帧序列图像中的背景相关项特征，基于历史帧图像增强当前帧序列图像中的血管相关项特征，并利用辅助帧图像增强当前帧序列图像中的狭窄血管段相关项特征，以完成冠状动脉血管造影序列图像完成血管分割。

8.根据权利要求7所述的基于多视角冠状动脉造影序列图像的血管分割系统，其特征在于：网络构建模块包括编码模块、记忆模块、减影模块、融合模块和解码模块；

编码模块用于提取当前帧图像、历史帧图像、背景帧图像和辅助帧图像的图像特征；

记忆模块用于根据历史帧图像特征增强当前帧图像特征的血管相关项特征；

减影模块用于根据背景帧图像特征抑制当前帧图像特征中的背景相关项特征，增强当前帧图像特征中的血管相关项特征；

融合模块用于融合辅助帧图像特征、记忆模块和减影模块增强后的血管相关项特征；

解码模块利用融合后的图像特征预测血管掩码图像，实现血管分割。

9.根据权利要求7所述的基于多视角冠状动脉造影序列图像的血管分割系统，其特征在于：还包括网络训练模块，网络训练模块包括训练模块、测试模块和验证模块；将样本集随机划分为训练集、测试集和验证集；

训练模块，将训练集中的样本输入至深度神经网络模型进行模型训练；

验证模块，将验证集中的样本输入至深度神经网络模型进行模型性能验证；

测试模块，将验证集中的样本输入至训练好的深度神经网络模型进行模型性能测试，该模块输出作为血管掩码图像的预测值，该预测值为血管分割结果，根据网络模型预测的正常血管掩码图像、狭窄血管掩码图像与人工分割的正常血管掩码图像、狭窄血管掩码图像进行指标计算，完成网络模型性能的定量评价。

Images