CN112998756A - 一种基于超声图像结合深度学习的心脏血流向量成像方法 - Google Patents

Abstract

本发明提供了一种基于超声图像结合深度学习的心脏血流向量成像方法，包括：获取超声设备经彩色编码后的二维彩色多普勒超声心动图像；提取左心室区域；对左心室区域进行彩色血流信息补偿；并使用速度标尺提取径向速度分量；使用训练的U‑Net模型识别左心室区域的左心室内膜轮廓；对二维彩色多普勒超声心动图像重建超声心动图序列；使用由超声模拟图像重新训练的PWC‑Net模型对左心室内膜进行运动跟踪，确定左心室内膜的切向速度；结合径向速度与左心室内膜切向速度，使用连续性方程计算血液质点切向速度;使用径向速度分量和切向速度分量合成左心室血液的流场，对流场进行可视化，其中，可视化的方法包括绘制速度矢量图和平面流线图。

Description

一种基于超声图像结合深度学习的心脏血流向量成像方法

技术领域

本发明涉及医疗信息技术领域，特别是一种基于超声图像结合深度学习的心脏血流向量成像方法。

背景技术

心脏血流速度是心脏疾病诊断的一种重要依据。现有技术中的血流向量成像技术一种核心方法是流体力学的连续性方程求解切向速度分量。这种方法获取主要计算信息的手段存在的缺点主要有：必须要获取原始射频信号进行分析和计算得到径向速度分量，具有设备限制性、通用性差。该技术需要获取左心室心内膜的轮廓信息，采用的是临床医生手动勾勒的方法，虽然比较精确，但是影响了整体计算效率，并且每个医生的轮廓勾勒会有所不同，出现结果差异。同时该技术中获取左心室心内膜的运动信息的方式是通过散斑跟踪，其计算比较耗时，影响计算效率。

发明内容

本发明解决的技术问题是：克服现有技术在数据获取过程中需要人为干预和计算耗时等问题，提供了一种基于超声图像结合深度学习的心脏血流向量成像方法。

本发明的技术解决方案是：

为了解决上述技术问题，本发明提供了一种基于超声图像结合深度学习的心脏血流向量成像方法，包括：

获取超声设备经彩色编码后的二维彩色多普勒超声心动图像；

提取所述二维彩色多普勒超声心动图像中的左心室区域；

对所述左心室区域进行彩色血流信息补偿；

对补偿后的图像，使用速度标尺提取径向速度分量；

使用训练的U-Net模型识别所述左心室区域的左心室内膜轮廓；

对所述二维彩色多普勒超声心动图像重建超声心动图序列；

使用由超声模拟图像重新训练的PWC-Net模型对左心室内膜进行运动跟踪，确定左心室内膜的切向速度；

结合径向速度分量和左心室心内膜切向速度，带入到连续性方程方程中，得到左心室血液质点的切向速度分量；

使用径向速度分量和切向速度分量合成左心室血液的流场，对流场进行可视化，其中，可视化的方法包括绘制速度矢量图和平面流线图。

可选地，所述对所述左心室区域进行彩色信息血流信息补偿的步骤，包括：

使用一维线性插值方法对左心室中彩色血流信息的红色和蓝色区域之间的空隙处进行彩色血流信息补偿。

可选地，使用速度标尺提取径向速度分量的步骤，包括：

使用超声图像数据中的血液质点的RGB分量与速度标尺上点的RGB分量做匹配，定位在速度标尺上与当前血液质点最匹配的点，记录最匹配的点在速度标尺上的距离，距离从蓝色区域的最低端算起；

通过距离与径向速度的分段线性函数，获得径向速度并作平滑处理，其中，平滑处理包括中值滤波和高斯滤波处理，所述血液质点为图像上的像素点。

可选地，所述使用训练的U-Net模型所述识别所述左心室区域的左心室内膜轮廓的步骤，包括：

对二维彩色多普勒超声心动图像灰度化和裁剪处理；将处理后的图像输入进U-Net模型，得到预测的左心室内膜轮廓，并记录轮廓的坐标位置。

可选地，所述对所述二维彩色多普勒超声心动图像重建超声心动图序列的步骤，包括：

根据彩色多普勒超声心动图中的心电图时相位置信息，对三个心动周期图像按心电图时相先后顺序重新进行排序，搜索后续的心动周期中时相在第一心动周期中对应相邻帧之间的图像，将搜索到的图像插入对应相邻帧，直到第一心动周期所有相邻帧均被后续心动周期图像插入。

可选地，所述对所述使用由超声模拟图像重新训练的PWC-Net模型对左心室内膜进行运动跟踪，确定左心室内膜的切向速度的步骤，包括：

使用重新训练的PWC-Net模型，以超声图像数据的左心室区域和其相邻后一帧图像对应区域，最终获得输出：整个左心室的横向位移矩阵和纵向位移矩阵；随后使用左心室内膜位置和超声设备的时间分辨率，保留左心室心内膜的切向速度。

本发明与现有技术相比的优点在于：

本发明实施例提供的方案，突破了超声设备的限制，现有技术需要使用特定设备采集的超声原始射频数据以提取径向速度，本发明中是完全基于彩色多普勒超声心动图像信息，任何能够导出彩色多普勒超声心动图像的设备均可以进行左心室流场可视化的分析，具有通用性。本发明实施例提供的基于超声图像结合深度学习的心脏血流向量成像方法以深度学习模型U-Net自动识别左心室内膜轮廓代替手动勾勒左心室的方法，实现自动化，加快计算效率。本发明实施例提供的使用由模拟超声图像重新训练后的PWC-net模型代替现有的散斑跟踪方法进行室壁运动追踪，减少计算耗时，加快计算效率。

附图说明

图1为本发明实施例提供的一种基于超声图像结合深度学习的心脏血流向量成像方法的步骤流程图之一；

图2为本发明实施例提供的一种基于超声图像结合深度学习的心脏血流向量成像方法的步骤流程图之二；

图3为本发明实施例的分段函数图像示意图；

图4为本发明实施例的左心室轮廓识别结果图；

图5为本发明实施例的U-Net模型结构图；

图6为本发明实施例的PWC-Net模型结构图；

图7为本发明实施例提供的方案的结果展示图之一；

图8为本发明实施例提供的方案的结果展示图之二。

具体实施方式

本发明说明书中未作详细描述的内容属本领域技术人员的公知技术。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参照图1，示出了本发明实施例提供的一种基于超声图像结合深度学习的心脏血流向量成像方法的步骤流程图，如图1和图2所示，该方法具体可以包括如下步骤：

步骤110：获取超声设备经彩色编码后的二维彩色多普勒超声心动图像。

步骤120：提取所述二维彩色多普勒超声心动图像中的左心室区域。

步骤130：对所述左心室区域进行彩色血流信息补偿。

在本发明的一种具体实现方式中，上述步骤130可以包括：

使用一维线性插值方法对左心室中彩色血流信息的红色和蓝色区域之间的空隙处进行彩色血流信息补偿。

步骤140：对补偿后的图像，使用速度标尺提取径向速度分量。

在本发明的一种具体实现方式中，上述步骤140可以包括：

使用超声图像数据中的血液质点的RGB分量与速度标尺上点的RGB分量做匹配，定位在速度标尺上与当前血液质点最匹配的点，记录最匹配的点在速度标尺上的距离，距离从蓝色区域的最低端算起；

通过距离与径向速度的分段线性函数，获得径向速度并作平滑处理，其中，平滑处理包括中值滤波和高斯滤波处理，所述血液质点为图像上的像素点。

如图3所示，为分段函数图像。

步骤150：使用训练的U-Net模型识别所述左心室区域的左心室内膜轮廓。

使用深度学习网络模型U-Net对左心室内膜进行识别。

在本发明的一种具体实现方式中，上述步骤150可以包括：

对二维彩色多普勒超声心动图像灰度化和裁剪处理；将处理后的图像输入进U-Net模型，得到预测的左心室内膜轮廓，并记录轮廓的坐标位置。

U-Net模型是常用于医学图像分割的模型，是一种编解码器模型，其模型的结构如图5所示，

采用U-Net深度学习模型结构，使用公开的完全注释的大型超声B模式图像CAMUS数据集。CAMUS数据集中包括左心室心内膜、左心室心外膜、左心房和背景四种标签。本发明中保留左心室心内膜标签和背景两种标签，由CAMUS数据集中的超声图像数据和本发明处理后的对应标签作为训练集对U-Net模型进行训练，获得分割性能高的U-Net模型用于本文超声图像数据的左心室室壁分割。

步骤160：对所述二维彩色多普勒超声心动图像重建超声心动图序列。

在本发明的一种具体实现方式中，上述步骤160可以包括：

根据彩色多普勒超声心动图中的心电图时相位置信息，对三个心动周期图像按心电图时相先后顺序重新进行排序，搜索后续的心动周期中时相在第一心动周期中对应相邻帧之间的图像，将搜索到的图像插入对应相邻帧，直到第一心动周期所有相邻帧均被后续心动周期图像插入。

步骤170：使用由超声模拟图像重新训练的PWC-Net模型对左心室内膜进行运动跟踪，确定左心室内膜的切向速度。

在本发明的一种具体实现方式中，上述步骤170可以包括：

使用重新训练的PWC-Net模型，以超声图像数据的左心室区域和其相邻后一帧图像对应区域，最终获得输出：整个左心室的横向位移矩阵和纵向位移矩阵；随后使用左心室内膜位置和超声设备的时间分辨率，保留左心室心内膜的切向速度。

PWC-Net模型的思想与多尺度光流法非常接近，是一种光流模型，用于位移跟踪。该模型的结构如图6所示，

原始的PWC-Net模型的训练数据为自然数据，其中主要包含刚性运动。本发明中的研究对象为心脏，其运动特征为非刚性运动。使用本发明模拟的非刚性运动的超声数据，通过迁移学习重新训练，得到符合心脏运动特征的位移跟踪模型。

步骤180：结合径向速度分量和左心室心内膜切向速度，带入到连续性方程方程中，得到左心室血液质点的切向速度分量。

步骤190：使用径向速度分量和切向速度分量合成左心室血液的流场，对流场进行可视化。

其中，可视化的方法包括绘制速度矢量图和平面流线图。

如图7和图8所示，为方案结果展示图，本发明的通用性是第一大优点。现有技术基本是基于从特定设备中提取原始射频数据来获取径向速度的，本发明提供的实施例是完全基于图像信息，对所有能够导出彩色多普勒超声心动图像的设备均适用。且最终的结果与现有技术的结果高度一致。

本发明实现自动化识别左心室轮廓是本发明的第二大优点。现有技术形成的系统主要以医生手工勾勒的方法识别左心室内膜。本发明中使用深度学习网络，选用医学领域中常用的U-Net网络分割模型，对左心室内膜进行分割并记录其坐标位置。让计算变得更加高效。

图4为左心室轮廓识别结果图。

本发明使用由模拟超声图像重新训练后的PWC-net模型进行室壁运动跟踪是本发明的第三大优点。现有的技术主要使用散斑跟踪方法进行室壁运动追踪，这种方法不具有实时性。本发明使用经由模拟超声图像重新训练后的PWC-Net模型，减少计算耗时，加快计算效率。

图5为PWC-Net模型结构图结果图。

本发明实施例提供的方案，突破了超声设备的限制，现有技术需要使用特定设备采集的超声原始射频数据以提取径向速度，本发明中是完全基于彩色多普勒超声心动图像信息，任何能够导出彩色多普勒超声心动图像的设备均可以进行左心室流场可视化的分析，具有通用性。本发明实施例提供的基于超声图像结合深度学习的心脏血流向量成像方法以深度学习模型U-Net自动识别左心室内膜轮廓代替手动勾勒左心室的方法，实现自动化，加快计算效率。本发明实施例提供的使用由模拟超声图像重新训练后的PWC-net模型代替现有的散斑跟踪方法进行室壁运动追踪，减少计算耗时，加快计算效率 。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本发明的保护之内。

Claims (6)

1.一种基于超声图像结合深度学习的心脏血流向量成像方法，其特征在于，所述方法包括：

获取超声设备经彩色编码后的二维彩色多普勒超声心动图像；

提取所述二维彩色多普勒超声心动图像中的左心室区域；

对所述左心室区域进行彩色血流信息补偿；

对补偿后的图像，使用速度标尺提取径向速度分量；

使用训练的U-Net模型识别所述左心室区域的左心室内膜轮廓；

对所述二维彩色多普勒超声心动图像重建超声心动图序列；

使用由超声模拟图像重新训练的PWC-Net模型对左心室内膜进行运动跟踪，确定左心室内膜的切向速度；

结合径向速度分量和左心室心内膜切向速度，带入到连续性方程方程中，得到左心室血液质点的切向速度分量；

使用径向速度分量和切向速度分量合成左心室血液的流场，对流场进行可视化，其中，可视化的方法包括绘制速度矢量图和平面流线图。

2.根据权利要求1所述的方法，其特征在于，所述对所述左心室区域进行彩色血流信息补偿的步骤，包括：

使用一维线性插值方法对左心室中彩色血流信息的红色和蓝色区域之间的空隙处进行彩色血流信息补偿。

3.根据权利要求1所述的方法，其特征在于，所述对补偿后的图像，使用速度标尺提取径向速度分量的步骤，包括：

使用超声图像数据中的血液质点的RGB分量与速度标尺上点的RGB分量做匹配，定位在速度标尺上与当前血液质点最匹配的点，记录最匹配的点在速度标尺上的距离，距离从蓝色区域的最低端算起；

通过距离与径向速度的分段线性函数，获得径向速度并作平滑处理，其中，平滑处理包括中值滤波和高斯滤波处理，所述血液质点为图像上的像素点。

4.根据权利要求1所述的方法，其特征在于，使用训练的U-Net模型所述识别所述左心室区域的左心室内膜轮廓的步骤，包括：

对二维彩色多普勒超声心动图像灰度化和裁剪处理；将处理后的图像输入进U-Net模型，得到预测的左心室内膜轮廓，并记录轮廓的坐标位置。

5.根据权利要求1所述的方法，其特征在于，所述对所述二维彩色多普勒超声心动图像重建超声心动图序列的步骤，包括：

根据彩色多普勒超声心动图中的心电图时相位置信息，对三个心动周期图像按心电图时相先后顺序重新进行排序，搜索后续的心动周期中时相在第一心动周期中对应相邻帧之间的图像，将搜索到的图像插入对应相邻帧，直到第一心动周期所有相邻帧均被后续心动周期图像插入。

6.根据权利要求4所述的方法，其特征在于，所述对所述使用由超声模拟图像重新训练的PWC-Net模型对左心室内膜进行运动跟踪，确定左心室内膜的切向速度的步骤，包括：

使用重新训练的PWC-Net模型，以超声图像数据的左心室区域和其相邻后一帧图像对应区域，最终获得输出：整个左心室的横向位移矩阵和纵向位移矩阵；随后使用左心室内膜位置和超声设备的时间分辨率，保留左心室心内膜的切向速度。

Images