CN110009640A - 处理心脏视频的方法、设备和可读介质 - Google Patents

Abstract

本发明公开了一种处理心脏视频的方法、处理心脏视频的设备和计算机可读存储介质。该方法用于在2D心脏超声中处理心脏视频，包括：沿心脏的两个标准切面采集包括至少一个心动周期的心脏视频；使用经训练的长短期记忆（LSTM）卷积神经网络，基于心脏视频中的连续多个帧，对连续多个帧中的特定帧进行分割，得到针对特定帧的所分割的左心室（LV）内径；以及从心脏视频中的每个特定帧的所分割的LV内径中选择与LV的舒张末期和收缩末期相对应的所分割的LV内径；以及基于所述心脏的收缩末期和舒张末期的所分割的LV内径计算LV的容积，以便计算LV的射血分数（EF）。该方法可以辅助医师进行测量和判断以提高准确率。

Description

处理心脏视频的方法、设备和可读介质

技术领域

本发明涉及视频处理领域，更具体而言，涉及基于处理心脏视频的方法和设备。

背景技术

心脏疾病在全球疾病死亡率中位居前列，早期筛查可以在初期提高诊断率，大大提高心脏疾病的康复几率。鉴于价格低廉，筛查快速的优势，心脏超声是目前普遍性较高的早期筛查手段。B超因其二维信息量丰富，对形态异常心脏亦适用的特性，配合辛普森（Simpsons）双平面法在射血分数的估量上更加准确，在心脏疾病筛查上适用性更佳。为了分析心脏的射血情况，目前心脏B超需要医师手动检查左心室（LV）四腔切面和两腔切面，进而找出舒张末期/收缩末期切面，并勾画出左心室外轮廓。勾画轮廓时受到心内膜边界显示不清带来的巨大影响，这些无疑在工作量繁杂的同时也提高了对超声医师技术的要求。

目前的ASLV（Automatic Segmentation of Left Ventricle in Cardiac CineMRI Images Based on Deep Learning）是基于深度学习的LV分割技术。该技术用于分割3D磁共振成像（MRI：Magnetic Resonance Imaging）的左心室，基于左心室的收缩情况估量射血分数。可以通过计算左心室在时间序列上的体积变化，从而估测射血分数。

发明内容

ASLV技术需要与造影价格昂贵的MRI心脏图像结合，而且ASLV技术主要针对3D图像的左心室分割，不能直接用于2D超声上。因此，提供一种可以缓解、减轻或甚至消除上述问题中的一个或多个的方法和设备将是有利的。

根据本发明的第一方面，提供了一种用于在2D心脏超声中处理心脏视频的方法，包括：沿心脏的两个标准切面采集包括至少一个心动周期的心脏视频；使用经训练的长短期记忆（LSTM）卷积神经网络，基于心脏视频中的连续多个帧，对连续多个帧中的特定帧进行分割，得到针对特定帧的所分割的左心室（LV）内径；从心脏视频中的每个特定帧的所分割的LV内径中选择与心脏的舒张末期和收缩末期相对应的所分割的LV内径；以及基于心脏的收缩末期和舒张末期的所分割的LV内径计算LV的容积，以便计算LV的射血分数（EF）。

在一个示例性实施例中，使用经训练的LSTM卷积神经网络，基于心脏视频中的连续多个帧，对连续多个帧中的特定帧进行分割，得到针对所述特定帧的所分割的LV内径包括：对连续多个帧进行切割，得到包含完整LV的预定尺寸图片；对连续多个帧进行卷积编码以得到编码图；通过全连接层将编码图拉直为向量；将向量输入经训练的LSTM卷积神经网络，并输出经长短期记忆时序处理的向量；将经长短期记忆时序处理的向量重新形成为特征图；以及对特征图求平均并进行卷积解码，得到针对特定帧的所分割的LV内径。

在一个示例性实施例中，对连续多个帧进行卷积编码以得到编码图还包括：加入多尺度卷积核进行卷积编码。在一个示例性实施例中，多尺度卷积核为9、19、37、74四种不同尺度的卷积核。

在一个示例性实施例中，在卷积编码与卷积解码之间建立跳层连接。

在一个示例性实施例中，心脏的两个标准切面是通过以下步骤得到的：接收心脏的多角度视频帧；使用经训练的卷积神经网络，对心脏的多角度视频帧中的各个帧进行分类。

在一个示例性实施例中，经训练的卷积神经网络是减少了原始mobilenet v2中每个卷积层中的卷积核个数得到的、基于训练数据训练的卷积神经网络。

在一个示例性实施例中，训练数据是通过球形360度采样得到的切面数据，包括：分别针对于两个标准切面的标准切面数据、次标准切面数据和非标准切面数据。

在一个示例性实施例中，标准切面数据、次标准切面数据和非标准切面数据的数据比例为2：8：1。

在一个示例性实施例中，分类的类型包括标准切面、次标准切面和非标准切面。

在一个示例性实施例中，当分类的类型为次标准切面时，开始发出提醒。

在一个示例性实施例中，当分类的类型为标准切面时，停止发出提醒。

根据本发明的第二方面，提供了一种用于在2D心脏超声中处理心脏视频的设备，包括：视频采集模块，用于沿心脏的两个标准切面采集包括至少一个心动周期的心脏视频；LV内径分割模块，用于使用经训练的长短期记忆（LSTM）卷积神经网络，基于心脏视频中的连续多个帧，对连续多个帧中的特定帧进行分割，得到针对特定帧的所分割的LV内径；LV内径选择模块，用于从心脏视频中的每个特定帧的所分割的LV内径中选择与心脏的舒张末期和收缩末期相对应的所分割的LV内径；以及射血分数计算模块，基于所述心脏的收缩末期和舒张末期的所分割的LV内径计算所述LV的容积，以便计算所述LV的射血分数（EF）。

在一个示例性实施例中，LV内径分割模块包括：帧切割模块，用于对连续多个帧进行切割，得到包含完整LV的预定尺寸图片；编码模块，用于对连续多个帧进行卷积编码以得到编码图，以及用于通过全连接层将编码图拉直为向量；长短期记忆模块，用于将向量输入经训练的LSTM卷积神经网络，并输出经长短期记忆时序处理的向量；重构模块，用于将经长短期记忆时序处理的向量重新形成为特征图；以及解码模块，用于对特征图求平均并进行卷积解码，得到针对特定帧的所分割的LV内径。

在一个示例性实施例中，编码模块还用于加入多尺度卷积核进行卷积编码。

在一个示例性实施例中，多尺度卷积核为9、19、37、74四种不同尺度的卷积核。

在一个示例性实施例中，进一步在编码模块与解码模块之间建立跳层连接。

在一个示例性实施例中，心脏的两个标准切面是通过切面判定模块得到的，标准切面判定模块用于：接收心脏的多角度视频帧；使用经训练的卷积神经网络，对心脏的多角度视频帧中的各个帧进行分类。

在一个示例性实施例中，经训练的卷积神经网络是减少了原始mobilenet v2中每个卷积层中的卷积核个数得到的、基于训练数据训练的卷积神经网络。

在一个示例性实施例中，训练数据是通过球形360度采样得到的切面数据，包括：分别针对于两个标准切面的标准切面数据、次标准切面数据和非标准切面数据。

在一个示例性实施例中，标准切面数据、次标准切面数据和非标准切面数据的数据比例为2：8：1。

在一个示例性实施例中，分类的类型包括标准切面、次标准切面和非标准切面。

在一个示例性实施例中，该设备还包括提醒模块，用于当分类的类型为次标准切面时，开始发出提醒。

在一个示例性实施例中，提醒模块还用于当分类的类型为标准切面时，停止发出提醒。

根据本发明的再另一方面，提供了一种包括用于在2D心脏超声中处理心脏视频的计算机程序指令的非瞬时性计算机可读介质，当有处理器执行所述计算机程序指令使所述处理器执行如上所述的方法。

根据本发明的又另一方面，提供了一种计算设备，包括处理器和其上存储计算机程序的存储器，所述计算机程序被配置成当在所述处理器上执行时使所述处理器执行如上所述的方法。

根据在下文中所描述的实施例，本发明的这些和其它方面将是清楚明白的，并且将参考在下文中所描述的实施例而被阐明。

附图说明

在下面结合附图对于示例性实施例的描述中，本发明的更多细节、特征和优点被公开，在附图中：

图1图示了所分割的左心室内径的示意图；

图2图示了根据本公开一个实施例的在2D心脏超声中处理心脏视频的方法；

图3图示了根据本公开一个实施例的基于长短期记忆（LSTM）卷积神经网络；

图4图示了根据本公开一个实施例的自动识别标准切面的方法；

图5图示了根据本公开一个实施例的利用球形采样对用于标识标准切面卷积神经网络进行训练的方法；

图6图示了根据本公开一个实施例的用于在2D心脏超声中处理心脏视频的设备；以及

图7一般地图示了一个示例系统，其包括代表可以实现本文描述的各种技术的一个或多个系统和/或设备的示例计算设备。

具体实施方式

在目前的实际临床操作中，心脏B超结合Simpsons双平面法主要的操作均由医师手动完成，包括：（1）医师选择心尖二腔标准切面（A2C）与心尖四腔标准切面（A4C）。A4C切面是可以显示双心室、双心房、二尖瓣和三尖瓣的切面。A2C切面是可以显示左心室前壁和下壁的切面，它在理论上与A4C切面垂直。（2）分别沿A2C/A4C切面采集两种包括至少一个（例如1-3个）心动周期的心动视频，采集期间控制呼吸运动以及手法稳定，尽量保持图像内膜完整清晰，心室信息完整；（3）在心动视频中找出一个完整心动周期中的收缩末期帧与舒张末期帧，并在特殊帧上手动勾画左心室轮廓；（4）最后通过Simpsons双平面法求出左心室容积，进而计算出射血分数。按照本公开实施例的方案通过深度学习的方式实现了对以上手动处理方法的自动化，通过自动标准切面定位、基于长短期记忆分割模型自动勾画轮廓、自动确认收缩/舒张末期，自动计算射血分数等步骤，将医师从大量重复劳动中解放出来，减少对医师检查技术的过分依赖，加入长短期记忆分割方案，提高正确率，为医师提供良好的诊断参考。图1图示了所分割的左心室内径的示意图，其中虚线标注的区域为分割出的左心室内径。

图2图示了根据公开一个实施例的在2D心脏超声中处理心脏视频的方法。

在步骤202中，沿心脏的两个标准切面采集包括至少一个心动周期的心脏视频。在一个实施例中，心脏的两个标准切面指的是A2C和A4C。可选地，至少一个心动周期可以选择1~3个连续的心动周期。所述心脏视频是在进行2D心脏超声检查中使用探头采集的。

在步骤204中，使用经训练的长短期记忆（LSTM）卷积神经网络，基于心脏视频中的连续多个帧，对连续多个帧中的特定帧进行分割，得到针对该特定帧的所分割的左心室内径。例如，对于连续的5个帧，可以基于这5帧，得到针对第5帧分割出的左心室内径。如本领域人员将理解的，也可以选择任何其它数量的连续帧进行处理，只要保证所选取的帧足以覆盖所述心动周期中的舒张末期和收缩末期即可。本文描述的示例实现中使用了LSTM，但本发明不限于此，还可以使用任何类型的递归神经网络RNN（recurrent neural networks）架构。

在步骤206中，从心脏视频中的每个帧的所分割的左心室内径中选择与心脏的舒张末期和收缩末期相对应的所分割的左心室内径。具体地，以心脏的一个标准切面A2C为例，以帧序号为横轴，左心室分割像素个数为纵轴，画出左心室面积变化的曲线，该曲线中的相邻波峰和波谷所对应的帧即是与舒张末期和收缩末期相对应的帧。类似地，对于心脏的另一个标准切面A4C找出与舒张末期和收缩末期相对应的帧。由此，分别针对于两个标准平面，确定出与舒张末期和收缩末期相对应的左心室内径。

在步骤208中，将两个心脏标准切面所对应的左心室面积作为Simpsons双平面法的输入，估算出左心室在舒张/收缩末期的容积，进而根据以上容积计算心脏的射血分数。

按照本公开实施例的方法可以用于心脏超声中Simpsons双平面法筛查心脏病的自动化/半自动化，为医师提供有效准确的辅助参考。

图3图示了根据本公开一个实施例的基于LSTM卷积神经网络的一种具体实施方式。图3中的视频帧是对应某个心动周期的心脏视频中的连续多个视频帧，可以包括当前帧及其前n帧。在一个实施例中，n为正整数，例如n=4。

在302中，对当前帧及其前n帧进行切割，得到包含完整左心室（LV）的预定尺寸图片。为了保证长宽比，在不改变长宽比的情况下以左心室为中心将图片随机切割为预定尺寸的图片，在一个实施例中，预定尺寸为587*587。

在304中，以ResNet 101为基础卷积网络对当前帧及其前n帧分别进行卷积编码。对于起始的前n个帧，例如在n为4的情况下的第1、2、3、4帧分别进行初始化处理，即不与其前n帧相结合、而是单独地通过ResNet 101进行卷积处理。如领域技术人员所理解的，除ResNet 101外还可以使用任何其它合适的卷积网络，诸如AlexNet、VGG、DesNet等。在ResNet 101最后一层特征层之后加入多尺度卷积核的卷积层以便得到编码图，具体地多尺度卷积核可以是4种不同尺度。在一个实施例中，4种不同尺度为9、19、37、74。此后，通过全连接层将多个编码图拉直为（n+1）个向量。

在306中，将（n+1）个向量输入经训练的LSTM卷积神经网络，通过长短期记忆门的输入门、输出门对有效信息进行重组和筛选，并通过忘却门丢弃不需要的信息输出（n+1）个经长短期记忆时序处理的向量。

在308中，将（n+1）个经长短期记忆时序处理的向量重新形成（reshape）为（n+1）个特征图。

最后，在310中，对特征图求平均，并进行卷积解码，得到针对当前帧的所分割的左心室内径。在一个实施例中，卷积解码采用双线性插值。

通过在左心室轮廓分割过程中加入长短期记忆加强方法，可以有效解决因充血、信息缺失等问题对分割带来的影响，使得分割性能更佳。

附加地或可选地，在312中，在该模型的卷积编码与卷积解码之间建立跳层连接（skip connection），将卷积编码的具体信息跳层传递到卷积解码部分，以丰富卷积解码的信息，由此进一步加快收敛。

在一个实施例中，对于以上基于LSTM的卷积神经网络是预先基于大量包括左心室图像的帧及其经医师手动标注的相应所分割的左心室内径的训练数据进行训练的。在一个实施例中，为了加快该分割模型的收敛，可以在对以上包括分割模型进行训练时采用带有自适应在线难样本挖掘（OHEM：online hard example mining）的交叉熵损失函数，例如采集图像帧中靠近边缘、中心内部等的难样本来增强训练。通过上述OHEM，使得分割目标的边缘分割更加光滑、准确。

图4图示了根据本公开的另一个实施例自动判断两个标准切面的方法。在一个可选实施例中，上述心脏的两个标准切面是通过以下步骤得到的：在步骤402中，接收心脏的多角度视频帧；在步骤404中，使用经训练的卷积神经网络，对心脏的多角度视频帧中的各个帧进行自动分类。在一个实施例中，经训练的卷积神经网络是改进的mobilenet v2，相比于原始mobilenet v2，改进的mobilenet v2的每个卷积层中的卷积核个数被减少，并基于训练数据对其进行训练。mobilenet v2的结构如以下表1所示，其中：t是输入通道的倍增系数（即中间部分的通道数是输入通道数的多少倍），n是该模块重复次数，c是输出通道数，s是该模块第一次重复时的步幅（stride）（后面重复都是stride 1）。mobilenet v2的特点在于，网络参数小，运行快速。这里，对原始mobilenet v2中每个卷积层中的卷积核个数进一步减半以减少经训练的卷积神经网络的参数。由此使得改进后的卷积神经网络参数更小，同时参数的性能无大幅下降。如本领域技术人员将理解的，也可以使用网络参数小、运行快速的其它卷积网络。

表1 mobilenet v2卷积神经网络的结构。

在步骤406中，当确定分类的类型为次标准切面时，即开始发出提醒，以提示开始接近标准切面。在步骤408中，当确定分类类型为标准切面时，即已自动确定了标准切面时，停止发出提醒。由此有效地辅助医师进行判断。

对于该用于对各个帧进行分类的卷积神经网络进行有监督的训练，本领域技术人员将理解的是，也可以进行诸如无监督学习之类的任何其它类型的训练。

图5图示了根据本公开一个实施例的利用球形采样对用于标识标准切面卷积神经网络进行训练的方法，其中训练数据是通过球形采样501的样本采集方法得到的。以心脏的A2C、A4C标准切面为例，训练数据包括其标准切面，A2C标准切面的标签为1；在以A2C标准切面的切面中心为球心，上下左右方向的20度范围内随机采集的心腔的4张扫描图，作为A2C次标准切面，标签为2。将随机抽取上述20度扫查范围外一张图，作为非A2C标准切面（避开A4C与A4C次标准切面），标签为0。同理，对于标准切面A4C，A4C标准切面标签为3，A4C次标准切面为4，A4C非标准切面为0。保证标准切面、次标准切面、非标准切面的数据比例为2：8：1，目的在于增强对于非标准切面数据的训练。采集的样本经过灰度图转换502输入到改进的mobilenet v2 503网络中，同时使用带有权重的交叉熵作为损失函数504。在该交叉熵损失函数中，标准切面类别的交叉熵损失权重为2，次标准切面和非标准切面的交叉熵损失权重为1。为了进一步加强标准切面的识别能力，根据预先设定的预测概率的阈值针对一部分样本进行再次训练505。具体地，对第一次训练中预测概率低于0.6的样本返回进行二次训练，再次训练后以预测概率低于0.8的样本返回进行三次训练。

在实际临床操作中，医师在选择A2C与A4C时，首先需要大角度扫描图像，当发现接近标准切面时，缩小探头角度范围细致筛查。为模仿该“粗调”到“精调”的过程，在一个实施例中，当分类结果为次标准切面时，开始发出提醒，以缩小探头的检测范围，直到提示找到了标准切面（即分类结果为标准切面）为止。

图6图示了根据本公开一个实施例的用于在2D心脏超声中处理心脏视频的设备600。在2D心脏超声中处理心脏视频的设备600包括：视频采集模块601，用于沿心脏的两个标准切面采集包括至少一个心动周期的心脏视频；左心室内径分割模块602，用于使用经训练的长短期记忆（LSTM）卷积神经网络，基于心脏视频中的连续多个帧，对连续多个帧中的特定帧进行分割，得到针对特定帧的所分割的左心室内径；左心室内径选择模块603，用于从心脏视频中的每个特定帧的所分割的左心室内径中选择与心脏的舒张末期和收缩末期相对应的所分割的左心室内径；以及射血分数计算模块604，用于基于心脏的收缩末期和舒张末期的所分割的左心室内径计算LV的容积，以便计算LV的射血分数（EF）。

在一个示例性实施例中，左心室内径分割模块602包括：帧切割模块6021，用于对连续多个帧进行切割，得到包含完整左心室（LV）的预定尺寸图片；编码模块6022，用于对连续多个帧进行卷积编码以得到编码图，以及用于通过全连接层将编码图拉直为向量；长短期记忆模块6023，用于将向量输入经训练的LSTM卷积神经网络，并输出经长短期记忆时序处理的向量；重构模块6024，用于将经长短期记忆时序处理的向量重新形成为特征图；以及解码模块6025，用于对特征图求平均并进行卷积解码，得到针对特定帧的所分割的左心室内径。

可选地，编码模块还用于加入多尺度卷积核进行卷积编码。在一个实施例中，多尺度卷积核为9、19、37、74四种不同尺度的卷积核。在一个实施例中，还在编码模块与解码模块之间建立跳层连接。

在一个示例性实施例中，心脏的两个标准切面是通过切面判定模块605得到的，标准切面判定模块605用于：接收心脏的多角度视频帧；使用经训练的卷积神经网络，对心脏的多角度视频帧中的各个帧进行分类。

在一个示例性实施例中，训练数据是通过球形360度采样得到的切面数据，包括：分别针对于两个标准切面的标准切面数据、次标准切面数据和非标准切面数据。可选地，标准切面数据、次标准切面数据和非标准切面数据的数据比例为2：8：1。可选地，分类的类型包括标准切面、次标准切面和非标准切面。

在一个示例性实施例中，设备600还包括提醒模块606，用于当分类的类型为次标准切面时，开始发出提醒。在一个示例性实施例中，提醒模块606还用于当分类的类型为标准切面时，停止发出提醒。

通过按照本公开实施例的方案，可以对2D心脏超声视频自动完成标准切面判断、左心室轮廓分割、心动时期判断三个操作。医师只需要最基本的心脏切面扫描，即可自动得到射血分数。上述方法可以在计算机上使用熟知的计算机处理器、存储器单元、存储设备、计算机软件及其它组件来实现。

图7一般地图示了示例系统700，其包括代表可以实现本文描述的各种技术的一个或多个系统和/或设备的示例计算设备710。计算设备710可以是例如服务提供商的服务器、与客户端（例如，客户端设备）相关联的设备、片上系统、和/或任何其它合适的计算设备或计算系统。上面关于图6描述的处理心脏视频的设备600可以采取计算设备710的形式。替换地，处理心脏视频的设备600可以以处理心脏视频应用716的形式被实现为计算机程序。

如图示的示例计算设备710包括彼此通信耦合的处理系统711、一个或多个计算机可读介质712以及一个或多个I/O接口713。尽管未示出，但是计算设备710还可以包括系统总线或其它数据和命令传送系统，其将各种组件彼此耦合。系统总线可以包括不同总线结构的任何一个或组合，所述总线结构诸如存储器总线或存储器控制器、外围总线、通用串行总线、和/或利用各种总线架构中的任何一种的处理器或局部总线。还构思了各种其它示例，诸如控制和数据线。

处理系统711代表使用硬件执行一个或多个操作的功能。因此，处理系统711被图示为包括可被配置为处理器、功能块等的硬件元件714。这可以包括在硬件中实现作为专用集成电路或使用一个或多个半导体形成的其它逻辑器件。硬件元件714不受其形成的材料或其中采用的处理机构的限制。例如，处理器可以由（多个）半导体和/或晶体管（例如，电子集成电路（IC））组成。在这样的上下文中，处理器可执行指令可以是电子可执行指令。

计算机可读介质712被图示为包括存储器/存储装置715。存储器/存储装置715表示与一个或多个计算机可读介质相关联的存储器/存储容量。存储器/存储装置715可以包括易失性介质（诸如随机存取存储器（RAM））和/或非易失性介质（诸如只读存储器（ROM）、闪存、光盘、磁盘等）。存储器/存储装置715可以包括固定介质（例如，RAM、ROM、固定硬盘驱动器等）以及可移动介质（例如，闪存、可移动硬盘驱动器、光盘等）。计算机可读介质712可以以下面进一步描述的各种其它方式进行配置。

一个或多个I/O接口713代表允许用户向计算设备710输入命令和信息并且可选地还允许使用各种输入/输出设备将信息呈现给用户和/或其它组件或设备的功能。输入设备的示例包括键盘、光标控制设备（例如，鼠标）、麦克风（例如，用于语音输入）、扫描仪、触摸功能（例如，被配置为检测物理触摸的容性或其它传感器）、相机（例如，可以采用可见或不可见的波长（诸如红外频率）将不涉及触摸的运动检测为手势）等等。输出设备的示例包括显示设备（例如，监视器或投影仪）、扬声器、打印机、网卡、触觉响应设备等。因此，计算设备710可以以下面进一步描述的各种方式进行配置以支持用户交互。

计算设备710还包括处理心脏视频应用716。处理心脏视频应用716可以例如是图6的处理心脏视频的设备600的软件实例，并且与计算设备710中的其它元件相组合地实现本文描述的技术。

本文可以在软件硬件元件或程序模块的一般上下文中描述各种技术。一般地，这些模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、元素、组件、数据结构等。本文所使用的术语“模块”，“功能”和“组件”一般表示软件、固件、硬件或其组合。本文描述的技术的特征是与平台无关的，意味着这些技术可以在具有各种处理器的各种计算平台上实现。

所描述的模块和技术的实现可以存储在某种形式的计算机可读介质上或者跨某种形式的计算机可读介质传输。计算机可读介质可以包括可由计算设备810访问的各种介质。作为示例而非限制，计算机可读介质可以包括“计算机可读存储介质”和“计算机可读信号介质”。

与单纯的信号传输、载波或信号本身相反，“计算机可读存储介质”是指能够持久存储信息的介质和/或设备，和/或有形的存储装置。因此，计算机可读存储介质是指非信号承载介质。计算机可读存储介质包括诸如易失性和非易失性、可移动和不可移动介质和/或以适用于存储信息（诸如计算机可读指令、数据结构、程序模块、逻辑元件/电路或其它数据）的方法或技术实现的存储设备之类的硬件。计算机可读存储介质的示例可以包括但不限于RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字通用盘（DVD）或其它光学存储装置、硬盘、盒式磁带、磁带，磁盘存储装置或其它磁存储设备，或其它存储设备、有形介质或适于存储期望信息并可以由计算机访问的制品。

“计算机可读信号介质”是指被配置为诸如经由网络将指令发送到计算设备710的硬件的信号承载介质。信号介质典型地可以将计算机可读指令、数据结构、程序模块或其它数据体现在诸如载波、数据信号或其它传输机制的调制数据信号中。信号介质还包括任何信息传递介质。术语“调制数据信号”是指以这样的方式对信号中的信息进行编码来设置或改变其特征中的一个或多个的信号。作为示例而非限制，通信介质包括诸如有线网络或直接连线的有线介质以及诸如声、RF、红外和其它无线介质的无线介质。

如前所述，硬件元件714和计算机可读介质712代表以硬件形式实现的指令、模块、可编程器件逻辑和/或固定器件逻辑，其在一些实施例中可以用于实现本文描述的技术的至少一些方面。硬件元件可以包括集成电路或片上系统、专用集成电路（ASIC）、现场可编程门阵列（FPGA）、复杂可编程逻辑器件（CPLD）以及硅中的其它实现或其它硬件设备的组件。在这种上下文中，硬件元件可以作为执行由硬件元件所体现的指令、模块和/或逻辑所定义的程序任务的处理设备，以及用于存储用于执行的指令的硬件设备，例如，先前描述的计算机可读存储介质。

前述的组合也可以用于实现本文所述的各种技术和模块。因此，可以将软件、硬件或程序模块和其它程序模块实现为在某种形式的计算机可读存储介质上和/或由一个或多个硬件元件714体现的一个或多个指令和/或逻辑。计算设备710可以被配置为实现与软件和/或硬件模块相对应的特定指令和/或功能。因此，例如通过使用处理系统的计算机可读存储介质和/或硬件元件714，可以至少部分地以硬件来实现将模块实现为可由计算设备710作为软件执行的模块。指令和/或功能可以由一个或多个制品（例如，一个或多个计算设备710和/或处理系统711）可执行/可操作以实现本文所述的技术、模块和示例。

在各种实施方式中，计算设备710可以采用各种不同的配置。例如，计算设备710可以被实现为包括个人计算机、台式计算机、多屏幕计算机、膝上型计算机、上网本等的计算机类设备。计算设备710还可以被实现为包括诸如移动电话、便携式音乐播放器、便携式游戏设备、平板计算机、多屏幕计算机等移动设备的移动装置类设备。计算设备710还可以实现为电视类设备，其包括具有或连接到休闲观看环境中的一般地较大屏幕的设备。这些设备包括电视、机顶盒、游戏机等。

本文描述的技术可以由计算设备710的这些各种配置来支持，并且不限于本文所描述的技术的具体示例。功能还可以通过使用分布式系统、诸如通过如下所述的平台722而在“云”720上全部或部分地实现。

云720包括和/或代表用于资源724的平台722。平台722抽象云720的硬件（例如，服务器）和软件资源的底层功能。资源724可以包括在远离计算设备710的服务器上执行计算机处理时可以使用的应用和/或数据。资源724还可以包括通过因特网和/或通过诸如蜂窝或Wi-Fi网络的订户网络提供的服务。

平台722可以抽象资源和功能以将计算设备710与其它计算设备连接。平台722还可以用于抽象资源的分级以提供遇到的对于经由平台722实现的资源724的需求的相应水平的分级。因此，在互连设备实施例中，本文描述的功能的实现可以分布在整个系统700内。例如，功能可以部分地在计算设备710上以及通过抽象云720的功能的平台722来实现。

本技术提出了一种全自动化心脏B超筛查方案。通过自动标准切面定位、基于长短期记忆分割模型自动勾画轮廓、自动确认收缩/舒张末期，自动计算射血分数等步骤，将医师从大量重复劳动中解放出来，减少对医师检查技术的过分依赖，加入长短期记忆分割方案，提高了正确率，为医师提供了良好的诊断参考。如本领域技术人员所理解的，本技术方案也可以应用于其它器官内径/容积的测量。此外，本技术方案亦适用于任何其它包括收缩周期和舒张周期的对象的内径/容积测量。

在本文的讨论中，描述了各种不同的实施例。应当领会和理解，本文描述的每个实施例可以单独使用或与本文所述的一个或多个其它实施例相关联地使用。

尽管已经以结构特征和/或方法动作特定的语言描述了主题，但是应当理解，所附权利要求中限定的主题不一定限于上述具体特征或动作。相反，上述具体特征和动作被公开为实现权利要求的示例形式。虽然各个操作在附图中被描绘为按照特定的顺序，但是这不应理解为要求这些操作必须以所示的特定顺序或者按顺行次序执行，也不应理解为要求必须执行所有示出的操作以获得期望的结果。

通过研究附图、公开内容和所附的权利要求书，本领域技术人员在实践所要求保护的主题时，能够理解和实现对于所公开的实施例的变型。在权利要求书中，词语“包括”不排除其它元件或步骤，并且不定冠词“一”或“一个”不排除多个。在相互不同的从属权利要求中记载了某些措施的仅有事实并不表明这些措施的组合不能用来获利。

Claims (15)

1.一种用于在2D心脏超声中处理心脏视频的方法，包括：

沿心脏的两个标准切面采集包括至少一个心动周期的心脏视频；

使用经训练的长短期记忆（LSTM）卷积神经网络，基于所述心脏视频中的连续多个帧，对所述连续多个帧中的特定帧进行分割，得到针对所述特定帧的所分割的左心室（LV）内径；

从所述心脏视频中的每个特定帧的所分割的LV内径中选择与心脏的舒张末期和收缩末期相对应的所分割的LV内径；以及

基于所述心脏的收缩末期和舒张末期的所分割的LV内径计算所述LV的容积，以便计算所述LV的射血分数（EF）。

2.根据权利要求1所述的方法，其中使用经训练的LSTM卷积神经网络，基于所述心脏视频中的连续多个帧，对所述连续多个帧中的特定帧进行分割，得到针对所述特定帧的所分割的LV内径包括：

对所述连续多个帧进行切割，得到包含完整LV的预定尺寸图片；

对所述连续多个帧进行卷积编码以得到编码图；

通过全连接层将所述编码图拉直为向量；

将所述向量输入经训练的LSTM卷积神经网络，并输出经长短期记忆时序处理的向量；

将所述经长短期记忆时序处理的向量重新形成为特征图；以及

对所述特征图求平均并进行卷积解码，得到针对所述特定帧的所分割的LV内径。

3.根据权利要求2所述的方法，其中对所述连续多个帧进行卷积编码以得到编码图还包括：加入多尺度卷积核进行卷积编码，所述多尺度卷积核为9、19、37、74四种不同尺度的卷积核。

4.根据权利要求2所述的方法，其中在所述卷积编码与所述卷积解码之间建立跳层连接。

5.根据权利要求1所述的方法，其中所述心脏的两个标准切面是通过以下步骤得到的：

接收心脏的多角度视频帧；

使用经训练的卷积神经网络，对所述心脏的所述多角度视频帧中的各个帧进行分类。

6.根据权利要求5所述的方法，其中所述经训练的卷积神经网络是减少了原始mobilenet v2中每个卷积层中的卷积核个数得到的、基于训练数据训练的卷积神经网络。

7.根据权利要求6所述的方法，其中所述训练数据是通过球形360度采样得到的切面数据，包括：分别针对于所述两个标准切面的标准切面数据、次标准切面数据和非标准切面数据。

8.根据权利要求7所述的方法，其中所述标准切面数据、次标准切面数据和非标准切面数据的数据比例为2：8：1。

9.根据权利要求5所述的方法，所述分类的类型包括标准切面、次标准切面和非标准切面。

10.根据权利要求9所述的方法，还包括：当所述分类的类型为次标准切面时，开始发出提醒。

11.根据权利要求10所述的方法，还包括：当所述分类的类型为标准切面时，停止发出提醒。

12.一种用于在2D心脏超声中处理心脏视频的设备，包括：

视频采集模块，用于沿心脏的两个标准切面采集包括至少一个心动周期的心脏视频；

左心室（LV）内径分割模块，用于使用经训练的长短期记忆（LSTM）卷积神经网络，基于所述心脏视频中的连续多个帧，对所述连续多个帧中的特定帧进行分割，得到针对所述特定帧的所分割的LV内径；

LV内径选择模块，用于从所述心脏视频中的每个特定帧的所分割的LV内径中选择与心脏的舒张末期和收缩末期相对应的所分割的LV内径；以及

射血分数计算模块，基于所述心脏的收缩末期和舒张末期的所分割的LV内径计算所述LV的容积，以便计算所述LV的射血分数（EF）。

13.根据权利要求12所述的设备，其中LV内径分割模块包括：

帧切割模块，用于对所述连续多个帧进行切割，得到包含完整LV的预定尺寸图片；

编码模块，用于对所述连续多个帧进行卷积编码以得到编码图，以及用于通过全连接层将所述编码图拉直为向量；

长短期记忆模块，用于将所述向量输入经训练的LSTM卷积神经网络，并输出经长短期记忆时序处理的向量；

重构模块，用于将所述经长短期记忆时序处理的向量重新形成为特征图；以及

解码模块，用于对所述特征图求平均并进行卷积解码，得到针对所述特定帧的所分割的LV内径。

14.根据权利要求12所述的设备，所述心脏的两个标准切面是通过切面判定模块得到的，所述标准切面判定模块用于：

接收心脏的多角度视频帧；

使用经训练的卷积神经网络，对所述心脏的所述多角度视频帧中的各个帧进行分类。

15.一种包括用于在2D心脏超声中处理心脏视频的计算机程序指令的非瞬时性计算机可读介质，当有处理器执行所述计算机程序指令使所述处理器执行根据权利要求1-11中任一项所述的方法。