CN112914610A - 基于深度学习的对比增强超声心动图室壁厚度自动分析系统与方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的对比增强超声心动图室壁厚度自动分析系统与方法，该系统包括数据采集和上传模块、数据识别和质控模块、数据测量和呈现模块；数据采集和上传模块采集增强超声心动图检查图像视频和心电图检查图像，并上传到数据识别和质控模块；数据识别和质控模块通过深度学习算法模块对上传的图像和视频进行预处理，对不同组织结构进行标记，并对图像质量分析可行性评估；数据测量和呈现模块对标记图像进行室壁厚度数据的测量，将经过测量的结果自动输出呈现到超声影像工作站。本发明结合深度学习算法的优势，实现数据分析自动化和标准化，减少室壁厚度测量的个体内和个体间的差异，显著提高室壁厚度测量的可重复性和一致性。

Description

基于深度学习的对比增强超声心动图室壁厚度自动分析系统 与方法

技术领域

本发明涉及超声医学技术领域，具体涉及一种基于深度学习的对比增强超声心动图室壁厚度自动分析系统与方法。

背景技术

心室室壁厚度的准确测量对于鉴别正常心脏超声表现和心血管病及明确疾病进程和预后有着重要意义。然而，目前对二维超声室壁厚度的测量由于心外膜和心内膜边界的辨析度较低，有着很明显的个体内和个体间差异，对肥厚位置的定位也有很大个人主观性。

因此，需要设计一种心脏超声心动图自动测量分析的系统与方法，以实现数据分析的自动化和标准化，显著减少测量的个体内差异和个体间差异。

发明内容

本发明的目的在于克服上述背景技术的不足，提供一种基于深度学习的对比增强超声心动图室壁厚度自动分析系统与方法，该方法结合深度学习算法的优势，实现数据分析自动化和标准化，减少室壁厚度测量的个体内和个体间的差异，显著提高了室壁厚度测量的可重复性和一致性。

为实现上述目的，本发明所设计的一种基于深度学习的对比增强超声心动图室壁厚度自动分析系统，包括数据采集和上传模块、数据识别和质控模块、数据测量和呈现模块；

所述数据采集和上传模块用于采集增强超声心动图检查图像视频和心电图检查图像，并上传到数据识别和质控模块；

所述数据识别和质控模块通过深度学习算法模块对数据采集和上传模块上传的图像和视频进行预处理，对不同组织结构进行标记，并对图像质量分析可行性评估；

所述数据测量和呈现模块对通过数据识别和质控模块识别和质控的标记图像进行室壁厚度数据的测量，将经过测量的结果自动输出呈现到超声影像工作站。

进一步地，所述数据采集和上传模块通过超声设备进行增强超声心动图检查图像视频采集，并通过心电图导联系统进行心电图检查图像采集。

本发明还提供一种利用上述基于深度学习的对比增强超声心动图室壁厚度自动分析系统进行分析的方法，包括如下步骤：

1)通过数据采集和上传模块对增强超声心动图检查图像视频和心电图检查图像进行采集，并上传到数据识别和质控模块；

2)通过数据识别和质控模块利用深度学习算法模块对数据采集和上传模块上传的图像和视频进行预处理，对不同组织结构进行标记，并对图像质量分析可行性评估；

3)通过数据测量和呈现模块对通过数据识别和质控模块识别和质控的标记图像进行室壁厚度数据的测量，将经过测量的结果自动输出呈现到超声影像工作站。

进一步地，所述步骤2)中，数据识别和质控模块预处理包括识别超声心动图检查图像视频中的超声增强视频，并提取每一视频帧，对每一视频帧自动进行降噪和影像特征区域强化处理。

进一步地，所述步骤2)中，数据识别和质控模块深度学习的算法模块包括第一算法模块和第二算法模块，通过深度学习第一算法模块识别每一视频帧的切面类型和心脏时相；通过深度学习第二算法模块对心内膜和心外膜边界区域进行标识，按17节段分法进行心室节段的标记。

进一步地，所述步骤2)中，对图像质量分析可行性评估基于心内膜边界与心外膜边界区域识别结果的完整性，进行图像质量控制评估。

进一步地，所述深度学习第一算法模块的过程包括如下步骤：

1.1)按照训练需求收集各类心脏样本切面数据，并对样本数据切面类型和对应的心脏时相进行标注；

1.2)进行模型训练，包括切面类型网络的训练和心脏时相网络训练；

1.3)特征提取层动态地依据数据集的尺寸分别从通用卷积网络结构中选取泛化性能最佳者进行迁移学习分类；

1.4)利用训练好的网络模型进行样本数据测试，统计模型的分类结果数据；

1.5)利用错误分类样本再次训练网络模型，对网络模型进行优化；

1.6)利用优化后的切面类型网络和心脏时相网络对新数据进行切面类型和对应的心脏时相分类。

进一步地，所述深度学习第二算法模块的过程包括如下步骤：

2.1)训练样本数据获取，在样本数据图像上标记心内膜和心外膜之间区域，并以乳头肌和二尖瓣瓣尖为解剖标志，按17节段分法进行心室节段的标记；

2.2)进行模型训练，包括心内膜和心外膜区域和心室节段识别网络训练；

2.3)训练阶段采用全卷积网络学习影像的语义标签，训练期间在验证集上进行验证准确度，当准确度稳定时在测试集上测试模块的泛化性能，最终取泛化性能最高的模型进行部署；

2.4)利用训练好的网络模型进行样本数据测试，统计模型的分类结果数据；

2.5)利用错误分类样本再次训练网络模型，对网络模型进行优化；

2.6)利用优化后的心内膜和心外膜区域识别网络对新数据进行心内膜和心外膜区域和室壁节段标识。

再进一步地，所述步骤2.3)中，训练时采用全卷积网络的实现分为编码部分和解码部分；编码部分包括特征提取和降维部分，特征提取通过卷积来实现，降维部分通过DoubleConv后先进行最大池化，将特征图变为原来的一半，然后再采用DoubleConv增加通道数来实现；解码部分采用双线性插值和转置卷积来实现。

更进一步地，所述步骤2)中，若图像质量评估不合格，则通过输出信号提示超声医生；若图像质量评估合格，则在图像切面标识心内膜和心外膜边界区域以及心室节段。

与现有技术相比，本发明具有如下优点：

其一，本发明的基于深度学习的对比增强超声心动图室壁厚度自动分析系统与方法，创造性的结合了增强超声心动图检查的优势和深度学习算法的优势，将两者的优势进行深度的融合和交叉，创造性地解决了一系列临床痛点问题。

其二，本发明的基于深度学习的对比增强超声心动图室壁厚度自动分析系统与方法，通过增强超声心动图可显著提高心内膜和心外膜的辨析度，显著提高了心尖部、心室心内膜和心外膜、心室内微细结构如乳头肌假腱索的显示，使得室壁厚度的测量准确度得到显著而有意义的提高。

其三，本发明的基于深度学习的对比增强超声心动图室壁厚度自动分析系统与方法，基于左心室17节段室壁厚度的精确测量，能够进一步构建心室构型的自动分析，明确肥厚的部位分布与程度，这对于肥厚型心肌病患者定位梗阻的部位并指导治疗方案具有重要的临床意义。

其四，本发明的基于深度学习的对比增强超声心动图室壁厚度自动分析系统与方法，充分吸收结合深度学习算法的优势，使得数据分析能够实现自动化和标准化，减少室壁厚度测量的个体内和个体间的差异，显著提高室壁厚度测量的可重复性和一致性。

其五，本发明的基于深度学习的对比增强超声心动图室壁厚度自动分析系统与方法，通过深度学习算法可实现大量临床数据的快速处理，减少了临床超声医生的负担，解决临床超声医生资源不足所带来的困境，有利于超声数据的整合从而用于科研工作中，最终通过科研成果的转化进一步提高医疗水平、造福患者，具有非常重要的临床意义和实用创新价值。

附图说明

图1为一种基于深度学习的对比增强超声心动图室壁厚度自动分析系统示意图；

图2为一种基于深度学习的对比增强超声心动图室壁厚度自动分析方法工作流程图；

图3为全卷积网络结构图；

图4A为胸骨旁左室长轴切面示意图；

图4B为胸骨旁大动脉短轴切面示意图；

图4C为胸骨旁左室短轴二尖瓣水平切面示意图；

图4D为胸骨旁左室短轴乳头肌水平切面示意图；

图4E为胸骨旁左室短轴心尖水平切面示意图；

图4F为心尖四腔心切面示意图；

图4G为心尖五腔心切面示意图；

图4H为心尖两腔心切面示意图；

图4I为心尖三腔心切面示意图；

图4J为剑突下四腔心切面示意图；

图5A为十七节段牛眼图示意图；

图5B为心尖四腔心切面节段示意图；

图5C为心尖三腔心切面节段示意图；

图5D为心尖两腔心切面节段示意图；

图5E为左室基底段水平的节段示意图；

图5F为左室中段水平的节段示意图；

图5G为左室心尖段水平的节段示意图；

图中：前壁基底段1、前间隔基底段2、后间隔基底段3、下壁基底段4、后壁基底段5、侧壁基底段6、前壁中段7、前间隔中段8、后间隔中段9、下壁中段10、后壁中段11、侧壁中段12、前壁心尖段13、室间隔心尖段14、下壁心尖壁15、侧壁心尖段16、心尖帽17、数据采集和上传模块18、数据识别和质控模块19、数据测量和呈现模块20、超声影像工作站21。

具体实施方式

下面结合实施案例详细说明本发明的实施情况，但它们并不构成对本发明的限定，仅作举例而已。同时通过说明本发明的优点将变得更加清楚和容易理解。

如图1所示的一种基于深度学习的对比增强超声心动图室壁厚度自动分析系统，包括数据采集和上传模块18、数据识别和质控模块19、数据测量和呈现模块20；所述数据采集和上传模块18用于采集增强超声心动图检查图像视频和心电图检查图像，并上传到数据识别和质控模块19；所述数据识别和质控模块19通过深度学习算法模块对数据采集和上传模块18上传的图像和视频进行预处理，对不同组织结构进行标记，并对图像质量分析可行性评估；所述数据测量和呈现模块20对通过数据识别和质控模块19识别和质控的标记图像进行室壁厚度数据的测量，将经过测量的结果自动输出呈现到超声影像工作站21。所述数据采集和上传模块18通过超声设备进行增强超声心动图检查图像视频采集，并通过心电图导联系统进行心电图检查图像采集。

如图2所示，基于深度学习的对比增强超声心动图室壁厚度自动分析方法，包括如下步骤：

1)数据采集和上传模块采集增强超声心动图检查图像视频和心电图检查图像，通过超声设备进行增强超声心动图检查图像视频采集，并通过心电图导联系统进行心电图检查图像采集，并上传到数据识别和质控模块。

2)数据识别和质控模块识别数据采集和上传模块上传的图像和视频，并提取每一视频帧，对每一视频帧自动进行降噪和影像特征区域强化处理。降噪和影像特征区域强化处理包括：滤波技术、尺寸缩放技术、对图像的亮度、对比度、饱和度以及色相等参数做合适的调整。

通过深度学习第一算法模块识别每一视频帧的切面类型和心脏时相(收缩期和舒张期)。通过深度学习第二算法模块对心内膜和心外膜边界区域进行标识，也可同时标注多种类型数据区域，按美国超声心动图学会(American Society of Echocardiography,ASE)推荐的17节段进行心室节段的标记。数据识别和质控模块进一步基于心内膜边界与心外膜边界区域识别结果的完整性，进行图像质量控制评估。质量不符合的超声心动图图像和视频通过输出模块给予超声医生提示。质量符合的切面由深度学习第二算法模块标识心内膜和心外膜边界区域和心室节段。最后数据测量和呈现模块对通过数据识别和质控模块识别和质控的标记图像进行室壁厚度数据的测量，将经过测量的结果自动输出呈现到超声影像工作站。

如图4A-图4J所示分别为按照ASE推荐的17节段分法标记的胸骨旁左室长轴切面、胸骨旁大动脉短轴切面、胸骨旁左室短轴切面、心尖四腔心切面、心尖五腔心切面、心尖两腔心切面、心尖三腔心切面、剑突下四腔心切面。

深度学习第一算法模块识别每一视频帧的切面类型和心脏时相(收缩期和舒张期)，包括胸骨旁左室长轴切面、胸骨旁大动脉短轴切面、胸骨旁左室短轴切面、心尖四腔心切面、心尖五腔心切面、心尖两腔心切面、心尖三腔心切面、剑突下四腔心切面；深度学习第一算法模块的总体流程分为训练、验证、测试、部署四个阶段。将分类数据集按照一定比例(如5：2：3)划分为训练、验证、测试集，采用卷积神经网络对分类任务进行监督式学习。深度学习第一算法模块的训练过程主要包括以下步骤：

1.1)按照训练需求收集各类心脏样本切面数据和心电图数据。由两位高年资的超声医生并对样本数据切面类型和对应的心脏时相进行标注和核对。

1.2)进行模型训练，包括切面类型网络的训练和心脏时相网络训练。

1.3)特征提取层动态地依据数据集的尺寸分别从通用卷积网络结构(ResNet、Inception Net、Dense Net等)中选取泛化性能最佳者进行迁移学习分类。预训练权重采用在ImageNet数据集训练的结果，输出层分类器选用Softmax分类器，分类类别数设置为20类，分别与样本数据切面类型和对应的心脏时相向对应。

1.4)利用训练好的网络模型进行样本数据测试，统计模型的分类结果数据。

1.5)利用错误分类样本再次训练网络模型，对网络模型进行优化。

1.6)利用优化后的切面类型网络和心脏时相网络对新数据进行切面类型和对应的心脏时相(收缩期和舒张期)分类。

深度学习第二算法模块对心内膜和心外膜边界区域进行标识，也可同时标注多种类型数据区域，按ASE推荐的17节段进行心室节段的标记，如图5A-图5G所示。

深度学习第二算法模块的训练过程主要包括以下步骤：

2.1)训练样本数据获取，由高年资的超声医生在样本数据图像上标记心内膜和心外膜之间区域，并以乳头肌和二尖瓣瓣尖为解剖标志，按美国超声心动图学会(AmericanSociety of Echocardiography,ASE)推荐的17节段分法进行心室节段的标记。

2.2)模型训练，主要指心内膜和心外膜区域和心室节段识别网络训练。

2.3)训练阶段采用全卷积网络学习影像的语义标签，训练期间在验证集上进行验证准确度，当准确度稳定时在测试集上测试模块的泛化性能。针对不同尺寸的超声影像数据集(获取自不同医师)可以通过不断调整网络参数动态地获取最佳的泛化性能。最终取泛化性能最高的模型进行部署。训练时采用的全卷积网络结构如图3所示。

全卷积网络的具体实现主要分为编码和解码部分，编码部分主要包括特征提取与降维部分，具体流程如下：

特征提取主要通过卷积实现，首先输入一张超声影像(572x572)，通过DoubleConv(图3中下采样中的每一行的卷积与Relu)将通道数变为64，影像的大小变为[(n1-n2)/s+1],(其中n1影像大小，n2是卷积核大小,s是滑动步长，默认为1，因此特征图大小由572->570->568)。降维部分的实现通过DoubleConv后先进行最大池化，将特征图变为原来的一半，然后再采用DoubleConv增加通道数。经过3次下采样，将影像通道数升至512，大小降为64*64。然后进行第4次下采样，特征图的尺寸最终降低至32x32。在进行下采样的过程中需要将每一层上采样对应的特征图与下采样对应的特征图进行融合，能够充分获得有用信息，融合时需要通道数进行对应，因此输出通道数为512，且特征图尺寸为28*28。

在解码部分可以分别采用双线性插值和转置卷积实现，上采样的过程中需要对两个特征图进行融合，通道数一样并且尺寸也应该一样。设x1是上采样获得的特征，而x2是对应的下采样获得的特征，首先对x1进行反卷积使其大小变为输入时的2倍，首先需要计算两张图长宽的差值，作为填补空白区域的依据，然后根据此时特征的通道数、特征图高和特征图宽计算左填充，右填充，上填充，下填充，最后进行剪裁融合。以第一层上采样为例，x5对应的是最后一次下采样获得的特征图，通道数为512，大小为28*28，x4是第三次下采样获得的特征图，通道为512，大小为64*64，首先将x5的特征大小变为2倍为56*56，然后长宽差距为8，所以周围分别补4个0，再和x4进行竖向拼接，因此输出通道数为1024，大小为64*64，然后就继续进行三次上采样，最终获得的特征图的通道为1，大小为572(与原始影像尺寸相同)。

2.4)利用训练好的网络模型进行样本数据测试，统计模型的分类结果数据。

2.5)利用错误分类样本再次训练网络模型，对网络模型进行优化。

2.6)利用优化后的心内膜和心外膜区域和室壁节段识别网络对新数据进行心内膜和心外膜区域和室壁节段标识。

3)数据测量和呈现模块对通过数据识别和质控模块识别和质控的标记图像进行室壁厚度数据的测量，将经过测量的结果自动输出呈现到超声影像工作站。测量的数据成果呈现包括但不限于动静态的收缩期和舒张期的17节段牛眼图，17节段室壁厚度的收缩期和舒张期的散点图和柱状图以及室壁肥厚的类型和程度。

应当理解，本实施例的基于深度学习的对比增强超声心动图室壁厚度自动分析系统所需的各个模块与基于深度学习的对比增强超声心动图室壁厚度自动分析方法相对应。同时需要明确的是，该系统的实现方式是多样的，包括但不限于软件的方式和硬件的方式，且可提前嵌合进超声设备(如超声机)，也可单独成一独立的电子设备或者通过多种方式安装加载到目标的电子设备。

应当指出，以上描述仅为本申请的较佳实施例以及对所用技术原理的说明。本领域技术人员应当理解，本申请中所涵盖的发明范围，并不限于前述技术特征的特定组合而成的技术方案，同时也包括在不偏离所述发明构思，由前述技术特征或类似特征进行组合的其他方案。任何熟悉本领域的技术人员在本发明所揭示的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内，其余未详细说明的为现有技术。

Claims (10)

1.一种基于深度学习的对比增强超声心动图室壁厚度自动分析系统，其特征在于：包括数据采集和上传模块(18)、数据识别和质控模块(19)、数据测量和呈现模块(20)；

所述数据采集和上传模块(18)用于采集增强超声心动图检查图像视频和心电图检查图像，并上传到数据识别和质控模块(19)；

所述数据识别和质控模块(19)通过深度学习算法模块对数据采集和上传模块(18)上传的图像和视频进行预处理，对不同组织结构进行标记，并对图像质量分析可行性评估；

所述数据测量和呈现模块(20)对通过数据识别和质控模块(19)识别和质控的标记图像进行室壁厚度数据的测量，将经过测量的结果自动输出呈现到超声影像工作站(21)。

2.根据权利要求1所述的基于深度学习的对比增强超声心动图室壁厚度自动分析系统，其特征在于：所述数据采集和上传模块(18)通过超声设备进行增强超声心动图检查图像视频采集，并通过心电图导联系统进行心电图检查图像采集。

3.一种利用权利要求1或2所述基于深度学习的对比增强超声心动图室壁厚度自动分析系统进行分析的方法，其特征在于：包括如下步骤：

1)通过数据采集和上传模块(18)对增强超声心动图检查图像视频和心电图检查图像进行采集，并上传到数据识别和质控模块(19)；

2)通过数据识别和质控模块(19)利用深度学习算法模块对数据采集和上传模块(18)上传的图像和视频进行预处理，对不同组织结构进行标记，并对图像质量分析可行性评估；

3)通过数据测量和呈现模块(20)对通过数据识别和质控模块(19)识别和质控的标记图像进行室壁厚度数据的测量，将经过测量的结果自动输出呈现到超声影像工作站。

4.根据权利要求3所述的方法，其特征在于：所述步骤2)中，数据识别和质控模块(19)预处理包括识别超声心动图检查图像视频中的超声增强视频，并提取每一视频帧，对每一视频帧自动进行降噪和影像特征区域强化处理。

5.根据权利要求4所述的方法，其特征在于：所述步骤2)中，数据识别和质控模块(19)深度学习的算法模块包括第一算法模块和第二算法模块，通过深度学习第一算法模块识别每一视频帧的切面类型和心脏时相；通过深度学习第二算法模块对心内膜和心外膜边界区域进行标识，按17节段分法进行心室节段的标记。

6.根据权利要求4所述的方法，其特征在于：所述步骤2)中，对图像质量分析可行性评估基于心内膜边界与心外膜边界区域识别结果的完整性，进行图像质量控制评估。

7.根据权利要求5所述的方法，其特征在于：所述深度学习第一算法模块的过程包括如下步骤：

1.1)按照训练需求收集各类心脏样本切面数据，并对样本数据切面类型和对应的心脏时相进行标注；

1.2)进行模型训练，包括切面类型网络的训练和心脏时相网络训练；

1.3)特征提取层动态地依据数据集的尺寸分别从通用卷积网络结构中选取泛化性能最佳者进行迁移学习分类；

1.4)利用训练好的网络模型进行样本数据测试，统计模型的分类结果数据；

1.5)利用错误分类样本再次训练网络模型，对网络模型进行优化；

1.6)利用优化后的切面类型网络和心脏时相网络对新数据进行切面类型和对应的心脏时相分类。

8.根据权利要求5所述的方法，其特征在于：所述深度学习第二算法模块的过程包括如下步骤：

2.1)训练样本数据获取，在样本数据图像上标记心内膜和心外膜之间区域，并以乳头肌和二尖瓣瓣尖为解剖标志，按17节段分法进行心室节段的标记；

2.2)进行模型训练，包括心内膜和心外膜区域和心室节段识别网络训练；

2.3)训练阶段采用全卷积网络学习影像的语义标签，训练期间在验证集上进行验证准确度，当准确度稳定时在测试集上测试模块的泛化性能，最终取泛化性能最高的模型进行部署；

2.4)利用训练好的网络模型进行样本数据测试，统计模型的分类结果数据；

2.5)利用错误分类样本再次训练网络模型，对网络模型进行优化；

2.6)利用优化后的心内膜和心外膜区域识别网络对新数据进行心内膜和心外膜区域和室壁节段标识。

9.根据权利要求8所述的方法，其特征在于：所述步骤2.3)中，训练时采用全卷积网络的实现分为编码部分和解码部分；编码部分包括特征提取和降维部分，特征提取通过卷积来实现，降维部分通过DoubleConv后先进行最大池化，将特征图变为原来的一半，然后再采用DoubleConv增加通道数来实现；解码部分采用双线性插值和转置卷积来实现。

10.根据权利要求6所述的方法，其特征在于：所述步骤2)中，若图像质量评估不合格，则通过输出信号提示超声医生；

若图像质量评估合格，则在图像切面标识心内膜和心外膜边界区域以及心室节段。

Images