CN112336381B - 一种基于深度学习的超声心动图收缩/舒张末期帧自动识别方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的超声心动图收缩/舒张末期帧自动识别方法，具体方法为：步骤1、图像预处理；步骤2、网络搭建与训练；步骤3、对测试集数据进行定位；步骤4、对测试集数据进行自动定位。本发明的有益效果：本发明提供一种基于深度学习的超声心动图收缩/舒张末期帧自动识别方法，在超声心动图所有帧中自动预测最大收缩末期帧和最大舒张末期帧，减少人工参与成本，有利于医生对左心室功能进行评价，为心脏疾病诊断提供了基础。

Description

一种基于深度学习的超声心动图收缩/舒张末期帧自动识别 方法

技术领域

本发明涉及一种超声心动图收缩/舒张末期帧自动识别方法，特别涉及一种基于深度学习的超声心动图收缩/舒张末期帧自动识别方法。

背景技术

目前，心脏病诊断常用的成像方式主要有超声心动图、计算机断层扫描成像、核磁共振成像等。而左心室功能对心脏功能贡献非常大，所以对左心室自动定位及功能评价在心脏图像的临床定量和诊断中起着至关重要的作用。

超声心动图是利用超声成像原理成像的动态影像，实时的反应心脏的运动过程，并具有无创，低成本，动态观察，无辐射，重复性好的优点，所以被广泛应用在左心室成像领域。超声心动图是由若干帧构成，每一帧对应于心脏跳动的一个时刻。由于心脏跳动是一种周期性运动，每个周期包括收缩和舒张两大阶段，其中由收缩阶段向舒张阶段过渡的时刻，称为最大收缩末期；由舒张阶段向收缩阶段过渡的时刻，称为最大舒张末期。临床上评价左心室功能常常使用两个不同切面的超声心动图，分别为心尖四腔室和心尖二腔室，并分别在两个切面的图像中选择出最大收缩末期和最大舒张末期。

目前在临床上评价左心室功能需要医生手动选出上述特定时刻的帧图像，并且需要手动标记出左心室的心内膜轮廓，进而计算左心室在两个特定时刻的长度，面积，体积、射血分数等评价指标。超声心动图往往有大量噪声、伪影以及成像时轮廓边界信息容易缺失，因此手动标记这一过程对专家知识和经验要求很高，必须由经过特殊培训的医务人员或医学专家才可完成，而且十分耗时。

发明内容

本发明的目的是为了在超声心动图所有帧中自动预测最大收缩末期帧和最大舒张末期帧，以便利于医生对左心室功能进行评价，同时为心脏疾病诊断提供相应基础而提供的一种基于深度学习的超声心动图收缩/舒张末期帧自动识别方法。

本发明提供的基于深度学习的超声心动图收缩/舒张末期帧自动识别方法，其方法如下所述：

步骤1、图像预处理，具体步骤如下：

对超声心动图像进行回顾性分析，分别采集心尖两腔室的样本和心尖四腔室的样本数份，每个样本包含2-4个心跳周期，每个样本含有78—101帧，对采集的所有超声心动图视频提取每一帧图像，图像大小为600×800像素，通过python语言中的pydicom库批量把DICOM，即dcm转换成无损压缩算法的位图图像，每份样本中都有医生截取的末期帧，由于每个样本基本上都有两个以上的心动周期，所以根据医生提供的收缩/舒张末期，手动给出一个病人每个周期的所有收缩/舒张末期，这样将每一个样本都划分为数个舒张的帧序列和收缩的帧序列，进行灰度归一化预处理，将像素值统一到[0,1]区间，裁剪、下采样为64×64像素的无损压缩算法的位图图片；去除成像效果较差的样本，按照4：1将原样本划分为训练集和测试集，最后得到四腔室的训练集数帧，四腔室的测试集数帧；二腔室的训练集数帧，二腔室的测试集数帧；针对训练样本不足的问题，将所有的图像数据调整为同样大小进行水平翻转、垂直翻转、旋转不同的角度、镜像和弹性变换操作，把扩大后的数据集分成三个部分，即训练集、验证集和测试集；

对原始数据进行增强，具体步骤如下：

(a)、心尖四腔室以0.2概率随机旋转-2至2度；心尖两腔室以0.2概率随机旋转-3至3度，心尖四腔室用a4c表示，心尖两腔室用a2c表示；

(b)、心尖四腔室以0.5概率随机缩放至初始面积的98％；心尖两腔室以0.5概率随机缩放至初始面积的95％，心尖四腔室用a4c表示，心尖两腔室用a2c表示；

(c)、添加设定的弹性变换和视角倾斜，把两腔室进行随机翻转；

(d)、为了更好的拟合数据分布情况，处于顶部的帧和处于底部的帧按原比例扩增，分别将四腔室,两腔室样本数扩增为1万；

步骤2、网络搭建与训练，具体步骤如下：

把扩大后的数据集里的训练集和验证集中的图像特征通过卷积神经网络进行特征提取，使用两帧输入的siamese+3DCNN的架构进行提取，网络模型结构包括：模型以连续的两帧做为输入，前两个卷积层使用3*3*6的卷积核进行特征提取，对提取的特征图进行最大池化，再使用两个卷积层，尺寸为3*3*12的卷积核继续做特征提取，对提取的特征图进行最大池化，将输出的两帧的特征图按通道维度进行连接，然后使用两个三维卷积核做特征提取，再用提取的特征进行抻平操作，通过三层全连接层输出分类结果，对比标签计算交叉熵损失，通过优化器，最小化损失，模型使用修正线性单元做为激活函数，并使用批归一化以及dropout抑制模型的过拟合；最终模型在测试集上分类效果通过受试者工作特征曲线ROC曲线评价，其中心尖二腔室和心尖四腔室的ROC曲线下的面积，即auc均大于0.95。

步骤3、对测试集数据进行定位，具体步骤如下：

优化模型分类准确率：通过模型优化工作，心尖二腔室的测试损失最终收敛为0.12，测试集准确性收敛为91％，测试最终收敛为0.11，测试集准确性收敛为92％；

通过末期帧定位算法挑选出最大收缩/舒张末期帧，末期帧定位步骤1中的候选帧：将某一与相邻的前一帧类别不同的帧，视作候选帧，遍历所有帧，得到样本的所有候选帧；

末期帧定位步骤2中的删除帧：若某一候选帧的前10帧和后10帧不满足分布条件，那么排除这个帧；

末期帧定位滑动窗口：经过上述末期帧定位步骤1和定位步骤2的筛选，还存在不满足的帧，使用一个长度为10，步长为1的滑动窗口，确定期望最高的帧，这样的帧就是最终要确定的帧；

步骤4、对测试集数据进行自动定位，具体步骤如下：

利用训练好的网络对测试集中的数份样本的最大舒张末期和最大收缩末期图像进行预测，得出心尖二腔室的预测结果；

利用训练好的网络对测试集中的数份样本的最大舒张末期和最大收缩末期图像进行预测，得出心尖四腔室的预测结果。

本发明的有益效果：

本发明提供一种基于深度学习的超声心动图收缩/舒张末期帧自动识别方法，在超声心动图所有帧中自动预测最大收缩末期帧和最大舒张末期帧，减少人工参与成本，有利于医生对左心室功能进行评价，为心脏疾病诊断提供了基础。

附图说明

图1为本发明所述方法的流程示意图。

图2为本发明所述方法的网络结构示意图。

图3为本发明所述方法在测试集中的效果图。

图4为本发明所述方法的末期帧定位确定帧方法示意图。

图5为本发明所述方法在验证集中心尖二腔室的预测结果示意图。

图6为本发明所述方法在验证集中心尖四腔室的预测结果示意图。

具体实施方式

下面结合附图与实施例对本发明作进一步说明。

如图1所示，本发明的一种基于深度学习的超声心动图收缩/舒张末期帧自动识别方法包括以下几个步骤：

步骤1、图像预处理，具体步骤如下：

对超声心动图像进行回顾性分析(飞利浦超声心动成像系统)，心尖两腔室的一共有49份样本，心尖四腔室的一共有52份样本，每个样本包含2-4个心跳周期，每个样本含有78—101帧不等，对采集的所有超声心动图视频提取每一帧图像，图像大小为600×800像素。通过python中的pydicom库批量把DICOM(dcm)转换成无损压缩算法的位图图像。每份样本中都有医生截取的末期帧，由于每个样本基本上都有两个以上的心动周期，所以根据医生提供的收缩/舒张末期，手动给出一个病人每个周期的所有收缩/舒张末期。这样将每一个样本都划分为若干舒张的帧序列和收缩的帧序列。进行灰度归一化预处理，将像素值统一到[0,1]区间。裁剪、下采样为64*64像素的无损压缩算法的位图图片；去除了有几份成像效果很差的样本，按照4：1将原样本划分训练集和测试集，最后得到：四腔室：训练集3133帧(来自34份样本)，测试集838帧(来自9份样本)，二腔室：训练集3056帧(来自33份样本)，测试集799帧(来自9份样本)。

针对训练样本不足问题，本发明将所有的图像数据调整为同样大小进行水平翻转、垂直翻转、旋转不同的角度、镜像和弹性变换操作，把扩大后的数据集分成三个部分，即训练集、验证集和测试集。

对原始数据进行增强：(a).心尖四腔室(a4c):以0.2概率随机旋转-2---2度；心尖两腔室(a2c):以0.2概率随机旋转-3---3度。(b).心尖四腔室(a4c):以0.5概率随机缩放至初始面积的98％；心尖两腔室(a2c):以0.5概率随机缩放至初始面积的95％。(c)添加一定的弹性变换，视角倾斜等，且两腔室进行了随机翻转。(d)为了更好的拟合数据分布情况，处于顶部的帧和处于底部的帧按原比例扩增，分别将四腔室,两腔室样本数扩增为1万。

步骤2、网络搭建与训练，具体步骤如下：

把扩大后的数据集里的训练集和验证集中的图像特征通过卷积神经网络进行特征提取。为了克服模型问题，使用两帧输入的siamese+3DCNN的架构。

如图2所示，网络模型结构包括：模型以连续的两帧做为输入，前两个卷积层使用3*3*6的卷积核进行特征提取，对提取的特征图进行最大池化，再使用两个卷积层，尺寸为3*3*12的卷积核继续做特征提取，对提取的特征图进行最大池化，将输出的两帧的特征图按通道维度进行连接，然后使用两个三维卷积核做特征提取，再用提取的特征进行压平操作，通过三层全连接层输出分类结果，对比标签计算交叉熵损失，通过优化器，最小化损失。模型使用修正线性单元做为激活函数，并使用批归一化以及dropout抑制模型的过拟合。最终模型分类评价结果如图3所示，受试者工作特征曲线ROC曲线：其中心尖二腔室和心尖四腔室的ROC曲线下的面积(auc)均大于0.95。

步骤3、对测试集数据进行定位，具体步骤如下：

优化模型分类准确率：通过模型优化工作，心尖二腔室的测试损失最终收敛为0.12，测试集准确性收敛为91％，测试最终收敛为0.11，测试集准确性收敛为92％；

如图4所示，通过末期帧定位算法挑选出最大收缩/舒张末期帧。

末期帧定位步骤1中的候选帧：将某一与相邻的前一帧类别不同的帧，视作候选帧，遍历所有帧，得到样本的所有候选帧。

末期帧定位步骤2中的删除帧：若某一候选帧的前10帧和后10帧不满足分布条件，那么排除这个帧。

末期帧定位滑动窗口：经过上述末期帧定位步骤1和定位步骤2的筛选，还存在不满足的帧，使用一个长度为10，步长为1的滑动窗口，这样可以确保在一定区间内，至多只有唯一期望最高的帧。这样的帧就是最终要确定的帧。

步骤4、对测试集数据进行自动定位，具体步骤如下：

如图5所示，利用训练好的网络对测试集中的9份样本的最大舒张末期和最大收缩末期图像进行预测，得出心尖二腔室的预测结果。

如图6所示，利用训练好的网络对测试集中的9份样本的最大舒张末期和最大收缩末期图像进行预测，得出心尖四腔室的预测结果。

Claims (1)

1.一种基于深度学习的超声心动图收缩/舒张末期帧自动识别方法，其特征在于：其方法如下所述：

步骤1、图像预处理，具体步骤如下：

对超声心动图像进行回顾性分析，分别采集心尖两腔室的样本和心尖四腔室的样本数份，每个样本包含2-4个心跳周期，每个样本含有78—101帧，对采集的所有超声心动图视频提取每一帧图像，图像大小为600×800像素，通过python语言中的pydicom库批量把DICOM，即dcm转换成无损压缩算法的位图图像，每份样本中都有医生截取的末期帧，由于每个样本基本上都有两个以上的心动周期，所以根据医生提供的收缩/舒张末期，手动给出一个病人每个周期的所有收缩/舒张末期，这样将每一个样本都划分为数个舒张的帧序列和收缩的帧序列，进行灰度归一化预处理，将像素值统一到[0,1]区间，裁剪、下采样为64×64像素的无损压缩算法的位图图片；去除成像效果较差的样本，按照4：1将原样本划分为训练集和测试集，最后得到四腔室的训练集数帧，四腔室的测试集数帧；二腔室的训练集数帧，二腔室的测试集数帧；针对训练样本不足的问题，将所有的图像数据调整为同样大小进行水平翻转、垂直翻转、旋转不同的角度、镜像和弹性变换操作，把扩大后的数据集分成三个部分，即训练集、验证集和测试集；

对原始数据进行增强，具体步骤如下：

(a)、心尖四腔室以0.2概率随机旋转-2至2度；心尖两腔室以0.2概率随机旋转-3至3度，心尖四腔室用a4c表示，心尖两腔室用a2c表示；

(b)、心尖四腔室以0.5概率随机缩放至初始面积的98％；心尖两腔室以0.5概率随机缩放至初始面积的95％，心尖四腔室用a4c表示，心尖两腔室用a2c表示；

(c)、添加设定的弹性变换和视角倾斜，把两腔室进行随机翻转；

(d)、为了更好的拟合数据分布情况，处于顶部的帧和处于底部的帧按原比例扩增，分别将四腔室,两腔室样本数扩增为1万；

步骤2、网络搭建与训练，具体步骤如下：

把扩大后的数据集里的训练集和验证集中的图像特征通过卷积神经网络进行特征提取，使用两帧输入的siamese+3DCNN的架构进行提取，网络模型结构包括：模型以连续的两帧做为输入，前两个卷积层使用3*3*6的卷积核进行特征提取，对提取的特征图进行最大池化，再使用两个卷积层，尺寸为3*3*12的卷积核继续做特征提取，对提取的特征图进行最大池化，将输出的两帧的特征图按通道维度进行连接，然后使用两个三维卷积核做特征提取，再用提取的特征进行压平操作，通过三层全连接层输出分类结果，对比标签计算交叉熵损失，通过优化器，最小化损失，模型使用修正线性单元做为激活函数，并使用批归一化以及dropout抑制模型的过拟合；

步骤3、对测试集数据进行定位，具体步骤如下：

受试者工作特征曲线ROC曲线：其中心尖二腔室和心尖四腔室的ROC曲线下的面积，即auc均大于0.95，其中心尖二腔室的测试损失最终收敛为0.12，测试集准确性收敛为91％，心尖四腔室训练了50次迭代,测试最终收敛为0.11，测试集准确性收敛为92％；

通过末期帧定位算法挑选出最大收缩/舒张末期帧，末期帧定位步骤1中的候选帧：将某一与相邻的前一帧类别不同的帧，视作候选帧，遍历所有帧，得到样本的所有候选帧；

末期帧定位步骤2中的删除帧：若某一候选帧的前10帧和后10帧不满足分布条件，那么排除这个帧；

末期帧定位滑动窗口：经过上述末期帧定位步骤1和定位步骤2的筛选，还存在不满足的帧，使用一个长度为10，步长为1的滑动窗口，确定期望最高的帧，这样的帧就是最终要确定的帧；

步骤4、对测试集数据进行自动定位，具体步骤如下：

利用训练好的网络对测试集中的数份样本的最大舒张末期和最大收缩末期图像进行预测，得出心尖二腔室的预测结果；

利用训练好的网络对测试集中的数份样本的最大舒张末期和最大收缩末期图像进行预测，得出心尖四腔室的预测结果。

Images