CN112075956B - 一种基于深度学习的射血分数估计方法、终端及存储介质 - Google Patents

一种基于深度学习的射血分数估计方法、终端及存储介质 Download PDF

Info

Publication number
CN112075956B
CN112075956B CN202010909096.9A CN202010909096A CN112075956B CN 112075956 B CN112075956 B CN 112075956B CN 202010909096 A CN202010909096 A CN 202010909096A CN 112075956 B CN112075956 B CN 112075956B
Authority
CN
China
Prior art keywords
sequence
apical
ejection fraction
segmentation
heart
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010909096.9A
Other languages
English (en)
Other versions
CN112075956A (zh
Inventor
薛武峰
魏鸿荣
倪东
周永进
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202010909096.9A priority Critical patent/CN112075956B/zh
Publication of CN112075956A publication Critical patent/CN112075956A/zh
Application granted granted Critical
Publication of CN112075956B publication Critical patent/CN112075956B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/06—Measuring blood flow
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5292—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves using additional data, e.g. patient information, image labeling, acquisition parameters

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Hematology (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的射血分数估计方法、终端及存储介质，接收心尖二腔序列和心尖四腔序列的输入，并对所述心尖二腔序列和所述心尖四腔序列进行预处理；构建并优化联合学习网络，将预处理后的所述心尖二腔序列和所述心尖四腔序列输入到联合学习网络中，输出全序列的分割结果和运动估计结果；基于训练好的所述联合学习网络对全序列进行分割，并对所述分割结果进行后处理；基于二腔室和四腔室的左心室舒张末期和收缩末期的分割结果，通过Simpson双平面法计算两个时期的心脏容积，输出射血分数。本发明通过对心脏序列进行高精度且时域连续的分割，能非常准确的估计心脏解剖结构的精细变化，从而大大提升了射血分数的估计精确度。

Description

一种基于深度学习的射血分数估计方法、终端及存储介质
技术领域
本发明涉及计算机应用技术领域，尤其涉及一种基于深度学习的 射血分数估计方法、终端及存储介质。
背景技术
近年来，患心血管病的病人数量越来越多，心血管病的死亡率高 于肿瘤及其他疾病。左心室射血分数指每搏输出量占心室舒张末期容 积量的百分比，是评估心功能和诊断心血管疾病最常用的心脏指标之 一。在心脏成像方式中，超声心动图描记术具有实时、无辐射和低成 本等优点，因此常被用作病人的第一次成像检查。
在国际上，使用二维超声心动图(心尖二腔视图和四腔视图)舒 张末期和收缩末期的左心室分割结果，通过Simpson双平面法计算两 个时期的左心室容积，是获取射血分数(EF)估计值的一种常用方 法。其中，Simpson双平面法基于心尖二腔视图和四腔视图的左心室 分割结果，将心室从心尖到心底等分为若干等分，即若干个小圆盘， 小圆盘的两个内径(长径和横径)通过两个视图的左心室分割结果计 算得到，计算所有小圆盘的容积后积分得到左心室容积。因此，左心 室分割精度直接影响射血分数的估计精度。
在临床实践中，超声心动图噪声大，且心脏边缘模糊，为心脏的 自动或手动分割带来了巨大的困难，导致了射血分数的估计准确性较 低。对于已公开的大型二维超声心脏数据集CAMUS，目前最先进方 法的射血分数估计精度(皮尔森相关系数)只有0.845，而基于心脏 专家的组间和组内一致性分别为0.801和0.896，这表明当前基于超 声心动图的射血分数精确估计仍面临巨大的挑战。
基于机器学习的全自动射血分数精确估计技术能大量节省医院 的人力物力，具有非常大的应用价值和前景。目前全自动射血分数估 计方法主要有两种：基于左心室分割结果和基于心脏关键特征的参数 回归。而基于回归的方法无法为医生提供视觉可解释性，导致了令人 难以信服的诊断结果。而基于左心室分割的方法可分为：空间信息建 模和时空信息建模。空间信息建模无法监测心脏的时域变化，特别是 处理图像质量比较差的超声数据时，仅靠空间信息难以精确有效的分 割左心室，导致了较大的射血分数估计误差。而引入时域信息有潜力 解决心脏时域建模和静态图像质量差的困难。而目前已有的基于时空 建模的左心室分割方法大都存在以下缺点：依赖全监督模式的深度学 习方法，而全监督方式需要大量的标注数据和专业知识，现实中很难 获取；并且无法有效且明确地对时空进行建模，缺乏对心脏运动的显 式表征，导致了难以解释或不精确的时域运动估计。
因此，现有技术还有待于改进和发展。
发明内容
本发明的主要目的在于提供一种基于深度学习的射血分数估计 方法、终端及存储介质，旨在解决现有技术中射血分数的估计误差大 的问题。
为实现上述目的，本发明提供一种基于深度学习的射血分数估计 方法，所述基于深度学习的射血分数估计方法包括如下步骤：
接收心尖二腔序列和心尖四腔序列的输入，并对所述心尖二腔序 列和所述心尖四腔序列进行预处理；
构建并优化联合学习网络，所述联合学习网络为三维全卷积神经 网络，将预处理后的所述心尖二腔序列和所述心尖四腔序列输入到所 述联合学习网络中，输出全序列的分割结果和运动估计结果；
基于训练好的所述联合学习网络对全序列进行分割，并对所述分 割结果进行后处理；
基于二腔室和四腔室的左心室舒张末期和收缩末期的分割结果， 通过Simpson双平面法计算两个时期的心脏容积，输出射血分数。
所述的基于深度学习的射血分数估计方法，其中，所述预处理包 括：视频帧采样、图像尺寸归一化和图像灰度归一化。
所述的基于深度学习的射血分数估计方法，其中，所述优化联合 学习网络包括：第一阶段优化和第二阶段优化。
所述的基于深度学习的射血分数估计方法，其中，所述第一阶段 优化包括：基于图像灰度特征的全序列心脏追踪和首尾帧心脏分割；
所述第二阶段优化包括：基于形状特征的全序列心脏分割和全序 列心脏轮廓追踪。
所述的基于深度学习的射血分数估计方法，其中，所述后处理包 括：二值图像补洞操作和最大连通域选择操作；
所述基于训练好的所述联合学习网络对全序列进行分割，并对所 述分割结果进行后处理，之后还包括：
通过最近邻插值将所述分割结果的尺寸转化为原图像尺寸。
此外，为实现上述目的，本发明还提供一种终端，其中，所述终 端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上 运行的基于深度学习的射血分数估计程序，所述基于深度学习的射血 分数估计程序被所述处理器执行时实现如上所述的基于深度学习的 射血分数估计方法的步骤。
此外，为实现上述目的，本发明还提供一种存储介质，其中，所 述存储介质存储有基于深度学习的射血分数估计程序，所述基于深度 学习的射血分数估计程序被处理器执行时实现如上所述的基于深度 学习的射血分数估计方法的步骤。
本发明通过接收心尖二腔序列和心尖四腔序列的输入，并对所述 心尖二腔序列和所述心尖四腔序列进行预处理；构建并优化联合学习 网络，所述联合学习网络为三维全卷积神经网络，将预处理后的所述 心尖二腔序列和所述心尖四腔序列输入到所述联合学习网络中，输出 全序列的分割结果和运动估计结果；基于训练好的所述联合学习网络 对全序列进行分割，并对所述分割结果进行后处理；基于二腔室和四 腔室的左心室舒张末期和收缩末期的分割结果，通过Simpson双平面 法计算两个时期的心脏容积，输出射血分数。本发明通过对心脏序列 进行高精度且时域连续的分割，能非常准确的估计心脏解剖结构的精 细变化，从而大大提升了射血分数的估计精确度，且估计误差明显低 于专家的测量误差，具有重大的临床应用价值。
附图说明
图1是本发明基于深度学习的射血分数估计方法的较佳实施例 的流程图；
图2是本发明基于深度学习的射血分数估计方法的较佳实施例 的整个估计过程的示意图；
图3是本发明基于深度学习的射血分数估计方法的较佳实施例 中基于深度学习的联合学习网络的示意图；
图4是本发明基于深度学习的射血分数估计方法的较佳实施例 中在心脏超声序列的分割结果的示意图；
图5为本发明终端的较佳实施例的运行环境示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照 附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的 具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明较佳实施例所述的基于深度学习的射血分数估计方法，如 图1和图2所示，所述基于深度学习的射血分数估计方法包括以下步 骤：
步骤S10、接收心尖二腔序列和心尖四腔序列的输入，并对所述 心尖二腔序列和所述心尖四腔序列进行预处理。
具体地，所述心尖二腔序列和所述心尖四腔序列指的是动态图 像，获取患者的所述心尖二腔序列和所述心尖四腔序列，对所述心尖 二腔序列和所述心尖四腔序列进行预处理，其中，所述预处理包括： 视频帧采样、图像尺寸归一化和图像灰度归一化。
进一步地，所述预处理具体为：等间隔对所述心尖二腔序列和所 述心尖四腔序列进行帧采样，共采样10帧；将所述心尖二腔序列和 所述心尖四腔序列的图像尺寸归一化(是指对图像进行了一系列标准 的处理变换，使之变换为一固定标准形式的过程)为256×256；将 所述心尖二腔序列和所述心尖四腔序列的图像灰度归一化为[-1，1]。
步骤S20、构建并优化联合学习网络，所述联合学习网络为三维 全卷积神经网络，将预处理后的所述心尖二腔序列和所述心尖四腔序 列输入到所述联合学习网络中，输出全序列的分割结果和运动估计结 果。
具体地，联合学习具体指超声心动图全序列心脏轮廓追踪和分 割。其中，如图3所示，使用的联合学习网络是三维全卷积神经网络， 包括五个下采样和上采样层，下采样操作使用最大值池化(最大值池 化是常用的下采样操作，用于对原始输入进行编码，得到高维的表征 信息)，上采样操作使用双线性插值(双线性插值是常用的上采样操 作，将网络学习到的高维信息重建为目标(与输入具有相同尺寸)， 最终得到网络输出结果)；所述联合学习网络输出为分割结果和运动 估计结果，两者共享全卷积网络中的编码器和解码器以实现信息相互 利用，在输出端使用不同的卷积模块作为激活层。
在构建所述联合学习网络后，需要对所述联合学习网络进行优化 处理，如图2所示，所述优化处理包括：第一阶段优化和第二阶段优 化。
其中，第一阶段优化的两个优化目标为：基于图像灰度特征的全 序列心脏追踪和首尾帧心脏分割，第一阶段优化对网络参数进行迭代 优化，共更新迭代10个周期；第一阶段优化的心脏运动估计作用在 原始输入序列上，由于心脏轮廓较模糊，导致运动估计准确性不高， 因此，引入了第二阶段优化的优化目标。
第二阶段优化的两个优化目标为：基于形状特征的全序列心脏分 割和全序列心脏轮廓追踪，第二阶段优化的网络参数更新迭代共20 个周期；其中，使用前向/反向形变场(从首帧到尾帧的运动表述为 前向运动，从尾帧到首帧的运动表述为反向运动，双向形变场包括了 前向和反向)对首尾帧的金标准(金标准是临床专家标注的结果，本 发明是指心室、心肌和心房，金标准也称为标签label或ground truth) 进行空间变换，得到中间帧心脏结构的伪标签(通过网络学习到的心 脏的双向形变场，使用前向的形变场对首帧进行空间变换，可以得到 中间帧的心脏的标签，但该标签并非专家标注，是通过网络预测的形 变场生成的，因此一般称之为伪标签)，并与中间帧的分割结果计算 一致性损失(Diceloss)，使得序列分割结果和运动估计保持很好的 一致性。此外，使用空间变换生成的首尾帧伪标签与金标准计算Dice loss，从而大幅度提升了心脏追踪的性能，保证了时域分割的精度和 连续性。
通过第一阶段的分割模型和追踪模型可以形成中间帧的心脏分 割伪标签，从而利用更多的训练数据提高分割性能；更高的分割性能 可能得到更加精准的心脏形状，从而提高第二阶段心脏形状追踪的性 能；两个阶段不断迭代，相互促进。
步骤S30、基于训练好的所述联合学习网络对全序列进行分割， 并对所述分割结果进行后处理。
具体地，所述后处理包括：二值图像补洞操作和最大连通域选择 操作；通过后处理解决极少数因图像质量较差导致分割结果不符合解 剖结构性质的问题，同时保证了Simpson双平面法的鲁棒计算。
步骤S40、基于二腔室和四腔室的左心室舒张末期和收缩末期的 分割结果，通过Simpson双平面法计算两个时期的心脏容积，输出射 血分数。
进一步地，本发明使用的数据集为大型公开心脏超声数据集 CAMUS，其提供的金标准为舒张末期和收缩末期的心脏结构，包括 心内膜，心肌和心房。
如图2所示，下面针对每个步骤进行详细介绍：
步骤S1、数据预处理。
步骤S1具体包括：
步骤S1.1、原始序列(心尖二腔序列和心尖四腔序列)的帧数从 10-50帧不等，本发明对视频帧进行采样，其中，以舒张末期为第一 帧(t＝1)，收缩末期为最后一帧(t＝T)，等间隔采样10帧，即T＝10；
步骤S1.2、使用双线性插值将所有原始序列的尺寸变换为256× 256，使用最近邻插值将金标准尺寸变换为256×256，两者分别作为 网络的输入和标签，在测试时，将分割结果的尺寸使用最近邻插值变 换到原尺寸；
步骤S1.3、将所有输入图像的灰度值从[0，255]归一化到[-1，1]， 从而加速网络训练。
步骤S2、构建联合学习网络和网络参数初始化。
步骤S2具体包括：
步骤S2.1、搭建联合学习网络，图3为示意图，下表1为网络细 节：
Figure BDA0002662612740000091
表1：联合学习网络的网络细节
表1中，Upsampling方式使用双线性插值，且Maxpooling与 Upsampling均在二维的特征图上进行操作，不改变特征图的深度。编 码器和解码器之间使用跳过连接将相同尺寸的特征图进行合并(在 Upsampling之后)，从而提高模型的预测性能。网络的输入维度为Batch size×1×256×256×10，输出分别为：分割结果，其维度为Batch size×4×256×256×10，其中第二维(通道)表示四种类别，即背景， 心内膜，心肌和心房；运动估计结果，其维度为Batch size×4×256 ×256×10，其中第二维表示在二维平面上x和y方向，以及前向和 反向(时间维度上)的位移场，因此共有4个通道。最后一维有10 个通道，选择前9个通道代表相邻图像间的位移场。
步骤S2.2、使用Python编程语言和Pytorch深度学习框架搭建表 1中的网络结构，并为Outconv2模块设置初始化参数，参数服从高 斯分布N(0，10-5)，该参数初始化有利于模型生成较小的位移场来表 征心脏超声序列相邻帧间的微小运动。其他模块使用Pytorch自定义 的参数初始化。
步骤S3、第一阶段优化和实验设置。
步骤S3具体包括：
步骤S3.1、第一阶段优化的优化目标如图2所示，优化过程利用 了心超序列的心脏灰度信息和首尾帧的金标准y1和yT(y指一个输 入序列x对应的左心室、背景、心肌和心房的金标准(心脏专家的标 注)，上标表示帧的id，即第一帧和最后一帧)。其中，对于有监督的 心脏序列首尾帧分割，该算法结合了交叉熵(Cross Entropy，CE) 和多类别Dice loss，其公式如下：
Figure BDA0002662612740000101
其中，c表示超声序列中的目标类别，包括背景、心内膜、心肌 和心房，t表示帧的序号，
Figure BDA0002662612740000111
和y分别表示预测的目标概率值和金标准。 令输入序列为x，对于心脏序列的无监督追踪，公式如下：
Figure BDA0002662612740000112
其中，
Figure RE-GDA0002735108640000113
表示空间变换，
Figure RE-GDA0002735108640000114
和
Figure RE-GDA0002735108640000115
分别表示前向和反向形变场，γ表 示平滑项的权重，该发明将其设置为10。
第一个阶段的总的优化目标表示为：
Lstage1＝L1+L2； (3)
步骤S3.2、本发明第一阶段网络优化的实验设置如下：
设置batch size为4，训练周期数为10；。训练集总共有450个病 人，即900个训练序列(二腔视图和四腔视图)，总的迭代优化次数 为2250次；实验使用Adam优化器，并设置权重衰减系数0.5×10-4防止过拟合；将Outconv2模块的学习率设置为0.5×10-4，其他模块的学习率设置为10-4。
第一阶段优化训练保证网络能够对心脏结构特征进行有效的提 取，能对序列首尾帧进行分割，同时获得初步的运动估计结果，即前 向和反向形变场；这为第二阶段优化的训练奠定了基础。
步骤S4、第二阶段优化和实验设置。
步骤S4具体包括：
步骤S4.1、第二阶段优化以第一阶段优化为基础，引入了新的优 化目标，如图2所示。首先，通过网络学习得到的前向/反向形变场， 对舒张末期(t＝1)和收缩末期(t＝T)的金标准进行空间变换，得到 前向/反向伪标签；如下为前向形变表达式：
Figure BDA0002662612740000121
同理，可基于yc，T和反向形变场
Figure BDA0002662612740000122
利用空间变换获得反向的伪 标签
Figure BDA0002662612740000123
从而，该算法使用前向/反向的伪标签，定义了基于多类别Dice loss的中间帧的无监督分割目标：
Figure BDA0002662612740000124
其次，为了进一步提高预测的双向形变场的准确性，本发明基于 第一帧/最后一帧的心脏结构，即y1/yT和正向/反向形变得到的
Figure BDA0002662612740000125
定义了如下基于多类别Diceloss的心脏结构追踪目标：
Figure BDA0002662612740000126
那么第二阶段总的优化目标表示为：
Lstage2＝L1+L2+αL3+βL4； (7)
其中，α和β是超参数，本发明可以将其设置为0.2和0.4。
步骤S4.2、本发明第二阶段网络优化的实验设置如下：
设置batch size为4，训练周期数为20，总的迭代优化次数为4500 次。使用Adam优化器，权重衰减系数为0.5×10-4。Outconv2模块 的学习率设置为0.5×10-4，其他模块的学习率为10-4。在第16个周 期开始时，将所有模块的学习率设置为10-5。
第二阶段优化训练使得心脏的分割和追踪性能都实现了明显的 突破，心脏全序列的分割结果与心脏的前向/反向追踪结果保持了很 好的一致性，为心脏的全周期的精确且时域连续性分割提供了保证。
步骤S5、包括两个二值图像后处理操作。在分割后处理操作之 后，需使用最近邻插值将网络分割结果的尺寸转化为原图像尺寸，再 进行补洞操作和最大连通域选择操作。
步骤S5具体包括：
步骤S5.1、分别对每个心脏结构，即心内膜，心肌和心房使用二 值图像补洞操作；
步骤S5.2、对每个心脏结构，选择最大的连通区域。
该分割后处理操作能筛除极少数因图像质量较差而产生的错误 的分割结果，同时输出符合解剖特性的心脏结构。
步骤6、基于Simpson双平面法计算左心室容积，Simpson双平 面法将二腔视图和四腔视图的左心室分成20个切面，计算每个切面 的容积后再积分得到整个心室的容积；并基于左心室舒张末期容积 (EDV)和收缩末期容积(ESV)，通过以下公式计算左心室射血分数(EF)：
Figure BDA0002662612740000141
分割结果展示：图4为本发明在整个心脏超声序列上的分割结果 展示图，结果表明该算法能达到很高的分割精度和时序连续性。对于 CAMUS测试集，本发明达到了最先进的心脏分割精度和射血分数估 计精度。其中，射血分数的估计误差低于心脏专家的组间和组内误差， 具有明显的临床意义。
本发明利用超声心脏序列首尾帧的金标准作为监督信息，并基于 心脏的外观和形状变化对心脏进行显式的时空建模，从而实现整个序 列的精确分割，且分割结果在时间维度具有很好的平滑性；在大型公 开超声心脏数据集CAMUS上获得了最先进的分割精度和射血分数 估计精度，更具体地，该自动算法的射血分数估计精度(皮尔森相关 系数)为0.926，明显超过心脏专家的组内一致性0.896和最先进的 方法0.845。
本发明提供的技术方案的有益效果包括：
(1)本发明基于一个联合学习网络同时对心脏超声序列进行分 割和目标追踪，两个任务彼此约束，互相促进，追踪任务使得模型能 够检测序列中主要目标的运动，即心脏轮廓的精细变化，从而提升整 个序列的心脏结构分割性能，同时，分割任务促进了网络对心脏关键 特征的提取，从而提升了心脏追踪的性能；
(2)在标注数据稀少的背景下，本发明设计了基于半监督方式 的网络训练策略，共两个阶段，第一阶段的网络优化使得模型具有提 取心脏结构特征的能力，即序列首尾帧分割能力，同时为第二阶段提 供了合格的形变场；在第二阶段训练中，心脏结构追踪任务明显提高 了预测的形变场的精确度，并为序列中间帧的分割提供高质量的伪标 签，保证了分割结果的准确性和时域连续性；
(3)本发明能够对心脏序列进行高精度且时域连续的分割，能 非常准确的估计心脏解剖结构的精细变化，从而大大提升了射血分数 的估计精确度，且估计误差明显低于专家的测量误差，具有重大的临 床应用价值。
进一步地，如图5所示，基于上述基于深度学习的射血分数估计 方法，本发明还相应提供了一种终端，所述终端包括处理器10、存 储器20及显示器30。图5仅示出了终端的部分组件，但是应理解的 是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的 组件。
所述存储器20在一些实施例中可以是所述终端的内部存储单 元，例如终端的硬盘或内存。所述存储器20在另一些实施例中也可 以是所述终端的外部存储设备，例如所述终端上配备的插接式硬盘， 智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD) 卡，闪存卡(Flash Card)等。进一步地，所述存储器20还可以既包 括所述终端的内部存储单元也包括外部存储设备。所述存储器20用 于存储安装于所述终端的应用软件及各类数据，例如所述安装终端的 程序代码等。所述存储器20还可以用于暂时地存储已经输出或者将 要输出的数据。在一实施例中，存储器20上存储有基于深度学习的 射血分数估计程序40，该基于深度学习的射血分数估计程序40可被 处理器10所执行，从而实现本申请中基于深度学习的射血分数估计 方法。
所述处理器10在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)，微处理器或其他数据处理芯片，用于运行所 述存储器20中存储的程序代码或处理数据，例如执行所述基于深度 学习的射血分数估计方法等。
所述显示器30在一些实施例中可以是LED显示器、液晶显示器、 触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发 光二极管)触摸器等。所述显示器30用于显示在所述终端的信息以 及用于显示可视化的用户界面。所述终端的部件10-30通过系统总线 相互通信。
在一实施例中，当处理器10执行所述存储器20中基于深度学习 的射血分数估计程序40时实现以下步骤：
接收心尖二腔序列和心尖四腔序列的输入，并对所述心尖二腔序 列和所述心尖四腔序列进行预处理；
构建并优化联合学习网络，所述联合学习网络为三维全卷积神经 网络，将预处理后的所述心尖二腔序列和所述心尖四腔序列输入到所 述联合学习网络中，输出全序列的分割结果和运动估计结果；
基于训练好的所述联合学习网络对全序列进行分割，并对所述分 割结果进行后处理；
基于二腔室和四腔室的左心室舒张末期和收缩末期的分割结果， 通过Simpson双平面法计算两个时期的心脏容积，输出射血分数。
其中，所述预处理包括：视频帧采样、图像尺寸归一化和图像灰 度归一化。
其中，所述优化联合学习网络包括：第一阶段优化和第二阶段优 化。
其中，所述第一阶段优化包括：基于图像灰度特征的全序列心脏 追踪和首尾帧心脏分割；
所述第二阶段优化包括：基于形状特征的全序列心脏分割和全序 列心脏轮廓追踪。
其中，所述后处理包括：二值图像补洞操作和最大连通域选择操 作；
所述基于训练好的所述联合学习网络对全序列进行分割，并对所 述分割结果进行后处理，之后还包括：
通过最近邻插值将所述分割结果的尺寸转化为原图像尺寸。
本发明还提供一种存储介质，其中，所述存储介质存储有基于深 度学习的射血分数估计程序，所述基于深度学习的射血分数估计程序 被处理器执行时实现如上所述的基于深度学习的射血分数估计方法 的步骤。
综上所述，本发明提供一种基于深度学习的射血分数估计方法、 终端及存储介质，所述方法包括：接收心尖二腔序列和心尖四腔序列 的输入，并对所述心尖二腔序列和所述心尖四腔序列进行预处理；构 建并优化联合学习网络，将预处理后的所述心尖二腔序列和所述心尖 四腔序列输入到所述联合学习网络中，输出全序列的分割结果和运动 估计结果；基于训练好的所述联合学习网络对全序列进行分割，并对 所述分割结果进行后处理；基于二腔室和四腔室的左心室舒张末期和 收缩末期的分割结果，通过Simpson双平面法计算两个时期的心脏容 积，输出射血分数。本发明通过对心脏序列进行高精度且时域连续的 分割，能非常准确的估计心脏解剖结构的精细变化，从而大大提升了 射血分数的估计精确度，且估计误差明显低于专家的测量误差，具有 重大的临床应用价值。
当然，本领域普通技术人员可以理解实现上述实施例方法中的全 部或部分流程，是可以通过计算机程序来指令相关硬件(如处理器， 控制器等)来完成，所述的程序可存储于一计算机可读取的存储介质 中，所述程序在执行时可包括如上述各方法实施例的流程。其中所述 的存储介质可为存储器、磁碟、光盘等。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通 技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和 变换都应属于本发明所附权利要求的保护范围。

Claims (4)

1.一种基于深度学习的射血分数估计方法，其特征在于，所述基于深度学习的射血分数估计方法包括：
接收心尖二腔序列和心尖四腔序列的输入，并对所述心尖二腔序列和所述心尖四腔序列进行预处理；
构建并优化联合学习网络，所述联合学习网络为三维全卷积神经网络，将预处理后的所述心尖二腔序列和所述心尖四腔序列输入到所述联合学习网络中，输出全序列的分割结果和运动估计结果；
基于训练好的所述联合学习网络对全序列进行分割，并对所述分割结果进行后处理；
基于二腔室和四腔室的左心室舒张末期和收缩末期的分割结果，通过Simpson双平面法计算两个时期的心脏容积，输出射血分数；
所述优化联合学习网络包括：第一阶段优化和第二阶段优化；
所述第一阶段优化包括：基于图像灰度特征的全序列心脏追踪和首尾帧心脏分割，第一阶段优化对网络参数进行迭代优化；
所述第二阶段优化包括：基于形状特征的全序列心脏分割和全序列心脏轮廓追踪，使用前向/反向形变场对首尾帧的金标准进行空间变换，得到中间帧心脏结构的伪标签，并与中间帧的分割结果计算一致性损失；
通过第一阶段的分割模型和追踪模型形成中间帧的心脏分割伪标签，从而利用更多的训练数据提高分割性能，更高的分割性能得到更加精准的心脏形状，从而提高第二阶段心脏形状追踪的性能，两个阶段不断迭代，相互促进；
所述后处理包括：二值图像补洞操作和最大连通域选择操作；
所述基于训练好的所述联合学习网络对全序列进行分割，并对所述分割结果进行后处理，之后还包括：
通过最近邻插值将所述分割结果的尺寸转化为原图像尺寸。
2.根据权利要求1所述的基于深度学习的射血分数估计方法，其特征在于，所述预处理包括：视频帧采样、图像尺寸归一化和图像灰度归一化。
3.一种终端，其特征在于，所述终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于深度学习的射血分数估计程序，所述基于深度学习的射血分数估计程序被所述处理器执行时实现如权利要求1-2任一项所述的基于深度学习的射血分数估计方法的步骤。
4.一种存储介质，其特征在于，所述存储介质存储有基于深度学习的射血分数估计程序，所述基于深度学习的射血分数估计程序被处理器执行时实现如权利要求1-2任一项所述的基于深度学习的射血分数估计方法的步骤。
CN202010909096.9A 2020-09-02 2020-09-02 一种基于深度学习的射血分数估计方法、终端及存储介质 Active CN112075956B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010909096.9A CN112075956B (zh) 2020-09-02 2020-09-02 一种基于深度学习的射血分数估计方法、终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010909096.9A CN112075956B (zh) 2020-09-02 2020-09-02 一种基于深度学习的射血分数估计方法、终端及存储介质

Publications (2)

Publication Number Publication Date
CN112075956A CN112075956A (zh) 2020-12-15
CN112075956B true CN112075956B (zh) 2022-07-22

Family

ID=73732457

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010909096.9A Active CN112075956B (zh) 2020-09-02 2020-09-02 一种基于深度学习的射血分数估计方法、终端及存储介质

Country Status (1)

Country Link
CN (1) CN112075956B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112419320B (zh) * 2021-01-22 2021-04-27 湖南师范大学 基于sam与多层uda的跨模态心脏分割方法
CN117745726B (zh) * 2024-02-21 2024-06-07 中国医学科学院北京协和医院 基于经食管超声心动图的左心室射血分数计算方法与装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102958452A (zh) * 2011-06-09 2013-03-06 株式会社东芝 超声波诊断装置、医用图像处理装置、医用图像处理方法
CN107563998A (zh) * 2017-08-30 2018-01-09 上海联影医疗科技有限公司 医学图像中心脏图像处理方法
CN108304859A (zh) * 2017-12-29 2018-07-20 达闼科技（北京）有限公司 图像识别方法及云端系统
CN109584254A (zh) * 2019-01-07 2019-04-05 浙江大学 一种基于深层全卷积神经网络的心脏左心室分割方法
CN111012377A (zh) * 2019-12-06 2020-04-17 北京安德医智科技有限公司 超声心动图心脏参数计算以及心肌应变测量方法、装置
CN111466894A (zh) * 2020-04-07 2020-07-31 上海尽星生物科技有限责任公司 一种基于深度学习的射血分数计算方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102958452A (zh) * 2011-06-09 2013-03-06 株式会社东芝 超声波诊断装置、医用图像处理装置、医用图像处理方法
CN107563998A (zh) * 2017-08-30 2018-01-09 上海联影医疗科技有限公司 医学图像中心脏图像处理方法
CN108304859A (zh) * 2017-12-29 2018-07-20 达闼科技（北京）有限公司 图像识别方法及云端系统
CN109584254A (zh) * 2019-01-07 2019-04-05 浙江大学 一种基于深层全卷积神经网络的心脏左心室分割方法
CN111012377A (zh) * 2019-12-06 2020-04-17 北京安德医智科技有限公司 超声心动图心脏参数计算以及心肌应变测量方法、装置
CN111466894A (zh) * 2020-04-07 2020-07-31 上海尽星生物科技有限责任公司 一种基于深度学习的射血分数计算方法及系统

Also Published As

Publication number Publication date
CN112075956A (zh) 2020-12-15

Similar Documents

Publication Publication Date Title
CN110475505B (zh) 利用全卷积网络的自动分割
Chen et al. Deep learning for cardiac image segmentation: a review
US9968257B1 (en) Volumetric quantification of cardiovascular structures from medical imaging
JP6993334B2 (ja) 自動化された心臓ボリュームセグメンテーション
Leung et al. Automated border detection in three-dimensional echocardiography: principles and promises
US8594398B2 (en) Systems and methods for cardiac view recognition and disease recognition
Mishra et al. A GA based approach for boundary detection of left ventricle with echocardiographic image sequences
Li et al. MV-RAN: Multiview recurrent aggregation network for echocardiographic sequences segmentation and full cardiac cycle analysis
US10321892B2 (en) Computerized characterization of cardiac motion in medical diagnostic ultrasound
Xia et al. Super-resolution of cardiac MR cine imaging using conditional GANs and unsupervised transfer learning
CN112075956B (zh) 一种基于深度学习的射血分数估计方法、终端及存储介质
US20230394670A1 (en) Anatomically-informed deep learning on contrast-enhanced cardiac mri for scar segmentation and clinical feature extraction
CN112634265B (zh) 基于dnn的胰腺全自动分割模型的构建、分割方法及系统
CN112336381B (zh) 一种基于深度学习的超声心动图收缩/舒张末期帧自动识别方法
CN113827263A (zh) 灌注影像处理方法、系统、电子设备及存储介质
Bernier et al. Graph cut-based method for segmenting the left ventricle from MRI or echocardiographic images
Li et al. Direct estimation of left ventricular ejection fraction via a cardiac cycle feature learning architecture
CN113689441A (zh) 一种基于DeepLabV3网络的左心室超声动态分割方法
WO2021152603A1 (en) System and method for classification of strain echocardiograms
Abramson et al. Anatomically-informed deep learning on contrast-enhanced cardiac MRI for scar segmentation and clinical feature extraction
Chernyshov et al. Automated Segmentation and Quantification of the Right Ventricle in 2-D Echocardiography
Lakshmi Cardiac function review by machine learning approaches
Qiao et al. Cardiac Image Segmentation Based on Improved U-Net
Wan et al. A Heatmap Regression Approach for Right Ventricle Anatomical Landmarks Localization on Echocardiography
US20240221156A1 (en) Methods and systems for determining hemodynamic parameters

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant