CN109192305B - 一种基于深度循环神经网络的心功能自动分析方法 - Google Patents

一种基于深度循环神经网络的心功能自动分析方法 Download PDF

Info

Publication number
CN109192305B
CN109192305B CN201811063328.2A CN201811063328A CN109192305B CN 109192305 B CN109192305 B CN 109192305B CN 201811063328 A CN201811063328 A CN 201811063328A CN 109192305 B CN109192305 B CN 109192305B
Authority
CN
China
Prior art keywords
neural network
parameters
recurrent neural
heart
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811063328.2A
Other languages
English (en)
Other versions
CN109192305A (zh
Inventor
肖晶晶
尚永宁
李梦
种银保
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Second Affiliated Hospital Army Medical University
Original Assignee
Second Affiliated Hospital Army Medical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Second Affiliated Hospital Army Medical University filed Critical Second Affiliated Hospital Army Medical University
Priority to CN201811063328.2A priority Critical patent/CN109192305B/zh
Publication of CN109192305A publication Critical patent/CN109192305A/zh
Application granted granted Critical
Publication of CN109192305B publication Critical patent/CN109192305B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Abstract

本发明涉及一种基于深度循环神经网络的心功能自动分析方法，属于医学图像分析技术领域。该方法包括以下步骤：S1：获取心脏核磁电影，并对其进行预处理；S2：构建多任务学习的循环神经网络模型，提取底层通用影像特征；S3：将提取到的底层通用影像特征输入到两层的长短记忆循环神经网络中，构建时空的依赖关系；S4：构建目标损失函数；S5：根据步骤S4中构建的损失函数对循环神经网络的参数，利用随机梯度下降法进行训练优化；S6：当循环神经网络模型完成训练后，将经过预处理后的心脏核磁电影输入到训练好的循环神经网络中，测量出心功能分析中的十三个参数。本发明无需人工勾画心室结构，自动完成端到端的心功能分析。

Description

一种基于深度循环神经网络的心功能自动分析方法
技术领域
本发明属于医学图像分析技术领域，涉及一种端到端的自动心功能评估的方法与系统
背景技术
精确分析患者的心功能状态，并尽早的、准确的诊断出心脏疾病，对提高该病治疗效果，降低医疗成本有着重大意义。在众多影像学手段中，心脏磁共振(Cardiac MagneticResonance,CMR)的软组织对比度最高，其通过多参数、多平面、多序列成像可同时对心脏的解剖结构、运动功能和组织特征学改变等进行“一站式”观察，从而成为心功能评价的金标准。虽然CMR检查在心脏疾病诊断、危险分层及预后判断上有独特价值，但也存在以下不足：1)CMR序列多、融合难，数据处理非常耗时；2)临床高水平的影像诊断医师缺口大。这两个因素严重制约了其临床应用。近年来，影像检查积累的海量数据为智慧医疗提供了可能。借用现代人工智能新技术，将专业医疗知识、技能、经验利用算法进行学习，可精准智能的评价心脏形态结构、功能、组织特征学改变。
发明内容
有鉴于此，本发明的目的在于提供一种基于深度循环神经网络的心功能自动分析方法，将深度卷积神经网络与循环神经网络相结合，无需人工分割左心室心肌内外膜等解剖结构，直接完成心室期相、心室容积、心肌面积、心室内外膜轴向尺寸等13个参数的估测，实现端到端的心功能分析。
为达到上述目的，本发明提供如下技术方案：
一种基于深度循环神经网络的心功能自动分析方法，具体包括以下步骤：
S1：获取心脏核磁电影，并对其进行预处理；
S2：根据心功能分析的指标要求构建多任务学习的循环神经网络模型，并利用所述循环神经网络模型提取底层通用影像特征；
S3：将提取到的底层通用影像特征输入到两层的长短记忆循环神经网络中，从而构建时空的依赖关系，并更好的利用心脏运动信息；
S4：根据参数之间的依赖关系，构建目标损失函数；
S5：根据步骤S4中构建的损失函数对循环神经网络的参数，利用随机梯度下降法进行训练优化；
S6：当循环神经网络模型完成训练后，将经过预处理后的心脏核磁电影输入到训练好的循环神经网络中，最终完成心功能分析中所需要的十三个参数的自动测量。
进一步，步骤S1中，所述的心脏核磁电影的预处理过程为：
1)系统将采集到的影像里心室与心房的交点进行定位；
2)根据心室与心房交点的位置，将图像进行旋转对齐，使得心脏交点的连线相对于图像坐标系垂直于水平轴；
3)当心脏位置相对于图像坐标系对齐后，系统将旋转对准后的心脏区域进行裁剪，缩放成80*80的图像大小。
进一步，步骤S2中，所述的循环神经网络模型利用迁移学习的方法，将ImageNet上已经训练好的VGG深度模型的前三层转移到本网络结构中，作为共享神经网络的前三层，提取底层通用影像特征。
进一步，步骤S3中，所述将提取到的底层通用影像特征输入到两层的长短记忆循环神经网络中，具体步骤为：
1)通过迁移VGG网络后的卷积神经网络第一层，其中含有64个11*11大小的卷积核；
2)模型提取的第一层特征输入到第二层的神经网络中，其中含有256个5*5的卷积核；
3)将提取的第二层影像特征输入到第三层，其中含有235个3*3大小的卷积核；
4)提取的第三层卷积特征进行空间维数变换，变为一维特征；
5)将拉伸为一维的特征输入到循环神经网络。
进一步，步骤S4中，所述的目标损失函数分为两部分，具体为：
1)分类问题：心脏运动期相的判断；
2)回归问题：心脏运动参数的预测。
进一步，所述心脏运动期相判断的损失函数为：
Figure BDA0001797673850000021
其中，N代表的事样本数，pi(c)代表的i样本对应期相c的值，
Figure BDA0001797673850000023
代表pi(c)的预测值。
进一步，所述心脏运动参数的损失函数为：
Figure BDA0001797673850000022
其中，心肌壁厚的6个参数及心肌面积1个参数具有强相关性，记为tmyo，而心腔内径的3个参数和心腔面积的1个参数具有强相关性，记为tcav；
Figure BDA0001797673850000031
与
Figure BDA0001797673850000032
分别代表tmyo和tcav的预测值，λ1与λ2为调和参数，L(.)是用于计算误差的最小二乘法。
进一步，所述目标损失函数表示为：
Lall＝h1Lphase+h2Lmotion
其中，h1与h2是用于平衡损失的调和参数。
进一步，所述步骤S5中，在训练优化多任务学习的循环神经网络的参数时，每一幅影像将用13个特征参数加以描述，并将一个电影序列(含20帧影像)的特征参数输入到循环神经网络中。
进一步，步骤S5中，所述的随机梯度下降法主要对循环神经网络的参数进行训练优化，前三层迁移的VGG的模型参数保持不变。
本发明的有益效果在于：本发明提出了一种多任务学习的深度循环卷积神经网络，无需人工勾画心室结构，自动完成端到端的心功能分析，对提高临床诊断时效性，降低主观因素导致的误诊率，实现不同病人的精准智能诊疗有重大意义。
附图说明
为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：
图1为心功能分析系统的流程图；
图2为心脏核磁共振电影的预处理流程图；
图3为心功能分析网络的结构图。
具体实施方式
下面将结合附图，对本发明的优选实施例进行详细的描述。
本发明提供一种基于深度循环神经网络的心功能自动分析方法，根据心功能分析的任务进行分解，构建了深度循环网络的结构，并利用制作的数据集对网络参数进行训练，然后将训练好的神经网络应用在待分析的心脏核磁电影中，从而完成心室期相、心室容积、心肌面积、心室内外膜轴向尺寸等13个参数的估测，实现端到端的心功能分析。
图1为心功能分析系统的流程图，如图1所示，本发明所述的心功能自动分析方法具体包括以下步骤：
步骤一：获取心脏左心室短轴的核磁共振电影，并对其进行旋转对齐、裁剪缩放等图像预处理；
步骤二：对构建的深度循环神经网络模型进行参数训练，利用随机梯度下降法进行优化；
步骤三：将预处理好的图像输入到训练好的深度循环神经网络中，并且预测影像序列中每个时刻与心功能相关的十三个特征参数。
图2为心脏核磁共振电影的预处理流程图，如图2所示，所述步骤一具体为：
(1)系统将从核磁共振上获取心脏左室短轴的电影序列(20帧影像)；
(2)在核磁共振短轴电影序列中，操作技师将定位心室与心房的交点；
(3)根据心室心房交点的位置，将图像进行旋转对齐，使得心脏交点的连线相对于图像坐标系垂直于水平轴；
(4)系统将旋转对准后的心脏区域进行裁剪，缩放成80*80的图像大小；
图3为心功能分析网络的结构图，如图3所示，所述步骤二具体为：
1)对构建的深度循环神经网络模型进行参数训练具体为：
(1)离线训练时，裁剪后的影像序列(每次5个序列)输入到循环神经网络中首先通过迁移VGG网络后的卷积神经网络第一层，其中含有64个11*11大小的卷积核；
(2)模型提取的第一层特征输入到第二层的神经网络中，其中含有256个5*5的卷积核；即第一层循环神经网络输出的特征输入到含有13个参数输出的第二层循环神经网络；
(3)将提取的第二层影像特征输入到第三层，其中含有235个3*3大小的卷积核；
(4)提取的第三层卷积特征进行空间维数变换，变为一维特征；
(5)将拉伸为一维的特征输入到循环神经网络中，其中含有64个处理单元；
2)利用随机梯度下降法进行优化具体为：
(1)计算用于整体优化的目标损失函数
每一帧的图像输出将于真实的心功能参数进行对比，其中损失函数分为两部分进行计算，其中一部分来自心脏运动期相的判断(分类问题)，另外一部分为心脏运动参数的预测(回归问题)。其中，心脏运动的期相(舒张期、收缩期)判断的损失函数设计为：
Figure BDA0001797673850000041
其中，N代表的事样本数，pi(c)代表的是i样本对应期相c的值，而
Figure BDA0001797673850000044
是预测值。
值得注意的是，在心功能的11个运动参数里面，其中心肌壁厚的6个参数及心肌面积1个参数具有强相关性，记为tmyo，而心腔内径的3个参数和心腔面积的1个参数具有强相关性，记为tcav。心脏的运动参数损失函数设计为：
Figure BDA0001797673850000042
其中，λ1与λ2是调和参数，L(.)是用于计算误差的最小二乘法，,
Figure BDA0001797673850000043
分别代表预测值。最后，用于整体优化的目标损失函数可以写为：
Lall＝h1Lphase+h2Lmotion
其中，h1与h2是用于平衡损失的调和参数。
(2)计算出的函数损失，将利用随机下降法进行反向传播对模型的参数进行优化。
所述步骤三具体为：
每一个预处理后的心脏电影序列将经过训练好的深度循环神经网络，网络将输出每帧对应的心功能参数，其中包含心室期相、心室容积、心肌面积、心室内外膜轴向尺寸等13个参数的估测。
最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。

Claims (10)

1.一种基于深度循环神经网络的心功能自动分析方法，其特征在于，该方法具体包括以下步骤：
S1：获取心脏核磁电影，并对其进行预处理；
S2：根据心功能分析的指标要求构建多任务学习的循环神经网络，并利用所述循环神经网络提取底层通用影像特征；
S3：将提取到的底层通用影像特征输入到两层的长短记忆循环神经网络中，从而构建时空的依赖关系；
S4：根据参数之间的依赖关系，构建目标损失函数；
S5：根据步骤S4中构建的目标损失函数对循环神经网络的参数，利用随机梯度下降法进行训练优化；
S6：当循环神经网络完成训练后，将经过预处理后的心脏核磁电影输入到训练好的循环神经网络中，最终完成心功能分析中所需要的十三个参数的自动测量。
2.根据权利要求1所述的一种基于深度循环神经网络的心功能自动分析方法，其特征在于，步骤S1中，所述的心脏核磁电影的预处理过程为：
1)系统将采集到的影像里心室与心房的交点进行定位；
2)根据心室与心房交点的位置，将图像进行旋转对齐，使得心脏交点的连线相对于图像坐标系垂直于水平轴；
3)当心脏位置相对于图像坐标系对齐后，系统将旋转对准后的心脏区域进行裁剪，缩放成80*80的图像大小。
3.根据权利要求1所述的一种基于深度循环神经网络的心功能自动分析方法，其特征在于，步骤S2中，所述的循环神经网络利用迁移学习的方法，将ImageNet上已经训练好的VGG深度模型的前三层转移到本网络结构中，作为共享神经网络的前三层，提取底层通用影像特征。
4.根据权利要求1所述的一种基于深度循环神经网络的心功能自动分析方法，其特征在于，步骤S3中，所述将提取到的底层通用影像特征输入到两层的长短记忆循环神经网络中，具体步骤为：
1)通过迁移VGG网络后的卷积神经网络第一层；
2)模型提取的第一层特征输入到第二层的神经网络中；
3)将提取的第二层影像特征输入到第三层；
4)提取的第三层卷积特征进行空间维数变换，变为一维特征；
5)将拉伸为一维的特征输入到循环神经网络。
5.根据权利要求1所述的一种基于深度循环神经网络的心功能自动分析方法，其特征在于，步骤S4中，所述的目标损失函数分为两部分，具体为：
1)分类问题：心脏运动期相的判断；
2)回归问题：心脏运动参数的预测。
6.根据权利要求5所述的一种基于深度循环神经网络的心功能自动分析方法，其特征在于，所述心脏运动期相判断的损失函数为：
Figure FDA0002660995670000021
其中，N代表的事样本数，pi(c)代表的i样本对应期相c的值，
Figure FDA0002660995670000025
代表pi(c)的预测值。
7.根据权利要求6所述的一种基于深度循环神经网络的心功能自动分析方法，其特征在于，所述心脏运动参数的损失函数为：
Figure FDA0002660995670000022
其中，心肌壁厚的6个参数及心肌面积1个参数具有强相关性，记为tmyo，而心腔内径的3个参数和心腔面积的1个参数具有强相关性，记为tcav；
Figure FDA0002660995670000023
与
Figure FDA0002660995670000024
分别代表tmyo和tcav的预测值，λ1与λ2为调和参数，L(.)是用于计算误差的最小二乘法。
8.根据权利要求7所述的一种基于深度循环神经网络的心功能自动分析方法，其特征在于，所述目标损失函数表示为：
Lall＝h1Lphase+h2Lmotion
其中，h1与h2是用于平衡损失的调和参数。
9.根据权利要求1所述的一种基于深度循环神经网络的心功能自动分析方法，其特征在于，所述步骤S5中，在训练优化多任务学习的循环神经网络的参数时，每一幅影像将用13个特征参数加以描述，并将一个电影序列的特征参数输入到循环神经网络中。
10.根据权利要求1所述的一种基于深度循环神经网络的心功能自动分析方法，其特征在于，步骤S5中，所述的随机梯度下降法主要对循环神经网络的参数进行训练优化，前三层迁移的VGG的模型参数保持不变。
CN201811063328.2A 2018-09-12 2018-09-12 一种基于深度循环神经网络的心功能自动分析方法 Active CN109192305B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811063328.2A CN109192305B (zh) 2018-09-12 2018-09-12 一种基于深度循环神经网络的心功能自动分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811063328.2A CN109192305B (zh) 2018-09-12 2018-09-12 一种基于深度循环神经网络的心功能自动分析方法

Publications (2)

Publication Number Publication Date
CN109192305A CN109192305A (zh) 2019-01-11
CN109192305B true CN109192305B (zh) 2020-11-20

Family

ID=64910631

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811063328.2A Active CN109192305B (zh) 2018-09-12 2018-09-12 一种基于深度循环神经网络的心功能自动分析方法

Country Status (1)

Country Link
CN (1) CN109192305B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110175996A (zh) * 2019-05-29 2019-08-27 中国人民解放军陆军军医大学第二附属医院 一种基于cmr双向循环网络的心衰自动分级方法
CN110420019B (zh) * 2019-07-29 2021-04-20 西安电子科技大学 一种心冲击图信号的深度回归心率估计方法
US11348230B2 (en) * 2019-10-25 2022-05-31 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for generating and tracking shapes of a target
CN111553895B (zh) * 2020-04-24 2022-08-02 中国人民解放军陆军军医大学第二附属医院 基于多尺度细粒度的磁共振左心房分割方法
CN111709485B (zh) * 2020-06-19 2023-10-31 腾讯科技（深圳）有限公司 医学影像处理方法、装置和计算机设备
CN114581425B (zh) * 2022-03-10 2022-11-01 四川大学 一种基于深度神经网络的心肌段缺损图像处理方法
CN114898882B (zh) * 2022-06-21 2023-04-18 四川大学华西医院 基于超声对右心功能进行评估的方法和系统
CN115994919B (zh) * 2023-03-23 2023-05-30 北京大学第三医院（北京大学第三临床医学院） 一种基于深度学习的膀胱壁自动分割工具和方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106096632A (zh) * 2016-06-02 2016-11-09 哈尔滨工业大学 基于深度学习和mri图像的心室功能指标预测方法
CN108280827A (zh) * 2018-01-24 2018-07-13 北京红云视界技术有限公司 基于深度学习的冠状动脉病变自动检测方法、系统和设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9700219B2 (en) * 2013-10-17 2017-07-11 Siemens Healthcare Gmbh Method and system for machine learning based assessment of fractional flow reserve

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106096632A (zh) * 2016-06-02 2016-11-09 哈尔滨工业大学 基于深度学习和mri图像的心室功能指标预测方法
CN108280827A (zh) * 2018-01-24 2018-07-13 北京红云视界技术有限公司 基于深度学习的冠状动脉病变自动检测方法、系统和设备

Also Published As

Publication number Publication date
CN109192305A (zh) 2019-01-11

Similar Documents

Publication Publication Date Title
CN109192305B (zh) 一种基于深度循环神经网络的心功能自动分析方法
US11024025B2 (en) Automatic quantification of cardiac MRI for hypertrophic cardiomyopathy
CN108603922A (zh) 自动心脏体积分割
CN110400298B (zh) 心脏临床指标的检测方法、装置、设备及介质
CN110461240A (zh) 用于超声分析的系统、方法和计算机可访问介质
CN110599499B (zh) 基于多路卷积神经网络的mri图像心脏结构分割方法
Nurmaini et al. Accurate detection of septal defects with fetal ultrasonography images using deep learning-based multiclass instance segmentation
He et al. Automatic segmentation and quantification of epicardial adipose tissue from coronary computed tomography angiography
CN110363772B (zh) 基于对抗网络的心脏mri分割方法及系统
JP7325411B2 (ja) 心エコー図を分析する方法及び装置
Upendra et al. An adversarial network architecture using 2D U-net models for segmentation of left ventricle from cine cardiac MRI
Badano et al. Artificial intelligence and cardiovascular imaging: A win-win combination.
Zhu et al. A new method incorporating deep learning with shape priors for left ventricular segmentation in myocardial perfusion SPECT images
US11521323B2 (en) Systems and methods for generating bullseye plots
CN112164447B (zh) 图像处理方法、装置、设备及存储介质
CN110739050B (zh) 一种左心室全参数及置信度的量化方法
CN114581425B (zh) 一种基于深度神经网络的心肌段缺损图像处理方法
Mehta et al. Heart Disease Diagnosis using Deep Learning
CN112734770B (zh) 一种基于多层级联的心脏核磁影像多序列融合分割方法
Ragnarsdottir et al. Interpretable prediction of pulmonary hypertension in newborns using echocardiograms
Wu et al. Automated multi-channel segmentation for the 4D myocardial velocity mapping cardiac MR
Xiao et al. Learning Motion Based Auxiliary Task for Cardiomyopathy Recognition with Cardiac Magnetic Resonance Images
Moreta-Martínez et al. Multi-cavity heart segmentation in non-contrast non-ECG gated CT scans with F-CNN
Ramya et al. Left Ventricle Segmentation in Cardiac MR Images Using Deep Neural Network Models
Bui et al. DeepHeartCT: A fully automatic artificial intelligence hybrid framework based on convolutional neural network and multi-atlas segmentation for multi-structure cardiac computed tomography angiography image segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant