CN110175996A - 一种基于cmr双向循环网络的心衰自动分级方法 - Google Patents

一种基于cmr双向循环网络的心衰自动分级方法 Download PDF

Info

Publication number
CN110175996A
CN110175996A CN201910457965.6A CN201910457965A CN110175996A CN 110175996 A CN110175996 A CN 110175996A CN 201910457965 A CN201910457965 A CN 201910457965A CN 110175996 A CN110175996 A CN 110175996A
Authority
CN
China
Prior art keywords
heart failure
network
sequence
cmr
bidirectional circulating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910457965.6A
Other languages
English (en)
Inventor
肖晶晶
赵骏
陈佳
方良瑞
崔春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Second Affiliated Hospital Army Medical University
Original Assignee
Second Affiliated Hospital Army Medical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Second Affiliated Hospital Army Medical University filed Critical Second Affiliated Hospital Army Medical University
Priority to CN201910457965.6A priority Critical patent/CN110175996A/zh
Publication of CN110175996A publication Critical patent/CN110175996A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于CMR双向循环网络的心衰自动分级方法，属于图像分析技术领域，步骤：S1：获取心脏左心室短轴的核磁共振电影并预处理；S2：预处理后的图像序列将分别以顺序及逆序的方式同时输入到双向循环判断神经网络中进行训练及判断；S3：对双向循环判断神经网络模型进行参数训练，其中训练集的制作依据临床诊断出的I/II/III/IV四个心衰等级，将I和II级心衰归为轻度心衰，III与IV级归为重度心衰；S4：将预处理好的图像序列输入到训练好的双向循环判断神经网络中，并且根据提取的运动影像特征实现心衰的轻重分级。本发明通过对心衰进行自动分级，对提高临床诊断时效性，降低主观因素导致的误诊率。

Description

一种基于CMR双向循环网络的心衰自动分级方法
技术领域
本发明属于图像分析技术领域，涉及一种基于CMR双向循环网络的心衰自动分级方法。
背景技术
在众多影像学手段中，心脏磁共振(Cardiac Magnetic Resonance,CMR)的软组织对比度最高，其通过多参数、多平面、多序列成像可同时对心脏的解剖结构、运动功能和组织特征学改变等进行“一站式”观察。值得注意的是，心脏病多为进行性疾病，其在形成和发展过程中提供了多个可用于诊断和治疗的窗口期。精确对心脏病患者进行心衰分级，对提高该病治疗效果，降低医疗成本有着重大意义。目前，心衰分级的客观检查手段如心电图、负荷试验、X射线、超声心动图等来分析心脏病变的严重程度。
发明内容
有鉴于此，本发明的目的在于利用人工智能技术分析海量的医学影像数据，通过CMR对心脏进行一站式观察，精准智能完成心衰轻重的两个级别分级。由于心衰患者的心功能会发生改变，因此本发明提出双向循环深度判断网络，通过分析心脏正反向运动的特点，利用CMR的短轴序列完成端到端的心衰轻重分级。该技术的突破对提高临床诊断时效性，降低主观因素导致的误诊率，实现不同病人的精准智能诊疗有重要意义。
为达到上述目的，本发明提供如下技术方案：
一种基于CMR双向循环网络的心衰自动分级方法，包括以下步骤：
S1：获取心脏左心室短轴的核磁共振电影并预处理；
S2：预处理后的图像序列将分别以顺序及逆序的方式同时输入到双向循环判断神经网络中进行训练及判断；
S3：对双向循环判断神经网络模型进行参数训练，其中训练集的制作依据临床诊断出的I/II/III/IV四个心衰等级，将I和II级心衰归为轻度心衰，III与IV级归为重度心衰；
S4：将预处理好的图像序列输入到训练好的双向循环判断神经网络中，并且根据提取的运动影像特征实现心衰的轻重分级。
进一步，步骤S1中，所述核磁共振电影，每个电影序列有25帧图像，并对图像尺寸进行归一化为100*100像素。
进一步，步骤S2中所述双向循环判断神经网络包括正向运动判断网络和反向运动判断网络，正向运动判断网络接收顺序输入的心脏短轴电影，正向运动判断网络中含有二维的卷积神经网络用来提取图像中的空间信息，其提取的特征将输入到长短记忆LSTM网络中，用以建立心脏正向运动的时间关系；反向运动判断网络将接收逆序输入的心脏短轴电影，反向运动判断网络也是由卷积神经网络和长短轴记忆网络组成，但为了加大正向运动和反向运动时提取特征的组间距离，其结构少两层卷积神经网络。
进一步，步骤S3中，将每帧图像裁剪到100*100，将含有25帧图像的左室短轴电影以及对应的二分类标签提供给双向循环网络，二分类标签即轻度心衰和重度心衰；其中正向运动分析网络的输入为正向顺序，即输入顺序为第1,2,3…，25帧，反向运动分析网络的输入顺序为逆向，即输入顺序为第25,24,23，…,1帧，最后两支网络所提取的特征将融合到一起，利用sigmoid作为最后输出层的激活函数，进行心衰轻重程度的自动分级。
进一步，步骤S3中，使用训练集对双向循环判断网络参数利用随机梯度下降法进行优化。
进一步，步骤S4中，将经过归一化处理后的心脏核磁电影输入到训练好的双向循环判断神经网络中，对轻度心衰和重度心衰分别给出两个预测值，其中预测值大的那一类即为最终判断结果。
本发明的有益效果在于：该技术通过对心衰进行自动分级，对提高临床诊断时效性，降低主观因素导致的误诊率，对实现不同病人的精准智能诊疗有重大意义。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
图1为本发明所述双向循环判断神经网络结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
如图1所示，一种基于CMR双向循环网络的心衰自动分级方法，包括以下步骤：
S1：获取心脏左心室短轴的核磁共振电影并预处理；
S2：预处理后的图像序列将分别以顺序及逆序的方式同时输入到双向循环判断神经网络中进行训练及判断；
S3：对双向循环判断神经网络模型进行参数训练，其中训练集的制作依据临床诊断出的I/II/III/IV四个心衰等级，将I和II级心衰归为轻度心衰，III与IV级归为重度心衰；
S4：将预处理好的图像序列输入到训练好的双向循环判断神经网络中，并且根据提取的运动影像特征实现心衰的轻重分级。
步骤S1中，所述核磁共振电影，每个电影序列有25帧图像，并对图像尺寸进行归一化为100*100像素。
步骤S2中所述双向循环判断神经网络包括正向运动判断网络和反向运动判断网络，正向运动判断网络接收顺序输入的心脏短轴电影，正向运动判断网络中含有二维的卷积神经网络用来提取图像中的空间信息，其提取的特征将输入到长短记忆LSTM网络中，用以建立心脏正向运动的时间关系；反向运动判断网络将接收逆序输入的心脏短轴电影，反向运动判断网络也是由卷积神经网络和长短轴记忆网络组成，但为了加大正向运动和反向运动时提取特征的组间距离，其结构少两层卷积神经网络。
步骤S3中，将每帧图像裁剪到100*100，将含有25帧图像的左室短轴电影以及对应的二分类标签提供给双向循环网络，二分类标签即轻度心衰和重度心衰；其中正向运动分析网络的输入为正向顺序，即输入顺序为第1,2,3…，25帧，反向运动分析网络的输入顺序为逆向，即输入顺序为第25,24,23，…,1帧，最后两支网络所提取的特征将融合到一起，利用sigmoid作为最后输出层的激活函数，进行心衰轻重程度的自动分级。
步骤S3中，使用训练集对双向循环判断网络参数利用随机梯度下降法进行优化；
步骤S4中，将经过归一化处理后的心脏核磁电影(自动裁剪到100*100的尺寸)输入到训练好的双向循环判断神经网络中，对轻度心衰和重度心衰分别给出两个预测值，其中预测值大的那一类即为最终判断结果。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (6)

1.一种基于CMR双向循环网络的心衰自动分级方法，其特征在于：包括以下步骤：
S1：获取心脏左心室短轴的核磁共振电影并预处理；
S2：预处理后的图像序列将分别以顺序及逆序的方式同时输入到双向循环判断神经网络中进行训练及判断；
S3：对双向循环判断神经网络模型进行参数训练，其中训练集的制作依据临床诊断出的I/II/III/IV四个心衰等级，将I和II级心衰归为轻度心衰，III与IV级归为重度心衰；
S4：将预处理好的图像序列输入到训练好的双向循环判断神经网络中，并且根据提取的运动影像特征实现心衰的轻重分级。
2.根据权利要求1所述的基于CMR双向循环网络的心衰自动分级方法，其特征在于：步骤S1中，所述核磁共振电影，每个电影序列有25帧图像，并对图像尺寸进行归一化为100*100像素。
3.根据权利要求1所述的基于CMR双向循环网络的心衰自动分级方法，其特征在于：步骤S2中所述双向循环判断神经网络包括正向运动判断网络和反向运动判断网络，正向运动判断网络接收顺序输入的心脏短轴电影，正向运动判断网络中含有二维的卷积神经网络用来提取图像中的空间信息，其提取的特征将输入到长短记忆LSTM网络中，用以建立心脏正向运动的时间关系；反向运动判断网络将接收逆序输入的心脏短轴电影，反向运动判断网络也是由卷积神经网络和长短轴记忆网络组成，但为了加大正向运动和反向运动时提取特征的组间距离，其结构少两层卷积神经网络。
4.根据权利要求1所述的基于CMR双向循环网络的心衰自动分级方法，其特征在于：步骤S3中，将每帧图像裁剪到100*100，将含有25帧图像的左室短轴电影以及对应的二分类标签提供给双向循环网络，二分类标签即轻度心衰和重度心衰；其中正向运动分析网络的输入为正向顺序，即输入顺序为第1,2,3…，25帧，反向运动分析网络的输入顺序为逆向，即输入顺序为第25,24,23，…,1帧，最后两支网络所提取的特征将融合到一起，利用sigmoid作为最后输出层的激活函数，进行心衰轻重程度的自动分级。
5.根据权利要求4所述的基于CMR双向循环网络的心衰自动分级方法，其特征在于：步骤S3中，使用训练集对双向循环判断网络参数利用随机梯度下降法进行优化。
6.根据权利要求1所述的基于CMR双向循环网络的心衰自动分级方法，其特征在于：步骤S4中，将经过归一化处理后的心脏核磁电影输入到训练好的双向循环判断神经网络中，对轻度心衰和重度心衰分别给出两个预测值，其中预测值大的那一类即为最终判断结果。
CN201910457965.6A 2019-05-29 2019-05-29 一种基于cmr双向循环网络的心衰自动分级方法 Pending CN110175996A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910457965.6A CN110175996A (zh) 2019-05-29 2019-05-29 一种基于cmr双向循环网络的心衰自动分级方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910457965.6A CN110175996A (zh) 2019-05-29 2019-05-29 一种基于cmr双向循环网络的心衰自动分级方法

Publications (1)

Publication Number Publication Date
CN110175996A true CN110175996A (zh) 2019-08-27

Family

ID=67696089

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910457965.6A Pending CN110175996A (zh) 2019-05-29 2019-05-29 一种基于cmr双向循环网络的心衰自动分级方法

Country Status (1)

Country Link
CN (1) CN110175996A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110881969A (zh) * 2019-11-27 2020-03-17 太原理工大学 一种基于Stacking集成学习的心力衰竭预警方法
CN111048184A (zh) * 2019-12-24 2020-04-21 江苏大学 一种针对心衰患者ct图像建模及分级系统
CN112259227A (zh) * 2020-10-29 2021-01-22 中国医学科学院北京协和医院 一种评估sle病人心肌受累的量化指标的计算方法和系统
CN113171104A (zh) * 2021-04-25 2021-07-27 安徽十锎信息科技有限公司 基于深度学习的充血性心力衰竭自动诊断方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160078622A1 (en) * 2014-09-16 2016-03-17 National Taiwan University Method and wearable apparatus for disease diagnosis
CN106126492A (zh) * 2016-06-07 2016-11-16 北京高地信息技术有限公司 基于双向lstm神经网络的语句识别方法及装置
CN107480637A (zh) * 2017-08-15 2017-12-15 重庆大学 基于心音特征的心衰分期方法
US20180365560A1 (en) * 2017-06-19 2018-12-20 International Business Machines Corporation Context aware sensitive information detection
CN109192305A (zh) * 2018-09-12 2019-01-11 中国人民解放军陆军军医大学第二附属医院 一种基于深度循环神经网络的心功能自动分析方法
CN109754852A (zh) * 2019-01-08 2019-05-14 中南大学 基于电子病历的心血管疾病风险预测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160078622A1 (en) * 2014-09-16 2016-03-17 National Taiwan University Method and wearable apparatus for disease diagnosis
CN106126492A (zh) * 2016-06-07 2016-11-16 北京高地信息技术有限公司 基于双向lstm神经网络的语句识别方法及装置
US20180365560A1 (en) * 2017-06-19 2018-12-20 International Business Machines Corporation Context aware sensitive information detection
CN107480637A (zh) * 2017-08-15 2017-12-15 重庆大学 基于心音特征的心衰分期方法
CN109192305A (zh) * 2018-09-12 2019-01-11 中国人民解放军陆军军医大学第二附属医院 一种基于深度循环神经网络的心功能自动分析方法
CN109754852A (zh) * 2019-01-08 2019-05-14 中南大学 基于电子病历的心血管疾病风险预测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
OZAL YILDIRIM: "A novel wavelet sequence based on deep bidirectional LSTM network model for ECG signal classification", 《COMPUTERS IN BIOLOGY AND MEDICINE》 *
ZHAOHAN XIONG等: "Fully Automatic Left Atrium Segmentation From Late Gadolinium Enhanced Magnetic Resonance Imaging Using a Dual Fully Convolutional Neural Network", 《IEEE TRANSACTIONS ON MEDICAL IMAGING》 *
张国豪等: "采用CNN和Bidirectional GRU的时间序列分类研究", 《计算机科学与探索》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110881969A (zh) * 2019-11-27 2020-03-17 太原理工大学 一种基于Stacking集成学习的心力衰竭预警方法
CN111048184A (zh) * 2019-12-24 2020-04-21 江苏大学 一种针对心衰患者ct图像建模及分级系统
CN111048184B (zh) * 2019-12-24 2023-09-26 江苏大学 一种针对心衰患者ct图像建模及分级系统
CN112259227A (zh) * 2020-10-29 2021-01-22 中国医学科学院北京协和医院 一种评估sle病人心肌受累的量化指标的计算方法和系统
CN113171104A (zh) * 2021-04-25 2021-07-27 安徽十锎信息科技有限公司 基于深度学习的充血性心力衰竭自动诊断方法

Similar Documents

Publication Publication Date Title
CN110175996A (zh) 一种基于cmr双向循环网络的心衰自动分级方法
CN110580695B (zh) 一种多模态三维医学影像融合方法、系统及电子设备
CN107510452B (zh) 一种基于多尺度深度学习神经网络的心电检测方法
Gu et al. MedSRGAN: medical images super-resolution using generative adversarial networks
Ozcelik et al. Reconstruction of perceived images from fmri patterns and semantic brain exploration using instance-conditioned gans
CN107506797A (zh) 一种基于深度神经网络和多模态影像阿尔兹海默病分类方法
CN110808096B (zh) 基于卷积神经网络的心脏病变自动检测系统
CN112488976B (zh) 一种基于darts网络的多模态医学图像融合方法
Verma et al. Pneumonia classification using deep learning in healthcare
CN1979509A (zh) 生成多分辨率结构以改进医疗成像工作流的方法和设备
CN111932529B (zh) 一种图像分类分割方法、装置及系统
CN112766377B (zh) 左心室磁共振影像智能分类方法、装置、设备和介质
CN110782427B (zh) 基于可分离空洞卷积的磁共振脑肿瘤自动分割方法
CN110517253A (zh) 基于3d多目标特征学习的肺结节良恶性分类的方法
CN104956399A (zh) 医学图像处理
CN114565816B (zh) 一种基于全局信息融合的多模态医学图像融合方法
CN107248180A (zh) 一种基于隐状态模型的fMRI自然图像解码方法
CN107292103A (zh) 一种预测图像生成方法及装置
Graves et al. Improving the generalization of deep learning methods to segment the left ventricle in short axis MR images
Lee et al. Assessment of diagnostic image quality of computed tomography (CT) images of the lung using deep learning
KR102186893B1 (ko) 인공지능 기반 커리큘럼 학습 방법을 이용한 의료 영상 처리 시스템 및 지능형 의료 진단 및 진료 시스템
Pandiaraja et al. A Scrutiny on COVID-19 Detection using Convolutional Neural Network and Image Processing
CN107256544A (zh) 一种基于vcg16的前列腺癌图像诊断方法及系统
Manochandar et al. Deep learning-based magnetic resonance image segmentation and classification for Alzheimer’s disease diagnosis
CN117036162B (zh) 轻量级胸部ct图像超分辨率的残差特征注意力融合方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190827

RJ01 Rejection of invention patent application after publication