CN112259227B - 一种评估sle病人心肌受累的量化指标的计算方法和系统 - Google Patents

一种评估sle病人心肌受累的量化指标的计算方法和系统 Download PDF

Info

Publication number
CN112259227B
CN112259227B CN202011185673.0A CN202011185673A CN112259227B CN 112259227 B CN112259227 B CN 112259227B CN 202011185673 A CN202011185673 A CN 202011185673A CN 112259227 B CN112259227 B CN 112259227B
Authority
CN
China
Prior art keywords
image
t1mapping
data
cine
preprocessed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011185673.0A
Other languages
English (en)
Other versions
CN112259227A (zh
Inventor
王怡宁
金征宇
李潇
林路
王文集
岳乾
蔡涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yukun Beijing Network Technology Co ltd
Original Assignee
Peking Union Medical College Hospital Chinese Academy of Medical Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking Union Medical College Hospital Chinese Academy of Medical Sciences filed Critical Peking Union Medical College Hospital Chinese Academy of Medical Sciences
Priority to CN202011185673.0A priority Critical patent/CN112259227B/zh
Publication of CN112259227A publication Critical patent/CN112259227A/zh
Application granted granted Critical
Publication of CN112259227B publication Critical patent/CN112259227B/zh
Priority to LU500799A priority patent/LU500799B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种评估SLE病人心肌受累的量化指标的计算方法和系统，所述方法包括以下步骤：对SLE病人心脏的原始T1 mapping图像数据和原始CINE图像数据进行预处理，得到预处理T1 mapping图像数据和预处理CINE图像数据；将预处理T1 mapping图像数据输入到预先训练好的T1 mapping图像特征提取模型中以提取T1 mapping图像特征，并且将预处理CINE图像数据输入到预先训练好的CINE图像特征提取模型中以提取CINE图像特征；以及基于T1 mapping图像特征和CINE图像特征计算出用于评估SLE病人心肌受累的多个量化指标。本发明采用深度学习技术通过未增强的T1 mapping图像和CINE图像计算出用于评估SLE病人心肌受累的量化指标，以此能够准确诊断SLE患者的心肌受累，避免了使用LGE图像进行诊断给SLE患者肾脏造成损伤。

Description

一种评估SLE病人心肌受累的量化指标的计算方法和系统
技术领域
本发明涉及医学图像处理技术领域，更具体地，特别是指一种评估SLE病人心肌受累的量化指标的计算方法和系统。
背景技术
系统性红斑狼疮(SLE)是一种典型的自身免疫性结缔组织病，大多数患者存在多脏器损伤现象，肾脏、心脏是常见的受累脏器。钆对比剂延迟强化心脏磁共振成像(LGE-CMRI)具有多序列多参数、空间分辨率和组织分辨率高的优势，能够准确识别心肌炎症、心肌缺血及梗死纤维化，是诊断心肌病变的金标准。然而，肾功能不全患者使用含钆造影剂(GBCA)可能导致肾源性系统性纤维化(NSF)。因此，SLE患者不宜通过此方式进行心脏疾病的筛查与诊断。
近年来，随着深度学习技术的发展，国内外学者已经能够利用神经网络从多模态的医学影像中提取特征，并对病灶区域进行分割和量化。例如，引证文献1(Zhang N,YangG,Gao Z,et al.Deep Learning for Diagnosis of Chronic Myocardial Infarction onNonenhanced Cardiac Cine MRI[J].Radiology,2019,291(3):606-617.)提出利用非增强的电影(CINE)图像对慢性心肌梗死进行诊断。该方法首先对CINE图像中的左心室进行定位，提取出ROI，然后针对ROI分别提取局部运动特征和全局运动特征，将这些特征输入到自编码器当中，对CINE图像的病灶区域进行分割，进而将分割结果与LGE图像中的标注进行对比。又例如，引证文献2(Fahmy A S,Neisius U,Chan R H,et al.Three-dimensional DeepConvolutional Neural Networks for Automated Myocardial Scar Quantification inHypertrophic Cardiomyopathy:AMulticenter Multivendor Study[J].Radiology,2019:190737.)利用3D神经网络对LGE图像中的病灶区域进行分割，进而对心肌瘢痕进行量化，以对肥厚型心肌病病人进行诊断评估。
然而，上述现有技术存在如下缺陷：
1)引证文献1中利用非增强CINE图像诊断慢性心肌梗死，取得了良好结果，这是因为该类疾病在CINE图像上有较明显的特征体现，通过CINE图像可以较好地预测出其在LGE图像上的表现。但是，相较而言，SLE病人的情况更为复杂，同一SLE病人可能患有多种不同类别的心肌病变表现，或者某些病变在LGE图像上的特征表现亦不明显，因此难以诊断。此时利用非增强CINE图像替代LGE图像进行诊断的挑战性更大，难度更高，目前暂未有此类相关技术公开。
2)引证文献2直接利用LGE图像进行诊断，此方法不适合肾功能不全患者。因此无法通过此方法对SLE患者进行心肌病变的诊断。
针对上述现有技术的缺陷，本领域亟待需要一种能够利用非增强图像代替LGE图像预测出评估SLE病人心肌受累的量化指标的方案。
发明内容
有鉴于此，本发明实施例的目的在于提出一种评估SLE病人心肌受累的量化指标的计算方法和系统，能够解决上述现有技术无法适用于SLE病人心肌受累的诊断评估等问题。
基于上述目的，本发明实施例的一方面提供了一种评估SLE病人心肌受累的量化指标的计算方法，包括以下步骤：
步骤1、对SLE病人心脏的原始T1 mapping图像数据和原始CINE图像数据进行预处理，得到预处理T1 mapping图像数据和预处理CINE图像数据；
步骤2、将所述预处理T1 mapping图像数据输入到预先训练好的T1mapping图像特征提取模型中以提取T1 mapping图像特征，并且将所述预处理CINE图像数据输入到预先训练好的CINE图像特征提取模型中以提取CINE图像特征；以及
步骤3、基于所述T1 mapping图像特征和所述CINE图像特征计算出用于评估所述SLE病人心肌受累的多个量化指标。
在一些实施方式中，上述步骤3中的多个量化指标包括心肌面积、心腔面积以及瘢痕面积。
在一些实施方式中，所述步骤1至少包括以下操作：对所述原始T1mapping图像数据和所述原始CINE图像数据执行切片轴位匹配、数据配准以及中心裁剪。
在一些实施方式中，上述步骤2中的所述T1 mapping图像特征提取模型基于卷积神经网络构建而成，并且所述CINE图像特征提取模型基于长短期记忆神经网络构建而成。
在一些实施方式中，所述T1 mapping图像特征提取模型和所述CINE图像特征提取模型的训练至少包括以下步骤：
收集若干病例的心脏的LGE图像训练数据、T1 mapping图像训练数据以及CINE图像训练数据，每个病例的心脏均存在心肌病变；
对所述LGE图像训练数据的心肌病变区域进行人工标注以得到LGE标签数据；
对所述LGE标签数据、所述T1 mapping图像训练数据以及所述CINE图像训练数据进行预处理；以及
利用预处理后的所述LGE标签数据、所述T1 mapping图像训练数据以及所述CINE图像训练数据训练所述卷积神经网络和所述长短期记忆神经网络，以得到所述T1 mapping图像特征提取模型和所述CINE图像特征提取模型。
在一些实施方式中，对所述LGE标签数据、所述T1 mapping图像训练数据以及所述CINE图像训练数据进行预处理至少包括以下操作：对所述LGE标签数据、所述T1 mapping图像训练数据以及所述CINE图像训练数据执行切片轴位匹配、数据配准以及中心裁剪。
基于上述目的，本发明实施例的另一方面提供了一种评估SLE病人心肌受累的量化指标的计算系统，包括：
预处理模块，用于对SLE病人心脏的原始T1 mapping图像数据和原始CINE图像数据进行预处理，得到预处理T1 mapping图像数据和预处理CINE图像数据；
特征提取模块，用于将所述预处理T1 mapping图像数据输入到预先训练好的T1mapping图像特征提取模型中以提取T1 mapping图像特征，并且将所述预处理CINE图像数据输入到预先训练好的CINE图像特征提取模型中以提取CINE图像特征；以及
计算模块，用于基于所述T1 mapping图像特征和所述CINE图像特征计算出用于评估所述SLE病人心肌受累的多个量化指标。
在一些实施方式中，所述多个量化指标包括心肌面积、心腔面积以及瘢痕面积。
在一些实施方式中，所述预处理模块对所述原始T1 mapping图像数据和所述原始CINE图像数据至少执行切片轴位匹配、数据配准以及中心裁剪。
在一些实施方式中，所述T1 mapping图像特征提取模型基于卷积神经网络构建而成，并且所述CINE图像特征提取模型基于长短期记忆神经网络构建而成。
本发明具有以下有益技术效果：
本发明实施例提供的一种评估SLE病人心肌受累的量化指标的计算方法和系统基于未增强的T1 mapping图像和CINE图像，通过深度学习模型提取T1 mapping图像特征和CINE图像特征，并对两者进行融合，以生成更加精确的预测结果，进而利用该预测结果就可以对SLE病人的心肌受累进行诊断，避免了使用LGE图像进行诊断给SLE患者肾脏造成损伤。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
图1为根据本发明一个实施例的评估SLE病人心肌受累的量化指标的计算方法的示意性流程图；
图2为根据本发明另一个实施例的评估SLE病人心肌受累的量化指标的计算方法的示意性流程图；
图3为基于CNN的T1 mapping图像特征提取模型的网络结构图；
图4为基于LSTM的CINE图像特征提取模型的网络结构图；
图5为T1 mapping图像特征提取模型和CINE图像特征提取模型的训练过程的示意性流程图；
图6为训练数据的预处理过程的示意性流程图；以及
图7为评估SLE病人心肌受累的量化指标的计算系统的示意性框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。
需要说明的是，本发明实施例中所有使用“第一”、“第二”等类似的表述均是为了区分多个相同名称非相同的实体或者非相同的参量，可见“第一”、“第二”等类似用语仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。
基于上述目的，本发明提出了一种评估SLE病人心肌受累的量化指标的计算方法的一个实施例。图1示出的是该方法的示意性流程图。SLE患者通常存在肾脏、心脏损伤的现象，通过对患者MR数据进行量化分析能够准确诊断患者的心肌病变。然而，由于SLE病人大多存在肾功能不全的情况，因此不宜使用LGE图像进行诊断。鉴于此，本发明考虑在非增强图像的基础上通过深度学习模型提取其不同模态的图像特征并进行融合以生成多方面的量化指标，利用这些量化指标即可对SLE病人的心肌受累做出精确的诊断。在不同模态的非增强图像中，CINE图像包含心脏运动的时序序列，可以通过提取其运动特征估计病灶区域的位置，加之T1 mapping图像在病灶区域会有一定的特征表现，因此本发明提出将两者结合共同对SLE病人的心肌受累的量化评估指标进行预测。该方法主要包括数据预处理、图像特征提取(T1 mapping、CINE)、特征融合这三个阶段。
具体而言，如图1中所示，该评估SLE病人心肌受累的量化指标的计算方法包括以下步骤：
步骤S1、对SLE病人心脏的原始T1 mapping图像数据和原始CINE图像数据进行预处理，得到预处理T1 mapping图像数据和预处理CINE图像数据。
由于神经网络的输入为不同模态的未增强图像，且这些图像与金标准LGE图像的模态也不相同，因此需要对其进行一系列预处理操作。优选地，此步骤至少包括以下操作：对所述原始T1 mapping图像数据和所述原始CINE图像数据执行切片轴位匹配、数据配准以及中心裁剪。
医学图像数据带有元属性，其中一个元属性是切片位置，代表了图像拍摄时所处的空间位置，据此可以对所述原始T1 mapping图像数据和所述原始CINE图像数据执行切片轴位匹配。医学图像配准多涉及到非线性形变，通过采用半自动配准工具MITK，手工标注部分匹配点，将所述原始T1 mapping图像数据配准到所述原始CINE图像舒张末期。中心裁剪依据所述原始CINE图像帧之间的差异信息定位心室区域，进而裁剪出固定大小的心室区域，排除非心脏区域对模型的影响。
步骤S2、将所述预处理T1 mapping图像数据输入到预先训练好的T1 mapping图像特征提取模型中以提取T1 mapping图像特征，并且将所述预处理CINE图像数据输入到预先训练好的CINE图像特征提取模型中以提取CINE图像特征。
优选地，一方面，所述T1 mapping图像特征提取模型基于卷积神经网络(CNN)构建而成，这是因为与时序图像CINE不同，T1 mapping图像为静态的参数图像，在某些情况下可以反映出病灶的特征信息，使用包含下采样的CNN网络对特征进行编码，有助于提取到更加有效的特征信息。另一方面，所述CINE图像特征提取模型基于长短期记忆神经网络(LSTM)构建而成，这是因为CINE图像是一系列的时序图像，因此可以通过对这些时序信息建模来捕捉心脏的运动情况，以此定位病灶区域的位置，而LSTM专为时序图像设计，可以有效关注场景中的运动信息，并提取相应特征。
下文中将详细说明基于CNN的T1 mapping图像特征提取模型的网络结构和基于LSTM的CINE图像特征提取模型的网络结构及其训练过程。
步骤S3、基于所述T1 mapping图像特征和所述CINE图像特征计算出用于评估所述SLE病人心肌受累的多个量化指标。其中，所述多个量化指标包括心肌面积、心腔面积以及瘢痕面积。
通过几次卷积操作将提取的T1 mapping特征和CINE特征进行融合，以生成更加鲁棒的特征信息，最终回归出心肌面积、心腔面积以及瘢痕面积三个量化指标。
将提取出的T1 mapping特征和CINE特征沿特征通道拼接，之后采用卷积层在特征通道维度融合所述两种特征，在融合后的特征上采用全连接神经网络回归心肌面积、心腔面积以及瘢痕面积三个量化指标。
图2示出的是本发明方法的一个优选实施例的示意图。除了上述优选技术手段之外，在该优选实施例中，预处理后的T1 mapping图像的大小可以为64*64*3(即，T1 mapping图像特征提取模型的输入尺寸)，预处理后的CINE图像的大小可以为64*64*25(即，CINE图像特征提取模型的输入尺寸)，然而两个模型的输入尺寸不一定是上述设定尺寸，本领域技术人员可以根据GPU配置等考虑因素对其进行相匹配的设定。
图3示出的是基于CNN的T1 mapping图像特征提取模型的网络结构图。如图3所示，上半部分是T1 mapping图像特征提取模型的网络结构图，下半部分是其中的残差模块的网络结构图。基于CNN的T1 mapping图像特征提取步骤如图3上半部分所示，首先将经过数据预处理后的T1mapping图像作为输入，经过图3中的Block模块，该模块依次包含了2D卷积、BatchNorm和ReLU，接着进入Resconv Block模块，该模块的网络结构如图3下半部分所示，该模块经过两次2D卷积，BatchNorm和ReLU之后和原始特征图进行残差连接起来，再经过一次ReLU后输出。这样的Resconv Block模块需要执行三次，最后经过一次全连接层后进行输出，通过上述网络结构能够完成对T1 mapping图像的特征提取。
图4示出的是基于LSTM的CINE图像特征提取模型的网络结构图。基于LSTM的CINE图像特征提取步骤如图4所示，首先将经过数据预处理后的CINE图像作为输入，经过图4中的Block模块，该模块依次包含了2D卷积、BatchNorm以及ReLU，接着进入LSTM block1模块，该模块包含了残差卷积、ReLU、reshape以及LSTM模块，后续的LSTM block2、LSTM block3与LSTM block1的结构类似，再将这三个LSTM block连接(concatenate)在一起做为后续的LSTM模块的输入，最后通过一个全连接和dropout进行输出，通过上述网络结构能够完成对CINE图像的特征提取。
CINE图像是一系列的时序图像，因此本发明选用了LSTM对CINE图像进行特征提取。LSTM是一种特殊的RNN，主要是为了解决长序列训练过程中的梯度消失和梯度爆炸问题。相比于普通的RNN，LSTM能够在更长的序列中有更好的表现。LSTM内部主要有三个阶段：1.忘记阶段，这个阶段主要是对上一个节点传进来的输入进行选择性忘记。2.选择记忆阶段，这个阶段将这个阶段的输入有选择性地进行“记忆”。3.输出阶段，这个阶段将决定哪些将会被当成当前状态的输出。LSTM通过门控状态来控制传输状态，记住需要长时间记忆的，忘记不重要的信息。普通的RNN仅有一种记忆叠加方式，因此LSTM适用于包含一系列时间序列的CINE图像。
为了使LSTM网络结构可以学习到不同尺度的信息，将不同尺度的模块连接在一起，如图4中所示，将LSTM block1、LSTM block2以及LSTM block3连接在一起，这三个模块有着不同尺度的信息，从而使得该网络结构可以包含多个尺度的语义信息。卷积神经网络中较深层的特征有很大的感受野以及丰富的语义信息，深层特征对于物体姿态变化、遮挡以及局部变形等等的变化具有鲁棒性，但由于分辨率的降低导致几何细节信息丢失。相反浅层特征有很小的感受野和丰富的几何细节信息，但问题是分辨率较高以及语义信息匮乏。在卷积神经网络中，物体的语义信息可以在不同层(与物体大小有关)出现。对于小物体而言，浅层特征包含它的一些细节信息，随着层数加深，所提取特征中的几何细节信息可能完全消失(感受野过大)，通过深层特征检测小物体就变得很困难。对于大物体而言，它语义信息将出现在较深层特征中。于是CINE图像特征提取网络采用了如图4所示的结构，LSTMblock1是相对而言较为浅的特征层，包含较为丰富的几何细节信息，LSTM block3中包含了很大的感受野和丰富的语义信息，将LSTM block1、LSTM block2和LSTM block3连接在一起使得网络结构可以包含多个尺度的语义信息。
图5示出的是T1 mapping图像特征提取模型和CINE图像特征提取模型的训练过程的示意性流程图。如图5所示，所述T1 mapping图像特征提取模型和所述CINE图像特征提取模型的训练过程至少包括以下步骤：
步骤S51、收集若干病例的心脏的LGE图像训练数据、T1 mapping图像训练数据以及CINE图像训练数据，每个病例的心脏均存在心肌病变。
需要说明的是，此步骤收集的训练数据应来自非SLE病人，这是因为SLE病人不宜静脉注射造影剂，因此无法拍摄LGE图像，而此步骤又需要采集病人心脏的LGE图像数据用于制作后续的标签数据。而且最佳的是，这些病例存在的心肌病变表现要与SLE病人的心肌病变表现相同，并且应尽可能包含所有类型的心肌病变表现。
步骤S52、对所述LGE图像训练数据的心肌病变区域进行人工标注以得到LGE标签数据。
在此步骤中，首先将每一例病例的LGE图像训练数据转换成医生可识别的格式，然后由医生对其中的心肌病变区域进行标注，得到对应的LGE标签数据。
步骤S53、对所述LGE标签数据、所述T1 mapping图像训练数据以及所述CINE图像训练数据进行预处理。
图6示出的是训练数据的预处理过程的示意性流程图。数据预处理主要是对LGE、T1 mapping以及CINE三种模态的数据进行了处理，包括了轴位匹配，数据配准，ROI提取等操作，处理后的图像就可以直接输入网络，并由相应变换的LGE标签进行监督训练。在多个模态的MR数据中，主要使用了LGE、CINE以及T1 mapping三种模态。LGE着重表现延迟强化，是心脏疾病诊断的金标准；CINE电影数据反应心脏跳动的时序；T1 mapping数据是平扫的心肌信号定量序列。如图6所示，数据预处理的方法步骤主要包括LGE数据预处理201-204、T1 mapping数据预处理205-208以及CINE数据预处理209-212，具体描述如下。
(一)、LGE数据预处理
根据T1 mapping中的轴位206选取对应位置的LGE数据，将医生标注好的对应轴位的LGE数据202和处理好的CINE数据211作为输入，使用MITK配准工具将LGE数据配准到CINE上，切取配准好的LGE数据的64*64大小的目标区域204。
(二)、T1 mapping数据预处理
将原始T1 mapping训练数据205作为输入，根据T1 mapping中数据的SliceLocation信息，得到整套数据的轴位记录，选取对应轴位的LGE数据和CINE数据。将T1mapping数据206和处理好的CINE数据211作为输入，使用MITK配准工具将T1 mapping配准到CINE上，切取配准好的T1 mapping数据的64*64大小的目标区域208。
(三)、CINE数据预处理
将原始CINE训练数据209作为输入，根据T1 mapping中的轴位信息206选取对应位置的CINE数据210，提取CINE舒张末期的切片作为多模态配准的目标(target)，切取CINE图像的64*64大小的感兴趣区域212。
步骤S54、利用预处理后的所述LGE标签数据、所述T1 mapping图像训练数据以及所述CINE图像训练数据训练所述卷积神经网络和所述长短期记忆神经网络，以得到所述T1mapping图像特征提取模型和所述CINE图像特征提取模型。
步骤S54、将所述T1 mapping图像训练数据和所述CINE图像训练数据分别输入到所述卷积神经网络和所述长短期记忆神经网络，经所述特征融合和所述指标回归，得到模型的预测结果，利用LGE标签数据作为监督信息，训练整个模型。在模型训练过程中，对输入数据进行均值和方差的归一化，保证输入一致性，在所述T1 mapping和CINE图像训练数据集上迭代大约50次后，模型基本收敛，即得到了所述T1 mapping图像特征提取模型和所述CINE图像特征提取模型。
基于上述目的，本发明还提出了一种评估SLE病人心肌受累的量化指标的计算系统的一个实施例。图7示出的是该系统的示意性框图。如图7所示，该评估SLE病人心肌受累的量化指标的计算系统包括：预处理模块1，用于对SLE病人心脏的原始T1 mapping图像数据和原始CINE图像数据进行预处理，得到预处理T1 mapping图像数据和预处理CINE图像数据；特征提取模块2，用于将所述预处理T1 mapping图像数据输入到预先训练好的T1mapping图像特征提取模型中以提取T1 mapping图像特征，并且将所述预处理CINE图像数据输入到预先训练好的CINE图像特征提取模型中以提取CINE图像特征；以及计算模块3，用于基于所述T1 mapping图像特征和所述CINE图像特征计算出用于评估所述SLE病人心肌受累的多个量化指标。
优选地，所述多个量化指标包括心肌面积、心腔面积以及瘢痕面积。
优选地，所述预处理模块1对所述原始T1 mapping图像数据和所述原始CINE图像数据至少执行切片轴位匹配、数据配准以及中心裁剪。
优选地，所述T1 mapping图像特征提取模型基于卷积神经网络构建而成，并且所述CINE图像特征提取模型基于长短期记忆神经网络构建而成。
需要说明的是，对系统实施例的理解可参考上述方法实施例的详细说明，这里不再予以赘述。所述系统实施例可以达到与之对应的前述方法实施例相同或者相类似的效果。
现有技术一般直接在LGE图像中分割出病灶区域，进而进行诊断。然而，由于系统性红斑狼疮病人不宜静脉注射造影剂，因此无法拍摄LGE图像。因此本发明关注的研究方向是使用未增强图像对系统性红斑狼疮病人的心肌受累进行诊断。由于未增强图像中的特征表现并不明显或异质性高，因此任务难度较大，相关技术积累较少。基于此，本发明同时考虑时序的CINE图像特征和T1 mapping图像特征，并对两者进行融合，以生成更加精确的量化结果。使用LSTM和CNN结合的方式提取非增强图像特征，直接对心肌面积、心腔面积、瘢痕面积进行回归量化。由于CINE图像包含心脏运动的时序序列，因此使用LSTM网络提取帧间信息，可以更好地对心脏的运动特征进行建模，以捕捉病灶区域的运动方式。使用CNN网络直接提取T1 mapping的特征，并将其与CINE特征相结合，共同预测出心肌面积、心腔面积、瘢痕面积三个量化指标。
需要说明的是，本领域普通技术人员可以理解实现上述实施例操作中的全部或部分流程，可以通过计算机程序来指令相关硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述操作的实施例的流程。所述计算机程序可以达到与之对应的前述操作实施例相同或者相类似的效果。
此外，应该明白的是，实现本发明的操作所采用的计算机可读存储介质(例如，存储器)可以是易失性存储器或非易失性存储器，或者可以包括易失性存储器和非易失性存储器两者。作为例子而非限制性的，非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦写可编程ROM(EEPROM)或快闪存储器。易失性存储器可以包括随机存取存储器(RAM)，该RAM可以充当外部高速缓存存储器。作为例子而非限制性的，RAM可以以多种形式获得，比如同步RAM(DRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据速率SDRAM(DDR SDRAM)、增强SDRAM(ESDRAM)、同步链路DRAM(SLDRAM)以及直接RambusRAM(DRRAM)。所公开的方面的存储设备意在包括但不限于这些和其它合适类型的存储器。
本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以利用被设计成用于执行这里所述功能的下列部件来实现或执行：通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立门或晶体管逻辑、分立的硬件组件或者这些部件的任何组合。通用处理器可以是微处理器，但是可替换地，处理器可以是任何传统处理器、控制器、微控制器或状态机。处理器也可以被实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、一个或多个微处理器结合DSP和/或任何其它这种配置。
在一个或多个示例性设计中，所述功能可以在硬件、软件、固件或其任意组合中实现。如果在软件中实现，则可以将所述功能作为一个或多个指令或代码存储在计算机可读介质上或通过计算机可读介质来传送。计算机可读介质包括计算机存储介质和通信介质，该通信介质包括有助于将计算机程序从一个位置传送到另一个位置的任何介质。存储介质可以是能够被通用或专用计算机访问的任何可用介质。作为例子而非限制性的，该计算机可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储设备、磁盘存储设备或其它磁性存储设备，或者是可以用于携带或存储形式为指令或数据结构的所需程序代码并且能够被通用或专用计算机或者通用或专用处理器访问的任何其它介质。此外，任何连接都可以适当地称为计算机可读介质。例如，如果使用同轴线缆、光纤线缆、双绞线、数字用户线路(DSL)或诸如红外线、无线电和微波的无线技术来从网站、服务器或其它远程源发送软件，则上述同轴线缆、光纤线缆、双绞线、DSL或诸如红外线、无线电和微波的无线技术均包括在介质的定义。如这里所使用的，磁盘和光盘包括压缩盘(CD)、激光盘、光盘、数字多功能盘(DVD)、软盘、蓝光盘，其中磁盘通常磁性地再现数据，而光盘利用激光光学地再现数据。上述内容的组合也应当包括在计算机可读介质的范围内。
以上是本发明公开的示例性实施例，上述本发明实施例公开的顺序仅仅为了描述，不代表实施例的优劣。但是应当注意，以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子，在不背离权利要求限定的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例的权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本发明实施例公开的元素可以以个体形式描述或要求，但除非明确限制为单数，也可以理解为多个。

Claims (7)

1.一种评估SLE病人心肌受累的量化指标的计算方法，其特征在于，包括以下步骤：
步骤1、对SLE病人心脏的原始T1 mapping图像数据和原始CINE图像数据进行预处理，得到预处理T1 mapping图像数据和预处理CINE图像数据；
步骤2、将所述预处理T1 mapping图像数据输入到预先训练好的T1mapping图像特征提取模型中以提取T1 mapping图像特征，并且将所述预处理CINE图像数据输入到预先训练好的CINE图像特征提取模型中以提取CINE图像特征；以及
步骤3、基于所述T1 mapping图像特征和所述CINE图像特征计算出用于评估所述SLE病人心肌受累的多个量化指标，
其中，所述T1 mapping图像特征提取模型基于卷积神经网络构建而成，并且所述CINE图像特征提取模型基于长短期记忆神经网络构建而成，
所述T1 mapping图像特征提取模型和所述CINE图像特征提取模型的训练至少包括以下步骤：
收集若干病例的心脏的LGE图像训练数据、T1 mapping图像训练数据以及CINE图像训练数据，每个病例的心脏均存在心肌病变；
对所述LGE图像训练数据的心肌病变区域进行人工标注以得到LGE标签数据；
对所述LGE标签数据、所述T1 mapping图像训练数据以及所述CINE图像训练数据进行预处理；以及
利用预处理后的所述LGE标签数据、所述T1 mapping图像训练数据以及所述CINE图像训练数据训练所述卷积神经网络和所述长短期记忆神经网络，以得到所述T1 mapping图像特征提取模型和所述CINE图像特征提取模型。
2.根据权利要求1所述的评估SLE病人心肌受累的量化指标的计算方法，其特征在于，所述多个量化指标包括心肌面积、心腔面积以及瘢痕面积。
3.根据权利要求1所述的评估SLE病人心肌受累的量化指标的计算方法，其特征在于，所述步骤1至少包括以下操作：对所述原始T1 mapping图像数据和所述原始CINE图像数据执行切片轴位匹配、数据配准以及中心裁剪。
4.根据权利要求1所述的评估SLE病人心肌受累的量化指标的计算方法，其特征在于，对所述LGE标签数据、所述T1 mapping图像训练数据以及所述CINE图像训练数据进行预处理至少包括以下操作：对所述LGE标签数据、所述T1 mapping图像训练数据以及所述CINE图像训练数据执行切片轴位匹配、数据配准以及中心裁剪。
5.一种评估SLE病人心肌受累的量化指标的计算系统，其特征在于，包括：
预处理模块，用于对SLE病人心脏的原始T1 mapping图像数据和原始CINE图像数据进行预处理，得到预处理T1 mapping图像数据和预处理CINE图像数据；
特征提取模块，用于将所述预处理T1 mapping图像数据输入到预先训练好的T1mapping图像特征提取模型中以提取T1 mapping图像特征，并且将所述预处理CINE图像数据输入到预先训练好的CINE图像特征提取模型中以提取CINE图像特征；以及
计算模块，用于基于所述T1 mapping图像特征和所述CINE图像特征计算出用于评估所述SLE病人心肌受累的多个量化指标，
其中，所述T1 mapping图像特征提取模型基于卷积神经网络构建而成，并且所述CINE图像特征提取模型基于长短期记忆神经网络构建而成，
所述T1 mapping图像特征提取模型和所述CINE图像特征提取模型的训练至少包括以下步骤：
收集若干病例的心脏的LGE图像训练数据、T1 mapping图像训练数据以及CINE图像训练数据，每个病例的心脏均存在心肌病变；
对所述LGE图像训练数据的心肌病变区域进行人工标注以得到LGE标签数据；
对所述LGE标签数据、所述T1 mapping图像训练数据以及所述CINE图像训练数据进行预处理；以及
利用预处理后的所述LGE标签数据、所述T1 mapping图像训练数据以及所述CINE图像训练数据训练所述卷积神经网络和所述长短期记忆神经网络，以得到所述T1 mapping图像特征提取模型和所述CINE图像特征提取模型。
6.根据权利要求5所述的评估SLE病人心肌受累的量化指标的计算系统，其特征在于，所述多个量化指标包括心肌面积、心腔面积以及瘢痕面积。
7.根据权利要求5所述的评估SLE病人心肌受累的量化指标的计算系统，其特征在于，所述预处理模块对所述原始T1 mapping图像数据和所述原始CINE图像数据至少执行切片轴位匹配、数据配准以及中心裁剪。
CN202011185673.0A 2020-10-29 2020-10-29 一种评估sle病人心肌受累的量化指标的计算方法和系统 Active CN112259227B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011185673.0A CN112259227B (zh) 2020-10-29 2020-10-29 一种评估sle病人心肌受累的量化指标的计算方法和系统
LU500799A LU500799B1 (en) 2020-10-29 2021-10-28 Method and System for Calculating Quantitative Indicators for Evaluating Myocardial Involvement in Patients with SLE

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011185673.0A CN112259227B (zh) 2020-10-29 2020-10-29 一种评估sle病人心肌受累的量化指标的计算方法和系统

Publications (2)

Publication Number Publication Date
CN112259227A CN112259227A (zh) 2021-01-22
CN112259227B true CN112259227B (zh) 2021-08-27

Family

ID=74267777

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011185673.0A Active CN112259227B (zh) 2020-10-29 2020-10-29 一种评估sle病人心肌受累的量化指标的计算方法和系统

Country Status (2)

Country Link
CN (1) CN112259227B (zh)
LU (1) LU500799B1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115458158B (zh) * 2022-09-23 2023-09-15 深圳大学 一种针对脓毒症患者的急性肾损伤预测系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111012377A (zh) * 2019-12-06 2020-04-17 北京安德医智科技有限公司 超声心动图心脏参数计算以及心肌应变测量方法、装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011058047A1 (en) * 2009-11-10 2011-05-19 Deutsches Herzzentrum Berlin Look-locker ir-ssfp for cardiac mr imaging with simultaneous generation of cardiac tl maps, cine images and ir -prepared images
CN107423756A (zh) * 2017-07-05 2017-12-01 武汉科恩斯医疗科技有限公司 基于深度卷积神经网络结合长短期记忆模型的核磁共振图像序列分类方法
US10909681B2 (en) * 2019-01-03 2021-02-02 The Regents Of The University Of California Automated selection of an optimal image from a series of images
CN110136111B (zh) * 2019-05-14 2021-08-10 深圳大学 一种心脏运动估计方法、系统及终端设备
CN110163876B (zh) * 2019-05-24 2021-08-17 山东师范大学 基于多特征融合的左心室分割方法、系统、设备及介质
CN110175996A (zh) * 2019-05-29 2019-08-27 中国人民解放军陆军军医大学第二附属医院 一种基于cmr双向循环网络的心衰自动分级方法
CN110555388A (zh) * 2019-08-06 2019-12-10 浙江大学 基于cnn和lstm的心内异常激动点定位模型构建方法
CN111784732B (zh) * 2020-06-28 2023-07-28 深圳大学 训练心脏运动场估计模型、心脏运动场估计的方法及系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111012377A (zh) * 2019-12-06 2020-04-17 北京安德医智科技有限公司 超声心动图心脏参数计算以及心肌应变测量方法、装置

Also Published As

Publication number Publication date
LU500799B1 (en) 2022-06-10
LU500799A1 (en) 2022-04-25
CN112259227A (zh) 2021-01-22

Similar Documents

Publication Publication Date Title
CN110222759B (zh) 一种冠状动脉易损斑块自动识别系统
EP3659112B1 (en) A method for co-registering and displaying multiple imaging modalities
US9959615B2 (en) System and method for automatic pulmonary embolism detection
US10249042B2 (en) Method and apparatus for providing medical information service on basis of disease model
CN110197713B (zh) 一种医疗影像的处理方法、装置、设备和介质
CN111553892B (zh) 基于深度学习的肺结节分割计算方法、装置及系统
CN111667478A (zh) Cta到mra跨模态预测的颈动脉斑块识别方法及系统
CN110223781B (zh) 一种多维度斑块破裂风险预警系统
CN111814768B (zh) 基于ai复合模型的图像识别方法、装置、介质和设备
CN113888470A (zh) 基于卷积神经网络和多模态医学影像的诊断方法和装置
CN116168258B (zh) 一种目标物分类方法、装置、设备及可读存储介质
CN112259227B (zh) 一种评估sle病人心肌受累的量化指标的计算方法和系统
CN111128349A (zh) 基于gan的医学影像病灶检测标记数据增强方法及装置
CN116580819A (zh) 用于自动化地确定图像序列中的检查结果的方法和系统
CN115564763A (zh) 甲状腺超声图像处理方法、装置、介质及电子设备
Alrabai et al. Multiple sclerosis segmentation using deep learning models: Comparative study
WO2022096867A1 (en) Image processing of intravascular ultrasound images
Abdelrauof et al. Light-weight localization and scale-independent multi-gate UNET segmentation of left and right ventricles in MRI images
Al et al. Reinforcement learning-based automatic diagnosis of acute appendicitis in abdominal ct
Bernard et al. Measurement and quantification
CN112967295A (zh) 一种基于残差网络和注意力机制的图像处理方法及系统
US11449995B2 (en) Method of providing diagnosis assistance information and method of performing the same
CN115482181B (zh) 一种图像信息提取方法、装置、电子设备和可读存储介质
CN114511513B (zh) 基于深度卷积神经网络的脑动脉瘤三维检测分割方法
Chen Feature extraction and quantification to explore human vasculature

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230831

Address after: Room 313 and 315, Building No. 11, Innovation Road, Changping District, Beijing 102200

Patentee after: YUKUN (BEIJING) NETWORK TECHNOLOGY Co.,Ltd.

Address before: No.1, Shuaifuyuan, Wangfujing, Dongcheng District, Beijing, 100070

Patentee before: PEKING UNION MEDICAL COLLEGE Hospital