CN109727270A - 心脏核磁共振图像的运动机理和纹理特征分析方法和系统 - Google Patents
心脏核磁共振图像的运动机理和纹理特征分析方法和系统 Download PDFInfo
- Publication number
- CN109727270A CN109727270A CN201811502951.3A CN201811502951A CN109727270A CN 109727270 A CN109727270 A CN 109727270A CN 201811502951 A CN201811502951 A CN 201811502951A CN 109727270 A CN109727270 A CN 109727270A
- Authority
- CN
- China
- Prior art keywords
- cardiac
- dimensional
- segmentation
- sequence
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 66
- 230000000747 cardiac effect Effects 0.000 title claims abstract description 56
- 238000004458 analytical method Methods 0.000 title claims abstract description 21
- 238000000034 method Methods 0.000 title claims description 31
- 230000007246 mechanism Effects 0.000 title description 5
- 230000011218 segmentation Effects 0.000 claims abstract description 41
- 238000005481 NMR spectroscopy Methods 0.000 claims abstract description 14
- 238000000605 extraction Methods 0.000 claims abstract description 12
- 239000000284 extract Substances 0.000 claims abstract description 3
- 230000008859 change Effects 0.000 claims description 5
- 238000003709 image segmentation Methods 0.000 claims description 5
- 241000208340 Araliaceae Species 0.000 claims description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 2
- 235000008434 ginseng Nutrition 0.000 claims description 2
- 230000003680 myocardial damage Effects 0.000 description 11
- 239000000306 component Substances 0.000 description 8
- 239000002872 contrast media Substances 0.000 description 5
- 210000004165 myocardium Anatomy 0.000 description 5
- 239000000463 material Substances 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 210000001519 tissue Anatomy 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 229910052688 Gadolinium Inorganic materials 0.000 description 3
- 230000001684 chronic effect Effects 0.000 description 3
- UIWYJDYFSGRHKR-UHFFFAOYSA-N gadolinium atom Chemical compound [Gd] UIWYJDYFSGRHKR-UHFFFAOYSA-N 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000003902 lesion Effects 0.000 description 3
- 230000002107 myocardial effect Effects 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 208000012661 Dyskinesia Diseases 0.000 description 2
- 208000021642 Muscular disease Diseases 0.000 description 2
- 201000009623 Myopathy Diseases 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 230000001154 acute effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 208000020832 chronic kidney disease Diseases 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 210000003205 muscle Anatomy 0.000 description 2
- 208000024172 Cardiovascular disease Diseases 0.000 description 1
- 241000135164 Timea Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013184 cardiac magnetic resonance imaging Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000000280 densification Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 210000003027 ear inner Anatomy 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 208000019622 heart disease Diseases 0.000 description 1
- -1 i.e. Substances 0.000 description 1
- 210000003734 kidney Anatomy 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 208000031225 myocardial ischemia Diseases 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000007261 regionalization Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Landscapes
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明公开了一种心脏核磁共振图像的分析系统，包括：三维心脏分割模块，所述三维心脏分割模块对输入的心脏三维核磁共振图像序列进行分割，获得裁剪的心脏三维核磁共振图像序列；运动特征提取模块，所述运动特征提取模块接收三维心脏分割模块的分割结果提取每个像素的基于图像块的运动特征和全局运动特征；以及全连通判别模块，所述全连通判别模块在每个像素中建立运动特征和组织分类之间的对应关系。
Description
技术领域
本发明涉及图像处理领域。具体而言，本发明涉及心脏核磁共振图像的运动机理和纹理特征分析方法和系统。
背景技术
在常规临床实践中，延迟增强(DE)-心脏磁共振(CMR)成像可被视为检测病变区域的金标准，因为它使用钆造影剂在成像过程中提供高度准确的心肌病变区域描绘。然而，这种成像过程可能是危险的，因为使用钆造影剂对慢性终末期儿童内耳病患者是致命的。根据美国肾脏数据系统，超过40％的慢性肾病患者患有心血管疾病。大约有20％的急性心肌病变患者伴随慢性肾脏疾病。此外，最近的研究表明，钆可能沉积到皮肤上。因此，在不使用造影剂的情况下直接诊断心肌病变是一项重大的临床进展，不仅可用于指示急性和慢性心肌病变的存在、位置和跨度，还可预测缺血性心脏病中慢性功能障碍的恢复。
由于心肌病变改变了受影响心肌的力学性质，逐渐削弱了受影响肌纤维的收缩性，许多临床研究都致力于通过检测肌纤维心肌病变引起的运动模式异常来识别无造影剂的心肌病变区域。最常见的方法是使用能量配准和Demons算法技术来计算心肌的位移。其中一些方法，如统计图谱对齐和序列配准方法，通过计算心肌的位移，快速建立磁共振帧之间的对应关系，从图像序列中提取运动特征。其中一些方法采用多帧分析，系统地解决了心肌致密运动场和有用变形参数恢复的不适定问题。第三种方法是统计形状建模，这在2015年STACOM挑战获得成功。其中一些方法通过对可能的运动和形状的统计表示进行建模，引入先验知识，试图克服数据的内在复杂性。
尽管上述方法能够确认心肌病变的定位，直接从心脏核磁共振图像准确描绘病变区域序列仍然极具挑战性，因为：(1)受试者之间和体内巨大的心脏多样性在心肌病变运动模式形成了沟壑。这些由心肌病变引起的多样性使得正则化策略很难找到一个系统的数学模型来区分密集运动场后的心脏运动模式；(2)心肌及周围组织各点的组合可变性大，相互关系复杂，相互依赖性强。这种组合变异性使得仅考虑心肌边界的心脏运动估计难以提取和选择合适的运动信息；(3)心脏核磁共振图像序列中不同时间帧间局部图像强度的干扰。这些干扰导致了以能量为基础的技术的困难，例如从图像序列中建立连续的致密运动和心肌变形，因为每次估计只考虑相邻的帧。
因此本领域需要一种新颖的对心脏图像的分析方法，无需造影剂，即可提取足够的运动特征来表示心脏磁共振图像序列中每个像素的运动。
发明内容
本发明提出了三维(3D)+时间(t)的四维运动模型结合自动化心脏结构分割，对不同心脏核磁扫描序列和不同核磁机器上扫描出来的图像进行分析。
根据本发明的一个实施例，提供一种心脏核磁共振图像的分析系统，包括：
三维心脏分割模块，所述三维心脏分割模块对输入的心脏三维核磁共振图像序列进行分割，获得裁剪的心脏三维核磁共振图像序列；
运动特征提取模块，所述运动特征提取模块接收三维心脏分割模块的分割结果提取每个像素的基于图像块的运动特征和全局运动特征；以及
全连通判别模块，所述全连通判别模块在每个像素中建立运动特征和组织分类之间的对应关系。
在本发明的实施例中，所述心脏三维核磁共振图像包括横断面视图、矢状面视图和冠状面视图。
在本发明的实施例中，所述三维心脏分割模块通过U-net对心脏三维核磁共振图像的横断面视图、矢状面视图和冠状面视图分别进行图像分割，三个视图的分割结果进行自适应融合，形成立体分割结构。
在本发明的实施例中，所述三维心脏分割模块对分割结构进行连接性分析，包括：
计算横断面视图、矢状面视图和冠状面视图中每一个的残差量；
利用所述残差量确定与其他视图融合的强度。
在本发明的实施例中，所述运动特征提取模块对三维图像序列的横断面视图序列、矢状面视图序列和冠状面视图序列分别进行如下操作：
使用LSTM-RNN网络从序列中提取基于图像块的运动特征；以及
使用FullFlow算法从序列中计算全局运动特征。
在本发明的实施例中，所述LSTM-RNN网络使用11×11像素的滑动窗口。
根据本发明的另一个实施例，提供一种基于多视图多感兴趣的区域U-Net的全心脏分割方法，包括：
接收三维心脏核磁扫描序列；
通过U-net对所述三维心脏核磁扫描序列的三个不同平面视图进行图像分割；以及
对三个不同平面视图的输出进行自适应融合，形成立体分割结构。
在本发明的另一个实施例中，所述三维心脏核磁扫描序列是不同核磁机器上扫描出来的三维图像序列。
在本发明的另一个实施例中，对分割结构进行连接性分析，包括：
计算横断面视图、矢状面视图和冠状面视图中每一个的残差量；
利用所述残差量确定与其他视图融合的强度。
在本发明的另一个实施例中，为不同平面视图中的每一类分配可靠性参数，以改变不同平面的影响。
本发明的实施例能够精确地从多中心、多模态扫描序列和不同核磁机器的心脏磁共振图像序列中直接画出心脏的特定区域，而无需造影剂。该方案系统地建模了一个基于深度学习方法和Demons算法的运动特征学习体系，以连续提取足够的运动特征来表示心脏磁共振图像序列中每个像素的运动。
本发明的实施例结合了运动机理去学习和纹理分析，以提高对不同种类的心脏变化进行分析的准确性。
附图说明
为了进一步阐明本发明的各实施例的以上和其它优点和特征，将参考附图来呈现本发明的各实施例的更具体的描述。可以理解，这些附图只描绘本发明的典型实施例，因此将不被认为是对其范围的限制。在附图中，为了清楚明了，相同或相应的部件将用相同或类似的标记表示。
图1示出根据本发明的一个实施例的基于多视图多ROI(感兴趣的区域)U-Net(MV-MROI-U-Net)的全心脏分割过程的流程图。
图2示出根据本发明的一个实施例的用于全心脏分割的三维U-net的架构。
图3示出根据本发明的实施例全心脏分割的流程图。
图4示出根据本发明的一个实施例的心脏图像的特征分析系统的框图。
具体实施方式
在以下的描述中，参考各实施例对本发明进行描述。然而，本领域的技术人员将认识到可在没有一个或多个特定细节的情况下或者与其它替换和/或附加方法、材料或组件一起实施各实施例。在其它情形中，未示出或未详细描述公知的结构、材料或操作以免使本发明的各实施例的诸方面晦涩。类似地，为了解释的目的，阐述了特定数量、材料和配置，以便提供对本发明的实施例的全面理解。然而，本发明可在没有特定细节的情况下实施。此外，应理解附图中示出的各实施例是说明性表示且不一定按比例绘制。
在本说明书中，对“一个实施例”或“该实施例”的引用意味着结合该实施例描述的特定特征、结构或特性被包括在本发明的至少一个实施例中。在本说明书各处中出现的短语“在一个实施例中”并不一定全部指代同一实施例。
图1示出根据本发明的一个实施例的基于多视图多ROI(感兴趣的区域)U-Net(MV-MROI-U-Net)的全心脏分割过程的流程图。如图1所示，在步骤110，接收输入图像。输入图像可以是不同三维(3D)心脏核磁扫描序列或不同核磁机器上扫描出来的3D图像序列。3D图像序列包括横断面视图、矢状面视图和冠状面视图。
在步骤120，通过U-net对3D图像的三个不同平面视图进行图像分割。在本发明的实施例中，MV-MROI-U-Net方法基于编码-解码U-net，并且以伪三维(即二维切片)的方式分割图像。从三个不同平面，即横断面、矢状面和冠状面，以二维方式训练U-net，从而了解心脏的3D特性。
图2示出根据本发明的一个实施例的用于全心脏分割的三维U-net的架构。U-Net通俗来讲是卷积神经网络的一种变形。整个神经网络主要有两部分组成：收缩路径(contracting path)和扩展路径(expanding path)。收缩路径主要是用来捕捉图片中的上下文信息(context information)，而与之相对称的扩展路径则是为了对图片中所需要分割出来的部分进行精准定位(localization)。
每个框对应一个多通道特征图，其中通道数在框顶标，x-y的大小位于框的左下角；白色框表示复制的特征图；箭头表示不同的操作。
U-Net为了能精准的定位，收缩路径上提取出来的高像素特征会在升采样(upsampling)过程中与新的特征图(feature map)进行结合，以最大程度的保留前面降采样(downsampling)过程一些重要的特征信息。而为了能使网络结构能更高效的运行，结构中是没有全连接层(fully connected layers)，这样子可以很大程度上减少需要训练的参数，并得益于特殊的U形结构可以很好的保留图片中的所有信息。
收缩路径上是每两个3*3的卷积层(unpadded convolutional layers)后会跟一个2*2的最大池化层(Maxpooling layer)，并且每个卷积层后面采用relu激活函数来对原始图片进行降采样操作，除此之外，每一次降采样都会使特征通道数增加一倍。
在扩展路径的向上采样(deconvolution)中，使用双线性插值以便最小化代价函数。每个卷积层之后是批归一化和有漏洞的修正线性单元(lReLU)。同时，每一步的升采样都会加入来自相对应收缩路径的特征图(经裁剪以保持相同的形状)。
在网络的最后一层是一个1*1的卷积层，通过这一操作可以将64通道的特征向量转换为所需要的分类结果的数量。U-Net有一个很重要的有点是其基本可以对任意形状大小的图片进行卷积操作，特别是任意大的图片。
接下来，在步骤130，对三个U-net的输出进行自适应融合，将每一个U-net输出的结果组合形成立体分割结构。基于U-net的图像分割方法的主要问题是不能进行精细分割。在本发明的实施例中，通过将三个U-net的输出进行融合，能够获得图像的精细分割。图3示出根据本发明的实施例全心脏分割的流程图。
将其中一个面的分割指示为o。然后，向o施加连接性分析(connectivityanalysis，CA)，以便估计可靠区域(真正类)和不可靠区域(假正类)。这些“大致”正确和互补分割信息可用于评估不同平面的分割质量。假设图像中分类的数量是n，每类中组件的数量是m，则可进行如下的CA操作：
CA(o)＝{o11，...，onm|∪oij＝o，and o11，...，onm|∩oij＝φ}
首先计算每个平面的残差量，并且将该残差量用于确定与其他平面融合的强度。
在自适应融合过程中，可以为每一类分配可靠性参数(权重)，以增加具有更高可靠性(可信)分割的平面的影响：
w＝∑i{maxj{|oj|}}/∑ij|oij|
其中ω指示权重参数。这表示差值越大，分割越可靠。
由心脏疾病引起的心肌力学性质的变化可导致运动异常。可基于这种运动异常，直接从非造影剂心脏磁共振成像序列描绘心肌病变区域。本发明的主要目的在于开发一种新的运动特征学习方法和系统，以有效地建立运动特征和组织特性之间的直接对应关系。该运动特征学习方法和系统由三个功能模块组成：一、心脏分割功能模块，可以自动从心脏磁共振图像中分割出三维心脏组织结构；二、运动特征提取功能模块，将三维全心脏分割结果输入到四维运动分析模型中；三、全连通神经网络判别模块，在每个像素中建立运动特征和组织分类之间的对应关系。
图4示出根据本发明的一个实施例的心脏图像的特征分析系统的框图。如图4所示，心脏图像的特征分析系统400包括心脏分割模块410、运动特征提取模块420以及全连通判别模块430。
心脏分割模块410可通过上述MV-MROI-U-Net方法对输入的心脏三维核磁共振图像序列进行分割。分割结果输入到运动特征提取模块420。
在裁剪包括心脏在内的ROI图像序列后，利用运动特征提取模块420收集两种类型的运动特征来表征像素的运动模式。这些特征是从ROI图像序列的基于块的全局信息中提取出来的。最后，这些特征被用来区分每个像素的心肌病变区域和其他组织。运动特征提取模块420采用四维运动分析模型(三维图像+时间)。对于三维图像的运动分析，对三维图像的横断面视图、矢状面视图和冠状面视图分别进行二维图像+时间的运动分析，从而获得三维图像+时间的运动分析。下面介绍二维图像+时间的运动分析过程。首先从心脏分割模块410裁剪的心脏三维核磁共振图像序列的某一视图序列中提取基于图像块的运动特征。采用LSTM-RNN网络，以时序图像块作为输入来解决这一问题。在图像序列上滑动一个窗口来生成二维+时间图像块。在本发明的一个实施例中，选用11×11像素的空间范围。在本发明的其他实施例中，可以使用其他尺寸的空间范围，例如N×N像素的空间范围。因为在一个心动周期有25核磁共振图像，在LSTM-RNN网络的最后一模块组装了一个高维向量(11×11×25大小)，该向量能够生成包括该像素的运动轨迹的三维图像块。由于网络是以滑动窗口的方式运行的，所以在滑动窗口经过ROI的所有像素后，在所有像素上提取局部运动信息。在RNN的训练过程中，使用门控机制来自动学习每个图像块在不同时间的不同，而忽略其他无用的信息。
RNN的输入是心脏分割模块生成的心脏三维核磁共振图像序列。
在我们的运动特征提取模块的实现中，输入图像I＝(I1，I2...IJ，J＝25)是64×64大小。滑动窗口是尺寸为11×11的空间片。这导致由J个图像组成的序列被展开为每个像素的矢量Pl(p)∈R11*11*J作为输入。假设我们知道前一时间步ht-1的隐藏状态帧，即当前的隐藏和输出模块时间步长可以计算为：
ht＝Φ(Wxh[ht-1,xt])
pt＝soft max(Whyht)
其中xt，ht和yt分别是每个时间步t的输入模块，隐藏模块和输出模块。Wxh和Why是两个矩阵，分别表示输入模块和隐藏模块之间的权重，以及隐藏模块和输出模块之间的权重。φ表示激活函数。
LSTM旨在减轻消失的梯度。因此，它包含许多存储单元，其中乘法门单元和自复流单元是两个基本构建块。除了隐藏模块向量ht之外，LSTM还具有存储器向量ct，输入门it，遗忘门ft和输出门ot。LSTM中的这三个门可以计算为：
ft＝σ(Wf·[ht-1,xt]+bf)
it＝σ(Wi·[ht-1,xt]+bi)
ot＝σ(Wo[ht-1,xt]+bo)
为了避免每模块过度拟合的问题:
其中Wt是权重矩阵，D是压差算子。最终存储单元和最终隐藏状态由下式给出：
ht＝ot⊙tanh(ct)
为了最小化LSTM在一组训练序列上的总误差，可以使用迭代梯度下降(例如反向传播到时间)来改变每个权重与其相对于误差的导数成比例。对于LSTM，当错误值从输出反向传播时，错误仍保留在单元的内存中。这个'错误轮播'不断地将错误反馈给每个门，直到他们学会切断价值。因此，定期反向传播在训练LSTM块以长时间记住值时是有效的。
使用FullFlow算法从ROI图像序列中计算全局运动特征。该算法可以生成不需要图像内容先验信息的密集向量场，其中每个像素的位移向量定义为该像素在后续图像中的位置。
考虑到相邻帧，参考图像I＝(IJ-1)和目标图像I’＝(IJ)，我们的目标是计算包含水平和垂直分量的流量w＝(u,v)T。流场将I中的每个像素p映射到I'中的q＝p+wp。目标函数是:
是4连接像素网格。I中每一个像素p与其在I中的四个邻居连接并在时间上连接到I中的个像素。
数据项ρD(p,wp,I,I’)惩罚连接不同像素p和p+wp的流场。在每个颜色通道中类似地计算归一化互相关(NCC)：
ρD(p，wp，I，I′)＝1-max(NCC，0)
正则化项ρ(wp-wq)可以展开为:
ρ(w)＝min(ρ(w1)+ρ(w2)，τ)
w1和w2是向量w的两个分量，ρ(·)是一个惩罚函数。正则化项还耦合流的水平和垂直分量。拉普拉斯重量Lp,q被用来衰减沿颜色不连续的正则化:
最后，对于每个图像IJ-1，我们在前向后向一致性检查中删除不一致的匹配，即计算从I到I’的向前流和从I到I’的向后流。为了得到子像素分辨率流，我们在前向后向校验后对结果进行了子像素插值。在这项工作中，我们使用了EpicFlow插值方案。一个完整的运动场wJ-1＝(uJ-1,vJ-1)然后参照下一个坐标系IJ计算。换句话说，我们已经学习(或获得)了整个ROI图像中相邻帧之间组织的运动场。
完全连接的判别模块430使用堆叠自动编码器(SAE)来联合学习基于图像块的运动特征和基于图像的运动特征，以提供ROI内每个像素的有效运动特征表示。这种联合学习是互利的，因为它不仅通过LSTM-RNN获得时间运动中心肌病变的空间相关性，而且还通过Demons算法补充图像块外的运动信息。由多模块稀疏自动编码器组成的SAE通过捕获这两个运动特征的有用“分模块分组”或“部分整体分解”来学习基于图像块和基于图像的运动特征作为共享表示。这种作为高维矢量(139)的共享表示表征了ROI内部像素运动的所有方面，并且集成了分类器(Softmax)以最终识别心肌像素运动异常。因此，这些模块使得能够直接描绘像素方式心肌病变而无需心肌边界的任何初步分割。
尽管上文描述了本发明的各实施例，但是，应该理解，它们只是作为示例来呈现的，而不作为限制。对于相关领域的技术人员显而易见的是，可以对其做出各种组合、变型和改变而不背离本发明的精神和范围。因此，此处所公开的本发明的宽度和范围不应被上述所公开的示例性实施例所限制，而应当仅根据所附权利要求书及其等同替换来定义。
Claims (10)
1.一种心脏核磁共振图像的分析系统，包括：
三维心脏分割模块，所述三维心脏分割模块对输入的心脏三维核磁共振图像序列进行分割，获得裁剪的心脏三维核磁共振图像序列；
运动特征提取模块，所述运动特征提取模块接收三维心脏分割模块的分割结果提取每个像素的基于图像块的运动特征和全局运动特征；以及
全连通判别模块，所述全连通判别模块在每个像素中建立运动特征和组织分类之间的对应关系。
2.如权利要求1所述的系统，其特征在于，所述心脏三维核磁共振图像包括横断面视图、矢状面视图和冠状面视图。
3.如权利要求2所述的系统，其特征在于，所述三维心脏分割模块通过U-net对心脏三维核磁共振图像的横断面视图、矢状面视图和冠状面视图分别进行图像分割，三个视图的分割结果进行自适应融合，形成立体分割结构。
4.如权利要求3所述的系统，其特征在于，所述三维心脏分割模块对分割结构进行连接性分析，包括：
计算横断面视图、矢状面视图和冠状面视图中每一个的残差量；
利用所述残差量确定与其他视图融合的强度。
5.如权利要求2所述的系统，其特征在于，所述运动特征提取模块对三维图像序列的横断面视图序列、矢状面视图序列和冠状面视图序列分别进行如下操作：
使用LSTM-RNN网络从序列中提取基于图像块的运动特征；以及
使用FullFlow算法从序列中计算全局运动特征。
6.如权利要求5所述的系统，其特征在于，所述LSTM-RNN网络使用11×11像素的滑动窗口。
7.一种基于多视图多感兴趣的区域U-Net的全心脏分割方法，包括：
接收三维心脏核磁扫描序列；
通过U-net对所述三维心脏核磁扫描序列的三个不同平面视图进行图像分割；以及
对三个不同平面视图的输出进行自适应融合，形成立体分割结构。
8.如权利要求7所述的方法，其特征在于，所述三维心脏核磁扫描序列是不同核磁机器上扫描出来的三维图像序列。
9.如权利要求7所述的方法，其特征在于，对分割结构进行连接性分析，包括：
计算横断面视图、矢状面视图和冠状面视图中每一个的残差量；
利用所述残差量确定与其他视图融合的强度。
10.如权利要求7所述的方法，其特征在于，为不同平面视图中的每一类分配可靠性参数，以改变不同平面的影响。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811502951.3A CN109727270B (zh) | 2018-12-10 | 2018-12-10 | 心脏核磁共振图像的运动机理和纹理特征分析方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811502951.3A CN109727270B (zh) | 2018-12-10 | 2018-12-10 | 心脏核磁共振图像的运动机理和纹理特征分析方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109727270A true CN109727270A (zh) | 2019-05-07 |
| CN109727270B CN109727270B (zh) | 2021-03-26 |
Family
ID=66294847
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811502951.3A Expired - Fee Related CN109727270B (zh) | 2018-12-10 | 2018-12-10 | 心脏核磁共振图像的运动机理和纹理特征分析方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109727270B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110136111A (zh) * | 2019-05-14 | 2019-08-16 | 深圳大学 | 一种心脏运动估计方法、系统及终端设备 |
| CN110570416A (zh) * | 2019-09-12 | 2019-12-13 | 杭州海睿博研科技有限公司 | 多模态心脏图像的可视化和3d打印的方法 |
| CN110580681A (zh) * | 2019-09-12 | 2019-12-17 | 杭州海睿博研科技有限公司 | 高分辨率心机运动模式分析装置和方法 |
| CN110969245A (zh) * | 2020-02-28 | 2020-04-07 | 北京深睿博联科技有限责任公司 | 医学图像的目标检测模型训练方法和装置 |
| CN111080602A (zh) * | 2019-12-12 | 2020-04-28 | 哈尔滨市科佳通用机电股份有限公司 | 铁路货车漏水孔异物检测方法 |
| CN111242928A (zh) * | 2020-01-14 | 2020-06-05 | 中国人民解放军陆军军医大学第二附属医院 | 基于多视角学习的心房全自动分割跟踪定位方法 |
| CN111798410A (zh) * | 2020-06-01 | 2020-10-20 | 深圳市第二人民医院(深圳市转化医学研究院) | 基于深度学习模型的癌细胞病理分级方法、装置、设备和介质 |
| CN112132878A (zh) * | 2020-11-03 | 2020-12-25 | 贵州大学 | 基于卷积神经网络的端到端大脑核磁共振图像配准方法 |
| CN112734770A (zh) * | 2021-01-06 | 2021-04-30 | 中国人民解放军陆军军医大学第二附属医院 | 一种基于多层级联的心脏核磁影像多序列融合分割方法 |
| CN114997029A (zh) * | 2022-07-19 | 2022-09-02 | 江苏域圆智能科技有限公司 | 一种心脏参数化快速模拟方法、装置及存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101103377A (zh) * | 2003-10-02 | 2008-01-09 | 美国西门子医疗解决公司 | 进行局部可变形运动分析的系统和方法 |
| CN101271527A (zh) * | 2008-02-25 | 2008-09-24 | 北京理工大学 | 一种基于运动场局部统计特征分析的异常行为检测方法 |
| CN104036544A (zh) * | 2014-06-25 | 2014-09-10 | 西安煤航信息产业有限公司 | 一种基于机载LiDAR数据的建筑物屋顶重建方法 |
| CN104622572A (zh) * | 2014-12-15 | 2015-05-20 | 上海昕健医疗技术有限公司 | 基于医学图像的个性化骨科定位片 |
| US20180177461A1 (en) * | 2016-12-22 | 2018-06-28 | The Johns Hopkins University | Machine learning approach to beamforming |
| CN108279692A (zh) * | 2018-01-17 | 2018-07-13 | 哈尔滨工程大学 | 一种基于lstm-rnn的uuv动态规划方法 |
| CN108376558A (zh) * | 2018-01-24 | 2018-08-07 | 复旦大学 | 一种多模态核磁共振影像病历报告自动生成方法 |
| CN108603922A (zh) * | 2015-11-29 | 2018-09-28 | 阿特瑞斯公司 | 自动心脏体积分割 |
| CN108764059A (zh) * | 2018-05-04 | 2018-11-06 | 南京邮电大学 | 一种基于神经网络的人体行为识别方法及系统 |
| CN108937934A (zh) * | 2018-05-07 | 2018-12-07 | 武汉科技大学 | 一种基于深度学习的人脑mri海马体检测与分割方法 |
-
2018
- 2018-12-10 CN CN201811502951.3A patent/CN109727270B/zh not_active Expired - Fee Related
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101103377A (zh) * | 2003-10-02 | 2008-01-09 | 美国西门子医疗解决公司 | 进行局部可变形运动分析的系统和方法 |
| CN101271527A (zh) * | 2008-02-25 | 2008-09-24 | 北京理工大学 | 一种基于运动场局部统计特征分析的异常行为检测方法 |
| CN104036544A (zh) * | 2014-06-25 | 2014-09-10 | 西安煤航信息产业有限公司 | 一种基于机载LiDAR数据的建筑物屋顶重建方法 |
| CN104622572A (zh) * | 2014-12-15 | 2015-05-20 | 上海昕健医疗技术有限公司 | 基于医学图像的个性化骨科定位片 |
| CN108603922A (zh) * | 2015-11-29 | 2018-09-28 | 阿特瑞斯公司 | 自动心脏体积分割 |
| US20180177461A1 (en) * | 2016-12-22 | 2018-06-28 | The Johns Hopkins University | Machine learning approach to beamforming |
| CN108279692A (zh) * | 2018-01-17 | 2018-07-13 | 哈尔滨工程大学 | 一种基于lstm-rnn的uuv动态规划方法 |
| CN108376558A (zh) * | 2018-01-24 | 2018-08-07 | 复旦大学 | 一种多模态核磁共振影像病历报告自动生成方法 |
| CN108764059A (zh) * | 2018-05-04 | 2018-11-06 | 南京邮电大学 | 一种基于神经网络的人体行为识别方法及系统 |
| CN108937934A (zh) * | 2018-05-07 | 2018-12-07 | 武汉科技大学 | 一种基于深度学习的人脑mri海马体检测与分割方法 |
Non-Patent Citations (1)
| Title |
|---|
| 孙正: ""基于非刚性运动分析理论的心脏运动估计"", 《光电工程》 * |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110136111B (zh) * | 2019-05-14 | 2021-08-10 | 深圳大学 | 一种心脏运动估计方法、系统及终端设备 |
| CN110136111A (zh) * | 2019-05-14 | 2019-08-16 | 深圳大学 | 一种心脏运动估计方法、系统及终端设备 |
| CN110570416A (zh) * | 2019-09-12 | 2019-12-13 | 杭州海睿博研科技有限公司 | 多模态心脏图像的可视化和3d打印的方法 |
| CN110580681A (zh) * | 2019-09-12 | 2019-12-17 | 杭州海睿博研科技有限公司 | 高分辨率心机运动模式分析装置和方法 |
| CN110580681B (zh) * | 2019-09-12 | 2020-11-24 | 杭州海睿博研科技有限公司 | 高分辨率心机运动模式分析装置和方法 |
| CN111080602A (zh) * | 2019-12-12 | 2020-04-28 | 哈尔滨市科佳通用机电股份有限公司 | 铁路货车漏水孔异物检测方法 |
| CN111242928A (zh) * | 2020-01-14 | 2020-06-05 | 中国人民解放军陆军军医大学第二附属医院 | 基于多视角学习的心房全自动分割跟踪定位方法 |
| CN110969245A (zh) * | 2020-02-28 | 2020-04-07 | 北京深睿博联科技有限责任公司 | 医学图像的目标检测模型训练方法和装置 |
| CN111798410A (zh) * | 2020-06-01 | 2020-10-20 | 深圳市第二人民医院(深圳市转化医学研究院) | 基于深度学习模型的癌细胞病理分级方法、装置、设备和介质 |
| CN112132878A (zh) * | 2020-11-03 | 2020-12-25 | 贵州大学 | 基于卷积神经网络的端到端大脑核磁共振图像配准方法 |
| CN112132878B (zh) * | 2020-11-03 | 2024-04-05 | 贵州大学 | 基于卷积神经网络的端到端大脑核磁共振图像配准方法 |
| CN112734770A (zh) * | 2021-01-06 | 2021-04-30 | 中国人民解放军陆军军医大学第二附属医院 | 一种基于多层级联的心脏核磁影像多序列融合分割方法 |
| CN112734770B (zh) * | 2021-01-06 | 2022-11-25 | 中国人民解放军陆军军医大学第二附属医院 | 一种基于多层级联的心脏核磁影像多序列融合分割方法 |
| CN114997029A (zh) * | 2022-07-19 | 2022-09-02 | 江苏域圆智能科技有限公司 | 一种心脏参数化快速模拟方法、装置及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109727270B (zh) | 2021-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109727270A (zh) | 心脏核磁共振图像的运动机理和纹理特征分析方法和系统 | |
| Amirkolaee et al. | Height estimation from single aerial images using a deep convolutional encoder-decoder network | |
| Fu et al. | Three dimensional fluorescence microscopy image synthesis and segmentation | |
| CN108986136B (zh) | 一种基于语义分割的双目场景流确定方法及系统 | |
| US11100401B2 (en) | Predicting depth from image data using a statistical model | |
| Lafarge et al. | Automatic building extraction from DEMs using an object approach and application to the 3D-city modeling | |
| US9626568B2 (en) | Use of spatially structured light for dynamic three dimensional reconstruction and reality augmentation | |
| CN102216957B (zh) | 图像中对象的视觉跟踪以及图像分割 | |
| CN109740608B (zh) | 一种基于深度学习的图像分割方法 | |
| US7724256B2 (en) | Fast graph cuts: a weak shape assumption provides a fast exact method for graph cuts segmentation | |
| CN107624189A (zh) | 用于生成预测模型的方法和设备 | |
| CN102142153A (zh) | 基于图像的三维模型的重建模方法 | |
| CN106952286A (zh) | 基于运动显著图和光流矢量分析的动态背景目标分割方法 | |
| CN113780389B (zh) | 基于一致性约束的深度学习半监督密集匹配方法及系统 | |
| Kang et al. | Context pyramidal network for stereo matching regularized by disparity gradients | |
| Zhang et al. | Removing Foreground Occlusions in Light Field using Micro-lens Dynamic Filter. | |
| CN114998362B (zh) | 基于双分割模型的医学图像分割方法 | |
| Liu et al. | A survey on deep learning methods for scene flow estimation | |
| Li et al. | 3DCentripetalNet: Building height retrieval from monocular remote sensing imagery | |
| Gupta et al. | A robust and efficient image de-fencing approach using conditional generative adversarial networks | |
| CN111696167A (zh) | 自范例学习引导的单张影像超分辨率重构方法 | |
| Li et al. | Topology-aware Road Extraction via Multi-task Learning for Autonomous Driving | |
| Chen et al. | Structure-aware neural radiance fields without posed camera | |
| Khadem | MRI Brain image segmentation using graph cuts | |
| Brockers et al. | Stereo vision using cost-relaxation with 3D support regions |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20200714 Address after: Room 1001-1008, 15 Block 57, Baiyang Street Science Park Road, Hangzhou Economic and Technological Development Zone, Zhejiang Province Applicant after: HANGZHOU DISHI TECHNOLOGY Co.,Ltd. Applicant after: DIGONG (HANGZHOU) SCIENCE AND TECHNOLOGY INDUSTRY Co.,Ltd. Address before: Room 1001-1008, 15 Block 57, Baiyang Street Science Park Road, Hangzhou Economic and Technological Development Zone, Zhejiang Province Applicant before: HANGZHOU DISHI TECHNOLOGY Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210326 |