CN110580681A - 高分辨率心机运动模式分析装置和方法 - Google Patents
高分辨率心机运动模式分析装置和方法 Download PDFInfo
- Publication number
- CN110580681A CN110580681A CN201910864545.XA CN201910864545A CN110580681A CN 110580681 A CN110580681 A CN 110580681A CN 201910864545 A CN201910864545 A CN 201910864545A CN 110580681 A CN110580681 A CN 110580681A
- Authority
- CN
- China
- Prior art keywords
- resolution
- image
- super
- motion
- cardiac
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 34
- 230000000747 cardiac effect Effects 0.000 title claims description 42
- 238000000034 method Methods 0.000 title claims description 18
- 238000013528 artificial neural network Methods 0.000 claims abstract description 36
- 238000012545 processing Methods 0.000 claims abstract description 26
- 238000013135 deep learning Methods 0.000 claims abstract description 18
- 239000000284 extract Substances 0.000 claims abstract description 5
- 210000005242 cardiac chamber Anatomy 0.000 claims description 18
- 238000001514 detection method Methods 0.000 claims description 16
- 230000002107 myocardial effect Effects 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 9
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 8
- 230000003287 optical effect Effects 0.000 claims description 8
- 230000000306 recurrent effect Effects 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 6
- 230000005856 abnormality Effects 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 17
- 208000010125 myocardial infarction Diseases 0.000 description 13
- 230000003902 lesion Effects 0.000 description 8
- 238000002595 magnetic resonance imaging Methods 0.000 description 8
- 238000012549 training Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 239000002872 contrast media Substances 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 229910052688 Gadolinium Inorganic materials 0.000 description 3
- 230000001684 chronic effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- UIWYJDYFSGRHKR-UHFFFAOYSA-N gadolinium atom Chemical compound [Gd] UIWYJDYFSGRHKR-UHFFFAOYSA-N 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000013256 Gubra-Amylin NASH model Methods 0.000 description 2
- 230000008602 contraction Effects 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003907 kidney function Effects 0.000 description 2
- 210000004165 myocardium Anatomy 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 239000000243 solution Substances 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 206010061216 Infarction Diseases 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013184 cardiac magnetic resonance imaging Methods 0.000 description 1
- 208000029078 coronary artery disease Diseases 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005206 flow analysis Methods 0.000 description 1
- 230000010247 heart contraction Effects 0.000 description 1
- 210000005003 heart tissue Anatomy 0.000 description 1
- 230000007574 infarction Effects 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 210000005240 left ventricle Anatomy 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000010016 myocardial function Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000035699 permeability Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000000250 revascularization Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Image Analysis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明公开了一种高分辨率心机运动模式分析装置，包括：超分辨率处理单元，所述超分辨率处理单元接收原始心脏图像，通过聚焦感兴趣的区域ROI的超分辨率神经网络对图像进行超分处理，得到超分辨率的图像；以及运动分析单元，运动分析单元通过深度学习框架提取经超分辨率处理的图像中的局部和全局运动特征。
Description
技术领域
本发明涉及图像处理领域，更具体而言，本发明涉及高分辨率心机运动模式分析装置和方法。
背景技术
现阶段心肌梗死的精准评估依赖于使用造影剂后的核磁扫描，但造影剂的使用有潜在危害，特别是一定程度上会影响患者的肾功能。心肌梗死和周围冬眠心肌的大小、范围是影响心肌梗死患者左心收缩功能的重要原因。患者是否应当接受再血管化治疗，需要评价患者治疗后心肌功能可能的恢复情况，例如超过心肌厚度的50％的心肌梗死厚度难以恢复功能。心脏磁共振成像(MRI)是评价心肌梗死和冬眠心肌的重要影像学方法，尤其是通过钆类对比剂的延迟强化序列能够准确评价心肌梗死的存在和范围。但是肾功能损害在患有冠状动脉疾病的患者中是常见的，并且如果严重，则不能进行用于心肌梗死(MI)评估的晚期钆增强(LGE)成像。
即便使用造影剂以获得医学图像，仍因图像分辨率不佳而阻碍图像数据的进一步分析诊治。用于图像增强的超分辨率(SR)在医学图像应用中具有重要意义。从广义上讲，有两种类型的SR，一种需要从同一对象的不同视图中的多个低分辨率(LR)图像重建为高分辨率(HR)输出，另一种依赖于大量学习训练数据集，即LR-HR对。在真实的临床环境中，从多视图获取图像是昂贵的并且有时是不可行的。为此，在基于GAN框架并不断优化图像分辨率方面已有诸多研究，但结果通常不尽如人意并且仍然远不能达到现实要求。
发明内容
本发明提出一种全新高分辨率新机运动模式分析方法。首先，通过对非造影剂增强心脏电影序列MRI的深入学习，从递归神经网络提取局部运动特征和并使用先进光流方法导出全局运动特征，建立慢性心肌梗死的自动描述框架。然后，基于生成对抗网络(GAN)的学习框架，从语义标签贴图自动生成高分辨率图像而无需人工辅助。解决了使用GAN从图像低分辨率版本生成高分辨率版本难度极大和目前获得的高分辨率图像结果中缺少细节和逼真纹理的两大技术难题。由此实现人工智能无创精准识别慢性心肌梗死。
根据本发明的一个实施例，提供一种高分辨率心机运动模式分析装置，包括：
超分辨率处理单元，所述超分辨率处理单元接收原始心脏图像，通过聚焦感兴趣的区域ROI的超分辨率神经网络对图像进行超分处理，得到超分辨率的图像；以及
运动分析单元，运动分析单元通过深度学习框架提取经超分辨率处理的图像中的局部和全局运动特征。
在本发明的一个实施例中，聚焦ROI的超分辨率神经网络包括：
ROI检测神经网络，用于接收原始心脏图像，利用最大池化残差块和输入尺度自由残差神经网络进行处理，输出ROI区域图像；
超分辨率图像生成器G，用于接收ROI区域图像，从ROI区域图像的低分辨率图像估计出高分辨率图像；
预训练的视觉几何组VGG和图像鉴别器D，用于根据真实有效的高分辨率图像找出超分辨率图像。
在本发明的一个实施例中，超分辨率图像生成器G使用超分辨率残差网络。
在本发明的一个实施例中，深度学习框架包括：
心脏腔室定位单元，使用Zelier和Fergus网络模型从输入的图像序列中定位心脏腔室；以及
运动特征提取单元，用于从递归神经网络RNN提取局部运动特征并使用先进光流方法导出全局运动特征。
在本发明的一个实施例中，所述深度学习框架还包括判别网络，使用堆叠自动编码器来联合学习局部运动特征和全局运动特征，以提供心脏腔室内每个像素的有效运动特征表示。
在本发明的一个实施例中，所述判别网络还包括分类器，用于识别心肌像素运动异常。
在本发明的一个实施例中，所述原始心脏图像是心脏电影核磁图像扫描序列。
根据本发明的另一个实施例，提供一种高分辨率心机运动模式分析方法，包括：
接收原始心脏图像；
通过聚焦感兴趣的区域ROI的超分辨率神经网络对图像进行超分辨率处理，得到超分辨率的图像；以及
通过深度学习框架提取经超分辨率处理的图像中的局部和全局运动特征。
在本发明的另一个实施例中，对图像进行超分辨率处理包括：
接收原始心脏图像，利用最大池化残差块和输入尺度自由残差神经网络进行处理，输出ROI区域图像；
从ROI区域图像的低分辨率图像估计出高分辨率图像；以及
根据真实有效的高分辨率图像找出超分辨率图像。
在本发明的另一个实施例中，通过深度学习框架提取经超分辨率处理的图像中的局部和全局运动特征包括：
使用Zelier和Fergus网络模型从输入的图像序列中定位心脏腔室；
从递归神经网络RNN提取局部运动特征；以及
使用先进光流方法导出全局运动特征。
附图说明
为了进一步阐明本发明的各实施例的以上和其它优点和特征，将参考附图来呈现本发明的各实施例的更具体的描述。可以理解，这些附图只描绘本发明的典型实施例，因此将不被认为是对其范围的限制。在附图中，为了清楚明了，相同或相应的部件将用相同或类似的标记表示。
图1示出根据本发明的一个实施例的高分辨率心机运动模式分析装置100的结构示意图。
图2示出根据本发明的一个实施例的聚焦ROI的超分辨率神经网络200的架构示意图。
图3示出根据本发明的一个实施例的ROI检测神经网络210的示意图。
图4示出根据本发明的一个实施例的超分辨率图像生成器G 220的示意图。
图5示出根据本发明的一个实施例的预训练的VGG 230和鉴别器D 240的示意图。
图6示出根据本发明的一个实施例的深度学习框架600。
图7示出根据本发明的一个实施例的心脏腔室定位单元610的结构示意图。
图8示出根据本发明的一个实施例的运动特征提取单元620的结构示意图。
图9示出根据本发明的一个实施例的判别网络630的结构示意图。
图10示出根据本发明的一个实施例的高分辨率心机运动模式分析方法的流程图。
具体实施方式
在以下的描述中，参考各实施例对本发明进行描述。然而，本领域的技术人员将认识到可在没有一个或多个特定细节的情况下或者与其它替换和/或附加方法、材料或组件一起实施各实施例。在其它情形中，未示出或未详细描述公知的结构、材料或操作以免使本发明的各实施例的诸方面晦涩。类似地，为了解释的目的，阐述了特定数量、材料和配置，以便提供对本发明的实施例的全面理解。然而，本发明可在没有特定细节的情况下实施。此外，应理解附图中示出的各实施例是说明性表示且不一定按比例绘制。
在本说明书中，对“一个实施例”或“该实施例”的引用意味着结合该实施例描述的特定特征、结构或特性被包括在本发明的至少一个实施例中。在本说明书各处中出现的短语“在一个实施例中”并不一定全部指代同一实施例。
本发明提出一种全自动的框架，通过对非增强心脏核磁共振电影成像的深度学习来描述慢性心肌梗死，并评估其准确性，以确定心肌梗死的存在、位置、透过性和大小，而不需要注射钆。
图1示出根据本发明的一个实施例的高分辨率心机运动模式分析装置100的结构示意图。该高分辨率心机运动模式分析装置100包括超分辨率处理单元110和运动分析单元120。
首先，超分辨率处理单元110对原始心脏图像进行超分辨率(SR)处理，使得低分辨率图像变成高分辨率，得到超分辨率(SR)图像。
在本发明的实施例中，原始心脏图像可以是心脏电影核磁图像CINE MRI。心脏电影核磁图像为扫描序列，主要描述的是心脏在收缩和扩张整个周期的运动过程，通常可包含25帧图像，图像本身看起来也是动态的(2D+t)，就是二维图像+第三维时间，其中二维图像是心脏的某一个截面。在本发明的其他实施例中，也可以将心脏电影核磁图像做成全心成像3D+t，即，三维图像+第四维时间。
图像超分辨率(SR)提供了一种替代且相对便宜的解决方案，用于在空间分辨率增强而非硬件改进方面改善医学图像的感知质量。在本发明的实施例中，对原始心脏图像进行超分处理是基于生成对抗网络GAN的，原始GAN模型不是很稳定，本发明提出基于WGAN(Wasserstein GAN)增加梯度惩罚GP(Gradient Penalty)。为了使本发明的超分模型会自动专注在感兴趣区域的超分上，在本发明的方案中加入感兴趣的区域ROI检测，由此使得后面的运动特征提取更加集中也更加准确。因此可将本发明所使用的超分辨率处理可以被称为聚焦ROI的超分辨率处理。感兴趣的区域ROI可以是但不限于病变区域。
图2示出根据本发明的一个实施例的聚焦ROI的超分辨率神经网络200的架构示意图。聚焦ROI的超分辨率神经网络200包括ROI检测神经网络210、超分辨率图像生成器G220、预训练的VGG(visual geometry group视觉几何组)230以及HR/SR图像鉴别器D 240。在应用生成对抗网络GAN之前,ROI检测神经网络210旨在从全尺寸LR图像和HR图像中检测感兴趣区域ROI。
具体而言，将全尺寸LR图像或HR图像输入到ROI检测神经网络210。ROI检测神经网络210采用最大池化残差块和输入尺度自由残差神经网络。图3示出根据本发明的一个实施例的ROI检测神经网络210的示意图。在两个残余块之后添加最大池化层，其包括四个卷积和批量归一化层之间的两个跳过连接。这有助于加快训练过程，并降低ROI检测任务的内存成本。ROI检测神经网络210的输出为感兴趣的区域，如图中方块所示。
生成对抗网络GAN包括超分辨率图像生成器G 220和HR/SR图像鉴别器D 240。超分辨率图像生成器G 220接收感兴趣的区域的图像。图4示出根据本发明的一个实施例的超分辨率图像生成器G 220的示意图。超分辨率图像生成器G 220旨在从感兴趣的区域的低分辨率图像ILR估计出尽可能逼真的SR图像ISR。如图4所示，超分辨率图像生成器G 220使用SR残差网络(SRResNet)作为生成器G，包括16个残余块，并跟随子像素卷积层。
预训练的VGG 230可以是预训练的19层VGG。鉴别器D 240旨在从真实有效的高分辨率图像IHR中将超分辨率图像找出来。图5示出根据本发明的一个实施例的预训练的VGG230和鉴别器D 240的示意图。
鉴别器D 240、预训练的VGG 230与超分辨率图像生成器G 220同时训练以生成感知上逼真的图像特征。通过感兴趣的区域的检测，该训练旨在解决：
其中和是可训练参数，lG和lD是G和D的损失函数。
对聚焦ROI的超分辨率神经网络200进行训练之后，对其进行实验评估，发现聚焦ROI的超分辨率神经网络200能够对多种下采样图像获得很高的精度。在评估中，定义如果病变100％被预测的ROI覆盖，则它是完美的检测，如果覆盖率为95％，则是可接受的检测。在第一案例中，2218幅图像是完美的检测(93.7％)，其他111幅是可接受的检测(98.4％)。在第二案例中，2109张图片是完美的检测(89.1％)，其他119张可接受的检测(94.1％)。
返回图1，运动分析单元120对超分辨率(SR)图像进行运动模式分析。具体而言，通过深度学习提取经超分辨率处理的心脏电影核磁图像中的局部和全局运动特征。具体而言，首先建立深度学习模型，通过该模型提取MRI图像中的代表性局部和全局运动特征，并将它们与LGE图像相关联。一旦该模型被训练，就可以在没有LGE图像的情况下预测心肌梗死MI位置、大小和透壁性。
图6示出根据本发明的一个实施例的深度学习框架600。如图6所述，深度学习框架600包括心脏腔室定位单元610和运动特征提取单元620。心脏腔室可以是左心室。
心脏腔室定位单元610是用于检测心脏腔室的定位深度网络。图7示出根据本发明的一个实施例的心脏腔室定位单元610的结构示意图。心脏腔室定位单元610使用Zelier和Fergus网络模型从输入的MRI图像序列中定位感兴趣的区域(ROI)，该ROI即为心脏腔室。
运动特征提取单元620从递归神经网络RNN提取局部运动特征并使用先进光流方法导出全局运动特征。图8示出根据本发明的一个实施例的运动特征提取单元620的结构示意图。本发明的框架(基于递归神经网络)可以压缩局部运动分布，同时从感兴趣区域时间序列中提取全局运动场并生成密集运动场以全面地表征局部和全局运动。如图8所示，上半部分为局部运动分析，下半部分为全局运动分析。
局部运动分析采用长短期记忆LSTM-RNN网络，以时序图像块作为输入来解决这一问题。在图像序列上滑动一个窗口来生成二维+时间图像块。在本发明的一个实施例中，选用11×11像素的空间范围。在本发明的其他实施例中，可以使用其他尺寸的空间范围，例如N×N像素的空间范围。因为在一个心动周期有25核磁共振图像，在LSTM-RNN网络的最后一模块组装了一个高维向量(11×11×25大小)，该向量能够生成包括该像素的运动轨迹的三维图像块。由于网络是以滑动窗口的方式运行的，所以在滑动窗口经过ROI的所有像素后，在所有像素上提取局部运动信息。在RNN的训练过程中，使用门控机制来自动学习每个图像块在不同时间的不同，而忽略其他无用的信息。
全局运动分析采用光流方法，首先对多个连续帧进行运动位移估计，然后进行密集运动流分析得到全局运动特征。
深度学习框架600还可任选地包括判别网络630。判别网络630使用堆叠自动编码器(SAE)来联合学习局部运动特征和全局运动特征，以提供ROI内每个像素的有效运动特征表示。图9示出根据本发明的一个实施例的判别网络630的结构示意图。首先将局部运动特征和全局运动特征进行连接，并输入到堆叠自动编码器进行联合学习。这种联合学习是互利的，因为它不仅通过LSTM-RNN获得时间运动中心肌病变的空间相关性，而且还通过Demons算法补充图像块外的运动信息。由多模块稀疏自动编码器组成的SAE通过捕获这两个运动特征的有用“分模块分组”或“部分整体分解”来学习基于图像块和基于图像的运动特征作为共享表示。这种作为高维矢量(139)的共享表示表征了ROI内部像素运动的所有方面，并且集成了分类器(Softmax)以最终识别心肌像素运动异常。因此，这些模块使得能够直接描绘像素方式心肌病变而无需心肌边界的任何初步分割。
图10示出根据本发明的一个实施例的高分辨率心机运动模式分析方法的流程图。首先，在步骤1010，对原始心脏图像进行超分辨率(SR)处理，使得低分辨率图像变成高分辨率，得到超分辨率(SR)图像。
在本发明的实施例中，原始心脏图像可以是心脏电影核磁图像CINE MRI。心脏电影核磁图像为扫描序列，主要描述的是心脏在收缩和扩张整个周期的运动过程，通常可包含25帧图像，图像本身看起来也是动态的(2D+t)，就是二维图像+第三维时间，其中二维图像是心脏的某一个截面。在本发明的其他实施例中，也可以将心脏电影核磁图像做成全心成像3D+t，即，三维图像+第四维时间。
图像超分辨率(SR)提供了一种替代且相对便宜的解决方案，用于在空间分辨率增强而非硬件改进方面改善医学图像的感知质量。在本发明的实施例中，对原始心脏图像进行超分处理是基于生成对抗网络GAN的，原始GAN模型不是很稳定，本发明提出基于WGAN(Wasserstein GAN)增加梯度惩罚GP(Gradient Penalty)。为了使本发明的超分模型会自动专注在感兴趣区域的超分上，在本发明的方案中加入感兴趣的区域ROI检测，由此使得后面的运动特征提取更加集中也更加准确。因此可将本发明所使用的超分辨率处理可以被称为聚焦ROI的超分辨率处理。感兴趣的区域ROI可以是但不限于病变区域。
然后，在步骤1020，对超分辨率(SR)图像进行运动分析。通过定位深度网络心脏腔室，可使用Zelier和Fergus网络模型从输入的MRI图像序列中定位感兴趣的区域(ROI)，该ROI即为心脏腔室。然后，进行运动特征提取，从递归神经网络RNN提取局部运动特征并使用先进光流方法导出全局运动特征。
可任选地，在步骤1030，基于局部运动特征和全局运动特征进行判别。使用堆叠自动编码器(SAE)来联合学习局部运动特征和全局运动特征，以提供ROI内每个像素的有效运动特征表示。首先将局部运动特征和全局运动特征进行连接，并输入到堆叠自动编码器进行联合学习。这种联合学习是互利的，因为它不仅通过LSTM-RNN获得时间运动中心肌病变的空间相关性，而且还通过Demons算法补充图像块外的运动信息。由多模块稀疏自动编码器组成的SAE通过捕获这两个运动特征的有用“分模块分组”或“部分整体分解”来学习基于图像块和基于图像的运动特征作为共享表示。这种作为高维矢量(139)的共享表示表征了ROI内部像素运动的所有方面，并且集成了分类器(Softmax)以最终识别心肌像素运动异常。因此，这些模块使得能够直接描绘像素方式心肌病变而无需心肌边界的任何初步分割。
对于心脏核磁数据固有分辨率低的问题，本发明使用超分辨率算法对原始数据进行超分辨率处理，然后，通过心肌运动模型对全心高分辨率数据进行分析。超级分辨率和运动模型生成可以同步进行。
本发明创新提出的深度学习模型将提取非增强心脏电影序列MRI图像中的代表性局部和全局运动特征，并将它们与LGE图像相关联，在没有LGE图像的情况下直接识别出梗死区域，同时识别精度达到像素级别
本发明提出最大池化残差块和输入尺度自由残差神经网络，有助于加快训练过程，并降低感兴趣区域(ROI)检测任务的内存成本(感兴趣区域包括病变和心脏组织结构)；同时采用SR残差网络(SRResNet)作为生成器G，以快速生成感知上逼真的图像特征。
本发明提出了监督GAN框架来合成医学图像，包括用于估计低分辨图像的发生器和用于区分高清晰度真实图像和生成图像的鉴别器。
本发明采用多尺度鉴别器，无需更深的网络或更大的卷积内核，即可生成高分辨率图像。
尽管上文描述了本发明的各实施例，但是，应该理解，它们只是作为示例来呈现的，而不作为限制。对于相关领域的技术人员显而易见的是，可以对其做出各种组合、变型和改变而不背离本发明的精神和范围。因此，此处所公开的本发明的宽度和范围不应被上述所公开的示例性实施例所限制，而应当仅根据所附权利要求书及其等同替换来定义。
Claims (10)
1.一种高分辨率心机运动模式分析装置，包括：
超分辨率处理单元，所述超分辨率处理单元接收原始心脏图像，通过聚焦感兴趣的区域ROI的超分辨率神经网络对图像进行超分处理，得到超分辨率的图像；以及
运动分析单元，运动分析单元通过深度学习框架提取经超分辨率处理的图像中的局部和全局运动特征。
2.如权利要求1所述的高分辨率心机运动模式分析装置，其特征在于，所述聚焦ROI的超分辨率神经网络包括：
ROI检测神经网络，用于接收原始心脏图像，利用最大池化残差块和输入尺度自由残差神经网络进行处理，输出ROI区域图像；
超分辨率图像生成器G，用于接收ROI区域图像，从ROI区域图像的低分辨率图像估计出超分辨率图像；
预训练的视觉几何组VGG和图像鉴别器D，用于根据真实有效的高分辨率图像找出超分辨率图像。
3.如权利要求2所述的高分辨率心机运动模式分析装置，其特征在于，所述超分辨率图像生成器G使用超分辨率残差网络。
4.如权利要求1所述的高分辨率心机运动模式分析装置，其特征在于，所述深度学习框架包括：
心脏腔室定位单元，使用Zelier和Fergus网络模型从输入的图像序列中定位心脏腔室；以及
运动特征提取单元，用于从递归神经网络RNN提取局部运动特征并使用先进光流方法导出全局运动特征。
5.如权利要求4所述的高分辨率心机运动模式分析装置，其特征在于，所述深度学习框架还包括判别网络，使用堆叠自动编码器来联合学习局部运动特征和全局运动特征，以提供心脏腔室内每个像素的有效运动特征表示。
6.如权利要求5所述的高分辨率心机运动模式分析装置，其特征在于，所述判别网络还包括分类器，用于识别心肌像素运动异常。
7.如权利要求1所述的高分辨率心机运动模式分析装置，其特征在于，所述原始心脏图像是心脏电影核磁图像扫描序列。
8.一种高分辨率心机运动模式分析方法，包括：
接收原始心脏图像；
通过聚焦感兴趣的区域ROI的超分辨率神经网络对图像进行超分辨率处理，得到超分辨率的图像；以及
通过深度学习框架提取经超分辨率处理的图像中的局部和全局运动特征。
9.如权利要求8所述的高分辨率心机运动模式分析方法，其特征在于，对图像进行超分辨率处理包括：
接收原始心脏图像，利用最大池化残差块和输入尺度自由残差神经网络进行处理，输出ROI区域图像；
从ROI区域图像的低分辨率图像估计出高分辨率图像；以及
根据真实有效的高分辨率图像找出超分辨率图像。
10.如权利要求8所述的高分辨率心机运动模式分析方法，其特征在于，通过深度学习框架提取经超分辨率处理的图像中的局部和全局运动特征包括：
使用Zelier和Fergus网络模型从输入的图像序列中定位心脏腔室；
从递归神经网络RNN提取局部运动特征；以及
使用先进光流方法导出全局运动特征。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910864545.XA CN110580681B (zh) | 2019-09-12 | 2019-09-12 | 高分辨率心机运动模式分析装置和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910864545.XA CN110580681B (zh) | 2019-09-12 | 2019-09-12 | 高分辨率心机运动模式分析装置和方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110580681A true CN110580681A (zh) | 2019-12-17 |
| CN110580681B CN110580681B (zh) | 2020-11-24 |
Family
ID=68812322
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910864545.XA Expired - Fee Related CN110580681B (zh) | 2019-09-12 | 2019-09-12 | 高分辨率心机运动模式分析装置和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110580681B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111325667A (zh) * | 2020-03-09 | 2020-06-23 | Oppo广东移动通信有限公司 | 图像处理方法及相关产品 |
| CN111539337A (zh) * | 2020-04-26 | 2020-08-14 | 上海眼控科技股份有限公司 | 车辆姿态矫正方法、装置及设备 |
| WO2022184736A1 (en) * | 2021-03-05 | 2022-09-09 | Koninklijke Philips N.V. | Processing medical imaging data generated by a medical imaging device |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9760807B2 (en) * | 2016-01-08 | 2017-09-12 | Siemens Healthcare Gmbh | Deep image-to-image network learning for medical image analysis |
| CN107945179A (zh) * | 2017-12-21 | 2018-04-20 | 王华锋 | 一种基于特征融合的卷积神经网络的肺结节良恶性检测方法 |
| CN107977932A (zh) * | 2017-12-28 | 2018-05-01 | 北京工业大学 | 一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法 |
| CN108376386A (zh) * | 2018-03-23 | 2018-08-07 | 深圳天琴医疗科技有限公司 | 一种图像的超分辨率模型的构建方法及装置 |
| US20180293737A1 (en) * | 2017-04-07 | 2018-10-11 | Nvidia Corporation | System and method for optical flow estimation |
| CN108734660A (zh) * | 2018-05-25 | 2018-11-02 | 上海通途半导体科技有限公司 | 一种基于深度学习的图像超分辨率重建方法及装置 |
| CN108830252A (zh) * | 2018-06-26 | 2018-11-16 | 哈尔滨工业大学 | 一种融合全局时空特征的卷积神经网络人体动作识别方法 |
| EP3441909A1 (en) * | 2017-08-09 | 2019-02-13 | Samsung Electronics Co., Ltd. | Lane detection method and apparatus |
| US20190096057A1 (en) * | 2017-05-11 | 2019-03-28 | Jacob Nathaniel Allen | Object inspection system and method for inspecting an object |
| CN109584246A (zh) * | 2018-11-16 | 2019-04-05 | 成都信息工程大学 | 基于多尺度特征金字塔的dcm心肌诊疗放射影像分割方法 |
| CN109727270A (zh) * | 2018-12-10 | 2019-05-07 | 杭州帝视科技有限公司 | 心脏核磁共振图像的运动机理和纹理特征分析方法和系统 |
| CN110210383A (zh) * | 2019-05-31 | 2019-09-06 | 北京工业大学 | 一种融合运动模式和关键视觉信息的篮球视频语义事件识别方法 |
-
2019
- 2019-09-12 CN CN201910864545.XA patent/CN110580681B/zh not_active Expired - Fee Related
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9760807B2 (en) * | 2016-01-08 | 2017-09-12 | Siemens Healthcare Gmbh | Deep image-to-image network learning for medical image analysis |
| US20180293737A1 (en) * | 2017-04-07 | 2018-10-11 | Nvidia Corporation | System and method for optical flow estimation |
| US20190096057A1 (en) * | 2017-05-11 | 2019-03-28 | Jacob Nathaniel Allen | Object inspection system and method for inspecting an object |
| EP3441909A1 (en) * | 2017-08-09 | 2019-02-13 | Samsung Electronics Co., Ltd. | Lane detection method and apparatus |
| CN107945179A (zh) * | 2017-12-21 | 2018-04-20 | 王华锋 | 一种基于特征融合的卷积神经网络的肺结节良恶性检测方法 |
| CN107977932A (zh) * | 2017-12-28 | 2018-05-01 | 北京工业大学 | 一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法 |
| CN108376386A (zh) * | 2018-03-23 | 2018-08-07 | 深圳天琴医疗科技有限公司 | 一种图像的超分辨率模型的构建方法及装置 |
| CN108734660A (zh) * | 2018-05-25 | 2018-11-02 | 上海通途半导体科技有限公司 | 一种基于深度学习的图像超分辨率重建方法及装置 |
| CN108830252A (zh) * | 2018-06-26 | 2018-11-16 | 哈尔滨工业大学 | 一种融合全局时空特征的卷积神经网络人体动作识别方法 |
| CN109584246A (zh) * | 2018-11-16 | 2019-04-05 | 成都信息工程大学 | 基于多尺度特征金字塔的dcm心肌诊疗放射影像分割方法 |
| CN109727270A (zh) * | 2018-12-10 | 2019-05-07 | 杭州帝视科技有限公司 | 心脏核磁共振图像的运动机理和纹理特征分析方法和系统 |
| CN110210383A (zh) * | 2019-05-31 | 2019-09-06 | 北京工业大学 | 一种融合运动模式和关键视觉信息的篮球视频语义事件识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| 杨伟铭等: "基于并行残差卷积网络的图像超分辨重建", 《空军工程大学学报(自然科学版)》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111325667A (zh) * | 2020-03-09 | 2020-06-23 | Oppo广东移动通信有限公司 | 图像处理方法及相关产品 |
| WO2021179826A1 (zh) * | 2020-03-09 | 2021-09-16 | Oppo广东移动通信有限公司 | 图像处理方法及相关产品 |
| CN111325667B (zh) * | 2020-03-09 | 2023-05-30 | Oppo广东移动通信有限公司 | 图像处理方法及相关产品 |
| CN111539337A (zh) * | 2020-04-26 | 2020-08-14 | 上海眼控科技股份有限公司 | 车辆姿态矫正方法、装置及设备 |
| WO2022184736A1 (en) * | 2021-03-05 | 2022-09-09 | Koninklijke Philips N.V. | Processing medical imaging data generated by a medical imaging device |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110580681B (zh) | 2020-11-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11101033B2 (en) | Medical image aided diagnosis method and system combining image recognition and report editing | |
| Wang et al. | Quantification of full left ventricular metrics via deep regression learning with contour-guidance | |
| CN109727270B (zh) | 心脏核磁共振图像的运动机理和纹理特征分析方法和系统 | |
| CN111476805B (zh) | 一种基于多重约束的跨源无监督域适应分割模型 | |
| CN110580681B (zh) | 高分辨率心机运动模式分析装置和方法 | |
| Ecabert et al. | Automatic model-based segmentation of the heart in CT images | |
| US9186062B2 (en) | System and method for providing 2-dimensional computerized- tomography image corresponding to 2-dimensional ultrasound image | |
| RU2653274C2 (ru) | Связанная сегментация в стандартных и контрастных ультразвуковых 3d-изображениях | |
| CN109598722B (zh) | 基于递归神经网络的图像分析方法 | |
| CN113781440B (zh) | 超声视频病灶检测方法及装置 | |
| US8948484B2 (en) | Method and system for automatic view planning for cardiac magnetic resonance imaging acquisition | |
| KR20230059799A (ko) | 병변 검출을 위해 공동 훈련을 이용하는 연결형 머신 러닝 모델 | |
| US6289135B1 (en) | Electronic image processing device for the detection of motions | |
| Patias | Medical imaging challenges photogrammetry | |
| El-Baz et al. | A novel image analysis approach for accurate identification of acute renal rejection | |
| Dubuisson-Jolly et al. | Optimal polyline tracking for artery motion compensation in coronary angiography | |
| Kumar et al. | Cardiac disease detection from echocardiogram using edge filtered scale-invariant motion features | |
| US20220270259A1 (en) | System and method for machine learning based trackingless imaging volume reconstruction | |
| CN115349845A (zh) | 一种基于深度学习从心脏磁共振图像序列中直接划定心肌梗死区域的方法及装置 | |
| Choy et al. | Extracting endocardial borders from sequential echocardiographic images | |
| Baracho et al. | A hybrid neural system for the automatic segmentation of the interventricular septum in echocardiographic images | |
| CA3104607A1 (en) | Contrast-agent-free medical diagnostic imaging | |
| Elnakib et al. | A new framework for automated segmentation of left ventricle wall from contrast enhanced cardiac magnetic resonance images | |
| Bosch et al. | Overview of automated quantitation techniques in 2D echocardiography | |
| Zhang et al. | Feature Point Extraction and Motion Tracking of Cardiac Color Ultrasound under Improved Lucas–Kanade Algorithm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20200630 Address after: 310018 room 1003-1, building 15, No.57, Keji Garden Road, Baiyang street, Hangzhou Economic and Technological Development Zone, Zhejiang Province Applicant after: Hangzhou hailui Boyan Technology Co.,Ltd. Applicant after: DIGONG (HANGZHOU) SCIENCE AND TECHNOLOGY INDUSTRY Co.,Ltd. Address before: 310018 room 1003-1, building 15, No.57, Keji Garden Road, Baiyang street, Hangzhou Economic and Technological Development Zone, Zhejiang Province Applicant before: Hangzhou hailui Boyan Technology Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20201124 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |