CN110148150B - 稠密连接非对称层次网络训练方法及心脏运动场估计方法 - Google Patents

稠密连接非对称层次网络训练方法及心脏运动场估计方法 Download PDF

Info

Publication number
CN110148150B
CN110148150B CN201910536274.5A CN201910536274A CN110148150B CN 110148150 B CN110148150 B CN 110148150B CN 201910536274 A CN201910536274 A CN 201910536274A CN 110148150 B CN110148150 B CN 110148150B
Authority
CN
China
Prior art keywords
layer
network
dense
image
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910536274.5A
Other languages
English (en)
Other versions
CN110148150A (zh
Inventor
甘梓誉
杨烜
裴继红
杨博乾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN201910536274.5A priority Critical patent/CN110148150B/zh
Publication of CN110148150A publication Critical patent/CN110148150A/zh
Application granted granted Critical
Publication of CN110148150B publication Critical patent/CN110148150B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac

Abstract

本发明公开了一种稠密连接非对称层次网络训练方法及心脏运动场估计方法，针对心脏运动估计问题，利用稠密连接的编码‑解码的非对称深度学习网络，提取两幅相邻时间点Cine MR图像中左心室的多尺度特征，通过编码‑解码结构网络将不同尺度特征进行融合，以决策像素点的位移量。其中稠密连接网络的引入减轻了梯度消失现象，通过左心室特征的融合，更有效地利用了左心室特征，并且具备较少的网络参数。其中非对称的网络结构可以得到等间距的稀疏形变场，进一步利用B样条插值得到平滑的稠密形变场。在网络训练的目标函数中引入了形变场的扭曲能量约束，改善了形变场的平滑性，可以得到更稳定合理的心脏运动场，以用于心血管疾病的量化分析。

Description

稠密连接非对称层次网络训练方法及心脏运动场估计方法
技术领域
本发明涉及图像处理技术领域，尤其涉及一种稠密连接非对称层次网络训练方法及心脏运动场估计方法。
背景技术
利用心脏影像分析其解剖结构及运动变化在心脏疾病诊断中具有重要作用，是心脏疾病诊断与制定治疗方案的重要手段。心脏运动估计是利用不同时间点的心脏图像序列，估计心脏形变函数，再通过插值拟合出心脏的连续运动模型。利用这种连续运动模型可以估计心脏在任意时刻的状态，完成精确的心血管结构和功能量化，描述心脏在运动过程中的心输出量和射血分数、心肌应变等指标，预测心脏上病变位置的运动轨迹以及检测病变周围组织的变化情况，对冠心病的发现和治疗提供了很大帮助。
心脏运动估计可分为基于灰度信息相似性的方法和基于几何特征的方法。基于灰度信息相似性的方法定义两个心脏图像之间的相似性度量，例如互信息、相关系数、强度差等，然后利用形变函数对浮动图像进行形变，求解形变参数，使相似性度量达到最优。基于灰度信息相似性的方法中的一类是基于B样条自由形变(FFD)的配准方法(简称FFD配准方法)是基于灰度相似性的心脏运动估计中常用的一类方法。FFD配准方法的优点是B样条具有局部特性，其局部区域的变化不会影响到其他区域的配准，同时其形变自由且光滑，缺点是由于形变过于自由，容易导致形变结果发生剧烈变化，拓扑结构不能保持，需要对形变增加约束条件。基于灰度信息相似性的方法中的另一类是光流法，光流法是将弹性配准过程理解为源图像的每个体素点逐渐向目标图像对应体素扩散的过程，源图像的每个体素的扩散速度由目标图像的强度梯度决定。光流法能估计密集形变场，但是估计局部存在较大形变的位移场时存在困难，另外，光流亮度守恒约束条件不适合待配准图像的所有区域，如MR图像的亮度不均匀，局部病灶异常等情况。
基于几何特征的方法是定义反映心脏解剖结构的形状模型，然后寻找不同时间点心脏形状之间的对应关系，以估计形变函数。常用的形状描述包括点集、面、三角剖分、骨架、基函数的参数描述法等，其中点集、面、三角剖分是比较常用的形状描述方法。点集是心脏形状描述中最常用的方法，基于点集匹配的图像配准方法常用在心脏运动估计中，这类方法提取心室的解剖标志点，通过使点集间距离最小完成点集匹配，从而寻找点集之间的对应关系及形变函数。
早期的心脏运动模型估计主要是基于tagged MR成像中的标志点跟踪，但是这种成像的标志点随着心动周期变化会逐渐消失，造成跟踪困难。而cine MR成像分辨率较高，具有较好的成像对比度，但是由于心肌部分具有相似的成像强度而难以确定对应关系，使心肌运动估计变得困难。目前的心脏运动估计希望利用cine MR成像清晰的特点，实现高精度的运动估计，但目前还没有基于深度学习的面向cine MR的心脏运动估计方法。
发明内容
本发明主要目的在于，提供一种稠密连接非对称层次网络训练方法及心脏运动场估计方法，以解决传统Cine MR成像的心脏运动估计问题，得到更稳定合理的心脏运动场。
本发明是通过如下技术方案实现的：
一种稠密连接非对称层次网络训练方法，包括如下步骤：
步骤A1：构建稠密连接的编码-解码的非对称深度学习网络；
步骤A2：为所述非对称深度学习网络设置网络参数；
步骤A3：输入相邻时间点的两幅Cine MR左心室图像；
步骤A4：利用所述非对称深度学习网络，对所述相邻时间点的两幅Cine MR左心室图像进行多尺度特征提取，并根据所述网络参数计算稀疏形变场；
步骤A5：利用B样条对所述稀疏形变场进行插值，构建稠密位移场；
步骤A6：利用稠密位移场对所述相邻时间点的两幅Cine MR左心室图像中的源图像进行形变；
步骤A7：计算形变后的源图像与目标图像之间的目标函数；
步骤A8：判断迭代次数是否达到设置值，若是，则结束，得到稠密连接非对称层次网络，否则，转步至步骤A9；
步骤A9：计算目标函数关于所述网络参数的导数，并据此调整所述所述网络参数，并返回步骤A2。
进一步地，所述编码层包括三层不同分辨率的稠密连接网络，其中；
第一层稠密级联网络包含三个级联的卷积层，两个输入的图像级联作为第一个卷积层的输入数据，第一个卷积层的输出数据和两个输入图像级联作为第二个卷积层的输入数据；第二个卷积层的输出数据和两个输入图像以及第一个卷积层的输出数据级联作为第三个卷积层的输入数据，第三个卷积层的输出数据作为所述第一层稠密级联网络的输出数据；
第一层稠密级联网络的输出数据经过一个下采样处理减小空间维度后作为第二层稠密级联网络的输入数据；
第二层稠密级联网络的输出数据再经过一个下采样处理进一步减小空间维度后作为第三层稠密级联网络的输入数据；
所述解码层包括一层稠密连接网络，所述一层稠密连接网络包括四个级联的卷积层，其中：
所述编码层中的第三层稠密级联网络的输出数据通过上采样处理将空间维度增大后与编码层中的第二层稠密级联网络的输出数据级联作为解码层中第一个卷积层的输入数据；
第一个卷积层的输出数据与输入数据级联后作为第二个卷积层的输入数据；
第二个卷积层的输出数据与第一个卷积层的输出数据与输入数据级联后作为第三个卷积层的输入数据；
如此不断级联，经过第四个卷积层，产生等间距空间位置的位移量，构成稀疏形变场。
进一步地，所述编码层中，每一个稠密连接网络中的卷积层的运算关系为：
Figure BDA0002101271990000031
其中，wm,n是卷积核系数，x(i,j)是图像强度，y(i,j)是图像(i,j)坐标处卷积核的输出值，m和n是卷积核参数的行、列下标。
进一步地，所述下采样处理是通过跨步卷积实现的，所述上采样处理是通过将一个数据复制为四个相同的数据完成的。
进一步地，所述步骤A5中，采用B样条插值算法，利用等间距空间位置的位移量进行插值，得到稠密位移场；所述步骤A6中，采用双线性插值算法，利用稠密位移场对源图像进行形变，得到形变后的源图像。
进一步地，所述目标函数为形变后的源图像I′t,k与目标图像It,k+1之间的归一化相关函数与形变场扭曲能量之和，设所述目标函数为loss，其计算公式如下：
loss＝NCC+BE
Figure BDA0002101271990000041
Figure BDA0002101271990000042
其中，Ω为图像域，L为以(x,y)为中心的局部邻域，
Figure BDA0002101271990000043
是I′t,k在L邻域的平均强度值，
Figure BDA0002101271990000044
是It,k+1在L邻域的平均强度值，ft是源图像It,k与目标图像It,k+1之间的形变函数。
进一步地，假设第i个网络参数为wi，计算
Figure BDA0002101271990000045
则网络参数wi调整为w′i＝wi+γΔwi，其中γ是学习速率，根据自适应随机梯度下降算法自动确定。
一种心脏运动场估计方法，包括如下步骤：
步骤B1：将相邻时间点的两幅Cine MR左心室图像输入通过上述训练方法训练好的稠密连接非对称层次网络；
步骤B2：利用所述稠密连接非对称层次网络计算稀疏形变场；
步骤B3：利用B样条对所述稀疏形变场进行插值，构建稠密位移场；
步骤B4：判断是否所有相邻时间点的左心室图像都已处理，如果是，则将得到的多个相邻时间的稠密位移场进行函数复合，得到从舒张末期到收缩末期左心室的形变场，并将其作为心脏的运动估计场，否则跳转至步骤B1。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现上述训练方法或上述估计方法。
一种电子装置，包括存储器、处理器及存储在所述存储器中并可在所述处理器中运行的计算机程序，所述处理器执行所述计算机程序时，实现上述训练方法或上述估计方法。
本发明与现有技术相比，具有以下优点和有益效果：
本发明提供的针对心脏运动估计问题，利用稠密连接的编码-解码的非对称深度学习网络，提取两幅相邻时间点Cine MR图像中左心室的多尺度特征，通过编码-解码结构网络将不同尺度特征进行融合，以决策像素点的位移量。其中稠密连接网络的引入减轻了梯度消失现象，通过左心室特征的融合，更有效地利用了左心室特征，并且具备较少的网络参数。其中非对称的网络结构可以得到等间距的稀疏形变场，进一步利用B样条插值得到平滑的稠密形变场。在网络训练的目标函数中引入了形变场的扭曲能量约束，改善了形变场的平滑性，可以得到更稳定合理的心脏运动场，以用于心血管疾病的量化分析。
附图说明
图1是本发明第一实施例心脏运动场估计方法的流程示意图；
图2是本发明第二实施例稠密连接非对称层次网络的结构示意图。
具体实施方式
为使得本申请的发明目的、特征、优点能够更加的明显和易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而非全部实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，在本文中，术语“包括”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。
本发明第一实施例提供了一种心脏运动场估计方法，该估计方法基于训练出的稠密连接非对称层次网络。该稠密连接非对称层次网络训练方法包括如下步骤：
步骤A1：构建稠密连接的编码-解码的非对称深度学习网络。
稠密连接的编码-解码的非对称深度学习网络由编码层和解码层组成。
编码层包括三层不同分辨率的稠密连接网络，其中：
第一层稠密级联网络包含三个级联的卷积层，两个输入的图像级联作为第一个卷积层的输入数据，第一个卷积层的输出数据和两个输入图像级联作为第二个卷积层的输入数据。第二个卷积层的输出数据和两个输入图像以及第一个卷积层的输出数据级联作为第三个卷积层的输入数据，第三个卷积层的输出数据作为第一层稠密级联网络的输出数据。前两个卷积层的卷积核大小为3*3，卷积核的个数为16，第三个卷积层的卷积核大小为1*1，卷积核的个数为16，对数据进行降维。
第一层稠密级联网络的输出数据经过一个下采样处理减小空间维度后作为第二层稠密级联网络的输入数据。具体来说，第一层稠密级联网络的输出数据通过下采样处理后，其空间维度从原始Cine MR图像大小n×n减小为
Figure BDA0002101271990000061
然后作为第二层稠密级联网络的输入数据。
第二层稠密级联网络的结构与第一层稠密级联网络相似，卷积核大小为3*3，卷积核的个数为32。第二层稠密级联网络的输出数据再经过一个下采样处理进一步减小空间维度后作为第三层稠密级联网络的输入数据。具体来说，第二层稠密级联网络的输出数据再经过一个下采样处理后，其空间维度从
Figure BDA0002101271990000062
减小为
Figure BDA0002101271990000063
然后作为第三层稠密级联网络的输入数据。第三层稠密级联网络的结构与第二层稠密级联网络相似，卷积核大小为3*3，卷积核的个数为64。
解码层包括一层稠密连接网络，一层稠密连接网络包括四个级联的卷积层，其中：
编码层中的第三层稠密级联网络的输出数据通过上采样处理将空间维度增大后与编码层中的第二层稠密级联网络的输出数据级联作为解码层中第一个卷积层的输入数据。具体来说，编码层中的第三层稠密级联网络的输出数据通过上采样处理后，其空间维度从
Figure BDA0002101271990000064
增大为
Figure BDA0002101271990000065
第一个卷积层的输出数据与输入数据级联后作为第二个卷积层的输入数据。
第二个卷积层的输出数据与第一个卷积层的输出数据与输入数据级联后作为第三个卷积层的输入数据。
如此不断级联，经过第四个卷积层，产生等间距空间位置的位移量，构成稀疏形变场。解码层中所有卷积核大小均为3*3，前三个卷积层的卷积核个数为32，第四个卷积层的卷积核个数为2，分别表示稀疏像素点在x和y方向的位移量。
步骤A2：为非对称深度学习网络设置网络参数。
步骤A3：输入相邻时间点的两幅Cine MR左心室图像；
步骤A4：利用非对称深度学习网络，对相邻时间点的两幅Cine MR左心室图像进行多尺度特征提取，并根据网络参数计算稀疏形变场。
Cine MR图像序列是由N+1个连续时间点的三维心脏MR图像组成，可表示为I＝{It|t＝0,…,N}。相邻时间点的Cine MR图像即为It和It+1，取It和It+1在长轴方向相对应第k个切片It,k和It+1,k作为输入图像，假设源图像为It,k，目标图像为It+1,k。输入的图像对作为编码层输入，通过三层不同分辨率的稠密连接网络计算其输出的编码特征，编码层中每一个稠密连接网络中的卷积层的运算关系均为：
Figure BDA0002101271990000071
其中，wm,n是卷积核系数，x(i,j)是图像强度，y(i,j)是图像(i,j)坐标处卷积核的输出值，m和n是卷积核参数的行、列下标。
第一层的稠密连接网络的输出，经过一个下采样操作得到大尺度特征。下采样处理是通过跨步卷积实现的。跨步卷积是在图像空间位置(i,j)处完成卷积后，下一次将在图像位置(i,j+2)处完成卷积运算，当图像中第i行处理完后，下一次处理第i+2行，这样得到的输出结果就从原图像的n×n分辨率下降到
Figure BDA0002101271990000072
分辨率。
第三层的稠密连接网络的输出，经过一个上采样操作得到小尺度特征。上采样处理是通过将一个数据复制为四个相同的数据完成的，这样得到的输出结果就从
Figure BDA0002101271990000081
分辨率上升到分辨率
Figure BDA0002101271990000082
步骤A5：利用B样条对稀疏形变场进行插值，构建稠密位移场。
解码层得到有
Figure BDA0002101271990000083
个间距相同的控制点的位移量，每个控制点的位移量表示为
Figure BDA0002101271990000084
利用B样条构建的插值函数ft(x,y)为
Figure BDA0002101271990000085
其中，
Figure BDA0002101271990000086
Figure BDA0002101271990000087
B0(u)＝(1-u)3/6,B1(u)＝(3u3-6u2+4)/6,B2(u)＝(-3u3+3u2+3u+1)/6,B3(u)＝u3/6。在该步骤中，可采用B样条插值算法，利用等间距空间位置的位移量进行插值，得到稠密位移场。插值函数ft(x,y)也就是稠密位移场。
步骤A6：利用稠密位移场对相邻时间点的两幅Cine MR左心室图像中的源图像进行形变。该步骤中采用双线性插值算法，利用稠密位移场ft(x,y)对源图像It,k进行形变，得到形变后的源图像I′t,k。
步骤A7：计算形变后的源图像与目标图像之间的目标函数。
目标函数为形变后的源图像I′t,k与目标图像It,k+1之间的归一化相关函数与形变场扭曲能量之和，设目标函数为loss，其计算公式如下：
loss＝NCC+BE
Figure BDA0002101271990000088
Figure BDA0002101271990000089
其中，Ω为图像域，L为以(x,y)为中心的局部邻域，
Figure BDA00021012719900000810
是I′t,k在L邻域的平均强度值，
Figure BDA00021012719900000811
是It,k+1在L邻域的平均强度值，ft是源图像It,k与目标图像It,k+1之间的形变函数。
步骤A8：判断迭代次数是否达到设置值，若是，则结束，得到稠密连接非对称层次网络，否则，转步至步骤A9。
步骤A9：计算目标函数关于网络参数的导数，并据此调整网络参数，并返回步骤A2。
假设第i个网络参数为wi，计算
Figure BDA0002101271990000091
则网络参数wi调整为w′i＝wi+γΔwi，其中γ是学习速率，根据自适应随机梯度下降算法自动确定。
当该稠密连接非对称层次网络训练完成之后，就可以利用该网络进行心脏运动估计了，有鉴于此，本发明第二实施例提供了一种心脏运动场估计方法，基于本发明第一实施例训练方法训练出的稠密连接非对称层次网络。该估计方法包括如下步骤：
步骤B1：将相邻时间点的两幅Cine MR左心室图像输入通过上述训练方法训练好的稠密连接非对称层次网络。
步骤B2：利用稠密连接非对称层次网络计算稀疏形变场。
步骤B3：利用B样条对稀疏形变场进行插值，构建稠密位移场。
步骤B4：判断是否所有相邻时间点的左心室图像都已处理，如果是，则将得到的多个相邻时间的稠密位移场进行函数复合，得到从舒张末期到收缩末期左心室的形变场，并将其作为心脏的运动估计场，否则跳转至步骤B1。
估计方法的各步骤中，步骤B1、步骤B2及步骤B3的具体实施方式可参考训练方法中的步骤A3、步骤A4和步骤A5的说明，在此不再赘述。假设舒张末期的图像为I0,收缩末期的图像为IN,通过步骤B1-B3可以得到N个形变场序列f1,…,fN，分别表示从I0到I1，I1到I2，...,IN-1到IN等时间点的形变场。如所有相邻时间点的左心室图像都已处理，然后进行函数复合f＝fN(fN-1(…f2(f1)))，得到从舒张末期到收缩末期左心室的形变场，并将其作为心脏的运动估计场。本发明可以解决Cine MR成像的心脏运动估计问题，得到更稳定合理的心脏运动场，以用于心血管疾病的量化分析，辅助诊断心血管疾病。
本发明第三实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时，实现上述训练方法或上述估计方法。该计算机可读存储介质可以是U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本发明第四实施例还提供了一种电子装置，包括存储器、处理器及存储在存储器中并可在处理器中运行的计算机程序，处理器执行计算机程序时，实现上述训练方法或上述估计方法。
上述实施例仅为优选实施例，并不用以限制本发明的保护范围，在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种稠密连接非对称层次网络训练方法，其特征在于，包括如下步骤：
步骤A1：构建稠密连接的编码-解码的非对称深度学习网络，所述稠密连接的编码-解码的非对称深度学习网络包括编码层及解码层；
步骤A2：为所述非对称深度学习网络设置网络参数；
步骤A3：输入相邻时间点的两幅Cine MR左心室图像；
步骤A4：利用所述非对称深度学习网络，对所述相邻时间点的两幅Cine MR左心室图像进行多尺度特征提取，并根据所述网络参数计算稀疏形变场；
步骤A5：利用B样条对所述稀疏形变场进行插值，构建稠密位移场；
步骤A6：利用稠密位移场对所述相邻时间点的两幅Cine MR左心室图像中的源图像进行形变；
步骤A7：计算形变后的源图像与目标图像之间的目标函数；
步骤A8：判断迭代次数是否达到设置值，若是，则结束，得到稠密连接非对称层次网络，否则，转步至步骤A9；
步骤A9：计算目标函数关于所述网络参数的导数，并据此调整所述网络参数，并返回步骤A2；
其中，所述编码层包括三层不同分辨率的稠密连接网络，其中，第一层稠密级联网络包含三个级联的卷积层，两个输入的图像级联作为第一个卷积层的输入数据，第一个卷积层的输出数据和两个输入图像级联作为第二个卷积层的输入数据；第二个卷积层的输出数据和两个输入图像以及第一个卷积层的输出数据级联作为第三个卷积层的输入数据，第三个卷积层的输出数据作为所述第一层稠密级联网络的输出数据；
第一层稠密级联网络的输出数据经过一个下采样处理减小空间维度后作为第二层稠密级联网络的输入数据；
第二层稠密级联网络的输出数据再经过一个下采样处理进一步减小空间维度后作为第三层稠密级联网络的输入数据；
所述解码层包括一层稠密连接网络，所述一层稠密连接网络包括四个级联的卷积层，其中，所述编码层中的第三层稠密级联网络的输出数据通过上采样处理将空间维度增大后与编码层中的第二层稠密级联网络的输出数据级联作为解码层中第一个卷积层的输入数据；
第一个卷积层的输出数据与输入数据级联后作为第二个卷积层的输入数据；
第二个卷积层的输出数据与第一个卷积层的输出数据与输入数据级联后作为第三个卷积层的输入数据；
如此不断级联，经过第四个卷积层，产生等间距空间位置的位移量，构成稀疏形变场；
其中，Cine MR图像序列是由N+1个连续时间点的三维心脏MR图像组成，表示为I＝{It|t＝0,…,N}，相邻时间点的Cine MR左心室图像即为It和It+1，取It和It+1在长轴方向相对应第k个切片It,k和It+1,k作为输入图像，假设源图像为It,k，目标图像为It+1,k，那么输入的图像对作为编码层输入，通过三层不同分辨率的稠密连接网络计算其输出的编码特征，且所述编码层中，每一个稠密连接网络中的卷积层的运算关系为：
Figure FDA0003045857920000021
其中，wm,n是卷积核系数，x(i,j)是图像强度，y(i,j)是图像(i,j)坐标处卷积核的输出值，m和n是卷积核参数的行、列下标；
其中，所述编码层的第一层的稠密连接网络的输出，经过一个下采样操作得到大尺度特征，下采样处理是通过跨步卷积实现的，跨步卷积是在图像空间位置(i,j)处完成卷积后，下一次将在图像位置(i,j+2)处完成卷积运算，当图像中第i行处理完后，下一次处理第i+2行，这样得到的输出结果就从原图像的n×n分辨率下降到
Figure FDA0003045857920000022
分辨率；
所述编码层的第三层的稠密连接网络的输出，经过一个上采样操作得到小尺度特征，上采样处理是通过将一个数据复制为四个相同的数据完成的，这样得到的输出结果就从
Figure FDA0003045857920000023
分辨率上升到分辨率
Figure FDA0003045857920000024
2.如权利要求1所述的稠密连接非对称层次网络训练方法，其特征在于，所述步骤A5中，采用B样条插值算法，利用等间距空间位置的位移量进行插值，得到稠密位移场；所述步骤A6中，采用双线性插值算法，利用稠密位移场对源图像进行形变，得到形变后的源图像。
3.如权利要求1所述的稠密连接非对称层次网络训练方法，其特征在于，所述目标函数为形变后的源图像I′t,k与目标图像It,k+1之间的归一化相关函数与形变场扭曲能量之和，设所述目标函数为loss，其计算公式如下：
loss＝NCC+BE
Figure FDA0003045857920000031
Figure FDA0003045857920000032
其中，Ω为图像域，L为以(x,y)为中心的局部邻域，
Figure FDA0003045857920000033
是I′t,k在L邻域的平均强度值，
Figure FDA0003045857920000034
是It,k+1在L邻域的平均强度值，ft是源图像It,k与目标图像It,k+1之间的形变函数。
4.如权利要求3所述的稠密连接非对称层次网络训练方法，其特征在于，假设第i个网络参数为wi，计算
Figure FDA0003045857920000035
则网络参数wi调整为w′i＝wi+γΔwi，其中γ是学习速率，根据自适应随机梯度下降算法自动确定。
5.一种心脏运动场估计方法，其特征在于，包括如下步骤：
步骤B1：将相邻时间点的两幅Cine MR左心室图像输入通过权利要求1至4中任一所述的训练方法训练好的稠密连接非对称层次网络；
步骤B2：利用所述稠密连接非对称层次网络计算稀疏形变场；
步骤B3：利用B样条对所述稀疏形变场进行插值，构建稠密位移场；
步骤B4：判断是否所有相邻时间点的左心室图像都已处理，如果是，则将得到的多个相邻时间的稠密位移场进行函数复合，得到从舒张末期到收缩末期左心室的形变场，并将其作为心脏的运动估计场，否则跳转至步骤B1。
6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1至4中任一所述的训练方法或权利要求5所述的估计方法。
7.一种电子装置，其特征在于，包括存储器、处理器及存储在所述存储器中并可在所述处理器中运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1至4中任一所述的训练方法或权利要求5所述的估计方法。
CN201910536274.5A 2019-06-20 2019-06-20 稠密连接非对称层次网络训练方法及心脏运动场估计方法 Active CN110148150B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910536274.5A CN110148150B (zh) 2019-06-20 2019-06-20 稠密连接非对称层次网络训练方法及心脏运动场估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910536274.5A CN110148150B (zh) 2019-06-20 2019-06-20 稠密连接非对称层次网络训练方法及心脏运动场估计方法

Publications (2)

Publication Number Publication Date
CN110148150A CN110148150A (zh) 2019-08-20
CN110148150B true CN110148150B (zh) 2021-07-02

Family

ID=67595872

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910536274.5A Active CN110148150B (zh) 2019-06-20 2019-06-20 稠密连接非对称层次网络训练方法及心脏运动场估计方法

Country Status (1)

Country Link
CN (1) CN110148150B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11710244B2 (en) * 2019-11-04 2023-07-25 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for machine learning based physiological motion measurement
CN111784732B (zh) * 2020-06-28 2023-07-28 深圳大学 训练心脏运动场估计模型、心脏运动场估计的方法及系统
CN116849691B (zh) * 2023-08-11 2024-03-12 南京安科医疗科技有限公司 一种心脏ct成像全局最优相位自动识别方法、设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106127696A (zh) * 2016-06-13 2016-11-16 西安电子科技大学 一种基于bp神经网络拟合运动场的图像去除反射方法
CN106846380A (zh) * 2016-12-26 2017-06-13 北京理工大学 一种医学图像配准方法及设备
CN108175402A (zh) * 2017-12-26 2018-06-19 智慧康源（厦门）科技有限公司 基于残差网络的心电数据的智能识别方法
CN108898622A (zh) * 2018-07-05 2018-11-27 深圳大学 一种心脏的运动表征方法、装置及计算机可读存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190065932A1 (en) * 2017-08-31 2019-02-28 Paypal, Inc. Densely connected neural networks with output forwarding
NZ759818A (en) * 2017-10-16 2022-04-29 Illumina Inc Semi-supervised learning for training an ensemble of deep convolutional neural networks
CN111615706A (zh) * 2017-11-17 2020-09-01 脸谱公司 基于子流形稀疏卷积神经网络分析空间稀疏数据

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106127696A (zh) * 2016-06-13 2016-11-16 西安电子科技大学 一种基于bp神经网络拟合运动场的图像去除反射方法
CN106846380A (zh) * 2016-12-26 2017-06-13 北京理工大学 一种医学图像配准方法及设备
CN108175402A (zh) * 2017-12-26 2018-06-19 智慧康源（厦门）科技有限公司 基于残差网络的心电数据的智能识别方法
CN108898622A (zh) * 2018-07-05 2018-11-27 深圳大学 一种心脏的运动表征方法、装置及计算机可读存储介质

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
A brain inspired neural network for optical flow dense interpolation;Shay Zweig 等;《Computer Vision and Pattern Recognition》;20170224;1-10 *
Densely Connected Convolutional Networks;Gao Huang 等;《conference：CVPR》;20170731;1-16 *
Flow Network Based Cardiac Motion Tracking Leveraging Learned Feature Matching;Nripesh Parajuli 等;《Medical Image Computing and Computer-Assisted Intervention-MICCAI 2017》;20171231;279-286 *
人工心脏输出流量和压力的神经网络估算法;封志刚 等;《中国生物医学工程学报》;20021231;第21卷(第6期);568-572 *
基于稠密连接神经网络的多尺度SAR图像舰船检测;张跃 等;《第五届高分辨率对地观测学术年会》;20181017;1-18 *

Also Published As

Publication number Publication date
CN110148150A (zh) 2019-08-20

Similar Documents

Publication Publication Date Title
Zheng et al. 3-D consistent and robust segmentation of cardiac images by deep learning with spatial propagation
Oktay et al. Anatomically constrained neural networks (ACNNs): application to cardiac image enhancement and segmentation
CN110148150B (zh) 稠密连接非对称层次网络训练方法及心脏运动场估计方法
JP6993334B2 (ja) 自動化された心臓ボリュームセグメンテーション
Xia et al. Super-resolution of cardiac MR cine imaging using conditional GANs and unsupervised transfer learning
Tang et al. Tongue contour tracking in dynamic ultrasound via higher-order MRFs and efficient fusion moves
Li et al. Unified model for interpreting multi-view echocardiographic sequences without temporal information
Feng et al. Simultaneous extraction of endocardial and epicardial contours of the left ventricle by distance regularized level sets
CN107146228A (zh) 一种基于先验知识的大脑磁共振图像超体素生成方法
Albu et al. A morphology-based approach for interslice interpolation of anatomical slices from volumetric images
CN114897780B (zh) 一种基于mip序列的肠系膜上动脉血管重建方法
CN110570394A (zh) 医学图像分割方法、装置、设备及存储介质
Liu et al. Video frame interpolation via optical flow estimation with image inpainting
Xue et al. Improved segmentation of echocardiography with orientation-congruency of optical flow and motion-enhanced segmentation
CN114240809A (zh) 图像处理方法、装置、计算机设备及存储介质
Yuan et al. Fully automatic segmentation of the left ventricle using multi-scale fusion learning
Wang Segmentation of the left ventricle in short‐axis sequences by combining deformation flow and optical flow
Beetz et al. Point2Mesh-Net: Combining point cloud and mesh-based deep learning for cardiac shape reconstruction
Jalali et al. Echocardiography image enhancement using texture-cartoon separation
CN111784732B (zh) 训练心脏运动场估计模型、心脏运动场估计的方法及系统
CN115578308A (zh) 图像分割方法及装置
Liu et al. Image enlargement method based on cubic surfaces with local features as constraints
Sustersic et al. Heart left ventricle segmentation in ultrasound images using deep learning
CN114022521A (zh) 一种非刚性多模医学图像的配准方法及系统
Bugdol et al. A novel model-based approach to left ventricle segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant