CN111784732A - 训练心脏运动场估计模型、心脏运动场估计的方法及系统 - Google Patents

训练心脏运动场估计模型、心脏运动场估计的方法及系统 Download PDF

Info

Publication number
CN111784732A
CN111784732A CN202010601654.5A CN202010601654A CN111784732A CN 111784732 A CN111784732 A CN 111784732A CN 202010601654 A CN202010601654 A CN 202010601654A CN 111784732 A CN111784732 A CN 111784732A
Authority
CN
China
Prior art keywords
parameters
distribution
deformation
field
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010601654.5A
Other languages
English (en)
Other versions
CN111784732B (zh
Inventor
甘梓誉
杨烜
裴继红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202010601654.5A priority Critical patent/CN111784732B/zh
Publication of CN111784732A publication Critical patent/CN111784732A/zh
Application granted granted Critical
Publication of CN111784732B publication Critical patent/CN111784732B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明公开了一种训练心脏运动场估计模型、心脏运动场估计的方法及系统，其中训练心脏运动场估计模型的方法及系系统，利用半自编码器网络，提取舒张末期和收缩末期Cine MR图像中左心室的多尺度特征，通过编码网络将不同尺度特征进行融合，以决策控制点的形变参数的分布参数，将径向基函数的形变模型引入自编码器中，自编码器网络结构中不需要进行解码过程，从而使网络轻量化；本发明采用了非均匀分布的控制点，更容易控制左心室所处区域的形变场，使形变精度更高；同时隐形变参数具有明确的物理意义，更容易控制形变场的平滑性，得到更稳定合理的心脏运动场，以用于心血管疾病的量化分析。

Description

训练心脏运动场估计模型、心脏运动场估计的方法及系统
技术领域
本发明涉及图像处理技术领域，具体涉及一种训练心脏运动场估计模型、心脏运动场估计的方法及系统。
背景技术
心脏运动估计的目的是描述图像序列中感兴趣区域、边缘和轮廓线等的时空运动状态，其本质就是从心脏图像序列中检测出目标之间的位移信息。图像配准是心脏运动估计的重要技术，既基于一定的形变模型来估计心脏在连续时间点之间的位移。基于图像配准的心脏运动估计其目的是为了确定心脏组织在心动周期内的形变函数，该形变函数可以描述心脏解剖结构随时间变化的运动轨迹，从而可以精确地描述一个运动周期的心脏运动模型。利用心脏图像的配准技术可以估计左右心室心肌层的运动轨迹，并且能对运动周期中不同时间相位对应图像的感兴趣区域和形状的实时变化进行跟踪，提供临床诊断参数，辅助医生诊断。
目前图像配准技术已经广泛应用于医学图像处理领域，现有的基于配准技术的心脏运动估计方法主要分为以下五类，分别是基于灰度信息的方法，基于形状模型的方法，基于点对应关系的方法，点集匹配和深度学习的方法。目前常用的cine MR成像分辨率较高，具有较好的成像对比度，但是由于心肌部分具有相似的成像强度而难以确定对应关系，使用现有技术得到的心肌运动估计精度较低。
发明内容
因此，本发明提供的训练心脏运动场估计模型、心脏运动场估计的方法及系统，克服了现有技术中的心脏运动估计精度较低的缺陷。
第一方面，本发明实施例提供训练心脏运动场估计模型的方法，包括如下步骤：
构建预设置网络参数的半自编码器网络；
利用所述半自编码器网络，对舒张末期和收缩末期的两幅左心室图像进行多尺度特征提取，并根据所述网络参数计算隐形变参数的分布参数；
利用隐形变参数的分布参数构建基于径向基函数的稠密形变场；
利用稠密形变场对舒张末期的左心室图像进行形变；
计算形变后的舒张末期图像与收缩末期图像之间的互相关系数，隐形变参数的先验分布与变分分布的KL散度，以及形变场的扭曲能量，并基于所述互相关系数、KL散度及形变场的扭曲能量计算网络目标函数；
判断目标函数是否收敛；
当不收敛时，计算目标函数关于所述网络参数的导数，并跟所述导数调整所述网络参数；当收敛时，得到训练好的心脏运动场估计模型。
在一实施例中，所述半自编码器网络包括编码层、形变场计算层和空间形变层；
编码层包括三层不同分辨率的卷积网络，其中，输入的两幅左心室图像级联作为第一层卷积层的输入数据；第二层卷积层用于生成中心稠密控制点对应的形变参数的分布参数；第三层卷积层包括两个分支，一个分支用于生成稀疏控制点对应的弹性形变参数的分布参数，另一个分支用于生成仿射形变参数的分布参数；
形变场计算层利用隐形变参数的采样值和径向基函数构建形变场；
空间变换层是利用形变场对舒张末期图像进行形变，得到形变后图像。
在一实施例中，所述目标函数
Figure BDA00025587302200000313
为：
Figure BDA0002558730220000031
其中F,M分别为收缩末期图像和舒张末期图像；z＝{β0,β1,β2,α1,…,αn}是隐形变参数；n是控制点个数；φ是形变场；λ是常系数；p(z)是隐形变参数z的先验分布；qω(z|F,M)是隐形变参数z的变分分布；LCC(M,F,φ)是舒张末期图像M经过形变场φ形变之后的图像与收缩末期图像F之间的互相关系数；
Figure BDA0002558730220000032
是在隐形变参数z变分分布qω(z|F,M)下的期望；KL[qω(z|F,M)||p(z)]是隐形变参数z的变分分布与先验分布p(z)之间的KL散度；BE是形变场的扭曲能量。
在一实施例中，隐形变参数z的先验分布p(z)为高斯分布：
Figure BDA0002558730220000033
其中，高斯分布的均值0+＝[0 1 1 0 … 0]T是(n+3)×1的列向量，高斯分布的协方差矩阵是(n+3)×(n+3)的单位矩阵I，n是控制点的个数；
所述变分分布qω(z|F,M)为(n+3)个高斯分布的链乘：
Figure BDA0002558730220000034
变分分布的参数
Figure BDA0002558730220000035
Figure BDA0002558730220000036
和
Figure BDA0002558730220000037
分别是隐形变参数β0的均值和方差，
Figure BDA0002558730220000038
和
Figure BDA0002558730220000039
分别是隐形变参数β1的均值和方差，
Figure BDA00025587302200000310
和
Figure BDA00025587302200000311
分别是隐形变参数β2的均值和方差，μi和
Figure BDA00025587302200000312
分别是隐形变参数αi的均值和方差，i＝1,…,n；
互相关系数LCC(M,F,φ)计算公式如下：
Figure BDA0002558730220000041
其中，Ω为图像域，Mφ是舒张末期图像M经过形变场φ形变后的图像，A为以(x,y)为中心的局部邻域，
Figure BDA0002558730220000042
是F(x,y)在A邻域的平均强度值，
Figure BDA0002558730220000043
是Mφ(x,y)在A邻域的平均强度值；
所述期望
Figure BDA0002558730220000044
的计算是利用蒙特卡洛近似：
Figure BDA0002558730220000045
其中，φi是按照qω(z|F,M)分布采样得到的隐形变参数zi对应的形变场，L是采样的个数；
所述隐形变参数z的变分分布与先验分布p(z)之间的KL散度KL[qω(z|F,M)||p(z)]通过以下公式计算：
Figure BDA0002558730220000046
形变场φ的扭曲能量通过以下公式计算：
Figure BDA0002558730220000047
在一实施例中，对网络参数进行调整的调整量为：
w′i＝wi+γΔwi
其中，wi为半自编码器网络中第i个网络参数，参数的变化量
Figure BDA0002558730220000051
γ为学习速率。
第二方面，本发明实施例提供一种心脏运动场估计的方法，包括：获取待估计的舒张末期和收缩末期的图像；
将待估计的舒张末期和收缩末期的图像输入根据第一方面所述的训练心脏运动场估计模型的方法得到的心脏运动场估计模型中，获得隐形变参数的分布参数；
对隐形变参数的分布进行采样，得到隐形变参数值，利用径向基函数和隐形变参数值构建稠密形变场，得到从舒张末期到收缩末期左心室的形变场，并将其作为心脏的运动估计场。
第三方面，本发明实施例提供一种训练心脏运动场估计模型的系统，包括：半自编码器网络构建模块，用于构建预设置网络参数的半自编码器网络；
隐形变参数的分布参数获取模块，用于利用所述半自编码器网络，对舒张末期和收缩末期的两幅左心室图像进行多尺度特征提取，并根据所述网络参数计算隐形变参数的分布参数；
稠密形变场获取模块，用于利用隐形变参数的分布参数构建基于径向基函数的稠密形变场；
舒张末期形变图像获取模块，用于利用稠密形变场对舒张末期的左心室图像进行形变；
目标函数获取模块，用于计算形变后的舒张末期图像与收缩末期图像之间的互相关系数，隐形变参数的先验分布与变分分布的KL散度，以及形变场的扭曲能量，并基于所述互相关系数、KL散度及形变场的扭曲能量计算网络目标函数；
目标函数收敛判断模块，用于判断目标函数是否收敛；
网络参数更新及模型获取模块，当不收敛时，计算目标函数关于所述网络参数的导数，并跟所述导数调整所述网络参数；当收敛时，得到训练好的心脏运动场估计模型。
第四方面，本发明实施例提供一种心脏运动场估计的系统，包括：
待估计图像获取模块，用于获取待估计的舒张末期和收缩末期的图像；分布参数获取模块，用于将待估计的舒张末期和收缩末期的图像输入根据第一方面所述的训练心脏运动场估计模型的方法得到的心脏运动场估计模型中，获得隐形变参数的分布参数；
心脏的运动估计场获取模块，用于对隐形变参数的分布进行采样，得到隐形变参数值，利用径向基函数和隐形变参数值构建稠密形变场，得到从舒张末期到收缩末期左心室的形变场，并将其作为心脏的运动估计场。
第五方面，本发明实施例提供一种计算机设备，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行本发明实施例第一方面所述的训练心脏运动场估计模型的方法，以及本发明实施例第二方面所述的心脏运动场估计的方法。
第六方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，以使所述至少一个处理器执行本发明实施例第一方面所述的训练心脏运动场估计模型的方法，以及本发明实施例第二方面所述的心脏运动场估计的方法。
本发明技术方案，具有如下优点：
1、本发明实施例提供的训练心脏运动场估计模型的方法及系统，利用半自编码器网络，提取舒张末期和收缩末期Cine MR图像中左心室的多尺度特征，通过编码网络将不同尺度特征进行融合，以决策控制点的形变参数的分布参数，将径向基函数的形变模型引入自编码器中，自编码器网络结构中不需要进行解码过程，从而使网络轻量化；本实施例采用了非均匀分布的控制点，更容易控制左心室所处区域的形变场，使形变精度更高；同时隐形变参数具有明确的物理意义，更容易控制形变场的平滑性，得到更稳定合理的心脏运动场，以用于心血管疾病的量化分析。
2、本发明实施例提供的心脏运动场估计的方法及系统，针对Cine MR成像的心脏运动估计问题，将舒张末期和收缩末期的Cine MR图像，输入到训练好的心脏运动场估计模型中，得到更稳定合理的心脏运动场，以用于心血管疾病的量化分析，辅助诊断心血管疾病。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的训练心脏运动场估计模型的方法的一个具体示例的流程图；
图2为本发明实施例提供的半自编码器网络的结构示意图；
图3为本发明实施例提供的训练心脏运动场估计模型的系统的一个具体示例的模块组成图；
图4为本发明实施例提供的心脏运动场估计的方法的一个具体示例的流程图；
图5为本发明实施例提供的心脏运动场估计的系统的一个具体示例的模块组成图；
图6为本发明实施例提供的计算机设备一个具体示例的组成图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
实施例1
本发明实施例提供的一种训练心脏运动场估计模型的方法，如图1所示，包括如下步骤：
步骤S1:构建预设置网络参数的半自编码器网络。
半自编码器网络包括编码层、形变场计算层和空间形变层，其中，所述编码层包括三层不同分辨率的卷积网络，其中；
第一层是一个卷积层，该卷积层的卷积核大小为3×3、卷积核个数为16，两个输入的图像级联作为该卷积层的输入数据；第二层由4个卷积层级联而成，每个卷积层的卷积核大小为3×3、卷积核个数为32，后面接一个下采样运算，下采样层的特征图中大小为32×32的中心裁剪成16×16的区域，然后输入3个卷积核大小为3×3，卷积核个数为32的卷积层，后面级联一个卷积核大小为3×3的卷积层，用于生成中心稠密控制点对应的形变参数的分布参数，下采样处理通过跨步卷积实现；第三层有两个分支，其中一个分支是一个卷积层，该卷积层卷积核大小为3×3，卷积核个数为2，用于生成稀疏控制点对应的弹性形变参数的分布参数；另一个分支是一个卷积层，该卷积层卷积核大小为3×3，卷积核个数为4，该层后面级联一个全连接层，用于生成仿射形变参数的分布参数。
需要说明的是三层不同分辨率的卷积网络中每层所包含的卷积网络的个数及卷积核的尺寸只作为一个具体的实施例进行举例说明，并不以此为限。
形变场计算层利用隐形变参数的采样值和径向基函数构建形变场；空间变换层是利用形变场对舒张末期图像进行形变，得到形变后图像，可以利用传统的双线性插值方法可得。图2为本发明实施例示出的半自编码器网络的结构示意图。
步骤S2:利用所述半自编码器网络，对舒张末期和收缩末期的两幅左心室图像进行多尺度特征提取，并根据所述网络参数计算隐形变参数的分布参数。
编码层中每一个稠密连接网络中的卷积层的运算关系均为：
Figure BDA0002558730220000101
其中，wm,n是卷积核系数，x(i,j)是图像强度，y(i,j)是图像(i,j)坐标处卷积核的输出值，m和n是卷积核参数的行、列下标。
步骤S3:利用隐形变参数的分布参数构建基于径向基函数的稠密形变场。
本发明实施例中对隐形变参数的分布进行采样，得到隐形变参数的值，形变场计算层利用隐形变参数z的采样值和径向基函数构建形变场，形变场φ的计算方法如下：
Figure BDA0002558730220000102
其中，x＝(x0,x1)是形变场中的点坐标，R是径向基函数，pi是控制点坐标，r是径向基函数的支撑集大小。
步骤S4:利用稠密形变场对舒张末期的左心室图像进行形变。
在本发明实施例中，采用双线性插值算法，利用稠密形变场φ对舒张末期图像M进行形变，得到形变后的舒张末期图像Mφ。
步骤S5：计算形变后的舒张末期图像与收缩末期图像之间的互相关系数，隐形变参数的先验分布与变分分布的KL散度，以及形变场的扭曲能量，并基于所述互相关系数、KL散度及形变场的扭曲能量计算网络目标函数。
本发明实施例中目标函数为形变后的舒张末期图像Mφ与收缩末期图像F之间的互相关系数、隐形变参数的先验分布与变分分布之间的KL散度，以及形变场扭曲能量之和，目标函数为
Figure BDA0002558730220000104
其计算公式如下：
Figure BDA0002558730220000103
其中F,M分别为收缩末期图像和舒张末期图像，z＝{β0,β1,β2,α1,…,αn}是隐形变参数，n是控制点个数，φ是形变场，λ是常系数；p(z)是隐形变参数z的先验分布；qω(z|F,M)是隐形变参数z的变分分布；LCC(M,F,φ)是舒张末期图像M经过形变场φ形变之后的图像与收缩末期图像F之间的互相关系数；
Figure BDA0002558730220000111
是在隐形变参数z变分分布qω(z|F,M)下的期望；KL[qω(z|F,M)||p(z)]是隐形变参数z的变分分布与先验分布p(z)之间的KL散度；BE是形变场的扭曲能量。
隐形变参数z的先验分布p(z)为高斯分布：
Figure BDA0002558730220000112
其中高斯分布的均值0+＝[0 1 1 0 … 0]T是(n+3)×1的列向量，高斯分布的协方差矩阵是(n+3)×(n+3)的单位矩阵I。
变分分布qω(z|F,M)定义为(n+3)个高斯分布的链乘：
Figure BDA0002558730220000113
变分分布的参数是
Figure BDA0002558730220000114
Figure BDA0002558730220000115
和
Figure BDA0002558730220000116
分别是隐形变参数β0的均值和方差，
Figure BDA0002558730220000117
和
Figure BDA0002558730220000118
分别是隐形变参数β1的均值和方差，
Figure BDA0002558730220000119
和
Figure BDA00025587302200001110
分别是隐形变参数β2的均值和方差，μi和
Figure BDA00025587302200001111
分别是隐形变参数αi的均值和方差，i＝1,…,n，这些参数都是通过半自编码器的编码网络计算得到的。
互相关系数LCC(M,F,φ)计算公式如下：
Figure BDA00025587302200001112
其中，Ω为图像域，Mφ是舒张末期图像M经过形变场φ形变后的图像，A为以(x,y)为中心的局部邻域，
Figure BDA0002558730220000121
是F(x,y)在A邻域的平均强度值，
Figure BDA0002558730220000122
是Mφ(x,y)在A邻域的平均强度值。
期望
Figure BDA0002558730220000123
的计算是利用蒙特卡洛近似：
Figure BDA0002558730220000127
其中φi是按照qω(z|F,M)分布采样得到的隐形变参数zi对应的形变场，L是采样的个数。
隐形变参数z的变分分布与先验分布p(z)之间的KL散度KL[qω(z|F,M)||p(z)]通过以下公式计算：
Figure BDA0002558730220000124
形变场φ的扭曲能量BE通过以下公式计算：
Figure BDA0002558730220000125
步骤S6：判断目标函数是否收敛。
步骤S7：当不收敛时，计算目标函数关于所述网络参数的导数，并跟所述导数调整所述网络参数；当收敛时，得到训练好的心脏运动场估计模型。
假设第i个网络参数为wi，计算
Figure BDA0002558730220000126
则网络参数wi调整为w′i＝wi+γΔwi，其中γ是学习速率，可以根据自适应随机梯度下降算法自动确定。当该半自编码器网络训练完成之后，就得到训练好的利用心脏运动场估计模型进行心脏运动场进行估计。
与训练心脏运动场估计模型的方法实施例所对应的，本发明实施例还对应提供一种训练心脏运动场估计模型的系统，如图3所示，包括：
半自编码器网络构建模块1，用于构建预设置网络参数的半自编码器网络；此模块执行步骤S1所描述的方法，在此不再赘述。
隐形变参数的分布参数获取模块2，用于利用所述半自编码器网络，对舒张末期和收缩末期的两幅左心室图像进行多尺度特征提取，并根据所述网络参数计算隐形变参数的分布参数；此模块执行步骤S2所描述的方法，在此不再赘述。
稠密形变场获取模块3，用于利用隐形变参数的分布参数构建基于径向基函数的稠密形变场；此模块执行步骤S3所描述的方法，在此不再赘述。
舒张末期形变图像获取模块4，用于利用稠密形变场对舒张末期的左心室图像进行形变；此模块执行步骤S4所描述的方法，在此不再赘述。
目标函数获取模块5，用于计算形变后的舒张末期图像与收缩末期图像之间的互相关系数，隐形变参数的先验分布与变分分布的KL散度，以及形变场的扭曲能量，并基于所述互相关系数、KL散度及形变场的扭曲能量计算网络目标函数；此模块执行步骤S5所描述的方法，在此不再赘述。
目标函数收敛判断模块6，用于判断目标函数是否收敛。此模块执行步骤S6所描述的方法，在此不再赘述。
网络参数更新及模型获取模块7，当不收敛时，计算目标函数关于所述网络参数的导数，并跟所述导数调整所述网络参数；当收敛时，得到训练好的心脏运动场估计模型。
本发明实施例提供的训练心脏运动场估计模型的方法及系统，利用半自编码器网络，提取舒张末期和收缩末期Cine MR图像中左心室的多尺度特征，通过编码网络将不同尺度特征进行融合，以决策控制点的形变参数的分布参数，将径向基函数的形变模型引入自编码器中，自编码器网络结构中不需要进行解码过程，从而使网络轻量化；本实施例采用了非均匀分布的控制点，更容易控制左心室所处区域的形变场，使形变精度更高；同时隐形变参数具有明确的物理意义，更容易控制形变场的平滑性，得到更稳定合理的心脏运动场，以用于心血管疾病的量化分析。
实施例2
本发明实施例提供一种心脏运动场估计的方法，如图4所示，包括如下步骤：
步骤S21:获取待估计的舒张末期和收缩末期的图像。
本发明实施例中心脏图像可以通过图像设备采集获得，例如：可以为行磁共振电影成像(Cine Magnetic Resonance，简称：Cine-MR)设备，获得短轴心脏图像。
步骤S22:将待估计的舒张末期和收缩末期的图像输入根据实施例1中所述的训练心脏运动场估计模型的方法得到的心脏运动场估计模型中，获得隐形变参数的分布参数。
步骤S23:对隐形变参数的分布进行采样，得到隐形变参数值，利用径向基函数和隐形变参数值构建稠密形变场，得到从舒张末期到收缩末期左心室的形变场，并将其作为心脏的运动估计场。
与心脏运动场估计的方法实施例所对应的，本发明实施例提供一种心脏运动场估计的系统，如图5所示，包括：
待估计图像获取模块21，用于获取待估计的舒张末期和收缩末期的图像；此模块执行步骤S21所描述的方法，在此不再赘述。
分布参数获取模块22，用于将待估计的舒张末期和收缩末期的图像输入根据权利要求实施例1中所述的训练心脏运动场估计模型的方法得到的心脏运动场估计模型中，获得隐形变参数的分布参数；此模块执行步骤S22所描述的方法，在此不再赘述。
心脏的运动估计场获取模块23，用于对隐形变参数的分布进行采样，得到隐形变参数值，利用径向基函数和隐形变参数值构建稠密形变场，得到从舒张末期到收缩末期左心室的形变场，并将其作为心脏的运动估计场。此模块执行步骤S23所描述的方法，在此不再赘述。
本发明实施例提供的心脏运动场估计的方法及系统，针对Cine MR成像的心脏运动估计问题，将舒张末期和收缩末期的Cine MR图像，输入到训练好的心脏运动场估计模型中，得到更稳定合理的心脏运动场，以用于心血管疾病的量化分析，辅助诊断心血管疾病。
实施例3
本发明实施例提供一种计算机设备，如图6所示，包括：至少一个处理器401，例如CPU(Central Processing Unit，中央处理器)，至少一个通信接口403，存储器404，至少一个通信总线402。其中，通信总线402用于实现这些组件之间的连接通信。其中，通信接口403可以包括显示屏(Display)、键盘(Keyboard)，可选通信接口403还可以包括标准的有线接口、无线接口。存储器404可以是高速RAM存储器(Ramdom Access Memory，易挥发性随机存取存储器)，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器404可选的还可以是至少一个位于远离前述处理器401的存储装置。其中处理器401可以执行实施例1中的训练心脏运动场估计模型的方法或实施例2中所述的心脏运动场估计的方法。存储器404中存储一组程序代码，且处理器401调用存储器404中存储的程序代码，以用于执行实施例1中的训练心脏运动场估计模型的方法或实施例2中所述的心脏运动场估计的方法。其中，通信总线402可以是外设部件互连标准(peripheral componentinterconnect，简称PCI)总线或扩展工业标准结构(extended industry standardarchitecture，简称EISA)总线等。通信总线402可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一条线表示，但并不表示仅有一根总线或一种类型的总线。
其中，存储器404可以包括易失性存储器(英文：volatile memory)，例如随机存取存储器(英文：random-access memory，缩写：RAM)；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如快闪存储器(英文：flash memory)，硬盘(英文：hard diskdrive，缩写：HDD)或固态硬盘(英文：solid-state drive，缩写：SSD)；存储器404还可以包括上述种类的存储器的组合。
其中，处理器401可以是中央处理器(英文：central processing unit，缩写：CPU)，网络处理器(英文：network processor，缩写：NP)或者CPU和NP的组合。
其中，处理器401还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文：application-specific integrated circuit，缩写：ASIC)，可编程逻辑器件(英文：programmable logic device，缩写：PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(英文：complex programmable logic device，缩写：CPLD)，现场可编程逻辑门阵列(英文：field-programmable gate array，缩写：FPGA)，通用阵列逻辑(英文：generic arraylogic,缩写：GAL)或其任意组合。
可选地，存储器404还用于存储程序指令。处理器401可以调用程序指令，实现如本申请执行实施例1中的训练心脏运动场估计模型的方法或实施例2中所述的心脏运动场估计的方法。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机可执行指令，该计算机可执行指令可执行实施例1中的训练心脏运动场估计模型的方法或实施例2中所述的心脏运动场估计的方法。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-StateDrive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种训练心脏运动场估计模型的方法，其特征在于，包括如下步骤：
构建预设置网络参数的半自编码器网络；
利用所述半自编码器网络，对舒张末期和收缩末期的两幅左心室图像进行多尺度特征提取，并根据所述网络参数计算隐形变参数的分布参数；
利用隐形变参数的分布参数构建基于径向基函数的稠密形变场；
利用稠密形变场对舒张末期的左心室图像进行形变；
计算形变后的舒张末期图像与收缩末期图像之间的互相关系数，隐形变参数的先验分布与变分分布的KL散度，以及形变场的扭曲能量，并基于所述互相关系数、KL散度及形变场的扭曲能量计算网络目标函数；
判断目标函数是否收敛；
当不收敛时，计算目标函数关于所述网络参数的导数，并跟所述导数调整所述网络参数；当收敛时，得到训练好的心脏运动场估计模型。
2.根据权利要求1所述的训练心脏运动场估计模型的方法，其特征在于，所述半自编码器网络包括编码层、形变场计算层和空间形变层；
编码层包括三层不同分辨率的卷积网络，其中，输入的两幅左心室图像级联作为第一层卷积层的输入数据；第二层卷积层用于生成中心稠密控制点对应的形变参数的分布参数；第三层卷积层包括两个分支，一个分支用于生成稀疏控制点对应的弹性形变参数的分布参数，另一个分支用于生成仿射形变参数的分布参数；
形变场计算层利用隐形变参数的采样值和径向基函数构建形变场；
空间变换层是利用形变场对舒张末期图像进行形变，得到形变后图像。
3.根据权利要求1所述的训练心脏运动场估计模型的方法，其特征在于，所述目标函数
Figure FDA0002558730210000021
为：
Figure FDA0002558730210000022
其中F,M分别为收缩末期图像和舒张末期图像；z＝{β0,β1,β2,α1,…,αn}是隐形变参数；n是控制点个数；φ是形变场；λ是常系数；p(z)是隐形变参数z的先验分布；qω(z|F,M)是隐形变参数z的变分分布；LCC(M,F,φ)是舒张末期图像M经过形变场φ形变之后的图像与收缩末期图像F之间的互相关系数；
Figure FDA0002558730210000023
是在隐形变参数z变分分布qω(z|F,M)下的期望；KL[qω(z|F,M)||p(z)]是隐形变参数z的变分分布与先验分布p(z)之间的KL散度；BE是形变场的扭曲能量。
4.根据权利要求3所述的训练心脏运动场估计模型的方法，其特征在于，隐形变参数z的先验分布p(z)为高斯分布：
Figure FDA0002558730210000024
其中，高斯分布的均值0+＝[0 1 1 0 … 0]T是(n+3)×1的列向量，高斯分布的协方差矩阵是(n+3)×(n+3)的单位矩阵I，n是控制点的个数；
所述变分分布qω(z|F,M)为(n+3)个高斯分布的链乘：
Figure FDA0002558730210000025
变分分布的参数
Figure FDA0002558730210000026
Figure FDA0002558730210000027
和
Figure FDA0002558730210000028
分别是隐形变参数β0的均值和方差，
Figure FDA0002558730210000029
和
Figure FDA00025587302100000210
分别是隐形变参数β1的均值和方差，
Figure FDA00025587302100000211
和
Figure FDA00025587302100000212
分别是隐形变参数β2的均值和方差，μi和
Figure FDA00025587302100000213
分别是隐形变参数αi的均值和方差，i＝1,…,n；
互相关系数LCC(M,F,φ)计算公式如下：
Figure FDA0002558730210000031
其中，Ω为图像域，Mφ是舒张末期图像M经过形变场φ形变后的图像，A为以(x,y)为中心的局部邻域，
Figure FDA0002558730210000032
是F(x,y)在A邻域的平均强度值，
Figure FDA0002558730210000033
是Mφ(x,y)在A邻域的平均强度值；
所述期望
Figure FDA0002558730210000034
的计算是利用蒙特卡洛近似：
Figure FDA0002558730210000035
其中，φi是按照qω(z|F,M)分布采样得到的隐形变参数zi对应的形变场，L是采样的个数；
所述隐形变参数z的变分分布与先验分布p(z)之间的KL散度KL[qω(z|F,M)||p(z)]通过以下公式计算：
Figure FDA0002558730210000036
形变场φ的扭曲能量通过以下公式计算：
Figure FDA0002558730210000037
5.根据权利要求4所述的训练心脏运动场估计模型的方法，其特征在于，对网络参数进行调整的调整量为：
w′i＝wi+γΔwi
其中，wi为半自编码器网络中第i个网络参数，参数的变化量
Figure FDA0002558730210000041
γ为学习速率。
6.一种心脏运动场估计的方法，其特征在于，包括：
获取待估计的舒张末期和收缩末期的图像；
将待估计的舒张末期和收缩末期的图像输入根据权利要求1-5任一所述的训练心脏运动场估计模型的方法得到的心脏运动场估计模型中，获得隐形变参数的分布参数；
对隐形变参数的分布进行采样，得到隐形变参数值，利用径向基函数和隐形变参数值构建稠密形变场，得到从舒张末期到收缩末期左心室的形变场，并将其作为心脏的运动估计场。
7.一种训练心脏运动场估计模型的系统，其特征在于，包括：
半自编码器网络构建模块，用于构建预设置网络参数的半自编码器网络；
隐形变参数的分布参数获取模块，用于利用所述半自编码器网络，对舒张末期和收缩末期的两幅左心室图像进行多尺度特征提取，并根据所述网络参数计算隐形变参数的分布参数；
稠密形变场获取模块，用于利用隐形变参数的分布参数构建基于径向基函数的稠密形变场；
舒张末期形变图像获取模块，用于利用稠密形变场对舒张末期的左心室图像进行形变；
目标函数获取模块，用于计算形变后的舒张末期图像与收缩末期图像之间的互相关系数，隐形变参数的先验分布与变分分布的KL散度，以及形变场的扭曲能量，并基于所述互相关系数、KL散度及形变场的扭曲能量计算网络目标函数；
目标函数收敛判断模块，用于判断目标函数是否收敛；
网络参数更新及模型获取模块，当不收敛时，计算目标函数关于所述网络参数的导数，并跟所述导数调整所述网络参数；当收敛时，得到训练好的心脏运动场估计模型。
8.一种心脏运动场估计的系统，其特征在于，包括：
待估计图像获取模块，用于获取待估计的舒张末期和收缩末期的图像；分布参数获取模块，用于将待估计的舒张末期和收缩末期的图像输入根据权利要求1-5任一所述的训练心脏运动场估计模型的方法得到的心脏运动场估计模型中，获得隐形变参数的分布参数；
心脏的运动估计场获取模块，用于对隐形变参数的分布进行采样，得到隐形变参数值，利用径向基函数和隐形变参数值构建稠密形变场，得到从舒张末期到收缩末期左心室的形变场，并将其作为心脏的运动估计场。
9.一种计算机设备，其特征在于，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行权利要求1-5任一所述的训练心脏运动场估计模型的方法，以及权利要求6所述的心脏运动场估计的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行权利要求1-5任一所述的训练心脏运动场估计模型的方法，以及权利要求6所述的心脏运动场估计的方法。
CN202010601654.5A 2020-06-28 2020-06-28 训练心脏运动场估计模型、心脏运动场估计的方法及系统 Active CN111784732B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010601654.5A CN111784732B (zh) 2020-06-28 2020-06-28 训练心脏运动场估计模型、心脏运动场估计的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010601654.5A CN111784732B (zh) 2020-06-28 2020-06-28 训练心脏运动场估计模型、心脏运动场估计的方法及系统

Publications (2)

Publication Number Publication Date
CN111784732A true CN111784732A (zh) 2020-10-16
CN111784732B CN111784732B (zh) 2023-07-28

Family

ID=72760261

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010601654.5A Active CN111784732B (zh) 2020-06-28 2020-06-28 训练心脏运动场估计模型、心脏运动场估计的方法及系统

Country Status (1)

Country Link
CN (1) CN111784732B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112259227A (zh) * 2020-10-29 2021-01-22 中国医学科学院北京协和医院 一种评估sle病人心肌受累的量化指标的计算方法和系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108898622A (zh) * 2018-07-05 2018-11-27 深圳大学 一种心脏的运动表征方法、装置及计算机可读存储介质
CN110009640A (zh) * 2018-11-20 2019-07-12 腾讯科技（深圳）有限公司 处理心脏视频的方法、设备和可读介质
CN110120051A (zh) * 2019-05-10 2019-08-13 上海理工大学 一种基于深度学习的右心室自动分割方法
CN110136135A (zh) * 2019-05-17 2019-08-16 深圳大学 分割方法、装置、设备以及存储介质
CN110136111A (zh) * 2019-05-14 2019-08-16 深圳大学 一种心脏运动估计方法、系统及终端设备
CN110148150A (zh) * 2019-06-20 2019-08-20 深圳大学 稠密连接非对称层次网络训练方法及心脏运动场估计方法
CN111242906A (zh) * 2020-01-06 2020-06-05 杭州电子科技大学 一种支持向量数据描述的胸部影像异常检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108898622A (zh) * 2018-07-05 2018-11-27 深圳大学 一种心脏的运动表征方法、装置及计算机可读存储介质
CN110009640A (zh) * 2018-11-20 2019-07-12 腾讯科技（深圳）有限公司 处理心脏视频的方法、设备和可读介质
CN110120051A (zh) * 2019-05-10 2019-08-13 上海理工大学 一种基于深度学习的右心室自动分割方法
CN110136111A (zh) * 2019-05-14 2019-08-16 深圳大学 一种心脏运动估计方法、系统及终端设备
CN110136135A (zh) * 2019-05-17 2019-08-16 深圳大学 分割方法、装置、设备以及存储介质
CN110148150A (zh) * 2019-06-20 2019-08-20 深圳大学 稠密连接非对称层次网络训练方法及心脏运动场估计方法
CN111242906A (zh) * 2020-01-06 2020-06-05 杭州电子科技大学 一种支持向量数据描述的胸部影像异常检测方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112259227A (zh) * 2020-10-29 2021-01-22 中国医学科学院北京协和医院 一种评估sle病人心肌受累的量化指标的计算方法和系统

Also Published As

Publication number Publication date
CN111784732B (zh) 2023-07-28

Similar Documents

Publication Publication Date Title
US11182896B2 (en) Automated segmentation of organ chambers using deep learning methods from medical imaging
US11393092B2 (en) Motion tracking and strain determination
EP3123447B1 (en) Systems and methods for data and model-driven image reconstruction and enhancement
US8577177B2 (en) Symmetric and inverse-consistent deformable registration
CN108198235B (zh) 一种三维超声重建方法、装置、设备及存储介质
CN110148150B (zh) 稠密连接非对称层次网络训练方法及心脏运动场估计方法
WO2021017168A1 (zh) 图像分割方法、装置、设备及存储介质
Zhu et al. A new method incorporating deep learning with shape priors for left ventricular segmentation in myocardial perfusion SPECT images
CN111784732B (zh) 训练心脏运动场估计模型、心脏运动场估计的方法及系统
CN112075956B (zh) 一种基于深度学习的射血分数估计方法、终端及存储介质
CN117495876A (zh) 基于深度学习的冠状动脉图像分割方法及系统
Yuan et al. Fully automatic segmentation of the left ventricle using multi-scale fusion learning
CN110739050A (zh) 一种左心室全参数及置信度的量化方法
US20030048267A1 (en) Method of following the three-dimensional deformation of a deformable organ
CN114010227A (zh) 一种右心室特征信息识别方法及装置
Lou et al. Nu-net based gan: Using nested u-structure for whole heart auto segmentation
Arega et al. Using Polynomial Loss and Uncertainty Information for Robust Left Atrial and Scar Quantification and Segmentation
Penso et al. Automated left and right chamber segmentation in cardiac MRI using dense fully convolutional neural network
US20230169659A1 (en) Image segmentation and tracking based on statistical shape model
EP4310773A1 (en) Ultrasound data processing
Moreta-Martínez et al. Multi-cavity heart segmentation in non-contrast non-ECG gated CT scans with F-CNN
US20240153089A1 (en) Systems and methods for processing real-time cardiac mri images
Gan et al. Left ventricle motion estimation based on unsupervised recurrent neural network
CN115578360B (zh) 一种针对超声心动图像的多目标语义分割方法
CN116228824A (zh) 一种图像配准方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant