CN111724423A - 基于流体散度损失的微分同胚的非刚体配准方法 - Google Patents

基于流体散度损失的微分同胚的非刚体配准方法 Download PDF

Info

Publication number
CN111724423A
CN111724423A CN202010496110.7A CN202010496110A CN111724423A CN 111724423 A CN111724423 A CN 111724423A CN 202010496110 A CN202010496110 A CN 202010496110A CN 111724423 A CN111724423 A CN 111724423A
Authority
CN
China
Prior art keywords
image
registered
loss
field
velocity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010496110.7A
Other languages
English (en)
Other versions
CN111724423B (zh
Inventor
杨静
杜少毅
吴英豪
崔文婷
程意钦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN202010496110.7A priority Critical patent/CN111724423B/zh
Publication of CN111724423A publication Critical patent/CN111724423A/zh
Application granted granted Critical
Publication of CN111724423B publication Critical patent/CN111724423B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于流体散度损失的微分同胚的非刚体配准方法，包括：将模板图像f和待配准图像m沿新的维度叠加；将叠加的图片送入u‑net神经网络层，生成每个网格满足的速度高斯分布的均值μ和方差σ；根据每个网格的高斯分布采样对应网格的速度，整体构成欧拉速度场；速度场积分，得到位移场φv；将位移场φv和待配准图像m输入空间变换网络，得到配准后的图像；基于流体压缩损失函数，通过梯度下降的方法优化，训练神经网络参数；训练好网络参数后，给定新的待配准的图像对，执行步骤1‑5，得到配准后的图像。从实验结果中可以看到，本发明可以明显抑制局部大散度速度场的生成，从而使得配准的位移场满足微分同胚的特性。

Description

基于流体散度损失的微分同胚的非刚体配准方法
技术领域
本发明涉及医学图像非刚体配准技术领域，特别涉及医学图像非刚体配准中位移场保持微分同胚配准特性的方法。
背景技术
医学图像非刚性配准通过某种几何变换使同一模态或者不同模态的影像达到空间上的一致，这样就将两幅影像之间的有用信息互补起来，有助于医生对病灶的诊断和治疗，是医学图像处理领域的重要研究课题。
传统非刚体优化的方法容易陷入局部极值，受初始值影响很大，所以引入了深度学习的配准。最近，深度卷积网络，特别是编码解码网络，被应用在配准中，许多通过学习的配准算法被提出。Shenyu Zhao提出递归级联网络，能够用在任何配准的基本网络中，使得神经网络学习到深度级联的信息，能够实现大范围的非刚体形变,缺点是微分同胚的性质不能很好满足。Adrian V.Dalca提出一个非监督学习的框架，包括一个卷积神经网络和空间变换网络，取名为Voxelmorph，其输入为一对医学图像，通过神经网络学习两者的密集位移场，使得一张弯曲成另一张。之后，通过在Voxelmorph中加入积分变换网络，改进的网络基于速度场的贝叶斯概率配准模型，使得配准结果满足微分同胚的性质。尽管有巨大的成功，Voxelmorph一个主要的缺点是仅能在小范围变化时保持微分同胚性质，在大范围变形时微分同胚的性质遭到破坏，所以其只适用于微小的形变。训练数据在训练前需要进行仿射空间正则化，其只可以减小整体的大范围变形，在局部仍存在大范围的变形。
1996年，Christense首次提出基于粘性流体的模型非刚体配准方法，该模型是为适应大尺度形变的框架而提出的，是基于欧拉参考框架的。粘性流体模型将图像的每个像素当做流体粒子进行建模，流体粒子在外力的作用下产生运动，从而使运动图像向目标图像配准，它通过解粘性流体的偏微分方程组来迭代优化误差。这种粘性流体模型要求解大量的偏微分方程，需要花费大量的计算资源。
发明内容
本发明的目的在于提供一种基于大范围医学图像非刚性配准中保持配准位移场微分同胚特性的网络，以解决上述现有理论与设计上存在的缺陷或不足；该配准网络是为了让配准的位移场在大范围形变时满足微分同胚的特性，通过在VoxelMorph网络中添加流体散度损失函数，使得神经网络在学习的过程中抑制大散度速度场的生成，而大散度的速度场是造成流体微分同胚特性破坏的原因，从而保证网络在实际的非刚体配准任务中满足微分同胚的配准。
为了实现上述的目的，本发明采用如下技术方案：
基于流体散度损失的微分同胚的非刚体配准方法，包括以下步骤：
步骤一：将模板图像f和待配准图像m沿新的维度叠加；
步骤二：将叠加的图片送入u-net神经网络层，生成每个网格满足的速度高斯分布的均值μ和方差σ；
步骤三：速度采样层，根据u-net神经网络生成的每个像素的均值μ和方差σ，根据每个网格的高斯分布采样对应网格的速度，整体构成欧拉速度场；
步骤四：在获得的欧拉速度场下，计算每个网格点在此速度场运动1s后的位移，将位移和每个网格点的初始位置坐标求和，得到位移场φv。
步骤五：空间变换网络层，将位移场φv和待配准图像m作为输入，通过位移场φv各个网格保存的像素坐标，在待配准图像m中通过双线性插值的方法采样像素，得到配准后的图像Moved；
步骤六：基于流体生成模型的误差函数为KL散度，最小化KL散度，获得训练网络的误差。公式如下，损失包含三个部分：第一，对步骤五生成的配准后的图像Moved和模板图像计算相似性损失，其可表示为图像灰度的均方误差或者交叉互相关熵，均方误差损失如公式的第一项；第二，对步骤二生成的速度场均值和方差添加平滑正则项的损失，如公式的第二第三项；第三，对步骤二生成的速度场均值添加散度损失FDLloss，如公式的第四项；
Figure BDA0002522894630000021
步骤六中，FDLloss有如下定义：
Figure BDA0002522894630000031
其中,K是一个比例系数，可调节FD loss的强弱，l为图片沿x方向的像素个数，w为图片沿y方向的像素个数，h为图片沿z方向的像素个数。x,y,z∈[0,n]，为像素坐标。
步骤七：训练好网络参数后，给定新的待配准的图像对，执行步骤1-5，得到配准后的图像。
与现有技术相比，本发明的优势如下：传统的不加入FDloss的VoxelMorph只是在速度场加了平滑的正则项损失，其正则项是对整个配准图像的，不能够精确地定位配准位移场微分同胚失效的像素位置，本发明通过在传统的VoxelMorph的基础上添加FDloss损失，FDloss损失大的地方同时也是配准的位移场微分同胚特性失效的位置，通过抑制大的FDloss的生成即可使得配准网络的微分同胚的特性保持。
附图说明
图1是整体网络结构图；
图2是基于流体散度损失的微分同胚的非刚体配准方法流程图；
图3是二值图像实验配准前后图像对比结果图；
图4是图3对应二值图像实验的位移场，速度场，散度热图对比结果；
图5是三维MRI图像切片实验配准前后图像对比结果图；
图6是图5对应三维MRI图像切片实验的位移场，速度场，散度热图对比结果；
具体实施方式
医学图像的非刚性配准过程中，保证位移场微分同胚的特性是保证配准结果能够用于医学分析的基础。通过在网络中添加FDloss损失，可以有正对性地抑制使得微分同胚特性失效的速度场。
下面对本发明做进一步的详细描述。
参见图1，本发明的网络结构框架。将模板图像f和待配准图像m沿新的维度叠加，将叠加的图片送入u-net神经网络层，生成每个网格满足的速度高斯分布的均值μ和方差σ，根据每个网格的高斯分布采样对应网格的速度，整体构成欧拉速度场，速度场积分，得到位移场φv，将位移场φv和待配准图像m输入空间变换网络，得到配准后的图像，基于流体压缩损失函数，通过梯度下降的方法优化，训练神经网络参数。
参见图2，本发明基于流体散度损失的微分同胚的非刚体配准方法分为以下七个步骤，每个步骤具体如下：
1)将模板图像f和待配准图像m沿新的维度叠加，融合f和m的信息作为网络输入：
2)将叠加的图片送入u-net神经网络层，此层对输入的图片特征抽取，生成每个网格满足的速度高斯分布的均值μ和方差σ；
3)速度采样层，根据u-net神经网络生成的每个像素的均值μ和方差σ，根据每个网格的高斯分布采样对应网格的速度，整体构成欧拉速度场，赋给每个像素一个速度值：
4)在获得的欧拉速度场下，计算每个网格点在此速度场运动1s后的位移，将位移和每个网格点的初始位置坐标求和，得到位移场φv，速度积分公式如下，S为位移：
Figure BDA0002522894630000041
5)空间变换网络层，将位移场φv和待配准图像m作为输入，通过位移场φv各个网格保存的像素坐标，在待配准图像m中通过双线性插值的方法采样像素，得到配准后的图像Moved；
6)基于流体生成模型的误差函数。目的是训练神经网络生成多元高斯分布的均值和方差，让能够完成期待配准效果的速度场z的生成概率最大。假设先验概率z满足高斯分布：
p(z)＝N(z；0,Σz)
其中，N(·；μ,Σz)是均值为μ方差为Σ的多元高斯分布。在体元网格上定义拉普拉临接图矩阵L＝D-A，D是图的度矩阵，A是体元网格的邻接矩阵。让
Figure BDA0002522894630000042
其可以让z变得平滑,Λz是精确度矩阵λ确定了z的变化范围。
为了估计后验配准概率
Figure BDA0002522894630000043
由于p(a|z；m)是不可求的，我们使用变分方法，引进近似后验概率qψ(z|a；m)，
其参数为ψ。最小化它们的KL散度，使得qψ(z|a；m)在概率分布上趋近于p(a|z；m)。采用卷积神经网络表示参数为ψ的后验概率qψ(z|a；m)，并且认为后验概率满足多元正态分布：
qψ(z|a；m)＝N(z；μz|a,m,Σz|a,m)
最后，最小化KL散度，获得训练网络的误差，通过随机梯度下降的方法来循环训练训练神经网络，直到配准网络达到最优，网络训练完成。公式如下，损失包含三个部分：第一，对步骤五生成的配准后的图像Moved和模板图像计算相似性损失，其可表示为图像灰度的均方误差或者交叉互相关熵，均方误差损失如公式的第一项；第二，对步骤二生成的速度场均值和方差添加平滑正则项的损失，如公式的第二第三项；第三，对步骤二生成的速度场均值添加散度损失FDLloss，如公式的第四项；
Figure BDA0002522894630000051
其中，FDLloss有如下定义,我们根据不可压缩流体满足的质量守恒方程，设计了了一个流体散度损失，能够让生成的速度场尽可能地满足不可压缩流体的定常流动。考虑三维不可压缩流体速度场，可表示为：
u(x,y,z)＝ux(x,y,z)i+uy(x,y,z)j+uz(x,y,z)k
其中，i,j,k分别是x,y,z三个坐标轴上的单位向量，ux,uy,uz为三个方向的速度矢量。其质量守恒方程为：
Figure BDA0002522894630000052
Figure BDA0002522894630000053
为散度算子，可以发现不可压缩流体速度场散度处处为0。速度散度的中心差分方程如下：
Figure BDA0002522894630000054
我们定义FD loss：
Figure BDA0002522894630000055
其中,K是一个比例系数，可调节FD loss的强弱，l为图片沿x方向的像素个数，w为图片沿y方向的像素个数，h为图片沿z方向的像素个数。x,y,z∈[0,n]，为像素坐标。
由于网络训练加入了FDLloss，使得网络可以精准地限制大散度速度场的地方，而这些地方是网格发生较多重合地地方，所以精准地限制位移场的网格重叠，从而使得非刚体配准满足微分同胚的能力。
7)训练好网络参数后，给定新的待配准的图像对，执行步骤1-5，得到配准后的图像。
参见图3，本发明在c-shape数据集的一个代表性结果。我们的算法配准后的图像非常地接近固定图像，配准精度高。
参见图4，本发明在c-shape数据集的结果可视化分析。我们的方法通过限制FDL损失的值来精确地限制大散度速度场的生成，从而在保证配准精度的情况下使得微分同胚特性得到满足。
参见图5，本发明在大脑MRI数据集LBPA的一个代表性结果。我们的算法配准后的图像非常地接近固定图像，配准精度高。
参见图4，本发明在大脑MRI数据集LBPA的结果可视化分析。对比改进前和改进后的结果，我们的方法在改进后位移场网格重合较低，原因是其通过限制FDL损失的值来精确地限制大散度速度场的生成和重合网格的生成，从而在保证配准精度的情况下使得微分同胚特性得到满足。

Claims (3)

1.基于流体散度损失的微分同胚的非刚体配准方法，其特征在于，包括以下步骤：
步骤一：将模板图像f和待配准图像m沿新的维度叠加；
步骤二：将叠加的图片送入u-net神经网络层，生成每个网格满足的速度高斯分布的均值μ和方差σ；
步骤三：速度采样层，根据u-net神经网络生成的每个像素的均值μ和方差σ，根据每个网格的高斯分布采样对应网格的速度，整体构成欧拉速度场；
步骤四：在获得的欧拉速度场下，计算每个网格点在此速度场运动1s后的位移，将位移和每个网格点的初始位置坐标求和，得到位移场φv；
步骤五：空间变换网络层，将位移场φv和待配准图像m作为输入，通过位移场φv各个网格保存的像素坐标，在待配准图像m中通过双线性插值的方法采样像素，得到配准后的图像；
步骤六：基于流体生成模型的误差函数为KL散度，最小化KL散度，获得训练网络的误差，公式如下，损失包含三个部分：第一，对步骤五生成的配准后的图像Moved和模板图像计算相似性损失，其可表示为图像灰度的均方误差或者交叉互相关熵，均方误差损失如公式的第一项；第二，对步骤二生成的速度场均值和方差添加平滑正则项的损失，如公式的第二第三项；第三，对步骤二生成的速度场均值添加散度损失FDLloss，如公式的第四项；
Figure FDA0002522894620000011
其中，f,m为固定图片和运动图片，q,p为后验概率，μv|f,m为速度均值，Σv|f,m为速度方差。
步骤六中，FDLloss有如下定义：
Figure FDA0002522894620000021
其中,K是一个比例系数，可调节FD loss的强弱，l为图片沿x方向的像素个数，w为图片沿y方向的像素个数，h为图片沿z方向的像素个数，x,y,z∈[0,n]，为像素坐标；
步骤七：训练好网络参数后，给定新的待配准的图像对，执行步骤1-5，得到配准后的图像。
2.根据权利要求1所述的基于流体散度损失的微分同胚的非刚体配准方法，其特征在于：步骤六中将不可压缩流体配准的思想运用到生成模型中。
3.根据权利要求1所述的基于流体散度损失的微分同胚的非刚体配准方法，其特征在于：步骤六中设计了流体散度损失函数FDloss。
CN202010496110.7A 2020-06-03 2020-06-03 基于流体散度损失的微分同胚的非刚体配准方法 Active CN111724423B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010496110.7A CN111724423B (zh) 2020-06-03 2020-06-03 基于流体散度损失的微分同胚的非刚体配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010496110.7A CN111724423B (zh) 2020-06-03 2020-06-03 基于流体散度损失的微分同胚的非刚体配准方法

Publications (2)

Publication Number Publication Date
CN111724423A true CN111724423A (zh) 2020-09-29
CN111724423B CN111724423B (zh) 2022-10-25

Family

ID=72565909

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010496110.7A Active CN111724423B (zh) 2020-06-03 2020-06-03 基于流体散度损失的微分同胚的非刚体配准方法

Country Status (1)

Country Link
CN (1) CN111724423B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112419377A (zh) * 2020-11-20 2021-02-26 推想医疗科技股份有限公司 配准图像确定方法及配准图像确定装置
CN113159105A (zh) * 2021-02-26 2021-07-23 北京科技大学 一种驾驶行为无监督模式识别方法及数据采集监控系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190205766A1 (en) * 2018-01-03 2019-07-04 Siemens Healthcare Gmbh Medical Imaging Diffeomorphic Registration based on Machine Learning
US20190213779A1 (en) * 2018-01-10 2019-07-11 The Board Of Trustees Of The University Of Illinois Apparatus and method for producing three-dimensional models from magnetic resonance imaging
CN110021037A (zh) * 2019-04-17 2019-07-16 南昌航空大学 一种基于生成对抗网络的图像非刚性配准方法及系统
CN111091589A (zh) * 2019-11-25 2020-05-01 北京理工大学 基于多尺度监督学习的超声和核磁图像配准方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190205766A1 (en) * 2018-01-03 2019-07-04 Siemens Healthcare Gmbh Medical Imaging Diffeomorphic Registration based on Machine Learning
US20190213779A1 (en) * 2018-01-10 2019-07-11 The Board Of Trustees Of The University Of Illinois Apparatus and method for producing three-dimensional models from magnetic resonance imaging
CN110021037A (zh) * 2019-04-17 2019-07-16 南昌航空大学 一种基于生成对抗网络的图像非刚性配准方法及系统
CN111091589A (zh) * 2019-11-25 2020-05-01 北京理工大学 基于多尺度监督学习的超声和核磁图像配准方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DANIELA PORTES LEAL FERREIRA等: ""A variational approach to non-rigid image registration with Bregman divergences and multiple features"", 《PATTERN RECOGNITION》 *
熊磊等: ""基于局部仿射配准的鲁棒非刚体配准算法"", 《电子与信息学报》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112419377A (zh) * 2020-11-20 2021-02-26 推想医疗科技股份有限公司 配准图像确定方法及配准图像确定装置
CN112419377B (zh) * 2020-11-20 2021-10-08 推想医疗科技股份有限公司 配准图像确定方法及配准图像确定装置
CN113159105A (zh) * 2021-02-26 2021-07-23 北京科技大学 一种驾驶行为无监督模式识别方法及数据采集监控系统
CN113159105B (zh) * 2021-02-26 2023-08-08 北京科技大学 一种驾驶行为无监督模式识别方法及数据采集监控系统

Also Published As

Publication number Publication date
CN111724423B (zh) 2022-10-25

Similar Documents

Publication Publication Date Title
McCann et al. Convolutional neural networks for inverse problems in imaging: A review
CN108804094B (zh) 学习自动编码器
WO2019174377A1 (zh) 一种基于单目相机的三维场景稠密重建方法
Sdika A fast nonrigid image registration with constraints on the Jacobian using large scale constrained optimization
Jiang et al. Deep CNN denoiser and multi-layer neighbor component embedding for face hallucination
CN113177882B (zh) 一种基于扩散模型的单帧图像超分辨处理方法
Chen et al. Convolutional neural network based dem super resolution
CN111724423B (zh) 基于流体散度损失的微分同胚的非刚体配准方法
CN112634149B (zh) 一种基于图卷积网络的点云去噪方法
US20230169727A1 (en) Generative Nonlinear Human Shape Models
Wang et al. Residual 3-d scene flow learning with context-aware feature extraction
Ferrante et al. Weakly supervised learning of metric aggregations for deformable image registration
Lebrat et al. CorticalFlow: a diffeomorphic mesh transformer network for cortical surface reconstruction
WO2022151586A1 (zh) 一种对抗配准方法、装置、计算机设备及存储介质
CN110197255A (zh) 一种基于深度学习的可变形卷积网络
Cheng et al. Dense point cloud completion based on generative adversarial network
CN113205609A (zh) 变形基础学习
Durasov et al. Double refinement network for efficient monocular depth estimation
CN113643336B (zh) 基于球极坐标系深度神经网络的三维图像刚性匹配方法
Joshi et al. Diffeomorphic image registration using lipschitz continuous residual networks
CN113781465A (zh) 基于Grad-CAM的医学图像分割模型可视化方法
Zhu et al. Effects of differential geometry parameters on grid generation and segmentation of mri brain image
CN112686830A (zh) 基于图像分解的单一深度图的超分辨率方法
CN117011357A (zh) 基于3d运动流和法线图约束的人体深度估计方法及系统
CN116883467A (zh) 一种医学图像的非刚性配准方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant