CN111724423B - 基于流体散度损失的微分同胚的非刚体配准方法 - Google Patents
基于流体散度损失的微分同胚的非刚体配准方法 Download PDFInfo
- Publication number
- CN111724423B CN111724423B CN202010496110.7A CN202010496110A CN111724423B CN 111724423 B CN111724423 B CN 111724423B CN 202010496110 A CN202010496110 A CN 202010496110A CN 111724423 B CN111724423 B CN 111724423B
- Authority
- CN
- China
- Prior art keywords
- image
- registered
- field
- grid
- loss
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于流体散度损失的微分同胚的非刚体配准方法,包括:将模板图像f和待配准图像m沿新的维度叠加;将叠加的图片送入u‑net神经网络层,生成每个网格满足的速度高斯分布的均值μ和方差σ;根据每个网格的高斯分布采样对应网格的速度,整体构成欧拉速度场;速度场积分,得到位移场φv;将位移场φv和待配准图像m输入空间变换网络,得到配准后的图像;基于流体压缩损失函数,通过梯度下降的方法优化,训练神经网络参数;训练好网络参数后,给定新的待配准的图像对,执行步骤1‑5,得到配准后的图像。从实验结果中可以看到,本发明可以明显抑制局部大散度速度场的生成,从而使得配准的位移场满足微分同胚的特性。
Description
技术领域
本发明涉及医学图像非刚体配准技术领域,特别涉及医学图像非刚体配准中位移场保持微分同胚配准特性的方法。
背景技术
医学图像非刚性配准通过某种几何变换使同一模态或者不同模态的影像达到空间上的一致,这样就将两幅影像之间的有用信息互补起来,有助于医生对病灶的诊断和治疗,是医学图像处理领域的重要研究课题。
传统非刚体优化的方法容易陷入局部极值,受初始值影响很大,所以引入了深度学习的配准。最近,深度卷积网络,特别是编码解码网络,被应用在配准中,许多通过学习的配准算法被提出。Shenyu Zhao提出递归级联网络,能够用在任何配准的基本网络中,使得神经网络学习到深度级联的信息,能够实现大范围的非刚体形变,缺点是微分同胚的性质不能很好满足。Adrian V.Dalca提出一个非监督学习的框架,包括一个卷积神经网络和空间变换网络,取名为Voxelmorph,其输入为一对医学图像,通过神经网络学习两者的密集位移场,使得一张弯曲成另一张。之后,通过在Voxelmorph中加入积分变换网络,改进的网络基于速度场的贝叶斯概率配准模型,使得配准结果满足微分同胚的性质。尽管有巨大的成功,Voxelmorph一个主要的缺点是仅能在小范围变化时保持微分同胚性质,在大范围变形时微分同胚的性质遭到破坏,所以其只适用于微小的形变。训练数据在训练前需要进行仿射空间正则化,其只可以减小整体的大范围变形,在局部仍存在大范围的变形。
1996年,Christense首次提出基于粘性流体的模型非刚体配准方法,该模型是为适应大尺度形变的框架而提出的,是基于欧拉参考框架的。粘性流体模型将图像的每个像素当做流体粒子进行建模,流体粒子在外力的作用下产生运动,从而使运动图像向目标图像配准,它通过解粘性流体的偏微分方程组来迭代优化误差。这种粘性流体模型要求解大量的偏微分方程,需要花费大量的计算资源。
发明内容
本发明的目的在于提供一种基于大范围医学图像非刚性配准中保持配准位移场微分同胚特性的网络,以解决上述现有理论与设计上存在的缺陷或不足;该配准网络是为了让配准的位移场在大范围形变时满足微分同胚的特性,通过在VoxelMorph网络中添加流体散度损失函数,使得神经网络在学习的过程中抑制大散度速度场的生成,而大散度的速度场是造成流体微分同胚特性破坏的原因,从而保证网络在实际的非刚体配准任务中满足微分同胚的配准。
为了实现上述的目的,本发明采用如下技术方案:
基于流体散度损失的微分同胚的非刚体配准方法,包括以下步骤:
步骤一:将模板图像f和待配准图像m沿新的维度叠加;
步骤二:将叠加的图片送入u-net神经网络层,生成每个网格满足的速度高斯分布的均值μ和方差σ;
步骤三:速度采样层,根据u-net神经网络生成的每个像素的均值μ和方差σ,根据每个网格的高斯分布采样对应网格的速度,整体构成欧拉速度场;
步骤四:在获得的欧拉速度场下,计算每个网格点在此速度场运动1s后的位移,将位移和每个网格点的初始位置坐标求和,得到位移场φv。
步骤五:空间变换网络层,将位移场φv和待配准图像m作为输入,通过位移场φv各个网格保存的像素坐标,在待配准图像m中通过双线性插值的方法采样像素,得到配准后的图像Moved;
步骤六:基于流体生成模型的误差函数为KL散度,最小化KL散度,获得训练网络的误差。公式如下,损失包含三个部分:第一,对步骤五生成的配准后的图像Moved和模板图像计算相似性损失,其可表示为图像灰度的均方误差或者交叉互相关熵,均方误差损失如公式的第一项;第二,对步骤二生成的速度场均值和方差添加平滑正则项的损失,如公式的第二第三项;第三,对步骤二生成的速度场均值添加散度损失FDLloss,如公式的第四项;
步骤六中,FDLloss有如下定义:
其中,K是一个比例系数,可调节FD loss的强弱,l为图片沿x方向的像素个数,w为图片沿y方向的像素个数,h为图片沿z方向的像素个数。x,y,z∈[0,n],为像素坐标。
步骤七:训练好网络参数后,给定新的待配准的图像对,执行步骤1-5,得到配准后的图像。
与现有技术相比,本发明的优势如下:传统的不加入FDloss的VoxelMorph只是在速度场加了平滑的正则项损失,其正则项是对整个配准图像的,不能够精确地定位配准位移场微分同胚失效的像素位置,本发明通过在传统的VoxelMorph的基础上添加FDloss损失,FDloss损失大的地方同时也是配准的位移场微分同胚特性失效的位置,通过抑制大的FDloss的生成即可使得配准网络的微分同胚的特性保持。
附图说明
图1是整体网络结构图;
图2是基于流体散度损失的微分同胚的非刚体配准方法流程图;
图3是二值图像实验配准前后图像对比结果图;
图4是图3对应二值图像实验的位移场,速度场,散度热图对比结果;
图5是三维MRI图像切片实验配准前后图像对比结果图;
图6是图5对应三维MRI图像切片实验的位移场,速度场,散度热图对比结果;
具体实施方式
医学图像的非刚性配准过程中,保证位移场微分同胚的特性是保证配准结果能够用于医学分析的基础。通过在网络中添加FDloss损失,可以有正对性地抑制使得微分同胚特性失效的速度场。
下面对本发明做进一步的详细描述。
参见图1,本发明的网络结构框架。将模板图像f和待配准图像m沿新的维度叠加,将叠加的图片送入u-net神经网络层,生成每个网格满足的速度高斯分布的均值μ和方差σ,根据每个网格的高斯分布采样对应网格的速度,整体构成欧拉速度场,速度场积分,得到位移场φv,将位移场φv和待配准图像m输入空间变换网络,得到配准后的图像,基于流体压缩损失函数,通过梯度下降的方法优化,训练神经网络参数。
参见图2,本发明基于流体散度损失的微分同胚的非刚体配准方法分为以下七个步骤,每个步骤具体如下:
1)将模板图像f和待配准图像m沿新的维度叠加,融合f和m的信息作为网络输入:
2)将叠加的图片送入u-net神经网络层,此层对输入的图片特征抽取,生成每个网格满足的速度高斯分布的均值μ和方差σ;
3)速度采样层,根据u-net神经网络生成的每个像素的均值μ和方差σ,根据每个网格的高斯分布采样对应网格的速度,整体构成欧拉速度场,赋给每个像素一个速度值:
4)在获得的欧拉速度场下,计算每个网格点在此速度场运动1s后的位移,将位移和每个网格点的初始位置坐标求和,得到位移场φv,速度积分公式如下,S为位移:
5)空间变换网络层,将位移场φv和待配准图像m作为输入,通过位移场φv各个网格保存的像素坐标,在待配准图像m中通过双线性插值的方法采样像素,得到配准后的图像Moved;
6)基于流体生成模型的误差函数。目的是训练神经网络生成多元高斯分布的均值和方差,让能够完成期待配准效果的速度场z的生成概率最大。假设先验概率z满足高斯分布:
p(z)=Ν(z;0,Σz)
其中,Ν(·;μ,Σz)是均值为μ方差为Σ的多元高斯分布。在体元网格上定义拉普拉临接图矩阵L=D-A,D是图的度矩阵,A是体元网格的邻接矩阵。让其可以让z变得平滑,Λz是精确度矩阵λ确定了z的变化范围。
为了估计后验配准概率
由于p(a|z;m)是不可求的,我们使用变分方法,引进近似后验概率qψ(z|a;m),其参数为ψ。最小化它们的KL散度,使得qψ(z|a;m)在概率分布上趋近于p(a|z;m)。采用卷积神经网络表示参数为ψ的后验概率qψ(z|a;m),并且认为后验概率满足多元正态分布:
qψ(z|a;m)=Ν(z;μz|a,m,Σz|a,m)
最后,最小化KL散度,获得训练网络的误差,通过随机梯度下降的方法来循环训练训练神经网络,直到配准网络达到最优,网络训练完成。公式如下,损失包含三个部分:第一,对步骤五生成的配准后的图像Moved和模板图像计算相似性损失,其可表示为图像灰度的均方误差或者交叉互相关熵,均方误差损失如公式的第一项;第二,对步骤二生成的速度场均值和方差添加平滑正则项的损失,如公式的第二第三项;第三,对步骤二生成的速度场均值添加散度损失FDLloss,如公式的第四项;
其中,FDLloss有如下定义,我们根据不可压缩流体满足的质量守恒方程,设计了了一个流体散度损失,能够让生成的速度场尽可能地满足不可压缩流体的定常流动。考虑三维不可压缩流体速度场,可表示为:
u(x,y,z)=ux(x,y,z)i+uy(x,y,z)j+uz(x,y,z)k
其中,i,j,k分别是x,y,z三个坐标轴上的单位向量,ux,uy,uz为三个方向的速度矢量。其质量守恒方程为:
我们定义FD loss:
其中,K是一个比例系数,可调节FD loss的强弱,l为图片沿x方向的像素个数,w为图片沿y方向的像素个数,h为图片沿z方向的像素个数。x,y,z∈[0,n],为像素坐标。
由于网络训练加入了FDLloss,使得网络可以精准地限制大散度速度场的地方,而这些地方是网格发生较多重合地地方,所以精准地限制位移场的网格重叠,从而使得非刚体配准满足微分同胚的能力。
7)训练好网络参数后,给定新的待配准的图像对,执行步骤1-5,得到配准后的图像。
参见图3,本发明在c-shape数据集的一个代表性结果。我们的算法配准后的图像非常地接近固定图像,配准精度高。
参见图4,本发明在c-shape数据集的结果可视化分析。我们的方法通过限制FDL损失的值来精确地限制大散度速度场的生成,从而在保证配准精度的情况下使得微分同胚特性得到满足。
参见图5,本发明在大脑MRI数据集LBPA的一个代表性结果。我们的算法配准后的图像非常地接近固定图像,配准精度高。
参见图4,本发明在大脑MRI数据集LBPA的结果可视化分析。对比改进前和改进后的结果,我们的方法在改进后位移场网格重合较低,原因是其通过限制FDL损失的值来精确地限制大散度速度场的生成和重合网格的生成,从而在保证配准精度的情况下使得微分同胚特性得到满足。
Claims (1)
1.基于流体散度损失的微分同胚的非刚体配准方法,其特征在于,包括以下步骤:
步骤一:将模板图像f和待配准图像m沿新的维度叠加;
步骤二:将叠加的图片送入u-net神经网络层,生成每个网格满足的速度高斯分布的均值μ和方差σ;
步骤三:速度采样层,根据u-net神经网络生成的每个网格的均值μ和方差σ,根据每个网格的高斯分布采样对应网格的速度,所有像素网格的速度整体构成欧拉速度场;
步骤四:在获得的欧拉速度场下,计算每个网格点在此速度场运动1s后的位移,将位移和每个网格点的初始位置坐标求和,得到位移场φv;
步骤五:空间变换网络层,将位移场φv和待配准图像m作为输入,通过位移场φv各个网格保存的像素坐标,在待配准图像m中通过双线性插值的方法采样像素,得到配准后的图像;
步骤六:基于流体生成模型的误差函数为KL散度,最小化KL散度,获得训练网络的误差,公式如下,损失包含三个部分:第一,对步骤五生成的配准后的图像Moved和模板图像计算相似性损失,其可表示为图像灰度的均方误差或者交叉互相关熵,均方误差损失如公式的第一项第二,对步骤二生成的速度场均值和方差添加平滑正则项的损失,如公式的第二项tr(λDΣv|f,m-log|Σv|f,m|)和第三项第三,对步骤二生成的速度场均值添加散度损失FDloss,如公式的第四项FDloss;
其中,f,m为固定图片和待配准图像,q,p为后验概率,μv|f,m为速度均值,Σv|f,m为速度方差,
步骤六中,FDloss有如下定义:
其中,K是一个比例系数,可调节FDloss的强弱,l为图片沿x方向的像素个数,w为图片沿y方向的像素个数,h为图片沿z方向的像素个数,x,y,z∈[0,n],为像素坐标;
步骤七:训练好网络参数后,给定新的待配准的图像对,执行步骤一至五,得到配准后的图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010496110.7A CN111724423B (zh) | 2020-06-03 | 2020-06-03 | 基于流体散度损失的微分同胚的非刚体配准方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010496110.7A CN111724423B (zh) | 2020-06-03 | 2020-06-03 | 基于流体散度损失的微分同胚的非刚体配准方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111724423A CN111724423A (zh) | 2020-09-29 |
CN111724423B true CN111724423B (zh) | 2022-10-25 |
Family
ID=72565909
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010496110.7A Active CN111724423B (zh) | 2020-06-03 | 2020-06-03 | 基于流体散度损失的微分同胚的非刚体配准方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111724423B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112419377B (zh) * | 2020-11-20 | 2021-10-08 | 推想医疗科技股份有限公司 | 配准图像确定方法及配准图像确定装置 |
CN113159105B (zh) * | 2021-02-26 | 2023-08-08 | 北京科技大学 | 一种驾驶行为无监督模式识别方法及数据采集监控系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110021037A (zh) * | 2019-04-17 | 2019-07-16 | 南昌航空大学 | 一种基于生成对抗网络的图像非刚性配准方法及系统 |
CN111091589A (zh) * | 2019-11-25 | 2020-05-01 | 北京理工大学 | 基于多尺度监督学习的超声和核磁图像配准方法及装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11449759B2 (en) * | 2018-01-03 | 2022-09-20 | Siemens Heathcare Gmbh | Medical imaging diffeomorphic registration based on machine learning |
US10891778B2 (en) * | 2018-01-10 | 2021-01-12 | The Board Of Trustees Of The University Of Illinois | Apparatus and method for producing three-dimensional models from magnetic resonance imaging |
-
2020
- 2020-06-03 CN CN202010496110.7A patent/CN111724423B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110021037A (zh) * | 2019-04-17 | 2019-07-16 | 南昌航空大学 | 一种基于生成对抗网络的图像非刚性配准方法及系统 |
CN111091589A (zh) * | 2019-11-25 | 2020-05-01 | 北京理工大学 | 基于多尺度监督学习的超声和核磁图像配准方法及装置 |
Non-Patent Citations (2)
Title |
---|
"A variational approach to non-rigid image registration with Bregman divergences and multiple features";Daniela Portes Leal Ferreira等;《Pattern Recognition》;20180531;第77卷;第234-247页 * |
"基于局部仿射配准的鲁棒非刚体配准算法";熊磊等;《电子与信息学报》;20180430;第40卷(第4期);第920-927页 * |
Also Published As
Publication number | Publication date |
---|---|
CN111724423A (zh) | 2020-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2019174377A1 (zh) | 一种基于单目相机的三维场景稠密重建方法 | |
CN110009674B (zh) | 基于无监督深度学习的单目图像景深实时计算方法 | |
CN104899921B (zh) | 基于多模态自编码模型的单视角视频人体姿态恢复方法 | |
CN112634149B (zh) | 一种基于图卷积网络的点云去噪方法 | |
CN111783582A (zh) | 一种基于深度学习的无监督单目深度估计算法 | |
US20230169727A1 (en) | Generative Nonlinear Human Shape Models | |
CN111724423B (zh) | 基于流体散度损失的微分同胚的非刚体配准方法 | |
Wang et al. | Residual 3-d scene flow learning with context-aware feature extraction | |
CN110197255A (zh) | 一种基于深度学习的可变形卷积网络 | |
CN115115676A (zh) | 图像配准方法、装置、设备和存储介质 | |
CN113205609A (zh) | 变形基础学习 | |
Fu et al. | Pt-flownet: Scene flow estimation on point clouds with point transformer | |
CN115482268A (zh) | 一种基于散斑匹配网络的高精度三维形貌测量方法与系统 | |
Durasov et al. | Double refinement network for efficient monocular depth estimation | |
CN113643336B (zh) | 基于球极坐标系深度神经网络的三维图像刚性匹配方法 | |
CN109300148B (zh) | 基于方法协同的多源图像配准方法 | |
CN113781465A (zh) | 基于Grad-CAM的医学图像分割模型可视化方法 | |
CN112561947A (zh) | 一种图像自适应运动估计方法及应用 | |
CN109584194B (zh) | 基于卷积变分概率模型的高光谱图像融合方法 | |
CN116883467A (zh) | 一种医学图像的非刚性配准方法 | |
Siebert et al. | Deep groupwise registration of mri using deforming autoencoders | |
CN113838104B (zh) | 基于多光谱与多模态图像一致性增强网络的配准方法 | |
Wu et al. | Hybrid atlas building with deep registration priors | |
CN114155406A (zh) | 一种基于区域级特征融合的位姿估计方法 | |
Shamsolmoali et al. | Entropy Transformer Networks: A Learning Approach via Tangent Bundle Data Manifold |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |