CN116051609B - 一种基于带限变形傅里叶网络的无监督医学图像配准方法 - Google Patents

一种基于带限变形傅里叶网络的无监督医学图像配准方法 Download PDF

Info

Publication number
CN116051609B
CN116051609B CN202310062802.4A CN202310062802A CN116051609B CN 116051609 B CN116051609 B CN 116051609B CN 202310062802 A CN202310062802 A CN 202310062802A CN 116051609 B CN116051609 B CN 116051609B
Authority
CN
China
Prior art keywords
image
network
deformation
fourier
band
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310062802.4A
Other languages
English (en)
Other versions
CN116051609A (zh
Inventor
邱兆文
贾曦
端金鸣
肖辛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northeast Forestry University
Original Assignee
Northeast Forestry University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northeast Forestry University filed Critical Northeast Forestry University
Priority to CN202310062802.4A priority Critical patent/CN116051609B/zh
Publication of CN116051609A publication Critical patent/CN116051609A/zh
Application granted granted Critical
Publication of CN116051609B publication Critical patent/CN116051609B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于带限变形傅里叶网络的无监督医学图像配准方法，属于医学图像处理技术领域，为解决目前基于自编码器结构的配准模型中存在的冗余的模块所带来的配准速度不够快，同时无法达到较高精度的问题。本发明基于带限变形傅里叶网络的无监督网络模型包括编码器模块、解码器模块和Warping模块；可将浮动图像和固定图像编码为带限傅里叶域中的形变场的低维特征图；再将其从带限傅里叶域重构到全分辨率空间域上生成形变场；最后，将浮动图像和形变场输入空间变换网络中，得到配准图像；通过计算配准图像与固定图像之间的相似性损失以及形变场的正则化平滑损失，训练网络模型。本发明方法具有更快的训练和配准速度，同时达到更精准的配准结果。

Description

一种基于带限变形傅里叶网络的无监督医学图像配准方法
技术领域
本发明属于医学图像处理技术领域，具体涉及一种基于带限变形傅里叶网络的无监督医学图像配准方法。
背景技术
图像配准是将两幅或两幅以上相同或相似的物体在不同时间、不同视点或不同成像方式下的图像转换为同一坐标系的过程。在医学成像领域，通过将图像转换为共同的坐标系，配准能够使临床医生能够直接比较不同进展阶段获得的包含病理的图像，这对疾病的诊断、治疗和监测至关重要。此外，在许多医学图像自动分析的任务(如运动校正和解剖图谱比较)中，配准经常被用作中间步骤。然而，计算一个平滑且在物理上有意义的变形是非常缓慢的，特别是当图像是高维的，比如三维体积形式。相关的研究表明，快速的迭代优化技术在应用于图像配准方面一直是成功的。
现存的配准算法很大程度上都在提升配准算法迭代速度这一问题上做了许多研究，有相当多的算法引入数值分析的内容进行优化，比如引入带限傅里叶函数、变分带限非平稳向量场、放缩平方和、任意阶正则项、Nesterov加速梯度下降法和乘子交替方向法(ADMM)来加速对模型的求解，但是传统配准算法的迭代求解速度依旧无法进行大幅提升。大多数基于深度神经网络的医学图像配准方法都建立在自编码器(U-Net风格的架构)之上，包括收缩路径和扩展路径。然而，对于图像的配准，可不需要包含完整的解码器，因此，需要一种加速的、无监督的图像配准算法，通过替换网络中一些不必要的结构来使得模型计算量减少的同时并达到更高的配准精度。
发明内容
本发明要解决的技术问题是：
本发明为了解决目前基于自编码器结构的配准模型中存在的冗余的模块所带来的配准速度不够快，同时无法达到较高精度的问题。
本发明为解决上述技术问题所采用的技术方案：
本发明提供了一种基于带限变形傅里叶网络的无监督医学图像配准方法，包括如下步骤：
S1、获取医学图像数据集，在数据集中选取图像对作为固定图像和浮动图像，对固定图像和浮动图像进行拼接与预处理，得到预处理后的浮动图像和固定图像；
S2、创建基于带限变形傅里叶网络的无监督网络模型，所述网络模型包括编码器模块、解码器模块和Warping模块；
S3、将预处理后的浮动图像和固定图像输入至网络模型中，通过编码器模块，将图像对编码为带限傅里叶域中的形变场的低维特征图；
S4、将得到的形变场的低维特征图输入解码器模块中，将其从带限傅里叶域重构到全分辨率空间域上，最终生成全分辨率的固定图像与浮动图像之间的形变场；
S5、将浮动图像和S4生成的形变场输入到Warping模块，即空间变换网络中，得到配准图像；
S6、计算配准图像与固定图像之间的相似性损失以及形变场的正则化平滑损失，通过标准的反向传播训练网络，得到最优权重参数的网络模型；
S7、将待配准图像输入至最优权重参数的网络模型，得到配准结果。
进一步地，S1中所述预处理包括对图像进行归一化、尺寸裁剪处理。
进一步地，所述编码器模块中包含6个卷积层，每个卷积层包含一个实值对偶模块以处理复值数，卷积网络末端嵌入DFT层以弥合实值空间图像与复值带限位移场之间的域差距；所述的编码器的定义为：其中，I0表示固定图像，I1表示浮动图像，CNN为卷积网络，Θ为神经网络参数，/>为DFT，/>为复带限形变场。
进一步地，所述编码器模块中形变场的编码流程为：
其中，φ＝M×N,i∈[0,M-1]和j∈[0,N-1]是空间域中的离散指标，k∈[0,M-1]和l∈[0,N-1]是频域中的离散指标；
φ是一个低通滤波的形变场；如果φ在高频信号的位置上值则为0，如果在低频位置上值则为1；定义一个M×N大小的采样掩码D，通过采样掩码D，可以在不丢失任何信息的情况下从下面公式中恢复形变场φ：
进一步地，所述解码器模块为无参数模型驱动解码器，包括一个零填充层、一个iDFT层和7个可选的平方-缩放层，iDFT层为基于逆离散傅里叶变换的网络层；首先，将形变场的低维特征图输入零填充层，以零值对低维特征图进行图像周围像素的填充，使其恢复到原始图像分辨率；将傅里叶系数从中心区域转移到角落区域，再输入iDFT层，将位移场从带限傅里叶空间转换到空间域，使其具有与输入图像相同的空间大小，得到形变场，将形变场输入到平方-缩放层(Squaring&Scaling)中以保证微分同胚，最终获得全分辨率的形变场。
进一步地，所述解码器模块的解码流程为：
将编码器得到的形变场的低维特征图的所有低频信号转移到一个大小为的中心图像特征块中，对该图像特征块进行中心裁剪，用/>表示，然后通过iDFT的操作，生成具有全分辨率的形变场，即：
其中和/>是空间域中的指标，/>和是频域中的指标；
中的大部分/>为零，其余的值与/>中的值完全相同，所以形变场/>包含了φ所能提供的所有信息，即：
进一步地，所述Warping模块基于线性插值的空间转换网络。
进一步地，网络模型的损失函数由相似性损失和正则化平滑损失组成，两者的和作为浮动图像I1、固定图像I0和形变场φ之间的无监督损失，损失函数的公式为：
其中，N为训练图像对个数，Θ为待学习的网络参数，°为Warping算子，为一阶梯度，第一项定义了经空间变换的浮动图像与固定图像之间的均方误差MSE，第二项定义了形变场的平滑度，其中λ是一个超参数，用于平衡这两个损失。
相较于现有技术，本发明的有益效果是：
本发明一种基于带限变形傅里叶网络的无监督医学图像配准方法，通过对基于深度神经网络的医学图像配准框架的探索，发现在目前基于自编码器(U-Net风格架构)的配准网络中，某些冗余的结构可以被替换掉；通过学习具有已知解码函数的变形场的低维特征图，采用预先确定的、计算成本较低的、模型驱动的解码器(即零填充层和iDFT层)来替换网络中的解码路径，也就是不使用扩展路径中的所有网络层，同时网络最终输出的是低分辨率的特征图，该特征图中包含了傅里叶空间中变形场的低频系数，在减少冗余结构带来的乘加操作的计算成本的同时，能够进一步提高网络训练和推理速度，同时，在医学图像数据集上验证本发明方法，能够达到更精准的配准效果。
附图说明
图1为本发明实施例中基于带限变形傅里叶网络的无监督医学图像配准方法的流程图；
图2为本发明实施例中基于带限变形傅里叶网络的无监督医学图像配准方法与现有方法配准效果的对比图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
具体实施方案一：如图1所示，本发明提供一种基于带限变形傅里叶网络的无监督医学图像配准方法，包括如下步骤：
S1、获取医学图像数据集，在数据集中选取图像对作为固定图像和浮动图像，对固定图像和浮动图像进行拼接与预处理，得到预处理后的浮动图像和固定图像；
S2、创建基于带限变形傅里叶网络的无监督网络模型，所述网络模型包括编码器模块、解码器模块和Warping模块；
S3、将预处理后的浮动图像和固定图像输入至网络模型中，通过编码器模块，将图像对编码为带限傅里叶域中的形变场的低维特征图；
S4、将得到的形变场的低维特征图输入解码器模块中，将其从带限傅里叶域重构到全分辨率空间域上，最终生成全分辨率的固定图像与浮动图像之间的形变场；
S5、将浮动图像和S4生成的形变场输入到Warping模块，即空间变换网络中，得到配准图像；
S6、计算配准图像与固定图像之间的相似性损失以及形变场的正则化平滑损失，通过标准的反向传播训练网络，得到最优权重参数的网络模型；
S7、将待配准图像输入至最优权重参数的网络模型，得到配准结果。
本实施方案方法与现有的基于自编码器架构的模型不同，本发明只学习傅里叶空间中变形场的低频系数(即低维表示)，而不使用扩展路径中的所有网络层，通过低维表示之后的零填充层和逆离散傅里叶变换(iDFT)层，以产生最终的全分辨率的、密集的变形，达到更快更精准的配准结果。
具体实施方案二：S1中所述预处理包括对图像进行归一化、尺寸裁剪处理。本实施方案其他与具体实施方案一相同。
具体实施方案三：所述编码器模块中包含6个卷积层，每个卷积层包含一个实值对偶模块以处理复值数，卷积网络末端嵌入DFT层以弥合实值空间图像与复值带限位移场之间的域差距；所述的编码器的定义为：其中，I0表示固定图像，I1表示浮动图像，CNN为卷积网络，Θ为神经网络参数，/>为DFT，/>为复带限形变场。本实施方案其他与具体实施方案一相同。
具体实施方案四：所述编码器模块中形变场的编码流程为：
其中，φ＝M×N,i∈[0,M-1]和j∈[0,N-1]是空间域中的离散指标，k∈[0,M-1]和l∈[0,N-1]是频域中的离散指标；
φ是一个低通滤波的形变场；如果φ在高频信号的位置上值则为0，如果在低频位置上值则为1；定义一个M×N大小的采样掩码D，通过采样掩码D，可以在不丢失任何信息的情况下从下面公式中恢复形变场φ：
本实施方案其他与具体实施方案三相同。
具体实施方案五：所述解码器模块为无参数模型驱动解码器，包括一个零填充层、一个iDFT层和7个可选的平方-缩放层，iDFT层为基于逆离散傅里叶变换的网络层；首先，将形变场的低维特征图输入零填充层，以零值对低维特征图进行图像周围像素的填充，使其恢复到原始图像分辨率；将傅里叶系数从中心区域转移到角落区域，再输入iDFT层，将位移场从带限傅里叶空间转换到空间域，使其具有与输入图像相同的空间大小，得到形变场，将形变场输入到平方-缩放层(Squaring&Scaling)中以保证微分同胚，最终获得全分辨率的形变场。本实施方案其他与具体实施方案一相同。
具体实施方案六：所述解码器模块的解码流程为：
将编码器得到的形变场的低维特征图的所有低频信号转移到一个大小为的中心图像特征块中，对该图像特征块进行中心裁剪，用/>表示，然后通过iDFT的操作，生成具有全分辨率的形变场，即：
其中和/>是空间域中的指标，/>和是频域中的指标；
为零，其余的值与/>中的值完全相同，所以形变场/>包含了φ所能提供的所有信息，即：
本实施方案其他与具体实施方案五相同。
具体实施方案七：所述Warping模块基于线性插值的空间转换网络。本实施方案其他与具体实施方案一相同。
具体实施方案八：网络模型的损失函数由相似性损失和正则化平滑损失组成，两者的和作为浮动图像I1、固定图像I0和形变场φ之间的无监督损失，损失函数的公式为：
其中，N为训练图像对个数，Θ为待学习的网络参数，°为Warping算子，为一阶梯度，第一项定义了经空间变换的浮动图像与固定图像之间的均方误差MSE，第二项定义了形变场的平滑度，其中λ是一个超参数，用于平衡这两个损失。本实施方案其他与具体实施方案一相同。
实施例1
本实施例使用公开的大脑数据集IXI来评估本发明提出的无监督傅里叶网络Fourier-Net，同时还在的网络中加入了一个额外的平方-平方模块(Squaring&Squaring)，改动后的网络称为Fourier-Net-diff，用于进行实验对比。编码器中的CNN有6个卷积层。在前4层中，每个层有2个卷积子层。第一个子层保持与输入相同的空间分辨率，而第二个子层执行下采样，步长为2，然后将特征通道的数量增加一倍，同时在最后2层中，每个层包含一个分数卷积子层和2个卷积子层。分数子层以2的步长执行上采样，卷积子层将特征通道的数量减少一半，所有卷积层的内核大小为3×3×3，每个卷积之后都有一个PReLU激活，除了最后一个子层，没有任何激活层，分别包含了2或3个用于2D或3D配准的核。第一个卷积层的初始卷积核数设置为C。例如，每一层后，输入图像的空间分辨率从160×192×224×2变为80×96×112×C→40×48×56×2C→20×24×28×4C→10×12×14×8C→20×24×28×4C→40×48×56×3。其中，将实验参数C分别设置为8、16和48，分别对应三种不同的变体网络，Fourier-Net-Small、Fourier-Net和Fourier-Net-Large。虽然傅里叶网络的输出设置为40×48×56，但分辨率不受限制，并且可以自定义CNN体系结构，以产生具有任何分辨率的带限表示。
将本发明的无监督傅立叶网络与如表1所示的传统迭代方法和深度学习方法进行了比较。如图2所示为部分对比结果，其中，第一列为原始固定图像、浮动图像和两个占位符，其它列从上到下依次为：配准的浮动图像、形变场、变形网格以及经过DFT后的位移场(将各现有网络加入了DFT层)。从图2可以看出，本发明的Fourier-Net和Fourier-Net-diff网络模型能够产生更平滑的变形和更好的扭曲浮动图像，尤其箭头标记区域，效果更为明显。
本发明方法与现有各方法的对比结果如表1所示，可以看出本发明方法表现出更快的推理速度，同时达到更精准的配准效果。
表1
本发明的Fourier-Net以每个图像对4.42s的推理速度得得了最高的Dice分数(0.756)，并且比其他深度学习方法速度要快。通过在每层中使用较少的卷积核数量，Fourier-Net-Small在CPU上实现了最快的推理速度(1.92s)。
虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中所述的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其他所述实施例中。

Claims (7)

1.一种基于带限变形傅里叶网络的无监督医学图像配准方法，其特征在于包括如下步骤：
S1、获取医学图像数据集，在数据集中选取图像对作为固定图像和浮动图像，对固定图像和浮动图像进行拼接与预处理，得到预处理后的浮动图像和固定图像；
S2、创建基于带限变形傅里叶网络的无监督网络模型，所述网络模型包括编码器模块、解码器模块和Warping模块；
S3、将预处理后的浮动图像和固定图像输入至网络模型中，通过编码器模块，将图像对编码为带限傅里叶域中的形变场的低维特征图；
S4、将得到的形变场的低维特征图输入解码器模块中，将其从带限傅里叶域重构到全分辨率空间域上，最终生成全分辨率的固定图像与浮动图像之间的形变场；
所述解码器模块的解码流程为：
将编码器得到的形变场的低维特征图的所有低频信号转移到一个大小为的中心图像特征块中，对该图像特征块进行中心裁剪，用/>表示，然后通过iDFT的操作，生成具有全分辨率的形变场，即：
其中和/>是空间域中的指标，/>和是频域中的指标；
中的大部分/>为零，其余的值与/>中的值完全相同，所以形变场/>包含了φ所能提供的所有信息，即：
S5、将浮动图像和S4生成的形变场输入到Warping模块，即空间变换网络中，得到配准图像；
S6、计算配准图像与固定图像之间的相似性损失以及形变场的正则化平滑损失，通过标准的反向传播训练网络，得到最优权重参数的网络模型；
S7、将待配准图像输入至最优权重参数的网络模型，得到配准结果。
2.根据权利要求1所述的一种基于带限变形傅里叶网络的无监督医学图像配准方法，其特征在于S1中所述预处理包括对图像进行归一化、尺寸裁剪处理。
3.根据权利要求1所述的一种基于带限变形傅里叶网络的无监督医学图像配准方法，其特征在于所述编码器模块中包含6个卷积层，每个卷积层包含一个实值对偶模块以处理复值数，卷积网络末端嵌入DFT层以弥合实值空间图像与复值带限位移场之间的域差距；所述的编码器的定义为：其中，I0表示固定图像，I1表示浮动图像，CNN为卷积网络，Θ为神经网络参数，/>为DFT，/>为复带限形变场。
4.根据权利要求3所述的一种基于带限变形傅里叶网络的无监督医学图像配准方法，其特征在于所述编码器模块中形变场的编码流程为：
其中，φ＝M×N,i∈[0,M-1]和j∈[0,N-1]是空间域中的离散指标，k∈[0,M-1]和l∈[0,N-1]是频域中的离散指标；
φ是一个低通滤波的形变场；如果φ在高频信号的位置上值则为0，如果在低频位置上值则为1；定义一个M×N大小的采样掩码D，通过采样掩码D，可以在不丢失任何信息的情况下从下面公式中恢复形变场φ：
5.根据权利要求1所述的一种基于带限变形傅里叶网络的无监督医学图像配准方法，其特征在于所述解码器模块为无参数模型驱动解码器，包括一个零填充层、一个iDFT层和7个可选的平方-缩放层，iDFT层为基于逆离散傅里叶变换的网络层；首先，将形变场的低维特征图输入零填充层，以零值对低维特征图进行图像周围像素的填充，使其恢复到原始图像分辨率；将傅里叶系数从中心区域转移到角落区域，再输入iDFT层，将位移场从带限傅里叶空间转换到空间域，使其具有与输入图像相同的空间大小，得到形变场，将形变场输入到平方-缩放层(Squaring&Scaling)中以保证微分同胚，最终获得全分辨率的形变场。
6.根据权利要求1所述的一种基于带限变形傅里叶网络的无监督医学图像配准方法，其特征在于所述Warping模块基于线性插值的空间转换网络。
7.根据权利要求1所述的一种基于带限变形傅里叶网络的无监督医学图像配准方法，其特征在于网络模型的损失函数由相似性损失和正则化平滑损失组成，两者的和作为浮动图像I1、固定图像I0和形变场φ之间的无监督损失，损失函数的公式为：
其中，N为训练图像对个数，Θ为待学习的网络参数，为Warping算子，/>为一阶梯度，第一项定义了经空间变换的浮动图像与固定图像之间的均方误差MSE，第二项定义了形变场的平滑度，其中λ是一个超参数，用于平衡这两个损失。
CN202310062802.4A 2023-01-18 2023-01-18 一种基于带限变形傅里叶网络的无监督医学图像配准方法 Active CN116051609B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310062802.4A CN116051609B (zh) 2023-01-18 2023-01-18 一种基于带限变形傅里叶网络的无监督医学图像配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310062802.4A CN116051609B (zh) 2023-01-18 2023-01-18 一种基于带限变形傅里叶网络的无监督医学图像配准方法

Publications (2)

Publication Number Publication Date
CN116051609A CN116051609A (zh) 2023-05-02
CN116051609B true CN116051609B (zh) 2023-08-18

Family

ID=86127167

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310062802.4A Active CN116051609B (zh) 2023-01-18 2023-01-18 一种基于带限变形傅里叶网络的无监督医学图像配准方法

Country Status (1)

Country Link
CN (1) CN116051609B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116958217B (zh) * 2023-08-02 2024-03-29 德智鸿(上海)机器人有限责任公司 一种mri与ct多模态3d自动配准方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113763441A (zh) * 2021-08-25 2021-12-07 中国科学院苏州生物医学工程技术研究所 无监督学习的医学图像配准方法及系统
CN115578427A (zh) * 2022-09-28 2023-01-06 东华大学 基于深度学习的无监督单模态医学图像配准方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10083374B2 (en) * 2016-12-12 2018-09-25 Texas Instruments Incorporated Methods and systems for analyzing images in convolutional neural networks
US10482600B2 (en) * 2018-01-16 2019-11-19 Siemens Healthcare Gmbh Cross-domain image analysis and cross-domain image synthesis using deep image-to-image networks and adversarial networks

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113763441A (zh) * 2021-08-25 2021-12-07 中国科学院苏州生物医学工程技术研究所 无监督学习的医学图像配准方法及系统
CN115578427A (zh) * 2022-09-28 2023-01-06 东华大学 基于深度学习的无监督单模态医学图像配准方法

Also Published As

Publication number Publication date
CN116051609A (zh) 2023-05-02

Similar Documents

Publication Publication Date Title
CN111402129B (zh) 一种基于联合上采样卷积神经网络的双目立体匹配方法
CN110533712A (zh) 一种基于卷积神经网络的双目立体匹配方法
CN114972756A (zh) 一种医学图像的语义分割方法及装置
CN112907439B (zh) 一种基于深度学习的仰卧位和俯卧位乳腺图像配准方法
CN116051609B (zh) 一种基于带限变形傅里叶网络的无监督医学图像配准方法
CN116012344A (zh) 一种基于掩码自编码器CNN-Transformer的心脏磁共振图像配准方法
CN114187331A (zh) 一种基于Transformer特征金字塔网络的无监督光流估计方法
CN115578427A (zh) 基于深度学习的无监督单模态医学图像配准方法
CN111161271A (zh) 一种超声图像分割方法
CN112819876A (zh) 一种基于深度学习的单目视觉深度估计方法
CN115375711A (zh) 基于多尺度融合的全局上下文关注网络的图像分割方法
CN112163990B (zh) 360度图像的显著性预测方法及系统
CN111583143A (zh) 一种复杂图像去模糊方法
CN115170622A (zh) 基于transformer的医学图像配准方法及系统
CN114596318A (zh) 一种基于Transformer的乳腺癌磁共振成像病灶分割方法
Shi et al. Exploiting multi-scale parallel self-attention and local variation via dual-branch transformer-CNN structure for face super-resolution
CN115526829A (zh) 基于ViT与上下文特征融合的蜂窝肺病灶分割方法及网络
CN116797541A (zh) 一种基于Transformer的肺部CT图像超分辨率重建方法
CN116416434A (zh) 一种基于Swin Transformer融合多尺度特征和多注意力机制的医学影像分割方法
CN115861396A (zh) 一种基于深度学习的医学图像配准方法
CN115937429A (zh) 一种基于单张图像的细粒度3d人脸重建方法
CN114529564A (zh) 一种基于上下文信息的轻量级婴儿脑组织图像分割方法
Xiong et al. Noucsr: Efficient super-resolution network without upsampling convolution
CN117391959B (zh) 基于多粒度匹配及多尺度聚合的超分辨率重建方法及系统
CN113409291B (zh) 一种肺部4d-ct医学图像配准方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant