CN113870327B - 基于预测多层次变形场的医学图像配准方法 - Google Patents

Abstract

本发明属于图像处理和计算机视觉领域，涉及一种基于预测多层次变形场的医学图像配准方法。即在参考图像和待配准图像不同维度上提取多层次特征获得不同尺寸的特征图像；通过在多层次特征之间进行误差检测、特征融合、变形预测操作，得到不同尺寸下的变形场；通过对不同尺寸变形场进行操作得到最终的变形场；对待配准图像进行变形操作，即可实现两幅医学图像之间的配准。本发明方法简单，易于实现；利用不同尺寸下的特征得到变形场，相比于直接预测得到变形场，得到的变形场更为精确，特征信息利用更加充分。

Description

基于预测多层次变形场的医学图像配准方法

技术领域

本发明属于图像处理和计算机视觉领域，涉及一种基于预测多层次变形场的医学图像配准方法。

背景技术

医学图像配准与相关技术是医学图像处理领域中的一个典型问题和技术难点，其目的在于比较或融合同一对象在不同条件下获取的图像，例如图像会来自不同的采集设备，取自不同的时间，不同的拍摄视角等，有时也涉及到针对不同对象的图像配准问题。具体来说，对于图像数据集中的两幅图像，通过寻找一种空间变换把一幅图像映射到另一幅图像，使得两图中对应于空间同一位置的点一一对应起来，从而达到信息融合的目的。随着医学成像设备的进步，对于同一患者，可以采集含有准确解剖信息的图像诸如计算机断层扫描(CT)，磁共振成像(MRI)；同时，含有功能信息的图像诸如单光子发射计算机断层成像(SPECT)等在如今也很容易被直接采集到。通过对来自不同成像设备得到的医学图像进行配准，从而辅助医生进行诊断与治疗。现有的医学图像配准方法主要分为传统方法和深度学习的方法。

传统的医学配准方法通过优化每对图像的目标能量函数达到配准目的，基于对两幅图像相似度的不断优化进行迭代，通过迭代优化找到最佳参数，这些基于先验的方法实现了高精度，但同时面临极其昂贵的计算成本，这对于大型数据集或复杂的变形模型来说十分耗时。专利[CN 102592137 A]采用B样条曲面作为变形模型通过获得配准参数进行配准。专利[CN 106709910 A]通过优化迭代次数，设置全局最优解停滞次数阈值，加入动态惯性权重进行优化配准。上述方法对于现有大尺寸的医学图像来说，耗费时间较长，不利于实际的临床应用。

基于深度学习的医学配准方法通过网络求解将输入图像对映射到对齐该图像对的变形场的非线性对应关系，从而完成配准。基本框架包括特征提取，变形场估计，相似性度量。将待配准图像和参考图像输入网络中，通过特征提取网络得到特征图，然后通过对特征图进行处理得到变形场，将待配准图像与变形场进行空间转换得到配准图像。文献[Balakrishnan G,Zhao A,Sabuncu M R,et al.VoxelMorph:a learning framework fordeformable medical image registration.InIEEE transactions on medical imaging,2019,38(8):1788-1800.]使用卷积神经网络，无监督学习做图像配准。基于深度学习的配准方法能提供快速的变形估计，但严重依赖于可用的训练数据的质量与规模，配准的好坏直接依赖于变形场的精细程度，缺乏先验知识的理论保证。

发明内容

本发明旨在克服现有的深度学习方法的不足，借鉴模型驱动方法和端到端学习方法这两种不同的策略为出发点，引入更复杂的数据项和更复杂的正则化策略，通过求解多层次变形场，解决医学图像配准求精细变形场的问题，设计了针对可变形医学图像配准问题的解决方法。

本发明借鉴了基于优化的模型驱动方法和基于深度学习的端到端方法，充分利用领域知识和数据驱动信息，提出一种由粗到细估计变形场的方法，使得求得的变形场最为精细。给定待配准图像和参考图像，本文提出的方法通过得到图像对在多个不同分辨率下的图像，计算不同分辨率下的变形场；并使低分辨率的变形场在预测高分辨率变形场的过程中发挥作用，相比于直接预测得到变形场，得到的变形场更为精确，特征信息利用更加充分。

本发明的具体技术方案为：

一种基于预测多层次变形场的医学图像配准方法，包括下列步骤：

第一步：针对人体软组织解剖结构和病灶影像，提取多个尺度下的医学图像特征，通过对原始尺寸的图像进行多尺度特征采样，生成N个具有不同分辨率的图像特征对；

第二步：通过不同分辨率下的医学图像特征计算损失映射，将信息送入到变形场估计网络模块，提供先验知识，通过计算两幅医学图像特征细节之间的损失误差，对特征对进行匹配处理，使得变形场生成模块获取更多的图像信息；

第三步：不同分辨率下的医学图像特征预测不同分辨率下的变形场，针对医学图像复杂的轮廓等特征信息，充分考虑提取到不同特征对医学图像细节处理不同，使用网络学习多层次下的变形场能够更加充分利用医学图像内在特征，使用后处理方法，利用上下文信息对变形场进行后处理；

第四步：待配准图像与原分辨率下的变形场进行空间转换得到配准图像。

重复步骤2、3，最终经过上采样得到最终原分辨率下的目标变形场，将待配准图像和目标变形场进行空间转换操作得到配准图像。

2.1所述的损失映射方法

在低分辨率的特征层次上进行特征损失映射计算。首先将上层次得到的变形场上采样，与移动图像特征使用空间变换网络中的warp操作进行变换，得到moved图像特征。将L1 error损失映射定义为第一个图像的特征与第二个图像特征变形后之间的1范数，定义如下：

L1_cost＝|ρ(fixed_i，moved_i)| (1)

其中，i代表处在特征金字塔的层次，是指fixed图像特征和经过变形场变换的moved图像特征之间的数据残差项。L1损失映射量将作为送入变形场估计器的额外输入，借鉴模型驱动方法，为该模块提供关于数据项的领域知识。

2.2所述变形场估计方法

变形场估计方法是一个多层卷积神经网络。通过对不同分辨率层次下的特征进行匹配，最终得到当前分辨率层次下从移动图像到配准图像的变形场。特征转换模块使用损失映射，moved图像特征，以及经过前一层上采样之后的变形场作为输入，输出当前层变形场。

3.1所述后处理方法

所提出的后处理方法是在上下文网络中采用空洞卷积来有效地扩大感受野大小。该上下文网络从变形场估计器获取最后一层的变形场和特征，对其进行后处理，输出更加精细的变形场。

本发明的有益效果是：

1)本发明提出一种由粗到细的医学图像配准方法，为了解决处理医学图像时的复杂情况，在网络优化过程中引入领域知识，利用在低分辨率上得到变形场，对其上采样，使其在高分辨率求解变形场的过程中发挥作用，充分利用不同层次下的特征进行求解变形场可获得更加细腻真实的变形场。

2)本发明通过结合模型驱动方法和端到端学习方法，取代对每幅图像进行昂贵的优化，有效提出一种多尺度多层次下的图像配准方法，不需要直接预测在大分辨率下的变形场，而是通过预测多个不同小分辨率下的变形场得到大分辨率下的目标变形场，配准速度增快，得到变形场的精细程度提升。

附图说明

图1为方案整体流程图；

图2为损失映射与特征匹配计算流程图；

图3为变形场估计方法流程图；

图4为参考图像与待配准图像示意图；

图5为直接求解变形场与多层次求解变形场配准效果图；

图6为多层次下求解的变形场可视化效果。

具体实施方式

本发明基于由粗到细的配准框架，对输入的两幅图像提取多个不同分辨率下的医学图像特征，预测多个不同分辨率下的变形场，在不引入额外任务的前提下，用本申请提出的损失映射计算方法及变形场预测方法，预测得到最终的配准图像，具体实施方案如下：

方案网络具体流程如图1，具体操作如下：

第一步，提取多个不同分辨率下的图像特征

为了充分提取医学图像复杂的轮廓及内在信息，通过特征提取模块对原始尺寸的图像进行多尺度采样，生成多对具有不同分辨率的特征图F₀～F_N，S₀～S_N(下标表示下采样因子，例，F₃表示1/8分辨率的特征图)。N取3，即将四个不同分辨率的特征图储存在特征金字塔中S＝{S₀，S₁，S₂,S₃}作为后面预测变形场网络的输入。

第二步，计算损失映射与特征匹配

损失映射与特征匹配流程如图2所示，首先在最小分辨率，即对F₃，S₃，1/8分辨率的特征图上做匹配误差计算。

L1_cost＝|ρ(fixed_i，moved_i)| (2)

其中，i表示处在特征金字塔的层次，在特征图像分辨率最低的层次中，moved图像特征直接设置为金字塔模型提取出的图像特征，在更高层次的损失映射中，moved图像特征由当前层次金字塔特征与上层次变形场wrap得来。使用鲁棒的L1范数，所以该数据项对强度变化不太敏感。该L1损失映射量将作为送入变形场估计器的额外输入，为该模块提供关于数据项的领域知识。L1损失映射层借鉴了模型驱动方法，引入了相关领域知识，计算损失映射后将moved图像特征与损失映射匹配，之后送入变形场估计网络。

第三步，变形场估计与后处理

变形场估计方法示意图如图3所示，通过对不同分辨率层次下的特征进行匹配，最终得到当前层次下从移动图像到配准图像的变形场。以获取F₂，S₂分辨率下的变形场为例，首先将在F₃，S₃分辨率下得到的变形场φ₃进行上采样得到将S₂与/>进行warp操作得到S₂′，计算S₂′与F₂的损失映射量，通过类似U-net扩展部分即解码器部分结构，最终输出当前层次下的变形场/>对每个低分辨率图像产生的变形场进行正则化即后处理操作，产生更加平滑细腻的变形场。图5，图6，展示了本方法提取变形场的效果，通过和直接预测变形场相比，本发明提出通过多尺度下的特征预测变形场可以使得变形场更加细腻真实，不会产生变形扭曲，通过多层次提取变形场，并对多层次下的变形场进行操作使得最终得到的变形场保留细节更丰富，变换更合理。

第四步，损失函数

本方案网络训练时使用专为图像配准任务设计的互相关方法记为和用于保证变形场平滑的正则化项记为/>设计损失函数：

其中λ是正则化参数，F，M分别为参考图像和待配准图像，其中和/>分别表示减去平均强度的图像，φ是网络学习得到的最终变形场，CC是互相关方法，即对图像配准质量进行相似性度量。

Claims (5)

1.基于预测多层次变形场的医学图像配准方法，其特征在于，包括下列步骤：

第一步：针对人体软组织解剖结构和病灶影像，提取多个尺度下的医学图像特征，通过对原始尺寸的图像进行多尺度特征采样，生成N个具有不同分辨率的图像特征对；

第二步：通过不同分辨率下的医学图像特征计算损失映射，将信息送入到变形场估计网络模块，提供先验知识，通过计算不同特征之间的损失误差，对两幅医学图像特征进行匹配处理，使得变形场生成模块获取更多的医学图像内在特征信息；

第三步：不同分辨率下的医学图像特征预测不同分辨率下的变形场，针对医学图像复杂的轮廓特征信息，使用网络学习多层次下的变形场能够更加充分利用医学图像内在特征，使用后处理方法，利用上下文信息对变形场进行后处理；

第四步：待配准图像与原分辨率下的变形场进行空间转换得到配准图像；

重复步骤2、3，最终经过上采样得到最终原分辨率下的目标变形场，将待配准图像和目标变形场进行空间转换操作得到配准图像。

2.如权利要求1所述的基于预测多层次变形场的医学图像配准方法，其特征在于，所述的损失映射，具体如下：

在低分辨率的特征层次上进行特征损失映射计算；首先将上层次得到的变形场上采样，与移动图像特征使用空间变换网络中的warp操作进行变换，得到moved图像特征；将L1error损失映射定义为第一个图像的特征与第二个图像特征变形后之间的1范数，定义如下：

L1_cost＝|ρ(fixed_i,moved_i)| (1)

其中，i代表处在特征金字塔的层次，是指fixed图像特征和经过变形场变换的moved图像特征之间的数据残差项；L1损失映射量将作为送入变形场估计网络模块的额外输入，借鉴模型驱动方法，为该模块提供关于数据项的领域知识。

3.如权利要求1或2所述的基于预测多层次变形场的医学图像配准方法，其特征在于，所述的变形场估计网络模块，具体如下：

变形场估计网络模块是一个多层卷积神经网络；通过对不同分辨率层次下的特征进行匹配，最终得到当前分辨率层次下从移动图像到配准图像的变形场；特征转换模块使用损失映射，moved图像特征，以及经过前一层上采样之后的变形场作为输入，输出当前层变形场。

4.如权利要求1或2所述的基于预测多层次变形场的医学图像配准方法，其特征在于，所述的后处理方法，具体如下：

所提出的后处理方法是在上下文网络中采用空洞卷积来有效地扩大感受野大小；该上下文网络从变形场估计网络模块获取最后一层的变形场和特征，对其进行后处理，输出更加精细的变形场。

5.如权利要求3所述的基于预测多层次变形场的医学图像配准方法，其特征在于，所述的后处理方法，具体如下：

所提出的后处理方法是在上下文网络中采用空洞卷积来有效地扩大感受野大小；该上下文网络从变形场估计网络模块获取最后一层的变形场和特征，对其进行后处理，输出更加精细的变形场。