CN113112534A - 一种基于迭代式自监督的三维生物医学图像配准方法 - Google Patents

Abstract

本发明涉及一种基于迭代式自监督的三维生物医学图像配准方法，与现有技术相比解决了无监督深度学习配准算法one‑shot训练策略训练出模型应用精度受限的缺陷。本发明包括以下步骤：三维生物医学图像数据集的获取和预处理；配准深度模型的构建；配准深度模型的训练；待配准图像的获取；待配准图像的预处理；三维生物医学图像配准结果的获得。本发明通过网络训练动态产生迭代式自监督信息并利用其对选取的每对图像进行多次迭代监督训练，以多次利用图像对在不同迭代阶段的差异信息获得更加精确的形变场，简单、高效地提升了现有无监督生物医学图像配准网络的配准精度。

Description

一种基于迭代式自监督的三维生物医学图像配准方法

技术领域

本发明涉及医学图像处理技术领域，具体来说是一种基于迭代式自监督的三维生物医学图像配准方法。

背景技术

近现代以来，医学影像技术所提供的解剖信息和病理信息在临床辅助诊断中的应用日益普遍并取得良好效果。由于生物医学图像的多模态、复杂以及非连续特性，我们通常需要对生物医学影像进行配准以为医生提供更为全面直观的解剖及病理信息。简而言之，图像配准目的在于比较和融合在不同时间、不同视角或不同成像设备所所获得图像提供的亮度、结构信息。更具体地说，图像配准旨在寻找两幅图像之间的空间对应关系将一幅图像映射到另一幅。

目前生物医学图像配准算法可分为两大类：传统配准算法和基于深度学习的算法。传统生物医学图像配准算法尽管能取得较好的配准效果，但耗时的迭代优化过程决定了其不具有临床实时应用特性。2016年以来，随着深度学习在计算机视觉领域取得广泛应用，基于深度学习的生物医学图像配准算法的研究成为一个热门、有重要实践价值的方向。但是，目前深度学习配准算法也存在一些问题：首先，医学图像的标注通常需要医学图像分析专家来完成，因此其标注成本太高，导致有监督的训练方法受限，目前主流的研究都集中在无监督方法上；更重要的是，深度图像配准尽管处理速度快，但是在精度上很难达到传统算法的水平。

尽管无监督深度配准算法取得较好效果已成为研究主流方向，但是其存在一个普遍的问题：如图2所示，现有的方法在训练过程中只利用原始输入图像对的差异信息引导网络训练，这种one-shot方法难以学习图像间的复杂形变，这就造成此类算法的精度表现不及传统基于迭代的算法。虽然级联网络能有效地处理复杂形变，但是需要耗费大量的GPU资源同时训练时间也较长。

因此，如何解决现有one-shot训练存在的问题，提升无监督深度模型的配准精度成为急需解决的技术问题。

发明内容

本发明的目的是为了解决现有技术中无监督深度学习配准算法one-shot训练策略训练出模型应用精度受限的缺陷，提供一种基于迭代式自监督的三维生物医学图像配准方法来解决上述问题。

为了实现上述目的，本发明的技术方案如下：

一种基于迭代式自监督的三维生物医学图像配准方法，包括以下步骤：

11)三维生物医学图像数据集的获取和预处理：获取单模态三维生物医学图像数据集，进行仿射预配准后作为训练集；

12)配准深度模型的构建：设计搭建卷积神经网络模型，提供网络训练所需的损失函数以及设置迭代次数；

13)配准深度模型的训练：引入迭代式自监督信息，结合训练集对配准深度模型进行训练；

14)待配准图像的获取：获取两幅待配准图像，其中一幅作为固定图像，另一幅作为浮动图像，目标为将浮动图像配准到固定图像上；

15)待配准图像的预处理：对两幅待配准图像进行仿射对齐预处理；

16)三维生物医学图像配准结果的获得：将预处理后的待配准图像输入训练后的配准深度模型，每对图像在调用的模型中迭代n_iter次，得到配准后的结果。

所述配准深度模型的构建包括以下步骤：

21)设定卷积神经网络模型的基础网络为U-Net架构，卷积神经网络的输入为三个通道三维图像拼接而成；

22)设定卷积神经网络的输出为与输入相同维度和大小的特征图或矢量位移场，表征图像对之间的映射关系；

23)设定卷积神经网络的损失函数为相似性损失L_sim和矢量位移场平滑度约束损失L_smo，总的损失函数如下：

L_total＝L_sim+λL_smo，

其中，λ为权重系数；

24)设定超参数迭代次数n_iter为每对图像的最大迭代训练次数；

25)针对L_smo设定一种平滑度约束变换方法，其表达式如下：

其中，λ_max和λ_min为超参数分别表示最大和最小的权重系数，iter为每对图像的当前迭代训练次数；

26)应用平滑度约束变换方法后，将总的损失函数设计如下：

L_total＝L_sim+λ_iterL_smo。

所述配准深度模型的训练包括以下步骤：

31)在配准深度模型的输入固定图像、浮动图像，在此基础上输入迭代式自监督信息；

32)引入迭代式自监督信息进行网络动态反馈训练：

321)给定一对待训练图像对，迭代式自监督信息d设置为网络当前固定图像f与网络上一步训练得到的配准后图像w的逐像素差值，即：

d_iter＝f-w_iter-1

其中，iter为当前的迭代次数；

322)给定一对待训练图像对，初始化迭代式自监督信息，即第一次迭代训练为与单张图像维度大小相同的全0数组；

33)随机选取训练集中两张图片，一幅作为固定f图像，一幅作为浮动m图像；

34)初始化迭代式自监督信息d为与f相同维度和大小的全零数组，记为d₁；

35)将f，m，d₁拼接送入构建好的配准深度模型中进行前向传播得到形变场φ，通过空间插值得到配准后图像w，并计算相应损失函数进行梯度回传更新完成第一次训练；

36)当1<iter<＝n_iter时，第iter次训练送入网络的为f、m、d_iter；其中，d_iter按照步骤32)所述设置，训练方式与步骤35)相同；

37)当选取的图像完成n_iter次训练之后，重新随机选取另外一对图像重复以上操作，直到配准深度模型训练成功。

有益效果

本发明的一种基于迭代式自监督的三维生物医学图像配准方法，与现有技术相比通过网络训练动态产生迭代式自监督信息并利用其对选取的每对图像进行多次迭代监督训练，以多次利用图像对在不同迭代阶段的差异信息获得更加精确的形变场，简单、高效地提升了现有无监督生物医学图像配准网络的配准精度。同时，本发明为使网络获得更加精确的形变场，在网络动态迭代训练中引入逐步放松平滑度约束的方法。

附图说明

图1为本发明的方法顺序图；

图2为现有经典无监督深度学习图像配准网络框架图；

图3为本发明所实现的迭代式自监督深度学习图像配准框架图；

图4a为选取的一张人脑三维MRI影像切片，作为fixed图像；

图4b为选取的一张人脑三维MRI影像切片，作为moving图像；

图4c为使用传统图像配准工具ANTs将图4b配准到图4a的结果图；

图4d为使用深度配准算法VoxelMorph将图4b配准到图4a的结果图；

图4e为使用本发明方法将图4b配准到图4a的结果图；

图5a为选取的一张鼠脑三维MRI影像切片，作为fixed图；

图5b为选取的一张鼠脑三维MRI影像切片，作为moving图；

图5c为使用传统图像配准工具ANTs将图5b配准到图5a的结果图；

图5d为使用深度配准算法VoxelMorph将图5b配准到图5a的结果图；

图5e为使用本发明方法将图5b配准到图5a的结果图。

具体实施方式

为使对本发明的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的实施例及附图配合详细的说明，说明如下：

如图1所示，本发明所述的一种基于迭代式自监督的三维生物医学图像配准方法，其特征在于，包括以下步骤：

第一步，三维生物医学图像数据集的获取和预处理：获取单模态三维生物医学图像数据集，进行仿射预配准后作为训练集。在此，通过一定数量的三维单模态生物医学图像数据集(例如MRI和CT)，将数据集采样到相同大小，利用现有的工具对数据进行仿射预配准，可配准到数据集中某一图像上或者公共的模板图像，在实际阶段，可以划分成训练集、测试集，而通常采用随机划分的方式。

第二步，配准深度模型的构建：设计搭建卷积神经网络模型，提供网络训练所需的损失函数以及设置迭代次数。其具体步骤如下：

(1)如图3所示，设定卷积神经网络模型的基础网络为U-Net架构，卷积神经网络的输入为三个通道三维图像拼接而成。

(2)设定卷积神经网络的输出为与输入相同维度和大小的特征图或矢量位移场，表征图像对之间的映射关系。在此将卷积神经网络的输入端设计成接收三张相同大小的三维图片拼接成的volume(可看作增大了某一维度的三维图片)，这三张图片分别为固定(fixed)图像、浮动(moving)图像以及迭代式自监督信息(difference)。

(3)设定卷积神经网络的损失函数为相似性损失L_sim和矢量位移场平滑度约束损失L_smo，总的损失函数如下：

L_total＝L_sim+λL_smo，

其中，λ为权重系数。

(4)设定超参数迭代次数n_iter为每对图像的最大迭代训练次数。

(5)针对L_smo设定一种平滑度约束变换方法，其表达式如下：

其中，λ_max和λ_min为超参数分别表示最大和最小的权重系数，iter为每对图像的当前迭代训练次数。本发明提出的平滑度约束变换方法借鉴了传统图像配准算法迭代优化过程不断放松平滑度的做法，将其引入到深度网络的动态训练当中，以获得更加精确的形变场。平滑度约束L_smo是为了保证形变场φ的平滑度以避免配准后图像边界过于尖锐。

(6)应用平滑度约束变换方法后，将总的损失函数设计如下：

L_total＝L_sim+λ_iterL_smo。

第三步，配准深度模型的训练：引入迭代式自监督信息，结合训练集对配准深度模型进行训练。

现有经典无监督图像配准网络采用的one-shot训练策略难以充分挖掘训练图像对之间的复杂形变关系，因而配准精度通常不及传统配准算法。本发明提出的迭代式自监督图像配准方法借鉴了传统图像配准算法迭代思想的优势。具体来说，本发明利用网络的输出来构建所提出的迭代式自监督信息用于网络的动态迭代监督训练，迭代式自监督信息由网络在训练中自动生成，实现输出到输入的动态迭代反馈，并且，该迭代式自监督信息易于在现有无监督配准网络中应用以简单高效地提升配准精度。

一般情况下需要根据所使用骨干网络和数据集特点通过多次调参实验得到最优的最大迭代次数以保证模型能得到最佳配准性能。

其具体步骤如下：

(1)在配准深度模型的输入固定(fixed)图像、浮动(moving)图像，在此基础上输入迭代式自监督信息(difference)。区别于大多数深度学习计算机视觉任务中的自监督信息，此处的迭代式自监督信息由网络在训练过程中动态产生的。

(2)引入迭代式自监督信息进行网络动态反馈训练。区别于典型的生物医学图像配准网络，本发明中网络的输出会反馈回一个迭代式自监督信息，即整个网络的数据流呈环状传送实现动态反馈自监督。

在此，配准深度模型的作用不是为了训练自监督信息而是利用动态生成的迭代式自监督信息引导配准深度模型的训练，也就是引入迭代式自监督信息进行配准深度模型动态反馈训练，在此，迭代式自监督信息从配准深度模型输出反馈到输入的整个反馈过程，从而实现引入迭代式自监督信息进行配准深度模型的动态训练。其具体步骤如下：

A1)给定一对待训练图像对，迭代式自监督信息d设置为网络当前固定图像f与网络上一步训练得到的配准后图像w的逐像素差值，即：

d_iter＝f-w_iter-1

其中，iter为当前的迭代次数。

由于配准任务最终需要得到与固定图像相同大小的配准后图像(warped)，并且配准后图像需要与固定图像在亮度分布上尽可能相似，因此是逐像素级别的对应关系，这就给迭代式自监督信息的引入创造了条件。

迭代式自监督信息就是固定图像与某一特定迭代过程中产生的配准后图像的差值，以简单的方式表征图像间的差异并作为网络(配准深度模型)训练的监督信息。迭代式自监督信息由网络(配准深度模型)自动生成，实现成本低；并且可以方便地在现有骨干配准网络中引入迭代式自监督策略以提升配准精度。

A2)给定一对待训练图像对，初始化迭代式自监督信息，即第一次迭代训练为与单张图像维度大小相同的全0数组。

(3)随机选取训练集中两张图片，一幅作为固定f图像，一幅作为浮动m图像。

(4)初始化迭代式自监督信息d为与f相同维度和大小的全零数组，记为d₁。

(5)将f，m，d₁拼接送入构建好的配准深度模型中进行前向传播得到形变场φ，通过空间插值得到配准后图像w，并计算相应损失函数进行梯度回传更新完成第一次训练。

(6)当1<iter<＝n_iter时，第iter次训练送入网络的为f、m、d_iter；其中，d_iter按照步骤(2)所述设置，训练方式与步骤(5)相同。

(7)当选取的图像完成n_iter次训练之后，重新随机选取另外一对图像重复以上操作，直到配准深度模型训练成功。

在此，最大训练次数可根据选取的网络(配准深度模型)和数据集通过实验确定，可结合调参经验确定，目的是让网络(配准深度模型)训练成功；网络(配准深度模型)训练成功的标志通常表示为损失函数值的不再下降，但是也要防止过拟合，最终判断网络(配准深度模型)性能需要通过获得配准结果好坏来判断，也可借助于其他量化指标，例如Dice系数等。

第四步，待配准图像的获取：获取两幅待配准图像，其中一幅作为固定图像，另一幅作为浮动图像，目标为将浮动图像配准到固定图像上。

第五步，待配准图像的预处理：对两幅待配准图像进行仿射对齐预处理。

第六步，三维生物医学图像配准结果的获得：将预处理后的待配准图像输入训练后的配准深度模型，每对图像须在调用的模型中迭代n_iter次，得到配准后的结果。将训练后的配准深度模型应用到待配准图像上，得到该对图像对应的形变场φ。此时，我们也需要按照训练时的设置，让待配准图像对在网络中迭代n_iter次，应用阶段的迭代过程不涉及网络的训练，可看作网络在迭代过程中不断优化形变场以得到更精确的结果。通过空间变换、空间插值将形变场φ应用到moving上得到配准后图像warped。

图2为经典无监督深度学习图像配准算法(例如VoxelMorph)的框架图，这类算法在训练阶段只利用原始输入图像对的差异信息因而难以学习到图像间的复杂形变关系。图3为本发明提出的迭代式自监督图像配准算法框架，该算法结合传统配准算法迭代思想的优势，在网络训练过程中引入自监督信息以多次利用输出配准图像和固定图像的差异信息引导网络的训练。

图4a和图4b为人脑MRI影像，前者作为固定图像、后者作为浮动图像，目标是将图4b配准到图4a上。图4c使用传统图像配准工具ANTs得到的配准结果，图4d使用经典深度学习算法VoxelMorph得到的结果、图4e使用本发明得到的结果，通过对比，在图中方框标出的部位，本发明提出的方法配准效果更好，即与图4a的fixed图像在结构和亮度分布上更相似。本发明的提升效果同样能从鼠脑MRI影像配准中看出：图5a和图5b为鼠脑MRI影像，同样前者为固定图像、后者为浮动图像。图5c使用ANTs得到的配准结果，图5d使用VoxelMorph得到的结果、图5e使用本发明得到的结果。通过对比图5e结果更好。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。

Claims (3)

1.一种基于迭代式自监督的三维生物医学图像配准方法，其特征在于，包括以下步骤：

11)三维生物医学图像数据集的获取和预处理：获取单模态三维生物医学图像数据集，进行仿射预配准后作为训练集；

12)配准深度模型的构建：设计搭建卷积神经网络模型，提供网络训练所需的损失函数以及设置迭代次数；

13)配准深度模型的训练：引入迭代式自监督信息，结合训练集对配准深度模型进行训练；

14)待配准图像的获取：获取两幅待配准图像，其中一幅作为固定图像，另一幅作为浮动图像，目标为将浮动图像配准到固定图像上；

15)待配准图像的预处理：对两幅待配准图像进行仿射对齐预处理；

16)三维生物医学图像配准结果的获得：将预处理后的待配准图像输入训练后的配准深度模型，每对图像在调用的模型中迭代n_iter次，得到配准后的结果。

2.根据权利要求1所述的一种基于迭代式自监督的三维生物医学图像配准方法，其特征在于，所述配准深度模型的构建包括以下步骤：

21)设定卷积神经网络模型的基础网络为U-Net架构，卷积神经网络的输入为三个通道三维图像拼接而成；

22)设定卷积神经网络的输出为与输入相同维度和大小的特征图或矢量位移场，表征图像对之间的映射关系；

23)设定卷积神经网络的损失函数为相似性损失L_sim和矢量位移场平滑度约束损失L_smo，总的损失函数如下：

L_total＝L_sim+λL_smo，

其中，λ为权重系数；

24)设定超参数迭代次数n_iter为每对图像的最大迭代训练次数；

25)针对L_smo设定一种平滑度约束变换方法，其表达式如下：

其中，λ_max和λ_min为超参数分别表示最大和最小的权重系数，iter为每对图像的当前迭代训练次数；

26)应用平滑度约束变换方法后，将总的损失函数设计如下：

L_total＝L_sim+λ_iterL_smo。

3.根据权利要求1所述的一种基于迭代式自监督的三维生物医学图像配准方法，其特征在于，所述配准深度模型的训练包括以下步骤：

31)在配准深度模型的输入固定图像、浮动图像，在此基础上输入迭代式自监督信息；

32)引入迭代式自监督信息进行网络动态反馈训练：

321)给定一对待训练图像对，迭代式自监督信息d设置为网络当前固定图像f与网络上一步训练得到的配准后图像w的逐像素差值，即：

d_iter＝f-w_iter-1

其中，iter为当前的迭代次数；

322)给定一对待训练图像对，初始化迭代式自监督信息，即第一次迭代训练为与单张图像维度大小相同的全0数组；

33)随机选取训练集中两张图片，一幅作为固定f图像，一幅作为浮动m图像；

34)初始化迭代式自监督信息d为与f相同维度和大小的全零数组，记为d₁；

35)将f，m，d₁拼接送入构建好的配准深度模型中进行前向传播得到形变场φ，通过空间插值得到配准后图像w，并计算相应损失函数进行梯度回传更新完成第一次训练；

36)当1<iter<＝n_iter时，第iter次训练送入网络的为f、m、d_iter；其中，d_iter按照步骤32)所述设置，训练方式与步骤35)相同；

37)当选取的图像完成n_iter次训练之后，重新随机选取另外一对图像重复以上操作，直到配准深度模型训练成功。

Images