CN113450397B

CN113450397B - 基于深度学习的图像形变配准方法

Info

Publication number: CN113450397B
Application number: CN202110714478.0A
Authority: CN
Inventors: 刘守亮; 魏军; 田孟秋; 沈烁
Original assignee: Perception Vision Medical Technology Co ltd
Current assignee: Perception Vision Medical Technology Co ltd
Priority date: 2021-06-25
Filing date: 2021-06-25
Publication date: 2022-04-01
Anticipated expiration: 2041-06-25
Also published as: CN113450397A

Abstract

本发明公开了一种基于深度学习的图像形变配准方法，适用于CT影像和MRI影像配准方法。基于深度学习的图像形变配准方法包括：步骤S1，采集多模态数据集，并预处理图像数据，且多模态数据集包括CT图像和MRI图像。步骤S2：构建基于深度学习的配准网络模型，训练模型。步骤S3：获取测试数据，以验证模式输入步骤S2中训练好的基于深度学习的配准网络模型，得到相应的变形场。步骤S4：应用变形场，将MRI图像形变配准至CT图像，且后处理配准后的MRI图像。借此，本发明的基于深度学习的图像形变配准方法，其能够根据无监督学习两个待配准图像之间的形变关系，引入的网络结构能有效的配准两个多模态或者单模态图像。

Description

基于深度学习的图像形变配准方法

技术领域

本发明是关于医学影像和图像配准技术领域，特别是关于一种基于深度学习的图像形变配准方法。

背景技术

医学图像分析已经成为医学研究、临床疾病诊断和放射治疗中的一个不可或缺的工具和技术手段。医学图像分析往往需要结合各种医学图像上的信息，高效的配准算法能帮助医生在同一空间上展示不同医学图像的信息，可以提高医生的工作效率和减少医生误诊或漏诊概率。临床上，医生一般通过人工进行配准，人工配准效率低，可重复性差，而且严重依赖医生对图像解剖结构理解程度。快速有效的自动配准方法能有效的提高医学研究、临床疾病诊断和放射治疗的效率和准确率。

近年来，深度学习等人工智能技术在医学影像处理领域取得了巨大的进展。医学配准领域基本是基于传统的配准，其中刚性配准复杂性不高，现有的技术可以很准确的进行刚性配准。然而，形变配准复杂度高，现有的技术只是复杂的迭代式的配准方法。本文提出一种基于深度学习的图像形变配准方法对提高配准精度具有重要意义。

传统的形变配准方法存在速度慢、稳定性差、精度低等缺点。传统的形变配准方法是基于一种迭代优化的方法，每次迭代时，都要计算图像之间的相似度，根据相似度调节迭代的方向，因此需要大量的计算；由于这些相似度计算是非凸优化，一般很难找到最优化的解，往往要迭代很多次，进一步导致速度慢。另外，在优化过程中容易陷入局部极小值，导致配准后会可能基本没有形变。

公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。

发明内容

本发明的目的在于提供一种基于深度学习的图像形变配准方法，其能够根据无监督学习两个待配准图像之间的形变关系，引入的网络结构能有效的配准两个多模态或者单模态图像。

为实现上述目的，本发明提供了一种基于深度学习的图像形变配准方法，适用于CT影像和MRI影像配准方法。基于深度学习的图像形变配准方法包括：步骤S1，采集多模态数据集，并预处理图像数据，且多模态数据集包括CT图像和MRI图像。步骤S2：构建基于深度学习的配准网络模型，训练模型。步骤S3：获取测试数据，以验证模式输入步骤S2中训练好的基于深度学习的配准网络模型，得到相应的变形场。步骤S4：应用变形场，将MRI图像形变配准至CT图像，且后处理配准后的MRI图像。

在本发明的一实施方式中，步骤S1中，所述预处理图像数据包括：步骤S11，采集多样化数据集，所述多样化数据集包括CT图像和MRI图像，取其中某个病例的CT图像，为固定图像，同时取其中同一个病例的MRI图像，为浮动图像，并将所述浮动图像通过传统的刚性配准映射至所述固定图像，得到刚性配准后的浮动图像。步骤S12，对步骤S11得到的所述浮动图像进行灰度校准，使整个三维图像具有亮度同一性，再截取有意义的窗宽，得到校准后的浮动图像。步骤S13，对CT图像做窗宽窗位变换，采用的窗宽窗位为骨窗(300，1500)。步骤S14，利用大津阈值法分别分割CT图像和经过校准后的浮动图像；属于CT图像身体内部结构的像素被赋值为1，不属于CT图像身体内部结构被赋值0，得到CT身体二进制掩膜图像，属于校准后的浮动图像身体内部结构的像素被赋值为1，不属于校准后的浮动图像身体内部结构被赋值0，得到校准后的浮动图像身体二进制掩膜图像，CT身体二进制掩膜图像和校准后的浮动图像身体二进制掩膜图像做二值图形态学并操作，得到新的掩膜图像，根据新的掩膜图像位置区域大小截取CT图像和校准后的浮动图像。步骤S15，对经过步骤S14得到CT图像用最大值最小值归一化和对经过步骤S14得到MRI图像用均值方差归一化，并对归一化的CT图像和MRI图像进行下采样。

在本发明的一实施方式中，步骤S2包括：步骤S21，构建其基础下采样模块是由卷积层、实例归一化层、池化层按顺序组成，同时其有一个输入和一个输出，且基础上采样模块是由卷积层、实例归一化层、反卷积按顺序组成，输入来自其上一层父节点上采样特征和兄弟节点的特征，输出上采样特征。步骤S22，在网络模型中，下采样路径最底层基础模块中引入dropout层，防止网络参数过多引起过拟合。步骤S23，网络构建完成后，步骤S15得到的CT图像和MRI图像作为网络输入，以三个不同方向的变形场作为输出。步骤S24，将步骤S23中定义的输入数据进行数据增广，其增广方法包括：i.同时对CT图像和MRI图像进行随机翻转，且可对三个不同的维度翻转，ii.对CT图像或者MRI图像随机加入高斯噪声，iii.对CT图像或者MRI图像进行正负3个像素内的平移，v.对CT图像或者MRI图像进行正负3°旋转。步骤S25，训练网络，计算机形变配准后的MRI图像和CT图像之间的多尺度相似度损失函数，多尺度相似度损失函数具体计算如下：

I(X，Y)＝H(X)+H(Y)-H((X，Y))

H(X)＝-∫p(X)*logp(X)dX

其中H()是信息熵函数，x是浮动图像，y是固定图像，p是X的概率分布，并加入约束损失函数，约束损失函数具体计算如下：

constraint_loss＝α*grad_loss+β*anfold_loss+γ*smooth_loss

+σ*Jacobian_loss

grad_loss＝1/3*(|x_n-x_n+1+ε|+|y_n-y_n+1+ε|+|z_n-z_n+1+ε|)

smooth_loss＝1/3*(∈*x²+μ*(y²+z²))

Jacobian_loss＝Jacobian((x，y，z))

其中，α、β、σ、∈、μ是平衡因子，x，y，z是三个不同方向的变形场预测值，ε是一个很小的常数值，δ是指示函数，Jacobian函数是对矩阵(x，y，z)求雅克比矩阵，实际的损失函数为多尺度相似度损失函数加上约束损失函数，采用随机梯度下降方法优化配准网络参数。步骤S26，训练若干次后，当验证集上，评估函数相似度损失下降到目标值后停止训练，保存模型。

在本发明的一实施方式中，所述步骤S3包括：步骤S31，获取测试病人的CT图像和MR图像数据，按照步骤S1获取病人处理后的CT图像和MR图像，以验证模式输入步骤S2中训练好的基于深度学习的配准网络模型，输出三个方向(X、Y、Z方向)的变形场，变形场上采样。

在本发明的一实施方式中，步骤S4包括：步骤S41，将得到的变形场步骤S31应用到步骤S14得到MR图像上。步骤S42，将MR图像还原至原始CT图像相同的尺寸。

与现有技术相比，根据本发明的基于深度学习的图像形变配准方法，在训练模型过程中，加入了约束损失函数，能够保证病人原本的合理的解剖结构，避免出现折叠的现象；在网络模型结构中，加入了实例归一化，能够加速配准网络收敛，能避免网络出现模式崩溃现象。在训练模型过程中，加入了多尺度互信息损失函数，能加速配准外轮廓。相对于传统方法，本方法基于神经网络，同时使用GPU加速，比传统迭代式非刚性配准方法运行时间更短。

附图说明

图1是根据本发明一实施方式的基于深度学习的图像形变配准方法的流程示意图；

图2是根据本发明一实施方式的基于深度学习的图像形变配准方法的深度学习网络的架构示意图。

具体实施方式

下面结合附图，对本发明的具体实施方式进行详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。

除非另有其它明确表示，否则在整个说明书和权利要求书中，术语“包括”或其变换如“包含”或“包括有”等等将被理解为包括所陈述的元件或组成部分，而并未排除其它元件或其它组成部分。

图1是根据本发明一实施方式的基于深度学习的图像形变配准方法的流程示意图。图2是根据本发明一实施方式的基于深度学习的图像形变配准方法的深度学习网络的架构示意图。

如图1至图2所示，根据本发明优选实施方式的一种基于深度学习的图像形变配准方法，其适用于CT影像和MRI影像配准方法，自动配准方法包括以下步骤：步骤S1，采集多模态数据集，并预处理图像数据，且多模态数据集包括CT图像和MRI图像(输入患者三维CT图像和三维MRI图像，并进行预处理数据)。步骤S2，构建基于深度学习的配准网络模型，训练模型。步骤S3，获取测试数据，以验证模式输入步骤S2中训练好的基于深度学习的配准网络模型，得到相应的变形场。步骤S4，应用变形场，将MRI图像形变配准至CT图像，且后处理配准后的MRI图像(应用变形场，得到形变后的MRI图像)。

步骤S1中的预处理图像数据包括以下步骤：

步骤S11，采集多样化数据集，数据集包括但不局限于CT、MRI医学图像中的两种图像，取其中某个病例的CT图像，为固定图像；同时取其中该病例的MRI图像，为浮动图像；将浮动图像通过传统的刚性配准映射至固定图像，得到刚性配准后的浮动图像；

步骤S12，对步骤S11得到的浮动图像进行灰度校准，再截取有意义的窗宽，得到校准后的浮动图像。

步骤S13，对CT图像做窗宽窗位变换，采用的窗宽窗位为骨窗(300，1500)。

步骤S14，利用大津阈值法分别分割CT图像和经过校准后的浮动图像；属于CT图像身体(body)内部结构的像素被赋值为1，不属于CT图像身体内部结构被赋值0，得到CT身体二进制掩膜图像；属于校准后的浮动图像身体(body)内部结构的像素被赋值为1，不属于校准后的浮动图像身体(body)身体内部结构被赋值0，得到校准后的浮动图像身体二进制掩膜图像；CT身体内部二进制掩膜图像和校准后的浮动图像身体内部二进制掩膜图像做二值图形态学并操作，得到新的掩膜图像；根据新的掩膜图像位置区域大小截取CT图像和校准后的浮动图像；

步骤S15，对经过步骤S14得到CT图像用最大值最小值归一化和对经过步骤S14得到MRI图像用均值方差归一化；并对归一化的CT和MRI图像进行下采样；其中最大最小值归一化具体计算公式，min是最小值函数，max是最大值公式：

其中均值方差归一化具体计算公式，mean是均值函数，var是方差函数：

步骤S2，如图2所示，构建基于深度学习的配准网络模型，训练模型；步骤S2中包括以下步骤：

步骤S21，构造形变配准网络模型，首先，构建其基础下采样模块，是由卷积层、实例归一化层、池化层按顺序组成，同时其有一个输入和一个输出；然后，基础上采样模块，是由卷积层、实例归一化层、反卷积按顺序组成，输入来自其上一层父节点下采样特征和兄弟节点的特征，输出上采样特征；

步骤S22，在网络模型中，下采样路径最底层基础模块中引入dropout层，防止网络参数过多引起过拟合；

步骤S23，网络构建完成后，步骤S15得到的CT和MRI图像作为网络输入，以三个不同方向的变形场作为输出；

步骤S24，将步骤S23中定义的输入数据进行数据增广，其增广方法包括：i.同时对CT和MRI图像进行随机翻转，而且可对三个不同的维度翻转；ii.对CT或者MRI图像随机加入高斯噪声；iii.对CT或者MRI图像进行正负3个像素内的平移；v.对CT或者MRI图像进行正负3°旋转；

步骤S25，训练网络，计算机形变配准后的MRI图像和CT图像之间的多尺度相似度损失函数，多尺度相似度损失函数具体计算如下：

I(X，Y)＝H(X)+H(Y)-H((X，Y))

H(X)＝-∫p(X)*logp(X)dX

其中H()是信息熵函数，X是浮动图像，Y是固定图像，p是X的概率分布，在计算时一般p(x)用直方图分布来近似概率分布。N是多尺度的个数，n是下采样的次数，并加入约束损失函数，约束损失函数具体计算如下：

constraint_loss＝α*grad_loss+β*anfold_loss+γ*smooth_loss

+σ*Jacobian_loss

grad_loss＝1/3*(|x_n-x_n+1+ε|+|y_n-y_n+1+ε|+|z_n-z_n+1+ε|)

smooth_loss＝1/3*(∈*x²+μ*(y²+z²))

Jacobian_loss＝Jacobian((x，y，z))

其中，α、β、σ、∈、μ是平衡因子，x，y，z是三个不同方向的变形场预测值；ε是一个很小的常数值，δ是指示函数，Jacobian函数是对矩阵(x，y，z)求雅克比矩阵。，α、β、σ、∈、μ取值分别为1、1000、1、100、0.1、0.01。ε取值为10^-7。本发明实际的损失函数为多尺度相似度损失函数加上约束损失函数，采用随机梯度下降方法优化配准网络参数并；

步骤S26，训练若干次后，当相似度损失函数下降到目标值后停止训练，保存模型；

步骤S3中包括以下步骤：步骤S31，获取测试病人的CT图像和MR图像数据，按照步骤S1获取病人处理后的CT图像和MR图像，以验证模式输入步骤S2中训练好的基于深度学习的配准网络模型，输出三个方向(X、Y、Z)的变形场，变形场上采样；

步骤S4中包括以下步骤：步骤S41，将得到的变形场步骤S31应用到步骤S14得到MR图像上；步骤S42，将MR图像还原至原始CT图像相同的尺寸。

综上所述，本发明的基于深度学习的图像形变配准方法具有以下优点：训练模型过程中，加入了约束损失函数，能够保证病人原本的合理的解剖结构，避免出现折叠的现象；在网络模型结构中，加入了实例归一化，能够加速配准网络收敛，能避免网络出现模式崩溃现象；在训练模型过程中，加入了多尺度互信息损失函数，能加速配准外轮廓。相对于传统方法，本方法基于神经网络，同时使用GPU加速，比传统迭代式非刚性配准方法运行时间更短。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本发明限定为所公开的精确形式，并且很显然，根据上述教导，可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用，从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。

Claims

1.一种基于深度学习的图像形变配准方法，适用于CT影像和MRI影像配准方法，其特征在于，包括：

步骤S1，采集多模态数据集，并预处理图像数据，且所述多模态数据集包括CT图像和MRI图像；

步骤S2：构建基于深度学习的配准网络模型，训练模型；

步骤S3：获取测试数据，以验证模式输入步骤S2中训练好的所述基于深度学习的配准网络模型，得到相应的变形场；

步骤S4：应用所述变形场，将所述MRI图像形变配准至所述CT图像，且后处理配准后的MRI图像；

其中，所述步骤S1中，所述预处理图像数据包括：

步骤S11，采集多样化数据集，所述多样化数据集包括CT图像和MRI图像，取其中某个病例的CT图像，为固定图像，同时取其中某一个病例的MRI图像，为浮动图像，并将所述浮动图像通过传统的刚性配准映射至所述固定图像，得到刚性配准后的浮动图像；

步骤S12，对步骤S11得到的所述浮动图像进行灰度校准，使整个三维图像具有亮度同一性，再截取有意义的窗宽，得到校准后的浮动图像；

步骤S13，对CT图像做窗宽窗位变换，采用的窗宽窗位为骨窗(300,1500)；

步骤S14，利用大津阈值法分别分割CT图像和经过校准后的浮动图像；属于CT图像身体内部结构的像素被赋值为1，不属于CT图像身体内部结构被赋值0，得到CT身体二进制掩膜图像，属于校准后的浮动图像身体内部结构的像素被赋值为1，不属于校准后的浮动图像身体内部结构被赋值0，得到校准后的浮动图像身体二进制掩膜图像，CT身体二进制掩膜图像和校准后的浮动图像身体二进制掩膜图像做二值图形态学并操作，得到新的掩膜图像，根据新的掩膜图像位置区域大小截取CT图像和校准后的浮动图像；

步骤S15，对经过步骤S14得到CT图像用最大值最小值归一化和对经过步骤S14得到MRI图像用均值方差归一化，并对归一化的CT图像和MRI图像进行下采样；

其中，所述步骤S2包括：

步骤S21，构建其基础下采样模块是由卷积层、实例归一化层、池化层按顺序组成，同时其有一个输入和一个输出，且基础上采样模块是由卷积层、实例归一化层、反卷积按顺序组成，输入来自其上一层父节点上采样特征和兄弟节点的特征，输出上采样特征；

步骤S23，网络构建完成后，步骤S15得到的CT图像和MRI图像作为网络输入，以三个不同方向的变形场作为输出；

步骤S24，将步骤S23中定义的输入数据进行数据增广，其增广方法包括：i.同时对CT图像和MRI图像进行随机翻转，且可对三个不同的维度翻转，ii.对CT图像或者MRI图像随机加入高斯噪声，iii.对CT图像或者MRI图像进行正负3个像素内的平移，v.对CT图像或者MRI图像进行正负3°旋转；

I(X,Y)＝H(X)+H(Y)-H((X,Y))

H(X)＝-∫p(X)*logp(X)dX

其中H()是信息熵函数，X是浮动图像，Y是固定图像，p是X的概率分布，N是图像多个尺度的个数，并加入约束损失函数，约束损失函数具体计算如下：

constraint_loss＝α*grad_loss+β*anfold_loss+γ*smooth_loss+σ*Jacobian_loss

grad_loss＝1/3*(|x_n-x_n+1+ε|+|y_n-y_n+1+ε|+|z_n-z_n+1+ε|)

smooth_loss＝1/3*(∈*x²+μ*(y²+z²))

Jacobian_loss＝Jacobian((x,y,z))

其中，α、β、σ、γ、μ是平衡因子，x，y，z是三个不同方向的变形场预测值，ε是一个很小的常数值，δ是指示函数,Jacobian函数是对矩阵(x,y,z)求雅克比矩阵，实际的损失函数为多尺度相似度损失函数加上约束损失函数，采用随机梯度下降方法优化配准网络参数；

步骤S26，训练若干次后，当验证集上，评估函数相似度损失下降到目标值后停止训练，保存模型；

其中，所述步骤S3包括：

步骤S31，获取测试病人的CT图像和MRI图像数据，按照步骤S1获取病人处理后的CT图像和MRI图像，以验证模式输入步骤S2中训练好的基于深度学习的配准网络模型，输出三个方向(X、Y、Z方向)的变形场，变形场上采样。

2.如权利要求1所述的基于深度学习的图像形变配准方法，其特征在于，所述步骤S4包括：

步骤S41，将得到的变形场步骤S31应用到步骤S14得到MRI 图像上；

步骤S42，将MRI 图像还原至原始CT图像相同的尺寸。