CN110021037B - 一种基于生成对抗网络的图像非刚性配准方法及系统 - Google Patents

Abstract

本发明公开一种基于生成对抗网络的图像非刚性配准方法及系统，方法包括：基于真实的医学图像数据集获取合成的医学图像数据集，将合成的数据集作为生成对抗网络模型的训练样本，将真实的数据集作为最优化生成对抗网络模型的验证和测试数据集；构造生成对抗网络模型的结构，基于合成的医学图像数据集，对生成对抗网络模型进行迭代训练，得到最优化的生成对抗网络模型；基于最优化的生成对抗网络模型对真实医学图像数据集中的待配准图像对进行图像的非刚性配准，得到与参考图像贴近的矫正后图像。本发明中的上述方法能够在医学图像训练样本数量少、缺乏标注信息的情况下，提高医学图像非刚性配准的精度和速度，从而增强了配准方法和系统的泛化能力。

Description

一种基于生成对抗网络的图像非刚性配准方法及系统

技术领域

本发明涉及图像处理领域，特别是涉及一种基于生成对抗网络的图像非刚 性配准方法及系统。

背景技术

医学图像配准技术的发展历程可以分为三个阶段：20世纪80年代，由于 当时成像技术的落后，大多研究仅限于同种模态图像间的刚性配准；90年代， 随着各种模态图像的出现，配准不再仅限于单模态之间，多模态图像配准与融 合技术由此而生，但是此时的图像间的空间变换关系依然是刚性的；21世纪 初，医学中的临床应用对图像配准提出了更高的需求，虽然刚性配准技术已经 达到成熟，但是无法解决医学图像中存在的不规则大变形的问题，只有用非刚 性的配准技术才能更好的描述配准图像对之间的空间关系。

综合国内外的图像配准技术的研究现状，相关研究方法可分为两大类：基 于传统的非刚性图像配准方法和基于深度学习的非刚性图像配准方法。其中传 统配准方法主要利用迭代式的梯度下降方法实现图像对之间的配准，但是在处 理较大的医学图像时，采用迭代的方法耗时大，配准效率也不理想。现有的基 于深度学习的方法分为三种：基于有监督的配准方法、基于半监督的配准方法、 基于无监督的配准方法。有监督配准方法虽然在不同的数据集上表现出较好的 优势，也获得较好的实验结果，但是获得的配准模型过于依赖对完整数据集的 训练，并且用于实际配准的训练样本是经过合成得到，还需要手工注释相应的 特征信息；对于实际的医学图像，局部会存在缺失、较大形变和各个器官自身 不规则的生理运动引起的非线性形变，合成得到的数据集与真实图像的分布不 够接近，从而导致训练得到的配准模型精度不够理想。半监督配准方法相比于 有监督的配准方法，虽然不需要完整的合成变形场进行模型的训练，但是在实 际的训练中，也需要给训练模型提供部分相应的标签或是分段块掩码进行学 习，实际的医学图像解剖结构复杂，图像的变形程度也不同，为了获得更好的 配准精度，图像配准方法仍然有待进一步提高。无监督的配准方法①基于块的 方式来执行图像配准。虽然这种方法实现了较好的配准效果，但最终的配准结 果仍然依赖于其他基于特征的配准方法；同时，基于块的无监督配准方法，需 要后处理加工，并且后处理不能在卷积神经网络中进行，所以操作步骤比较繁 琐，费时费力，配准效率低。②基于学习方式的无监督配准方法，直接学习多 模态配准图像对的变形、优化相似性度量函数很难直接获得准确的像素相对位 移矢量场，同时与图像分类，分割任务相比，图像配准的标签很难直接获取。

上述方法虽然在单模态的图像配准任务中实现了较好的结果，但是直接用 于实现多模态的图像配准还是比较困难的。一方面原因是实际医学图像的结构 复杂性，如：局部存在缺失、存在较大变形和各个器官自身生理运动引起的不 规则变形；另一方面原因是定义一个鲁棒的图像相似性度量比较困难，对配准 精度难以评估。

发明内容

本发明的目的是提供一种基于生成对抗网络的医学图像非刚性配准方法 及系统，能够在医学图像训练样本数量少、缺乏标注信息的情况下，提高医学 图像非刚性配准的精度和速度，从而增强了配准方法和系统的泛化能力。

为实现上述目的，本发明提供了如下方案：

一种基于生成对抗网络的图像非刚性配准方法，所述配准方法包括：

图像数据集的扩充，基于真实的医学图像数据集获取合成的医学图像数据 集，将合成的数据集作为生成对抗网络模型的训练样本，将真实的数据集作为 最优化生成对抗网络模型的验证和测试数据集；

构造生成对抗网络模型的结构，所述生成对抗网络模型包括生成器网络和 判别器网络，所述生成器网络包括多个下采样网络层和对应相同数目的上采样 网络层，用于获取参考图像和变形后的浮动图像之间的预测的像素位移矢量 场；所述判别器网络包括多个下采样网络层，用于对生成器网络结合重采样器 的配准结果进行判断，并进行反向调节训练；

基于所述合成的医学图像数据集，对所述生成对抗网络模型进行迭代训 练，得到最优化的生成对抗网络模型；

基于所述最优化的生成对抗网络模型对真实医学图像数据集中的待配准 图像对进行图像的非刚性配准，得到与参考图像贴近的矫正后图像。

可选的，所述的医学图像数据集的扩充，基于真实的医学图像数据集获取 合成的医学图像数据集的具体流程如下：

从真实的医学图像数据集中获取参考图像I_F和浮动图像I_M；

通过手工标注交互式配准，获取所述参考图像和浮动图像之间标准的像素 位移矢量场；

根据预设的角度和位移对所述标准的像素位移矢量场进行旋转和平移，获 取变形后的像素位移矢量场；

将所述变形后的像素位移矢量场作用于所述的真实数据集中配准好的图 像对中的浮动图像，得到变形后的浮动图像I_M，从而基于真实的数据集获得 合成的医学图像数据集，所述合成的医学数据集包括参考图像和变形后的浮动 图像。

可选的，旋转角度为在360°内每隔5°旋转一次，平移的移动距离由 -5mm至+5mm。

可选的，所述构造生成对抗网络模型的结构，具体构造过程如下：

生成器网络的构造：

构造生成器网络，所述的生成器网络包括卷积层、最大池化层、反卷积层 和全卷积层，其中，所述卷积层结合激活函数和批归一化完成特征提取；所述 下采样网络层包括：1个最大池化层、1个卷积层、1个激活函数层和批归一 化；所述上采样网络层包括：1个反卷积层、1个卷积层、1个激活函数层和 批归一化；所述下采样网络层和所述上采样网络层的数量相匹配；

判别器网络的构造：

构造判别器网络，所述的判别器网络由卷积层、最大池化层和全连接层组 成，其中，卷积层结合激活函数和批归一化完成特征提取；所述下采样网络层 包括：1个最大池化层、1个卷积层、1个激活函数层和批归一化。

可选的，所述基于所述合成的医学图像数据集，对所述生成对抗网络模型 进行迭代训练，得到最优化的生成对抗网络模型，具体迭代训练步骤如下：

从所述的合成的医学图像数据集中调取参考图像和变形后的浮动图像；

根据所述的参考图像和所述变形后的浮动图像计算二者之间对应的差值 图像和梯度图像；

将所述参考图像和所述变形后的浮动图像以及二者之间对应的差值图像 和梯度图像作为生成器网络的输入，确定参考图像和变形后的浮动图像之间的 预测的像素位移矢量场；

根据所述预测的像素位移矢量场，利用重采样器对预测的位移矢量场中像 素点对应的特征信息进行可视化；

将可视化后的特征信息作用于所述变形后的浮动图像，对变形后的浮动图 进行矫正，得到矫正后的图像；

将所述矫正后的图像和参考图像作为判别器网络的输入，分别提取矫正后 图像和参考图像之间对应的特征信息；

根据所述参考图像和浮动图像的特征信息构造判别器的对抗损失函数、判 别器的判别损失函数以及生成器损失函数；

根据上述的对抗损失函数、判别损失函数以及生成器损失函数，通过反向 传播的方式，对判别器网络和生成器网络中的参数进行不断的更新优化。其中， 在不断更新优化的过程中，生成器网络会生成得到一系列的预测的像素位移矢 量场，结合重采样器会得到对应一系列矫正后的图像；判别器网络通过学习矫 正后的图像和标准参考图像，来确定矫正后的图像与标准参考图像的贴近程 度，同时输出配准质量评估的反馈信号；生成器网络会根据反馈信号来优化网 络参数，从而获取更加精细的像素位移矢量场，结合重采样器获得更加准确的 矫正后的图像，最终能得到最优的生成器网络和判别器网络。

可选的，所述的生成对抗网络模型中判别器的对抗损失函数具体如下：

L_adv＝L_NMI(I_Trans,I_F)+L_SSIM(I_Trans,I_F)+L₁(I_Trans,I_F)+L_Cycle

其中，I_F表示参考图像，I_Trans表示矫正后的图像，L_NMI表示矫正后的图 像与参考图像之间的归一化信息对应的损失，L_SSIM表示矫正后的图像与参考 图像之间的结构相似性检索度量对应的损失；L₁表示矫正后的图像和参考图 像之间的像素点二范数距离对应的损失；L_Cycle表示基于循环一致性的总损失 函数；

其中，

I_M表示所述真实数据集中配准好的图像对中的浮动图像；

表示通过旋 转或平移对I_M进行转换得到合成数据集中变形后的浮动图像，即

和D_F分别是变形后的浮动图像

和参考图像I_F对应的判别器，

和G_F分别是变形后的浮动图像和参考图像对应的生成器；L_F和

分别是参考图像 和变形后的浮动图像对应的判别器损失，L表示循环一致性损失，λ表示权重 系数。

可选的，所述的生成对抗网络模型的判别器的判别损失函数具体如下：

其中E_T～Pgt(T)[D(I_F,I_M)]表示判别器对真实的数据集中配准好的参考图像和 浮动图像进行判断得到的期望值；

表示对合成的数据集中未配 准好的参考图像和变形后的浮动图像进行判断得到的误差期望值；I_F表示参考 图像；I_M表示真实数据集中配准好的图像对中的浮动图像；

表示通过旋转 或平移对I_M进行转换得到合成数据集中变形后的浮动图像，即

T 表示对手工标注交互式配准好的图像对中的浮动图像进行的变形处理，即按照 预定的角度和距离分别进行旋转和平移。

可选的，所述的生成对抗网络模型的生成器损失函数具体如下：

L_G＝E_T～Pz(T)[1-D(I_F,T_DVF(T(I_M)))]，其中T_DVF表示预测的变形场， E_T～Pz(T)[1-D(I_F,T_DVF(T(I_M)))]表示判别器对合成的数据集中参考图像和矫正后的 图像进行判断得到的误差期望值；T表示对手工标注交互式配准好的图像对中 的浮动图像进行的变形处理，即按照预定的角度和距离分别进行旋转和平移， 即

本发明另外提供一种生成对抗网络的图像非刚性配准系统，所述系统包 括：

图像数据集扩充模块，用于基于真实的医学图像数据集获取合成的医学图 像数据集，将合成的数据集作为生成对抗网络模型的训练样本，将真实的数据 集作为最优化生成对抗网络模型的验证和测试数据集；

生成对抗网络模型的构造模块，用于构造生成器网络和判别器网络；所述 生成器网络包括多个下采样网络层和对应相同数目的上采样网络层，用于获取 参考图像和变形后的浮动图像之间的预测的像素位移矢量场；所述判别器网络 包括多个下采样网络层，用于对生成器网络结合重采样器的配准结果进行判 断，并进行反向调节训练；

生成对抗网络模型的训练模块，用于基于所述合成的医学图像数据集，对 所述生成对抗网络模型进行迭代训练，得到最优化的生成对抗网络模型；

配准结果确定模块，用于基于所述最优化的生成对抗网络模型对真实医学 图像数据集中的待配准图像对进行图像的非刚性配准，得到与参考图像贴近的 精确矫正后图像。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明中的上述方法采用生成对抗网络实现医学图像的非刚性配准，可以 在医学图像训练样本数据集小、缺乏标注信息的情况下，提高医学图像非刚性 配准的精度和速度，同时也增强了医学图像配准方法的泛化能力；

此外，通过构造判别器的对抗损失函数和判别损失函数，能够直接给出定 量评估参数，最终结合配准前、后的参数并与通过手工进行交互式配准获取的 标准的像素位移场对应评估参数比较，从而能够给出配准质量的评估结果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施 例中所需要使用的附图进行介绍，显而易见地，下面描述中的附图仅仅是本发 明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前 提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例基于生成对抗网络的图像非刚性配准方法流程图；

图2为本发明实施例生成器网络结构示意图；

图3为本发明实施例判别器网络结构示意图；

图4为本发明实施例浮动图像校正示意图；

图5为本发明实施例基于生成对抗网络的配准模型图；

图6为本发明实施例基于生成对抗网络的图像非刚性配准系统结构示意 图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清 楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是 全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造 性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种基于生成对抗网络的图像非刚性配准方法及系 统，在医学图像训练样本数据集小、缺乏标注信息的情况下，提高医学图像非 刚性配准的精度和速度，同时也增强了医学图像配准方法的泛化能力。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和 具体实施方式对本发明作进一步详细的说明。

图1为本发明实施例基于生成对抗网络的图像非刚性配准方法流程图，如 图1所示，所述方法包括：

步骤101：图像数据集的扩充，基于真实的医学图像数据集获取合成的医 学图像数据集，将合成的数据集作为生成对抗网络模型的训练样本，将真实的 数据集作为最优化生成对抗网络模型的验证和测试数据集；

步骤102：构造生成对抗网络模型的结构，所述生成对抗网络模型包括生 成器网络和判别器网络，所述生成器网络包括多个下采样网络层和对应相同数 目的上采样网络层，用于获取参考图像和变形后的浮动图像之间的预测的像素 位移矢量场；所述判别器网络层包括多个下采样网络层，用于对生成器网络结 合重采样器的配准结果进行判断，并进行反向调节训练；

步骤103：基于所述合成的医学图像数据集，对所述生成对抗网络模型进 行迭代训练，得到最优化的生成对抗网络模型；

步骤104：基于所述最优化的生成对抗网络模型对真实医学图像数据集中 的待配准图像对进行图像的非刚性配准，得到与参考图像贴近的矫正后图像。

其中，步骤101为本发明的训练初期，配准模型的训练初期是在深度学习 的TensorFlow框架下执行完成。因为在实际的临床应用中，医学图像的获取 由于受到个人隐私和辐射的限制导致其训练样本数据数量有限，如果仅在有限 的样本数据上进行训练，易导致配准模型获得的有效特征信息数量覆盖不全 面，从而影响图像配准的精度。训练初期的主要作用：解决实际医学图像中数 据样本不足，导致配准模型在训练中出现精度低下的问题。训练初期的目标： 对数据样本进行扩充，提高模型的泛化能力。

具体的，步骤101中，医学图像数据集的扩充，基于真实的医学图像数据 集获取合成的医学图像数据集的具体流程如下：

从真实的医学图像数据集中获取参考图像I_F和浮动图像I_M；

通过手工标注交互式配准，获取所述参考图像和浮动图像之间标准的像素 位移矢量场；

根据预设的角度和位移对所述标准的像素位移矢量场进行旋转和平移，获 取变形后的像素位移矢量场；旋转角度为在360°内每隔5°旋转一次，平移 的移动距离由-5mm至+5mm。

将所述变形后的像素位移矢量场作用于所述的真实数据集中配准好的图 像对的浮动图像，得到变形后的浮动图像

从而基于真实的数据集获得合 成的医学图像数据集，所述合成的医学数据集包括参考图像和变形后的浮动图 像。

其中，步骤102-103为本发明的训练中期，配准模型的训练中期也是在深 度学习的TensorFlow框架下执行完成。训练中期的主要目的是为了获取配准 图像对之间的位移矢量场，并根据该位移场对浮动图像矫正得到对应的矫正后 图像。具体如下：

生成器网络的构造：

构造生成器网络，所述的生成器网络包括卷积层、最大池化层、反卷积层 和全卷积层，其中，所述卷积层结合激活函数和批归一化完成特征提取；所述 下采样网络层包括：1个最大池化层、1个卷积层、1个激活函数层和批归一 化；所述上采样网络层包括：1个反卷积层、1个卷积层、1个激活函数层和 批归一化；所述下采样网络层和所述上采样网络层的数量相匹配。

其中，为了获得更精细的预测的像素位移矢量场，得到最终与参考图像贴 近的矫正后的图像，本发明中的生成器网络结构是以经典的网络结构U-Net 作为基础框架并对其进行改进。由于随着配准模型的深度增加，配准图像对的 部分有效信息容易丢失的问题，本发明按照U-Net的低、中、高三个层次分别 对应增加额外的卷积层和跳跃连接进行连接，能较好地填补低、高层特征信息 之间的差异间隙，获取更多有效的局部特征信息，使得最终获得的预测的位移 矢量场精度更高，覆盖特征信息更全面。生成器网络的结构如图3所示：

具体地，采用的生成器网络包括：依次连接的输入图像对、2个卷积层、 4个下采样网络层(每个下采样网络层都附带1个卷积层)、4个上采样网络 层(每个上采样网络层都附带1个卷积层)、3个全卷积层，每个卷积层后都 设置一层激活函数和批归一化。并且，为了能较好地填补低、高层特征信息之 间的差异间隙，获取更多有效的局部特征信息，使得最终获取的像素位移矢量 场的精度高，覆盖的特征更加的全面，在第1个下采样网络层之前的卷积层与 第4个上采样网络层之间添加额外的卷积层；在第1个下采样网络层与第3 个上采样网络层之间添加跳跃连接；在第2个下采样网络层与第2个上采样网 络层之间添加额外的卷积层；在第3个下采样网络层与第1个上采样网络层之 间添加跳跃连接；同时在第4个下采样网络层、第2个上采样网络层和第4 个上采样网络层后面分别连接1个全卷积层，用于输出低、中、高三个层次的 特征信息。生成器网络中对应的参数：卷积层中对应卷积核的尺寸为3×3×3， 步长为2；最大池化层中对应卷积核的尺寸为2×2×2，步长为2；反卷积层中 对应卷积核的尺寸为2×2×2，步长为2；全卷积层中对应卷积核的尺寸为1×1×1，步长为2。

判别器网络的构造：

构造判别器网络，所述的判别器网络由卷积层、最大池化层和全连接层组 成，其中，卷积层结合激活函数和批归一化完成特征提取；所述下采样网络层 包括：1个最大池化层、1个卷积层、1个激活函数层和批归一化。

其中，为了能够直接通过判别器网络结构中对生成器网络输出对应的配准 质量反馈信号，使得生成器网络结合重采样器获取的矫正后的图像与参考图像 更加贴近。判别器网络的整体结构和生成器网络的结构类似，同样是采用改进 的U-Net作为矫正后的图像和参考图像的判别器，通过提取矫正后图像和参考 图像之间的特征信息，给生成器网络输出配准后的质量反馈信号，使得配准模 型中的参数实现最优化。

具体地，采用的判别器网络包括：依次连接的输入图像对、2个卷积层、 4个下采样网络层(每个下采样网络层都附带1个卷积层)、1个下采样层和 3个全连接层，每个卷积层后都设置一层激活函数和批归一化。并且，为了能 较好地填补低、高层特征信息之间的差异间隙，获取更多有效的局部特征信息， 使得最终的判别结果更加的精确，在第1个下采样网络层之前的卷积层与第2 个下采样网络层之间添加跳跃连接；在第1个下采样网络层与第3个下采样网 络层之间添加跳跃连接；在第2个下采样网络层与第4个下采样网络层之间添 加跳跃连接；最后1个下采样层连接3个全连接层和1个激活函数层，输出配 准图像对的配准质量反馈信号。判别器网络中对应的参数：卷积层中对应卷积 核的尺寸为3×3×3，步长为2；最大池化层中对应卷积核的尺寸为2×2×2，步长 为2。

本发明中生成器网络和判别器网络选择U-Net作为基础框架的主要原因 有以下三点：

第一、U-Net的卷积层结构分布比较特别，呈现U形结构，由低、中、高 层结构组成。在实际的特征提取过程中，随着网络深度增加，配准图像对的部 分有效信息易于丢失，在U-Net的低、中、高分布基础上添加相应的连接结构， 再将三层特征信息进行融合，能够获取更精细的DVF；

第二、U-Net结构独特、适应性强，在有限的数据集上训练，也能获取一 个较好的模型；

第三、U-Net结构特别，以低、中、高层结构分布；对于低、中、高层结 构上分别对应构造相应的局部损失函数，最终求和。这样从局部到全局对损失 函数加以控制，从而使得网络结果训练的过程中收敛速度更快，效率更高。

具体的，步骤103中，所述基于所述合成的医学图像数据集，对所述生成 对抗网络模型进行迭代训练，得到最优化的生成对抗网络模型，具体迭代训练 步骤如下：

从所述的合成的医学图像数据集中调取参考图像和变形后的浮动图像；

根据所述的参考图像和所述变形后的浮动图像计算二者之间对应的差值 图像和梯度图像；

将所述参考图像和所述变形后的浮动图像以及二者之间对应的差值图像 和梯度图像作为生成器网络的输入，确定参考图像和变形后的浮动图像之间的 预测的像素位移矢量场；

根据所述预测的像素位移矢量场，利用重采样器对预测的位移矢量场中像 素点对应的特征信息进行可视化；

将可视化后的特征信息作用于所述变形后的浮动图像，对变形后的浮动图 进行矫正，得到矫正后的图像；

将所述矫正后的图像和参考图像作为判别器网络的输入，分别提取矫正后 图像和参考图像之间对应的特征信息；

根据所述参考图像和浮动图像的特征信息构造判别器的对抗损失函数、判 别器的判别损失函数以及生成器损失函数；

根据上述的对抗损失函数、判别损失函数以及生成器损失函数，通过反向 传播的方式，对判别器网络和生成器网络中的参数进行不断的更新优化。其中， 在不断更新优化的过程中，生成器网络会生成得到一系列的预测的像素位移矢 量场，结合重采样器会得到对应一系列矫正后的图像；判别器网络通过学习矫 正后的图像和标准参考图像，来确定矫正后的图像与标准参考图像的贴近程 度，同时输出配准质量评估的反馈信号；生成器网络会根据反馈信号来优化网 络参数，从而获取更加精细的像素位移矢量场，结合重采样器获得更加准确的 矫正后的图像，最终能得到最优的生成器网络和判别器网络。

其中，差值图像是由参考图像和变形后的浮动图像中对应像素点的灰度值 求差值获得，梯度图像是计算图像中像素点的灰度值对应的梯度，借助MATLAB环境中已经有的梯度函数得到相应的梯度图像，能够提供较好的边 界信息结构，确保边界区域精确配准。

重采样器的主要作用是对生成器网络中得到的预测的像素位移矢量场的 相关参数通过网格生成的方式进行可视化处理，更好的对变形后的浮动图像进 行矫正，使得获取的矫正后的图像在整体结构和灰度分布上与参考图像更加贴 近。本发明中将空间转换模型(Spatial TransformerNetwork，STN)引用到重 采样器中。其中，选择STN的原因：①STN具有很好的灵活性，能够在卷积 神经网络框架中直接对浮动图像进行矫正操作，在网络模型中一次性的完成矫 正操作；②STN的全可微性能使得配准网络能够以端到端的形式进行训练。

其中，步骤104为本发明的训练末期，对整个配准模型构建合理的损失函 数，包括判别器的判别损失函数(Discriminator Loss，L_D)、对抗损失函数 (Adversarial Loss，L_adv)和生成器的损失函数(Generator Loss，L_G)。损失 函数构建的目的：根据损失函数值的收敛状况，能更好地对配准网络模型中对 应的参数进行更新优化，最终获取最优化的生成对抗网络模型，对真实的数据 集中待配准图像对完成更加精确的配准。

基于判别器网络中的损失函数，能够直接给出一个定量的评估参数，最终 结合配准前的、后的评估参数和通过手工交互式配准获取的标准的评估参数比 较，评价配准质量的优劣。其中，判别器网络包含两部分损失函数：判别器损 失函数和对抗损失函数，

具体的，所述的生成对抗网络模型中判别器的对抗损失函数具体如下：

L_adv＝L_NMI(I_Trans,I_F)+L_SSIM(I_Trans,I_F)+L₁(I_Trans,I_F)+L_Cycle

其中，I_F表示参考图像，I_Trans表示矫正后图像，L_NMI表示矫正后的图像 与参考图像之间的归一化信息对应的损失，L_SSIM表示矫正后的图像与参考图 像之间的结构相似性检索度量对应的损失；L₁表示矫正后的图像和参考图像 之间的像素点二范数距离对应的损失；L_Cycle表示基于循环一致性的总损失函 数；

其中，

I_M表示所述真实数据集中配准好的图像对中的浮动图像；

表示通过旋 转或平移对I_M进行转换得到合成数据集中变形后的浮动图像，即

和D_F分别是变形后的浮动图像

和参考图像I_F对应的判别器，

和G_F分别是变形后的浮动图像和参考图像对应的生成器；L_F和

分别是参考图像 和变形后的浮动图像对应的判别器损失，L表示循环一致性损失，λ表示权重 系数。

对抗损失函数的作用是通过对矫正后图像和参考图像进行整体结构和灰 度分布的分析后，给生成器网络输出反馈信号，进行网络的参数调整，使其最 优化。

所述的生成对抗网络模型的判别器的判别损失函数具体如下：

其中E_T～Pgt(T)[D(I_F,I_M)]表示判别器对真实的数据集中配准好的参考图像和 浮动图像进行判断得到的期望值；

表示对合成的数据集中未配 准好的参考图像和变形后的浮动图像进行判断得到的误差期望值；I_F表示参考 图像；I_M表示真实数据集中配准好的图像对中的浮动图像；

表示通过旋转 或平移对I_M进行转换得到合成数据集中变形后的浮动图像，即

T 表示对手工标注交互式配准好的图像对中的浮动图像进行的变形处理，即按照 预定的角度和距离分别进行旋转和平移。

所述的生成对抗网络模型的生成器损失函数具体如下：

L_G＝E_T～Pz(T)[1-D(I_F,T_DVF(T(I_M)))]，其中T_DVF表示预测的变形场， E_T～Pz(T)[1-D(I_F,T_DVF(T(I_M)))]表示判别器对合成的数据集中参考图像和矫正后的 图像进行判断得到的误差期望值；T表示对手工标注交互式配准好的图像对中 的浮动图像进行的变形处理，即按照预定的角度和距离分别进行旋转和平移， 即

其中，生成器损失函数能够避免有效特征的丢失。

基于上述描述，本发明中的基于生成对抗网络设定的总体配准模型如图5 所示。

图6为本发明实施例生成对抗网络的图像配准系统结构示意图， 如图6所示，所述系统包括：

数据集扩充模块201，用于基于真实的医学图像数据集获取合成的医学图 像数据集，将合成的数据集作为生成对抗网络模型的训练样本，将真实的数据 集作为最优化生成对抗网络模型的验证和测试数据集；

生成对抗网络模型的构造模块202，用于构造生成器网络和判别器网络； 所述生成器网络包括多个下采样网络层和对应相同数目的上采样网络层，用于 获取参考图像和变形后的浮动图像之间的预测的像素位移矢量场；所述判别器 网络层包括多个下采样网络层，用于对生成器网络结合重采样器的配准结果进 行判断，并进行反向调节训练；

生成对抗网络模型的训练模块203，用于基于所述合成的医学图像数据 集，对所述生成对抗网络模型进行迭代训练，得到最优化的生成对抗网络模型；

配准结果确定模块204，用于基于所述最优化的生成对抗网络模型对真实 医学图像数据集中的待配准图像对进行图像的非刚性配准，得到与参考图像贴 近的精确矫正后图像。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是 与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施 例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的 一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变 之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种基于生成对抗网络的图像非刚性配准方法，其特征在于，所述配准方法包括：

图像数据集的扩充，基于真实的医学图像数据集获取合成的医学图像数据集，将合成的数据集作为生成对抗网络模型的训练样本，将真实的数据集作为最优化生成对抗网络模型的验证和测试数据集；

构造生成对抗网络模型的结构，所述生成对抗网络模型包括生成器网络和判别器网络，所述生成器网络包括多个下采样网络层和对应相同数目的上采样网络层，用于获取参考图像和变形后的浮动图像之间预测的像素位移矢量场；所述判别器网络包括多个下采样网络层，用于对生成器网络结合重采样器的配准结果进行判断，并进行反向调节训练；

基于所述合成的医学图像数据集，对所述生成对抗网络模型进行迭代训练，得到最优化的生成对抗网络模型；

基于所述最优化的生成对抗网络模型对真实医学图像数据集中的待配准图像对进行图像的非刚性配准，得到与参考图像贴近的矫正后图像；

所述基于所述合成的医学图像数据集，对所述生成对抗网络模型进行迭代训练，得到最优化的生成对抗网络模型，具体迭代训练步骤如下：

从所述的合成的医学图像数据集中调取参考图像和变形后的浮动图像；

根据所述的参考图像和所述变形后的浮动图像计算二者之间对应的差值图像和梯度图像；

将所述参考图像和所述变形后的浮动图像以及二者之间对应的差值图像和梯度图像作为生成器网络的输入，确定参考图像和变形后的浮动图像之间的预测的像素位移矢量场；

根据所述预测的像素位移矢量场，利用重采样器对预测的位移矢量场中像素点对应的特征信息进行可视化；

将可视化后的特征信息作用于所述变形后的浮动图像，对变形后的浮动图进行矫正，得到矫正后的图像；

将所述矫正后的图像和参考图像作为判别器网络的输入，分别提取矫正后图像和参考图像之间对应的特征信息；

根据所述参考图像和浮动图像的特征信息构造判别器的对抗损失函数、判别器的判别损失函数以及生成器损失函数；

根据上述的对抗损失函数、判别损失函数以及生成器损失函数，通过反向传播的方式，对判别器网络和生成器网络中的参数进行不断的更新优化；其中，在不断更新优化的过程中，生成器网络会生成得到一系列的预测的像素位移矢量场，结合重采样器会得到对应一系列的矫正后图像；判别器网络通过学习矫正后的图像和参考图像，来确定矫正后的图像与参考图像的贴近程度，输出配准质量评估的反馈信号；生成器网络会根据反馈信号来优化网络参数，从而获取更加精细的预测的像素位移矢量场，结合重采样器获得更加准确的矫正后的图像，最终得到最优的生成器网络和判别器网络。

2.根据权利要求1所述的基于生成对抗网络的图像非刚性配准方法，其特征在于，所述的医学图像数据集的扩充，基于真实的医学图像数据集获取合成的医学图像数据集的具体流程如下：

从真实的医学图像数据集中获取参考图像I_F和浮动图像I_M；

通过手工标注交互式配准，获取所述参考图像和浮动图像之间标准的像素位移矢量场；

根据预设的角度和位移对所述标准的像素位移矢量场进行旋转和平移，获取变形后的像素位移矢量场；

将所述变形后的像素位移矢量场作用于所述的真实数据集中配准好的图像对中的浮动图像，得到变形后的浮动图像

从而基于真实的数据集获得合成的医学图像数据集，所述合成的医学数据集包括参考图像和变形后的浮动图像。

3.根据权利要求2所述的基于生成对抗网络的图像非刚性配准方法，其特征在于，旋转角度为在360°内每隔5°旋转一次，平移的移动距离由-5mm至+5mm。

4.根据权利要求1所述的基于生成对抗网络的图像非刚性配准方法，其特征在于，所述构造生成对抗网络模型的结构，具体构造过程如下：

生成器网络的构造：

构造生成器网络，所述的生成器网络包括卷积层、最大池化层、反卷积层和全卷积层，其中，所述卷积层结合激活函数和批归一化完成特征提取；所述下采样网络层包括：1个最大池化层、1个卷积层、1个激活函数层和批归一化；所述上采样网络层包括：1个反卷积层、1个卷积层、1个激活函数层和批归一化；所述下采样网络层和所述上采样网络层的数量相匹配；

判别器网络的构造：

构造判别器网络，所述的判别器网络由卷积层、最大池化层和全连接层组成，其中，卷积层结合激活函数和批归一化完成特征提取；所述下采样网络层包括：1个最大池化层、1个卷积层、1个激活函数层和批归一化。

5.根据权利要求1所述的基于生成对抗网络的图像非刚性配准方法，其特征在于，所述的生成对抗网络模型中判别器的对抗损失函数具体如下：

L_adv＝L_NMI(I_Trans,I_F)+L_SSIM(I_Trans,I_F)+L₁(I_Trans,I_F)+L_Cycle

其中，I_F表示参考图像，I_Trans表示矫正后的图像，L_NMI表示矫正后的图像与参考图像之间的归一化信息对应的损失，L_SSIM表示矫正后的图像与参考图像之间的结构相似性检索度量对应的损失；L₁表示矫正后的图像和参考图像之间的像素点二范数距离对应的损失；L_Cycle表示基于循环一致性的总损失函数；

其中，

I_M表示所述真实数据集中配准好的图像对中的浮动图像；

表示通过旋转或平移对I_M进行转换得到合成数据集中变形后的浮动图像，即

和D_F分别是变形后的浮动图像

和参考图像I_F对应的判别器，

和G_F分别是变形后的浮动图像和参考图像对应的生成器；L_F和

分别是参考图像和变形后的浮动图像对应的判别器损失，L表示循环一致性损失，λ表示权重系数。

6.根据权利要求1所述的基于生成对抗网络的图像非刚性配准方法，其特征在于，所述的生成对抗网络模型的判别器的判别损失函数具体如下：

其中E_T～Pgt(T)[D(I_F,I_M)]表示判别器对真实的数据集中配准好的参考图像和浮动图像进行判断得到的期望值；

表示对合成的数据集中未配准好的参考图像和变形后的浮动图像进行判断得到的误差期望值；I_F表示参考图像；I_M表示真实数据集中配准好的图像对中的浮动图像；

表示通过旋转或平移对I_M进行转换得到合成数据集中变形后的浮动图像，即

T表示对手工标注交互式配准好的图像对中的浮动图像进行的变形处理，即按照预定的角度和距离分别进行旋转和平移。

7.根据权利要求1所述的基于生成对抗网络的图像非刚性配准方法，其特征在于，所述的生成对抗网络模型的生成器损失函数具体如下：

L_G＝E_T～Pz(T)[1-D(I_F,T_DVF(T(I_M)))]，其中TDVF表示预测的变形场，E_T～Pz(T)[1-D(I_F,T_DVF(T(I_M)))]表示判别器对合成的数据集中参考图像和矫正后的图像进行判断得到的误差期望值；T表示对手工标注交互式配准好的图像对中的浮动图像进行的变形处理，即按照预定的角度和距离分别进行旋转和平移，即

8.一种基于生成对抗网络的图像非刚性配准系统，其特征在于，所述系统包括：

图像数据集扩充模块，用于基于真实的医学图像数据集获取合成的医学图像数据集，将合成的数据集作为生成对抗网络模型的训练样本，将真实的数据集作为最优化生成对抗网络模型的验证和测试数据集；

生成对抗网络模型构造模块，用于构造生成器网络和判别器网络；所述生成器网络包括多个下采样网络层和对应相同数目的上采样网络层，用于获取参考图像和变形后的浮动图像之间的预测的像素位移矢量场；所述判别器网络包括多个下采样网络层，用于对生成器网络结合重采样器的配准结果进行判断，并进行反向调节训练；

生成对抗网络模型的训练模块，用于基于所述合成的医学图像数据集，对所述生成对抗网络模型进行迭代训练，得到最优化的生成对抗网络模型；

配准结果确定模块，用于基于所述最优化的生成对抗网络模型对真实医学图像数据集中的待配准图像对进行图像的非刚性配准，得到与参考图像贴近的矫正后图像；

所述生成对抗网络模型的训练模块，用于基于所述合成的医学图像数据集，对所述生成对抗网络模型进行迭代训练，得到最优化的生成对抗网络模型，具体迭代训练步骤如下：

从所述的合成的医学图像数据集中调取参考图像和变形后的浮动图像；

根据所述的参考图像和所述变形后的浮动图像计算二者之间对应的差值图像和梯度图像；

将所述参考图像和所述变形后的浮动图像以及二者之间对应的差值图像和梯度图像作为生成器网络的输入，确定参考图像和变形后的浮动图像之间的预测的像素位移矢量场；

根据所述预测的像素位移矢量场，利用重采样器对预测的位移矢量场中像素点对应的特征信息进行可视化；

将可视化后的特征信息作用于所述变形后的浮动图像，对变形后的浮动图进行矫正，得到矫正后的图像；

将所述矫正后的图像和参考图像作为判别器网络的输入，分别提取矫正后图像和参考图像之间对应的特征信息；

根据所述参考图像和浮动图像的特征信息构造判别器的对抗损失函数、判别器的判别损失函数以及生成器损失函数；

根据上述的对抗损失函数、判别损失函数以及生成器损失函数，通过反向传播的方式，对判别器网络和生成器网络中的参数进行不断的更新优化；其中，在不断更新优化的过程中，生成器网络会生成得到一系列的预测的像素位移矢量场，结合重采样器会得到对应一系列的矫正后图像；判别器网络通过学习矫正后的图像和参考图像，来确定矫正后的图像与参考图像的贴近程度，输出配准质量评估的反馈信号；生成器网络会根据反馈信号来优化网络参数，从而获取更加精细的预测的像素位移矢量场，结合重采样器获得更加准确的矫正后的图像，最终得到最优的生成器网络和判别器网络。

Images