CN114359360B - 一种基于对抗的双向一致性约束医学图像配准算法 - Google Patents

一种基于对抗的双向一致性约束医学图像配准算法 Download PDF

Info

Publication number
CN114359360B
CN114359360B CN202210260997.9A CN202210260997A CN114359360B CN 114359360 B CN114359360 B CN 114359360B CN 202210260997 A CN202210260997 A CN 202210260997A CN 114359360 B CN114359360 B CN 114359360B
Authority
CN
China
Prior art keywords
image
registration
generator
deformation field
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210260997.9A
Other languages
English (en)
Other versions
CN114359360A (zh
Inventor
邹茂扬
陈宇
潘光晖
曹冬平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu University of Information Technology
Original Assignee
Chengdu University of Information Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu University of Information Technology filed Critical Chengdu University of Information Technology
Priority to CN202210260997.9A priority Critical patent/CN114359360B/zh
Publication of CN114359360A publication Critical patent/CN114359360A/zh
Application granted granted Critical
Publication of CN114359360B publication Critical patent/CN114359360B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明公开了一种基于对抗的双向一致性约束医学图像配准算法，获取CT和MRI模态的医学图像并对其标准化预处理；构建深度学习神经网络，包括生成器的构建和鉴别器的构建；随机选取训练样本集，对步骤S2构建的深度学习神经网络进行对抗训练；将待配准医学图像对输入训练完成的深度学习神经网络，输出配准后的图像对，通过上述方式，解决了目前医学图像配准样本少，多模态配准难，相似性度量选择难的问题，取得高精度的配准效果。比如同一个病人的术前CT图像和MRI图像的配准，算法不需要提供大量的样本集和样本标注，就能完成算法的训练，同时保障运行稳定，能够自动得到高精度的医学图像的配准图像对。

Description

一种基于对抗的双向一致性约束医学图像配准算法
技术领域
本发明涉及图像处理算法领域，具体涉及一种基于对抗的双向一致性约束医学图像配准算法。
背景技术
对于影像引导的放射性治疗、放射外科手术、微创外科手术、内窥镜检查、介入放射性治疗，医学图像配准都是辅助诊疗的关键技术之一,所以应用面十分广,而智能配准能大大提高配准效率。另一方面，随着分级诊疗的推进，医生水平参差不齐，这在基层医院更加突出，所以对人工智能的辅助诊疗有需求，需要智能配准技术。
现有技术方案包括以下几个方面：
传统的形变配准算法是基于深度迭代的，通过迭代优化与相似性度量相关联的成本函数，如均方误差、归一化互信息等，预测平滑形变场。典型的形变配准算法有LDDMM 和SyN。
缺点：由于传统的配准方法是高维数学优化问题，所以计算成本高，而且时间花销大。
近几年的基于深度学习的医学图像配准有望解决传统配准方法的局限性。具体的方法有以下三种：
1、采用深度学习方法对传统配准方法的改进，采用深度学习方法提取特征描述子，再用传统方法迭代优化成本函数，这样做能够提高配准效率。
缺点：依然涉及高维优化和参数调优，计算开销大。
2基于监督学习的端对端的医学图像配准。采取的策略又分为两种，一是采用迭代优化策略，使用CNN估计图像之间的相似性度量，将优化图像的配准度量作为代价函数来执行。二是直接直接预测稠密DVF的思路，即聚焦于预测体素到体素的非线性映射
缺点：有监督学习的医学图像配准的问题是样本问题和标注问题。因为医学样本量普遍不大，有监督学习不仅需要大量的训练样本，而且更重要的是需要标注，而标注医学样本的专业性要求高，成本也高，故大量的标注样本难以获得。
3、基于无监督学习的端对端的医学图像配准。目前的无监督医学图像配准采用的方法大多是基于相似性度量的变换估计。具体而言，就是通过深度学习的方法，在没有金标准的情况下，最大化图像对之间的相似度，通过学习得到预测平滑约束下的变形场，再通过形变场的计算得到配准后的图像。
无监督学习的医学图像配准存在多模态图像配准问题和相似性度量的选择问题。由于多模态图像之间的强度分布之间的关系复杂，在不同强度和噪声的数据间进行多模配准一直是一个难题。特别是CT和MRI 这两种图像的固有结构差异和缺失的密集真值，磁共振和计算机断层图像的可变形图像配准是最具挑战性的配准任务之一。在缺乏标记的配准训练中，很难决定在不同的配准问题中采取哪种特定的相似性度量才会达到最好效果。尤其是需要评估跨模态或序列的相似性度量的损失的时候，大多数相似性度量在不同模态之间不能很好地工作。
发明内容
针对现有技术中的上述不足，本发明提供了一种基于对抗的双向一致性约束医学图像配准算法。
为了达到上述发明目的，本发明采用的技术方案为：
一种基于对抗的双向一致性约束医学图像配准算法，包括如下步骤：
S1、获取多模态的医学图像并对其标准化预处理；
S2、构建深度学习神经网络，包括生成器的构建和鉴别器的构建；
S3、随机选取训练样本集，并利用训练样本集对步骤S2构建的深度学习神经网络进行对抗训练；
S4、将待配准医学图像对输入训练完成的深度学习神经网络，输出配准后的图像对。
进一步的，所述S1中标准化预处理具体包括：
S11、统一多模态医学图像的坐标轴方向和空间分辨率，所述多模态医学图像包括磁共振成像MRI、计算机断层扫描成像CT、超声成像US、正电子发射断层扫描成像PET；
S12、去除医学图像图像中的无效背景区域，并对选取图像中的多层有效数据作为训练样本和验证样本。
进一步的，所述S2中生成器包括形变配准网络和两个空间变换器，其中形变配准网络采用U-net结构，通过级联编码器层获得的特征与对应解码器层获得的特征，将高低层特征融合在一起。
进一步的，形变配准网络的输入为设定大小的固定图像和浮动图像组成的图像对，输出为图像对之间的形变场，其卷积层的卷积核大小为3*3、步长为2，其中每个卷积层滞后添加归一化的batch normalization和Leaky ReLU激活函数。
进一步的，所述鉴别器的结构为7个大小为4*4、步长为2、内边距为2的卷积层，且每个卷积层均连接用于归一化的LayerNorm和relu激活函数；所述鉴别器的输入为固定图像和配准图像，输出为图像对的Wassertein距离。
进一步的，
在单模态情况下，
正样本：随机选取一个包括固定图像和浮动图像的图像对，其中，固定图像和浮动图像来自于同一模态下的影像学图像；
并为选取的固定图像添加噪声计算生成配准图像，将得到的配准图像和其对应的固定图像组成正样本，其中配准图像的计算方式为：
Figure 589886DEST_PATH_IMAGE001
；
其中，
Figure 585655DEST_PATH_IMAGE002
为正样本配准图像，
Figure 99813DEST_PATH_IMAGE003
为浮动图像，
Figure 88497DEST_PATH_IMAGE004
为固定图像，
Figure 371711DEST_PATH_IMAGE005
为噪声因子；
负样本：固定图像和深度学习训练过程中得到的输出图像作为负样本，其中，所述深度学习的损失函数表示为：
Figure 538381DEST_PATH_IMAGE006
；
其中，
Figure 274256DEST_PATH_IMAGE007
是图像中的像素，
Figure 332211DEST_PATH_IMAGE008
是生产的形变场，
Figure 469931DEST_PATH_IMAGE009
是经过形变场生成的配准图像，
Figure 798714DEST_PATH_IMAGE010
由生成器产生的样本分布，
Figure 287464DEST_PATH_IMAGE011
是固定图像和形变场生成的配准图像之间的Wasserstein距离，
Figure 493317DEST_PATH_IMAGE012
-1
Figure 610178DEST_PATH_IMAGE013
是反向配准图像
Figure 508864DEST_PATH_IMAGE014
-1和浮动图像
Figure 360276DEST_PATH_IMAGE003
之间的相似性度量，MSE是相似性度量，
Figure 104241DEST_PATH_IMAGE015
是位移的梯度，其中，
Figure 341188DEST_PATH_IMAGE016
是正则化参数，
Figure 145196DEST_PATH_IMAGE017
表示图像中所有的像素点，
Figure 218325DEST_PATH_IMAGE018
表示浮动图像中的像素和固定图像中的像素对齐到相似位置的位移，
Figure 765981DEST_PATH_IMAGE019
；
对于多模态下：
正样本：采用已配准好的图像对，其中对应的固定图像和浮动图像分别来自不同模态的影像学图像；
负样本：与单模态情况下的负样本选取相同。
进一步的，所述S3中深度学习神经网络进行对抗训练的具体策略为：
对鉴别器进行两次训练后对生成器进行一次训练，并不断重复；
当生成器能够生成令鉴别器的损失误差曲线停留在0附近振荡的配准图像，生成器与鉴别器达到纳什均衡时，模型收敛。
进一步的，所述对生成器的训练方式为：
S301、将浮动图像和固定图像输入生成器，从浮动图像到固定图像的密集体素对应关系得到形变场；
S302、利用S301得到的形变场和空间变换器的双三次插值法对浮动图像进行计算得到配准图像，并利用形变场计算逆向形变场，其计算方式为：
Figure 998379DEST_PATH_IMAGE020
；
其中，
Figure 363501DEST_PATH_IMAGE021
是逆向形变场，
Figure 782981DEST_PATH_IMAGE022
是原始的配准形变场，
Figure 9695DEST_PATH_IMAGE023
表示原始形变场的像素点，
Figure 96599DEST_PATH_IMAGE024
表示逆向形变场的像素点；
S303、利用逆向形变场和空间变换器的双三次插值计算配准图像的逆向图像，其计算方式为：
Figure 632623DEST_PATH_IMAGE025
其中，
Figure 539399DEST_PATH_IMAGE026
是预测配准图像，
Figure 694437DEST_PATH_IMAGE027
中的像素点坐标位置，
Figure 508285DEST_PATH_IMAGE003
是浮动图像，
Figure 90576DEST_PATH_IMAGE028
表示像素点
Figure 874861DEST_PATH_IMAGE023
在形变场
Figure 568010DEST_PATH_IMAGE029
上的扭曲结果，
Figure 973715DEST_PATH_IMAGE030
为
Figure 992487DEST_PATH_IMAGE031
的邻域，
Figure 873855DEST_PATH_IMAGE032
是图像的迭代计算维度；
Figure 495329DEST_PATH_IMAGE033
表示维度空间
Figure 411333DEST_PATH_IMAGE032
中的像素点
Figure 945213DEST_PATH_IMAGE023
，
Figure 313878DEST_PATH_IMAGE034
表示维度空间
Figure 473464DEST_PATH_IMAGE032
中像素点
Figure 243973DEST_PATH_IMAGE023
在形变场
Figure 948755DEST_PATH_IMAGE029
上扭曲的结果，
Figure 70295DEST_PATH_IMAGE035
表示维度空间d中像素点的领域
Figure 908938DEST_PATH_IMAGE036
。
S304、生成器自身将逆向图像和浮动图像的相似性度量MSE作为损失函数的一部分反馈给生成器，同时鉴别器将配准图像和固定图像的相似度度量也反馈给生成器，完成生成器的一次训练。
进一步的，所述鉴别器的训练方式为：
S311、将配准图像和固定图像分别输入鉴别器；
S312、计算配准图像和固定图像的相似度，并将结果返还给生成器。
进一步的，所述S312中配准图像和固定图像的相似度是通过Wasserstein距离进行度量的，其鉴别器的损失函数表示为：
Figure 658588DEST_PATH_IMAGE037
其中，
Figure 924485DEST_PATH_IMAGE038
Ø是真实形变场，Ø’是由生成器生成的形变场，
Figure 880458DEST_PATH_IMAGE039
是真实样本分布，
Figure 522792DEST_PATH_IMAGE010
是由生成器产生的样本分布，
Figure 267894DEST_PATH_IMAGE040
表示配准正例的Wasserstein距离，
Figure 829325DEST_PATH_IMAGE041
表示形变场生成的配准图像与固定图像的Wasserstein距离，
Figure 394299DEST_PATH_IMAGE042
是惩罚项，
Figure 715690DEST_PATH_IMAGE043
是梯度惩罚系数。
与现有技术相比，本发明的有益效果是：
1）由于采用了深度学习的思想，算法的计算复杂度远远低于传统的配准方法，对计算资源要求低，配准速度也提高了数十倍。这一点对于将算法应用到临床意义重大。
2）由于采用了U-net结合STN的生成器，提出的算法在训练的时候不需要大量的医学数据和标记。由于采用了对抗学习和双向一致性约束，同一个模型，不仅能配准单模态的医学图像，还能配准多模态的医学图像，突破了多模态医学图像配准的难题。由于采用动态学习的方法来进行相似性度量，也不存在不好选择相似性度量指标的问题。由于设计了Wassertein距离和在Loss函数上增加了惩罚项，解决了生成对抗模型经常出现的梯度消失和梯度爆炸现象。模型解决了有监督和无监督学习的医学图像配准算法的问题，并且取得了高精度的配准效果。
3）该模型能同时进行刚性和柔性的医学图形配准，具备处理大形变等能力，可以大大提升辅助诊疗的效率。
附图说明
图1为本发明一种基于对抗的双向一致性约束医学图像配准算法流程示意图。
图2为本发明实施例训练网络结构图。
图3为本发明实施例配准网络结构图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
一种基于对抗的双向一致性约束医学图像配准算法，如图1所示，包括如下步骤：
S1、获取多模态的医学图像并对其标准化预处理；
本实施例里以MRI和CT图像为例说明，其余模态下的影像学资料同理，标准化预处理具体包括：
S11、统一MRI和CT图像的坐标轴方向和空间分辨率；
本实施例里，CT 图像的参照坐标系为 RAI，MRI 图像的参照坐标系为 ASL。使用3DSlicer工具对 MRI 图像进行坐标转换，最终将 MRI 的坐标系统一为 RAI 坐标系。
S12、去除图像中的无效背景区域，将选取图像中的多层有效数据作为训练样本和验证样本。
在本实施例里，使用 ITK_snap 工具去除CT图像和MRI图像中的无效背景区域；按统一的范围，选取CT图像和MRI图像的有效区域进行分层，然后作为训练样本和验证样本。
标准化处理后，得到相同位置的图像对，图像对中有两张图像，其中一张作为固定图像，一张作为浮动图像
S2、构建深度学习神经网络，包括生成器的构建和鉴别器的构建；
本实施例里，设计和建立深度学习神经网络包括生成器和鉴别器。生成器是一个图像配准网络，负责生成配准图像，将固定图像和配准图像的图像对输入鉴别器，鉴别器是评价图像配准质量的评价网络，鉴别网络被敌对地训练以判断图像对是否配准，将相似度损失反馈给生成器，用于提高生成器的配准精度，生成器期望进一步生成精度更高的配准图像，以欺骗鉴别器。设计时为了缓解生成对抗网络训练不稳定的现象，在鉴别器的最后一层去掉sigmoid，生成器和鉴别器的损失函数不取log，在模型中引入梯度惩罚策略，即在Loss中增加惩罚项后，令网络训练稳定，收敛速度快。具体而言，
建立生成器。生成器的网络由一个形变配准网络和两个空间变换器STN组成。其中，最重要的部分是形变配准网络，它的作用是直接生成固定图像和浮动图像对的形变。形变配准网络是一个U-net结构，模块中有四个短连接，它的功能是将高低层特征融合在一起，所采用的方法是级联编码器层获得的特征图与相应解码器层获得的特征图。网络的输入为192*192的图像块，输出为192*192形变场。卷积层的卷积核大小为3*3，步长为2，在每个卷积层之后添加了归一化的batch normalization和参数为0.2的Leaky ReLU激活函数。
形变场通过深度网络U-net的训练而获得，如图3所示，将固定图像If和浮动图像Im拼接成两通道的图像输入，在编码阶段，使用3*3的卷积核进行卷积运算，步长为2，并使用参数为0.2的LeakyReLU的激活函数；在解码阶段，交替使用upsample2D层、卷积层、SkipConnection层。Skip Connection层将编码层学习的特征传递到解码层，解码器使用upsample2D层恢复图像的尺寸和分辨率。最后输出配准形变场φ。
为了抑制不期望的插值和得到更高的配准精度，方案采用了双重一致性制约策略，即除了对正向的配准图像对进行相似性估计外，还增加了逆向配准图像对的相似性估计。所以在U-net得到的形变场基础上，通过重新组合变形的偏移场，产生一个新的逆变换场。利用逆形变场，再逆向地将配准图像Ir形变，和浮动像素Im对齐。
建立鉴别器。鉴别器的输入是固定图像If和配准图像Ir，它们是192*192大小的图像对，网络结构为7个卷积核的大小为4*4，步长为2，padding为2的卷积层，在每个卷积层后面都连接着用于归一化的LayerNorm和参数为0.2的relu激活函数，网络的最后一层没有sigmoid函数，所以鉴别器的输出并不是[0，1]之间的一个概率，输出是拟合好的Wassertein距离。Wasserstein距离的优良性质可以缓解生成器梯度消失。
S3、随机选取训练样本集，并利用训练样本集对步骤S2构建的深度学习神经网络进行对抗训练；
所述S3中选取选取训练样本集的方式具体包括：
对于单模态图像对而言，正样本图像对由固定图像和由固定图像上增加了一些噪声生成的配准图像组成。具体方法是随机选取一个包括固定图像和浮动图像的图像对，通过以下公式计算得到的配准图像，该配准图像和对应的固定图像组成正样本，表示为：
Figure 49719DEST_PATH_IMAGE044
（1）
其中，
Figure 782052DEST_PATH_IMAGE002
为正样本配准图像，
Figure 99901DEST_PATH_IMAGE003
为浮动图像，
Figure 818458DEST_PATH_IMAGE004
为固定图像，
Figure 147939DEST_PATH_IMAGE005
为噪声因子；
负样本：负样本图像对由固定图像和配准图像组成，配准图像是生成器训练过程中，通过深度学习的训练得到的输出图像。它所涉及的loss函数为公式（2）：
Figure 192119DEST_PATH_IMAGE045
（2）
其中，
Figure 856318DEST_PATH_IMAGE007
是图像中的像素，
Figure 378567DEST_PATH_IMAGE008
是生产的形变场，
Figure 562554DEST_PATH_IMAGE009
是经过形变场生成的配准图像，
Figure 777635DEST_PATH_IMAGE010
由生成器产生的样本分布，
Figure 538918DEST_PATH_IMAGE011
是固定图像和形变场生成的配准图像之间的Wasserstein距离，
Figure 989491DEST_PATH_IMAGE012
-1
Figure 418198DEST_PATH_IMAGE013
是反向配准图像
Figure 411037DEST_PATH_IMAGE014
-1和浮动图像
Figure 925195DEST_PATH_IMAGE003
之间的相似性度量，MSE是一种相似性度量，由于反向配准图像和浮动图像是单模态图像对，相似性度量的选取对配准精度的影响相对较小。
Figure 54825DEST_PATH_IMAGE015
是位移的梯度，目的是平滑形变场，其中，
Figure 197093DEST_PATH_IMAGE016
是正则化参数，
Figure 753977DEST_PATH_IMAGE017
表示图像中所有的像素点，
Figure 630797DEST_PATH_IMAGE018
就是让浮动图像中的像素和固定图像中的像素对齐到相同位置的位移，
Figure 298539DEST_PATH_IMAGE019
。
对于多模态图像对而言，
正样本：采用已配准好的图像对，其中对应的固定图像和浮动图像分别来自不同模态的影像学图像；
负样本：与单模态情况下的负样本选取相同
本实施例里，当处于多模态的情况下时，正样本的选择采用经过Elastic软件预配准的图像对，对于本实施例中而言，其固定图像和浮动图像的选择应分别从MRI图像和CT图像中进行选择，即是，若固定图像为MRI图像，则浮动图像应为CT图像，或者固定图像为CT图像，浮动图像为MRI图像。类比到其余模态下的影像学图像资料也是同样操作。Elastic软件是一款基于ITK的医学图像配准工具，它采用传统的高维优化方法进行配准。
负样本：固定图像和配准图像组成的图像对，配准图像是生成器训练过程中，通过深度学习的训练得到的输出图像。它所涉及的loss函数同公式（2）。
确定正负样本后，将训练样本集输入训练网络进行训练，
训练网络包括生成器和鉴别器两部分，如图2所示，二者被对抗训练。生成器的输入是浮动图像Im和固定图像If，训练U-net预测从浮动图像Im到固定图像If的密集体素对应关系得到形变场，浮动图像Im经过形变场Ø计算和空间变换器STN的双三次插值，得到配准图像Ir。通过形变场Ø推算逆向形变场Ø-1，Ir经过逆向形变场Ø-1的计算和空间变换器STN的双三次插值，得到逆向图像Ir -1。逆向图像Ir -1和浮动图像Im的相似性估量将作为损失函数的一部分反馈给生成器的U-net。鉴别器的输入是Ir和固定图像If，鉴别器把这个图像对的相似度度量的结果也返回给生成器的U-net，指导生成器生成精度更高的配准图像，具体的训练方式为：
S301、将浮动图像和固定图像输入生成器，从浮动图像到固定图像的密集体素对应关系得到形变场；
形变场通过深度网络U-net的训练而获得，网络结构如图3所示；
将固定图像If和浮动图像Im拼接成两通道的图像输入，在编码阶段，使用3*3的卷积核进行卷积运算，步长为2，并使用参数为0.2的LeakyReLU的激活函数；在解码阶段，交替使用upsample2D层、卷积层、Skip Connection层。Skip Connection层将编码层学习的特征传递到解码层，解码器使用upsample2D层恢复图像的尺寸和分辨率。最后输出配准形变场φ。
S302、利用S301得到的形变场和空间变换器的双三次插值法对浮动图像进行计算得到配准图像，并利用形变场计算逆向形变场；
浮动图像通过形变场和双三次插值的计算得到配准图像，公式（3）如下所示：
Figure 295314DEST_PATH_IMAGE046
（3）
其中，
Figure 288677DEST_PATH_IMAGE026
是预测配准图像，
Figure 511848DEST_PATH_IMAGE023
是
Figure 593068DEST_PATH_IMAGE026
中的像素点坐标位置，
Figure 850874DEST_PATH_IMAGE003
是浮动图像，
Figure 874194DEST_PATH_IMAGE028
表示像素点
Figure 319081DEST_PATH_IMAGE023
在形变场
Figure 594205DEST_PATH_IMAGE029
上的扭曲结果，
Figure 581884DEST_PATH_IMAGE030
为
Figure 385892DEST_PATH_IMAGE031
的邻域，
Figure 708288DEST_PATH_IMAGE032
是图像的迭代计算维度；
Figure 255944DEST_PATH_IMAGE033
表示维度空间
Figure 112778DEST_PATH_IMAGE047
中的像素点
Figure 353267DEST_PATH_IMAGE023
，
Figure 162960DEST_PATH_IMAGE034
表示维度空间
Figure 514307DEST_PATH_IMAGE048
中像素点
Figure 210998DEST_PATH_IMAGE023
在形变场
Figure 887967DEST_PATH_IMAGE029
上扭曲的结果，
Figure 794743DEST_PATH_IMAGE035
表示维度空间d中像素点的领域
Figure 808836DEST_PATH_IMAGE036
。
将配准形变场作为输入，通过公式(4)计算，获得逆向配准形变场。
Figure 15826DEST_PATH_IMAGE020
（4）
其中
Figure 207904DEST_PATH_IMAGE021
是逆向形变场，
Figure 601976DEST_PATH_IMAGE022
是原始的配准形变场，
Figure 419760DEST_PATH_IMAGE023
表示原始形变场的像素点，
Figure 215677DEST_PATH_IMAGE024
表示逆向形变场的像素点。
S303、利用逆向形变场和空间变换器的双三次插值法计算配准图像的逆向图像，其计算方式如公式（3）所示。
S304、生成器自身将逆向图像和浮动图像的相似性度量MSE作为损失函数的一部分反馈给生成器，同时鉴别器将配准图像和固定图像的相似度度量也反馈给生成器，完成生成器的一次训练。
训练策略是先训练鉴别器再训练生成器，每训练n（n=2）次鉴别器，训练生成器一次，不断地如此对抗训练，生成器被训练以得到平滑变形场，最终能够产生接近固定图像的配准图像，来通过鉴别器的鉴别。直到鉴别器难以判断配准的图像对是正样本还是负样本，这意味着固定图像和配准图像之间的相似度已经很高，生成器和鉴别器达到了纳什均衡，此时训练的模型收敛。
所述鉴别器的训练方式为：
S311、将配准图像和固定图像分别输入鉴别器；
S312、计算配准图像和固定图像的相似度，并将结果返还给生成器。配准图像和固定图像的相似度是通过Wasserstein距离进行度量的。鉴别器的loss如公式（5）所示：
Figure 234449DEST_PATH_IMAGE049
Figure 991184DEST_PATH_IMAGE050
(5)
其中，
Figure 222445DEST_PATH_IMAGE051
是真实形变场，
Figure 731924DEST_PATH_IMAGE052
是由生成器生成的形变场，
Figure 921596DEST_PATH_IMAGE039
是真实样本分布，
Figure 162697DEST_PATH_IMAGE010
是由生成器产生的样本分布，
Figure 197649DEST_PATH_IMAGE053
表示配准正例的Wasserstein距离，
Figure 827214DEST_PATH_IMAGE041
表示形变场生成的配准图像与固定图像的Wasserstein距离，
Figure 187788DEST_PATH_IMAGE042
是惩罚项，
Figure 919115DEST_PATH_IMAGE043
是梯度惩罚系数，
Figure 492179DEST_PATH_IMAGE054
的目的是限制鉴别器的梯度，避免训练中出现梯度消失和梯度爆炸。
S4、将待配准医学图像对输入训练完成的深度学习神经网络，输出配准后的图像对。
输入待配准的图像对，输出是已经配准图像对。该模型不仅能配准单模态的医学图像，还能配准多模态的医学图像。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (2)

1.一种基于对抗的双向一致性约束医学图像配准算法，其特征在于，包括如下步骤：
S1、获取多模态的医学图像并对其标准化预处理；
S2、构建深度学习神经网络，包括生成器的构建和鉴别器的构建，其中，生成器包括形变配准网络和两个空间变换器，其中形变配准网络采用U-net结构，通过级联编码器层获得的特征与对应解码器层获得的特征，将高低层特征融合在一起；所述形变配准网络的输入为设定大小的固定图像和浮动图像组成的图像对，输出为图像对之间的形变场，形变配准网络中卷积层的卷积核大小为3*3、步长为2，其中每个卷积层之后添加批量归一化和LeakyReLU激活函数；所述鉴别器的结构为7个大小为4*4、步长为2、内边距为2的卷积层，且每个卷积层均连接用于归一化层和ReLU激活函数；所述鉴别器的输入为固定图像和配准图像，输出为固定图像和配准图像对的Wassertein距离；
S3、随机选取训练样本集，并利用训练样本集对步骤S2构建的深度学习神经网络进行对抗训练，其中训练样本集中的选取方式具体为：
在单模态情况下，
随机选取一个包括固定图像和浮动图像的图像对作为正样本，其中，固定图像和浮动图像来自于同一模态下的影像学图像；
并为选取的固定图像添加噪声计算生成配准图像，将得到的配准图像和其对应的固定图像组成正样本，其中配准图像的计算方式为：
Ir＝σIm+(1-σ)If，0<σ<1；
其中，Ir为正样本配准图像，Im为浮动图像，If为固定图像，σ为噪声因子；
固定图像和深度学习训练过程中得到的输出图像作为负样本，其中，所述深度学习的损失函数表示为：
Figure FDA0003633546710000021
其中，p为图像中的像素，
Figure FDA0003633546710000022
是由生成器生成的形变场，
Figure FDA0003633546710000023
为经过形变场生成的配准图像，
Figure FDA0003633546710000024
为生成器产生的样本分布，
Figure FDA0003633546710000025
为固定图像和配准图像之间的Wasserstein距离，MSE(Im，Ir -1)为反向配准图像Ir -1和浮动图像Im之间的相似性度量，MSE为相似性度量，
Figure FDA0003633546710000026
为位移的梯度，其中，α为正则化参数，Ω为图像中所有的像素点，|| ||为一阶范数计算，u(p)为浮动图像中的像素和固定图像中的像素对齐到相似位置的位移，
Figure FDA0003633546710000027
为求导；
在多模态情况下：
采用已配准好的图像对作为正样本，其中对应的固定图像和浮动图像分别来自不同模态的医学图像；
多模态情况下负样本的选择与单模态情况下的负样本选取相同；
深度学习神经网络进行对抗训练的具体方法为：
鉴别器进行两次训练后对生成器进行一次训练，并不断重复；
当生成器生成令鉴别器的损失误差曲线停留在0附近振荡的配准图像，即生成器与鉴别器达到纳什均衡时，则模型收敛，其中，
所述生成器的训练方法为：
S301、将浮动图像和固定图像输入生成器，根据浮动图像到固定图像的密集体素对应关系得到形变场；
S302、利用S301得到的形变场和空间变换器的双三次插值法对浮动图像进行计算得到配准图像，并利用形变场计算逆向形变场，其计算方式为：
Figure FDA0003633546710000031
其中，Inv_Flow为逆向形变场，Flow为形变场，x表示形变场的像素点，
Figure FDA0003633546710000039
表示逆向形变场的像素点；
S303、利用逆向形变场和空间变换器的双三次插值法计算配准图像的逆向图像，其计算方式为：
Figure FDA0003633546710000032
其中，Iw为预测配准图像，x为配准图像的逆向图像中的像素点坐标位置，φ(x)为像素点x在形变场
Figure FDA0003633546710000033
上的扭曲结果，z∈V(x+φ(x))为x+φ(x)的邻域，d为迭代计算维度；xd为维度空间d中的像素点x，φd(x)为维度空间d中像素点x在形变场
Figure FDA0003633546710000034
上的扭曲结果，zd为维度空间d中像素点的邻域；
S304、生成器自身将逆向图像和浮动图像的相似性度量MSE作为损失函数的一部分反馈给生成器，同时鉴别器将配准图像和固定图像的相似度度量也反馈给生成器，完成生成器的一次训练；
所述鉴别器的训练方法为：
S311、将配准图像和固定图像分别输入鉴别器；
S312、计算配准图像和固定图像的相似度，并将结果返还给生成器，具体而言，配准图像和固定图像的相似度通过Wasserstein距离进行度量的，其鉴别器的损失函数表示为：
Figure FDA0003633546710000035
其中，
Figure FDA0003633546710000036
是真实形变场，
Figure FDA0003633546710000037
是真实样本分布，
Figure FDA0003633546710000038
是由生成器产生的样本分布，
Figure FDA0003633546710000041
表示配准正例的Wasserstein距离，
Figure FDA0003633546710000042
表示形变场生成的配准图像与固定图像的Wasserstein距离，
Figure FDA0003633546710000043
是惩罚项，λ是梯度惩罚系数；
S4、将待配准医学图像对输入训练完成的深度学习神经网络，输出配准后的图像对。
2.根据权利要求1所述的一种基于对抗的双向一致性约束医学图像配准算法，其特征在于：所述S1中标准化预处理具体包括：
S11、统一多模态医学图像的坐标轴方向和空间分辨率，多模态医学图像包括磁共振成像MRI、计算机断层扫描成像CT、超声成像US、正电子发射断层扫描成像PET；
S12、去除多模态医学图像中的无效背景区域，并选取多模态医学图像中的多层有效数据作为训练样本和验证样本。
CN202210260997.9A 2022-03-17 2022-03-17 一种基于对抗的双向一致性约束医学图像配准算法 Active CN114359360B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210260997.9A CN114359360B (zh) 2022-03-17 2022-03-17 一种基于对抗的双向一致性约束医学图像配准算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210260997.9A CN114359360B (zh) 2022-03-17 2022-03-17 一种基于对抗的双向一致性约束医学图像配准算法

Publications (2)

Publication Number Publication Date
CN114359360A CN114359360A (zh) 2022-04-15
CN114359360B true CN114359360B (zh) 2022-06-10

Family

ID=81094601

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210260997.9A Active CN114359360B (zh) 2022-03-17 2022-03-17 一种基于对抗的双向一致性约束医学图像配准算法

Country Status (1)

Country Link
CN (1) CN114359360B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115359063B (zh) * 2022-10-24 2023-01-10 卡本(深圳)医疗器械有限公司 基于目标器官三维图像的刚性配准方法及相关装置
CN115830016B (zh) * 2023-02-09 2023-04-14 真健康（北京）医疗科技有限公司 医学图像配准模型训练方法及设备
CN116385330B (zh) * 2023-06-06 2023-09-15 之江实验室 一种利用图知识引导的多模态医学影像生成方法和装置
CN116958217B (zh) * 2023-08-02 2024-03-29 德智鸿(上海)机器人有限责任公司 一种mri与ct多模态3d自动配准方法及装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110021037A (zh) * 2019-04-17 2019-07-16 南昌航空大学 一种基于生成对抗网络的图像非刚性配准方法及系统
CN110211165A (zh) * 2019-06-10 2019-09-06 成都信息工程大学 一种基于异步深度强化学习的图像多模态配准方法
CN110298871A (zh) * 2019-06-10 2019-10-01 东软医疗系统股份有限公司 图像配准方法及装置
WO2019241659A1 (en) * 2018-06-15 2019-12-19 Subtle Medical, Inc. Systems and methods for magnetic resonance imaging standardization using deep learning
AU2020100274A4 (en) * 2020-02-25 2020-03-26 Huang, Shuying DR A Multi-Scale Feature Fusion Network based on GANs for Haze Removal
CN111862174A (zh) * 2020-07-08 2020-10-30 清华大学深圳国际研究生院 一种跨模态医学图像配准方法及装置
CN112102294A (zh) * 2020-09-16 2020-12-18 推想医疗科技股份有限公司 生成对抗网络的训练方法及装置、图像配准方法及装置
CN112419196A (zh) * 2020-11-26 2021-02-26 武汉大学 一种基于深度学习的无人机遥感影像阴影去除方法
CN112885453A (zh) * 2019-11-29 2021-06-01 西门子医疗有限公司 用于标识后续医学图像中的病理变化的方法和系统
CN113744234A (zh) * 2021-08-30 2021-12-03 河南工业大学 一种基于gan的多模态脑部图像配准方法
CN113763441A (zh) * 2021-08-25 2021-12-07 中国科学院苏州生物医学工程技术研究所 无监督学习的医学图像配准方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102204979B1 (ko) * 2018-08-24 2021-01-19 네이버 주식회사 딥러닝 생성모델과 다중모달 분포를 이용하여 멀티턴 대화 응답을 생성하는 방법 및 시스템
CN109272443B (zh) * 2018-09-30 2020-07-28 东北大学 一种基于全卷积神经网络的pet与ct图像配准方法
CN112102373A (zh) * 2020-07-29 2020-12-18 浙江工业大学 一种基于强约束仿射形变特征学习的颈动脉多模态图像配准方法
CN113822792A (zh) * 2021-06-15 2021-12-21 腾讯科技（深圳）有限公司 图像配准方法、装置、设备及存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019241659A1 (en) * 2018-06-15 2019-12-19 Subtle Medical, Inc. Systems and methods for magnetic resonance imaging standardization using deep learning
CN110021037A (zh) * 2019-04-17 2019-07-16 南昌航空大学 一种基于生成对抗网络的图像非刚性配准方法及系统
CN110211165A (zh) * 2019-06-10 2019-09-06 成都信息工程大学 一种基于异步深度强化学习的图像多模态配准方法
CN110298871A (zh) * 2019-06-10 2019-10-01 东软医疗系统股份有限公司 图像配准方法及装置
CN112885453A (zh) * 2019-11-29 2021-06-01 西门子医疗有限公司 用于标识后续医学图像中的病理变化的方法和系统
AU2020100274A4 (en) * 2020-02-25 2020-03-26 Huang, Shuying DR A Multi-Scale Feature Fusion Network based on GANs for Haze Removal
CN111862174A (zh) * 2020-07-08 2020-10-30 清华大学深圳国际研究生院 一种跨模态医学图像配准方法及装置
CN112102294A (zh) * 2020-09-16 2020-12-18 推想医疗科技股份有限公司 生成对抗网络的训练方法及装置、图像配准方法及装置
CN112419196A (zh) * 2020-11-26 2021-02-26 武汉大学 一种基于深度学习的无人机遥感影像阴影去除方法
CN113763441A (zh) * 2021-08-25 2021-12-07 中国科学院苏州生物医学工程技术研究所 无监督学习的医学图像配准方法及系统
CN113744234A (zh) * 2021-08-30 2021-12-03 河南工业大学 一种基于gan的多模态脑部图像配准方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A Coarse-to-Fine Deformable Transformation Framework for Unsupervised Multi-Contrast MR Image Registration with Dual Consistency Constraint;Weijian Huang 等;《arxiv 平台：arxiv.org/abs/2008.01896》;20210216;第1-11页 *
Adversarial learning for mono- or multi-modal registration;Jingfan Fan 等;《Medical Image Analysis》;20190824;第58卷;第1-10页 *
基于Wasserstein Gan的无监督单模配准方法;陈宇 等;《南方医科大学学报》;20210801;第41卷(第9期);第1366-1373页 *

Also Published As

Publication number Publication date
CN114359360A (zh) 2022-04-15

Similar Documents

Publication Publication Date Title
CN114359360B (zh) 一种基于对抗的双向一致性约束医学图像配准算法
Xiao et al. A review of deep learning-based three-dimensional medical image registration methods
Andrade et al. A practical review on medical image registration: From rigid to deep learning based approaches
Bozorgtabar et al. Informative sample generation using class aware generative adversarial networks for classification of chest Xrays
Zhao et al. S3Reg: superfast spherical surface registration based on deep learning
CN112132878B (zh) 基于卷积神经网络的端到端大脑核磁共振图像配准方法
Valsecchi et al. Evolutionary intensity-based medical image registration: a review
CN116402865B (zh) 一种利用扩散模型的多模态影像配准方法、装置和介质
CN110874855B (zh) 一种协同成像方法、装置、存储介质和协同成像设备
Qiao et al. Temporally coherent cardiac motion tracking from cine MRI: Traditional registration method and modern CNN method
Zhu et al. New loss functions for medical image registration based on Voxelmorph
Karamov et al. Inpainting micro-CT images of fibrous materials using deep learning
CN112348811A (zh) 深度学习图像的配准方法、装置、电子设备及存储介质
Patel et al. Bayesian inference in physics-driven problems with adversarial priors
Makki et al. A new geodesic-based feature for characterization of 3D shapes: application to soft tissue organ temporal deformations
Wang et al. Mutual information guided diffusion for zero-shot cross-modality medical image translation
CN116958217B (zh) 一种mri与ct多模态3d自动配准方法及装置
Huang et al. A coarse-to-fine framework for unsupervised multi-contrast MR image deformable registration with dual consistency constraint
Sui et al. Symmetric deformable registration via learning a pseudomean for MR brain images
CN113487659B (zh) 一种图像配准方法、装置、设备及存储介质
Huang et al. KLDivNet: an unsupervised neural network for multi-modality image registration
Priya et al. A Survey on Medical Image Registration Using Deep Learning Techniques
Zhang et al. BCSwinReg: A cross-modal attention network for CBCT-to-CT multimodal image registration
US20230245329A1 (en) Structured landmark detection via topology-adapting deep graph learning
Ma et al. An Unsupervised Approach for 3D Medical Image Registration

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant