CN111862175B - 一种基于循环正则训练的跨模态医学图像配准方法及装置 - Google Patents

一种基于循环正则训练的跨模态医学图像配准方法及装置 Download PDF

Info

Publication number
CN111862175B
CN111862175B CN202010667204.6A CN202010667204A CN111862175B CN 111862175 B CN111862175 B CN 111862175B CN 202010667204 A CN202010667204 A CN 202010667204A CN 111862175 B CN111862175 B CN 111862175B
Authority
CN
China
Prior art keywords
image
network
registration
training
modality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010667204.6A
Other languages
English (en)
Other versions
CN111862175A (zh
Inventor
李秀
徐哲
罗凤
马露凡
严江鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen International Graduate School of Tsinghua University
Original Assignee
Shenzhen International Graduate School of Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen International Graduate School of Tsinghua University filed Critical Shenzhen International Graduate School of Tsinghua University
Priority to CN202010667204.6A priority Critical patent/CN111862175B/zh
Publication of CN111862175A publication Critical patent/CN111862175A/zh
Application granted granted Critical
Publication of CN111862175B publication Critical patent/CN111862175B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于循环正则训练的跨模态医学图像配准方法，包括以下步骤：预训练反向单模态配准网络，反向单模态配准网络包括第一变形场预测网络和第一空间变换模块；设置前向跨模态配准网络，前向跨模态配准网络包括第二变形场预测网络和第二空间变换模块；将前向跨模态配准网络与预训练好的反向单模态配准网络进行级联以得到循环正则训练网络，对循环正则训练网络进行训练；将待配准的第一模态的第三浮动图像和第二模态的第三参考图像输入到训练完成的循环正则训练网络中的前向跨模态配准网络，得到扭曲的第三浮动图像，即为配准图像。本发明提出的基于循环正则训练的跨模态医学图像配准方法及装置，使得配准结果更加准确。

Description

一种基于循环正则训练的跨模态医学图像配准方法及装置
技术领域
本发明涉及医学图像配准技术领域，尤其涉及一种基于循环正则训练的跨模态医学图像配准方法及装置。
背景技术
跨模态医学图像配准是将一对不同模态的浮动图像和参考图像对齐的过程，其目标是找到使配准图像对中感兴趣区域对齐的最佳空间变换。常见的跨模态医学图像配准包括磁共振-计算机断层扫描(MR-CT)配准、磁共振-超声(MR-US)配准、计算机断层扫描-超声(CT-US)配准等。跨模态医学图像配准根据空间变换类型分为跨模态医学图像仿射配准和跨模态医学图像可变形配准。跨模态医学图像可变形配准找到的空间变换是表示体素级位移的密集变形场。由于MR、CT、US等不同模态图像间体素强度的显著差异，跨模态医学图像的配准十分困难。
现有技术中提出了一些跨模态医学图像的配准方法，例如无监督体素形变配准模型VoxelMorph，该模型框架如图1所示。VoxelMorph网络以浮动图像Im和参考图像If为输入，使用U型结构网络Unet提取图像特征预测出变形场φ。借助空间变换模块(SpatialTransform Network,STN)，变形场φ可作用于Im后得到扭曲浮动图像
Figure BDA0002580801950000011
实现配准。网络损失函数由扭曲浮动图像与参考图像的相似度损失和L2范数构成。跨模态场景下场常使用模态独立邻域描述子(Modality Independent Neighborhood Descriptor，MIND)表示图像间的相似性。L2范数对应网络的正则化损失，用于约束预测变形场的平滑性，使预测变形场真实可靠，其公式为：
Figure BDA0002580801950000012
式中φ表示变形场，Ω表示变形场中所有体素。但是采用该模型进行配准时，对于具有较大形变的器官配准表现不佳，如图2a～2d所示表示使用L2正则化的跨模态配准效果。如图2d，白色区域表示参考MR图像中的腹腔器官(肝脏、肾脏、脾脏)的分割掩码，灰色区域表示扭曲浮动CT图像中的腹腔器官分割掩码，因此，使用该技术方案配准时较大形变的肝脏(左上部)的下部明显无法配准对齐。
以上背景技术内容的公开仅用于辅助理解本发明的构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。
发明内容
为解决上述技术问题，本发明提出一种基于循环正则训练的跨模态医学图像配准方法及装置，使得配准结果更加准确。
为了达到上述目的，本发明采用以下技术方案：
本发明的一个实施例公开了一种基于循环正则训练的跨模态医学图像配准方法，包括以下步骤：
S1：预训练反向单模态配准网络，所述反向单模态配准网络包括第一变形场预测网络和第一空间变换模块：
将包括第一模态的第一浮动图像和第二模态的第一参考图像的第一训练集输入到现有的图像配准算法中输出第一扭曲浮动图像，
再将所述第一扭曲浮动图像和所述第一浮动图像输入到所述第一变形场预测网络，得到第一变形场，
然后将第一变形场和第一扭曲浮动图像输入到所述第一空间变换模块，得到第一循环浮动图像，
比较所述第一循环浮动图像与所述第一浮动图像，得到第一总损失函数，以最小化所述第一总损失函数为目标对所述反向单模态配准网络进行预训练；
S2：设置前向跨模态配准网络，所述前向跨模态配准网络包括第二变形场预测网络和第二空间变换模块；
S3：将所述前向跨模态配准网络与预训练好的所述反向单模态配准网络进行级联以得到循环正则训练网络，对所述循环正则训练网络进行训练：
将包括第一模态的第二浮动图像和第二模态的第二参考图像的第二训练集输入所述第二变形场预测网络，得到第二变形场，
将所述第二变形场和所述第二浮动图像输入到所述第二空间变换模块，得到第二扭曲浮动图像，
再将所述第二扭曲浮动图像和所述第二浮动图像输入到所述第一变形场预测网络，得到第三变形场，
将所述第三变形场和所述第二扭曲浮动图像输入到所述第一空间变换模块，得到第二循环浮动图像；
比较所述第二循环浮动图像和所述第二浮动图像，得到第二总损失函数，以最小化所述第二总损失函数为目标对所述循环正则训练网络进行训练；
S4：将待配准的第一模态的第三浮动图像和第二模态的第三参考图像输入到训练完成的所述循环正则训练网络中的所述前向跨模态配准网络，得到扭曲的第三浮动图像，即为配准图像。
优选地，所述第一变形场预测网络采用Unet结构的B-CNN网络。
优选地，所述第二变形场预测网络采用Unet结构的F-CNN网络。
优选地，所述第一总损失函数包括第一单模态图像相似度损失和平滑性损失，所述第一单模态图像相似度损失是指所述第一训练集中原始的所述第一浮动图像与所述第一循环浮动图像中所有体素的模态独立邻域描述子差的均值。
优选地，所述平滑性损失采用L2范数。
优选地，所述第二总损失函数包括跨模态图像相似度损失和正则化损失，其中跨模态图像相似度损失是指所述第二训练集中原始的所述第二参考图像与所述第二扭曲浮动图像中所有体素的模态独立邻域描述子差的均值。
优选地，所述正则化损失采用第二单模态图像相似度损失，所述第二单模态图像相似度损失是指所述第二训练集中原始的所述第二浮动图像与所述第二循环浮动图像中所有体素的模态独立邻域描述子差的均值。
优选地，步骤S3中在对所述循环正则训练网络进行训练时所述反向单模态配准网络中的所述第一变形场预测网络和所述第一空间变换模块的参数保持不变。
本发明另一优选实施例公开了一种基于循环正则训练的跨模态医学图像配准装置，包括处理器和可读存储介质，所述可读存储介质存储有能够被所述处理器执行的可执行指令，所述处理器被设置为可被所述可执行指令促使实现上述的跨模态医学图像配准方法。
与现有技术相比，本发明的有益效果在于：本发明提出的基于循环正则训练的跨模态医学图像配准方法，通过预训练反向单模态配准网络，可以学习与配准任务相关的先验知识，使变形场在全局保真的情况下，能更好地对齐具有局部较大形变的器官；然后并将该预训练好的反向单模态配准网络级联到前向跨模态配准网络中得到循环正则训练网络，从而得到了一个在较大局部形变场景下仍然可靠的跨模态任务驱动配准模型，实现医学图像的有效配准。
进一步地，以反向单模态配准网络的相似度损失作为循环正则训练网络的正则化损失，也即采用预训练好的反向单模态配准网络来对前向跨模态配准网络的训练进行正则化约束，能够有效针对特定器官进行配准任务，可以隐式监督网络更好地对配准场进行平滑处理，解决现有技术中无法同时限制变形场的折叠和因不同模态图像灰度差异巨大导致预测变形场中出现巨大漂移的问题。
附图说明
图1是VoxelMorph模型框架；
图2a是输入VoxelMorph模型框架的参考MR图像；
图2b是输入VoxelMorph模型框架的浮动CT图像；
图2c是VoxelMorph模型框架得到的扭曲浮动CT图像(即为配准图像)；
图2d是图2a的参考MR图像和图2c的扭曲浮动CT图像的分割掩码；
图3是本发明优选实施例的基于循环正则训练的跨模态医学图像配准方法的流程示意图；
图4是本发明具体实施例中的反向单模态配准网络(Backward-URN)结构；
图5是本发明具体实施例中的前向跨模态配准网络(Forward-MRN)结构；
图6是本发明具体实施例中的循环正则训练网络结构；
图7a是输入本发明具体实施例的训练好的前向跨模态配准网络的参考MR图像；
图7b是输入本发明具体实施例的训练好的前向跨模态配准网络的浮动CT图像；
图7c是本发明具体实施例的训练好的前向跨模态配准网络得到的扭曲浮动CT图像(即为配准图像)；
图7d是图7a的参考MR图像和图7c的扭曲浮动CT图像的分割掩码；
图8是本发明优选实施例的基于循环正则训练的跨模态医学图像配准装置的硬件结构图。
具体实施方式
为了使本发明实施例所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
其中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
发明人发现，现有技术一般通过最大化浮动图像和参考图像间的相似度来训练深度神经网络进行配准场的预测。然而如果只使用相似度损失作为目标函数，会使得网络预测的变形场不平滑，为了保证神经网络预测变形场的真实可靠及拓扑不变性，一些技术在神经网络的损失函数中加入L2正则化损失；然而在在神经网络的损失函数中加入L2正则化损失后仍然如背景技术中的举例模型无法获得良好的配准效果。其中，L2范数正则化广泛用于各类医学图像配准中：既用于脑部等较小形变场景，也用于腹腔等较大形变场景；既用于单模态图像配准，也用于跨模态图像配准。然而，发明人发现，在跨模态医学图像配准中，变形场梯度的L2范数难以有效地同时限制变形场的折叠和因不同模态图像灰度差异巨大导致变形场出现的巨大漂移。此外，L2范数未能使用任何有关图像配准的生物先验信息，很难实现对较大形变器官的局部对齐。在上述两个缺陷的影响下，VoxelMorph配准模型+MIND相似性损失度量+L2正则化辅助损失的跨模态配准算法在进行图像配准时，对于具有较大形变的器官配准表现不佳，如图2a～2d中的效果即可看出配准时较大形变的肝脏(左上部)的下部明显无法配准对齐。
针对于此，本发明提出一种跨模态医学图像配准方法，提出用循环深度正则化训练方式取代L2正则化方法，以约束无监督跨模态配准网络的训练，使生成的变形场适用于具有较大形变的特定器官配准任务；可以解决基于深度学习的无监督跨模态医学图像可变形配准框架中，使用L2正则化项作为辅助损失函数训练配准网络学习预测变形场时，由于非任务特定的L2正则化项对待配准器官不敏感，无法解决配准场折叠和漂移导致的配准结果不准确的问题。
如图3所示，本发明优选实施例提出一种基于循环正则训练的跨模态医学图像配准方法，用于将第一模态的浮动图像配准到第二模态的参考图像，包括以下步骤：
S1：预训练反向单模态配准网络，反向单模态配准网络包括第一变形场预测网络和第一空间变换模块：
将包括第一模态的第一浮动图像和第二模态的第一参考图像的第一训练集输入到现有的图像配准算法中输出第一扭曲浮动图像，
再将第一扭曲浮动图像和第一浮动图像输入到第一变形场预测网络，得到第一变形场，
然后将第一变形场和第一扭曲浮动图像输入到第一空间变换模块，得到第一循环浮动图像，
比较第一循环浮动图像与第一浮动图像，得到第一总损失函数，以最小化第一总损失函数为目标对反向单模态配准网络进行预训练；
S2：设置前向跨模态配准网络，前向跨模态配准网络包括第二变形场预测网络和第二空间变换模块；
S3：将预训练好的反向单模态配准网络级联到前向跨模态配准网络之后以得到循环正则训练网络，对循环正则训练网络进行训练：
将包括第一模态的第二浮动图像和第二模态的第二参考图像的第二训练集输入第二变形场预测网络，得到第二变形场，
将第二变形场和第二浮动图像输入到第二空间变换模块，得到第二扭曲浮动图像，
再将第二扭曲浮动图像和第二浮动图像输入到第一变形场预测网络，得到第三变形场，
将第三变形场和第二扭曲浮动图像输入到第一空间变换模块，得到第二循环浮动图像；
比较第二循环浮动图像和第二浮动图像，得到第二总损失函数，以最小化第二总损失函数为目标对循环正则训练网络进行训练；
S4：将待配准的第一模态的第三浮动图像和第二模态的第三参考图像输入到训练完成的循环正则训练网络中的前向跨模态配准网络，得到扭曲的第三浮动图像，即为配准图像。
在上述方法中，其中第一变形场预测网络采用Unet结构的B-CNN网络，第二变形场预测网络采用Unet结构的F-CNN网络。具体地，第一总损失函数包括第一单模态图像相似度损失和平滑性损失，第一单模态图像相似度损失是指第一训练集中原始的第一浮动图像与第一循环浮动图像中所有体素的模态独立邻域描述子差的均值；平滑性损失采用L2范数。第二总损失函数包括跨模态图像相似度损失和正则化损失，其中跨模态图像相似度损失是指第二训练集中原始的第二参考图像与第二扭曲浮动图像中所有体素的模态独立邻域描述子差的均值；正则化损失采用第二单模态图像相似度损失，第二单模态图像相似度损失是指第二训练集中原始的第二浮动图像与第二循环浮动图像中所有体素的模态独立邻域描述子差的均值。其中该第二单模态图像相似度损失也即循环正则训练网络的正则化损失。更进一步地，步骤S3中在对循环正则训练网络进行训练时反向单模态配准网络中的第一变形场预测网络和第一空间变换模块的参数保持不变。上述第一模态、第二模态可以分别为MR、CT、US等，只需第一模态和第二模态不相同即可实现跨模态的医学图像配准。
为了方便叙述，下面的算法介绍以从CT到MR的跨模态配准任务为例，即浮动图像模态为CT，参考图像模态为MR。但在算法的实际使用过程中，只要浮动图像与参考图像不为同一模态时，算法即能使用。本发明提供的跨模态图像循环正则化算法的完整过程如下：
A1：设计并预训练反向单模态配准网络(Backward-URN)
反向单模态配准网络的结构示意图如图4。该网络以浮动CT图像Im和参考MR图像If为输入，使用任意的传统配准算法来对输入图像对进行配准，得到扭曲浮动图像Iw，再将Im和Iw输入采用Unet结构的变形场预测网络B-CNN，得到估计变形场D'，最后借助空间变换模块STN将估计变形场D'作用于扭曲浮动图像Iw得到循环浮动图像Icyc。
网络的损失函数是由在浮动图像模态下计算的单模态图像相似度损失Lmono-sim(Im,Icyc)和平滑性损失Lsmooth共同构成。单模态相似度损失Lmono-sim(Im,Icyc)具体使用原始浮动图像Im与循环浮动图像Icyc中所有体素的模态独立邻域描述子差的均值表示。由于单模态配准任务的正则化比较简单，传统正则化方法也能取得不错的结果，因此反向单模态配准网络的平滑性损失Lsmooth使用L2范数。
设计完毕后，使用预训练数据集训练反向单模态配准网络，得到预训练模型。在后续的算法步骤中，预训练模型仅保留反向单模态配准网络的变形场预测网络B-CNN和空间变换模块STN——下文称之为反向单模态配准预训练模型。反向单模态配准预训练模型在后续的使用中所有参数固定不变。
A2：定义前向跨模态配准网络(Forward-MRN)
前向跨模态配准网络的结构示意图如图5。该网络以浮动CT图像Im和参考MR图像If为输入，经过Unet结构的变形场预测网络F-CNN后输出变形场D，然后通过空间变换模块STN将预测的变形场D作用于浮动CT图像Im输出扭曲浮动CT图像Iw。
前向跨模态配准网络的损失函数由跨模态图像相似度损失Lmulti-sim(If,Iw)和正则化损失L形eg共同构成。其中相似度损失Lmulti-sim(If,Iw)具体使用的是扭曲浮动CT图像Iw与参考MR图像If中所有体素的模态独立邻域描述子(MIND)差的均值。正则化损失L形eg即为A1中定义的反向单模态配准网络的单模态图像相似度损失Lmono-sim(Im,Icyc)。
A3：定义并训练循环正则训练网络
级联A2中定义的前向跨模态配准网络与A1中的反向单模态配准预训练模型以得到循环正则训练网络，网络结构如图6所示。
循环正则训练网络的输入输出与A2中前向跨模态配准网络的输入输出一致。网络训练过程中，反向单模态配准预训练模型的参数始终不变，反传梯度直接用于调整前向跨模态配准网络的参数以保证预测的变形场D的平滑性和真实性。
循环正则训练网络的损失函数分为两部分。第一，前向跨模态配准网络中参考图像If与扭曲浮动图像Iw的跨模态相似度损失Lmulti-sim(Iw，If)作为循环正则训练网络的图像相似度损失。第二，正则化损失，采用反向单模态配准预训练模型中原始浮动图像Im与循环浮动图像Icyc在CT模态下的单模态相似度损失Lmono-sim(Im,Icyc)作为循环正则训练网络的正则化损失。
经过上述流程之后，可以得到一个在较大局部形变场景下仍然可靠的跨模态任务驱动配准模型，实现医学图像的有效配准。该模型包含的反向单模态配准预训练模型学习了与特定配准任务相关的先验知识，使变形场在全局保真的情况下，能更好地对齐具有局部较大形变的器官。得到该配准模型后，将新的待配准图像对(Im,If)输入模型的前向跨模态配准网络，在单次前向传播中即可得到将新的浮动图像对齐到新的参考图像的变形场和经空间变换模块STN扭曲变换后的扭曲浮动图像，即为配准图像，实现配准。
本发明实施例设计了一种基于循环正则训练方式的跨模态医学图像可变形深度配准算法来对齐具有较大形变的器官。算法首先设计了反向单模态配准网络，并利用传统跨模态配准算法得到扭曲浮动CT图像，再将其和原始浮动CT图像作为训练数据训练反向单模态配准网络，得到预训练模型。其次设计了前向跨模态配准网络。最后级联前向跨模态配准网络和反向单模态配准预训练模型，以前向跨模态配准网络的相似度损失作为循环正则训练框架的相似度损失，以反向单模态配准网络的相似度损失作为框架的正则化损失。使用反向单模态配准网络的相似度损失正则化是一种基于模型的正则化方法。基于传统配准算法配准跨模态医学图像得到的数据，反向单模态配准网络在特定器官上进行了预训练，能够有效针对特定器官进行配准任务，解决了L2范数未能使用任何有关图像配准先验信息的问题。此外，反向单模态配准网络预测原始跨模态配准变形场的逆配准场，可以隐式监督网络更好地对配准场进行平滑处理，解决变形场梯度的L2范数无法同时限制变形场的折叠和因不同模态图像灰度差异巨大导致预测变形场中出现巨大漂移的问题。
下述对本发明实施例的跨模态配准方法的效果进行了试验。表1中展示了同一腹腔数据集上使用相同模型、不同正则化方法得到的不同器官配准的Dice系数和目标配准误差TRE。
表1实验结果对比
Figure BDA0002580801950000101
Dice系数用于衡量扭曲浮动CT图像和参考MR图像的分割掩码相似度，数值越高表示配准后图像对的对齐程度越高，结果越好。目标配准误差TRE表示扭曲浮动CT图像与参考MR图像中特征点的距离，数值越小越好。结果显示本发明中提出的循环正则训练方法配准结果明显优于基于L2正则化的结果，证明了循环正则训练方式对于跨模态医学图像可变形深度配准任务的有效性。
图7a～7d是采用本发明具体实施例的基于循环正则训练的跨模态医学图像配准方法进行配准的输入及结果的示意图，其中图7d中的白色区域表示参考MR图像中的腹腔器官(肝脏、肾脏、脾脏)的分割掩码，灰色区域表示扭曲浮动CT图像中的腹腔器官分割掩码，在图7d中可以看出灰色区域与白色区域几乎重合；也即相比图2d中使用L2正则化得到的分割掩码效果在肝脏(左上部)下部出现了明显的未对准区域，图7d的分割掩码效果表现了在循环正则训练得到的结果中该位置得到了更准确的对齐。视觉评估结果进一步证明了循环正则训练方式对于跨模态医学图像可变形深度配准任务的有效性。
在本发明具体实施例中，以从CT到MR的跨模态配准任务为例，提出以下循环深度正则化训练方式：1、使用多种传统非深度学习方法配准一个针对特定部位(如腹腔)的CT-MR模态配准数据对，得到扭曲浮动CT图像和原始CT图像组成的单模态图像对，然后在单模态相似度约束下预先训练一个反向单模态配准网络(Backward-URN)。2、将用于跨模态配准任务的前向跨模态配准网络(Forward-MRN)与反向单模态配准网络(Backward-URN)级联，使用反向单模态配准网络(Backward-URN)的输出与原始浮动CT图像的单模态相似度作为正则化项约束前向跨模态配准网络(Forward-MRN)网络的训练。这样一来，针对L2范数未能使用任何有关图像配准的先验信息问题，循环深度正则化项在特定器官上基于传统配准算法配准跨模态医学图像的数据进行过预训练，能够有效针对特定器官进行配准。针对变形场梯度的L2范数无法同时限制变形场的折叠和因不同模态图像灰度差异巨大导致变形场出现巨大漂移的问题，本算法利用反向单模态配准的图像循环相似性去隐式监督前向跨模态配准网络(Forward-MRN)，以更好地对配准场进行平滑处理。
如图8，为本发明另一优选实施例提供的一种基于循环正则训练的跨模态医学图像配准装置的硬件结构示意图。该成像装置可以包括处理器801、存储有可执行指令的可读存储介质802。处理器801与可读存储介质802可经由系统总线803通信。并且，通过读取并执行可读存储介质802中与成像逻辑对应的可执行指令，处理器801可执行上文描述的一种基于循环正则训练的跨模态医学图像配准装置的方法。
本文中提到的可读存储介质802可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、DVD等)，或者类似的存储介质，或者它们的组合。
本说明书中描述的主题及功能操作的实施例可以在以下中实现：数字电子电路、有形体现的计算机软件或固件、包括本说明书中公开的结构及其结构性等同物的计算机硬件、或者它们中的一个或多个的组合。本说明书中描述的主题的实施例可以实现为一个或多个计算机程序，即编码在有形非暂时性程序载体上以被数据处理装置执行或控制数据处理装置的操作的计算机程序指令中的一个或多个模块。可替代地或附加地，程序指令可以被编码在人工生成的传播信号上，例如机器生成的电、光或电磁信号，该信号被生成以将信息编码并传输到合适的接收机装置以由数据处理装置执行。计算机存储介质可以是机器可读存储设备、机器可读存储基板、随机或串行存取存储器设备、或它们中的一个或多个的组合。
本说明书中描述的处理及逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程计算机执行，以通过根据输入数据进行操作并生成输出来执行相应的功能。所述处理及逻辑流程还可以由专用逻辑电路—例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)来执行，并且装置也可以实现为专用逻辑电路。
适合用于执行计算机程序的计算机包括，例如通用和/或专用微处理器，或任何其他类型的中央处理单元。通常，中央处理单元将从只读存储器和/或随机存取存储器接收指令和数据。计算机的基本组件包括用于实施或执行指令的中央处理单元以及用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备，例如磁盘、磁光盘或光盘等，或者计算机将可操作地与此大容量存储设备耦接以从其接收数据或向其传送数据，抑或两种情况兼而有之。然而，计算机不是必须具有这样的设备。此外，计算机可以嵌入在另一设备中，例如移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏操纵台、全球定位系统(GPS)接收机、或例如通用串行总线(USB)闪存驱动器的便携式存储设备，仅举几例。
适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、媒介和存储器设备，例如包括半导体存储器设备(例如EPROM、EEPROM和闪存设备)、磁盘(例如内部硬盘或可移动盘)、磁光盘以及CDROM和DVD-ROM盘。处理器和存储器可由专用逻辑电路补充或并入专用逻辑电路中。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (7)

1.一种基于循环正则训练的跨模态医学图像配准方法，其特征在于，包括以下步骤：
S1：预训练反向单模态配准网络，所述反向单模态配准网络包括第一变形场预测网络和第一空间变换模块：
将包括第一模态的第一浮动图像和第二模态的第一参考图像的第一训练集输入到基于非深度学习的图像配准算法中输出第一扭曲浮动图像，
再将所述第一扭曲浮动图像和所述第一浮动图像输入到所述第一变形场预测网络，得到第一变形场，
然后将第一变形场和第一扭曲浮动图像输入到所述第一空间变换模块，得到第一循环浮动图像，
比较所述第一循环浮动图像与所述第一浮动图像，得到第一总损失函数，以最小化所述第一总损失函数为目标对所述反向单模态配准网络进行预训练；
S2：设置前向跨模态配准网络，所述前向跨模态配准网络包括第二变形场预测网络和第二空间变换模块；
S3：将所述前向跨模态配准网络与预训练好的所述反向单模态配准网络进行级联以得到循环正则训练网络，对所述循环正则训练网络进行训练：
将包括第一模态的第二浮动图像和第二模态的第二参考图像的第二训练集输入所述第二变形场预测网络，得到第二变形场，
将所述第二变形场和所述第二浮动图像输入到所述第二空间变换模块，得到第二扭曲浮动图像，
再将所述第二扭曲浮动图像和所述第二浮动图像输入到所述第一变形场预测网络，得到第三变形场，
将所述第三变形场和所述第二扭曲浮动图像输入到所述第一空间变换模块，得到第二循环浮动图像；
比较所述第二循环浮动图像和所述第二浮动图像，得到第二总损失函数，以最小化所述第二总损失函数为目标对所述循环正则训练网络进行训练；
S4：将待配准的第一模态的第三浮动图像和第二模态的第三参考图像输入到训练完成的所述循环正则训练网络中的所述前向跨模态配准网络，得到扭曲的第三浮动图像，即为配准图像。
2.根据权利要求1所述的跨模态医学图像配准方法，其特征在于，所述第一总损失函数包括第一单模态图像相似度损失和平滑性损失，所述第一单模态图像相似度损失是指所述第一训练集中原始的所述第一浮动图像与所述第一循环浮动图像中所有体素的模态独立邻域描述子差的均值。
3.根据权利要求2所述的跨模态医学图像配准方法，其特征在于，所述平滑性损失采用L2范数。
4.根据权利要求1所述的跨模态医学图像配准方法，其特征在于，所述第二总损失函数包括跨模态图像相似度损失和正则化损失，其中跨模态图像相似度损失是指所述第二训练集中原始的所述第二参考图像与所述第二扭曲浮动图像中所有体素的模态独立邻域描述子差的均值。
5.根据权利要求4所述的跨模态医学图像配准方法，其特征在于，所述正则化损失采用第二单模态图像相似度损失，所述第二单模态图像相似度损失是指所述第二训练集中原始的所述第二浮动图像与所述第二循环浮动图像中所有体素的模态独立邻域描述子差的均值。
6.根据权利要求1所述的跨模态医学图像配准方法，其特征在于，步骤S3中在对所述循环正则训练网络进行训练时所述反向单模态配准网络中的所述第一变形场预测网络和所述第一空间变换模块的参数保持不变。
7.一种基于循环正则训练的跨模态医学图像配准装置，其特征在于，包括处理器和可读存储介质，所述可读存储介质存储有能够被所述处理器执行的可执行指令，所述处理器被设置为能够被所述可执行指令促使实现权利要求1至6任一项所述的跨模态医学图像配准方法。
CN202010667204.6A 2020-07-13 2020-07-13 一种基于循环正则训练的跨模态医学图像配准方法及装置 Active CN111862175B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010667204.6A CN111862175B (zh) 2020-07-13 2020-07-13 一种基于循环正则训练的跨模态医学图像配准方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010667204.6A CN111862175B (zh) 2020-07-13 2020-07-13 一种基于循环正则训练的跨模态医学图像配准方法及装置

Publications (2)

Publication Number Publication Date
CN111862175A CN111862175A (zh) 2020-10-30
CN111862175B true CN111862175B (zh) 2022-09-13

Family

ID=72984372

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010667204.6A Active CN111862175B (zh) 2020-07-13 2020-07-13 一种基于循环正则训练的跨模态医学图像配准方法及装置

Country Status (1)

Country Link
CN (1) CN111862175B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112348811A (zh) * 2020-12-04 2021-02-09 深圳大学 深度学习图像的配准方法、装置、电子设备及存储介质
CN113033622B (zh) * 2021-03-05 2023-02-03 北京百度网讯科技有限公司 跨模态检索模型的训练方法、装置、设备和存储介质
CN113643332B (zh) * 2021-07-13 2023-12-19 深圳大学 图像配准方法、电子设备及可读存储介质
CN113487656B (zh) * 2021-07-26 2022-11-22 推想医疗科技股份有限公司 图像配准方法及装置，训练方法及装置，控制方法及装置
CN114511599B (zh) * 2022-01-20 2022-09-20 推想医疗科技股份有限公司 模型训练方法及其装置、医学图像配准方法及其装置
CN114445471A (zh) * 2022-01-26 2022-05-06 山东大学 基于多标准融合的多模态医学图像配准方法及系统
CN115393402B (zh) * 2022-08-24 2023-04-18 北京医智影科技有限公司 图像配准网络模型的训练方法、图像配准方法及设备
CN115830016B (zh) * 2023-02-09 2023-04-14 真健康（北京）医疗科技有限公司 医学图像配准模型训练方法及设备
CN115861394B (zh) * 2023-02-28 2023-05-05 福建自贸试验区厦门片区Manteia数据科技有限公司 医学图像的处理方法和装置、存储介质及电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110544239A (zh) * 2019-08-19 2019-12-06 中山大学 基于条件生成对抗网络的多模态mri转换方法、系统及介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11158069B2 (en) * 2018-12-11 2021-10-26 Siemens Healthcare Gmbh Unsupervised deformable registration for multi-modal images
CN110689561B (zh) * 2019-09-18 2022-04-12 中山大学 基于模块化gan的多模态mri与多模态ct的转换方法、系统及介质
CN110838140A (zh) * 2019-11-27 2020-02-25 艾瑞迈迪科技石家庄有限公司 基于混合监督学习的超声和核磁图像配准融合方法及装置
CN111275749B (zh) * 2020-01-21 2023-05-02 沈阳先进医疗设备技术孵化中心有限公司 图像配准及其神经网络训练方法及装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110544239A (zh) * 2019-08-19 2019-12-06 中山大学 基于条件生成对抗网络的多模态mri转换方法、系统及介质

Also Published As

Publication number Publication date
CN111862175A (zh) 2020-10-30

Similar Documents

Publication Publication Date Title
CN111862175B (zh) 一种基于循环正则训练的跨模态医学图像配准方法及装置
CN111862174B (zh) 一种跨模态医学图像配准方法及装置
Mondal et al. Few-shot 3d multi-modal medical image segmentation using generative adversarial learning
Tang et al. Multi-atlas segmentation of MR tumor brain images using low-rank based image recovery
CN110036409B (zh) 使用联合深度学习模型进行图像分割的系统和方法
US9747699B2 (en) Plane detection and tracking for structure from motion
KR101117837B1 (ko) 멀티 스케일 지향 패치를 이용한 멀티 이미지 특징 매칭
Wu et al. Feature‐based groupwise registration by hierarchical anatomical correspondence detection
US9619890B2 (en) System and method for annotating images by propagating information
Feuerstein et al. Reconstruction of 3-D histology images by simultaneous deformable registration
Park et al. Recent development of computer vision technology to improve capsule endoscopy
CN112396605B (zh) 网络训练方法及装置、图像识别方法和电子设备
Yang et al. An indirect multimodal image registration and completion method guided by image synthesis
CN113706558A (zh) 图像分割方法、装置及计算机设备
Hu et al. Domain-adaptive 3D medical image synthesis: An efficient unsupervised approach
Jiang et al. miLBP: a robust and fast modality-independent 3D LBP for multimodal deformable registration
Ding et al. Cross-modality multi-atlas segmentation via deep registration and label fusion
Li et al. Semi-supervised cardiac mri segmentation based on generative adversarial network and variational auto-encoder
CN111724371B (zh) 一种数据处理方法、装置及电子设备
Jiang et al. O2M-UDA: Unsupervised dynamic domain adaptation for one-to-multiple medical image segmentation
CN113269754A (zh) 用于运动估计的神经网络系统和方法
CN111476802B (zh) 一种医学图像分割与肿瘤检测方法，设备及可读存储介质
CN117437420A (zh) 一种跨模态医学影像分割方法及系统
JP2005354201A (ja) 画像処理装置及び画像処理方法
Wang et al. Integration of sparse multi-modality representation and geometrical constraint for isointense infant brain segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant