CN114612527A - 图像配准方法、装置、电子设备及存储介质 - Google Patents

图像配准方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114612527A
CN114612527A CN202210194230.0A CN202210194230A CN114612527A CN 114612527 A CN114612527 A CN 114612527A CN 202210194230 A CN202210194230 A CN 202210194230A CN 114612527 A CN114612527 A CN 114612527A
Authority
CN
China
Prior art keywords
image
interest
registered
region
deformation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210194230.0A
Other languages
English (en)
Inventor
杨一博
马新科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jingdong Technology Information Technology Co Ltd
Original Assignee
Jingdong Technology Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jingdong Technology Information Technology Co Ltd filed Critical Jingdong Technology Information Technology Co Ltd
Priority to CN202210194230.0A priority Critical patent/CN114612527A/zh
Publication of CN114612527A publication Critical patent/CN114612527A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例涉及一种图像配准方法、装置、电子设备及存储介质，涉及图像处理技术领域，所述方法通过获取待配准的移动图像和待配准的固定图像；将所述待配准的移动图像和待配准的固定图像输入到预先训练好的第一配准模型中，获得兴趣区域形变场；将所述兴趣区域形变场作用于所述待配准的移动图像，获得兴趣区域变形图像；将所述兴趣区域变形图像和所述待配准的固定图像进行配准，获得配准图像；即本发明实施例是将待配准的移动图像和固定图像输入到专门用于兴趣区域配准模型中进行配准，减弱了非兴趣区域对其配准过程的干扰，提高了图像配准效果。

Description

图像配准方法、装置、电子设备及存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种图像配准方法、装置、电子设备及存储介质。
背景技术
图像配准是指通过刚性、仿射或非线性变换使一个移动图像与固定图像对齐的过程，在医学临床诊断中发挥着重要的作用。
目前的图像配准方法通常是基于深度学习的图像配准方法，通过学习图像对之间的对应关系来获得形变场，对图像中的兴趣区域和非兴趣区域不敏感，导致图像的配准效果不佳。
发明内容
本发明提供了一种图像配准方法、装置、电子设备及存储介质，以解决图像的配准效果不佳的技术问题。
第一方面，本发明提供了一种图像配准方法，包括：获取待配准的移动图像和待配准的固定图像；将所述待配准的移动图像和待配准的固定图像输入到预先训练好的第一配准模型中，获得兴趣区域形变场；其中，所述第一配准模型基于用于训练的移动图像对应的第一兴趣区域图像和用于训练的固定图像对应的第二兴趣区域图像训练获得；将所述兴趣区域形变场作用于所述待配准的移动图像，获得兴趣区域变形图像；将所述兴趣区域变形图像和所述待配准的固定图像进行配准，获得配准图像。
作为本发明可选的实施例，所述将所述待配准的移动图像和待配准的固定图像输入到预先训练好的第一配准模型中，获得兴趣区域形变场，包括：将所述待配准的移动图像和待配准的固定图像输入到预先训练好的第一配准模型中，获得第一级兴趣区域形变场；根据所述待配准的移动图像和第一级兴趣区域变形图像获得第二级兴趣区域形变场，其中，所述第一级兴趣区域变形图像通过所述第一级兴趣区域形变场作用于所述待配准的移动图像获得；将所述第一级兴趣区域形变场、第二级兴趣区域形变场进行级联，获得多级级联的兴趣区域形变场；所述将所述兴趣区域形变场作用于所述待配准的移动图像，获得兴趣区域变形图像，包括：将所述多级级联的兴趣区域形变场作用于所述待配准的移动图像，获得兴趣区域变形图像。
作为本发明可选的实施例，所述根据第一级兴趣区域变形图像和所述待配准的移动图像获得第二级兴趣区域形变场之后，还包括：重复执行以下步骤，直至i满足第一预设值：根据所述待配准的移动图像和第i-1级兴趣区域变形图像获得第i级兴趣区域形变场，其中，所述第i-1级兴趣区域变形图像通过第i-1级兴趣区域形变场作用于所述第i-2级兴趣区域变形图像获得，i大于等于3；所述将所述第一级兴趣区域形变场、第二级兴趣区域形变场进行级联，获得多级级联的兴趣区域形变场，包括：将所述第一级兴趣区域形变场、第二级兴趣区域形变场、以及第i级兴趣区域形变场依次级联，获得多级级联的兴趣区域形变场。
作为本发明可选的实施例，所述将所述兴趣区域形变场作用于所述待配准的移动图像，获得兴趣区域变形图像之后，还包括：将所述兴趣区域变形图像和待配准的固定图像输入到预先训练好的第二配准模型中，获得非兴趣区域形变场，其中，所述第二配准模型基于用于训练的移动图像对应的第一非兴趣区域图像和用于训练的固定图像对应的第二非兴趣区域图像训练获得；根据所述非兴趣区域形变场调整所述兴趣区域变形图像，获得最终变形图像；所述将所述兴趣区域变形图像和所述待配准的固定图像进行配准，获得配准图像，包括：将所述最终变形图像和待配准的固定图像进行配准，获得配准图像。
作为本发明可选的实施例，所述将所述兴趣区域变形图像和待配准的固定图像输入到预先训练好的第二配准模型中，获得非兴趣区域形变场，包括：将所述兴趣区域变形图像和待配准的固定图像输入到预先训练的第二配准模型中，获得第一级非兴趣区域形变场；根据第一级变形图像和所述待配准的固定图像获得第二级非兴趣区域形变场，其中，所述第一级变形图像通过所述第一级非兴趣区域形变场作用于所述兴趣区域变形图像获得；将所述第一级非兴趣区域形变场、第二级非兴趣区域形变场进行级联，获得多级级联的非兴趣区域形变场；所述根据所述非兴趣区域形变场调整所述兴趣区域变形图像，获得最终变形图像，包括：根据所述多级级联的非兴趣区域形变场调整所述兴趣区域变形图像，获得最终变形图像。
作为本发明可选的实施例，所述根据第一级变形图像和待配准的固定图像获得第二级非兴趣区域形变场之后，还包括：重复执行以下步骤，直至j满足第二预设值：根据第j-1级变形图像和所述待配准的固定图像获得第j级非兴趣区域形变场，其中，所述第j-1级变形图像通过第j-1级非兴趣区域形变场作用于第j-2级变形图像获得，j大于等于3；所述将所述第一级非兴趣区域形变场、第二级非兴趣区域形变场进行级联，获得多级级联的非兴趣区域形变场，包括：将第一级非兴趣区域形变场、第二级非兴趣区域形变场、以及第j级非兴趣区域形变场依次级联，获得多级级联的非兴趣区域形变场。
作为本发明可选的实施例，所述将所述待配准的移动图像和待配准的固定图像输入到预先训练好的第一配准模型中之前，还包括：重复执行以下步骤，直至第一预设损失函数取值最小时获得所述预先训练好的第一配准模型：将用于训练的移动图像对应的第一兴趣区域图像和用于训练的固定图像对应的第二兴趣区域图像输入到待训练的第一配准模型中，获得待训练的兴趣区域形变场；将所述待训练的兴趣区域形变场作用于所述第一兴趣区域图像，获得形变的第一兴趣区域图像；其中，所述第一预设损失函数包括所述形变的第一兴趣区域图像与所述第二兴趣区域图像之间的图像相似度损失函数、所述待训练的兴趣区域形变场的平滑性正则化函数。
作为本发明可选的实施例，所述将所述兴趣区域变形图像和待配准的固定图像输入到预先训练好的第二配准模型中之前，还包括：重复执行以下步骤，直至第二预设损失函数取值最小时获得所述预先训练好的第二配准模型：将用于训练的移动图像对应的第一非兴趣区域图像和用于训练的固定图像对应的第二非兴趣区域图像输入到待训练的第二配准模型中，获得待训练的非兴趣区域形变场；将所述待训练的非兴趣区域形变场作用于所述第一非兴趣区域图像，获得形变的第一非兴趣区域图像；其中，所述第二预设损失函数包括形变的第一非兴趣区域图像和所述第二非兴趣区域图像之间的图像相似度损失函数、所述待训练的非兴趣区域形变场的平滑性正则化函数。
作为本发明可选的实施例，所述重复执行以下步骤，直至第一预设损失函数取值最小时获得所述预先训练好的第一配准模型之前，还包括：获取用于训练的移动图像和用于训练的固定图像；将所述用于训练的移动图像和用于训练的固定图像输入到预先训练好的分割模型中，获得用于训练的移动图像对应的第一分割图像和用于训练的固定图像对应的第二分割图像；根据所述移动图像和第一分割图像获得所述第一兴趣区域图像，根据所述固定图像和第二分割图像获得第二兴趣区域图像；和/或，根据所述移动图像和第一兴趣区域图像获得第一非兴趣区域图像，根据所述固定图像和第二兴趣区域图像获得第二非兴趣区域图像。
作为本发明可选的实施例，将所述用于训练的移动图像和用于训练的固定图像输入到预先训练好的分割模型中之前，还包括：对待训练的分割模型进行训练直至第三预设损失函数取值最小，获得所述预先训练好的分割模型；其中，所述第一预设损失函数为分割标签和预测分割标签之间的负对数似然函数。
作为本发明可选的实施例，所述第一配准模型为配准卷积神经网络模型Reg-CNN；和/或，所述第二配准模型为配准间距神经网络模型Reg-CNN；和/或，所述分割模型为分割卷积神经网络Seg-CNN模型。
第二方面，本发明提供一种图像配准装置，包括：获取模块，用于获取待配准的移动图像和待配准的固定图像；输入模块，用于将所述待配准的移动图像和待配准的固定图像输入到预先训练好的第一配准模型中，获得兴趣区域形变场；其中，所述第一配准模型基于用于训练的移动图像对应的第一兴趣区域图像和用于训练的固定图像对应的第二兴趣区域图像训练获得；变形模块，用于将所述兴趣区域形变场作用于所述待配准的移动图像，获得兴趣区域变形图像；配准模块，用于将所述兴趣区域变形图像和所述待配准的固定图像进行配准，获得配准图像。
第三方面，本发明提供一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现第一方面任一项所述的图像配准方法的步骤。
第四方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面任一项所述的图像配准方法的步骤。
本发明实施例提供的图像配准方法、装置、电子设备及存储介质，通过获取待配准的移动图像和待配准的固定图像；将所述待配准的移动图像和待配准的固定图像输入到预先训练好的第一配准模型中，获得兴趣区域形变场；其中，所述第一配准模型基于用于训练的移动图像对应的第一兴趣区域图像和用于训练的固定图像对应的第二兴趣区域图像训练获得；将所述兴趣区域形变场作用于所述待配准的移动图像，获得兴趣区域变形图像；将所述兴趣区域变形图像和所述待配准的固定图像进行配准，获得配准图像；即本发明实施例是将待配准的移动图像和固定图像输入到专门用于兴趣区域配准模型中进行配准，减弱了非兴趣区域对其配准过程的干扰，提高了图像配准效果。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种图像配准方法的流程示意图；
图2为本发明实施例提供的一种Reg-CNN模型的结构示意图；
图3为本发明实施例提供的另一种图像配准方法的流程示意图；
图4为本发明实施例提供的再一种图像配准方法的流程示意图；
图5为本发明实施例提供的一种动态级联图像配准方法的示意图；
图6为本发明实施例提供的一种配准模型训练的流程示意图；
图7为本发明实施例提供的一种Seg-CNN模型的结构示意图；
图8为本发明实施例提供的一种基于双通道的网络配准模型的训练过程示意图；
图9为本发明实施例提供的一种图像配准装置的结构示意图；
图10为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
图像配准是指通过刚性、仿射或非线性变换使一个移动图像(或称为运动图像)与固定图像对齐的过程。形变医学图像配准是建立一对医学图像之间的非线性对应关系，并估计合适的非线性变换达到配准一对医学图像的目的。医学人员在统一的解剖空间中对兴趣区域进行可视化分析，该任务是临床诊断中关键的图像处理步骤，在许多临床应用中发挥着重要作用。
传统的医学图像配准是一个基于迭代的优化过程，但基于迭代的方法极其缓慢，无法在临床操作中实现实时配准，因此提出了基于深度学习的医学图像配准方法，目前基于深度学习的医学图像配准方法主要有三类：(1)基于无监督的医学图像配准方法；(2)基于标签约束的图像配准方法；(3)基于弱监督的医学图像配准方法。
但是，以上这些方法仅通过学习图像对之间的对应关系来获得形变场，因此不具备识别兴趣区域和非兴趣区域(或称之为任务不关心区域)的感知能力，而任务不关心区域在移动图像和固定图像之间具有显著且不对应的结构，没有区域感知能力的配准模型进行图像配准时，使得兴趣区域不得不妥协任务不关心区域，从而导致兴趣区域的错误配准，导致图像配准效果不佳。
针对上述技术问题，本发明的技术构思在于：将待配准的图像直接输入到专门用于兴趣区域配准模型中进行配准，从而减弱了任务不关心区域对兴趣区域的干扰，减弱兴趣区域的失真。
另外，现有技术还存在以下技术问题：如目前都强制使用一次性配准模型，当遇到复杂变形时，特别是固定图像和移动图像之间存在较大形变时，会导致图像对之间的配准效果差。又比如基于若监督的图像配准方法利用少量的标签和精细的相似度度量来学习一对图像之间兴趣区域的形变场，由于分割标签缺乏纹理信息约束对应行为只关注感兴趣区域边缘的对齐而忽略感兴趣区域的纹理，导致感兴趣区域出现畸变，因此，这种变形过程会使兴趣区域的纹理变形，使变形后的图像不具有说服力。
图1为本发明实施例提供的一种图像配准方法的流程示意图，如图1所示，该图像配准方法包括：
步骤S101、获取待配准的移动图像和待配准的固定图像。
具体来说，本实施例的执行主体为图像配准装置，或者部署有图像配准装置的服务器或电子设备上。在本步骤中，图像配准装置获取待配准的移动图像M和待配准的固定图像F。
步骤S102、将所述待配准的移动图像和待配准的固定图像输入到预先训练好的第一配准模型中，获得兴趣区域形变场。
其中，所述第一配准模型基于用于训练的移动图像对应的第一兴趣区域图像和用于训练的固定图像对应的第二兴趣区域图像训练获得。
可选的，第一配准模型可以为配准卷积神经网络(Registration ConvolutionalNeural Network，简称Reg-CNN)模型。图2为本发明实施例提供的一种Reg-CNN模型的结构示意图，如图2所示，Reg-CNN模型在训练阶段输入兴趣区域图像，输出兴趣区域形变场，它遵循传统的U-Net结构，具有五级分层编码器-解码器结构。在编码器中，每个分辨率阶段有一个3×3×3的卷积层，通过池化操作对每个阶段之间的特征映射进行向下采样。在解码器中，前两个阶段有一个3×3×3卷积，后两个阶段有两个3×3×3卷积，每个卷积之后是一个GN函数和一个ReLU函数以进行详细的估计。最后利用1×1×1卷积估计每个体素在x,y,z方向上的三个通道的形变。
也就是说，第一Reg-CNN模型是专门用于输出图像对的兴趣区域形变场的，本步骤中，将待配准的移动图像M和待配准的固定图像F输入到第一Reg-CNN模型中后，可以获得对应的兴趣区域形变场Φ。
步骤S103、将所述兴趣区域形变场作用于所述待配准的移动图像，获得兴趣区域变形图像。
具体来说，兴趣区域形变场Φ利用空间变换网络(Spatial transform network，简称STN))对待配准的移动图像M进行空间变换处理，得到兴趣区域变形图像WR。
步骤S104、将所述兴趣区域变形图像和所述待配准的固定图像进行配准，获得配准图像。
具体来说，将兴趣区域变形图像WR和待配准的固定图像F进行配准处理，获得配准图像。其中，典型的可变形图像配准公式如公式(1)所示。
Figure BDA0003526414410000061
其中，
Figure BDA0003526414410000062
表示被优化的形变场，
Figure BDA0003526414410000063
表示图像相似度损失函数，复合操作表示根据Φ对移动图像进行空间变换。
本发明实施例提供的图像配准方法，通过获取待配准的移动图像和待配准的固定图像；将所述待配准的移动图像和待配准的固定图像输入到预先训练好的第一配准模型中，获得兴趣区域形变场；其中，所述第一配准模型基于用于训练的移动图像对应的第一兴趣区域图像和用于训练的固定图像对应的第二兴趣区域图像训练获得；将所述兴趣区域形变场作用于所述待配准的移动图像，获得兴趣区域变形图像；将所述兴趣区域变形图像和所述待配准的固定图像进行配准，获得配准图像；即本发明实施例通过将待配准的图像对输入到专门用于兴趣区域配准模型中进行配准，减弱了图像的非兴趣区域对其配准过程的干扰，提高了图像配准效果。
在上述实施例的基础上，图3为本发明实施例提供的另一种图像配准方法的流程示意图，如图3所示，该图像配准方法包括：
步骤S201、获取待配准的移动图像和待配准的固定图像。
步骤S202、将所述待配准的移动图像和待配准的固定图像输入到预先训练好的第一配准模型中，获得第一级兴趣区域形变场。
步骤S203、根据所述待配准的移动图像和第一级兴趣区域变形图像获得第二级兴趣区域形变场。
其中，所述第一级兴趣区域变形图像通过所述第一级兴趣区域形变场作用于所述待配准的移动图像获得。
步骤S204、将所述第一级兴趣区域形变场、第二级兴趣区域形变场进行级联，获得多级级联的兴趣区域形变场。
步骤S205、将所述多级级联的兴趣区域形变场作用于所述待配准的移动图像，获得兴趣区域变形图像。
步骤S206、将所述兴趣区域变形图像和所述待配准的固定图像进行配准，获得配准图像。
本实施例中的步骤S201、步骤S206的实现方式分别与前述实施例中的步骤S101、步骤S104的实现方式类似，此处不再赘述。
与前述实施例的区别在于，考虑到现有技术中所采用的一次性直接配准的方法在处理复杂变形时给精确配准带来了负担，特别是固定图像和移动图像之间存在大形变时，会导致图像对之间的配准效果差的技术问题。因此，为了提高复杂变形时的图像对的配准效果，在本实施例中，将所述待配准的移动图像和待配准的固定图像输入到预先训练好的第一配准模型中，获得第一级兴趣区域形变场；根据所述待配准的移动图像和第一级兴趣区域变形图像获得第二级兴趣区域形变场，其中，所述第一级兴趣区域变形图像通过所述第一级兴趣区域形变场作用于所述待配准的移动图像获得；将所述第一级兴趣区域形变场、第二级兴趣区域形变场进行级联，获得多级级联的兴趣区域形变场；将所述多级级联的兴趣区域形变场作用于所述待配准的移动图像，获得兴趣区域变形图像。
具体来说，将待配准的移动图像M和待配准的固定图像F输入到第一配准模型中，得到第一级兴趣区域形变场
Figure BDA0003526414410000081
如公式(2)所示。
Figure BDA0003526414410000082
其中，
Figure BDA0003526414410000083
表示通过卷积神经网络学习到的形变场。
然后，第一级兴趣区域形变场
Figure BDA0003526414410000084
作用于待配准的移动图像M，可以获得第一级兴趣区域变形图像
Figure BDA0003526414410000085
如公式(3)所示。
Figure BDA0003526414410000086
其中，复合操作表示根据形变场对移动图像进行空间变换。
然后，通过待配准的移动图像M和第一级兴趣区域变形图像
Figure BDA0003526414410000087
可以获得第二级兴趣区域形变场
Figure BDA0003526414410000088
如公式(4)所示；第二级兴趣区域形变场
Figure BDA0003526414410000089
作用于第一级兴趣区域变形图像
Figure BDA00035264144100000810
可以获得第二级兴趣区域变形图像
Figure BDA00035264144100000811
如公式(5)所示。
Figure BDA00035264144100000812
Figure BDA00035264144100000813
然后，将第一级兴趣区域形变场
Figure BDA00035264144100000814
第二级兴趣区域形变场
Figure BDA00035264144100000815
进行级联，获得两级级联的兴趣区域形变场Φroi(F,M)，如公式(6)所示。
Figure BDA00035264144100000816
然后，将两级级联的兴趣区域形变场作用于待配准的移动图像M上，获得兴趣区域变形图像WR，如公式(7)所示。
WR＝Φroi(F,M)M(7)
最后，兴趣区域变形图像WR和待配准的固定图像F进行配准，获得配准图像。
作为可选的实施例，所述步骤S203之后，还包括：重复执行以下步骤，直至i满足第一预设值：根据所述待配准的移动图像和第i-1级兴趣区域变形图像获得第i级兴趣区域形变场，其中，所述第i-1级兴趣区域变形图像通过第i-1级兴趣区域形变场作用于所述第i-2级兴趣区域变形图像获得，i大于等于3；则所述步骤S204包括：将所述第一级兴趣区域形变场、第二级兴趣区域形变场、以及第i级兴趣区域形变场依次级联，获得多级级联的兴趣区域形变场。
具体来说，可以继续获得第三级兴趣区域形变场、第四级兴趣区域形变场、……第i级兴趣区域形变场，直至获取到第n级兴趣区域形变场，n为第一预设值。
类似于公式(4)和公式(5)，可以继续推导出第n级兴趣区域形变场
Figure BDA0003526414410000091
如公式(8)所示，第n级兴趣区域变形图像
Figure BDA0003526414410000092
如公式(9)所示。
Figure BDA0003526414410000093
Figure BDA0003526414410000094
然后将第一级兴趣区域形变场、第二级兴趣区域形变场、第三级兴趣区域形变场……第n级兴趣区域形变场依次级联，获得多级级联的兴趣区域形变场，如公式(10)所示。
Figure BDA0003526414410000095
将如公式(10)所示的多级级联的兴趣区域形变场作用于待配准的移动图像上，获得兴趣区域形变图像，最后将兴趣区域形变图像和待配准的固定图像进行配准，获得配准图像。
本发明实施例提供的图像配准方法，通过将所述待配准的移动图像和待配准的固定图像输入到预先训练好的第一配准模型中，获得第一级兴趣区域形变场；根据所述待配准的移动图像和第一级兴趣区域变形图像获得第二级兴趣区域形变场，其中，所述第一级兴趣区域变形图像通过所述第一级兴趣区域形变场作用于所述待配准的移动图像获得；进一步的，还根据所述待配准的移动图像和第i-1级兴趣区域变形图像获得第i级兴趣区域形变场，其中，所述第i-1级兴趣区域变形图像通过第i-1级兴趣区域形变场作用于所述第i-2级兴趣区域变形图像获得，i大于等于3；将所述第一级兴趣区域形变场、第二级兴趣区域形变场、以及第i级兴趣区域形变场依次级联，获得多级级联的兴趣区域形变场将所述第一级兴趣区域形变场、第二级兴趣区域形变场进行级联，获得多级级联的兴趣区域形变场；将所述多级级联的兴趣区域形变场作用于所述待配准的移动图像，获得兴趣区域变形图像；即本发明实施例采用了一种动态级联策略，即通过利用两级或多级级联的兴趣区域变形场对兴趣区域进行逐步配准，实现全局对齐，提高了复杂变形时的图像配准的精确度。
在上述实施例的基础上，图4为本发明实施例提供的再一种图像配准方法的流程示意图，如图4所示，该图像配准方法包括：
步骤S301、获取待配准的移动图像和待配准的固定图像。
步骤S302、将所述待配准的移动图像和待配准的固定图像输入到预先训练好的第一配准模型中，获得兴趣区域形变场。
其中，所述第一配准模型基于用于训练的移动图像对应的第一兴趣区域图像和用于训练的固定图像对应的第二兴趣区域图像训练获得。
步骤S303、将所述兴趣区域形变场作用于所述待配准的移动图像，获得兴趣区域变形图像。
步骤S304、将所述兴趣区域变形图像和待配准的固定图像输入到预先训练好的第二配准模型中，获得非兴趣区域形变场。
其中，所述第二配准模型基于用于训练的移动图像对应的第一非兴趣区域图像和用于训练的固定图像对应的第二非兴趣区域图像训练获得。
步骤S305、根据所述非兴趣区域形变场调整所述兴趣区域变形图像，获得最终变形图像。
步骤S306、将所述最终变形图像和待配准的固定图像进行配准，获得配准图像。
本实施例中的步骤S301-步骤S303实现方式分别与上述实施例中的步骤S101-步骤S103的实现方式类似，此处不再赘述。
与上述实施例的区别在于，考虑到由于用于训练第一配准模型的兴趣区域图像划分不精确，导致丢失了图像潜在的兴趣区域，因此为了进一步挖掘图像非兴趣区域潜在的兴趣区域图像，进一步提高图像配准效果，在本实施例中，将所述兴趣区域变形图像和待配准的固定图像输入到预先训练好的第二配准模型中，获得非兴趣区域形变场，其中，所述第二配准模型基于用于训练的移动图像对应的第一非兴趣区域图像和用于训练的固定图像对应的第二非兴趣区域图像训练获得；根据所述非兴趣区域形变场调整所述兴趣区域变形图像，获得最终变形图像；将所述最终变形图像和待配准的固定图像进行配准，获得配准图像。
可选的，第二配准模型为配准卷积神经网络模型Reg-CNN，其结构与图2类似，不同之处在于该第二Reg-CNN模型在训练阶段的输入是非兴趣区域图像，输出的是非兴趣区域形变场。也就是说，第二Reg-CNN是专门用于预测待配准图像对的非兴趣区域形变场的。
本实施例中，在通过第一Reg-CNN模型获得的兴趣区域形变场或者两级、多级级联的兴趣区域形变场作用于待配准的移动图像，获得兴趣区域变形图像后，可以将兴趣区域变形图像和待配准的固定图像输入到第二Reg-CNN模型中，预测对应的非兴趣区域形变场，然后将预测到的非兴趣区域形变场作用于兴趣区域变形图像，即实现对兴趣区域形变图像的进一步微调，获得最终变形图像，最后将最终变形图像和待配准的固定图像进行配准处理，获得配准图像。
作为可选的实施例，所述步骤S304包括：将所述兴趣区域变形图像和待配准的固定图像输入到预先训练的第二配准模型中，获得第一级非兴趣区域形变场；根据第一级变形图像和所述待配准的固定图像获得第二级非兴趣区域形变场，其中，所述第一级变形图像通过所述第一级非兴趣区域形变场作用于所述兴趣区域变形图像获得；将所述第一级非兴趣区域形变场、第二级非兴趣区域形变场进行级联，获得多级级联的非兴趣区域形变场；则所述步骤S305包括：根据所述多级级联的非兴趣区域形变场调整所述兴趣区域变形图像，获得最终变形图像。
进一步的，所述根据第一级变形图像和待配准的固定图像获得第二级非兴趣区域形变场之后，还包括：重复执行以下步骤，直至j满足第二预设值：根据第j-1级变形图像和所述待配准的固定图像获得第j级非兴趣区域形变场，其中，所述第j-1级变形图像通过第j-1级非兴趣区域形变场作用于第j-2级变形图像获得，j大于等于3；所述将所述第一级非兴趣区域形变场、第二级非兴趣区域形变场进行级联，获得多级级联的非兴趣区域形变场，包括：将第一级非兴趣区域形变场、第二级非兴趣区域形变场、以及第j级非兴趣区域形变场依次级联，获得多级级联的非兴趣区域形变场。
具体来说，同两级或多级级联的兴趣区域形变场类似，非兴趣区域形变场也可以是两级或多级级联的。所述兴趣区域变形图像WR和待配准的固定图像F输入到第二Reg-CNN模型中，获得第一级非兴趣区域形变场
Figure BDA0003526414410000111
如公式(11)所示。
Figure BDA0003526414410000112
然后，第一级非兴趣区域形变场
Figure BDA0003526414410000113
作用于待配准的固定图像F，获得第一级变形图像
Figure BDA0003526414410000114
如公式(12)所示。
Figure BDA0003526414410000115
依次类推，可以继续获得第三级非兴趣区域形变场、第四级非兴趣区域形变场、……第j级兴趣区域形变场，直至获取到第n级非兴趣区域形变场，n为第二预设值，第一预设值和第二预设值可以相同也可以不同。其中，第n级非兴趣区域形变场
Figure BDA0003526414410000116
如公式(13)所示，第n级变形图像
Figure BDA0003526414410000117
如公式(14)所示。
Figure BDA0003526414410000118
Figure BDA0003526414410000119
因此，将第一级非兴趣区域形变场、第二级非兴趣区域形变场、第三级非兴趣区域形变场……第n级非兴趣区域形变场依次级联，获得的多级级联的非兴趣区域形变场如公式(15)所示。
Figure BDA00035264144100001110
然后，将多级级联的非兴趣区域形变场作用于兴趣区域变形图像，获得最终变形图像W如公式(16)所示。
W＝Φnroi(WR，F)WR (16)
最后，将最终形变图像W和待配准的固定图像F进行配准，获得配准图像。
本发明的实施例提供的图像配准方法，通过将所述兴趣区域变形图像和待配准的固定图像输入到预先训练的第二配准模型中，获得第一级非兴趣区域形变场；根据第一级变形图像和所述待配准的固定图像获得第二级非兴趣区域形变场，其中，所述第一级变形图像通过所述第一级非兴趣区域形变场作用于所述兴趣区域变形图像获得；进一步的，还通过重复执行以下步骤，直至j满足第二预设值：根据第j-1级变形图像和所述待配准的固定图像获得第j级非兴趣区域形变场，其中，所述第j-1级变形图像通过第j-1级非兴趣区域形变场作用于第j-2级变形图像获得，j大于等于3，将第一级非兴趣区域形变场、第二级非兴趣区域形变场、以及第j级非兴趣区域形变场依次级联，获得多级级联的非兴趣区域形变场；根据所述多级级联的非兴趣区域形变场调整所述兴趣区域变形图像，获得最终变形图像；将所述最终变形图像和待配准的固定图像进行配准，获得配准图像；即本发明实施通过多级级联的非兴趣区域形变场对兴趣区域变形图像进行逐步微调，挖掘了图像非兴趣区域中潜在的兴趣区域信息，进一步提高了图像配准效果。
为了更进一步了解本实施例，图5为本发明实施例提供的一种动态级联图像配准方法的示意图，如图5所示，以大脑MRI为例。移动图像和固定图像输入到兴趣区域对应的第一Reg-CNN模型
Figure BDA0003526414410000121
中，获得第一级兴趣区域形变场
Figure BDA0003526414410000122
然后第一级兴趣区域形变场
Figure BDA0003526414410000123
和移动图像进行复合操作，获得第一级变形的兴趣区域图像
Figure BDA0003526414410000124
并且第一级变形的兴趣区域图像
Figure BDA0003526414410000125
和第一级兴趣区域形变场
Figure BDA0003526414410000126
进行卷积，获得第二级兴趣区域形变场
Figure BDA0003526414410000127
第二级兴趣区域形变场
Figure BDA0003526414410000128
和第一级变形的兴趣区域图像
Figure BDA0003526414410000129
进行复合操作，获得第二级变形的兴趣区域图像
Figure BDA00035264144100001210
依次类推，直至获得第n级变形的兴趣区域图像
Figure BDA00035264144100001211
然后第n级变形的兴趣区域图像
Figure BDA00035264144100001212
和固定图像输入到非兴趣区域对应的第二配准模型
Figure BDA00035264144100001213
中，获得第一级非兴趣区域形变场
Figure BDA00035264144100001214
第n级变形的兴趣区域图像
Figure BDA00035264144100001215
经过第一级非兴趣区域形变场
Figure BDA00035264144100001216
第二级非兴趣区域形变场
Figure BDA00035264144100001217
第三级非兴趣区域形变场
Figure BDA00035264144100001218
……第n级非兴趣区域形变场
Figure BDA00035264144100001219
的逐步微调，获得最终的目标图像W，将最终的目标图像W和固定图像进行配准，获得配准图像。
其中，待配准的移动图像经过多级级联的兴趣区域形变场的形变后，可以获取兴趣区域形变图像
Figure BDA00035264144100001220
和固定图像的相似度度量，若相似度较大，则可以直接获得配准图像，若相似度较低，则可以再通过多级级联的非兴趣区域的形变场对
Figure BDA00035264144100001221
进行微调，获得最终的目标图像W，并获取最终目标图像和固定图像的相似度度量。
综上，本发明实施例首先经过多个级联的兴趣区域形变场动态调整来获得移动图像的兴趣区域WR，然后再利用任务不关心区域的形变场函数Φnroi(WR,F)对WR进行微调，获得最终的变形图像W，最后将变形图像W和固定图像进行配准，从而完成整个医学图像配准，本发明实施例实现了一个从粗到精的图像配准过程。
在上述实施例的基础上，在步骤S102之前还包括步骤S401-S403以实现对第一配准模型进行训练，可选的，还包括步骤S404-S406以实现对第二配准模型进行训练，图6为本发明实施例提供的一种配准模型训练的流程示意图，如图6所示，包括如下步骤：
步骤S401、将用于训练的移动图像对应的第一兴趣区域图像和用于训练的固定图像对应的第二兴趣区域图像输入到待训练的第一配准模型中，获得待训练的兴趣区域形变场。
步骤S402、将所述待训练的兴趣区域形变场作用于所述第一兴趣区域图像，获得形变的第一兴趣区域图像。
步骤S403、重复执行步骤S401和S402，直至第一预设损失函数取值最小时获得所述预先训练好的第一配准模型。
其中，所述第一预设损失函数包括所述形变的第一兴趣区域图像与所述第二兴趣区域图像之间的图像相似度损失函数、所述待训练的兴趣区域形变场的平滑性正则化函数。
具体来说，首先，将用于训练的移动图像对应的第一兴趣区域图像RM和用于训练的固定图像对应的第二兴趣区域图像RF输入到待训练的第一Reg-CNN模型中，获得待训练的兴趣区域形变场，该待训练的兴趣区域形变场为RM和RF的卷积操作结果；然后，将获得的待训练的兴趣区域形变场通过空间变换操作处理Rm，获得形变的第一兴趣区域图像；然后计算第一预设损失函数是否取得最小值，若是，则结束第一Reg-CNN模型的训练，若否，则继续迭代执行步骤S401和S402。
其中，第一预设损失函数包括所述形变的第一兴趣区域图像与所述第二兴趣区域图像之间的图像相似度损失函数、所述待训练的兴趣区域形变场的平滑性正则化函数，如公式(17)所示。
Figure BDA0003526414410000131
其中，本实施例采用了局部归一化互相关(Local Normalized Cross-Correlation，简称LNCC)作为相似度度量
Figure BDA0003526414410000132
来评估两幅图像对齐的相似度，LNCC如公式(18)所示。
Figure BDA0003526414410000133
其中，F和W表示两个输入图像，xi表示以x为中心的位置局部区域，
Figure BDA0003526414410000141
和
Figure BDA0003526414410000142
分别表示F(xi)和W(xi)在xi位置的局部均值。
LNCC的值越大，图像配准效果越好。本实施例中将两个图像之间的图像相似度损失函数表示为：
Figure BDA0003526414410000143
因此，极小化
Figure BDA0003526414410000144
有助于W逼近F，但这可能会得到一个不平滑的形变场Φ。为了缓解这一问题，本实施例中使用空间梯度的扩散正则化来获得平滑的Φ，如公式(19)所示。
Figure BDA0003526414410000145
其中，空间梯度是使用相邻体素之间的差异来近似的。因此，本实施例中将
Figure BDA0003526414410000146
与
Figure BDA0003526414410000147
相结合，得到如公式(17)所示的第一预设损失函数，另外，a是权重参数，根据本领域技术人员的经验设定，本发明不作限定。
步骤S404、将用于训练的移动图像对应的第一非兴趣区域图像和用于训练的固定图像对应的第二非兴趣区域图像输入到待训练的第二配准模型中，获得待训练的非兴趣区域形变场。
步骤S405、将所述待训练的非兴趣区域形变场作用于所述第一非兴趣区域图像，获得形变的第一非兴趣区域图像。
步骤S406、重复执行步骤S404和S405，直至第二预设损失函数取值最小时获得所述预先训练好的第二配准模型。
具体来说，首先，将用于训练的移动图像对应的第一非兴趣区域图像nRM和用于训练的固定图像对应的第二兴趣区域图像nRF输入到待训练的第二Reg-CNN模型中，获得待训练的非兴趣区域形变场，该待训练的非兴趣区域形变场为nRM和nRF的卷积操作结果；然后，将待训练的非兴趣区域形变场通过空间变换操作处理nRM，获得形变的第非一兴趣区域图像；然后计算第二预设损失函数是否取得最小值，若是，则结束第二Reg-CNN模型的训练，若否，则继续迭代执行步骤S404和S405。
其中，第二预设损失函数类似于第一预设损失函数，包括形变的第一非兴趣区域图像和所述第二非兴趣区域图像之间的图像相似度损失函数、所述待训练的非兴趣区域形变场的平滑性正则化函数，如公式(20)所示。
Figure BDA0003526414410000148
其中，γ是权重参数，根据本领域技术人员的经验设定，本发明不作限定。综上，为了避免配准过程中兴趣区域和任务不关心区域的相互干扰，本实施例分别对第一配准模型和第二配准模型进行训练，并分别对对第一配准模型和第二配准模型使用不同的预设损失函数进行优化。
作为可选的实施例，步骤S401之前还包括步骤S407-S410，可继续参考图6所示。
步骤S407、获取用于训练的移动图像和用于训练的固定图像。
步骤S408、将所述用于训练的移动图像和用于训练的固定图像输入到预先训练好的分割模型中，获得用于训练的移动图像对应的第一分割图像和用于训练的固定图像对应的第二分割图像。
步骤S409、根据所述移动图像和第一分割图像获得所述第一兴趣区域图像，根据所述固定图像和第二分割图像获得第二兴趣区域图像。
步骤S410、根据所述移动图像和第一兴趣区域图像获得第一非兴趣区域图像，根据所述固定图像和第二兴趣区域图像获得第二非兴趣区域图像。
具体来说，首先获取用于训练的移动图像和固定图像；然后将移动图像和固定图像分别输入到分割模型中，获得移动图像对应的第一分割图像s′M和固定图像对应的第二分割图像s′F；然后第一分割图像s′M乘以移动图像获得兴趣区域的移动图像，即第一兴趣区域图像RM；第二分割图像S′F乘以固定图像获得兴趣区域的固定图像，即第二兴趣区域图像RF，然后RM和RF作为训练数据对待训练的第一Reg-CNN模型进行训练。进一步的，移动图像可以减去第一兴趣区域图像RM获得移动图像的非兴趣区域，即第一非兴趣区域图像nRM，固定图像F减去第二兴趣区域图像RF获得固定图像的非兴趣区域，即第二非兴趣区域图像nRF，然后nBM和nRF作为训练数据对待训练的第二Reg-CNN模型进行训练。
可选的，所述分割模型为分割卷积神经网络(Segmentation ConvolutionalNeural Network，简称Seg-CNN)模型。图7为本发明实施例提供的一种Seg-CNN模型的结构示意图，如图7所示，Seg-CNN在移动图像和固定图像上分割兴趣区域的标签，它类似于传统的U-Net结构，是由一个带有跳跃连接的四层层次编码器-解码器组成。对于编码器中的每一层，通过使用两个连续的卷积层，然后是一组归一化和一个整流线性单元，其中包含一个3×3×3卷积层，步长1，然后在后面添加一个3×3×3的卷积层，步长为2，对特征图进行下采样，直到到达最低层。在解码器的每一层，通过将编码器的特征映射通过跳跃式连接起来，并采用步长为1的3×3×3卷积对反卷积层进行上采样。在同一解析阶段中的连接将详细信息添加到解码器中，解码器的每个分辨率阶段通过1×1×1卷积输出深度监督分割。
需要说明的是，相比于现有技术中由于分割标签缺乏纹理信息约束对应行为只关注兴趣区域边缘的对齐而忽略兴趣区域的纹理，导致兴趣区域出现畸变的问题，本实施例中采用Seg-CNN模型能够保留兴趣区域的纹理信息。
作为可选的实施例，所述步骤S408之前还包括：对待训练的分割模型进行训练直至第一预设损失函数取值最小，获得所述分割模型；其中，所述第一预设损失函数为分割标签和预测分割图像之间的负对数似然函数。
具体来说，分割模型是预先训练好的，即在步骤S408之前需先对待训练的分割模型进行训练。本实施例中利用交叉熵损失函数计算样本的分割标签Sl,n和预测的分割图像s′i,n之间的负对数似然函数的最小值对Seg-CNN进行优化，如公式(21)所示：
Figure BDA0003526414410000161
其中，N是Seg-CNN的语义通道的数量，L是每个语义通道中的体素数量。
综上，本发明实施例在配准模型的训练阶段，提供了一种基于双通道(兴趣区域对应的第一配准模型和非兴趣区域对应的第二配准模型)的网络配准模型。图8为本发明实施例提供的一种基于双通道的网络配准模型的训练过程示意图，以大脑MRI为例，参考图8所示，首先获取移动图像M和固定图像F；然后移动图像M和固定图像F分别输入到分割卷积神经网络Seg-CNN中，获得移动图像的分割图像s′M和固定图像的分割图像s′F；然后，s′M和s′F分别乘以M和F，获得兴趣区域的移动图像RM和固定图像RF，与此同时，移动图像M和固定图像F分别减去对应的兴趣区域来获得非兴趣区域nRM和nRF；然后，将保留纹理的运动图像和固定图像的兴趣区域和非兴趣区域分别放入到对应的Reg-CNN中得到形变场；形变场利用空间变换网络STN对运动图像的兴趣区域和非兴趣区域进行形变，得到变形图像的兴趣区域WR和非兴趣区域WnR；然后分别根据兴趣区域和非兴趣区域的预设损失函数进行优化。即本实施例的双通道的网络配准模型，使模型的区域感知能力能够识别图像的兴趣区域和任务不关心区域，并保留图像中兴趣区域和任务不关心区域的纹理信息，并利用带有纹理信息的兴趣区域和任务不关心区域分别学习形变场，从而消除兴趣区域和任务不关心区域之间相互干扰，进而消除兴趣区域的误对齐，减弱兴趣区域的畸变。
图9为本发明实施例提供的一种图像配准装置的结构示意图，如图9所示，该图像配准装置包括：
获取模块10，用于获取待配准的移动图像和待配准的固定图像；形变场模块20，用于将所述待配准的移动图像和待配准的固定图像输入到预先训练好的第一配准模型中，获得兴趣区域形变场；其中，所述第一配准模型基于用于训练的移动图像对应的第一兴趣区域图像和用于训练的固定图像对应的第二兴趣区域图像训练获得；变形模块30，用于将所述兴趣区域形变场作用于所述待配准的移动图像，获得兴趣区域变形图像；配准模块40，用于将所述兴趣区域变形图像和所述待配准的固定图像进行配准，获得配准图像。
作为本发明可选的实施例，所述形变场模块20，具体用于：将所述待配准的移动图像和待配准的固定图像输入到预先训练好的第一配准模型中，获得第一级兴趣区域形变场；根据所述待配准的移动图像和第一级兴趣区域变形图像获得第二级兴趣区域形变场，其中，所述第一级兴趣区域变形图像通过所述第一级兴趣区域形变场作用于所述待配准的移动图像获得；将所述第一级兴趣区域形变场、第二级兴趣区域形变场进行级联，获得多级级联的兴趣区域形变场；所述变形模块30，具体用于：将所述多级级联的兴趣区域形变场作用于所述待配准的移动图像，获得兴趣区域变形图像。
作为本发明可选的实施例，所述形变场模块20，还用于：重复执行以下步骤，直至i满足第一预设值：根据所述待配准的移动图像和第i-1级兴趣区域变形图像获得第i级兴趣区域形变场，其中，所述第i-1级兴趣区域变形图像通过第i-1级兴趣区域形变场作用于所述第i-2级兴趣区域变形图像获得，i大于等于3；将所述第一级兴趣区域形变场、第二级兴趣区域形变场、以及第i级兴趣区域形变场依次级联，获得多级级联的兴趣区域形变场。
作为本发明可选的实施例，所述形变场模块20，还用于：将所述兴趣区域变形图像和待配准的固定图像输入到预先训练好的第二配准模型中，获得非兴趣区域形变场，其中，所述第二配准模型基于用于训练的移动图像对应的第一非兴趣区域图像和用于训练的固定图像对应的第二非兴趣区域图像训练获得；所述变形模块30，用于根据所述非兴趣区域形变场调整所述兴趣区域变形图像，获得最终变形图像；所述将配准模块40，具体用于：将所述最终变形图像和待配准的固定图像进行配准，获得配准图像。
作为本发明可选的实施例，所述形变场模块20，具体用于：将所述兴趣区域变形图像和待配准的固定图像输入到预先训练的第二配准模型中，获得第一级非兴趣区域形变场；根据第一级变形图像和所述待配准的固定图像获得第二级非兴趣区域形变场，其中，所述第一级变形图像通过所述第一级非兴趣区域形变场作用于所述兴趣区域变形图像获得；将所述第一级非兴趣区域形变场、第二级非兴趣区域形变场进行级联，获得多级级联的非兴趣区域形变场；所述变形模块30，具体用于：根据所述多级级联的非兴趣区域形变场调整所述兴趣区域变形图像，获得最终变形图像。
作为本发明可选的实施例，所述形变场模块20，还用于：重复执行以下步骤，直至j满足第二预设值：根据第j-1级变形图像和所述待配准的固定图像获得第j级非兴趣区域形变场，其中，所述第j-1级变形图像通过第j-1级非兴趣区域形变场作用于第j-2级变形图像获得，j大于等于3；将第一级非兴趣区域形变场、第二级非兴趣区域形变场、以及第j级非兴趣区域形变场依次级联，获得多级级联的非兴趣区域形变场。
作为本发明可选的实施例，所述装置还包括训练模块50，所述训练模块50包括配准模型训练模块501，其中，所述配准模型训练模块501用于：重复执行以下步骤，直至第一预设损失函数取值最小时获得所述预先训练好的第一配准模型：将用于训练的移动图像对应的第一兴趣区域图像和用于训练的固定图像对应的第二兴趣区域图像输入到待训练的第一配准模型中，获得待训练的兴趣区域形变场；将所述待训练的兴趣区域形变场作用于所述第一兴趣区域图像，获得形变的第一兴趣区域图像；其中，所述第一预设损失函数包括所述形变的第一兴趣区域图像与所述第二兴趣区域图像之间的图像相似度损失函数、所述待训练的兴趣区域形变场的平滑性正则化函数。
作为本发明可选的实施例，所述配准模型训练模块501还用于：重复执行以下步骤，直至第二预设损失函数取值最小时获得所述预先训练好的第二配准模型：将用于训练的移动图像对应的第一非兴趣区域图像和用于训练的固定图像对应的第二非兴趣区域图像输入到待训练的第二配准模型中，获得待训练的非兴趣区域形变场；将所述待训练的非兴趣区域形变场作用于所述第一非兴趣区域图像，获得形变的第一非兴趣区域图像；其中，所述第二预设损失函数包括形变的第一非兴趣区域图像和所述第二非兴趣区域图像之间的图像相似度损失函数、所述待训练的非兴趣区域形变场的平滑性正则化函数。
作为本发明可选的实施例，所述训练模块50还包括区域感知模块502，所述区域感知模块502用于：获取用于训练的移动图像和用于训练的固定图像；将所述用于训练的移动图像和用于训练的固定图像输入到预先训练好的分割模型中，获得用于训练的移动图像对应的第一分割图像和用于训练的固定图像对应的第二分割图像；根据所述移动图像和第一分割图像获得所述第一兴趣区域图像，根据所述固定图像和第二分割图像获得第二兴趣区域图像；和/或，根据所述移动图像和第一兴趣区域图像获得第一非兴趣区域图像，根据所述固定图像和第二兴趣区域图像获得第二非兴趣区域图像。
作为本发明可选的实施例，所述区域感知模块502，还用于：对待训练的分割模型进行训练直至第三预设损失函数取值最小，获得所述预先训练好的分割模型；其中，所述第一预设损失函数为分割标签和预测分割标签之间的负对数似然函数。
作为本发明可选的实施例，所述第一配准模型为配准卷积神经网络模型Reg-CNN；和/或，所述第二配准模型为配准间距神经网络模型Reg-CNN；和/或，所述分割模型为分割卷积神经网络Seg-CNN模型。
本发明实施例提供的图像配准装置，其实现原理和技术效果与上述实施例类似，此处不再赘述。
如图10所示，本发明实施例提供了一种电子设备，包括处理器111、通信接口112、存储器113和通信总线114，其中，处理器111，通信接口112，存储器113通过通信总线114完成相互间的通信，
存储器113，用于存放计算机程序；
在本发明一个实施例中，处理器111，用于执行存储器113上所存放的程序时，实现前述任意一个方法实施例提供的图像配准方法的步骤。
本发明实施例提供的电子设备，其实现原理和技术效果与上述实施例类似，此处不再赘述。
上述存储器113可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。存储器113具有用于执行上述方法中的任何方法步骤的程序代码的存储空间。例如，用于程序代码的存储空间可以包括分别用于实现上面的方法中的各个步骤的各个程序代码。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。这些计算机程序产品包括诸如硬盘，光盘(CD)、存储卡或者软盘之类的程序代码载体。这样的计算机程序产品通常为便携式或者固定存储单元。该存储单元可以具有与上述电子设备中的存储器113类似布置的存储段或者存储空间等。程序代码可以例如以适当形式进行压缩。通常，存储单元包括用于执行根据本公开的实施例的方法步骤的程序，即可以由例如诸如111之类的处理器读取的代码，这些代码当由电子设备运行时，导致该电子设备执行上面所描述的方法中的各个步骤。
本发明的实施例还提供了一种计算机可读存储介质。上述计算机可读存储介质上存储有计算机程序，上述计算机程序被处理器执行时实现如上所述的图像配准方法的步骤。
该计算机可读存储介质可以是上述实施例中描述的设备/装置中所包含的；也可以是单独存在，而未装配入该设备/装置中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。
根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (14)

1.一种图像配准方法，其特征在于，包括：
获取待配准的移动图像和待配准的固定图像；
将所述待配准的移动图像和待配准的固定图像输入到预先训练好的第一配准模型中，获得兴趣区域形变场；其中，所述第一配准模型基于用于训练的移动图像对应的第一兴趣区域图像和用于训练的固定图像对应的第二兴趣区域图像训练获得；
将所述兴趣区域形变场作用于所述待配准的移动图像，获得兴趣区域变形图像；
将所述兴趣区域变形图像和所述待配准的固定图像进行配准，获得配准图像。
2.根据权利要求1所述的方法，其特征在于，所述将所述待配准的移动图像和待配准的固定图像输入到预先训练好的第一配准模型中，获得兴趣区域形变场，包括：
将所述待配准的移动图像和待配准的固定图像输入到预先训练好的第一配准模型中，获得第一级兴趣区域形变场；
根据所述待配准的移动图像和第一级兴趣区域变形图像获得第二级兴趣区域形变场，其中，所述第一级兴趣区域变形图像通过所述第一级兴趣区域形变场作用于所述待配准的移动图像获得；
将所述第一级兴趣区域形变场、第二级兴趣区域形变场进行级联，获得多级级联的兴趣区域形变场；
所述将所述兴趣区域形变场作用于所述待配准的移动图像，获得兴趣区域变形图像，包括：
将所述多级级联的兴趣区域形变场作用于所述待配准的移动图像，获得兴趣区域变形图像。
3.根据权利要求2所述的方法，其特征在于，所述根据第一级兴趣区域变形图像和所述待配准的移动图像获得第二级兴趣区域形变场之后，还包括：
重复执行以下步骤，直至i满足第一预设值：根据所述待配准的移动图像和第i-1级兴趣区域变形图像获得第i级兴趣区域形变场，其中，所述第i-1级兴趣区域变形图像通过第i-1级兴趣区域形变场作用于所述第i-2级兴趣区域变形图像获得，i大于等于3；
所述将所述第一级兴趣区域形变场、第二级兴趣区域形变场进行级联，获得多级级联的兴趣区域形变场，包括：
将所述第一级兴趣区域形变场、第二级兴趣区域形变场、以及第i级兴趣区域形变场依次级联，获得多级级联的兴趣区域形变场。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述将所述兴趣区域形变场作用于所述待配准的移动图像，获得兴趣区域变形图像之后，还包括：
将所述兴趣区域变形图像和待配准的固定图像输入到预先训练好的第二配准模型中，获得非兴趣区域形变场，其中，所述第二配准模型基于用于训练的移动图像对应的第一非兴趣区域图像和用于训练的固定图像对应的第二非兴趣区域图像训练获得；
根据所述非兴趣区域形变场调整所述兴趣区域变形图像，获得最终变形图像；
所述将所述兴趣区域变形图像和所述待配准的固定图像进行配准，获得配准图像，包括：
将所述最终变形图像和待配准的固定图像进行配准，获得配准图像。
5.根据权利要求4所述的方法，其特征在于，所述将所述兴趣区域变形图像和待配准的固定图像输入到预先训练好的第二配准模型中，获得非兴趣区域形变场，包括：
将所述兴趣区域变形图像和待配准的固定图像输入到预先训练的第二配准模型中，获得第一级非兴趣区域形变场；
根据第一级变形图像和所述待配准的固定图像获得第二级非兴趣区域形变场，其中，所述第一级变形图像通过所述第一级非兴趣区域形变场作用于所述兴趣区域变形图像获得；
将所述第一级非兴趣区域形变场、第二级非兴趣区域形变场进行级联，获得多级级联的非兴趣区域形变场；
所述根据所述非兴趣区域形变场调整所述兴趣区域变形图像，获得最终变形图像，包括：
根据所述多级级联的非兴趣区域形变场调整所述兴趣区域变形图像，获得最终变形图像。
6.根据权利要求5所述的方法，其特征在于，所述根据第一级变形图像和待配准的固定图像获得第二级非兴趣区域形变场之后，还包括：
重复执行以下步骤，直至j满足第二预设值：根据第j-1级变形图像和所述待配准的固定图像获得第j级非兴趣区域形变场，其中，所述第j-1级变形图像通过第j-1级非兴趣区域形变场作用于第j-2级变形图像获得，j大于等于3；
所述将所述第一级非兴趣区域形变场、第二级非兴趣区域形变场进行级联，获得多级级联的非兴趣区域形变场，包括：
将第一级非兴趣区域形变场、第二级非兴趣区域形变场、以及第j级非兴趣区域形变场依次级联，获得多级级联的非兴趣区域形变场。
7.根据权利要求4所述的方法，其特征在于，所述将所述待配准的移动图像和待配准的固定图像输入到预先训练好的第一配准模型中之前，还包括：
重复执行以下步骤，直至第一预设损失函数取值最小时获得所述预先训练好的第一配准模型：将用于训练的移动图像对应的第一兴趣区域图像和用于训练的固定图像对应的第二兴趣区域图像输入到待训练的第一配准模型中，获得待训练的兴趣区域形变场；将所述待训练的兴趣区域形变场作用于所述第一兴趣区域图像，获得形变的第一兴趣区域图像；
其中，所述第一预设损失函数包括所述形变的第一兴趣区域图像与所述第二兴趣区域图像之间的图像相似度损失函数、所述待训练的兴趣区域形变场的平滑性正则化函数。
8.根据权利要求7所述的方法，其特征在于，所述将所述兴趣区域变形图像和待配准的固定图像输入到预先训练好的第二配准模型中之前，还包括：
重复执行以下步骤，直至第二预设损失函数取值最小时获得所述预先训练好的第二配准模型：将用于训练的移动图像对应的第一非兴趣区域图像和用于训练的固定图像对应的第二非兴趣区域图像输入到待训练的第二配准模型中，获得待训练的非兴趣区域形变场；将所述待训练的非兴趣区域形变场作用于所述第一非兴趣区域图像，获得形变的第一非兴趣区域图像；
其中，所述第二预设损失函数包括形变的第一非兴趣区域图像和所述第二非兴趣区域图像之间的图像相似度损失函数、所述待训练的非兴趣区域形变场的平滑性正则化函数。
9.根据权利要求8所述的方法，其特征在于，所述重复执行以下步骤，直至第一预设损失函数取值最小时获得所述预先训练好的第一配准模型之前，还包括：
获取用于训练的移动图像和用于训练的固定图像；
将所述用于训练的移动图像和用于训练的固定图像输入到预先训练好的分割模型中，获得用于训练的移动图像对应的第一分割图像和用于训练的固定图像对应的第二分割图像；
根据所述移动图像和第一分割图像获得所述第一兴趣区域图像，根据所述固定图像和第二分割图像获得第二兴趣区域图像；
和/或，根据所述移动图像和第一兴趣区域图像获得第一非兴趣区域图像，根据所述固定图像和第二兴趣区域图像获得第二非兴趣区域图像。
10.根据权利要求9所述的方法，其特征在于，将所述用于训练的移动图像和用于训练的固定图像输入到预先训练好的分割模型中之前，还包括：
对待训练的分割模型进行训练直至第三预设损失函数取值最小，获得所述预先训练好的分割模型；
其中，所述第一预设损失函数为分割标签和预测分割标签之间的负对数似然函数。
11.根据权利要求10所述的方法，其特征在于，所述第一配准模型为配准卷积神经网络模型Reg-CNN；
和/或，所述第二配准模型为配准间距神经网络模型Reg-CNN；
和/或，所述分割模型为分割卷积神经网络Seg-CNN模型。
12.一种图像配准装置，其特征在于，包括：
获取模块，用于获取待配准的移动图像和待配准的固定图像；
形变场模块，用于将所述待配准的移动图像和待配准的固定图像输入到预先训练好的第一配准模型中，获得兴趣区域形变场；其中，所述第一配准模型基于用于训练的移动图像对应的第一兴趣区域图像和用于训练的固定图像对应的第二兴趣区域图像训练获得；
变形模块，用于将所述兴趣区域形变场作用于所述待配准的移动图像，获得兴趣区域变形图像；
配准模块，用于将所述兴趣区域变形图像和所述待配准的固定图像进行配准，获得配准图像。
13.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-11任一项所述的图像配准方法的步骤。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-11任一项所述的图像配准方法的步骤。
CN202210194230.0A 2022-03-01 2022-03-01 图像配准方法、装置、电子设备及存储介质 Pending CN114612527A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210194230.0A CN114612527A (zh) 2022-03-01 2022-03-01 图像配准方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210194230.0A CN114612527A (zh) 2022-03-01 2022-03-01 图像配准方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN114612527A true CN114612527A (zh) 2022-06-10

Family

ID=81861951

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210194230.0A Pending CN114612527A (zh) 2022-03-01 2022-03-01 图像配准方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114612527A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116229218A (zh) * 2023-05-09 2023-06-06 之江实验室 一种模型训练、图像配准方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116229218A (zh) * 2023-05-09 2023-06-06 之江实验室 一种模型训练、图像配准方法及装置
CN116229218B (zh) * 2023-05-09 2023-08-04 之江实验室 一种模型训练、图像配准方法及装置

Similar Documents

Publication Publication Date Title
CN111612754B (zh) 基于多模态图像融合的mri肿瘤优化分割方法及系统
CN111369581B (zh) 图像处理方法、装置、设备及存储介质
EP3139310A1 (en) Training method and apparatus for neural network for image recognition
CN110838125B (zh) 医学图像的目标检测方法、装置、设备、存储介质
CN111738363B (zh) 基于改进的3d cnn网络的阿尔茨海默病分类方法
CN110838108A (zh) 基于医疗图像的预测模型构建方法、预测方法及装置
CN109492668B (zh) 基于多通道卷积神经网络的mri不同期多模图像表征方法
CN110930378B (zh) 基于低数据需求的肺气肿影像处理方法及系统
CN111028246A (zh) 一种医学图像分割方法、装置、存储介质及电子设备
CN103440512A (zh) 一种基于张量局部保持投影的大脑认知状态的识别方法
CN111161249B (zh) 一种基于域适应的无监督医学图像分割方法
CN111325750A (zh) 一种基于多尺度融合u型链神经网络的医学图像分割方法
CN112132834A (zh) 一种心室图像分割方法、系统、装置及存储介质
CN111192320B (zh) 一种位置信息确定方法、装置、设备和存储介质
WO2020161481A1 (en) Method and apparatus for quality prediction
CN114445356A (zh) 基于多分辨率的全视野病理切片图像肿瘤快速定位方法
CN115330813A (zh) 一种图像处理方法、装置、设备及可读存储介质
CN114758137A (zh) 超声图像分割方法、装置及计算机可读存储介质
Song et al. Progressive multi-atlas label fusion by dictionary evolution
CN114612527A (zh) 图像配准方法、装置、电子设备及存储介质
Wegmayr et al. Generative aging of brain MR-images and prediction of Alzheimer progression
Dovbysh et al. Decision-making support system for diagnosis of oncopathologies by histological images
CN112733724A (zh) 基于判别样本元挖掘器的亲属关系验证方法和装置
Ishkov et al. Processing and visualization of tomography signal with AI: Decision making on COVID-19
CN115984634B (zh) 图像检测方法、装置、设备、存储介质和程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination