CN113012204B - 多模态图像的配准方法、装置、存储介质及处理器 - Google Patents

多模态图像的配准方法、装置、存储介质及处理器 Download PDF

Info

Publication number
CN113012204B
CN113012204B CN202110386157.2A CN202110386157A CN113012204B CN 113012204 B CN113012204 B CN 113012204B CN 202110386157 A CN202110386157 A CN 202110386157A CN 113012204 B CN113012204 B CN 113012204B
Authority
CN
China
Prior art keywords
image
registration
modality
modal
generator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110386157.2A
Other languages
English (en)
Other versions
CN113012204A (zh
Inventor
周琦超
孔令轲
徐寿平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Manteia Data Technology Co ltd In Xiamen Area Of Fujian Pilot Free Trade Zone
Original Assignee
Manteia Data Technology Co ltd In Xiamen Area Of Fujian Pilot Free Trade Zone
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Manteia Data Technology Co ltd In Xiamen Area Of Fujian Pilot Free Trade Zone filed Critical Manteia Data Technology Co ltd In Xiamen Area Of Fujian Pilot Free Trade Zone
Priority to CN202110386157.2A priority Critical patent/CN113012204B/zh
Publication of CN113012204A publication Critical patent/CN113012204A/zh
Application granted granted Critical
Publication of CN113012204B publication Critical patent/CN113012204B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本申请公开了一种多模态图像的配准方法、装置、存储介质及处理器。该方法包括：将第一模态图像通过第一生成器转换为第二模态图像；将第二模态图像与目标模态图像输入配准网络进行配准，得到形变场，其中，第二模态图像与目标模态图像的模态相同；基于形变场对第一模态图像进行配准。通过本申请，解决了相关技术中多模态图像的配准方法的准确度较低的问题。

Description

多模态图像的配准方法、装置、存储介质及处理器
技术领域
本申请涉及图像处理技术领域，具体而言，涉及一种多模态图像的配准方法、装置、存储介质及处理器。
背景技术
在放疗领域中，多模态柔性配准长久以来有着重要的应用。但也一直是一个极难的挑战，其中最主要的原因是，多模态配准相比较同模态配准所使用的MSE而言，不具备这种鲁棒性的度量指标来指导配准和对配准结果进行评估。在没有label的情况下，多模态配准绝大部分是使用互信息(MI)作为度量多模态配准的指标。然而，MI在以处理不能直接用于基于梯度的方法并且偏向于处理图像分布接近的内部模态，不能很好的适应与所有多模态配准问题。
针对相关技术中多模态图像的配准方法的准确度较低的问题，目前尚未提出有效的解决方案。
发明内容
本申请的主要目的在于提供一种多模态图像的配准方法、装置、存储介质及处理器，以解决相关技术中多模态图像的配准方法的准确度较低的问题。
为了实现上述目的，根据本申请的一个方面，提供了一种多模态图像的配准方法。该方法包括：将第一模态图像通过第一生成器转换为第二模态图像；将第二模态图像与目标模态图像输入配准网络进行配准，得到形变场，其中，第二模态图像与目标模态图像的模态相同；基于形变场对第一模态图像进行配准。
进一步地，基于形变场对第一模态图像进行配准包括：将形变场通过空间变压网络作用在第二模态图像上，得到配准的结果；将配准的结果进行逆向循环变换，通过第二生成器转换为第三模态图像；采用第三模态图像对第一模态图像进行配准，其中，第一模态图像与第三模态图像的模态相同。
进一步地，在将第一模态图像通过第一生成器转换为第二模态图像之后，该方法还包括：将第二模态图像和目标模态图像通过编码器，得到编码后的结果；将编码后的结果输入辨别器进行分类，得到分类结果；基于分类结果，让辨别器与第一生成器形成对抗。
进一步地，编码后的结果中包括编码后的目标模态图像，在将编码后的结果输入辨别器进行分类，得到分类结果之后，该方法还包括：对第二模态图像和编码后的目标模态图像的通道数进行堆叠操作。
进一步地，将第二模态图像与目标模态图像输入配准网络进行配准，得到形变场包括：在对第二模态图像和编码后的目标模态图像的通道数进行堆叠操作之后，将第二模态图像和编码后的目标模态图像输入配准网络进行配准，得到形变场。
进一步地，编码器更新的梯度来自于辨别器的损失函数。
进一步地，对第一生成器和第二生成器采用综合配准一致性损失函数。
进一步地，第一生成器和第二生成器、辨别器和配准网络复用相同的编码器，以实现多模态图像的配准。
为了实现上述目的，根据本申请的另一方面，提供了一种多模态图像的配准装置。该装置包括：第一转换单元，用于将第一模态图像通过第一生成器转换为第二模态图像；第一输入单元，用于将第二模态图像与目标模态图像输入配准网络进行配准，得到形变场，其中，第二模态图像与目标模态图像的模态相同；第一配准单元，用于基于形变场对第一模态图像进行配准。
进一步地，第一配准单元包括：第一获取模块，用于将形变场通过空间变压网络作用在第二模态图像上，得到配准的结果；第一转换模块，用于将配准的结果进行逆向循环变换，通过第二生成器转换为第三模态图像；第一配准模块，用于采用第三模态图像对第一模态图像进行配准，其中，第一模态图像与第三模态图像的模态相同。
进一步地，该装置还包括：第一编码单元，用于在将第一模态图像通过第一生成器转换为第二模态图像之后，将第二模态图像和目标模态图像通过编码器，得到编码后的结果；第一分类单元，用于将编码后的结果输入辨别器进行分类，得到分类结果；第一对抗单元，用于基于分类结果，让辨别器与第一生成器形成对抗。
进一步地，该装置还包括：第一处理单元，用于编码后的结果中包括编码后的目标模态图像，在将编码后的结果输入辨别器进行分类，得到分类结果之后，对第二模态图像和编码后的目标模态图像的通道数进行堆叠操作。
进一步地，第一输入单元包括：第二配准模块，用于在对第二模态图像和编码后的目标模态图像的通道数进行堆叠操作之后，将第二模态图像和编码后的目标模态图像输入配准网络进行配准，得到形变场。
进一步地，编码器更新的梯度来自于辨别器的损失函数。
进一步地，对第一生成器和第二生成器采用综合配准一致性损失函数。
进一步地，第一生成器和第二生成器、辨别器和配准网络复用相同的编码器，以实现多模态图像的配准。
为了实现上述目的，根据本申请的另一方面，提供了一种处理器，其中，所述处理器用于运行程序，其中，所述程序运行时执行上述任意一项所述的方法。
为了实现上述目的，根据本申请的另一方面，提供了一种存储介质，其中，所述存储介质包括存储的程序，其中，所述程序执行上述任意一项所述的方法。
通过本申请，采用以下步骤：通过将第一模态图像通过第一生成器转换为第二模态图像，将第二模态图像与目标模态图像输入配准网络进行配准，得到形变场，其中，第二模态图像与目标模态图像的模态相同，基于形变场对第一模态图像进行配准，解决了相关技术中多模态图像的配准方法的准确度较低的问题，通过将多模态配准问题转换为单模态配准问题，可以直接使用单模态配准的度量指标MSE进行配准，从而提升多模态图像的配准方法的准确度。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例提供的多模态图像的配准方法的流程图；
图2是根据本申请实施例提供的可选的多模态图像的配准方法的示意图一；
图3是根据本申请实施例提供的可选的多模态图像的配准方法的示意图二；
图4是根据本申请实施例提供的多模态图像的配准装置的示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本申请的实施例，提供了一种多模态图像的配准方法。
图1是根据本申请实施例的多模态图像的配准方法的流程图。如图1所示，该方法包括以下步骤：
步骤S101，将第一模态图像通过第一生成器转换为第二模态图像。
步骤S102，将第二模态图像与目标模态图像输入配准网络进行配准，得到形变场，其中，第二模态图像与目标模态图像的模态相同。
步骤S103，基于形变场对第一模态图像进行配准。
例如，将模态A先通过第一生成器转换为模态B，再与目标模态B进行配准得到形变场并作用在原始的模态A图像上。在放疗应用中，需要将患者计划CT图像与当日患者治疗的其他引导图像(例如，MRI或者CBCT等图像)进行配准，可通过本方法将多模态配准转换为单模态配准问题。
也即，通过步骤S101至步骤S103，通过将多模态配准问题转换为单模态配准问题，可以直接使用单模态配准的度量指标MSE进行配准，从而提升多模态图像的配准方法的准确度。另外，也避免了相关技术中进行多模态配准时需要不断的进行梯度求导和迭代优化，需要消耗很多配准时间，通过本申请提供的多模态图像的配准方法，不需要进行额外的梯度求导，可以加快配准速度。
可选地，在本申请实施例的多模态图像的配准方法中，基于形变场对第一模态图像进行配准包括：将形变场通过空间变压网络作用在第二模态图像上，得到配准的结果；将配准的结果进行逆向循环变换，通过第二生成器转换为第三模态图像；采用第三模态图像对第一模态图像进行配准，其中，第一模态图像与第三模态图像的模态相同。
例如，如图2所示，定义X和Y分别为同一患者没有对齐的两种不同模态的图像，首先将输入x先通过生成器Gx-y(对应上述的第一生成器)得到与真实的y模态一致的它们一起进入辨别器Dy和配准网络Ry，并分别得到预测的真假类别以及形变场φy，φy通过空间变压网络(STN)作用/>上就得到了先合成再配准的结果/>(对应上述的配准的结果)，然后，将/>进行逆向循环变换，先通过生成器Gy-x变回模态X并作为moving image，与原始输入x进行配准，逆向转换回x。
通过上述方案，具体限定了如何对第一模态图像进行配准，将多模态配准转换为同模态配准，让配准难度减小，并且可以较好的鲁棒性。
可选地，在本申请实施例的多模态图像的配准方法中，第一生成器和第二生成器、辨别器和配准网络复用相同的编码器，以实现多模态图像的配准。
发明人通过研究发现，辨别器和配准网络有着相同的输入，即输入的图像既作为合成图像与真实图像，也作为是moving image(浮动图像)和fixed image(固定图像)，可以考虑用一个网络来实现辨别和配准两个功能，进一步思考，其实辨别和配准有着一部分相同的目标，辨别器的目标是最大化地对真实图像和合成图像进行区分，它需要对输入的图像进行语义编码，以此得到合成图像和真实图像的差距，最终依据差距给出分类置信度。通过对辨别器中不同层进行可视化发现辨识器的前6个编码特征对输入图像有着较强的响应，换句话说，辨别器是先得到合成图像和真实图像的差距，再进行分类。而配准网络的目标是通过得到形变场来最小化moving image和fixed image的差距，那么，在最小化差距之前同样也需要对输入图像进行语义编码来得到moving image和fixed image的差距。基于此，在本申请中通过复用辨别器一定数量的编码层的方式将辨别器和配准网络进行融合。而生成器其实也同样可以复用辨别器的编码层，并通过这种操作得到了更好的生成结果。因此，在本申请中将辨别器，生成器，配准网络都复用相同的编码层也就得到了最终的模型，如图3所示，其中，虚线条代表合成的数据流向，实线条代表辨别和配准的数据流向，“stack”代表按照通道数进行堆叠。
假设输入x的shape为(1，W，H，1)，则经过X模态的编码器Ex和生成器Gx-y后得到的合成图像(对应上述的第二模态图像)，/>和真实的y经过Y模态的编码器Ey后得到和Ey(y)后并分别进入辨别器Dy进行分类。在/>和Ey(y)在进入配准网络之前需要对它们的通道数执行一步”stack”的操作，得到shape为(1，W，H，2)的结果，然后进入配准网络Ry得到形变场/>将形变场作用于/>就得到了先合成再配准的图像/>最后进行逆向转换，/>通过Ey和生成器Gy-x转换成X的模态/>(对应上述的第三模态图像)，并将/>与输入的x进行配准得到/>(对第一模态图像配准后的结果)。
因此，在本申请中利用了辨别器和配准网络有着一致性的目标(对输入图像对进行编码得到差距)这一特点，让第一生成器和第二生成器，辨别器，配准网络全部复用相同的编码器来实现无监督多模态模态配准的。这种方法不仅让网络结构更加紧凑，参数量更少，还得到了更好的合成和配准效果。
可选地，在本申请实施例的多模态图像的配准方法中，在将第一模态图像通过第一生成器转换为第二模态图像之后，该方法还包括：将第二模态图像和目标模态图像通过编码器，得到编码后的结果；将编码后的结果输入辨别器进行分类，得到分类结果；基于分类结果，让辨别器与第一生成器形成对抗。
通过上述方案，基于分类结果让辨别器与第一生成器形成对抗，可以让第一生成器输出更加真实的结果，从而进一步提高多模态图像的配准方法的准确度。
可选地，在本申请实施例的多模态图像的配准方法中，编码后的结果中包括编码后的目标模态图像，在将编码后的结果输入辨别器进行分类，得到分类结果之后，该方法还包括：对第二模态图像和编码后的目标模态图像的通道数进行堆叠操作。
如图3所示，在和Ey(y)在进入配准网络之前需要对它们的通道数执行堆叠操作。
可选地，在本申请实施例的多模态图像的配准方法中，将第二模态图像与目标模态图像输入配准网络进行配准，得到形变场包括：在对第二模态图像和编码后的目标模态图像的通道数进行堆叠操作之后，将第二模态图像和编码后的目标模态图像输入配准网络进行配准，得到形变场。
如图3所示，在和Ey(y)在进入配准网络之前需要对它们的通道数执行一步堆叠的操作，得到shape为(1，W，H，2)的结果(原x的shape为(1，W，H，1))，然后进入配准网络Ry得到形变场/>
可选地，在本申请实施例的多模态图像的配准方法中，编码器更新的梯度来自于辨别器的损失函数。需要说明的是上述的辨别器是生成器，辨别器和配准网络三个模型中唯一具备监督信号的。
可选地，在本申请实施例的多模态图像的配准方法中，对第一生成器和第二生成器采用综合配准一致性损失函数。
具体地，将x先合成Gx-y(Ex(·))(对应上述的第二模态图像)并与真实的y进行配准得到形变场φy，就得到先合成后配准的结果，其应该与先配准xoφy后合成Gx-y(Ex(·))的结果一致。在本申请中对第一生成器和第二生成器设计了Synthesis-registration-Consistency loss(综合配准一致性损失函数)：
通过上述的综合配准一致性损失函数，可以保证配准结果的准确度。
另外，本申请中还提供了三个损失函数，具体如下：
1、Adversarial Loss(对抗性损失函数)，通过对抗性损失函数来提升生成器的效果，辨别器需要最大化的区分合成图像和真实图像，而生成器则需要让辨别器无法区分，以此来提升生成器的效果。当更新Gx-y(对应上述的第一生成器)Ey(可以理解为另一编码器)，Dy(对应上述的辨别器)时，Ex(对应上述的编码器)参数固定，对抗性损失函数如下：
2、Registration Loss(配准损失函数)：对于配准损失函数包含正向和逆向配准两部分。
其中，LSim(·,·)表示均方差损失，LSmooth(·)表示对形变场φ施加正则化即要求形变场更加平滑合理，其中，λs＝0.1。
3、Cycle-Consistency Reconstruction Loss(循环一致性重构损失函数)：由于本申请的网络中包含两个合成结果，即和/>因此可以重建两次。
重建后应该与x的误差最小化，而/>重建后应该与xoφy误差最小化，其中λc＝10。
本申请实施例提供的多模态图像的配准方法，通过将第一模态图像通过第一生成器转换为第二模态图像，将第二模态图像与目标模态图像输入配准网络进行配准，得到形变场，其中，第二模态图像与目标模态图像的模态相同，基于形变场对第一模态图像进行配准，解决了相关技术中多模态图像的配准方法的准确度较低的问题，通过将多模态配准问题转换为单模态配准问题，可以直接使用单模态配准的度量指标MSE进行配准，从而提升多模态图像的配准方法的准确度。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例还提供了一种多模态图像的配准装置，需要说明的是，本申请实施例的多模态图像的配准装置可以用于执行本申请实施例所提供的用于多模态图像的配准方法。以下对本申请实施例提供的多模态图像的配准装置进行介绍。
图4是根据本申请实施例的多模态图像的配准装置的示意图。如图4所示，该装置包括：第一转换单元401、第一输入单元402、第一配准单元403。
具体的，第一转换单元401，用于将第一模态图像通过第一生成器转换为第二模态图像；
第一输入单元402，用于将第二模态图像与目标模态图像输入配准网络进行配准，得到形变场，其中，第二模态图像与目标模态图像的模态相同；
第一配准单元403，用于基于形变场对第一模态图像进行配准。
综上，本申请实施例提供的多模态图像的配准装置，通过第一转换单元401将第一模态图像通过第一生成器转换为第二模态图像；第一输入单元402将第二模态图像与目标模态图像输入配准网络进行配准，得到形变场，其中，第二模态图像与目标模态图像的模态相同；第一配准单元403基于形变场对第一模态图像进行配准，解决了相关技术中多模态图像的配准方法的准确度较低的问题，通过将多模态配准问题转换为单模态配准问题，可以直接使用单模态配准的度量指标MSE进行配准，从而提升多模态图像的配准方法的准确度。
可选地，在本申请实施例提供的多模态图像的配准装置中，第一配准单元403包括：第一获取模块，用于将形变场通过空间变压网络作用在第二模态图像上，得到配准的结果；第一转换模块，用于将配准的结果进行逆向循环变换，通过第二生成器转换为第三模态图像；第一配准模块，用于采用第三模态图像对第一模态图像进行配准，其中，第一模态图像与第三模态图像的模态相同。
可选地，在本申请实施例提供的多模态图像的配准装置中，该装置还包括：第一编码单元，用于在将第一模态图像通过第一生成器转换为第二模态图像之后，将第二模态图像和目标模态图像通过编码器，得到编码后的结果；第一分类单元，用于将编码后的结果输入辨别器进行分类，得到分类结果；第一对抗单元，用于基于分类结果，让辨别器与第一生成器形成对抗。
可选地，在本申请实施例提供的多模态图像的配准装置中，该装置还包括：第一处理单元，用于编码后的结果中包括编码后的目标模态图像，在将编码后的结果输入辨别器进行分类，得到分类结果之后，对第二模态图像和编码后的目标模态图像的通道数进行堆叠操作。
可选地，在本申请实施例提供的多模态图像的配准装置中，第一输入单元402包括：第二配准模块，用于在对第二模态图像和编码后的目标模态图像的通道数进行堆叠操作之后，将第二模态图像和编码后的目标模态图像输入配准网络进行配准，得到形变场。
可选地，在本申请实施例提供的多模态图像的配准装置中，编码器更新的梯度来自于辨别器的损失函数。
可选地，在本申请实施例提供的多模态图像的配准装置中，对第一生成器和第二生成器采用综合配准一致性损失函数。
可选地，在本申请实施例提供的多模态图像的配准装置中，第一生成器和第二生成器、辨别器和配准网络复用相同的编码器，以实现多模态图像的配准。
多模态图像的配准装置包括处理器和存储器，上述的第一转换单元401、第一输入单元402、第一配准单元403等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来进行多模态图像的配准。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。
本发明实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现多模态图像的配准方法。
本发明实施例提供了一种处理器，处理器用于运行程序，其中，程序运行时执行多模态图像的配准方法。
本发明实施例提供了一种设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现以下步骤：将第一模态图像通过第一生成器转换为第二模态图像；将第二模态图像与目标模态图像输入配准网络进行配准，得到形变场，其中，第二模态图像与目标模态图像的模态相同；基于形变场对第一模态图像进行配准。
处理器执行程序时还实现以下步骤：将形变场通过空间变压网络作用在第二模态图像上，得到配准的结果；将配准的结果进行逆向循环变换，通过第二生成器转换为第三模态图像；采用第三模态图像对第一模态图像进行配准，其中，第一模态图像与第三模态图像的模态相同。
处理器执行程序时还实现以下步骤：在将第一模态图像通过第一生成器转换为第二模态图像之后，将第二模态图像和目标模态图像通过编码器，得到编码后的结果；将编码后的结果输入辨别器进行分类，得到分类结果；基于分类结果，让辨别器与第一生成器形成对抗。
处理器执行程序时还实现以下步骤：编码后的结果中包括编码后的目标模态图像，在将编码后的结果输入辨别器进行分类，得到分类结果之后，对第二模态图像和编码后的目标模态图像的通道数进行堆叠操作。
处理器执行程序时还实现以下步骤：在对第二模态图像和编码后的目标模态图像的通道数进行堆叠操作之后，将第二模态图像和编码后的目标模态图像输入配准网络进行配准，得到形变场。
处理器执行程序时还实现以下步骤：编码器更新的梯度来自于辨别器的损失函数。
处理器执行程序时还实现以下步骤：对第一生成器和第二生成器采用综合配准一致性损失函数。
处理器执行程序时还实现以下步骤：第一生成器和第二生成器、辨别器和配准网络复用相同的编码器，以实现多模态图像的配准。
本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：将第一模态图像通过第一生成器转换为第二模态图像；将第二模态图像与目标模态图像输入配准网络进行配准，得到形变场，其中，第二模态图像与目标模态图像的模态相同；基于形变场对第一模态图像进行配准。
当在数据处理设备上执行时，还适于执行初始化有如下方法步骤的程序：将形变场通过空间变压网络作用在第二模态图像上，得到配准的结果；将配准的结果进行逆向循环变换，通过第二生成器转换为第三模态图像；采用第三模态图像对第一模态图像进行配准，其中，第一模态图像与第三模态图像的模态相同。
当在数据处理设备上执行时，还适于执行初始化有如下方法步骤的程序：在将第一模态图像通过第一生成器转换为第二模态图像之后，将第二模态图像和目标模态图像通过编码器，得到编码后的结果；将编码后的结果输入辨别器进行分类，得到分类结果；基于分类结果，让辨别器与第一生成器形成对抗。
当在数据处理设备上执行时，还适于执行初始化有如下方法步骤的程序：编码后的结果中包括编码后的目标模态图像，在将编码后的结果输入辨别器进行分类，得到分类结果之后，对第二模态图像和编码后的目标模态图像的通道数进行堆叠操作。
当在数据处理设备上执行时，还适于执行初始化有如下方法步骤的程序：在对第二模态图像和编码后的目标模态图像的通道数进行堆叠操作之后，将第二模态图像和编码后的目标模态图像输入配准网络进行配准，得到形变场。
当在数据处理设备上执行时，还适于执行初始化有如下方法步骤的程序：编码器更新的梯度来自于辨别器的损失函数。
当在数据处理设备上执行时，还适于执行初始化有如下方法步骤的程序：对第一生成器和第二生成器采用综合配准一致性损失函数。
当在数据处理设备上执行时，还适于执行初始化有如下方法步骤的程序：第一生成器和第二生成器、辨别器和配准网络复用相同的编码器，以实现多模态图像的配准。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (8)

1.一种多模态图像的配准方法，其特征在于，包括：
将第一模态图像通过第一生成器转换为第二模态图像；
将所述第二模态图像与目标模态图像输入配准网络进行配准，得到形变场，其中，所述第二模态图像与所述目标模态图像的模态相同；
基于所述形变场对所述第一模态图像进行配准；
其中，基于所述形变场对所述第一模态图像进行配准包括：
将所述形变场通过空间变压网络作用在所述第二模态图像上，得到配准的结果；
将所述配准的结果进行逆向循环变换，通过第二生成器转换为第三模态图像；
采用所述第三模态图像对所述第一模态图像进行配准，其中，所述第一模态图像与所述第三模态图像的模态相同；
其中，对所述第一生成器和所述第二生成器采用综合配准一致性损失函数；其中，所述综合配准一致性损失函数为
。
2.根据权利要求1所述的方法，其特征在于，在将第一模态图像通过第一生成器转换为第二模态图像之后，所述方法还包括：
将所述第二模态图像和所述目标模态图像通过编码器，得到编码后的结果；
将所述编码后的结果输入辨别器进行分类，得到分类结果；
基于所述分类结果，让所述辨别器与所述第一生成器形成对抗。
3.根据权利要求2所述的方法，其特征在于，所述编码后的结果中包括编码后的目标模态图像，在将所述编码后的结果输入辨别器进行分类，得到分类结果之后，所述方法还包括：
对所述第二模态图像和编码后的目标模态图像的通道数进行堆叠操作。
4.根据权利要求3所述的方法，其特征在于，将所述第二模态图像与目标模态图像输入配准网络进行配准，得到形变场包括：
在对所述第二模态图像和编码后的目标模态图像的通道数进行堆叠操作之后，将所述第二模态图像和所述编码后的目标模态图像输入所述配准网络进行配准，得到所述形变场。
5.根据权利要求2所述的方法，其特征在于，所述编码器更新的梯度来自于所述辨别器的损失函数。
6.一种多模态图像的配准装置，其特征在于，包括：
第一转换单元，用于将第一模态图像通过第一生成器转换为第二模态图像；
第一输入单元，用于将所述第二模态图像与目标模态图像输入配准网络进行配准，得到形变场，其中，所述第二模态图像与所述目标模态图像的模态相同；
第一配准单元，用于基于所述形变场对所述第一模态图像进行配准；
其中，第一获取模块，用于将形变场通过空间变压网络作用在第二模态图像上，得到配准的结果；第一转换模块，用于将配准的结果进行逆向循环变换，通过第二生成器转换为第三模态图像；第一配准模块，用于采用第三模态图像对第一模态图像进行配准，其中，第一模态图像与第三模态图像的模态相同；
其中，对所述第一生成器和所述第二生成器采用综合配准一致性损失函数；其中，所述综合配准一致性损失函数为
。
7.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至5中任意一项所述的方法。
8.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序执行权利要求1至5中任意一项所述的方法。
CN202110386157.2A 2021-04-09 2021-04-09 多模态图像的配准方法、装置、存储介质及处理器 Active CN113012204B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110386157.2A CN113012204B (zh) 2021-04-09 2021-04-09 多模态图像的配准方法、装置、存储介质及处理器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110386157.2A CN113012204B (zh) 2021-04-09 2021-04-09 多模态图像的配准方法、装置、存储介质及处理器

Publications (2)

Publication Number Publication Date
CN113012204A CN113012204A (zh) 2021-06-22
CN113012204B true CN113012204B (zh) 2024-01-16

Family

ID=76388201

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110386157.2A Active CN113012204B (zh) 2021-04-09 2021-04-09 多模态图像的配准方法、装置、存储介质及处理器

Country Status (1)

Country Link
CN (1) CN113012204B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113538606B (zh) * 2021-08-17 2022-07-22 数坤(北京)网络科技股份有限公司 图像关联方法、装置、计算机可读存储介质及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110163897A (zh) * 2019-04-24 2019-08-23 艾瑞迈迪科技石家庄有限公司 一种基于合成超声图像的多模态图像配准方法
CN110298871A (zh) * 2019-06-10 2019-10-01 东软医疗系统股份有限公司 图像配准方法及装置
CN111047629A (zh) * 2019-11-04 2020-04-21 中国科学院深圳先进技术研究院 多模态图像配准的方法、装置、电子设备及存储介质
CN111260741A (zh) * 2020-02-07 2020-06-09 北京理工大学 一种利用生成对抗网络的三维超声模拟方法及装置
CN111862174A (zh) * 2020-07-08 2020-10-30 清华大学深圳国际研究生院 一种跨模态医学图像配准方法及装置
CN112149634A (zh) * 2020-10-23 2020-12-29 北京百度网讯科技有限公司 图像生成器的训练方法、装置、设备以及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10636141B2 (en) * 2017-02-09 2020-04-28 Siemens Healthcare Gmbh Adversarial and dual inverse deep learning networks for medical image analysis
US10842445B2 (en) * 2018-11-08 2020-11-24 General Electric Company System and method for unsupervised deep learning for deformable image registration
US11158069B2 (en) * 2018-12-11 2021-10-26 Siemens Healthcare Gmbh Unsupervised deformable registration for multi-modal images

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110163897A (zh) * 2019-04-24 2019-08-23 艾瑞迈迪科技石家庄有限公司 一种基于合成超声图像的多模态图像配准方法
CN110298871A (zh) * 2019-06-10 2019-10-01 东软医疗系统股份有限公司 图像配准方法及装置
CN111047629A (zh) * 2019-11-04 2020-04-21 中国科学院深圳先进技术研究院 多模态图像配准的方法、装置、电子设备及存储介质
CN111260741A (zh) * 2020-02-07 2020-06-09 北京理工大学 一种利用生成对抗网络的三维超声模拟方法及装置
CN111862174A (zh) * 2020-07-08 2020-10-30 清华大学深圳国际研究生院 一种跨模态医学图像配准方法及装置
CN112149634A (zh) * 2020-10-23 2020-12-29 北京百度网讯科技有限公司 图像生成器的训练方法、装置、设备以及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
jingfan Fan et al.Adversarial learning for mono-or multi-modal registration.《Medical Image Analysis》.2019,全文. *
Zhe Xu et al.Adversarial Uni- and Multi-modal Stream Networks for Multimodal Image Registration.《Medical Image Computing and Computer Assisted Intervention – MICCAI 2020》.2020,全文. *

Also Published As

Publication number Publication date
CN113012204A (zh) 2021-06-22

Similar Documents

Publication Publication Date Title
Zheng et al. Structure from motion using structure-less resection
KR102359474B1 (ko) 뉴럴 네트워크를 이용한 결측 영상 데이터 대체 방법 및 그 장치
Zhu et al. Parallel structure from motion from local increment to global averaging
Ferreira et al. POSITIVE DEFINITENESS, REPRODUCING KERNEL HILBERT SPACES AND BEYOND.
Chen et al. Improving monocular depth estimation by leveraging structural awareness and complementary datasets
CN112258625B (zh) 基于注意力机制的单幅图像到三维点云模型重建方法及系统
Bae et al. Deep multi-view stereo for dense 3D reconstruction from monocular endoscopic video
CN113012204B (zh) 多模态图像的配准方法、装置、存储介质及处理器
CN110689561A (zh) 基于模块化gan的多模态mri与多模态ct的转换方法、系统及介质
CN112862738B (zh) 多模态图像的合成方法、装置、存储介质及处理器
CN114359360A (zh) 一种基于对抗的双向一致性约束医学图像配准算法
CN110874855B (zh) 一种协同成像方法、装置、存储介质和协同成像设备
Thomas et al. Light-weight spatio-temporal graphs for segmentation and ejection fraction prediction in cardiac ultrasound
Lu et al. Paraformer: Parallel attention transformer for efficient feature matching
Zhang et al. Unsupervised learning of monocular depth and ego-motion with space–temporal-centroid loss
CN113378715B (zh) 一种基于彩色人脸图像的活体检测方法及相关设备
CN113935895A (zh) 医学图像的处理方法、装置、存储介质及处理器
CN114445471A (zh) 基于多标准融合的多模态医学图像配准方法及系统
CN113888498A (zh) 图像异常检测方法、装置、电子设备及存储介质
Prasanna et al. Squeeze Excitation Embedded Attention U-Net for Brain Tumor Segmentation
CN113408511B (zh) 一种确定注视目标的方法、系统、设备及存储介质
CN117523244B (zh) 一种多视图聚类方法、系统、电子设备及存储介质
CN117670951A (zh) 基于多模态交叉注意力机制的膝关节图像配准方法及装置
CN113487604B (zh) 对应点推荐方法、装置、计算机可读存储介质与处理器
Wen et al. Context Matters: Cross-Domain Cell Detection in Histopathology Images via Contextual Regularization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant