CN110189369B - 一种超声与磁共振图像融合配准方法及终端设备 - Google Patents

一种超声与磁共振图像融合配准方法及终端设备 Download PDF

Info

Publication number
CN110189369B
CN110189369B CN201910485215.XA CN201910485215A CN110189369B CN 110189369 B CN110189369 B CN 110189369B CN 201910485215 A CN201910485215 A CN 201910485215A CN 110189369 B CN110189369 B CN 110189369B
Authority
CN
China
Prior art keywords
image
magnetic resonance
registration
ultrasonic
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910485215.XA
Other languages
English (en)
Other versions
CN110189369A (zh
Inventor
王毅
朱振宇
倪东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN201910485215.XA priority Critical patent/CN110189369B/zh
Publication of CN110189369A publication Critical patent/CN110189369A/zh
Application granted granted Critical
Publication of CN110189369B publication Critical patent/CN110189369B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/30—Assessment of water resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明公开了一种超声与磁共振图像融合配准方法及终端设备，所述方法包括：将待配准的磁共振图像和超声图像输入所述模态转换模型，以得到超声图像的第一转换图像和磁共振图像的第二转换图像；将所述超声图像和第二转换图像/所述磁共振图像和第一转换图像输入预设配准模型，以实现所述超声图像和磁共振图像配准。本发明通过预设的模态转换模型将第一超声图像和第一磁共振图像进行模态转换，并将输入的图像和经过模态转换后的图像通过该模块进行配准，这样将多模态配准转换为单模态配准，提高了多模态配准的配准速度。

Description

一种超声与磁共振图像融合配准方法及终端设备
技术领域
本发明涉及超声技术领域，特别涉及一种超声与磁共振图像融合配准方法及终端设备。
背景技术
前列腺是男性最大的附属性腺，亦属人体外分泌腺之一，位于膀胱与原生殖膈之间。细胞的基因突变会导致增殖失控，引起前列腺癌。目前，诊断前列癌的影像学诊断最常规的方法是超声成像(TRUS)和磁共振成像(MRI)，其中，前列腺超声能够实时的观察病灶，可用于引导穿刺手术，但图像中软组织间的区分度也不高且噪声大容易产生形变，导致假阴性较高；前列腺磁共振成像能清晰的反应前列腺的组织结构，清晰度较高，能准确定位到病灶位置，因此将患者前列腺的磁共振图像进行配准，可以获得更高的图像质量。
而在磁共振图像的成像过程中，由于呼吸、蠕动、膀胱充盈、重力等原因，患者的体位可能会发生变化，内部器官的位置可能会发生变化，在超声图像与磁共振图像的配准需要采用可形变的图像配准(DIR)。所述可形变配准采用在一对描述相似结构的n-D图像体之间建立了密集的非线性对应关系，以实现图像配准。但是，现有可形变配准只适用于单模态图像配置，而对于多模态配准鲁棒性较低。
发明内容
本发明要解决的技术问题在于，针对现有技术的不足，提供一种超声与磁共振图像融合配准方法及终端设备，以解决现有配准方法仅适用于的问题。
为了解决上述技术问题，本发明所采用的技术方案如下：
一种超声与磁共振图像融合配准方法，其包括：
构建用于磁共振图像和超声图像进行图像属性转换的模态转换模型；
将待配准的磁共振图像和超声图像输入所述模态转换模型，以得到超声图像的第一转换图像和磁共振图像的第二转换图像；
将所述超声图像和第二转换图像/所述磁共振图像和第一转换图像输入预设配准模型，以实现所述超声图像和磁共振图像配准。
所述超声与磁共振图像融合配准方法，所述构建用于磁共振图像和超声图像进行图像属性转换的模态转换模型具体包括：
将采集到的第一超声图像和第一磁共振图像将输入预设模神经网络，通过所述预设神经网络获取第一超声图像对应的第一融合图像和第一磁共振图像对应的第二融合图像；
将所述第一融合图像和第二融合图像输入所述预设神经网络，以得到第一融合图像对应的第二超声图像和第二融合图像对应的第二磁共振图像；
计算根据所述第二超声图像和第一超声图像、第二磁共振图像和第一磁共振图像的周期一致性，并根据所述周期一致性对所述预设神经网络进行训练，以得到所述模态转换模型。
所述超声与磁共振图像融合配准方法，其中，所述将采集到的第一超声图像和第一磁共振图像将输入预设模神经网络，通过所述预设神经网络获取第一超声图像对应的第一融合图像和第一磁共振图像对应的第二融合图像具体包括：
采集第一超声图像和第一磁共振图像，并将所述第一超声图像和第一磁共振图像输入预设神经网络；
通过所述预设神经网络提取第一超声图像和第一磁共振图像的图像内容和图像属性；
将获取到图像内容和图像属性进行交叉融合，以得到第一超声图像对应的第一融合图像和第一磁共振图像对应的第二融合图像。
所述超声与磁共振图像融合配准方法，其中，所述第一融合图像配置有第一超声图像的图像内容和第一磁共振图像的图像属性；所述第二融合图像配置有第一磁共振图像的图像内容和第一超声图像的图像属性。
所述超声与磁共振图像融合配准方法，其中，所述周期一致性为第二超声图像与第一超声图像的结构相似性以及第二磁共振图像和第一磁共振图像的结构相似性。
所述超声与磁共振图像融合配准方法，其中，所述将所述超声图像和第二转换图像/所述磁共振图像和第一转换图像输入预设配准模型，以实现所述超声图像和磁共振图像配准之前还包括：
获取第一超声图像和第一磁共振图像通过所述模态转换模型得到的第一融合图像和第二融合图像；
将第一超声图像和第二融合图像作为固定图像，将第一磁共振图像和第一融合图像作为移动图像，并将所述固定图像移动图像和移动图像初始卷积神经网络；
根据所述初始卷积神经网络确定所述移动图像的配准图像，并根据所述配置图像以及移动图像对所述初始卷积神经网络的网络参数进行更新，以得到预设配准模型。
所述超声与磁共振图像融合配准方法，其中，所述根据所述初始卷积神经网络确定固定图像的配准图像，并根据所述配置图像以及移动图像对所述初始卷积神经网络的网络参数进行更新，以得到预设配准模型具体包括：
根据所述初始神经网络确定固定图像对应的第一配置场和移动图像对应的第二配置场，并根据所述第一配置场和所述第二配置场确定配置场；
采用所述配置场更新所述初始神经网络的配置场，并通过更新后的初始神经网络确定移动图像的配准图像。
所述超声与磁共振图像融合配准方法，其中，所述第一超声图像和第一磁共振图像均为前列腺图像。
一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上任一所述的超声与磁共振图像融合配准方法中的步骤。
一种应用服务器，其包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；
所述通信总线实现处理器和存储器之间的连接通信；
所述处理器执行所述计算机可读程序时实现如上任一所述的超声与磁共振图像融合配准方法中的步骤。
有益效果：与现有技术相比，本发明提供了一种超声与磁共振图像融合配准方法及终端设备，所述方法包括：将待配准的磁共振图像和超声图像输入所述模态转换模型，以得到超声图像的第一转换图像和磁共振图像的第二转换图像；将所述超声图像和第二转换图像/所述磁共振图像和第一转换图像输入预设配准模型，以实现所述超声图像和磁共振图像配准。本发明通过预设的模态转换模型将第一超声图像和第一磁共振图像进行模态转换，并将输入的图像和经过模态转换后的图像通过该模块进行配准，这样将多模态配准转换为单模态配准，提高了多模态配准的配准速度。
附图说明
图1为本发明提供的超声与磁共振图像融合配准方法的流程图。
图2为本发明提供的超声与磁共振图像融合配准方法中模态转换模型的工作过程示意图。
图3为本发明提供的超声与磁共振图像融合配准方法中预设配准模型的工作过程示意图。
图4为本发明提供的一种应用自启动的控制系统较佳实施例的结构原理图。
具体实施方式
本发明提供一种超声与磁共振图像融合配准方法及终端设备，为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
下面结合附图，通过对实施例的描述，对发明内容作进一步说明。
本实施例提供了一种超声与磁共振图像融合配准方法，如图1-3所示，所述方法包括：
S10、构建用于磁共振图像和超声图像进行图像属性转换的模态转换模型。
具体地，所述模态转换模型用于分别获取磁共振图像的转换图像和超声图像的转换图。即将磁共振图像转换为超声图像模态，将超声图像窗户为磁共振模态。在本实施例中，所述模态转换模型通过解扰表达的方式将超声图像转换为磁共振属性图像，将磁共振图像转换为超声图像属性图像。所述模态状态模型通过解扰表达的方式对磁共振图像和超声图像进行学习，以建立超声图像与磁共振图像之间的多模映射。
示例性地，所述构建用于磁共振图像和超声图像进行图像属性转换的模态转换模型具体包括：
S11、将采集到的第一超声图像和第一磁共振图像将输入预设模神经网络，通过所述预设神经网络获取第一超声图像对应的第一融合图像和第一磁共振图像对应的第二融合图像；
S12、将所述第一融合图像和第二融合图像输入所述预设神经网络，以得到第一融合图像对应的第二超声图像和第二融合图像对应的第二磁共振图像；
S13、计算根据所述第二超声图像和第一超声图像、第二磁共振图像和第一磁共振图像的周期一致性，并根据所述周期一致性对所述预设神经网络进行训练，以得到所述模态转换模型。
具体地，在所述步骤S11中，所述预设神经网络为基于对抗神经网络并含有周期一致性损失的神经网络模型，所述预设神经网络将输入的第一超声图像和第一磁共振图像嵌入到两个空间中，所述两个空间分别为共享内容空间和图像属性空间(用于存储图像属性以及图像属性下的特有的图像信息)。也就是说，在预设神经网络输入第一超声图像后，将所述第一超声图像的内容进行拆分，拆分为共享图像内容和图像属性，将共享图像内容存储入内容空间，将图像属性存储入属性空间，以将所述第一超声图像嵌入到两个空间，同理将第一磁共振图像嵌入到两个空间。此外，在将超声图像和磁共振图像嵌入两个空间后，根据内容空间和属性空间的内容生成融合图像。
示例性地，所述将采集到的第一超声图像和第一磁共振图像将输入预设模神经网络，通过所述预设神经网络获取第一超声图像对应的第一融合图像和第一磁共振图像对应的第二融合图像具体包括：
S111、采集第一超声图像和第一磁共振图像，并将所述第一超声图像和第一磁共振图像输入预设神经网络；
S112、通过所述预设神经网络提取第一超声图像和第一磁共振图像的图像内容和图像属性；
S113、将获取到图像内容和图像属性进行交叉融合，以得到第一超声图像对应的第一融合图像和第一磁共振图像对应的第二融合图像。
具体地，所述第一融合图像配置有第一超声图像的图像内容和第一磁共振图像的图像属性；所述第二融合图像配置有第一磁共振图像的图像内容和第一超声图像的图像属性。也就是说，所述预设神经网络将超声图像的图像内容与磁共振的图像属性进行融合，将磁共振图像的图像内容与超声图像的图像属性进行融合。同时在本实施例中，所述预设神经网络可以包括两个内容编码器
Figure BDA0002085174570000071
两个属性编码器/>
Figure BDA0002085174570000072
以及两个生成器{Gm,Gu}，所述/>
Figure BDA0002085174570000073
分别表示从磁共振图像m中提取的图像内容和图像属性，/>
Figure BDA0002085174570000074
分别表示从超声图像u中提取的图像内容和图像属性，图像内容表示图像的内容是前列腺，图像属性表示图像的模态属性(图像类型)。其中，所述内容编码器/>
Figure BDA0002085174570000075
将磁共振图像映射到内容空间/>
Figure BDA0002085174570000076
属性编码器/>
Figure BDA0002085174570000077
将磁共振图像映射到属性空间/>
Figure BDA0002085174570000078
生成器Gm生成基于内容空间C和属性空间Am的第二图像(Gm:{C,Am}→m1)。所述内容编码器
Figure BDA0002085174570000081
将超声图像映射到内容空间/>
Figure BDA0002085174570000082
属性编码器/>
Figure BDA0002085174570000083
将磁共振图像映射到属性空间/>
Figure BDA0002085174570000084
生成器Gu生成基于内容空间C和属性空间Au的第二图像(Gu:{C,Au}→u1)。
进一步，在所述步骤S13中，所周期一致性是根据所述第一超声图像和根据第一超声图像的第一融合图像得到的第二超声图像，以及第一磁共振图像和根据第一磁共振图像的第二融合图像得到的第二磁共振图像构建的。其中，周期一致性分为前向转换和反向转换，在前向转换中给定一对磁共振图像和超声图像，通过编码器生成
Figure BDA0002085174570000085
和
Figure BDA0002085174570000086
然后通过交换属性来执行第一次转换(例如/>
Figure BDA0002085174570000087
)来生成{x，y}，其中x∈M,y∈U,
Figure BDA0002085174570000088
Figure BDA0002085174570000089
所述反向转换为分别对x和y通过编码器转换成
Figure BDA00020851745700000810
和/>
Figure BDA00020851745700000811
通过再次交换属性表示来执行第二次转换得到第二磁共振图像和第二超声图像，分别表示为
Figure BDA00020851745700000812
Figure BDA00020851745700000813
所述周期一致性为转换后的
Figure BDA00020851745700000814
与其对应的第一磁共振图像和/>
Figure BDA00020851745700000815
与其对应的第一超声图像的相似性的平均值，其中，所述周期一致性损失L可以表示为
Figure BDA00020851745700000816
进一步，该阈值的测量方式是结构相似性(SSIM)，所述相似性的阈值优选为85％，也就是说，当转换后的
Figure BDA00020851745700000817
与其对应的第一磁共振图像和/>
Figure BDA00020851745700000818
与其对应的第一超声图像的相似性的平均值达到85％时，可以确定神经网络训练完成。
S0、将待配准的磁共振图像和超声图像输入所述模态转换模型，以得到超声图像的第一转换图像和磁共振图像的第二转换图像。
具体地，将第一磁共振图像通过
Figure BDA0002085174570000091
第一超声图像通过/>
Figure BDA0002085174570000092
得打各种对应的共享图像内和图像属性，并在获取到共享图像内容和想属性后通过生成器Gm和Gu生成超声图像的第一转换图像和磁共振图像的第二转换图像。
S30、将所述超声图像和第二转换图像/所述磁共振图像和第一转换图像输入预设配准模型，以实现所述超声图像和磁共振图像配准。
具体地，所述预设配准模型用于将根据所述超声图像、第二转换图像磁共振图像和第一转换图对超声图像和磁共振图像进行图像配准。即将超声图像与转换到超声属性下的磁共振图像进行配准，实现了将多膜属性转换到单模属性下配准，提高了配准的效率以及准确性。
示例性地，所述将所述超声图像和第二转换图像/所述磁共振图像和第一转换图像输入预设配准模型，以实现所述超声图像和磁共振图像配准之前还包括：
获取第一超声图像和第一磁共振图像通过所述模态转换模型得到的第一融合图像和第二融合图像；
将第一超声图像和第二融合图像作为固定图像，将第一磁共振图像和第一融合图像作为移动图像，并将所述移动图像和固定图像初始卷积神经网络；
根据所述初始卷积神经网络确定移动图像的配准图像，并根据所述配置图像以及固定图像对所述初始卷积神经网络的网络参数进行更新，以得到预设配准模型。
具体地，所述固定图像F和移动图像M为训练样本，并在固定图像F和移动图像为输入相符，基于卷积神经网络(CNN)可以建立用于计算配准场的函数gθ(F,M)＝φ，其中φ表示配准场，θ表示神经网络g可学习的网络参数。对于固定图像中的每个像素p,φ(p)是移动图像中与其相似的像素，即F(p)可通过空间变换到M(φ(p))。那么在输入一组图像M和F，基于预设网络参数θ的卷积神经网络可以计算得到配准场φ值。具体地，可以利用空间变换函数使F(p)转换为M(φ(p))，并根据M(φ(p))和F(p)的相似性更新θ值以初始卷积神经网络，其中，所述最优参数θ是通过随机梯度下降法获取的。
此外，模态转换后的M和F作为输入向，配准模型对应的函数g可以根据M中图像和F中以其对应的图像计算得到一个配准场。将M中图像和F中以其对应的图像连接到一个C通道的图像中，得到单个输入。在本实施例中，所述配准模型为卷积神经网络，所述卷积神经网络包括编码器和解码器，所述编码器和解码器均包括卷积层，池化层以及Leaky ReLU激活函数,其中卷积层卷积核的大小为3×3×3。所述卷积层捕获输入图像的分层特性来估计对应φ。在编码器中，使用步长卷积将空间维度减半，直到达到最小的层，类似于传统图像配准工作中使用的图像金字塔。在解码阶段，我们交替进行上采样、卷积、然后是LeakyReLU激活和连接跳过，跳跃连接将在编码阶段学到的特性直接传播到生成配准的层，输出配准场φ。
进一步，所述配准模块输入对象包括两组图像，从而可以计算得到两个配准场，从而在获取到两个配准场之后将两个配准场的均值作为所述输入对象对应的配准场，并将固定图像作为空间变化对象进行空间转换以生成配准图像。相应的，所述根据所述初始卷积神经网络确定移动图像的配准图像，并根据所述配置图像以及固定图像对所述初始卷积神经网络的网络参数进行更新，以得到预设配置模型具体包括：根据所述初始神经网络确定移动图像对应的第一配置场和固定图像对应的第二配置场，并所述第一配置场和第二配置场确定配置场；采用所述配置场更新所述初始神经网络的配置场，并通过更新后的初始神经网络确定移动图像的配准图像。
基于上述超声与磁共振图像融合配准方法，本发明还提供了计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上述实施例任意所述的超声与磁共振图像融合配准方法中的步骤。
基于上述超声与磁共振图像融合配准方法，本发明还提供了一种终端设备，如图4所示，其包括至少一个处理器20；显示屏21；以及存储器22，还可以包括通信接口23和总线24。其中，处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑指令，以执行上述实施例中的方法。
此外，上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
存储器22作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令或模块。处理器20通过运行存储在存储器22中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。
存储器22可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，U盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
此外，上述存储介质以及终端设备中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明，在这里就不再一一陈述。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (6)

1.一种超声与磁共振图像融合配准方法，其特征在于，其包括：
构建用于磁共振图像和超声图像进行图像属性转换的模态转换模型；
获取第一超声图像和第一磁共振图像通过所述模态转换模型得到的第一融合图像和第二融合图像；所述第一融合图像为第一超声图像的图像内容和第一磁共振图像的图像属性融合后的图像；所述第二融合图像为第一磁共振图像的图像内容和第一超声图像的图像属性融合后的图像；
将第一超声图像和第二融合图像作为固定图像，将第一磁共振图像和第一融合图像作为移动图像，并将所述移动图像和固定图像初始卷积神经网络；
根据所述初始卷积神经网络确定移动图像的配准图像，并根据所述配准图像以及固定图像对所述初始卷积神经网络的网络参数进行更新，以得到预设配准模型；
根据所述初始卷积神经网络确定移动图像对应的第一配准场和固定图像对应的第二配准场，并根据所述第一配准场和第二配准场确定配准场；
采用所述配准场更新所述初始卷积神经网络的配准场，并通过更新后的初始卷积神经网络确定移动图像的配准图像；
将待配准的磁共振图像和超声图像输入所述模态转换模型，以得到超声图像的第一转换图像和磁共振图像的第二转换图像；所述第一转换图像为包含超声图像内容的磁共振属性图像；所述第二转换图像为包含磁共振内容的超声图像属性图像；
将所述超声图像和第二转换图像和所述磁共振图像和第一转换图像输入预设配准模型，以实现所述超声图像和磁共振图像配准。
2.根据权利要求1所述超声与磁共振图像融合配准方法，其特征在于，所述构建用于磁共振图像和超声图像进行图像属性转换的模态转换模型具体包括：
将采集到的第一超声图像和第一磁共振图像将输入预设神经网络，通过所述预设神经网络获取第一超声图像对应的第一融合图像和第一磁共振图像对应的第二融合图像；
将所述第一融合图像和第二融合图像输入所述预设神经网络，以得到第一融合图像对应的第二超声图像和第二融合图像对应的第二磁共振图像；
根据所述第二超声图像和第一超声图像、第二磁共振图像和第一磁共振图像计算周期一致性，并根据所述周期一致性对所述预设神经网络进行训练，以得到所述模态转换模型；所述周期一致性为第二超声图像与第一超声图像的结构相似性以及第二磁共振图像和第一磁共振图像的结构相似性。
3.根据权利要求2所述超声与磁共振图像融合配准方法，其特征在于，所述将采集到的第一超声图像和第一磁共振图像将输入预设神经网络，通过所述预设神经网络获取第一超声图像对应的第一融合图像和第一磁共振图像对应的第二融合图像具体包括：
采集第一超声图像和第一磁共振图像，并将所述第一超声图像和第一磁共振图像输入预设神经网络；
通过所述预设神经网络提取第一超声图像和第一磁共振图像的图像内容和图像属性；
将获取到图像内容和图像属性进行交叉融合，以得到第一超声图像对应的第一融合图像和第一磁共振图像对应的第二融合图像。
4.根据权利要求1-3任意一项所述超声与磁共振图像融合配准方法，其特征在于，所述第一超声图像和第一磁共振图像均为前列腺图像。
5.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1-4任意一项所述的超声与磁共振图像融合配准方法中的步骤。
6.一种应用服务器，其特征在于，包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；
所述通信总线实现处理器和存储器之间的连接通信；
所述处理器执行所述计算机可读程序时实现如权利要求1-4任意一项所述的超声与磁共振图像融合配准方法中的步骤。
CN201910485215.XA 2019-06-05 2019-06-05 一种超声与磁共振图像融合配准方法及终端设备 Active CN110189369B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910485215.XA CN110189369B (zh) 2019-06-05 2019-06-05 一种超声与磁共振图像融合配准方法及终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910485215.XA CN110189369B (zh) 2019-06-05 2019-06-05 一种超声与磁共振图像融合配准方法及终端设备

Publications (2)

Publication Number Publication Date
CN110189369A CN110189369A (zh) 2019-08-30
CN110189369B true CN110189369B (zh) 2023-06-13

Family

ID=67720557

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910485215.XA Active CN110189369B (zh) 2019-06-05 2019-06-05 一种超声与磁共振图像融合配准方法及终端设备

Country Status (1)

Country Link
CN (1) CN110189369B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111091589B (zh) * 2019-11-25 2023-11-17 北京理工大学 基于多尺度监督学习的超声和核磁图像配准方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104055536A (zh) * 2014-04-25 2014-09-24 深圳大学 一种超声与磁共振图像融合配准方法
CN109272443A (zh) * 2018-09-30 2019-01-25 东北大学 一种基于全卷积神经网络的pet与ct图像配准方法
CN109598745A (zh) * 2018-12-25 2019-04-09 上海联影智能医疗科技有限公司 图像配准方法、装置和计算机设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102250086B1 (ko) * 2014-05-16 2021-05-10 삼성전자주식회사 의료 영상 정합 방법, 이를 포함하는 장치 및 컴퓨터 기록 매체

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104055536A (zh) * 2014-04-25 2014-09-24 深圳大学 一种超声与磁共振图像融合配准方法
CN109272443A (zh) * 2018-09-30 2019-01-25 东北大学 一种基于全卷积神经网络的pet与ct图像配准方法
CN109598745A (zh) * 2018-12-25 2019-04-09 上海联影智能医疗科技有限公司 图像配准方法、装置和计算机设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于动态融合蚁群遗传算法的医学图像配准;张石等;《计算机工程》;20080105(第01期);第227-229页 *

Also Published As

Publication number Publication date
CN110189369A (zh) 2019-08-30

Similar Documents

Publication Publication Date Title
Song et al. Mis-slam: Real-time large-scale dense deformable slam system in minimal invasive surgery based on heterogeneous computing
CN205665697U (zh) 基于细胞神经网络或卷积神经网络的医学影像识别诊断系统
WO2021184933A1 (zh) 一种人体三维模型重建方法
CN109598745B (zh) 图像配准方法、装置和计算机设备
US8861891B2 (en) Hierarchical atlas-based segmentation
CN112435341B (zh) 三维重建网络的训练方法及装置、三维重建方法及装置
CN110211079B (zh) 医学图像的融合方法及装置
CN114359360B (zh) 一种基于对抗的双向一致性约束医学图像配准算法
CN116402865B (zh) 一种利用扩散模型的多模态影像配准方法、装置和介质
WO2018112137A1 (en) System and method for image segmentation using a joint deep learning model
CN110189369B (zh) 一种超声与磁共振图像融合配准方法及终端设备
CN114219890A (zh) 一种三维重建方法、装置、设备及计算机存储介质
CN114387317B (zh) Ct图像和mri三维图像的配准方法、装置
CN116823625A (zh) 基于变分自编码器的跨对比度磁共振超分辨率方法和系统
CN112862727B (zh) 一种跨模态图像转换方法及装置
CN116704084B (zh) 人脸动画生成网络的训练方法、人脸动画生成方法及装置
US11460528B2 (en) MRI reconstruction with image domain optimization
CN111161330B (zh) 非刚性图像配准方法、装置、系统、电子设备、存储介质
CN112348811A (zh) 深度学习图像的配准方法、装置、电子设备及存储介质
CN115205487A (zh) 单目相机人脸重建方法及装置
CN112669450B (zh) 人体模型构建方法和个性化人体模型构建方法
CN115049764A (zh) Smpl参数预测模型的训练方法、装置、设备及介质
Sun et al. Assessing Cardiac Dynamics based on X-Ray Coronary Angiograms.
WO2020118616A1 (zh) 一种基于深度先验学习的头颈联合成像方法和装置
CN107799166B (zh) 医学成像系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant