CN102999938A - 多模态体积图像的基于模型的融合的方法和系统 - Google Patents

Abstract

本发明涉及多模态体积图像的基于模型的融合的方法和系统。公开了一种用于多模态体积图像的融合的方法和系统。接收使用第一成像模态来捕获的第一图像。接收使用第二成像模态来捕获的第二图像。根据第一和第二图像联合地估计模型和目标解剖结构的模型以及变换。该模型表示目标解剖结构在第一图像中的模型，并且变换将目标解剖结构在第二图像中的模型投影到第一图像中的模型。第一和第二图像能够基于经过估计的变换来融合。

Description

多模态体积图像的基于模型的融合的方法和系统

本申请要求2011年3月9日提交的美国临时申请No.61/451,006的权益，该美国临时申请的公开内容在此通过引用结合于此。

技术领域

本发明涉及多模态体积医学图像的融合，并且更特别地，涉及术前和术中体积医学图像的基于模型的融合。

背景技术

近年来，心脏治疗的主要趋势已朝向微创经导管过程，以减少利用传统外科技术所涉及的风险。不是全胸骨切开术，而是器材和设备通过小切口被引入，通过脉管前进，并且被定位来执行各种过程。在不需要直接接入和观察受影响的结构的情况下，这样的介入通常在所谓的混合手术室(配备有高级成像装备的手术室)中被执行。使用这样的高级成像装备，诸如经导管主动脉瓣置换术(TAV)的过程经由通过C-臂X射线和经食管超声心动图系统所提供的实时术中图像来引导。

照惯例，医学图像分析领域已集中在根据成熟的诊断成像模态(例如，计算机断层扫描(CT)和磁共振(MR))来构造患者特定的解剖模型，以帮助疾病分析和治疗计划。例如，在瓣膜病管理的环境中，已提出用于在CT和/或MR图像中构建主动脉和二尖瓣的模型的技术。然而，这样的技术还未被开发来应对术中图像的降低的质量和对比度特征。因此，这样的技术的使用被限于术前决策。

发明内容

本发明提供一种用于通过根据多个成像模态来联合地估计解剖模型而融合术前和术中图像信息的方法和系统。术前和术中图像信息的融合允许高质量的患者特定的模型被集成到手术室的成像环境中，以引导心脏介入。本发明的实施方式通过依靠机器学习技术来实现稳健性(robustness)和效率，以驱动联合估计过程，由此利用了多个成像模态之间的相似性。本发明的实施方式采用在概率估计框架之内的统计学解剖模型，以确保生理适应的结果(physiological compliant result)。

在本发明的一个实施方式中，接收使用第一成像模态来捕获的第一图像，以及接收使用第二成像模态来捕获的第二图像。根据第一和第二图像联合地估计模型和目标解剖结构的模型以及变换。该模型表示目标解剖结构在第一图像中的模型，而变换将目标解剖结构在第二图像中的模型投影到第一图像中的模型。第一和第二图像能够基于所估计的变换进行融合。

附图说明

参照如下详细描述和附图，本发明的这些以及其它优点对于本领域普通技术人员将是显而易见的。

图1图示了依照本发明实施方式的用于多模态图像的基于模型的融合的方法；

图2图示了多模态图像的基于模型的融合的概观；

图3图示了依照本发明实施方式的用于联合地估计第一和第二多模态图像中的模型和变换的方法；

图4图示了使用图3的方法来估计模型和变换的基于模型的融合方法；

图5图示了示例性的多模态图像融合结果；以及

图6是能够实施本发明的计算机的高级框图。

具体实施方式

本发明涉及多模态体积图像的基于模型的融合。本发明的实施方式可以被用于融合多个成像模态中的图像信息，诸如融合计算机断层扫描(CT)、Dyna CT、超声心动图数据、荧光透视图像(fluoroscopic image)数据以及磁共振成像(MRI)中的图像信息。在此描述本发明的实施方式，以给出对基于模型的图像融合方法的视觉理解。数字图像常常包括一个或多个对象(或形状)的数字表示。对象的数字表示在此常常在标识和操纵对象方面来描述。这样的操纵是在计算机系统的存储器或其他电路/硬件中完成的虚拟操纵。因此，应理解的是，本发明的实施方式可以在计算机系统之内使用存储在该计算机系统之内的数据来执行。

本发明的实施方式提供了一种用于多模态体积图像的基于模型的融合的方法。该方法的益处包括：完整性，通过利用被多个模态补充的信息；稳健性，通过利用来自多个模态的冗余信息来减少估计不确定性；以及融合，通过获得多个模态的模型敏感的集成。本发明的实施方式可以被应用于经导管瓣膜过程的术前和术中图像的基于模型的融合，但是本发明并不限于此。

图1图示了依照本发明的实施方式的用于多模态图像的基于模型的融合的方法。图1的方法在此被描述为融合术前和术中图像信息，但是本发明并不限于此。在步骤102，接收第一医学图像。该第一医学图像通过使用第一成像模态来捕获。该第一医学图像可以直接从图像捕获设备中接收到，诸如从CT扫描仪接收到。还可能通过从计算机系统的存储器或内存中加载所存储的医学图像而接收到第一医学图像。在有利的实施方式中，第一医学图像可以是患者的术前体积(3D)图像。例如，第一医学图像可以是术前CT或MR图像。

在步骤104，接收第二医学图像。该第二医学图像通过使用第二成像模态来捕获。该第二医学图像可以直接从图像捕获设备中接收到，诸如从C-臂图像捕获设备接收到。还可能通过从计算机系统的存储器或内存中加载所存储的医学图像而接收到第二医学图像。在有利的实施方式中，第二医学图像可以是患者的术中体积(3D)图像。例如，第二第一医学图像可以是在诸如经导管主动瓣膜置换术之类的手术期间从图像捕获设备接收到的术中C-臂CT图像或经食管超声心动图(TEE)图像。

在步骤106，在第一和第二图像中联合地估计目标解剖结构的解剖模型。第一和第二图像中的联合地估计的解剖模型可被表达为模型和变换。模型对应于该目标解剖结构在第一图像中的经过估计的解剖模型，而变换将第二图像中的经过估计的解剖模型投影到第一图像中的经过估计的解剖模型。在将术前3D图像和术中3D图像融合的情况下，该步骤联合地估计目标结构的术前和术中模型，以便提供术前和术中图像信息的模型敏感的集成。

图2图示了多模态图像的基于模型的融合的概观。图2的实例联合地估计了术前和术中图像数据中的主动脉瓣模型。如图2中所示，以统计学主动脉瓣模型202开始，目的是根据体积数据集I₁和I₂估计3D解剖学的患者特定模型M和变换φ，其中I₁是术前图像204以及I₂是术中图像206，所述变换φ将术中模型M₂映射到术前模型M₁。在图2中，联合地估计的患者特定模型M在所融合的图像208中被示出。最优的联合地估计的患者特定模型和变换可以被表达为：

$(\widehat{\mathrm{\φ}},\hat{M})=\arg \underset{M,\mathrm{\φ}}{\max }\log P(M,\mathrm{\φ}|I_1,I_2)---\left(1\right)$

其中φ由仿射变换A和非线性卷绕变换(warping transformation)D组成，φ＝DA。D模拟了由于术前和术中数据之间的在捕获阶段中的呼吸及不确定性而产生的M的小变形。模型M被表示为点分布模型。使用变换φ，术前和术中模型M₁和M₂被表达为：

M＝M₁ M＝DAM₂ M₂＝A^-1D^-1M。    (2)

通常，方程(1)产生没有解析解的方程组。如下面的方程(3)中所示的那样，该问题能够通过展开式子和利用独立性来近似。此外，添加形状约束项(term)来将经过估计的模型M限制到根据被注解的训练样本的数据库学习到的形状空间。因此，该问题可以被表达为：

$(\widehat{\mathrm{\φ}},\hat{M})=\arg \underset{M,\mathrm{\φ}}{\max }\log (P\left(M\right|I_1)\·P\left(M\right|\mathrm{\φ}\left(I_2\right))\·P\left(M\right|I_1,\mathrm{\φ}\left(I_2\right))\·P(M,\mathrm{\φ}|\mathrm{\μ},\mathrm{\Σ})).---\left(3\right)$

使用稳健的基于学习的算法来对方程(3)的式子中的所有概率进行建模。第一项P(M|I₁)和第二项P(M|φ(I₂))限定了在相应的多模态图像I₁和I₂中的独立模型估计。使用相应的训练过的分类器来估计这些后验概率中的每个。在有利的实施方案中，每个分类器都可以基于被注解的训练数据使用概率推进树(PBT)和哈尔(Haar)特征来进行训练，以估计后验概率。M的模型参数也基于联合概率项P(M|I₁，φ(I₂))来选择，该联合概率项P(M|I₁，φ(I₂))利用了多模态图像中的模型之间的相似性。变换φ被建模为具有高斯径向基函数的卷绕变换。该高斯径向基函数的控制点的数目远远小于M的形状点的数目。基于根据被注解的训练数据所学习到的被限定为具有均值μ和协方差矩阵∑的高斯分布的所学习到的统计学形状模型，最后项P(M，φ|μ，∑)表示形状M和变换φ的正则化。仿射变换A和非线性变换D均基于该正则项进行更新。因为模型估计在术前图像中更稳健，所以朝向术前模型M＝M₁施加偏差。在某个实施方式中，I₁表示CT图像，以及I₂表示TEE和/或C-臂CT图像。

在有利的实施方式中，基于模态的融合方法被应用到主动脉瓣模型的估计。如图2中所示，使用统计学主动脉瓣模型202来基于术前和术中图像数据联合地估计患者特定的主动脉瓣模型。使用两层来分层地对主动脉瓣进行建模。在粗级别(coarse level)上，主动脉瓣被表示为具有6个界标点(3个连合和3个铰链)的界标模型m。这些界标点限定了脉瓣的最重要的形态学和功能特性。更精细的层被限定为具有沿着36×20个参数方向展开的1440个点的点分布模型M。

联合项P(M|I₁，φ(I₂))应该利用多模态图像中的模型之间的相似性。尽管可能使用相似性功能、这样的互信息或互相关，但是本发明的有利实施方式采用了基于被注解的训练数据针对特定问题所学习的相似性度量。使用推进框架，以便训练一连串强分类器。每个强分类器F_强都包括k个弱分类器F_弱，所述弱分类器F_弱学习多对图像块I_S1∈I₁和I_S2∈I₂之间的相似性F_弱(I_S1，I_S2)。这些弱学习器基于类哈尔特征来构造，所述类哈尔特征从围绕M₁和M₂的网格点的矩形斑块(patch)I_S1和I_S2局部地被提取。该斑块尺寸对于这两个模态都是固定的。

弱学习器被建模为在2D特征空间上由特征响应h(I_S1)和h(I_S2)限定的2D分段常值函数。该2D特征空间被分离成相等的矩形非交叠区域。因此，来自这两个模态的特征响应都可以被量化成64×64面元(bin)，由此值在最小和最大特征响应h(I_S1)和h(I_S2)之间缩放。因此，

其中B和C是各个模态中的特征响应的面元数目，以及β_b，c表示与区域相关联的常数β_b，c。在有利的实施方案中，最优权重β_b，c可以通过拟合最小二乘回归函数来确定。在检测期间，每个弱分类器的概率都通过从图像块对中提取哈尔特征而被评估。基于特征响应，这些特征被分配给面元β_b，c，并乘以相对应的权重β_b，c。一连串强分类器F_强被训练，并且相似性函数的后验概率通过下式确定：

图3图示了根据本发明的实施方式的用于联合地估计第一和第二多模态图像中的模型和变换的方法。图3的方法提供了可以被用来实施图1的步骤106的更详细的方法。参照图3，在步骤302，在第一和第二图像中独立地检测界标。特别地，在第一和第二图像中的每个图像中，检测可被用来拟合目标解剖结构的点分布模型的解剖界标。例如，在其中在第一和第二图像中联合地估计主动脉瓣模型的实施方式中，在每个图像中都检测到3个连合点和3个铰链点。使用界标检测器来检测界标，其中所述界标检测器使用被注解的训练数据进行训练。在可能的实施方案中，根据被注解的训练数据使用概率推进树(PBT)和类哈尔特征来训练界标检测器。

图4图示了使用图3的方法的用于估计模型和变换的基于模型的融合方法。特别地，图4示出了术前图像402和术后图像404中的主动脉瓣模型和变换的联合估计。图像406和408分别示出了在术前图像402和术后图像404中所检测到的界标。

返回到图3，在步骤304，基于在第一和第二图像中所检测到的界标，估计最初的仿射变换。通过根据来自第一图像I₁的独立检测到的界标m₁和来自第二图像I₂的独立检测到的界标m₂计算最小二乘解来估计该仿射变换A。在图4中使用符号R来指示仿射(刚性)变换，并且应理解的是，A和R在此可交互地被使用来指示仿射或刚性变换。非线性卷绕变换D最初也被设置为恒等式，以致变换φ被初始化为最初的仿射变换A。

在步骤306，目标解剖结构的模型在第一图像中基于第一图像中的所检测到的界标而被初始化。界标与点分布模型之间的相关模型根据被注解的训练数据来学习。使用所学习到的相关模型，基于检测到的界标m₁而在第一图像I₁中初始化模型M。在步骤308，基于最初的仿射变换而将该模型投影到第二图像。特别地，由于非线性卷绕变换D被设置为恒等式，所以最初的变换φ等于最初的仿射变换A。使用最初的仿射变换A，在第一图像I₁中被初始化的模型M能被反投影到第二图像I₂。

在步骤310，基于单模态概率和联合概率，在第一和第二图像中联合地更新模型。在优化阶段(步骤310和312)中，使用迭代方法。在步骤310，分别在第一和第二图像I₁和I₂中，沿着模型M₁和M₂的表面法向采样候选N₁和N₂。即对于模型M₁和M₂中的每个点，都评估沿着垂直于模型点的线的候选点集。对于每个候选n₁∈N₁都评估概率P(M|I₁)，以及对于每个候选n₂₁∈N₂都评估概率P(M|φ(I₂))。在图4中，在图像410和412分别示出了基于术前图像的概率P(M|I₁)的计算和基于术中图像的概率P(M|φ(I₂))的计算。联合概率P(M|I₁，φ(I₂))使用经过训练的推进分类器(如上所述的那样被训练)来确定，以针对该模型的每个点都评估来自第一和第二图像的候选对。在图4中，联合概率的计算在图像414中示出。构造候选的叉积N₁×N₂，并且通过将单模态概率与联合概率项相乘来针对每个模型点选择最高可能的候选对(n_i，n_j)：

$(n_i,n_j)=\arg \underset{n_i,n_j}{\max }\log (P\left(n_i\right|I_1)\·P\left(n_j\right|\mathrm{\φ}\left(I_2\right))\·P(n_i,n_j|I_1,\mathrm{\φ}\left(I_2\right))).---\left(6\right)$

所估计的候选对被用于更新模型M₁和M₂。

在步骤312，基于目标解剖结构的所学习到的统计学形状模型来正则化模型和变换。在该步骤，M和φ的后验概率P(M，φ|μ，∑)基于所学习到的统计学形状模型来计算。在图4中，主动脉瓣模型的P(M，φ|μ，∑)的计算在图像416中示出。这可以被理解为对根据被注解的训练数据所学习到的统计学形状模型的形状的正则化。因此，通过使用最大40个特征向量将M₁投射到主成分分析(PCA)形状空间来更新模型M。通过基于所估计的候选对(n_i，n_j)的后验概率计算刚性(仿射)变换A来更新变换φ。通过使用径向基函数计算卷绕变换

的最小二乘解来更新非线性卷绕变换D。因此，控制点的数目远远小于M的形状点的数目。

在步骤314，确定模型和变换是否已经收敛。如果模型和变换仍然没有收敛，则方法返回到步骤310。因此，步骤310和312被迭代，直到模型和变换收敛。该算法通常在小数目步骤内收敛。如果模型和变换在步骤314已经收敛，则该方法继续到步骤316。在步骤316，输出模型和变换。如图4中所示，在被融合的图像418中显示模型M，该被融合的图像418通过使用变换φ将术前图像402与术中图像404组合来进行融合。

返回到图1，在步骤108，输出被融合的图像。该被融合的图像通过使用所估计的变换而根据第一和第二图像来生成。通过使用变换以及将第一图像与经过变换的第二图像相组合来将第二图像配准到第一图像，生成该被融合的图像。即，被融合的图像按照I₁+φ(I₂)来生成。可以通过显示该被融合的图像，例如在计算机系统的显示器上显示该被融合的图像，输出该被融合的图像。该被融合的图像的显示可包括根据第一和第二图像联合地估计的目标解剖结构的模型。例如，图2示出了示例性的被融合的图像208，该被融合的图像208包括通过融合术前图像和术中图像而生成的经过估计的主动脉瓣模型M。

图5图示了使用图1和3的方法的示例性的多模态图像融合结果。如图5中所示，图像500和510是被融合的CT-TEE图像，这些被融合的CT-TEE图像示出了相应的经过估计的主动脉瓣模型502和512。图像520和530是示出了相应的经过估计的主动脉瓣模型522和532的被融合的CT-3D C-臂CT图像。

上面描述的用于多模态图像的基于模型的融合的方法可以在计算机上使用熟知的计算机处理器、内存单元、存储设备、计算机软件以及其它组件来实施。在图6中图示了这样的计算机的高级框图。计算机602包括处理器604，该处理器604通过执行限定这样的操作的计算机程序指令而控制计算机602的整个操作。计算机程序指令可以被存储在存储设备612(例如，磁盘)中并且当期望执行计算机程序指令时被加载到内存610中。因此，图1和3的方法的步骤可以通过存储在内存610和/或存储器612中的计算机程序指令来限定，并且通过执行计算机程序指令的处理器604来控制。图像捕获设备620(诸如C-臂图像捕获系统、CT扫描仪等)可以被连接到计算机602，以将图像数据输入到计算机602。可能的是，将图像捕获设备620和计算机602实施为一个设备。还可能的是，图像捕获设备620和计算机602通过网络以无线方式通信。计算机602还包括一个或多个网络接口606，用于经由网络与其它设备进行通信。计算机602还包括使得用户能够与计算机602进行交互的其它输入/输出设备608(例如，显示器、键盘、鼠标、扬声器、按钮等等)。这样的输入/输出设备608可与计算机程序集结合作为注解工具来使用，以注解从图像捕获设备620接收到的体积。本领域技术人员将意识到，实际计算机的实施方案也可以包括其它组件，并且图6是用于说明性目的的这样的计算机的组件中的一些的高级表示。

前述的具体实施方式应被理解为在每个方面都是说明性的和示例性的，但是不是限制性的，并且在此公开的本发明的范围并不由具体实施方式来确定，而是由如根据专利法所允许的完整宽度所解释的权利要求书来确定。应理解的是，在此所示出的和描述的实施方式仅仅图解了本发明的原理，并且在不脱离本发明的范围和精神的情况下，本领域技术人员可以实施各种修改。本领域技术人员在不脱离本发明的范围和精神的情况下可以实施各种其它特征组合。

Claims (32)

1.一种用于多模态图像的融合的方法，其包括：

接收使用第一成像模态来捕获的第一图像；

接收使用第二成像模态来捕获的第二图像；以及

根据第一和第二图像联合地估计模型和目标解剖结构的模型以及估计变换。

2.权利要求1的方法，其中，目标解剖结构的模型包括目标解剖结构在第一图像中的第一模型，以及变换包括将目标解剖结构在第二图像中的第二模型投影到目标解剖结构的第一模型的变换。

3.权利要求2的方法，其中，变换包括仿射变换和非线性卷绕变换。

4.权利要求1的方法，进一步包括：

通过使用变换而根据第一和第二图像生成被融合的图像。

5.权利要求1的方法，其中，根据第一和第二图像联合地估计模型和目标解剖结构的模型以及估计变换的步骤包括：

在第一和第二图像中的每个图像中独立地检测界标；

使用第一和第二图像中所检测到的界标来估计最初的变换；

基于在第一图像中检测到的界标初始化第一图像中的模型；

使用最初的变换初始化第二图像中的所投影的模型；以及

至少基于针对模型和所投影的模型的相对应的点所检测到的联合概率更新模型和变换。

6.权利要求5的方法，其中，至少基于针对模型和所投影的模型的相对应的点所检测到的联合概率更新模型和变换的步骤包括：

基于针对模型和所投影的模型上的每个点所计算的相应单模态概率和针对模型和所投影的模型上的相对应的点所计算的联合概率，更新模型和所投影的模型的点；以及

基于目标解剖结构的所学习到的统计学形状模型，正则化模型和变换。

7.权利要求6的方法，其中，基于针对模型和所投影的模型上的每个点所计算的相应单模态概率和针对模型和所投影的模型上的相对应的点所计算的联合概率来更新模型和所投影的模型的点的步骤包括：对于模型的每个点，

沿着垂直于模型上点的线在第一图像中采集多个候选，以及沿着垂直于所投影的模型上的相对应的点的线在第二图像中采集多个候选；

使用相应的经过训练的检测器，计算针对第一图像中的多个候选中的每个和第二图像中的多个候选中的每个的单模态概率；

使用经过训练的推进分类器来计算针对第一和第二图像中的每个可能的候选对的联合概率；以及

通过乘以第一图像中的候选的单模态概率、第二图像中的候选的单模态概率以及候选对的联合概率，计算针对第一和第二图像中的每个可能候选对的总概率；以及

选择第一和第二图像中具有最高总概率的候选对。

8.权利要求6的方法，其中，变换包括仿射变换和非线性卷绕变换，以及基于目标解剖结构的所学习到的统计学形状模型而正则化模型和变换的步骤包括：

基于所学习到的统计学形状模型，计算模型和变换的后验概率；

通过将模型投影到所学习到的统计学形状模型的主成分分析(PCA)形状空间来更新模型，以改进后验概率；

基于第一图像中的更新过的模型和第二图像中的所投影的模型，更新仿射变换和非线性卷绕变换。

9.权利要求6的方法，其中，至少基于针对模型和所投影的模型的相对应的点所检测到的联合概率来更新模型和变换的步骤进一步包括：

重复更新模型和所投影的模型的点以及正则化模型和变换的步骤，直到模型和变换收敛。

10.权利要求1的方法，其中，第一图像是术前图像，而第二图像是术中图像。

11.权利要求10的方法，其中，术前图像是计算机断层扫描(CT)图像，以及术中图像是C-臂CT图像和经食管超声心动图(TEE)图像中的一个。

12.权利要求1的方法，其中，目标解剖结构是主动脉瓣。

13.一种用于多模态图像的融合的设备，其包括：

用于接收使用第一成像模态来捕获的第一图像的装置；

用于接收使用第二成像模态来捕获的第二图像的装置；以及

用于根据第一和第二图像联合地估计模型和目标解剖结构的模型以及估计变换的装置。

14.权利要求13的设备，其中，目标解剖结构的模型包括目标解剖结构在第一图像中的第一模型，以及变换包括将目标解剖结构在第二图像中的第二模型投影到目标解剖结构的第一模型的变换。

15.权利要求14的设备，其中，变换包括仿射变换和非线性卷绕变换。

16.权利要求13的设备，进一步包括：

用于通过使用变换而根据第一和第二图像生成被融合的图像的装置。

17.权利要求13的设备，其中，用于根据第一和第二图像联合地估计模型和目标解剖结构的模型以及估计变换的装置包括：

用于在第一和第二图像中的每个图像中独立地检测界标的装置；

用于使用在第一和第二图像中检测到的界标来估计最初的变换的装置；

用于基于在第一图像中检测到的界标来初始化第一图像中的模型的装置；

用于使用最初的变换初始化第二图像中的所投射的模型的装置；以及

用于至少基于针对模型和所投影的模型的相对应的点检测到的联合概率来更新模型和变换的装置。

18.权利要求17的设备，其中，用于至少基于针对模型和所投影的模型的相对应的点检测到的联合概率来更新模型和变换的装置包括：

用于基于针对模型和所投影的模型上的每个点所计算的相应单模态概率和针对模型和所投影的模型上的相对应的点所计算的联合概率来更新模型和所投影的模型的点的装置；以及

用于基于目标解剖结构的所学习到的统计学形状模型来正则化模型和变换的装置。

19.权利要求18的设备，其中，用于基于针对模型和所投影的模型上的每个点所计算的相应单模态概率和针对模型和所投影的模型上的相对应的点所计算的联合概率来更新模型和所投影的模型的点的装置包括：针对模型的每个点，

用于沿着垂直于模型上的点的线在第一图像中采集多个候选以及沿着垂直于所投影的模型上的相对应的点的线在第二图像中采集多个候选的装置；

用于使用相应的经过训练的检测器来计算针对第一图像中的多个候选中的每个和第二图像中的多个候选中的每个的单模态概率的装置；

用于使用经过训练的推进分类器来计算针对第一和第二图像中的每个可能候选对的联合概率的装置；以及

用于通过乘以第一图像中的候选的单模态概率、第二图像中的候选的单模态概率以及候选对的联合概率来计算第一和第二图像中的每个可能候选对的总概率的装置；以及

用于选择第一和第二图像中具有最高总概率的候选对的装置。

20.权利要求18的设备，其中，变换包括仿射变换和非线性卷绕变换，以及用于基于目标解剖结构的所学习到的统计学形状模型来正则化模型和变换的装置包括：

用于基于所学习到的统计学形状模型来计算模型和变换的后验概率的装置；

用于通过将模型投影到所学习到的统计学形状模型的主成分分析(PCA)形状空间来更新模型以改进后验概率的装置；

基于第一图像中的更新过的模型和第二图像中的所投影的模型，更新仿射变换和非线性卷绕变换。

21.一种非瞬时性计算机可读介质，其利用用于多模态图像的融合的计算机可执行指令来编码，所述计算机可执行指令限定了包括如下步骤的方法：

接收使用第一成像模态来捕获的第一图像；

接收使用第二成像模态来捕获的第二图像；以及

根据第一和第二图像联合地估计模型和目标解剖结构的模型以及估计变换。

22.权利要求21的非瞬时性计算机可读介质，其中，目标解剖结构的模型包括目标解剖结构在第一图像中的第一模型，以及变换包括将目标解剖结构在第二图像中的第二模型投影到目标解剖结构的第一模型的变换。

23.权利要求22的非瞬时性计算机可读介质，其中，变换包括仿射变换和非线性卷绕变换。

24.权利要求21的非瞬时性计算机可读介质，其中，所述方法进一步包括：

通过使用变换而根据第一和第二图像来生成被融合的图像。

25.权利要求21的非瞬时性计算机可读介质，其中，根据第一和第二图像来联合地估计模型和目标解剖结构的模型以及估计变换的步骤包括：

在第一和第二图像中的每个图像中独立地检测界标；

使用在第一和第二图像中检测到的界标来估计最初的变换；

基于在第一图像中检测到的界标来初始化第一图像中的模型；

使用最初的变换来初始化第二图像中的所投影的模型；以及

至少基于针对模型和所投影的模型的相对应的点所检测到的联合概率来更新模型和变换。

26.权利要求25的非瞬时性计算机可读介质，其中，至少基于针对模型和所投影的模型的相对应的点检测到的联合概率来更新模型和变换的步骤包括：

基于针对模型和所投影的模型上的每个点所计算的相应单模态概率和针对模型和所投影的模型上的相对应的点所计算的联合概率，更新模型和所投影的模型的点；以及

基于目标解剖结构的所学习到的统计学形状模型，正则化模型和变换。

27.权利要求26的非瞬时性计算机可读介质，其中，基于针对模型和所投影的模型上的每个点所计算的相应单模态概率和针对模型和所投影的模型上的相对应的点所计算的联合概率来更新模型和所投影的模型的点的步骤包括：针对模型的每个点，

沿着垂直于模型上的点的线在第一图像中采集多个候选，以及沿着垂直于所投影的模型上的相对应的点的线在第二图像中采集多个候选；

使用相应的经过训练的检测器，计算针对第一图像中的多个候选的每个和第二图像中的多个候选的每个的单模态概率；

使用经过训练的推进分类器来计算第一和第二图像中的每个可能候选对的联合概率；以及

通过乘以第一图像中的候选的单模态概率、第二图像中的候选的单模态概率以及候选对的联合概率，计算针对第一和第二图像中的每个可能候选对的总概率；以及

选择第一和第二图像中具有最高总概率的候选对。

28.权利要求26的非瞬时性计算机可读介质，其中，变换包括仿射变换和非线性卷绕变换，并且基于目标解剖结构的所学习到的统计学形状模型来正则化模型和变换的步骤包括：

基于所学习到的统计学形状模型，计算模型和变换的后验概率；

通过将模型投影到所学习到的统计学形状模型的主成分分析(PCA)形状空间来更新模型，以改进后验概率；

基于第一图像中的更新过的模型和第二图像中的所投影的模型，更新仿射变换和非线性卷绕变换。

29.权利要求26的非瞬时性计算机可读介质，其中，至少基于针对模型和所投影的模型的相对应的点所检测到的联合概率来更新模型和变换的步骤进一步包括：

重复更新模型和所投影的模型的点以及正则化模型和变换的步骤，直到模型和变换收敛。

30.权利要求21的非瞬时性计算机可读介质，其中，第一图像是术前图像，而第二图像是术中图像。

31.权利要求30的非瞬时性计算机可读介质，其中，术前图像是计算机断层扫描(CT)图像，以及术中图像是C-臂CT图像和经食管超声心动图(TEE)图像中的一个。

32.权利要求21的方法，其中，目标解剖结构是主动脉瓣。

Images