CN102629376B - 图像配准 - Google Patents

Abstract

描述了图像配准。在一实施例中，图像配准系统执行图像(例如医学图像)的自动配准。在一示例中，计算要被配准的各图像中的每个图像的语义信息，所述语义信息包括关于这些图像中的物体的类型的信息和该信息的确信度。在一示例中，找到配准所述图像的映射，该映射考虑了图像元素的强度并以如下方式考虑了语义信息：按照该语义信息的确信度来加权。例如，通过使用回归树林来估算各解剖结构的位置的后验分布(posterior？distribution)并将该后验分布变换为概率图(probability？map)来计算该语义信息。在一示例中，该映射作为能量函数的全局拐点被找到，该能量函数具有与该语义信息有关的项。

Description

图像配准

技术领域

本发明涉及图像配准(imageregistration)。

背景技术

图像配准被用于许多应用领域，诸如医学应用、计算机辅助制造、机器人及其他。例如，同一场景的两个或更多个图像可能已在不同时刻和/或从不同查看点(viewpoint)和/或使用不同图像捕捉设备被捕捉。可能需要使这些图像配准以便检测到这些图像间的差异，这些差异不是该场景中的物体的姿势变化的结果和/或用于捕捉这些图像的图像捕捉设备的不同查看点的结果。

图像配准在医学应用领域尤其有用。例如，在诸如病人随访(follow-up)和手术或疗法计划等临床场景中。为了使医学专家能够以精确的方式比较医学图像，这些图像需要被配准以便去除病人的姿势变化。例如，所述配准可能导致两个医学图像中的相应解剖结构的对齐。

一直存在提高图像配准系统的准确度和稳健性以及减少图像配准所花的时间和所需的计算资源的需要。

以下描述的各实施例不限于解决已知图像配准系统的缺点中的任一个或全部的实现。

发明内容

下面呈现了本发明的简要概述，以便向读者提供基本理解。本发明内容不是本发明的详尽概述，并且不标识本发明的关键/重要元素，也不描述本发明的范围。其唯一的目的是以简化形式呈现此处所公开的一些概念，作为稍后呈现的更详细的描述的序言。

描述了图像配准。在一实施例中，图像配准系统执行图像(例如医学图像)的自动配准。在一示例中，计算要被配准的图像中的每个图像的语义信息，所述语义信息包括关于所述图像中的物体的类型的信息和该信息的确信度。在一示例中，找到配准所述图像的映射，该映射考虑了图像元素的强度并以如下方式考虑了语义信息：按照该语义信息的确信度来加权。例如，通过使用回归树林来估算各解剖结构的位置的该后验分布(posteriordistribution)并将该后验分布变换为概率图(probabilitymap)来计算该语义信息。在一示例中，该映射作为能量函数的全局拐点被找到，该能量函数具有与该语义信息有关的项。

通过结合附图参考以下具体实施方式，可更易于领会并更好地理解许多附带特征。

附图说明

根据附图阅读以下具体实施方式，将更好地理解本发明，在附图中：

图1是医学图像配准系统的示意图；

图2是要被配准的一对医学图像以及使用示意性地示出的两种类型的能量函数中的任何一种的示意图；

图3是医学图像配准系统处的图像配准的示例方法的流程图；

图4是决策树林的示例部分的示意图；

图5是用于估算器官位置的训练图像的示例；

图6是训练回归树林的示例方法的流程图；

图7是使用经训练的回归树林来预测器官位置的示例方法的流程图；

图8是计算概率图的示例方法的流程图；

图9是从输入图像计算的概率图的示例；

图10是图像配准的示例方法的流程图；

图11是经配准的图像的示例；

图12示出可在其中实现医学图像配准系统的实施例的示例性的基于计算的设备；

在各个附图中使用相同的附图标记来指代相同的部件。

具体实施方式

下面结合附图提供的具体实施方式旨在作为本发明示例的描述，并不旨在表示可以构建或使用本发明示例的唯一形式。本描述阐述了本发明示例的功能，以及用于构建和操作本发明示例的步骤的序列。然而，可以通过不同的示例来实现相同或等效功能和序列。

尽管此处将本发明示例描述和示出为在医学图像配准系统中实现，但是所述系统是作为示例而非限制提供的。本领域的技术人员将会意识到，本发明示例适合在各种不同类型的图像配准系统中应用。

下面的技术是参考医学图像描述的，医学图像可以是表示(人或动物的)身体的内部结构的两维或三维图像，或者这样的图像的序列。这些医学图像可以是表示人或动物的身体的内部结构的两维或更高维的体图像(volumetricimage)(或这样的图像的序列)。体图像是由体素(voxel)形成的。三维体图像中的体素类似于两维图像中的像素，并表示体的单位。

尽管是参考医学图像来描述的，然而下面描述的技术还可应用于其他领域，例如卫星数据的配准、声纳数据的配准、拓扑建模或其他计算机视觉过程。

术语“图像元素”在此处用于指两维图像中的像素、三维或更高维图像或随时间变化的图像序列中的体素、或诸如团(blob)、块(patch)或两个或更多个像素或体素的其他集合等像素或体素的组。每个图像元素具有与其相关联的一个或多个值。每个值表示诸如强度或颜色等属性。属性可以取决于生成该图像的医学图像设备的类型。在一示例中，图像强度可以与图像的给定部分处的组织的密度或存在于材料中的水的比例有关。

图1是包括计算机实现的图像配准系统106的医学图像配准系统的示意图。在一示例中，用户110(例如，医生)可能希望检查多个图像102、104，例如以进行病人随访或计划手术。

图像配准系统106被安排为拍摄两维或更高维的参考图像102和也是两维或更高维的目标图像104并执行变换以使第二个医学图像与第一个医学图像配准或反之亦然。在一示例中，参考图像和目标图像可以描绘同一个病人。可以使用不同的设备(例如，多模式的)或在不同时刻或从不同角度来拍摄图像。图像配准系统使得这些变化能够在医疗人员、其他用户或自动化过程比较这些图像之前被去除。

在一示例中，多个图像可以与参考图像配准。例如，医生可能希望使用例如X射线、计算断层摄影(CT)扫描和正电子发射断层摄影(PET)扫描来执行病人的多模式检查。一旦已使这些图像与参考图像配准，用户110能够将从图像配准系统106输出的经配准的图像108进行比较以寻找任何差异。例如，用户可能检查经配准的图像以寻找差异。在一示例中，经配准的图像108可以显示器官的大小和形状随时间的改变，这可以指示该器官的损伤、疾病或其他问题。多模式经配准图像还可以用于进一步的自动化分析。例如，科学数据挖掘或快速可视化。自动化的器官识别过程可以被应用于具有多模式特征的经配准图像以实现比在图像配准之前使用这样的器官识别过程更高的准确度。

在下面描述的一些示例中，图像至少是三维的，尽管这不是必要的。图像配准系统106还可以与两维图像一起使用。

图像配准过程可以用多种不同方式显示输出图像。在一示例中，经配准的图像108可以将参考图像102显示为黑白图像或彩色图像，而目标图像104作为等值线图(contourmap)或部分透明图覆盖其上。在另一示例中，经配准的图像可以被显示为图像序列。经配准的图像108可以按预先指定的方式显示，或者用户110可以选择显示图像的不同方式。例如，用户110可以选择首先将目标图像显示为参考图像上的等值线覆盖图，然后选择按照顺序显示这些图像中的两个或更多。例如，使图像闪烁。在一些实施例中，还可以通过例如改变颜色或透明度来显示所估算的图像配准中的不确信度。此不确信度值可以作为例如方差或标准偏差值来提供，并提供图像配准系统106多么确信目标图像104到参考图像102的配准是正确的的指示。

在一示例中，医学图像可以来自CT扫描仪100。然而，图像可以由许多类型的医学设备产生，诸如磁共振成像(MRI)扫描仪、计算断层摄影(CT)扫描仪、单光子发射计算断层摄影(SPECT)扫描仪、正电子发射断层摄影(PET)扫描仪和超声扫描仪。

图2是要被配准的一对医学图像以及示意性地示出的两种类型的能量函数的示意图。用于配准图像的许多常见技术将该线性配准问题设计为基于固有图像属性的全局能量函数，例如基于图像强度的能量函数E(I)，的最小化。在此技术的一示例中，可以使用能量函数204的最小化来使目标图像202与参考图像200配准。然而，仅基于图像强度而不使用有关图像内容的语义信息来最小化能量函数的算法的最小化步骤可能受困于局部最小值，从而导致不令人满意的结果。

在另一示例中，可以使用基于固有图像属性和其他语义信息的能量函数206E(I+语义信息)的优化来配准图像200、202。例如，语义信息可以是关于医学图像中的解剖结构或器官的类型的信息以及该信息的确信度。该语义信息可以是概率度量，例如器官位于图像的某一部分中的概率。在其他示例中，语义信息可以是分类信息、分段信息或关于该图像的内容的其他信息。添加语义信息作为能量函数中的项使得能够计算出具有要找到的被更清晰地定义的全局拐点(最小值或最大值)的能量函数，并且提高了图像配准的稳健性。

在一示例中，自动图像配准系统包括被安排为接收第一图像和第二图像的输入，这两个图像都有多个物体并且有一个物体的至少一部分是这两个图像共有的。例如，图像可以是病人的胸腔的两个医学图像，这两个医学图像都示出了病人的肺但是来自略微不同的查看点。该系统可以具有被安排为计算第一和第二图像中的每个的语义信息的处理器，该语义信息包括关于图像中的物体的类型的信息和该信息的确信度。在一些情况下，将关于图像内容的该语义信息作为(在下面更详细地描述的)概率图来提供。然而，其他格式可被用于语义信息。该处理器可进一步被安排为寻找配准第一和第二图像的映射，该映射考虑了各图像的图像元素的强度，并且还以如下方式考虑了语义信息：按照语义信息的确信度来加权。这带来了更好的图像配准质量。

在一示例中，自动图像配准的方法包括接收第一图像和第二图像，这两个图像都有多个物体并且一个物体的至少一部分是这两个图像共有的。对于第一和第二图像中的每一个，计算概率图，该概率图包括：对于每个图像元素，该图像元素含有特定物体的概率。然后可以通过优化能量函数来寻找配准第一和第二图像的映射，该能量函数是第一和第二图像的强度的函数，还是该概率图的函数。

图3是医学图像配准系统处的图像配准的示例方法的流程图。例如图1的图像配准系统。要被配准的图像300被输入到器官预测器302。器官预测器可以预测器官或其他解剖结构在图像中的位置。例如，器官预测器302可以被安排成为它所检测到的每个器官提供估算的区域或边界盒，以及相关联的不确信度。在输入图像是三维图像的一示例中，估算的区域是紧密包含或涵盖器官的体，它可以是盒或任何其他3D形式。在其他示例中，器官预测器可以被配置为将图像进行标记或分段。

在一实施例中，器官预测器包括回归树林。回归树林是包括多个经训练的回归树的全体分类器(ensembleclassifier)。许多经随机训练的回归树的全体(回归树林)相对于可能遭受过拟合(over-fitting)的单个树产生改进的泛化。回归树与分类树不同，因为回归树提供实数值连续输出，而不是物体所属的类。在训练过程期间，树的数量是固定的。在一个示例中，树的数量是三个，然而也可以使用其他值。对树的数量和这些树的深度的选择取决于应用领域以及诸如可用的计算资源等因素。

参考图4-7更详细地描述了使用回归树林来预测器官位置。在非穷尽列的示例中，器官预测器可以可另选地是：经训练的决策树的另选类型，例如分类树林系统；向量机，诸如支持向量机(SVM)；相关性向量机(RVM)；另外可以使用自适应增强技术(例如，Ada增强)。

使用从器官预测器302接收的、对器官在图像300中的位置的预测作为到变换器304的输入。变换器304被用于使语义信息成为可以很容易被用作寻找图像之间的映射的过程的一部分的形式。例如，变换器304可以将器官预测器的输出变换为每个图像的概率图306。概率图可以被认为是这样一种图像(其可以有两个维度、三个维度或更高维度)：在这种图像中每个图像元素位置保持一个或多个值，每个值与该图像元素描绘特定器官的概率相对应。该概率图中的每个元素可以与输入图像中的一图像元素相对应，或者可以是不同解析度的。例如，该概率图中的每个元素可以是若干图像元素处的概率的平均。在此处的一些示例中，该概率图是逐体素(voxel-wise)概率图。概率图的颜色表可用于将概率值可视化。图9中示出了概率图的示例。

在一示例中，每个图像的概率图306被优化器308用来计算配准输入图像的空间变换310。例如，优化器308尝试找到如上面参考图2所述的能量函数的最优解。此能量优化问题可以用图像强度和语义信息来公式化以找到全局拐点。在一示例中，配准问题是能量优化问题。参考图10描述了能量优化的示例。

图4是随机树林的示例部分的示意图，该随机树林可以是随机回归树林、随机决策树林或其他类型的随机树林。图4的说明性决策树林包括三个决策树：第一树400(表示为树Ψ₁)、第二树402(表示为树Ψ₂)、以及第三树404(表示为树Ψ₃)。每个决策树包括根节点(例如，第一决策树400的根节点406)、多个被称为分割节点(例如，第一决策树400的分割节点408)的内部节点、以及多个叶节点(例如，第一决策树400的叶节点410)。

通过将原问题分割为一组能用简单的预测器解决的更小的问题来处理高度非线性的映射。图4示出了说明性的1D示例，目标是学习预测实数值输出的分析函数。单个线性函数对该数据的拟合很差。例如，根节点406所输出的单个线性函数412不拟合该数据。一组训练对(x，y)410在根节点(例如根节点406)处被给予树(例如树400)。该树中的每个节点被设计为分割数据以便形成可用更简单的模型(例如，在此示例中是线性的)来执行精确预测的集群。使用更多树级别可产生对回归模型的更精确的拟合。例如，可以使用良好拟合数据的从节点416到422的线性回归器的组合对训练对410进行建模414。在操作中，每个树的每个根和分割节点对输入数据执行二进制测试并基于其结果来将数据导向左侧或右侧的子节点。在公式上，每个节点执行测试ξ＞f(x)＞τ，其中ξ，τ是标量。基于此结果，每个数据点被发送到左侧或右侧的子节点408。

在决策树林是回归树林的示例中，叶节点存储表征每个回归器的连续参数η_S。回归器可以是线性的、恒定的、高斯的、二次的或任何其他函数形式。这与其中所预测的变量是离散的的分类树林或决策树林不同。复杂非线性映射可以经由许多简单的线性回归器的分层组合来建模。更多的树的级别产生更小的集群和更小的拟合误差，但是可能过拟合输入数据。参考图5和6来描述选择每个分割节点所使用的参数的方式以及如何计算叶节点概率。

基于树的回归器允许同时处理多个解剖结构，这鼓励了各解剖结构间的特征共享并因此鼓励了更好的泛化。例如，肺的存在可以指示心脏的存在。与能够定位器官中心但是不能定位器官范围的基于分类的方案不同，连续模型估算包含每个器官的边界盒的壁的位置，因此实现了同时的器官定位和范围估算。

如在下面的示例中描述的，回归树林算法能够将图集(atlas)信息结合到紧凑的基于树的模型内。基于图集的技术具有概念简单性。图集是手工分类的图像，其通过将该图集变形直到它非常类似于主题来映射到主题图像。因此，此技术取决于良好图集的可用性。稳健性可以通过基于多个图集的技术来提高，然而这可能在计算上是低效率的。此外，这样的算法的概念简单性是不同于稳健的跨图像配准的。通过将图集信息结合到回归模型中，实现了比使用多个图集更大的效率和稳健性并且更快地实现了解剖学定位。

在参考图4描述的示例中，回归树林用来估算表示线的两维连续向量。然而，回归树林可以用于估算具有多个维度的向量。在器官在体图像中的位置正被估算的示例中，输出是每个器官一个六维向量b_c，共有个连续参数。在一实施例中，能被标识的解剖结构包括但不限于

图5是用于估算器官位置的训练图像的示例。注意，为了清楚，图5的示意图仅仅以两维示出，然而一种示例体图像是三维的。医学图像500包括若干器官的表示，包括肾502、肝504和脊柱506，但是这些仅仅是用于说明目的的示例。可在图中示出并使用此处描述的技术标识的其他典型器官包括(但不限于)头、心、眼睛、肺和主要血管。边界盒508被示出为(以虚线)绘制在肾502的周围。注意，在图5的图示中，边界盒508仅以两维示出，然而在体图像中边界盒508在三维上包围肾502。

对于每个类训练体中的每个体素v(例如v₁，v₂510，512)可与相对于边界盒b_c508的偏移相关联。图5中示出了两个体素v₁510和v₂520的偏移的示例。v₁510的偏移由给出，而v₂512的偏移由给出，会存在于3-D体图像中的偏移向量和的其他两个组分没有在图5中的两维表示中示出。

在一示例中，测试CT体中的所有体素以不同的置信度对估算边界盒的壁的位置做出贡献。在其他实施例中，只有体素的一个选集可做出贡献。一些体素集群可以以高置信度来预测器官的位置。即便该体素不包括该器官的一部分也是如此，例如，作为肋骨或椎骨一部分的体素集群可以以高置信度预测心脏的位置。在测试过程中，这些集群可被用作解剖结构的位置的参考。体素可以基于其外观、其空间背景、其强度值、其置信度水平、或任何其他适当度量而被集群起来。可以通过使用多类(multi-class)随机回归树林(例如，回归树的全体)同时预测所有期望的解剖结构的位置和大小来进行特征选择和参数回归。

图6是训练回归树林的示例方法的流程图。图6描述了训练回归树林的一种示例方法。可以使用其他方法，诸如广度优先训练，其中一次训练完整的树的级别，或其他方法。可以为经标记的体的训练集创建相关联的基础事实(ground-truth)器官边界盒。在一示例中，该训练集是从所有体的子集创建的。该训练集可以通过手工绘制边界盒来创建(600)，边界盒可以是3D图像情况下立方体或者2D图像情况下的矩形，其中心位于所关注的器官上。在一示例中，每个图像可以存在超过一个所关注的器官。在图像序列的情况下，边界盒还可以在时间方向上延伸。

可以使用专用注释工具来绘制边界盒，该专用注释工具是能够从该图像的不同视图(例如，轴向、冠状、矢状(saggital)和3D视图)快速绘制边界盒的软件程序。边界盒可以人工绘制。在一些实施例中，放射科医生可用于确认标记在解剖学上是正确的。

设定要在回归树林中使用的回归树的数量(602)。回归树林是回归树的集合。回归树林是由被表示为Ψ₁，....，Ψ_t，...，Ψ_T的T树构成，其中t索引每个树。在训练过程期间，树的数量是固定的。在一示例中，树的数量是三个(例如，图4的回归树林)，但是也可以使用其他值。并行训练所有树。然而，也可以分开训练这些树。

在树林中的每个树处，选择根节点(例如根节点406)(604)。然后选择来自这些训练图像中的每一个的所有图像元素(606)。图像V中的图像元素由其坐标v＝(x，y，z)限定。

现在描述选择每个分割节点所使用的参数的方式以及如何存储和计算连续参数。

生成测试参数的随机集合以供在根节点406处执行的二进制测试使用(608)。在一个示例中，该二进制测试的形式是：ξ＞f(v；θ)＞τ，以使得f(v；θ)是具有参数θ的被应用到位置v处的图像元素及其周围的图像元素的函数，并将该函数的输出与阈值ξ和τ进行比较。如果f(v；θ)的结果在ξ和τ之间的范围内，则该二进制测试的结果为真，否则该二进制测试的结果为假。在其他示例中，可以只使用所述阈值中的一个，以使得该二进制测试在f(v；θ)的结果大于(或小于)阈值的情况下为真。在此处描述的示例中，参数θ限定该图像的视觉特征。

解剖结构可能难于在医学图像中标识，因为不同的器官可能共享类似的强度值，例如，在CT和X射线扫描的情况下共享类似的组织密度。因此，局部强度信息不具有足够的区分度来标识器官，并且如同上面描述的，这可能导致能量函数的优化受困于局部最小值。

函数f(v；θ)的参数θ在训练期间随机生成。生成参数θ的过程包括生成例如随机大小的盒(对于3D图像是立方体盒、或对于2D图像是矩形，二者在图像序列的情况下都可在时间维度上延伸)以及空间偏移值。所述盒的所有维度是随机生成的。空间偏移值是两维或三维位移的形式。在其他示例中，参数θ可以进一步包括一个或多个附加的随机生成的盒和空间偏移值。在可另选示例中，可以使用不同形状的区域(而不是盒)或偏移点。在一示例中，对所有盒只使用单一信号通道(例如，仅强度)。在其他示例中，该通道可以是强度梯度的大小，或者可以使用更复杂的过滤器。

给定上述参数θ，通过将该随机生成的盒与所关注的图像元素v对齐使得该盒从该图像中的图像元素v移动该空间偏移值来计算出函数f(v；θ)的结果。然后通过对经移动的盒所包围的图像元素的信号通道的值求和(例如，对盒中的图像元素的强度值求和)来找到f(v；θ)的值。因此，对于单一盒的情况，f(v；θ)＝∑_q∈FI(q)，其中q是盒F内的图像元素。通过盒中的像素数将此求和正规化。在两个盒的情况下，f(v；θ)由下式给出： $f(v;\mathrm{\θ})={\left|F_1\right|}^{-1}{\mathrm{\Σ}}_{q\∈F_1}I\left(q\right)-{\left|F_2\right|}^{-1}{\mathrm{\Σ}}_{{q\∈F}_2}I\left(q\right),$ 其中F₁是第一个盒，F₂可以是第二个盒，或者在其他示例中，F₂可以是一元特征的空集。再次，通过每个盒中的图像元素的相应数量分别使这两个求和正规化。

在根节点或分割节点处执行的二进制测试的结果确定图像元素被传递到哪个子节点。例如，如果二进制测试的结果为真，则该图像元素被传递到第一子节点，而如果结果为假，则该图像元素被传递到第二子节点。

所生成的测试参数的随机集合包括函数参数θ的多个随机值以及阈值参数值ξ和τ。为了将随机性注入到决策树中，仅相对所有可能的参数的随机采样的子集Θ来优化每个分割节点的函数参数θ。例如，该子集的大小可以是100。这是增加泛化的有效方式。

将测试参数的每个组合应用到训练图像中的每个图像元素(610)。换言之，对于每个训练图像中的每个图像元素，与ξ和τ的所有可用值相组合，一个接一个地尝试所有可用值θ∈Θ。对于每个组合，通过选择最大化所给出的信息的参数来计算信息增益(也被称为相对熵)(612)。

例如，如上所述，对于每个训练体中的每个体素v与相对于边界框b_c的偏移相关联，其中且节点优化可以通过优化信息增益度量来执行。信息优化度量的一示例是其中H表示熵，是到达该节点的训练点的集合，而L，R表示左侧和右侧的子节点。

在决策树林是分类树林的示例中，在离散的类标记上测量熵。相反，在决策树林是回归树林的示例中，测量实数值预测的概率密度的纯度。对于单一类c，向量d_c的分布可在每个节点处被建模为多变量高斯。例如，其中对于中的所有点，矩阵Λ_c编码d_c的协方差。在其他示例中，该回归树林可以可另选地与非参数分布一起使用。

多变量高斯的差分熵可被示出为其中n是维度数。在此处图像是体图像的示例中，n＝6，在描述两维图像的示例中，n＝4。然而，n可以采用任何适当的值。本示例中的回归信息增益因此为 $\mathrm{IG}=\log \left|{\mathrm{\Λ}}_c\left(S\right)\right|-{\mathrm{\Σ}}_{i=\{L,R\}}{\mathrm{\ω}}_i\log \left|{\mathrm{\Λ}}_c\left(S_i\right)\right|.$

在信息增益被改造为同时处理多个器官的示例中，信息增益可以被改造为 $\mathrm{IG}={\mathrm{\Σ}}_{c\∈C}\left(\log \right|{\mathrm{\Λ}}_c\left(S\right)|-{\mathrm{\Σ}}_{i=\{L,R\}}{\mathrm{\ω}}_i\log \left|{\mathrm{\Λ}}_c\left(S_i\right)\right|).$ 可将此式改写为： $\log \left|{\mathrm{\Γ}}_c\left(S\right)\right|-{\mathrm{\Σ}}_{i=\{L,R\}}{\mathrm{\ω}}_i\log \left|\mathrm{\Γ}\left(S_i\right)\right|,$ 其中 $\mathrm{\Γ}=\mathrm{diag}({\mathrm{\Λ}}_1,...,{\mathrm{\Λ}}_c,...,{\mathrm{\Λ}}_{\left|C\right|})---\left(1\right).$

将(1)最大化使得协方差矩阵Γ的行列式最小化，从而减小每个体素集群对每个器官姿势施加的概率投票中的不确信度。作为对信息增益的另选，可以使用其他准则，诸如Gini熵或“双ing(two-ing)”准则。

在一些实施例中，如果最大化的信息的值小于固定阈值(614)，则这指示树的进一步扩展将不会提供明显的好处。这引起了异步树，异步树在不需要进一步节点时自然停止生长。在其他示例中，当达到最大树深度或太少的点到达该节点时该节点停止生长。在一示例中，这些树的最大深度是7级，然而也可以使用其他值。在一示例中，这些树的最大深度被选择为使平均误差最小化。在进一步的节点将不提供明显的好处时，将该节点设定为叶节点(616)。在每个叶节点处，存储连续局部化参数的预测(618)。例如，已学习的平均值(其中 $d=(d_1,...,d_c,...,d_{\left|C\right|})$ )和协方差Γ。

如果最大化的信息增益的值大于或等于阈值而树的深度小于最大值，则将当前节点设定为分割节点(620)。如果当前节点是分割节点，则它具有子节点并且该过程移至训练这些子节点。在当前节点处使用训练图像元素的子集来训练每个子节点。使用使信息增益最大化的参数θ^*、ξ^*和τ^*来确定被发送至子节点的图像元素的子集。在二进制测试中使用这些参数并且在当前节点处对所有图像元素执行该二进制测试(622)。通过该二进制测试的图像元素形成被发送至第一子节点的第一子集，而没有通过该二进制测试的图像元素形成被发送至第二子节点的第二子集。在训练后，第j个分割节点仍然与特征θ_j和阈值ξ_j，τ_j相关联。

对于子节点中的每一个，对于导向相应子节点的图像元素的子集递归执行图6的框608-622中所概括的过程(624)。换言之，对于每个子节点，生成新的随机测试参数(608)并将其应用到导向相应子节点的图像元素的相应子集(610)，选择最大化信息增益的参数(612)，并确定节点的类型(分割节点还是叶节点)(614)。如果它是叶节点，则停止当前递归分支。如果它是分割节点(620)，则执行二进制测试(622)以确定图像元素的进一步子集并且另一递归分支开始。因此，这个过程以递归方式移动穿过树，从而训练每个节点，直到在每个分支到达叶节点。当到达叶节点时，该过程等待(626)，直到所有分支中的所有节点已被训练。在其他示例中，可使用可另选的递归技术来获得相同的功能。一旦到达了树林中的所有树的叶节点，则该训练过程完成且该过程终止(628)。

等式(1)是在没有中间体素分类的情况下使所有器官的期望连续输出的置信度最大化的方式的一个示例。此外，示例增益公式允许不同背景模型之间的测试。例如，施加完全的协方差Γ可以允许所有器官中的所有壁之间的相关，伴随可能的过拟合后果。在另一示例中，假定对角Γ(和对角类协方差Λ_c)可能导致不相关的输出预测。在一进一步示例中，Γ可以是稀疏的但是可以允许所选择的类的子组之间的相关以捕捉例如类分层或其他形式的空间背景。

图7是预测器官在先前未见的图像中的位置的示例方法的流程图。在一示例中，可以使用已经如图6所述得到训练的回归树林。在器官预测器302处接收未见图像(700)。图像被称作“未见”以将其与具有器官存在和/或已标识了边界盒的训练图像相区分。

选择来自未见图像的图像元素(702)，并且还选择来自回归树林的经训练的回归树。推动所选择的图像穿过所选择的回归树(以类似于以上参考图6所描述的方式)(706)，使得在一节点处对照经训练的参数对其进行测试，然后根据该测试的输出而将其传递至适当的子节点。重复该过程，直到该图像元素到达叶节点l(v)，其中l跨整个树林索引叶。

如果确定树林中存在更多回归树(710)，则选择新的回归树(704)，推动该图像元素穿过该树，直到到达叶节点。重复此过程，直到对于该树林中的所有回归树执行了该过程(710)。在一示例中，可并行地推动图像元素穿过该回归树林中的多个树。确定未见图像中是否存在其他未分析的图像元素(712)，并且如果存在则选择另一图像元素并且重复该过程。在一示例中，可以对体中的每个体素重复该过程。

在一示例中，类c的叶节点处的所存储的预测还限定自开始的绝对边界盒概率的后验。可以选择一组叶在一示例中，可以是所有树林叶的子集。例如，可以是具有最小不确信度(对于每个类c)的叶的集合并包含所有测试图像元素中的特定阈值水平。在一示例中，特定阈值水平是1％。然而，可以使用另一水平。还可以计算b_c的后验概率。在一示例中，该后验概率是

在上述示例中，大多数置信叶被用于预测输出。例如，若则否则为0，不管它们来自树林中的何处。

在一示例中，可以从该概率预测一图像元素是否在边界盒内(714)。在一示例中，如果则认为该器官存在于该图像中。在一示例中，β＝0.5，然而可以使用任何阈值。在另一示例中，通过确定总概率分布中的最大概率来认为该器官存在。对第c个器官的绝对边界盒位置的预测(716)可以由期望值给出。在一示例中，将对图像元素的预测指派给该图像元素以供将来使用。

与基于图集的技术相比，此处描述的示例方法具有减少的误差，并且在计算边界盒预测时相对更快并且更稳健。如上所述，在许多情况下，基于图集的技术受困于局部最小值，这可能导致不精确的结果。在一些示例中，可将局部配准步骤添加到基于图集的技术，然而这可能不会改善受困于局部最小值的情况，并且可能明显增加算法的运行时间。此外，基于回归树林的技术比基于图集的技术需要明显更少的存储器。基于回归的方法可以计算每个壁的位置而不是仅计算器官中心，从而允许近似范围估算。此处的示例中描述的回归技术还比基于分类的方法更精确。

图8是计算概率图的示例方法的流程图。概率图是可用于公式化能量函数的类型的语义信息的的一个示例。从器官预测器302接收所估算的器官位置(800)。在一示例中，这些器官位置可以是对第c个器官的绝对边界盒位置的预测，这些预测由使用如以上参考图7描述的经训练的回归树林算法所计算出的期望值给出。可将来自器官预测器的输出变换为语义信息的图(map)(802)。在一示例中，语义信息是每个图像元素位于器官边界盒内的概率。在一实施例中，概率图可以从下式计算：

$P\left(B_i\right|x)=\frac{1}{z}\underset{j=1}{\overset{3}{\mathrm{\Π}}}{(1+\exp \left(\frac{x_j-u_i^j}{{\mathrm{\σ}}_i^u}\right))}^{-1}{(1+\exp \left(\frac{l_i^j-x_j}{{\mathrm{\σ}}_i^l}\right))}^{-1}---\left(1\right)$

其中B_i表示第i个边界盒，x＝(x₁，x₂，x₃)表示图像元素位置，和是B_i在j方向上的上面和下面，而和是由器官预测器所估算的这些坐标的标准偏差。

语义信息可以以概率图的形式输出。在一些实施例中，概率图可以是体概率图。在一示例中，多个概率图可以是针对每个输入图像的输出。例如，可以输出示出器官位于一个边界盒(例如，包围左肾的边界盒)内的概率的概率图。在一示例中，对每个所预测的器官边界盒可以输出一个概率图。在另一示例中，可以输出聚集概率图，该聚集概率图示出图像元素位于任一所预测的器官边界盒内的概率。

图9是从输入图像计算的概率图的示例。在一示例中，输入图像900可以是示出肝902和右肾904的CT图像。然而，图像900可以是任何适当的图像。在一示例中，变换器304的输出是第一概率图906和第二概率图910，第一概率图906示出了输入图像900中的每个图像元素在肝边界盒908内部的可能性，第二概率图910示出了输入图像900中的每个图像元素在右肾边界盒912内部的可能性。概率图是使用椭圆形示意性地表示的，以指示概率值可朝区域的中心增加的那些区域。变换器304可以输出多于两个概率图。例如，变换器可以针对先前在图像中的每个边界盒输出概率图。

在其他实施例中，概率图可以是显示图像元素在各所估算的边界盒中的任一个内部的可能性的聚集概率图。例如，概率图可以显示图像元素属于肝或肾或输入图像900中的任何其他边界盒的概率。

在一示例中，根据图像元素在边界盒内的可能性来定标概率图的颜色表。例如，在颜色表中存在256个颜色的一示例中，在该边界盒内部的概率为1.0的图像元素被设定为颜色256，而在该边界盒内部的概率为0的图像元素被设定为颜色1。在其他示例中，这些颜色可以按不同方式定标，例如按照对数或者根据伽玛定标。

尽管图9中所描述的概率图被显示给用户，然而这不是必要的。在其他实施例中，概率图可以如图8所述进行计算而不将变换器的输出显示给用户。例如，所计算的概率图或其他语义信息可以被临时保持在高速缓存存储器中、存储在数据存储处或者以其他方式保留而不将该信息显示给用户。

图10是图像配准的示例方法的流程图。在优化器308处从变换器304接收语义数据(1000)。在一实施例中，如何将参考图像与目标图像配准的问题是能量优化问题。在一实施例中，该能量优化问题包括寻找全局拐点，例如，能量函数的最小值或最大值。例如，上面参考图2描述的能量函数206。计算能量优化(1002)的示例方法是将能量优化问题公式化为能量最小化任务(1002)。

为了计算能量优化函数，可以计算参考图像和目标图像之间的互信息(1004)。该互信息是度量两个变量(例如，参考图像I中的图像元素和目标图像J中的图像元素)的相互依赖性的量。在一示例中，高互信息指示不确定度的大的降低；低互信息指示小的降低；而两个随机变量间的零互信息意味着各变量是独立的。

在一示例中，x是在参考图像中的坐标位置上的随机变量。在一些实施例中，从x绘制样本以逼近互信息。在一示例中，该互信息可被定义为：

MI(I(x)，J(T(x)))≡h(I(x))+h(J(T(x)))-h(I(x)，J(T(x)))

其中h(I(x))是参考图像的边缘熵(marginalentropy)，而h(J(T(x))是测试图像中该参考图像投影于其中的部分的边缘熵。h(I(x)，J(T(x)))是参考图像和目标图像的联合熵(jointentropy)。在一实施例中，h(·)是随机变量的熵并且被定义为h(x)＝-∫p(x，y)lnp(x，y)dxdy。

在一些实施例中，可以计算Kullback-Leibler(KL)散度(1006)。KL散度是两种概率分布之间的距离的非对称度量。上面参考图8的框802描述了计算概率分布的示例。KL散度可以由下式给出：

$\mathrm{KL}(I\left(x\right),J\left(T\left(x\right)\right))={\∫}_{\mathrm{\Ω}}p\left(x\right)\underset{l}{\mathrm{\Σ}}P\left(p_i^l\right|x)\ln \left(\frac{P\left(B_l^I\right|x)}{P\left(B_i^J\right|T\left(x\right)}\right)\mathrm{dx}$

在一实施例中，能量优化问题是可以从互信息和KL散度计算的能量最小化任务。例如，能量最小化问题可以是：

$T^{*}=\arg \underset{T}{\min }E\left(T\right),E\left(T\right)=-\mathrm{MI}(I\left(x\right),J\left(T\left(x\right)\right))+\mathrm{KL}(I\left(x\right),J(T\left(x\right))$

其中I是目标图像，J是移动图像，T是空间变换，MI是互信息，而KL是Kullback-Leibler散度，并且假定点概率分布p(x)在图像域Ω上是均匀的。在其他示例中，能量优化问题可以是能量最大化任务。

在其他实施例中，可以使用其他方法来计算能量优化。例如，可以使用其他熵度量。替换熵度量的示例是香农(Shannon)熵。

能量函数E(T)的全局优化使得能够计算用于配准图像的线性空间变换(1008)并且能够使目标图像与参考图像(1010)配准。在其他实施例中，可以计算非线性空间变换。

图11是经配准的图像的示例。图像1100可以是CT扫描或其他适当图像。在此示例中，该图像示出右肾1102的参考图像，而右肾的经配准的目标图像作为等值线图(contourmap)1104覆盖其上。在一示例中，该等值线可以是强度等值线，例如，在参考图像的强度的百分之90、70和60处的等值线。在其他示例中，经配准的目标图像可作为部分透明图像覆盖其上或按照顺序来显示。

图12示出可以被实现为任何形式的计算和/或电子设备，并且其中可以实现图像配准系统的实施例的示例性基于计算的设备1200的各组件。

基于计算的设备1200包括是一个或多个输入1202，其是任何适当类型的，用于接收媒体内容、网际协议(IP)输入、体图像数据、来自媒体设备的输入、来自图像捕捉设备的输入、来自用户的输入、来自其他基于计算的设备的输入。该设备还包括可用于使该设备能够通过通信网络与其他设备进行通信的通信接口1204。

基于计算的设备1200还包括一个或多个处理器1206，这些处理器可以是微处理器、控制器或用于处理计算可执行指令以控制设备操作以便执行图像配准的任何其他合适类型的处理器。处理器1206可包括一个或多个专业图像处理处理器，诸如图形处理单元。在一些示例中，例如在使用片上系统架构的示例中，处理器1206可以包括一个或多个固定功能块(亦称加速器)，这些块以硬件(而非软件或固件)来实现图像配准方法的一部分。可以在基于计算的设备处提供包括操作系统1208或任何其他合适的平台软件的平台软件以使得能够在该设备上执行应用软件1210。

可在基于计算机的设备1200处提供的进一步的软件包括树训练逻辑1212(其实现所描述的用于训练回归树的技术，或者其他适当的树训练技术)、图像分析逻辑1214(其实现如此处所述的使未见图像穿过回归树的技术)、图像变换逻辑1216(其计算如此处所述的语义信息)、以及图像优化逻辑1218(其解决配准问题)。提供数据存储1220以存储诸如训练参数、概率分布和分析结果等数据。

可以使用可由基于计算的设备1200访问的任何计算机可读介质来提供计算机可执行指令。计算机可读介质可以包括例如诸如存储器1222等计算机存储介质和通信介质。诸如存储器1222等计算机存储介质包括以用于存储如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括但不限于，RAM、ROM、EPROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光存储、磁带盒、磁带、磁盘存储或其他磁存储设备，或者可用于存储信息以供计算设备访问的任何其他非传输介质。相反，通信介质可以以诸如载波或其他传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或者其他数据。如本文所定义的，计算机存储介质不包括通信介质。虽然在基于计算的设备1200中示出了计算机存储介质(存储器1222)，然而应当理解，该存储可以是分布式的或位于远处并经由网络或其他通信链路(例如，使用通信接口1204)来访问。

还提供了诸如到与基于计算的设备形成整体或与基于计算的设备进行通信的显示器系统的音频和/或视频输出之类的输出1224。显示系统可提供图形用户界面，或任何合适类型的其他用户界面，但这不是必需的。在一些示例中，显示系统包括触敏显示屏。

此处所使用的术语‘计算机’是指带有处理能力使得它可以执行指令的任何设备。本领域的技术人员将认识到，这样的处理能力被集成到许多不同的设备中，因此，术语‘计算机’包括PC、服务器、移动电话、个人数字助理和许多其他设备。

本文描述的方法可由有形存储介质上的机器可读形式的软件来执行，例如计算机程序的形式，该计算机程序包括在该程序在计算机上运行时适用于执行本文描述的任何方法的所有步骤的计算机程序代码装置并且其中该计算机程序可被包括在计算机可读介质上。有形(或非瞬态)存储介质的示例可包括盘(disk)、拇指型驱动器、存储器等，而不包括所传播的信号。软件可以适合于在并行处理器或串行处理器上执行，使得各方法步骤可以以任何适当的顺序实现，或同时实现。

这确认了软件可以是有价值的、可单独交易的商品。它旨在包含运行于或者控制“哑”或标准硬件以实现所需功能的软件。它还旨在包含例如用于设计硅芯片，或者用于配置通用可编程芯片的HDL(硬件描述语言)软件等描述或者定义硬件配置以实现期望功能的软件。

本领域的技术人员将认识到，用来存储程序指令的存储设备可以分布在网络上。例如，远程计算机可以存储被描述为软件的进程的示例。本地或终端计算机可以访问远程计算机并下载软件的一部分或全部以运行程序。可另选地，本地计算机可以根据需要下载软件的片段，或在本地终端上执行一些软件指令，并在远程计算机(或计算机网络)上执行另一些软件指令。本领域的技术人员还将认识到，通过利用本领域的技术人员已知的传统技术，软件指令的全部，或一部分可以通过诸如DSP、可编程逻辑阵列等等之类的专用电路来实现。

如本领域技术人员将清楚的，此处给出的任何范围或者设备值都可以被扩展或者改变而不失去所寻求的效果。

可以理解，上文所描述的优点可以涉及一个实施例或可以涉及多个实施例。各实施例不限于解决所述问题中的任一个或全部的实施例或具有所述好处和优点中的任一个或全部的实施例。进一步可以理解，对‘一’项目的引用是指那些项目中的一个或多个。

此处所描述的方法的步骤可以在适当的情况下以任何合适的顺序，或同时实现。另外，在不偏离此处所描述的主题的精神和范围的情况下，可以从任何一个方法中删除各单独的框。上文所描述的任何示例的各方面可以与所描述的其他示例中的任何示例的各方面相结合，以构成进一步的示例，而不会丢失寻求的效果。

此处使用了术语“包括”旨在包括已标识的方法的框或元素，但是这样的框或元素不构成排它性的列表，方法或设备可以包含额外的框或元素。

可以理解，上面对一较佳实施例的描述只是作为示例给出并且本领域的技术人员可以做出各种修改。以上说明、示例和数据提供了对本发明的各示例性实施例的结构和使用的全面描述。虽然上文以一定的详细度或参考一个或多个单个实施例描述了本发明的各实施例，但是，在不偏离本发明的精神或范围的情况下，本领域的技术人员可以对所公开的实施例作出很多更改。

Claims (10)

1.一种自动图像配准的计算机实现的方法，包括：

接收(300)第一图像和第二图像，两个图像均有多个物体,且所述多个物体中的至少一个物体的至少一部分是这两个图像共有的；

对于所述第一和第二图像中的每一个，计算概率图(306)，所述概率图包括：对于每个图像元素，所述图像元素含有指定物体的概率，其中计算概率图包括使用包括各自均已被训练的多个回归树(400、402、404)的回归树林来预测所述指定物体的位置，预测所述指定物体的位置包括使用所述回归树林来估算所述指定物体的位置的后验分布；

通过优化能量函数(206)来寻找配准(310)所述第一和第二图像的映射，所述能量函数是所述第一和第二图像的强度的函数，也是所述概率图的函数。

2.如权利要求1所述的方法，其特征在于，所述第一和第二图像是医学图像。

3.如权利要求1或权利要求2所述的方法，其特征在于，所述第一和第二图像有不同的模态。

4.如权利要求1或2所述的方法，其特征在于，所述第一和第二图像有三个维度或更高维度。

5.如权利要求1所述的方法，其特征在于，计算所述概率图包括：对每个图像元素，计算多个概率以使得与每个图像元素相关联的多个指定物体中的每一个存在一个概率。

6.如权利要求1或2所述的方法，其特征在于，计算所述概率图包括基于图像元素的外观、空间背景及其在至少一个指定物体的边界盒的预测中的置信度将图像元素集群起来。

7.如权利要求1或2所述的方法，其特征在于，计算所述概率图包括使用包括已被训练的多个分类树的分类树林来将图像元素分类为指定类别。

8.如权利要求1或2所述的方法，其特征在于，寻找所述映射包括对所述能量函数进行全局优化。

9.一种自动图像配准系统，包括：

用于接收第一图像和第二图像的装置，两个图像均有多个物体，且所述多个物体中的至少一个物体的至少一部分是这两个图像共有的；

用于计算所述第一和第二图像中的每个的语义信息的装置，所述语义信息包括关于所述图像中的物体的类型的信息和该信息的确信度，其中计算语义信息包括使用包括各自均已被训练的多个回归树的回归树林来产生语义信息，其中所述回归树林被用于估算所述图像中的物体的位置的后验分布并且所述后验分布被变换为概率图；以及

用于寻找配准所述第一和第二图像的映射的装置，所述映射考虑了所述图像的所述图像元素的强度并且以如下方式考虑了所述语义信息：按照所述语义信息的所述确信度来加权。

10.一种自动图像配准方法，包括：

接收第一图像和第二图像的输入(1202)，两个图像均有多个物体，且所述多个物体中的至少一个物体的至少一部分是这两个图像共有的；

计算所述第一和第二图像中的每个的语义信息，所述语义信息包括关于所述图像中的物体的类型的信息和该信息的确信度，其中计算语义信息包括使用包括各自均已被训练的多个回归树的回归树林来产生语义信息，其中所述回归树林被用于估算所述图像中的物体的位置的后验分布并且所述后验分布被变换为概率图；以及

寻找配准所述第一和第二图像的映射，所述映射考虑了所述图像的所述图像元素的强度并且以如下方式考虑了所述语义信息：按照所述语义信息的所述确信度来加权。