CN101341514A - 基于点的自适应弹性图像配准 - Google Patents

Abstract

一种基于点的弹性配准方法，用于将第一图像与第二图像进行配准。利用SIFT算法在第一图像内识别多个重要的特征(S1)。然后，在源图像区域内最突出的SIFT特征上放置单个控制点(S2)，并确定关于该单个控制点的最佳参数设置(S3)，用以执行关于该第一图像的弹性变形(S4)，以便优化相似性度量。然后逐个添加附加控制点(S6)，并且每次都对于新的控制点集合重复该弹性变形处理(S8)，直至满足预定停止准则，例如，所得到的该相似性度量的提高不再超过某个预定阈值。因而，提供了一种高速、高质量的配准方法，而不必在一开始就指定控制点的数量。

Description

基于点的自适应弹性图像配准

技术领域

本发明涉及数字成像领域。特别是，本发明涉及一种将第一图像与第二图像配准的方法，且涉及一种用于将第一图像与第二图像配准的图像处理设备和软件程序。

背景技术

图像配准的目的，例如，在医学成像应用中，是补偿图像间的差异，例如，由于患者移动、不同的扫描器形式、解剖学中的变化等引起的差异。诸如刚体变换或仿射变换那样的全局配准方法通常无法应付局部差异。一种已知的相关解决方案称为弹性配准。对医学图像进行鲁棒性的弹性配准是一个困难的问题，这是目前加强研究的主题。

基于点的弹性配准包括以下步骤：定义与第一图像相关的一组控制点；然后在这些控制点上执行第一图像的弹性变形，以便实现第一图像与第二图像的最佳空间对应，其中，用相似性度量来量化该对准情况。在参数化几何变换的情况下，通过计算最佳参数设置来达到该最佳对准，该最佳参数设置对于弹性配准而言通常意味着控制点的最佳数量和位置以及在这些控制点上的位移参数(定义了第一图像的弹性变形程度)。

最广泛使用的弹性图像配准的变形类型是B样条，其是在控制点的规则网格上定义的。一般来说，当需要对第一图像进行高度弹性变形时，就需要定义高密度的控制点。在控制点的规则网格的情况下，就需要对于整个第一图像提供高密度，即使是仅对于第一图像中的较小面积才需要这类高弹性变形。至少需要确定关于每一个控制点的位移参数，以致于在此情况下将需要优化大量的参数，这就需要较长的计算时间。

可以利用以控制点的不规则网格为基础的变换来克服上述缺陷。固定数量的控制点在第一图像上的位置都认为是自由参数(要被优化)，在优化处理过程中，这些参数以及控制点位移参数都能够改变。这允许根据需要移动控制点，并能够对于第一图像中需要高度弹性变形的区域提供高密度的控制点，而在其他图像区域中控制点密度可以较小。例如，国际专利申请号WO2005/057495公开了一种弹性变形方法，其中，在几个控制点上对第一图像施加力场，并自动查找被施加了力的控制点的最佳位置，以便最小化第一个与第二图像之间的差异。

然而，在图像配准处理开始时就固定了控制点的数量，并在整个处理过程中始终保持该固定数量。由于在配准处理之前无法获知控制点的最佳数量和初始相对位置，所以将需要比必要数量的控制点更多数量的控制点来获得可接受的图像配准结果，这进而又意味着执行优化处理所需的计算量和时间也不必要地较高。

本发明的目的是提供一种图像配准方法，其中，可以优化控制点的数量，以便最小化执行图像配准所需的计算量和时间，同时不会降低配准结果的质量。本发明的目的还在于提供一种相应的图像处理设备和软件程序。

发明内容

根据本发明，提供了一种用于将第一图像与第二图像进行配准的方法，所述方法包括：

在所述第一图像内识别一个或多个重要特征；

在所述第一图像内的重要特征上放置至少一个控制点，并且确定关于所述至少一个控制点的、定义了位置和位移参数的第一参数设置，以便使所述第一图像弹性变形，从而提高所述第一图像与所述第二图像之间的相似性，并且重复以下步骤：

在所述第一图像内放置至少一个附加控制点，确定关于所述至少一个附加控制点的、定义了位置和位移参数的第二参数设置，以便使所述第一图像弹性变形，从而进一步提高所述第一图像与所述第二图像之间的所述相似性；直至满足了预定准则为止。

因而，本发明的目的是通过以下实现的：从在第一图像内对应于其重要特征而放置一个或多个控制点(优选为单个控制点)开始，并在每一次弹性变形操作之后迭代地添加新的控制点，直至满足预定准则为止。照这样，不必提前指定控制点的数量，而且控制点的数量可以自动适应于变形区域的复杂性。在优选的实施例中，在每一次弹性变形操作之后迭代地添加新的控制点，优选地是在第一图像内的所识别的各个重要特征上添加新的控制点，直至第一图像与第二图像之间的相似性至少达到预定级别为止。

优选地，利用SIFT(尺度不变特征变换)算法在第一图像内识别突出的结构，优选地，通过当利用越来越宽的高斯核使图像模糊时测量图像结构存活多久，来进行识别。一个结构对于模糊序列存活的越久，则该结构在图像中就表现得越突出。已知的一种SIFT算法是一种能用来从图像中提取信息的强大算法。可以提供一个图像，识别在该图像上的感兴趣点(“特征”)，并为每个这样的点提供一个标记。因为SIFT利用亚像素定位和多尺度关键点识别，所以由此所识别的关键点位置是非常精确且高度可重复的。

优选地，在每次添加一个或更多附加控制点时，确定关于第一图像内所有控制点的最佳参数设置。因而，一般来说，优化一组N个控制点，而且以所得到的配置作为关于接下来对一组N+M个控制点进行优化的开始点，其中N和M是整数。在本发明的一个示范性实施例中，M＝1，而且在下一次优化操作之前，优选地在第一图像内所识别的下一个最重要特征上放置单个附加控制点。因此，在一个优选的示范性实施例中，从仅在第一图像内所识别的最重要特征上放置的一个(N＝1)控制点的初始配置开始，逐个添加控制点，直至第一图像与第二图像之间的相似性再无(显著的)提高为止。

有利地，对每一个控制点的参数设置进行优化，以便优化相似性度量(例如，其可以是第一图像与第二图像之间的平方差，但是也可以使用许多其他类型的相似性度量，包括互信息或互相关，而且本发明并非必须受限于这一点)。在优选实施例中，在每一次弹性变形操作之后获得一个相似性度量，并且可以确定第一图像与第二图像之间的相似性所提高的量(即，由最后一次迭代引起的相似性度量的提高)，并且可以将该提高的量和预定准则进行比较，其中，只有在没有满足所述预定的准则的情况下才添加一个或多个附加控制点。

此外，根据本发明，提供了一种用于执行第一图像与第二图像的配准的图像处理设备，所述设备包括用于存储所述第二图像的存储器、用于接收关于所述第一图像的图像数据的装置以及如下配置的处理装置：

在所述第一图像内识别一个或多个重要特征；

一开始，在所述第一图像内的重要特征上放置至少一个控制点，并确定关于所述至少一个控制点的、定义了位置和位移参数的第一参数设置，以便使所述第一图像弹性变形，从而提高所述第一图像与所述第二图像之间的相似性；然后重复以下步骤：

在所述第一图像内放置至少一个附加控制点，确定关于所述至少一个附加控制点的、定义了位置和位移参数的第二参数设置，以便使所述第一图像弹性变形，从而进一步提高所述第一图像与所述第二图像之间的所述相似性；直至满足预定准则为止。

还根据本发明所述提供了一种用于将第一图像与第二图像进行配准的软件程序，其中，所述软件程序使处理器能够执行：

在所述第一图像内识别一个或多个重要特征；

一开始，在所述第一图像内的重要特征上放置至少一个控制点，并确定关于所述至少一个控制点的、定义了位置和位移参数的第一参数设置，以便使所述第一图像弹性变形，从而提高所述第一图像与所述第二图像之间的相似性；然后重复以下步骤：

在所述第一图像内放置至少一个附加控制点，确定关于所述至少一个附加控制点的、定义了位置和位移参数的第二参数设置，以便使所述第一图像弹性变形，从而进一步提高所述第一图像与所述第二图像之间的所述相似性；直至满足预定准则为止。

本发明的这些及其他特征将参照此处所描述的实施例而显而易见且得以阐明。

附图说明

现在将仅借助于实例并参照附图来描述本发明的实施例，其中：

图1表示根据本发明的一个示范性实施例的图像处理设备的示意图，该图像处理设备适合于执行根据本发明的一个示范性实施例的方法；以及

图2表示根据本发明的方法的一个示范性实施例的简化流程图。

具体实施方式

图1描述了根据本发明的图像处理设备的一个示范性实施例，该图像处理设备用于执行根据本发明的方法的一个示范性实施例。图1所示的图像处理设备包括连接到存储器2的中央处理单元(CPU)或图像处理器1，存储器2用于至少存储第一和第二图像、控制点的参数设置、以及第一和第二相似性度量。图像处理器1可以连接到多个输入/输出网络或诊断设备，例如MR设备、CT设备或超声扫描仪。图像处理器1还连接到显示设备4(例如，计算机监视器)，以显示在图像处理器1内计算或调整的信息或图像。操作者可以通过键盘5和/或其他在图1中未示的输入/输出设备来与图像处理器1交互。

虽然在以下是参照医学应用来描述该方法的，但是应当注意的是，本发明可以应用于所有要求配准的多维数据集或图像。例如，本发明可以应用于产品的质量检验，在该情况中将实际产品的图像与参考产品的图像进行比较。另外，该方法可以应用于材料测试，例如，用于监测感兴趣的对象在特定时间段内的变化。

图2表示根据本发明的、用于将第一图像与第二图像进行配准的方法的一个示范性实施例的流程图。在步骤S1中，利用SIFT算法，通过当利用越来越宽的高斯核使图像模糊时测量图像结构存活多久，来识别在定义了第一图像的标度空间中的多个极值。一个结构对于模糊序列存活的越久，则该结构在图像中就表现得越突出。例如，该SIFT算法是已知的，在M.Brown和D.G.Lowe于2005年第9届计算机视觉国际会议的论文集1218-1225页的“Recognising Panoramas”中对其进行了描述。在步骤S2中，在第一图像区域内最突出SIFT特征上放置单个控制点。接下来，在步骤S3中，计算关于该单个控制点的最佳参数设置，这种参数设置至少包括：该控制点在第一图像区域内的最佳位置，以及用于定义将应用于由此定位的该控制点上的弹性变形的程度的位移参数。由此优化这些参数设置，以利用单个控制点来实现第一和第二图像的最佳对准。一旦在步骤S4中在单个控制点上将所需的弹性变形应用于第一图像，就在步骤S5中计算相似性度量，该相似性度量表示第一与第二图像之间的对准程度，这是利用单个控制点来实现的。一种适当的相似性度量是第一与第二图像之间的平方差，而且本发明的该示范性实施例的方法旨在优化该相似性度量，以实现两个图像之间的最佳对准，同时最小化执行图像配准所需的计算量和时间。

接下来，在步骤S6中，在第一图像区域内下一个最突出的SIFT特征上放置附加控制点，并在步骤S7中计算关于第一图像区域内所有控制点的最佳参数设置，以实现第一和第二图像的最佳对准。

在步骤S8中，一旦以恰当定位的控制点实现了第一图像的弹性变形，就在步骤S9中计算新的相似性度量。在步骤S10中，根据某种预定的停止准则，来比较该新的相似性度量和先前计算的相似性度量(例如，用一个阈值来比较该差异)。如果在步骤S11中不满足该预定的停止准则(例如，当前相似性度量与先前相似性度量之间的差异至少等于该阈值，该阈值指示已经对第一与第二图像之间的相似性进行了至少某个预定量的提高)，则方法返回步骤S6，在该步骤S6中，在下一个最突出的SIFT特征上添加另一个控制点，并重复以上处理。一旦满足了该停止准则(例如，当前相似性度量与先前相似性度量之间的差异低于上述阈值)，则在步骤S12中该方法结束并完成图像配准处理。

一般来说，对两个图像I₁、I₂的配准包括建立t变换，以使得t(I₁)与I₂之间的差异按照一个相似性度量sim是最小的。在图像配准中，通常形成优化问题，以使得表示理想变换t_c的参数矢量c将会使目标函数f(c)＝corr(t_c(I₁)，I₂)最大化。因此，根据本发明的示范性实施例所述，可以将该优化问题公式化成对于每一次迭代查找第一图像内的一给定控制点集合的最佳位置以及它们的最佳位移参数。对于本领域技术人员将会显而易见的是，可以使用许多不同类型的变换，而且可以在以下中找到实例：例如在1999年的Journal of Computer Assisted Tomography 23(5)第800-805页上由D.Rueckert等人所著的“Comparison and evaluation of rigid，affine and non-rigidregistration of breast MR images”，以及待刊出的Physics in Medicine andBiology 2005中由V.Pekar和K.Rohr所著的“An adaptive irregular gridapproach for 3-D deformable image registration”。

可以利用标准的数字优选技术来解决公式化后的优化问题，例如，如1965年的Computer Journal，(7)第308-313页上由J.A.Nelder和R.Mead所著的“A simplex method for function minimization”所述的下山单纯形(downhill simplex)方法。

因而，从在第一图像区域内最突出的FIST特征上放置单个控制点开始，利用局部收敛优化策略来查找关于该控制点集合的最佳配置，其中所有控制点(包括在以前步骤中优化的控制点)的位置和位移参数都认为是自由参数。在最初的几次迭代中，由于将要优化较少数量的参数，所以可以很快地执行关于仅一个或少量控制点的优化步骤。和采用基于固定数量控制点的局部优化策略的图像配准的现有技术方法相比，该提议的方法利用数量少的多的控制点得到了可比拟的甚至更好的结果。因此，该提议的方法可以显著地提高图像配准处理的速度，而且满足应用指定的质量要求。这在严格要求时间的应用中是最为重要的，所述严格要求时间的应用例如为内-外科配准，在该情况中必须仅在所关注的应用指定的区域上(例如，临床焦点)实现最佳配准精确度。此外，控制点数量上的迭代式增加增强了配准算法的鲁棒性。对于仅能利用大量控制点来实现的、要求高精确度的应用而言，可以按照恰当的方式来定义所述终止准则。

总之，在此提议从放置在最突出的SIFT特征上的单个控制点开始。从该控制点开始优化位置和位移，直至达到参考图像和变形的浮动图像之间的最佳相似性。然后使用该最佳控制点配置作为下一次优化操作的起始配置，并在下一个突出的SIFT特征上放置附加控制点。利用局部收敛优化策略来对所有的控制点进行进一步优化。只要实现相似性度量的显著提高，就继续进行在下一个突出的SIFT特征上的附加控制点的迭代放置。

与控制点的完全随机初始定位相反，该提议的方法避免在缺少重要灰度值结构的区域内放置控制点，在这些缺少重要灰度值结构的区域中对位置和位移进行调节几乎不会改变相似性度量，因此将不会有效地提高图像相似性。此外，这使配准算法在重要的方面上更具确定性和可再生性，这在临床实习中是可接受的。

应当注意的是，本发明可以应用于CT图像、核磁共振图像(MRI)、正电子发射断层造影图像(PET)、单光子发射计算机断层造影图像(SPECT)、或超声(US)形式。而且，可以使用其他数据集。

应当注意的是，上述实施例是说明性的而非限制本发明，本领域技术人员能够在不脱离附带的权利要求所定义的本发明范围的情况下设计许多备选的实施例。在权利要求中，任何置于括号内的参考标记都不应构成对该权利要求的限制。“包括”和“包含”等词语并不排除除了在任何一个权利要求或整个说明书中所列的那些元件或步骤之外还存在其他元件或步骤。对元件的单数称谓并不排除对这类元件的复数称谓，反之亦然。可以借助于包含了几个不同元件的硬件来执行本发明，并且还可以借助于适当程序化后的计算机来执行本发明。在罗列了若干个装置的设备权利要求中，可以将这些若干个装置合并成一个和相同的硬件项。在相互不同的从属权利要求中记载特定手段的这一事实并不表示不能有利地使用这些手段的组合。

Claims (11)

1、一种用于将第一图像与第二图像进行配准的方法，所述方法包括：

在所述第一图像内识别一个或多个重要特征(S1)；

在所述第一图像内的重要特征上放置至少一个控制点(S2)，确定关于所述至少一个控制点的、定义了位置和位移参数的第一参数设置(S7)，以便使所述第一图像弹性变形(S8)，从而提高所述第一图像与所述第二图像之间的相似性，并且重复以下步骤：

在所述第一图像内放置至少一个附加控制点(S6)，确定关于所述至少一个附加控制点的、定义了位置和位移参数的第二参数设置(S7)，以便使所述第一图像弹性变形(S8)，从而进一步提高所述第一图像与所述第二图像之间的所述相似性；直至满足了预定准则为止。

2、根据权利要求1所述的方法，其中，所述至少一个附加控制点放置在在所述第一图像内的另一重要特征上。

3、根据权利要求1所述的方法，其中，采用SIFT算法识别在所述第一图像内的重要特征(S1)。

4、根据权利要求1所述的方法，其中，所述预定准则包括：所述第一图像与所述第二图像之间的相似性至少达到了预定级别。

5、根据权利要求1所述的方法，其中，在所述方法开始时(S1)，在所述第一图像内随机地放置单个控制点(S2)，并且确定关于所述单个控制点的参数设置(S3)。

6、根据权利要求1所述的方法，其中，在每次添加一个或多个附加控制点时，确定关于所述第一图像内所有控制点的最佳参数设置(S7)。

7、根据权利要求1所述的方法，其中，向所述第一图像逐个添加控制点(S6)，并执行关于各个控制点集合的弹性变形(S8)，直至满足了所述预定准则为止。

8、根据权利要求1所述的方法，其中，优化每一个控制点的参数设置，以便优化相似性度量。

9、根据权利要求1所述的方法，其中，在每个弹性变形操作之后获得相似性度量(S9)，并确定所述第一图像与所述第二图像之间的相似性所提高的量(S10)，并且将所述量与停止准则进行比较(S11)，其中，仅在没有满足所述停止准则的情况下，添加一个或多个附加控制点。

10、一种用于执行第一图像与第二图像的配准的图像处理设备，所述设备包括用于存储所述第二图像的存储器(2)、用于接收关于所述第一图像的图像数据的装置、以及如下配置的处理装置(1)：

在所述第一图像内识别一个或多个重要特征；

在所述第一图像内放置至少一个控制点，并确定关于所述至少一个控制点的、定义了位置和位移参数的第一参数设置，以便使所述第一图像弹性变形，从而提高所述第一图像与所述第二图像之间的相似性；然后重复以下步骤为：

在所述第一图像内放置至少一个附加控制点，并确定关于所述至少一个附加控制点的、定义了位置和位移参数的第二参数设置，以便使所述第一图像弹性变形，从而进一步提高所述第一图像与所述第二图像之间的所述相似性；直至满足预定准则为止。

11、一种用于将第一图像与第二图像进行配准的软件程序，其中，所述软件程序使处理器(1)能够执行以下步骤：

在所述第一图像内识别一个或多个重要特征；

在所述第一图像内的重要特征上放置至少一个控制点，并确定关于所述至少一个控制点的、定义了位置和位移参数的第一参数设置，以便使所述第一图像弹性变形，从而提高所述第一图像与所述第二图像之间的相似性；然后重复以下步骤：

在所述第一图像内放置至少一个附加控制点，并确定关于所述至少一个附加控制点的、定义了位置和位移参数的第二参数设置，以便使所述第一图像弹性变形，从而进一步提高所述第一图像与所述第二图像之间的所述相似性；直至满足预定准则为止。