CN101292265A - 图像序列的运动估计和补偿 - Google Patents

Abstract

本发明涉及一种用于对运动物体进行动态成像的方法、系统和计算机程序。首先，计算图像I_m(t)、I_m+1(t)的共同部分的要素之间的运动。在步骤1使用适当的变换进行所述要素的运动补偿。假设I_m+1是必须要变换的图像，通过应用逆运动估计来补偿它从m到m+1的运动(式(I))，产生了在位置m处重新格式化的图像(式(II))。在步骤2基于图像I_m和变换图像I_m+1′进行灰度值插值，产生了j个插值后的图像(式(III))，0＜i≤j。在步骤3进行空间插值，产生用于对运动物体进行动态成像的一系列图像。通过将这些图像放置在位置i处计算该空间插值(式(III))，产生了j个图像(式(IV))，0＜i≤j，并且变换加权因子w＝i/j。

Description

图像序列的运动估计和补偿

技术领域

本发明涉及一种用于对运动物体进行动态成像的方法，所述方法包括如下步骤；

-访问运动物体的图像，所述图像包括表示该物体的具有各自亮度的要素；

-计算连续图像的至少共同部分的所述要素之间的运动。

本发明还涉及能够对运动物体进行动态成像的系统。

本发明还涉及用于对运动物体进行动态成像的计算机程序。

背景技术

从US 2002/0180761A1可知如开头段落所述方法的实施例。该已知方法用于连续显示图像、尤其是医疗图像，这些图像按照适当的数据获取模式在时间上间隔开。在这样获得的连续图像的动态成像中，该已知方法用于补偿成像物体的急速运动(jerky motion)。出于此目的，在该已知方法中计算了原始图像组中的相邻图像帧之间的密集运动矢量场。然后将该密集运动场用于产生原始数据组中的图像之间的插值图像。然后，为了平滑该动态成像模式中可见的急速运动，将插值图像与原始图像交错在一起。

该已知方法的缺点是它基于密集运动矢量的计算提供了对原始数据组的简单乘法。对于实际具有不规则运动方式的物体，该已知方法可能会不适用，并且由于进行计算所需的实际计算资源的要求，该方法会相当慢。此外，为了消除该动态成像模式中的急速运动，仅仅复用多幅图像是不够的。

发明内容

本发明的目标是提供一种用于对运动物体进行动态成像的方法，即使对于物体的复杂运动方式，该方法都可以实际消除急速运动。

为此，根据本发明的方法还包括如下步骤：

-基于所计算的运动对所述要素进行运动补偿；

-基于该运动补偿进一步计算这些要素的各自亮度；

计算连续图像的所述部分之间的空间插值，产生用于运动物体动态成像的一系列图像。

常使用类似磁共振成像装置、X-射线单元、计算机断层摄像单元等医疗单元来获取包含“n”个三维(3D)图像的时间序列，其提供了可以用于活动物体、特别是关节的运动学成像的四维(4D)检查。然而，逐片段的观看4D图像很繁琐，并且不允许运动估计。以电影回放(cine-loop)方式来呈现片段数据将会受到帧间“跳动(jerk)”的影响，这会妨碍对运动的视觉分析。这些跳动是由于所获取的3D量数目有限，不能完全覆盖运动而引起的。然而，对于临床应用来说，需要以相当快速的方式产生这些图像量的平滑视觉，而为临床诊断准确地呈现导出图像。

本发明提供这种方法，其一方面健壮准确，另一方面又与已知方法不同，不需要大量的计算和计算时间。本发明的技术手段基于如下认识：为了对图像之间的运动进行补偿，可以进行各3D量的适当插值，这样可以克服在先技术的局限。因为线性插值通常用于静态图像，所以要知道它会导致由于运动引起的阴影失真。本发明的技术手段还基于另一认识：对于运动图像来说运动插值方法是合适的，该方法基于后续3D图像之间的运动估计。因此，可以消除阴影失真。

根据本发明的方法因此包括如下步骤：

运动估计

给定在时间t∈{1，2，...k)获取的包含n幅3D图像I_t的时间序列，则可以例如通过弹性图像配准(类似B-样条的本身已知方法，或者例如自适应高斯力的本身已知方法)估计从I_m到I_m+1的运动，0＜m＜k。

运动补偿

为了进行运动插值，必须预先将后续图像I_m和I_m+1放置在共同(目标)位置n处，m＜n＜m+1。对于每个位置n，必须基于运动估计M_m→n(I_m)和M_n→m+1 ^-1(I_m+1)应用两种变换。

更有效率地，只变换一幅图像，进一步节省计算时间。假设I_m+1是要必须传输的图像，通过应用逆运动估计M_m→m+1 ^-1对其从m到m+1的运动进行补偿，产生位置m处的重新格式化的图像 $I_{m+1}^{\′}=M_{m\→m+1}^{-1}\left(I_{m+1}\right).$

灰度值插值

以灰度值来呈现图像要素的亮度是常见形式。在根据本发明的方法中，计算图像I_m和变换图像I′_m+1的灰度值插值，产生了j个插值图像I′_m，m+1 ⁱ，0＜i≤j。优选地，可以使用线性灰度值插值，其可以由 $I_{m,m+1}^{\′i}=\frac{(j-i)\×I_m+i\×I_{m+1}^{\′}}{2j}$ 给出。

空间插值

随后计算空间插值，在位置i处放置图像I′_m，m+1 ⁱ，产生了j个图像 $I_{m,m+1}^i=M_{n\→m+1,\mathrm{\ω}}\left(I_{m,m+1}^{\′i}\right),0\≤i\≤j,$ 并且变换加权因子ω＝i/j，在图1中示意性示出了该空间插值。

要注意到，虽然参考四维数据组说明了本发明的方法，但也可以将其成功应用于其它时间序列，例如2D+t。还要注意到，根据本发明的方法并不局限于任何特定数据获取系统，可以成功地将其应用于各种各样提供时间序列的成像形式，例如，MR、CT、US、PET、SPECT或者其中任意组合。还要注意到，也通过适当的分割措施，特别是使用基于模型的图像分割，或者通过例如分割的解剖物体表面的适当配准措施，或者基于在图像内可识别的解剖标记或基准标记的适当配准措施，也可以进行运动估计。可以将非线性以及线性插值方法用于灰度值和运动插值。基于灰度值和/或基于运动的加权可以增强运动插值。

根据本发明的系统包括：

-输入，用于：

-访问运动物体的图像，所述图像包括表示该物体的具有各自亮度的要素；

-处理器，用于：

-计算连续图像的至少共同部分的要素之间的运动；

-基于所计算的运动对所述要素进行运动补偿；

-基于运动补偿进一步计算所述要素的各自亮度；

-计算连续图像的所述部分之间的空间插值，产生用于对该运动物体进行动态成像的一系列图像。

优选地，根据本发明的系统还包括用于显示该运动物体的动态成像结果的显示单元。优选地，根据本发明的系统更进一步包括用于获取该运动物体图像的数据获取单元。适当的数据获取单元的示例包括磁共振单元(MR)、计算机断层摄影单元(CT)、超声波单元(US)、正电子发射装置(PET)、单光子发射计算机断层摄影术(SPECT)或者其任意组合。将参考图3讨论根据本发明的系统的其它有利实施例。

根据本发明的计算机程序包括使处理器执行下列步骤的如下指令：

-访问运动物体的图像，所述图像包括表示该物体的具有各自亮度的要素；

-计算连续图像的至少共同部分的要素之间的运动；

-基于所计算的运动进行所述要素的运动补偿；

-基于所述运动补偿进一步计算所述要素的各自亮度；

-计算连续图像的所述部分之间的空间插值，产生用于对该运动物体进行动态图像的一系列图像。

优选地，根据本发明的计算机程序还包括用于使处理器执行将运动物体的动态成像结果显示在显示器上的步骤的指令。下面将参考图3详细讨论根据本发明的计算机程序的操作。

附图简要说明

图1示意性示出了根据本发明的方法的一个实施例。

图2示意性示出了根据本发明的系统的一个实施例。

图3示意性示出了根据本发明的计算机程序流程图的一个实施例。

具体实施方式

图1示意性示出了根据本发明的方法的一个实施例。在预备步骤(未示出)，访问例如关节的运动物体的图像I(t)，并且计算连续图像I_m(t)、I_m+1(t)的至少共同部分的要素之间的运动。给定在时间t∈{1，2，...k)获取的包含例如n个3D图像I_t的时间序列，通过例如弹性图像配准(类似B-样条的本身已知方法，或例如自适应高斯力的本身已知方法)来优选地估计从I_m到I_m+1的运动，0＜m＜k。要注意到，该方法的实现并不严格要求计算时间序列中最近的相邻图像之间的运动。然而，对于连续图像之间具有实际时间间隔的数据获取模式来说，优选计算每对连续图像I_m(t)、I_m+1(t)之间的运动。同样，为了计算分割的运动结果，可以使用表面配准或者对界标或基准标记的识别。在根据本发明的方法的步骤1中，基于所计算的运动对所述要素进行运动补偿。在本发明的术语中，可以将要素理解为像素、图像区域、体素或体积要素。为了进行运动插值，必须是预先将后续图像I_m和I_m+1放置在共同(目标)位置n处，m＜n＜m+1。对于每个位置n，必须基于运动估计M_m→n(I_m)和M′_n→m+1(I_m+1)应用两种变换。

更有效率地，只变换这些图像其中之一，更进一步节省计算时间。假设I_m+1是必须要变换的图像，应用逆运动估计M_m→m+1 ^-1来对其从m到m+1的运动进行补偿，产生位置m处的重新格式化的图像 $I_{m+1}^{\′}=M_{m\→m+1}^{-1}\left(I_{m+1}\right).$

因为以灰度值方式表示图像要素的亮度是常见形式，所以在根据本发明的方法的步骤2中，进行了灰度值插值。在根据本发明的方法中，计算了图像I_m和变换的图像I′_m+1的灰度值插值，并产生j个插值图像I′_m，m+1 ⁱ，0＜i≤j。优选地，使用一种线性灰度值插值，其由 $I_{m,m+1}^{\′i}=\frac{(j-i)\×I_m+i\×I_{m+1}^{\′}}{2j}$ 给出。然而，类似非线性插值的其它方法也适用于该目的。

最后，在根据本发明的方法的步骤3中，进行了空间插值，产生了用于对运动物体进行动态成像的一系列图像。将图像I′_m，m+1 ⁱ放置在位置i处计算空间插值，产生j幅图像 $I_{m,m+1}^i=M_{m\&RightArrow;m+1,\mathrm{\&omega;}}\left(I_{m,m+1}^{\&prime;i}\right),0<i\&le;j,$ 并且变换加权因子ω＝i/j。

图2示意性示出了根据本发明的系统的实施例。根据本发明的系统10包括计算机15，计算机15具有用于访问运动物体(未示出)的图像的输入12，所述图像包括表示该物体的具有各自亮度的要素。将各图像亮度表示为灰度值是常见形式。系统20还可以包括适当的数据获取单元17，例如磁共振单元(MR)、计算机断层摄影单元(CT)、超声波单元(US)、正电子发射装置(PET)、单光子发射计算机断层摄影术(SPECT)或者其任意组合。根据本发明的系统的计算机15还包括处理器14，其用于计算连续图像的至少共同部分的要素之间的运动，基于所计算的运动对所述要素进行运动补偿，基于该运动补偿进一步计算这些要素的各自亮度(灰度值)，并且计算连续图像的所述部分之间的空间插值，以产生用于对运动物体进行动态成像的一系列图像。对于该步骤，使用了参考图1说明的该发明的方法。优选地，通过包括使处理器执行所述步骤的指令的计算机程序16来控制计算机15的操作。将参考图3讨论根据本发明的计算机程序的流程图。优选地，系统20还包括显示单元19，用于显示所获得的运动物体动态成像结果。在本领域中成像方法本身已知，此处不再详细说明。优选使用全自动观看模式，例如，电影回放(cine-loop)模式，来使得适当的用户进行准确的数据评价。

图3示意性示出了根据本发明的计算机程序的流程图的实施例。根据本发明的计算机程序20包括用于使处理器执行访问运动物体图像的步骤21的指令，所述图像包括表示该物体的具有各自亮度的要素。优选地，计算机程序还包括用于使处理器对通过适当的计算机可控制数据获取单元获得数据的步骤21a进行初始化的指令。例如，适当数据获取单元的示例包括磁共振单元(MR)、计算机断层摄影单元(CT)、超声波单元(US)、正电子发射装置(PET)、单光子发射计算机断层摄影术(SPECT)或其任意组合。

根据本发明的计算机程序20还包括使处理器使用适当的计算算法来计算连续图像的至少共同部分的要素之间的运动的指令。给定在时间t∈{1，2，...k)获取的包含n个3D图像I_t时间序列，有利地使用例如弹性图像配准(类似B-样条的本身已知方法或例如自适应高斯力的本身已知方法)来估计I_m到I_m+1的运动，0＜m＜k。可替换地，计算机程序20可以还包括用于例如基于适当的数据分割结果来识别所述图像中感兴趣的各共同部分的指令23。

根据本发明的计算机程序还包括用于使处理器基于所计算的运动对图像要素进行运动补偿的指令24。为了进行运动插值，必须将后续的图像I_m和I_m+1预先放置在共同(目标)位置n处，m＜n＜m+1。对于每个位置n，必须基于运动估计M_m→n(I_m)和M_n→m+1 ^-1(I_m+1)应用两种变换。更有效率地，只变换这些图像其中之一，更进一步节省计算时间。假设I_m+1是必须要变换的图像，应用逆运动估计M_m→m+1 ^-1对其从m到m+1的运动进行补偿，并在位置m处产生重新格式化的图像 $I_{m+1}^{\&prime;}=M_{m\&RightArrow;m+1}^{-1}\left(I_{m+1}\right).$

计算机程序的指令25使处理器基于运动补偿进一步计算各要素。以灰度值的形式表示图像要素的亮度是一种常见形式。在根据本发明的方法中，计算了图像I_m和变换后的图像I′_m+1的灰度值插值，产生了j幅插值后的图像I′_m，m+1 ⁱ，0＜i≤j。优选地，使用了一种线性灰度值插值，其通过 $I_{m,m+1}^{\&prime;i}=\frac{(j-i)\&times;I_m+i\&times;I_{m+1}^{\&prime;}}{2j}$ 给出。可替换地，可以使用非线性插值。

指令26使处理器计算连续图像的所述部分之间的空间插值，并产生对运动物体进行动态成像的一系列图像，作为对根据本发明的计算机程序20的指令27的响应，可以将该系列图像有利地显示在适当的显示单元中。作为空间插值的结果，将图像I′_m，m+1 ⁱ放置在位置i处，产生j个图像 $I_{m,m+1}^i=M_{m\&RightArrow;m+1,\mathrm{\&omega;}}\left(I_{m,m+1}^{\&prime;i}\right),0<i\&le;j,$ 其中使用了适当的变换加权因子ω＝i/j。

Claims (10)

1、一种用于对运动物体进行动态成像的方法，所述方法包括如下步骤：

-访问所述运动物体的图像，所述图像包括表示所述物体的具有各自亮度的要素；

-计算连续图像的至少共同部分的所述要素之间的运动；

-基于所计算的运动对所述要素进行运动补偿；

-基于所述运动补偿进一步计算所述要素的各自亮度；

-计算连续图像的所述部分之间的空间插值，并产生用于对所述运动物体进行动态成像的一系列图像。

2、如权利要求1所述的方法，其中，基于所述图像的分割结果计算运动。

3、如权利要求1所述的方法，其中，基于所述物体的一部分的配准结果计算运动。

4、如权利要求1所述的方法，其中，基于所述图像中可识别的标记计算运动。

5、如前面任意一个权利要求所述的方法，其中，所述方法还包括将所述运动物体的动态成像结果显示在显示器上的步骤。

6、一种对运动物体进行动态成像的系统(10)，所述系统包括：

输入(12)，用于：

-访问所述运动物体的图像，所述图像包括表示所述物体的具有各自亮度的要素；

处理器(14)，用于：

-计算连续图像的至少共同部分的所述要素之间的运动；

-基于所计算的运动对所述要素进行运动补偿；

-基于所述运动补偿进一步计算所述要素的各自亮度；

-计算连续图像的所述部分之间的空间插值，并产生用于对所述运动物体进行动态成像的一系列图像。

7、如权利要求6所述的系统(10)，其中，所述系统还包括用于显示所述运动物体的动态成像结果的显示器(19)。

8、如权利要求6或7所述的系统(10)，其中，所述系统还包括用于获取所述图像的数据获取单元(17)。

9、一种使处理器执行如下步骤的计算机程序(20)：

-访问(21)所述运动物体的图像，所述图像包括表示所述物体的具有各自亮度的要素；

-计算(22)连续图像的至少共同部分的所述要素之间的运动；

-基于所计算的运动对所述要素进行运动补偿(24)；

-基于所述运动补偿进一步计算所述要素的各自亮度(25)；

-计算(26)连续图像的所述部分之间的空间插值(26)，并产生用于对所述运动物体进行动态成像的一系列图像。

10、如权利要求9所述的计算机程序，还包括用于使所述处理器执行将所述运动物体的动态成像结果显示(27)在显示器上的步骤的指令。

Images