CN1647111A - 从图像序列中确定图像的方法 - Google Patents

Abstract

本发明涉及一种从将运动表示为运动状态序列的图像序列中确定参考图像的运动对象的相应图像的方法。为此，检查表示相关运动的发展的两个运动信号的相似性。使用这样获得的相似性函数，能够确定图像序列中的哪个图像至少近似表示参考图像中表示的对象的运动状态。此外，本发明涉及一种适于执行该方法的系统，以及一种使得数据处理单元能够执行该方法的计算机程序和计算机程序产品。

Description

从图像序列中确定图像的方法

本发明涉及一种从运动对象的图像序列中确定参考图像的对应图像的方法，该图像序列将对象运动表示为一序列运动状态。本发明还涉及一种在其中能够执行该方法的系统和检查装置，以及一种使得数据处理单元能够执行该方法的计算机程序和计算机程序产品。

该方法用于例如要在图像序列中确定运动状态的图像的情况，所述运动状态还在对象的第二相似运动期间获得的参考图像中被表示。当对象执行运动时，每次确定一个表示在每个运动的运动状态时的该序列的信号。这种装置是公知的，例如在医学领域。专利文件US4,729,379公开了一种用于心脏检查的X射线检查装置，其中得到跳动心脏的两个X射线图像序列。在两个序列之一的获取期间向心脏的血管注入了造影剂。

在随后的步骤期间，两个序列相互相继地(即一个图像接着一个图像地)相减，从而在所得的差序列中，仅充满造影剂的血管被再现，而背景量最小。为此，两个图像序列必须相互对齐，使得其中在每个图像序列，总是表示相同运动状态的那些图像被减去。这通过由心电图学获得各心电图信号(ECG)来实现，即与两个图像序列的获得是并行的。在每个ECG中，每次确定两个连续R偏差，由此两个ECG相互对齐。如果两个ECG中的两个R偏差之间的时间经历不同，此时间差通过线性内插补偿，从而在两个关联图像序列的R偏差之间获得的图像能够相互关联。

因为仅一个参考时刻用于心动周期，图像序列仅在一个时刻相互对齐，所以一方面就整个心动周期的持续期来说，另一方面就心脏运动的各段的扩展或压缩来说，没有考虑两个ECG信号之间的差别。这导致了差序列中不需要的人工产物和干扰人工产物。

因此，本发明的目的是改善上述这类系统。

根据本发明，利用一种通过第一和第二运动信号从运动对象的图像序列中确定参考图像的对应图像的方法来实现该目的，其中

-第一和第二运动信号表示在对象的第一运动和第二运动的运动状态时各自的变化，

-图像序列将对象的第一运动表示为运动状态的图像序列，

-参考图像表示来自第二对象运动的运动状态，并在对象的第二运动期间的一个参考时刻获得，

包括以下步骤：

a.通过第一和第二运动信号的相似性比较来确定一个相似性函数，

b.通过该相似性函数来确定第一运动信号中的一个对应时刻，该对应时刻相应于来自第二运动信号的参考图像的获得时刻，

c.使用第一运动信号来确定该图像序列中的一个图像，该图像的获得时刻至少近似地相应于该对应时刻。

以上方法用于确定参考图像的一个对应图像，该相应图像至少近似地表示在参考图像中被表示的一个运动对象的运动状态。从对象的第一运动中，现在获得了一个其中的每个图像表示该对象运动的运动状态的图像序列。连续的图像则表示该对象运动的运动图像序列。当对象执行第二运动时，获得在对象的第二运动期间发生的运动状态的参考图像。一个表征或表示在运动的运动状态中的变化的运动信号可从第一以及第二运动中得到。这种信号例如是能够在发生相关运动时获得的ECG。另一种运动信号是在病人的呼吸运动期间通过呼吸传感器产生的信号。

在该方法的第一步骤中，检查两个运动信号的相似性。这产生了相似性函数，该相似性函数可以用于关联一个运动信号的任何时刻与其他运动信号的对应时刻，从而假定对象在两个时刻至少近似地具有相同的运动状态。使用相似性函数，在两个运动中，可以确定对象在各自的运动期间近似地具有相同运动状态的两个时刻。即使这些运动不相同，以至这些运动的运动信号相互非线性变形，但是与已知方法不同，按照本发明的方法仍然产生适于评价的结果。

在该方法的第二步骤中，确定在第一运动信号中相应于第二运动信号的参考时刻的时刻。在方法的第三步骤中，其获取时刻近似地相应于该对应时刻的图像序列的图像被确定为该对应图像。这样选择的对应图像至少近似地表示在参考图像中被表示的运动对象的运动状态。当来自图像序列的参考图像和对应图像相互相减时，减法图像将仅呈现很少量的人工产物，这可能归因于不同运动状态的两个图像相互相减的事实。

按照权利要求2，相似性比较可以通过已知的“动态时间扭曲(dynamic time wraping)”方法来执行。该方法能够非常快速有效地执行相似性比较。

如果对象运动在原理上是已知，从而附加地能够根据在图像序列的图像获取之间由对象呈现的运动状态来提供信息，则通过内插能够对这些运动状态形成人工的中间图像。例如，在呼吸期间由一些组织执行的运动能够充分精确地由运动模型来描述。按照权利要求3，就可以形成一个尽可能好地表示在参考图像的获取期间由对象呈现的运动状态的图像。这特别在获取图像序列的图像的实际时刻和对应时刻之间的差非常大，以至例如在减法图像中产生太多人工产物时是相当有利的。中间图像的内插还能够在对象运动期间仅能获得用于图像序列的很少图像时被有利地使用。

按照权利要求4，该方法能够特别有利地在形成人或动物心脏的图像和图像序列的系统中使用，而且可得到心脏运动的ECG。按照本发明的方法提供表示心脏相同运动状态的图像的可靠确定，特别在病人因为疾病或给定的身体条件而具有其ECG相互呈现非线性变形的心动周期时。

按照权利要求5，在执行减法血管造影术的系统中使用该方法。适于心脏运动状态的图像获取的成像方法，按照权利要求6可以是X射线系统，按照权利要求7可以是超声系统。但是产生片层图像或容积图像的成像系统，例如磁共振断层摄影装置或X射线计算断层摄影装置，在不远的将来也能够记录心脏的运动状态。因此也能够使用此方法。

因此，按照权利要求8，在包括在医学领域的现在成像系统中使用数据处理单元的系统中使用该方法特别有利。按照权利要求9，X射线检查系统可以配备这样的系统。如果数据处理单元构造成可编程，根据本发明，如权利要求10所述的计算机程序或计算机程序产品可以使数据处理单元执行该方法。

将参考附图在下文中详细描述本发明的实施例。

图1是结合图像获取的代表两个ECG的图示。

图2示出了两个信号的相似性比较的通用方法。

图3示出了语音识别中设置的可比较的任务。

图4以举例的方式示出了局部和累积距离以及相关递归矩阵。

图5和图6示出了不同ECG的一些局部距离的各个图。

图7示出了对应图像的确定。

图8示出了X射线检查系统。

图1是在时间t范围的心动周期的心电图(ECG)E1的图示。心电图是记录人或动物心脏动作电流的方法。受激的心肌位置具有相对未受激位置的电荷；该电荷以给定速度传播通过心肌的剩余部分。该电流可以通过附着在身体上的适当的电极以已知的方式及时测量，并能够按照图1再现。人的典型心动周期约为期一秒。

在心动周期中，在多个时刻t1-t14获得心脏的各图像I1-I14。图像I1-I14的每一个将心脏的运动状态表示为很复杂的心脏运动的瞬时图像。这种图像可以通过已知的成像方法例如通过X射线成像或超声成像来获得。现在的X射线系统使得能够每秒获得最大从30-60个图像，从而心动周期的图像序列的图像各表示30和60个不同的心脏运动状态。但是这么多图像难以在图中表示，因此在这里使用一小部分。

对于某些心脏的检查，仅成像心血管的导管树是有用的。为此，获得心脏运动状态的第一和第二图像。在第二图像的获取期间，例如吸收X射线的造影剂通过例如导管被导入心血管，从而血管在X射线系统中被很好地突现。第一图像的获取没有使用造影剂。在下一步，两个图像例如以逐个像素方式相减，从而在理想情况中，只有填充了造影剂的导管树仍然可见。该方法还称为减法血管造影术；对于数字图像，还称为数字减法血管造影术(DSA)。图1简单示出了在心血管填充了造影剂期间的第二图像序列的形成，以及相应的心动周期ECGE1’。图I’1-I’14是在时刻t’1-t’14获得。

当两个图像中要由减法去除的图像单元或像素基本相同时，由DSA产生的图像包含很少的人工产物。此外，两个图像中要被突现的对象的形状也应当基本上相同。因此，特别在复杂运动例如心脏运动时，从两个能尽可能好地表示相同心脏运动状态的两个图像相互相减是重要的。例如，如果图像I8中表示的运动状态要被表示为DSA图像，则需要从第二图像序列中找到表示基本上和图像I8相同的心脏运动状态的图像I’8。这由虚线表示。如果象在现今使用的系统中，仅所谓R偏差(刚刚在I8获取时刻之前的明显偏差)被作为参考时刻，并且如果该偏差在ECG E’1中显著地比在ECG E1中宽(ECG E’1的虚线部分)，已知的方法将产生仍然位于R偏差的下降部分的图像I’8，从而它表示完全不同于实际搜索的I’8的运动状态。特别在病人患有心脏病时，不能简单假定两个不同心脏周期的ECG曲线正好相同。一般来说，一个ECG相对于另一个ECG呈现非线性变形，从而在一个ECG的获取期间的给定时刻，心脏处在与另一个ECG的获取期间不同的运动状态。这使得对两个ECG进行比较来确定相应于图像I8的图像I’8更加困难。

图2是使得能够就相似性检查两个时间上非线性变形的信号的可行方法的通用方法。水平和垂直划分的(一维)函数，对应于两个大致相同的函数。两个函数的不同时间构成，在它们的时间比例的相对变形中变得明显。相应事件(例如运动状态)的时刻的假定关联在比例的乘积格中被标记为一条路径(path)。

这种图样比较算法的使用从在语音识别领域中使用的单词识别系统可以得知(例如从E.G.Schukat-Talamazzini的著作“AutomatischeSpracherkennung”，ISBN3-528-05492-1，Vieweg Verlag，1995，5.1章)。按照图3，给出了词汇表Y＝Y₁...Y_T，每个词条由参考图样Y₁表示(也称为原型或模板)，并且每个参考图样Y₁以特征向量序列Y₁＝y₁₁...y_1S的形式给出。词条形成单词的选择实现(这些单词已经在系统定标阶段期间获得)。此外，短期分析的单词以特征向量序列X＝x₁...x_T的形式给出。识别各单词的任务在于，通过检查词汇表的哪个单词最对应于实际说的单词，从词汇表确定可能说的单词的身份(identity)。

具有不同持续期S≠T的输入序列X＝x₁...x_T和参考序列Y＝y₁...y_S之间的距离D(X，Y)被确定为向量序列之间沿适当时间扭曲路径的局部距离d_ij＝d(_xi，y_j)的和。局部距离函数d(·，·)例如通过欧几里得度量来实现。适于此目的的变形函数应当在其整个长度将X映射在Y上，在t比例和s比例中满足给定的单调的和恒久不变的特性，并产生最小总距离。该非常复杂的离散最佳化任务(组合的可行路径数量作为原型长度的函数而按指数关系增加，即使施加以所述的限制)满足最佳化原理，因此能够通过公知的“动态编程”方法来解决。向量序列X、Y初始段之间的累积距离D_ij＝D(x₁...x_i，y₁...y_j)遵照递归公式：

因此，总距离D(X，Y)＝D_TS能够通过仅执行O(T·S)算法操作来确定。图4简单举例示出了局部距离1D和累积距离KD的矩阵。最佳变形路径(即具有最小距离的路径)由粗线围绕的方形来突出显示。可以按照以上在递归公式中的最小判定而由递归矩阵RV中的指针的设置来确定(即与总距离同时地)。递归公式的最小表示中项的数目和形状取决于容许的变形函数的局部转换1T。除了在示例中选择的结构，还有很多其它的修正路径限制是已知的。该已知的用于时间上灵活的(time-elastic)距离计算的算法称为动态时间扭曲(DTW)。

该方法使得能够比较两个ECG曲线的相似性。为此，ECG曲线被表示为数字形式，即每个曲线中由大量特征点(例如300)表示；这可以通过取样ECG信号以已知的方式实现。ECG曲线因此形成标量序列。从而局部距离函数能够由以下可选的标准表示：

d_ij＝d(x_i，y_j)＝|x_i-y_j|，

d_ij＝d(x_i，y_j)＝(x_i，y_j)²，或

通常，d_ij＝d(x_i，y_j)＝‖x_i，y_j‖，以‖x，y‖作为量度。

表达式‖x，y‖通常在数学上是已知的，并且满足条件‖x，y‖+‖y，z‖≥‖x，z‖(三角不等式)，‖x，x‖＝0，‖x，y‖≥0和‖x，y‖＝‖y，x‖(对称)。

如前，累积距离构成为之前的局部距离的和，并且最有利的变形路径用最小条件递归确定。一旦已经定义了变形路径，可以为一个ECG曲线的每个特征点指出另一ECG曲线的对应特征点。

在确定最佳路径期间，递归公式定义了在递归步骤中能够到达哪个方框。按照以上公式，从三个不同的累积距离确定最小值，三个距离是从一个方框到直接邻近的方框而被测量的。可选地，可以使用以下从相关递归公式得到的递归矩阵：

$D_{\mathrm{ij}}=\left\{\begin{array}{cc}0& i=j=0\\ \min \{D_{i,j-1},D_{i-1,j-1},D_{i-2,j-1}\}+d_{\mathrm{ij}}& i>0,j>0\\ \∞& \mathrm{else}\end{array}\right.$

此时，再次比较三个累积距离，假设在三个比较之一中对应方框不直接邻近。递归公式中实际相互比较的距离取决于精确的系统条件，并且如果需要的话，可以通过后指针或由递归公式给定的局部转换按照预定任务而改变。

图5和6示出了两个ECG的一些局部距离的各个图。为了简化，信号值被四舍五入(量化)为绝对值在0和10之间的对应的整数值。时间轴t的每个特征点有一个方框，并且第一特征点每次表示为x1到x5和y1到y5。局部距离每次被计算为d_ij＝d(x_i，y_j)＝|x_i-y_j|。最佳路径通过累积距离(这里未示出)和递归公式

$D_{\mathrm{ij}}=\left\{\begin{array}{cc}0& i=j=0\\ \min \{D_{i-1,j-1},D_{i-1,j},D_{i,j-1}\}& i>0,j>0\\ \∞& \mathrm{else}\end{array}\right.$

来确定。图5中两个ECG曲线E2和E3基本上相同，因此由粗线围绕的方框表示的最佳路径扩展为对角线。图6中的ECG E4相对于ECG E2呈现轻微的非线性变形。在两个曲线的轨迹大致相同的区段，最佳路径几乎为对角线。在信号路径偏离的区段，最佳路径偏离对角线。当已经定义了最佳路径时，可以为ECG E4的每个时刻y确定ECG E2的对应时刻x，反之亦然，于是ECG曲线基本表示对应时刻心脏运动的相同状态。

当已经定义了对应时刻时，图7示出了按其选择相应的图像的可能性。在获取ECG E5期间，心血管填充了造影剂，并且图像I51在时刻t51获得。在获取ECG E6和E7和相关图像序列期间没有使用造影剂。与ECG E6之间进行的相似性比较产生出对应时刻t63，在此时刻获得表示和图像I51相同的心脏运动状态的对应图像I63。图像I63可以用于减法血管造影术。与ECG E7之间进行的相似性比较产生出对应时刻t75。但是此时刻没有获得图像，如在时刻t75由虚线箭头所示。在对应时刻t75之前，获得了图像I72，并且在时刻t75之后获得了图像I73。

获得适于减法血管造影术的图像的第一可能是选择其获得时刻尽可能靠近对应时刻t75的图像。换句话说，要选择图像获取时刻与对应时刻t75之间的时间差最小的图像。这应是图像I73。用于当存在着具有不使用造影剂而获得的ECG(未示出)的另外的图像序列时，特别利用这种可能性。对于这些另外的ECG的每一个，该方法使得能够确定相关的对应时刻和最接近图像之间的时间差。选择时间差最小的图像用于减法血管造影术。

获得适于减法血管造影术的图像的另一可能是从每次在对应时刻之前和之后已经获得的那些图像中来内插图像。例如，图像I72和I73中所示运动状态之间心脏的运动可以被内插，从而形成一个人工图像，该人工图像表示该相应时刻t75的心脏的运动状态。在简单的情况中，假定在图像I72和I73的运动状态之间为心脏的线性运动。在另一情况中，心脏的全部运动被表述为一种运动模型，由此在图像I72和I73的获取时刻之间心脏的最确切的运动可以被内插，并且可以确定相应时刻t75的运动状态图像。

使用按照本发明的方法不限于一个参考图像。在包括多个参考图像的图像序列的情况中，通过该方法能够为每个参考图像确定或形成对应图像。

图8是医学X射线检查系统的图示。系统包括X射线源40，用于发射X射线42，从而穿过被检查对象，此时被检查对象是安排在对X射线透明的台43上的病人41；随后，X射线能够被安排在台43下的X射线图像检测器44检测。X射线图像检测器44包括对X射线敏感的传感器单元阵列。由于穿过病人41时X射线42的器官特定衰减，所以在X射线图像检测器44中形成图像，所述图像的数据被施加给数据处理单元46。还能够执行这里没有描述的系统控制任务的数据处理单元46处理输入图像数据45，从而为观察者形成最佳图像。这样处理的图像数据47被提供给显示单元48，例如监视器，在该监视器上数据能够在其上显示给观察者。数据处理单元能够任选地构成，从而是可编程的。在这种情况中，可用被连接到数据处理单元46的数据读取装置52，它能够从计算机程序产品中读取计算机程序，从而将其提供给数据处理单元46。计算机程序使得数据处理单元和其它装置能够执行本发明的方法。

连接ECG装置51的电极附着在病人身上。附图仅举例示出了一个电极附着到身体的连接导线50。实际中，将以公知的方式使用多个电极，并且一个电极(未示出)用于参考电压(通常接地)。连接数据处理单元46的ECG装置在数据处理单元46的控制下在X射线图像获取期间形成病人41的ECG，并提供给数据处理单元46，以便执行按照本发明的方法。

还示出了心脏病检查期间在病人腹股沟部位引入到血管的导管49。然后医师将导管尖端推到心脏，同时以低剂量获得X射线图像序列，该X射线图像序列有助于在身体中导航。一旦经导管到达心脏，造影剂被注入心脏血管。刚好在造影剂从导管尖端出现之前，X射线图像检测器44和X射线源40为随后的获取被切换为操作的高剂量模式，因此详细的高剂量图像形成填充造影剂的心脏导管树。

随后，X射线源关闭，或者在医师需要另外操作的导航辅助时，再次形成低剂量图像。填充造影剂的导管树的高剂量图像被存储在数据处理单元46中。使用由ECG装置51形成的ECG和按照本发明的方法，这些高剂量图像能够以所述的方式叠加在表示没有造影剂的导管树的低剂量图像或另外的高剂量图像上，从而通过显示单元48呈现给医师。

按照本发明的方法能够用于各种心脏病检查。

1.不注射造影剂而获得多个正在跳动的心脏的心动周期。随后，使用造影剂获得几个心动周期或者仅一个心动周期，然后不用造影剂再次获得几个心动周期。在通过按照本发明的方法，在已经为几个或全部表示填充有造影剂的心脏的心动周期图像确定不用造影剂的各图像以后、并且在其相减以后，获得其中图像基本唯一表示心动周期的各运动状态中心脏的导管树的心动周期图像序列。这些图像存储在数据处理单元中，并且能够作为运动图像序列反复呈现给医师。使用造影剂的图像则构成参考图像，而不用造影剂的图像形成对应的图像。

2.检查系统的数据处理单元包含在以上第1部分形成的图像序列，其图像实际上唯一表示心动周期的各运动状态中心脏的导管树。为了在心脏附近定位导管，医师使用以低剂量连续获得的X射线图像序列形式帮助在身体中导航。在这些序列中，能够识别导管树和心脏，仅有的困难是身体条件造成的。对于刚获得的X射线图像，从存储的序列自动或手动确定对应图像，以便通过按照本发明的方法将其叠加到X射线图像上。结果，填充造影剂的导管树被叠加在瞬时X射线图像上，从而提供给医师适当的导航辅助。如果需要的话，还能够为实际上每个获得的X射线图像连续地执行这样的叠加。不使用造影剂的图像形成参考图像，而使用造影剂的图像则形成对应的图像。

注意，该方法不限于X射线检查系统。按照本发明的方法能够在超声检查系统中以图8所示的X射线检查装置相同的方式执行。为此，参考图像和对应图像通过超声形成，在参考图像或对应图像的获取期间对血管或要检查的组织给以超声反射造影剂。

Claims (10)

1.一种通过第一和第二运动信号从运动对象的图像序列中确定参考图像的对应图像的方法，其中

-第一和第二运动信号表示在对象的第一运动和第二运动的运动状态时各自的变化，

-图像序列将对象的第一运动表示为运动状态的图像序列，

-参考图像表示来自第二对象运动的运动状态，并在对象的第二运动期间的一个参考时刻获得，

包括以下步骤：

a.通过第一和第二运动信号的相似性比较来确定一个相似性函数，

b.通过该相似性函数来确定第一运动信号中的一个对应时刻，该对应时刻相应于来自第二运动信号的参考图像的获得时刻，

c.使用第一运动信号来确定该图像序列中的一个图像，该图像的获得时刻至少近似地相应于该对应时刻。

2.如权利要求1所述的方法，其特征在于相似性函数通过所谓的动态时间扭曲方法获得。

3.如权利要求1所述的方法，其特征在于从该对应图像和来自图像序列的另一图像形成内插图像，该内插图像至少基本上表示该对应时刻的对象运动状态。

4.如权利要求1所述的方法，其特征在于第一和第二运动信号形成心电图信号，并且该图像序列的图像和该参考图像表示人或动物心脏的运动状态。

5.如权利要求4所述的方法，其特征在于在该图像序列的图像中或该参考图像中，心血管至少部分地填充了造影剂。

6.如权利要求1所述的方法，其特征在于该图像序列形成X射线图像序列和/或该参考图像形成X射线图像。

7.如权利要求1所述的方法，其特征在于该图像序列和/或该参考图像形成超声图像。

8.一种包括数据处理单元的系统，用于通过第一和第二运动信号从一个图像序列确定参考图像的运动对象的对应图像，该数据处理单元被配置成执行如权利要求1所述的方法。

9.一种检查装置，包括X射线图像检测器和用于心电图信号检测的设备，该装置包括如权利要求8所述的系统。

10.一种计算机程序或计算机程序产品，被配置成与数据处理单元合作，从而该数据处理单元能够执行如权利要求1所述的方法。

Images