CN1910616A - 手术中二维图像与手术前三维图像的仿射配准方法和系统 - Google Patents

Abstract

本发明公开了一种用于使目标特征的手术中二维(2D)医学图像的序列与所述目标特征的手术前三维(3D)医学图像配准的系统和方法。目标特征的3D图像被转换为第一骨架图形。目标特征的2D图像被转换为第二骨架图形。执行第一和第二骨架图形的图形匹配以获得图形的粗对准，并且使第一与第二骨架图形配准。

Description

手术中二维图像与手术前三维图像 的仿射配准方法和系统

相关申请的交叉参照

本申请要求于2004年1月21日提交的、序列号为No.60/537,820的美国临时申请的权益，上述申请整体被引入作为参考。

技术领域

本发明涉及用于使手术中图像与手术前图像配准的方法和系统，并且更具体地涉及用于使手术中二维图像与手术前三维图像配准的基于特征的方法和系统。

背景技术

人体组织和器官的成像是用于帮助诊断和治疗许多医疗状况的重要手段。诸如磁共振成像(MRI)和计算机断层扫描(CT)这样的成像模态产生高质量的三维(3D)图像。这些成像模态典型地被用于在手术前使患者成像。

的确，在乳腺癌、前列腺癌和脑肿瘤手术中，由于能够执行动态成像、参数建模、和扩散或具有对于交互式手术中成像来说不切实际的采集时间的其它功能性MR或CT成像方法，手术前成像更好地描绘肿瘤范围。典型地在手术期间获取二维(2D)荧光图像。尽管这些图像有益于提供对介入装置的实时监控，但是并不具有闭合磁体MR和CT的图像质量和组织对比。

介入荧光成像或手术中荧光成像用来引导用于诊断或微创治疗介入的器械。介入和外科手术要求医生可以使用关于患者解剖组织构造或活动器官的变化位置的更新。(在没有配准的情况下)介入期间的实时成像建立患者和图像之间的必要关系。荧光图像的较低图像质量阻止它们用于各种手术。存在对配准过程的需要，该配准过程利用来自传统高场磁体MRI系统或CT系统的高质量手术前体积/图像来增加荧光手术中图像(体积被视为三维图像并且在下文中被称为图像)。

发明内容

本发明涉及一种用于使目标特征的手术中二维(2D)医学图像的序列与所述目标特征的手术前三维(3D)医学图像配准的系统和方法。目标特征的3D图像被转换为第一骨架图形。目标特征的2D图像被转换为第二骨架图形。执行第一和第二骨架图形的图形匹配以获得图形的粗对准，并且使第一与第二骨架图形配准。

附图说明

下面将参考附图更详细地描述本发明的优选实施例，其中相似的参考数字表示相似的元件：

图1是根据本发明的典型磁共振成像(MRI)系统的系统结构的示意图；

图2是根据本发明的用于获得二维手术中图像的典型C臂龙门架的示意图；

图3是示出根据本发明的用于使三维手术前图像与二维手术中图像配准的系统的示意性框图；

图4a-b是示出根据本发明的用于使手术前与手术中图像配准的过程的流程图；

图5是根据本发明的目标特征的骨架图形和相应3D图形的表示；

图6是根据本发明如何在第一时间段上在一系列血管中监控造影剂流的表示；以及

图7是根据本发明如何在第二时间段上在一系列血管中监控造影剂流的表示。

具体实施方式

本发明涉及一种用于使手术前三维图像与手术中二维图像配准以帮助引导介入手术的方法。不同模态、例如磁共振成像(MRI)或计算机断层扫描可以被用于获得三维图像。这种可以被用于获得图像的装置的例子是MAGNETOM Symphony和SONATOM Sensation，两者都是由Siemens AG制造的。

图1示出根据本发明的、可以被用于获得高质量手术前3D图像的典型MRI系统的部件的图示。MRI系统位于扫描室100中。磁体108产生用于成像过程的第一磁场。梯度线圈110在磁体108内以用于在磁场中在X、Y和Z方向上产生梯度。射频(RF)线圈112在梯度线圈110内。RF线圈112产生使自旋旋转90°或180°所必需的第二磁场。RF线圈112也检测来自身体内自旋的信号。

患者102通过计算机控制的患者治疗台(patient table)106被定位在磁体108内。治疗台106具有1mm的定位精度。扫描室100被RF屏蔽104围绕。屏蔽104防止高功率RF脉冲辐射到医院外面。它也防止来自电视和无线电台的各种RF信号被MRI系统检测到。一些扫描室也被磁屏蔽围绕，所述磁屏蔽包含延伸太远而进入到医院内的磁场。在较新的磁体中，磁屏蔽是磁体的主要的部分。

MRI系统的中心元件是计算机126。计算机126控制MRI系统上的所有部件。在计算机126的控制下的RF部件是射频源138和脉冲编程器134。射频源138产生所期望的频率的正弦波。脉冲编程器134使RF脉冲成形为变迹sinc脉冲。RF放大器136使脉冲功率从毫瓦特增加到千瓦特。计算机126也控制梯度脉冲编程器122，该梯度脉冲编程器设置三个梯度场中的每一个的形状和幅度。梯度放大器120使梯度脉冲的功率增加到足以驱动梯度线圈110的电平。

MRI系统的操作者通过控制台128将输入提供给计算机126。从控制台128选择和定制成像序列。操作者可以在位于控制台128上的视频显示器上查看图像或者可以在(未示出的)胶片打印机上进行图像的硬拷贝。

根据本发明，在外科手术之前将通过诸如所述的MRI系统之类的高模态成像系统使患者成像。在外科手术期间获取附加的较低质量的二维图像。典型地，X射线系统被用于获取这些图像。这样的系统的例子是AXIOM Artis MP，其是由Siemens AG制造的。

图2是荧光X射线成像系统的示意图。C臂212在围绕患者的轨道(例如圆形路径)中携带X射线源208和图像增强器210。如本领域技术人员已知的那样，X射线图像是对象到平面上的X射线照相投影。它可以被视为x和y的二维函数，以便它在每个点(x，y)处记录沿着从X射线源208辐射到图像平面上的点(x，y)的射线的所有吸收的总量。通过使X射线装置的C臂龙门架围绕其与在场患者的等角点旋转来采集3D血管造影数据。

图3是根据本发明的用于使手术前3D图像与手术中2D图像配准的典型系统的框图。本发明利用手术前图像和手术中图像来提供目标特征的更有用和便宜的配准图像，所述目标特征例如为特定组织区域内的血管，其为微创治疗介入的对象。例如可以在手术前使用闭合MRI系统或CT系统并且在手术中使用荧光检查系统来使肿瘤成像。图像被配准和拼接，以提供关于肿瘤和受影响的组织区域的结构的和功能的信息。在手术中使用荧光检查系统所获取的后续图像然后可以随着时间推移与手术前图像拼接，以便帮助医生。在手术中检测到变形的情况下，本发明也可以被用于在与手术中图像配准之前修改手术前图像以模仿变形。

通过使用闭合MRI系统(图1)或CT系统(未示出)(例如商业上可从Siemens Medical Solutions得到的1.5T MAGNETOM Sonata扫描器)来获得所期望的组织区域或器官的三维(3D)图像。从组织区域或器官的图像中收集并且存储数据以用于由处理器304进一步处理。特别地，从图像中分割目标特征、例如与特定组织区域相关的血管的一部分，并且存储骨架图形，如将在下文中更详细地进行描述的那样。在任何手术过程之前获取该图像。其它器官或内部结构必要时也可以被成像。

然后通过使用荧光检查系统302获取相同的所期望的目标特征的二维(2D)图像。在手术过程期间，获得初始图像并且将其存储在处理器304中。执行来自荧光检查系统的2D图像与来自闭合MRI的手术前3D图像的严格配准。优选地，3D手术前图像和2D手术中图像处于相对相似的状态。例如，被成像的内部器官对于两个成像过程来说应当处于近似相同的状态(例如位置和透视)以保证正确配准。

如上所述，3D图像数据和2D图像数据被输入到处理器304。处理器304可以包括图形用户界面(GUI)，该图形用户界面允许用户在图像中手工绘制围绕感兴趣区域的边界或轮廓。替代地，分割算法可以在无用户交互的情况下被用于区分感兴趣区域并且绘制图像的轮廓。可以使用本领域技术人员已知的分割算法。处理器304包括存储图像的数据库306。

包括显示器310以用于显示图像以及显示配准图像。也包括接口装置或装置308，例如键盘、鼠标或本领域中已知的其它装置。

图4a-4b是示出根据本发明的用于使手术前3D图像与手术中2D图像配准的方法的流程图。在手术过程之前患者经历MRI或CT扫描以获得目标特征的手术前3D图像(步骤402)。来自扫描的3D图像被存储以供以后使用。根据本发明，目标特征是血管。通过观察血管和周围组织，可以诊断各种状况。例如，这样的方法可以用于检测肝中的癌细胞、脑状况、和心脏状况。

从3D图像中分割目标特征(步骤404)。由于在介入手术期间造影剂通常被注射到目标区域中，因此分割血管相当容易。通过血管的造影剂流也被用于从荧光图像序列中提取3D血管，如将在下文中进一步详细描述的那样。3D图像提供所期望的区域的高分辨率视图，并且允许用户观察所述区域中的软组织以及能够进行深度测量。接着，从所分割的3D图像中提取中心线(步骤406)。根据本发明，用于3D对象细化的并行细化算法被用来识别中心线。这样的算法的例子在Tsao和Fu的文章“A Parallel Thinning Algorithm or 3-DPictures”(Computer Graphics and Image Processing，17：315-331，1981年)中进行了描述，其整体被引入作为参考。提取中心线提供一组位于血管的中轴上的体素。对用于识别血管段和分支的连通性进行测试。例如，作为血管段的一部分的体素典型地仅仅具有两个邻居，而分支体素通常具有更多的邻居，如下所示：

xx    xxxxxx

xxxxxo

    xxxxxxxx

其中o为分支体素，而x为相邻体素。

根据细化算法获得3D骨架树并将其作为3D图形存储在数据库306中(步骤408)。这种表示的例子在图5中示出。通过将每个血管段表示为骨架图形中的节点来产生骨架图形。关于血管段的附加信息也被存储在数据库306中。这样的信息可以包括作为节点属性的、血管段的长度和直径。血管段之间的连通性信息在骨架图形中被表示为边。由于血管的固有结构，所以骨架图形总是为树格式。更特别地，所述图形通常为有限的有根树。通过基于造影剂流(其将如下文中所述的那样从2D图形中获得)并且从较大直径血管节点到较小直径血管节点(针对3D图形)为边指定方向，骨架图形被转换为有向无环图。

接着，在手术过程开始时使用2D荧光检查系统扫描患者(步骤410)。优选地，患者被定位在与手术前3D成像系统扫描患者时基本相同的位置并且扫描的角度和透视是类似的。来自2D扫描的图像也被存储。

然后从2D图像中分割目标特征(步骤412)。这通过从零对比度图像中减去特征来实现。一旦目标特征已经被分割，则希望获得2D图像的3D图形。然而，这不是一项简单的任务。由于2D图像并不在图像中提供对象深度的任何指示，因此难以辨别重叠对象是否被连接。例如，在目标特征是一系列血管的情况下，不可能在2D图像中辨别出某些血管段是否重叠并且因此是否是分离的血流，或者重叠段是否指示所连接的血管的分叉。

为了进行该辨别，在给定时间段内研究通过血管的造影剂流(步骤414)。可以通过使用与用于匹配有根有向无环图的方法类似的方法来实现通过血管的造影剂流。这样的方法在H.Sundar等人的“SkeletonBased Shape Matching and Retrieval”(the Proceedings，Shape Modelingand Application Conference，SMI 2003)中进行了描述，其整体被引入以作参考。通过记录来自血管的每个交叉点或分支点的造影剂流的到达时间和离开时间来产生血管的图形。通过监控该流，可以进行深度确定。

根据本发明，记录来自每个交叉点或分支点的造影剂流的到达时间和离开时间(步骤416)。图6是如何跟踪通过血管的造影剂流的图示。在第一时间点上，确定造影剂的起始点。接着，以预定的时间间隔跟踪通过血管的造影剂流。以预定的时间间隔重复该监控，以便可以分析造影剂流，以确定血管的结构。图像602显示在没有造影剂的情况下包含血管的组织区域。图像604显示相同的组织区域，其中造影剂已被注射到血管中并且在预定时间段上被监控。

当造影剂流过血管的特定段时，血管被加亮以指示特定段是否被连接到相邻段上或者所述两个段是否重叠。尽管图6以变化的灰度级亮度示出血管以显示该关系，但是本领域技术人员应当理解可以使用其它表示、例如不同的色彩方案。血管606-614的每个分支具有不同亮度。

图7示出相同的组织区域602和图像704，图像704示出在比图像604的时间点更晚的时间点上的造影剂流。从该图像中可以看出，血管606和608重叠并且不连接。这样的确定有助于确定组织区域中的深度测量并且有助于使2D荧光图像与3D图像配准。

一旦通过血管的造影剂流已被分析，就根据2D骨架树产生3D图形(步骤418)。该3D图形示出组织区域中的血管的结构，并且澄清在重叠的血管和伪交叉方面的不明确性。接着，通过粗对准来自2D和3D图像的骨架树来执行3D图形的图形匹配(步骤420)。通常用于匹配有根有向无环图的方法可以被用于实现该步骤。这样的方法的一个例子在上述的H.Sundar等人的“Skeleton Based Shape Matching andRetrieval”中进行了描述。

一旦获得粗对准，就使用迭代最近点(ICP)算法来精化骨架树的配准(步骤422)。单平面荧光图像被用于执行2D-3D配准。图形匹配不仅提供粗对准；它也提供2D和3D骨架之间的血管一致性。当将ICP算法应用于中心线(点的集合)时所述一致性被用作约束。这有助于在使算法非常稳健的配准过程期间避免局部最小值。

另外，在监控造影剂流期间所获得的2D图像的整个序列在2D-3D配准期间被使用。该信息主要被用于避免在3D图像的单平面投影时的不明确性。通过使用2D特征中的所有对应点和3D特征的投影的平方差之和来优化配准参数(步骤424)。对六个参数(即三个平移和三个旋转参数)执行优化。

虽然已描述了用于使3D手术前图像与2D手术中图像配准的方法的实施例，但需要注意的是，本领域的技术人员可以按照以上教导进行修改和改变。例如本发明主要涉及图像的严格配准，然而也可以执行可变形的配准。在这样的情况下，优化步骤将包括用于控制变形的参数。一旦实现了2D和3D图像之间的初步配准，就可以通过跟踪2D图像中的特征来保持配准。任何已知的运动跟踪算法可以被用于该目的。

也可以通过从3D图像中或从以前的2D图像序列中获得形状模型来使用形状模型。该形状模型可以被用于引导骨架提取并用于优化步骤。

因此应当理解的是，可以在处于如所附的权利要求所限定的本发明的范围和精神内的、所公开的本发明的特定实施例中进行改变。因此，虽然已描述了具有专利法所要求的细节和特征的本发明，但在所附的权利要求中阐述了专利特许证所要求的和所期望保护的内容。

Claims (26)

1.一种用于使目标特征的手术中二维(2D)医学图像的序列与所述目标特征的手术前三维(3D)医学图像配准的方法，该方法包括以下步骤：

将所述目标特征的3D图像转换为第一骨架图形；

将所述目标特征的2D图像转换为第二骨架图形；

执行所述第一和第二骨架图形的图形匹配以获得图形的粗对准；以及

使所述第一与第二骨架图形配准。

2.根据权利要求1的方法，其中所述目标特征是特定组织区域中的血管。

3.根据权利要求1的方法，其中将所述目标特征的3D图像转换为第一骨架图形的步骤进一步包括以下步骤：

从所述3D图像中分割所述目标特征；以及

从所分割的3D图像中提取中心线。

4.根据权利要求3的方法，其中使用并行细化算法来提取所述中心线。

5.根据权利要求1的方法，其中将所述目标特征的2D图像转换为第二骨架图形的步骤进一步包括以下步骤：

从所述2D图像中分割所述目标特征；以及

研究通过所述目标特征的造影剂流。

6.根据权利要求5的方法，其中研究造影剂流的步骤进一步包括以下步骤：

记录在所述目标特征的每个交叉点处造影剂流的到达时间和离开时间；

基于所述到达时间和离开时间确定所述交叉点是连接交叉点还是重叠交叉点。

7.根据权利要求1的方法，其中执行图形匹配的步骤进一步包括使用有根有向无环图。

8.根据权利要求1的方法，其中使所述第一与第二骨架图形配准的步骤进一步包括以下步骤：

使用迭代最近点算法来精化配准。

9.根据权利要求1的方法，其中通过跟踪所述2D图像中的所述目标特征来保持所述第一与第二骨架图形的配准。

10.根据权利要求1的方法，其中单平面荧光图像被用于执行所述2D与3D图像的配准。

11.根据权利要求1的方法，其中2D图像的序列在时间上是连续的。

12.根据权利要求1的方法，其中所述目标特征与人类器官相关。

13.根据权利要求12的方法，其中所述器官是肝。

14.一种用于使目标特征的手术中二维(2D)图像的序列与所述目标特征的手术前三维(3D)图像配准的系统，所述系统包括：

用于使目标特征成像的2D成像系统；

用于存储所述目标特征的3D图像的数据库；

用于接收和处理所述2D图像的处理器，该处理器执行以下步骤：

i).将所述目标特征的3D图像转换为第一骨架图形；

ii).将所述目标特征的2D图像转换为第二骨架图形；

iii).执行所述第一和第二骨架图形的图形匹配以获得图形的粗对准；以及

iv).使所述第一与第二骨架图形配准；以及

用于显示配准图像的显示器。

15.根据权利要求14的系统，其中所述目标特征是特定组织区域中的血管。

16.根据权利要求14的系统，其中将所述目标特征的3D图像转换为第一骨架图形的步骤进一步包括以下步骤：

从所述3D图像中分割所述目标特征；以及

从所分割的3D图像中提取中心线。

17.根据权利要求16的系统，其中使用并行细化算法来提取所述中心线。

18.根据权利要求14的系统，其中将所述目标特征的2D图像转换为第二骨架图形的步骤进一步包括以下步骤：

从所述2D图像中分割所述目标特征；以及

研究通过所述目标特征的造影剂流。

19.根据权利要求18的系统，其中研究造影剂流的步骤进一步包括以下步骤：

记录在所述目标特征的每个交叉点处造影剂流的到达时间和离开时间；

基于所述到达时间和离开时间确定所述交叉点是连接交叉点还是重叠交叉点。

20.根据权利要求14的系统，其中执行图形匹配的步骤进一步包括使用有根有向无环图。

21.根据权利要求14的系统，其中使所述第一与第二骨架图形配准的步骤进一步包括以下步骤：

使用迭代最近点算法来精化配准。

22.根据权利要求14的系统，其中通过跟踪所述2D图像中的所述目标特征来保持所述第一与第二骨架图形的配准。

23.根据权利要求14的系统，其中单平面荧光图像被用于执行所述2D与3D图像的配准。

24.根据权利要求14的系统，其中2D图像的序列在时间上是连续的。

25.根据权利要求14的系统，其中所述目标特征与人类器官相关。

26.根据权利要求25的系统，其中所述器官是肝。

Images