CN104272349B

CN104272349B - 多相机设备跟踪

Info

Publication number: CN104272349B
Application number: CN201380022752.1A
Authority: CN
Inventors: D·S·A·鲁伊特斯; R·弗洛朗; R·J·F·霍曼
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2012-06-20
Filing date: 2013-05-29
Publication date: 2018-03-02
Anticipated expiration: 2033-05-29
Also published as: JP5837261B2; WO2013190409A2; RU2015101519A; EP2831841A2; US10255721B2; EP2831841B1; US20150164607A1; JP2015519985A; CN104272349A; WO2013190409A3

Abstract

本发明涉及跟踪介入设备。为了提供对介入设备的方便且简化的实时跟踪，提供了用于跟踪介入设备的医学成像系统(10)，所述医学成像系统包括接口单元(12)和处理单元(14)。所述接口单元被配置为提供介入设备的第一部分的第一图像数据(18)，所述第一部分被布置在对象外部。所述第一图像数据包括3D图像数据。所述接口单元被配置为提供所述介入设备的第二部分的第二图像数据(20)，所述第二部分是所述第一部分的延续，并且所述第二部分被布置在所述对象内部。所述第二图像数据包括2D图像数据。所述处理单元被配置为基于所述第一图像数据来计算所述介入设备的第一3D模型部分，并基于所述第二图像数据和所述第一模型部分来计算所述介入设备的第二3D模型部分。所述接口单元被配置为基于所述第一3D模型部分和所述第二3D模型部分来提供所述介入设备的图形表示(22)的数据。

Description

多相机设备跟踪

技术领域

本发明涉及一种用于跟踪介入设备的医学成像系统和一种用于跟踪部分被插入到对象内部的介入设备的方法，还涉及一种计算机程序单元和一种计算机可读介质。

背景技术

在对象的检查期间，例如，能够至少部分被插入到对象中(例如，它们延伸到对象内部)的介入设备被使用。在对象的内部对于人眼是不可见的情况下，例如，当检查患者时，在没有提供相应图像数据的成像系统的情况下，所插入的介入设备的位置以及因此所插入的介入设备的范围不能够被追踪。例如，X射线图像被采集以提供对当前状况的更好理解。利用介入设备的检查例如为活检流程。在US2011/0125011A1中，描述了采集三维X射线图像作为路线图。之后将这些三维X射线图像与在角度上彼此偏移的实时2D X射线图像相组合。然而，已经表明针对路线图的3D图像的采集意味着额外的准备步骤。

发明内容

因此，存在提供对介入设备的方便且简化的实时跟踪的需求。

本发明的目标通过独立权利要求的主题得以解决，其中，进一步的实施例被包含在从属权利要求中。

应当指出，本发明的以下描述的方面同样适于用于跟踪介入设备的医学成像系统、用于跟踪部分被插入到对象内部的介入设备的方法、计算机程序单元以及计算机可读介质。

根据本发明的第一方面，提供了一种用于跟踪介入设备的医学成像系统，所述医学成像系统包括接口单元和处理单元。所述接口单元被配置为提供介入设备的第一部分的第一图像数据，所述第一部分被布置在对象外部。所述第一图像数据包括3D图像数据。所述接口单元被配置为提供所述介入设备的第二部分的第二图像数据，所述第二部分是所述第一部分的延续，并且所述第二部分至少部分被布置在所述对象内部。所述第二图像数据包括2D图像数据。所述处理单元被配置为基于所述第一图像数据来计算所述介入设备的第一3D模型部分，并基于所述第二图像数据和所述第一模型部分来计算所述介入设备的第二3D模型部分。接口显示单元被配置为基于所述第一3D模型部分和所述第二3D模型部分来提供所述介入设备的图形表示的数据。

所述处理单元可以被配置为将所述第一3D图像数据与所述第二2D图像数据进行配准。

根据示范性实施例，提供了显示单元，所述显示单元被配置为基于所述第一3D模型部分和所述第二3D模型部分来显示所述介入设备的所述图形表示。

根据示范性实施例，所述医学成像系统还包括第一图像采集设备和第二图像采集设备。所述第一图像采集设备被配置为采集所述第一图像数据。所述第二图像采集设备被配置为采集所述第二图像数据。

所述第一部分也被称作外部部分，并且所述第二部分被称作插入部分。所述介入设备可以是具有纵轴的细长设备，所述纵轴与插入方向对齐。

根据示范性实施例，所述第一图像数据由至少两个光学相机来提供。所述第二图像数据可以由X射线成像布置来提供。备选地或额外地，可以提供超声成像布置。

例如，所述第一图像采集设备是提供光学，即可见图像的光学成像系统。所述第二图像采集设备是提供X射线图像数据的X射线成像系统或提供超声图像数据的超声成像设备。

可以实况，即实时采集所述第一图像数据和所述第二图像数据。所述第一图像采集设备可以包括具有至少两个相机的光学图像采集设备。所述第一图像数据可以由激光扫描器、深度相机(例如，飞行时间相机)、结构光相机、通过空气的超声等来提供。另一可能性是雷达。根据范例，所述第二图像采集设备包括X射线图像采集设备或超声图像采集设备。所述X射线图像采集设备可以是具有X射线源和X射线探测器的X射线图像采集设备。

根据示范性实施例，所述处理单元被配置为将所述第一3D图像数据与所述第二2D图像数据进行配准。所述显示器被配置为将所述第一3D图像数据和所述第二2D图像数据连同基于所述第一模型部分和所述第二模型部分的所述介入设备的模型表示一起显示在组合的图像中。

根据示范性实施例，所述处理单元被配置为将所述第一模型部分和所述第二模型部分相组合以形成所述介入设备的3D模型。

根据示范性实施例，所述处理单元被配置为确定边界空间，所述介入设备定位在所述边界空间中。所述处理单元还被配置为基于所述第一模型部分和所述第二模型部分和/或基于所述介入设备的所述模型来确定所述边界空间。

根据示范性实施例，所述处理单元被配置为确定边界框，所述介入设备的预定部分定位在所述边界框中。

根据示范性实施例，所述介入设备是柔性介入设备，所述柔性介入设备被配置用于在简单曲线几何结构中进行弯曲。所述处理单元被配置为确定针的两种可能的弯曲姿势。并且所述显示器被配置为将所述弯曲姿势呈现给用户。

根据示范性实施例，所述处理单元被配置为针对所述第一图像数据来确定所述介入设备的弯曲。所述处理单元被配置为基于在所述第一图像数据中确定的弯曲来预测所述对象内部的所述介入设备的弯曲。

根据示范性实施例，所述处理单元被配置为将所述第一3D图像数据与所述第二2D图像数据进行配准。所述显示单元被配置为将经配准的图像显示在组合的图像中。

根据本发明的第二方面，提供了一种用于跟踪部分被插入到对象内部的介入设备的方法，所述方法包括以下步骤：

a)采集介入设备的第一部分的第一图像数据，所述第一部分被布置在对象外部，其中，所述第一图像数据包括3D图像数据；

b)采集所述介入设备的第二部分的第二图像数据，所述第二部分是所述第一部分的延续，并且所述第二部分被布置在所述对象内部，其中，所述第二图像数据包括2D图像数据；

c)基于所述第一图像数据来计算所述介入设备的第一3D模型部分；并且

d)基于所述第二图像数据和所述第一模型部分来计算所述介入设备的第二3D模型部分。

根据示范性实施例，提供了步骤e)，在所述步骤e)中，将所述第一模型部分和所述第二模型部分相组合以形成所述介入设备的3D模型；

根据一个示范性实施例，提供了步骤f)，在所述步骤f)中，确定边界空间，所述介入设备定位在所述边界空间中。所述边界空间的所述确定基于所述第一模型部分和所述第二模型部分和/或基于所述介入设备的所述模型。

术语“边界空间”指的是定义可能放置所述设备的区域的可能边界，即，考虑可能的且合理的特定偏差的所确定的位置。

根据示范性实施例，确定边界框，所述介入设备的预定部分定位在所述边界框中。

在一个范例中，针对被布置在所述对象内部的所述设备的部分的位置的范围来确定置信体积。基于所述设备例如针的长度，能够确定被布置在身体外部代表所述3D图像数据的部分的长度。此外，能够确定所述对象内部的部分的长度。与所述方向即所述外部部分的取向一起，插入点是所述置信体积的起始点。根据所述设备的刚性即柔性，所述内部部分能够在所述对象内部被弯曲，即，偏离如由所述取向给出的直线或线性方向。所述设备能够因此定位在其中的可能空间能够被对用户可视化为所述置信体积。

例如，所述介入设备是刚性的，其中，所述预定部分的位置被确定。在另外的范例中，所述介入设备是柔性的，其中，所述预定部分的位置被确定。

在一个范例中，将所述边界空间区域，即所述边界空间结合所述对象的图像数据而呈现给用户。

在另一范例中，所计划的针路径被示出为叠加到所确定的模型。

在另外的范例中，在被配置用于在简单曲线几何结构中进行弯曲的柔性介入设备的情况下，所述针的两种可能的弯曲姿势被确定并被呈现给用户。

根据本发明的一个方面，提供了介入设备跟踪，例如针跟踪，所述跟踪使用例如多光学相机设置来传递例如患者的身体内部的3D信息。例如，将从例如视频设置获得的对应于所述对象的外部的三维的介入设备轮廓与对应于所述对象的内部的二维设备痕迹相组合，所述2D针或设备痕迹是从针跟踪例如在实况X射线图像中获得的。在另外的选项中，先验已知的所述设备的长度，即在使用所述设备之前已知的长度，能够被使用在这些组合步骤中。因此，本方法允许对完整针设备范围，即外部和内部部分进行建模，并允许确定所述对象的前端定位在哪里。该确定可以以各种准确度得以实现，取决于假设和针类型。例如，刚性针能够以高精确度被定位。所述设备的所述外部部分的三维图像数据的供应能够被布置有例如光学相机，从而提供一种提供3D外部数据的增强的且方便的方式。此外，所述对象的内部的图像数据的供应具有降低的努力，因为仅提供了二维图像数据。然而，所述3D外部数据用于提供所述设备内部的缺失的第三维，即，由所述3D外部数据和2D内部数据的组合来提供所述对象内部的3D图像数据。例如，所述介入设备是针。所述X射线图像中的所述针路径没有披露垂直于X射线图像平面的针姿势。然而，为了确保击中所规划的目标并避开关键解剖结构，该信息特别需要。本发明允许确定垂直于所述X射线图像的针姿势，或确定能够发现所述针的至少有限区域，而无需移动X射线机架或其他额外的测量。通过在光学相机图像中跟踪所述针，并将来自多个相机的信息相组合，能够准确地确定针对所述患者的身体外部的部分的所述针的实际3D路径。此外，在2D实况X射线图像中跟踪所述针并基于3D视频针轮廓(外部部分)和2D X射线针痕迹(内部部分)的组合来对完整针范围(外部加内部)进行建模。此外，作为选项，能够在所述建模中引入先验已知的针的长度。

本发明的这些和其他方面将从下文描述的实施例变得显而易见并参考下文描述的实施例得以阐述。

附图说明

在下文中将参考以下附图来描述本发明的示范性实施例：

图1示出在第一基本设置中的医学成像系统的示范性实施例；

图2示出在另外的示意设置中的根据示范性实施例的医学成像系统；

图3示出以X射线图像采集单元作为第二图像采集设备的医学成像系统的另外的范例；

图4示出用于跟踪介入设备的方法的示范性实施例的基本步骤；

图5和6示出另外的方法步骤的另外的范例。

图7和8示出根据示范性实施例的图形表示的不同范例；

图9a到9e示出与本发明的不同方面相联系的另外的范例；

图10示出根据示范性实施例的图形表示的另外的范例；

图11示出图7的灰度图示；

图12示出图8的图示；并且

图13示出图10的图形表示。

具体实施方式

图1示出在第一范例中的用于跟踪介入设备的医学成像系统10，医学成像系统10包括接口单元12和处理单元14。作为选项，可以提供显示单元16。接口单元12被配置为提供介入设备的第一部分的第一图像数据，利用第一箭头18来指示第一图像数据，所述第一部分被布置在对象外部。所述第一图像数据包括3D图像数据。接口单元12还被配置为提供介入设备的第二部分的第二图像数据，利用箭头20来指示第二图像数据，所述第二部分是第一部分的延续，并且所述第二部分至少部分被布置在对象内部。第二图像数据包括2D图像数据。处理单元14被配置为基于第一图像数据来计算介入设备的第一3D模型部分，并基于第一模型部分的第二图像数据来计算介入设备的第二3D模型部分。接口单元被配置为基于第一3D模型部分和第二3D模型部分来提供介入设备的图形表示22的数据。

显示单元16被配置为显示介入设备的图形表示22(在图1中没有进一步详细地示出)。

图2示出用于跟踪介入设备110的医学成像系统100的另外的范例，其中，医学成像系统100包括第一图像采集设备112，例如被示出为第一相机112a和第二相机112b。此外，第二图像采集设备114与处理单元116一起被提供。第一图像采集设备112被配置为采集第一图像数据，所述第一图像数据包括介入设备的第一部分的3D图像信息或3D图像数据，所述第一部分被布置在对象(例如，患者118)外部。利用附图标记120来指示介入设备110的第一部分。第二图像采集设备114被配置为采集第二图像数据，所述第二图像数据包括介入设备的第二部分的2D图像信息或2D图像数据，所述第二部分是第一部分的延续，并且所述第二部分至少部分被布置例如被插入到对象内部。利用附图标记122来指示第二部分。与其他部件进行数据通信或数据连接124的处理单元116被配置为基于第一图像数据来计算介入设备的第一3D模型部分，并基于第二图像数据和第一模型部分来计算介入设备的第二3D模型部分。应当指出，没有进一步示出如以上提到的接口单元。

例如，第一图像数据由至少两个光学相机112a和112b来提供。分别利用相机观察束124a和124b来指示各自的图像采集。代替两个相机，例如具有距离确定器件的立体相机可以被提供。

第二图像数据可以由X射线成像布置126来提供，没有进一步示出。点束结构128指示各自的X射线束。必须指出，在图2中没有进一步示出另外的细节，例如探测器。

根据另外的范例(没有进一步示出)，第二图像数据由超声成像布置来提供。

处理单元116被配置为将第一3D图像数据和第二2D图像数据进行配准。另外，提供显示器130，显示器130被配置为将第一3D图像数据和第二2D图像数据连同基于第一模型部分和第二模型部分的介入设备的模型表示一起显示在组合的图像中。然而，必须指出，显示器130，尽管被示出与图2的其他特征相联系，但不表示对于其他特征的实施例是绝对必要的。因此，图2中示出的显示器130必须被视为一个选项。

图3示出医学成像系统100的另外的范例，医学成像系统100包括C臂型X射线成像布置132，C臂型X射线成像布置132具有X射线源134和被提供在C臂型结构138的相对端上的X射线探测器136。另外，可移动支撑物140与安装在天花板上的系统142一起被示出。例如，对象144被示出为被支撑在可移动或可调整支撑物，例如患者台146上。另外，两个相机148被示出为第一图像采集设备。更进一步地，处理单元116以及监视器150和用户接口152一起被示出在前景中，用户接口152例如为鼠标、键盘、触摸板或其他控制面板。另外，灯光装备154与较大的显示布置156一起被示出。代替C臂型，也能够提供其他类型的X射线图像采集。

图4示出用于跟踪部分被插入到对象内部的介入设备的方法200，方法200包括以下步骤。在第一步骤210中，采集介入设备的第一部分的第一图像数据212，所述第一部分被布置在对象外部，其中，所述第一图像数据包括3D图像数据。在第二步骤214中，采集介入设备的第二部分的第二图像数据216，所述第二部分是第一部分的延续，并且所述第二部分被布置在对象内部，其中，所述第二图像数据包括2D图像数据。在第三步骤218中，基于第一图像数据来计算介入设备的第一3D模型部分220。在第四步骤222中，基于第二图像数据和第一模型部分来计算介入设备的第二3D模型部分224。

第一步骤210也被称作步骤a)，第二步骤214也被称作步骤b)，第三步骤218也被称作步骤c)，并且第四步骤222也被称作步骤d)。

可以基于由第一图像数据提供的3D信息来确定垂直于第二图像数据的图像平面的介入设备位置。针对所述位置，可以确定能够在其中发现所述设备的有限区域。第一部分也被称作第一片段，并且第二部分也被称作第二片段。

为了计算第一模型部分，在第一图像数据中确定介入设备，并且为了计算第二模型部分，在第二图像数据中确定介入设备。

为了计算第一模型部分，可以在第一图像数据中跟踪介入设备，并且为了计算第二模型部分，在第二图像数据中跟踪介入设备。

为了跟踪介入设备，可以跟踪介入设备的第一端，并且确定介入设备进入对象的表面的进入点。

图5示出所述方法的另外的范例，其中，提供了第五步骤226，第五步骤226也被称作步骤e)。在步骤e)中，将第一模型部分和第二模型部分相组合以形成介入设备的3D模型228。

例如，为了步骤e)中的第二模型部分的计算，这也基于介入设备的预定长度。如以上所提到的，所述介入设备可以是活检针。第五步骤226也被称作步骤e)。

如在图6中所示出的，可以提供第六步骤230，在第六步骤230中，进行边界空间的确定234，介入设备定位在所述边界空间中。边界空间的所述确定基于第一模型部分和第二模型部分；和/或基于介入设备的模型。边界空间也可以被称作边界空间区域。第六步骤230也被称作步骤f)。

必须指出，步骤f)能够在步骤e)的后面与步骤e)组合被提供，或在步骤d)的后面与步骤a)到d)组合被提供。

例如，可以确定边界框，介入设备的预定部分定位在所述边界框中。

可以将边界空间区域结合所述对象的图像数据呈现给用户。

根据另外的范例(没有进一步示出)，基于至少第一模型部分来计算介入设备的设备踪迹。例如，所述介入设备可以是活检针，并且所述设备踪迹是针路径。

在被配置用于在简单曲线几何结构中进行弯曲的柔性介入设备的情况下，针的两种可能的弯曲姿势被确定并被呈现给用户。

例如，针对第一图像数据来确定介入设备的弯曲；并基于在第一图像数据中确定的弯曲来预测对象内部的介入设备的弯曲。

例如，确定指示介入设备的预计位置的体积区域。针对介入设备的第一部分来确定介入设备的弯曲；并针对介入设备的第二部分来确定介入设备的弯曲。例如，确定锥形区域，第二部分定位在所述锥形区域中。

根据另外的范例(没有进一步示出)，第一3D图像数据和第二2D图像数据被配准并被显示在组合的图像中。

图7示出显示的图像的范例，在显示的图像中，来自两个相机的光学图像与规划的针路径和三维X射线重建融合。在左边的图像中，可见持有针312的用户的手310。小圈314指示针的插入点，即，针进入患者的内部的点。另外，还利用附图标记316来指示对象(即，例如患者)内部的针的部分。还在图7的右半边示出相似情况。

在图8中，规划的针路径318被示出在左边的上半部分。具有融合叠加的实况荧光透视图像被示出在中间部分和右边部分的上排中，以及左边部分和中间部分的下排中。

根据另外的范例，以上描述的方法允许实现以下特征：可能存在针并且具体而言存在针尖端的边界区域能够被确定并被可视化给医师。使用该信息，能够确定关键解剖部分没有被击中，从而节省X射线剂量和时间，因为在这种情况下不需要另外的验证。使用该信息，医师能够决定将机架移动到另一角度以在边界区域看起来是关键的情况下验证针位置。使用该信息，医师能够决定例如使用飞利浦的XperCT来进行3D重建以验证针位置。使用针弯曲仅构成简单曲线的假设，只有一种凹状是可能的，两种可能的姿势能够被指示给医师，两种可能的姿势也将在下文中加以描述。使用例如由光学相机检测的身体外部的弯曲能够预测身体内部的弯曲。如果针是刚性的，精确的针尖端位置能够在三维中被确定，即，边界框被缩小为点。

参考图9及以下等等，一些方面将被进一步解释。在图9a中，示出X射线源410，以及被布置在X射线源410和X射线探测器414之间的针412。在探测器414上，利用点线来指示针的投影412′。当仅给出X射线图像和例如C臂型机架姿势时，不可能得知针的精确位置。利用虚线416、418来指示的虚线三角内的可能的针位置的量是无限的。为了克服这个问题，有必要在光学图像中跟踪针，例如图10中示出的，示出了指示针的第一线510，其中，菱形指示头512，并且球形514指示皮肤进入点。此外，光学图像示出手柄部分516。另外的线518指示对象内部的可能的位置。

图9b示出在两种不同的观察角度下，即从第一焦斑410a和第二焦斑410b来观察的针412。第一焦斑投影向第一探测器414a，并且第二焦斑410b投影向探测器414b。因此，各自的针投影412′a和412′b被提供。来自光学图像跟踪的针片段能够被重投影到3D空间中。重投影的交叉传递3D空间中的实际针片段位置。必须指出，图9b涉及例如由光学相机提供的图像数据。指示针412的线和投影也被示出，其中，在一端上的菱形表示针的头，并且在另一端处的球形指示针的进入部分。

图9c涉及针对硬的或直的针的第一实施例，其中，将如从光学相机图像(见图9b)中取得的患者的身体外部的针片段的3D位置的组合与如图9a中描述的X射线图像相组合以传递精确的3D针位置。因此，也提供了被插入到患者内部的部分。点线420指示被布置在身体内部的部分，而直线422指示被布置在身体外部的针的部分。

在第二实施例中，将针长度的先验知识与来自光学相机的针片段的3D位置相组合，使得患者的解剖结构内的精确位置对于硬的、直的针是已知的。

在第三实施例中，能够将(使用X射线图像和使用针长度的先验知识的)两种描述的方法相组合以验证各自的结果并指示所述位置的不确定性。

在另外的示范性实施例中，涉及在图9d中示出的弯曲针，弯曲针对于跟踪来自光学相机的可见针片段也能够是非常有用的。使用先验已知的针长度能够来指示关于针的预计位置的体积区域424。能够考虑到，越来越大的弯曲角度越来越不可能。置信区域之后能够被可视化在融合的图像中。

在另外的示范性实施例中，该方法能够通过对在光学可见的针片段中发现的任何弯曲进行插值来估计隐藏的针片段中的弯曲而被进一步定义。例如，图9e涉及另外的示范性实施例，其中，将来自光学相机的3D的跟踪的针片段与针长度的先验知识、X射线图像以及针对针的弯曲的简单模型相组合，能够找到符合所有信息的若干可能的解决方案。图9e结合预测的针(利用较细的直线428来指示)指示被布置在身体外部的针的部分(利用直线426来指示，如以上描述)。在X射线探测器414上，各自的投影430被示出。例如，使用二次多项式或样条曲线作为弯曲模型，与3D光学可见片段426和X射线图像(即，投影430)一起能够被用来预测实际3D弯曲的针部分428。

图11示出图7的线图的图形表示，图12示出图8的图形表示，并且图13示出图10的图形表示。

在本发明的另一示范性实施例中，提供了一种计算机程序或一种计算机程序单元，其特征在于适于在适当的系统上执行根据前面的实施例之一所述的方法的方法步骤。

因此，所述计算机程序单元可以被存储在计算机单元上，所述计算机单元也可以是本发明的实施例的一部分。该计算单元可以适于执行以上描述的方法的步骤或诱发以上描述的方法的步骤的执行。此外，该计算单元可以适于操作以上描述的装置的部件。所述计算单元能够适于自动地操作和/或执行用户的命令。计算机程序可以被下载到数据处理器的工作存储器中。所述数据处理器由此可以配备为执行本发明的方法。

本发明的该示范性实施例涵盖从一开始就使用本发明的计算机程序或借助于更新将现有程序转变为使用本发明的程序的计算机程序两者。

更进一步地，所述计算机程序单元能够提供实现如以上所描述的方法的示范性实施例的流程的所有必需步骤。

根据本发明的另一示范性实施例，提出了一种计算机可读介质，例如CD-ROM，其中，所述计算机可读介质具有存储在所述计算机可读介质上的计算机程序单元，其中，所述计算机程序单元由前面部分描述。

计算机程序可以存储和/或分布在与其他硬件一起提供或作为其他硬件的部分提供的诸如光学存储介质或固态介质的适当的介质上，但是计算机程序也可以以其他的形式分布，例如经由因特网或其他有线或无线的远程通信系统。

然而，所述计算机程序也可以存在于诸如万维网的网络上并能够从这样的网络中下载到数据处理器的工作存储器中。根据本发明的另一示范性实施例，提供了一种用于使得计算机程序单元能够被下载的介质，其中，所述计算机程序单元被布置为执行根据本发明的先前描述的实施例之一所述的方法。

必须指出，本发明的实施例参考不同主题加以描述。具体而言，一些实施例参考方法类型的权利要求加以描述，而其他实施例参考设备类型的权利要求加以描述。然而，本领域技术人员将从以上和下面的描述中了解到，除非另行指出，除了属于一种类型的主题的特征的任何组合之外，涉及不同主题的特征之间的任何组合也被认为被本申请公开。然而，所有特征能够被组合以提供超过特征的简单相加的协同效应。

尽管已经在附图和前面的描述中详细说明和描述了本发明，但这样的说明和描述被认为是说明性或示范性的而非限制性的。本发明不限于所公开的实施例。通过研究附图、说明书和从属权利要求，本领域的技术人员在实践所主张的本发明时能够理解和实现所公开的实施例的其他变型。

在权利要求中，词语“包括”不排除其他元件或步骤，并且，量词“一”或“一个”并不排除多个。单个处理器或其他单元可以实现权利要求书中记载的若干项目的功能。在互不相同的从属权利要求中记载了特定措施并不指示不能有利地使用这些措施的组合。权利要求中的任何附图标记不得被解释为对范围的限制。

Claims

1.一种用于跟踪介入设备的医学成像系统(10、100)，包括：

-接口单元(12)；以及

-处理单元(14、116)；

其中，所述接口单元被配置为提供介入设备的第一部分的第一图像数据(18)，所述第一部分被布置在对象外部；其中，所述第一图像数据包括第一3D图像数据；

其中，所述接口单元被配置为提供所述介入设备的第二部分的第二图像数据(20)，所述第二部分是所述第一部分的延续，并且所述第二部分至少部分被布置在所述对象内部；其中，所述第二图像数据包括第二2D图像数据；

其中，所述处理单元被配置为：基于所述第一图像数据来计算所述介入设备的第一3D模型部分；并基于所述第二图像数据和所述第一3D模型部分来计算所述介入设备的第二3D模型部分；

其中，所述接口单元被配置为基于所述第一3D模型部分和所述第二3D模型部分来提供所述介入设备的图形表示(22)的数据；

其中，所述处理单元被配置为针对所述第一图像数据来确定所述介入设备的弯曲；并且

其中，所述处理单元被配置为基于在所述第一图像数据中确定的弯曲来预测所述对象内部的所述介入设备的弯曲。

2.根据权利要求1所述的系统，包括显示单元(16、130)，所述显示单元被配置为基于所述第一3D模型部分和所述第二3D模型部分来显示所述介入设备的图形表示(22)。

3.根据权利要求1或2所述的系统，还包括：

-第一图像采集设备(112)；以及

-第二图像采集设备(114)；

其中，所述第一图像采集设备被配置为采集所述第一图像数据；

其中，所述第二图像采集设备被配置为采集所述第二图像数据。

4.根据权利要求1或2所述的系统，其中，所述第一图像数据由至少两个光学相机来提供；并且

其中，所述第二图像数据由以下来提供：

i)X射线成像布置(126)；和/或

ii)超声成像布置。

5.根据权利要求2所述的系统，其中，所述处理单元被配置为将所述第一3D图像数据与所述第二2D图像数据进行配准；并且

其中，所述显示单元被配置为将所述第一3D图像数据和所述第二2D图像数据连同基于所述第一3D模型部分和所述第二3D模型部分的所述介入设备的模型表示一起显示在组合的图像中。

6.根据权利要求1或2所述的系统，其中，所述处理单元被配置为将所述第一3D模型部分和所述第二3D模型部分相组合以形成所述介入设备的3D模型。

7.根据权利要求6所述的系统，其中，所述处理单元被配置为确定边界空间，所述介入设备定位在所述边界空间中；并且

其中，所述处理单元被配置为基于所述第一3D模型部分和所述第二3D模型部分；和/或基于所述介入设备的所述3D模型来确定所述边界空间。

8.根据权利要求1或2所述的系统，其中，所述处理单元被配置为确定边界框，所述介入设备的预定部分定位在所述边界框中。

9.根据权利要求2所述的系统，其中，所述介入设备是被配置用于在简单曲线几何结构中进行弯曲的柔性介入设备；

并且其中，所述处理单元被配置为确定针的两种可能的弯曲姿势；并且其中，所述显示单元被配置为将所述弯曲姿势呈现给用户。

10.根据权利要求2所述的系统，其中，所述处理单元被配置为将所述第一3D图像数据与所述第二2D图像数据进行配准；并且

其中，所述显示单元被配置为将经配准的图像显示在组合的图像中。

11.一种用于跟踪部分被插入到对象内部的介入设备的方法(200)，所述方法包括以下步骤：

a)采集(210)介入设备的第一部分的第一图像数据(212)，所述第一部分被布置在对象外部；其中，所述第一图像数据包括第一3D图像数据；

b)采集(214)所述介入设备的第二部分的第二图像数据(216)，所述第二部分是所述第一部分的延续，并且所述第二部分被布置在所述对象内部；其中，所述第二图像数据包括第二2D图像数据；

c)基于所述第一图像数据来计算(218)所述介入设备的第一3D模型部分(220)；

d)基于所述第二图像数据和所述第一3D模型部分来计算(222)所述介入设备的第二3D模型部分(224)；

e)针对所述第一图像数据来确定所述介入设备的弯曲；并且

f)基于在所述第一图像数据中确定的弯曲来预测所述对象内部的所述介入设备的弯曲。

12.根据权利要求11所述的方法，其中，在步骤d)中的所述第二3D模型部分的所述计算还基于所述介入设备的预定长度。

13.一种用于跟踪部分被插入到对象内部的介入设备的装置，包括：

用于a)采集(210)介入设备的第一部分的第一图像数据(212)的模块，所述第一部分被布置在对象外部；其中，所述第一图像数据包括第一3D图像数据；

用于b)采集(214)所述介入设备的第二部分的第二图像数据(216)的模块，所述第二部分是所述第一部分的延续，并且所述第二部分被布置在所述对象内部；其中，所述第二图像数据包括第二2D图像数据；

用于c)基于所述第一图像数据来计算(218)所述介入设备的第一3D模型部分(220)的模块；

用于d)基于所述第二图像数据和所述第一3D模型部分来计算(222)所述介入设备的第二3D模型部分(224)的模块；

用于e)针对所述第一图像数据来确定所述介入设备的弯曲的模块；以及

用于f)基于在所述第一图像数据中确定的弯曲来预测所述对象内部的所述介入设备的弯曲的模块。

14.根据权利要求13所述的装置，其中，在步骤d)中的所述第二3D模型部分的所述计算还基于所述介入设备的预定长度。

15.一种计算机可读介质，存储有计算机程序单元，所述计算机程序单元当由处理单元运行时，执行根据权利要求11和12中的任一项所述的方法。