CN104000655B - 用于腹腔镜外科手术的组合的表面重构和配准 - Google Patents

Abstract

本发明涉及用于腹腔镜外科手术的组合的表面重构和配准。一种执行立体腹腔镜图像的组合的表面重构和配准的计算机实现的方法包括：计算机系统生成关注的解剖区域的手术中三维模型，并从腹腔镜接收关注的解剖区域的多个立体内窥镜图像。计算机系统使用立体内窥镜图像来执行第一立体重构过程以产生与关注的解剖区域相对应的第一表面图像，并使用刚性配准过程来将第一表面图像与手术中三维模型的表面进行对齐。然后，计算机系统使用第一表面图像和来自手术前三维模型的先验知识来执行第二立体重构过程以产生与关注的解剖区域相对应的第二表面图像，并使用非刚性配准过程来将第二表面图像与手术中三维模型的表面进行对齐。

Description

用于腹腔镜外科手术的组合的表面重构和配准

本申请要求2013年2月25日递交的、序列号为61/768,682的美国临时申请的优先权，通过引用将该临时申请以其整体并入本文。

技术领域

以下公开根据若干实施例描述了本发明，这些实施例涉及用于组合在腹腔镜外科手术应用中使用的表面重构和配准过程的方法、系统和装置。该技术尤其好地适于但不限于外科手术应用，该外科手术应用利用例如使用旋转的血管造影系统在手术中生成的三维模型。

背景技术

在诸如肝切除术之类的腹部微创外科手术中，腹腔镜摄像机用于为外科医生提供关注的解剖区域的可视化。例如，当移除肿瘤时，外科医生的目标是安全地移除肿瘤而不损伤诸如血管之类的关键结构。

为了计划外科手术，手术前图像扫描（例如，CT/MRI）典型地用于识别血管和腹部组织并创建三维分割的模型。通常使该三维分割的模型在外科手术期间在监视器上可获得，而在分离的监视器上显示经由腹腔镜生成的图像。尽管这为外科医生提供了在执行外科手术时可能有用的附加信息，但是将三维手术前模型和腹腔镜图像融合到单个空间中通常是有挑战性且容易出错的。例如，由于在手术前与手术中设定之间病人的呼吸和移动，关注的解剖区域中的组织与手术前模型相比可能变形。另外，腹腔镜摄像机通常提供小的视野，其限制了可用于手术前模型的配准的信息量。此外，对于某些组织，配准由于组织表面纹理的缺失和跨模态的共同界标（landmark）的缺失而进一步复杂。

因此，期望提供下述表面重构和配准技术：其即使在组织表面缺失纹理或者具有有限纹理的情况下也允许准确的立体重构，在存在共享界标的缺失的情况下提供跨模态的配准，并针对组织变形进行正确调整。

发明内容

本发明的实施例通过提供用于利用来自三维数据的组织表面的先验知识执行联合立体重构和配准的方法、系统、制品和装置，来解决和克服以上缺点和缺陷中的一个或多个。使用本文所公开的各种实施例，通过在手术中腹腔镜图像中可视化手术前三维模型来增强外科手术过程的指导。以这种方式，关键的结构和目标解剖可以被覆盖在组织上，并且可以可视化表面下的特征。本文所讨论的技术可以例如用于改进肿瘤移除过程中的准确性并减小肿瘤周围要求的安全界限，因此使更多病人有进行外科手术的资格。

根据本发明的一些实施例，一种执行立体腹腔镜图像的组合的表面重构和配准的计算机实现的方法包括：计算机系统（例如，使用旋转的血管造影系统）生成关注的解剖区域的手术中三维模型，并从腹腔镜接收关注的解剖区域的多个立体内窥镜图像。计算机系统使用多个立体内窥镜图像来执行第一立体重构过程以产生与关注的解剖区域相对应的第一表面图像。然后使用刚性配准过程来将第一表面图像与手术前三维模型的表面进行对齐。接着，计算机系统使用第一表面图像和（例如，来自手术前三维模型的）先验知识来执行第二立体重构过程以产生与关注的解剖区域相对应的第二表面图像。然后使用非刚性配准过程来将第二表面图像与手术中三维模型的表面进行对齐。

在本发明的其他实施例中，可以迭代地执行重构和配准。例如，在一个实施例中，一种执行立体腹腔镜图像的组合的表面重构和配准的计算机实现的方法包括：生成关注的解剖区域的手术中三维模型；以及从腹腔镜接收关注的解剖区域的多个立体内窥镜图像。然后，执行包括重构和配准的迭代过程多次，直到配准误差值低于阈值为止。在一个实施例中，该迭代过程包括：使用多个立体内窥镜图像来执行立体重构过程以产生与关注的解剖区域相对应的表面图像；执行配准过程以将表面图像与手术中三维模型的表面进行对齐；以及基于从配准过程产生的表面图像的一个或多个点的位移来更新配准误差值。

各种技术可以用于使用前述方法来生成关注的解剖区域的手术中三维模型。例如，在一个实施例中，通过首先经由旋转的血管造影系统获取旋转投影图像的组来生成该模型。接着，基于旋转投影图像的组来重构多个二维图像。然后，基于所重构的二维图像来生成手术中三维模型。

在一些实施例中，可以基于镜面高光来增强前述方法中使用的任何重构过程，所述镜面高光可以存在于立体内窥镜图像中。例如，在一个实施例中，重构过程包括：识别多个立体内窥镜图像中的一个或多个镜面高光，并基于所述一个或多个镜面高光来增加多个立体内窥镜图像的图像密度。镜面高光也可以（或可替代地）用于增强前述方法中使用的任何配准过程。例如，在一个实施例中，配准过程利用一个或多个镜面高光来将对应于关注的解剖区域的表面图像与手术中三维模型的表面进行对齐。

在一些实施例中，重构过程可以利用加权图。例如，在一个实施例中，重构过程包括基于多个立体内窥镜图像来构建图，其中，所述图中的每个顶点对应于多个立体内窥镜图像中的体素，并且每个顶点通过边连接到预定数量的其最近的邻居。在一个实施例中，该预定数量为6。然后，为所述图的每条边确定代价。接着，使用来自先验知识的数据（例如，手术中三维模型、手术前三维模型、稀疏立体重构数据和/或手动标注数据）对与每条边相关联的代价应用加权。然后，基于加权后的与每条边相关联的代价来识别最小体素集作为各个表面图像。在一些实施例中，所述图中的每条边与第一方向、第二方向或第三方向相关联，并且根据方向来确定对所述图的每条边应用的代价。例如，在一个实施例中，针对与第一方向相关联的每条边，可以基于多个立体内窥镜图像中补片（patch）之间的匹配强度值来向每条相应边应用第一代价。然后，针对第二或第三方向中的每条边，可以基于与重构过程相关联的平滑度施加值来向每条相应边应用第二代价。

根据一些实施例，一种用于在外科手术操作期间执行立体腹腔镜图像的组合的表面重构和配准的系统包括手术中成像系统、接收机模块和成像计算机。手术中成像系统被配置为生成关注的解剖区域的手术中三维模型。在一个实施例中，手术中成像系统是旋转的血管造影系统。接收机模块被配置为从腹腔镜接收关注的解剖区域的多个立体内窥镜图像。成像计算机被配置为执行迭代过程多次，直到配准误差值低于阈值为止。在一个实施例中，该迭代过程包括：使用多个立体内窥镜图像来执行立体重构过程以产生与关注的解剖区域相对应的表面图像；执行配准过程以将表面图像与手术中三维模型的表面进行对齐；以及基于从配准过程产生的表面图像的一个或多个点的位移来更新配准误差值。

在一些实施例中，前述系统包括附加部件。例如，在一个实施例中，该系统还包括显示器，其被配置为在外科手术操作期间呈现对齐后的表面图像。该系统还可以包括跟踪系统，其被配置为向成像计算机提供跟踪数据以用在手术中成像系统到腹腔镜的初始配准中。在一个实施例中，跟踪系统是光学跟踪系统。然而，在本发明的范围内也可以使用替代的跟踪系统。

根据参照附图进行的对说明性实施例的以下详细描述，将使本发明的附加特征和优点变得显而易见。

附图说明

当结合附图来阅读时，本发明的前述及其他方面从以下详细描述得到最佳理解。出于说明本发明的目的，在这些图中示出了目前优选的实施例，但是应理解，本发明不限于所公开的特定手段。在这些图中包括的是以下各图：

图1示出了在本发明的一些实施例中使用的计算机辅助外科手术系统；

图2提供了根据本发明的一些实施例的执行针对立体腹腔镜外科手术的组合的表面重构和配准的过程的高级概要；

图3提供了根据本发明的一些实施例的执行针对立体腹腔镜外科手术的组合的表面重构和配准的过程；

图4提供了根据本发明的一些实施例的用于立体成像应用的重构过程的概要；以及

图5图示了本发明的实施例可在其内实现的示例性计算环境。

具体实施方式

以下公开根据若干实施例描述了本发明，这些实施例涉及用于组合在腹腔镜外科手术应用中使用的表面重构和配准过程的方法、系统和装置。由于例如组织变形、腹腔镜摄像机的小视野以及跨模态的共同特征的缺失，三维手术前模型和腹腔镜图像到单个空间中的融合是有挑战性的。在一些实施例中，这些挑战是通过首先生成组织的手术中三维模型并将该模型配准到腹腔镜图像来应对的。这减轻了例如由吹入法（insufflation）引起的组织变形的一些问题。本文描述的各种方法、系统和装置相对于常规系统提供了若干附加益处，包括但不限于：改进了配准准确度、实现了腹腔镜视频中三维解剖模型的可视化、改进了配准的鲁棒性、实现了缺失跨模态界标的挑战性环境中的配准、以及降低了肿瘤周围的安全界限从而使更多病人能够有进行外科手术的资格。本文描述的各种方法、系统和装置特别适用于但不限于使用旋转的血管造影成像系统生成的手术前模型。

图1示出了在本发明的一些实施例中使用的计算机辅助外科手术系统100。系统100包括一般可被分类为与手术前站点105或手术中站点110相关联的部件。在图1的示例中，位于每个站点105、110处的各种部件可以与网络115可操作地连接。因此，这些部件可以位于设施的不同区域处，或者甚至位于不同设施处。然而，应当注意，在一些实施例中，手术前站点105和手术中站点110是位于一处的。在这些实施例中，可以没有网络115，并且部件可以直接连接。可替代地，可以使用小规模网络（例如，局域网）。

在手术前站点105处，成像系统105A用于收集计划数据。在一个实施例中，成像系统105A使用多种成像模态中的任一种来收集图像，所述成像模态包括例如断层成像模态，诸如计算机断层成像（CT）、磁共振成像（MRI）、单光子发射计算机断层成像（SPECT）以及正电子发射断层成像（PET）。所收集的图像在本文中总称为手术前计划数据。一旦该计划数据被成像系统105A收集，其就（例如，经由网络115）被传送到手术中站点110处的数据库110A。

手术中站点110包括可操作地耦合到成像计算机110F的各种部件110A、110B、110C、110D和110E。尽管图1仅图示了单个成像计算机110F，但是在其他实施例中，可以使用多个成像计算机。一个或多个成像计算机共同地提供用于观看、操纵、传送以及存储计算机可读介质上的医疗图像的功能。

在图1的示例中，成像设备110B是旋转的血管造影系统，其包括绕病人旋转以获取关注的解剖区域的一系列旋转投影图像的固定C臂，该一系列旋转投影图像随后被重构为二维图像。手术中计划图像可以随后用于生成关注的区域的三维模型。重构的二维图像和三维模型在本文中共同地称为手术中计划数据。在一些实施例中，图像重构和/或三维模型生成使用专用计算机硬件（在图1中未示出）在成像设备110B本身内发生。然后，将手术中计划数据传送到成像计算机110F以在外科手术期间使用。在其他实施例中，将捕获的旋转投影图像传送到成像计算机110F以用于重构为二维图像和生成三维模型。应当注意，尽管成像设备110B在图1中图示的实施例中是旋转的血管造影系统，但是在其他实施例中，其是包括CT、MRI和结构光设备的不同类型的成像设备。

一旦手术中计划数据被成像计算机110B接收到，其就可以被存储在数据库110A中以供之后使用。然后，当需要时，成像计算机110F从数据库110A获取手术中计划数据以在监视器110E上呈现来帮助引导外科手术团队执行手术。可替代地，成像计算机110F可以在从成像设备110B接收到时立即呈现接收到的手术中计划数据。尽管在图1中图示的实施例中示出了单个监视器110E，但是在其他实施例中，多个监视器可以例如用于（例如，基于手术前计划数据或手术中计划数据）显示关注的解剖区域的不同透视图。

在外科手术期间，外科手术团队利用在监视器110E上显示的手术中计划数据连同腹腔镜110D和跟踪系统110C。腹腔镜110D是这样的医疗仪器，通过其可以在外科手术期间看到腹部和骨盆内的结构。典型地，在病人的腹壁形成小切口，从而允许插入腹腔镜。存在各种类型的腹腔镜，例如包括（通常连接到视频摄像机的）伸缩式棒状透镜系统和在其中微型数字视频摄像机处于腹腔镜的末端处的数字系统。为了模仿人体中的三维视觉，腹腔镜可以被配置为使用双透镜光学系统或单个光学通道来捕获立体图像。此类腹腔镜在本文中称为“立体腹腔镜”。跟踪系统110C向成像计算机110F提供跟踪数据以在（从设备110B接收的）手术中计划数据与由腹腔镜110D收集的数据的配准中使用。在图1的示例中，描绘了光学跟踪系统110C。然而，其他技术可以用于跟踪，包括但不限于电磁（EM）跟踪和/或机器人编码器。

图2提供了根据本发明的一些实施例的执行针对立体腹腔镜外科手术的组合的表面重构和配准的过程200的高级概要。图1中图示的过程200所解决的问题在于：最初，没有足够的关于关注的解剖区域的纹理的信息来实现立体重构。然而，一旦执行了初始配准，该问题就可以被限制为得到致密表面。因此，在205处，在不使用先验知识的情况下执行第一稀疏立体重构。在210处将该重构用于执行对手术前模型的刚性配准。一旦执行了该配准，就使用先验知识执行第二立体重构以创建表面的致密立体重构。该先验知识可以包括例如来自手术前三维模型的信息、来自手术中三维模型的信息、稀疏立体重构数据或者手动标注数据。最后，在220处，一旦已经确定了致密表面，就可以在整个器官上执行对手术中模型的非刚性配准。与在仅使用稀疏信息的情况下相比，该过程产生更准确的结果。下面关于图3和4来描述图2中图示的组合的表面重构和配准过程200的附加细节、完善以及替代实现。

图3提供了根据本发明的一些实施例的执行针对立体腹腔镜外科手术的组合的表面重构和配准的过程300。该过程在305处开始，其中使用旋转的血管造影系统（例如，图1的设备110B）来生成关注的解剖区域的手术中三维模型。例如，在一个实施例中，在三个步骤中生成该模型。首先，旋转的血管造影系统获取旋转投影图像的组。接着，将这些图像自动传送到计算机（例如，图1的成像计算机110F）并将这些图像重构为二维（例如，像CT那样的）图像。然后，使用这些二维图像来生成关注的区域的三维模型。可替代地，在其他实施例中，本领域中已知的其他技术可以用于生成该模型。

在310处，执行三维模型到腹腔镜（例如，图1的110D）的初始配准。各种技术可以被应用于将三维模型配准到来自腹腔镜（参见例如图1中的110D）的图像，包括例如手动对齐、使用外部跟踪设备的基于校准的方法、基于界标的方法以及基于形状的方法。基于手动对齐的实施例使用专家操作者来对齐图像。其准确度是操作者和过程相关的。在其他实施例中，校准方法对齐诸如光学跟踪、电磁（EM）跟踪或机器人技术之类的跟踪模态。在使用基于界标的方法的实施例中，可以使用基准点来补偿跨模态的界标的缺失。采用基于形状的方法的实施例使用通过腹腔镜提取的组织的表面的形状和来自三维模型的形状来执行配准。基于形状的方法可以例如基于迭代最近点（ICP）算法或其变体。应当注意，初始配准可能包含由于例如摄像机校准、手眼校准中的误差和/或光学/EM跟踪器中的固有跟踪误差而导致的不准确性。例如当所跟踪的对象被放置在腹腔镜的近端处并且成像光学装置处于远端处时，这些误差可能被放大。根据采用哪种技术进行初始配准，可以在外科手术工作流程的不同阶段处执行初始配准。例如，在使用EM或光学跟踪的实施例中，配准可以在由腹腔镜捕获立体内窥镜图像的同时执行。在使用手动对齐技术的其他实施例中，图像捕获可以在配准之后发生。

继续参照图3，在315处，使用立体内窥镜图像来执行立体重构过程以产生表面图像。下面参照图4描述了重构过程的一个示例。多种技术可以用于改进在315处执行的立体重构。例如，在一些实施例中，通过使用镜面高光来增强重构。镜面高光是由从组织的表面沿着法线反射的光造成的。关于组织的朝向的该信息可以被并入到立体重构中以增加密度并随后帮助配准。例如，（下面关于320描述的）配准过程可以在将表面图像与手术中三维模型的表面进行对齐时利用镜面高光。

一旦创建了初始表面重构，就在320处将重构的表面图像传递到（例如，在图1中示出的成像计算机110F中操作的）配准部件以执行配准，该配准将重构的表面图像与在305处生成的三维模型的表面进行对齐。在320处执行的配准可以是刚性/仿射或非刚性的，其使用在具有或没有先验知识的情况下生成的稀疏或致密立体表面重构。该配准提供了对初始配准的完善，该完善能够纠正初始配准中的误差和例如由呼吸引起的组织的变形。至配准部件的输入是要配准的两个视图——即，重构的表面图像和三维模型的表面。该部件的输出是几何变换，其在数学上将来自一个表面的点映射到另一个表面中的点。变换后的表面上的点与其在原始表面上的对应点之间的任何非零位移称为“配准误差”。

在其中在320处执行的配准是非刚性的一些实施例中，使用相干点漂移（CPD）方法的修改版本。在该表述方式中，可以将初始配准提出为最大后验估计（亦称为规则化最大似然）问题，其中局部运动被预期为在点集之间相干地移动。注意，CPD算法属于像迭代最近点（ICP）这样的技术的类别，其求解点对应关系以及非刚性空间变换二者。在原始CPD算法中，高斯似然仅包括针对每个模型点的点匹配项。可以扩展该方法以并入表面法线。法线是从立体重构和手术中计划数据的表面来估计的。法线匹配项可以被并入到高斯似然中，假设独立于点匹配项。该假设结合假设已知对应关系的先前点+法线匹配方法得到易处理的算法。除似然项之外，原始CPD代价函数包括运动相干规则化项，使得点以空间上相干的方式变形。在一些实施例中，为了配准多个缓慢移动的点集，可以向CPD代价函数添加另一时间一致性/相干性规则化项。可以以逐批的方式或者以递增的方式来进行所产生的修改，在所述逐批的方式中，在时间窗口上获取的多个点被同时配准。在一些实施例中，用于使三维模型的表面形变（morph）为立体重构表面的非刚性配准可以用于更新器官的生物力学模型，使得内部结构（例如，血管、肿瘤等）可以变形以反映新的组织形状。

在305处生成的三维模型基于所设置的时间点处捕获的图像，并因此可能未表示关注的组织的当前精确几何结构。例如，在捕获用于生成三维模型的图像之后，组织可能已经经历了由于呼吸而导致的变形。另外，在315处执行的立体重构可能包含由于重构算法中的不准确性而导致的噪声。这两个噪声源可能连同其他噪声源一起可能将不准确性引入到最终配准中。因此，在325处，通过在循环中迭代地执行重构315和配准320来递增地改进立体重构和配准。在一些实施例中，该循环执行所设置的次数。在其他实施例中，执行该循环直到配准误差低于预定配准阈值被满足为止。该阈值的精确值可以例如基于组织的几何结构和目标应用而凭经验定义。

图4提供了根据本发明的一些实施例的用于立体成像应用的重构过程400的概要。在405处，从腹腔镜的摄像机接收立体内窥镜图像。然后，在410处，基于接收到的图像来构建图。各种技术可以用于构建该图。例如，图可以这样构建，其中每个顶点对应于腹腔镜的摄像机观看到的体积中的体素，并且每个顶点通过边连接到预定数量的其最近的邻居。在一个实施例中，该预定数量为6。

接着，在415处，向图的每条边应用代价。例如，在一个实施例中，根据该体素所投影到的左和右图像中的补片之间的匹配强度来向z方向中的每条边给出代价，同时向x和y方向中的边给出代价以在重构过程中施加平滑度（即，平滑度施加值）。一旦已经针对边确定了代价，就在420处执行图切割技术，其中将三维表面重构问题提出为能量最小化问题，使得：

。

在该等式中，和指代2D腹腔镜图像中像素的位置。例如，如果=10并且=15，则像素处于作为图像的阵列的第10列和第15行中。函数是一元代价函数，其可以使用本领域中已知的各种技术而确定，这些技术中的一些在下面进行了详述。值是凭经验定义的加权常量，用于影响平滑度规则化的强度。是逐对代价函数。然后，使用针对的该等式，例如通过使用最大流最小切割算法来最小化图中的能量。应当注意，上面详述的能量最小化过程仅仅是可在420处使用的图切割技术的一个示例。在其他实施例中，可以使用对能量最小化等式的变型，或者可以采用其他常规的图切割技术。一旦图切割过程完成，最小体素集就被识别为重构的图像。

在一些实施例中，先验知识可以用于改进图4中图示的重构过程400。例如，通过使用组织表面的强先验知识，诸如切除术之类的组织改变或由腹腔镜摄像机的视野中的工具引起的组织闭塞可以被检测并用于识别可用于配准的可靠组织区。先验知识可以例如具有以下形式：三维模型（例如，参见图3的305）、稀疏立体重构数据或者手动标注。在一个实施例中，先验知识包括来自腹腔镜上的立体摄像机的表面的几何深度和关注的解剖对象的表面的平滑度。可以通过向一元代价函数应用加权来将先验知识并入到图中，使得：

其中高斯函数

或者Tukey双权函数

其可以对较差的初始对齐更鲁棒。在这些等式中，是，其中是从立体重构估计的像素的深度，并且是来自先验知识的像素的深度。的值可以基于内窥镜到表面的初始定位的准确性的知识而凭经验定义。在一些实施例中，平滑度先验（prior）可以从该先验的表面的法线提取，例如，其中该先验是经由成像设备110B在手术中生成的三维模型。该平滑度先验可以以类似的方式并入到逐对函数中。在其他实施例中，关于组织的表面上的纹理信息的可靠性的先验知识用于改进立体重构。通过预处理图像以识别有纹理的区域，可以识别被预期为具有高准确性的可靠区。图中的对应顶点可以被相应地加权，因为这些匹配准确存在高概率。在一个实施例中，在未先验加权的情况下使用高质量特征构建稀疏表面来执行初始表面重构。

应当注意，图4中图示的重构过程400是可被应用以重构立体内窥镜图像的过程的一个示例。例如，在一些实施例中，可以可替代地采用常规的表面重构技术，其使用全局图像约束来解决对应关系问题。

图5图示了本发明的实施例可以在其内实现的示例性计算环境500。该环境500可以例如用于实现在图1中图示的手术前站点105或手术中站点110处使用的一个或多个部件的一部分。计算环境500可以包括计算机系统510，其是本发明的实施例可以在其上实现的计算系统的一个示例。诸如计算机系统510和计算环境500之类的计算机和计算环境对于本领域技术人员而言是已知的，并且因此这里对其进行简要描述。

如图5中所示，计算机系统500可以包括诸如总线521之类的通信机构或者用于在计算机系统510内传送信息的其他通信机构。系统510还包括与总线521耦合的用于处理信息的一个或多个处理器520。

处理器520可以包括一个或多个中央处理单元（CPU）、图形处理单元（GPU）或本领域中已知的任何其他处理器。更一般地，如本文所使用的处理器是用于执行计算机可读介质上存储的机器可读指令以执行任务的设备，并可以包括硬件和固件中的任一个或组合。处理器还可以包括存储可执行以执行任务的机器可读指令的存储器。处理器通过操纵、分析、修改、转换或传输信息以由可执行过程或信息设备使用和/或通过将信息路由到输出设备来作用于信息。处理器可以使用或包括例如计算机、控制器或微处理器的能力，并可以使用可执行指令以执行不由通用计算机执行的专用功能而调节。处理器可以与任何其他处理器（电气地和/或作为包括可执行部件）耦合，从而实现其间的交互和/或通信。用户接口处理器或生成器是已知的用于生成显示图像或其部分的元件，其包括电子电路或软件或二者的组合。用户接口包括实现与处理器或其他设备的用户交互的一个或多个显示图像。

继续参照图5，计算机系统510还包括耦合到总线521的用于存储要由处理器520执行的信息和指令的系统存储器530。系统存储器530可以包括具有易失性和/或非易失性存储器形式的计算机可读存储介质，诸如只读存储器（ROM）531和/或随机存取存储器（RAM）532。系统存储器RAM 532可以包括一个或多个其他动态存储设备（例如，动态RAM、静态RAM以及同步DRAM）。系统存储器ROM 531可以包括一个或多个其他静态存储设备（例如，可编程ROM、可擦除PROM以及电可擦除PROM）。另外，系统存储器530可以用于在处理器520执行指令期间存储临时变量或其他中间信息。包含基本例程的基本输入/输出系统533（BIOS）可以存储在ROM 531中，所述基本例程诸如在启动期间帮助在计算机系统510内的元件之间传送信息。RAM 532可以包含对处理器520来说可立即访问和/或目前正由处理器520操作的数据和/或程序模块。系统存储器530可以附加地包括例如操作系统534、应用程序535、其他程序模块536以及程序数据537。

计算机系统510还包括耦合到总线521的盘控制器540，用于控制用于存储信息和指令的一个或多个存储设备，诸如磁硬盘541和可移除介质驱动器542（例如，软盘驱动器、紧凑盘驱动器、带驱动器和/或固态驱动器）。可以使用合适的设备接口（例如，小型计算机系统接口（SCSI）、集成设备电子装置（IDE）、通用串行总线（USB）或火线）来向计算机系统510添加存储设备。

计算机系统510还可以包括耦合到总线521的显示控制器565，用于控制用于向计算机用户显示信息的显示器或监视器566，诸如阴极射线管（CRT）或液晶显示器（LCD）。计算机系统包括输入接口560和诸如键盘562和指点设备561之类的一个或多个输入设备，用于与计算机用户交互和向处理器520提供信息。指点设备561例如可以是鼠标、光笔、轨迹球或指点杆，用于向处理器520传送方向信息和命令选择以及用于控制显示器566上的光标移动。显示器566可以提供触摸屏接口，其允许输入以补充或替换由指点设备561对方向信息和命令选择的传送。

计算机系统510可以响应于处理器520执行诸如系统存储器530之类的存储器中包含的一个或多个指令的一个或多个序列而执行本发明的实施例的处理步骤的一部分或全部。此类指令可以被从诸如硬盘541或可移除介质驱动器542之类的另一计算机可读介质读取到系统存储器530中。硬盘541可以包含由本发明的实施例使用的一个或多个数据存储和数据文件。数据存储内容和数据文件可以被加密以改进安全性。还可以在多处理布置中采用处理器520来执行系统存储器530中包含的一个或多个指令序列。在替代实施例中，可以使用硬连线电路来替代软件指令或者与软件指令组合。因此，实施例不限于硬件电路和软件的任何特定组合。

如上文所阐述的，计算机系统510可以包括至少一个计算机可读介质或存储器，用于保持根据本发明的实施例编程的指令和用于包含本文描述的数据结构、表、记录或其他数据。如本文所使用的术语“计算机可读介质”指代参与向处理器520提供用于执行的指令的任何介质。计算机可读介质可以采取许多形式，包括但不限于：非瞬变、非易失性介质、易失性介质以及传输介质。非易失性介质的非限制性示例包括光盘、固态驱动器、磁盘以及磁光盘，诸如硬盘541或可移除介质驱动器542。易失性介质的非限制性示例包括动态存储器，诸如系统存储器530。传输介质的非限制性示例包括同轴电缆、铜线和光纤，包括构成总线521的线。传输介质还可以采取声或光波的形式，诸如在无线电波和红外数据通信期间生成的声或光波。

计算环境500还可以包括在使用与诸如远程计算机580之类的一个或多个远程计算机的逻辑连接的联网环境中操作的计算机系统510。远程计算机580可以是个人计算机（膝上型计算机或台式计算机）、移动设备、服务器、路由器、网络PC、对等端设备或其他公共网络节点，并典型地包括上文关于计算机系统510描述的许多或全部元件。当用在联网环境中时，计算机系统510可以包括用于通过诸如互联网之类的网络571建立通信的调制解调器572。调制解调器572可以经由用户网络接口570或者经由另一合适的机构连接到系统总线521。

网络571可以是本领域中一般已知的任何网络或系统，包括互联网、内联网、局域网（LAN）、广域网（WAN）、城域网（MAN）、直接连接或连接系列、蜂窝电话网络、或者能够促进计算机系统510与其他计算机（例如，远程计算系统580）之间的通信的任何其他网络或介质。网络571可以是有线的、无线的或者其组合。有线连接可以使用以太网、通用串行总线（USB）、RJ-11或本领域中一般已知的任何其他有线连接实现。无线连接可以使用Wi-Fi、WiMAX、和蓝牙、红外、蜂窝网络、卫星或本领域中一般已知的任何其他无线连接方法实现。另外，若干网络可以单独地或者相互通信地工作以促进网络571中的通信。在一些实施例中，计算环境500中的计算机可以包括硬件或软件接收机模块（图5中未示出），其被配置为接收在执行本文描述的技术时使用的一个或多个数据项。

如本文所使用的，可执行应用包括代码或机器可读指令，用于例如响应于用户命令或输入而调节处理器以实现诸如操作系统、上下文数据获取系统或其他信息处理系统的那些功能之类的预定功能。可执行过程是代码段或机器可读指令、子例程、或者用于执行一个或多个特定处理的其他不同代码部分或可执行应用的部分。这些处理可以包括：接收输入数据和/或参数，对接收到的输入数据执行操作和/或响应于接收到的输入参数而执行功能，以及提供产生的输出数据和/或参数。

如本文所使用的，图形用户接口（GUI）包括一个或多个显示图像，其由显示处理器生成并实现与处理器或其他设备以及关联的数据获取和处理功能的用户交互。GUI还包括可执行过程或可执行应用。可执行过程或可执行应用调节显示处理器以生成表示GUI显示图像的信号。这些信号被供应到显示图像以供用户观看的显示设备。处理器在可执行过程或可执行应用的控制下响应于从输入设备接收的信号而操纵UI显示图像。以这种方式，用户可以使用输入设备与显示图像进行交互，从而实现与处理器或其他设备的用户交互。

本文中的功能和处理步骤可以自动执行或者整体或部分地响应于用户命令而执行。自动执行的活动（包括步骤）响应于一个或多个可执行指令或设备操作而执行，而无需用户直接发起该活动。

本发明的实施例可以被包括在例如包括非瞬变计算机可读介质的制品中。该计算机可读介质可以已经在其中体现了用于促进本发明的一些实施例所利用的一种或多种技术的方法。所述制品可以被包括作为计算机系统的一部分或者被分开出售。

图中的系统和过程不是排他性的。根据本发明的原理，可以得到用于实现相同目的的其他系统、过程和菜单。尽管已经参照特定实施例描述了本发明，但是应理解，本文示出和描述的实施例和变型仅仅出于说明的目的。在不偏离本发明的范围的情况下，本领域技术人员可以实现对当前设计的修改。如本文所描述的，可以使用硬件部件、软件部件和/或其组合来实现各种系统、子系统、代理、管理器和过程。不应在35 U.S.C. 112第六段的规定下解读本文的权利要求元素，除非明确地使用短语“用于……的装置”来记载该元素。

Claims (20)

1.一种执行立体腹腔镜图像的组合的表面重构和配准的计算机实现的方法，所述方法包括：

通过计算机系统来生成关注的解剖区域的手术中三维模型；

通过计算机系统从腹腔镜接收关注的解剖区域的多个立体内窥镜图像；

通过计算机系统使用多个立体内窥镜图像来执行第一立体重构过程以产生与关注的解剖区域相对应的第一表面图像；

通过计算机系统使用刚性配准过程来将第一表面图像与手术前三维模型的表面进行对齐；

通过计算机系统使用第一表面图像和来自手术前三维模型的先验知识来执行第二立体重构过程以产生与关注的解剖区域相对应的第二表面图像；以及

通过计算机系统使用非刚性配准过程来将第二表面图像与手术中三维模型的表面进行对齐。

2.如权利要求1所述的方法，其中，手术中三维模型是使用旋转的血管造影系统来生成的。

3.如权利要求2所述的方法，其中，生成关注的解剖区域的手术中三维模型包括：

经由旋转的血管造影系统来获取旋转投影图像的组；

基于旋转投影图像的组来重构多个二维图像；以及

基于所重构的二维图像来生成手术中三维模型。

4.如权利要求2所述的方法，其中，第一立体重构过程和第二立体重构过程中的至少一个包括：

识别多个立体内窥镜图像中的一个或多个镜面高光；以及

基于所述一个或多个镜面高光来增加多个立体内窥镜图像的图像密度。

5.如权利要求4所述的方法，其中，刚性配准过程和非刚性配准过程中的至少一个在进行对齐时利用所述一个或多个镜面高光。

6.如权利要求1所述的方法，其中，第一立体重构过程和第二立体重构过程中的至少一个包括：

基于多个立体内窥镜图像来构建图，其中，所述图中的每个顶点对应于多个立体内窥镜图像中的体素，并且每个顶点通过边连接到预定数量的其最近的邻居顶点；

为所述图的每条边确定代价；

使用来自先验知识的数据对与每条边相关联的代价应用加权；以及

基于加权后的与每条边相关联的代价来识别最小体素集作为相应表面图像。

7.如权利要求6所述的方法，其中，预定数量为6。

8.如权利要求6所述的方法，其中，每条边与第一方向、第二方向或第三方向相关联，并且其中，为所述图的每条边确定代价包括：

针对与第一方向相关联的每条边，基于多个立体内窥镜图像中补片之间的匹配强度值来向每条相应边应用第一代价；以及

针对第二或第三方向中的每条边，基于与第一立体重构过程和第二立体重构过程中的至少一个相关联的平滑度施加值来向每条相应边应用第二代价。

9.一种执行立体腹腔镜图像的组合的表面重构和配准的计算机实现的方法，所述方法包括：

生成关注的解剖区域的手术中三维模型；

从腹腔镜接收关注的解剖区域的多个立体内窥镜图像；以及

通过计算机来执行迭代过程多次，直到配准误差值低于阈值为止，所述迭代过程包括：

使用多个立体内窥镜图像来执行立体重构过程以产生与关注的解剖区域相对应的表面图像；

执行配准过程以将表面图像与手术中三维模型的表面进行对齐；以及

基于从配准过程产生的表面图像的一个或多个点的位移来更新配准误差值。

10.如权利要求9所述的方法，其中，生成关注的解剖区域的手术中三维模型包括：

经由旋转的血管造影系统来获取旋转投影图像的组；

基于旋转投影图像的组来重构多个二维图像；以及

基于所重构的二维图像来生成手术中三维模型。

11.如权利要求9所述的方法，其中，立体重构过程包括：

识别多个立体内窥镜图像中的一个或多个镜面高光；

基于所述一个或多个镜面高光来增加多个立体内窥镜图像的图像密度。

12.如权利要求11所述的方法，其中，配准过程利用所述一个或多个镜面高光来将表面图像与手术中三维模型的表面进行对齐。

13.如权利要求11所述的方法，其中，使用多个立体内窥镜图像来执行立体重构过程以产生表面图像包括：

基于多个立体内窥镜图像来构建图，其中，所述图中的每个顶点对应于多个立体内窥镜图像中的体素，并且每个顶点通过边连接到预定数量的其最近的邻居顶点；

为所述图的每条边确定代价；

基于先验知识数据对与每条边相关联的代价应用加权；以及

基于加权后的与每条边相关联的代价来识别最小体素集作为表面图像。

14.如权利要求13所述的方法，其中，每条边与第一方向、第二方向或第三方向相关联，并且其中，为所述图的每条边确定代价包括：

针对与第一方向相关联的每条边，基于多个立体内窥镜图像中补片之间的匹配强度值来向每条相应边应用第一代价；以及

针对第二或第三方向中的每条边，基于与立体重构过程相关联的平滑度施加值来向每条相应边应用第二代价。

15.如权利要求13所述的方法，其中，先验知识数据包括手术中三维模型、手术前三维模型、稀疏立体重构数据或手动标注数据中的一个或多个。

16.一种用于在外科手术操作期间执行立体腹腔镜图像的组合的表面重构和配准的系统，所述系统包括：

手术中成像系统，其被配置为生成关注的解剖区域的手术中三维模型；

接收机模块，其被配置为从腹腔镜接收关注的解剖区域的多个立体内窥镜图像；以及

成像计算机，其被配置为执行迭代过程多次，直到配准误差值低于阈值为止，所述迭代过程包括：

使用多个立体内窥镜图像来执行立体重构过程以产生与关注的解剖区域相对应的表面图像；

执行配准过程以将表面图像与手术中三维模型的表面进行对齐；以及

基于从配准过程产生的表面图像的一个或多个点的位移来更新配准误差值。

17.如权利要求16所述的系统，其中，手术中成像系统包括旋转的血管造影系统。

18.如权利要求17所述的系统，还包括显示器，其被配置为在外科手术操作期间呈现对齐后的表面图像。

19.如权利要求17所述的系统，还包括跟踪系统，其被配置为向成像计算机提供跟踪数据以用在手术中成像系统到腹腔镜的初始配准中。

20.如权利要求19所述的系统，其中，跟踪系统是光学跟踪系统。