CN115461782A - 用于配准外科手术空间的视觉表示的系统和方法 - Google Patents

Abstract

示例性图像管理系统访问关于外科手术空间中的解剖对象的语义信息并且至少部分地基于关于解剖对象的语义信息，将外科手术空间的第一视觉表示的第一数据集与外科手术空间的第二视觉表示的第二数据集配准。

Description

用于配准外科手术空间的视觉表示的系统和方法

相关应用

本申请要求2020年3月23日提交的美国临时专利申请第62/993,587号的优先权，该申请的内容以全文引用方式并入本文。

背景技术

在外科手术程序期间，可以产生外科手术空间的各种视觉表示。例如，内窥镜可用于采集外科手术部位的内窥镜影像。内窥镜影像可以通过显示装置呈现给外科手术医生，使得外科手术医生可以在执行外科手术程序时可视化外科手术部位。

在一些场景中，一种或多种成像模式可以用于采集也可以呈现给外科手术医生的外科手术部位的附加视觉表示。此类附加视觉表示可以在术前或术中采集，并且可以例如通过超声扫描、计算机断层(“CT”)扫描、磁共振成像(“MRI”)扫描、荧光成像扫描，和/或被配置为采集外科手术部位的影像的另一合适成像模式。

为了综合各种成像模式并提供直观可视化，配准外科手术空间的各种视觉表示可为有用的。然而，此类配准可不总是容易的过程。

发明内容

以下描述呈现本文描述的系统和方法的一个或多个方面的简化概述。此概述不是对所有预期方面的广泛概述并且既不旨在识别所有方面的关键或重要要素，也不旨在描绘任何或所有方面的范围。其唯一目的是呈现本文描述的系统和方法的一个或多个方面，作为下文呈现的详细描述的前奏。

示例性系统包括存储指令的存储器和处理器，该处理器通信地耦接到存储器并被配置为执行指令以访问关于外科手术空间中的解剖对象的语义信息；以及至少部分地基于关于解剖对象的语义信息，将外科手术空间的第一视觉表示的第一数据集与外科手术空间的第二视觉表示的第二数据集配准。

示例性方法包括处理器(例如，图像管理系统的处理器)，该处理器访问用于包括解剖对象的外科手术空间的第一视觉表示和外科手术空间的第二视觉表示的场景分割信息；基于场景分割信息确定一组可靠组织以将第一视觉表示的第一数据集与第二视觉表示的第二数据集配准；在第一视觉表示的图像中确定描绘一组可靠组织中的一个或多个组织的第一区域；在第一视觉表示的图像中确定描绘一个或多个组织的在第一区域中的第一多个特征点；在第二视觉表示的图像中确定描绘一个或多个组织的第二区域；在第二视觉表示的图像中确定描绘一个或多个组织的在第二区域中的第二多个特征点；以及至少部分地基于第一多个特征点与第二多个特征点的对齐将第一视觉表示的第一数据集和第二视觉表示的第二数据集配准。

另一个示例性方法包括处理器(例如，图像管理系统的处理器)，该处理器访问关于在外科手术空间中对解剖对象执行的程序的当前阶段的信息；并且基于程序的当前阶段选择性地更新外科手术空间的第一视觉表示的数据集与外科手术空间的第二视觉表示的数据集的初始配准。

另一个示例性方法包括处理器(例如，图像管理系统的过程)，该处理器访问对外科手术空间的解剖对象执行程序的计算机辅助外科手术系统的力感测数据；在外科手术空间的第一视觉表示的第一数据集中检测与解剖对象的交互；基于力感测数据，在外科手术空间的第二视觉表示的第二数据集中对交互建模；和将第一视觉表示的第一数据集与第二视觉表示的第二数据集配准。

附图说明

附图说明各种实施例并且是说明书的一部分。说明的实施例仅仅是示例并且不限制本公开的范围。在整个附图中，相同或相似的附图标记表示相同或相似的元件。

图1说明根据本文描述的原理的用于管理成像数据的示例性图像管理系统。

图2说明根据本文描述的原理的用于图像管理系统进行配准的示例性图像。

图3说明根据本文描述的原理的用于管理成像数据的图像管理系统的示例性配置。

图4-5说明根据本文描述的原理的用于跟踪解剖对象的示例性图像。

图6说明根据本文描述的原理的其中图1的图像管理系统配准来自不同成像模式的成像数据的示例性配置。

图7说明根据本文描述的原理的示例性计算机辅助外科手术系统。

图8-10说明根据本文描述的原理的用于在视频中跟踪解剖对象的示例性方法。

图11说明根据本文描述的原理的示例性计算装置。

具体实施方式

本文描述用于配准外科手术空间的视觉表示的数据集并跟踪外科手术空间中的解剖对象的系统和方法。可以在外科手术空间中计划或执行各种类型的外科手术程序，该外科手术空间可以包括在其上执行(或将要执行)外科手术程序的身体的解剖对象，靠近正在(或将要)执行操作的解剖对象的解剖构造，以及靠近解剖对象的其他区域(例如，开放空间)。可以使用各种成像模式对外科手术空间进行成像和/或建模，诸如内窥镜、超声扫描、术前成像扫描等。成像可以产生外科手术空间的各种视觉表示，诸如一个或多个外科手术场景的视频，其描绘外科手术空间的场景、外科手术空间的模型等。外科手术空间的视觉表示可以包括或用任何合适格式的任何数据表示，该数据表示外科手术空间的至少一部分并且可以用于提供外科手术空间的至少一部分的视觉呈现。在某些示例中，数据可以通过用一种或多种成像模式对外科手术空间成像而获得。数据可以以任何合适方式表示外科手术空间，诸如二维影像、三维影像、四维影像(具有时间分量的三维影像)、彩色影像、深度数据、纹理数据等。在某些示例中，视觉表示可以包括表示外科手术空间模型的数据，例如外科手术空间的3D模型。表示外科手术空间的视觉表示或视觉表示的一部分的数据可以被称为视觉表示的数据集。此类数据集可以是任何合适格式，诸如表示外科手术空间的视频的视频数据集、表示外科手术空间的模型(例如，二维模型或三维模型)的模型数据集，或适合于表示外科手术空间的任何其他数据集。图像管理系统可以执行各种操作以配准各种视觉表示的数据集(例如，识别、匹配或对齐数据集的对应数据点)。例如，图像管理系统可以从外科手术器械接收关于解剖对象的语义信息，诸如场景分割信息、程序阶段信息和/或力传感信息。图像管理系统可以使用语义信息来准确地配准视觉表示的数据集。

本文描述的系统和方法可以提供各种优点和益处。例如，准确配准外科手术空间的视觉表示的数据集可以使图像管理系统能够使用解剖对象的多个成像模式和/或模型来产生准确的合成图像。此外，外科手术空间的视觉表示的数据集的可靠配准可以有利于图像管理系统准确地跟踪外科手术空间中的解剖对象。解剖对象的此类精确图像和跟踪可以向外科手术医生提供信息，与没有此类信息相比，该信息对于更高效和/或有效地执行外科手术程序可以是有价值的。

现在将参照附图更详细地描述各种实施例。所公开的系统和方法可以提供上述益处中的一个或多个和/或将在本文中变得显而易见的各种附加和/或替代益处。

图1说明用于配准外科手术空间的视觉表示的数据集的示例性图像管理系统100(“系统100”)。系统100可以被包括在计算机辅助外科手术系统(诸如下文将结合图6描述的示例性计算机辅助外科手术系统)的一个或多个组件中、由该一个或多个组件实施或连接到该一个或多个组件。例如，系统100可以由计算机辅助外科手术系统的一个或多个组件实施，诸如操纵系统、用户控制系统或辅助系统。作为另一个示例，系统100可以由通信地耦接到计算机辅助外科手术系统的独立计算系统来实施。

如图1所示，系统100可包括但不限于选择性地且通信地彼此耦接的存储设施102和处理设施104。设施102和104可各自包括或由一个或多个物理计算装置实施，该物理计算装置包括硬件和/或软件组件，诸如处理器、存储器、存储驱动器、通信接口、存储在存储器中以供处理器执行的指令等。尽管设施102和104在图1中被示为单独的设施，但是设施102和104可以组合成更少的设施，诸如组合成单个设施，或者被分成如可以用于特定的实施方式的更多设施。在一些示例中，设施102和104中的每一个可以分布在如可以用于特定实施方式的多个装置和/或多个位置之间。

存储设施102可以保持(例如，存储)由处理设施104用以执行本文描述的任何功能的可执行数据。例如，存储设施102可以存储指令106，其可以由处理设施104实施以执行本文描述的操作中的一个或多个。指令106可以由任何合适的应用程序、软件、代码和/或其他可执行数据实例来实施。存储设施102还可以保持由处理设施104接收、产生、管理、使用和/或传输的任何数据。

处理设施104可以被配置为执行(例如，执行存储在存储设施102中的指令106以执行)与配准外科手术空间的视觉表示的数据集相关联的各种操作。例如，处理设施104可以被配置为访问包括解剖对象的外科手术空间的第一视觉表示的第一数据集和外科手术空间的第二视觉表示的第二数据集。处理设施104还可以访问关于解剖对象的语义信息。处理设施104还可以至少部分地基于关于解剖对象的语义信息，将外科手术空间的第一视觉表示的第一数据集与外科手术空间的第二视觉表示的第二数据集配准。

本文描述可由系统100(例如，处理设施104)执行的这些和其他操作。在以下描述中，对由系统100执行的功能的任何引用可以理解为由处理设施104基于存储在存储设施102中的指令106来执行。

图2示出第一组成像数据200-1与第二组成像数据200-2的配准的示例性方面。在某些示例中，第一成像数据与第二成像数据的配准可以指从第一成像数据的图像数据点到第二成像数据中的对应图像数据点的映射，使得配准允许从特定视点对齐图像数据集。例如，如图2所示，成像数据200-1表示外科手术空间中解剖对象(例如，内部器官或其部分等)的描绘202-1。成像数据200-2表示相同解剖对象的描绘202-2(尽管从稍微不同的视点采集，使得成像数据200-1和200-2相似但不相同)。成像数据200-1与成像数据200-2的配准可以涉及确定描绘202-1中的各种特征204(例如，特征204-1到204-6)是否对应于在描述202-2中的相似特征206(例如，特征206-1到206-6)。

如图所示，例如，特征204-1和206-1可以被确定为匹配(即，表示相同的物理特征)，如可以是特征对204-2和206-2、204-3和206-3、204-4和206-4，以及204-5和206-5。在此示例中，每个描绘中的特征也被调出，该特征不对应于另一个描绘中的相似特征。具体地，成像数据200-2的描绘202-2中没有数据点可以对应于表示成像数据200-1的描绘202-1中的特征204-6的数据点，描绘202-1中也没有任何数据点对应于表示描绘202-2中的特征206-6的数据点。可以通过识别足够数量的对应数据点对(例如，表示相似特征204和206的数据点对)来将成像数据200-1与成像数据200-2配准，使得描绘202-1可以关于特定视点而与描绘202-2对齐(例如，从其采集成像数据200-1的视点、从其采集成像数据200-2的视点或另一个合适的视点)。

在图2的示例中，描绘202-1和202-2可看起来相似，因为每个成像数据200-1和200-2的相应图像可以来自通过相同成像模式(例如，以相同的成像方式，通过相同的采集装置，使用相同的成像技术等)采集的单个视觉表示。此外，并且由于视觉相似性，可以通过识别描绘202-1中的特征204、识别描绘202-2中的特征206以及匹配来自每个组的特征来识别相应的数据点来以相对直接的方式执行将成像数据200-1与成像数据200-2配准。

然而，虽然图2的示例说明配准由单个成像模式采集的成像数据的方面，但是在某些示例中，可需要配准来自多个视觉表示的成像数据。例如，第一视觉表示的数据集可以包括来自第一成像模式(例如，内窥镜成像模式)的成像数据，而第二视觉表示的数据集可以包括来自第二成像模式(例如，附加成像模式，诸如CT扫描、MRI扫描等)和/或来自与第一(或第二)成像模式不同的时间点的成像数据。

作为一个示例，不同的成像模式可以在不同时间点采集解剖构造的描绘或其他表示。例如，内窥镜成像模式可以包括外科手术空间中解剖构造的术中扫描，并且因此可以在手术进行时实时执行。类似地，超声扫描或荧光成像扫描(其中将荧光染料注入体内以有利于在染料表现出荧光特性的特定频率下成像)可以类似地在术中使用，或者在手术进行时实时使用，或在手术期间使用，同时在执行成像时暂时搁置主动外科手术操作。相比之下，其他类型的成像模式可以在外科手术空间中执行操作之前的某个时间点(例如，紧接在之前、一天或更早之前等)采集解剖构造的描绘或其他表示。例如，当身体处于不同的状态时，可以在不同时间执行包括CT扫描、MRI扫描、超声扫描、X射线扫描、基于来自任何此类扫描的数据的3D建模产生的成像模式，或其他合适成像模式。例如，在使用一种成像模式时的术前时间期间并且在使用另一种成像模式时的术中时间期间，对其执行外科手术操作的患者的体位可不同(例如，仰卧与侧卧)，或者可有其他显著差异(例如，禁食或不禁食)。作为另一示例，来自一个成像模式的不同时间点的图像可用于跟踪解剖对象在外科手术空间中的移动。在其他示例中，可以同时(例如，都在术前、都在术中等)或在以其他方式不同于该示例的时间(例如，不同的术前时间、不同的术中时间、术前以及术后时间、术中和术后时间等)使用不同模式。

系统100配准多个视觉表示的数据集可存在各种目的。例如，如所提到的，将包括第一成像数据的第一视觉表示的第一数据集与包括第二成像数据的第二视觉表示的第二数据集配准的一个目的是对齐第一和第二成像数据以便允许系统100产生和提供外科手术空间的合成图像以供显示装置显示，该合成图像包括从特定视点(例如，在外科手术空间中执行外科手术程序的外科手术医生的视点等)观察的第一成像数据和第二成像数据的方面。例如，此类合成影像可以基于来自内窥镜成像模式的内窥镜成像数据与包括来自附加成像模式的附加成像数据的第二视觉表示的配准，并且可以允许内窥镜和附加成像数据这两方面以方便可定制的视图呈现给用户，以有利于外科手术空间中的操作。另外或可替代地，第二视觉表示的第二数据集可以包括其他信息，诸如外科手术空间的模型、外科手术空间的深度图或图形元素(例如，标注、虚拟对象等)。将此类其他信息与内窥镜成像数据对齐还可以允许直观方便可定制的视图，以有利于外科手术空间中的操作。另外或可替代地，第二视觉表示的第二数据集可以是具有时间偏移的内窥镜成像数据，使得可以跟踪内窥镜成像数据中描绘的解剖构造的移动。本文描述配准视觉表示的数据集的其他目的。

图3说明示例性配置300，其中系统100被配置为配准外科手术空间的视觉表示的数据集。如图所示，系统100访问(例如，接收、产生、检索等)包括对其执行程序的解剖对象的外科手术空间的第一视觉表示302的第一数据集。系统100还访问外科手术空间的第二视觉表示304的第二数据集。系统100还访问关于解剖对象的语义信息306。至少部分地基于语义信息306，系统100提供配准数据310，其可用于配准第一视觉表示302的数据集和第二视觉表示304的数据集。

第一视觉表示302可以是外科手术空间的任何合适的视觉表示。例如，第一视觉表示302可以包括由成像装置(诸如内窥镜或被配置为采集外科手术空间的图像的其他相机装置)提供的视频影像。在一些示例中，成像装置可以被配置为附接到计算机辅助外科手术系统并由其控制。在替代示例中，成像装置可以手持并且由操作者(例如外科手术医生)手动操作。另外或替代地，第一视觉表示302可以包括关于第二视觉表示304描述的任何示例。任何合适的数据集可以表示第一视觉表示302。

第二视觉表示304也可以是外科手术空间的任何合适的视觉表示。例如，第二视觉表示304可以包括除了视频影像之外的成像数据，诸如解剖对象和/或外科手术空间的超声扫描、CT扫描、MRI扫描、荧光透视成像扫描等。另外或替代地，第二视觉表示304可以包括解剖对象的模型，诸如使用任何此类合适扫描影像产生的模型。另外或替代地，第二视觉表示304可以包括定义图像中距视点的点之间的距离的外科手术空间和/或解剖对象的深度图。另外或替代地，第二视觉表示304可以包括图形元素，诸如虚拟对象、标注、用户界面组件等。另外或替代地，第二视觉表示304可以包括具有时间偏移的第一视觉表示302的影像。例如，第一视觉表示302可以包括视频影像。第二视觉表示304可以包括相同的视频影像，其偏移一定量的时间和/或一定数量的视频影像帧。通过配准时间偏移视频影像，可以检测视频内对象的移动，这可以对应于外科手术空间中解剖构造(诸如解剖对象)的移动。另外或替代地，第二视觉表示304可以包括类似于第一视觉表示302但来自不同视点的影像。例如，来自两个视点的外科手术空间的两个图像可以提供信息以产生外科手术空间的立体图像和/或外科手术空间的深度图。虽然配置300示出访问第一和第二视觉表示的系统100，但是可以使用本文描述的技术来配准任何合适数量的视觉表示。任何合适的数据集可以表示第二视觉表示304。

语义信息306可以包括为外科手术空间的视觉表示的影像提供有意义和/或上下文的任何合适信息。例如，语义信息306可以包括场景分割信息(例如，指示影像中描绘的内容的信息)。语义信息306还可包括程序阶段信息(例如，指示对解剖对象进行的外科手术程序的当前阶段的信息)。作为另一个示例，语义信息306可以包括与影像相关联的时间信息。语义信息306还可包括力感测数据(例如，指示由计算机辅助外科手术系统的外科手术器械感测的力的量的信息)。语义信息306还可包括器械跟踪数据(例如，指示计算机辅助外科手术系统的外科手术器械的姿势的信息)。这些和任何其他合适示例性不同类型的语义信息306可以单独使用或以任何合适的组合使用。系统100可以使用语义信息306来帮助以任何合适方式(诸如在本文描述的方式)将第一视觉表示302与第二视觉表示304配准。

配准数据310可以是提供信息以配准第一视觉表示302的数据集和第二视觉表示304的数据集的任何合适数据。如上所述，配准数据310可以包括一个或多个特征对，其被发现描绘第一视觉表示302的影像和第二视觉表示304的影像中的相同特征。另外或替代地，配准数据310可以包括用于第一视觉表示302的影像和第二视觉表示304的影像的坐标位置，以对齐视觉表示。另外或替代地，配准数据310可以包括要执行的配准类型，诸如在两个不同成像模式之间和一个成像模式的时间偏移图像之间。在一些示例中，配准数据310可以包括用于避免配准第一视觉表示302和第二视觉表示304的数据集的命令(或标志，或变量，或任何其他合适的指示符)(例如，在对解剖对象进行的程序的某些阶段期间，如果场景分割信息表明解剖对象不可见等)。本文描述配准数据310的其他示例。

图4示出外科手术空间的示例性图像400。图像400可以是来自外科手术空间的第一视觉表示的图像，诸如由描绘外科手术空间的内窥镜(或任何合适成像装置)采集的视频的帧。图像400示出解剖对象402，其可以是外科手术医生正在其上执行外科手术程序的器官。如图所示，解剖对象402被脂肪层404覆盖，因为某些器官可被发现具有该脂肪层。图像400还示出外科手术器械406(例如，外科手术器械406-1和406-2)，其中每个可以通过可用于对患者进行计算机辅助外科手术程序(例如，通过至少部分插入患者体内并被操纵以对患者执行计算机辅助外科手术程序)的任何合适治疗器械(例如，具有组织相互作用功能的工具)、成像装置(例如，内窥镜)、诊断器械等来实施。图像400可以由图像管理系统(例如，系统100)产生和/或访问。

系统100可以从外科手术空间的第二视觉表示访问图像以与图像400配准。系统100还可以访问语义信息并且至少部分地基于语义信息进行配准。

例如，语义信息可以包括场景分割信息。用于图像400的场景分割信息可以指示描绘解剖对象402的像素区域对应于解剖对象402，描绘脂肪层404的像素区域对应于脂肪层404，其他像素区域对应于背景组织、脉管系统、骨骼、外科手术器械406等。场景分割信息还可以包括描述性信息，诸如描述解剖对象402的状态(例如，被覆盖、未被覆盖、被移动等)的解剖对象402的多个标签。以此方式，场景分割信息可以指示在图像400中描绘的是什么。

系统100可以以任何合适方式并基于任何合适信息来执行图像400与来自第二视觉表示的图像的配准。例如，基于场景分割信息，系统100可以确定可以被认为是基于其进行图像配准的可靠组织的组织和可以被认为是基于其进行配准的不可靠组织的组织。组织的可靠性可以基于组织的至少一个特性，例如组织的硬度、组织的刚度、组织的活动性以及在解剖对象402程序期间组织的典型移动量，或任何其他合适的特征。例如，在程序期间通常移动很多的组织可无法提供在其上配准视觉表示的可靠特征点。此外，一些组织可在程序期间被完全去除，诸如脂肪层404。将视觉表示的数据集的配准基于在此类组织上的特征点也可导致不可靠的结果。因此，更刚性和/或相对固定的组织诸如骨骼、脉管系统或解剖对象402可以为配准提供更可靠特征点。另外或替代地，系统100可以使用被分类为可靠或不可靠或使用可靠性的幅度/谱线被分类的组织的预定义列表。可靠组织的示例预定义列表可以包括骨骼、脉管系统、解剖对象402和预定义为可靠的任何其他合适组织。此类预定义列表可以被配置为可由用户定制。

系统100可以以任何合适方式使配准基于组织的可靠性。例如，系统100可以使用场景分割信息识别图像400中对应于可靠组织的组织并在图像400上产生二元掩模，使得仅在可靠组织上选择特征点。相比之下，系统100可以识别图像400中对应于不可靠组织的组织并产生类似二元掩模并且仅在不可靠组织之外的点上选择特征点。另外或替代地，可以根据可靠性的幅度/谱线对组织进行分类，并且可以相应地对每个组织上的特征点进行加权。例如，在高度可靠的组织上选择的特征点的权重可很高，在不可靠的组织上选择的特征点的权重很低或根本没有，而其他组织可接收介于两者之间的权重。然后，系统100可以在使用特征点的一些加权组合下使用算法来确定配准。例如，如果在一个图像中被找到的特征点的权重较低，该特征点可更容易被忽略，该特征点在另一图像中在对应特征点的情况下未被找到。使用这些技术中的一种或多种，系统100可以确定图像400上的多个可靠特征点并且对来自第二视觉表示的图像执行相同或相似的确定。然后，系统100可以至少部分地基于每个图像中的多个可靠特征点的对齐，将视觉表示的数据集彼此配准。

系统100可以另外或替代地使用场景分割信息来将来自视觉表示的影像的区域彼此对齐。例如，系统100可以使用在场景分割信息中识别的对象(例如，解剖对象402、外科手术器械406)的边界来配准视觉表示的数据集。另外或替代地，系统100可以将场景分割信息与任何合适的图像处理技术一起使用来配准视觉表示的数据集。例如，除(或除了)特征点之外，系统100可以使用基于图像的配准，优化相似性度量(例如，交互信息、互相关等)、非点特征(例如，边缘等)或任何其他合适的图像处理技术。

图5示出了图像400中所示的外科手术空间的示例性图像500。图像500可以是来自外科手术空间的第一视觉表示的另一图像(例如，后面的图像)。图像500包括在脂肪层404已经从器官移除后的解剖对象402。这种从器官去除脂肪可为对器官进行的外科手术程序中的典型步骤。如图所示，去除脂肪层404在描绘外科手术空间的影像(例如，图像500)中暴露更多的解剖对象402。此类暴露可以允许在可靠组织上的更多特征点用于配准视觉表示。相比之下，在去除脂肪层404之前，如图像400所示，丢弃脂肪层404上的特征点也可以允许更可靠的视觉表示配准。

此外，通过配准来自相同成像装置和/或成像模式的不同时间点的图像，可以观察外科手术空间的变化。例如，可以通过将外科手术空间的第一视觉表示与作为第一视觉表示的时间偏移流的第二视觉表示配准来跟踪解剖对象402的移动。例如，第一视觉表示可以是包括解剖对象402的外科手术空间的视频。第二视觉表示可以是具有任何合适时间偏移(例如，一秒、几分之一秒、视频的几帧等)的相同视频)。通过将时间T处的视频与时间(T-偏移)处的视频配准，将检测解剖对象402的任何移动。通过以指定速率更新此类配准，可以跟踪解剖对象402的移动。因此，可以使用本文描述的任何技术来执行对解剖对象402(或任何其他合适的解剖对象)的跟踪。出于跟踪解剖对象402的目的，在配准视觉表示时，解剖对象402上的特征点可以被丢弃和/或不同地加权。

此外，图像500可以描绘与图像400不同的外科手术程序阶段。此类程序阶段信息可以是由系统100访问的语义信息的另一个示例，将视觉表示的数据集(例如，图像500与来自第二个视觉表示的图像)的配准基于该语义信息。例如，程序的阶段可以确定是否应该从初始配准更新配准。此类确定可以基于当前程序阶段的外科手术空间的预期变化量。如果外科手术空间显著变化，则在显著变化之前完成的配准可不再准确和/或更多信息可用于更准确地配准视觉表示。如图像500所示，脂肪层404的去除可为示例实例，其中更新配准可用于这些原因中的一个或两个。

另外或替代地，在程序的某些阶段，配准视觉表示的数据集可不值得这样做的好处，例如，如果配准视觉表示的数据集将更加困难(例如，由于缺乏可靠的特征点、解剖对象402的移动增加、外科手术空间和/或成像装置的视点等)或多个视觉表示将不提供特别有用的信息。在此类阶段中，系统100可以避免配准视觉表示。

另外或替代地，在程序的一些阶段中，系统100可以更大或更小频率更新配准和/或使用更多或更少的特征点或参数的任何其他差异。例如，如果程序阶段是其中解剖对象402将比其他阶段移动得更多和/或需要更准确的配准或跟踪的程序阶段，则可以以更高指定速率和/或使用更多特征点来更新配准。另外或替代地，可以变化的参数可以包括增加或减少平滑量、增加或减少用于配准的搜索空间、切换配准方法(例如，使用图像边缘、深度图和/或特征点等)以支持更高或更低的更新率等。可以基于程序阶段信息使用任何其他此类合适的参数设置。

此外，系统100还可以访问作为语义信息的另一个示例的力感测数据和/或器械跟踪数据(例如，来自外科手术器械406)，以便支持视觉表示的数据集的配准。当解剖对象402被操纵(例如，通过外科手术器械406)时，视觉表示的数据集的配准和解剖对象402的跟踪可更加困难。通过访问力感测数据和/或器械跟踪数据以确定外科手术器械406在哪些点以及以多大力与解剖对象402交互，可以修改解剖对象402的模型(例如，第二视觉表示)以对应解剖对象402的操纵，该操纵可以在第一视觉表示(例如，视频)中被描绘。例如，可以基于解剖对象402的刚度来修改解剖对象402的模型。对于刚性解剖对象，可以通过基于力感测数据和/或器械跟踪数据将解剖对象402的模型移动相应的量来修改模型。对于刚性较小的解剖对象，可以通过基于解剖对象402的刚度和力感测数据和/或器械跟踪数据使解剖对象402的模型变形以及移动相应量来修改模型。

图6示出了示例性配置600，其中系统100配准来自第一和第二视觉表示的成像数据以产生外科手术空间的合成影像。如图所示，配置600可以包括多个成像模式602(例如，内窥镜成像模式602-1和附加成像模式602-2)，其被配置为采集外科手术空间606的成像数据604(例如，通过内窥镜成像模式602-1采集的内窥镜成像数据604-1和通过附加成像模式602-2采集的附加成像数据604-2)。

外科手术空间606可以包括与外科手术程序相关的任何体积空间。例如，外科手术空间606可以包括患者的身体的任何一部分或多部分，诸如与外科手术程序相关的空间中的患者的解剖结构608(例如，组织等)。在某些示例中，外科手术空间606可以完全设置在患者体内并且可以包括患者体内的空间，该空间靠近计划执行、正在执行或已经执行外科手术程序的位置。例如，对于在患者体内的组织上执行的微创外科手术程序，外科手术空间606可以包括表面组织、表面组织下方的解剖构造以及组织周围的例如用于执行外科手术程序的外科手术器械所在位置的空间。在其他示例中，外科手术空间606可以至少部分地设置在患者体外。例如，对于在患者身上进行的开放式外科手术程序，外科手术空间606的一部分(例如，被操作的组织)可以在患者内部，而外科手术空间606的另一部分(例如，组织周围其中一个或更多外科手术器械可以设置的空间)可以在患者体外。外科手术空间606可以包括其中执行外科手术程序的真实工作空间，诸如与患者相关联并且其中一个或多个外科手术器械用于对患者执行外科手术程序的实际真实工作空间。

如本文所用，外科手术程序可包括任何医疗程序，包括其中对患者使用手动和/或器械技术以调查或治疗患者身体状况的任何诊断或治疗程序。外科手术程序可以指医疗程序的任何阶段，例如外科手术程序的术前、手术(即，术中)和术后阶段。

成像模式602可以被配置为和/或用于采集表示外科手术空间606的成像数据604。此类采集由图6中的虚线610表示。成像模式602可以各自以任何合适方式采集外科手术空间606的成像数据604，并且成像数据604可以采用任何合适的形式。例如，成像数据604可以实施为表示如下项的数据：如在某个实现方式中可用于帮助用户可视化外科手术空间606的静止帧图像(例如，灰度图像、彩色图像、红外图像等)、视频(例如，灰度、彩色、红外视频等)、3D模型、深度图、图形元素或任何其他类型的可视化表示或描绘。成像模式602还可以各自在任何合适时间采集成像数据604。例如，一种或多种成像模式602可在外科手术程序的一个或多个术前、术中和/或术后阶段期间采集外科手术空间606的成像数据604。

内窥镜成像模式602-1是涉及通过内窥镜(例如，或另一合适类型的内窥镜器械)采集的成像数据的模式，该内窥镜被配置为将光(例如，可见频率下的光)投射到外科手术空间606的解剖构造上，并且当光从解剖构造反射到与内窥镜相关联的一个或多个图像传感器时采集解剖构造的摄影影像。相比之下，在某些示例中，附加成像模式602-2可以是不同类型的成像模式(即，不同于内窥镜成像模式的模式)。例如，如上所述，附加成像模式602-2可以包括或涉及但不限于由超声模块或机器进行的超声成像、由CT机器进行的CT成像、由MRI机器进行的MRI成像等。在其他示例中可以使用任何其他合适的附加成像模式。

在某些示例中，内窥镜成像模式602-1可以被配置为采集包括在外科手术空间606中的表面解剖构造的影像(例如，包括在外科手术空间中的组织的外表面)，并且附加成像模式602-2可以被配置为采集包括在外科手术空间606中的下层解剖构造的影像(例如，在包括在外科手术空间中的组织的外表面之后的下层组织)。例如，内窥镜成像模式602-1可以采集患者体内的表面组织的图像，并且附加的成像模式602-1可以包括采集下层组织的图像的超声、CT或MRI成像，从内窥镜的视点来看，该下层组织在表面解剖构造的后面并通过表面解剖构造而隐藏内窥镜的视野之外。

如上所述，成像模式602可以各自在任何合适时间采集外科手术场景606的成像数据604，诸如在外科手术程序或手术的一个或多个任何阶段期间。在某些示例中，成像模式602可以同时采集外科手术空间606的成像数据604。例如，内窥镜成像模式602-1可以在外科手术程序期间(例如，在外科手术程序的手术阶段)采集内窥镜影像，并且另外成像模式602-1可以在外科手术程序期间同时采集另一种类型的影像。在其他示例中，成像模式602可以在不同时间和/或在外科手术程序的不同阶段采集外科手术空间606的成像数据604。例如，内窥镜成像模式602-1可以在外科手术程序的手术阶段采集内窥镜影像，而附加成像模式602-2可以在外科手术程序的术前阶段采集另一种类型的影像。

表示外科手术空间606的成像数据604可以包括通过成像模式602采集的外科手术空间606的图像。例如，成像数据604可以包括内窥镜图像、超声图像、CT图像、MRI图像和/或任何其他合适形式的外科手术空间606的图像。另外或替代地，成像数据604可以包括基于由成像模式执行的成像而产生的外科手术空间606的一个或多个模型。例如，附加成像数据604-2可以包括外科手术空间606的3D模型，其基于由成像模式执行的成像(诸如由超声机、CT机、MRI机或其他合适成像模式执行的成像)而产生。3D模型可以是完整体积模型，其包括体素(即，体积像素)，该体素具有表示模型内在3D点处的外科手术空间606的外观的值(例如，颜色值、亮度值等)。此类体积模型可以有利于3D模型的任何切片被系统100识别和使用以产生3D模型的切片的图像。

虽然图6描绘了分别采集作为输入提供到系统100的成像数据604-1和604-2的两个成像模式602-1和602-2，但其他示例可以包括采集作为输入提供到系统100的影像的任何合适数量和/或配置的多个不同成像模式，以产生外科手术空间606的合成影像。例如，三个或更多不同的成像模式可以采集输入到系统100的影像，用于产生外科手术空间606的合成影像。

系统100可以基于通过成像模式602采集的成像数据604来产生外科手术空间606的合成影像612(例如，包括一个或多个合成图像612)。系统100可以以任何合适方式这样进行以产生合成图像，其包括由不同成像模式602采集的外科手术空间606的部分的综合表示。

系统100可以指示显示装置614显示合成影像612。例如，系统100可以向显示装置614提供表示合成影像612的数据，该显示装置614可以被配置为显示合成影像612以供计算机辅助外科手术系统的用户(例如，外科手术医生或其他执行外科手术程序的外科手术团队成员)查看。显示装置614可以包括能够接收和处理成像数据以显示一个或多个图像的任何装置。为此，显示装置614可以包括图像可以显示在其上的一个或多个显示屏幕。在某些示例中，显示装置614可以是计算机辅助外科手术系统的组件或可通信地连接到该计算机辅助外科手术系统，诸如将在下文更详细描述的。

如所提到的，系统100可以在计算机辅助外科手术系统中实施或通信地耦接到该计算机辅助外科手术系统。系统100可以接收来自计算机辅助外科手术系统的输入并向该系统提供输出。例如，系统100可以从计算机辅助外科手术系统访问外科手术空间的影像和/或关于外科手术空间和/或计算机辅助外科手术系统的任何信息，使用访问的影像和/或信息来执行本文处理中的任一种以产生外科手术空间的合成影像，并且将表示合成影像的数据提供到计算机辅助外科手术系统以供显示(例如，通过与计算机辅助外科手术系统相关联的显示装置)。

为了说明，图7示出了示例性计算机辅助外科手术系统700(“外科手术系统700”)。系统100可由外科手术系统700实施，连接到外科手术系统700，和/或以其他方式与外科手术系统700结合使用。

如图所示，外科手术系统700可以包括相互通信地耦接的操纵系统702、用户控制系统704和辅助系统706。外科手术系统700可以被外科手术团队用于对患者708执行计算机辅助外科手术程序。如图所示，外科手术团队可以包括外科手术医生710-1、助理710-2、护士710-3和麻醉师710-4，他们都可以统称为“外科手术团队成员710”。额外的或替代的外科手术团队成员可以在外科手术程序期间存在，因为他们可以用于特定实现方式。

虽然图7说明正在进行的微创外科手术程序，但是应当理解，外科手术系统700可以类似地用于执行开放式外科手术程序或可以类似地受益于外科手术系统700的准确性和便利性的其他类型的外科手术程序。另外，将应当理解，贯穿其中可以采用外科手术系统700的外科手术活动不仅可以包括外科手术程序的操作阶段，如图7所说明，而且也可以包括外科手术程序的术前、术后和/或其他合适的阶段。

如图7所示，操纵系统702可以包括多个操纵器臂712(例如，操纵器臂712-1至712-4)，多个外科手术器械(例如，如上所示的外科手术器械406)可以耦接到该操纵器臂。每个外科手术器械可以由任何合适的治疗器械(例如，具有组织相互作用功能的工具)、成像装置(例如，内窥镜)、诊断器械等实施，该治疗器械可以用于对患者708进行的计算机辅助外科手术程序(例如，通过至少部分地插入患者708体内并被操纵以对患者708执行计算机辅助外科手术程序)。在一些示例中，外科手术器械中的一个或多个可以包括力感测和/或其他感测能力。虽然操纵系统702在本文中被描绘和描述为包括四个操纵器臂712，但是将认识到操纵系统702可以仅包括单个操纵器臂712或可以用于特定实现方式的任何其他数量的操纵器臂。虽然操纵系统702在本文中被描绘和描述为包括四个操纵器臂712，但是将认识到操纵系统702可以仅包括单个操纵器臂712或可以用于特定实现方式的任何其他数量的操纵器臂。

操纵器臂712和/或附接到操纵器臂712的外科手术器械可以包括一个或多个位移换能器、方位传感器和/或用于产生原始(即未校正的)运动学信息的位置传感器。外科手术系统700的一个或多个组件可以被配置为使用运动学信息来跟踪(例如，确定位置)和/或控制外科手术器械(以及连接到器械的任何实物，诸如超声模块)。

用户控制系统704可以被配置为有利于由外科手术医生710-1控制机械臂712和附接到机械臂712的外科手术器械。例如，外科手术医生710-1可以与用户控制系统704交互以远程移动或操纵机械臂712和外科手术器械。为此，用户控制系统704可以向外科手术医生710-1提供由成像系统(例如，本文描述的任何医学成像系统)采集的与患者708相关联的外科手术空间的影像。在某些示例中，用户控制系统704可以包括具有两个显示器的立体查看器，其中外科手术医生710-1可以查看与患者708相关联并且由立体成像系统产生的外科手术空间的立体图像。在某些示例中，由系统70产生的合成影像可以由用户控制系统704显示。外科手术医生710-1可以利用由用户控制系统704显示的影像来执行一个或多个程序，其中一个或多个外科手术器械附接到操纵器臂712。

为了有利于控制外科手术器械，用户控制系统704可以包括一组主控制件。这些主控制件可由外科手术医生710-1操纵以控制外科手术器械的移动(例如，通过利用机器人和/或远程操作技术)。主控制件可以被配置为检测外科手术医生710-1的各种手、手腕和手指移动。以此方式，外科手术医生710-1可以使用一个或多个外科手术器械直观地执行程序。

辅助系统706可以包括被配置为执行外科手术系统700的主要处理操作的一个或多个计算装置。在此类配置中，辅助系统706中包括的一个或多个计算装置可以控制和/或协调由外科手术系统700的各种其他组件(例如，操纵系统702和用户控制系统704)执行的操作。例如，包括在用户控制系统704中的计算装置可以通过包括在辅助系统中的一个或多个计算装置向操纵系统702发送指令。作为另一示例，辅助系统706可以接收(例如，从操纵系统702)并且可以处理图像数据，其表示由附接到操纵器臂712中的一个的成像装置采集的影像。

在一些示例中，辅助系统706可以被配置向外科手术团队成员710呈现视觉内容，该成员710可无法访问在用户控制系统704处提供到外科手术医生710-1的图像。为此，辅助系统706可以包括显示监视器714，其被配置为显示一个或多个用户界面，诸如外科手术空间的图像(例如，2D图像、3D图像、合成图像等)、与患者708和/或外科手术程序相关联的信息，和/或可以用于特定实现方式的任何其他视觉内容。例如，显示监视器714可以显示外科手术空间的图像(例如，由系统100产生的合成图像)。在一些实施例中，显示监视器714由触摸屏显示器实施，外科手术团队成员710可以与该触摸屏交互(例如，通过触摸手势)以向外科手术系统700提供用户输入。

操纵系统702、用户控制系统704和辅助系统706可以以任何合适方式彼此通信地耦接。例如，如图7所示，操纵系统702、用户控制系统704和辅助系统706可以通过控制线716通信耦接，该控制线716可以表示如可以用于特定实现方式的任何有线或无线通信链路。为此，操纵系统702、用户控制系统704和辅助系统706可以各自包括一个或多个有线或无线通信接口，诸如一个或多个局域网接口、Wi-Fi网络接口、蜂窝接口等。

图8说明了用于配准外科手术空间的视觉表示的数据集的示例性方法800。虽然图8示出根据一个实施例的示例性操作，但是其他实施例可以省略、增加、重新排序、组合和/或修改图8所示操作中的任一项。图8中所示操作中的一个或多个可以由图像管理系统诸如系统100、其中包括的任何组件和/或其任何实现方式来执行。

在操作802中，图像管理系统可以访问包括解剖对象的外科手术空间的第一和第二视觉表示(例如，第一和第二视觉表示的数据集)。操作802可以以本文描述的方式中的任一项来执行。

在操作804中，图像管理系统可以访问用于第一视觉表示和第二视觉表示的场景分割信息。操作804可以以本文描述的方式中的任一项来执行。

在操作806中，图像管理系统可以基于场景分割信息确定一组可靠组织，以将第一视觉表示与第二视觉表示的数据集配准。操作806可以以本文描述的方式中的任一项来执行。

在操作808中，图像管理系统可以在第一视觉表示的图像中确定描绘一组可靠组织中的一个或多个组织的第一区域。操作808可以以本文描述的方式中的任一项来执行。

在操作810中，图像管理系统可以在第一视觉表示的图像中确定描绘一个或多个组织的在第一区域中的第一多个特征点。操作810可以以本文描述的方式中的任一项来执行。

在操作812中，图像管理系统可以在第二视觉表示的图像中确定描绘一个或多个组织的第二区域。操作812可以以本文描述的方式中的任一项来执行。

在操作814中，图像管理系统可以在第二视觉表示的图像中确定描绘一个或多个组织的在第二区域中的第二多个特征点。操作814可以以本文描述的方式中的任一项来执行。

在操作816中，图像管理系统可以至少部分地基于第一多个特征点与第二多个特征点的对齐来配准第一视觉表示和第二视觉表示的数据集。操作816可以以本文描述的方式中的任一项来执行。

图9说明用于配准外科手术空间的视觉表示的数据集的另一示例性方法，方法900。虽然图9示出根据一个实施例的示例性操作，但是其他实施例可以省略、增加、重新排序、组合和/或修改图9所示操作中的任一个。图9所示操作中的一个或多个可以由图像管理系统诸如系统100、其中包括的任何组件和/或其任何实现方式来执行。

在操作902中，图像管理系统可以访问包括解剖对象的外科手术空间的第一视觉表示(例如，第一视觉表示的第一数据集)。操作902可以以本文描述的方式中的任一项来执行。

在操作904中，图像管理系统可以访问外科手术空间的第二视觉表示(例如，第二视觉表示的第二数据集)。操作1204可以以本文描述的方式中的任一项来执行。

在操作906中，图像管理系统可以访问关于对解剖对象执行的程序的当前阶段的信息。操作906可以以本文描述的方式中的任一项来执行。

在操作908中，图像管理系统可以基于程序的当前阶段选择性地更新第一视觉表示的数据集与第二视觉表示的数据集的初始配准。操作908可以以本文描述的方式中的任一项来执行。

图10说明了用于配准外科手术空间的视觉表示的数据集的另一示例性方法，方法1000。虽然图10示出根据一个实施例的示例性操作，但是其他实施例可以省略、增加、重新排序、组合和/或修改图10所示的操作中的任一个。图10所示操作中的一个或多个可以由图像管理系统诸如系统100、其中包括的任何组件和/或其任何实现方式来执行。

在操作1002中，图像管理系统可以访问包括解剖对象的外科手术空间的第一视觉表示(例如，第一视觉表示的第一数据集)。操作1002可以以本文描述的方式中的任一项来执行。

在操作1004中，图像管理系统可以访问外科手术空间的第二视觉表示(例如，第二视觉表示的第二数据集)。操作1004可以以本文描述的方式中的任一项来执行。

在操作1006中，图像管理系统可以访问对解剖对象执行程序的计算机辅助外科手术系统的力感测数据。操作1006可以以本文描述的方式中的任一项来执行。

在操作1008中，图像管理系统可以在第一视觉表示的数据集中检测与解剖对象的交互。操作1008可以以本文描述的方式中的任一项来执行。

在操作1010中，图像管理系统可以基于力感测数据在第二视觉表示的数据集中对交互建模。操作1010可以以本文描述的方式中的任一项来执行。

在操作1012中，图像管理系统可以将第一视觉表示的数据集与第二视觉表示的数据集配准。操作1012可以以本文描述的方式中的任一项来执行。

在一些示例中，可以根据本文描述的原理提供存储计算机可读指令的非暂时性计算机可读介质。当由计算装置的处理器执行时，指令可以指示处理器和/或计算装置执行一个或多个操作，包括本文描述的操作中的一个或多个。可以使用多种已知的计算机可读介质中的任一种来存储和/或传输此类指令。

如本文所指的非暂时性计算机可读介质可以包括任何非暂时性存储介质，其参与提供可以由计算装置(例如，由计算装置的处理器)读取和/或执行的数据(例如，指令)。例如，非暂时性计算机可读介质可以包括但不限于非易失性存储介质和/或易失性存储介质的任何组合。示例性非易失性存储介质包括但不限于只读存储器、闪存、固态硬盘、磁存储装置(例如硬盘、软盘、磁带等)、铁电体随机存取存储器(“RAM”)和光盘(例如，紧凑盘、数字视频光盘、蓝光光盘等)。示例性易失性存储介质包括但不限于RAM(例如动态RAM)。

图11示出了可以被具体配置为执行本文描述的一个或多个过程的示例性计算装置11000。本文描述的任何系统、单元、计算装置和/或其他组件可以由计算装置1100实施。

如图11所示，计算装置1100可以包括通过通信基础设施1110相互通信连接的通信接口1102、处理器1104、存储装置1106和输入/输出(“I/O”)模块1108。虽然示例性计算装置1100在图11中示出，但图11中所示的组件不旨在进行限制。在其他实施例中可以使用附加的或替代的组件。现在将更加详细地描述图11中所示的计算装置1100的组件。

通信接口1102可以被配置为与一个或多个计算装置通信。通信接口1102的示例包括但不限于有线网络接口(例如网络接口卡)、无线网络接口(例如无线网络接口卡)、调制解调器、音频/视频连接件以及任何其他合适接口。

处理器1104通常表示能够处理数据和/或解释、执行和/或指示执行本文描述的指令、过程和/或操作中的一个或多个的任何类型或形式的处理单元。处理器1104可以通过执行存储在存储装置1106中的计算机可执行指令1112(例如，应用程序、软件、代码和/或其他可执行数据实例)来执行操作。

存储装置1106可以包括一个或多个数据存储介质、装置或配置并且可以采用任何类型、形式和组合的数据存储介质和/或装置。例如，存储装置1106可以包括但不限于本文所述的非易失性介质和/或易失性介质的任何组合。电子数据(包括本文描述的数据)可以临时和/或永久地存储在存储装置1106中。例如，表示被配置为指示处理器1104执行本文描述的操作中任一项的计算机可执行指令1112的数据可以存储在存储装置1106中。在一些示例中，数据可以布置在驻留在存储装置1106内的一个或多个数据库中。

I/O模块1108可以包括被配置为接收用户输入并提供用户输出的一个或多个I/O模块。I/O模块1108可以包括支持输入和输出能力的任何硬件、固件、软件或其组合。例如，I/O模块1108可以包括用于采集用户输入的硬件和/或软件，包括但不限于键盘或小键盘、触摸屏组件(例如，触摸屏显示器)、接收器(例如，RF或红外接收器)、运动传感器和/或一个或多个输入按钮。

I/O模块1108可以包括用于向用户呈现输出的一个或多个装置，包括但不限于图形引擎、显示器(例如，显示屏)、一个或多个输出驱动器(例如，显示驱动器)、一个或多个音频扬声器以及一个或多个音频驱动器。在某些实施例中，I/O模块1108被配置为将图形数据提供到显示器以呈现给用户。图形数据可以表示一个或多个图形用户界面和/或可以用于特定实现方式的任何其他图形内容。

在一些示例中，本文描述的设施中的任一个可以由计算装置1100的一个或多个组件实施或在该组件内实施。例如，驻留在存储装置1106内的一个或多个应用程序1112可以被配置为指示处理器1104的实现方式来执行与系统100的处理设施104相关联的一个或多个操作或功能。同样，系统100的存储设施102可以由存储装置1106的实现方式实施或在存储装置1106的实现方式内实施。

在前面的描述中，已经参考附图描述各种示例性实施例。然而，在不背离如所附权利要求中阐述的本发明的范围的情况下，显然可以对其进行各种修改和改变，并且可以实施另外的实施例。例如，本文所述的一个实施例的某些特征可以与本文所述的另一实施例的特征组合或替代。相应地，描述和附图被认为是说明性的而不是限制性的。

Claims (27)

1.一种系统，所述系统包括：

存储器，所述存储器存储指令；

处理器，所述处理器通信地耦接到所述存储器并被配置为执行所述指令以：

访问关于外科手术场景中解剖对象的语义信息；和

至少部分地基于关于所述解剖对象的所述语义信息，将所述外科手术空间的第一视觉表示的第一数据集与所述外科手术空间的第二视觉表示的第二数据集配准。

2.根据权利要求1所述的系统，其中所述语义信息包括用于所述第一视觉表示和所述第二视觉表示的场景分割信息。

3.根据权利要求2所述的系统，其中至少部分地基于所述语义信息，配准所述第一视觉表示的所述第一数据集与所述第二视觉表示的所述第二数据集包括：

基于所述场景分割信息确定一组可靠组织，以将所述第一视觉表示的所述第一数据集与所述第二视觉表示的所述第二数据集配准；

在所述第一视觉表示的图像中确定描绘所述一组可靠组织的一个或多个组织的第一区域；

在所述第一视觉表示的所述图像中确定描绘所述一个或多个组织的在所述第一区域中的第一多个特征点；

在所述第二视觉表示的图像中确定描绘所述一个或多个组织的第二区域；

在所述第二视觉表示的所述图像中确定描绘所述一个或多个组织的在所述第二区域中的第二多个特征点；和

至少部分地基于所述第一多个特征点与所述第二多个特征点的对齐，配准所述第一视觉表示的所述第一数据集和所述第二视觉表示的所述第二数据集。

4.根据权利要求3所述的系统，其中确定所述一组可靠组织包括基于选择的至少一个组织的至少一个特性从所述场景分割信息中选择至少一个组织。

5.根据权利要求4所述的系统，其中选择的至少一个组织的所述至少一个特性包括在对所述解剖对象进行的程序期间所述组织的硬度、所述组织的刚度、所述组织的活动性和所述组织的移动的典型量中的至少一个。

6.根据权利要求3所述的系统，其中确定所述一组可靠组织包括从所述场景分割信息中选择至少一个组织，并将选择的至少一个组织与预定义列表相比较。

7.根据权利要求6所述的系统，其中所述预定义列表包括骨骼、脉管系统和所述解剖对象。

8.根据权利要求2所述的系统，其中至少部分地基于所述语义信息，配准所述第一视觉表示的所述第一数据集与所述第二视觉表示的所述第二数据集包括：

基于所述场景分割信息确定一组不可靠组织，以将所述第一视觉表示的所述第一数据集与所述第二视觉表示的所述第二数据集配准；

在所述第一视觉表示的图像中确定描绘所述一组不可靠组织的一个或多个组织的第一区域；

在所述第一视觉表示的所述图像中确定所述第一视觉表示的所述图像的除所述第一区域之外的区域中的第一多个特征点；

在所述第二视觉表示的图像中确定描绘所述一个或多个组织的第二区域；

在所述第二视觉表示的所述图像中确定所述第二视觉表示的所述图像的除所述第二区域之外的区域中的第二多个特征点；和

至少部分地基于所述第一多个特征点与所述第二多个特征点的对齐，配准所述第一视觉表示的所述第一数据集和所述第二视觉表示的所述第二数据集。

9.根据权利要求2所述的系统，其中至少部分地基于所述语义信息，配准所述第一视觉表示的所述第一数据集与所述第二视觉表示的所述第二数据集包括：

基于所述场景分割信息确定第一组组织和第二组组织，基于所述组织的可靠性来确定所述第一组和第二组，以将所述第一视觉表示的所述第一数据集与所述第二视觉表示的所述第二数据集配准；

在所述第一视觉表示的图像中确定描绘所述第一组组织的一个或多个组织的第一区域；

在所述第一视觉表示的所述图像中确定描绘所述第二组组织的一个或多个组织的第二区域；

在所述第一视觉表示的所述图像中确定所述第一区域中的第一多个特征点；

在所述第一视觉表示的所述图像中确定所述第二区域中的第二多个特征点；

在所述第二视觉表示的图像中确定描绘所述第一组组织的一个或多个组织的第三区域；

在所述第二视觉表示的所述图像中确定描绘所述第二组组织的一个或多个组织的第四区域；

在所述第二视觉表示的所述图像中确定所述第三区域中的第三多个特征点；

在所述第二视觉表示的所述图像中确定所述第四区域中的第四多个特征点；

至少部分地基于所述第一多个特征点与所述第三多个特征点以及所述第二多个特征点与所述第四多个特征点的加权对齐，配准所述第一视觉表示的所述第一数据集和所述第二视觉表示的所述第二数据集。

10.根据权利要求2所述的系统，其中至少部分地基于所述语义信息，配准所述第一视觉表示的所述第一数据集与所述第二视觉表示的所述第二数据集包括：

基于所述场景分割信息，在所述第一视觉表示的图像中确定第一组织和第二组织之间的第一边界；

基于所述场景分割信息，在所述第二视觉表示的图像中确定所述第一组织和所述第二组织之间的第二边界；和

至少部分地基于所述第一边界和所述第二边界的对齐，配准所述第一视觉表示的所述第一数据集和所述第二视觉表示的所述第二数据集。

11.根据权利要求1所述的系统，其中所述语义信息包括对所述解剖对象执行的程序的当前阶段。

12.根据权利要求11所述的系统，其中至少部分地基于所述语义信息，配准所述第一视觉表示的所述第一数据集与所述第二视觉表示的所述第二数据集包括：基于所述程序的所述当前阶段，选择性地更新所述第一视觉表示的所述第一数据集与所述第二视觉表示的所述第二数据集的初始配准。

13.根据权利要求11所述的系统，其中至少部分地基于所述语义信息，配准所述第一视觉表示的所述第一数据集与所述第二视觉表示的所述第二数据集包括：

确定其中所述解剖对象移动超过阈值量的一组程序阶段；和

当所述程序的当前阶段是所述一组程序阶段中的一个时，选择性地避免配准所述第一视觉表示的所述第一数据集与所述第二视觉表示的所述第二数据集。

14.根据权利要求1所述的系统，其中所述语义信息包括对所述解剖对象执行程序的计算机辅助外科系统的力感测数据。

15.根据权利要求14所述的系统，其中至少部分地基于所述语义信息，配准所述第一视觉表示的所述第一数据集与所述第二视觉表示的所述第二数据集包括：

基于所述力感测数据，在所述第一视觉表示中检测与所述解剖对象的交互；和

在所述第二视觉表示中对所述交互建模。

16.根据权利要求1所述的系统，其中所述第一视觉表示包括所述外科手术空间的视频影像，并且所述第二视觉表示包括除视频影像之外的成像数据。

17.根据权利要求16所述的系统，其中除了所述视频影像之外的所述成像数据包括以下中的一项：

所述解剖对象或所述外科手术空间的超声扫描；

所述解剖对象或所述外科手术空间的计算机断层(“CT”)扫描；

所述解剖对象或所述外科手术空间的磁共振成像(“MRI”)扫描；或者

所述解剖对象或所述外科手术空间的荧光成像扫描。

18.根据权利要求1所述的系统，其中所述第二视觉表示包括所述解剖对象或所述外科手术空间的模型。

19.根据权利要求1所述的系统，其中所述第二视觉表示包括所述解剖对象或所述外科手术空间的深度图。

20.根据权利要求1所述的系统，其中所述第二视觉表示包括虚拟对象或标注中的至少一个。

21.根据权利要求1所述的系统，其中：

所述第一视觉表示包括视频内的视频影像；和

所述第二视觉表示包括所述视频内的附加视频影像，所述附加视频影像从所述视频影像偏移一时间偏移。

22.根据权利要求21所述的系统，其中所述处理器还被配置为执行所述指令以：

确定所述第一视觉表示的所述第一数据集和所述第二视觉表示的所述第二数据集的一个或多个差异以跟踪所述解剖对象的移动。

23.根据权利要求21所述的系统，其中所述处理器还被配置为执行所述指令以：

以指定的速率更新所述第一视觉表示的所述第一数据集和所述第二视觉表示的所述第二数据集之间的配准以跟踪所述解剖对象的所述移动。

24.根据权利要求23所述的系统，其中：

所述语义信息包括对所述解剖对象执行的程序的当前阶段；和

其中所述处理器还被配置为执行所述指令以基于所述程序的所述当前阶段调整用于更新所述配准的所述指定速率。

25.一种方法，包括：

通过处理器访问用于包括解剖对象的外科手术空间的第一视觉表示和所述外科手术空间的第二视觉表示的场景分割信息；

通过所述处理器基于所述场景分割信息确定一组可靠组织，以将所述第一视觉表示的第一数据集与所述第二视觉表示的第二数据集配准；

通过所述处理器在所述第一视觉表示的图像中确定描绘所述一组可靠组织的一个或多个组织的第一区域；

通过所述处理器在所述第一视觉表示的所述图像中确定描绘所述一个或多个组织的在所述第一区域中的第一多个特征点；

通过所述处理器在所述第二视觉表示的图像中确定描绘所述一个或多个组织的第二区域；

通过所述处理器在所述第二视觉表示的所述图像中确定描绘所述一个或多个组织的在所述第二区域中的第二多个特征点；和

通过所述处理器至少部分地基于所述第一多个特征点与所述第二多个特征点的对齐，配准所述第一视觉表示的所述第一数据集和所述第二视觉表示的所述第二数据集。

26.一种方法，包括：

通过处理器访问关于对在外科手术空间中的解剖对象执行的程序的当前阶段的信息；和

通过所述处理器基于所述程序的所述当前阶段选择性地更新所述外科手术空间的第一视觉表示的数据集与所述外科手术空间的第二视觉表示的数据集的初始配准。

27.一种方法，包括：

通过处理器访问对外科手术空间中的解剖对象执行程序的计算机辅助外科手术系统的力感测数据；

通过所述处理器在所述外科手术空间的第一视觉表示的第一数据集中检测与所述解剖对象的交互；

通过所述处理器基于所述力感测数据在所述外科手术空间的第二视觉表示的第二数据集中对所述交互建模；和

通过所述处理器将所述第一视觉表示的所述第一数据集与所述第二视觉表示的所述第二数据集配准。

Images