CN112352285A - 用于计算机辅助手术系统的上下文感知系统和方法 - Google Patents

Abstract

一种上下文感知系统，其在手术会话期间通信地耦合到计算机辅助手术系统，在手术会话期间，计算机辅助手术系统执行关于患者的一个或多个操作，该上下文感知系统确定在手术会话期间用户设备与计算机辅助手术系统通信地配对，识别与用户设备相关联的用户角色，访问在手术会话期间并且基于由计算机辅助手术系统执行的一个或多个操作而生成的手术会话数据，基于手术会话数据，检测手术会话期间发生的关于计算机辅助手术系统的事件，基于检测到的事件，识别与事件相关联并且特定于与用户设备相关联的用户角色的上下文信息，并且向用户设备传输用于使用户设备呈现与事件相关联的上下文信息的命令。

Description

用于计算机辅助手术系统的上下文感知系统和方法

相关申请

本申请要求于2018年5月30日提交的名称为“CONTEXT-AWARENES S SYSTEMS ANDMETHODS FOR A COMPUTER-ASSISTED SURGICA L SYSTEM”的申请号62/677,797的美国临时专利申请的优先权，其内容在此通过引用整体并入。

背景技术

在利用计算机辅助手术系统(例如，远程操作的手术系统和/或利用机器人技术的手术系统)的手术程序期间，手术团队可以进行协调和合作以安全有效地执行各种不同的任务。例如，包括外科医生、一个或多个护士、一个或多个技术员或助手以及麻醉师的手术团队可以准备手术室，在手术室中设置装备，配置计算机辅助手术系统，与装备和/或计算机辅助手术系统的各个技术方面交互，对患者进行手术操作，监视患者的镇静和生命体征，并在程序完成后进行清理。每个手术团队成员可以具有特定的职责，他或她经过专门培训后执行与这些任务中的每一个相关的任务。

然而，在手术程序期间协调各种不同手术成员执行这些任务可能是一项挑战，特别是当手术团队成员对彼此的偏好或能力不够熟悉或位于不同位置(例如，当使用远程操作的手术系统的外科医生远离患者时)的时候。此外，一些手术团队成员可能没感知到在手术程序期间发生的事件，诸如在特定手术团队成员的视野之外发生的事件。

附图说明

附图图示说明了各种实施例，并且是说明书的一部分。图示说明的实施例仅是示例，并且不限制本公开的范围。在所有附图中，相同或相似的附图标记表示相同或相似的元件。

图1图示说明了根据本文描述的原理的示例性计算机辅助手术系统。

图2图示说明了根据本文描述的原理的包括在图1的计算机辅助手术系统内的示例性操纵系统。

图3图示说明了根据本文描述的原理的包括在图2的操纵系统内的示例性机械臂。

图4图示说明了根据本文描述的原理的包括在图1的计算机辅助手术系统内的示例性用户控制系统。

图5图示说明了根据本文描述的原理的位于与患者相关联的示例性手术区域处的示例性立体内窥镜。

图6图示说明了根据本文描述的原理的示例性上下文感知系统。

图7图示说明了根据本文描述的原理的在图6中图示说明的上下文感知系统的示例性实施方式。

图8图示说明了根据本文描述的原理的示例性关联表。

图9-图10图示说明了根据本文描述的原理的可以基于手术会话数据来检测事件的示例性方式。

图11图示说明了根据本文描述的原理的示例性上下文信息表。

图12图示说明了根据本文描述的原理的示例性上下文感知方法。

图13图示说明了根据本文描述的原理的示例性计算系统。

具体实施方式

本文公开了用于计算机辅助手术系统的上下文感知系统和方法。如将在下面更详细地描述的，示例性上下文感知系统可以在手术会话期间通信地耦合到计算机辅助手术系统，在手术会话期间，计算机辅助手术系统执行关于患者的一个或多个操作。在这种配置中，上下文感知系统可以确定在手术会话期间用户设备(例如，智能手机、平板电脑或任何其他计算设备)与计算机辅助手术系统通信地配对，并识别与用户设备相关联的用户角色。上下文感知系统可以访问在手术会话期间并且基于由计算机辅助手术系统执行的一个或多个操作而生成的手术会话数据。基于该手术会话数据，上下文感知系统可以检测在手术会话期间发生的关于计算机辅助手术系统的事件。然后上下文感知系统可以识别与事件相关联的并且特定于与用户设备相关联的用户角色的上下文信息，并且向用户设备传输用以使用户设备呈现与该事件相关联的上下文信息的命令。

在一些示例中，附加用户设备也可以在手术会话期间通信地耦合到计算机辅助手术系统。附加用户设备可以与附加用户角色相关联，附加用户角色不同于与该用户设备相关联的用户角色。因此，上下文感知系统可以避免指示附加用户设备呈现特定于用户角色的上下文信息。取而代之的是，上下文感知系统可以识别与事件相关联的并且特定于附加用户角色的附加上下文信息，并且向附加用户设备传输用以使附加用户设备呈现附加上下文信息的命令。

在另外的示例中，一种系统可以包括计算机辅助手术系统，该计算机辅助手术系统包括被配置为在手术会话期间与手术器械耦合的机械臂。该系统可以进一步包括远程计算系统，该远程计算系统通过网络在手术会话期间通信地连接到计算机辅助手术系统和用户设备，该用户设备在手术会话期间与计算机辅助手术系统通信地配对。在手术会话期间，计算机辅助手术系统可以执行关于患者的一个或多个操作。该计算机辅助手术系统可以在手术会话期间基于一个或多个操作生成手术会话数据，并且通过网络将手术会话数据传输到远程计算系统。远程计算系统可以识别登录到用户设备的用户的用户简档。远程计算系统可以通过网络从计算机辅助手术系统接收在手术会话期间生成的手术会话数据，并且基于手术会话数据检测在手术会话期间发生的关于计算机辅助手术系统的事件。然后，远程计算系统可以基于登录到用户设备的用户的用户简档来识别与检测到的事件相关联并且特定于登录到用户设备的用户的上下文信息，并且通过网络向用户设备传输用以使用户设备呈现上下文信息的命令。

为了说明前述系统，包括外科医生、护士和技术员(其他人)的手术团队可以使用计算机辅助手术系统来执行从患者身上去除组织的手术程序。作为同一手术团队的一部分之前，外科医生、护士和技术员可能从来没有一起工作过，并且因此，护士和技术员在手术程序期间可能不了解外科医生的某些偏好和/或倾向。上下文感知系统可以被配置为基于整个手术程序中发生的事件向护士和技术员两者提供上下文信息，以便护士和技术员可以更有效且高效地协助外科医生。

为此，护士可以登录并访问在第一用户设备上运行的应用程序，该第一用户设备在手术会话期间与计算机辅助手术系统通信地配对。同样，技术员可以登录并访问在第二用户设备上运行的应用程序，该第二用户设备在手术会话期间与计算机辅助手术系统通信地配对。在该配置中，第一用户设备可以与对应于护士的第一用户角色相关联，并且第二用户设备可以与对应于技术员的第二用户角色相关联。

在手术程序期间，外科医生可以使用主控件来操纵解剖钳，该解剖钳耦合到计算机辅助手术系统的机械臂。计算机辅助手术系统可以跟踪解剖钳的移动并生成代表这种移动的手术会话数据(例如运动学数据)。上下文感知系统可以访问该手术会话数据，并基于手术会话数据确定已经发生组织去除事件(即，已经从患者身上去除了组织)。基于该确定，上下文感知系统可以识别与组织去除事件相关联的特定于与护士相关联的用户角色的上下文信息的第一实例，并且可以识别与组织去除事件相关联的特定于与技术员相关联的用户角色的上下文信息的第二实例。

例如，上下文信息的第一实例可以包括用以使护士执行在组织去除事件完成后惯常由外科医生执行的某些护理任务的指令。上下文信息的第二实例可以包括用以使技术员准备由外科医生使用的另一手术器械(例如，烧灼器械)的指令。上下文感知系统可以向第一用户设备传输命令，以向护士呈现上下文信息的第一实例。同样，上下文感知系统可以向第二用户设备传输命令，以向技术员呈现上下文信息的第二实例。

本文所述的系统和方法可以实现各种益处。例如，本文所述的系统和方法可以在手术程序期间实时地向手术团队成员提供单独相关的上下文信息，这可以导致手术团队成员之间更有效且高效地协作与协调，并且可以允许外科医生可以专注于他或她自己的任务，而不必单独指示每个手术团队成员。此外，该系统和方法可以预测在手术会话期间可能发生的事件，并呈现与此类事件相关联的上下文信息(例如，预先通知)，从而允许手术团队成员在此类事件发生之前对其进行准备和/或解决。在一些示例中，本文描述的示例性系统可以随着时间推移而学习特定手术团队成员的特定模式和/或趋势。这可以允许以前没有彼此合作过的手术团队成员更有效且高效地进行团队合作。

通过本文所述的系统和方法也可以实现许多技术计算益处。例如，本文所述的系统和方法可以被配置为以允许系统和方法通过各种计算平台向各种用户提供及时(例如，实时)信息的方式来访问、变换和处理来自不同计算系统的数据。为此，本文所述的系统和方法可以与一个或多个专用计算设备无缝集成以处理各种类型的数据(例如，通过将运动学数据、图像数据、传感器数据和/或手术器械数据应用于一个或多个机器学习模型)，以检测在手术程序期间发生的事件和/或识别与事件相关联的上下文信息。另外，本文所述的系统和方法可以利用在当前手术会话之前的手术会话期间生成的历史手术会话数据，以参考其他先前的手术会话来确定手术会话的上下文。以这种方式，本文所述的系统和方法可以执行单靠人类不可能执行的操作。此外，本文所述的系统和方法可以通过改善计算机辅助手术系统的效率、准确性和有效性来改善计算机辅助手术系统的操作。

现在将参考附图更详细地描述各种实施例。本文所述的系统和方法可以提供上述益处中的一个或多个和/或本文中将是显而易见的各种附加和/或替代益处。

本文所述的系统和方法可以作为计算机辅助手术系统的一部分操作或与计算机辅助手术系统结合操作。这样，现在将描述示例性计算机辅助手术系统。所描述的示例性计算机辅助手术系统是说明性的而非限制性的。

图1图示说明了示例性计算机辅助手术系统100(“手术系统100”)。如图所示，手术系统100可以包括彼此通信地耦合的操纵系统102、用户控制系统104和辅助系统106。手术团队可以利用手术系统100对患者108执行手术程序。如图所示，手术团队可以包括外科医生110-1、技术员110-2、护士110-3和麻醉师110-4，所有这些人可以统称为“手术团队成员110”。在手术会话期间可以出现附加的或替代的手术团队成员，如可以用于特定实施方式。尽管图1图示说明了正在进行的微创手术程序，但是应当理解，手术系统100可以类似地用于执行开放式手术程序或可以类似地受益于手术系统100的准确性和便利性的其他类型的手术程序。另外，应该理解的是，手术系统100可被采用的整个手术会话不仅可以包括如图1图示说明的手术程序的操作阶段，而且可以包括手术程序的术前、术后和/或其他合适阶段。

如图所示，操纵系统102可以包括多个机械臂112(例如，机械臂112-1至112-4)，多个手术器械114(例如，手术器械114-1至114-4)可以耦合到机械臂112。每个手术器械114可以由可以用于对患者108进行手术程序(例如，通过至少部分地插入患者108中并被操纵以对患者108执行手术程序)的任何合适的手术工具(例如，具有组织相互作用功能的工具)、医疗工具、监视或感测器械(例如，内窥镜)、诊断器械等实现。注意，虽然出于示例性目的在本文中将操纵系统102描绘和描述为具有多个机械臂112的推车，但是在各种其他实施例中，操纵系统102可以包括一个或多个推车，每个推车具有一个或多个机械臂112，一个或多个机械臂112安装在手术室内的单独结构上，诸如安装在手术台或天花板和/或任何(一个或多个)其他支撑结构上。操纵系统102将在下面更详细地描述。

手术器械114可以各自定位在与患者相关联的手术区域。如本文中所使用的，在一些示例中，与患者相关联的“手术区域”可以完全设置在患者体内，并且可以包括患者体内计划执行、正在执行或已经执行手术程序的区域附近的区域。例如，对于在患者体内的组织执行的微创手术程序，手术区域可以包括组织以及组织周围的空间，例如，用于执行手术程序的手术器械所处的空间。在其他示例中，手术区域可以至少部分地设置在患者体外。例如，手术系统100可以用于执行开放式手术程序，使得手术区域的一部分(例如，对其进行手术的组织)在患者体内，而手术区域的另一部分(例如，组织周围可以设置一个或多个手术器械的位置的空间)在患者体外。当手术器械的至少一部分设置在手术区域内时，手术器械(例如，手术器械114中的任何一个)可被称为“位于”手术区域处(或“位于其中”)。

用户控制系统104可以被配置为促进外科医生110-1对机械臂112-1和手术器械114的控制。例如，用户控制系统104可以为外科医生110-1提供由内窥镜所捕获的与患者108相关联的手术区域的影像(例如，高清3D影像)。外科医生110-1可以利用影像来使用手术器械114执行一个或多个程序。

为了促进对手术器械114的控制，用户控制系统104可以包括一组主控件116(以特写视图118示出)。主控件116可以由外科医生110-1操纵，以便控制手术器械114的移动(例如，通过利用机器人和/或远程操作技术)。主控件116可以被配置为检测由外科医生110-1进行的各种手、腕和手指移动。以这种方式，外科医生110-1可以使用手术器械114中的一个或多个直观地执行手术。例如，如特写视图120所示，分别耦合到机械臂112-1和112-4的手术器械114-1和114-4的功能尖端可以跨多个运动自由度模仿外科医生110-1的手、腕和手指的灵活性，以便执行一个或多个手术程序(例如，切口程序、缝合程序等)。

尽管出于示例性目的在本文中将用户控制系统104描绘和描述为单个单元，但是在各种其他实施例中，用户控制系统104可以包括各种分立组件，诸如有线或无线主控件116、一个或多个单独的显示元件(例如，投影仪或头戴式显示器)、单独的数据/通信处理硬件/软件和/或用户控制系统104的任何其他结构或功能元件。用户控制系统104将在下面更详细地描述。

辅助系统106可以被配置为向不能访问在用户控制系统104处提供给外科医生110-1的图像的手术团队成员110呈现视觉内容。为此，辅助系统106可以包括显示监视器122，该显示监视器122被配置为显示一个或多个用户界面，诸如手术区域的图像(例如，2D图像)、与患者108和/或手术程序相关联的信息，和/或任何其他视觉内容，如可以用于特定实施方式。例如，显示监视器122可以显示手术区域的图像，并一起显示叠加在图像上方或以其他方式与图像同时显示的附加内容(例如，图形内容、上下文信息等)。在一些实施例中，显示监视器122由触摸屏显示器实现，手术团队成员110可以与触摸屏显示器交互(例如，通过触摸手势)以向手术系统100提供用户输入。

操纵系统102、用户控制系统104和辅助系统106可以以任何合适的方式彼此通信地耦合。例如，如图1所示，操纵系统102、用户控制系统104和辅助系统106可以通过控制线124通信地耦合，控制线124可以表示任何有线或无线通信链路，如可以用于特定实施方式。为此，操纵系统102、用户控制系统104和辅助系统106可以各自包括一个或多个有线或无线通信接口，诸如一个或多个局域网接口、Wi-Fi网络接口、蜂窝接口等。

操纵系统102、用户控制系统104和辅助系统106可以各自包括至少一个计算设备，该计算设备被配置为控制、引导和/或促进手术系统100的操作。例如，用户控制系统104可以包括被配置为通过控制线124中的一个或多个将指令传输到操纵系统102的计算设备，以便根据外科医生110-1对主控件116的操纵来控制机械臂112和/或手术器械114的移动。在一些示例中，辅助系统106可以包括被配置为执行手术系统100的主要处理操作的一个或多个计算设备。在这样的配置中，辅助系统106中包括的一个或多个计算设备可以控制和/或协调由手术系统100的各种其他组件(例如，由操纵系统102和/或用户控制系统104)执行的操作。例如，用户控制系统104中包括的计算设备可以通过辅助系统106中包括的一个或多个计算设备将指令传输到操纵系统102。

图2图示说明了操纵系统102的透视图。如图所示，操纵系统102可以包括由基座204支撑的推车柱202。在一些示例中，推车柱202可以包括保护盖206，该保护盖206保护设置在推车柱202内的平衡子系统和制动子系统的组件不受污染物的影响。

推车柱202可以支撑安装在其上的多个设置臂208(例如，设置臂208-1至208-4)。每个设置臂208可以包括多个连杆和接头，这些连杆和接头允许手动定位设置臂208，并且可以各自连接到机械臂112中的一个。在图2的示例中，操纵系统102包括四个设置臂208和四个机械臂112。然而，将认识到，操纵系统102可以包括任何其他数量的设置臂208和机械臂112，如可以用于特定实施方式。

设置臂208可以是可手动控制的，并且被配置为将每个机械臂112静态地保持在人员设置或重新配置操纵系统102所需的相应位置。设置臂208可以耦合到滑架壳体210，并且在手术会话的术前、术中或术后阶段手动移动和驻留。例如，在针对要执行的手术程序准备和/或对准手术系统100时的术前阶段期间，可以移动和驻留设置臂208。相反，机械臂112可以是远程控制的(例如，如上所述，响应于主控件116的操纵)。

如图所示，每个机械臂112可以具有耦合到其上的手术器械114。在某些示例中，四个机械臂112中的三个可以被配置为在手术区域内移动和/或定位用于操纵患者组织和/或其他物体(例如，缝合材料、修补材料等)的手术器械114。具体来说，如图所示，机械臂112-1、112-3和112-4可以分别用于移动和/或定位手术器械114-1、114-3和114-4。第四机械臂112(例如，图2的示例中的机械臂112-2)可以用于移动和/或定位监视器械(例如，立体内窥镜)，如下将更详细地描述。

机械臂112可以各自包括用于生成原始(即，未校正的)运动学信息的一个或多个位移换能器、取向传感器和/或位置传感器(例如传感器212)，以帮助控制和跟踪机械臂112和/或手术器械114。例如，操纵系统102中的换能器和传感器生成的运动学信息可以被传输到手术系统100的器械跟踪系统(例如，辅助系统106中包括的计算设备)。在某些实施方式中，每个手术器械114可以类似地包括位移换能器、位置传感器和/或取向传感器(例如，传感器214)，其中的每个可以向跟踪系统提供附加原始运动学信息以帮助控制和跟踪机械臂112和/或手术器械114。器械跟踪系统可以处理从机械臂112和/或手术器械114所包括的换能器和传感器接收的运动学信息，以执行各种操作，诸如确定机械臂112和/或手术器械114的当前位置。另外，一个或多个手术器械114可以包括标记(未明确示出)，以帮助采集和跟踪手术器械114，如可以用于特定实施方式。

图3图示说明了示例性机械臂112(例如，机械臂112-1至112-4中的任何一个)的透视图。如图所示，手术器械114可以可移除地耦合到机械臂112。在图3的示例中，手术器械114是内窥镜设备(例如，立体腹腔镜、关节镜、宫腔镜或另一种类型的立体或单视内窥镜)。可替代地，手术器械114可以是不同类型的成像设备(例如，超声设备、透视设备、MRI设备等)、抓握器械(例如钳子)、针驱动器(例如用于缝合的设备)、能量器械(例如，烧灼器械、激光器械等)、牵开器、施夹器、探针夹持器、心脏稳定器或任何其他合适的器械或工具。

在一些示例中，可能希望机械臂112和耦合到机械臂112的手术器械114绕单个固定的中心点302移动以限制中心点302的移动。例如，中心点302可以位于手术器械114插入患者108的点处或附近。例如，在某些手术会话中(例如，与腹腔镜手术程序相关联的手术会话)，中心点302可以与在腹壁处通过套管针或套管通向内部手术部位的切口点对准。如图所示，中心点302可以位于与手术器械114相关联的插入轴线304上。

机械臂112可以包括多个连杆306(例如，连杆306-1至306-5)，这些连杆306在连杆306的各个端附近的多个接头308(例如，接头308-1至308-4)处枢转地串联耦合。例如，如图所示，连杆306-1在连杆306-1的第一端附近的接头308-1处枢转地耦合到驱动安装架310，而在连杆306-1的第二端附近的接头308-2处枢转地耦合到连杆306-2。连杆306-3在连杆306-3的第一端处枢转地耦合到连杆306-2，而在连杆306-3的第二端附近的接头308-4处枢转地耦合到连杆306-4。通常，连杆306-4可以基本平行于手术器械114的插入轴线304，如图所示。连杆306-5可滑动地耦合到连杆306-4，以允许手术器械114安装至连杆306-5并沿着连杆306-5滑动，如图所示。

如上所述，机械臂112可以被配置为通过驱动安装架310安装到设置臂208(或连接到其的接头)，以便由设置臂208支撑并保持在适当的位置。驱动安装架310可以枢转地耦合到连杆306-1，并且可以包括第一内部马达(未明确示出)，第一内部马达被配置为围绕中心点302的偏航轴线使机械臂112偏航。以类似的方式，连杆306-2可以容纳第二内部马达(未明确示出)，第二内部马达被配置为围绕中心点302的俯仰轴线驱动机械臂112的连杆并使其俯仰。同样，连杆306-4可以包括第三内部马达(未明确示出)，第三内部马达被配置为沿插入轴线304滑动连杆306-5和手术器械114。机械臂112可以包括由这些马达中的一个或多个驱动的传动系系统，以便以任何方式控制连杆306围绕接头308的枢转，如可以用于特定实施方式。这样，如果手术器械114将被机械地移动，则可以激励耦合到传动系的马达中的一个或多个以移动机械臂112的连杆306。

图4图示说明了用户控制系统104的透视图。如图所示，用户控制系统104可以包括立体观察器402、臂支架404、其中设置有主控件116(图4中未示出)的控制器工作空间406、脚踏板408和头部传感器410。

在一些示例中，立体观察器402具有两个显示器，其中在手术会话期间，操作员(例如，外科医生110-1)可以观察与患者108相关联的并且由立体内窥镜生成的手术区域的立体3D图像。当使用用户控制系统104时，操作员可以将他或她的头部移动到与立体观察器402对准以观察手术区域的3D图像。为了确保操作员在控制操纵系统102的手术器械114时正在观察手术区域，用户控制系统104可以使用与立体观察器402相邻设置的头部传感器410。具体地，当操作员将他或她的眼睛与立体观察器402的双目目镜对准以观察手术区域的立体图像时，操作员的头部可以激活头部传感器410，这使得能够通过主控件116控制手术器械114。当从立体观察器402的区域移开操作员的头部时，头部传感器410可以被自动停用，这可以防止通过主控件116来控制手术器械114。以这种方式，当手术系统100检测到操作员未积极参与试图控制手术器械114时，手术器械114的位置可以保持静止。

臂支架404可以用于在操作员操纵主控件116以便控制机械臂112和/或手术器械114时支撑操作员的肘部和/或前臂。此外，操作员可以使用他或她的脚来控制脚踏板408。脚踏板408可以被配置为改变手术系统100的配置或操作模式，生成用于控制手术器械114的附加控制信号，促进将控制从一个手术器械114切换到另一手术器械，或执行任何其他合适的操作。

图5图示说明了包括在手术系统100内并且位于与患者相关联的示例性手术区域处的示例性立体内窥镜500。立体内窥镜500可以是上述手术器械114中的任何一个。

如图所示，立体内窥镜500可以包括具有远侧末端的管502和相机头504，远侧末端被配置为插入患者体内，摄像头504被配置为位于患者体外。管502可以在近端耦合到相机头504，并且可以是刚性的(如图5所示)、接合的和/或柔性的，如可以用于特定实施方式。

管502可以包括多个通道506(例如，右侧成像通道506-R、左侧成像通道506-L和照明通道506-I)，通道506被配置为在患者体内的手术区域和相机头504之间传导光。每个通道506可以包括被配置为沿管502运载光的一个或多个光纤，使得相机头504内生成的光可以由照明通道506-I运载以在管502的远端输出，并且在从患者解剖结构和/或手术区域内的其他物体反射之后，由成像通道506-R和506-L从管502的远端运载回到相机头504。描绘图5中的通道506内示出的箭头以指示光可以在每个通道内行进的方向。另外，管502可以与一个或多个透镜或其他合适的光学器件(未明确示出)相关联(例如包括一个或多个透镜或其他合适的光学器件)，以聚焦、漫射或以其他方式处理由通道506运载的光，如可以用于特定实施方式。在各种其他实施例中，可以存在附加成像和/或照明通道。在其他实施例中，一个或多个图像传感器和/或(一个或多个)照明器可以被定位到更靠近管502的远端，从而最小化甚至消除了对穿过管502的成像和/或照明通道的需要。

在一些示例中，立体内窥镜500可以耦合到手术系统的机械臂(例如，手术系统100的机械臂112中的一个)并且被定位成使得管502的远侧末端被设置在与患者相关联的手术区域内。在这种配置中，即使立体内窥镜500的一部分(例如，相机头504和管502的近侧部分)可以位于手术区域之外，立体内窥镜500也可以被称为位于手术区域处或之内。当立体内窥镜500位于手术区域时，从手术区域反射的光可以被管502的远侧末端捕获，并通过成像通道506-R和506-L被运载到相机头504。

相机头504可以包括被配置为促进立体内窥镜500的操作的各种组件。例如，如图所示，相机头504可以包括图像传感器508(例如，与右侧成像通道506-R相关联的图像传感器508-R和与左侧成像通道506-L相关联的图像传感器508-L)。图像传感器508可以被实现为任何合适的图像传感器，诸如电荷耦合器件(“CCD”)图像传感器、互补金属氧化物半导体(“CMOS”)图像传感器等。另外，一个或多个透镜或其他光学器件可以与图像传感器508相关联(未明确示出)。相机头504可以进一步包括照明器510，该照明器510被配置为生成光以经由成像通道506-I从相机头504行进至手术区域，以对手术区域照明。

相机头504还可以包括设置在其中的相机控制单元512。具体地，相机控制单元512-R可以通信地耦合到图像传感器508-R，并且相机控制单元512-L可以通信地耦合到图像传感器508-L。相机控制单元512可以通过通信链路514彼此同步地耦合，并且可以由被配置为控制图像传感器508的软件和/或硬件来实现，以便基于由图像传感器508感测的光生成相应图像516(即，与右侧相关联的图像516-R和与左侧相关联的图像516-L)。这样，成像通道506、图像传感器508、相机控制单元512和相关联的光学器件的每个相应组合可以统称为包括在立体内窥镜500中的相机。例如，立体内窥镜500可以包括两个这样的相机，一个用于左侧，并且一个用于右侧。可以说这样的相机从其相应的成像通道506的远端处的有利点捕获图像516。在由立体内窥镜500生成后，图像516可以被显示或以其他方式被处理。

图6图示说明了示例性上下文感知系统600(“系统600”)，上下文感知系统600被配置为提供与在手术会话期间发生的关于计算机辅助手术系统(例如，手术系统100)的事件相关联的上下文信息。如图所示，系统600可以包括但不限于选择性地且通信地彼此耦合的处理设施602和存储设施604。将认识到，尽管设施602和604在图6中被示出为分开的设施，但是设施602和604可以被组合成更少的设施，诸如被组合成单个设施，或者可以被划分成更多的设施，如可以用于特定实施方式。设施602和604可以通过硬件和/或软件的任何适当的组合来实现。例如，处理设施602可以至少部分地由一个或多个物理处理器来实现，并且存储设施604可以至少部分地由一个或多个物理存储介质(诸如，存储器)来实现。

处理设施602可以被配置为执行与提供与发生的关于计算机辅助手术系统的事件相关联的上下文信息相关联的各种操作。例如，处理设施602可以确定在手术会话期间用户设备与计算机辅助手术系统通信地配对，识别与用户设备相关联的用户角色，访问在手术会话期间并且基于由计算机辅助手术系统执行的一个或多个操作而生成的手术会话数据，并且基于手术会话数据检测在手术会话期间发生的关于计算机辅助手术系统的事件。处理设施602还可以被配置为基于检测到的事件来识别与事件相关联并且特定于与用户设备相关联的用户角色的上下文信息，并且向用户设备传输用以使用户设备呈现与事件相关联的上下文信息的命令。可以由处理设施602执行的这些和其他操作将在下面更详细地描述。

存储设施604可以被配置为维持(例如，存储在实现系统600的计算设备的存储器中)由处理设施602生成、访问或以其他方式使用的数据。例如，存储设施604可以被配置为维持代表由系统600检测到的或以其他方式获得的数据和/或信息的检测数据，诸如代表用户设备的标识(“ID”)、计算机辅助手术系统的ID的数据；代表与用户设备相关联的用户角色的数据；代表与手术团队的成员相关联的一个或多个用户配置文件的数据；代表手术会话事务ID的数据；手术会话数据；代表在手术会话期间发生的一个或多个事件的数据；代表上下文信息的数据等。存储设施604可以被配置为维持附加或替代数据，如可以用于特定实施方式。

存储设施604可以被配置为将数据以任何合适的格式或结构维持在任何合适的位置。例如，存储设施604可以在本地(例如，在实现系统600的计算设备的存储器内)和/或在远程(例如，在通过网络与系统600分离并且通信地耦合到系统600的计算设备的存储器内)以一种或多种数据库格式维持数据。

在一些示例中，系统600完全由计算机辅助手术系统本身实现。例如，系统600可以由手术系统100中包括的一个或多个计算设备(例如，在操纵系统102、用户控制系统104和/或辅助系统106中包括的一个或多个计算设备中)来实现。

图7图示说明了系统600的示例性实施方式700。在实施方式700中，远程计算系统702可以通过网络704通信地耦合到手术系统100。远程计算系统702可以包括被配置为执行本文所述的任何操作的一个或多个计算设备(例如，服务器)。在一些示例中，系统600可以完全由远程计算系统702来实现。可替代地，系统600可以由远程计算系统702和手术系统100两者来实现。

网络704可以是局域网、无线网络(例如，Wi-Fi)、广域网、因特网、蜂窝数据网络和/或任何其他合适的网络。数据可以使用任何通信技术、设备、介质和协议在连接到网络704的组件之间流动，如可以用于特定实施方式。

如图所示，多个用户设备706(即，用户设备706-1至706-4)可以通过连接件708(即，连接件708-1至708-4)与手术系统100通信地配对。如图所示，用户设备706可以各自连接到网络704，从而与远程计算系统702通信。

用户设备706可以各自是能够以视觉、音频或触觉格式向用户呈现上下文信息的任何设备。例如，用户设备可以是但不限于移动设备(例如移动电话、手持设备、平板计算设备、膝上型计算机、个人计算机等)、音频设备(例如扬声器、耳机等)、可穿戴设备(例如智能手表设备、活动跟踪器、头戴式显示设备、虚拟或增强现实设备等)和/或显示设备(例如电视、投影仪、监视器、触摸屏显示设备等)。在一些实施例中，用户设备可以被包括在手术系统100中，诸如用户控制系统104的立体观察器402或辅助系统106的显示监视器122。

如图所示，多个用户710(即，用户710-1至710-4)可以使用或以其他方式访问用户设备706。例如，用户710-1可以使用用户设备706-1，用户710-2可以使用用户设备706-2等。用户(例如，用户710-1)可能必须登录到用户设备(例如，用户设备706-1)或用户设备执行的应用程序，以便使用用户设备。在一些实施方式中，用户710是手术团队成员。

在一些示例中，如图7所示，每个用户设备706可以与用户角色712相关联。例如，用户设备706-1可以与用户角色712-1相关联，用户设备706-2可以与用户角色712-2相关联等。如本文所使用的，“用户角色”可以指手术团队成员在手术程序期间可以具有的功能角色或名称。例如，用户角色“外科医生”可以指被委派任务或训练以执行外科医生在手术程序期间将通常执行的各种操作的手术团队成员。其他用户角色，诸如“护士”、“技术员”和“麻醉师”，可以类似地指代被委派任务或训练以在手术程序期间执行某些操作的不同类型的手术团队成员。将认识到，可以指定附加的或替代的用户角色，如可以用于特定实施方式。在一些示例中，如下所述，系统600可以维持代表多个用户角色的数据，这些用户角色可以与连同计算机辅助手术系统执行的手术程序相关联。

用户角色可以以任何合适的方式与特定的用户设备相关联。例如，通过在由用户设备706-1执行的应用中指定用户角色712-1与用户设备706-1相关联，可以将用户角色712-1与用户设备706-1相关联。附加地或替代地，如下所述，系统600通过维持表示关联的数据可以将特定用户角色与特定用户设备相关联。

现在将描述可以由系统600(例如，由系统600的处理设施602)执行的各种操作以及这些操作的示例。将认识到，本文描述的操作和示例仅是系统600可以执行的许多不同类型的操作的说明。

系统600可以被配置为确定在手术会话期间一个或多个用户设备(例如，用户设备706中的一个或多个)与计算机辅助手术系统(例如，手术系统100)通信地配对。这可以以任何合适的方式执行。例如，系统600可以通过以下方式来确定用户设备与计算机辅助手术系统通信地配对：确定用户设备经由网络(例如，网络704)和/或直接连接(例如，直接有线连接和/或直接无线连接，诸如蓝牙连接、近场通信连接等)通信地耦合到计算机辅助手术系统。附加地或替代地，系统600可以通过以下方式来确定用户设备与计算机辅助手术系统通信地配对：确定用户设备登录到系统(例如，系统600或任何其他合适的系统)或登录到计算机辅助手术系统也登录到的服务，确定用户设备已经被计算机辅助手术系统进行认证，确定用户设备位于计算机辅助手术系统的预定物理距离内(例如，在同一房间内)等。在一些示例中，系统600以通过以下方式来确定用户设备与计算机辅助手术系统通信地配对：从计算机辅助手术系统和/或用户设备接收(例如，通过网络)指示用户设备与计算机辅助手术系统通信地配对的数据。

在一些实施例中，用户设备与计算机辅助手术系统的配对可以以与用户设备相关联的用户的认证为条件。例如，配对过程可以在检测到用户设备与计算机辅助手术系统连接到同一局域网时开始，但是直到用户设备的用户已登录到用户设备或由系统600提供并可以通过用户设备访问的应用程序或服务以后，配对过程才会完成。附加地或替代地，成功的配对可以进一步以其他参数为条件，诸如，已认证用户的身份与先前分配给手术会话的(例如，在手术会话的开始或创建时)手术团队成员的身份匹配，或者在已认证用户成功提供用户输入以识别与用户设备试图与之配对的计算机辅助手术系统相关联的手术会话后(例如，通过识别手术会话ID信息，诸如患者姓名等)。系统600可以以任何合适的方式(例如，通过从计算机辅助手术系统和/或用户设备接收代表成功认证的数据)来检测这种成功认证。

一旦系统600已经确定在手术会话期间用户设备与计算机辅助手术系统通信地配对，系统600就可以识别与配对的用户设备相关联的用户角色。这可以以任何合适的方式执行。例如，系统600可以向用户设备查询与用户设备相关联的用户角色。为了说明，系统600可以向用户设备传输对代表用户角色的数据的请求，并且响应于请求，接收代表用户角色的数据。系统600可以附加地或替代地以类似方式向计算机辅助手术系统查询与用户设备相关联的用户角色。在一些示例中，代表用户角色的数据可以附加地或替代地由系统600本身维持。在这样的配置中，系统600可能不需要查询用户设备或计算机辅助手术系统来识别与特定配对的用户设备相关联的用户角色。

例如，图8示出了示例性关联表800，该示例性关联表800可以由计算机辅助手术系统维持(例如，在计算机辅助手术系统的存储器内)并且可以由系统600访问，以便识别与计算机辅助手术系统与之通信地配对的特定用户设备相关联的用户角色。关联表800可以被配置为指定在任何给定时间哪些用户设备与计算机辅助手术系统通信地配对。例如，如列802所示，关联表800可以指定多个用户设备ID，每个用户设备ID唯一地识别与计算机辅助手术系统通信地配对的特定用户设备。

关联表800可以进一步被配置为指定与每个用户设备相关联的用户角色。例如，如列804中所示，用户角色“外科医生”与具有用户设备ID“IS0001”的用户设备相关联。

关联表800可以进一步被配置为指定与计算机辅助手术系统与之通信地配对的每个用户设备相关联的用户ID。例如，如列806中所示，用户ID“User_A”与具有用户设备ID“IS0001”的用户设备相关联。用户ID可以代表登录到或以其他方式使用用户设备或由系统600提供的并且可以通过用户设备访问的服务的实际用户。

在手术会话期间，当用户设备与计算机辅助手术系统配对或断开连接时，关联表800可以被动态更新。例如，响应于附加用户设备与计算机辅助手术系统通信地配对，可以将附加数据行添加到关联表800。

在系统600感知到在手术会话期间哪些用户设备与计算机辅助手术系统通信地配对以及哪些用户角色与每个用户设备相关联的情况下，系统600可以指示用户设备呈现：与计算机辅助手术系统与之相关联并且在手术会话期间发生的事件相关联的特定于角色的上下文信息。为此，系统600可以访问在手术会话期间生成的手术会话数据，并且基于手术会话数据，检测与计算机辅助手术系统相关联的事件。现在将提供这些操作的各种示例。

在一些示例中，由系统600访问的手术会话数据可以在手术会话期间生成，并且可以基于在手术会话期间计算机辅助手术系统执行的一个或多个操作。由计算机辅助手术系统执行的操作可以包括任何基于机械、电气、硬件和/或软件的操作，如可以用于特定实施方式。手术会话数据可以由计算机辅助手术系统(例如，由手术系统100内的一个或多个组件)、由在手术会话期间耦合到计算机辅助手术系统的一个或多个组件(例如，一个或多个手术器械)、由在手术会话期间与计算机辅助手术系统通信地配对的一个或多个用户设备和/或由与计算机辅助手术系统相关联的任何其他设备来生成，如可以用于特定实施方式。在系统600完全由远程计算系统702实现的情况下，手术会话数据可以附加地或替代地例如在远程计算系统702跟踪由计算机辅助手术系统执行的操作时由远程计算系统702生成。

在手术会话期间生成的手术会话数据可以包括各种类型的数据。例如，在手术会话期间生成的手术会话数据可以包括运动学数据、图像数据、传感器数据、手术器械数据和/或任何其他类型的数据，如可以用于特定实施方式。

运动学数据可以代表计算机辅助手术系统内的组件和/或耦合到计算机辅助手术系统的组件的位置、姿势和/或取向。例如，运动学数据可以代表机械臂112和/或耦合到机械臂112的手术器械114的位置、姿势和/或取向。

图像数据可以代表由耦合到计算机辅助手术系统的成像设备捕获的一个或多个图像。例如，图像数据可以代表由耦合到机械臂112的内窥镜(例如，立体内窥镜500)捕获的一个或多个图像。一个或多个图像可以构成由成像设备捕获的一个或多个静止图像和/或视频。在一些示例中，系统600可以通过接收(例如，通过网络)由立体内窥镜500的相机控制单元512输出的图像516来访问图像数据。在一些示例中，图像数据可以附加地或替代地包括由未耦合到计算机辅助手术系统100的成像设备生成的图像数据。例如，图像数据可以由视频相机生成，该视频相机位于手术室内并被配置为捕获手术系统100、患者108和/或手术团队成员110的视频。

传感器数据可以包括由计算机辅助手术系统中包含的或与之相关联的传感器(例如，传感器212、214和/或410)生成的任何数据，并且可以代表任何感测到的参数，如可以用于特定实施方式。例如，由传感器410生成的传感器数据可以指示外科医生是否正在积极地与用户控制系统104进行交互。

手术器械数据可以包括由手术器械(例如，手术器械114中的一个)生成的任何数据，并且可以代表手术器械的ID、手术器械的操作状态(例如，打开、关闭、充电、空闲等)、手术器械的故障代码等。

在一些示例中，系统600可以附加地或替代地访问例如在手术会话之前的一个或多个其他手术会话期间由计算机辅助手术系统生成的手术会话数据。例如，系统600可以在第一手术会话期间生成手术会话数据，在第一手术会话中，计算机辅助手术系统用于执行关于第一患者的第一手术程序。系统600还可以在第二手术会话期间生成附加手术会话数据，在第二手术会话中，计算机辅助手术系统用于执行关于第二患者的第二手术程序。在第二手术会话期间，系统600可以访问手术会话数据和附加手术会话数据两者。在当前手术会话之前生成的手术会话数据可以被称为“历史手术会话数据”。如下所述，历史手术会话数据可以允许系统600更有效地检测和/或预测在第二手术会话时间期间可能发生的事件。

系统600可以附加地或替代地访问以在特定手术会话期间使用的计算机辅助手术系统以外的一个或多个计算机辅助手术系统所执行的操作为基础的手术会话数据。例如，系统600可以访问由位于特定医疗中心、医院网络和/或任何其他分组内的多个不同的计算机辅助手术会话生成的手术会话数据。这种类型的手术数据在本文中可以被称为“全局手术会话数据”，并且如下所述，可以允许系统600更有效地检测和/或预测在特定手术会话期间可能发生的事件，在特定手术会话中分组中包括的特定计算机辅助手术系统用于执行手术程序。在一些示例中，系统600可以提供被配置为允许用户限定计算机辅助手术系统的特定分组的接口，系统600可以通过接口访问手术会话数据。

系统600可以基于在手术会话期间生成的手术会话数据、在手术会话之前生成的历史手术会话数据和/或关于一个或多个其他计算机辅助手术系统生成的全局手术会话数据，来检测在手术会话期间发生的关于计算机辅助手术系统的事件。

在手术会话期间发生的关于计算机辅助手术系统的事件可以包括在手术会话期间发生的或可以发生的关于计算机辅助手术系统的任何不同的操作或动作。事件可以发生在手术程序的术前阶段、术中阶段和/或术后阶段。

例如，事件可以包括与各种术前阶段操作相关联的任何操作或动作。这样的术前阶段操作可以包括但不限于患者摄入(例如，允许患者进入医疗机构、接收患者文档等)、准备手术室、对手术器械进行灭菌、测试计算机辅助手术系统和装备、盖住计算机辅助手术系统(即用无菌或保护性覆盖物覆盖计算机辅助手术系统的一个或多个组件，诸如机械臂112)、为患者准备手术程序(例如检查患者生命体征、提供静脉输液、对患者进行麻醉、将患者带入手术室)以及将计算机辅助手术系统关于患者对准(例如，将操纵系统102定位在患者床旁，以及定位或配置一个或多个机械臂112)。

事件可以附加地或替代地包括与各种术中阶段操作相关联的任何操作或动作。这样的术中阶段操作可以包括但不限于打开与患者相关联的手术区域(例如，通过在患者外部组织上切开切口)、将手术器械插入患者体内、对患者组织执行手术程序(例如，通过切割组织、修复组织、缝合组织、烧灼组织等)、以及闭合与患者相关联的手术区域(例如，从患者身上取下手术器械、缝合以闭合切口点、为伤口包扎等)。

事件可以附加地或替代地包括与各种术后阶段操作相关联的任何操作或动作。这样的术后阶段操作可以包括但不限于从患者身上移除计算机辅助手术系统(例如，从患者床旁移除操纵系统102)、患者护理和恢复操作(例如，从手术室中移出患者，在患者从手术程序中恢复时监视患者等)、清洁手术室、清洁计算机辅助手术系统和/或手术器械、由手术团队成员接收报告文档以及患者出院操作。

系统600可以以任何合适的方式基于手术会话数据来检测事件。图9示出了系统600可以基于手术会话数据来检测事件的示例性方式。如图所示，系统600可以将手术会话数据902作为输入施加到事件检测试探装置(heuristic)904。事件检测试探装置904可以分析手术会话数据902并输出手术事件数据906的各种实例(即手术事件数据906-1至手术事件数据906-N)。手术事件数据906的每一个实例可以表示由事件检测试探装置904检测到的特定事件。

事件检测试探装置904可以包括可以由系统600履行或执行并且可以被配置为基于手术会话数据902检测事件的任何合适的试探、过程和/或操作。为了说明，事件检测试探装置904(即，系统600)可以检测在手术会话数据中指示特定事件发生的指示符和/或模式。

例如，在手术会话的特定部分期间生成的运动学数据可以指示手术器械114以缝合模式移动。另外，手术器械数据可以指示在手术会话的相同部分期间使用的手术器械114是针驱动器。基于该运动学数据和手术器械数据，系统600可以确定正在发生、已经发生或将要发生缝合事件。

作为另一示例，代表由相机控制单元512生成的图像516的图像数据可以指示特定的手术器械114已经在立体内窥镜500的视野之外保持预定时间段。这样的图像数据可以指示空闲状态事件(即，手术器械114处于空闲状态)。

在一些示例中，手术会话数据902可以包括历史手术会话数据，如上所述。在这些示例中，事件检测试探装置904输出的手术事件数据实例906之一可以代表系统600基于历史手术会话数据预测将发生的事件。例如，历史手术会话数据可以包括在多个手术会话期间生成的手术会话数据，在这些手术会话中利用计算机辅助手术系统执行相同类型的手术程序。基于该历史手术会话数据，事件检测试探装置904可以预测在某个第一事件发生之后将发生某个第二事件。

在一些示例中，手术会话数据902可以包括全局手术会话数据，如上所述。在这些示例中，事件检测试探装置904输出的手术事件数据实例906之一可以代表基于全局手术会话数据确定将发生的事件。例如，全局手术会话数据可以指示用于特定手术工具的特定运动学数据值指示手术工具位于距患者组织的预定距离内。当在手术会话期间正在使用的手术工具的实际运动学数据等于该值时，事件检测试探装置904可以检测指示手术工具实际上位于距患者组织的预定距离内的事件。

事件检测试探装置904可以接收附加或替代类型的输入，如可以用于特定实施方式。例如，图10类似于图9，但是示出了事件检测试探装置904可以接受用户简档数据1002(即，代表与手术程序有关的一个或多个手术团队成员的用户简档的数据)作为附加输入。在这个配置中，事件检测试探装置904可以基于手术会话数据902和用户简档数据1002两者来检测事件。

为了说明，用户简档数据1002可以包括代表与手术程序有关的外科医生的用户简档的数据。外科医生的用户简档与手术会话数据相结合可以指示外科医生以该外科医生独特的特定顺序执行各种操作。因此，事件检测试探装置904可以根据特定顺序来检测特定事件将要发生。

在一些示例中，事件检测试探装置904可以实现机器学习模型。机器学习模型可以使用历史手术会话数据和/或全局手术会话数据来识别手术系统操作的一种或多种独特模式，并将事件与手术系统操作的检测到的模式相关联。随着系统600收集更多的手术会话数据，事件检测试探装置904输出的手术事件数据906可以根据需要被更新或校正。在一些示例中，机器学习模型还可以用于检测事件并识别与检测到的事件相关联的上下文信息。

当系统600检测到在手术会话期间发生的关于计算机辅助手术系统的事件时，系统600可以识别与事件相关联并且特定于与用户设备相关联的用户角色的上下文信息，在手术会话期间该用户设备与计算机辅助手术系统通信地配对。然后系统600可以向用户设备传输用以使用户设备呈现上下文信息的命令。

与事件相关联的上下文信息可以包括关于计算机辅助手术系统、手术会话、在手术会话期间正在执行的手术程序的任何信息，和/或涉及上下文和/或为由系统600检测到的事件提供上下文的任何其他信息。上下文信息的示例可以包括但不限于通知(例如，事件已经发生、正在发生或将要发生的通知)、用于执行与事件相关联的操作的指令(例如，用于对检测到的故障进行故障排除的指令、用于配置计算机辅助手术系统各个方面的指令)、有关外科医生偏好的消息等。上下文信息可以采用任何格式，包括文本、图像、视频、音频和/或触觉格式。

系统600可以被配置为以任何合适的方式识别与检测到的事件相关联的上下文信息。例如，图11示出了可以由系统600维持或以其他方式访问的示例性上下文信息表1100。如列1102中所示，表1100可以包括代表在手术会话期间可能发生的各种事件的多个条目。如列1104和1106中所示，表1100还可以列出与每个事件相关联的各个用户角色和上下文信息实例。

为了说明，表1100示出了，取决于与特定用户设备相关联的特定用户角色，针对“完成盖住”事件可以识别三个不同的上下文信息实例。例如，如果在手术会话期间将与“外科医生”用户角色相关联的用户设备与计算机辅助手术系统通信地配对，并且检测到“完成盖住”事件，则系统600可以选择上下文信息实例1108并指导用户设备呈现上下文信息实例1108(例如，以消息的形式)。同样，如果在手术会话期间将与“护士”用户角色相关联的用户设备与计算机辅助手术系统通信地配对，并且检测到“完成盖住”事件，则系统600可以选择上下文信息实例1110并指导用户设备呈现上下文信息实例1110(例如，以消息的形式)。同样，如果在手术会话期间将与“技术员”用户角色相关联的用户设备与计算机辅助手术系统通信地配对，并且检测到“完成盖住”事件，则系统600可以选择上下文信息实例1112并指导用户设备呈现上下文信息实例1112(例如，以消息的形式)。

如果用户设备不具有与之相关联的对应于表1100中的特定上下文信息实例的用户角色，则系统600也可以避免指导用户设备呈现特定上下文信息实例。例如，系统600可以避免指导与“护士”用户角色相关联的用户设备呈现上下文信息实例1108和1112。

系统600可以基于随时间生成的手术会话数据和手术事件数据来生成上下文信息实例。例如，随着系统600随时间跟踪手术系统操作，系统600可以响应于某些检测到的事件而学习由手术系统100执行的普通或频繁的手术系统操作。利用历史手术会话数据和手术事件数据，系统600可以生成例如特定类型事件的通知或警报和/或可以生成用以使用户解决特定类型事件的指令。

为了说明，系统600可以根据全局手术会话数据来确定机械臂112的特定配置经常导致机械臂112和/或手术器械114之间的碰撞。因此，当检测到机械臂112的特定配置时，系统600可以生成警报，该警报将通过与特定用户角色相关联的用户设备来呈现。作为另一个示例，系统600可以根据历史手术会话数据来确定抓握型手术器械经常由于未释放抓握而无法从患者身上移除。因此，系统600可以生成用以使外科医生在移除之前释放手术器械的抓握的通知，以及用以使技术员在外科医生释放抓握之前(该事件也可以被警告给技术员)等待移除手术器械的通知。

附加地或替代地，系统600可以基于用户输入(诸如通过用户设备提供的用户输入)来生成上下文信息实例。在一些示例中，可以在手术会话期间实时地提供用户输入。例如，技术员可能无法从患者身上移除钳子器械，因为它目前正在抓握组织。技术员可以向外科医生提供消息以释放钳子的紧握。消息可以通过与技术员相关联的用户设备来提供(例如，通过文本消息、语音输入或预先选择的消息)，或者消息可以由位于手术室内的麦克风口头提供和检测。系统600可以将消息存储为上下文信息实例，并在将来在检测到相同事件(即，未能移除钳子器械)时使用它。

附加地或替代地，可以在手术程序的术中阶段之后或手术会话之后提供上下文信息实例的用户输入。例如，在手术程序的术后阶段期间，外科医生或另一用户可以回顾在手术会话期间检测到的事件的日志，并选择或提供与检测到的事件中的一个或多个相关联的上下文信息。系统600可以存储上下文信息，并在将来在检测到相同或相似事件时使用它。

附加地或替代地，系统600可以基于手术团队成员的用户简档来定制上下文信息。例如，第一外科医生对于特定程序可能更喜欢某种类型的器械，而第二外科医生对于相同程序可能更喜欢不同类型的器械。因此，与事件(例如，组织切割事件的开始)数据相关联的上下文信息可以包括基于第一用户的第一上下文信息(例如，专门用于技术员准备第一外科医生更喜欢的烧灼器械的通知)和基于第二用户的上下文信息(例如，专门用于技术员准备第二外科医生更喜欢的解剖钳的通知)。

附加地或替代地，在识别和/或选择上下文信息之前，系统600可以访问用户简档数据以确定用于选择上下文信息的一个或多个用户特定参数。用户特定参数可以包括与用户相关联的任何信息，并且可以包括但不限于用户的训练水平、用户的经验水平(例如，用户参与的手术程序的次数)、与用户相关联的检测到的事件的历史、用户使用特定手术器械的频率、检测到的与用户相关联的故障的发生频率、用户的定时信息(例如，用户完成某些操作所花费的时间)等。例如，当已经检测到关于手术器械的系统故障时，上下文信息设施可以基于技术员的训练水平来识别将要呈现给技术员的上下文信息。对于已经接受有关解决故障的最少培训的技术员，可以将解释如何解决故障的视频指令识别为将要呈现给技术员的上下文信息。另一方面，对于已经接受了有关解决故障的深入培训并且之前已经成功解决了几次故障的技术员，可以将检测到故障的简单通知识别为将要呈现给技术员的上下文信息。

一旦系统600已经识别出与事件相关联并且特定于与用户设备相关联的用户角色的上下文信息，系统600就可以指导用户设备呈现上下文信息。以这种方式，可以向用户设备的用户呈现上下文信息。系统600可以以任何合适的方式指导用户设备呈现上下文信息。例如，系统600可以向用户设备传输用以使用户设备呈现上下文信息的命令。

如果上下文信息被本地存储在用户设备处，则从系统600传输到用户设备的命令可以指导用户设备通过访问本地存储的上下文信息来呈现上下文信息。如果上下文信息未本地存储在用户设备处，则系统600还可以与命令一起传输或促使传输代表所识别的上下文信息的数据。例如，代表所识别的上下文信息的数据可以存储在与系统600不同的远程计算设备(例如，远程服务器)。在这种情况下，系统600可以被配置为指导计算设备将代表上下文信息的数据传输到用户设备。在又一个实施例中，由系统600传输到用户设备的命令可以指导用户设备从维持上下文信息的远程计算设备访问(例如，请求和接收)上下文信息。

用户设备可以以任何合适的方式呈现与事件相关联的上下文信息。例如，用户设备可以通过显示屏以消息、图形、图像、视频和/或任何其他合适的视觉内容的形式来显示上下文信息。在一些示例中，上下文信息可以在与由用户设备执行并由系统600提供或以其他方式与系统600相关联的应用相关联的图形用户界面内显示。

附加地或替代地，用户设备可以通过呈现代表上下文信息的音频内容来呈现上下文信息。在一些情况下，音频内容可以包括可听口头消息、可听警报或其他声音等。

附加地或替代地，用户设备可以通过呈现代表上下文信息的触觉内容来呈现上下文信息。例如，触觉内容可以包括指示由用户设备接收到的通知的振动。

图12示出了示例性上下文感知方法1200。尽管图12图示说明了根据一个实施例的示例性操作，但其他实施例可以省略、增加、重新排序、组合和/或修改图12中所示的步骤中的任意一个。图12中所示的一个或多个操作可以由系统600、其中包括的任何组件和/或其任何实施方式来执行。

在操作1202中，上下文感知系统确定在手术会话期间用户设备与计算机辅助手术系统通信地配对，在手术会话期间，计算机辅助手术系统执行关于患者的一个或多个操作。可以以本文描述的任何方式来执行操作1202。

在操作1204中，上下文感知系统识别与用户设备相关联的用户角色。可以以本文描述的任何方式来执行操作1204。

在步骤1206中，上下文感知系统访问在手术会话期间并且基于由计算机辅助手术系统执行的一个或多个操作而生成的手术会话数据。可以以本文描述的任何方式来执行操作1206。

在步骤1208中，上下文感知系统基于手术会话数据检测在手术会话期间发生的关于计算机辅助手术系统的事件。可以以本文描述的任何方式来执行操作1208。

在步骤1210中，上下文感知系统基于检测到的事件来识别与事件相关联并且特定于与用户设备相关联的用户角色的上下文信息。可以以本文描述的任何方式来执行操作1210。

在步骤1212中，上下文感知系统向用户设备传输用以使用户设备呈现与事件相关联的上下文信息的命令。可以以本文描述的任何方式来执行操作1212。

在某些实施例中，本文描述的系统、组件和/或过程中的一个或多个可以由一个或多个适当配置的计算设备来实现和/或执行。为此，上述系统和/或组件中的一个或多个可以包括体现在被配置为执行本文描述的过程中的一个或多个的至少一个非暂时性计算机可读介质上的任何计算机硬件和/或计算机实现的指令(例如，软件)，或由其来实现。特别地，系统组件可以在一个物理计算设备上实现，或者可以在多于一个的物理计算设备上实现。因此，系统组件可以包括任意数量的计算设备，并且可以采用许多计算机操作系统种的任意一个。

在某些实施例中，本文描述的一个或多个过程可以至少部分地实现为体现在非暂时性计算机可读介质中并且可由一个或多个计算设备执行的指令。通常，处理器(例如，微处理器)从非暂时性计算机可读介质(例如，存储器等)接收指令并执行那些指令，从而执行一个或多个过程，包括本文所述的一个或多个过程。可以使用各种已知的计算机可读介质中的任何一种来存储和/或传输这样的指令。

计算机可读介质(也称为处理器可读介质)包括参与提供可以由计算机(例如，计算机的处理器)读取的数据(例如，指令)的任何非暂时性介质。这样的介质可以采取许多形式，包括但不限于非易失性介质和/或易失性介质。非易失性介质可以包括例如光盘或磁盘以及其他永久性存储器。易失性介质可以包括例如动态随机存取存储器(“DRAM”)，其通常构成主存储器。计算机可读介质的常见形式包括例如磁盘、硬盘、磁带、任何其他磁介质、光盘只读存储器(“CD-ROM”)、数字视频光盘(“DVD”)、任何其他光学介质、随机存取存储器(“RAM”)、可编程只读存储器(“PROM”)、电可擦除可编程只读存储器(“EPROM”)、FLASH-EEPROM、任何其他存储器芯片或盒式磁带或计算机可以从中读取的任何其他有形介质。

图13图示说明了示例性计算设备1300，其可以被具体地配置为执行本文所述的一个或多个过程。如图13所示，计算设备1300可以包括经由通信基础设施1310通信地连接的通信接口1302、处理器1304、存储设备1306和输入/输出(“I/O”)模块1308。尽管图13中示出了示例性计算设备1300，但图13中图示说明的组件并不意图是限制性的。在其他实施例中可以使用附加或替代组件。图13中所示的计算设备1300的组件现在将另外详细地描述。

通信接口1302可以被配置为与一个或多个计算设备通信。通信接口1302的示例包括但不限于有线网络接口(诸如网络接口卡)、无线网络接口(诸如无线网络接口卡)、调制解调器、音频/视频连接和任何其他合适的接口。

处理器1304通常代表能够处理数据或解释、执行和/或指导执行本文所述的指令、过程和/或操作中的一个或多个的任何类型或形式的处理单元。处理器1304可以根据一个或多个应用程序1312或其他计算机可执行指令(诸如可以存储在存储设备1306或另一计算机可读介质中)来指导操作的执行。

存储设备1306可以包括一个或多个数据存储介质、设备或配置，并且可以采用数据存储介质和/或设备的任何类型、形式和组合。例如，存储设备1306可以包括但不限于硬盘驱动器、网络驱动器、闪存驱动器、磁盘、光盘、RAM、动态RAM、其他非易失性和/或易失性数据存储单元或其组合或子组合。包括本文描述的数据的电子数据可以被临时地和/或永久地存储在存储设备1306中。例如，代表被配置为指导处理器1304执行本文描述的操作中的任何一个的一个或多个可执行应用程序1312的数据可以存储在存储设备1306中。在一些示例中，数据可以被布置在位于存储设备1306内的一个或多个数据库中。

I/O模块1308可以包括被配置为接收用户输入并提供用户输出的一个或多个I/O模块。一个或多个I/O模块可以用于接收用于单个虚拟现实体验的输入。I/O模块1308可以包括支持输入和输出能力的任何硬件、固件、软件或其组合。例如，I/O模块1308可以包括用于捕获用户输入的硬件和/或软件，包括但不限于键盘或小键盘、触摸屏组件(例如，触摸屏显示器)、接收器(例如，RF或红外接收器)、运动传感器和/或一个或多个输入按钮。

I/O模块1308可以包括用于向用户呈现输出的一个或多个设备，包括但不限于图形引擎、显示器(例如，显示屏)、一个或多个输出驱动器(例如，显示驱动器)、一个或多个音频扬声器和一个或多个音频驱动器。在某些实施例中，I/O模块1308被配置为将图形数据提供给显示器以呈现给用户。图形数据可以代表一个或多个图形用户界面和/或任何其他图形内容，如可以用于特定实施方式。

在一些示例中，本文描述的任何设施可以由计算设备1300的一个或多个组件实现或在其中实现。例如，可以将位于存储设备1306内的一个或多个应用程序1312配置为指导处理器1304执行与系统600的处理设施602相关联的一个或多个过程或功能。同样，系统600的存储设施604可以由存储设备1306或其组件来实现。

在前面的描述中，已经参考附图描述了各种示例性实施例。然而，将显而易见的是，在不脱离所附权利要求书所阐述的本发明的范围的情况下，可以对其进行各种修改和改变，并且可以实现附加实施例。例如，本文描述的一个实施例的某些特征可以与本文描述的另一实施例的特征组合或被其替代。因此，说明书和附图应被认为是说明性而非限制性的。

Claims (20)

1.一种系统，其包括：

至少一个物理计算设备，其在手术会话期间通信地耦合到计算机辅助手术系统，在所述手术会话期间，所述计算机辅助手术系统执行关于患者的一个或多个操作；

其中所述至少一个物理计算设备：

确定在所述手术会话期间用户设备与所述计算机辅助手术系统通信地配对，

识别与所述用户设备相关联的用户角色，

访问在所述手术会话期间并且基于由所述计算机辅助手术系统执行的所述一个或多个操作而生成的手术会话数据，

基于所述手术会话数据，检测在所述手术会话期间发生的关于所述计算机辅助手术系统的事件，

基于检测到的事件，识别与所述事件相关联并且特定于与所述用户设备相关联的所述用户角色的上下文信息，并且

向所述用户设备传输用以使所述用户设备呈现与所述事件相关联的所述上下文信息的命令。

2.根据权利要求1所述的系统，其中所述至少一个物理计算设备进一步：

确定在所述手术会话期间一个或多个附加用户设备与所述计算机辅助手术系统通信地配对，

识别与所述一个或多个附加用户设备中的每一个相关联的用户角色，并且

避免向所述一个或多个附加用户设备中包括的没有关联于与所述用户设备相关联的所述用户角色的任何用户设备传输用以呈现与所述事件相关联的所述上下文信息的命令。

3.根据权利要求1所述的系统，其中所述至少一个物理计算设备进一步：

确定在所述手术会话期间附加用户设备与所述计算机辅助手术系统通信地配对，

识别与所述附加用户设备相关联的附加用户角色，所述附加用户角色不同于与所述用户设备相关联的所述用户角色，

基于所述检测到的事件，识别与所述事件相关联并且特定于与所述附加用户设备相关联的所述附加用户角色的附加上下文信息，并且

向所述附加用户设备传输用以使所述附加用户设备呈现与所述事件相关联的所述附加上下文信息的附加命令。

4.根据权利要求1所述的系统，其中：

所述计算机辅助手术系统包括被配置为耦合到手术器械的机械臂；并且

所述手术会话数据包括运动学数据，所述运动学数据代表所述手术器械和所述机械臂中的至少一个的位置、姿势和取向中的至少一个。

5.根据权利要求1所述的系统，其中：

所述计算机辅助手术系统包括被配置为耦合到成像设备的机械臂；并且

所述手术会话数据包括图像数据，所述图像数据代表由所述成像设备捕获的一个或多个图像。

6.根据权利要求1所述的系统，其中：

所述计算机辅助手术系统包括机械臂和手术器械，所述手术器械耦合到所述机械臂并且被配置为在所述手术会话期间插入患者体内；并且

所述手术会话数据包括器械数据，所述器械数据包括识别耦合到所述机械臂的所述手术器械的类型的数据和代表所述手术器械的操作状态的数据中的一个或多个。

7.根据权利要求1所述的系统，其中所述至少一个物理计算设备位于远离所述计算机辅助手术系统的位置，并且通过网络通信地耦合到所述计算机辅助手术系统和所述用户设备。

8.根据权利要求1所述的系统，其中所述至少一个物理计算设备由所述计算机辅助手术系统实现。

9.根据权利要求1所述的系统，其中：

所述至少一个物理计算设备还访问在所述手术会话之前的一个或多个附加手术会话期间生成的历史手术会话数据；并且

所述事件的检测还基于所述历史手术会话数据。

10.根据权利要求1所述的系统，其中：

所述至少一个物理计算设备还访问以除所述计算机辅助手术系统之外的一个或多个计算机辅助手术系统执行的操作为基础的全局手术会话数据；并且

所述事件的检测还基于所述全局手术会话数据。

11.根据权利要求1所述的系统，其中所述至少一个物理计算设备进一步：

访问以下至少一项：

在所述手术会话之前的一个或多个附加手术会话期间生成的历史手术会话数据，以及

以除所述计算机辅助手术系统之外的一个或多个计算机辅助手术系统执行的操作为基础的全局手术会话数据；并且

将所述历史手术会话数据和所述全局手术会话数据中的至少一个应用于由所述至少一个物理计算设备执行的机器学习模型；

其中所述机器学习模型使用所述历史手术会话数据和所述全局手术会话数据中的所述至少一个来将手术系统操作的模式与多个事件相关联。

12.根据权利要求1所述的系统，其中所述至少一个物理计算设备进一步：

识别登录到所述用户设备的用户的用户简档；

其中所述上下文信息的识别还基于登录到所述用户设备的所述用户的所述用户简档。

13.一种系统，其包括：

计算机辅助手术系统，其包括机械臂，所述机械臂被配置为在手术会话期间与手术器械耦合；以及

远程计算系统，其在所述手术会话期间通过网络通信地连接到所述计算机辅助手术系统和用户设备，所述用户设备在所述手术会话期间与所述计算机辅助手术系统通信地配对，

其中所述计算机辅助手术系统：

在所述手术会话期间执行关于患者的一个或多个操作，

基于所述一个或多个操作，在所述手术会话期间生成手术会话数据，并且

通过所述网络将所述手术会话数据传输到所述远程计算系统，并且

其中所述远程计算系统：

识别登录到所述用户设备的用户的用户简档，

通过所述网络从所述计算机辅助手术系统接收在所述手术会话期间生成的所述手术会话数据，

基于所述手术会话数据，检测在所述手术会话期间发生的关于所述计算机辅助手术系统的事件，

基于登录到所述用户设备的所述用户的所述用户简档，识别与检测到的事件相关联并且特定于登录到所述用户设备的所述用户的上下文信息；并且

通过所述网络向所述用户设备传输用以使所述用户设备呈现所述上下文信息的命令。

14.根据权利要求13所述的系统，其中所述远程计算系统：

确定在所述手术会话期间一个或多个附加用户设备与所述计算机辅助手术系统通信地配对，

识别与所述一个或多个附加用户设备中的每一个相关联的用户角色，并且

避免向所述一个或多个附加用户设备中包括的没有关联于与所述用户设备相关联的所述用户角色的任何用户设备传输用以呈现与所述事件相关联的所述上下文信息的命令。

15.根据权利要求13所述的系统，其中所述远程计算系统：

确定在所述手术会话期间附加用户设备与所述计算机辅助手术系统通信地配对，

识别与所述附加用户设备相关联的附加用户角色，所述附加用户角色不同于与所述用户设备相关联的所述用户角色，

基于所述检测到的事件，识别与所述事件相关联并且特定于与所述附加用户设备相关联的所述附加用户角色的附加上下文信息，并且

向所述附加用户设备传输用以使所述附加用户设备呈现与所述事件相关联的所述附加上下文信息的附加命令。

16.一种方法，其包括：

通过通信地耦合到计算机辅助手术系统的上下文感知系统，确定在手术会话期间用户设备与所述计算机辅助手术系统通信地配对，在所述手术会话期间，所述计算机辅助手术系统执行关于患者的一个或多个操作；

通过所述上下文感知系统，识别与所述用户设备相关联的用户角色；

通过所述上下文感知系统，访问在所述手术会话期间并且基于由所述计算机辅助手术系统执行的所述一个或多个操作而生成的手术会话数据；

通过所述上下文感知系统并且基于所述手术会话数据，检测在所述手术会话期间发生的关于所述计算机辅助手术系统的事件；

通过所述上下文感知系统并且基于检测到的事件，识别与所述事件相关联并且特定于与所述用户设备相关联的所述用户角色的上下文信息；并且

通过所述上下文感知系统，向所述用户设备传输用以使所述用户设备呈现与所述事件相关联的所述上下文信息的命令。

17.根据权利要求16所述的方法，还包括：

通过所述上下文感知系统，确定在所述手术会话期间一个或多个附加用户设备与所述计算机辅助手术系统通信地配对，

通过所述上下文感知系统，识别与所述一个或多个附加用户设备中的每一个相关联的用户角色，并且

通过所述上下文感知系统，避免向所述一个或多个附加用户设备中包括的没有关联于与所述用户设备相关联的所述用户角色的任何用户设备传输用以呈现与所述事件相关联的所述上下文信息的命令。

18.根据权利要求16所述的方法，还包括：

通过所述上下文感知系统，确定在所述手术会话期间附加用户设备与所述计算机辅助手术系统通信地配对，

通过所述上下文感知系统，识别与所述附加用户设备相关联的附加用户角色，所述附加用户角色不同于与所述用户设备相关联的所述用户角色，

上下文感知系统基于所述检测到的事件，识别与所述事件相关联并且特定于与所述附加用户设备相关联的所述附加用户角色的附加上下文信息，并且

上下文感知系统向所述附加用户设备传输用以使所述附加用户设备呈现与所述事件相关联的所述附加上下文信息的附加命令。

19.根据权利要求16所述的方法，其中：

所述计算机辅助手术系统包括被配置为耦合到手术器械的机械臂，并且

所述手术会话数据包括运动学数据，所述运动学数据代表所述手术器械和所述机械臂中至少一个的位置、姿势和取向中的至少一个。

20.根据权利要求16所述的方法，所述方法体现为在至少一个非暂时性计算机可读介质上的计算机可执行指令。

Images