CN117461093A - 基于触发事件来改变外科视野的显示叠加项的系统和方法 - Google Patents

Abstract

本发明公开了一种外科系统，该外科系统包括：成像装置；显示器，该显示器被配置为能够显示外科手术的外科视野的实况流；和控制系统，该控制系统可操作地耦接到该成像装置和该显示器。该实况流由该成像装置捕获。该控制系统被配置为能够：将与该外科规程相关联的信息叠加到该实况流上；检测触发事件的发生；以及基于该触发事件的发生，调节所叠加的信息。

Description

基于触发事件来改变外科视野的显示叠加项的系统和方法

相关申请的交叉引用

本申请根据35 U.S.C.§119(e)要求2021年4月14日提交的名称为“HEADS UPDISPLAY”的美国临时专利申请号63/174,674和2021年11月30日提交的名称为“INTRAOPERATIVE DISPLAY FOR SURGICAL SYSTEMS”的美国临时专利申请号63/284,326的权益，这些美国临时专利申请中的每一者的公开内容全文以引用方式并入本文。

背景技术

本公开涉及用于在外科规程期间提供增强现实交互式体验的设备、系统和方法。在外科规程期间，希望提供真实世界环境的增强现实交互式体验，其中驻留在真实世界中的对象通过叠加计算机生成的感知信息(有时跨多个感知模态，包括视觉、听觉、触觉、躯体感觉和嗅觉)来增强。在本公开的上下文中，通过将计算机生成的视觉、听觉、触觉、躯体感觉、嗅觉或其他感觉信息叠加在外科视野及外科视野中出现的器械或其他对象的真实世界图像上，由此增强外科视野及外科视野中出现的外科器械和其他对象的图像。图像可被实时流式传输，或可为静止图像。

真实世界的外科器械包括多种外科装置，包括能量、缝合器或组合的能量和缝合器。基于能量的医疗装置包括但不限于基于射频(RF)的单极和双极电外科器械、超声外科器械、组合式RF电外科和超声器械、组合式RF电外科和机械缝合器等。外科缝合器装置是用于在包括减肥、胸部、结肠直肠、妇科、泌尿科和普通手术的多种外科规程中切割和缝合组织的外科器械。

发明内容

在各种情况下，本公开提供了一种外科系统，该外科系统包括：成像装置；显示器，该显示器被配置为能够显示外科规程的外科视野的实况流；和控制系统，该控制系统可操作地耦接到成像装置和显示器。该实况流由该成像装置捕获。控制系统被配置为能够：将与外科规程相关联的信息叠加到实况流上；检测触发事件的发生；以及基于触发事件的发生，调节所叠加的信息。

在各种情况下，本公开提供了一种外科系统，该外科系统包括：成像装置；显示器，该显示器被配置为能够显示外科规程的外科视野的实况流；和控制系统，该控制系统可操作地耦接到成像装置和显示器。该实况流由该成像装置捕获。控制系统被配置为能够：将与外科规程相关联的信息叠加到实况流上；设置触发事件计数；检测部分触发事件；基于部分触发事件的发生，调节触发事件计数；以及基于触发事件计数达到或超过触发事件阈值，调节所叠加的信息。

在各种情况下，本公开提供了一种外科系统，该外科系统包括：成像装置；显示器，该显示器被配置为能够显示外科规程的外科视野的实况流；态势感知模块；和控制系统，该控制系统可操作地耦接到成像装置、显示器和态势感知模块。该实况流由该成像装置捕获。控制系统被配置为能够：将与外科规程相关联的信息叠加到实况流上；由态势感知模块来确定外科规程的步骤；检测触发事件的发生；以及基于触发事件的发生以及外科规程的步骤，调节所叠加的信息。

附图说明

通过参考以下结合如下附图所作的说明可最好地理解本文所述的各种方面(有关手术组织和方法两者)及其进一步的目的和优点。

图1是根据本公开的一个方面的计算机实现的交互式外科系统的框图。

图2是根据本公开的一个方面的用于在手术室中执行外科规程的外科系统。

图3是根据本公开的一个方面的与可视化系统、机器人系统和智能器械配对的外科集线器。

图4示出了根据本公开的一个方面的外科数据网络，该外科数据网络包括模块化通信集线器，该模块化通信集线器被配置为能够将位于医疗设施的一个或多个手术室中或医疗设施中专门为外科操作配备的任何房间的模块化装置连接到云。

图5示出了根据本公开的一个方面的计算机实现的交互式外科系统。

图6示出了根据本公开的一个方面的包括耦接到模块化控制塔的多个模块的外科集线器。

图7示出了根据本公开的一个方面的增强现实(AR)系统，该系统包括被定位在成像模块与外科集线器显示器之间的通信路径中的中间信号组合器。

图8示出了根据本公开的一个方面的增强现实(AR)系统，该系统包括被定位在成像模块和外科集线器显示器之间的通信路径中的中间信号组合器。

图9示出了根据本公开的一个方面的由外科医生佩戴的用以将数据传送到外科集线器的增强现实(AR)装置。

图10示出了根据本公开的一个方面的用于使用增强现实显示器来增强外科器械信息的系统。

图11示出了根据本公开的一个方面的态势感知外科规程的时间轴。

图12示出了根据本公开的至少一个方面的外科可视化系统。

图13示出了根据本公开的至少一个方面的用于确定外科数据的显示布置的方法，该外科数据竞相呈现在显示了外科视野实况流的显示器上。

图14示出了根据本公开的至少一个方面的用于确定外科数据的显示布置的方法，该外科数据竞相呈现在显示了外科视野实况流的显示器上。

图15示出了根据本公开的至少一个方面的用于确定外科数据的显示布置的方法，该外科数据竞相呈现在显示了外科视野实况流的显示器上。

在若干视图中，对应的参考符号指示对应的零件。本文所述的范例以一种形式示出了各种公开的实施方案，并且此类范例不应被解释为以任何方式限制本发明的范围。

具体实施方式

本申请的申请人拥有与之同时提交的以下美国专利申请，这些专利申请中的每一者的公开内容全文以引用方式并入本文：

·名称为“METHOD FOR INTRAOPERATIVE DISPLAY FOR SURGICAL SYSTEMS”的美国专利申请，代理人案卷END9352USNP1/210120-1M号；

·名称为“UTILIZATION OF SURGICAL DATA VALUES AND SITUATIONALAWARENESS TO CONTROL THE OVERLAY IN SURGICAL FIELDVIEW”的美国专利申请，代理人案卷END9352USNP2/210120-2号；

·名称为“SELECTIVE AND ADJUSTABLE MIXED REALITY OVERLAY IN SURGICALFIELDVIEW”的美国专利申请，代理人案卷END9352USNP3/210120-3号；

·名称为“RISK BASED PRIORITIZATION OF DISPLAY ASPECTS IN SURGICALFIELDVIEW”的美国专利申请，代理人案卷END9352USNP4/210120-4号；

·名称为“SYSTEMS AND METHODS FOR CONTROLLING SURGICAL DATA OVERLAY”的美国专利申请，代理人案卷END9352USNP5/210120-5号；

·名称为“CUSTOMIZATION OF OVERLAID DATA AND CONFIGURATION”的美国专利申请，代理人案卷END9352USNP7/210120-7号；

·名称为“INDICATION OF THE COUPLE PAIR OF REMOTE CONTROLS WITH REMOTEDEVICES FUNCTIONS”的美国专利申请，代理人案卷END9352USNP8/210120-8号；

·名称为“COOPERATIVE OVERLAYS OF INTERACTING INSTRUMENTS WHICH RESULTIN BOTH OVERLAYS BEING EFFECTED”的美国专利申请，代理人案卷END9352USNP9/210120-9号；

·名称为“ANTICIPATION OF INTERACTIVE UTILIZATION OF COMMON DATAOVERLAYS BY DIFFERENT USERS”的美国专利申请，代理人案卷END9352USNP10/210120-10号；

·名称为“MIXING DIRECTLY VISUALIZED WITH RENDERED ELEMENTS TO DISPLAYBLENDED ELEMENTS AND ACTIONS HAPPENING ON-SCREEN AND OFF-SCREEN”的美国专利申请，代理人案卷END9352USNP11/210120-11号；

·名称为“SYSTEM AND METHOD FOR TRACKING A PORTION OF THE USER AS APROXY FOR NON-MONITORED INSTRUMENT”的美国专利申请，代理人案卷END9352USNP12/210120-12号；

·名称为“UTILIZING CONTEXTUAL PARAMETERS OF ONE OR MORE SURGICALDEVICES TO PREDICT A FREQUENCY INTERVAL FOR DISPLAYING SURGICAL INFORMATION”的美国专利申请，代理人案卷END9352USNP13/210120-13号；

·名称为“COOPERATION AMONG MULTIPLE DISPLAY SYSTEMS TO PROVIDE AHEALTHCARE USER CUSTOMIZED INFORMATION”的美国专利申请，代理人案卷END9352USNP14/210120-14号；

·名称为“INTRAOPERATIVE DISPLAY FOR SURGICAL SYSTEMS”的美国专利申请，代理人案卷END9352USNP15/210120-15号；

·名称为“ADAPTATION AND ADJUSTABILITY OR OVERLAID INSTRUMENTINFORMATION FOR SURGICAL SYSTEMS”的美国专利申请，代理人案卷END9352USNP16/210120-16号；以及

·名称为“MIXED REALITY FEEDBACK SYSTEMS THAT COOPERATE TO INCREASEEFFICIENT PERCEPTION OF COMPLEX DATA FEEDS”的美国专利申请；代理人案卷END9352USNP17/210120-17号。

本申请的申请人拥有以下美国专利申请，这些专利申请中的每一者的公开内容全文以引用方式并入本文：

·名称为“METHOD OF COMPRESSING TISSUE WITHIN A STAPLING DEVICE ANDSIMULTANEOUSLY DISPLAYING THE LOCATION OF THE TISSUE WITHIN THE JAWS”的美国专利申请号16/209,423，现为美国专利申请公布号US-2019-0200981-A1；

·名称为“METHOD FOR CONTROLLING SMART ENERGY DEVICES”的美国专利申请号16/209,453，现为美国专利申请公布号US-2019-0201046-A1。

在详细说明外科装置和发生器的各个方面之前，应该指出的是，例示性示例的应用或使用并不局限于附图和具体实施方式中所示出的零件的构造和布置的细节。例示性示例可单独实施，或与其他方面、变更形式和修改形式结合在一起实施，并可以各种方式实践或执行。此外，除非另外指明，否则本文所用的术语和表达是为了方便读者而对例示性示例进行描述而所选的，并非为了限制性的目的。而且，应当理解，以下描述的方面中的一个或多个、方面和/或示例的表达可以与以下描述的其他方面、方面和/或示例的表达中的任何一个或多个组合。

各种方面涉及用于各种基于能量和外科缝合器的医疗装置的外科系统的屏幕显示。基于能量的医疗装置包括但不限于基于射频(RF)的单极和双极电外科器械、超声外科器械、组合式RF电外科和超声器械、组合式RF电外科和机械缝合器等。外科缝合器装置包括具有电外科装置和/或超声装置的组合式外科缝合器。超声外科装置的各方面可被配置用于例如在外科规程期间横切和/或凝固组织。电外科装置的各方面可被配置用于例如在外科规程期间横切、凝固、密封、焊接和/或干燥组织。外科缝合器装置的各方面可被配置用于在外科规程期间横切和缝合组织，并且在一些方面，外科缝合器装置可被配置为能够在外科规程期间向组织递送RF能量。电外科装置被配置为能够向组织递送治疗和/或非治疗RF能量。外科缝合器装置、电外科装置和超声装置的元件可在单个外科器械中组合使用。

在各种方面，本公开在外科规程期间向OR团队提供实时信息的屏幕显示。根据本公开的各种方面，提供了许多新的和独特的屏幕显示以在屏幕上向OR团队显示各种视觉信息反馈。根据本公开，视觉信息可包括一个或多个有声或无声的各种视觉媒体。一般来讲，视觉信息包括静态摄影、电影摄影、视频或音频录制、图形艺术、视觉辅助、模型、显示、视觉呈现服务和支持过程。视觉信息可在任何数量的显示选项上传送，诸如例如主OR屏幕、能量或外科缝合器装置本身、平板计算机、增强现实眼镜等。

在各种方面，本公开提供大量可能的选项列表以实时地将视觉信息传送给OR团队，而不将过多视觉信息提供给OR团队。例如，在各种方面，本公开提供视觉信息的屏幕显示，以使得外科医生或OR团队的其他成员能够选择性地激活屏幕显示，诸如围绕屏幕选项的图标，以管理大量视觉信息。可使用各种因素中的一者或组合来确定活动显示，这些因素可包括使用中的基于能量(例如，电外科、超声)或基于机械(例如，缝合器)的外科装置、估计与给定显示相关联的风险、外科医生的经验程度以及外科医生的选择等。在其他方面，视觉信息可包括叠加或重叠到外科视野中以管理视觉信息的大量数据。在下文描述的各种方面，包括需要视频分析和跟踪的重叠图像以便适当地叠加数据。与静态图标相反，以此方式传送的视觉信息数据可以更简明且更容易理解的方式向OR团队提供另外的有用视觉信息。

在各种方面，本公开提供用于选择性地激活诸如围绕屏幕的图标的屏幕显示以在外科规程期间管理视觉信息的技术。在其他方面，本公开提供用于使用各种因素中的一者或组合来确定活动显示的技术。在各种方面，根据本公开的技术可包括选择用作活动显示的基于能量或基于机械的外科装置、估计与给定显示相关联的风险、利用做出选择的外科医生或OR团队的经验程度等。

在其他方面，根据本公开的技术可包括将大量数据叠加或重叠到外科视野上以管理视觉信息。本公开所述的多种显示布置涉及将外科数据的各种视觉表示叠加在外科视野的实况流上。如本文所用，术语叠加包括半透明叠加、部分叠加和/或移动叠加。图形叠加可为透明图形、半透明图形或不透明图形的形式，或者为透明、半透明和不透明元素或效果的组合。此外，叠加层可定位在外科视野中的对象(诸如例如端部执行器和/或关键外科结构)上或至少部分地定位在其上或定位在其附近。某些显示布置可包括叠加层的一个或多个显示元素的变化，包括基于显示优先级值的变化的颜色、大小、形状、显示时间、显示位置、显示频率、突出显示或它们的组合的变化。图形叠加层渲染在活动显示监视器的顶部上以将重要信息快速高效地传送给OR团队。

在其他方面，根据本公开的技术可包括需要分析视频和跟踪的重叠图像以便适当地叠加视觉信息数据。在其他方面，根据本公开的技术可包括传送丰富的视觉信息，而不是简单的静态图标，从而以更简明且易于理解的方式向OR团队提供另外的视觉信息。在其他方面，视觉叠加层可与可听和/或躯体感觉叠加层(诸如热装置、化学装置和机械装置以及它们的组合)组合使用。

以下描述整体涉及在外科规程期间提供增强现实(AR)交互式体验的设备、系统和方法。在该上下文中，通过将计算机生成的视觉、听觉、触觉、躯体感觉、嗅觉或其他感觉信息叠加在外科视野、外科视野中出现的器械和/或其他对象的真实世界图像上，由此增强外科视野及外科视野中出现的外科器械和其他对象的图像。图像可被实时流式传输，或可为静止图像。增强现实是用于渲染和显示叠加在真实环境上的虚拟或“增强”虚拟对象、数据或视觉效果的技术。真实环境可包括外科视野。叠加在真实环境上的虚拟对象可表示为相对于真实环境的一个或多个方面锚定或处于设定位置。在非限制性示例中，如果真实世界对象离开真实环境视野，则锚定到真实世界对象的虚拟对象也将离开增强现实视野。

本公开所述的多种显示布置涉及将外科数据的各种视觉表示叠加在外科视野的实况流上。如本文所用，术语叠加包括半透明叠加、部分叠加和/或移动叠加。此外，叠加层可定位在外科视野中的对象(诸如例如端部执行器和/或关键外科结构)上或至少部分地定位在其上或定位在其附近。某些显示布置可包括叠加层的一个或多个显示元素的变化，包括基于显示优先级值的变化的颜色、大小、形状、显示时间、显示位置、显示频率、突出显示或它们的组合的变化。

如本文所述，AR是真实物理世界的增强版本，通过使用经由技术递送的数字视觉元素、声音或其他感官刺激来实现。虚拟现实(VR)是计算机生成的环境，具有看起来真实的场景和对象，使得用户感觉自己沉浸在其周围环境中。该环境通过被称为虚拟现实头戴式耳机或头盔的装置来感知。混合现实(MR)和AR都被视为沉浸式技术，但它们不是相同的。MR是混合现实的扩展，允许真实元素和虚拟元素在环境中交互。虽然AR经常通过使用相机将数字元素添加到实时视图，但MR体验组合了AR和VR两者的元素，真实世界和数字对象在其中交互。

在AR环境中，一个或多个计算机生成的虚拟对象可与一个或多个真实(即，所谓的“真实世界”)元素一起显示。例如，周围环境的实时图像或视频可与一个或多个叠加的虚拟对象一起显示在计算机屏幕显示器上。此类虚拟对象可提供与环境有关的补充信息或通常增强用户对环境的感知和参与。相反，周围环境的实时图像或视频可附加地或另选地增强用户与显示器上示出的虚拟对象的参与。

本公开的上下文中的设备、系统和方法增强在外科规程期间从一个或多个成像装置接收到的图像。成像装置可包括在无创和微创外科规程期间使用的各种内窥镜、AR装置和/或相机以在开放式外科规程期间提供图像。图像可被实时流式传输，或可为静止图像。这些设备、系统和方法通过将虚拟对象或数据和/或真实对象的表示叠加在真实外科环境上来增强真实世界外科环境的图像，从而提供增强现实交互式体验。可在允许用户查看真实世界外科环境上的所叠加虚拟对象的显示器和/或AR装置上查看增强现实体验。显示器可位于手术室中或远离手术室。AR装置佩戴在外科医生或其他手术室人员头上，并且通常包括两个立体显示镜片或屏幕，包括用于用户的每只眼睛的一个立体显示镜片或屏幕。自然光能够穿过两个透明或半透明显示镜片，使得真实环境的各方面是可见的，同时也投射光以使得虚拟对象对AR装置的用户可见。

可以协调方式使用两个或多个显示器及AR装置，例如第一显示器或AR装置控制以所定义角色控制系统中的一个或多个另外的显示器或AR装置。例如，当激活显示器或AR装置时，用户可选择角色(例如，外科规程期间的外科医生、外科助手、护士等)并且显示器或AR装置可显示与该角色相关的信息。例如，外科助手可具有所显示器械的虚拟表示，外科医生在执行外科规程的下一步骤时需要该虚拟表示。外科医生对当前步骤的关注可能看到与外科助手不同的显示信息。

尽管存在许多已知的屏幕显示和警告，但本公开在外科规程期间提供许多新的和独特的增强现实交互式体验。此类增强现实交互式体验包括对手术室内部或外部的外科团队的视觉、听觉、触觉、躯体感觉、嗅觉或其他感官反馈信息。可将叠加在真实世界外科规程环境上的虚拟反馈信息提供给手术室(OR)团队，包括OR内部的人员，包括但不限于例如执刀外科医生、外科医生助手、擦洗人员、麻醉医生和巡回护士等。虚拟反馈信息可在任何数量的显示选项上传送，诸如主OR屏幕显示、AR装置、能量或外科缝合器器械、平板计算机、增强现实眼镜、装置等。

图1示出了计算机实现的交互式外科系统1，其包括一个或多个外科系统2和基于云的系统4。基于云的系统4可包括耦接到存储装置5的远程服务器13。每个外科系统2包括与云4通信的至少一个外科集线器6。例如，外科系统2可包括可视化系统8、机器人系统10和手持式智能外科器械12，每一者被配置为能够彼此通信并且/或者与集线器6通信。在一些方面，外科系统2可包括M个集线器6、N个可视化系统8、O个机器人系统10和P个手持式智能外科器械12，其中M、N、O和P为大于或等于1的整数。计算机实现的交互式外科系统1可被配置为能够在如本文所述的外科规程期间提供增强现实交互式体验。

图2示出了对平躺在外科手术室16中的手术台14上的患者执行外科规程的外科系统2的示例。机器人系统10在外科规程中用作外科系统2的一部分。机器人系统10包括外科医生的控制台18、患者侧推车20(外科机器人)和外科机器人集线器22。当外科医生通过外科医生的控制台18或外科医生佩戴的增强现实(AR)装置66观察外科部位时，患者侧推车20可通过患者体内的微创切口来操纵至少一个可移除地耦接的外科工具17。微创手术规程的外科部位的图像(例如，静止图像或实时的流式传输实况图像)可通过医学成像装置24获得。患者侧推车20可操纵成像装置24以将成像装置24取向。开放式外科规程的图像可通过医学成像装置96获得。机器人集线器22处理外科部位的图像以供后续显示在外科医生的控制台18或外科医生佩戴的AR装置66上或显示给外科手术室16中的其他人员。

成像装置24、96或AR装置66的光学部件可包括一个或多个照明源和/或一个或多个镜片。一个或多个照明源可被引导以照明外科场地的多部分。一个或多个图像传感器可接收从外科视野中的组织和器械反射或折射的光。

在各种方面，成像装置24被配置用于微创外科规程中。适用于本公开的成像装置的示例包括但不限于关节镜、血管镜、支气管镜、胆道镜、结肠镜、细胞检查镜、十二指镜、肠窥镜、食道-十二指肠镜(胃镜)、内窥镜、喉镜、鼻咽-肾内窥镜、乙状结肠镜、胸腔镜和子宫内窥镜。在各种方面，成像装置96被配置用于开放式(侵入式)外科规程中。

在各种方面，可视化系统8包括一个或多个成像传感器、一个或多个图像处理单元、一个或多个存储阵列以及一个或多个显示器，该一个或多个显示器相对于无菌区进行策略布置。在一个方面，可视化系统8包括用于HL7、PACS和EMR的界面。在一个方面，成像装置24可采用多光谱监测来辨别形貌和底层结构。多光谱图像捕获电磁波谱上的特定波长范围内的图像数据。通过滤波器或对特定波长敏感的器械来分离波长，特定波长包括来自可见光范围之外的频率的光，例如IR和紫外。光谱成像可提取人眼不可见的信息。多光谱监测可在完成外科任务之后重新定位外科视野，以对处理过的组织执行测试。

图2示出了主显示器19定位在无菌区中，以对在手术台14处的操作者可见。可视化塔11定位在无菌区外并且包括彼此背对的第一非无菌显示器7和第二非无菌显示器9。由集线器6引导的可视化系统8被配置为能够利用显示器7、9、19来将信息流协调到无菌区内部和外部的操作者。例如，集线器6可使可视化系统8显示由非无菌显示器7、9上的成像装置24、96或通过AR装置66记录的外科部位的AR图像，同时保持外科部位在主显示器19或AR装置66上的实时馈送。例如，非无菌显示器7、9可允许非无菌操作者执行与外科规程相关的诊断步骤。

图3示出了与可视化系统8、机器人系统10和手持式智能外科器械12通信的外科集线器6。集线器6包括集线器显示器35、成像模块38、发生器模块40、通信模块30、处理器模块32、存储阵列34和手术室标测模块33。集线器6还包括排烟模块26和/或抽吸/冲洗模块28。在各种方面，成像模块38包括AR装置66并且处理器模块32包括集成式视频处理器和增强现实建模器(例如，如图10中所示)。模块化光源可适于与各种成像装置一起使用。在各种示例中，可将多个成像装置放置在外科视野中的不同位置处以提供多个视图(例如，无创、微创、侵入式或开放式外科规程)。成像模块38可被配置为能够在成像装置之间切换以提供最佳视图。在各种方面，成像模块38可被配置为能够整合来自不同成像装置的图像并且在如本文所述的外科规程期间提供增强现实交互式体验。

图4示出了包括模块化通信集线器53的外科数据网络51，该模块化通信集线器被配置为能够将位于医疗设施的一个或多个手术室/房间中的模块化装置连接到基于云的系统。云54可包括耦接到存储装置55的远程服务器63(图5)。模块化通信集线器53包括与网络路由器61通信的网络集线器57和/或网络交换机59。模块化通信集线器53耦接到本地计算机系统60以处理数据。位于手术室中的模块化装置1a-1n可耦接到模块化通信集线器53。网络集线器57和/或网络交换机59可耦接到网络路由器61以将装置1a-1n连接到云54或本地计算机系统60。与装置1a-1n相关联的数据可经由路由器传输到基于云的计算机，用于远程数据处理和操纵。手术室装置1a-1n可通过有线信道或无线信道连接到模块化通信集线器53。外科数据网络51环境可用于在如本文所述的外科规程期间提供增强现实交互式体验，并且具体地将外科视野中的增强图像提供给一个或多于一个远程显示器58。

图5示出了计算机实现的交互式外科系统50。计算机实现的交互式外科系统50在许多方面类似于计算机实现的交互式外科系统1。计算机实现的交互式外科系统50包括在许多方面类似于外科系统2的一个或多个外科系统52。每个外科系统52包括与可包括远程服务器63的云54通信的至少一个外科集线器56。在一个方面，计算机实现的交互式外科系统50包括模块化控制塔23，该模块化控制塔连接到多个手术室装置，诸如例如智能外科器械、机器人和位于手术室中的其他计算机化装置。如图6中所示，模块化控制塔23包括耦接到计算机系统60的模块化通信集线器53。

返回图5，模块化控制塔23耦接到成像模块38(其耦接到内窥镜98)、发生器模块27(其耦接到能量装置99)、排烟器模块76、抽吸/冲洗模块78、通信模块13、处理器模块15、存储阵列16、智能装置/器械21(其任选地耦接到显示器39)和传感器模块29。手术室装置经由模块化控制塔23耦接到云计算资源，诸如服务器63、数据存储装置55和显示器58。机器人集线器72也可连接到模块化控制塔23并且连接到服务器63、数据存储装置55和显示器58。装置/器械21、可视化系统58等可经由有线或无线通信标准或协议耦接到模块化控制塔23，如本文所述。模块化控制塔23可耦接到集线器显示器65(例如，监测器、屏幕)以显示接收到的增强图像，包括从成像模块38、装置/器械显示器39和/或其他可视化系统58接收的真实外科视野中的所叠加虚拟对象。集线器显示器65还可结合图像和叠加图像来显示从连接到模块化控制塔23的装置接收的数据。

图6示出了包括耦接到模块化控制塔23的多个模块的外科集线器56。模块化控制塔23包括模块化通信集线器53(例如，网络连接性装置)和计算机系统60，以提供例如增强外科信息的本地处理、可视化和成像。模块化通信集线器53可以分层配置连接以扩展可连接到模块化通信集线器53的模块(例如，装置)的数量，并将与模块相关联的数据传输到计算机系统60、云计算资源或两者。模块化通信集线器53中的网络集线器57/交换机59中的每一者可包括三个下游端口和一个上游端口。上游网络集线器57/交换机59连接到处理器31以提供与云计算资源和本地显示器67的通信连接。与云54的通信可通过有线或无线通信信道进行。

计算机系统60包括处理器31和网络接口37。处理器31经由系统总线耦接到通信模块41、存储装置45、存储器46、非易失性存储器47和输入/输出接口48。系统总线可以是多种类型的总线结构中的任一种，包括使用任意各种可用总线架构的存储器总线或存储器控制器、外围总线或外部总线和/或本地总线。

处理器31包括增强现实建模器(例如，如图10中所示)并且可实现为单核或多核处理器，诸如由德州仪器公司(Texas Instruments)提供的商品名为ARM Cortex的那些处理器。在一个方面，处理器可为购自例如德克萨斯器械公司(Texas Instruments)LM4F230H5QR ARM Cortex-M4F处理器核心，其包括256KB的单循环闪存或其他非易失性存储器(高达40MHz)的片上存储器、用于改善40MHz以上的执行的预取缓冲器、32KB单循环序列随机存取存储器(SRAM)、装载有软件的内部只读存储器(ROM)、2KB电可擦除可编程只读存储器(EEPROM)、和/或一个或多个脉宽调制(PWM)模块、一个或多个正交编码器输入(QEI)模拟、具有12个模拟输入信道的一个或多个12位模数转换器(ADC)，其细节可见于产品数据表。

系统存储器包括易失性存储器和非易失性存储器。基本输入/输出系统(BIOS)(包含诸如在启动期间在计算机系统内的元件之间传输信息的基本例程，)存储在非易失性存储器中。例如，非易失性存储器可包括ROM、可编程ROM(PROM)、电可编程ROM(EPROM)、EEPROM或闪存。易失存储器包括充当外部高速缓存存储器的随机存取存储器(RAM)。此外，RAM可以多种形式可用，诸如SRAM、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据速率SDRAM(DDRSDRAM)増强SDRAM(ESDRAM)、同步链路DRAM(SLDRAM)和直接Rambus RAM(DRRAM)。

计算机系统60还包括可移除/不可移除的、易失性/非易失性的计算机存储介质，诸如例如磁盘存储器。磁盘存储器包括但不限于诸如装置如磁盘驱动器、软盘驱动器、磁带驱动器、Jaz驱动器、Zip驱动器、LS-60驱动器、闪存存储卡或内存条。此外，磁盘存储器可包括单独地或与其他存储介质组合的存储介质，包括但不限于光盘驱动器诸如光盘ROM装置(CD-ROM)、光盘可记录驱动器(CD-R驱动器)、光盘可重写驱动器(CD-RW驱动器)或数字通用磁盘ROM驱动器(DVD-ROM)。为了有利于磁盘存储装置与系统总线的连接，可使用可移除或非可移除接口。

在各种方面，图6的计算机系统60、图4至图6的成像模块38和/或可视化系统58和/或处理器模块15可包括图像处理器、图像处理引擎、图形处理单元(GPU)、媒体处理器或用于处理数字图像的任何专用数字信号处理器(DSP)。图像处理器可采用具有单个指令、多数据(SIMD)或多指令、多数据(MIMD)技术的并行计算以提高速度和效率。数字图像处理引擎可执行一系列任务。图像处理器可为具有多核处理器架构的芯片上的系统。

图7示出了增强现实系统263，该系统包括被定位在成像模块38与外科集线器显示器67之间的通信路径中的中间信号组合器64。信号组合器64组合从成像模块38和/或AR装置66接收到的音频和/或图像数据。外科集线器56从组合器64接收组合数据并且叠加提供给显示器67的数据，叠加数据显示在该显示器上。成像装置68可以是数字视频摄像机，并且音频装置69可以是麦克风。信号组合器64可包括无线平视显示器适配器，以耦接到被置于显示器67到控制台的通信路径中的AR装置66，从而允许外科集线器56将数据叠加在显示器67。

图8示出了增强现实(AR)系统，该系统包括被定位在成像模块和外科集线器显示器之间的通信路径中的中间信号组合器。图8示出了由外科医生73佩戴的用以将数据传送到外科集线器56的AR装置66。AR装置66的外围信息不包括活动视频。相反，该外围信息仅包括装置设置或不具有相同刷新率要求的信号。交互可基于与术前计算机断层扫描(CT)的链接或在外科集线器56中链接的其他数据增强外科医生73的信息。AR装置66可识别结构，例如询问器械是否正接触神经、脉管或粘连。AR装置66可包括术前扫描数据、光学视图、在整个规程中获得的组织询问特性和/或用于提供答案的外科集线器56中的处理。外科医生73可向AR装置66口述注意事项，以与患者数据一起保存在集线器存储装置45中，以供稍后用于报告或随访。

外科医生73佩戴的AR装置66利用音频和视觉信息链接到外科集线器56，以避免对叠加的需要，并且允许围绕视野围边定制显示信息。AR装置66提供来自装置(例如，器械)的信号、回答关于装置设置或与视频链接的位置信息有关的询问，以识别象限或位置。AR装置66具有音频控制和来自AR装置66的音频反馈。AR装置66能够与手术室中的所有其他系统进行交互，并且无论外科医生73在何处查看，都具有可用的反馈和交互。例如，AR装置66可从外科医生接收语音或手势发起的命令和询问，并且AR装置66可以包括音频、视觉或触觉触摸的一个或多个模态的形式提供反馈。

图9示出了佩戴AR装置66的外科医生73、患者74，并且可在手术室75中包括相机96。外科医生73佩戴的AR装置66可用于通过增强现实显示器89或通过集线器连接的显示器67向外科医生73呈现叠加在外科视野的实时图像上的虚拟对象。实时图像可包括外科器械77的一部分。虚拟对象对于手术室75内的其他人(例如，外科助手或护士)可能是不可见的，尽管他们也可能佩戴AR装置66。即使另一个人正在使用AR装置66查看手术室75，这个人也可能看不到虚拟对象或能够在与外科医生73共享的增强现实中看到虚拟对象，或者能够看到虚拟对象的修改版本(例如，根据对外科医生73唯一的自定义)或者可能看到不同的虚拟对象。

虚拟对象和/或数据可被配置为能够出现在外科器械77的一部分上或由成像模块38、在微创外科规程期间由成像装置68和/或在开放式外科规程期间由相机96捕获的外科视野中。在例示的示例中，成像模块38是在微创外科规程期间提供外科视野的实时馈送的腹腔镜相机。AR系统可呈现固定到真实对象的虚拟对象，而不考虑AR系统的一个或多个观察者(例如，外科医生73)的视角。例如，虚拟对象可对手术室75内部的AR系统的观察者可见，而对手术室75外部的AR系统的观察者不可见。当观察者进入手术室75时，虚拟对象可显示给手术室75外部的观察者。增强图像可显示在外科集线器显示器67或增强现实显示器89上。

AR装置66可包括一个或多个屏幕或镜片，诸如单个屏幕或两个屏幕(例如，用户的每只眼睛一个屏幕)。屏幕可允许光穿过屏幕，使得真实环境的各方面在显示虚拟对象时是可见的。可通过投射光使虚拟对象对外科医生73可见。虚拟对象可表现为具有一定程度的透明度或可为不透明的(即，遮挡真实环境的各方面)。

AR系统对于一个或多个观察者来说可为可查看的，并且可包括可用于一个或多个观察者的视图之间的差异，同时将一些方面保持为各视图之间通用。例如，平视显示器可在两个视图之间改变，而虚拟对象和/或数据可固定到两个视图中的真实对象或区域。在不改变至少一个虚拟对象的固定位置的情况下，可在各视图之间改变各方面，诸如对象的颜色、照明或其他改变。

用户可将AR系统中呈现的虚拟对象和/或数据视为不透明的或视为包括一定程度的透明度。在一个示例中，用户可诸如通过将虚拟对象从第一位置移动到第二位置来与虚拟对象交互。例如，用户可自己的手移动对象。通过确定手已移动到与对象重合或相邻的位置(例如，使用可安装在AR装置66上的一个或多个相机，诸如AR装置相机79或单独的相机96，并且其可为静态的或可受到控制以移动)并且使对象作为响应而移动，这可在AR系统中虚拟地完成。虚拟方面可包括真实世界对象的虚拟表示或可包括视觉效果，诸如照明效果等。AR系统可包括管理虚拟对象行为的规则，诸如使虚拟对象经受重力或摩擦，或可包括排除真实世界物理约束(例如，浮动对象、永运等)的其他预定义规则。AR装置66可包括位于AR装置66上的相机79(不与相机96混淆，与AR装置66分离)。AR装置相机79或相机96可包括红外相机、红外滤光器、可见光滤光器、多个相机、深度相机等。AR装置66可将虚拟项投射在真实环境的表示上，从而可由用户查看。

AR装置66可在外科规程期间在手术室75中使用，例如由外科医生73对患者74执行。AR装置66可投射或显示虚拟对象诸如外科规程期间的虚拟对象以增强外科医生的视觉。外科医生73可使用AR装置66、用于AR装置66的遥控器来查看虚拟对象，或者可与虚拟对象交互，例如使用手与虚拟对象或由AR装置66的相机79识别的手势“交互”。虚拟对象可增强外科工具，诸如外科器械77。例如，虚拟对象可表现为(对于通过AR装置66查看虚拟对象的外科医生73)与外科器械77耦接或保持距外科器械固定距离。在另一个示例中，虚拟对象可用于引导外科器械77，并且可表现为固定到患者74。在某些示例中，虚拟对象可对外科视野中的其他虚拟对象或现实世界对象的移动作出反应。例如，当外科医生正在操纵接近虚拟对象的外科器械时，虚拟对象可被改变。

增强现实显示系统成像装置38在外科规程过程中捕获外科视野的真实图像。增强现实显示器89、67呈现外科器械77的操作方面在外科视野的真实图像上的叠加。外科器械77包括通信电路231，以经由AR装置66上的通信电路233将操作方面和功能数据从外科器械77传送到AR装置66。尽管外科器械77和AR装置66显示为如箭头B、C所示在电路231、233之间进行RF无线通信，但也可采用其他通信技术(例如，有线、超声、红外等)。叠加与外科器械77的主动可视化的操作方面相关。叠加将外科视野中的组织交互作用的各方面与来自外科器械77的功能数据组合。AR装置66的处理器部分被配置为能够从外科器械77接收操作方面和功能数据，确定与外科器械77的操作相关的叠加，并且将外科视野中的组织方面与来自外科器械77的功能数据组合。增强图像指示关于装置性能考虑事项的警告、不兼容使用的警告、关于不完全捕获的警告。不兼容使用包括组织超出范围条件以及组织在端部执行器的钳口内没有正确地平衡。附加增强图像提供附带事件的指示，包括组织张力的指示和异物检测的指示。其他增强图像指示装置状态叠加和器械指示。

图10示出了根据本公开的至少一个方面的用于使用AR显示器89用信息来增强外科视野图像的系统83。系统83可用于例如通过使用处理器85来执行下文所述的技术。系统83包括AR装置66的可与数据库93通信的一个方面。AR装置66包括处理器85、存储器87、AR显示器89和相机79。AR装置66可包括传感器90、扬声器91和/或触觉控制器92。数据库93可包括图像存储装置94或术前计划存储装置95。

AR装置66的处理器85包括增强现实建模器86。增强现实建模器86可由处理器85用来创建增强现实环境。例如，增强现实建模器86可诸如从相机79或传感器90接收外科视野中器械的图像，并且创建增强现实环境以适配在外科视野的显示图像内。在另一个示例中，物理对象和/或数据可叠加在外科视野和/或外科器械图像上，并且增强现实建模器86可使用物理对象和数据来在增强现实环境中呈现虚拟对象和/或数据的增强现实显示。例如，增强现实建模器86可使用或检测患者外科部位处的器械并且呈现外科器械上的虚拟对象和/或数据和/或由相机79捕获的外科视野中的外科部位的图像。AR显示器89可显示叠加在真实环境上的AR环境。显示器89可使用AR装置66显示虚拟对象和/或数据，诸如显示在AR环境中的固定位置。

AR装置66可包括传感器90，例如红外传感器。相机79或传感器90可用于检测移动，诸如外科医生或其他用户的手势，处理器85可将该移动解释为用户与虚拟目标的尝试或预期交互。处理器85可诸如通过使用相机79接收到的处理信息来识别真实环境中的对象。在其他方面，传感器90可以是触觉、听觉、化学或热传感器，以生成可与各种数据馈送组合的对应信号以创建增强环境。传感器90可包括双耳音频传感器(空间声音)、惯性测量传感器(加速度计、陀螺仪、磁力计)、环境传感器、深度相机传感器、手眼跟踪传感器以及语音命令识别功能。

例如在外科规程期间，AR显示器89可在允许通过AR显示器89查看外科视野时诸如在外科视野内呈现对应于被患者的解剖方面隐藏的物理特征的虚拟特征。虚拟特征可具有对应于物理特征的第一物理位置或取向的虚拟位置或取向。在一个示例中，虚拟特征的虚拟位置或取向可包括从物理特征的第一物理位置或取向的偏移。偏移可包括距增强现实显示器预定距离、从增强现实显示器到解剖方面的相对距离等。

在一个示例中，AR装置66可以是单个AR装置。在一个方面，AR装置66可以是由华盛顿州雷德蒙德的微软公司(Microsoft,Redmond,Wash)制造的HoloLens 2AR装置。该AR装置66包括具有镜片和双耳音频特征(空间声音)的护目镜、惯性测量装置(加速度计、陀螺仪、磁力计)、环境传感器、深度相机和视频相机、手眼跟踪以及语音命令识别功能。它通过使用反射镜在佩戴者眼睛前方引导波导来提供具有高分辨率的改进视野。可通过改变反射镜的角度来放大图像。它还提供眼睛跟踪来识别用户并针对特定用户调节镜片宽度。

在另一个示例中，AR装置66可以是Snapchat Spectacles 3AR装置。该AR装置能够捕获成对图像并且重新创建3D深度映射、添加虚拟效果及重新播放3D视频。该AR装置包括两个HD相机，从而以60fps捕获3D照片和视频，同时四个内置麦克风记录沉浸式的高保真音频。来自两个相机的图像组合以建立围绕用户的真实世界的几何地图，从而提供新的深度感知感觉。照片和视频可以无线方式同步到外部显示装置。

在又一个示例中，AR装置66可以是Google的Glass 2AR装置。该AR装置提供叠加在镜头上(视野外)的惯性测量(加速度计、陀螺仪、磁力计)信息以补充信息。

在另一个示例中，AR装置66可以是Amazon的Echo Frames AR装置。该AR装置没有相机/显示器。麦克风和扬声器连接到Alexa。该AR装置提供比平视显示器更少的功能。

在又一个示例中，AR装置66可以是North(Google)的Focals AR装置。该AR装置提供通知推送/智能手表模拟；惯性测量、信息(天气、日历、消息)的屏幕叠加、语音控制(Alexa)集成。该AR装置提供基本平视显示器功能。

在另一个示例中，AR装置66可以是Nreal AR装置。该AR装置包括空间声音、两个环境相机、照片相机、IMU(加速度计、陀螺仪)、环境光传感器、接近传感器功能。Nebula将应用信息投射在镜片上。

在各种其他示例中，AR装置66可以是以下市售AR装置中的任一者：Magic Leap 1、Epson Moverio、Vuzix Blade AR、ZenFone AR、Microsoft AR眼镜原型、EyeTap，以将与环境光共线的光直接产生到视网膜中。例如，分束器使得由眼睛看到的相同光可用于计算机处理和叠加信息。AR可视化系统包括HUD、接触镜片、眼镜、虚拟现实(VR)头戴式耳机、虚拟视网膜显示器、手术室显示器和/或智能接触镜片(仿生镜片)。

用于AR装置66的多用户接口包括虚拟视网膜显示器(诸如直接绘制在视网膜上而非眼睛前方的屏幕上的光栅显示器)、智能电视、智能电话和/或空间显示器(诸如Sony空间显示系统)。

其他AR技术可包括例如AR捕获装置和软件应用程序、AR创建装置和软件应用程序以及AR云装置和软件应用程序。AR捕获装置和软件应用程序包括例如Apple Polycam应用程序Ubiquity 6(使用Display.land app的Mirrorworld)，用户可扫描并获得真实世界的3D图像(以创建3D模型)。AR创建装置和软件应用程序包括例如Adobe Aero、Vuforia、ARToolKit、Google ARCore、Apple ARKit、MAXST、Aurasma、Zappar、Blippar。AR云装置和软件应用程序包括例如Facebook、Google(世界几何、对象识别、预测数据)、Amazon AR云(商务)、Microsoft Azure、Samsung Project Whare、Niantic、Magic Leap。

态势感知是指外科系统的一些方面的根据从数据库和/或器械接收的数据来确定或推断与外科规程相关的信息的能力。该信息可包括正在进行的手术的类型、正在手术的组织的类型或作为手术对象的体腔。利用与外科规程相关的背景信息，外科系统可例如改善该外科系统控制连接到其的模块化装置(例如，机器人臂和/或机器人外科工具)的方式，并且在外科规程的过程期间向外科医生提供背景信息或建议。

图11示出了态势感知外科规程的时间轴。图11示出了例示性外科规程的时间轴5200以及外科集线器5104可在外科规程的每个步骤从数据源5126接收到的数据导出的上下文信息。时间轴5200描绘了护士、外科医生和其他医疗人员在肺分段切除手术期间将采取的典型步骤，从建立手术室开始到将患者转移到术后恢复室为止。态势感知外科集线器5104在整个外科规程过程中从数据源5126接收数据，包括每次医疗人员利用与外科集线器5104配对的模块化装置5102时生成的数据。外科集线器5104可从配对的模块化装置5102和其他数据源5126接收该数据，并且在接收新数据时不断导出关于正在进行的手术的推论(即，背景信息)，诸如在任何给定时间执行手术的哪个步骤。外科集线器5104的态势感知系统能够例如记录与用于生成报告的手术相关的数据，验证医疗人员正在采取的步骤，(例如，经由显示屏)提供可能与特定手术步骤相关的数据或提示，基于上下文调节模块化装置5102(例如，激活监测器、调节医学成像装置的FOV或改变超声外科器械或RF电外科器械的能量程度)，以及采取本文所述的任何其他此类动作。

第一5202，医院工作人员从医院的EMR数据库中检索患者的EMR。基于在EMR中选择的患者数据，外科集线器5104确定待执行的手术是胸腔手术。

第二5204，工作人员扫描用于规程的进入的医疗用品。外科集线器5104将所扫描的用品与在各种类型的规程中利用的用品列表交叉对比，并确认用品的组合对应于胸腔规程。另外，外科集线器5104还能够确定规程不是楔形规程(因为进入的用品缺乏胸腔楔形规程所需的某些用品，或以其他方式不对应于胸腔楔形规程)。

第三5206，医疗人员经由通信地连接到外科集线器5104的扫描器5128来扫描患者带。然后，外科集线器5104可基于所扫描的数据来确认患者的身份。

第四5208，医务工作人员打开辅助设备。利用的辅助设备可根据外科规程的类型和外科医生待使用的技术而变化，但在此示例性情况下，它们包括排烟器、吹入器和医学成像装置。当激活时，作为其初始化过程的一部分，作为模块化装置5102的辅助设备可以自动与位于模块化装置5102特定附近的外科集线器5104配对。然后，外科集线器5104可通过检测在该术前阶段或初始化阶段期间与其配对的模块化装置5102的类型来导出关于外科规程的背景信息。在该具体示例中，外科集线器5104确定外科规程是基于配对模块化装置5102的该特定组合的VATS规程。基于来自患者的EMR的数据、待在手术中使用的医疗用品的列表以及连接至集线器的模块化装置5102的类型的组合，外科集线器5104通常可推断外科团队将执行的特定手术。一旦外科集线器5104知道正在被执行的特定规程，外科集线器5104就可从存储器或云中检索该规程的步骤，然后交叉引用其随后从所连接的数据源5126(例如，模块化装置5102和患者监测装置5124)接收的数据，以推断外科团队正在执行的外科规程的步骤。

第五5210，工作人员将EKG电极和其他患者监测装置5124附接到患者。EKG电极和其他患者监测装置5124能够与外科集线器5104配对。随着外科集线器5104开始从患者监测装置5124接收数据，外科集线器5104因此确认患者在手术室中。

第六5212，医疗人员诱导患者麻醉。外科集线器5104可基于来自模块化装置5102和/或患者监测装置5124的数据(包括EKG数据、血压数据、呼吸机数据或它们的组合)推断患者处于麻醉下。在第六步5212完成时，肺分段切除手术的术前部分完成，并且手术部分开始。

第七5214，使正在手术的患者的肺部塌缩(同时通气被切换到对侧肺)。外科集线器5104可从呼吸机数据推断出患者的肺已经塌缩。外科集线器5104可推断规程的手术部分已开始，因为其可将患者的肺部塌缩的检测与规程的预期步骤(可先前访问或检索)进行比较，从而确定使肺部塌缩是该特定规程中的手术步骤。

第八5216，插入医学成像装置5108(例如，内窥镜)，并启动来自该医学成像装置的视频。外科集线器5104通过其与医学成像装置的连接来接收医学成像装置数据(即，静止图像数据或实时的实况流式传输视频)。在接收到医学成像装置数据之后，外科集线器5104可确定外科规程的腹腔镜部分已开始。另外，外科集线器5104可确定正在被执行的特定手术是分段切除术，而不是肺叶切除术(注意，外科集线器5104基于在手术的第二步骤5204处接收到的数据已经排除了楔形手术)。来自医学成像装置124(图2)的数据可用于以多种不同的方式确定与正在被执行的手术的类型相关的背景信息，包括通过确定医学成像装置相对于患者的解剖结构的可视化取向的角度，监测所利用的医学成像装置的数量(即，被激活并与外科集线器5104配对)，以及监测所利用的可视化装置的类型。

例如，一种用于执行VATS肺叶切除术的技术将相机放置在隔膜上方的患者胸腔的下前拐角中，而一种用于执行VATS分段切除术的技术将相机相对于分段裂缝放置在前肋间位置。例如，使用模式识别或机器学习技术，可对态势感知系统进行训练，以根据患者解剖结构的可视化识别医学成像装置的定位。作为另一个示例，一种用于执行VATS肺叶切除术的技术利用单个医学成像装置，而用于执行VATS分段切除术的另一种技术利用多个相机。作为另一个示例，一种用于执行VATS分段切除术的技术利用红外光源(其可作为可视化系统的一部分可通信地耦接到外科集线器)以可视化不用于VATS肺部切除术中的分段裂隙。通过从医学成像装置5108跟踪这些数据中的任何或所有，外科集线器5104因此可确定正在被执行的外科规程的具体类型和/或用于特定类型的外科规程的技术。

第九5218，外科团队开始规程的解剖步骤。外科集线器5104可推断外科医生正处在解剖以调动患者的肺部的过程中，因为其从RF发生器或超声发生器接收到指示能量器械正在被击发的数据。外科集线器5104可将所接收的数据与外科规程的检索步骤交叉引用，以确定在方法中的该点处(即，在先前讨论的规程步骤完成之后)击发的能量器械对应于解剖步骤。

第十5220，外科团队继续进行至规程的结扎步骤。外科集线器5104可推断外科医生正在结扎动脉和静脉，因为其从外科缝合和切割器械接收指示器械正在被击发的数据。与先前步骤相似，外科集线器5104可通过交叉引用来自外科缝合和切割器械的数据的接收与该方法中的检索步骤来导出该推论。

第十一5222，执行规程的分段切除术部分。外科集线器5104推断外科医生正在基于来自外科器械的数据(包括来自钉仓的数据)横切软组织。仓数据可对应于由器械击发的钉的大小或类型。仓数据可针对在不同类型组织中采用的不同类型钉指示被缝合和/或横切的组织的类型。被击发的钉的类型用于软组织或其他组织类型，以使得外科集线器5104能够推断正在执行的分段切除手术。

第十二5224，执行节点解剖步骤。外科集线器5104可基于从发生器接收的指示正在击发RF或超声器械的数据来推断外科团队正在解剖节点并且执行泄漏测试。对于该特定手术，在横切软组织后利用RF或超声器械对应于节点解剖步骤，这允许外科集线器5104做出该推论。应当指出的是，外科医生根据手术中的具体步骤定期在外科缝合/切割器械和外科能量(即，RF或超声)器械之间来回切换，因为不同器械更好地适于特定任务。因此，其中使用缝合/切割器械和外科能量器械的特定序列可指示外科医生正在执行的手术的步骤。在第十二步骤5224完成时，切口被闭合并且规程的术后部分开始。

第十三5226，逆转患者的麻醉。例如，外科集线器5104可基于呼吸机数据(即，患者的呼吸率开始增加)推断出患者正在从麻醉中醒来。

最后，第十四5228，医疗人员从患者移除各种患者监测装置5124。因此，当外科集线器5104丢失EKG、BP和来自患者监测装置5124的其他数据时，该集线器可推断患者正在被转移到恢复室。外科集线器5104可根据从可通信地耦接到外科集线器5104的各种数据源5126接收的数据来确定或推断给定外科规程的每个步骤何时发生。

除了利用来自EMR数据库的患者数据来推断待执行的外科规程的类型之外，如图11所示的时间线5200的第一步骤5202所示，态势感知外科集线器5104也可利用患者数据来生成用于配对的模块化装置5102的控制调节。

外科显示器(例如，显示器7、9、19、35、62、65、66、67和89)通过向临床医生(例如，外科医生、外科工作人员)提供有用信息在手术室内发挥重要作用，有用信息可用于评估外科规程的进度、确定外科规程中要采取的后续步骤、监测患者生命体征等。显示器需要足够大，使得所提供的该信息可以被看到，但又不能大到过于显眼并在拥挤的手术室中妨碍工作流程或移动。

例如，成像装置(诸如在本文别处描述的许多成像装置中的一者)用于在外科规程过程期间捕获外科视野的实况流。显示器显示由成像装置捕获的这种实况流，使得临床医生可在外科规程期间查看外科视野。

在外科规程过程期间，与外科规程相关或相关联的信息可叠加在显示器上的实况流上。例如，心电图(EKG)在外科规程期间监测患者的心率，并且所监测的心率叠加在实况流上，使得临床医生可确保患者情况稳定。

各种其他传感器、检测器、模块等在外科规程过程中监测其他参数，并且与这些参数相关的信息也可叠加在显示器上。然而，一些叠加信息可能比其他叠加信息更重要。例如，当临床医生利用外科器械的端部执行器操纵组织时，关于利用端部执行器向组织施加多大力的信息与监测相关，以便确保组织不会被无意损伤。

然而，由于叠加在显示器上的信息量，临床医生可能会忽略或遗漏更重要的信息，诸如施加到组织的力。这种大量的竞争性信息可导致外科医生被可能影响其充分执行外科规程的能力的信息淹没，而这对于患者而言可能是代价高昂的。因此，需要对叠加到显示器上的数据/信息量进行优先级排序、控制和/或限制。

图12示出了根据本公开的至少一个方面的外科可视化系统6000。外科可视化系统6000的各种部件在许多方面类似于在本公开别处描述的其他系统的部件，并且因此为了简洁起见，在此处不以相同的细节程度重复。外科可视化系统6000包括被配置为能够例如通过使用一个或多个处理器或处理电路诸如处理器85来执行本文所述的各种技术的控制模块6001。在一些具体实施中，系统6000例如可包括增强现实装置85、与其结合使用或与其通信。系统6000还可包括存储介质(诸如例如存储器6003)、成像装置6004(诸如例如相机88)和显示器6005。系统6000还可包括一个或多个扬声器91、触觉控制器92和/或传感器90(参见图10)。显示器6005可包括例如AR显示器89、VR显示器、投影仪、平视显示器、屏幕和/或用于描绘视觉内容的任何其他合适装置。

在一些具体实施中，系统6000例如结合到计算机实现的交互式外科系统50中。在一些具体实施中，系统6000与可将外科数据递送到系统6000的一个或多个集线器、系统、网络、服务器和/或数据库可操作地通信。例如，系统6000可经由如本文所述的有线或无线通信标准或协议与包括远程服务器63、机器人集线器72、外科集线器56、装置/器械21和/或模块化控制塔23的云54可操作地通信。在一些具体实施中，系统6000包括类似于结合外科集线器5104所述的态势感知模块6006。态势感知模块6006可被训练成基于通过传感器输入和/或用户输入接收到的大量围手术期数据来推断关于外科规程的上下文信息。

考虑到与待叠加到显示器上的竞争性信息量相关联的上述问题，本公开提供了一种系统，诸如系统6000，其能够监测、感测和/或检测在外科规程之前、期间或之后发生的触发事件的发生，以便控制叠加到显示器上的信息。在一个方面，触发事件可为由系统经由本文别处所述的任何数量的传感器、系统或模块所检测的事件，其可能发起叠加于显示器上的信息的改变。在各种实施方案中，触发事件的检测可以使信息被添加到显示器上、从显示器上移除或在显示器上进行调节，诸如将信息移动到显示器上的不同位置或调节信息在显示器上占据的大小(作为示例)，并且将在本文别处进行更详细描述。

在一个方面，系统可经由外科可视化系统(诸如可视化系统8)来检测基于识别的触发项，并且相应地更新显示器上的叠加信息。在各种实施方案中，可视化系统8可类似于以下文献所述的可视化系统：美国专利11000270号、美国专利申请公开2020/0015900号、美国专利申请公开2020/0015899号、美国专利11259793号、美国专利申请公开2020/0015924号、美国专利申请公开2020/0015898号、美国专利申请公开2020/0015906号、美国专利申请公开2020/0015907号、美国专利10925598号、美国专利申请公开2020/0015914号和美国专利申请公开2020/0015902号，这些专利的全部内容通过引用结合于此。

在一个方面，基于识别的触发项可以是例如具有预定义的和/或可识别的大小、形状、图案、颜色、布置或任何其他的对对象而言唯一的可识别特征的对象(外科器械、外科植入物、外科结构、器官、组织等)。在各种实施方案中，系统可包括存储器诸如存储器6003，其存储了与其中的对象相关联的数据，诸如与对象相关联的图像和/或参数，用于与外科规程期间由成像装置(诸如成像装置6004)捕获的对象进行比较。在一个方面，存储器可在其中存储对象的二维图像，诸如俯视图、仰视图、侧视图、等距视图、或该对象的任何其他合适的二维视图。在一个方面，存储器可在其中存储对象的三维模型(诸如CAD模型)，使得任何数量的图像视图可供系统用于比较。在一个方面，可以使用可视化系统8以及使用术前成像技术(诸如CT扫描或MRI扫描)来生成三维模型。

在一个示例性实施方案中，系统可经由成像装置来识别实况流中的对象。系统可以将可由系统识别的对象的图像及其参数(颜色、尺寸等)与存储在存储器中的图像和参数进行比较，以确定对象是否是已知对象。在匹配或至少基本匹配的情况下，系统可将与实况流中所识别的对象相关联的信息叠加到显示器上。

在一个示例性实施方案中，成像装置可捕获实况流中的天然表面特征，诸如胃角切迹。系统可以将实况流的视觉表示传输到显示器，使得外科工作人员可以看到该自然表面特征。系统还可以将自然表面特征的图像和所确定的参数与存储在存储器中的图像和参数进行比较，以确定自然表面特征是否是已知的自然表面特征。在肯定识别出自然表面特征的情况下，系统可将与自然表面特征相关联的信息叠加到显示器上。在一个方面，与自然表面特征相关联的信息可被存储在存储器中。在一个方面，所叠加的信息可被叠加到显示器上的自然表面特征的顶部上。在一个方面，所叠加的信息可被叠加到显示器上的自然表面特征附近，使得所叠加的信息容易被看到，但不妨碍在显示器上观察该自然表面特征。在一个方面，所叠加的信息可被叠加到显示器上的被指定用于实况流中的肯定识别项的预定位置中，诸如显示器的边角。

在一个方面，如上所述，实况流中的对象可以是天然表面特征。在一个方面，实况流中的对象可以是外科器械(诸如外科钉仓)的表面特征。在一个方面，实况流中的对象可以是标记，诸如条形码、徽章或图案等。在一个方面，实况流中的对象可以是系统可以与存储在存储器中的对象的图像和参数进行比较的任何数量的对象。

在一个方面，系统可基于对实况流中的对象的部分识别而将信息叠加到显示器上。在一个方面，系统可识别出实况流中满足了阈值接受限值的对象，并且如果达到或超过阈值接受限值，则将信息叠加到显示器上。在一个方面，阈值接受限值可以是预定义的、存储在存储器中、用户定义的、基于行业标准的、或它们的组合。在未达到阈值接受限值的情况下，系统不能将信息叠加到显示器上。

在一个示例性实施方案中，系统可在实况流中识别出钉仓的一部分。在一个方面，在实况流上，钉仓可受到妨碍或部分地脱离框架，使得仅钉仓的一部分可见。系统可将钉仓的可视部分与存储在存储器中的钉仓的图像和参数进行比较。在一个方面，钉仓的参数可以是钉仓的颜色、钉仓的可视/可识别尺寸，诸如缝钉腔之间的距离或切割刀穿过的细长狭槽的长度、缝钉腔的数量、或任何其他与钉仓相关的可识别参数。在系统确定与存储在存储器中的外科钉仓相比，钉仓的该部分达到或超过阈值接受限值的情况下，如下文将更详细所述，系统可基于该确定结果，将信息叠加到显示器上。

在一些实施方案中，阈值接受限值可以被定义为存储在存储器中的图像或其参数在实况流中已经被识别的百分比。在一个示例性实施方案中，系统可在实况流中识别出钉仓的一部分。系统可分析图像并确定存储在存储器中的钉仓的75％已在来自实况流的对象上被识别。在一个实施方案中，系统可具有例如50％的阈值接受限值，实况流中的对象与存储在存储器中的图像之间的比较结果已经超过了该限值。因此，可将与钉仓相关联的信息叠加到显示器上。在各种实施方案中，阈值接受限值可存储在存储器中、可由用户定义、随用户而变化、可基于标准行业惯例，或它们的组合。

在一些实施方案中，阈值接受限值可以被定义为参数的阈值数量，这些参数已经基于在实况流中识别的对象与存储在存储器中的对象的比较结果而得到识别。在一个示例性实施方案中，系统可在实况流中识别出钉仓的一部分。系统可识别钉仓的各种参数，诸如颜色、缝钉腔之间的间距、其上的已知标记、或钉仓的任何其他可识别特征。系统可识别这些参数并将其与存储在存储器中的参数(诸如存储在查找表中的参数)进行比较。在一个方面，可将阈值接受限值设置为实况流中所识别的对象与存储器中所存储的对象之间的3个匹配项。在系统确定已达到或超过阈值接受限值的情况下(诸如识别钉仓的颜色、识别缝钉腔间距、观察其上的已知标志，作为示例)，系统可根据匹配项，将信息叠加到显示器上。在各种实施方案中，阈值接受限值可以是以下项的组合：在实况流中识别的对象的百分比；和已经识别的对象的参数的数量。在一个示例性实施方案中，阈值接受限值可以是：50％的实况流中的对象与存储在存储器中的对象匹配；以及3个参数与存储在存储器中的对象匹配。

在一个方面，系统可叠加与所识别匹配项相关联的置信水平。如本文上述，当已经达到或超过阈值接受限值时，系统可以识别实况流和叠加信息中的部分匹配项。在部分匹配的情况下，系统可以用叠加的信息来叠加置信水平或百分比。在一个示例性实施方案中，存储在存储器中的钉仓可具有与其相关联的8个参数，但阈值接受限值被设置为仅3个匹配。在系统识别出实况流中的钉仓中的8个参数的3个正匹配的情况下，系统可将钉仓相关信息叠加到实况流上。另外，系统可叠加注释，该注释标识了该叠加是基于所识别的8个参数中的3个参数即而不是完全匹配。通过叠加置信水平，正在观察显示器的外科工作人员可以利用他们自己对他们是否同意该确定结果的判断。在各种实施方案中，系统可包括用户界面，该用户界面允许外科人员接受或拒绝叠加信息，从而给予该人员在他们不同意评估结果或不需要叠加信息的情况下移除叠加信息的能力。

在各种实施方案中，系统可根据实况流上所识别的对象，将信息叠加到实况流上。在一个方面，系统可基于肯定的识别结果来叠加标识了该对象的各个分区或特征的标记。在一个示例性实施方案中，作为示例，当系统将对象识别为胃时，系统可叠加指向大弯、小弯、角切迹的标记。在一个方面，系统可将分段叠加项叠加到该对象上，从而标识出该对象的各个分区。在一个示例性实施方案中，系统可识别胃并叠加分段叠加项，该分段叠加项例如标识了胃底、胃体、幽门窦、幽门管和十二指肠。

在一个方面，系统可以基于肯定识别结果将方向信息叠加到实况流上。在一个示例性实施方案中，在系统识别出角切迹的情况下，系统可叠加方向箭头以帮助医生找到胃的其他区域(诸如大弯)或病人体内的其他器官(诸如肠)。在一个方面，方向箭头既可基于所识别的对象也可基于标识了该对象的取向或角度。在一些方面，方向箭头可基于所确定的外科规程的步骤。在一个示例性实施方案中，在外科规程的当前步骤要求医生看着大弯，但是外科医生当前看着角切迹的情况下，系统可叠加方向箭头，从而指示医生为了达到大弯需要去往什么方向。

在一个方面，系统可叠加关于对象的已知参数或特征的信息。在一个示例性实施方案中，系统可以在实况流中识别出绿色外科钉仓。在识别结果为肯定的情况下，系统可将与所识别的钉仓相关联的参数叠加到实况流上，诸如缝钉的大小、缝钉材料、旨在与所识别的钉仓一起使用的组织厚度、以及它们的组合(作为示例)。

在一个方面，根据在实况流中所识别的对象的识别取向，系统可将信息叠加到显示器上。在一个示例性实施方案中，基于该对象与存储在存储器中的对象相关联的数据的比较结果，系统可识别显示器中的对象。在一个实施方案中，系统可识别正以第一取向(诸如对象的侧视图)观察对象，并且触发第一叠加调节。在另一实施方案中，系统可识别正以第二取向(诸如对象的俯视图)观察对象，并且触发不同于第一叠加调节的第二叠加调节。在一个实施方案中，系统可识别正以第一取向(诸如，相对于其直立位置成30度角)观察对象，并且触发第一叠加调节。在另一实施方案中，系统可识别正以第二取向(诸如以相对于其直立位置的15度角)观察对象，并且触发不同于第一叠加调节的第二叠加调节。

在一个方面，系统可包括交互传感器，并且触发事件可以是与交互传感器交互的用户。在各种实施方案中，交互传感器可以是听觉传感器，并且触发事件可以是：经由听觉传感器，系统识别可存储在存储器中的已知声音、单词或短语等。在一个示例性实施方案中，外科医生可以说“重新聚焦”，并且系统可经由听觉传感器来检测该单词，并且基于所识别的单词，更新显示器上的叠加信息。在各种实施方案中，触发事件可基于由成像装置捕获的预定义移动。在一个方面，该预定义移动可存储于存储器中并且与由成像装置捕获的移动进行比较。在一个示例性实施方案中，外科医生能够以圆周运动方式移动外科器械的端部执行器，系统能够检测实况流中的圆周运动，并且基于所检测的运动来更新显示器上的叠加信息。在各种实施方案中，系统根据所检测的交互而对叠加信息所作的调节可存储在存储器中。在一个示例性实施方案中，外科医生可以说“清除”，并且基于存储在存储器中的数据，系统可确定该“清除”意味着外科医生想要移除显示器上的所有叠加信息。

在一些方面，根据所检测的交互，系统对叠加信息所作的调节可基于外科规程的识别步骤。在各种实施方案中，基于由系统接收的一个或多个输入，态势感知模块(诸如态势感知模块6006)可确定正在执行的外科规程的步骤。基于由用户提供的交互和所确定的外科规程步骤，系统可相应地调节显示器上的叠加信息。在一个示例性实施方案中，外科医生可以向系统提供听觉命令，诸如声音。经由态势感知模块，系统可以确定正在执行的外科规程的特定步骤。系统可以将该声音与存储在存储器中的声音进行比较。在一个方面，存储器可存储各种有待基于所检测的声音和所确定的外科规程步骤两者来执行的可执行指令。在一个方面，某一声音可引起对针对一个确定步骤的叠加信息的第一调节以及对针对第二确定步骤的叠加信息的第二调节，其中第一调节与第二调节不同。在各种实施方案中，听觉命令可独立于所确定的外科规程步骤而引起对叠加信息的相同调节。

在一个方面，系统可检测基于位置的触发项，该触发项引起对显示器上的叠加信息进行调节。在各种实施方案中，系统可包括各种传感器和可视化系统，诸如本文别处所述的可视化系统，其可跟踪和/或确定与外科规程相关联的各种部件和/或个体的位置。在一个方面，系统可利用GPS来确定各种部件和/或个体的位置。在一个方面，系统可包括用于确定各种部件和/或个体的位置的数字罗盘。在一个方面，系统可包括用于测量速度数据和加速度数据的传感器(诸如，加速计(作为示例))，以用于确定各种部件和/或个体的位置。在一个方面，进行跟踪的部件和个体可包括能够由系统进行跟踪的位置传感器。上文提及的位置跟踪技术可单独使用，也可相互组合使用，以便识别OR内部或外部的部件和/或个体的位置。

在一个示例性实施方案中，外科医生可使用外科切割装置且通过结肠直肠乙状结肠切除术调动进行工作并且在显示器上观察其实况流。当外科切割装置的端部执行器正在接近血液供应的横切点时，系统可经由如上文所提及的任何数量的位置跟踪技术进行检测。基于系统检测到端部执行器正在接近或已经到达横切点，系统可以调节显示器以叠加信息，从而帮助即将到来的调动步骤。作为一个示例，系统可基于从外科可视化系统到该系统的输入来叠加血液流动的位置和方向性以及血液供给的位置，从而协助手术的下一步骤的可视化。

在各种实施方案中，系统可经由如上文所参考的任何数量的位置跟踪技术来检测OR内部或外部的个体或个体群组的位置，并且基于其所检测的位置来调节显示器上的叠加信息。在一个方面，系统可监测医院内具有显示器(诸如可佩戴AR装置66)的个体(诸如护士)的位置。尽管前面的讨论将在可佩戴AR装置的上下文中进行，但是应当理解，在替代方案中，可使用本文所述的任何其他显示器来实现相同的结果。在各种实施方案中，作为示例，护士可具有平板计算机、蜂窝式电话或任何其他便携式显示器而不是AR装置66。

在各种实施方案中，系统可检测具有便携式装置的个体相对于任何数量的位置的位置。在一个方面，系统可检测个体何时接近或已到达某一位置，并且相应地调节叠加到AR装置66上的信息。在一个示例性实施方案中，当佩戴了AR装置66的护士到达某个位置(诸如，储藏室门)时，系统可以将信息叠加到与储藏室相关联的AR装置的镜头上。在一个实施方案中，系统可叠加门后面的空间。在一个实施方案中，系统可叠加储存在储藏室中的外科设备类型。在一个实施方案中，基于系统所检测的外科规程步骤，如果储藏室包括用于外科规程的所需设备，则系统可进行叠加。在各种实施方案中，系统可叠加对个体有用的任何量的信息，以取到用于外科规程所需的设备件数。在一个方面，系统可基于所检测的外科规程步骤来叠加信息，诸如，指示了可以在何处获得用于完成外科规程步骤的某些件设备的方向信息。在各种实施方案中，系统可基于用户输入(诸如口头命令)来叠加信息，从而询问是否可在所识别位置处找到某一件设备。可将关于位置的信息(诸如在该位置处可以找到什么设备)存储在存储器中。

在各种实施方案中，系统可以确定正在执行或即将执行的外科规程的步骤，并且根据该确定结果来调节AR装置上的叠加信息。在一个示例性实施方案中，经由态势感知模块，系统可确定不久将执行外科缝合步骤并且将需要特定类型的钉仓。作为示例，系统可在护士的AR装置上叠加：不久将需要特定类型的钉仓。系统还可将以下项叠加到AR装置上：例如，可找到钉仓的位置、钉仓看起来像什么、钉仓的型号、或将协助护士获取钉仓的任何其他合适的识别信息。系统还可将方向信息叠加到AR装置上，以协助护士找到钉仓。在一个示例性实施方案中，系统可叠加关于可在何处找到钉仓的信息，诸如房间号、货架号、仓号或关于可在何处找到钉仓的任何其他合适的描述性信息。在一个示例性实施方案中，系统可利用位置跟踪技术，诸如GPS，并且在AR装置的镜头上叠加方向箭头，以在视觉上将护士引导到可取到钉仓的位置。在一个方面，系统可在关键特征上叠加突出项，以协助取到钉仓。在一个示例性实施方案中，当储存钉仓的储藏室的门进入AR装置的视野时，系统可突出门以通知护士可在突出的门后面找到钉仓。上述实施方案的任何组合可彼此组合使用，以协助识别所需设备的位置。

在各种其他实施方案中，AR装置可基于外科规程、外科规程的所确定的外科规程步骤、外科医生的偏好、用户输入(诸如物理或口头输入)或它们的组合来调节所叠加的信息。在一个示例性实施方案中，当护士佩戴着AR装置进入储藏室时，系统可基于外科规程、外科规程的所确定的手术步骤、外科医生偏好、用户输入(诸如物理或口头输入)或它们的组合来调节所叠加的信息，以指向或突出各件设备。在一个方面，系统可以调节所叠加的信息，以突出储藏室之中的OR当前缺失但外科规程所需要或将需要的各件设备。在一个方面，基于来自护士的询问特定一件设备位于何处的口头请求，系统可调节所叠加的信息。基于该请求，系统可以相应地调节所叠加的信息。在一个方面，系统可以比储藏室中的其他突出物品更亮或更强烈地突出所请求的物品。在另一示例性实施方案中，系统可以不突出除了所请求的一件设备之外的所有事物。

在各种实施方案中，系统可跟踪AR装置的位置并且基于其位置来改变触发事件的相关性。在一个方面，第一用户可佩戴第一AR装置并处于第一位置，并且第二用户可佩戴第二AR装置并处于第二位置。在一个示例性实施方案中，可检测到将使系统调节所叠加的信息的触发事件。系统可检测到：第一用户与触发事件相关联，并且第二用户不与触发事件相关联。在一个方面，系统可检测到：第一用户处于触发事件发生的某一距离内，并且第二用户处于触发事件发生的某一距离外。基于该确定结果，系统可更新第一AR装置的叠加信息，但不更新第二AR装置的叠加信息。在一个示例性实施方案中，外科医生可以佩戴着AR装置执行外科规程，并且护士可以佩戴着AR装置取到一件设备。当护士到达储藏室时(基于位置的触发事件)，系统可以调节叠加到护士AR装置上的信息，同时维持叠加到外科医生AR装置上的信息。这种对叠加信息的选择性调节防止了在叠加信息对特定个人来说价值很小或没有价值的情况下调节显示器。

在各种实施方案中，系统可基于由可视化系统(诸如，本文所述的任何数量的可视化系统)所检测的任何数量的触发事件来调节叠加到显示器上的信息。在一个方面，系统可基于对谁持有特定外科装置的确定结果来调节所叠加的信息。在一个方面，系统可基于进入可视化系统的视野中的特定外科装置来调节所叠加的信息。在一个方面，系统可以基于外科装置相对于患者的位置来调节所叠加的信息。在一个示例性实施方案中，当特定外科装置来到患者的阈值距离之内时，如由任何数量的输入(诸如可视化系统、位置传感器或本文所述的任何其他位置跟踪技术)所确定，系统可调节显示器以叠加与外科装置相关的信息。在一个示例性实施方案中，当特定外科装置离开患者一段阈值距离时，如由任何数量的输入(诸如可视化系统、位置传感器或本文所述的任何其他位置跟踪技术)所确定，系统可调节显示器以移除与外科装置相关的叠加信息。在一个示例性实施方案中，当特定外科装置到达患者一段阈值距离之内时，如由任何数量的输入(诸如可视化系统、位置传感器或本文所述的任何其他位置跟踪技术)所确定，系统可调节显示器以添加与外科装置相关的叠加信息。

在各种实施方案中，系统可基于所确定的外科任务的优先级来调节叠加到显示器上的信息。在一个方面，该系统可使用例如态势感知模块来确定外科规程的步骤，并且基于该确定结果来调节触发事件的重要程度或发生。在一个示例性实施方案中，系统可使用态势感知模块来确定正在执行或将要执行外科缝合步骤。系统可在外科缝合步骤期间监测触发事件，并且根据所确定的与外科缝合步骤的相关性来确定是否需要对叠加信息进行调节。在一个方面，可检测到触发事件，诸如对正在缝合的组织所施加的过量的力。系统可确定该过量的力与外科规程的当前步骤相关并且相应地更新显示器上的叠加信息。在一个方面，可检测到触发事件，诸如组织的温度超过温度阈值。系统可确定该过量的温度与外科规程的当前步骤不太相关，并且可基于该确定结果来选择不更新叠加信息。在各种实施方案中，针对外科规程步骤的触发事件的相关性可被存储在存储器中、被使用限定、基于行业标准、或它们的组合。在一个方面，当系统确定信息与外科规程的当前步骤不太相关时，系统可将信息叠加到显示器上，但调节该信息叠加到显示器上的大小。在一个示例中，当系统检测到与当前正在执行的外科步骤不太相关的触发事件时，系统可将与该步骤相关联的信息叠加到显示器上，但是按叠加信息通常将占据的大小的50％来叠加该信息。在其他实施方案中，系统可将与该步骤相关联的信息叠加到显示器上，但将信息定位于显示器的较不容易看见的部分处，诸如定位于显示器的边角中或边缘上。

在各种实施方案中，系统可基于数据对操作着外科装置的用户而言的关键程度来调节叠加到显示器上的信息。在一个实施方案中，外科医生可利用外科缝合器来缝合组织。系统可基于存储在存储器中的数据来检测系统认为关键的对组织所施加的过量的力，并且调节与外科医生相关联的显示器，诸如AR装置66，使得过量力检测结果对于正在利用外科缝合器的外科医生是已知的。

在各种实施方案中，系统可以基于对用户正在使用的某种类型的外科装置的检测结果来调节叠加到显示器上的信息。在一个方面，系统可调节所叠加的信息，以告知用户与正在使用的特定外科装置相关的问题，使得用户可继续知道潜在故障点。作为一个示例，系统可调节所叠加的信息，以告知用户该外科装置的潜在误用如何可能引起二次故障，诸如其他外科装置的故障。在各种实施方案中，该数据可存储在存储器中。在各种实施方案中，该数据可从基于云的系统(诸如，基于云的系统4)访问。

在各种实施方案中，系统可通过将信息从第一显示器移动到第二显示器来调节叠加到显示器上的信息。在一个方面，系统可检测到触发事件的发生，该触发事件可能引起OR中的主显示器上的叠加信息的改变。在各种实施方案中，叠加信息的这种改变可以是：改变该信息的一部分的大小、该信息的一部分的权重、该信息的一部分的位置；移除叠加信息；添加叠加信息；或它们的组合。在一个方面，作为调节的结果，系统可以将被认为不太相关(诸如，与正在执行的特定外科步骤不太相关)的信息从第一显示器移动到第二显示器，从而保持该信息对于外科工作人员可用，但是移动到可能不是外科工作人员的主要焦点的显示器上。

在各种实施方案中，基于对某一触发事件是由特定用户所用的外科器械所引起的检测结果，系统可调节叠加到显示器上的信息。在一些方面，基于从OR内的传感器、模块和/或可视化系统接收到的数据，系统可确定哪些外科装置正被哪些外科人员积极使用。在一个示例性实施方案中，系统可基于从发生器模块40接收的数据来确定能量装置正被积极地使用。在一个示例性实施方案中，系统可基于从传感器模块29接收的数据来确定外科装置正被积极地使用。在一个示例性实施方案中，系统可基于从成像模块25或本文别处所述的任何数量的可视化系统接收的数据来确定外科装置正被积极使用。在一个示例性实施方案中，系统可基于从态势感知模块所作的推断来确定外科装置正被积极地使用。在一个示例性实施方案中，基于系统接收指示了发生在用户佩戴的识别器与外科器械之间的配对的信号，系统可确定一种装置正被积极地使用，如美国专利10758310号所释，该专利全文据此以引用方式并入本文。在各种实施方案中，系统可基于本文所述的各种传感器、模块和输入装置单独地或彼此组合地确定正在积极地使用哪种外科装置。

在各种实施方案中，系统可检测到源自用户所积极控制的外科器械的触发事件，并且相应地更新显示器上的叠加信息。在一个示例性实施方案中，系统可检测到外科医生正在积极地使用组织操纵器来操纵一个手术位置处的组织。系统可检测到超过组织张力阈值的组织张力并且确定该张力是由与外科医生相关联的组织操纵器引起的。基于所检测的事件和器械起源，系统可以调节显示器上的叠加信息，诸如由外科医生佩戴的可佩戴AR装置。

在各种实施方案中，系统可检测到源自用户所控制的有效外科器械外部的触发事件，并且相应地更新显示器上的叠加信息。在一个示例性实施方案中，在外科医生正在积极地使用两种器械来解剖肝脏的同时，与外科医生无关联的肝脏牵开器可被部署并固定到肝脏。基于外科医生所积极使用的两种器械的相互作用，由于固定的牵开器，可能引起肝脏中的组织张力超过张力阈值。系统可诸如使用可视化系统来检测由牵开器引起的组织张力，并且调节显示器(诸如，由外科医生佩戴的AR装置)上的叠加信息，而不管组织张力事件是由与外科医生无关联的部件所诱发的。因此，系统可根据由与特定用户相关联或无关联的器械或动作所引起的事件来更新AR装置上的信息。

在各种实施方案中，系统可基于风险事件的检测结果来调节叠加到显示器上的信息。在一个方面，风险事件可以是具有至少一些导致对于外科规程而言不利的结果的可能性的事件。在一个示例性实施方案中，风险事件可以是检测到将一个特定类型的装置用于外科规程的特定步骤。在另一示例性实施方案中，风险事件可以是外科器械的端部执行器进入患者体内的关键结构(诸如，动脉、静脉或肿瘤(作为示例))的阈值距离内。在一个示例性实施方案中，风险事件可以是系统检测到某一钉仓已被安装在不适于外科规程的确定步骤的缝合装置中。在一些实施方案中，风险事件可以是外科器械的端部执行器关节连接得离预期位置太远。在任何方面，检测到风险事件可能使系统在显示器上叠加警告或校正步骤，从而解释所检测的风险事件和用以避免风险事件的可能补救措施。

在各种实施方案中，系统可基于对源自视野外部的事件的检测结果来调节叠加到显示器上的信息。在一个方面，成像装置可捕获外科视野的实况流并将该实况流传输到显示器以供外科工作人员观察。事件可以从外科视野实况流的外部引起或产生，这将需要外科医生的注意或反应。在一个示例性实施方案中，外科医生可能正在操纵显示器上的外科视野中可见的组织。作为组织操纵的结果，处于外科视野外部的组织的一部分可能由于对组织所无意施加的阈值张力而撕裂。系统可经由例如可视化系统而检测到撕裂，并且警告外科医生在外科医生的视野外部已经发生了组织撕裂。这允许外科医生将成像装置重新定位到撕裂位置并采取适当的行动。在一个方面，系统可叠加方向信息，该方向信息告知外科医生往哪里看以找到源自视野外部的事件。

在各种实施方案中，系统可检测可引起对可佩戴显示器上的叠加信息进行调节的触发事件。在一些方面，除了调节可佩戴显示器上的叠加信息之外，系统也可调节OR中的各种其他显示器上的叠加信息，使得未佩戴可佩戴AR装置的个体也可观察到调节后的叠加项。在一个示例性实施方案中，系统可检测到使AR装置上的叠加信息得以调节的触发事件。另外，系统可调节OR中其他显示器(诸如显示器19)上的叠加信息，以供未佩戴AR装置66的外科人员观察。

在各种实施方案中，系统可以按任何数量的方式来调节显示器上的叠加信息。在一个示例性实施方案中，在触发事件发生后，系统可以相应地将关于装置状态的信息叠加到任何数量的传感器。在一个示例性实施方案中，在触发事件发生后，系统可叠加关于装置的热量或热分布的信息，这可以由温度传感器来检测。在一个示例性实施方案中，在触发事件发生后，系统可叠加关于应当在一定方向上移动成像装置以调节其外科视野的信息。在一个示例性实施方案中，在触发事件发生后，系统可叠加关于危险区域的信息，诸如为了避免对患者的潜在损害而应当避免的组织区域。在一个示例性实施方案中，在触发事件发生后，系统可叠加关于如任何数量的传感器所确定的组织状态的信息。在一个示例性实施方案中，在触发事件发生后，系统可叠加关于系统所检测的外部植入物(诸如，植入患者体内的夹子或缝钉)的信息。

在各种实施方案中，系统可检测到发生了容纳外科部件的包装被打开，并且相应地调节显示器上的叠加信息。在一个示例性实施方案中，系统可检测到包装正被打开，该包装包括再装满的外科钉仓。系统可叠加与包装内的部件相关联的信息，诸如二次包装(诸如，缝钉固定器)的暗示信息。在一些方面，系统可将信息叠加到显示器上，诸如与包装内的部件相关联的参数，诸如缝钉大小、缝钉材料、或待用钉仓缝合的预期组织厚度。

在各种实施方案中，系统可检测到外科规程的外科步骤并且相应地调节所叠加的信息。在一个方面，系统可检测到随后需要丢弃步骤的外科步骤，诸如丢弃器械中的旧外科钉仓并用新钉仓替换该器械。在一个示例性实施方案中，系统可检测到缝合行程的完成，并向外科人员叠加需要移除并更换钉仓的指令。在一个方面，叠加信息还可识别替换钉仓的类型以用于完成后续缝钉击发行程。在各种实施方案中，系统可叠加关于可将外科钉仓丢弃在何处的信息。

在各种实施方案中，基于与达到或超过参数阈值的患者相关联的监测参数，系统可调节所叠加的信息。在一个方面，任何数量的传感器或系统可监测与患者相关联的参数，诸如心率，并且相应地调节所叠加的信息。在一个方面，系统可监测各种参数的值并且将这些值与存储在存储器中的参数阈值进行比较。在参数的值达到或超过参数阈值的情况下，系统可调节所叠加的信息，以告知用户达到或超过阈值的发生，使得可以采取后续动作。在一些实施方案中，系统可以在显示器上叠加校正动作，这些校正动作可协助将参数的值降低到低于参数阈值。在各种实施方案中，系统可监测与患者相关联的参数的改变速率，并且基于改变速率达到或超过改变速率阈值来调节所叠加的信息。

在各种实施方案中，通过检测部分触发事件的累积并将累积事件与触发事件阈值进行比较，系统可检测到触发事件的发生。在一个方面，系统可设置触发事件计数并对部分触发事件的发生数量进行计数。在一个示例性实施方案中，系统可以在外科规程开始时将触发事件计数设置为0。在另一示例性实施方案中，系统可以在外科规程的特定步骤开始时将触发事件计数设置为0。在一个方面，系统可在外科规程的完成步骤结束时将触发事件计数重置回0。在一些实施方案中，可将触发事件计数设置为不同于0的值，诸如1、2、3或任何其他合适的整数。在各种实施方案中，基于用户输入、来自态势感知模块的输入，基于所检测的外科规程步骤，或它们的组合，系统可设置触发事件计数。

在一个方面，系统可以：检测部分触发事件；基于部分触发事件的发生，调节触发事件计数；以及基于触发事件计数达到或超过触发事件阈值，调节显示器上的叠加的信息。在一个示例性实施方案中，系统可以将触发事件阈值设置为3个部分触发事件。在所检测的组织操纵步骤开始时，系统可将触发偶数计数设置为0。系统可对照张力阈值而检测在所操纵的组织中所引起的组织张力，并且在每次发生了达到或超过张力阈值时，将触发事件计数加1。在触发事件计数达到或超过触发事件阈值的情况下，系统可以相应地调节显示器上的叠加信息，诸如向外科工作人员发出警告或提供校正动作以确保张力阈值未达到或超过。

对部分触发事件进行检测和计数的能力使系统能够跟踪孤立来看可能是次要的或无关紧要的事件，但是其累积可能导致主要或重大事件。例如，在上述组织操纵步骤中，孤立来看引起了超过张力阈值的组织张力可能不会对患者组织造成过度伤害，但是多次发生可能导致组织撕裂或损伤。

在各种实施方案中，部分触发事件可包括使触发事件计数增加的正触发事件和使触发事件计数减少的负触发事件。在关于组织操纵器所引起的组织张力的上述示例性实施方案中，组织操纵器所引起的组织张力可以是正触发事件，其将触发事件计数加1。在一些方面，系统可追踪自最后正触发事件发生以来已流逝的时间量并将所流逝的时间与阈值时间进行比较。在另一正触发事件并非由所流逝的时间搜索阈值时间所引起的情况下，系统可将此检测为负触发事件并从触发事件计数中减1。在各种实施方案中，负触发事件可以是任何减少或消除由正触发事件引起的影响的事件。在一个示例性实施方案中，正触发事件可以是达到或超过温度阈值，并且负触发事件可以是施加低于使发热组织冷却的温度阈值的温度。在其他示例性实施方案中，负触发事件可以是用药，诸如注射，其抵消或消除了由正触发事件引起的影响。

在各种实施方案中，正负部分触发事件可具有不同的权重。在一个方面，第一类型的正触发事件可将触发事件计数加1，而第二类型的正触发事件可将触发事件计数加2。在一个方面，第一类型的负触发事件可以使触发事件计数减1，而第二类型的负触发事件可以使触发事件计数减2。可以将任何数量的权重分配给部分触发事件，诸如1-n，其中n是触发事件阈值(即，具有权重n的正触发事件计数将引起在其发生后达到触发事件阈值)。权重可以是用户定义的、存储在存储器中的、基于行业标准的、或它们的组合。在各种实施方案中，作为示例，部分触发事件可以是除整数之外的值，诸如0.5、1.5或1.8。

对触发事件计数进行加减的能力使系统能够跟踪孤立来看可能是次要的或无关紧要的事件，但是其累积可能导致主要或重大事件(正触发事件)。然而，系统也可检测到使正触发事件最小化或减少的事件，并且因此可以从触发事件计数中消除(负触发事件)。例如，在上述组织操纵步骤中，孤立来看引起了超过张力阈值的组织张力可能不会对患者组织造成过度伤害，但是多次发生可能导致组织撕裂或损伤(正触发事件)。然而，在可能持续几个小时的外科规程过程中，超过张力阈值的发生次数可能预期大于触发事件阈值。然而，这种在很长一段时间内发生的次数可能不会导致对组织的严重伤害。因此，系统可以从触发事件计数中减去(负触发事件)，以便将触发事件计数维持在触发事件阈值以下并防止在可能不必要的情况下对叠加信息进行调节。

在各种实施方案中，系统可检测到可能使触发事件计数复位的取消触发事件。在一个实施方案中，系统可检测以下项的发生次数：在外科规程步骤期间，在组织中引起的张力超过张力阈值。系统可检测到：外科规程的当前组织操纵步骤已经结束并且外科规程的新步骤正在发生。因此，系统可将组织操纵步骤的完成检测为取消触发事件，其重置了触发事件计数，诸如将计数重置回0。

在各种实施方案中，系统可监测可具有不同触发事件阈值的多个触发事件。在一个实施方案中，第一触发事件可具有第一触发事件阈值，诸如系统检测到3次部分触发事件，并且第二触发事件可具有第二触发事件阈值，诸如系统检测到4次部分触发事件。在一个方面，具有不同触发事件阈值允许系统监测可具有不同程度的严重性的部分触发事件。

在各种实施方案中，正触发事件可以是相同或类似的正触发事件。在一个示例性实施方案中，当系统检测到相同的三次部分触发事件的发生时，诸如组织中的张力达到或超过张力阈值，可以达到触发事件阈值。这允许系统：监测与触发事件阈值相关联的特定类型的事件；并且在特定类型的事件发生了阈值次数的情况下，调节所叠加的信息。

在各种实施方案中，正触发事件可以是不同的正触发事件。在一个示例性实施方案中，当系统检测到三种不同类型的正触发事件的发生时，可以达到触发事件阈值，诸如在组织中引起的张力达到张力阈值，对组织所施加的力达到力阈值，并且对组织所施加的热达到温度阈值。这允许系统监测不同的事件，这些事件本身可能并不重要，但组合起来可能损伤组织。因此，当发生多个独立的部分触发事件时，可以达到触发事件阈值，这因此可以使系统调节显示器上的叠加信息。

图13示出了流程图，其示出了用于确定竞相呈现在显示器(诸如显示器6005)上的外科数据的显示布置的示例性方法10000的操作，该显示器示出了外科视野的实况流。在一个方面，可通过成像装置(诸如成像装置6004)来捕获实况流，该成像装置对外科视野进行成像。成像装置可以可操作地耦接到控制系统，诸如系统6000，其也可操作地耦接到显示器。控制系统可将外科视野的实况流从成像装置传输到显示器，使得外科人员可在显示器上观察实况流。

在各种实施方案中，方法10000包括将与外科规程相关联的信息叠加10005到实况流上。在一个方面，控制系统可从各种模块、传感器、用户输入装置、态势感知模块(作为示例)接收输入，并且将与这些输入相关联的信息叠加到显示器上。

在各种实施方案中，方法10000包括检测10010触发事件的发生。在一个方面，触发事件可以是本公开所述的可导致系统调节显示器上的叠加信息的任何数量的触发事件。

在各种实施方案中，方法10000包括：基于触发事件的发生，调节10015叠加信息。在一个示例性实施方案中，调节可以是控制系统将与触发事件相关联的叠加信息叠加到显示器上。如本公开所述，可以对叠加信息作出任何数量的调节。

图14示出了流程图，其示出了用于确定竞相呈现在显示器(诸如显示器6005)上的外科数据的显示布置的示例性方法10100的操作，该显示器示出了外科视野的实况流。在一个方面，可通过成像装置(诸如成像装置6004)来捕获实况流，该成像装置对外科视野进行成像。成像装置可以可操作地耦接到控制系统，诸如系统6000，其也可操作地耦接到显示器。控制系统可将外科视野的实况流从成像装置传输到显示器，使得外科人员可在显示器上观察实况流。

在各种实施方案中，方法10100包括将与外科规程相关联的信息叠加10105到实况流上。在一个方面，控制系统可从各种模块、传感器、用户输入装置、态势感知模块(作为示例)接收输入，并且将与这些输入相关联的信息叠加到显示器上。

在各种实施方案中，方法10100还包括设置10110触发事件计数。在一个方面，在外科规程的步骤开始或起始时，系统可将触发事件计数设置为诸如0的值。在一个方面，在外科规程开始或起始时，系统可将触发事件计数设置为诸如0的值。

在各种实施方案中，方法10100还包括检测10115部分触发事件。在一个方面，系统可检测到部分触发事件，诸如组织张力达到或超过张力阈值，组织温度达到或超过温度阈值，或者对组织所施加的力达到或超过温度阈值(作为示例)。系统可使用任何数量的传感器、模块、成像系统或它们的组合来检测部分触发事件，如本文别处所述。

在各种实施方案中，方法10100还包括基于部分触发事件的发生来调节10120触发事件计数。在一个方面，当检测到正触发事件时，系统可将触发事件计数的指数升1。在一个方面，当检测到负触发事件时，系统可将触发事件计数的指数降1。在一个方面，在检测到取消触发事件后，系统可将触发事件计数重置回初始触发事件计数(诸如0)。

在各种实施方案中，方法10100还包括：基于触发事件计数达到或超过触发事件阈值，调节10125叠加信息。在一个方面，系统可将触发事件计数与触发事件阈值进行比较，并且基于已达到或超过触发事件阈值的确定结果，调节所叠加的信息。在一个方面，在达到或超过触发事件阈值的情况下，系统可将指示了已达到或超过触发事件阈值的警告叠加到显示器上。

图15示出了流程图，其示出了用于确定竞相呈现在显示器(诸如显示器6005)上的外科数据的显示布置的示例性方法10100的操作，该显示器示出了外科视野的实况流。在一个方面，可通过成像装置(诸如成像装置6004)来捕获实况流，该成像装置对外科视野进行成像。成像装置可以可操作地耦接到控制系统，诸如系统6000，其也可操作地耦接到显示器。控制系统可将外科视野的实况流从成像装置传输到显示器，使得外科人员可在显示器上观察实况流。

在各种实施方案中，方法10200包括将与外科规程相关联的信息叠加10205到实况流上。在一个方面，控制系统可从各种模块、传感器、用户输入装置、态势感知模块(作为示例)接收输入，并且将与这些输入相关联的信息叠加到显示器上。

在各种实施方案中，方法10200还包括确定10210外科规程的步骤。在一个方面，系统可基于提供给该系统的任何数量的输入来确定外科规程的一个步骤，诸如当前正在发生的或不久即将发生的一个步骤。在一个方面，系统可使用态势感知模块来确定外科规程的步骤，该态势感知模块可从传感器、模块和装置接收各种量的信息，以便确定外科规程的步骤。

在各种实施方案中，方法10200还包括检测10215触发事件的发生。在一个方面，触发事件可以是本公开所述的可导致系统调节显示器上的叠加信息的任何数量的触发事件。

在各种实施方案中，方法10200还包括：基于触发事件的发生和外科规程的步骤，调节10120叠加的信息。在一个示例性实施方案中，系统可确定即将进行的外科规程步骤是外科缝合操作，并且触发事件是外科规程步骤的完成。系统可调节显示器以叠加关于即将进行的外科规程步骤的信息，诸如完成该外科规程步骤所需的钉仓的类型。在另一示例性实施方案中，系统可以确定外科规程的当前步骤是组织操纵步骤，并且触发事件是对组织所施加的力达到或超过力阈值。系统可调节显示器以叠加与达到或超过阈值相关的信息，诸如告知用户应当施加较小的压力。

本文所述主题的各种附加方面在以下编号的实施例中陈述：

实施例1：一种外科系统，包括：成像装置；显示器，所述显示器被配置为能够显示外科手术的外科视野的实况流，其中，所述实况流由所述成像装置捕获；和控制系统，所述控制系统可操作地耦接到所述成像装置和所述显示器，其中，所述控制系统被配置为能够将与所述外科规程相关联的信息叠加到所述实况流上；检测触发事件的发生；以及基于所述触发事件的发生，调节所叠加的信息。

实施例2：根据实施例1所述的外科系统，其中，所述控制系统被配置为能够监测与正在对其执行所述外科规程的患者相关联的参数，其中，所述触发事件包括所述参数的值达到或超过参数阈值。

实施例3：根据实施例1或2所述的外科系统，其中，控制电路被配置为能够监测与正在对其执行所述外科规程的患者相关联的参数，其中，所述触发事件包括所述参数的值的变化率达到或超过变化率阈值。

实施例4：根据实施例1-3中任一项所述的外科系统，还包括与外科医生相关联的外科装置，其中，所述触发事件包括由所述外科装置引起的事件。

实施例5：根据实施例1-4中任一项所述的外科系统，还包括与外科医生相关联的第一外科装置、与所述外科医生无关联的第二外科装置，其中，所述触发事件包括由所述第二外科装置引起的事件。

实施例6：根据实施例1-5中任一项所述的外科系统，其中，所述触发事件包括触发事件阈值，其中，所述控制系统被进一步配置为能够设置触发事件计数，检测部分触发事件，以及基于部分触发事件的发生，调节所述触发事件计数，其中，检测所述触发事件的发生包括检测所述触发事件计数达到或超过所述触发事件阈值。

实施例7：根据实施例6所述的外科系统，其中，所述部分触发事件包括正触发事件和负触发事件，并且其中，调节所述触发事件计数包括：基于正触发事件的发生，使所述触发事件计数增加；以及基于负触发事件的发生，使所述触发事件计数减少。

实施例8：根据实施例1-7中任一项所述的外科系统，还包括存储与对象相关联的数据的存储器，其中，所述控制系统被进一步配置为能够在所述实况流中识别出对象并且将所述对象与存储在所述存储器中的与对象相关联的所述数据进行比较，其中，所述触发事件包括从所述比较中识别出所述对象。

实施例9：根据实施例1-8中任一项所述的外科系统，还包括交互传感器，其中，所述触发事件包括用户与所述交互传感器交互。

实施例10：根据实施例1-9中任一项所述的外科系统，还包括外科器械，所述外科器械包括端部执行器，其中，所述控制系统被进一步配置为能够监测所述端部执行器的位置，并且其中，所述触发事件包括所述端部执行器到达某位置。

实施例11：根据实施例1-10中任一项所述的外科系统，其中，所述控制系统被配置为能够监测用户的位置，并且其中，所述触发事件包括所述用户到达某位置。

实施例12：根据实施例11所述的外科系统，其中，调节所叠加的信息包括叠加与所述位置相关联的信息。

实施例13：根据实施例12所述的外科系统，其中，与所述位置相关联的所叠加的信息包括与所述外科规程相关联的信息。

实施例14：根据实施例12或13所述的外科系统，还包括可操作地耦接到所述控制系统的态势感知模块，其中，所述控制系统被进一步配置为能够由所述态势感知模块来确定所述外科规程的步骤，并且其中，与所述位置相关联的所叠加的信息包括与所述外科规程的所述步骤相关联的信息。

实施例15：根据实施例12-14中任一项所述的外科系统，其中，与所述位置相关联的所叠加的信息包括基于用户输入的信息。

实施例16：根据实施例1-15中任一项所述的外科系统，还包括可操作地耦接到所述控制系统的态势感知模块，其中，所述控制系统被进一步配置为能够由所述态势感知模块来确定所述外科规程的步骤并且确定执行所述外科规程的所述步骤所需的部件，其中，所述触发事件包括所述控制系统确定执行所述外科规程的所述步骤所需的所述部件，并且其中，调节所叠加的信息包括提供所述部件能够位于何处的方向信息。

实施例17：根据实施例1-16中任一项所述的外科系统，其中，所述显示器包括第一显示器，其中，所述外科系统还包括第二显示器，并且其中，调节所叠加的信息包括将叠加的信息从所述第一显示器移动到所述第二显示器。

实施例18：一种外科系统，包括：成像装置；显示器，所述显示器被配置为能够显示外科规程的外科视野的实况流，其中，所述实况流由所述成像装置捕获；和控制系统，所述控制系统可操作地耦接到所述成像装置和所述显示器，其中，所述控制系统被配置为能够将与所述外科规程相关联的信息叠加到所述实况流上；设置触发事件计数；检测部分触发事件；基于部分触发事件的发生，调节所述触发事件计数；以及基于所述触发事件计数达到或超过触发事件阈值，调节所叠加的信息。

实施例19：根据实施例18所述的外科系统，其中，所述部分触发事件包括正触发事件和负触发事件，并且其中，调节所述触发事件计数包括：基于正触发事件的发生，使所述触发事件计数增加；以及基于负触发事件的发生，使所述触发事件计数减少。

实施例20：一种外科系统，包括：成像装置；显示器，所述显示器被配置为能够显示外科规程的外科视野的实况流，其中，所述实况流由所述成像装置捕获；态势感知模块；和控制系统，所述控制系统可操作地耦接到所述成像装置、所述显示器和所述态势感知模块，其中，所述控制系统被配置为能够将与所述外科规程相关联的信息叠加到所述实况流上；由所述态势感知模块来确定所述外科规程的步骤；检测触发事件的发生；以及基于所述触发事件的发生和所述外科规程的步骤，调节所叠加的信息。

尽管已举例说明和描述了多个形式，但是申请人的意图并非将所附权利要求的范围约束或限制在此类细节中。在不脱离该公开的范围的情况下，可实现对这些形式的许多修改、变型、改变、替换、组合和等同物，并且本领域技术人员将想到这些形式的许多修改、变型、改变、替换、组合和等同物。此外，另选地，可将与所描述的形式相关联的每个元件的结构描述为用于提供由所述元件执行的功能的器件。另外，在公开了用于某些部件的材料的情况下，也可使用其他材料。因此，应当理解，上述具体实施方式和所附权利要求旨在涵盖属于本发明所公开的形式范围内的所有此类修改、组合和变型。所附权利要求旨在涵盖所有此类修改、变型、改变、替换、修改和等同物。

上述具体实施方式已经由使用框图、流程图和/或示例阐述了装置和/或方法的各种形式。只要此类框图、流程图和/或示例包含一个或多个功能和/或操作，本领域的技术人员就要将其理解为此类框图、流程图和/或示例中的每个功能和/或操作都可以单独和/或共同地通过多种硬件、软件、固件或实际上它们的任何组合来实施。本领域的技术人员将会认识到，本文公开的形式中的一些方面可作为在一台或多台计算机上运行的一个或多个计算机程序(例如，作为在一个或多个计算机系统上运行的一个或多个程序)，作为在一个或多个处理器上运行的一个或多个程序(例如，作为在一个或多个微处理器上运行的一个或多个程序)，作为固件，或作为实际上它们的任何组合全部或部分地在集成电路中等效地实现，并且根据本公开，设计电路和/或编写软件和/或硬件的代码将在本领域技术人员的技术范围内。另外，本领域的技术人员将会认识到，本文所述主题的机制能够作为多种形式的一个或多个程序产品进行分布，并且本文所述主题的例示性形式适用，而不管用于实际进行分布的信号承载介质的具体类型是什么。

用于编程逻辑以执行各种所公开的方面的指令可存储在系统中的存储器内，诸如动态随机存取存储器(DRAM)、高速缓存、闪存存储器或其他存储器。此外，指令可经由网络或通过其他计算机可读介质来分发。因此，机器可读介质可包括用于存储或传输以机器(例如，计算机)可读形式的信息的任何机构，但不限于软盘、光学盘、光盘只读存储器(CD-ROM)、和磁光盘、只读存储器(ROM)、随机存取存储器(RAM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、磁卡或光卡、闪存存储器、或经由电信号、光学信号、声学信号或其他形式的传播信号(例如，载波、红外信号、数字信号等)在因特网上传输信息时使用的有形的、机器可读存储装置。因此，非暂态计算机可读介质包括适于以机器(例如，计算机)可读的形式存储或传输电子指令或信息的任何类型的有形机器可读介质。

如本文任一方面所用，术语“控制电路”可指例如硬连线电路、可编程电路(例如，计算机处理器，该计算机处理器包括一个或多个单独指令处理内核、处理单元，处理器、微控制器、微控制器单元、控制器、数字信号处理器(DSP)、可编程逻辑装置(PLD)、可编程逻辑阵列(PLA)、场可编程门阵列(FPGA))、状态机电路、存储由可编程电路执行的指令的固件、以及它们的任何组合。控制电路可以集体地或单独地实现为形成更大系统的一部分的电路，例如集成电路(IC)、专用集成电路(ASIC)、片上系统(SoC)、台式计算机、膝上型计算机、平板计算机、服务器、智能电话等。因此，如本文所用，“控制电路”包括但不限于具有至少一个离散电路的电子电路、具有至少一个集成电路的电子电路、具有至少一个专用集成电路的电子电路、形成由计算机程序配置的通用计算设备的电子电路(如，至少部分地实施本文所述的方法和/或设备的由计算机程序配置的通用计算机，或至少部分地实施本文所述的方法和/或设备的由计算机程序配置的微处理器)、形成存储器设备(如，形成随机存取存储器)的电子电路，和/或形成通信设备(如，调节解调器、通信开关或光电设备)的电子电路。本领域的技术人员将会认识到，可以模拟或数字方式或它们的一些组合实施本文所述的主题。

如本文的任何方面所用，术语“逻辑”可指被配置为能够执行前述操作中的任一者的应用程序、软件、固件和/或电路。软件可体现为记录在非暂态计算机可读存储介质上的软件包、代码、指令、指令集和/或数据。固件可体现为在存储器装置中硬编码(例如，非易失性)的代码、指令或指令集和/或数据。

如本文任一方面所用，术语“部件”、“系统”、“模块”等可指控制电路、计算机相关实体、硬件、硬件和软件的组合、软件或执行中的软件。

如本文任一方面中所用，“算法”是指导致所期望结果的有条理的步骤序列，其中“步骤”是指物理量和/或逻辑状态的操纵，物理量和/或逻辑状态可(但不一定)采用能被存储、转移、组合、比较和以其他方式操纵的电或磁信号的形式。常用于指这些信号，如位、值、元素、符号、字符、术语、数字等。这些和类似的术语可与适当的物理量相关联并且仅仅是应用于这些量和/或状态的方便的标签。

网络可包括分组交换网络。通信装置可能够使用所选择的分组交换网络通信协议来彼此通信。一个示例性通信协议可包括可能够允许使用传输控制协议/因特网协议(TCP/IP)进行通信的以太网通信协议。以太网协议可符合或兼容电气和电子工程师学会(IEEE)于2008年12月发布的名称为“IEEE 802.3Standard”的以太网标准和/或本标准的更高版本。另选地或附加地，通信装置可能够使用X.25通信协议彼此通信。X.25通信协议可符合或兼容由国际电信联盟电信标准化部门(ITU-T)发布的标准。另选地或附加地，通信装置可能够使用帧中继通信协议彼此通信。帧中继通信协议可符合或兼容由国际电报电话咨询委员会(CCITT)和/或美国国家标准学会(ANSI)发布的标准。另选地或附加地，收发器可能够使用异步传输模式(ATM)通信协议彼此通信。ATM通信协议可符合或兼容ATM论坛于2001年8月发布的名为“ATM-MPLS Network Interworking 2.0”的ATM标准和/或该标准的更高版本。当然，本文同样设想了不同的和/或之后开发的连接取向的网络通信协议。

除非上述公开中另外明确指明，否则可以理解的是，在上述公开中，使用术语如“处理”、“估算”、“计算”、“确定”、“显示”的讨论是指计算机系统或类似的电子计算装置的动作和进程，其操纵表示为计算机系统的寄存器和存储器内的物理(电子)量的数据并将其转换成相似地表示为计算机系统存储器或寄存器或其他此类信息存储、传输或显示装置内的物理量的其他数据。

一个或多个部件在本文中可被称为“被配置为能够”、“可配置为”、“可操作/可操作地”、“适于/可适于”、“能够”、“可适形/适形于”等。本领域的技术人员将会认识到，除非上下文另有所指，否则“被配置为能够”通常可涵盖活动状态的部件和/或未活动状态的部件和/或待机状态的部件。

术语“近侧”和“远侧”在本文中是相对于操纵外科器械的柄部部分的临床医生来使用的。术语“近侧”是指最靠近临床医生的部分，术语“远侧”是指远离临床医生定位的部分。还应当理解，为简洁和清楚起见，本文可结合附图使用诸如“竖直”、“水平”、“上”和“下”等空间术语。然而，外科器械在许多取向和方位中使用，并且这些术语并非是限制性的和/或绝对的。

本领域的技术人员将认识到，一般而言，本文、以及特别是所附权利要求(例如，所附权利要求的正文)中所使用的术语通常旨在为“开放”术语(例如，术语“包括”应解释为“包括但不限于”，术语“具有”应解释为“至少具有”，术语“包含”应解释为“包含但不限于”等)。本领域的技术人员还应当理解，如果所引入权利要求表述的具体数目为预期的，则此类意图将在权利要求中明确表述，并且在不存在此类叙述的情况下，不存在此类意图。例如，为有助于理解，下述所附权利要求可含有对介绍性短语“至少一个”和“一个或多个”的使用以引入权利要求。然而，对此类短语的使用不应视为暗示通过不定冠词“一个”或“一种”引入权利要求表述将含有此类引入权利要求表述的任何特定权利要求限制在含有仅一个这样的表述的权利要求中，甚至当同一权利要求包括介绍性短语“一个或多个”或“至少一个”和诸如“一个”或“一种”(例如，“一个”和/或“一种”通常应解释为意指“至少一个”或“一个或多个”)的不定冠词时；这也适用于对用于引入权利要求表述的定冠词的使用。

另外，即使明确叙述引入权利要求叙述的特定数目，本领域的技术人员应当认识到，此种叙述通常应解释为意指至少所叙述的数目(例如，在没有其他修饰语的情况下，对“两个叙述”的裸叙述通常意指至少两个叙述、或两个或更多个叙述)。此外，在其中使用类似于“A、B和C中的至少一者等”的惯例的那些情况下，一般而言，此类构造意在具有本领域的技术人员将理解所述惯例的意义(例如，“具有A、B和C中的至少一者的系统”将包括但不限于具有仅A、仅B、仅C、A和B一起、A和C一起、B和C一起和/或A、B和C一起等的系统)。在其中使用类似于“A、B或C中的至少一者等”的惯例的那些情况下，一般而言，此类构造意在具有本领域的技术人员将理解所述惯例的意义(例如，“具有A、B或C中的至少一者的系统”应当包括但不限于具有仅A、仅B、仅C、A和B一起、A和C一起、B和C一起和/或A、B和C一起等的系统)。本领域的技术人员还应当理解，通常，除非上下文另有指示，否则无论在具体实施方式、权利要求或附图中呈现两个或更多个替代术语的转折性词语和/或短语应理解为涵盖包括所述术语中的一者、所述术语中的任一个或这两个术语的可能性。例如，短语“A或B”通常将被理解为包括“A”或“B”或“A和B”的可能性。

对于所附的权利要求，本领域的技术人员将会理解，其中表述的操作通常可以任何顺序进行。另外，尽管以一个或多个序列出了各种操作流程图，但应当理解，可以不同于所示顺序的其他顺序执行各种操作，或者可同时执行所述各种操作。除非上下文另有规定，否则此类替代排序的示例可包括重叠、交错、中断、重新排序、增量、预备、补充、同时、反向，或其他改变的排序。此外，除非上下文另有规定，否则像“响应于”、“相关”这样的术语或其他过去式的形容词通常不旨在排除此类变体。

值得一提的是，任何对“一个方面”、“一方面”、“一范例”、“一个范例”的提及均意指结合所述方面所述的具体特征部、结构或特征包括在至少一个方面中。因此，在整个说明书的各种位置出现的短语“在一个方面”、“在一方面”、“在一范例中”、“在一个范例中”不一定都指同一方面。此外，具体特征部、结构或特征可在一个或多个方面中以任何合适的方式组合。

本说明书提及和/或在任何申请数据表中列出的任何专利申请，专利，非专利公布或其他公开材料均以引用方式并入本文，只要所并入的材料在此不一致。因此，并且在必要的程度下，本文明确列出的公开内容代替以引用方式并入本文的任何冲突材料。据称以引用方式并入本文但与本文列出的现有定义、陈述或其他公开材料相冲突的任何材料或其部分，将仅在所并入的材料与现有的公开材料之间不产生冲突的程度下并入。

概括地说，已经描述了由采用本文所述的概念产生的许多有益效果。为了举例说明和描述的目的，已经提供了一个或多个形式的上述具体实施方式。这些具体实施方式并非意图为详尽的或限定到本发明所公开的精确形式。可以按照上述教导内容对本发明进行修改或变型。选择和描述的一个或多个形式是为了说明原理和实际应用，从而使本领域的普通技术人员能够利用适用于预期的特定用途的各种形式和各种修改。与此一同提交的权利要求书旨在限定完整范围。

Claims (20)

1.一种外科系统，包括：

成像装置；

显示器，所述显示器被配置为能够显示外科规程的外科视野的实况流，其中，所述实况流由所述成像装置捕获；和

控制系统，所述控制系统可操作地耦接到所述成像装置和所述显示器，其中，所述控制系统被配置为能够：

将与所述外科规程相关联的信息叠加到所述实况流上；

检测触发事件的发生；以及

基于所述触发事件的所述发生，调节所叠加的信息。

2.根据权利要求1所述的外科系统，其中，所述控制系统被配置为能够监测与正在对其执行所述外科规程的患者相关联的参数，其中，所述触发事件包括所述参数的值达到或超过参数阈值。

3.根据权利要求1所述的外科系统，其中，控制电路被配置为能够监测与正在对其执行所述外科规程的患者相关联的参数，其中，所述触发事件包括所述参数的值的变化率达到或超过变化率阈值。

4.根据权利要求1所述的外科系统，还包括与外科医生相关联的外科装置，其中，所述触发事件包括由所述外科装置引起的事件。

5.根据权利要求1所述的外科系统，还包括：

与外科医生相关联的第一外科装置；和

与所述外科医生无关联的第二外科装置；

其中，所述触发事件包括由所述第二外科装置引起的事件。

6.根据权利要求1所述的外科系统，其中，所述触发事件包括触发事件阈值，其中，所述控制系统被进一步配置为能够：

设置触发事件计数；

检测部分触发事件；以及

基于部分触发事件的发生，调节所述触发事件计数；

其中，检测所述触发事件的发生包括检测所述触发事件计数达到或超过所述触发事件阈值。

7.根据权利要求6所述的外科系统，其中，所述部分触发事件包括正触发事件和负触发事件，并且其中，调节所述触发事件计数包括：

基于正触发事件的发生，使所述触发事件计数增加；以及

基于负触发事件的发生，使所述触发事件计数减少。

8.根据权利要求1所述的外科系统，还包括存储与对象相关联的数据的存储器，其中，所述控制系统被进一步配置为能够：

在所述实况流中识别出对象；以及

将所述对象与存储在所述存储器中的与对象相关联的所述数据进行比较；

其中，所述触发事件包括从所述比较中识别出所述对象。

9.根据权利要求1所述的外科系统，还包括交互传感器，其中，所述触发事件包括用户与所述交互传感器交互。

10.根据权利要求1所述的外科系统，还包括外科器械，所述外科器械包括端部执行器，其中，所述控制系统被进一步配置为能够监测所述端部执行器的位置，并且其中，所述触发事件包括所述端部执行器到达某位置。

11.根据权利要求1所述的外科系统，其中，所述控制系统被配置为能够监测用户的位置，并且其中，所述触发事件包括所述用户到达某位置。

12.根据权利要求11所述的外科系统，其中，调节所叠加的信息包括叠加与所述位置相关联的信息。

13.根据权利要求12所述的外科系统，其中，与所述位置相关联的所叠加的信息包括与所述外科规程相关联的信息。

14.根据权利要求12所述的外科系统，还包括可操作地耦接到所述控制系统的态势感知模块，其中，所述控制系统被进一步配置为能够由所述态势感知模块来确定所述外科规程的步骤，并且其中，与所述位置相关联的所叠加的信息包括与所述外科规程的所述步骤相关联的信息。

15.根据权利要求12所述的外科系统，其中，与所述位置相关联的所叠加的信息包括基于用户输入的信息。

16.根据权利要求1所述的外科系统，还包括可操作地耦接到所述控制系统的态势感知模块，其中，所述控制系统被进一步配置为能够：

由所述态势感知模块来确定所述外科规程的步骤；以及

确定执行所述外科规程的所述步骤所需的部件；

其中，所述触发事件包括所述控制系统确定执行所述外科规程的所述步骤所需的所述部件；并且

其中，调节所叠加的信息包括提供所述部件能够位于何处的方向信息。

17.根据权利要求1所述的外科系统，其中，所述显示器包括第一显示器，其中，所述外科系统还包括第二显示器，并且其中，调节所叠加的信息包括将叠加的信息从所述第一显示器移动到所述第二显示器。

18.一种外科系统，包括：

成像装置；

显示器，所述显示器被配置为能够显示外科规程的外科视野的实况流，其中，所述实况流由所述成像装置捕获；和

控制系统，所述控制系统可操作地耦接到所述成像装置和所述显示器，其中，所述控制系统被配置为能够：

将与所述外科规程相关联的信息叠加到所述实况流上；

设置触发事件计数；

检测部分触发事件；

基于部分触发事件的发生，调节所述触发事件计数；以及

基于所述触发事件计数达到或超过触发事件阈值，调节所叠加的信息。

19.根据权利要求18所述的外科系统，其中，所述部分触发事件包括正触发事件和负触发事件，并且其中，调节所述触发事件计数包括：

基于正触发事件的发生，使所述触发事件计数增加；以及

基于负触发事件的发生，使所述触发事件计数减少。

20.一种外科系统，包括：

成像装置；

显示器，所述显示器被配置为能够显示外科规程的外科视野的实况流，其中，所述实况流由所述成像装置捕获；

态势感知模块；和

控制系统，所述控制系统可操作地耦接到所述成像装置、所述显示器和所述态势感知模块，其中，所述控制系统被配置为能够：

将与所述外科规程相关联的信息叠加到所述实况流上；

由所述态势感知模块来确定所述外科规程的步骤；

检测触发事件的发生；以及

基于所述触发事件的所述发生和所述外科规程的所述步骤，调节所叠加的信息。