CN117546252A - 外科系统的适应性和可调节性或叠加器械信息 - Google Patents

Abstract

本发明公开了在外科规程期间使用的增强现实显示系统。该系统包括成像装置，该成像装置用于在该外科规程期间捕获外科区域的真实图像。增强现实显示器呈现与被主动可视化的外科器械的关键操作以及该外科器械与该外科区域中的组织的相互作用相关联的功能叠加数据。该功能数据被叠加到该外科区域的该真实图像上。该功能数据叠加是该外科器械的该关键操作以及该外科器械与该外科区域中的该组织的该相互作用的各方面的组合。处理器接收来自该外科器械的功能数据，确定与该外科器械的功能方面相关的叠加数据，并且将该外科区域中的该组织的方面与从该外科器械接收的该功能数据组合。

Description

外科系统的适应性和可调节性或叠加器械信息

相关申请的交叉引用

本申请根据35U.S.C.§119(e)要求2021年4月14日提交的名称为“HEADS UPDISPLAY”的美国临时专利申请号63/174,674和2021年11月30日提交的名称为“INTRAOPERATIVE DISPLAY FOR SURGICAL SYSTEMS”的美国临时专利申请号63/284,326的权益，这些美国临时专利申请中的每一者的公开内容全文以引用方式并入本文。

背景技术

本公开涉及用于在外科规程期间提供增强现实交互式体验的设备、系统和方法。在外科规程期间，希望提供真实世界环境的增强现实交互式体验，其中驻留在真实世界中的对象通过叠加计算机生成的感知信息(有时跨多个感知模态，包括视觉、听觉、触觉、躯体感觉和嗅觉)来增强。在本公开的上下文中，通过将计算机生成的视觉、听觉、触觉、躯体感觉、嗅觉或其他感觉信息叠加在外科视野及外科视野中出现的器械或其他对象的真实世界图像上，由此增强外科视野及外科视野中出现的外科器械和其他对象的图像。图像可被实时流式传输，或可为静止图像。

真实世界的外科器械包括多种外科装置。基于能量的外科装置包括但不限于基于射频(RF)的单极和双极电外科器械、超声外科器械、组合式RF电外科和超声器械、组合式RF电外科和机械缝合器等。外科缝合器装置是用于在包括减肥、胸部、结肠直肠、妇科、泌尿科和普通手术的多种外科规程中切割和缝合组织的器械。

发明内容

在各种情况下，本公开提供了用于在外科规程期间使用的增强现实显示系统。增强现实显示系统包括用于在外科规程期间捕获外科区域的真实图像的成像装置。增强现实显示器呈现与被主动可视化的外科器械的关键操作以及外科器械与外科区域中的组织的相互作用相关联的功能数据叠加。功能数据被叠加到外科区域的真实图像上。功能数据叠加是外科器械的关键操作以及外科器械与外科区域中的组织的相互作用的各方面的组合。处理器接收来自外科器械的功能数据，确定与外科器械的功能方面相关的叠加数据，并且将外科区域中的组织的方面与从外科器械接收的功能数据组合。

在各种情况下，本公开提供了用于在外科规程期间使用的增强现实显示系统。增强现实显示系统包括用于在外科规程期间捕获外科区域的真实图像的成像装置。增强现实显示器呈现与被主动可视化的外科器械的参数以及外科器械与外科区域中的组织的相互作用相关联的功能数据叠加。功能数据被叠加到外科区域的真实图像上，并且其中功能数据叠加是外科器械的参数以及外科器械与外科区域中的组织的相互作用的各方面的组合。处理器接收来自外科器械的功能数据，确定与外科器械的功能方面相关的叠加数据，并且将外科区域中的组织的方面与从外科器械接收的功能数据组合。

在各种情况下，本公开提供了一种系统，该系统包括用于在外科规程期间使用的增强现实显示系统，该增强现实显示系统包括：成像装置，该成像装置用于在外科规程期间捕获外科区域的真实图像；增强现实显示器，该增强现实显示器呈现与外科器械相关联的功能数据叠加；能量发生器，该能量发生器耦接到外科器械。外科器械在外科规程期间采用射频(RF)能量和超声能量。外科集线器耦接到能量发生器和增强现实显示器。外科集线器向增强现实显示器提供外科区域的实时馈送以显示外科区域的实时馈送。增强现实显示器显示外科区域、外科器械和面板叠加的视图，以显示特定于外科器械的关键操作或参数以及外科器械与外科区域中的组织的相互作用的信息。

附图说明

通过参考以下结合如下附图所作的说明可最好地理解本文所述的各种方面(有关手术组织和方法两者)及其进一步的目的和优点。

图1是根据本公开的一个方面的计算机实现的交互式外科系统的框图。

图2是根据本公开的一个方面的用于在手术室中执行外科规程的外科系统。

图3是根据本公开的一个方面的与可视化系统、机器人系统和智能器械配对的外科集线器。

图4示出了根据本公开的一个方面的外科数据网络，该外科数据网络包括模块化通信集线器，该模块化通信集线器被配置为能够将位于医疗设施的一个或多个手术室中或医疗设施中专门为外科操作配备的任何房间的模块化装置连接到云。

图5示出了根据本公开的一个方面的计算机实现的交互式外科系统。

图6示出了根据本公开的一个方面的包括耦接到模块化控制塔的多个模块的外科集线器。

图7示出了根据本公开的一个方面的增强现实(AR)系统，该系统包括被定位在成像模块和外科集线器显示器之间的通信路径中的中间信号组合器。

图8示出了根据本公开的一个方面的增强现实(AR)系统，该系统包括被定位在成像模块和外科集线器显示器之间的通信路径中的中间信号组合器。

图9示出了根据本公开的一个方面的由外科医生佩戴的用以将数据传送到外科集线器的增强现实(AR)装置。

图10示出了根据本公开的一个方面的用于使用增强现实显示器来增强外科器械信息的系统。

图11是根据本公开的一个方面的在微创外科规程规程期间通过腹腔镜相机可视化的外科区域的实时馈送的增强图像，其指示作为组织方面的在外科器械端部执行器的钳口之间捕获的适当组织。

图12是根据本公开的一个方面的在微创外科规程规程期间通过腹腔镜相机可视化的外科区域的实时馈送的增强图像，其指示作为组织方面的在外科器械端部执行器之间近侧地捕获的组织位置。

图13是根据本公开的一个方面的在微创外科规程规程期间通过腹腔镜相机可视化的外科区域的实时馈送的增强图像，其指示作为组织方面的在外科器械端部执行器的钳口之间不充分捕获的组织。

图14是根据本公开的一个方面的在微创外科规程规程期间通过腹腔镜相机可视化的外科区域的实时馈送的另一增强图像，其指示作为组织方面的在外科器械端部执行器的钳口之间不充分捕获的组织。

图15是根据本公开的一个方面的在微创外科规程规程期间通过腹腔镜相机可视化的外科区域的实时馈送的另一增强图像，其指示作为组织方面的在外科器械端部执行器的钳口之间不充分捕获的组织。

图16是根据本公开的至少一个方面的在微创外科规程期间通过腹腔镜相机可视化的外科区域的实时馈送的增强图像，其指示作为组织方面的组织张力。

图17是根据本公开的一个方面的在微创外科规程期间通过腹腔镜相机可视化的外科区域的实时馈送的另一增强图像，其指示作为组织方面的组织张力。

图18是根据本公开的一个方面的指示作为如图11至图17所示的外科器械的操作方面的钳口闭合位置的多个图形图像。

图19是根据本公开的一个方面的在微创外科规程期间通过腹腔镜相机可视化的外科区域的实时馈送的增强图像，其指示作为外科器械的操作方面的钳口闭合位置。

图20是根据本公开的一个方面的图19所示的外科区域的实时馈送的增强图像，其示出了完全闭合的外科器械端部执行器和示出重叠在端部执行器上的钳口闭合位置的图形警报叠加。

图21是根据本公开的一个方面的在微创外科规程期间通过腹腔镜相机可视化的外科区域的实时馈送的增强图像，其指示作为外科器械的操作方面的夹紧金属或异物。

图22是根据本公开的一个方面的在微创外科规程期间通过腹腔镜相机可视化的外科区域的实时馈送的增强图像，其指示其中过热是外科器械的操作方面的装置余热警告。

图23是根据本公开的一个方面的在微创外科规程期间通过腹腔镜相机可视化的外科区域的实时馈送的增强图像，其指示组织移动和流动是组织方面。

图24是根据本公开的一个方面的在微创外科规程期间通过腹腔镜相机可视化的外科区域的实时馈送的增强图像，其指示横切与组织和其他击发的几何关系是组织方面。

图25是示出根据本公开的一个方面的作为外科器械的操作方面的砧座定向通信的图像。

图26是示出根据本公开的一个方面的外科器械端部执行器的钳口中的检测到的组织厚度的图像，其中组织厚度是组织方面。

图27是根据本公开的一个方面的超声器械的温度梯度显示图形的图像。

图28是根据本公开的一个方面的超声器械的温度图标显示图形的图像。

图29是根据本公开的一个方面的映射到端部执行器钳口位置的超声刀温度图形元素的图像。

图30是根据本公开的一个方面的超声发生器功率水平显示图形的图像。

图31是根据本公开的一个方面的具有弹出警告图形的超声发生器功率水平显示图形的图像，其指示超声端部执行器钳口被过度填充。

图32是根据本公开的一个方面的具有弹出警告图形的超声发生器功率水平显示图形的图像，其指示超声端部执行器钳口变热。

图33是根据本公开的一个方面的具有弹出警告图形的电外科发生器显示图形的图像，其指示电外科密封质量预测。

图34是根据本公开的一个方面的外科缝合器再装载反馈的图像。

图35是根据本公开的一个方面的外科缝合器预压缩倒计时的图像。

图36是根据本公开的一个方面的手术间的系统图，该手术间包括具有外科区域的术中数据显示的外科监视器。

图37是根据本公开的一个方面的在微创外科规程期间通过腹腔镜相机可视化的外科区域的实时馈送的增强图像，其显示在术中数据显示上。

图38是根据本公开的一个方面的图37所示的病例信息面板叠加的详细视图。

图39是根据本公开的一个方面的图37所示的系统通知面板叠加的详细视图。

图40是根据本公开的一个方面的系统通知面板叠加的若干示例的图像。

图41是根据本公开的一个方面的图37所示的装置面板叠加的详细视图。

图42是根据本公开的一个方面的在微创外科规程期间通过腹腔镜相机可视化的外科区域的实时馈送的增强图像，其显示在术中数据显示上。

图43是根据本公开的一个方面的能量装置图像面板架构的示意图。

图44是根据本公开的一个方面的处于堆叠配置的辅助装置警报/警告/信息的图像。

图45是根据本公开的一个方面的处于展开配置的辅助装置警报/警告/信息的图像。

图46是根据本公开的一个方面的器械状态图像面板，其示出了器械面板状态如何动态地改变以示出诸如装置激活或功率水平调节的状态变化。

图47是根据本公开的一个方面的将发生器警报和警告转移到腹腔镜监视器并且显示在本地界面上的系统图。

图48是根据本公开的一个方面的在电流发生器上示出的被传输到外科集线器的现有警报的一系列屏幕的图，该外科集线器然后将它们作为一系列屏幕显示在本地界面上。

图49是根据本公开的一个方面的包括与数字集线器通信的发生器的系统的示意图，该数字集线器然后在诸如腹腔镜屏幕的本地界面上显示屏幕数据和警报数据。

图50是根据本公开的一个方面的在微创外科规程期间通过腹腔镜相机可视化的外科区域的实时馈送的增强图像，其显示在术中数据显示上。

图51是根据本公开的一个方面的显示屏幕，其示出了包括辅助底部边缘可配置面板的术中数据显示。

图52是根据本公开的一个方面的另选底部边缘可配置面板。

图53是示出根据本公开的一个方面的包括辅助左上角可配置面板的术中数据显示的显示屏幕。

图54是示出根据本公开的一个方面的包括辅助顶部中心可配置面板的术中数据显示的显示屏幕。

图55是示出根据本公开的一个方面的包括辅助侧边缘可配置面板的术中数据显示的显示屏幕。

图56是根据本公开的一个方面的显示装置故障排除信息的一系列图像面板。

图57是根据本公开的一个方面的显示关节运动式外科缝合器特征的一系列图像面板。

图58是根据本公开的一个方面的显示已经达到关节运动极限的警报/警告/信息图像面板。

图59是根据本公开的一个方面的显示装置处于锁定模式的警报/警告/信息图像面板。

图60是根据本公开的一个方面的显示当钳口闭合时装置不能进行关节运动的警报/警告/信息图像面板。

图61是根据本公开的一个方面的示出关节运动式外科缝合器特征的装置图像面板。

图62是根据本公开的一个方面的以具有装置警报的堆叠配置显示的堆叠警报/警告/信息图像面板，其显示已经达到关节运动极限。

图63是根据本公开的一个方面的包括外科缝合器的系统的示意图，该外科缝合器通过蓝牙与数字集线器通信以执行用于图57和图61所示的倒计时定时器图像面板的算法。

图64是根据本公开的一个方面的显示超声器械特征的一系列装置图像面板/警报。

图65是根据本公开的一个方面的描述配对外科缝合器器械的图。

图66是根据本公开的一个方面的显示配对装置信息的屏幕的图像。

图67是根据本公开的一个方面的包括用于配对无线装置的唯一标识符的无线外科装置的图像。

图68是根据本公开的一个方面的显示到最佳装置性能(ODP)指南图像或其他电子使用说明(e-IFU)的链接的屏幕的图像。

图69是根据本公开的一个方面的增强现实方法的图，该增强现实方法采用用于在外科规程期间使用的外科器械和增强现实显示器。

图70是根据本公开的一个方面的增强现实方法的图，该增强现实方法采用用于在外科规程期间使用的外科器械和增强现实显示器。

图71是根据本公开的一个方面的增强现实方法的图，该增强现实方法采用用于在外科规程期间使用的外科器械和增强现实显示器。

图72是根据本公开的一个方面的显示定制叠加信息的工作人员视图屏幕的图像。

图73是根据本公开的一个方面的显示详细定制弹出信息的工作人员视图屏幕的图像。

图74是根据本公开的一个方面的显示工作人员视图故障排除弹出信息的工作人员视图屏幕的图像。

图75是根据本公开的一个方面的显示主手术显示交互的主手术显示交互屏幕的图像。

图76示出了根据本公开的一个方面的态势感知外科规程的时间轴。

在若干视图中，对应的参考符号指示对应的零件。本文所述的范例以一种形式示出了各种公开的实施方案，并且此类范例不应被解释为以任何方式限制本发明的范围。

具体实施方式

本申请的申请人拥有与之同时提交的以下美国专利申请，这些专利申请中的每一者的公开内容全文以引用方式并入本文：

●名称为“METHOD FOR INTRAOPERATIVE DISPLAY FORSURGICAL SYSTEMS”的美国专利申请；代理人案卷END9352USNP1/210120-1M号；

·名称为“UTILIZATION OF SURGICAL DATA VALUES AND SITUATIONALAWARENESS TO CONTROL THE OVERLAY IN SURGICAL FIELDVIEW”的美国专利申请；代理人案卷END9352USNP2/210120-2号；

·名称为“SELECTIVE AND ADJUSTABLE MIXED REALITY OVERLAY IN SURGICALFIELDVIEW”的美国专利申请；代理人案卷END9352USNP3/210120-3号；

·名称为“RISK BASED PRIORITIZATION OF DISPLAY ASPECTS IN SURGICALFIELDVIEW”的美国专利申请；代理人案卷END9352USNP4/210120-4号；

·名称为“SYSTEMS AND METHODS FOR CONTROLLING SURGICAL DATA OVERLAY”的美国专利申请；代理人案卷END9352USNP5/210120-5号；

·名称为“SYSTEMS AND METHODS FOR CHANGING DISPLAY OVERLAY OF SURGICALFIELDVIEW BASED ON TRIGGERING EVENTS”的美国专利申请；代理人案卷END9352USNP6/210120-6号；

·名称为“CUSTOMIZATION OF OVERLAID DATA AND CONFIGURATION”的美国专利申请；代理人案卷END9352USNP7/210120-7号；

·名称为“INDICATION OF THE COUPLE PAIR OF REMOTE CONTROLS WITH REMOTEDEVICES FUNCTIONS”的美国专利申请；代理人案卷END9352USNP8/210120-8号；

·名称为“COOPERATIVE OVERLAYS OF INTERACTING INSTRUMENTS WHICH RESULTIN BOTH OVERLAYS BEING EFFECTED”的美国专利申请；代理人案卷END9352USNP9/210120-9号；

●名称为“ANTICIPATION OF INTERACTIVE UTILIZATIONOF COMMON DATAOVERLAYS BY DIFFERENT USERS”的美国专利申请；代理人案卷END9352USNP10/210120-10号；

●名称为“MIXING DIRECTLY VISUALIZED WITHRENDERED ELEMENTS TO DISPLAYBLENDEDELEMENTS AND ACTIONS HAPPENING ON-SCREENAND OFF-SCREEN”的美国专利申请；代理人案卷END9352USNP11/210120-11号；

●名称为“SYSTEM AND METHOD FOR TRACKING APORTION OF THE USER AS APROXY FOR NON-

MONITORED INSTRUMENT”的美国专利申请；代理人案卷END9352USNP12/210120-12号；

●名称为“UTILIZING CONTEXTUAL PARAMETERS OF ONEOR MORE SURGICALDEVICES TO PREDICT AFREQUENCY INTERVAL FOR DISPLAYING SURGICALINFORMATION”的美国专利申请；代理人案卷END9352USNP13/210120-13号；

●名称为“COOPERATION AMONG MULTIPLE DISPLAYSYSTEMS TO PROVIDE AHEALTHCARE USERCUSTOMIZED INFORMATION”的美国专利申请；代理人案卷END9352USNP14/210120-14号；

●名称为“INTRAOPERATIVE DISPLAY FOR SURGICALSYSTEMS”的美国专利申请；代理人案卷END9352USNP15/210120-15号；以及

●名称为“MIXED REALITY FEEDBACK SYSTEMS THATCOOPERATE TO INCREASEEFFICIENT PERCEPTION OFCOMPLEX DATA FEEDS”的美国专利申请；代理人案卷END9352USNP17/210120-17号。

本申请的申请人拥有以下美国专利申请，这些专利申请中的每一者的公开内容全文以引用方式并入本文：

·名称为“METHOD OF COMPRESSING TISSUE WITHIN A STAPLING DEVICE ANDSIMULTANEOUSLY DISPLAYING THE LOCATION OF THE TISSUE WITHIN THE JAWS”的美国专利申请号16/209,423，现为美国专利申请公布号US-2019-0200981-A1；

·名称为“METHOD FOR CONTROLLING SMART ENERGY DEVICES”的美国专利申请号16/209,453，现为美国专利申请公布号US-2019-0201046-A1。

在详细说明外科装置和发生器的各个方面之前，应该指出的是，例示性示例的应用或使用并不局限于附图和具体实施方式中所示出的零件的构造和布置的细节。例示性示例可单独实施，或与其他方面、变更形式和修改形式结合在一起实施，并可以各种方式实践或执行。此外，除非另外指明，否则本文所用的术语和表达是为了方便读者而对例示性示例进行描述而所选的，并非为了限制性的目的。而且，应当理解，以下描述的方面中的一个或多个、方面和/或示例的表达可以与以下描述的其他方面、方面和/或示例的表达中的任何一个或多个组合。

各种方面涉及用于各种基于能量和外科缝合器的医疗装置的外科系统的屏幕显示。基于能量的医疗装置包括但不限于基于射频(RF)的单极和双极电外科器械、超声外科器械、组合式RF电外科和超声器械、组合式RF电外科和机械缝合器等。外科缝合器装置包括具有电外科装置和/或超声装置的组合式外科缝合器。超声外科装置的各方面可被配置用于例如在外科规程期间横切和/或凝固组织。电外科装置的各方面可被配置用于例如在外科规程期间横切、凝固、定标、焊接和/或干燥组织。外科缝合器装置的各方面可被配置用于在外科规程期间横切和缝合组织，并且在一些方面，外科缝合器装置可被配置为能够在外科规程期间向组织递送RF能量。电外科装置被配置为能够向组织递送治疗和/或非治疗RF能量。外科缝合器装置、电外科装置和超声装置的元件可在单个外科器械中组合使用。

在各种方面，本公开在外科规程期间向OR团队提供实时信息的屏幕显示。根据本公开的各种方面，提供了许多新的和独特的屏幕显示以在屏幕上向OR团队显示各种视觉信息反馈。根据本公开，视觉信息可包括一个或多个有声或无声的各种视觉媒体。一般来讲，视觉信息包括静态摄影、电影摄影、视频或音频录制、图形艺术、视觉辅助、模型、显示、视觉呈现服务和支持过程。视觉信息可在任何数量的显示选项上传送，诸如例如主OR屏幕、能量或外科缝合器装置本身、平板计算机、增强现实眼镜等。

在各种方面，本公开提供大量可能的选项列表以实时地将视觉信息传送给OR团队，而不将过多视觉信息提供给OR团队。例如，在各种方面，本公开提供视觉信息的屏幕显示，以使得外科医生或OR团队的其他成员能够选择性地激活屏幕显示，诸如围绕屏幕选项的图标，以管理大量视觉信息。可使用各种因素中的一者或组合来确定活动显示，这些因素可包括使用中的基于能量(例如，电外科、超声)或基于机械(例如，缝合器)的外科装置、估计与给定显示相关联的风险、外科医生的经验程度以及外科医生的选择等。在其他方面，视觉信息可包括叠加或重叠到外科视野中以管理视觉信息的大量数据。在下文描述的各种方面，包括需要视频分析和跟踪的重叠图像以便适当地叠加数据。与静态图标相反，以此方式传送的视觉信息数据可以更简明且更容易理解的方式向OR团队提供另外的有用视觉信息。

在各种方面，本公开提供用于选择性地激活诸如围绕屏幕的图标的屏幕显示以在外科规程期间管理视觉信息的技术。在其他方面，本公开提供用于使用各种因素中的一者或组合来确定活动显示的技术。在各种方面，根据本公开的技术可包括选择用作活动显示的基于能量或基于机械的外科装置、估计与给定显示相关联的风险、利用做出选择的外科医生或OR团队的经验程度等。

在其他方面，根据本公开的技术可包括将大量数据叠加或重叠到外科视野上以管理视觉信息。本公开所述的多种显示布置涉及将外科数据的各种视觉表示叠加在外科视野的实况流上。如本文所用，术语叠加包括半透明叠加、部分叠加和/或移动叠加。图形叠加可为透明图形、半透明图形或不透明图形的形式，或者为透明、半透明和不透明元素或效果的组合。此外，叠加可定位在外科视野中的对象(诸如例如端部执行器和/或关键外科结构)上或至少部分地定位在其上或定位在其附近。某些显示布置可包括叠加的一个或多个显示元素的变化，包括基于显示优先级值的变化的颜色、大小、形状、显示时间、显示位置、显示频率、突出显示或它们的组合的变化。图形叠加渲染在活动显示监测器的顶部上以将重要信息快速高效地传送给OR团队。

在其他方面，根据本公开的技术可包括需要分析视频和跟踪的重叠图像以便适当地叠加视觉信息数据。在其他方面，根据本公开的技术可包括传送丰富的视觉信息，而不是简单的静态图标，从而以更简明且易于理解的方式向OR团队提供另外的视觉信息。在其他方面，视觉叠加可与可听和/或躯体感觉叠加(诸如热装置、化学装置和机械装置以及它们的组合)组合使用。

以下描述整体涉及在外科规程期间提供增强现实(AR)交互式体验的设备、系统和方法。在该上下文中，通过将计算机生成的视觉、听觉、触觉、躯体感觉、嗅觉或其他感觉信息叠加在外科视野、外科视野中出现的器械和/或其他对象的真实世界图像上，由此增强外科视野及外科视野中出现的外科器械和其他对象的图像。图像可被实时流式传输，或可为静止图像。增强现实是用于渲染和显示叠加在真实环境上的虚拟或“增强”虚拟对象、数据或视觉效果的技术。真实环境可包括外科视野。叠加在真实环境上的虚拟对象可表示为相对于真实环境的一个或多个方面锚定或处于设定位置。在非限制性示例中，如果真实世界对象离开真实环境视野，则锚定到真实世界对象的虚拟对象也将离开增强现实视野。

本公开所述的多种显示布置涉及将外科数据的各种视觉表示叠加在外科视野的实况流上。如本文所用，术语叠加包括半透明叠加、部分叠加和/或移动叠加。此外，叠加可定位在外科视野中的对象(诸如例如端部执行器和/或关键外科结构)上或至少部分地定位在其上或定位在其附近。某些显示布置可包括叠加的一个或多个显示元素的变化，包括基于显示优先级值的变化的颜色、大小、形状、显示时间、显示位置、显示频率、突出显示或它们的组合的变化。

如本文所述，AR是真实物理世界的增强版本，通过使用经由技术递送的数字视觉元素、声音或其他感官刺激来实现。虚拟现实(VR)是计算机生成的环境，具有看起来真实的场景和对象，使得用户感觉自己沉浸在其周围环境中。该环境通过被称为虚拟现实头戴式耳机或头盔的装置来感知。混合现实(MR)和AR都被视为沉浸式技术，但它们不是相同的。MR是混合现实的扩展，允许真实元素和虚拟元素在环境中交互。虽然AR经常通过使用相机将数字元素添加到实时视图，但MR体验组合了AR和VR两者的元素，真实世界和数字对象在其中交互。

在AR环境中，一个或多个计算机生成的虚拟对象可与一个或多个真实(即，所谓的“真实世界”)元素一起显示。例如，周围环境的实时图像或视频可与一个或多个叠加的虚拟对象一起显示在计算机屏幕显示器上。此类虚拟对象可提供与环境有关的补充信息或通常增强用户对环境的感知和参与。相反，周围环境的实时图像或视频可附加地或另选地增强用户与显示器上示出的虚拟对象的参与。

本公开的上下文中的设备、系统和方法增强在外科规程期间从一个或多个成像装置接收到的图像。成像装置可包括在无创和微创外科规程期间使用的各种内窥镜、AR装置和/或相机以在开放式外科规程期间提供图像。图像可被实时流式传输，或可为静止图像。这些设备、系统和方法通过将虚拟对象或数据和/或真实对象的表示叠加在真实外科环境上来增强真实世界外科环境的图像，从而提供增强现实交互式体验。可在允许用户查看真实世界外科环境上的所叠加虚拟对象的显示器和/或AR装置上查看增强现实体验。显示器可位于手术室中或远离手术室。AR装置佩戴在外科医生或其他手术室人员头上，并且通常包括两个立体显示镜片或屏幕，包括用于用户的每只眼睛的一个立体显示镜片或屏幕。自然光能够穿过两个透明或半透明显示镜片，使得真实环境的各方面是可见的，同时也投射光以使得虚拟对象对AR装置的用户可见。

可以协调方式使用两个或多个显示器及AR装置，例如第一显示器或AR装置控制以所定义角色控制系统中的一个或多个另外的显示器或AR装置。例如，当激活显示器或AR装置时，用户可选择角色(例如，外科规程期间的外科医生、外科助手、护士等)并且显示器或AR装置可显示与该角色相关的信息。例如，外科助手可具有所显示器械的虚拟表示，外科医生在执行外科规程的下一步骤时需要该虚拟表示。外科医生对当前步骤的关注可能看到与外科助手不同的显示信息。

尽管存在许多已知的屏幕显示和警告，但本公开在外科规程期间提供许多新的和独特的增强现实交互式体验。此类增强现实交互式体验包括对手术室内部或外部的外科团队的视觉、听觉、触觉、躯体感觉、嗅觉或其他感官反馈信息。可将叠加在真实世界外科规程环境上的虚拟反馈信息提供给手术室(OR)团队，包括OR内部的人员，包括但不限于例如执刀外科医生、外科医生助手、擦洗人员、麻醉医生和巡回护士等。虚拟反馈信息可在任何数量的显示选项上传送，诸如主OR屏幕显示、AR装置、能量或外科缝合器器械、平板计算机、增强现实眼镜、装置等。

图1示出了计算机实现的交互式外科系统1，其包括一个或多个外科系统2和基于云的系统4。基于云的系统4可包括耦接到存储装置5的远程服务器13。每个外科系统2包括与云4通信的至少一个外科集线器6。例如，外科系统2可包括可视化系统8、机器人系统10和手持式智能外科器械12，每一者被配置为能够彼此通信并且/或者与集线器6通信。在一些方面，外科系统2可包括M个集线器6、N个可视化系统8、O个机器人系统10和P个手持式智能外科器械12，其中M、N、O和P为大于或等于1的整数。计算机实现的交互式外科系统1可被配置为能够在如本文所述的外科规程期间提供增强现实交互式体验。

图2示出了对平躺在外科手术室16中的手术台14上的患者执行外科规程的外科系统2的示例。机器人系统10在外科规程中用作外科系统2的一部分。机器人系统10包括外科医生的控制台18、患者侧推车20(外科机器人)和外科机器人集线器22。当外科医生通过外科医生的控制台18或外科医生佩戴的增强现实(AR)装置66观察外科部位时，患者侧推车20可通过患者体内的微创切口来操纵至少一个可移除地耦接的外科工具17。微创手术规程的外科部位的图像(例如，静止图像或实时的流式传输实况图像)可通过医学成像装置24获得。患者侧推车20可操纵成像装置24以将成像装置24取向。开放式外科规程的图像可通过医学成像装置96获得。机器人集线器22处理外科部位的图像以供后续显示在外科医生的控制台18或外科医生佩戴的AR装置66上或显示给外科手术室16中的其他人员。

成像装置24、96或AR装置66的光学部件可包括一个或多个照明源和/或一个或多个镜片。一个或多个照明源可被引导以照明外科场地的多部分。一个或多个图像传感器可接收从外科视野中的组织和器械反射或折射的光。

在各种方面，成像装置24被配置用于微创外科规程中。适用于本公开的成像装置的示例包括但不限于关节镜、血管镜、支气管镜、胆道镜、结肠镜、细胞检查镜、十二指镜、肠窥镜、食道-十二指肠镜(胃镜)、内窥镜、喉镜、鼻咽-肾内窥镜、乙状结肠镜、胸腔镜和子宫内窥镜。在各种方面，成像装置96被配置用于开放式(侵入式)外科规程中。

在各种方面，可视化系统8包括一个或多个成像传感器、一个或多个图像处理单元、一个或多个存储阵列以及一个或多个显示器，该一个或多个显示器相对于无菌区进行策略布置。在一个方面，可视化系统8包括用于HL7、PACS和EMR的界面。在一个方面，成像装置24可采用多光谱监测来辨别形貌和底层结构。多光谱图像捕获电磁波谱上的特定波长范围内的图像数据。通过滤波器或对特定波长敏感的器械来分离波长，特定波长包括来自可见光范围之外的频率的光，例如IR和紫外。光谱成像可提取人眼不可见的信息。多光谱监测可在完成外科任务之后重新定位外科视野，以对处理过的组织执行测试。

图2示出了主显示器19定位在无菌区中，以对在手术台14处的操作者可见。可视化塔11定位在无菌区外并且包括彼此背对的第一非无菌显示器7和第二非无菌显示器9。由集线器6引导的可视化系统8被配置为能够利用显示器7、9、19来将信息流协调到无菌区内部和外部的操作者。例如，集线器6可使可视化系统8显示由非无菌显示器7、9上的成像装置24、96或通过AR装置66记录的外科部位的AR图像，同时保持外科部位在主显示器19或AR装置66上的实时馈送。例如，非无菌显示器7、9可允许非无菌操作者执行与外科规程相关的诊断步骤。

图3示出了与可视化系统8、机器人系统10和手持式智能外科器械12通信的外科集线器6。集线器6包括集线器显示器35、成像模块38、发生器模块40、通信模块30、处理器模块32、存储阵列34和手术室标测模块33。集线器6还包括排烟模块26和/或抽吸/冲洗模块28。在各种方面，成像模块38包括AR装置66并且处理器模块32包括集成式视频处理器和增强现实建模器(例如，如图10中所示)。模块化光源可适于与各种成像装置一起使用。在各种示例中，可将多个成像装置放置在外科视野中的不同位置处以提供多个视图(例如，无创、微创、侵入式或开放式外科规程)。成像模块38可被配置为能够在成像装置之间切换以提供最佳视图。在各种方面，成像模块38可被配置为能够整合来自不同成像装置的图像并且在如本文所述的外科规程期间提供增强现实交互式体验。

图4示出了包括模块化通信集线器53的外科数据网络51，该模块化通信集线器被配置为能够将位于医疗设施的一个或多个手术室/房间中的模块化装置连接到基于云的系统。云54可包括耦接到存储装置55的远程服务器63(图5)。模块化通信集线器53包括与网络路由器61通信的网络集线器57和/或网络交换机59。模块化通信集线器53耦接到本地计算机系统60以处理数据。位于手术室中的模块化装置1a-1n可耦接到模块化通信集线器53。网络集线器57和/或网络交换机59可耦接到网络路由器61以将装置1a-1n连接至云54或本地计算机系统60。与装置1a-1n相关联的数据可经由路由器传输到基于云的计算机，用于远程数据处理和操纵。手术室装置1a-1n可通过有线信道或无线信道连接到模块化通信集线器53。外科数据网络51环境可用于在如本文所述的外科规程期间提供增强现实交互式体验，并且具体地将外科视野中的增强图像提供给一个或多于一个远程显示器58。

图5示出了计算机实现的交互式外科系统50。计算机实现的交互式外科系统50在许多方面类似于计算机实现的交互式外科系统1。计算机实现的交互式外科系统50包括在许多方面类似于外科系统2的一个或多个外科系统52。每个外科系统52包括与可包括远程服务器63的云54通信的至少一个外科集线器56。在一个方面，计算机实现的交互式外科系统50包括模块化控制塔23，该模块化控制塔连接到多个手术室装置，诸如例如智能外科器械、机器人和位于手术室中的其他计算机化装置。如图6中所示，模块化控制塔23包括耦接到计算机系统60的模块化通信集线器53。

返回图5，模块化控制塔23耦接到成像模块38(其耦接到内窥镜98)、发生器模块27(其耦接到能量装置99)、排烟器模块76、抽吸/冲洗模块78、通信模块13、处理器模块15、存储阵列16、智能装置/器械21(其任选地耦接到显示器39)和传感器模块29。手术室装置经由模块化控制塔23耦接到云计算资源，诸如服务器63、数据存储装置55和显示器58。机器人集线器72也可连接到模块化控制塔23并且连接到服务器63、数据存储装置55和显示器58。装置/器械21、可视化系统58等等可经由有线或无线通信标准或协议耦接到模块化控制塔23，如本文所述。模块化控制塔23可耦接到集线器显示器65(例如，监测器、屏幕)以显示接收到的增强图像，包括从成像模块38、装置/器械显示器39和/或其他可视化系统58接收的真实外科视野中的所叠加虚拟对象。集线器显示器65还可结合图像和叠加图像来显示从连接到模块化控制塔23的装置接收的数据。

图6示出了包括耦接到模块化控制塔23的多个模块的外科集线器56。模块化控制塔23包括模块化通信集线器53(例如，网络连接性装置)和计算机系统60，以提供例如增强外科信息的本地处理、可视化和成像。模块化通信集线器53可以分层配置连接以扩展可连接到模块化通信集线器53的模块(例如，装置)的数量，并将与模块相关联的数据传输到计算机系统60、云计算资源或两者。模块化通信集线器53中的网络集线器57/交换机59中的每一者可包括三个下游端口和一个上游端口。上游网络集线器57/交换机59连接到处理器31以提供与云计算资源和本地显示器67的通信连接。与云54的通信可通过有线或无线通信信道进行。

计算机系统60包括处理器31和网络接口37。处理器31经由系统总线耦接到通信模块41、存储装置45、存储器46、非易失性存储器47和输入/输出接口48。系统总线可以是多种类型的总线结构中的任一种，包括使用任意各种可用总线架构的存储器总线或存储器控制器、外围总线或外部总线和/或本地总线。

处理器31包括增强现实建模器(例如，如图10中所示)并且可实现为单核或多核处理器，诸如由德州仪器公司(Texas Instruments)提供的商品名为ARM Cortex的那些处理器。在一个方面，处理器可为购自例如德克萨斯器械公司(Texas Instruments)LM4F230H5QR ARM Cortex-M4F处理器核心，其包括256KB的单循环闪存或其他非易失性存储器(高达40MHz)的片上存储器、用于改善40MHz以上的执行的预取缓冲器、32KB单循环序列随机存取存储器(SRAM)、装载有Stellaris软件的内部只读存储器(ROM)、2KB电可擦除可编程只读存储器(EEPROM)、和/或一个或多个脉宽调制(PWM)模块、一个或多个正交编码器输入(QEI)模拟、具有12个模拟输入信道的一个或多个12位模数转换器(ADC)，其细节可见于产品数据表。

系统存储器包括易失性存储器和非易失性存储器。基本输入/输出系统(BIOS)(包含诸如在启动期间在计算机系统内的元件之间传输信息的基本例程，)存储在非易失性存储器中。例如，非易失性存储器可包括ROM、可编程ROM(PROM)、电可编程ROM(EPROM)、EEPROM或闪存。易失存储器包括充当外部高速缓存存储器的随机存取存储器(RAM)。此外，RAM可以多种形式可用，诸如SRAM、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据速率SDRAM(DDRSDRAM)増强SDRAM(ESDRAM)、同步链路DRAM(SLDRAM)和直接Rambus RAM(DRRAM)。

计算机系统60还包括可移除/不可移除的、易失性/非易失性的计算机存储介质，诸如例如磁盘存储器。磁盘存储器包括但不限于诸如装置如磁盘驱动器、软盘驱动器、磁带驱动器、Jaz驱动器、Zip驱动器、LS-60驱动器、闪存存储卡或内存条。此外，磁盘存储器可包括单独地或与其他存储介质组合的存储介质，包括但不限于光盘驱动器诸如光盘ROM装置(CD-ROM)、光盘可记录驱动器(CD-R驱动器)、光盘可重写驱动器(CD-RW驱动器)或数字通用磁盘ROM驱动器(DVD-ROM)。为了有利于磁盘存储装置与系统总线的连接，可使用可移除或非可移除接口。

在各种方面，图6的计算机系统60、图4至图6的成像模块38和/或可视化系统58和/或处理器模块15可包括图像处理器、图像处理引擎、图形处理单元(GPU)、媒体处理器或用于处理数字图像的任何专用数字信号处理器(DSP)。图像处理器可采用具有单个指令、多数据(SIMD)或多指令、多数据(MIMD)技术的并行计算以提高速度和效率。数字图像处理引擎可执行一系列任务。图像处理器可为具有多核处理器架构的芯片上的系统。

图7示出了增强现实系统263，该系统包括被定位在成像模块38与外科集线器显示器67之间的通信路径中的中间信号组合器64。信号组合器64组合从成像模块38和/或AR装置66接收到的音频和/或图像数据。外科集线器56从组合器64接收组合数据并且叠加提供给显示器67的数据，叠加数据显示在该显示器上。成像装置68可以是数字视频摄像机，并且音频装置69可以是麦克风。信号组合器64可包括无线平视显示器适配器，以耦接到被置于显示器67到控制台的通信路径中的AR装置66，从而允许外科集线器56将数据叠加在显示器67。

图8示出了增强现实(AR)系统，该系统包括被定位在成像模块和外科集线器显示器之间的通信路径中的中间信号组合器。图8示出了由外科医生73佩戴的用以将数据传送到外科集线器56的AR装置66。AR装置66的外围信息不包括活动视频。相反，该外围信息仅包括装置设置或不具有相同刷新率要求的信号。交互可基于与术前计算机断层扫描(CT)的链接或在外科集线器56中链接的其他数据增强外科医生73的信息。AR装置66可识别结构，例如询问器械是否正接触神经、脉管或粘连。AR装置66可包括术前扫描数据、光学视图、在整个规程中获得的组织询问特性和/或用于提供答案的外科集线器56中的处理。外科医生73可向AR装置66口述注意事项，以与患者数据一起保存在集线器存储装置45中，以供稍后用于报告或随访。

外科医生73佩戴的AR装置66利用音频和视觉信息链接到外科集线器56，以避免对叠加的需要，并且允许围绕视野围边定制显示信息。AR装置66提供来自装置(例如，器械)的信号、回答关于装置设置或与视频链接的位置信息有关的询问，以识别象限或位置。AR装置66具有音频控制和来自AR装置66的音频反馈。AR装置66能够与手术室中的所有其他系统进行交互，并且无论外科医生73在何处查看，都具有可用的反馈和交互。例如，AR装置66可从外科医生接收语音或手势发起的命令和询问，并且AR装置66可以包括音频、视觉或触觉触摸的一个或多个模态的形式提供反馈。

图9示出了佩戴AR装置66的外科医生73、患者74，并且可在手术室75中包括相机96。外科医生73佩戴的AR装置66可用于通过增强现实显示器89或通过集线器连接的显示器67向外科医生73呈现叠加在外科视野的实时图像上的虚拟对象。实时图像可包括外科器械77的一部分。虚拟对象对于手术室75内的其他人(例如，外科助手或护士)可能是不可见的，尽管他们也可能佩戴AR装置66。即使另一个人正在使用AR装置66查看手术室75，这个人也可能看不到虚拟对象或能够在与外科医生73共享的增强现实中看到虚拟对象，或者能够看到虚拟对象的修改版本(例如，根据对外科医生73唯一的定制)或者可能看到不同的虚拟对象。

虚拟对象和/或数据可被配置为能够出现在外科器械77的一部分上或由成像模块38、在微创外科规程期间由成像装置68和/或在开放式外科规程期间由相机96捕获的外科视野中。在例示的示例中，成像模块38是在微创外科规程期间提供外科区域的实时馈送的腹腔镜相机。AR系统可呈现固定到真实对象的虚拟对象，而不考虑AR系统的一个或多个观察者(例如，外科医生73)的视角。例如，虚拟对象可对手术室75内部的AR系统的观察者可见，而对手术室75外部的AR系统的观察者不可见。当观察者进入手术室75时，虚拟对象可显示给手术室75外部的观察者。增强图像可显示在外科集线器显示器67或增强现实显示器89上。

AR装置66可包括一个或多个屏幕或镜片，诸如单个屏幕或两个屏幕(例如，用户的每只眼睛一个屏幕)。屏幕可允许光穿过屏幕，使得真实环境的各方面在显示虚拟对象时是可见的。可通过投射光使虚拟对象对外科医生73可见。虚拟对象可表现为具有一定程度的透明度或可为不透明的(即，遮挡真实环境的各方面)。

AR系统对于一个或多个观察者来说可为可查看的，并且可包括可用于一个或多个观察者的视图之间的差异，同时将一些方面保持为各视图之间通用。例如，平视显示器可在两个视图之间改变，而虚拟对象和/或数据可固定到两个视图中的真实对象或区域。在不改变至少一个虚拟对象的固定位置的情况下，可在各视图之间改变各方面，诸如对象的颜色、照明或其他改变。

用户可将AR系统中呈现的虚拟对象和/或数据视为不透明的或视为包括一定程度的透明度。在一个示例中，用户可诸如通过将虚拟对象从第一位置移动到第二位置来与虚拟对象交互。例如，用户可自己的手移动对象。通过确定手已移动到与对象重合或相邻的位置(例如，使用可安装在AR装置66上的一个或多个相机，诸如AR装置相机79或单独的相机96，并且其可为静态的或可受到控制以移动)并且使对象作为响应而移动，这可在AR系统中虚拟地完成。虚拟方面可包括真实世界对象的虚拟表示或可包括视觉效果，诸如照明效果等。AR系统可包括管理虚拟对象行为的规则，诸如使虚拟对象经受重力或摩擦，或可包括排除真实世界物理约束(例如，浮动对象、永运等)的其他预定义规则。AR装置66可包括位于AR装置66上的相机79(不与相机96混淆，与AR装置66分离)。AR装置相机79或相机96可包括红外相机、红外滤光器、可见光滤光器、多个相机、深度相机等。AR装置66可将虚拟项投射在真实环境的表示上，从而可由用户查看。

AR装置66可在外科规程期间在手术室75中使用，例如由外科医生73对患者74执行。AR装置66可投射或显示虚拟对象诸如外科规程期间的虚拟对象以增强外科医生的视觉。外科医生73可使用AR装置66、用于AR装置66的遥控器来查看虚拟对象，或者可与虚拟对象交互，例如使用手与虚拟对象或由AR装置66的相机79识别的手势“交互”。虚拟对象可增强外科工具，诸如外科器械77。例如，虚拟对象可表现为(对于通过AR装置66查看虚拟对象的外科医生73)与外科器械77耦接或保持距外科器械固定距离。在另一个示例中，虚拟对象可用于引导外科器械77，并且可表现为固定到患者74。在某些示例中，虚拟对象可对外科视野中的其他虚拟对象或现实世界对象的移动作出反应。例如，当外科医生正在操纵接近虚拟对象的外科器械时，虚拟对象可被改变。

增强现实显示系统成像装置38在外科规程过程中捕获外科区域的真实图像。增强现实显示器89、67呈现外科器械77的操作方面在外科区域的真实图像上的叠加。外科器械77包括通信电路系统231，以经由AR装置66上的通信电路系统233将操作方面和功能数据从外科器械77传送到AR装置66。尽管外科器械77和AR装置66显示为如箭头B、C所示在电路231、233之间进行RF无线通信，但也可采用其他通信技术(例如，有线、超声、红外等)。叠加与外科器械77的主动可视化的操作方面相关。叠加将外科区域中的组织交互作用的各方面与来自外科器械77的功能数据组合。AR装置66的处理器部分被配置为能够从外科器械77接收操作方面和功能数据，确定与外科器械77的操作相关的叠加，并且将外科区域中的组织方面与来自外科器械77的功能数据组合。增强图像指示关于装置性能考虑事项的警告、不兼容使用的警告、关于不完全捕获的警告。不兼容使用包括组织超出范围条件以及组织在端部执行器的钳口内没有正确地平衡。附加增强图像提供附带事件的指示，包括组织张力的指示和异物检测的指示。其他增强图像指示装置状态叠加和器械指示。

图10示出了根据本公开的至少一个方面的用于使用AR显示器89用信息来增强外科视野图像的系统83。系统83可用于例如通过使用处理器85来执行下文所述的技术。系统83包括AR装置66的可与数据库93通信的一个方面。AR装置66包括处理器85、存储器87、AR显示器89和相机79。AR装置66可包括传感器90、扬声器91和/或触觉控制器92。数据库93可包括图像存储装置94或术前计划存储装置95。

AR装置66的处理器85包括增强现实建模器86。增强现实建模器86可由处理器85用来创建增强现实环境。例如，增强现实建模器86可诸如从相机79或传感器90接收外科视野中器械的图像，并且创建增强现实环境以适配在外科视野的显示图像内。在另一个示例中，物理对象和/或数据可叠加在外科视野和/或外科器械图像上，并且增强现实建模器86可使用物理对象和数据来在增强现实环境中呈现虚拟对象和/或数据的增强现实显示。例如，增强现实建模器86可使用或检测患者外科部位处的器械并且呈现外科器械上的虚拟对象和/或数据和/或由相机79捕获的外科视野中的外科部位的图像。AR显示器89可显示叠加在真实环境上的AR环境。显示器89可使用AR装置66显示虚拟对象和/或数据，诸如显示在AR环境中的固定位置。

AR装置66可包括传感器90，例如红外传感器。相机79或传感器90可用于检测移动，诸如外科医生或其他用户的手势，处理器85可将该移动解释为用户与虚拟目标的尝试或预期交互。处理器85可诸如通过使用相机79接收到的处理信息来识别真实环境中的对象。在其他方面，传感器90可以是触觉、听觉、化学或热传感器，以生成可与各种数据馈送组合的对应信号以创建增强环境。传感器90可包括双耳音频传感器(空间声音)、惯性测量传感器(加速度计、陀螺仪、磁力计)、环境传感器、深度相机传感器、手眼跟踪传感器以及语音命令识别功能。

例如在外科规程期间，AR显示器89可在允许通过AR显示器89查看外科视野时诸如在外科视野内呈现对应于被患者的解剖方面隐藏的物理特征的虚拟特征。虚拟特征可具有对应于物理特征的第一物理位置或取向的虚拟位置或取向。在一个示例中，虚拟特征的虚拟位置或取向可包括从物理特征的第一物理位置或取向的偏移。偏移可包括距增强现实显示器预定距离、从增强现实显示器到解剖方面的相对距离等。

在一个示例中，AR装置66可以是单个AR装置。在一个方面，AR装置66可以是由华盛顿州雷德蒙德的微软公司(Microsoft,Redmond,Wash)制造的HoloLens 2AR装置。该AR装置66包括具有镜片和双耳音频特征(空间声音)的护目镜、惯性测量装置(加速度计、陀螺仪、磁力计)、环境传感器、深度相机和视频相机、手眼跟踪以及语音命令识别功能。它通过使用反射镜在佩戴者眼睛前方引导波导来提供具有高分辨率的改进视野。可通过改变反射镜的角度来放大图像。它还提供眼睛跟踪来识别用户并针对特定用户调节镜片宽度。

在另一个示例中，AR装置66可以是Snapchat Spectacles 3AR装置。该AR装置能够捕获成对图像并且重新创建3D深度映射、添加虚拟效果及重新播放3D视频。该AR装置包括两个HD相机，从而以60fps捕获3D照片和视频，同时四个内置麦克风记录沉浸式的高保真音频。来自两个相机的图像组合以建立围绕用户的真实世界的几何地图，从而提供新的深度感知感觉。照片和视频可以无线方式同步到外部显示装置。

在又一个示例中，AR装置66可以是Google的Glass 2AR装置。该AR装置提供叠加在镜头上(视野外)的惯性测量(加速度计、陀螺仪、磁力计)信息以补充信息。

在另一个示例中，AR装置66可以是Amazon的Echo Frames AR装置。该AR装置没有相机/显示器。麦克风和扬声器连接到Alexa。该AR装置提供比平视显示器更少的功能。

在又一个示例中，AR装置66可以是North(Google)的Focals AR装置。该AR装置提供通知推送/智能手表模拟；惯性测量、信息(天气、日历、消息)的屏幕叠加、语音控制(Alexa)集成。该AR装置提供基本平视显示器功能。

在另一个示例中，AR装置66可以是Nreal AR装置。该AR装置包括空间声音、两个环境相机、照片相机、IMU(加速度计、陀螺仪)、环境光传感器、接近传感器功能。Nebula将应用信息投射在镜片上。

在各种其他示例中，AR装置66可以是以下市售AR装置中的任一者：Magic Leap 1、Epson Moverio、Vuzix Blade AR、ZenFoneAR、Microsoft AR眼镜原型、EyeTap，以将与环境光共线的光直接产生到视网膜中。例如，分束器使得由眼睛看到的相同光可用于计算机处理和叠加信息。AR可视化系统包括HUD、接触镜片、眼镜、虚拟现实(VR)头戴式耳机、虚拟视网膜显示器、手术室显示器和/或智能接触镜片(仿生镜片)。

用于AR装置66的多用户接口包括虚拟视网膜显示器(诸如直接绘制在视网膜上而非眼睛前方的屏幕上的光栅显示器)、智能电视、智能电话和/或空间显示器(诸如Sony空间显示系统)。

其他AR技术可包括例如AR捕获装置和软件应用程序、AR创建装置和软件应用程序以及AR云装置和软件应用程序。AR捕获装置和软件应用程序包括例如Apple Polycam应用程序Ubiquity 6(使用Display.land app的Mirrorworld)，用户可扫描并获得真实世界的3D图像(以创建3D模型)。AR创建装置和软件应用程序包括例如Adobe Aero、Vuforia、ARToolKit、Google ARCore、Apple ARKit、MAXST、Aurasma、Zappar、Blippar。AR云装置和软件应用程序包括例如Facebook、Google(世界几何、对象识别、预测数据)、Amazon AR云(商务)、Microsoft Azure、Samsung Project Whare、Niantic、Magic Leap。

以下公开内容的一个方面描述了外科器械操作方面或功能在微创外科规程期间通过腹腔镜相机外科视野可视化的外科区域的实时视频流上的各种叠加。叠加与主动可视化的外科器械或装置中的一者的操作相关。叠加将组织/器官相互作用的各方面与从在外科规程中使用的外科器械接收的功能数据组合。外科器械可包括抓钳、夹具、缝合器、超声装置、RF或这些器械中的每一者的组合。就抓钳和夹具而言，组织参数的各方面可包括组织的不完全捕获以及夹具的状态或夹具的大小。就外科缝合器而言，组织参数的各方面可包括外科缝合器的组织捕获位置、组织压缩、夹紧或击发充分性。就高级能量装置而言，诸如超声或RF装置，组织参数的各方面可包括阻抗、烧灼状态、出血量，并且器械功能的各方面可包括例如能量水平、定时、夹紧压力等。可在如上文结合图1至图10所述的本地显示器、远程显示器和/或AR装置上查看下文图11至图35所示的增强图像。尽管增强图像被描述为在微创外科规程期间通过腹腔镜相机可视化，但也可在无创和有创(例如，开放式)外科规程期间捕捉图像，而不在该上下文中限制本公开的范围。下文描述了这些方面。

图11至图75描述了在微创外科规程期间通过腹腔镜相机可视化的各种增强图像。在外科规程期间使用增强现实显示系统。该增强现实显示系统包括：成像装置，该成像装置用于在外科规程期间捕获外科区域的真实图像；增强现实显示器，该增强现实显示器用于呈现外科器械的操作方面在外科区域的真实图像上的叠加；和处理器。叠加与外科器械的主动可视化的操作方面相关。叠加将外科区域中的组织交互作用的各方面与来自外科器械的功能数据组合。处理器被配置为能够接收外科器械的功能数据，确定与外科器械的操作相关的叠加，以及将外科区域中的组织方面与来自外科器械的功能数据组合。增强图像指示关于装置性能考虑事项的警告、不兼容使用的警告、关于不完全捕获的警告。不兼容使用包括组织超出范围条件以及组织在端部执行器的钳口内没有正确地平衡。附加增强图像提供附带事件的指示，包括组织张力的指示和异物检测的指示。其他增强图像指示装置状态叠加和器械指示。

图11至图75还描述了器械关键操作或参数的功能叠加，以清楚地表示外科缝合器、能量装置或其相互作用的各方面。在一个方面，通过由外科集线器检测到的方面来调节叠加数据以根据仅由源器械检测到的信息来修改叠加从而添加背景。在另一方面，显示内容可由用户调节或修改，并且因此还导致被监测外科器械的操作的修改。

图11是在微创外科规程期间通过腹腔镜相机可视化的外科区域118的实时馈送的增强图像100，其指示在外科器械端部执行器108的钳口110之间捕获的适当组织112。外科器械的操作方面是将组织112夹紧在端部执行器108的钳口110之间。组织112的方面是组织112在端部执行器108的钳口110之间的适当捕获。外科区域118的腹腔镜视野102示出了在其钳口110中抓握组织112的外科器械端部执行器108。增强图像100示出了重叠在端部执行器108的砧座110上的虚拟图形警报叠加106。虚拟重叠图形警报叠加106指示抓握在端部执行器108钳口110中的组织的量，以向OR团队通知针对缝合的钉仓再装载选择、针对能量的过载组织等。第一重叠警报104通知在端部执行器108的近侧端部处用钳口110抓握的组织112超出范围。第二重叠警报116通知在端部执行器108的中间部分处用钳口110抓握的组织112处于再装载范围内。第三重叠警报114通知在端部执行器108的远侧端部处用钳口抓握的组织112在切割线上方。重叠的图形警报叠加106应用于基于能量的外科器械、外科缝合器器械、操纵工具等。

图12是在微创外科规程期间通过腹腔镜相机可视化的外科区域212的实时馈送的增强图像200，其指示作为组织方面的在外科器械端部执行器204的钳口210之间近侧地捕获的组织206位置。组织的各方面包括在端部执行器204的钳口210之间不正确地捕获或定位的组织206。外科区域212的腹腔镜视野202示出了在端部执行器204的钳口210之间抓握组织206的外科器械端部执行器204。增强图像200示出了重叠在端部执行器204的钳口210中的一个钳口上的图形警报叠加208，以指示组织206被端部执行器204的钳口210过度近侧地206抓握。尽管重叠警报208主要应用于例如基于能量的外科器械，但类似的警报也可重叠在外科缝合器器械中。

图13是在微创外科规程期间通过腹腔镜相机可视化的外科区域324的实时馈送的增强图像300，其指示作为组织方面的在外科器械端部执行器320的钳口318之间不充分捕获的组织322。外科区域324的腹腔镜视野302示出了用端部执行器320的钳口318抓握组织322的外科器械端部执行器320。增强图像300示出了重叠在外科区域324的图像上的图形警报叠加304，以指示相对于端部执行器320的钳口318中的切割末端不充分捕获的组织322。

增强图像300还包括第一子图像308，该第一子图像示出了重叠在外科视野302上或其附近的一般解剖结构的图形图像306以及重叠在外科视野302上或其附近的实际解剖结构的参考帧310。增强图像300还包括第二子图像312，该第二子图像示出了使用中的外科器械的类型、能量水平(如果适用的话)和当前外科规程。第二子图像312可重叠在外科视野302上或位于该外科视野附近。增强图像300示出了正在外科规程中使用的超声外科器械，其能量水平设定为“最大5”以实现高级止血。外科器械的图形图像316被示出为重叠在不完全组织捕获警报叠加304的图形图像314上。因此，增强图像300提供若干虚拟对象，这些虚拟对象向OR团队通知相对于切割末端的不充分捕获的组织322。叠加的不完全组织捕获警报叠加304应用于基于能量的外科器械以及外科缝合器器械等。

图14是在微创外科规程期间通过腹腔镜相机可视化的外科区域359的实时馈送的另一增强图像330，其指示作为组织方面的在外科器械端部执行器354的钳口358之间不充分捕获的组织348。外科区域359的腹腔镜视野332示出了外科器械端部执行器354，其具有相对于端部执行器354的钳口359、358中的切割末端的不充分捕获的组织352。增强图像330示出了重叠在组织348上的图形警报叠加352，以指示不完全组织捕获。在例示的示例中，端部执行器354的钳口358(例如砧座)包括一系列发光二极管(LED)指示器356，以指示用端部执行器354的钳口350、358抓握的组织352的位置。在外科视野332中还示出了组织352的先前被缝合的部分中的两排缝钉334。

增强图像330包括第一子图像338，该第一子图像示出了腹腔镜视野332所示的一般解剖结构的图形图像336和腹腔镜视野332所示的实际解剖结构的参考帧340。增强图像330包括示出正在使用的器械的类型和外科规程的第二子图像342。在例示的示例中，正在血管外科规程中使用电动血管外科缝合器。在第二子图像342中还示出了电动外科缝合器的缝合器仓346的图形图像以及重叠在缝合器仓346的图形图像上以指示电动外科缝合器的切割线的图形344。

图15是在微创外科规程期间通过腹腔镜相机可视化的外科区域374的实时馈送的另一增强图像360，其指示作为组织方面的在外科器械端部执行器368的钳口370之间不充分捕获的组织372。外科区域374的腹腔镜视野362示出了外科器械端部执行器368，其具有相对于端部执行器368的钳口370中的切割末端的不充分捕获的组织372。增强图像360示出了重叠在端部执行器368的砧座上的图形警报叠加366，以指示不完全组织捕获。第一重叠警报364通知在端部执行器368的钳口370的近侧端部处抓握的组织372超出范围。第二重叠警报378通知在端部执行器368的钳口370的中间部分处抓握的组织372处于再装载范围内。第三重叠警报376通知在端部执行器368中的钳口370的远侧端部处抓握的组织372在切割线上方。

图16是在微创外科规程期间通过腹腔镜相机可视化的外科区域422的实时馈送的增强图像400，其指示作为组织方面的组织420张力。腹腔镜视野402示出了被抓握在外科器械端部执行器418的钳口424之间的组织420。增强图像400示出了重叠在外科区域422中的图形警报叠加404和组织420的着色，以警告所抓握的组织420处于张力下。重叠的组织张力警报404和用端部执行器418的钳口424抓握的组织420的着色通知所抓握的组织420处于张力下。重叠的组织张力警报叠加404和处于张力下的组织420的着色应用于基于能量的外科器械、外科缝合器器械以及操纵工具。

增强图像400包括第一子图像408，该第一子图像示出了腹腔镜视野402所示的一般解剖结构的图形图像406和腹腔镜视野402所示的实际解剖结构的参考帧410。增强图像400还包括第二子图像412，该第二子图像示出了使用中的外科器械的类型、所施加的能量水平(如果适用的话)和当前外科规程。增强图像400示出了正在外科规程中使用的超声外科器械，其能量水平为“最大5”以实现高级止血。外科器械的图形图像416被示出为重叠在减小张力警报叠加404的图形图像414上。因此，增强图像400提供用于通知OR团队相对于切割末端减小所捕获组织420的张力的若干选项。重叠的减小张力警报叠加404应用于基于能量的外科器械以及外科缝合器器械等。

图17是在微创外科规程期间通过腹腔镜相机可视化的外科区域442的实时馈送的另一增强图像430，其指示作为组织方面的组织444张力。腹腔镜视野432示出了在端部执行器436的钳口438之间抓握组织444的外科器械端部执行器436。在增强图像430中，将着色添加到所抓握的组织444以指示所抓握的组织444处于张力下。用端部执行器436的钳口438抓握的组织444被着色以指示组织444处于张力下。在腹腔镜视野432中还示出了多排先前施加的缝钉434。还示出了一组LED 440，以指示用端部执行器436的钳口438抓握的组织444的位置。

图18是指示作为如图11至图17所示的外科器械的操作方面的钳口闭合位置的多个图形图像500。多个图形图像500包括叠加在外科区域的图像上和/或叠加在端部执行器自身的钳口上的静态图形和警报。重叠图形图像500应用于基于能量的外科器械、基于缝合器的外科器械、操纵工具等。

第一图像502包括示出患者信息、规程和病例ID的第一图形叠加504。第二图形叠加506通知在外科规程中使用的外科缝合器器械的类型，例如，如图所示具有1.5mm的闭合缝钉高度的外科缝合器。第三图形叠加508通知外科缝合器的关节运动程度，第四图形叠加510是弹出式错误显示。最后，第五图形叠加512通知在外科规程中正在使用的能量外科器械，例如，在“最小3”至“最大5”的能量水平之间操作的超声器械。

第二图像514包括在第一图像502的描述中解释的所有图形叠加506、508、510、512，其中添加了第六图形叠加516，该第六图形叠加通知外科缝合器的钳口被闭合。

第三图像518包括在第一图像502的描述中解释的所有图形叠加506、508、510、512，其中添加了第六图形叠加520，该第六图形叠加通知外科缝合器的钳口被部分闭合。

第四图像522包括在第一图像502的描述中解释的所有图形叠加506、508、510、512，其中添加了第六图形叠加524，该第六图形叠加通知外科缝合器的钳口被打开。

图19是在微创外科规程期间通过腹腔镜相机可视化的外科区域544的实时馈送的增强图像530，其指示作为外科器械的操作方面的钳口536、542闭合位置。腹腔镜视野532示出了部分闭合的外科器械端部执行器540，其中组织534被抓握在端部执行器540的钳口536、542之间，并且组织操纵工具546用于辅助组织抓握过程。增强图像530示出了重叠在端部执行器540上的指示部分闭合的图形警报叠加538。

图20是图19所示的外科区域544的实时馈送的增强图像550，其示出了完全闭合的外科器械端部执行器540和示出重叠在端部执行器540上的钳口闭合位置的图形警报叠加546。外科区域544的腹腔镜视野示出了被抓握在端部执行器540的钳口536、542中的组织534。

图21是在微创外科规程期间通过腹腔镜相机可视化的外科区域610的实时馈送的增强图像600，其指示作为外科器械的操作方面的夹紧金属或异物。外科区域610的腹腔镜视野602示出了夹紧嵌入组织608中的金属或异物的外科器械端部执行器604。增强图像600示出了重叠在端部执行器604的上钳口606的图形叠加612上的图形警报叠加614，其示出夹在端部执行器604的钳口之间的异物。

图22是在微创外科规程期间通过腹腔镜相机可视化的外科区域714的实时馈送的增强图像700，其指示其中过热是外科器械的操作方面的装置余热警告。外科区域714的腹腔镜视野示出了外科器械端部执行器706，其中组织710被夹在超声刀710与夹持臂704之间。端部执行器706示出了热超声刀710。增强图像700包括重叠在热超声刀710上的图形警报叠加708。图形警报叠加708警告用户超声刀710正在积聚余热，该余热将被传递到被捕获在超声刀710和与其枢转地联接的夹持臂704之间的周围组织712。

图23是在微创外科规程期间通过腹腔镜相机可视化的外科区域822的实时馈送的增强图像800，其指示作为组织方面的组织828移动和流动。外科区域822的腹腔镜视图示出了组织828相对于组织抓钳804、824和外科器械端部执行器812的移动和流动，其中组织828被抓握在端部执行器812的钳口824和组织抓钳804、824的钳口中。增强图像800示出了叠加在外科区域822上的图形图像814、820。第一图形图像814包括外科缝合器的图标816和将外科器械识别为“缝合器”的文本。第二图像820包括抓钳818的图标。子图像810警示OR团队(例如，外科医生)在显示在缝合器仓806的轮廓上方的切割线808上方的潜在组织移动。

图24是在微创外科规程期间通过腹腔镜相机可视化的外科区域918的实时馈送的增强图像900，其指示作为组织方面的横切与组织912和其他击发的几何关系。外科区域918的腹腔镜视图示出了外科器械端部执行器910以及横切与被抓握在端部执行器910的钳口914、916之间的组织912和与其他击发的几何关系。增强图像900示出了叠加在外科区域918上的图形图像。子图像908包括预测完整横切的图形，其中两条缝钉线被图形地示出为活动放置缝钉线904和完整缝钉线906。

图25是指示作为外科器械的操作方面的操作的砧座定向通信的图像1000。第一图像1002示出了在图18所示的第一图像502的描述中解释的所有图形叠加504、506、508、510、512，其中添加了砧座上/下指示器图形1004。在例示的示例中，上/下指示器图形1004示出了砧座处于上(例如，打开)位置。另一图像1006示出了解剖结构。第二图像1008示出了在图18所示的第一图像502的描述中解释的所有图形叠加504、506、508、510、512和解剖结构的图像1006，其中添加了砧座上/下指示器图形1010。在例示的示例中，上/下指示器图形1010示出了砧座处于下(例如，闭合)位置。

图26是指示外科器械端部执行器的钳口中的检测到的组织厚度的图像1100，其中组织厚度是组织方面。图像1100示出了具有文本1114的图形屏幕1102，其表明组织厚度超出了再装载范围并具有考虑更换钉仓的建议和警告图标1112。图形屏幕1102示出了沿着示出检测到的组织厚度的标尺1106定位的检测到的厚度标记1104。图形屏幕1102还示出了使用中的外科器械的类型。使用中的外科器械的类型是具有1.5mm的闭合缝钉高度1108的外科缝合器1110。

图27是超声器械的温度梯度显示图形1202、1204、1206的图像1200。第一显示图形1202、第二显示图形1204和第三显示图形1206可叠加在如图11至图26所述的显示器上显示的外科视野的外科区域上，通知器械类型、最小和最大输出能量水平，并且在显示图形1202、1204、1206的一部分上显示温度梯度元素1208、1210、1212。在第一显示图形1202中，要么超声器械关闭要么超声刀温度处于正常运行温度，并且“绿色”梯度条不显示或几乎不可见。在第二显示图形1204中，范围从绿色到黄色的温度梯度元素1210“热图条”示出了超声刀正接近高于正常温度的温度。在第三显示图形1206中，范围从绿色到红色的温度梯度元素1212“热图条”示出了超声刀温度在过热状态下高于正常值。

图28是超声器械的温度图标显示图形1302、1304、1306的图像1300。第一显示图形1302、第二显示图形1304和第三显示图形1306可叠加在如图11至图26所述的显示器上显示的外科视野的外科区域上，通知器械类型、最小和最大输出能量水平，并且在显示图形1302、1304、1306的一部分上显示温度的绿色、黄色和红色图标1308、1310、1310。在第一显示图形1302中，超声器械在正常条件下操作，并且超声刀的温度处于正常范围内，如绿色图标1308所示以及也如绿色半圆形温度计元素1314所示。在第二显示图形1304中，黄色温度图标1310示出了超声刀正接近高于正常温度的温度，也如黄色半圆形温度计元素1316所示。在第三显示图形1306中，红色温度图标1312示出了超声刀温度高于正常值并且处于过热状态，如红色半圆形温度计元素1318所示。

图29是映射到端部执行器1418钳口1420位置的超声刀温度图形元素1410、1412、1414的图像1400。第一显示图形1410、第二显示图形1412和第三显示图形1414可叠加在如图11至图26中所述的显示器上显示的外科视野的外科区域中的超声端部执行器1418的钳口1420上。第一温度图形元素1410示出了超声刀在如绿色温度图形元素1410所示的正常范围内操作。第二温度图形元素1412示出了超声刀正接近如黄色温度图形元素1412所示的加热温度状态。第三温度图形元素1414示出了超声刀处于如红色温度图形元素1414所示的过热温度状态。

图30是超声发生器功率水平显示图形1502的图像1500。显示图形1502通知发生器类型以及最小和最大功率水平。图像1500的一个或多个图形元素可叠加在如图11至图26中所述的显示器上显示的外科视野的外科区域中的超声端部执行器的钳口或任何位置上。

图31是具有弹出警告图形1602的超声发生器功率水平显示图形1502的图像1600，其指示超声端部执行器钳口被过度填充。弹出警告图形1602可包括示出过多组织在钳口中并且可能导致不完整横切的文字。图像1600的一个或多个图形元素可叠加在如图11至图26中所述的显示器上显示的外科视野的外科区域中的超声端部执行器的钳口或任何位置上。

图32是具有弹出警告图形1702的超声发生器功率水平显示图形1502的图像1700，其指示超声端部执行器钳口变热。弹出警告图形1702可包括示出器械温度热的文字，并且在一个方面，词语热可用红色显示。图像1700的一个或多个图形元素可叠加在如图11至图26中所述的显示器上显示的外科视野的外科区域中的超声端部执行器的钳口或任何位置上。

图33是具有弹出警告图形1802的电外科发生器显示图形1802的图像1800，其指示电外科密封质量预测。弹出警告图形1804可包括文字警告：不完整密封，并且电外科发生器显示图形1802可包括文字“错误”以示出预测到不完整密封。图像1800的一个或多个图形元素可叠加在如图11至图26中所述的显示器上显示的外科视野的外科区域中的电外科端部执行器的钳口或任何位置上。

图34是外科缝合器再装载反馈的图像1900。图像1900包括第一显示图形1902，其指示使用中的外科缝合器的合适的组织厚度范围。在例示的示例中，合适的外科缝合器组织厚度范围是1.5mm至2.4mm。第二显示图形1904示出了检测到的组织厚度。在例示的示例中，检测到的组织厚度是2.6mm。第三弹出显示图形1906示出了组织厚度是2.6mm并且比所选再装载更厚，并且提供考虑2.0mm至3.3mm范围内的再装载的建议。图像1800可叠加在监视器或屏幕上显示的外科视野的外科区域中的电外科端部执行器的钳口或任何位置上。图像1900的一个或多个图形元素可叠加在如图11至图26中所述的显示器上显示的外科视野的外科区域中的外科缝合器端部执行器的钳口/砧座或任何位置上。

图35是外科缝合器预压缩倒计时的图像2000。图像2000包括如图34所示的第一显示图形1902，其指示1.5mm至2.4mm的外科缝合器组织厚度范围。第二弹出显示图形2002示出了外科缝合器预压缩倒计时元素，以示出在外科缝合器操作的预压缩阶段中剩余的时间。图像2000的一个或多个图形元素可叠加在如图11至图26中所述的显示器上显示的外科视野的外科区域中的外科缝合器端部执行器的钳口/砧座或任何位置上。

以下描述提供了用于外科系统的术中显示，以提供适应性和可调节性或叠加器械信息。一个方面提供了器械关键操作或参数的功能叠加，以清楚地表示外科缝合器或能量装置或其在外科规程期间与组织的每次相互作用的各方面。可通过由外科集线器检测到的各方面来调节叠加数据以根据仅由源器械检测到的信息来修改叠加从而添加背景。显示内容可由用户调节或修改，并且因此还导致被监测器械的操作的修改。

图36至图68描述了用于在外科规程期间使用的术中显示系统。该系统包括具有外科区域的术中数据显示的外科监视器。高级能量发生器耦接到高级能量外科器械。高级能量外科器械在对患者进行外科规程期间采用射频(RF)能量和超声能量。外科集线器耦接到高级能量发生器和外科监视器。外科集线器向外科监视器提供外科区域的实时馈送，以通过术中数据显示来显示外科区域的实时馈送。术中数据显示显示外科区域的视图，其包括抓握组织的高级能量外科器械和显示特定于高级能量外科器械的信息的面板叠加。

一方面，术中数据显示示出了抓握组织的外科器械的端部执行器和显示叠加在实时外科馈送上方的病例信息、系统通知、或装置面板、或它们的任何组合的面板叠加。定制面板叠加的位置、不透明度、尺寸和放置。面板叠加被配置为能够单独地打开或关闭或者作为组打开/关闭。面板叠加被进一步配置为动态地改变以示出状态变化，诸如装置激活或功率水平调节。面板叠加描绘了最佳装置性能(ODP)指南图像或其他使用说明(IFU)/信息源。

在各个方面，面板叠加包括来自以下各项的数据输入信息中的至少一者：来自资本设备、发生器、吹入器、排烟器、电子健康记录、腹腔镜、计算机、外科装置、有线和无线连接装置、能够保存、调用或编辑的外科医生配置文件偏好或它们的任何组合。面板叠加可包括病例信息，该病例信息包括患者姓名、外科医生姓名、病例时间、或器械激活或它们的组合中的至少一者。面板叠加可包括系统通知，该系统通知包括连接器械状态、轻微错误警报、中等错误警报或重大错误警报或它们的任何组合中的至少一者。面板叠加可包括与连接到系统的外科器械相关联的信息以提供高级止血。面板叠加可包括可见的患者面板叠加。面板叠加可包括装置面板叠加，该装置面板叠加包括装置名称、装置设置、或装置补充特征或它们的任何组合中的至少一者。面板叠加可包括处于堆叠配置的多个面板叠加。面板叠加可包括处于展开配置的多个面板叠加。面板叠加可显示装置故障排除信息。面板叠加可显示警报、警告、装置信息或装置特征或它们的任何组合中的至少一者。

在另一方面，术中数据显示包括辅助可配置面板。辅助可配置面板基于在术中数据显示的实时外科馈送区域的外科视野中显示的所选定制腹腔镜叠加区而动态地改变。定制腹腔镜叠加区包括底部边缘面板、左上角面板、顶部中心面板或侧边缘面板或它们的任何组合中的至少一者。

图36是手术间的系统图3000，该手术间包括具有外科区域的术中数据显示3002的外科监视器。高级能量发生器3004耦接到外科集线器3006和高级能量外科器械3008。高级能量外科器械3008在对患者3010进行外科规程期间采用RF能量和超声能量。外科集线器3006提供外科区域的实时馈送3014，其由术中数据显示3002显示。术中数据显示3002显示外科区域的视图，其包括抓握组织的高级能量外科器械3008和显示特定于高级能量外科器械3008的信息的面板叠加3012。

图37是在微创外科规程期间通过腹腔镜相机可视化的外科区域的实时馈送的增强图像3100，其显示在术中数据显示3002上。腹腔镜视野示出了抓握组织3110的外科器械3008的端部执行器3108。增强图像3100示出了三个面板叠加，这三个面板叠加显示叠加在实时外科馈送上方的病例信息3102、系统通知3104和装置面板3106。

面板叠加3102、3104、3106被显示在实时外科馈送上。可定制面板叠加3102、3104、3106的位置、不透明度、尺寸和放置。面板叠加3102、3104、3106可单独地打开或关闭或者作为组打开/关闭。面板叠加3102、3104、3106可以是不透明的或具有不同水平的透明度。面板叠加3102、3104、3106可包括来自资本设备、发生器、吹入器、排烟器、电子健康记录、腹腔镜、计算机、外科装置、有线和无线连接装置的数据输入信息。外科医生配置文件偏好可被保存、调用或编辑。在其他方面，包括用于面板叠加3102、3104、3106尺寸调整的总体屏幕设置和字体的通用屏幕设置可以是基于外科医生偏好经由工作人员控制台可配置的。例如，可通过专用物理开关来启用/禁用或绕过所有屏幕显示上的面板叠加3102、3104、3106特征。

图38是图37所示的病例信息面板叠加3102的详细视图。可经由工作人员控制台来选择性地启用/禁用病例信息面板叠加3102。可基于工作人员控制台设置来选择性地启用/禁用病例信息面板叠加3102的具体细节(包括患者姓名、外科医师姓名、病例时间、器械激活等)。病例信息面板叠加3102的其他方面可包括例如在手术开始时启用屏幕以及在满足特定标准(手术时间过去的装置激活次数等)之后禁用屏幕。

图39是图37所示的系统通知面板叠加3104的详细视图。系统通知面板显示叠加3104可包括警告符号，该警告符号可基于警告/警报/信息的严重程度而变化。消息可潜在地基于以下各项的任何组合：连接的资本设备、连接的装置(医疗的、有线的、无线的等)或外科集线器装置(该装置)。通知基于通知停留时间或警报状态解决而消失。

图40是系统通知面板叠加3104的若干示例的图像。系统通知面板叠加3104可包括例如连接器械3112、轻微错误警报3114、中等错误警报3116和重大错误警报3118。

图41是图37所示的装置面板叠加3106的详细视图。图41所示的示例性装置面板叠加3106显示与连接到系统3000(图36)的组合超声/RF器械相关联的信息以提供高级止血。例如，装置面板叠加3106提供热指示和就绪指示。

在各个方面，装置面板叠加3106提供受Ottava架构影响的视觉概念，并且可经由工作人员控制台选择性地启用/禁用。工作人员控制台还可选择性地启用/禁用各个面板，诸如能量和外科缝合器。在一个方面，装置面板叠加3106仅在相关器械连接到系统3000(图36)的情况下出现。如果没有任何装置连接到系统3000(图36)，则装置面板叠加3106是不可见的。装置面板叠加3106所占据的空间是可配置的(例如，左对齐、中心对齐、右对齐)。装置面板叠加3106还可被配置为能够显示与手持式器械的连接性。在其他方面，装置面板叠加3106可以是在沿着显示器的顶部/底部的空间中可配置的。装置面板叠加3106可显示同时连接的多个器械装置。在一个方面，装置面板叠加3106可仅针对正由外科医生活动地使用的装置显示信息，使得已连接但不活动的装置显示被隐藏。

在一个方面，装置面板叠加3106的尺寸可以是基于所启用的特征可配置的，诸如本文所述的热示例。这些特征可基于固有装置设计(例如，未来模型)来启用或禁用，以及由外科医生来启用/禁用，或付费订阅。

图42是根据本公开的至少一个方面的显示在术中数据显示3122上的在微创外科规程期间通过腹腔镜相机可视化的外科区域的实时馈送的增强图像3120，其示出了抓握组织3110的外科器械3008的端部执行器3108和具有可见的患者面板叠加3124的屏幕。可见的患者面板叠加3124可能需要附加应用程序来显示内容。术中数据显示3122还显示病例信息面板叠加3102和装置面板叠加3106。在例示的示例中，系统通知面板叠加3104被隐藏。

图43是能量装置图像面板3106架构的示意图。在一个方面，能量装置图像面板3106包括例如装置名称3132、装置设置3134和装置补充特征3136。

图44是处于堆叠配置的辅助装置警报/警告/信息的图像3140。辅助装置警报/警告/信息显示可被堆叠。辅助装置警报/警告/信息显示器也可被竖直地堆叠以覆盖主装置面板，或者可被水平地展开。如图44的示例所示，能量装置面板叠加3106被竖直地堆叠在系统就绪3142显示下方。

图45是处于展开配置的辅助装置警报/警告/信息的图像3150。辅助装置警报/警告/信息显示可被展开。展开显示3144可被竖直地或水平地展开。如图45的示例所示，展开显示3144提供关于器械装置的附加信息。如图45的示例所示，展开显示3144示出了外科器械的图像和激活器械2秒以运行测试的指令。

图46是器械状态图像面板3160，其示出了器械面板状态如何动态地改变以示出诸如装置激活或功率水平调节的状态变化。器械状态图像面板3160的左侧3162示出了器械的默认状态。器械状态图像面板3160的右侧3164示出了器械的活动状态。在图46所示的示例中，器械状态图像面板3160的右侧3164上的第一面板3166示出了器械激活的动态改变，并且器械状态图像面板3160上的右侧3164的第二面板3168示出了器械功率水平的动态改变。

图47是将发生器3066警报和警告3174转移到腹腔镜监视器3172并且显示在本地界面上的系统图3170。

图48是在电流发生器上示出的被传输到外科集线器的现有警报的一系列屏幕3182的图3180，该外科集线器然后将它们作为一系列屏幕3184显示在本地界面上。

图49是包括与数字集线器3204通信的发生器3202的系统3200的示意图，该数字集线器然后在诸如腹腔镜屏幕3216的本地界面3206上显示屏幕数据和警报数据3220。发生器3202包括控制器3208和屏幕3210。发生器3202的控制器3208将数据3218传输到数字集线器3204的控制器3212。数字集线器3204还包括屏幕3214。数字集线器3204的控制器3212将屏幕数据和警报数据3220传输到本地界面3206的腹腔镜屏幕3216。

图50是在微创外科规程期间通过腹腔镜相机可视化的外科区域的实时馈送的增强图像3230，其显示在术中数据显示3232上。外科区域的腹腔镜视野示出了叠加面板3234，该叠加面板描绘了最佳装置性能(ODP)指南图像或其他使用说明(IFU)/信息源。增强图像3230示出了屏幕上显示叠加面板3234，该屏幕上显示叠加面板示出了包括握持外壳3244、触发器3242、轴3238和具有组织垫3236的刀的外科装置3250。轴3238通过旋转钮3248旋转。外科装置3250还包括具有高级止血功能的能量按钮3240和能量按钮3246。

叠加面板3234显示外科装置3250的图像和ODP指南图像或其他IFU/信息源。图像可与外科装置信息一起被呈现给外科医生。图像可以是静态图像或动画图像。图像可提供一般外科装置3250信息(如图所示)或背景特定外科装置信息。例如，外科装置3250的安全门可包括传感器以检测移除。当安全门被移除时，屏幕上显示叠加面板3234示出提供关于安全机构的正确使用的指令的图像。以另外举例的方式，外科医生在使用与外科装置技术相关的超声能量模式时遇到警报。屏幕上显示叠加面板3234示出了特定于如何最佳地使用外科装置3250以避免该警报的信息。

图51是显示屏幕3300，其示出了包括辅助底部边缘可配置面板3312的术中数据显示3302。术中数据显示3302包括具有定制腹腔镜叠加区3318、3320、3322和辅助底部边缘可配置面板3312的实时外科馈送3303的外科视野。术中数据显示3302显示导航按钮3304以返回到主屏幕。术中数据显示3302还提供可选择的外科医生配置文件3306。外科医生配置文件偏好可被保存、调用或编辑。术中数据显示3302还提供若干连接性状态指示器3308。可使用显示叠加切换按钮3310来切换与术中数据显示叠加区3318、3320、3322相关联的叠加。

术中数据显示3302还包括辅助可配置面板，当显示叠加切换按钮3310被切换到打开位置时，该辅助可配置面板基于在术中数据显示3302的实时外科馈送3303区域的外科视野中显示的所选定制腹腔镜叠加区3318、3320、3322而动态地改变。在图51所示的示例中，通过在术中数据显示3302的实时外科馈送3303部分的外科视野中选择底部边缘选择区3322来显示底部边缘可配置面板3312。可选择显示的不同部分，包括例如左上角选择区3318、顶部中心选择区3320和底部边缘选择区3322。

底部边缘可配置面板3312包括面板对齐栏3314以将底部边缘可配置面板3312对齐于左侧位置、中心位置或右侧位置，此处示出为左侧位置。帮助指示器3316向相关联的切换按钮3324、3326、3328、3330提供背景信息。可使用可配置面板对齐按钮3314来配置底部边缘选择区3322，其移动底部边缘使其左对齐、中心对齐和右对齐。在其他方面，底部边缘选择区3322可例如在顶部和底部移动。除了可配置面板对齐按钮3314之外，底部边缘可配置面板3312还包括第一切换按钮3324，该第一切换按钮启用/禁用用于超声/RF能量工具装置的能量面板的显示，包括警报，此处示出为处于打开位置。第二切换按钮3326启用/禁用仅用于超声/RF能量工具装置的警报的显示，此处示出为处于关闭位置。第三切换按钮3328启用/禁用外科缝合器工具装置的显示，包括警报，此处示出为处于关闭位置。第四切换按钮3330启用/禁用仅用于外科缝合器工具装置的显示警报，此处示出为处于打开位置。

图52是另选底部边缘可配置面板3400。通过在图51中的术中数据显示3262的实时外科馈送3263部分的外科视野中选择底部边缘选择区3282来显示另选底部边缘可配置面板3400。另选底部边缘可配置面板3400可被配置用于定制能量状态和警报。在例示的示例中，通过将监视器切换按钮3402上的显示切换到打开位置来显示另选底部边缘可配置面板3400。第一切换按钮3404启用/禁用能量装置面板状态，此处示出为处于打开位置。第二切换按钮3406启用/禁用能量装置面板警报，此处示出为处于关闭位置。第三切换按钮3408启用/禁用外科缝合器装置状态，此处示出为处于关闭位置。第四切换按钮3410启用/禁用外科缝合器警报，此处示出为处于关闭位置。另选底部边缘可配置面板3400包括面板对齐栏3412以将该另选底部边缘可配置面板3400对齐于左侧位置、中心位置或右侧位置，此处示出为中心位置。下文描述的图53至图55描述了通过在术中数据显示的实时外科馈送部分的外科视野中选择其他选择区来显示附加可配置面板。

图53是显示屏幕3500，其示出了包括辅助左上角可配置面板3522的术中数据显示3502。术中数据显示3502包括具有定制腹腔镜叠加区3318、3320、3322和辅助左上角可配置面板3522的实时外科馈送3503的外科视野。术中数据显示3502包括用于返回到主屏幕的导航按钮、可选择的外科医生配置文件和连接性状态指示器，如结合图51所述。可使用显示叠加切换按钮3310来切换与术中数据显示叠加区3318、3320、3322相关联的叠加。

术中数据显示3502还包括辅助可配置面板，当显示叠加切换按钮3310被切换到打开位置时，该辅助可配置面板基于在术中数据显示3502的实时外科馈送3503区域的外科视野中显示的所选定制腹腔镜叠加区3318、3320、3322而动态地改变。在图53所示的示例中，通过在术中数据显示3502的实时外科馈送3503部分的外科视野中选择左上角选择区3318来显示左上角可配置面板3522。

选择左上角选择区3318动态地改变视觉显示。例如，选择左上角选择区3318显示病例信息叠加3504，该病例信息叠加在该示例中是图37和图38所示的病例信息面板叠加屏幕3102。在辅助左上角可配置面板3522的右侧竖直部分旁边示出了各种切换按钮。如前文所讨论的，显示叠加切换按钮3310启用/禁用诸如病例信息叠加3504的叠加屏幕的显示。第一切换按钮3506启用/禁用来自病例信息叠加3504的所有病例信息，此处示出为处于打开位置。第二切换按钮3508启用/禁用来自病例信息叠加3504的患者姓名信息，此处示出为处于打开位置。第三切换按钮3510启用/禁用来自病例信息叠加3504的外科医生姓名信息，此处示出为处于打开位置。第四切换按钮3512启用/禁用来自病例信息叠加3504的病例日期信息，此处示出为处于打开位置。第五切换按钮3514启用/禁用来自病例信息叠加3504的病例信息的总时间，此处示出为处于打开位置。第六切换按钮3516启用/禁用来自病例信息叠加3504的病例度量，该病例度量可包括装置激活、使用或其他装置度量的总数，此处示出为处于打开位置。

图54是显示屏幕3600，其示出了包括辅助顶部中心可配置面板3622的术中数据显示3602。术中数据显示3602包括具有定制腹腔镜叠加区3318、3320、3322和辅助顶部中心可配置面板3622的实时外科馈送3603的外科视野。术中数据显示3602包括用于返回到主屏幕的导航按钮、可选择的外科医生配置文件和连接性状态指示器，如结合图51所述。可使用显示叠加切换按钮3310来切换与术中数据显示叠加区3318、3320、3322相关联的叠加。

术中数据显示3602还包括辅助可配置面板，当显示叠加切换按钮3310被切换到打开位置时，该辅助可配置面板基于在术中数据显示3602的实时外科馈送3603区域的外科视野中显示的所选定制腹腔镜叠加区3318、3320、3322而动态地改变。在图54所示的示例中，通过在术中数据显示3602的实时外科馈送3603部分的外科视野中选择顶部中心选择区3320来显示顶部中心可配置面板3622。

选择顶部中心选择区3320动态地改变视觉显示。例如，选择顶部中心选择区3320显示系统通知面板叠加3604，该系统通知面板叠加在该示例中是图40所示的系统通知面板叠加3104。在辅助顶部中心可配置面板3622的右侧竖直部分旁边示出了各种切换按钮。如前文所讨论的，显示叠加切换按钮3310启用/禁用诸如系统通知面板叠加3604的叠加屏幕的显示。第一切换按钮3506启用/禁用用于系统通知面板叠加3604的所有警报，此处示出为处于打开位置。第二切换按钮3608启用/禁用用于系统通知面板叠加3604的信息通知栏3616的信息警报，此处示出为处于打开位置。第三切换按钮3610启用/禁用用于系统通知面板叠加3604的轻微错误警报栏3618的轻度警报，此处示出为处于打开位置。第四切换按钮3612启用/禁用用于系统通知面板叠加3604的中等错误警报栏3620的中度警报，此处示出为处于打开位置。第五切换按钮3614启用/禁用用于系统通知面板叠加3604的重大错误警报栏3622的主要警报，此处示出为处于打开位置。切换按钮(例如，如图所示的第五切换按钮3614)的动态阴影基于选择状态提供视觉提示。

图55是显示屏幕3700，其示出了包括辅助侧边缘可配置面板3722的术中数据显示3702。术中数据显示3702包括具有定制腹腔镜叠加区3318、3320、3322、3716和辅助侧边缘可配置面板3722的实时外科馈送3703的外科视野。术中数据显示3702包括用于返回到主屏幕的导航按钮、可选择的外科医生配置文件和连接性状态指示器，如结合图51所述。可使用显示叠加切换按钮3310来切换与术中数据显示叠加区3318、3320、3322、3716相关联的叠加。

术中数据显示3702还包括辅助可配置面板，当显示叠加切换按钮3310被切换到打开位置时，该辅助可配置面板基于在术中数据显示3702的实时外科馈送3703区域的外科视野中显示的所选定制腹腔镜叠加区3318、3320、3322、3716而动态地改变。在图55所示的示例中，通过在术中数据显示3702的实时外科馈送3703部分的外科视野中选择侧边缘选择区3716来显示侧边缘可配置面板3722。

选择侧边缘选择区3716动态地改变视觉显示。例如，选择侧边缘选择区3716显示可见的患者面板叠加3704，该可见的患者面板叠加在该示例中是图42所示的可见的患者面板叠加3124。在辅助侧边缘可配置面板3722的右侧竖直部分旁边示出了各种切换按钮。如前文所讨论的，显示叠加切换按钮3310启用/禁用诸如可见的患者面板叠加3704的叠加屏幕的显示。第一切换按钮3706启用/禁用用于可见的患者面板叠加3704信息的所有警报，此处示出为处于打开位置。第二切换按钮3708启用/禁用用于可见的患者面板叠加3704的气体信息，此处示出为处于打开位置。第三切换按钮3710启用/禁用用于可见的患者面板叠加3704的可见患者信息，此处示出为处于打开位置。第四切换按钮3712启用/禁用来自另一模块(模块3)的用于可见的患者面板叠加3704的信息，此处示出为处于打开位置。第五切换按钮3714启用/禁用来自又一模块(模块4)的用于可见的患者面板叠加3704的信息，示出为处于打开位置。

图56是显示装置故障排除信息的一系列图像面板3800。第一图像面板3802显示用于测试器械的指令。在例示的示例中，对器械的指令为“激活器械2秒以运行测试”。第二图像面板3804指示测试正在进行中，并且第三图像面板3806示出了测试状态。第四图像面板3808提供用于对静态图像、动画、GIF或视频进行故障排除的指令。在例示的示例中，图像面板3808显示用于“紧固组件”的动画。第五图像面板3810指示被测器械的动作，并且在例示的示例中通知“在测试期间打开钳口”。

图57是显示关节运动式外科缝合器特征的一系列图像面板3900。第一图像面板3902指示外科缝合器装置的外科缝合器关节运动角度。可数字地或视觉地示出该角度。第二图像面板3904和第三图像面板3906基于装置状态指示关节运动角度更新，并且还示出了关节运动方向。在一个方面，每次按下关节运动按钮或改变关节运动角度时，都向数字集线器3204(图49)、3006(图36)发送更新的测量结果。数字集线器3204(图49)、3006(图36)然后使用该更新的测量结果来更新反射角，如图像面板3902、3904、3906上所示。

第四图像面板3908是当外科缝合器钳口闭合时出现的标准化倒计时指示器。倒计时基于时间动态地改变。可在倒计时序列期间的任何时间击发装置。第五图像面板3910指示装置准备好击发。第六图像面板3912、第七图像面板3914和第八图像面板3916指示沿着滑块的刀位置。刀位置在仓3918的图示上以灰色示出并且基于装置动态地改变。仓3918的图示对于安装在外科缝合器中的仓可以是通用的或专用的。刀位置/外科缝合器图像面板3912、3914、3916可基于无线连接的外科缝合器的类型和尺寸动态地改变。刀位置算法在外科缝合器的击发触发器被压下之后或被压下时执行，并且当外科缝合器开始击发时，刀和滑块开始沿着外科缝合器的长度向下行进。第九图像面板3920指示操作完成。

由连接装置的对应图像面板3902-3920显示的每个补充特征都基于装置的当前状态动态地更新。

图58是显示已经达到关节运动极限的警报/警告/信息图像面板3922。

图59是显示装置处于锁定模式的警报/警告/信息图像面板3924。

图60是显示当钳口闭合时装置不能进行关节运动的警报/警告/信息图像面板3926。

图61是示出关节运动式外科缝合器特征的装置图像面板4000。装置图像面板4000包括装置面板名称4002(此处示出为外科缝合器3000)和装置面板补充特征4004(此处示出为倒计时指示器)。

图62是以具有装置警报的堆叠配置显示的堆叠警报/警告/信息图像面板4010，其显示已经达到关节运动极限。堆叠图像面板4010包括顶部图像面板4012，该顶部图像面板指示已经达到关节运动极限。堆叠图像面板4010包括底部图像面板4014，该底部图像面板指示装置的名称和类型、关节运动角度和关节运动方向。

图63是包括外科缝合器的系统4020的示意图，该外科缝合器通过蓝牙与数字集线器通信以执行用于图57和图61所示的倒计时定时器图像面板4000的算法。例如，外科缝合器4022通过诸如蓝牙的无线网络与数字集线器4024通信。外科缝合器包括控制器4028，并且数字集线器4024包括控制器4030。外科缝合器控制器4028将无线数据4026传输到数字集线器控制器4030。当外科缝合器4022夹紧并且向数字集线器4024发送夹紧状态消息时，数字集线器4024使用夹紧状态消息作为启动命令来启动倒计时定时器。如果接收到松开消息，则定时器重启为0并且停止递增。如果定时器达到设定时间，则停止定时器并且设置标记。

图64是显示超声器械特征的一系列装置图像面板/警报4030。装置图像面板是可展开或可折叠的，这取决于由用户启用或禁用的特征和/或由所连接的装置启用或禁用的特征。以举例的方式，第一装置图像面板4032可展开到第二装置图像面板4034中，该第二装置图像面板显示默认热图像面板4036和高热图像面板4038。高热像面板4038通过直接方式(温度感测)或经由其他方法(基于时间的算法或其他方式)间接地显示装置温度的状态。参考默认热像面板4036，热算法可基于装置激活状态和所过去的总时间以及自上次激活以来所过去的时间。在其他具体实施中，热算法可基于装置特性和/或状态，诸如谐振频率、装置的推断状态或直接测量。仅在装置当前未激活时显示热状态。当装置不活动时，显示变灰。热状态一直显示在高热图像面板4038中，并且对应于装置的当前状态。在例示的示例中，装置是超声器械。

第三装置图像面板4040在装置正被用于示出装置操作模式时改变颜色，如内部图像面板4042、4044、4046所示。第四装置图像面板4048显示器械警报以及该警报的相关图像和文本，如警报图像面板4050所示。警报图像面板4050可提供警报的视觉指示器。警报可由仅文本、仅图像、或文本和图像的组合构成。

图65是描述配对外科缝合器器械的图4060。外科缝合器配对可被实现为用户可选择的配对、在通电时连接、在通过按钮按压通电时连接或RFID令牌。对于用户可选择的配对，用户将经由触摸屏在资本设备上启动配对模式。资本设备然后将尝试识别区域内该类型的所有有效装置，并且用户将简单地选择他们想要连接到的装置。即使在时间过去之后，广播也将继续。在通电时连接配对可在通电时启用蓝牙无线电，并且可在其未在预定时间内连接到客户端的情况下关闭。资本设备不断地扫描新装置并且连接到它们。在通过按钮按压通电时连接需要在通电时启用蓝牙无线电，并且如果其未在预定时间内连接到客户端，则关闭无线电。资本设备具有按下即扫描/连接到装置的配对按钮。在RFID令牌配对中，用户利用与每个装置一起封装的RFID卡，作为用于在新装置中扫描并且与资本设备配对的方法。

图66是显示配对装置信息的屏幕4070的图像。屏幕4070提供连接/断开各种有线和无线装置/设备的系统范围能力。

图67是包括用于配对无线装置的唯一标识符的无线外科装置4080的图像。

图68是显示到最佳装置性能(ODP)指南图像或其他电子使用说明(e-IFU)的链接的屏幕3090的图像。用户手册4092可链接到e-IFU或ODP。

另外参考图1至图68，图69是根据本公开的一个方面的增强现实方法5000的图，该增强现实方法采用用于在外科规程期间使用的外科器械77和增强现实显示器89。方法5000可结合图11至图48、图50至图62、图64至图66和图68中所示的任何增强显示器来使用，并且可使用图1至图10、图49和图63所示的任何系统来实现。在一个方面，方法500提供外科器械77的操作方面或功能在手术腹腔镜视频流上的叠加。该叠加可与被主动可视化的外科器械77之一的操作相关，并且该叠加将组织/器官相互作用的各方面与从外科器械77接收到的功能数据组合。在另一方面，外科器械77可以是抓钳或夹具，并且组织的方面可以是组织的不完全捕获以及夹具的夹紧状态或大小。在另一方面，外科器械77可以是外科缝合器，并且组织的方面可以是组织捕获位置或组织压缩，并且外科缝合器的方面可以是夹紧或击发充分性，或其他参数。在另一方面，外科器械77可以是高级能量装置，并且组织参数可以是阻抗、烧灼状态、出血量，并且外科器械77的功能可以是能量水平、定时、夹紧压力以及其他参数。

在一个方面，方法5000涉及根据外科器械77利用率的数据的叠加。根据方法5000，成像装置38在外科规程期间捕获5002外科区域的真实图像。处理器85从外科器械77接收5004功能数据，确定5006与外科器械77的操作方面相关的叠加，并且将外科区域中的组织的方面与从外科器械77接收的功能数据组合5008。增强现实显示器89或本地显示器67呈现5010在外科区域的真实图像上的外科器械77的操作方面的叠加。外科器械77的功能数据可直接从外科器械77接收，或者从外科集线器耦接的处理器或服务器接收。

另外参考图1至图68，图70是根据本公开的一个方面的增强现实方法5100的图，该增强现实方法采用用于在外科规程期间使用的外科器械77和增强现实显示器89。方法5100可结合图11至图48、图50至图62、图64至图66和图68中所示的任何增强显示器来使用，并且可使用图1至图10、图49和图63所示的任何系统来实现。

在一个方面，方法5100涉及根据外科器械77利用率的数据的叠加。处理器85在外科规程期间监测5102外科器械77的性能。处理器85确定5104外科器械77的使用。增强现实显示器89显示5112关于外科器械77性能考虑事项的警报。处理器85确定5122附带事件，显示5132外科器械77的状态叠加，并且在增强现实显示器89上显示5134外科器械77的指示。

根据方法5100，成像装置38在外科规程期间捕获5002外科区域的真实图像。处理器85接收5004外科器械77的功能数据，确定5006与外科器械77的操作方面相关的叠加，并且将外科区域中的组织的方面与从外科器械77接收的功能数据组合5008。增强现实显示器89或本地显示器67呈现5010在外科区域的真实图像上的外科器械77的操作方面的叠加。外科器械77的功能数据可直接从外科器械77接收，或者从外科集线器耦接的处理器或服务器接收。

一旦处理器85确定5104外科器械77的使用，处理器85就确定5106在外科器械77的钳口中抓握的组织是否在钳口的范围内，并且确定5108组织在外科器械77的钳口内是否适当地平衡，并且根据外科器械77的使用状态显示5118不兼容使用警报。如果组织超出范围，则处理器85在增强现实显示器8上显示5116组织超出范围警报。如果组织在外科器械77的钳口内不正确地平衡，则处理器85在增强现实显示器89上显示5118不正确平衡警报。作为确定5104外科器械77的使用的一部分，处理器85确定外科器械77的钳口之间的组织捕获是否完成，并且如果没有完成，则显示5110不完全组织捕获的警报。

根据方法5100，处理器85确定5122诸如组织张力和异物检测的附带事件。如果处理器85确定5124组织张力过高，则增强现实显示器89显示5126组织张力警报。如果处理器85在外科器械77的钳口中检测到5128异物，则增强现实显示器89显示5130检测到异物警报。在任何情况下，增强现实显示器89根据组织张力和异物检测的上述确定的结果来显示5132外科器械77状态叠加。最后，增强现实显示器89显示5134外科器械77指示。

另外参考图1至图68，图71是根据本公开的一个方面的增强现实方法5150的图，该增强现实方法采用用于在外科规程期间使用的外科器械77和增强现实显示器89。方法5100可结合图11至图48、图50至图62、图64至图66和图68中所示的任何增强显示器来使用，并且可使用图1至图10、图49和图63所示的任何系统来实现。

在一个方面，方法5150涉及外科器械77关键操作或参数的功能叠加，以清楚地表示外科器械77(例如，外科缝合器、能量装置)或外科缝合器77与外科区域中的组织之间的相互作用的任何方面。在一个方面，可通过由外科集线器6检测到的方面来调节叠加数据以根据仅由源外科器械77检测到的信息来修改叠加从而添加背景。在另一方面，增强显示器可由用户进一步调节或修改，并且因此还导致在外科规程期间被监测外科器械77的修改。

在一个方面，方法5150涉及根据外科器械77的关键操作或参数的功能的数据的叠加。根据方法5150，成像装置38在外科规程期间捕获5152外科区域的真实图像。处理器85从外科器械77接收5154功能数据，确定5156与外科器械77的功能方面相关的叠加，并且将外科区域中的组织的方面与从外科器械77接收的功能数据组合5158。增强现实显示器89或本地显示器67呈现5160在外科区域的真实图像上的外科器械77的功能方面或外科器械77与组织的相互作用方面的叠加。外科器械77的功能数据可直接从外科器械77接收，或者从外科集线器耦接的处理器或服务器接收。在一个方面，处理器85可通过由外科集线器检测到的方面来修改5162叠加数据，以提供关于外科规程的背景。在另一方面，处理器85可基于用户修改5162来修改5164外科器械的功能。

根据图69至图71所示的方法5000、5100、5150，处理器将数据叠加配置为由增强现实显示器89显示，如上面的图36至图68所示。另外，增强现实显示器89显示外科器械77功能的动态状态，如图36至图68所示。

参考上面的图1至图71，本公开现在转而描述特定于所使用的条件或器械的数据的视觉叠加，该条件或器械需要针对背景向用户馈送数据。叠加器械信息的适应性和可调节性包括器械关键操作或参数的功能叠加，以清楚地表示外科缝合器、能量装置或其相互作用的各方面。在一个方面，通过由外科集线器检测到的方面来调节叠加数据以根据仅由源器械检测到的信息来修改叠加从而添加背景。在另一方面，显示内容可由用户调节或修改，并且因此还导致被监测器械的操作的修改。视觉叠加提供与手术步骤或计划交互相关联的信息；计算或处理的反馈或预测；基于检测到的参数的视觉叠加的调节；对在手术部位可视化流上的数据的叠加的控制，包括用于控制位置、尺寸、放置和与视野内的移动对象耦接的选项；以及叠加装置(即，AR装置、AR眼镜等)的视野内的器械的概览视觉叠加。

在一个方面，视觉叠加包括根据本公开的一个方面的手术步骤或计划交互，其包括利用在AR装置66(诸如AR眼镜或其他增强屏幕或本地显示器67)上的视觉叠加以基于系统的态势感知来显示下一手术步骤的下一元素或缺失元素，如下面的图76所述。视觉叠加为外科医生提供突出显示。视觉叠加还为OR护士或其他工作人员提供突出显示。用于OR设置的虚拟器械模板以及AR装置66(诸如具有AR装置相机79的AR眼镜)的使用，用于扫描以及引入和移除产品。视觉叠加还突出显示了下一手术步骤所需的产品以及将器械交给护士再装载的方式。AR装置66基于手术和对态势感知的理解，来查看当前手术与下一供使用的逻辑仓的状态，并且在用户的视野内对其进行识别和突出显示。

在2019年12月30日提交的名称为“Visualization System Quantitative DataOverlaid With Data From At Least One Instrument Function Of A PoweredInstrument In Communication With The System”的美国专利申请号16/729,740中描述了手术步骤或计划交互的附加方面，该美国专利申请全文以引用方式并入本文。具体参考例如图24、图25A至图25B、图30、图32A至图32D、图34、图35和图36A至图36C以及相关联的描述。另外的示例可见于2017年4月24日提交的名称为“Automated Provision Of Real-TimeCustom Procedural Surgical Guidance”的US9788907B1；2019年3月6日提交的名称为“Techniques For Virtualized Tool Interaction”的US20190279524A1；2019年7月15日提交的名称为“Methods And Systems For Using Computer-Vision To EnhanceSurgical Tool Control During Surgeries”的US10758309B1；2019年2月21日提交的名称为“Intraoperative Surgical Event Summary”的US10729502B1；这些参考文献中的每个均全文以引用方式并入本文。

视觉叠加包括根据本公开的一个方面的经计算、经处理的反馈或预测技术。在一个方面，视觉叠加包括投影外科器械77的路径。例如，内窥镜辅助叠加到腹腔镜视图以及叠加腹腔镜到内窥镜视图。另一方面包括投影机器人臂的位置。

在一个方面，经计算、经处理的反馈或预测技术向床边的助手提供在机器人病例中辅助所需手动运动的单独的视觉叠加。这可包括提供单独的视觉叠加以为肝脏牵开器重新定位需要、手动柄部的显微操纵器部分的上下或左右、或手动柄部的缝合器位置的上下或左右提供辅助。

在一个方面，经计算、经处理的反馈或预测技术提供外科缝合器的投影叠加。例如，系统可提供投影的切割线叠加、击发延迟倒计时定时器、刀上的力，或者预测关节运动角度。投影的切割线叠加可包括路径叠加、切割长度叠加或钉仓长度。

在一个方面，经计算、经处理的反馈或预测技术提供能量装置的投影叠加。能量装置的投影叠加可包括阻抗计算、直钳口或弧形钳口，或者预测关节运动角度。另外的方面包括提供外科缝合器倒计时定时器和阻抗计算的叠加。

经计算、经处理的反馈或预测技术的附加示例可见于2020年2月20日提交的名称为“Timeline Overlay On Surgical Video”的US20200237452A1；2020年2月27日提交的名称为“Image-Based System For Estimating Surgical Contact Force”的US20200268469A1；2020年2月27日提交的名称为“Estimating A Source And Extent OfFluid Leakage During Surgery”的US20200268472A1；2018年11月6日提交的名称为“HubRecommendations From Real Time Analysis Of Procedure Variables Against ABaseline Highlighting Differences From The Optimal Solution”的US20190201102A1(具体参考图17至图19和相关联的描述)；以及2018年8月13日提交的名称为“System AndMethod For Analysis And Presentation Of Surgical Procedure Videos”的US10878966B2；这些参考文献中的每个均全文以引用方式并入本文。

在一个方面，视觉叠加提供用于基于检测到的参数来调节视觉叠加的方法。用于基于检测到的参数来调节视觉叠加的一种方法包括检测手术或器械的方面以触发叠加数据的适应性。一个方面提供用于将相机的光轴与器械的取向对齐的算法。该算法可包括基于手术任务来自动地改变角度。

用于基于检测到的参数来调节视觉叠加的另一方法包括用于补偿AR深度的算法。在一个方面，该算法包括通过监测外科医生73聚焦来调节重叠图像，以自动调节增强信息的深度。该算法还可包括通过在算法上调节缺失元素来调节聚焦、深度或缩放。该算法还可包括使用结构光表面3D模型来增强到其上。

用于基于检测到的参数来调节视觉叠加的另一种方法包括当装置活动或连接时显示基本信息。对于所有装置，该显示可包括例如装置名称、装置制造商、装置状态，诸如就绪或故障。对于外科缝合器装置，该显示可包括钉仓安装状态或仓击发状态。对于能量装置，该显示可包括能量设置，诸如功率水平设置、操作模式(诸如高级止血)、最小功率、最大功率和当前使用的操作模式。

用于基于检测到的参数来调节视觉叠加的另一方法包括用于处理出现在显示屏幕的失焦的部分中的警报的算法。在一个方面，该算法包括调节正在发生警报的显示器的部分的聚焦或分辨率，即使该部分在直接原位部分之外时也是如此。例如，在结肠松动术期间检测到的组织张力问题的情况下，大组织张力是由于拉动结肠导致检测到的张力发生在远离腹腔镜的原位相互作用可视化的位置。张力指示可创建视图的聚焦、清晰度或宽度的调节，或者它可指示事件在当前正被观看的视野之外发生的方向。

用于基于检测到的参数来调节视觉叠加的另一种方法包括用于叠加尚未调节或修改的信息的算法。该信息可包括装置名称和序列号。叠加信息可以是静态或动态数据的形式。

用于基于检测到的参数来调节视觉叠加的另一种方法包括通过在短期内要求更多聚焦以确保完成任务来增强器械性能的算法。例如，当外科缝合器切穿厚组织时。切穿厚组织导致外科缝合器减速。系统检测这种减速并且调节叠加以突出显示外科缝合器，具体地，突出显示刀位置和刀速度。这种突出显示是为了将外科医生的聚焦拉到外科缝合器上。外科医生可确定在当前情况下，切割暂停是最佳的做法。

用于基于检测到的参数来调节视觉叠加的另一种方法包括当烟雾填充腹膜腔使得来自腹腔镜相机的视图难以看到时改善视图的算法。该算法可包括在烟雾使图像模糊的同时叠加红外视图。

在一个方面，视觉叠加提供用于对在手术部位可视化流上的数据的视觉叠加进行控制的方法。该方法包括用于控制位置、尺寸、放置和与视野内的移动对象耦接的选项。视觉显示还提供叠加数据的各方面的适应性，以使得能够定制叠加。

用于对在手术部位可视化流上的数据的视觉叠加进行控制的一种方法包括同时定位和标测(SLAM)技术。SLAM技术提供用于构建未知位置和未知环境的地图并且确定地图中的实际位置的架构。SLAM技术利用周围环境定位传感器(传感器信号处理)并且标测环境结构(位姿图优化)。传感器提供未知环境的数字地图，并且当佩戴者在该空间周围移动时基于数据的连续输入和数据的优化来优化数字地图。

视觉SLAM使用稀疏和密集方法从相机/图像传感器获取图像。稀疏方法匹配特征点。密集方法控制图像的亮度。

光检测和测距(LiDAR)SLAM采用激光/距离传感器，并且比视觉SLAM更精确和更快，但不如视觉SLAM详细。匹配点云提供迭代最近点和正态分布变换。例如，Google的无人驾驶汽车使用LiDAR来获取关于其本地周围环境的信息，并且(与Google地图信息耦接)基于周围环境的标测来做出关于驾驶的确定。

融合方法添加了诸如惯性测量单元(IMU)、全球定位系统(GPS)等其他数据源。根据融合方法，附加已知信息和标测可与所创建的标测叠加，以向佩戴者提供附加信息。

用于对在手术部位可视化流上的数据的视觉叠加进行控制的一种方法包括通过专用装置来控制叠加。单个功能装置可被配置为能够提供对叠加(以及仅叠加)的专用控制。如图36所示，可采用触摸屏界面来控制显示器的特征。

用于对在手术部位可视化流上的数据的视觉叠加进行控制的一种方法包括通过多功能装置来控制叠加。该多功能装置可被配置为能够支持多个不同的应用或功能，这些应用或功能另外使得能够控制显示器。

用于对在手术部位可视化流上的数据的视觉叠加进行控制的一种方法包括控制叠加内的特定特征。一个示例包括控制叠加透明度。另一示例包括控制叠加尺寸以使得临床用户能够改变可叠加到屏幕上的图像或元素的尺寸以适应用户偏好。另一示例包括控制字体大小以使得临床用户能够改变可叠加到显示器上的任何文本的大小以适应用户偏好。另一示例包括背景控制特征。该方法包括采用可配置面板，该可配置面板基于显示器上的窗口的所选区域来动态地改变。另一示例包括控制警报和警告。如图50所示，该方法采用按钮来选择可呈现警报和警告的对齐和位置。附加特征包括可在叠加内控制的信息和病例度量。

用于对在手术部位可视化流上的数据的视觉叠加进行控制的一种方法包括控制叠加的元素以提供背景化帮助。该叠加包括用户选择的按钮和基于用户动作的自动提示。当用户不正确地尝试选择特征时，这可能是有帮助的。

用于对在手术部位可视化流上的数据的视觉叠加进行控制的一种方法包括控制来自外科医生音频命令的叠加并与之交互。外科医生可调出要叠加到主显示监视器上的期望的视觉叠加。例如，外科医生可调出诸如“患者生命体征叠加”、“外科缝合器叠加”或“超声叠加”的命令，以使得这些叠加被叠加到主显示器上。在一个方面，系统可采用个人跟踪方面来区分手术室中的不同用户。

在一个方面，例如，视觉叠加提供了用于在叠加装置(诸如AR装置66)的视野内提供器械的概览视觉叠加的方法。视觉叠加可被配置为能够向用户提供装置的概览状态、主要配置或用户以及装置的标识。视觉叠加还可被配置为能够提供对概览数据的难处理控制，其使得能够进行装置的交互设置或重新配置。

图72是显示定制叠加信息的工作人员视图屏幕5600的图像。工作人员视图屏幕5600显示主手术显示5602，该主手术显示使得能够定制手术叠加并且包括三个主屏幕部分。第一屏幕部分5604显示外科医生预设以使得能够输入可被保存、更改或删除的外科医生预设或默认设置。第一屏幕部分5604还包括使得能够打开或关闭显示叠加的部分以及使得能够在小、中和大三个设置中从较小到较大地调节主手术显示5602的叠加尺寸部分。

主手术显示5602的第二屏幕部分5606显示在第一屏幕部分的右侧。第二屏幕部分5606显示病例信息和总体装置使用日期，并且使得能够编辑病例信息的显示。可轻击右V形图标5612以获得打开/关闭各个叠加的更细粒度的能力。虚拟开关滑块按钮5612用于打开/关闭一组叠加。

主手术显示5602的第三屏幕部分5608显示在第二屏幕部分5606下方。第三屏幕部分5608显示能量面板和装置警报，并且使得能够编辑装置面板的显示。类似于第二屏幕部分5606，第三屏幕部分5608包括可被轻击以获得打开/关闭各个叠加的更细粒度能力的右V形图标5616以及用于打开/关闭一组叠加物层的虚拟开关滑块按钮5618。

主手术显示5602的第四屏幕部分5610显示在第三屏幕部分5608下方。第四屏幕部分5610显示所有系统通知并且使得能够编辑系统通知。类似于第二屏幕部分5606和第三屏幕部分5608，第四屏幕部分5610包括可被轻击以获得打开/关闭各个叠加的更细粒度能力的右V形图标5620以及用于打开/关闭一组叠加物层的虚拟开关滑块按钮5622。

在主手术显示5602的底部处提供可轻击的图标以提供附加功能。例如，一个可轻击图标5624使得能够导航到工作人员视图屏幕。

图73是显示详细定制弹出信息的工作人员视图屏幕5700的图像。工作人员视图屏幕5700在主手术显示5602屏幕上方显示编辑病例叠加屏幕5702。编辑病例信息叠加屏幕5702允许打开/关闭各个叠加部件的能力。编辑病例信息叠加屏幕5702包括一系列虚拟开关滑块按钮5704，以使得能够编辑例如患者姓和名、外科医生姓和名、病例(例如，外科规程)的时间和日期、病例时间、器械激活或缝钉击发的次数。

图74是显示工作人员视图故障排除弹出信息的工作人员视图屏幕5800的图像。工作人员视图屏幕5800显示工作人员视图故障排除弹出屏幕5802以提供关于系统装置和部件的故障排除信息。可轻击图标5084提供装置连接状态并且指示系统是否适当地连接到其他资本设备或装置。故障排除弹出屏幕5802示出了具有超声发生器5808的静态图像5806的检查超声连接发生器错误屏幕。可提供具有静态图像、GIF或动画的附加故障排除屏幕。故障排除屏幕可具有用户可推进的多个步骤或多个屏幕(未示出)。

图75是显示主手术显示交互的主手术显示交互屏幕5900的图像。主手术显示交互屏幕5900示出了具有包括三个部分的叠加屏幕5904的器械面板行为屏幕5902。叠加屏幕5904的第一部分示出了包括器械激活默认面板5906和器械最小活动面板5908的装置激活信息。例如，信息包括在激活状态下由暗变亮的面板背景和以深色文本示出的活动模式以及以褪色的不透明度示出的不活动模式。

叠加屏幕5904的第二部分示出了器械禁用激活信息，包括器械禁用激活面板5910、警报状态面板5912和禁用器械面板5914。当触发某些警报时，器械面板变灰以指示激活被禁用。这可仅适用于用户因警报状态而被锁定无法使用装置的情况。

叠加屏幕5904的第三部分示出了包括通用器械默认面板5916和最小化面板5918的最小化信息。面板在预定时段后被最小化至预定尺寸。当发生激活或通知时，器械类型保留在面板上并且面板返回默认视图。

态势感知是指外科系统的一些方面的根据从数据库和/或器械接收的数据来确定或推断与外科规程相关的信息的能力。该信息可包括正在进行的手术的类型、正在手术的组织的类型或作为手术对象的体腔。利用与外科规程相关的背景信息，外科系统可例如改善该外科系统控制连接到其的模块化装置(例如，机器人臂和/或机器人外科工具)的方式，并且在外科规程的过程期间向外科医生提供背景信息或建议。

图76示出了态势感知外科规程的时间轴。图72示出了例示性外科规程的时间线5200以及外科集线器5104可从外科规程中每个步骤从数据源5126接收到的数据导出的背景信息。时间轴5200描绘了护士、外科医生和其他医疗人员在肺分段切除手术期间将采取的典型步骤，从建立手术室开始到将患者转移到术后恢复室为止。态势感知外科集线器5104在整个外科规程过程中从数据源5126接收数据，包括每次医疗人员利用与外科集线器5104配对的模块化装置5102时生成的数据。外科集线器5104可从配对的模块化装置5102和其他数据源5126接收该数据，并且在接收新数据时不断导出关于正在进行的手术的推论(即，背景信息)，诸如在任何给定时间执行手术的哪个步骤。外科集线器5104的态势感知系统能够例如记录与用于生成报告的手术相关的数据，验证医疗人员正在采取的步骤，(例如，经由显示屏)提供可能与特定手术步骤相关的数据或提示，基于上下文调节模块化装置5102(例如，激活监测器、调节医学成像装置的FOV或改变超声外科器械或RF电外科器械的能量程度)，以及采取本文所述的任何其他此类动作。

第一5202，医院工作人员从医院的EMR数据库中检索患者的EMR。基于在EMR中选择的患者数据，外科集线器5104确定待执行的手术是胸腔手术。

第二5204，工作人员扫描用于规程的进入的医疗用品。外科集线器5104将所扫描的用品与在各种类型的规程中利用的用品列表交叉对比，并确认用品的组合对应于胸腔规程。另外，外科集线器5104还能够确定规程不是楔形规程(因为进入的用品缺乏胸腔楔形规程所需的某些用品，或以其他方式不对应于胸腔楔形规程)。

第三5206，医疗人员经由通信地连接到外科集线器5104的扫描器5128来扫描患者带。然后，外科集线器5104可基于所扫描的数据来确认患者的身份。

第四5208，医务工作人员打开辅助设备。利用的辅助设备可根据外科规程的类型和外科医生待使用的技术而变化，但在此示例性情况下，它们包括排烟器、吹入器和医学成像装置。当激活时，作为其初始化过程的一部分，作为模块化装置5102的辅助设备可以自动与位于模块化装置5102特定附近的外科集线器5104配对。然后，外科集线器5104可通过检测在该术前阶段或初始化阶段期间与其配对的模块化装置5102的类型来导出关于外科规程的背景信息。在该具体示例中，外科集线器5104确定外科规程是基于配对模块化装置5102的该特定组合的VATS规程。基于来自患者的EMR的数据、待在手术中使用的医疗用品的列表以及连接至集线器的模块化装置5102的类型的组合，外科集线器5104通常可推断外科团队将执行的特定手术。一旦外科集线器5104知道正在被执行的特定手术，外科集线器5104就可从存储器或云中检索该手术的步骤，然后交叉引用其随后从所连接的数据源5126(例如，模块化装置5102和患者监测装置5124)接收的数据，以推断外科团队正在执行的外科规程的步骤。

第五5210，工作人员将EKG电极和其他患者监测装置5124附接到患者。EKG电极和其他患者监测装置5124能够与外科集线器5104配对。随着外科集线器5104开始从患者监测装置5124接收数据，外科集线器5104因此确认患者在手术室中。

第六5212，医疗人员诱导患者麻醉。外科集线器5104可基于来自模块化装置5102和/或患者监测装置5124的数据(包括EKG数据、血压数据、呼吸机数据或它们的组合)推断患者处于麻醉下。在第六步5212完成时，肺分段切除手术的术前部分完成，并且手术部分开始。

第七5214，使正在手术的患者的肺部塌缩(同时通气被切换到对侧肺)。外科集线器5104可从呼吸机数据推断出患者的肺已经塌缩。外科集线器5104可推断规程的手术部分已开始，因为其可将患者的肺部塌缩的检测与规程的预期步骤(可先前访问或检索)进行比较，从而确定使肺部塌缩是该特定规程中的手术步骤。

第八5216，插入医学成像装置5108(例如，内窥镜)，并启动来自该医学成像装置的视频。外科集线器5104通过其与医学成像装置的连接来接收医学成像装置数据(即，静止图像数据或实时的实况流式传输视频)。在接收到医学成像装置数据之后，外科集线器5104可确定外科规程的腹腔镜部分已开始。另外，外科集线器5104可确定正在被执行的特定手术是分段切除术，而不是肺叶切除术(注意，外科集线器5104基于在手术的第二步骤5204处接收到的数据已经排除了楔形手术)。来自医学成像装置124(图2)的数据可用于以多种不同的方式确定与正在被执行的手术的类型相关的背景信息，包括通过确定医学成像装置相对于患者的解剖结构的可视化取向的角度，监测所利用的医学成像装置的数量(即，被激活并与外科集线器5104配对)，以及监测所利用的可视化装置的类型。

例如，一种用于执行VATS肺叶切除术的技术将相机放置在隔膜上方的患者胸腔的下前拐角中，而一种用于执行VATS分段切除术的技术将相机相对于分段裂缝放置在前肋间位置。例如，使用模式识别或机器学习技术，可对态势感知系统进行训练，以根据患者解剖结构的可视化识别医学成像装置的定位。作为另一个示例，一种用于执行VATS肺叶切除术的技术利用单个医学成像装置，而用于执行VATS分段切除术的另一种技术利用多个相机。作为另一个示例，一种用于执行VATS分段切除术的技术利用红外光源(其可作为可视化系统的一部分可通信地耦接到外科集线器)以可视化不用于VATS肺部切除术中的分段裂隙。通过从医学成像装置5108跟踪这些数据中的任何或所有，外科集线器5104因此可确定正在被执行的外科规程的具体类型和/或用于特定类型的外科规程的技术。

第九5218，外科团队开始规程的解剖步骤。外科集线器5104可推断外科医生正处在解剖以调动患者的肺部的过程中，因为其从RF发生器或超声发生器接收到指示能量器械正在被击发的数据。外科集线器5104可将所接收的数据与外科规程的检索步骤交叉引用，以确定在方法中的该点处(即，在先前讨论的手术步骤完成之后)击发的能量器械对应于解剖步骤。

第十5220，外科团队继续进行至规程的结扎步骤。外科集线器5104可推断外科医生正在结扎动脉和静脉，因为其从外科缝合和切割器械接收指示器械正在被击发的数据。与先前步骤相似，外科集线器5104可通过交叉引用来自外科缝合和切割器械的数据的接收与该方法中的检索步骤来导出该推论。

第十一5222，执行规程的分段切除术部分。外科集线器5104推断外科医生正在基于来自外科器械的数据(包括来自钉仓的数据)横切软组织。仓数据可对应于由器械击发的钉的大小或类型。仓数据可针对在不同类型组织中采用的不同类型钉指示被缝合和/或横切的组织的类型。被击发的钉的类型用于软组织或其他组织类型，以使得外科集线器5104能够推断正在执行的分段切除手术。

第十二5224，执行节点解剖步骤。外科集线器5104可基于从发生器接收的指示正在击发RF或超声器械的数据来推断外科团队正在解剖节点并且执行泄漏测试。对于该特定手术，在横切软组织后利用RF或超声器械对应于节点解剖步骤，这允许外科集线器5104做出该推论。应当指出的是，外科医生根据手术中的具体步骤定期在外科缝合/切割器械和外科能量(即，RF或超声)器械之间来回切换，因为不同器械更好地适于特定任务。因此，其中使用缝合/切割器械和外科能量器械的特定序列可指示外科医生正在执行的手术的步骤。在第十二步骤5224完成时，切口被闭合并且规程的术后部分开始。

第十三5226，逆转患者的麻醉。例如，外科集线器5104可基于呼吸机数据(即，患者的呼吸率开始增加)推断出患者正在从麻醉中醒来。

最后，第十四5228，医疗人员从患者移除各种患者监测装置5124。因此，当外科集线器5104丢失EKG、BP和来自患者监测装置5124的其他数据时，该集线器可推断患者正在被转移到恢复室。外科集线器5104可根据从可通信地耦接到外科集线器5104的各种数据源5126接收的数据来确定或推断给定外科规程的每个步骤何时发生。

除了利用来自EMR数据库的患者数据来推断待执行的外科规程的类型之外，如图76所示的时间线5200的第一步骤5202所示，态势感知外科集线器5104还可利用患者数据来生成用于配对的模块化装置5102的控制调节。

本文所述主题的各种附加方面在以下编号的实施例中陈述：

实施例1：一种用于在外科规程期间使用的增强现实显示系统，所述增强现实显示系统包括：成像装置，所述成像装置用于在所述外科规程期间捕获外科区域的真实图像；增强现实显示器，所述增强现实显示器用于呈现与被主动可视化的外科器械的关键操作以及所述外科器械与所述外科区域中的组织的相互作用相关联的功能数据叠加，其中，所述功能数据被叠加到所述外科区域的所述真实图像上，并且其中，所述功能数据叠加是所述外科器械的所述关键操作以及所述外科器械与所述外科区域中的所述组织的所述相互作用的各方面的组合；和处理器，所述处理器用于：接收来自所述外科器械的功能数据；确定与所述外科器械的功能方面相关的叠加数据；以及将所述外科区域中的所述组织的方面与从所述外科器械接收的所述功能数据组合。

实施例2：根据实施例1所述的增强现实系统，还包括耦接到所述增强现实显示器的外科集线器，其中，通过由所述外科集线器检测到的方面来调节所述叠加数据以根据由所述外科器械检测到的信息来修改所述叠加数据从而添加背景。

实施例3：根据实施例1至2中任一项所述的增强现实系统，其中，所述增强现实显示器能够由用户修改。

实施例4：根据实施例3所述的增强现实系统，其中，基于所述增强现实显示器的用户修改来修改被监测的外科器械功能。

实施例5：一种用于在外科规程期间使用的增强现实显示系统，所述增强现实显示系统包括：成像装置，所述成像装置用于在所述外科规程期间捕获外科区域的真实图像；增强现实显示器，所述增强现实显示器用于呈现与被主动可视化的外科器械的参数以及所述外科器械与所述外科区域中的组织的相互作用相关联的功能数据叠加，其中，所述功能数据被叠加到所述外科区域的所述真实图像上，并且其中，所述功能数据叠加是所述外科器械的所述参数以及所述外科器械与所述外科区域中的所述组织的所述相互作用的各方面的组合；和处理器，所述处理器用于：接收来自所述外科器械的功能数据；确定与所述外科器械的功能方面相关的叠加数据；以及将所述外科区域中的所述组织的方面与从所述外科器械接收的所述功能数据组合。

实施例6：根据实施例5所述的增强现实系统，还包括耦接到所述增强现实显示器的外科集线器，其中，通过由所述外科集线器检测到的方面来调节所述叠加数据以根据由所述外科器械检测到的信息来修改所述叠加数据从而添加背景。

实施例7：根据实施例5至6中任一项所述的增强现实系统，其中，所述增强现实显示器能够由用户修改。

实施例8：根据实施例7所述的增强现实系统，其中，基于所述增强现实显示器的用户修改来修改被监测的所述外科器械功能。

实施例9：一种系统，包括：用于在外科规程期间使用的增强现实显示系统，所述增强现实显示系统包括：成像装置，所述成像装置用于在所述外科规程期间捕获外科区域的真实图像；增强现实显示器，所述增强现实显示器用于呈现与外科器械相关联的功能数据叠加；能量发生器，所述能量发生器耦接到所述外科器械，其中，所述外科器械在外科规程期间采用射频(RF)能量和超声能量；外科集线器，所述外科集线器耦接到所述能量发生器和所述增强现实显示器，其中，所述外科集线器向所述增强现实显示器提供所述外科区域的实时馈送以显示所述外科区域的所述实时馈送；其中，所述增强现实显示器显示所述外科区域、所述外科器械和面板叠加的视图，以显示特定于所述外科器械的关键操作或参数以及所述外科器械与所述外科区域中的组织的相互作用的信息。

实施例10：根据实施例9所述的系统，其中，所述增强现实显示器示出了抓握组织的所述外科器械的端部执行器和显示叠加在所述外科区域的所述实时馈送上方的病例信息、系统通知、或装置面板、或它们的任何组合的面板叠加。

实施例11：根据实施例10所述的系统，其中，所述面板叠加的位置、不透明度、尺寸和放置是能够定制的。

实施例12：根据实施例11所述的系统，其中，所述面板叠加被配置为能够单独地打开或关闭或者作为组打开/关闭。

实施例13：根据实施例10至12中任一项所述的系统，其中，所述面板叠加包括来自以下各项的数据输入信息中的至少一者：资本设备、发生器、吹入器、排烟器、电子健康记录、腹腔镜、计算机、外科装置、有线和无线连接装置、能够保存、调用或编辑的外科医生配置文件偏好或它们的任何组合。

实施例14：根据实施例10至13中任一项所述的系统，其中，所述面板叠加包括病例信息，所述病例信息包括患者姓名、外科医生姓名、病例时间、或器械激活或它们的组合中的至少一者。

实施例15：根据实施例10至14中任一项所述的系统，其中，所述面板叠加包括系统通知，所述系统通知包括连接器械状态、轻微错误警报、中等错误警报或重大错误警报或它们的任何组合中的至少一者。

实施例16：根据实施例10至15中任一项所述的系统，其中，所述面板叠加包括与连接到所述系统的所述外科器械相关联的信息以提供高级止血。

实施例17：根据实施例10至16中任一项所述的系统，其中，所述面板叠加包括可见的患者面板叠加。

实施例18：根据实施例10至17中任一项所述的系统，其中，所述面板叠加包括装置面板叠加，所述装置面板叠加包括装置名称、装置设置、或装置补充特征或它们的任何组合中的至少一者。

实施例19.根据实施例10至18中任一项所述的系统，其中，所述面板叠加包括处于堆叠配置的多个面板叠加。

实施例20：根据实施例10至19中任一项所述的系统，其中，所述面板叠加包括处于展开配置的多个面板叠加。

实施例21：根据实施例20所述的系统，其中，所述面板叠加被配置为能够动态地改变以示出状态变化，诸如装置激活或功率水平调节。

实施例22：根据实施例10所述的系统，其中，所述面板叠加描绘了最佳装置性能(ODP)指南图像或其他使用说明(IFU)/信息源。

实施例23：根据实施例9所述的系统，其中，所述术中数据显示包括辅助可配置面板。

实施例24：根据实施例23所述的系统，其中，所述辅助可配置面板基于在所述术中数据显示的实时外科馈送区域的外科视野中显示的所选定制腹腔镜叠加区而动态地改变。

实施例25：根据实施例24所述的系统，其中，所述定制腹腔镜叠加区包括底部边缘面板、左上角面板、顶部中心面板、或侧边缘面板或它们的任何组合中的至少一者。

实施例26：根据实施例10至25中任一项所述的系统，其中，所述面板叠加显示装置故障排除信息。

实施例27：根据实施例10至26中任一项所述的系统，其中，所述面板叠加显示警报、警告、装置信息或装置特征或它们的任何组合中的至少一者。

尽管已举例说明和描述了多个形式，但是申请人的意图并非将所附权利要求的范围约束或限制在此类细节中。在不脱离该公开的范围的情况下，可实现对这些形式的许多修改、变型、改变、替换、组合和等同物，并且本领域技术人员将想到这些形式的许多修改、变型、改变、替换、组合和等同物。此外，另选地，可将与所描述的形式相关联的每个元件的结构描述为用于提供由所述元件执行的功能的器件。另外，在公开了用于某些部件的材料的情况下，也可使用其他材料。因此，应当理解，上述具体实施方式和所附权利要求旨在涵盖属于本发明所公开的形式范围内的所有此类修改、组合和变型。所附权利要求旨在涵盖所有此类修改、变型、改变、替换、修改和等同物。

上述具体实施方式已经由使用框图、流程图和/或示例阐述了装置和/或方法的各种形式。只要此类框图、流程图和/或示例包含一个或多个功能和/或操作，本领域的技术人员就要将其理解为此类框图、流程图和/或示例中的每个功能和/或操作都可以单独和/或共同地通过多种硬件、软件、固件或实际上它们的任何组合来实施。本领域的技术人员将会认识到，本文公开的形式中的一些方面可作为在一台或多台计算机上运行的一个或多个计算机程序(例如，作为在一个或多个计算机系统上运行的一个或多个程序)，作为在一个或多个处理器上运行的一个或多个程序(例如，作为在一个或多个微处理器上运行的一个或多个程序)，作为固件，或作为实际上它们的任何组合全部或部分地在集成电路中等效地实现，并且根据本公开，设计电路系统和/或编写软件和/或硬件的代码将在本领域技术人员的技术范围内。另外，本领域的技术人员将会认识到，本文所述主题的机制能够作为多种形式的一个或多个程序产品进行分布，并且本文所述主题的例示性形式适用，而不管用于实际进行分布的信号承载介质的具体类型是什么。

用于编程逻辑以执行各种所公开的方面的指令可存储在系统中的存储器内，诸如动态随机存取存储器(DRAM)、高速缓存、闪存存储器或其他存储器。此外，指令可经由网络或通过其他计算机可读介质来分发。因此，机器可读介质可包括用于存储或传输以机器(例如，计算机)可读形式的信息的任何机构，但不限于软盘、光学盘、光盘只读存储器(CD-ROM)、和磁光盘、只读存储器(ROM)、随机存取存储器(RAM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、磁卡或光卡、闪存存储器、或经由电信号、光学信号、声学信号或其他形式的传播信号(例如，载波、红外信号、数字信号等)在因特网上传输信息时使用的有形的、机器可读存储装置。因此，非暂态计算机可读介质包括适于以机器(例如，计算机)可读的形式存储或传输电子指令或信息的任何类型的有形机器可读介质。

如本文任一方面所用，术语“控制电路”可指例如硬连线电路系统、可编程电路系统(例如，计算机处理器，该计算机处理器包括一个或多个单独指令处理内核、处理单元，处理器、微控制器、微控制器单元、控制器、数字信号处理器(DSP)、可编程逻辑装置(PLD)、可编程逻辑阵列(PLA)、场可编程门阵列(FPGA))、状态机电路系统、存储由可编程电路系统执行的指令的固件、以及它们的任何组合。控制电路可以集体地或单独地实现为形成更大系统的一部分的电路系统，例如集成电路(IC)、专用集成电路(ASIC)、片上系统(SoC)、台式计算机、膝上型计算机、平板计算机、服务器、智能电话等。因此，如本文所用，“控制电路”包括但不限于具有至少一个离散电路的电子电路、具有至少一个集成电路的电子电路、具有至少一个专用集成电路的电子电路、形成由计算机程序配置的通用计算设备的电子电路(如，至少部分地实施本文所述的方法和/或设备的由计算机程序配置的通用计算机，或至少部分地实施本文所述的方法和/或设备的由计算机程序配置的微处理器)、形成存储器设备(如，形成随机存取存储器)的电子电路，和/或形成通信设备(如，调节解调器、通信开关或光电设备)的电子电路。本领域的技术人员将会认识到，可以模拟或数字方式或它们的一些组合实施本文所述的主题。

如本文的任何方面所用，术语“逻辑”可指被配置为能够执行前述操作中的任一者的应用程序、软件、固件和/或电路系统。软件可体现为记录在非暂态计算机可读存储介质上的软件包、代码、指令、指令集和/或数据。固件可体现为在存储器装置中硬编码(例如，非易失性)的代码、指令或指令集和/或数据。

如本文任一方面所用，术语“部件”、“系统”、“模块”等可指控制电路、计算机相关实体、硬件、硬件和软件的组合、软件或执行中的软件。

如本文任一方面中所用，“算法”是指导致所期望结果的有条理的步骤序列，其中“步骤”是指物理量和/或逻辑状态的操纵，物理量和/或逻辑状态可(但不一定)采用能被存储、转移、组合、比较和以其他方式操纵的电或磁信号的形式。常用于指这些信号，如位、值、元素、符号、字符、术语、数字等。这些和类似的术语可与适当的物理量相关联并且仅仅是应用于这些量和/或状态的方便的标签。

网络可包括分组交换网络。通信装置可能够使用所选择的分组交换网络通信协议来彼此通信。一个示例性通信协议可包括可能够允许使用传输控制协议/因特网协议(TCP/IP)进行通信的以太网通信协议。以太网协议可符合或兼容电气和电子工程师学会(IEEE)于2008年12月发布的标题为“IEEE 802.3Standard”的以太网标准和/或本标准的更高版本。另选地或附加地，通信装置可能够使用X.25通信协议彼此通信。X.25通信协议可符合或兼容由国际电信联盟电信标准化部门(ITU-T)发布的标准。另选地或附加地，通信装置可能够使用帧中继通信协议彼此通信。帧中继通信协议可符合或兼容由国际电报电话咨询委员会(CCITT)和/或美国国家标准学会(ANSI)发布的标准。另选地或附加地，收发器可能够使用异步传输模式(ATM)通信协议彼此通信。ATM通信协议可符合或兼容ATM论坛于2001年8月发布的名为“ATM-MPLS Network Interworking 2.0”的ATM标准和/或该标准的更高版本。当然，本文同样设想了不同的和/或之后开发的连接取向的网络通信协议。

除非上述公开中另外明确指明，否则可以理解的是，在上述公开中，使用术语如“处理”、“估算”、“计算”、“确定”、“显示”的讨论是指计算机系统或类似的电子计算装置的动作和进程，其操纵表示为计算机系统的寄存器和存储器内的物理(电子)量的数据并将其转换成相似地表示为计算机系统存储器或寄存器或其他此类信息存储、传输或显示装置内的物理量的其他数据。

一个或多个部件在本文中可被称为“被配置为能够”、“可配置为”、“可操作/可操作地”、“适于/可适于”、“能够”、“可适形/适形于”等。本领域的技术人员将会认识到，除非上下文另有所指，否则“被配置为能够”通常可涵盖活动状态的部件和/或未活动状态的部件和/或待机状态的部件。

术语“近侧”和“远侧”在本文中是相对于操纵外科器械的柄部部分的临床医生来使用的。术语“近侧”是指最靠近临床医生的部分，术语“远侧”是指远离临床医生定位的部分。还应当理解，为简洁和清楚起见，本文可结合附图使用诸如“竖直”、“水平”、“上”和“下”等空间术语。然而，外科器械在许多取向和方位中使用，并且这些术语并非是限制性的和/或绝对的。

本领域的技术人员将认识到，一般而言，本文、以及特别是所附权利要求(例如，所附权利要求的正文)中所使用的术语通常旨在为“开放”术语(例如，术语“包括”应解释为“包括但不限于”，术语“具有”应解释为“至少具有”，术语“包含”应解释为“包含但不限于”等)。本领域的技术人员还应当理解，如果所引入权利要求表述的具体数目为预期的，则此类意图将在权利要求中明确表述，并且在不存在此类叙述的情况下，不存在此类意图。例如，为有助于理解，下述所附权利要求可含有对介绍性短语“至少一个”和“一个或多个”的使用以引入权利要求。然而，对此类短语的使用不应视为暗示通过不定冠词“一个”或“一种”引入权利要求表述将含有此类引入权利要求表述的任何特定权利要求限制在含有仅一个这样的表述的权利要求中，甚至当同一权利要求包括介绍性短语“一个或多个”或“至少一个”和诸如“一个”或“一种”(例如，“一个”和/或“一种”通常应解释为意指“至少一个”或“一个或多个”)的不定冠词时；这也适用于对用于引入权利要求表述的定冠词的使用。

另外，即使明确叙述引入权利要求叙述的特定数目，本领域的技术人员应当认识到，此种叙述通常应解释为意指至少所叙述的数目(例如，在没有其他修饰语的情况下，对“两个叙述”的裸叙述通常意指至少两个叙述、或两个或更多个叙述)。此外，在其中使用类似于“A、B和C中的至少一者等”的惯例的那些情况下，一般而言，此类构造意在具有本领域的技术人员将理解所述惯例的意义(例如，“具有A、B和C中的至少一者的系统”将包括但不限于具有仅A、仅B、仅C、A和B一起、A和C一起、B和C一起和/或A、B和C一起等的系统)。在其中使用类似于“A、B或C中的至少一者等”的惯例的那些情况下，一般而言，此类构造意在具有本领域的技术人员将理解所述惯例的意义(例如，“具有A、B或C中的至少一者的系统”应当包括但不限于具有仅A、仅B、仅C、A和B一起、A和C一起、B和C一起和/或A、B和C一起等的系统)。本领域的技术人员还应当理解，通常，除非上下文另有指示，否则无论在具体实施方式、权利要求或附图中呈现两个或更多个替代术语的转折性词语和/或短语应理解为涵盖包括所述术语中的一者、所述术语中的任一个或这两个术语的可能性。例如，短语“A或B”通常将被理解为包括“A”或“B”或“A和B”的可能性。

对于所附的权利要求，本领域的技术人员将会理解，其中表述的操作通常可以任何顺序进行。另外，尽管以一个或多个序列出了各种操作流程图，但应当理解，可以不同于所示顺序的其他顺序执行各种操作，或者可同时执行所述各种操作。除非上下文另有规定，否则此类替代排序的示例可包括重叠、交错、中断、重新排序、增量、预备、补充、同时、反向，或其他改变的排序。此外，除非上下文另有规定，否则像“响应于”、“相关”这样的术语或其他过去式的形容词通常不旨在排除此类变体。

值得一提的是，任何对“一个方面”、“一方面”、“一范例”、“一个范例”的提及均意指结合所述方面所述的具体特征部、结构或特征包括在至少一个方面中。因此，在整个说明书的各种位置出现的短语“在一个方面”、“在一方面”、“在一范例中”、“在一个范例中”不一定都指同一方面。此外，具体特征部、结构或特征可在一个或多个方面中以任何合适的方式组合。

本说明书提及和/或在任何申请数据表中列出的任何专利申请，专利，非专利公布或其他公开材料均以引用方式并入本文，只要所并入的材料在此不一致。因此，并且在必要的程度下，本文明确列出的公开内容代替以引用方式并入本文的任何冲突材料。据称以引用方式并入本文但与本文列出的现有定义、陈述或其他公开材料相冲突的任何材料或其部分，将仅在所并入的材料与现有的公开材料之间不产生冲突的程度下并入。

概括地说，已经描述了由采用本文所述的概念产生的许多有益效果。为了举例说明和描述的目的，已经提供了一个或多个形式的上述具体实施方式。这些具体实施方式并非意图为详尽的或限定到本发明所公开的精确形式。可以按照上述教导内容对本发明进行修改或变型。选择和描述的一个或多个形式是为了说明原理和实际应用，从而使本领域的普通技术人员能够利用适用于预期的特定用途的各种形式和各种修改。与此一同提交的权利要求书旨在限定完整范围。

Claims (27)

1.一种用于在外科规程期间使用的增强现实显示系统，所述增强现实显示系统包括：

成像装置，所述成像装置用于在所述外科规程期间捕获外科区域的真实图像；

增强现实显示器，所述增强现实显示器用于呈现与被主动可视化的外科器械的关键操作以及所述外科器械与所述外科区域中的组织的相互作用相关联的功能数据叠加，其中，所述功能数据被叠加到所述外科区域的所述真实图像上，并且其中，所述功能数据叠加是所述外科器械的所述关键操作以及所述外科器械与所述外科区域中的所述组织的所述相互作用的各方面的组合；和

处理器，所述处理器用于：

接收来自所述外科器械的功能数据；

确定与所述外科器械的功能方面相关的叠加数据；以及

将所述外科区域中的所述组织的方面与从所述外科器械接收的所述功能数据组合。

2.根据权利要求1所述的增强现实显示系统，还包括耦接到所述增强现实显示器的外科集线器，其中，通过由所述外科集线器检测到的方面来调节所述叠加数据以根据由所述外科器械检测到的信息来修改所述叠加数据从而添加背景。

3.根据权利要求1所述的增强现实显示系统，其中，所述增强现实显示器能够由用户修改。

4.根据权利要求3所述的增强现实显示系统，其中，基于所述增强现实显示器的用户修改来修改被监测的外科器械功能。

5.一种用于在外科规程期间使用的增强现实显示系统，所述增强现实显示系统包括：

成像装置，所述成像装置用于在所述外科规程期间捕获外科区域的真实图像；

增强现实显示器，所述增强现实显示器用于呈现与被主动可视化的外科器械的参数以及所述外科器械与所述外科区域中的组织的相互作用相关联的功能数据叠加，其中，所述功能数据被叠加到所述外科区域的所述真实图像上，并且其中，所述功能数据叠加是所述外科器械的所述参数以及所述外科器械与所述外科区域中的所述组织的所述相互作用的各方面的组合；和

处理器，所述处理器用于：

接收来自所述外科器械的功能数据；

确定与所述外科器械的功能方面相关的叠加数据；以及

将所述外科区域中的所述组织的方面与从所述外科器械接收的所述功能数据组合。

6.根据权利要求5所述的增强现实显示系统，还包括耦接到所述增强现实显示器的外科集线器，其中，通过由所述外科集线器检测到的方面来调节所述叠加数据以根据由所述外科器械检测到的信息来修改所述叠加数据从而添加背景。

7.根据权利要求5所述的增强现实显示系统，其中，所述增强现实显示器能够由用户修改。

8.根据权利要求7所述的增强现实显示系统，其中，基于所述增强现实显示器的用户修改来修改被监测的所述外科器械功能。

9.一种系统，包括：

增强现实显示系统，所述增强现实显示系统用于在外科规程期间使用，所述增强现实显示系统包括：

成像装置，所述成像装置用于在所述外科规程期间捕获外科区域的真实图像；

增强现实显示器，所述增强现实显示器用于呈现与外科器械相关联的功能数据叠加；

能量发生器，所述能量发生器耦接到所述外科器械，其中，所述外科器械在外科规程期间采用射频(RF)能量和超声能量；

外科集线器，所述外科集线器耦接到所述能量发生器和所述增强现实显示器，其中，所述外科集线器向所述增强现实显示器提供所述外科区域的实时馈送以显示所述外科区域的所述实时馈送；

其中，所述增强现实显示器显示所述外科区域、所述外科器械和面板叠加的视图，以显示特定于所述外科器械的关键操作或参数以及所述外科器械与所述外科区域中的组织的相互作用的信息。

10.根据权利要求9所述的系统，其中，所述增强现实显示器示出了抓握组织的所述外科器械的端部执行器和显示叠加在所述外科区域的所述实时馈送上方的病例信息、系统通知、或装置面板或它们的任何组合的面板叠加。

11.根据权利要求10所述的系统，其中，所述面板叠加的位置、不透明度、尺寸和放置是能够定制的。

12.根据权利要求11所述的系统，其中，所述面板叠加被配置为能够单独地打开或关闭或者作为组打开/关闭。

13.根据权利要求10所述的系统，其中，所述面板叠加包括来自以下各项的数据输入信息中的至少一者：资本设备、发生器、吹入器、排烟器、电子健康记录、腹腔镜、计算机、外科装置、有线和无线连接装置、能够保存、调用或编辑的外科医生配置文件偏好或它们的任何组合。

14.根据权利要求10所述的系统，其中，所述面板叠加包括病例信息，所述病例信息包括患者姓名、外科医生姓名、病例时间、或器械激活或它们的组合中的至少一者。

15.根据权利要求10所述的系统，其中，所述面板叠加包括系统通知，所述系统通知包括连接器械状态、轻微错误警报、中等错误警报或重大错误警报或它们的任何组合中的至少一者。

16.根据权利要求10所述的系统，其中，所述面板叠加包括与连接到所述系统的所述外科器械相关联的信息以提供高级止血。

17.根据权利要求10所述的系统，其中，所述面板叠加包括可见的患者面板叠加。

18.根据权利要求10所述的系统，其中，所述面板叠加包括装置面板叠加，所述装置面板叠加包括装置名称、装置设置、或装置补充特征或它们的任何组合中的至少一者。

19.根据权利要求10所述的系统，其中，所述面板叠加包括处于堆叠配置的多个面板叠加。

20.根据权利要求10所述的系统，其中，所述面板叠加包括处于展开配置的多个面板叠加。

21.根据权利要求20所述的系统，其中，所述面板叠加被配置为能够动态地改变以示出状态变化，诸如装置激活或功率水平调节。

22.根据权利要求10所述的系统，其中，所述面板叠加描绘了最佳装置性能(ODP)指南图像或其他使用说明(IFU)/信息源。

23.根据权利要求9所述的系统，其中，术中数据显示包括辅助可配置面板。

24.根据权利要求23所述的系统，其中，所述辅助可配置面板基于在所述术中数据显示的实时外科馈送区域的所述外科视野中显示的所选定制腹腔镜叠加区而动态地改变。

25.根据权利要求24所述的系统，其中，所述定制腹腔镜叠加区包括底部边缘面板、左上角面板、顶部中心面板、或侧边缘面板或它们的任何组合中的至少一者。

26.根据权利要求10所述的系统，其中，所述面板叠加显示装置故障排除信息。

27.根据权利要求10所述的系统，其中，所述面板叠加显示警报、警告、装置信息或装置特征或它们的任何组合中的至少一者。