CN108472084A - 具有训练或辅助功能的外科手术系统 - Google Patents

Abstract

本申请公开了用于支持远程操作外科手术系统(TSS)的系统、方法和可实现的软件指令。接收包括TSS的监测的事件的外科手术输入。外科手术例程的当前阶段是根据外科手术输入自主确定的。响应于可以向TSS的外科医生控制台提供何种情境相关的辅助，可以检测对外科医生辅助的呼叫，该情境相关的辅助与外科手术例程是阶段同步的。

Description

具有训练或辅助功能的外科手术系统

优先权声明

本申请要求于2016年8月12日提交的美国临时专利申请号62/374,670的优先权的权益，并且要求于2015年11月12日提交的美国临时专利申请号62/254,556的优先权的权益，它们中的每个通过引用将其全部内容结合于此。

技术领域

本发明的方面与用于外科手术的医疗设备相关。更具体地，本发明各方面与控制机器人辅助外科手术系统以收集和评估外科手术性能数据以自动辅助外科手术人员或给外科手术人员提供建议相关。

背景技术

微创远程操作外科手术系统(TSS)被开发以增加外科医生对内部外科手术部位工作时的灵活性，并允许外科医生从远程方位(无菌区域外)对患者进行手术。在TSS中，外科医生通常在控制台处被提供外科手术部位的图像。在适当的观察器或显示器上观看外科手术部位的图像时，外科医生通过操纵控制台的主输入设备或控制设备来对患者执行外科手术例程。每个主输入设备控制伺服机械致动/铰接的外科手术器械的运动。在外科手术例程期间，TSS可以提供具有末端执行器的各种外科手术器械或工具的机械致动和控制，响应于主输入设备的操纵，该末端执行器执行外科医生的各种功能，例如保持或驱动针、抓住血管、解剖组织、缝合组织等。

训练外科医生使用TSS以及使用TSS辅助外科医生进行外科手术是可取的。需要实用的解决方案，以便在适当情况下促进自动手术评估和自动手术辅助。

发明内容

以下概述介绍了本发明主题的某些方面，以提供基本的理解。本概述不是本发明主题的广泛概述，并且不旨在确定关键或重要元件或描绘本发明主题的范围。虽然本概述包含与本发明主题的各个方面和实施例相关的信息，但其唯一目的是以大概形式呈现一些方面和实施例作为以下更详细描述的序言。

本发明的一个方面涉及用于远程操作外科手术系统(TSS)的外科医生支持系统。TSS通常包括外科医生输入接口，该输入接口接受用于实现机电外科手术系统的外科手术控制输入以执行外科手术例程。

在一些实施例中，外科医生支持系统包括虚拟外科手术环境引擎和辅助引擎，其中的每一个可以使用计算硬件来实现。

虚拟外科手术环境引擎包括外科手术输入评估器引擎和分段器引擎，外科手术输入评估器引擎接收包括TSS的监测的事件的外科手术输入，分段器引擎基于外科手术输入来确定外科手术例程的当前阶段。

辅助引擎包括通信地耦接到TSS的外科医生输入接口的TSS接口、用于检测对外科医生辅助的呼叫的辅助呼叫检测器，以及响应于对外科医生辅助的呼叫经由TSS接口发送情境相关的辅助的辅助渲染引擎。情境相关的辅助与外科手术例程是阶段同步的。阶段同步是指在外科手术过程流程方面的对准，而不是严格的时间对准。在一些实施例中，阶段同步支持阶段偏移，使得可以提供辅助以便为即将到来的外科手术例程的阶段准备外科医生或外科手术团队。

有利的是，阶段同步为外科医生提供了可以立即可用的情境相关的辅助。辅助的示例包括外科手术例程的当前(或即将到来的)部分的自动排队的专家视频段、在某些情况下可以在手术中调用的外科手术例程的当前或即将到来的部分的按需模拟、来自自动化专家系统的特定情况的外科手术技术建议，以及先前评估为在外科手术例程的特定部分具有专业知识的人类专家助手的通知。提供前述示例是为了说明，并且不被认为是限制范围的，除非并且在一定程度上它们在所附权利要求中明确地提出。

在一些实施例中，虚拟外科手术环境引擎进一步被配置为实现模拟器引擎以基于TSS的外科手术输入来处理外科手术例程的计算模型。例如，模拟器引擎可以包括TSS模型和患者模型，TSS模型以计算方式表示虚拟外科手术环境中的TSS；以及患者模型基于患者的身体特征以计算方式表示患者，以及通过TSS模型的操作实现对患者的改变。

在一些实施例中，外科医生支持系统包括外科手术技术评估器引擎，该外科手术技术评估器引擎被配置为访问外科手术输入和外科手术例程的当前阶段，并且计算对应于包括当前阶段在内的外科手术例程的多个不同阶段的外科手术输入的多个时间和空间度量。外科手术技术评估器引擎可以产生外科手术特定阶段的性能分数，该分数表示产生外科手术控制输入的外科医生的外科手术表现的质量。

附图说明

图1是微创远程操作外科手术系统(TSS)的平面图。

图2是外科医生的控制台的透视图。

图3是电子推车的透视图。

图4是TSS的示意图。

图5A是TSS的说明图。

图5B是外科手术系统的患者侧推车的透视图。

图5C是外科手术场景的说明图。

图6是外科手术器械的正视图。

图7是器械操纵器的透视图。

图8是外科手术规划工具的示意图。

图9是示出了根据各种实施例的先进外科手术系统的图表，该先进外科手术系统特征在于TSS伴随有包括虚拟外科手术环境、数据记录系统、外科医生评估系统和辅助系统的附加支持系统。

图10是示出了根据一个实施例的图9的系统的虚拟外科手术环境的操作组件及其相互作用的图表。

图11是示出了根据一个实施例的图10的虚拟外科手术环境的外科手术输入评估器的操作组件及其相互作用的图表。

图12是示出了根据一个实施例的图10的虚拟外科手术环境的分段器(segmenter)的图表，该分段器包括其操作组件及操作组件的相互作用。

图13是示出了根据一个实施例的图10的虚拟外科手术环境的模拟器的操作组件及其相互作用的图表。

图14是示出了根据一个实施例的图9的系统的外科医生评估器的操作组件及其相互作用的图表。

图15是示出了根据一个示例实施例的图9的系统的数据记录系统的操作组件及其相互作用的图表。

图16是示出了根据一些实施例的图9的系统的辅助引擎的操作组件及其相互作用的图表。

图17是示出了通用机器的示例形式的计算机系统的框图，该通用机器可以被转换为专用机器以执行本文描述的实施例的各方面。

图18是示出了计算装置(诸如图17中描绘的计算装置)的示例硬件和软件体系结构的图表，在该图表中示出了硬件组件和软件组件之间的各种接口。

图19A-图19C是示出了根据一些实施例的示例外科手术器械和致动器组装件的说明图，在该说明图中外科手术器械被示出处于不同示例外科手术器械致动状态。

图20是示出了根据一些实施例操作诸如图9的系统的TSS支持系统的示例方法的过程流程图。

图21A-图21C是示出了由图14的外科医生评估器的控制设置调节器实现的外科手术场景视界(horizon)变化的说明图，以辅助外科医生实现使得外科医生能够更精确地控制TSS的外科手术场景内的外科手术器械的视点。

图22A-图22B是示出了由图14的外科医生评估器的控制设置调节器实现的外科手术场景二维位置改变的说明图，以辅助外科医生实现使得外科医生能够更好地观察TSS的外科手术场景内的相关信息的视点。

图23A-图23B是示出了由图14的外科医生评估器的控制设置调节器实现的外科手术场景缩放水平改变的说明图，以辅助外科医生实现使得外科医生能够更好地观察TSS的外科手术场景内的相关信息的视点。

具体实施方式

说明发明方面、实施例、实施方式或应用的以下描述和附图不应被视为限制-权利要求限定了受保护的发明。在不脱离本说明书和权利要求的范围的情况下，可以进行各种机械、组成、结构、电气和操作改变。在一些情况下，公知的电路、结构或技术未被详细示出或描述以免混淆本发明。在两个或更多图中的相同的数字表示相同或相似的元素。

参考一个实施例、实施方式或应用详细描述的元件可以在任何实践中被包括在其中没有具体示出或描述它们的其他实施例、实施方式或应用中。例如，如果参考一个实施例详细描述了一个元件，并且未参考第二实施例描述该元件，然而该元件可以被包括在第二实施例中以请求保护。因此，为了避免在下面的描述中不必要的重复，除非另外特别描述，除非一个或多个元件将使得实施例或实施方式不起作用，或者除非两个或更多个元件提供冲突的功能，否则与一个实施例、实施方式或应用相关联地示出和描述的一个或多个元件可以并入其他实施例、实施方式或方面中。

本发明的各方面根据实施方式，主要使用由加利福尼亚州桑尼维尔市的直观外科手术公司商业化的达芬奇外科手术系统(具体地，型号IS4000，作为 外科手术系统销售)来描述。然而，技术人员将会理解，本文公开的创造性方面可以以各种方式来体现和实现，包括机器人和(如果适用)非机器人实施例和实施方式。在达芬奇外科手术系统(例如外科手术系统， 外科手术系统)上的实施方式仅仅是说明性的，并且不被认为是将本文公开的创造性方面的范围限制为任何特定的模型或装置，并且不认为将其限制为在一个或多个权利要求中明确地提出这些限制的程度。

微创远程操作外科手术系统(TSS)

远程操作是指远距离操作机器。在微创远程操作医疗系统中，外科医生可以使用包括照相机的内窥镜来观察患者体内的外科手术部位。在一些实施例中，可以捕获立体图像，其是在外科手术例程期间实现深度感知。

现在参考附图，其中在几个视图中相同的附图标记表示相同的部件，图1是通常用于对躺在手术台14上的患者12执行微创诊断或外科手术例程的微创TSS 10的平面图。该系统包括外科医生的控制台16，以供外科医生18在外科手术操作期间使用。一个或多个助理20也可以参与该过程。微创TSS 10还包括(一个或多个)患者侧推车22和电子推车24。在外科医生18通过外科医生的控制台16观察外科手术部位时，患者侧推车22可以通过患者12的身体中的微创切口操纵至少一个外科手术器械26。外科手术部位的图像可以通过安装有诸如立体内窥镜的内窥镜28的相机获取，该相机可由患者侧推车22操纵以定位和定向内窥镜28。位于电子推车24上的计算机处理器可用于处理外科手术部位的图像，以便随后通过外科医生的控制台16显示给外科医生18。需要注意的是，尽管为了示例性目的描绘和描述了分立的系统组件(即，患者侧推车22、电子推车24和外科医生的控制台16)，但是在各种实施例中，在此包括的元件可以被组合和/或分离。例如，在一些实施例中，电子推车24的计算机处理器可以结合到外科医生的控制台16和/或患者侧推车22中。一次使用的外科手术器械26的数量通常将取决于诊断或手术过程，以及外科手术部位内的空间限制等其他因素。如果在例程中需要更换一个或多个正在使用的外科手术器械26，则助理20可以从患者侧推车22移除外科手术器械26，并在手术室中从托盘30用另一个外科手术器械26替换。

图2是外科医生的控制台16的透视图。外科医生的控制台16包括观察器31，观察器31包括左眼显示屏幕32和右眼显示屏幕34，用于向外科医生18呈现能够深度感知的外科手术部位的协调立体视图。在各种其他实施例中，可为外科医生18提供非立体显示器。控制台16还包括一个或多个控制输入端36。安装用在患者侧推车22(图1所示)上的一个或多个外科手术器械响应于外科医生18对一个或多个控制输入端36的操纵而移动。控制输入端36可以提供与其相关联的外科手术器械26(图1所示)相同或更大的机械自由度以向外科医生18提供远程呈现，或者控制输入端36与器械26是整体的感知，以使外科医生具有直接控制器械26的强烈感觉。为此，在一些实施例中，可以采用位置、力和触觉反馈传感器(未示出)以将位置、力和触觉感觉从外科手术器械26通过控制输入端36回到外科医生的手上，该过程受到通信延迟限制。需要注意的是，尽管为了示例性目的描绘和描述了具有固定观察器31和机械耦接控制输入端36的物理控制台16，但是在各种其他实施例中，可以使用“未接地”控制输入端和/或显示结构。例如，在一些实施例中，观察器31可以是头戴式显示器和/或控制输入端36可以机械地独立于任何基础结构(例如，有线、无线或基于手势的，诸如来自Microsoft的Kinect)。

外科医生的控制台16通常与患者位于同一房间内，以便外科医生可以直接监测手术操作，必要时可以实际在场，并直接与患者侧助理通话，而不是通过电话或其他通信介质。但是，外科医生可以位于不同的房间，完全不同的建筑物或允许远程外科手术例程的远离患者的其他远程方位。

图3是电子推车24的透视图。电子推车24可以与内窥镜28耦接并且包括计算机处理器以处理所捕获的图像用于随后的显示，诸如显示给外科医生的控制台上的外科医生，或者显示在位于本地和/或远程的另一合适的显示器上。例如，如果使用立体内窥镜，则电子推车24上的计算机处理器可以处理所捕获的图像以向外科医生呈现外科手术部位的协调的立体图像。这种协调可以包括对立图像之间的对准并且可以包括调整立体内窥镜的立体工作距离。作为另一个示例，图像处理可以包括使用先前确定的相机校准参数来补偿图像捕捉装置的成像误差，诸如光学像差。可选地，电子推车中的设备可以集成到外科医生的控制台或患者侧推车中，或者可以分布在手术室中的各种其他方位。

图4图表地示出TSS 50(诸如图1的微创TSS 10)。外科医生的控制台52(诸如图1中的外科医生的控制台16)可以由外科医生使用，以在微创手术期间控制患者侧推车54(诸如图1中的患者侧推车22)。患者侧推车54可以使用诸如立体内窥镜的成像装置来捕获外科手术部位的图像，并且将捕获的图像输出到位于电子推车56(诸如图1中的电子推车24)上的计算机处理器。计算机处理器通常包括一个或多个数据处理板，用于执行存储在计算机处理器的非易失性存储器设备中的计算机可读代码。在一个方面中，计算机处理器可以在任何后续显示之前以各种方式处理捕获的图像。例如，计算机处理器可以在通过外科医生的控制台52向外科医生显示组合图像之前用虚拟控制界面覆盖捕获的图像。

另外地或替代地，所捕获的图像可以由位于电子推车56外部的计算机处理器进行图像处理。在一个方面，TSS 50包括与位于电子推车56上的计算机处理器类似的可选计算机处理器58(如虚线所示)，并且患者侧推车54将所捕获的图像输出到计算机处理器58以在显示在外科医生的控制台52上之前进行图像处理。在另一方面中，所捕获的图像首先通过电子推车56上的计算机处理器进行图像处理，然后在显示在外科医生的控制台52上之前，由计算机处理器58进行额外的图像处理。如虚线所示，TSS 50可以包括可选的显示器60。显示器60与位于电子推车56上的计算机处理器耦接，以及和计算机处理器58耦接，并且由这些计算机处理器处理的捕获图像除了在外科医生的控制台52的显示器上显示之外，还可以显示在显示器60上。

图5A是说明性简化框图，其示出了根据一些实施例的远程操作外科手术系统10的组件的布置，以使用一个或多个机械支撑臂510执行外科手术例程。系统10的各方面包括机器人辅助和自主操作特征。这些机械支撑臂510通常支撑外科手术器械。例如，可以使用机械外科手术臂(例如，中心机械外科手术臂510C)来支撑具有立体或三维外科手术图像捕获装置101C的内窥镜。机械外科手术臂510C可以包括无菌适配器或夹具、夹子、螺钉、狭槽/凹槽或其他紧固件机构，以将包括图像捕获装置101C的内窥镜机械地固定到机械臂。在各种其他实施例中，图像捕获装置101C(或任何其他外科手术器械)可以集成到机械外科手术臂510C中。

用户或操作者O(通常是外科医生)通过操纵控制输入装置36(诸如在主控制台16处握力器和脚踏板)来对患者P执行外科手术例程。操作者可以通过立体显示观察器31观看患者的身体内的外科手术部位的图像的视频帧。控制台16的计算机处理器58通过控制线159引导远程操作控制的内窥镜外科手术器械101A-101C的移动，进而使用患者侧系统24(也称作患者侧推车)实现器械的移动。

患者侧系统24包括一个或多个机械支撑臂510。典型地，患者侧系统24包括由相应的定位装配臂156支撑的至少三个机械外科手术臂510A-510C(通常称为机械外科手术支撑臂510)。中央机械外科手术臂510C可以支撑或包括适于捕获照相机视场内的图像的内窥镜照相机101C。中心左侧和右侧的机械外科手术支撑臂510A和510B可以分别支撑或包括器械101A和101B，该器械可以操纵组织。

图5B是根据实施例的微创TSS 10的患者侧推车500的透视图。患者侧推车500包括一个或多个支撑臂组件510。外科手术器械操纵器512安装在每个支撑臂组装件510的末端。另外，每个支撑臂组装件510可以可选地包括一个或多个安装接头(例如，无动力的和/或可锁定的)，该接头用于参照进行外科手术的患者定位所附接的外科手术器械操纵器512。如所描绘的，患者侧推车500搁置在地板上。在其他实施例中，患者侧推车的可操作部分可以安装到墙壁、天花板，还可以安装到可以支撑患者的身体522的手术台526，或安装到其他手术室设备。此外，虽然单个患者侧推车500被示出为包括四个外科手术器械操纵器512，但是可以提供多个患者侧推车500和/或可以在患者侧推车500上提供更多或更少的外科手术器械操纵器512。

功能性TSS通常将包括视觉系统部分，该视觉系统部分使得TSS的用户能够从患者的身体522的外部观看外科手术部位。视觉系统通常包括用于捕获视频图像的相机仪器528，和用于显示所捕获的视频图像的一个或多个视频显示器。在一些外科手术系统配置中，相机仪器528包括光学器件，该光学器件将图像从相机仪器528的远端传输到患者的身体522外部的一个或多个成像传感器(例如，CCD或CMOS传感器)。或者，可以将(一个或多个)成像传感器定位在相机仪器528的远端处，并且由(一个或多个)传感器产生的信号可以沿着导线或以无线方式传输，以在一个或多个视频显示器上进行处理和显示。视频显示器的一个示例是由加利福尼亚州桑尼维尔市的直观外科手术公司商业化的外科手术系统中的外科医生的控制台上的立体显示器。

参照图5A-5B，安装到每个外科手术器械操纵器512的是外科手术器械520，其在患者的身体522内的外科手术部位处操作。每个外科手术器械操纵器512可以用各种形式提供，所述形式允许相关外科手术器械以一个或多个机械自由度(例如，所有六个笛卡尔自由度，五个或更少的笛卡尔自由度等)移动。典型地，机械或控制约束限制每个操纵器512围绕器械上的相对于患者保持静止的运动中心移动其相关联的外科手术器械，并且该运动中心通常位于器械进入身体的位置。

在一个方面，外科手术器械520通过计算机辅助远程操作操作来控制。功能性微创TSS包括接收来自TSS的用户(例如，外科医生或其他医务人员)的输入的控制输入端。控制输入端与一个或多个计算机控制的远程操作致动器(诸如外科手术器械520耦接的一个或多个马达)通信。以这种方式，外科手术器械520响应于控制输入端的医务人员的移动而移动。在一个方面，一个或多个控制输入端被包括在诸如图2所示的外科医生的控制台16的外科医生的控制台中。外科医生可以操纵外科医生的控制台16的控制输入装置36来操作患者侧推车500的远程操作致动器。由远程操作致动器产生的力经由传动系机构传递，传动系机构将来自远程操作致动器的力传递至外科手术器械520。

参照图5A-5B，在一个方面，外科手术器械520和套管524可移除地耦接到操纵器512，其中外科手术器械520插入穿过套管524。操纵器512的一个或多个远程操作致动器将外科手术器械512作为整体移动。操纵器512还包括器械托架530。外科手术器械520可拆卸地连接至器械托架530。在一个方面，器械托架530内部容纳一个或多个远程操作致动器，远程操作致动器提供多个控制器运动，外科手术器械520将多个控制器运动转化为外科手术器械520上的末端执行器的各种运动。因此，器械托架530中的远程操作致动器仅移动外科手术器械520的一个或多个组件而不是整体移动器械。控制整个器械或器械组件的输入使得由外科医生或其他医务人员提供到控制输入端的输入(“主”命令)被外科手术器械转化成相应的动作(“从”响应)。

根据一些实施例，外科手术系统10可以具有多个系统致动状态，包括停驻、跟随、器械类型、进入(head-in)、照相机移动、第三手臂控制、人机工程学调整、桌子移动调整等。在停驻系统状态期间，一个或多个操纵器512已经耦接到套管524。在随后的系统状态期间，外科手术器械(“从”)跟踪控制输入(“主”命令)。在器械类型系统状态期间，系统已经在其中安装了适用于执行特定外科手术例程或适合于在外科手术例程中执行特定外科手术活动的一组器械。在进入系统状态期间，系统正在等待外科医生指示他/她已经握住了“主”控制输入设备。

在替代实施例中，器械托架530不容纳远程操作致动器。实现外科手术器械520的末端执行器的各种运动的远程操作致动器被容纳在远离器械托架530的方位，例如患者侧推车500上的其他地方。基于线缆的力传输机构等被用于将每个远程定位的远程操作致动器的运动传递到位于器械托架530上的对应的器械接口致动器输出端。在一些实施例中，外科手术器械520机械地耦接到第一致动器，该第一致动器控制外科手术器械的第一运动，诸如纵向(z轴)旋转。外科手术器械520机械地耦接到第二致动器，该第二致动器控制外科手术器械的第二运动，诸如二维(x，y)运动。外科手术器械520机械地耦接到第三致动器，该第三致动器控制外科器械的第三运动，诸如打开和闭合或钳口末端执行器。

图5C是表示外科手术场景550的说明图，并且还示出了根据一些实施例的安装用于记录场景的相机528的内窥镜101C。场景550设置在患者的体腔内。场景550包括包含几何轮廓554的示例性假想球形解剖结构552。场景550包括外科手术器械556。安装在内窥镜101C上的相机528捕获场景，该场景显示在观察器31内并且被记录用于稍后回放。

图6是外科手术器械520的侧视图，外科手术器械520包括由具有细长管中心线轴线611的细长管610连接的远端部分650和近端控制机构640。外科手术器械520构造成插入患者的体内，并用于执行外科手术或诊断操作。外科手术器械520的远端部分650可以提供各种末端执行器654中的任何一个，诸如所示的钳子、针驱动器、烧灼装置、切割工具、成像装置(例如，内窥镜或超声波探头)等。外科手术末端执行器654可以包括功能性机械自由度，诸如打开或关闭的钳夹或沿着路径平移的刀。在所示的实施例中，末端执行器654通过腕节652连接到细长管610，腕节652允许末端执行器相对于细长管中心线轴线611定向。外科手术器械520还可包含存储的(例如，在与器械相关联的半导体存储器上)信息，该信息可以是永久性的或者可以由配置成为操作外科手术器械520的外科手术系统更新。因此，外科手术系统可以提供外科手术器械520和外科手术系统的一个或多个组件之间的的单向或双向信息通信。

图7是外科手术器械操纵器512的透视图。示出了没有安装外科手术器械的器械操纵器512。器械操纵器512包括器械托架530，外科手术器械(例如，外科手术器械520)可以可拆卸地连接到该器械托架530。器械托架530容纳多个远程操作致动器。每个远程操作致动器包括致动器输出705。当将外科手术器械安装到器械操纵器512上时，器械近端控制机构(例如，图6中的近端控制机构640)的一个或多个器械输入端(未示出)与相应的致动器输出705机械耦接。在一个方面，该机械耦接是直接的，其中致动器输出705直接接触相应的器械输入端。在另一方面，该机械耦接通过中间接口发生，诸如被配置为在器械操纵器512和相关外科手术器械之间提供无菌屏障的盖布的组件的中间接口。

在一个方面，通过相应的远程操作致动器进行的一个或多个器械输入端的移动导致外科手术器械机械自由度的移动。例如，在一个方面，如图6所示，安装在器械操纵器512上的外科手术器械是外科手术器械520。参照图6，在一个方面，通过相应的远程操作致动器移动近端控制机构640的一个或多个器械输入端使得细长管610(以及附接的腕节652和末端执行器654)相对于近端控制机构640围绕细长管中心线轴线611旋转。在另一方面，通过相应的远程操作致动器移动一个或多个器械输入端导致腕节652的移动，进而使末端执行器654相对于细长管中心线轴线611定向。在另一方面，通过相应的远程操作致动器移动一个或多个器械输入端导致末端执行器654(例如，钳夹构件、刀构件等)的一个或多个可移动元件的移动。因此，通过器械托架530的远程操作致动器的操作，可以移动安装到器械操纵器512上的外科手术器械的各个机械自由度。

外科手术规划系统

图8示出了示例性外科手术规划工具800的示意图。在一个方面，外科手术规划工具800包括与电子医疗设备记录数据库830进行数据通信的TSS 850。这里示出的TSS 850类似于图4所示的TSS 50。在一个方面，电子医疗记录数据库830包括已经在特定医院或在多个医院接受治疗的患者的医疗记录。数据库830可以在位于医院现场的服务器上实施。包含在数据库830中的医疗记录条目可以通过内联网从医院计算机访问。可选地，数据库830可以在位于医院外的远程服务器上实现，例如使用多个云数据存储服务中的一个来实现。在这种情况下，数据库830的医疗记录条目被存储在云服务器上，并且可以被具有因特网访问的计算机系统访问。

在一个方面，使用TSS 850在第一患者上执行外科手术例程。与TSS 850相关联的成像装置捕获外科手术部位的图像，并且在外科医生的控制台52的显示器上将捕获的图像显示为视频的帧。在一个方面，在外科医生的控制台52处的医务人员使用外科医生的控制台52的输入装置突出或注释在显示的视频中示出的某些患者解剖结构。这种输入装置的示例分别是图2所示的左手柄控制输入端36和右手柄控制输入端38，该输入装置耦接到结合覆盖在所显示的视频上的图形用户界面一起操作的光标。图形用户界面可以包括QWERTY键盘，诸如鼠标和交互式屏幕显示器之类的指示装置，触摸屏显示器，或用于数据或文本输入或语音注释/或者通过麦克风和处理器的语音到文本转换的其他手段。因此，医务人员可以突出所显示的图像中的感兴趣的某些组织或输入文本注释。

在一个方面，外科手术部位视频另外显示在位于电子推车56上的显示器上。在一个方面，电子推车的显示器是可由医务人员使用的触摸屏用户界面，来突出和注释图像上所示的患者解剖结构的某些部分，该图像显示用于在电子推车上的显示器上观看。用户通过触摸显示在触摸屏用户界面上的患者解剖结构的部分可以突出所显示的图像的部分。另外，包括键盘的图形界面可以叠加在所显示的图像上。用户可以使用键盘或其他输入设备(诸如麦克风和语音到文本转换驱动器)来输入文本注释。

在一个方面，除了被实时或接近实时地显示给用户之外，由与TSS 850相关联的成像装置捕获的外科手术部位视频由TSS 850记录并存储在数据库830中。由用户所做的与记录的视频相关联的突出显示和/或注释也可以被存储在数据库830上。在一个方面，由用户作出的突出显示在其存储在数据库830上之前被嵌入录制的视频。在稍后时间，可以检索录制的视频以供观看。在一个方面，观看录制的视频的人可以选择突出显示是否显示或从视图中被抑制。类似地，与录制的视频相关联的注释也可以被存储在数据库830上。在一个方面，由用户做出的注释被用于标记所录制的视频，并且可以被用来提供作为识别在录制的视频所包含的主题的一种方法。例如，一个注释可以描述某种疾病状态的状况。此注释用于标记录制的视频。稍后希望查看关于该疾病状态的记录操作的人可以使用关键词搜索来定位视频。

存储视频的检索

在一些情况下，期望医务人员能够观看在给定患者上执行的过去外科手术例程的视频记录。在一个方面，先前接受第一外科手术例程以治疗医学病状的患者随后需要第二外科手术例程来治疗相同医学状况的复发或治疗位于第一外科手术例程的外科手术部位附近的解剖结构。在一个方面，第一外科手术例程的外科手术部位事件被捕获在外科手术部位视频记录中，并且视频记录被存档在数据库830中作为患者的电子病历的一部分。在相关的实施例中，第一外科手术例程可以根据操作的类型被索引。在对患者执行第二外科手术例程之前，医务人员可以执行数据库830的搜索以定位患者早期外科手术例程的视频记录。

在一些情况下，对于计划对病人执行外科手术例程的医学人员来说，期望能够观看对具有与病人相似的某些特征的人进行的类似外科手术例程的视频记录。在一个方面，外科手术例程的外科手术部位视频记录可以在每个视频记录被存档在数据库830中之前可以用元数据信息来标记，所述元数据信息诸如患者的年龄、性别、身体质量指数、遗传信息、患者进行的外科手术例程类型等。在一个方面，用于标记视频记录的元数据信息从患者当时存在的医疗记录中自动检索，然后用于在视频记录存档在数据库830中之前标记视频记录。因此，在对患者执行医疗操作之前，医务人员可以搜索数据库830以获得与患者共有某些相同特征的患者所执行的类似操作的视频记录。例如，如果医务人员计划使用TSS 850对身体质量指数升高的65岁男性患者进行前列腺切除术，则医务人员可以搜索数据库830以获取通过使用TSS 850对年龄相似并且具类似有升高的身体质量指数的其他男性进行的前列腺切除术的外科手术部位视频记录。

在一个方面中，外科手术例程的视频记录通过数据库830传送到诸如个人计算机，平板电脑，智能手机，终端或其他电子访问设备的可选个人计算设备820(如虚线所示)，并且可供计划执行外科手术例程的医务人员查看。附加地或替代地，早期外科手术例程的视频记录可以通过数据库830传送给TSS 850，并且可用于术前或术中观察。在一个方面，视频记录由TSS 850显示在位于外科医生的控制台52上的显示器。在另一方面，第一外科手术例程的视频记录显示在位于电子推车56上的显示器上。

在一个相关实施例中，如下面更详细描述的，早期例程的视频记录可以是与当前外科手术例程阶段同步的，或者阶段排队的，有助于立即定位相关的外科手术任务或技术，诸如用于当前外科手术例程的即将到来的阶段的那些相关外科手术任务或技术。将视频回放排队到外科手术例程的当前阶段允许外科医生非常有效地滚动回放以查看即将到来的或最近的步骤。值得注意的是，阶段同步或阶段排队不是严格时间同步，但是之前的外科手术例程和当前外科手术例程之间存在大致的时间排序相似性。然而，如上所述，阶段同步根据外科手术过程流程来对准。通过视频匹配的直接视觉特征的匹配可以通过(a)元数据、(b)阶段同步和(c)时间同步中的一个或多个来增强。

或者，基于视觉相似性(例如，颜色、时间、边缘等)，或者如果可以使用计算机视觉方法识别内容的话可以基于内容相似性(例如，器官、解剖结构和工具)进行匹配，匹配来自当前外科手术的视频序列与由熟练的外科医生进行的代表性外科手术的视频序列。

基于云的视频数据库

在一个方面，使用云数据存储服务在远程服务器上实现数据库830，并且数据库830可由多个健康护理提供者访问。参考图8，如虚线所示，外科手术规划工具800可选地包括TSS 850(如虚线所示)和个人计算设备840(如虚线所示)。在一个方面，TSS 850类似于TSS 850，并且个人计算设备840类似于个人计算设备820，除了TSS 850和个人计算设备820位于第一健康护理提供者并且TSS 850和个人计算设备840位于第二方位或甚至与第二健康护理提供者在一起。在一个方面，第一患者需要医疗状况的外科手术治疗，并且在第一健康护理提供者处使用TSS 850进行外科手术例程。将外科手术例程的视频记录存档在数据库830上。在后面的时间，第二患者需要相同医疗状况的外科手术治疗，并计划在第二健康护理提供者处使用TSS 850接受外科手术治疗。在对第二患者执行外科手术例程之前，医务人员通过安全的互联网连接访问数据库830，并搜索数据库830以获得类似例程的外科手术部位视频记录。在一个方面，治疗第二患者的医务人员能够从数据库830检索第一患者的外科手术例程的视频记录，而不需要获取关于第一患者的身份的知识。以这种方式，保护第一位患者的隐私。在一个方面，第一患者的外科手术例程的视频记录包括由治疗第一患者的医务人员做出的突出显示和/或注释。

基于计算机的图案匹配与分析

外科手术规划工具800可以包括以计算机可执行代码的形式实现的图案匹配和分析算法。在一个方面，图案匹配和分析算法被存储在外科手术规划工具800的非易失性存储器设备中，并且被配置为分析存档在数据库830中的视频记录。如前所述，存档在数据库830中的每个视频记录可以被标记和/或嵌入某些的元数据信息。该元数据信息可以包括患者信息，诸如患者年龄、性别以及描述患者健康或病史的其他信息。另外，如先前所讨论的，元数据信息可以包括由医务人员做出的突出显示或注释。在一个方面，这些突出显示和注释与视频记录嵌入在一起，并且与视频一起存档在数据库830中。

在一个方面，图案匹配与分析算法包括图像分析组件，其通过形状和颜色识别在存储在数据库830上的多个视频记录之间共享的图案。图案匹配与分析算法然后审查与该视频记录的子集相关联的标记的元数据，来确定是否有任何单词或短语与该子集内的视频频繁相关联。例如，可以通过注释文本、将音频转换为文本来标记元数据。通过图案匹配与分析算法进行的这些分析可用于帮助医务人员确定患者解剖结构、优选外科手术方法、疾病状态、潜在并发症等。

虚拟外科手术环境、数据记录和外科医生评估器

TSS可以记录正被执行的外科手术例程的视频以及外科医生通过控制台的输入。一般而言，期望使用这些收集的数据来训练和协助外科医生。但是，系统设计人员在管理大量采集的数据，提取相关数据部分以及提供外科医生欢迎的有用且不强迫的帮助方面面临着诸多挑战。

在下面详细描述的各种实施例中，用额外的专用机械增强或支持TSS，来为操作TSS的医务人员提供评估和帮助。图9是示出以TSS 950为特征的先进外科手术系统900的图表，TSS 950类似于上面结合图4所描述的TS S50，除了TSS 950包括到附加支持系统的合适接口之外，附加支持系统包括虚拟外科手术环境(VSE)904、数据记录系统906、外科医生评估器908和辅助系统910。这些附加支持系统可以分别以各种机器配置来实现。例如，附加支持系统中的一个或多个可以被设置为专用单元，或者通过程序指令被设置为计算平台的一部分。计算平台可以是一个物理机器，或者可以分布在多个物理机器之间，例如通过作用或功能分布，或者在云计算分布式模型的情况下通过处理线程分布。在一些实施例中，计算平台可以被实现为TSS 950的一部分(例如，在外科医生的控制台52、电子推车58等中)，或者计算平台可以使用与TSS不同的硬件来实现(例如，诸如平板电脑、个人电脑或膝上型电脑、智能手机或以上某种组合的移动计算设备)。计算平台可以实现为系统或个人硬件上的本地处理和“云”的组合。

在各种实施例中，某些操作可以在虚拟机中运行，该虚拟机又在一个或多个物理机器上执行。本领域技术人员将会理解，实施例的特征可以通过各种不同的合适的机器实施方式来实现。

在各种实施例中，这些组件被实现为引擎、电路、组件或模块，其为了一致性而被称为引擎，但应该理解这些术语可以互换使用。引擎可以是通信地耦接到一个或多个处理器以执行本文描述的操作的硬件、软件或固件。引擎可以是硬件引擎，并且因为这样的引擎可以被认为是能够执行指定操作的有形实体并且可以以某种方式被配置或布置。在一个示例中，电路可以以指定的方式被布置(例如，在内部或相对于诸如其他电路的外部实体)作为引擎。在一个示例中，一个或多个硬件处理器的全部或一部分可以由固件或软件(例如，指令、应用程序部分或应用程序)配置为操作以用于执行指定操作的引擎。在一个示例中，软件可以驻留在机器可读介质上。在一个示例中，软件在由引擎的底层硬件执行时致使硬件执行指定的操作。因此，术语硬件引擎被理解为包括有形实体，即被物理地构造、被特别配置(例如，硬连线)或临时(例如，暂时)配置(例如，编程)以指定方式操作或执行本文描述的任何操作的部分或全部的实体。

考虑引擎临时配置的示例，每个引擎不需要在任何时刻实例化。例如，其中引擎包括使用软件配置的通用硬件处理器内核；通用硬件处理器内核可以在不同的时间被配置为相应不同的引擎。软件可以相应地配置硬件处理器内核，例如在一个时间点构成特定的引擎并且在不同的时间点构成不同的引擎。

TSS 950与外科手术环境902连接，在外科手术环境902中便于患者和医务人员。一般来说，TSS 950的控制输入被馈送到在外科手术环境902中引起真实世界效应的机电系统。另一方面，根据一些实施例，VSE 904计算地建模实际外科手术环境的一个或多个部分以创建虚拟外科手术环境。因此，TSS 950的相同控制输入可以被馈送到VSE 904，在VSE904中该相同的控制输入在虚拟外科手术环境中产生计算建模效果。

在一种类型的实施例中，除了表示TSS 950的输出的模拟机电输出对患者模型的影响之外，虚拟外科手术环境还包括患者的至少一部分的模型，该模型包括生理结构、流体、疾病状态、血液动力学等。在另一类型的实施例中，患者未被建模；而是表示了TSS 950的机电输出。在另一类型的实施例中，将被馈送到TSS 950的机电系统的控制信号由VSE904建模。

在相关的实施例中，虚拟外科手术环境904被编程为或以其他方式配置为基于从TSS 950接收到的外科手术输入的评估来确定外科手术例程的阶段或区段。

在另一相关实施例中，VSE 904被编程为或以其他方式配置为基于外科手术输入对TSS的VSE模拟效应来确定外科手术例程的阶段或区段，该VSE模拟效应包括模拟患者中的效应(例如在外科手术部位处的组织中的效应、血液动力学等)，或患者与外科手术器械相互作用的其他模拟特征，而不是外科手术输入本身。在另一相关实施例中，外科手术输入的组合以及其模拟效果被用于评估外科手术例程的区段。

图10是示出了根据一个实施例的VSE 904的操作组件及其相互作用的图表。外科手术输入评估器1002被编程为或以其他方式配置为从TSS 950收集诸如控制输入、运动学信息、传感器数据、系统事件或状态指示等的事件数据，并根据外科手术效果解释它们的含义。分段器1004被编程为或以其他方式配置为在外科手术例程执行中，或在后期处理模式中辨别外科手术例程的阶段。基于来自TSS 950的控制输入，模拟器1006被编程为或以其他方式配置为在虚拟外科手术环境中对外科手术例程进行建模。模拟器1006可以与在外科手术环境902中执行的实际外科手术例程并行操作，或者代替该实际外科外科手术例程，并且可以由外科医生使用以实践其中的某些操作或部分。在一些实施例中，模拟器1006可以在例程的特定部分期间被调用以允许外科医生在患者身上实际执行任务之前练习某个任务。更一般地，模拟器1006可以用于外科医生、学生或其他医务人员的训练和练习。

图11是示出了根据一个实施例的外科手术输入评估器1002的操作组件及其相互作用的图表。事件监测器1102从TSS 950接收事件数据并记录事件序列，该事件数据可以包括系统事件、运动学和外部输入。在相关实施例中，事件监测器1102接收在外科手术环境902中除了借助TSS950或由TSS950发生之外的发生的附加动作(诸如由与该操作相关联的一个或多个助理或其他设备/器械采取的动作)的信息。例如，这些动作可以由TSS 950的一个或多个传感器检测，或者通过诸如视频捕捉装置的环境监测传感器检测，或者由那些其他设备/器械本身来检测，并且传递给TSS 950。如上所述，事件还可以包括器械控制的任何激活，诸如例如按钮按压，器械移动控制，仪器选择，视频系统控制，腕节移动，相机移动激活，主手势/激活和由外科医生、助理提供的其他输入，或任何其他可检测到的行动/输入/输出。例如，可以作为事件收集的其他数据包括运动学数据、眼球运动、用户认证(例如，虹膜识别)、肌肉活动(例如，使用肌电图测量)、感测的外科医生姿势、由内窥镜拍摄的图像、系统状态(例如，各种器械的停驻/展开状态)、具有主控制器的臂的接合/脱离状态、安装的器械类型、安装的器械的数量、操作者的头部接合状态、施加到诸如主控件的控件的力、通过机器人器械检测到的力、相机移动和控制、触摸屏输入、人员方位(例如，由外科手术环境中的传感器提供)，以及这些中的任何一个的历史记录。事件序列可以记录为时间序列数据，并且可以统一并且可以表示TSS 950的一个或多个操作者和外科手术环境902中的任何人员的协调动作，和/或从外科手术环境902编译的任何其他数据。

在一些实施例中，手势评估器1104读取时间序列事件数据，并且应用手势标准1106以确定事件的组合是否构成任何限定的手势。在本情境中，手势是构成工具和控件的复合运动的两个或更多个事件的序列。作为说明性示例，与缝合任务相关联的单个缝线运动可以被视为手势。在这个示例中，通常存在序列单独运动，对序列单独运动可以收集控制输入数据并对序列单独运动进行分类以识别手势。在一个实施例中，手势标准1106包括构成各种手势的事件序列的库。在更基本的环境中，手势标准1106可以简单地定义最近事件(例如，最近40秒)的时间窗口，使得对于每个时间增量，事件序列的时间窗口被认为是手势。本示例中的时间窗口或手势可以与其他手势重叠。

值得注意的是，在其他实施例中，不存在手势评估器1104；相反，被监测的事件被馈送到任务评估器1108。在手势评估器1104可用的另一类型的实施例中，检测到的手势的组合和被监测的事件被并行地馈送到任务评估器1108。

任务评估器1108被编程为或以其他方式配置为评估正在执行的当前外科手术任务。在本情境中，任务是一系列事件、手势或其组合，它们一起产生被限定的外科手术效果。该任务可以是例程(例如，前列腺切除术的紫外线吻合术)的临床通用操作(例如，切口任务、缝合任务等)或临床相关的(一个或多个)步骤/片段。任务评估基于一系列最近的事件，并且进一步基于来自任务标准数据库1110的数据，任务标准数据库1110将某些特定的一系列事件与任务相关联。在相关实施例中，任务标准数据库1110还可以包括那些任务一般被执行的外科手术例程的库。在这种类型的实施例中，外科手术例程的识别本身可以是任务评估算法的输入。在此情境下的外科手术例程是高级描述符，诸如前列腺切除术、脐疝修补术、乳房切除术等。

在各种实施例中，手势评估器1104和任务评估器1108可以基于在适用情况下用作训练集数据的相应标准1106、1110，分别执行一个或多个分类操作，诸如K-最近邻(KNN)分类(例如诸如K均值聚类的聚类操作)，关联规则挖掘操作、支持向量机(SVM)操作、人工神经网络(ANN)操作(例如递归神经网络、卷积神经网络等)等。

事件、手势和任务可以各自具有不同的参数值，诸如接头角度、速度、前/后续空转等。应该理解的是，在远程操作外科手术例程中，可能出现导致外科手术系统致动状态改变的控制输入。例如，外科医生可以将他或她的头部移入和移出观察器，导致进入状态的改变。例如，外科医生可以将他或她的手或脚移入或移出与控制输入端的接触，从而导致跟随状态的改变。例如，使用中的器械组合可能会发生变化，导致器械类型状态的改变。

支持一种或多种外科手术状态下的外科手术活动的TSS 950的操作另外导致在外科手术系统内生成控制输入信息，该控制输入信息指示器械运动，该器械运动指示外科医生执行外科手术活动的实际方式。例如，外科医生可能已经使用控制输入端来快速或缓慢地移动器械。例如，外科医生可能已经使外科手术器械沿着一个或另一个路径在朝向或远离解剖结构的方向上移动。例如，在启动特定器械之前，外科医生可能已经使用控制输入端来调整不同器械的位置。

图19A-19C是示出了根据一些实施例的示例外科手术器械1902和致动器组装件1903的说明图，在该说明图中示出处于三个不同示例外科手术器械致动状态的外科手术器械。示例性器械1902包括钳口末端执行器1904，该钳口末端执行器1904可以在打开状态和闭合状态之间，以及在它们之间的部分打开/部分闭合状态的连续转换。示例性器械1902还包括可以在不同的二维(x，y)位置状态之间移动的二自由度(2-dof)腕节1906。示例性致动器组装件1903包括第一致动器1908，第一致动器1908在一些实施例中包括用于致动钳口末端执行器1904的钳口电机(JM)。示例性致动器组装件1903包括第二致动器1910，在一些实施例中第二致动器1910包括用于致动腕节1906的腕节马达(WM)。在外科手术期间，外科手术器械1902可以通过对应于外科手术例程期间不同活动的多个器械致动状态进行转变。每个转变导致生成控制输入信息，该控制输入信息由事件监测器1102捕获并存储，并且当仪器被命令从其一个状态中的物理方位和设置(例如，打开或闭合)转变到其下一个状态的物理方位和设置时指示器械的运动。

如图19A所示，例如，第一手势可以包含第一致动器1908(JM)将钳口末端执行器1904设置到完全打开状态，以及第二致动器1910(WM)将腕节1906设置到第一位置状态(x1，y1)。如图19B所示，例如，外科手术例程可以包含第二手势，其中第一致动器1908将钳口末端执行器1904转变到完全打开的状态，以及第二致动器1910将腕节1906转变到第二位置状态(x2，y2)。如图19C所示，例如，外科手术例程可以包含第三外科手术活动，其中第一致动器1908将钳口末端执行器1904设置为部分打开/部分闭合的状态，以及第二致动器1910将腕节1906转变到第三位置状态(x3，y3)。

根据一个实施例，响应于控制输入信息(例如，事件、手势或其组合)，外科手术输入评估器1002与模拟器1006协作以来对位置状态进行建模。可以由任务评估器1108依次评估虚拟化的移动和位置状态以识别可应用的任务。在这种类型的实施例中，不是使用处理后的控制输入数据或者除了处理后的控制输入数据之外，可以使用建模的运动信息来执行任务评估。

现在转到图12，根据说明性实施例详细描述分段器1004，包括其操作组件及其相互作用。在所示的示例中，分段器1004被配置为选择性地应用用于分段评估的两类算法中的一个，该两类算法即，实时分段评估器1200和基于后处理的分段评估器1220。

实时分段评估器1200可以在手术中应用以在外科医生或医务人员可以感知的范围内进行具有可忽略的延迟的分段评估。在示例实施例中，实时分段评估器1200被配置为递归神经网络(RNN)，其使用长短期记忆(LSTM)RNN体系结构进行深度学习。如所描绘的，特征提取器1202将过滤或其他选择标准应用于评估的任务序列及其对应参数，以创建特征向量作为RNN 1204的输入。特征向量的示例可以包括姿态(例如，位置和旋转矩阵信息)以及致动器的接头角度及速度。RNN 1204可以是双向RNN，其中实际上有两个RNN，一个是向前看的，另一个是向后看的。因此，在RNN算法中考虑预测的未来值和过去值。在一个示例性实施例中，RNN 1204具有两层，即双向LSTM和门控循环单元(gated recurrent unit，GRU)层，每层中具有隐藏节点。

如相关领域的技术人员将认识到的，训练数据1206包含用于使用合适的训练算法来训练RNN 1204的分类特征向量。训练数据可以基于外科手术输入(例如，包括来自外科医生操作控制的控制输入参数或助理可修改器械配置的事件，发生在外科手术环境中的事件等)。在相关实施例中，训练数据可以基于外科手术输入的模拟效果。在后一种类型的实施例中，模拟器1006可以是训练数据的来源。

后处理分段评估器可应用于手术后的任何点，以使用从手术记录的所有数据进行分段评估。在基于后处理的分段评估器1220的示例中，根据所描绘的实施例，使用分层对准聚类算法(HACA)执行聚类。根据所描绘的实施例，示例分段评估器1220体系结构包括特征提取器1222、预处理器1224、帧核矩阵1226和聚类引擎1228。特征提取器1222产生具有特定维度并表示特定参数集合的特征向量。根据一个实施例，预处理器1224可以使用K均值聚类算法。

帧核矩阵运算1226计算与运动分段相关的自相似性(或Gram)矩阵 其中每个项目、s_ij通过核函数定义两个样本x_i和x_j之间的相似度：

HACA聚类引擎1228执行与IEEE模式分析和机器智能学报(2013)35卷第3期582-596页所述的周、冯、费尔南多·德拉·托瑞和杰西卡·K·霍金斯的“Hierarchicalaligned cluster analysis for temporal clustering of human motion(人类运动时间聚类的分层对准聚类分析)”一致的HACA算法。

在相关实施例中，术后使用基于后处理的分段评估器1220来更新训练数据1206，并且重新评估实时分段评估器1200的分段确定。

置信度测量引擎1230被编程为或以其他方式配置为计算表示正确分段概率的置信度分数。可以用交叉熵和对数概率计算来计算置信度分数。如下面将更详细描述的，所计算的置信度可以被用作评估外科医生技能的度量，或者被用作对其他度量(诸如时间)的加权，以进一步提高评估准确性。

图13是示出了根据一个实施例的模拟器1006的操作组件及其相互作用的图表。患者模型1302被编程为或以其他方式配置为基于患者的测量或评估的身体特征1304以及基于测量或诊断的疾病状况1306来表示患者。相关身体特征1304的示例包括身高、体重、性别、年龄、身体质量指数(BMI)、肌肉紧张度、器官的大小和位置等，以及任何成像的解剖结构，诸如在CT扫描、MRI、超声波或其他测试中获得的那些解剖结构。类似地，疾病状况1306可以包括诸如肿瘤、囊肿、疝气、撕裂的结缔组织、骨折等的特征。TSS建模器1310被编程或以其他方式被配置为表示TSS 950，包括工具，末端执行器和其他配置部分，如配置信息1312所表示的。TSS建模器1310从TSS 950接收控制输入信息，以便在虚拟外科手术环境中可以反映各种外科手术工具的定位和移动。

TSS建模器1310和患者模型1302可以在虚拟外科手术例程被模拟的模拟期间交换状态信息。因此，当通过外科手术例程实现改变时，这些引擎中的一个或两个可以保持并更新患者的当前状态。

在一个实施例中，模拟器1006与外科手术环境902一起操作以跟踪TSS 950和患者在外科手术例程中的进展。在另一个实施例中，外科手术例程的给定区段可以在外科医生的请求下或者响应于触发器而被启动用于模拟。如果外科医生在外科手术中遇到关键或困难的时刻，并且希望实践某些运动或各种技术以便将这些动作实际部署到患者身上，则可以要求这种手术中模拟。在相关实施例中，可以自主地分析并行运行的模拟以通过使用分段器1004确定当前外科手术阶段，该分段器1004可以用一组特征向量中的基于模型的情境数据进一步训练。

在另一个实施例中，模拟器1006可以用于外科手术训练或练习以代替实际患者。在一些实施方式中，用于外科医生和其他医务人员的TSS 950的用户界面可以用于逼真地模拟外科手术环境，并提供机器界面体验作为训练或实践练习的一部分。

外科医生评估器

图14是更详细示出了根据一个实施例的外科医生评估器908的操作组件及其相互作用的图表。外科医生评估器908的核心是外科手术技术评估器1402，该外科手术技术评估器1402被编程为或以其他方式配置为分析控制输入信号，并且由手势评估器1104(在可用的情况下)、任务评估器1108以及分段器1004分析评估，以产生表示操作TSS 950的控制输入端的外科医生的外科手术表现的质量的评估或分数，无论它们是在外科手术例程中使用还是在练习或训练的模拟期间使用。

外科手术技术评估器的输入包括视频信息V、事件信息E、手势G和评估的任务T以及运动学数据K。该数据可由TSS 950或VSE 904(例如，来自外科输入评估器1002和模拟器1006)提供。在相关实施例中，输入可以包括分段置信度分数S-C，如分段器1004的置信度测量引擎1230基于RNN 1204或聚类引擎1228的分段确定所确定的。

区段对应于外科手术例程部分，并且根据表示视频、事件、手势、任务和运动学中的一个或多个的组合的一个或多个特征的组合来定义。区段包括事件/运动学/视频的组合，该组合可以表示为手势/任务，或者可以被直接地表示而没有中间手势/任务表示。

在一个实施例中，外科手术技术评估器1402计算各种时间和空间度量中的每一个的各种统计。例如，可以评估各种外科手术例程区段的持续时间。同样地，任务级别的持续时间可以以某种方式(例如每段)计算和汇总。还可以执行运动经济分析，其检查与某些任务或外科手术区段的完成相关联的手势或其他运动的数量，事件的数量或这些量的一些组合。空闲时间(即，没有移动)也可以被考虑。在外科手术技术评估中，也可以考虑其他度量，诸如运动速度、输入装置腕节角度、空闲时间(例如，平稳性)、主工作区范围、主离合器计数、施加的能量和其他这样的参数。在外科手术技术评估中，也可以考虑相机控制度量，诸如相机移动频率、相机移动持续时间、相机移动间隔。在一些实施例中，相机离合器移动(CMFrq)被定义为在整个事件或区段的过程中由外科医生每时间增量(例如，每秒)做出的内窥镜移动的平均数量；相机移动持续时间(CMDur)被定义为在整个事件或区段的过程中所有内窥镜移动的平均时间增量(例如，秒)；以及相机离合器间隔(CMInt)被定义为在整个事件或区段的过程中内窥镜移动之间的平均时间增量(例如，以秒为单位)。作为非限制性示例，相机的使用持续时间，相机使用的一致性，能量施加的持续时间(例如切割组织、烧灼组织、增加施加的能量)，主离合器的使用频率，不同臂的时间控制(例如，手臂1和手臂3的使用之间的持续时间)，具有末端执行器取向的主对准的频率等。

评估标准1406定义用于计算外科医生的表现评估的一个或多个标准。在一种类型的实施例中，外科手术例程的执行被给予对应于手术例程的不同识别阶段的一系列分数。评估标准1406可以包括应用于各种度量以调整它们的相对重要性的过滤、掩蔽和加权信息。值得注意的是，不同的权重/调整可以应用于不同外科手术例程或给定外科手术例程的不同阶段的度量。而且，评估标准1406可以定义在呈现外科手术表现评估中应用的算法或公式。在外科手术技术评估器1402使用机器学习算法(诸如ANN、分类器、聚类代理、支持向量机等)的实施例中，评估标准1406可以包括用于构建度量的特征向量的标准。

基准技术数据库1404包括由被认为是相应外科手术例程专家的外科医生或其他医务人员获得的分数和度量。

例如，在一些实施例中，基准数据库1404包括基于相机控制时间的外科医生技能水平的基准。本发明人进行了一项研究，其中针对代表不同外科手术任务(例如，相机瞄准、点和针、能量分解、匹配板、针瞄准、钉板、拾取和放置、环和轨、环行、缩放比例、缝合、海绵、螺纹环和管)的多个练习中的每一个测量相机控制时间，以在使用远程操作外科手术系统(TSS)方面将外科医生评定为有经验、中级或新手。练习的结果用于基于相机控制时间为外科医生技术水平创建基准。该研究发现，有经验的外科医生通常比新外科医生明显更快速地进行相机控制。中级外科医生通常比新外科医生不明显更快地进行练习。然而，该研究发现，中级和有经验的外科医生之间的练习完成时间没有显著差异。

该研究揭示了一些令人惊讶的发现。例如，发现有经验的外科医生对于大多数练习具有比新外科医生明显更高的CMFrq，中级外科医生对于大多数练习具有比新外科医生明显更高的CMFrq，并且中级和有经验的外科医生之间的CMFrq无显著差异。该研究还发现，有经验的外科医生对于大多数练习具有比新外科医生明显更短的CMDur。在大多数练习中，中级外科医生具有比新外科医生明显更短的CMDur。在大多数练习中，有经验的外科医生具有比中级外科医生明显更短的CMDur。在大多数练习中，有经验的外科医生具有比新外科医生明显更短的CMInt，而中级外科医生在大多数练习中具有比新外科医生明显更短的CMInt。中级和有经验的外科医生在CMInt方面没有显著差异。

在相关实施例中，针对给定手术例程的每个任务或每个区段构建的特征向量(其也可以实时完成)与对应于外科手术例程的任务或区段的一个或多个基准分数进行比较。比较可以是所讨论的特征向量与基准特征向量之间的简单笛卡尔距离测量，或者一些其他的相似度测量。确定的相似度可以作为与任务、区段等对应的外科手术表现分数被返回。

针对每个外科医生的给定外科手术例程计算的各种分数存储在外科医生数据库1408。可以分析随时间变化的分数以检测任何趋势，诸如外科医生在使用TSS 950以及执行某些例程中获得经验和专业知识时的提高率。根据一些实施例，外科医生数据库1408区分1412处的TSS 950的仅模拟操作与对应于在1414处对真实患者执行的例程的那些操作之间的表现分数。

数据记录

图15是示出了根据一个示例性实施例的数据记录系统906的操作组件及其相互作用的图表。索引器1502被编程为或以其他方式配置为将输入数据与其他相关数据相关联以便于数据检索。在所描绘的示例中，在外科手术例程期间可以记录各种数据。例如，捕获的视频和任何添加的注释1504、评估的输入日志1506、评估的任务日志1508、模拟日志1510以及运行外科手术技术评估日志1512。每个数据项还可以与其捕获的日期和时间、患者、外科医生、TSS、外科手术类型和其他相关数据相关联。

在一个实施例中，对于捕获的视频和注释数据1504，索引器1502可以将视频分成对应于外科手术例程的评估区段的区段。评估输入日志1506存储时间序列事件和其他输入信息以及评估的手势。评估任务日志1508包含对实时执行的任务和外科手术例程区段的评估。在一个实施例中，评估输入日志1506包括短期存储部分和长期存储部分，其中短期存储部分存储包括事件的所有输入信息；而长期存储部分仅存储已经作出任务确定决策的那些输入。

模拟日志1510包含描述模拟器1006的患者模型1302和TSS建模器1310的时间序列状态信息。在一个实施例中，模拟日志的采样率类似于执行区段评估的速率(例如，4-20每秒采样数)。记录足够的数据以对所执行的外科手术例程进行详细的检查和分析。

运行外科手术技术评估日志1512存储由外科手术技术评估器1402产生的不断更新的外科医生表现分数的时间序列样本。在运行外科手术技术评估日志1512中记录的数据对于对当前患者正在执行的当前外科手术例程(或模拟)可以是特定的。该数据集可以与外科医生数据库1408(图14)中的数据重叠，该外科医生数据库1408存储跨越多个不同患者、例程和日期的外科医生特定数据。

辅助引擎

图16是示出了根据一些实施例的辅助引擎910的操作组件及其相互作用的图表。如所描绘的，辅助引擎910包括辅助呼叫检测器1600，辅助呼叫检测器1600被编程为或以其他方式配置为检测对外科医生辅助的呼叫。在一些实施例中，辅助呼叫检测器1600例程表现传感器1602和TSS用户界面(UI)接口1604，这些引擎中的任一个可以响应于它们各自的输入而启动辅助引擎910的辅助操作。例程表现传感器1602监测VSE 904和外科医生评估器908的操作。例如，与进行的外科手术技术评估(例如，如记录在数据库1512中)重叠的分段器1004的输出提供关于外科手术例程阶段的信息，以及在该阶段外科医生的测量表现。

辅助标准1603包括各种阈值条件，当满足该阈值条件时，通过下面描述的一个或多个辅助渲染引擎触发辅助动作的操作。值得注意的是，不同的阈值可与不同类型的辅助相关联。在操作中，例程表现传感器1602将用于当前外科手术例程及其区段的当前运行的外科手术技术评估与对应于外科手术例程和区段的阈值条件进行比较。如果满足阈值条件比较-即，如果当前运行的外科手术技术评估分数低于任何给定阈值，则可以提供和/或给与相应的辅助。

在相关实施例中，辅助标准1603的阈值条件也可以是外科医生特定的或患者特定的。例如，与新手外科医生相比，相对更有经验的外科医生可以在提供帮助之前给系统配置更高的阈值。同样地，对处于更危险状况的患者(例如，严重创伤患者、高龄患者、新生儿或者早期患者等)进行外科手术时，可以选择较低的阈值。

另外，例如，可以使用辅助标准1603以在例程的特定步骤中选择性地请求来自具有的专业知识的特定专家外科医生的输入。例如，某些外科医生可能非常擅长复杂的解剖，因此如果有人在那个步骤中遇到问题，那么他们应该是“随叫随到”的人，借此其他外科医生可以被需要用于更简单的步骤。

TSS UI接口1604与TSS 950的外科医生的控制台交换信息。TSS UI接口1604可以接收来自外科医生的针对特定辅助的请求，在这种情况下，TSS UI接口可以命令辅助渲染引擎提供相应的辅助。情境相关的辅助信息也可以通过TSS UI接口向外科医生显示，其中TSS UI接口将该信息提供给外科医生的控制台。

在一个相关的实施例中，响应于例程表现传感器1602的自动化辅助请求，TSS UI接口1604向外科医生提供视觉或听觉通知，以提供该辅助，并为外科医生提供接受、拒绝或推迟辅助的控制输入。

根据所描绘的实施例，多个不同的辅助渲染引擎可用于为外科医生或其他医务人员提供相应类型的辅助。在各种其他实施例中，提供更多或更少的辅助渲染引擎。如所描绘的，视频队列1606被配置为从数据库1608检索一个或多个视频区段以供回放。视频区段可以具有与外科手术例程的当前阶段(如由分段器1004所确定的)的具体对应。例如，将被排队的视频区段可以表示外科手术例程的当前阶段或即将到来的阶段。

通知器1610被配置为根据专家联系信息1612发起与随时待命的外科医生的通信，该外科医生可以经由远程控制台或其他接口向外科医生提供直接指导和/或辅助。

技术顾问1614可以基于外科手术技能要求数据库1616，响应于当前或即将到来的外科手术阶段，并且考虑到外科医生的经评估的运行外科手术技术评估，来推荐在给定场景中使用的特定外科手术技术。在相关实施例中，技术顾问1614可以向其他医务人员(诸如向外科手术环境中的一个或多个助理)提供适用的提示或其他指令或推荐。

在相关实施例中，技术顾问1614包括预测功能，该预测功能基于步骤的持续时间、步骤的顺序、步骤的性能水平(全部基于当前区段和外科医生的表现，以及可选地基于对应于那个外科医生的历史数据)来预测即将到来的外科手术阶段。这些信息可以用来预测未来的事件，诸如最佳OR周转操作的结束，即将到来的器械交换等。

模拟配置器1618可操作自主地建立将由模拟器1006执行的对应于当前或即将到来的外科手术例程阶段的模拟场景。这种类型的辅助可以允许外科医生在术中在虚拟外科手术环境中练习某种技术，然后返回到实际外科手术环境并对患者执行该技术。

控制设置调节器1620可操作以响应于控制输入而自动地改变TSS的一个或多个行为以协助外科手术任务。该调节可以根据控制调节规则1622来完成，该控制调整规则1622可以是手术例程特定的、任务特定的，外科医生特定的或其某种组合。可变TSS行为的示例包括控制-输入灵敏度调节(例如，针对给定输入事件或手势的运动速度的减小)，手势过滤(例如，允许某些输入运动引起外科手术效果，但不允许其他输入运动引起外科手术效果)，视频捕获设置调整等。其他调整包括相机视野/变焦/位置，桌位置，图像属性(颜色、色调、覆盖等)，为当前/即将到来的步骤加载来自从当前患者或相关患者的术前图像，主工具运动缩放，力反馈增益，控制输入按钮按压的映射根据情况/区段而不同，或其某种组合。

图21A-21C是示出了由控制设置调节器1620实现的外科手术场景视野变化的说明图，以帮助外科医生实现其中外科医生能够更精确地控制远程操作外科手术系统(TSS)的外科手术场景内的外科手术器械的视点。外科医生通过左眼显示器32和右眼显示器34立体地观看包括外科手术器械的外科手术场景(需要注意的是，尽管出于示例性目的描绘和描述了立体外科医生视图，但是在各种其他实施例中，可以提供单视图)。例如，假定TSS安装三个不同的外科手术器械2110、2112、2114，加上安装内窥镜的相机(未示出)。外科医生可以使用左手柄控制输入36和右手柄控制输入38一次控制两个外科手术器械和内窥镜。位于外科手术场景视图中的外科医生可以看到相机视场内的器械。进一步假定，例如，外科医生在从一个任务转换到下一个任务期间改变器械，外科医生改变。此外，假设来自器械的改变位于外科手术场景内与对器械的改变不同的方位。在那种情况下，尽管外科医生对左手柄控制输入端36和右手柄控制输入端38的抓握没有改变，但是当前在外科医生的控制下的外科手术场景中的外科手术器械的方位和取向已经改变。控制设置调节器1620可以提供对外科手术场景视野的调整，以便使外科医生对外科手术场景内当前处于外科医生控制下的器械的视点与在左手柄控制输入端36和右手柄控制输入端38上的外科医生手位置相一致，以便改善或优化外科手术器械的准确性和控制。

参考图21A，示出了第一外科手术场景2100，其具有由视野图标2120的取向所指示的第一视野，第一外科手术场景2100包括当前在外科医生控制下的第一外科手术器械2110和第二外科手术器械2112。视界图标2120可以被显示为屏幕内的可选覆盖图，其指示通常当内窥镜在患者侧推车上的操纵器中处于中立位置时外科手术场景视野是“水平的”。可以理解的是，水平视野在名义上被定义为患者侧臂内的中立位置-而不是相对于左侧和右侧显示器，因为它们从不改变位置。此外，将会理解的是，当观看直接位于外科医生眼睛前方的场景时，图21中所示的外科手术器械2110、2112和第一外科手术场景视野的取向与外科医生的手在左手柄控制输入端36和右手柄控制输入端38上的自然解剖取向一致。需要注意的是，由于TSS的主离合器功能，外科医生手的3D笛卡尔位置可能与器械的3D笛卡尔位置不同。

参考图21B，示出了第二外科手术场景2102，其具有由视野图标2120的取向所指示的第一视野，第二外科手术场景2102包括当前在外科医生控制下的第一外科手术器械2110和第三外科手术器械2114。假定在从第一场景2100过渡到第二场景2102的过程中，外科医生已经从使用第二外科手术器械(用虚线示出)2112改变为使用第三外科手术器械2114。因此，在左手柄和右手柄控制输入端36、38上的外科医生的手控制第二外科手术场景2102中的第一和第三外科手术器械2110、2114，而不是像在第一场景2100中那样控制第一和第二外科手术器械2110、2112。第二和第三外科手术器械2112、2114定位在外科手术场景内的不同方位处。此外，视野图标2120指示从左眼和右眼显示器32、34的视角来看第二外科手术场景2102的视图与第一场景2100的视角相同。因此，外科医生现在控制第三器械2114，第三器械位于第二外科手术场景2102内与先前控制的第二器械2112的方位不同的方位。尽管在左手柄和右手柄控制输入端36、38上的外科医生的手位置可能没有改变，并且外科手术场景视野不变，但是当前控制的器械中的一个的方位被改变，即第三器械2114的方位被改变。另外，如果外科医生在获取对该器械的控制之前需要镜像第三器械2114的姿态，则右手柄控制输入38的取向将必须被改变以匹配与器械2112不同的第三器械2114的新取向。为了这些和潜在的其他原因，图21B中所示的外科手术器械2110、2114的位置和第二外科手术场景视野可以不符合外科医生的手在左手柄和右手柄控制输入端36、38上的自然解剖位置。由于这种不一致性，外科医生可能无法以他或她以其他方式可能拥有的准确度和/或灵活性移动第三器械2114。

参考图21C，示出了第三外科手术场景2104，其具有由视野图标2120的取向所指示的第二视野，第三外科手术场景2104包括当前在外科医生控制下的第一和第三外科手术器械2110、2114。第三场景2104与第二场景2102相同，除了外科手术场景视野被改变，为如视野图标的取向所指示的那样。应该理解，由于场景取向的改变，当观看直接位于外科医生眼睛前方的场景时，图21C所示的外科手术器械2110、2114的位置/取向和第三外科手术场景视野与外科医生的手在左手柄控制输入端36和右手柄控制输入端38上的自然解剖位置更接近一致。由于外科手术场景视野的取向改变，外科医生可以比他或她在第二场景2102的外科手术场景视野下更容易地以更高的准确度移动第三器械2114。

控制设置调节器1620将相机取向控制设置的改变赋予给安装内窥镜的相机，以将视野取向从第二外科手术场景2102中所示的视野取向改变为第三外科手术场景2104中所示的视野取向。例如，当在第二和第三场景2110、2114中示出的第一和第三器械2100、2104的方位处控制器械时，外科手术技术评估器1402可以确定专家外科医生使用第三场景2114的视野取向。控制设置调节器1620可以为新手外科医生自动实现这样的视野取向改变。因此，例如，当新手外科医生转换到一个任务时，根据专家外科医生的器械移动的准确度，该任务可以通过外科手术场景视野的改变而被改进，控制设置调节器1620可以自动地改变外科手术场景视野的取向，以将外科手术场景视野取向和场景内的器械方位与外科医生的手在左手柄控制输入36和右手柄控制输入38上的位置更好地相关联。

图22A-22B是示出了由控制设置调节器1620实现的外科手术场景二维位置变化的说明图，以帮助外科医生实现外科医生可以更好地观察TSS外科手术场景内的相关信息的视点。参考图22A，示出了第四外科手术场景2200，其中第一和第二外科手术器械2110、2112的末端执行器部分位于外科手术场景2200的边缘附近。应当理解，在外科手术器械2100、2102位于如第四外科手术场景2200中的场景边缘附近的情况下，位于该场景边缘附近的诸如身体组织(未示出)之类的关注项目可能位于可见场景的外部，因此对于外科医生而言不可见。参考图22B，示出了第五外科手术场景2202，其中第一和第二外科手术器械2110、2112的末端执行器部分被定位更靠近外科手术场景2202的中心。控制设置调节器1620将相机控制设置的改变赋予安装内窥镜的相机，以从第二外科手术场景2102改变为第三外科手术场景2104，该第二外科手术场景2102显示第一二维区域，其中器械末端执行器布置在场景的边缘处，该第三外科手术场景2104显示第二二维区域，其中器械末端执行器布置在场景的中心附近。例如，外科手术技术评估器1402可以确定专家外科医生优选器械被显示在外科手术场景内的特定区域(例如中心)。因此，例如，当新手外科医生转换到涉及场景的任务时，根据专家外科医生时，例如，该任务可以通过所描绘场景的区域内的变化以便将器械移动到场景的中心而被更好地观察时，控制设置调节器1620可以自动改变相机的位置，以改变在场景内描绘的器械和组织结构(未示出)的位置。

图23A-23B是示出了由控制设置调节器1620实现的外科手术场景缩放水平变化的说明图，以帮助外科医生实现外科医生能够更好地观察TSS的外科手术场景内的相关信息的视点。参考图23A，示出了第六外科手术场景2300，其中第一和第二外科手术器械2110、2112被显示为缩小，以便在外科手术场景2200内看起来远并且小。应该理解的是，第六外科手术场景2300中的外科手术器械2100、2102的远和小的外观还导致诸如身体组织(未示出)的其他关注项目看起来远且小，并且因此对于外科医生来说很难看见，其中外科手术器械2100、2102与所述关注项目相互作用。参考图23B，示出了第七外科手术场景2302，其中第一和第二外科手术器械2110、2112被放大显示，以便看起来更近和更大并且更容易详细查看。控制设置调节器1620将相机控制设置中的改变赋予安装内窥镜的相机，以从显示第一缩小的缩放水平的第五外科手术场景2300改变为显示第二放大的缩放水平的第七外科手术场景2302。例如，外科手术技术评估器1402可以确定专家外科医生优选器械针对特定的任务被显示为特定的缩放水平。因此，例如，当新手外科医生转变为涉及场景的任务时，根据专家外科医生，例如，该任务可以通过缩放水平的改变被更好地观看时，控制设置调节器1620可以自动地改变相机的缩放水平。

另外，相机调节可以涉及估计患者的解剖位置和相机的取向以针对移动和相互作用优化相机位置/取向。例如，如果外科医生根据解剖结构需要在特定方向上驱动针，则相机可以将其自身对准该环境提示。

在一些实施例中，基于阶段当前评估，这些辅助引擎中的任何一个的辅助可以与当前外科手术操作阶段呈阶段同步。如上所述，阶段同步指的是根据外科手术过程流程进行对准，而不是严格的时间对准。在一些实施例中，阶段同步支持阶段偏移，使得可以提供辅助以便为外科手术例程的即将到来的阶段准备外科医生或外科手术团队。

可以进一步选择辅助以匹配正在使用的外科手术技术的评估类型，如分段器1004、模拟器1006、外科医生评估器908或包括这些引擎中的两个或更多个的组合所评估的类型。

图17是示出了通用机器的示例形式的计算机系统的框图。在某些实施例中，根据本文描述的一个或多个特定操作体系结构和算法对计算机系统1700进行编程产生执行该编程的专用机器，进而形成VSE 904、数据记录引擎906、外科医生评估器908、辅助引擎910或这些系统的任何组合。在联网部署中，计算机系统可以以服务器-客户端网络环境中服务器或客户机的功能运行，或者其可以作为在对等(或分布式)网络环境中的对等机。

示例计算机系统1700包括至少一个处理器1702(例如，中央处理单元(CPU)、图形处理单元(GPU)或两者、处理器核、计算节点等)，主存储器1704和静态存储器1706，所述部件经由链路1708(例如，总线)彼此通信。计算机系统1700还可以包括视频显示单元1710、字母数字输入设备1712(例如键盘)和用户界面(UI)导航设备1714(例如鼠标)。在一个实施例中，视频显示单元1710、输入设备1712和UI导航设备1714被并入到触摸屏显示器中。计算机系统1700可以另外包括存储设备1716(例如，驱动单元)、信号生成设备1718(例如、扬声器)、网络接口设备(NID)1720和一个或多个传感器(未示出)。

存储设备1716包括机器可读介质1722，在该机器可读介质1722上存储了一组或多组数据结构和指令1724(例如，软件)，该数据结构和指令1724体现本文所述的任何一种或多种方法或功能，或由本文所述的任何一种或多种方法或功能利用。在由计算机系统1700执行指令1724期间，指令1724还可以完全或至少部分地驻留在主存储器1704、静态存储器1706内和/或处理器1702内，其中主存储器1704、静态存储器1706和处理器1702也构成机器可读介质。

虽然机器可读介质1722在示例实施例中被图示为单个介质，但术语“机器可读介质”可以包括存储一个或多个指令1724的单个介质或多个介质(例如，集中式或分布式数据库和/或关联缓存和服务器)。术语“机器可读介质”还应被理解为包括以下所述的任何有形介质，所述有形介质能够存储、编码或携带指令以便由及其执行，并且致使机器执行本公开的任何一种或多种方法，或者所述有形介质能够存储、编码或携带由这些指令使用或与这些指令相关联的数据结构。术语“机器可读介质”因此应被认为包括但不限于固态存储器以及光学和磁性介质。机器可读介质的具体示例包括非易失性存储器，包括但不限于(以示例的方式)半导体存储器设备(例如，电可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM))和闪存设备；磁盘，诸如内部硬盘和可移动磁盘；磁光盘；和CD-ROM和DVD-ROM盘。

根据各种实施例NID 1730可以采取任何合适的形式因素。在一个这样的实施例中，NID 1720采取经由链路1708与处理器1702连接的网络接口卡(NIC)的形式。在一个示例中，链路1708包括PCI Express(PCIe)总线，其包括NIC形状因子可以可移除地接合进入的插槽。在另一个实施例中，NID 1720是网络接口电路，其与本地链路电路、处理器接口电路、其他输入/输出电路、存储器电路、存储设备和外围控制器电路等一起布置在母板上。在另一个实施例中，NID 1720是经由诸如通用串行总线(USB)端口的外围输入/输出端口与链路1708连接的外围设备。NID 1720通过传输介质1726传输和接收数据，传输介质1726可以是有线或无线(例如，射频、红外或可见光谱等)，光纤等。

图18是示出了诸如图17中描绘的计算设备的示例硬件和软件体系结构的图表，在该图表中示出了硬件组件和软件组件之间的各种接口。如HW所示，硬件组件在分隔线下方表示，而由SW表示的软件组件位于分隔线之上。在硬件方面，处理设备1802(其可包括一个或多个微处理器、数字信号处理器等，每个具有一个或多个处理器核心)与存储器管理设备1804和系统互连1806连接。存储器管理设备1804在正被执行的进程所使用的虚拟存储器与物理存储器之间提供映射。存储器管理设备1804可以是也包括处理设备1802的中央处理单元的主要部分。

互连1806包括诸如存储器、数据和控制线的背板，以及与输入/输出设备(例如，PCI、USB等)的接口。存储器1808(例如，动态随机存取存储器-DRAM)和诸如闪存(例如，电可擦除只读存储器-EEPROM、NAND闪存、NOR闪存等)的非易失性存储器1809经由存储器控制器1810与存储器管理设备1804和互连1806连接。在一些实施例中该架构可以通过外围设备支持直接存储器访问(DMA)。包括视频和音频适配器，非易失性存储器，诸如USB、蓝牙等的外部外围链路的I/O设备，以及诸如通过Wi-Fi或LTE家庭接口进行通信的网络接口设备统称为I/O设备和网络1812，该I/O设备和网络1812经由对应的I/O控制器1814与互连1806连接。

在软件方面，预操作系统(pre-OS)环境1816在初始系统启动时执行并且负责启动操作系统的引导。Pre-OS环境1816的一个传统示例是系统基本输入/输出系统(BIOS)。在当今的系统中，实现了统一的可扩展固件接口(UEFI)。Pre-OS环境1816负责启动操作系统的开始，而且还为根据本发明的某些方面的嵌入式应用提供执行环境。

操作系统(OS)1818提供了一个内核，该内核用于控制硬件设备，管理对存储器中程序的存储器访问，协调任务并促进多任务，组织要存储的数据，分配存储器空间和其他资源，将程序二进制代码加载到存储器，启动随后与用户和硬件设备进行交互的应用程序的执行，并检测和响应各种定义的中断。而且，操作系统1818提供设备驱动器以及各种常见服务，诸如便于与外围设备和网络连接的服务，提供应用程序的抽象以便应用程序不需要负责处理这些公共操作的细节的服务。操作系统1818另外提供图形用户界面(GUI)，其经由诸如监测器、键盘、鼠标、麦克风、摄像机、触摸屏等的外围设备促进与用户的交互。

运行时系统1820实现执行模型的部分，包括诸如在函数调用之前将参数放置到堆栈上的操作，磁盘输入/输出(I/O)的行为以及并行执行相关行为的操作。运行时系统1820还可以执行支持服务，诸如类型检查、调试或代码生成和优化。

库1822包括为应用程序提供进一步抽象的程序功能的集合。例如，这些包括共享库、动态链接库(DLL)。库1822可以集成到操作系统1818、运行时系统1820、或者可以是附加特征、或者甚至远程托管。库1822定义了应用程序接口(API)，应用程序1824可以通过该应用程序接口(API)进行各种功能调用，以启用由操作系统1818提供的服务。除了协调计算设备本身的基础可操作性的较低级系统程序执行的任务以外，应用程序1824是执行对用户有用任务的那些程序。

过程流程

图20是示出了操作TSS支持系统(诸如系统900)的示例方法2000的过程流程图。应该注意的是，方法2000是一个特征丰富的实施例，其为了说明的目的组合了各种不同的操作。尽管在图20中描绘的示例可以是实际的实施例，应该理解的是在各种其他实施例中，某些操作可以被修改、省略或重新排序。

以下描述参考图20，以及图9-16的系统和操作组件图表。在2002，外科手术输入评估器1002的事件监测器1102接收外科手术输入。外科手术输入包括TSS的监测的事件。另外，外科手术输入可以包括到模拟器1006中的TSS的计算模型的控制输入。外科手术输入还可以包括来自TSS的计算模型的建模事件。

在2004，TSS建模器1310在虚拟外科手术环境中对TSS进行建模。这可以包括如配置信息1312中定义的计算表示工具、末端执行器和其他配置部分。TSS建模器1310处理控制输入，并且在模型中响应于那些控制输入而产生虚拟状态改变。虚拟状态改变本身可以构成事件监测器1102可以接收的事件类型。

在2006，患者模型1302对患者进行建模，包括TSS建模器1310的操作的效果。在2008，外科手术输入评估器确定正在执行的当前外科手术任务。在2010，分段器1004基于外科手术输入以及可选地基于评估的任务，来确定外科手术例程的当前阶段。

在2012，分段器1004的置信度测量引擎1230确定阶段评估的置信度分数。在2014，外科医生评估器908使用外科手术技术评估器1402计算外科手术输入的时间和空间度量。可选地，考虑置信度分数。在2016，外科手术技术评估器为外科医生或外科手术人员生成特定阶段的表现分数。

在2018，基于外科手术例程的当前阶段、表现分数或这些项目的某些组合，可以检测到对外科医生辅助的呼叫。呼救辅助可由外科医生或其他操作者提供。在2020，提供阶段同步辅助。

其他注释和示例

示例1是用于远程操作外科手术系统(TSS)的外科手术支持系统，远程操作外科手术系统包括外科医生输入接口，该外科医生输入接口接受外科手术控制输入以使机电外科手术系统执行外科手术例程，外科手术支持系统包括：包含计算硬件的虚拟外科手术环境引擎，所述计算硬件可操作地配置为实现：外科手术输入评估器引擎用于接收包括TSS的所监测的事件的外科手术输入；以及分段器引擎用于基于外科手术输入来确定外科手术例程的当前阶段；以及包括计算硬件的辅助引擎，所述计算硬件可操作地配置为实现：通信地耦接到TSS的外科医生输入接口的TSS接口；检测外科医生辅助呼叫的辅助呼叫检测器；以及响应于外科医生辅助呼叫经由TSS接口启动情境相关的辅助的辅助渲染引擎，该情境相关的辅助与外科手术例程阶段同步。

在示例2中，示例1的主题可选地包括TSS。

在示例3中，示例1-2的任何一个或多个的主题可选地包括，其中虚拟外科手术环境引擎进一步被配置为实施模拟器引擎以基于TSS的外科手术输入来处理外科手术例程的计算模型。

在示例4中，示例3的主题可选地包括，其中模拟器引擎包括：TSS模型和患者模型，TSS模型以计算方式表示虚拟外科手术环境中的TSS；以及患者模型基于患者的身体特征以计算方式表示患者，并且通过TSS模型的操作实现对患者的改变。

在示例5中，示例3-4的任何一个或多个的主题可选地包括，其中模拟器引擎被配置为与经由TSS执行的实际外科手术例程并行地操作，其中到TSS的外科手术控制输入在模拟器引擎的计算模型中产生虚拟效果。

在示例6中，示例3-5的任何一个或多个的主题可选地包括，其中由外科手术输入评估器引擎接收的外科手术输入包括来自模拟器引擎的计算模型的TSS控制输入的模拟效果。

在示例7中，示例3-6的任何一个或多个的主题可选地包括，其中模拟器引擎被配置并启动以基于当前阶段的确定来模拟外科手术例程的特定阶段。

在示例8中，示例1-7的任何一个或多个的主题可选地包括，其中所监测的事件包括控制TSS的机电外科手术系统的TSS控制输入。

在示例9中，示例1-8的任何一个或多个的主题可选地包括，其中所监测的事件包括控制TSS的机电外科手术系统的模拟的TSS控制输入。

在示例10中，示例1-9的任何一个或多个的主题可选地包括，其中所监测的事件包括外科手术助理进行TSS检测动作。

在示例11中，示例1-10的任何一个或多个的主题可选地包括，其中分段器引擎包括用于确定表示正确分段确定的概率的置信度分数的置信度测量引擎。

在示例12中，示例11的主题可选地包括，其中置信度分数指示外科手术输入的对应序列对训练分段器引擎的深度学习引擎的适合性。

在示例13中，示例1-12的任何一个或多个的主题可选地包括，其中分段器引擎包括实时分段评估器，该实时分段评估器被配置为实施训练的神经网络以在外科手术例程期间处理外科手术输入的部分。

在示例14中，示例13的主题可选地包括，其中分段器引擎进一步包括后处理分段评估器，该后处理分段评估器被配置为实施聚类算法以处理外科手术输入的部分。

在示例15中，示例13-14的任何一个或多个的主题可选地包括，其中训练的神经网络基于来自多个之前的外科手术例程的先前外科手术输入而被训练。

在示例16中，示例13-15的任何一个或多个的主题可选地包括，其中训练的神经网络基于来自多个之前模拟的外科手术例程的先前外科手术输入而被训练。

在示例17中，示例1-16的任何一个或多个的主题可选地包括，其中外科手术输入评估器引擎包括任务评估器引擎，该任务评估器引擎被配置为基于外科手术输入确定正在执行的当前外科手术任务，其中当前外科手术任务包括产生限定外科手术效果的一系列事件；并且其中分段器引擎进一步基于当前外科手术任务来确定外科手术例程的当前阶段。

在示例18中，示例1-17的任何一个或多个的主题可选地包括包含计算硬件外科医生评估器引擎，所述计算硬件可操作地被配置为实现外科手术技术评估器引擎，该外科手术技术评估器引擎被配置为：访问外科手术输入和外科手术例程的当前阶段；计算与包括当前阶段的外科手术例程的多个不同阶段相对应的外科手术输入的多个时间和空间度量；并且生成表示产生外科手术控制输入的外科医生的外科手术表现的质量的外科手术特定阶段的表现分数。

在示例19中，示例18的主题可选地包括，其中外科手术技术评估器进一步被配置为执行时间和空间度量与基于外科手术例程的熟练执行阶段的基准度量之间的比较；并且其中表现分数基于比较结果。

在示例20中，示例18-19的任何一个或多个的主题可选地包括，其中外科手术技术评估器进一步被配置为：访问表示由分段器引擎进行的正确分段确定的概率的置信度分数；并进一步基于置信度分数来生成表现分数。

在示例21中，示例18-20的任何一个或多个的主题可选地包括，其中表现分数是在整个外科手术例程中更新的运行分数。

在示例22中，示例18-21的任何一个或多个的主题可选地包括，其中辅助呼叫检测器被配置为基于表现分数检测对外科医生辅助的呼叫。

在示例23中，示例1-22的任何一个或多个的主题可选地包括，其中情境相关的辅助包括专家视频区段，该专家视频区段包含正在执行的外科手术例程的特定阶段部分的演示。

在示例24中，示例1-23的任何一个或多个的主题可选地包括，其中情境相关的辅助包括外科手术例程的特定阶段模拟的配置和启动。

在示例25中，示例1-24的任何一个或多个的主题可选地包括，其中情境相关的辅助包括控制设置的调整。

示例26是用于支持远程操作外科手术系统(TSS)的机器实现的方法，该远程操作外科手术系统包括外科医生输入接口，该外科医生输入接口接受外科手术控制输入以使机电外科手术系统完成外科手术例程，该方法包括：接收包含TSS的所监测的事件的外科手术输入；基于外科手术输入确定外科手术例程的当前阶段；检测对外科医生辅助的呼叫；以及响应于对外科医生辅助的呼叫，向外科医生输入接口开启情境相关的辅助，情境相关的辅助与外科手术例程阶段同步。

在示例27中，示例26的主题可选地包括基于TSS的外科手术输入将外科手术例程模拟为计算模型。

在示例28中，示例27的主题可选地包括，其中模拟外科手术例程包括：计算地表示虚拟外科手术环境中的TSS作为计算模型的一部分；以及基于患者的身体特征以计算方式表示患者，并且通过计算模型中计算表示的TSS的模型化操作实现对患者的改变。

在示例29中，示例27-28的任何一个或多个的主题可选地包括，其中模拟与经由TSS执行的实际外科手术例程并行地进行，其中到TSS的外科手术控制输入在计算模型中产生虚拟效果。

在示例30中，示例27-29的任何一个或多个的主题可选地包括，其中外科手术输入包括来自计算模型的TSS控制输入的模拟效果。

在示例31中，示例27-30的任何一个或多个的主题可选地包括基于当前阶段的确定使用计算模型来模拟外科手术例程的特定阶段。

在示例32中，示例26-31的任何一个或多个的主题可选地包括，其中所监测的事件包括控制TSS的机电外科手术系统的TSS控制输入。

在示例33中，示例26-32的任何一个或多个的主题可选地包括，其中所监测的事件包括控制TSS的机电外科手术系统的模拟的TSS控制输入。

在示例34中，示例26-33的任何一个或多个的主题可选地包括，其中所监测的事件包括外科手术助理进行TSS检测动作。

在示例35中，示例26-34的任何一个或多个的主题可选地包括确定表示正确分段确定的概率的置信度分数。

在示例36中，示例35的主题可选地包括，其中置信度分数指示外科手术输入的对应序列对训练深度学习算法的适合性。

在示例37中，示例26-36的任何一个或多个的主题可选地包括，其中在确定外科手术例程的当前阶段时，实施经训练的神经网络以在外科手术例程期间处理外科手术输入的部分。

在示例38中，示例37的主题可选地包括，其中在确定外科手术例程的当前阶段时，执行聚类算法以处理外科手术输入的部分。

在示例39中，示例37-38的任何一个或多个的主题可选地包括，其中训练的神经网络基于来自多个之前的外科手术例程的先前外科手术输入而被训练。

在示例40中，示例37-39的任何一个或多个的主题可选地包括，其中训练的神经网络基于来自多个之前模拟的外科手术例程的先前外科手术输入而被训练。

在示例41中，示例26-40的任何一个或多个的主题可选地包括基于外科手术输入确定正在执行的当前外科手术任务，其中当前外科手术任务包括产生限定外科手术效果的一系列事件；并且其中进一步基于当前外科手术任务来确定外科手术例程的当前阶段。

在示例42中，示例26-41的任何一个或多个的主题可选地包括，计算与包括当前阶段的外科手术例程的多个不同阶段相对应的外科手术输入的多个时间和空间度量；并且生成表示产生外科手术控制输入的外科医生的外科手术表现的质量的外科手术特定阶段表现分数。

在示例43中，示例42的主题可选地包括执行时间和空间度量与基于外科手术例程的熟练执行阶段的基准度量之间的比较；其中表现分数基于比较结果。

在示例44中，示例42-43的任何一个或多个的主题可选地包括进一步基于表示正确分段确定的概率的置信度分数生成表现分数。

在示例45中，示例42-44的任何一个或多个的主题可选地包括，其中表现分数是在整个外科手术例程中更新的运行分数。

在示例46中，示例42-45的任何一个或多个的主题可选地包括，其中对外科医生辅助的呼叫基于表现分数。

在示例47中，示例26-46的任何一个或多个的主题可选地包括，其中情境相关的辅助包括专家视频区段，该专家视频区段包含正在执行的外科手术例程的特定阶段部分的演示。

在示例48中，示例26-47的任何一个或多个的主题可选地包括，其中情境相关的辅助包括外科手术例程的特定阶段模拟的配置和启动。

在示例49中，示例26-48的任何一个或多个的主题可选地包括，其中情境相关的辅助包括控制设置的调整。

示例50是包含指令的至少一个非暂时性机器可读存储介质，当该指令在计算平台上执行时致使计算平台实施用于支持远程操作外科手术系统(TSS)的专用机器，该远程操作外科手术系统包括外科医生输入接口，该外科医生输入接口接受外科手术控制输入以使得机电外科手术系统完成外科手术例程，该指令包括：用于接收包括TSS的所监测的事件的外科手术输入的指令；用于基于外科手术输入确定外科手术例程的当前阶段的指令；用于检测对外科医生辅助的呼叫的指令；以及响应于对外科医生辅助的呼叫而向外科医生输入接口启动情境相关的辅助的指令，情境相关的辅助与外科外科手术例程阶段同步。

在示例51中，示例50的主题可选地包括基于TSS的外科手术输入将外科手术例程模拟为计算模型的指令。

在示例52中，示例51的主题可选地包括，其中用于模拟外科手术例程的指令包括：用于计算地表示虚拟外科手术环境中的TSS作为计算模型的一部分的指令；以及用于基于患者的身体特征以计算方式表示患者的指令，并且通过计算模型中计算表示的TSS的模型化操作实现对患者的改变的指令。

在示例53中，示例51-52的任何一个或多个的主题可选地包括，其中模拟与经由TSS执行的实际外科手术例程并行地进行，其中到TSS的外科手术控制输入在计算模型中产生虚拟效果。

在示例54中，示例51-53的任何一个或多个的主题可选地包括，其中外科手术输入包括来自计算模型的TSS控制输入的模拟效果。

在示例55中，示例51-54的任何一个或多个的主题可选地包括用于基于当前阶段的确定使用计算模型来模拟外科手术例程的特定阶段的指令。

在示例56中，示例50-55的任何一个或多个的主题可选地包括，其中所监测的事件包括控制TSS的机电外科手术系统的TSS控制输入。

在示例57中，示例50-56的任何一个或多个的主题可选地包括，其中所监测的事件包括控制TSS的机电外科手术系统的模拟的TSS控制输入。

在示例58中，示例50-57的任何一个或多个的主题可选地包括，其中所监测的事件包括外科手术助理进行TSS检测动作。

在示例59中，示例50-58的任何一个或多个的主题可选地包括用于确定表示正确分段确定的概率的置信度分数的指令。

在示例60中，示例59的主题可选地包括，其中置信度分数指示外科手术输入的对应序列对训练深度学习算法的适合性。

在示例61中，示例50-60的任何一个或多个的主题可选地包括，其中用于确定外科手术例程的当前阶段的指令，致使实施训练的神经网络以在外科手术例程期间处理外科手术输入的部分。

在示例62中，示例61的主题可选地包括，其中用于确定外科手术例程的当前阶段的指令，致使执行聚类算法以处理外科手术输入的部分。

在示例63中，示例61-62的任何一个或多个的主题可选地包括，其中训练的神经网络基于来自多个之前的外科手术例程的先前外科手术输入而被训练。

在示例64中，示例61-63的任何一个或多个的主题可选地包括，其中训练的神经网络基于来自多个之前模拟的外科手术例程的先前外科手术输入而被训练。

在示例65中，示例50-64的任何一个或多个的主题可选地包括用于基于外科手术输入确定正在执行的当前外科手术任务的指令，其中当前外科手术任务包括产生限定外科手术效果的一系列事件；并且其中该指令用于基于当前外科手术任务的确定来确定外科手术例程的当前阶段。

在示例66中，示例50-65的任何一个或多个的主题可选地包括，用于计算与包括当前阶段的外科手术例程的多个不同阶段相对应的外科手术输入的多个时间和空间度量的指令；以及用于生成表示产生外科手术控制输入的外科医生的外科手术表现的质量的外科手术特定阶段表现分数的指令。

在示例67中，示例66的主题可选地包括用于执行时间和空间度量与基于外科手术例程的熟练执行阶段的基准度量之间的比较的指令；其中表现分数基于比较结果。

在示例68中，示例66-67的任何一个或多个的主题可选地包括用于进一步基于表示正确分段确定的概率的置信度分数生成表现分数的指令。

在示例69中，示例66-68的任何一个或多个的主题可选地包括，其中表现分数是在整个外科手术例程中更新的运行分数。

在示例70中，示例66-69的任何一个或多个的主题可选地包括，其中对外科医生辅助的呼叫基于表现分数。

在示例71中，示例50-70的任何一个或多个的主题可选地包括，其中情境相关的辅助包括专家视频区段，该专家视频区段包含正在执行的外科手术例程的特定阶段部分的演示。

在示例72中，示例50-71的任何一个或多个的主题可选地包括，其中情境相关的辅助包括外科手术例程的特定阶段模拟的配置和启动。

在示例73中，示例50-72的任何一个或多个的主题可选地包括，其中情境相关的辅助包括控制设置的调整。

虽然已经示出和描述了说明性实施例，但是在前述公开内容中考虑了各种修改、改变和替换，并且在一些情况下，可以采用实施例的一些特征而不相应使用其他特征。本领域的普通技术人员将认识到许多变化、替代和修改。因此，本公开的范围应该仅由随附权利要求来限定，并且权利要求被广义地并且以与本文公开的实施例的范围一致的方式解释。

Claims (55)

1.一种用于远程操作外科手术系统即TSS的外科手术支持系统，所述TSS包括外科医生输入接口，所述外科医生输入接口接受外科手术控制输入以实现机电外科手术系统以执行外科手术例程，所述外科手术支持系统包括：

包含计算硬件的虚拟外科手术环境引擎，其可操作地配置为实现：

外科手术输入评估器引擎用于接收包括所述TSS的所监测的事件的外科手术输入；以及

分段器引擎用于基于所述外科手术输入来确定所述外科手术例程的当前阶段；以及

包括计算硬件的辅助引擎，其可操作地配置为实现：

通信地耦接到所述TSS的所述外科医生输入接口的TSS接口；

辅助呼叫检测器，用于检测对外科医生辅助的呼叫；以及

辅助渲染引擎，响应于对外科医生辅助的呼叫经由所述TSS接口启动情境相关的辅助。

2.根据权利要求1所述的外科手术支持系统，进一步包括所述TSS。

3.根据权利要求1所述的外科手术支持系统，其中所述虚拟外科手术环境引擎进一步被配置为实施模拟器引擎以基于所述TSS的所述外科手术输入来处理外科手术例程的计算模型。

4.根据权利要求3所述的外科手术支持系统，其中所述模拟器引擎包括：

TSS模型，用于以计算方式表示所述虚拟外科手术环境中的所述TSS；以及

患者模型，用于以计算方式表示基于患者的身体特征的所述患者，以及通过所述TSS模型的操作实现的对所述患者的改变。

5.根据权利要求3所述的外科手术支持系统，其中所述模拟器引擎被配置为与经由所述TSS执行的实际外科手术例程并行地操作，其中到所述TSS的外科手术控制输入在所述模拟器引擎的计算模型中产生虚拟效果。

6.根据权利要求3所述的外科手术支持系统，其中由所述外科手术输入评估器引擎接收的所述外科手术输入包括来自所述模拟器引擎的所述计算模型的所述TSS控制输入的模拟效果。

7.根据权利要求3所述的外科手术支持系统，其中所述模拟器引擎被配置并启动以基于所述当前阶段的确定来模拟外科手术例程的特定阶段。

8.根据权利要求1所述的外科手术支持系统，其中所述监测的事件包括控制所述TSS的机电外科手术系统的TSS控制输入。

9.根据权利要求1所述的外科手术支持系统，其中所述监测的事件包括控制所述TSS的机电外科手术系统的模拟的TSS控制输入。

10.根据权利要求1所述的外科手术支持系统，其中所述监测的事件包括外科手术助理进行TSS检测动作。

11.根据权利要求1所述的外科手术支持系统，其中所述分段器引擎包括用于确定表示正确分段确定的概率的置信度分数的置信度测量引擎。

12.根据权利要求11所述的外科手术支持系统，其中所述置信度分数指示外科手术输入的对应序列对训练所述分段器引擎的深度学习引擎的适合性。

13.根据权利要求1所述的外科手术支持系统，其中所述分段器引擎包括实时分段评估器，所述实时分段评估器被配置为实施经训练的神经网络以在所述外科手术例程期间处理所述外科手术输入的部分。

14.根据权利要求13所述的外科手术支持系统，其中所述分段器引擎进一步包括后处理分段评估器，所述后处理分段评估器被配置为实施聚类算法以处理所述外科手术输入的部分。

15.根据权利要求13所述的外科手术支持系统，其中所述经训练的神经网络基于来自多个之前的外科手术例程的先前外科手术输入而被训练。

16.根据权利要求13所述的外科手术支持系统，其中所述经训练的神经网络基于来自多个之前模拟的外科手术例程的先前外科手术输入而被训练。

17.根据权利要求1所述的外科手术支持系统，其中所述外科手术输入评估器引擎包括任务评估器引擎，所述任务评估器引擎被配置为基于所述外科手术输入确定正在执行的当前外科手术任务，其中所述当前外科手术任务包括产生限定外科手术效果的一系列事件；并且

其中所述分段器引擎进一步基于所述当前外科手术任务来确定所述外科手术例程的当前阶段。

18.根据权利要求1所述的外科手术支持系统，进一步包括：

包含计算硬件的外科医生评估器引擎，其可操作地配置为实现：

外科手术技术评估器引擎，其经配置为：

访问所述外科手术输入和所述外科手术例程的所述当前阶段；

计算与包括所述当前阶段的所述外科手术例程的多个不同阶段相对应的所述外科手术输入的多个时间和空间度量；并且

生成表示产生所述外科手术控制输入的外科医生的外科手术表现的质量的外科手术特定阶段表现分数。

19.根据权利要求18所述的外科手术支持系统，其中所述外科手术技术评估器进一步被配置为执行所述时间和空间度量与基于所述外科手术例程的熟练执行阶段的基准度量之间的比较；并且

其中所述表现分数基于所述比较的结果。

20.根据权利要求18所述的外科手术支持系统，其中所述外科手术技术评估器进一步被配置为：

访问表示由所述分段器引擎进行的正确分段确定的概率的置信度分数；并且

进一步基于所述置信度分数来生成所述表现分数。

21.根据权利要求18所述的外科手术支持系统，其中所述表现分数是在整个所述外科手术例程中更新的运行分数。

22.根据权利要求18所述的外科手术支持系统，其中所述辅助呼叫检测器被配置为基于所述表现分数检测对外科医生辅助的呼叫。

23.根据权利要求1所述的外科手术支持系统，其中所述情境相关的辅助包括专家视频区段，所述专家视频区段包含正在执行的所述外科手术例程的特定阶段部分的演示。

24.根据权利要求1所述的外科手术支持系统，其中所述情境相关的辅助包括所述外科手术例程的特定阶段模拟的配置和启动。

25.根据权利要求1所述的外科手术支持系统，其中所述情境相关的辅助包括控制设置的调整。

26.根据权利要求1所述的外科手术支持系统，所述情境相关的辅助与所述外科手术例程是阶段同步的。

27.根据权利要求1所述的外科手术支持系统，进一步包括：

包含计算硬件的外科医生评估器引擎，其可操作地配置为实现：

外科手术技术评估器引擎，其经配置以：

访问相机控制输入，以及；

计算相机控制输入的多个时间和空间度量；以及

生成表示产生所述相机控制输入的外科医生的相机控制的质量的相机表现分数。

28.根据权利要求1所述的外科手术支持系统，其中所述情境相关的辅助包括以下项的至少一个：外科手术场景的视觉显示的视野取向的改变，外科手术场景的视觉显示内所示的二维区域的改变以及外科手术场景的视觉显示的缩放水平的改变。

29.一种用于支持远程操作外科手术系统即TSS的机器实现的方法，所述TSS包括外科医生输入接口，所述外科医生输入接口接受外科手术控制输入以实现机电外科手术系统以执行外科手术例程，所述方法包括：

接收包括所述TSS的所监测的事件的外科手术输入；

基于所述外科手术输入确定所述外科手术例程的当前阶段；

检测对外科医生辅助的呼叫；以及

响应于所述对外科医生辅助的呼叫，向所述外科医生输入接口启动情境相关的辅助，所述情境相关的辅助与所述外科手术例程是阶段同步的。

30.根据权利要求29所述的方法，进一步包括：

基于所述TSS的所述外科手术输入将所述外科手术例程模拟为计算模型。

31.根据权利要求30所述的方法，其中模拟所述外科手术例程包括：

以计算方式表示虚拟外科手术环境中的所述TSS作为所述计算模型的一部分；以及

基于所述患者的身体特征以计算方式表示所述患者，并且通过所述计算模型中的所述计算表示的TSS的建模操作实现对所述患者的改变。

32.根据权利要求30所述的方法，其中所述模拟与经由所述TSS执行的实际外科手术例程并行地进行，其中到所述TSS的外科手术控制输入在所述计算模型中产生虚拟效果。

33.根据权利要求30所述的方法，其中所述外科手术输入包括来自所述计算模型的所述TSS控制输入的模拟效果。

34.根据权利要求30所述的方法，进一步包括基于所述当前阶段的确定使用所述计算模型来模拟所述外科手术例程的特定阶段。

35.根据权利要求29所述的方法，其中所述监测的事件包括控制所述TSS的机电外科手术系统的TSS控制输入。

36.根据权利要求29所述的方法，其中所述监测的事件包括控制所述TSS的机电外科手术系统的模拟的TSS控制输入。

37.根据权利要求29所述的方法，其中所述监测的事件包括外科手术助理进行TSS检测动作。

38.根据权利要求29所述的方法，进一步包括：

确定表示正确分段确定的概率的置信度分数。

39.根据权利要求38所述的方法，其中所述置信度分数指示外科手术输入的对应序列对训练深度学习算法的适合性。

40.根据权利要求29所述的方法，其中在确定所述外科手术例程的所述当前阶段时，实施经训练的神经网络以在所述外科手术例程期间处理所述外科手术输入的部分。

41.根据权利要求40所述的方法，其中在确定所述外科手术例程的所述当前阶段时，执行聚类算法以处理所述外科手术输入的部分。

42.根据权利要求40所述的方法，其中所述经训练的神经网络基于来自多个之前的外科手术例程的先前外科手术输入而被训练。

43.根据权利要求40所述的方法，其中所述经训练的神经网络基于来自多个之前模拟的外科手术例程的先前外科手术输入而被训练。

44.根据权利要求29所述的方法，进一步包括：

基于所述外科手术输入确定正在执行的当前外科手术任务，其中所述当前外科手术任务包括产生限定外科手术效果的一系列事件；并且

其中进一步基于所述当前外科手术任务来确定所述外科手术例程的所述当前阶段。

45.根据权利要求29所述的方法，进一步包括：

计算与包括所述当前阶段的所述外科手术例程的多个不同阶段相对应的所述外科手术输入的多个时间和空间度量；并且

生成表示产生所述外科手术控制输入的外科医生的外科手术表现的质量的外科手术特定阶段表现分数。

46.根据权利要求45所述的方法，进一步包括：

执行所述时间和空间度量与基于所述外科手术例程的熟练执行阶段的基准度量之间的比较；

其中所述表现分数基于所述比较的结果。

47.根据权利要求45所述的方法，进一步包括：

进一步基于表示正确分段确定的概率的所述置信度分数生成所述表现分数。

48.根据权利要求45所述的方法，其中所述表现分数是在整个所述外科手术例程中更新的运行分数。

49.根据权利要求45所述的方法，其中对外科医生辅助的所述呼叫基于所述表现分数。

50.根据权利要求29所述的方法，其中所述情境相关的辅助包括专家视频区段，所述专家视频区段包含正在执行的所述外科手术例程的特定阶段部分的演示。

51.根据权利要求29所述的方法，其中所述情境相关的辅助包括所述外科手术例程的特定阶段模拟的配置和启动。

52.根据权利要求29所述的方法，其中所述情境相关的辅助包括控制设置的调整。

53.根据权利要求29所述的方法，其中所述情境相关的辅助与所述外科手术例程是阶段同步的。

54.根据权利要求29所述的方法，进一步包括：

计算相机控制输入的多个时间和空间度量；以及

生成表示产生所述相机控制输入的外科医生的相机控制的质量的相机表现分数。

55.根据权利要求29所述的方法，其中所述情境相关的辅助包括以下项中的至少一个：外科手术场景的视觉显示的视野取向的改变，外科手术场景的视觉显示内所示的二维区域的改变以及外科手术场景的视觉显示的缩放水平的改变。