CN113574611A

CN113574611A - 用于从外科过程的总手术室（or）时间提取实际外科持续时间的方法和系统

Info

Publication number: CN113574611A
Application number: CN201880100680.0A
Authority: CN
Inventors: J·文卡塔拉曼; P·加西亚基尔罗伊
Original assignee: Verb Surgical Inc
Current assignee: Verb Surgical Inc
Priority date: 2018-12-14
Filing date: 2018-12-26
Publication date: 2021-10-29
Anticipated expiration: 2038-12-26
Also published as: US11728029B2; US20200194111A1; WO2020122962A1; EP3895176A4; EP3895176A1; CN113574611B; US10910103B2; US20210134448A1; US20240006059A1

Abstract

在此描述的实施例提供了用于从外科过程的总过程持续时间提取涉及实际外科工具‑组织交互的实际过程持续时间的外科过程分析系统的各种示例。在一个方面中，用于生成触觉反馈信号的过程包括步骤：获得外科过程的总过程持续时间；从外科过程期间收集的OR数据源的集合接收手术室（OR）数据的集合；分析OR数据的集合以检测不涉及外科工具‑组织交互的外科过程期间的非外科事件的集合；提取与事件的集合对应的持续时间的集合；并且通过从总过程持续时间减去对应于事件的集合的持续时间的组合集合来确定实际过程持续时间。

Description

用于从外科过程的总手术室（OR）时间提取实际外科持续时间的方法和系统

技术领域

本公开总体上涉及构建基于机器学习的外科（surgical）过程分析工具，并且更具体地涉及用于基于外科过程期间收集的多个数据源从外科过程的总手术室（operatingroom）（OR）时间提取实际外科持续时间的系统、设备和技术。

背景技术

手术室（OR）成本在最高的医疗和保健相关成本之一中。随着飞涨的保健支出，目的在于减少OR成本和增加OR效率的OR成本管理已成为越来越重要的研究课题。OR成本通常基于每分钟成本结构来测量。例如，一项2005研究表明，OR成本从每分钟22美元变动到133美元，具有每分钟62美元的平均成本。在该每分钟成本结构中，给定外科过程的OR成本与外科过程的持续时间/长度成正比。因此，OR时间管理和调度在整体OR成本管理中起着核心作用。清楚地，OR时间管理和调度高度依赖于特定类型的外科过程的持续时间（也称为“过程时间”）。例如，可以基于该外科过程的平均持续时间来分配用于特定类型的外科过程的OR时间。虽然预测给定外科过程的平均持续时间可以是高度复杂的任务，但收集大量外科过程相关数据并基于数据分析估计给定外科过程的平均持续时间是可能的。

在一些常规的外科过程分析中，外科过程的持续时间简单地被测量为患者到达OR的时刻（即，推入时间）和患者离开OR的时刻（即推出时间）之间的时间段。基于这些分析，第一个外科医生执行的给定类型的第一外科过程可以具有推入时间和推出时间之间的50分钟的总OR时间，而第二个外科医生执行的相同类型的第二外科过程可以具有一小时零五分钟的总OR时间。当比较这两个外科过程时，可以得出结论，第一个外科医生远比第二个外科医生更高效。然而，基于比较总OR时间来评估外科医生的技能/效率或总OR效率可能存在极大的缺陷。这是因为外科过程的总OR时间通常由各种段/事件组成，并且外科医生实际使用外科工具对患者进行手术的时间量只是总OR时间的一部分。在上述示例中，两个外科医生可以具有基本上相同的效率，而总OR时间的时间差可以由例如在执行工具交换时的第二个外科医生的支持团队的低效率引起。在该情况下，外科医生等待正确工具被带入的时间对总OR时间有贡献，但不是实际外科持续时间的部分。

一些先进的OR具有安装用于监视OR效率的多个传感器和照相机。然而，这些传感器和照相机主要用于监视OR内的患者和外科人员移动并基于观察到的移动标识OR效率。不幸的是，不存在对OR视频和传感器数据执行根本原因分析以确定导致长的总OR时间的OR低效率的根本原因的已知数据分析工具。

发明内容

在本专利公开中，公开了用于将外科过程的总手术室（OR）时间分解为一系列可标识事件、对事件进行分类并确定每个可标识事件的持续时间的外科过程分析系统的各种示例。特别地，这些可标识事件可以包括不涉及外科工具和患者的组织之间的交互（即，当外科医生没有对患者执行实际外科任务时）的“非外科事件”的集合。例如，非外科事件的集合可以包括但不限于：实际外科过程之前和之后的“患者准备”；由于各种原因将内窥镜取出患者体外时的“体外事件”；当一个人主动使用的外科工具被另一个外科工具替换时以及相关联的等待时间的“工具交换事件”；以及当外科医生因各种原因暂停并且没有对患者执行实际外科任务时的“外科超时事件”。而且，可标识事件还包括由非外科事件的集合分离并涉及外科工具和患者的组织之间的交互（即，当外科医生对患者执行实际外科任务时）的实际外科段（surgical segment）的集合。因此，实际外科过程持续时间（或“实际过程持续时间”），即外科医生使用外科工具与患者的组织交互的实际时间量，可以通过从总OR时间减去/排除不涉及外科工具和患者的组织之间的交互的那些非外科事件来从总OR时间被提取。

在各种实施例中，所公开的外科过程分析系统通过分析在总OR时间期间收集的以下数据源中的一个或多个数据源来从总OR时间标识各种非外科事件：一个或多个内窥镜视频；来自壁式/天花板照相机的记录的OR视频；OR门口处的压力传感器；外科平台上的压力传感器；外科工具尖端或钳口（jaw）上的压力传感器；和/或记录的OR音频。在各种实施例中，所公开的外科过程分析系统包括机器学习模块，其可以应用于上述数据源中的一个或多个以标识非外科事件和外科事件两者。特别地，所公开的外科过程分析系统可以包括用于基于内窥镜视频标识体外事件的机器学习模块；用于基于内窥镜视频标识工具交换事件的机器学习模块；用于基于内窥镜视频标识外科超时事件的机器学习模块；和用于根据内窥镜视频标识实际外科段的机器学习模块。

在一些实施例中，基于内窥镜视频做出的各种预测可以与其他数据源组合以改进预测的置信度水平。例如，基于内窥镜视频做出的实际外科段预测可以与来自外科工具尖端/钳口上的压力传感器的数据组合以改进预测的置信度水平。作为另一示例，基于内窥镜视频的体外事件预测可以与来自壁式/天花板照相机的视频组合以改进预测的置信度水平。

在各种实施例中，所公开的外科过程分析系统还可以包括用于基于来自壁式/天花板照相机的视频跟踪OR内的人员移动的机器学习模块；用于基于来自壁式/天花板照相机的视频标识某些体外事件的机器学习模块；和用于基于来自壁式/天花板照相机的视频标识某些外科超时事件（例如，协作外科医生到达的等待时间）的机器学习模块。在一些实施例中，所公开的外科过程分析系统还可以包括用于基于OR门口处的压力传感器确定推入和推出时间的机器学习模块；用于基于外科平台上的压力传感器确定某些超时事件（例如，外科工具的重新定位）的机器学习模块；和用于基于OR中记录的音频确定某些超时事件（例如，OR室聊天/讨论引起的延迟）的机器学习模块。

在一个方面中，公开了一种用于从外科过程的总过程持续时间提取涉及实际外科工具-组织交互的实际过程持续时间的过程。该过程可以通过获得外科过程的总过程持续时间开始。例如，获得总过程持续时间可以包括标识外科过程的患者被推入OR时的时间和患者被推出OR时的时间。然后，该过程从外科过程期间收集的OR数据源的集合接收OR数据的集合。接下来，该过程分析OR数据的集合以检测不涉及外科工具-组织交互的外科过程期间的非外科事件的集合。该过程然后提取对应于事件的集合的持续时间的集合。最后，该过程通过从总过程持续时间减去与事件的集合对应的持续时间的组合集合来确定实际过程持续时间。

附图说明

将从对以下详细描述和附图的审阅来理解本公开的结构和操作，其中相同的参考数字指代相同的部分并且其中：

图1示出了图示根据本文描述的一些实施例的具有机器人外科系统的示例性手术室（OR）环境的图。

图2示出了根据本文描述的一些实施例的指示构成全外科过程的持续时间的各种外科和非外科事件的示例性全外科过程的时间线。

图3呈现了图示了根据本文描述的一些实施例的用于执行自动的HIPAA合规的视频编辑的示例性过程的流程图。

图4呈现了图示了根据本文描述的一些实施例的构成外科过程的总OR时间的各种类型的事件与外科过程期间的OR内部可用的数据源的集合之间的相互关系的框图。

图5示出了根据本文描述的一些实施例的示例性外科过程分析系统的框图。

图6概念性地示出了可以利用其实现本主题技术的一些实施例的计算机系统。

具体实施方式

下面阐述的详细描述旨在作为对本主题技术的各种配置的描述并且不旨在表示其中可以实践本主题技术的唯一配置。附图并入本文并构成详细描述的一部分。详细描述包括用于提供对本主题技术的透彻理解的目的的具体细节。然而，本主题技术不限于这里阐述的具体细节并且可以在没有这些具体细节的情况下实践。在某些情况下，结构和部件以框图形式示出以避免混淆本主题技术的概念。

图1示出了图示了根据本文描述的一些实施例的具有机器人外科系统100的示例性手术室（OR）环境110的图。如图1中所示，机器人外科系统100包括外科医生控制台120、控制塔130和位于机器人外科平台116（例如，桌子或床等）处的一个或多个外科机器人臂112，其中带有末端效应器（effector）的外科工具附接到机器人臂112的远端以用于执行外科过程。机器人臂112被示为台式系统，但在其他配置中，机器人臂可以安装在推车（cart）、天花板或侧壁、或其他合适的支撑表面中。机器人外科系统100可以包括用于执行机器人辅助外科手术的任何当前存在或未来开发的机器人辅助外科系统。

通常，用户/操作员140，诸如外科医生或其他操作员，可以使用用户控制台120来远程操纵机器人臂112和/或外科器械（例如，远程操作）。用户控制台120可以位于与机器人外科系统100相同的手术室中，如图1中所示。在其他环境中，用户控制台120可以位于相邻或附近的房间中，或者从不同建筑物、城市或国家中的远程位置远程操作。用户控制台120可以包括座位132、脚操作控制134、一个或多个手持用户接口设备（UID）136和至少一个用户显示器138，其被配置为显示例如患者内的外科部位的视图。如示例性用户控制台120中所示，位于座位132中并查看用户显示器138的外科医生可以操纵脚操作控制134和/或UID136以远程控制机器人臂112和/或安装到臂的远端的外科器械。

在一些变型中，用户还可以在“在床上”（OTB）模式中操作机器人外科系统100，其中用户在患者一侧并且同时操纵机器人驱动工具/附接到其上的末端效应器（例如，用一只手持有的手持用户接口设备（UID）136）和手动腹腔镜工具。例如，用户的左手可能正在操纵手持UID 136以控制机器人外科部件，而用户的右手可能正在操纵手动腹腔镜工具。因此，在这些变型中，用户可以对患者执行机器人辅助（最小侵入外科手术）MIS和手动腹腔镜外科手术两者。

在示例性过程或外科手术期间，患者以无菌方式准备和遮盖以接收麻醉。可以利用处于收起（stowed）或收回配置的机器人外科系统100手动地执行对外科部位的初始访问，以促进对外科部位的访问。一旦访问完成，就可以执行机器人系统的初始定位和/或准备。在过程期间，用户控制台120中的外科医生可以利用脚操作控制134和/或UID 136来操纵各种外科工具/末端效应器和/或成像系统来执行外科手术。还可以由身着无菌服的人员在手术台处提供人工辅助，所述人员可以执行包括但不限于缩回（retracting）组织或执行涉及一个或多个机器人臂112的手动重新定位或工具交换的任务。非无菌人员也可以存在以辅助是用户控制台120处的外科医生。当过程或外科手术完成时，机器人外科系统100和/或用户控制台120可以被配置或设置在促进一个或多个手术后过程的状态，一个或多个手术后过程包括但不仅限于机器人外科系统100清洁和/或消毒，和/或保健记录输入或打印输出，无论是电子的还是硬拷贝的，诸如经由用户控制台120。

在一些方面中，机器人外科平台116和用户控制台120之间的通信可以通过控制塔130，其可以将来自用户控制台120的用户命令翻译为机器人控制命令并将机器人控制命令传输到机器人外科平台116。控制塔130还可以将来自机器人外科平台116的状态和反馈传输回用户控制台120。机器人外科平台116、用户控制台120和控制塔130之间的连接可以经由有线和/或无线连接，并且可以是专有的和/或使用多种数据通信协议中的任何数据通信协议来执行。任何有线连接都可以可选地内置于手术室的地板和/或墙壁或天花板中。机器人外科系统100可以向一个或多个显示器提供视频输出，一个或多个显示器包括手术室内的显示器以及可经由因特网或其他网络访问的远程显示器。还可以对视频输出或馈送进行加密以确保隐私，并且可以将全部或部分视频输出保存到服务器或电子保健记录系统。

除了机器人外科系统100之外，OR环境110还包括壁式照相机142和多个天花板照相机144。在OR过程期间，这些照相机可以捕捉人员移动、外科医生移动、外科平台116上的活动以及OR的门口146处的移动。因此，在OR过程期间由壁式照相机142和天花板照相机144捕捉的视频可以提供与除其他之外的外科人员表现、外科过程之前和之后的患者准备、外科工具交换、内窥镜透镜交换和清洁、外科医生超时和等待协作外科医生相关的直接视觉信息。OR环境110还可以包括诸如麦克风150之类的语音记录设备。在OR过程期间，麦克风150可以记录OR环境110内的音频馈送，包括外科医生和OR环境110内部或外部的其他人之间的讨论。

各种传感器可安装在OR环境110内以提供与在OR环境110内发生的外科过程相关的附加信息。例如，OR环境110可包括安装在门口146处的压力传感器148，其可用于估计患者被推入和推出OR环境110时的时间。OR环境110还包括安装在外科平台116上的压力传感器152，其可以检测患者被转移到外科平台116上并且从外科平台116移走时的事件，以及出于各种目的在外科过程期间患者在外科平台116上被重新定位时的事件，各种目的诸如是在患者的身体中创建新的端口以虑及更好的工具访问。虽然在图1中不可见，附接到机器人臂112的外科工具/末端效应器可包括工具尖端或工具的钳口上的压力传感器，其可检测工具实际与组织交互时的事件，以及工具在患者体内但出于各种原因闲置时的事件。

除了上述OR环境110内的各种数据源之外，由内窥镜照相机捕捉的全外科过程视频仍然是用于分析外科过程的最重要的数据源之一，分析外科过程诸如是估计外科过程的实际持续时间（或下文的“实际过程持续时间”）。实际过程持续时间可以被认为是外科医生通过操纵外科工具实际对患者进行手术时的时间量。因此，实际过程持续时间包括涉及工具-组织交互、即外科工具实际与组织交互时的时间。然而，给定外科过程的总记录OR时间（或“总OR时间”）通常是从患者被推入OR中的时刻到患者被推出OR的时刻测量的。在下文中，我们还将与该总记录OR时间相对应的整个OR过程称为“总外科过程”或“全外科过程”。

注意，总OR时间可以包括在其期间不发生工具-组织交互的各种时间段。例如，这些时间段可以与外科医生等待工具被带入、超时以与他的外科团队讨论、从患者的身体取出内窥镜以进行清洁以及诸如此类相关联。这样，实际过程持续时间通常不是连续的，而是通过非工具-组织-交互事件（或为简单起见的“非外科事件”）的集合分段，在其期间，外科医生不在组织上应用外科工具并且因此没有发生工具-组织交互。通过定义，总OR时间是所有这些非外科事件的组合时间和上述实际过程持续时间的和。因此，如果可以在总OR时间内标识这些非外科事件并提取其持续时间，则可以通过从总OR时间排除这些非外科事件的组合时间来确定实际过程持续时间。

本文描述的一些实施例目的在于通过组合OR内的各种可用数据源来检测这些非外科事件，数据源包括来自内窥镜照相机的过程视频、来自壁式照相机和/或天花板照相机的OR视频以及来自OR的各种传感器数据，除其他之外包括：来自OR的门上的压力传感器的数据、来自外科平台上的压力传感器的数据以及来自外科工具的尖端上的压力传感器的数据。在各种实施例中，可以使用各种基于机器学习的技术、诸如图像处理之类的常规计算机视觉技术或机器学习和计算机视觉技术的组合来分析/挖掘上述数据源以标识这些非外科事件并提取相关联的事件持续时间。我们现在在下面更详细地描述不同类型的非外科事件。

外科过程之前的患者准备

这是在患者已经被推入OR中之后，外科人员针对外科手术准备患者时的时间段。该时间段出其他事物之外可包括将患者从轮式床转移到外科平台上、将患者定位在外科平台上以便于外科工具访问、为外科工具访问布置患者的衣服、准备患者的皮肤用于切口以及在患者的身体之上定位外科工具。注意，在该准备时间期间，没有内窥镜视频可用，因为内窥镜照相机尚未被引入患者的身体内。我们在下文中也将该时间段称为“外科手术前准备时间”或“第一患者准备时间”。

工具交换时间/事件

工具交换事件是一个人主动使用的外科工具被另一外科工具替换时的时间段。更具体地说，在工具交换时间/事件期间，主动使用的外科工具被从患者的身体取出并且下一外科工具被带入患者的身体内。注意，除了移除一个工具并带入另一个工具所需的时间之外，工具交换时间还可以包括外科医生等待新工具的时间。该等待时间可以受到OR中外科支持团队的准备度（readiness）的影响。应该理解，理解外科医生的技术和工具需求的外科支持团队可以使在工具交换的正确时间处可用的正确工具供应顺利地发生。相比之下，如果外科支持团队因缺少一些人员而改变，则外科医生等待正确工具出现并不罕见，正确工具可以在外科过程期间在OR外部从库存检索到。对工具交换期间的等待时间可以有贡献的其他因素包括：对新工具进行杀菌的时间（如果工具未进行杀菌）；打开新工具的时间；以及加热新工具的时间（冷工具不能插入患者的身体内，因为患者可能休克）。

在一些实施例中，可以基于内窥镜视频检测工具交换时间，因为在工具交换事件期间，内窥镜通常保持在患者的身体内并继续记录。例如，当检测到主动使用的工具从视频图像消失时，可以标识工具交换事件的开始；并且当检测到新工具出现在视频图像中时，可以标识工具交换事件的结束。因为检测工具交换事件涉及检测和识别多个外科工具，所以可以将基于机器学习的分析应用于内窥镜视频，例如，通过基于视频图像的第一序列标识工具交换事件的开始并基于视频图像的第二序列标识工具交换事件的结束。

在其他实施例中，可以基于来自壁式和天花板照相机的OR视频或基于来自工具交换事件中涉及的两个外科工具的尖端或钳口的压力传感器数据来检测工具交换时间。然而，可以基于内窥镜视频检测工具交换时间并且主要推断持续时间；基于内窥镜视频做出的预测可以与来自壁式和天花板照相机的OR视频和/或来自外科工具的尖端或钳口的压力传感器数据组合，以改进预测的置信度水平。

体外（OOB）时间/事件

OOB时间/事件通常被定义为在外科过程期间由于各种原因之一内窥镜被从患者的身体中取出而内窥镜照相机继续记录时，或者内窥镜照相机正在记录时的外科过程正好之前和/或正好之后的时间段，使得内窥镜视频可用于分析。如果内窥镜照相机在被插入患者的身体内之前打开，则初始OOB时间/事件可以存在于外科过程的开始处；并且如果内窥镜照相机在内窥镜照相机已经从患者的身体取出时在外科过程的完成后保持打开一个时间段，则最终OOB时间/事件可以存在于外科过程的结束处。

在实际外科过程期间，OOB事件可以由于多种原因而发生。例如，如果必须清洁内窥镜透镜，则OOB事件将发生。注意，许多外科事件可以使得内窥镜视图部分或完全被阻挡。这些外科事件可包括但不限于：（a）内窥镜透镜被血液覆盖并且部分或完全失去可见性（例如，由于出血并发症）；（b）由于冷凝导致内窥镜透镜起雾，例如由于透镜和患者的身体之间的温差；以及（c）内窥镜透镜被烧灼生成的组织颗粒覆盖，这些颗粒粘在透镜上并最终阻挡内窥镜视图。在上述每种情况下，都需要从身体取出内窥镜照相机，使得可以清洁内窥镜透镜以恢复可见性或加热以用于冷凝移除。在清洁和/或其他必要的治疗之后，内窥镜照相机通常需要重新校准，包括在可以将其放回患者的身体内之前执行白平衡，这花费附加的时间来完成。注意，该透镜清洁类型的OOB事件可以花费几分钟来完成。

作为不同类型的OOB事件的另一示例，有时在外科过程期间，内窥镜透镜需要从一个范围大小（scope size）改变到另一范围大小以用于不同解剖/视场（FOV）。例如，外科过程可能首先使用较小的范围大小（即5 mm）/较大的FOV内窥镜透镜来定位难以找到的解剖，并且然后改变为较大的范围大小（即10 mm）/较小的FOV内窥镜透镜以对具体的解剖执行实际操作。在此类情况下，需要从患者的身体取出内窥镜照相机，使得可以改变范围。在改变范围之后，内窥镜照相机通常需要重新校准，包括在可以将其插回到患者的身体内之前执行白平衡，这花费附加的时间来完成。

作为另一种类型的OOB事件的又一示例，当今的一些机器人外科过程不是100%机器人的，而是用机器人系统执行给定过程的大部分（例如，90%）并且给定过程的小部分（例如,10%）仍然使用腹腔镜系统执行。在这样的混合外科过程中，当机器人系统脱离（disengaged）（包括移除内窥镜照相机）并且腹腔镜工具被接合（包括带入腹腔镜照相机）时，在整个过程期间存在过渡或停机时间。取决于外科支持团队的效率和技能，过渡需要一定的时间量来移走机器人（包括脱离机器人臂）、接合腹腔镜工具，并等待腹腔镜外科医生到达OR。注意，该过渡时间的开始可以被标识为内窥镜视频停止的时刻，而过渡时间的结束可以被标识为腹腔镜照相机图像开始显示的时刻。此外，该OOB事件可以容易地可标识并且因此在没有系统改变的情况下可与其他OOB事件区分开来，因为腹腔镜图像的视图通常与内窥镜图像的视图完全不同。例如，内窥镜视图通常非常放大，使得解剖通常占据整个屏幕，而腹腔镜视图在屏幕上通常是黑色边界围绕的圆形。

外科超时事件

外科超时事件，或简称为“外科超时”，可以包括外科医生由于各种原因暂停并且没有对患者执行实际外科任务时在外科过程期间发生的各种时间/事件。虽然由于不同原因可以存在不同类型的外科超时事件，但可以基于内窥镜图像变为“静态”，即显示缺乏有意义的移动的事实来标识每个外科超时事件。特别是，如果视场内有一个或多个外科工具，则这些工具将基本上停止移动。注意，对于在其期间相关联的内窥镜视频图像不包含任何外科工具的某些时间段，这些时间段也可以被视为外科超时。然而，如果这样的时间段是上述工具交换事件的部分（例如，当外科医生正在等待新工具到达时），则该时间段可以被标识为工具交换事件的部分而不是单独的外科超时事件。

如上所述，外科超时可由不同原因引起。典型的外科超时可由但不限于以下原因引起。例如，一些外科超时由必要的OR讨论引起。更具体地，当外科医生停止与组织交互并开始与另一外科医生、外科支持团队或其他住院医生（resident）进行讨论时，外科超时可在实际外科过程期间发生。这些讨论可以包括就如何在诸如并发症之类的当前情况下进行过程做出集体决定的讨论。这些讨论还可以包括外科医生正在教导正在观察过程的住院医生时的时间。

当外科医生基于屏幕上的事件或并发症做出决定（他们自己或与外科支持团队协商）时，外科超时也可发生。例如，在给定过程期间可存在外科医生必须诸如理解解剖和/或讨论如何应对并发症之类的评估屏幕上的事件时的时间段。在这些时间期间，外科医生只是做出决定，不实际对患者进行手术。

在一些罕见的时机下，当外科医生迷失在诸如复杂解剖的屏幕上的事件中并且不知道如何进行时，外科超时可以发生。例如，当初级外科医生遇到他们以前从未经历过的情况时，此类事件可以发生。由于在过程中采取了错误的步骤或由于异常的解剖，此类情况可以出现。为了解决此类情况，外科医生可能必须与资深外科医生通话、诉诸利用专家外科医生的远程操作、或甚至在因特网上查找类似过程的视频。在这些情况中的任何情况下，外科医生将必须暂停以解决情况，而不对患者进行实际手术。

另一种类型的外科超时由等待协作外科医生进入OR引起。在诸如食管切除术之类的复杂的外科过程中，可以存在跨过程的不同阶段协作的多个外科医生。在此类情况下，需要在适当的时间处呼叫（page）适当的外科医生。然而，即使在过程的当前阶段完成时的时间处通知下一适当的外科医生，下一外科医生仍可能花费一些时间来到达OR，这可潜在地引起延迟。

外科过程后的患者助理

这是实际外科过程的最后步骤已经完成之后的总OR时间中的最后时间段。在此时间段期间，外科支持团队执行必要的步骤来完成整个外科过程，除其他事物之外，诸如关闭患者中的切口、清理患者的身体（例如移除IV线）、将患者从外科平台转移到轮式床，并且最后将患者推出OR。注意，在此患者助理时间期间，没有内窥镜视频可用，因为内窥镜照相机已关闭。我们在下文中还将该时间段称为“外科手术后准备时间”或“第二患者准备时间”。

在各种实施例中，可以使用各种基于机器学习的技术、诸如图像处理之类的常规计算机视觉技术、或机器学习和计算机视觉技术的组合来分析/挖掘上述数据源以标识这些非外科事件并提取相关联的事件持续时间。我们现在在下面更详细地描述不同类型的非外科事件。

本公开中描述的一些实施例目的在于组合OR内的各种可用数据源并单独或组合地分析这些数据源以促进检测整个外科过程内的上述非外科事件并确定这些事件的相关联的持续时间。在各种实施例中，可以使用各种基于机器学习的技术、诸如图像处理之类的常规计算机视觉技术或机器学习和计算机视觉技术的组合来分析/挖掘可用数据源以标识这些非外科事件并提取相关联的事件持续时间。通过组合来自OR中的多个数据源的数据并应用计算机视觉和机器学习技术来分析这些数据，所公开的技术可以通过将检测到的事件与实际外科过程持续时间分离来重建实际过程持续时间。替代地，总OR时间内的实际过程持续时间可以通过分析相同的数据源并且在这样做时检测所有工具-组织交互事件并提取检测到的工具-组织交互事件的相关联的持续时间来直接确定。

图2示出了根据本文描述的一些实施例的指示构成全外科过程的持续时间的各种外科和非外科事件的示例性全外科过程200的时间线。

如图2中可以看到的，全外科过程200在如时间戳t _wi指示的患者被推入OR中的时刻处开始，并且在如时间戳t _wo指示的患者被推出OR的时刻处结束。如上所述，t _wi和t _wo可以基于来自安装在OR入口内或附近的传感器的数据确定。例如，t _wi和t _wo可以利用安装在OR入口附近的地板上的一个或多个压力传感器通过检测轮式床和床上的患者的组合重量来确定。替代地，t _wi和t _wo可以通过分析来自捕捉OR入口处的t _wi和t _wo时刻的壁式照相机和/或天花板照相机的视频来确定。在一些实施例中，可以通过组合门口处的压力传感器数据和来自壁式和/或天花板照相机的视频来确定t _wi和t _wo，以增加估计的t _wi和t _wo的置信度水平。

仍旧看图2，注意，紧接在t _wi之后的是第一（即外科手术前）准备时间T _prep1。这是外科人员针对外科手术准备患者时的时间段，除其他之外，诸如将患者从轮式床转移到外科平台上，将患者定位在外科平台上以方便外科工具访问，布置患者的衣服以供外科工具访问，准备患者的皮肤以用于切口，并将外科工具定位在患者的身体之上。注意，在准备时间T _prep1期间，没有内窥镜馈送可用，因为内窥镜照相机尚未引入患者的身体内。在一些实施例中，准备时间T _prep1的结束可以被标记为制作第一个切口（例如，用于照相机端口）时的时刻，因为这代表在患者的身体上应用外科工具的开始。在这些实施例中，准备时间T _prep1的结束和内窥镜视频的开始可以具有非常短的中间间隙。在图2中所示的实施例中，然而，准备时间T _prep1在内窥镜视频开始时的时刻处结束，该时刻被指定为t _endo0。时间点t _endo0也可以通过分析来自捕捉制作患者的身体上的第一个切口时的时刻的壁式和/或天花板照相机的视频来确定。因此，可以基于t _wi和t _endo0的提取的值容易地确定第一准备时间T _prep1。在一些实施例中，第一准备时间T _prep1可以通过组合内窥镜视频以及壁式和/或天花板照相机视频来确定。

在一些实施例中，如果估计的第一准备时间T _prep1显著长于正常的外科手术前准备时间，则壁式照相机和/或天花板照相机视频可用于标识低效率的（一个或多个）原因，例如，基于实际准备如何进展以及哪个人或哪些人对患者准备期间的（一个或多个）延迟负责。

注意，来自内窥镜照相机的内窥镜视频记录可以在内窥镜照相机已经插入患者的身体中之前或之后开始。因此，代表内窥镜视频的开始的t _endo0可以在内窥镜照相机插入之前或之后发生。例如，如果插入前打开内窥镜照相机，则t _endo0将在插入前发生。示例性外科过程200示出了内窥镜照相机保持在患者的身体外时在插入之前t _endo0发生时的情况。结果，紧接在t _endo0之后和恰在插入之前的时间段代表OOB事件，指定为T _OOB1。可以理解，可以通过分析内窥镜视频的开始部分来简单地确定T _OOB1。如下文更详细描述的，全外科过程200可以包括多个OOB事件。注意，在这些OOB事件期间，患者的身体内不发生工具-组织交互。因此，这些多个OOB事件的总持续时间可以对大量的非外科时间以及因此对OR低效率有贡献。

如图2中所示，第一OOB事件T _OOB1在时间t _endo1处结束，时间t _endo1表示内窥镜照相机插入患者的身体内的照相机端口中并且患者的身体内的解剖图像开始显示时的时刻。T _OOB1的结束也可以表示外科工具被插入并开始与组织交互时实际外科过程的开始。注意，如果在插入期间或之后打开内窥镜照相机，则示例性外科过程200的一些变型没有T _OOB1。在这些情况下，t _endo0和t _endo1基本上是表示内窥镜视频的开始的相同时间。

仍参考图2，注意在t _endo1之后，即内窥镜视频的开始，外科过程200包括被指定为P ₁、P ₂和P ₃的一系列阶段。这些阶段由指定为T _OOB2、T _OOB3和T _OOB4的一系列OOB事件分离。更具体地，阶段P ₁、P ₂和P ₃中的每个被定义为内窥镜照相机保持在患者的身体内时内窥镜视频可用时的时间段，而OOB事件T _OOB2、T _OOB3和T _OOB4中的每个被定义为在实际外科过程期间和紧接在其之后由于各种原因将内窥镜从患者的身体取出时的时间段。例如，OOB事件之一T _OOB2可以对应于将内窥镜从身体取出使得内窥镜透镜可以被清洁、重新校准（例如，利用白平衡）并且然后重新插入患者的身体中时的事件。清楚的是，在这些OOB事件期间，执行外科过程200的外科医生必须等待内窥镜并且暂停实际的外科过程。因此，要确定实际过程持续时间，应确定并从t _wi和t _wo之间的总外科过程持续时间排除所有这些OOB事件的组合持续时间。

注意，虽然示例性外科过程200包括四个OOB事件，但其他外科可以包括更少或更大数量的OOB事件和相应的时间段。此外，最后的OOB时间段T _OOB4向着外科过程200的结束发生，其被标识为对应于在内窥镜照相机从患者的身体取出时来自患者的身体内部的内窥镜视频图像结束的时刻的时间戳t _endo4与对应于标记内窥镜视频的结束的内窥镜照相机关闭的时刻的时间戳t _endo5之间的时间段。与第一OOB时间段T _OOB1类似，T _OOB4也可以通过分析内窥镜视频来标识与t _endo4对应的（一个或多个）视频图像来简单地确定。注意，如果在完成外科过程后从患者的身体移除窥镜照相机之前或期间关闭内窥镜照相机，则另一外科过程可能没有相应的时间段，如T _OOB4。在此类情况下，诸如P ₃之类的最后过程阶段的结束对应于内窥镜视频的结束。

注意，在阶段P ₁、P ₂和P ₃中的每个期间，可以发生不属于实际过程持续时间但有助于整个外科过程200的许多其他非外科事件。如上所述，这些事件可以包括各种外科超时，其可以包括但不限于以下类型的事件：（1）外科医生正在与外科支持团队或其他住院医生讨论如何进行；（2）外科医生正在教授住院医生；（3）外科医生正在等待协作外科医生到达；以及（4）外科医生正在基于屏幕上的事件或并发症做出决定。这些附加的非外科事件还可以包括工具交换事件。在罕见情况下，这些非外科事件还可以包括外科医生迷失在屏幕上的解剖并且不知道如何进行时的情况。

作为具体示例，示例性外科过程200内的阶段P ₁可以包括外科医生正在与外科支持团队或OR中的住院医生讨论如何进行时的外科超时事件TO ₁。此事件TO ₁对应于被指定为T _TO1的时间段。如上所述，虽然外科超时可以采用多种类型或形式，但它们在外科工具停止移动时通常在内窥镜视频中是可标识的。因为当内窥镜视频可用时，事件TO ₁发生在阶段P ₁内，所以可以基于缺乏外科工具移动来检测事件TO ₁。例如，当确定内窥镜视频中的工具移动已经基本上停止超过预定时间段时，可以将确定移动已经停止时的初始时间记录为TO ₁的开始。当对于给定工具再次检测到工具移动时，可以将确定移动已经恢复时的时刻记录为事件TO ₁的结束，并且然后可以提取T _TO1的相应持续时间。

注意，仅基于内窥镜视频图像可能难以确定外科超时TO ₁的确切原因。例如，内窥镜视频中缺少工具移动也可与其他类型的超时事件相关联，其他类型的超时事件诸如是等待协作外科医生到达。在一些实施例中，检测到的超时事件TO ₁的确切性质可以基于在与超时事件TO ₁相同的时间段期间的记录的OR音频信号来进一步预测或验证。此外，这些视觉和音频数据源还可以与壁式和/或天花板照相机视频协作使用，以确定超时TO ₁的确切性质。

作为外科超时事件的另一个示例，外科过程200中的阶段P ₃被示为包括外科医生正在教导正在观察外科过程200的住院医生时的第二外科超时事件TO ₂。因为事件TO ₂发生在内窥镜视频可用时的阶段P ₃内，所以也可以基于内窥镜视频图像中缺少外科工具移动来检测事件TO ₂，并可以提取确定工具已经停止移动时的时刻与确定工具再次开始移动时的时刻之间的相应持续时间T _TO2。在实践中，虽然仅基于视频图像可能难以确定外科超时TO ₂的确切类型，但可以基于与超时事件TO ₂相同的时间段期间记录的OR音频信号来预测或验证检测到的事件TO ₂的性质。

作为在给定外科阶段期间发生的非外科事件的又一示例，外科过程200中的阶段P ₂被示为包括一个外科工具从患者的身体取出并且另一个工具被带入患者的身体内时的工具交换事件EX1。该事件对应于指定为T _EX1的时间段。注意，除了移除一个工具并带入另一个工具所需的时间之外，T _EX1还可以包括外科医生必须等待新工具被带到OR并准备好使用的时间。由于事件EX1发生在内窥镜视频可用时的阶段P ₂内，因此可以通过分析内窥镜视频来检测该事件，并且可以提取相应的持续时间T _EX1。然而，事件EX1的检测和T _EX1的估计也可以基于内窥镜视频和来自天花板和壁式照相机的视频的协作分析。

注意，给定外科阶段内的上述各种非外科事件进一步将该阶段分解为外科段的集合，其中段的集合的和对应于给定阶段内的实际外科过程持续时间，并且来自所有阶段的所有外科段的和对应于示例性外科过程200的实际外科过程持续时间。然而，代替针对每个外科段的预测并计算和，一些实施例检测和估计两个患者准备时间、各种OOB时间、每个外科阶段内的各种非外科时间，并且然后获得总的非外科时间作为上述的和。然后通过从总体外科过程200的持续时间排除总体非外科时间来获得实际外科过程持续时间。

仍然参考图2，注意紧接在最后OOB事件T _OOB4之后的是外科手术后患者助理（即第二患者准备时间）T _prep2，其在内窥镜视频停止时的处t _endo5处开始并且在患者被推出OR时的t _wo处结束。这是外科过程的最后步骤完成（尽管外科医生可能已经或可能没有离开OR）之后的全外科过程200中的最后时间段。在该时间段期间，外科支持团队执行必要的步骤来完成整个外科过程，诸如关闭患者中的切口、清理患者的身体（例如移除IV线）、将患者从外科平台转移到轮式床以及最后把患者推出OR。在T _prep2事件期间，内窥镜视频已经结束。然而，如同第一准备时间 T _prep1，T _prep2也可以通过分析来自壁式和/或天花板照相机的视频来确定。在一些实施例中，可以通过将来自外科平台的压力传感器数据与来自壁式/天花板照相机视频的信息组合来确定第二准备时间T _prep2。

最终，当患者被推出OR时，门口传感器可以记录全外科过程200的最后时刻t _wo。因此，全外科过程200的总持续时间P _TOT或总OR时间可以表示为：

。

最后，可以通过从总持续时间P _TOT排除所有上述非外科时间来计算全外科过程200的实际过程持续时间P _ACT：

。

注意，在外科过程期间标识OOB事件的应用之一是标识的OOB事件可用于促进HIPAA合规的外科视频编辑。在OOB事件期间，内窥镜照相机可以指向各种主体以触发隐私违反，诸如OR中带有患者信息的白板、患者或外科支持人员。传统上，为了从记录的外科视频编辑出（edit out）此类OOB段，聘请HIPAA合规专家观看视频、标识那些OOB段并模糊视频段。自动标识OOB事件的所公开的技术可以使HIPAA合规视频编辑成为完全自动化的过程。

图3呈现了图示了根据本文描述的一些实施例的用于执行自动的HIPAA合规视频编辑的示例性过程300的流程图。在一个或多个实施例中，图3中的步骤中的一个或多个可以省略、重复和/或以不同的顺序执行。相应地，图3中所示的步骤的具体安排不应被解释为限制技术的范围。

过程300通过在外科过程期间接收由内窥镜照相机捕捉的内窥镜视频开始（步骤302）。在一些实施例中，外科过程是非机器人最小侵入外科手术（MIS）过程。在一些其他实施例中，外科过程是机器人外科过程。接下来，过程300对内窥镜视频执行基于机器学习的分析以标识一个或多个OOB事件（步骤304）。如上所述，OOB事件被定义为内窥镜从患者的身体取出而内窥镜照相机继续记录时的时间段。因此，标识OOB事件将需要标识两个过渡事件：（1）内窥镜照相机从患者的身体取出时；以及（2）内窥镜照相机被放回患者的身体内时。注意，这些过渡事件中的每个都可以基于视频图像的序列中的给定模式检测到。例如，可以基于描述内窥镜照相机何时从患者的身体拉到患者的身体外的视频图像的序列来标识OOB事件的开始。在图像的序列内，可标识模式可以包括最初显示身体内部的解剖的多个帧，随后是多个帧的暗图像，其进一步由示出OR中的各种对象和/或人员的视频帧跟随。类似地，可以基于如下内容标识OOB事件的结束：由最初示出OR中的各种对象和/或人员的多个帧组成的图像的序列，然后是多个帧的暗图像，然后是显示身体内部的解剖的多个帧。在一些实施例中，可以训练机器学习模型以基于视频帧的第一序列检测指示OOB事件的开始的第一模式；以及基于视频帧的第二序列检测指示OOB事件的结束的第二模式。对于每个标识的OOB事件，过程300接下来执行模糊操作以匿名化对应于标识的OOB事件的视频段（步骤306）。过程300随后提供具有模糊的OOB事件的经编辑的内窥镜视频以用于进一步的过程后分析（步骤308）。

注意，在外科过程期间产生的内窥镜视频通常是用于过程后分析的最佳数据源，过程后分析包括执行基于机器学习的分析。使用机器学习和/或计算机视觉分析工具，内窥镜视频可用于检测和识别外科工具并确定外科工具何时实际与组织交互以及该工具是否实际在移动。基于此类分析，内窥镜视频可用于确定在外科过程期间已经发生的各种OOB事件。

内窥镜视频还可用于标识工具交换事件，即，基于执行基于计算机视觉和/或机器学习的工具检测和标识分析。内窥镜视频可附加地用于标识外科超时，例如，通过标识指示各种超时事件的视频内的静态场景，诸如除其他之外的OR房间聊天/讨论、等待协作外科医生。在相关专利申请于2018年9月12日提交的并且给予序列号16/129,593的美国专利申请中描述了基于外科视频分析的外科工具检测的更多细节，其内容通过引用并入本文中。如上所述，内窥镜视频还可用于标识混合外科过程的机器人阶段和腹腔镜阶段之间的切换时间。

此外，内窥镜视频可用于执行外科阶段分段，即将外科过程分段成预定义阶段的集合，其中每个阶段代表服务于整个外科过程中的独特且可区分的目的的外科过程的特定阶段。在相关专利申请于2018年5月23日提交的并且给予序列号15/987,782的美国专利申请中描述了基于外科视频分析的外科阶段分段的更多细节，其内容通过引用并入本文中。注意，由OOB事件的集合分离的与外科过程200相关联的阶段P ₁、P ₂和P ₃的集合与由外科阶段分段过程生成的预定义阶段的集合不同。事实上，没有必要执行外科阶段分段以便标识各种非外科事件。然而，将给定的外科过程分段成预定义阶段的集合虑及将每个标识的非外科事件与给定的预定义阶段相关联。因为这些非外科事件通常意味着外科过程的延迟，所以了解哪些预定义阶段包括哪些已标识的非外科相关事件可以显着改进对给定外科过程的理解。例如，标识哪个预定义外科阶段包含最高数量的标识的延迟可以指示外科医生的技能的不足。

在一些实施例中，来自壁式和天花板照相机的视频捕捉发生在OR内部的事件，诸如人员（外科医生和支持人员两者）移动。捕捉的人员移动可以用作直接指标和/或使用图像处理工具进行分析，以标识工具交换事件、OOB事件、某些类型的超时事件以及机器人和腹腔镜阶段之间的切换。

在一些实施例中，来自外科工具的尖端或钳口的压力传感器数据可以与内窥镜视频协作使用以加强对一些超时事件的检测。例如，基于内窥镜视频检测超时/静态事件后，可以基于压力传感器数据验证静态事件的开始时间和结束时间。本领域技术人员将理解，来自工具尖端传感器的压力数据可以指示工具尖端何时实际接触组织以及工具尖端何时不接触组织。然后可以使用与压力数据相关联的时间戳来验证提取的基于内窥镜视频的静态事件的时间戳。

在一些实施例中，来自外科工具尖端的压力传感器数据也可以与内窥镜视频协作使用以检测和确定一些超时事件的时间段。例如，内窥镜视频可用作第一数据源以在 FOV中的（一个或多个）工具不移动时（例如，结合观察组织的脉动）检测视频的段。接下来，在检测到的超时事件的时间帧附近的来自工具尖端的压力传感器数据可用于查明（pinpoint）超时事件的开始（例如，压力降低到零时）和结束（例如，压力从零增加到显著值时）。注意，仅使用两个数据源之一，即从内窥镜视频检测到工具没有移动，或从压力传感器检测到工具尖端处没有压力，可能不足以确定工具是否完全静止。通过组合这两个数据源，基于协作信息的输出可以导致检测准确性的更高置信度水平。

在一些实施例中，患者的床上的压力传感器可用于检测工具的重新定位。例如，当外科工具和身体中的孔/端口的初始定位被确定不适合访问某解剖构时，可能需要创建身体中的附加的孔/端口。发生该情况时，照相机通常可以保持就位，但可能需要重新定位一个或多个外科工具。该重新定位可以被归类为一种外科超时，因为当外科医生试图找出合适的工具放置时，没有发生工具-组织交互。注意，如果重新定位需要在外科平台上重新定位患者，则平台上的压力传感器可以检测作为结果的压力改变。然而，如果重新定位几乎不需要改变患者的位置，则将压力传感器数据与来自壁式和天花板照相机的视频组合以实际查看重新定位过程更可靠。

图4呈现了图示了根据本文描述的一些实施例的构成外科过程的总OR时间的各种类型的事件402-410与外科过程期间的OR内部可用的数据源412-422的集合之间的相互关系的框图。如图4中可以看到的，总OR时间400包括患者准备时间402、实际过程持续时间404、OOB事件406、工具交换事件408和外科超时事件410。数据源的集合包括内窥镜视频412、来自壁式和天花板照相机的视频414、来自外科平台的压力传感器数据416、来自外科工具的压力传感器数据418、来自OR门口的压力传感器数据420和OR音频数据422。注意，链接给定类型的事件和给定数据源的每个箭头表示可以单独或结合其他数据源使用给定数据源，以从全外科过程检测/标识给定类型的事件。

如上所述，总OR时间400可以基于来自OR门口的压力传感器数据420、基于由壁式/天花板照相机捕捉的视频414、或基于压力传感器数据420和视频414的组合来确定。例如，如果基于压力传感器数据420确定的总OR时间400不合理地短，则来自壁式/天花板照相机的视频414可用于验证或修正仅基于压力传感器数据420确定的总OR时间400。注意，确定总OR时间400是相对简单的过程并且通常不需要使用计算机视觉或机器学习技术。

如上面进一步描述的，患者准备时间402可以包括外科手术前准备时间T _prep1和外科手术后准备时间T _prep2，并且两者都可以基于来自壁式和/或天花板照相机的视频414直接确定。在一些实施例中，这两个患者准备时间402也可以基于来自外科平台的压力传感器数据416来确定。例如，为了确定第一准备时间T _prep1，可以分析来自外科平台的压力传感器数据416以确定传感器数据何时已经从零（没有患者）增加到显著较高的值（当患者转移到外科平台上时），以及已经稳定（例如，将患者定位在外科平台上之后）。接下来，可以将T _prep1确定为推入时间t _wi和外科平台上的压力数据稳定时的时刻之间的时间段。类似地，为了确定第二准备时间T _prep2，可以分析来自外科平台的压力传感器数据416以确定数据何时已经从较高值（当患者仍然躺在外科平台上时）降低到显着较低的值或零（当患者从外科平台上被移除时）。接下来，可以将T _prep2确定为推出时间t _wo和外科平台上的压力数据变为零时的时间之间的时间。在一些实施例中，T _prep1和T _prep2可以基于来自外科平台的压力传感器数据416和由壁式/天花板照相机捕捉的视频414的组合来确定。

还如上所述，OOB事件406可包括实际外科过程期间的OOB事件（或此后的“过程中OOB事件”）、实际外科过程开始时的初始OOB事件和实际外科过程结束时的最终OOB事件。此外，可以基于分析内窥镜视频412在总OR时间400内标识每个过程中OOB事件。在一些实施例中，为了从总OR时间400标识给定的过程中OOB事件，机器学习模型可以应用于内窥镜视频412以基于视频图像的第一序列标识OOB事件的开始，并且基于视频图像的第二序列标识OOB事件的结束。注意，在应用机器学习模型从总OR时间400标识OOB事件之前，可以训练模型将视频图像的序列分类为以下之一：（1）过程中OOB事件的开始；（2）过程中OOB事件的结束；以及（3）以上都不是。

前面还描述过，如果在内窥镜初始插入患者的身体中之前打开内窥镜照相机，则存在初始OOB事件并且需要检测初始OOB事件。注意，为了从总OR时间400标识初始OOB事件，只需检测初始OOB事件的结束。在一些实施例中，可以将用于检测过程中OOB事件的相同机器学习模型应用于内窥镜视频的开始部分，以基于视频图像的序列确定内窥镜何时初始插入患者的身体中。接下来，初始OOB事件可以被计算为内窥镜视频412的开始和确定的初始插入时间之间的时间。

类似地，如果在内窥镜从患者的身体最终移除之后内窥镜照相机保持打开一些时间，则最终OOB事件存在并且需要被检测。注意，为了从总OR时间400标识最终OOB事件，只需检测最终OOB事件的开始。在一些实施例中，可以将用于检测过程中OOB事件的相同机器学习模型应用于内窥镜视频412的最后部分，以基于视频图像的序列确定内窥镜最终何时从患者的身体移除。接下来，最终OOB事件可以被计算为内窥镜视频412的结束与确定的最终内窥镜移除时间之间的时间。

注意，所有上述OOB事件也可以基于来自壁式/天花板照相机的视频414直接标识。例如，对于与透镜清洁相关的过程中OOB事件，在外科过程期间在OR中捕捉的一个或多个视频414可以捕捉包括内窥镜从患者的身体取出时的时刻和透镜清洁和照相机重新校准后将内窥镜重新插入患者的身体内时的时刻的事件。在一些实施例中，可以基于内窥镜视频412和来自壁式/天花板照相机的视频414的组合来确定过程中OOB事件。例如，如果分析内窥镜视频412未能标识过程中OOB事件的开始或结束，则相应的视频414可用于帮助标识丢失的时间戳。更具体地，如果分析内窥镜视频412已经标识出OOB事件的开始t _b，但未能标识出OOB事件的结束t _e，则可以从时间t _b向前直到正在将内窥镜重新插入相机端口中时的点来回顾来自壁式和天花板照相机的视频414。类似地，如果分析内窥镜视频412已经标识出OOB事件的结束t _e，但未能标识出OOB事件的开始t _b，则可以从时间t _e向后直到正在将内窥镜从相机端口移除时的点来回顾来自壁式和天花板照相机的视频414。

工具交换事件408构成不属于实际过程持续时间404的总OR时间400的另一部分。如上所述，可以基于分析内窥镜视频412来确定工具交换事件408中的每个。因为检测工具交换事件涉及检测和识别多个外科工具，基于机器学习的分析可以应用于内窥镜视频412，例如，通过单独标识工具交换事件的开始和结束。例如，基于机器学习的视频分析工具可以继续检测和识别第一外科工具（例如，外科缝合器（stapler））直到图像帧 i，但开始检测和识别第二外科工具（例如，外科抓紧器（grasper））从图像帧i+50开始。在图像帧i和i+50之间，从内窥镜视频412没有检测到外科工具。然后视频分析工具可以得出结论，从帧i开始并且在帧i+50处结束已经检测到工具交换事件408，并且还可以提取相应的工具交换时间。

在一些实施例中，还可以基于来自工具交换事件中涉及的两个外科工具的尖端或钳口的压力传感器数据418来检测工具交换事件408。例如，工具交换事件408的开始可以被确定为来自第一外科工具（其正在被替换）的压力传感器数据418从有限值变为零时的时间，而工具交换事件408的结束可以被确定为来自第二外科工具（其正在替换第一外科工具）的压力传感器数据418从零变为有限值时的时间。在一些实施例中，可以基于内窥镜视频412和来自工具交换事件中涉及的外科工具的压力传感器数据418的组合来标识工具交换事件408。在一些实施例中，还可以基于内窥镜视频412、来自工具交换事件中涉及的外科工具的压力传感器数据418以及来自壁式和天花板照相机的视频414的组合来标识工具交换事件408。

外科超时事件410，诸如OR房间聊天/讨论或等待协作外科医生，构成了不属于实际过程持续时间404的总OR时间400的另一部分。如上所述，在外科超时期间，外科医生没有在内窥镜视频的FOV中使用外科工具做任何事；因此，外科工具处于空闲并且内窥镜视频中场景显现静止。因此，可以基于分析相应的视频412来标识每个外科超时事件408。例如，通过分析图像的序列并识别场景在预定数量的帧（例如，20帧）上没有改变，可以标识超时事件。注意，由于FOV中的器官的脉动，内窥镜视频的场景通常不是完全静止的。然而，脉动可以被提取为背景噪声，或用作指示静止场景的签名（signature）（当脉动是仅有动作时）。

在一些实施例中，还可以基于来自事件中涉及的外科工具的压力传感器数据418来检测外科超时事件410。例如，外科超时事件410的开始可以被标识为来自外科工具的压力传感器数据418从有限值变为零（即变得不活动）时的时间，而外科超时事件410的结束可以被标识为来自外科工具的压力传感器数据418从零变为有限值（即，再次变得活跃）时的时间。在一些实施例中，可以基于内窥镜视频412和来自事件中涉及的外科工具的压力传感器数据418的组合来确定外科超时事件410。在一些实施例中，还可以基于来自壁式和天花板照相机的视频414来确定外科超时事件410。

注意，在总OR时间400期间记录的音频数据422可以包括外科医生和OR内部和外部两者的其他人之间的口头交流。在总OR时间400期间的任何时间点处，音频数据422提供正在进行的事件的线索。因此，音频数据422可以与任何其他数据源412-420协作使用以检测每种类型的非外科事件406-410，或改进最初基于数据源412-420的此类事件的检测的准确性和置信度。在一些实施例中，针对非外科事件检测与数据源412-420协作处理音频数据422可以包括对音频数据422执行自然语言处理。

可以看出，所公开的外科过程分析系统虑及标识和提取每个非外科事件和所述非外科事件的每种类型的对应持续时间。一旦所有上述信息都可用，全外科过程和相应的总OR持续时间就可以分解为上述不同的段。各种外科和非外科事件的提取的时间信息可用于执行对相应的外科过程的深入分析并提供对其的洞察，例如通过单独或组合地（例如，作为相同类型的非外科事件的组合时间）评估以确定其对总OR时间的影响（例如，就总OR时间400的百分比而言）。例如，总记录工具交换时间可用于评估工具交换事件对总OR时间的影响。注意，与检测工具交换事件一起提取的工具识别信息也可用于工具库存的目的，并且跟踪外科工具使用或发射（fire）了多少次。各种外科和非外科事件的提取的时间信息也与以下度量相关，并且因此也可用于执行对以下度量的评价：

▪OR工作流程效率；

▪OR成本；

▪对麻醉剂量的影响；

▪对感染率的影响；

▪外科医生技能评估；和

▪外科过程结果分析。

来自上述评估的结果然后可以指导相关医院、外科医生和外科支持团队以对其OR实践进行纠正和调整。

此外，给定类型的非外科事件的时间信息可用于不同外科过程和不同外科医生之间的逐个项目的比较。作为具体的示例，对于两个外科医生A和B执行的相同类型的两个外科过程A和B，总OR时间指示外科医生A在OR中比外科医生B多花费20分钟。在提取各种非外科事件后，确定两个过程的实际过程持续时间基本上相同。然而，过程A在确定的总体超时事件中比过程B多20分钟，例如，由于外科医生A与OR中的其他人的讨论。该分析可以揭示外科医生A由于取得太多超时而不太高效。

图5示出了根据本文描述的一些实施例的示例性外科过程分析系统500的框图。如图5中可以看到，外科过程分析系统500包括OR数据源502，其进一步包括内窥镜视频504、壁式/天花板照相机视频506、压力传感器数据508和OR音频数据510，其中的每一个都在外科过程期间在OR内收集。注意，压力传感器数据508还可以包括来自外科工具尖端或钳口的压力传感器数据、来自外科平台的压力传感器数据和来自OR门口的压力传感器数据。

如图5中可以看到，外科过程分析系统500还包括外科过程分析子系统512，其耦合到OR数据源502并被配置为从OR数据源502接收各种视频、音频和传感器数据504-510并执行各种上述外科过程分析以通过标识各种公开的外科和非外科段/事件并提取每个标识的外科或非外科段/事件的持续时间来分解总OR时间。更具体地，外科过程分析子系统512可以包括机器学习模块的集合，其可以应用于一个或多个数据源504-510以标识各种外科和非外科事件。

例如，这些机器学习模块可以包括机器学习模块514，用于主要基于内窥镜视频504标识总OR时间期间的OOB事件的集合；机器学习模块516，用于主要基于内窥镜视频504标识总OR时间期间的工具交换事件的集合；机器学习模块518，用于主要基于内窥镜视频504标识总OR时间期间的外科超时事件的集合；以及机器学习模块520，用于主要基于内窥镜视频504标识总OR时间期间的实际外科段的集合。这些机器学习模块还可以包括用于分析OR音频数据510的自然语言处理模块522，并且机器学习模块514-520可以使用来自自然语言处理模块522的输出来改进检测各种外科和非外科事件的准确性。注意，外科过程分析子系统512还包括实际过程提取模块524，其可以使用来自机器学习模块514-520的输出来从总OR时间提取实际过程持续时间。

图6概念性地示出了可以实现本主题技术的一些实施例的计算机系统。计算机系统600可以是客户端、服务器、计算机、智能电话、PDA、膝上型计算机、或平板计算机，具有其中嵌入或耦合到其的一个或多个处理器，或任何其他类型的计算设备。这种计算机系统包括各种类型的计算机可读介质和用于各种其他类型的计算机可读介质的接口。计算机系统600包括总线602、（一个或多个）处理单元612、系统存储器604、只读存储器（ROM）610、永久存储设备608、输入设备接口614、输出设备接口606和网络接口616。在一些实施例中，计算机系统600是机器人外科系统的一部分。

总线602共同代表通信地连接计算机系统600的众多内部设备的所有系统、外围设备和芯片组总线。例如，总线602将（一个或多个）处理单元612与ROM 610、系统存储器604和永久存储设备608通信地连接。

从这些各种存储器单元，（一个或多个）处理单元612检索要执行的指令和要处理的数据，以便执行本专利公开中描述的各种过程，包括结合图1-5描述的上述外科过程分析以检测/标识各种公开的外科和非外科事件，提取所标识事件的持续时间，以及从总OR时间提取实际过程持续时间。（一个或多个）处理单元612可以包括任何类型的处理器，包括但不限于微处理器、图形处理单元（GPU）、张量处理单元（TPU）、智能处理器单元（IPU）、数字信号处理器（DSP）、现场可编程门阵列（FPGA）和专用集成电路（ASIC）。在不同的实现中，（一个或多个）处理单元612可以是单个处理器或多核处理器。

ROM 610存储（一个或多个）处理单元612和计算机系统的其他模块所需的静态数据和指令。另一方面，永久存储设备608是读写存储器设备。该设备是非易失性存储器单元，即使在计算机系统600关闭时其也存储指令和数据。本主题公开的一些实现使用大容量存储设备（诸如磁盘或光盘及其对应的磁盘驱动器）作为永久存储设备608。

其他实现使用可移除存储设备（诸如软盘、闪存驱动器及其对应的磁盘驱动器）作为永久存储设备608。与永久存储设备608一样，系统存储器604是读写存储器设备。然而，与存储设备608不同，系统存储器604是易失性读写存储器，诸如随机存取存储器。系统存储器604存储处理器在运行时需要的一些指令和数据。在一些实现中，本专利公开中描述的各种过程，包括结合图1-5描述的检测/标识各种公开的外科和非外科事件、提取所标识事件的持续时间以及从总OR时间提取实际过程持续时间的过程存储在系统存储器604、永久存储设备608和/或ROM 610中。从这些各种存储器单元，（一个或多个）处理单元612检索要执行的指令和要处理的数据，以便执行某些实现的过程。

总线602还连接到输入和输出设备接口614和606。输入设备接口614使用户能够向计算机系统传送信息并为计算机系统选择命令。与输入设备接口614一起使用的输入设备包括例如字母数字键盘和指点设备（也称为“光标控制设备”）。输出设备接口606使能例如显示由计算机系统600生成的图像。与输出设备接口606一起使用的输出设备包括例如打印机和显示设备，诸如阴极射线管（CRT）或液晶显示器（LCD）。一些实现包括作为输入和输出设备两者运转的设备，诸如触摸屏。

最后，如图6中所示，总线602还通过网络接口616将计算机系统600耦合到网络（未示出）。以此方式，计算机可以是计算机的网络的部分（诸如局域网（“LAN”）、广域网（“WAN”）、内联网或网络的网络，诸如因特网。计算机系统600的任何或所有部件可以与本主题公开结合使用。

结合本专利公开中公开的实施例描述的各种说明性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的该可互换性，上面已经根据它们的功能性大体描述了各种说明性部件、块、模块、电路和步骤。这种功能性被实现为硬件还是软件取决于特定的应用和对整个系统施加的设计约束。技术人员可以针对每个特定应用以不同方式实现所描述的功能性，但是这样的实现决定不应被解释为使得从本公开的范围偏离。

用于实现结合本文公开的方面描述的各种说明性逻辑、逻辑块、模块和电路的硬件可以用通用处理器、数字信号处理器（DSP）、专用集成电路（ASIC）、现场可编程门阵列（FPGA）或其他可编程逻辑器件、分立门或晶体管逻辑、分立硬件部件或被设计来执行本文所述的功能的其任何组合来实现或执行。通用处理器可以是微处理器，但在替代方案中，处理器可以是任何常规处理器、控制器、微控制器或状态机。处理器还可以被实现为接收器设备的组合，例如DSP和微处理器的组合、多个微处理器、一个或多个微处理器与DSP核结合，或者任何其他这样的配置。替代地，某些步骤或方法可由特定于给定功能的电路来执行。

在一个或多个示例性方面中，所描述的功能可以在硬件、软件、固件或其任何组合中实现。如果以软件实现，则功能可以作为一个或多个指令或代码存储在非暂时性计算机可读存储介质或非暂时性处理器可读存储介质上。本文公开的方法或算法的步骤可以体现在处理器可执行指令中，所述指令可以驻留在非暂时性计算机可读或处理器可读存储介质上。非暂时性计算机可读或处理器可读存储介质可以是可由计算机或处理器访问的任何存储介质。作为示例而非限制，此类非暂时性计算机可读或处理器可读存储介质可包括RAM、ROM、EEPROM、闪存、CD-ROM或其他光盘存储装置、磁盘存储装置或其他磁存储设备，或可用于以指令或数据结构的形式存储所需程序代码并且可由计算机访问的任何其他介质。此处使用的术语“盘”和“盘片”包括压缩盘片（CD）、激光盘片、光盘片、数字多功能盘片（DVD）、软盘和蓝光盘片，其中盘通常以磁性方式再现数据，而盘片用激光以光学方式再现数据。以上的组合也被包括在非暂时性计算机可读和处理器可读介质的范围内。此外，方法或算法的操作可以作为代码和/或指令的一个或任何组合或集合驻留在非暂时性处理器可读存储介质和/或计算机可读存储介质上，其可以并入计算机程序产品中。

虽然该专利文件包含许多细节，但这些不应该被解释为对任何公开的技术或可能要求保护的内容的范围的限制，而是被解释为对可能特定于特定技术的特定实施例的特征的描述。本专利文件中在单独实施例的上下文中描述的某些特征也可以在单个实施例中组合实现。相反，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合在多个实施例中实现。此外，虽然特征可以在上文中被描述在某些实施例中动作并且甚至初始这样要求保护，但是来自要求保护的组合的一个或多个特征在某些情况下可以从组合剥离，并且要求保护的组合可以涉及子组合或子组合的变型。

类似地，虽然在附图中以特定顺序描绘了操作，但这不应被理解为要求以所示出的特定顺序或顺序顺序执行此类操作，或者执行所有所示出的操作，以实现期望的结果。此外，本专利文件中描述的实施例中的各种系统部件的分离不应被理解为在所有实施例中都需要这样的分离。

仅描述了几个实现和示例，并且可以基于本专利文件中描述和图示的内容做出其他实现、增强和变型。

Claims

1.一种用于从外科过程的总过程持续时间提取涉及实际外科工具-组织交互的实际过程持续时间的计算机实现的方法，所述方法包括：

获得外科过程的总过程持续时间；

从外科过程期间收集的OR数据源的集合接收手术室（OR）数据的集合；

分析OR数据的集合以检测不涉及外科工具-组织交互的外科过程期间的非外科事件的集合；

提取对应于事件的集合的持续时间的集合；并且

通过从总过程持续时间减去对应于事件的集合的持续时间的组合集合来确定实际过程持续时间。

2.根据权利要求1所述的计算机实现的方法，其中获得外科过程的总过程持续时间包括标识外科过程的患者被推入OR中时的时间和患者被推出OR时的时间。

3.根据权利要求1所述的计算机实现的方法，其中OR数据的集合包括以下中的一项或多项：

外科过程期间捕捉的一个或多个内窥镜视频；

外科过程期间在由OR内由一个或多个壁式和/或天花板照相机捕捉的一个或多个视频；

外科过程期间在OR内收集的传感器数据的集合；和

外科过程期间在OR内记录的音频文件的集合。

4.根据权利要求3所述的计算机实现的方法，其中传感器数据的集合还包括以下中的一项或多项：

从外科过程中涉及的外科工具收集的压力传感器数据；

从OR内的外科平台收集的压力传感器数据；和

从OR的门口收集的压力传感器数据。

5.根据权利要求1所述的计算机实现的方法，其中分析OR数据的集合以检测外科过程期间的非外科事件的集合包括：

标识体外（OOB）事件的集合，其中当外科过程期间使用的内窥镜由于原因的集合中的一个被从患者的身体取出时，OOB事件开始。

6.根据权利要求5所述的计算机实现的方法，其中OOB事件的集合包括一个或多个过程中OOB事件，其中在外科过程的内窥镜被从患者的身体取出时过程中OOB事件开始并且在内窥镜被插回患者的身体中时过程中OOB事件结束。

7.根据权利要求6所述的计算机实现的方法，其中标识过程中OOB事件包括：

接收外科过程期间捕捉的一个或多个内窥镜视频；和

对一个或多个内窥镜视频执行基于机器学习的分析，以：

基于视频图像的第一序列标识过程中OOB事件的开始；和

基于视频图像的第二序列标识过程中OOB事件的结束。

8.根据权利要求5所述的计算机实现的方法，其中OOB事件的集合包括以下之一或两者：

通过在开始外科过程时在内窥镜到患者的身体中的初始插入之前打开内窥镜引起的初始OOB事件；和

通过在外科过程的结束时在从患者的身体移除内窥镜之后保持内窥镜打开引起的最终OOB事件。

9.根据权利要求8所述的计算机实现的方法，其中给定的OOB事件由以下原因的集合之一引起：

当内窥镜视图部分或全部被阻挡时清洁内窥镜透镜；

将内窥镜透镜从一个范围大小改变到另一个范围大小；和

将外科过程从机器人外科系统切换到腹腔镜外科系统。

10.根据权利要求1所述的计算机实现的方法，其中分析OR数据的集合以检测外科过程期间的非外科事件的集合还包括：

标识工具交换事件的集合，其中当外科过程中涉及的第一外科工具被第二外科工具替换时，在外科过程期间发生工具交换事件。

11.根据权利要求10所述的计算机实现的方法，其中标识工具交换事件包括：

接收外科过程期间捕捉的内窥镜视频；和

对内窥镜视频执行基于机器学习的分析以：

当第一外科工具从内窥镜视频消失时，标识工具交换事件的开始；和

当第二外科工具出现在内窥镜视频中时，标识工具交换事件的结束，

其中，工具交换事件的开始和工具交换事件的结束通过第二外科工具准备好插入的等待时间分离。

12.根据权利要求11所述的计算机实现的方法，其中标识工具交换事件还包括将基于机器学习的分析与以下中的一项或两项组合：

从外科过程中涉及的外科工具收集的压力传感器数据；和

由一个或多个壁式和/或天花板照相机捕捉的一个或多个视频。

13.根据权利要求1所述的计算机实现的方法，其中分析OR数据的集合以检测非外科事件的集合还包括：

标识外科超时事件的集合，其中当外科过程的外科医生由于各种原因暂停并且不使用外科工具与组织交互时，在外科过程期间发生外科超时事件。

14.根据权利要求13所述的计算机实现的方法，其中标识外科超时事件包括：

接收外科过程期间捕捉的内窥镜视频；和

对内窥镜视频执行基于机器学习的分析，以确定内窥镜视频中的外科工具在预定数量的帧上没有移动。

15.根据权利要求14所述的计算机实现的方法，其中标识外科超时事件还包括将基于机器学习的分析与从被确定为不移动的外科工具收集的压力传感器数据组合。

16.根据权利要求1所述的计算机实现的方法，其中分析OR数据的集合以检测外科过程期间的非外科事件的集合还包括：

标识外科过程之前的外科手术前患者准备时间；和

标识外科过程的完成之后的外科手术后患者助理时间。

17.一种用于从外科过程的总过程持续时间提取涉及实际外科工具-组织交互的实际过程持续时间的系统，所述系统包括：

一个或多个处理器；和

耦合到一个或多个处理器的存储器，其中存储器存储指令，当由一个或多个处理器执行时，所述指令使系统：

获得外科过程的总过程持续时间；

提取对应于事件的集合的持续时间的集合；并且

18.根据权利要求17所述的系统，其中OR数据的集合包括以下中的一项或多项：

外科过程期间捕捉的一个或多个内窥镜视频；

外科过程期间在OR内收集的传感器数据的集合；和

外科过程期间在OR内记录的音频文件的集合。

19.根据权利要求17所述的系统，其中非外科事件的集合包括：

体外（OOB）事件的集合，其中当外科过程期间使用的内窥镜由于原因的集合中的一个被从患者的身体取出时，OOB事件开始；

工具交换事件的集合，其中当外科过程中涉及的第一外科工具被第二外科工具替换时，在外科过程期间发生工具交换事件；和

外科超时事件的集合，其中当外科过程的外科医生由于各种原因暂停并且不使用外科工具与组织交互时，在外科过程期间发生外科超时事件。