CN117121066A - 识别手术方法的变化 - Google Patents

Abstract

一个方面包括一种计算机实现的方法，该计算机实现的方法识别医疗程序的手术方法的变化。分析记录医疗程序的多个病例的手术视频，以识别服务提供者在执行该医疗程序时所使用的不同手术方法。根据一些方面，在每个手术视频中识别手术阶段，并且将类似手术阶段序列的组分组为手术方法。

Description

识别手术方法的变化

相关申请的交叉引用

本申请是要求于2021年6月8日提交的第63/208,171号美国临时专利申请和于2021年4月15日提交的第63/175,209号美国临时申请的权益的PCT申请，所有申请出于所有目的通过引用整体并入本文。

背景技术

本发明大体上涉及计算技术，并且更具体来说涉及用于识别手术方法的变化的计算技术。

计算机辅助系统，特别是计算机辅助手术系统(CA)依赖于手术期间数字捕获的视频数据。可以存储和/或流式传输此种视频数据。在一些情况下，视频数据可以用于增强人的物理感测、感知和反应能力。例如，此类系统可以有效地提供对应于扩展的视野(时间的和空间的)的信息，这些信息使人能够基于不包括在他或她的物理视场中的环境的一部分来调整当前和未来的动作。替代地或另外，可以出于例如存档、训练、术后分析和/或患者咨询的若干目的存储和/或传输视频数据。分析和比较来自多个外科手术的大量视频数据以识别共性的过程可能高度主观且易出错，这是由于例如影响正进行分析的每一个别外科手术的工作流的数据量和许多因素(例如，患者状况、医生偏好等)。

发明内容

根据一个或多个方面，一种系统包括机器学习训练系统，该机器学习训练系统包括一个或多个机器学习模型，该一个或多个机器学习模型进行训练以在外科手术的视频中识别多个手术阶段。该系统还包括数据分析系统，该数据分析系统被配置为在捕获相同类型的外科手术的多个视频中识别不同手术方法。识别不同手术方法包括：接收多个手术视频，该多个手术视频中的每一个手术视频捕获相同类型的外科手术的工作流；基于由机器学习训练系统识别的手术阶段将多个手术视频中的每一个手术视频分割成多个手术阶段；以及将多个手术视频中的每一个手术视频中的每一分段表示为符号。对多个手术视频的符号表示进行聚类以形成具有类似工作流的手术视频组，并且将这些组输出到显示设备以供显示。每一组表示不同手术方法。

在一个或多个方面中，识别不同手术方法还包括将与手术视频或组中的一个或多个相关联的手术服务提供者的指示输出到显示设备以供显示。

在一个或多个方面，手术服务提供者是医院。

在一个或多个方面，手术服务提供者是医生。

在一个或多个方面，识别不同手术方法还包括将不同手术服务提供者所采用的手术方法的比较输出到显示设备以供显示。

在一个或多个方面，聚类包括计算多个手术视频中的每一对手术视频之间的距离度量；将所计算的距离度量存储在距离矩阵中；以及至少部分地基于距离矩阵对类似工作流进行分组。

在一个或多个方面，识别不同手术方法还包括将标签添加到不同手术方法中的每一个手术方法并且将标签输出到显示设备。

根据一个或多个方面，一种计算机实现的方法包括由处理器接收多个手术视频，该多个手术视频中的每一个手术视频捕获相同类型的外科手术的工作流并且该多个手术视频中的每一个手术视频分割成手术阶段。该方法还包括由处理器将多个手术视频分组为类似工作流的组，该分组至少部分地基于手术视频中的每一个手术视频的手术阶段。该方法还包括由处理器识别对于每个组唯一的手术方法，该识别至少部分地基于手术视频中的每一个手术视频的手术阶段。

在一个或多个方面，该方法还包括标记该唯一手术方法中的每一个手术方法。

在一个或多个方面，该分组包括应用聚类技术

在一个或多个方面，应用聚类技术包括计算多个手术视频中的每一对手术视频之间的距离度量；将所计算的距离度量存储在距离矩阵中；以及至少部分地基于距离矩阵对类似工作流进行分组。

在一个或多个方面，该方法还包括确定用于多个手术视频的最佳聚类超参数。

在一个或多个方面，该方法还包括由处理器将类似工作流组中的工作流的图形表示和所识别的手术方法输出到显示设备。

在一个或多个方面，图形表示识别与每个工作流相关联的手术服务提供者。

根据一个或多个方面，一种计算机程序产品包括其上存储有计算机可执行指令的存储器设备，该计算机可执行指令在由一个或多个处理器执行时使该一个或多个处理器执行操作。该操作包括将服务提供者在执行外科手术时使用的不同手术方法可视化。该可视化包括接收多个手术视频，该多个手术视频中的每一个手术视频捕获执行外科手术的服务提供者的工作流。该可视化还包括将多个手术视频聚类成类似工作流的群集，并且识别对于每一个群集唯一的手术方法。将所识别的手术方法的图形表示输出到显示设备。

在一个或多个方面，可视化还包括经由图形表示的用户界面接收用户输入，并且响应于该用户输入，将第二图形表示输出到显示设备，该第二图形表示包括描述所识别的手术方法中的每一个手术方法的标签。

在一个或多个方面，可视化还包括经由图形表示的用户界面接收用户输入，并且响应于该用户输入，将第二图形表示输出到显示设备，该第二图形表示包括描述服务提供者或患者中的一者或两者的特性的额外信息。

在一个或多个方面，将多个手术视频中的每一个手术视频各自分割成手术阶段，并且聚类至少部分地基于该手术阶段。

在一个或多个方面，聚类包括计算多个手术视频中的每一对手术视频之间的距离度量；将所计算的距离度量存储在距离矩阵中；以及至少部分地基于距离矩阵对类似工作流进行分组。

通过本发明的技术实现附加的技术特征和益处。本发明的各方面在本文中详细地描述并且被认为是所要求保护的主题的一部分。为了更好地理解，参考详细描述和附图。

附图说明

在说明书结尾处的权利要求中特别指出并清楚地要求本文所描述的专有权的细节。根据以下结合附图的详细描述，本发明的上述和其他特征和优点是显而易见的，在附图中：

图1描绘根据一个或多个方面的计算机辅助手术(CAS)系统；

图2描绘根据一个或多个方面的外科手术系统。

图3描绘根据一个或多个方面的用于分析由视频记录系统捕获的视频的系统；

图4描绘根据一个或多个方面的用于识别手术方法的变化的数据分析系统的框图；

图5描绘根据一个或多个方面的用于识别手术方法的变化的方法的流程图；

图6描绘根据一个或多个方面的用于将手术工作流分组成类似工作流的方法的流程图；

图7描绘根据一个或多个方面的手术工作流阶段子串和子序列的框图；

图8描绘根据一个或多个方面的手术方法的可视化；

图9描绘根据一个或多个方面的不同手术提供者所使用的手术方法的可视化；

图10描绘根据一个或多个方面的计算机系统；

图11描绘根据一个或多个方面的间隙曲线的示例；

图12描绘根据一个或多个方面的手术方法的可视化的示例；

图13描绘根据一个或多个方面的当存在四个群集时的可视化的示例；

图14描绘根据一个或多个方面的当存在八个群集时的可视化的示例；

图15描绘根据一个或多个方面的手术方法及其最大频繁顺序模式(FSP)的可视化的示例；

图16描绘根据一个或多个方面的手术方法及其最大频繁顺序模式(FSP)的可视化的示例；并且

图17描绘在可视化中使用的阴影的键。

这里描述的图是说明性的。在不脱离本发明的精神的情况下，可存在对本文所述的图和/或操作的许多变化。例如，可以以不同的顺序执行动作，或者可以添加、删除或修改动作。此外，术语“耦合”及其变型描述在两个元件之间具有通信路径，并且不暗示元件之间的直接连接，而在它们之间没有中间元件/连接。所有这些变化被认为是说明书的一部分。

具体实施方式

本文描述的技术方案的示例性方面包括用于识别医疗程序的手术方法变化的系统和方法。根据各方面，将正在分析的医疗程序的多次重复或病例的手术视频数据各自分割成多个阶段，并且聚类分析用于识别服务提供者在执行医疗程序时使用的不同手术方法。标准化手术的构建要素是存在可以有意义地捕获手术可变性的指标。能够在一组病例中识别关键手术方法可以为将不同技术与患者结果和效率相关联铺平道路。为了客观地向例如但不限于医院、医院科室、医疗实践和/或外科医生等手术服务提供者提供反馈，本文描述的技术解决方案提供一种方法来识别不同提供者所采用的不同方法。模式识别技术可以用于识别与每个手术服务提供者相关联的独特手术方法。本文所描述的技术解决方案有利于使用手术表现的定量测量来标准化可变手术实践，这可以用于改善患者安全和手术结果并且降低成本。

在本文所描述的技术解决方案的示例性方面中，将由计算机辅助手术(CAS)系统捕获并分割成手术阶段的手术数据输入到本文所描述的分析中，以识别医疗程序的不同手术方法。

本文所描述的技术解决方案的各方面允许分析具有大量手术病例(例如，数百或数千)和大量独特手术阶段序列(例如，超过一百)的数据集。本文所描述的一个或多个方面识别类似工作流的组(或群集)并确定在每个组内发现的独特手术方法。本文所描述的技术解决方案的分析的各方面可以通过对与手术相关的任何序列数据进行分组来减少独特手术阶段序列的数量。例如，可以将类似阶段序列或步骤序列或动作分组成手术方法。根据各方面，手术方法可以包括在一组阶段序列内发现的阶段子串(连续阶段)和子序列(非连续阶段)。

现在转到图1，根据一个或多个方面总体上示出示例性CAS系统100。CAS系统100至少包括计算系统102、视频记录系统104和手术器械系统106。如图1中所示，参与者112可以是使用CAS系统100对患者110执行外科手术的医务人员。医务人员可以是外科医生、助理、护士、管理员或在手术环境中与CAS系统100交互的任何其他参与者。外科手术可以是任何类型的手术，例如但不限于白内障手术、腹腔镜胆囊切除术、垂体腺瘤内镜鼻内经蝶入路(eTSA)切除术，或任何其他外科手术。在其他示例中，参与者112可以是技术人员、管理员、工程师或与CAS系统100交互的任何其他此类人员。例如，参与者112可以记录来自CAS系统100的数据、配置/更新CAS系统100的一个或多个属性、回顾CAS系统100的过去性能、修复CAS系统100等。

外科手术可以包括多个阶段，并且每个阶段可以包括一个或多个手术动作。“手术动作”可以包括切开、挤压、钉合(stapling)、夹闭、缝合、烧灼、密封或为完成外科手术阶段而进行的任何其他此类动作。“阶段”表示由一系列步骤(例如，闭合)组成的手术事件。“步骤”是指完成指定的手术目标(例如，止血)。在每个步骤期间，某些手术器械108(例如，镊子)用于通过执行一个或多个手术动作来实现特定目标。

视频记录系统104包括一个或多个摄像机105，例如手术室摄像机、内窥镜摄像机等。摄像机105捕获正在执行的外科手术的视频数据。视频记录系统104包括一个或多个视频捕获设备，该视频捕获设备可以包括放置在手术室中以捕获正在进行手术的患者周围(即外部)的事件的摄像机105。视频记录系统104还包括摄像机105(例如，内窥镜摄像机)，所述摄像机通过患者110体内以捕获内窥镜数据。内窥镜数据提供外科手术的视频和图像。

计算系统102包括一个或多个存储器设备、一个或多个处理器、用户界面设备以及其他组件。图1中所示的计算系统102的全部或一部分可以例如由图10的计算机系统1000的全部或一部分实施。计算系统102可以执行一个或多个计算机可执行指令。指令的执行便于计算系统102执行一个或多个方法，包括本文所描述的那些方法。计算系统102可以经由有线和/或无线网络与其他计算系统通信。在一个或多个示例中，计算系统102包括一个或多个经训练的机器学习模型，该机器学习模型可以检测和/或预测正在执行或先前已经执行的外科手术的特征/来自该外科手术的特征。特征可以包括例如解剖结构的结构、在外科手术的所捕获视频中的手术器械108。特征还可以包括事件，例如外科手术中的阶段、动作。检测到的特征还可以包括参与者112和/或患者110。基于该检测，在一个或多个示例中，计算系统102可以提供对参与者112要采取的后续动作的建议。替代地或另外，计算系统102可以基于检测提供一个或多个报告。机器学习模型的检测可以以自主或半自主的方式执行。

机器学习模型可以包括人工神经网络，例如深度神经网络、卷积神经网络、递归神经网络、编码器、解码器或任何其他类型的机器学习模型。机器学习模型可以以监督、无监督或混合方式训练。可以对机器学习模型进行训练以使用由CAS系统100获取的一种或多种类型的数据来执行检测和/或预测。例如，机器学习模型可以使用经由视频记录系统104捕获的视频数据。替代地或另外，机器学习模型使用来自手术器械系统106的手术器械数据。在又一些示例中，机器学习模型使用视频数据和手术器械数据的组合。

另外，在一些示例中，机器学习模型还可以使用在外科手术期间捕获的音频数据。音频数据可以包括在激活一个或多个手术器械108时由手术器械系统106发出的声音。替代地或另外，音频数据可以包括来自一个或多个参与者112的语音命令、片段或对话。音频数据还可以包括由外科器械108在其使用期间发出的声音。

在一个或多个示例中，机器学习模型可以从与外科手术相关联的数据检测手术动作、手术阶段、解剖结构、手术器械和各种其他特征。在一些示例中，可以实时地执行检测。替代地或另外，计算系统102以离线方式(例如，术后)分析手术数据，即，在外科手术期间捕获的各种类型的数据。在一个或多个示例中，机器学习模型基于检测例如解剖结构、手术器械等的一些特征来检测手术阶段。

可以采用数据收集系统150来存储手术数据，包括在外科手术期间捕获的视频。数据收集系统150包括一个或多个存储设备152。数据收集系统150可以是本地存储系统、基于云的存储系统或它们的组合。此外，数据收集系统150可以使用任何类型的基于云的存储架构，例如，公共云、私有云、混合云等。在一些示例中，数据收集系统可以使用分布式存储，即，存储设备152位于不同的地理位置。存储设备152可以包括用于记录机器可读数据的任何类型的电子数据存储介质，例如基于半导体、基于磁、基于光的存储介质或它们的组合。例如，数据存储介质可以包括基于闪存的固态硬盘(SSD)、基于磁的硬盘驱动器、磁带、光盘等。

在一个或多个示例中，数据收集系统150可以是视频记录系统104的一部分，或反之亦然。在一些示例中，数据收集系统150、视频记录系统104和计算系统102可以经由通信网络彼此通信，该通信网络可以是有线的、无线的或它们的组合。系统之间的通信可以包括数据(例如，视频数据、器械数据等)传递、数据操纵命令(例如，浏览、复制、粘贴、移动、删除、创建、压缩等)、数据操纵结果等。在一个或多个示例中，计算系统102可以基于来自一个或多个机器学习模型的输出(例如，阶段检测、结构检测等)来操纵已经存储/正存储在数据收集系统150中的数据。替代地或另外，计算系统102可以基于来自手术器械系统106的信息来操纵已经存储/正存储在数据收集系统150中的数据。

在一个或多个示例中，由视频记录系统104捕获的视频存储在数据收集系统150上。在一些示例中，计算系统102管理存储在数据收集系统150上的视频数据的一部分。在一些示例中，计算系统102在由视频记录系统104捕获的视频存储在数据收集系统150上之前对该视频进行过滤。替代地或另外，计算系统102在由视频记录系统104捕获的视频存储在数据收集系统150上之后对该视频进行过滤。

现在转到图2，根据一个或多个方面大体示出外科手术系统200。图2的示例描绘外科手术支持系统202，该外科手术支持系统可以包括或可以耦合到图1的系统100。外科手术支持系统202可以使用一个或多个摄像机204获取图像或视频数据。外科手术支持系统202还可以与多个传感器206和执行器208交互。传感器206可以与手术支持装备和/或患者监测相关联。执行器208可以是通过外科手术支持系统202可控制的机器人组件或其他装备。外科手术支持系统202还可以与一个或多个用户界面210(例如各种输入和/或输出设备)交互。外科手术支持系统202可以在对图1的患者110执行外科手术时存储、访问和/或更新与训练数据集和/或实况数据相关联的手术数据214。外科手术支持系统202可以存储、访问和/或更新手术目标216，以帮助训练和引导一个或多个外科手术。用户配置218可以跟踪并且存储用户偏好。

现在转到图3，根据一个或多个方面大体上示出用于分析视频和数据的系统300。例如，可以从图1的视频记录系统104捕获视频和数据。分析可以导致使用机器学习预测视频数据中的手术阶段和结构(例如，器械、解剖结构等)。在一个或多个示例中，系统300可以是图1的计算系统102或其一部分。根据一些方面，系统300使用手术数据中的数据流来识别手术状态。

系统300包括收集手术数据的数据接收系统305，该手术数据包括视频数据和手术器械数据。数据接收系统305可以包括位于外科手术室和/或控制中心内和/或与外科手术室和/或控制中心相关联的一个或多个设备(例如，一个或多个用户设备和/或服务器)。数据接收系统305可以实时地，即当正在执行外科手术时接收手术数据。替代地或另外，数据接收系统305可以例如通过访问存储在图1的数据收集系统150中的数据以离线方式接收或访问手术数据。

系统300还包括机器学习处理系统310，该机器学习处理系统使用一个或多个机器学习模型处理手术数据以识别手术数据中的一个或多个特征，例如手术阶段、器械、解剖结构等。应理解，机器学习处理系统310可以包括一个或多个设备(例如，一个或多个服务器)，每个设备可以被配置为包括机器学习处理系统310的一个或多个所描绘组件中的部分或全部。在一些情况下，机器学习处理系统310的部分或全部在云中和/或远离对应于数据接收系统305的部分或全部的手术室和/或物理位置。应理解，本文描绘并且描述机器学习处理系统310的若干组件。然而，组件仅仅是机器学习处理系统310的一个示例性结构，并且在其他示例中，可以使用组件的不同组合来构造机器学习处理系统310。本文所描述的技术解决方案涵盖组件组合的这些变化。

机器学习处理系统310包括机器学习训练系统325，该机器学习训练系统可以是将其输出存储为一个或多个经训练的机器学习模型330的单独设备(例如，服务器)。机器学习模型330可由模型执行系统340访问。在一些示例中，模型执行系统340可以与机器学习训练系统325分离。换句话说，在一些方面中，“训练”模型的设备与使用经训练的机器学习模型330“推断”，即执行手术数据的实时处理的设备分离。

在一些示例中，机器学习处理系统310还包括数据生成器315以生成模拟手术数据，例如一组虚拟图像，或记录来自视频记录系统104的视频数据，以训练机器学习模型330。数据生成器315可以访问(读/写)数据存储区320以记录数据，包括多个图像和/或多个视频。图像和/或视频可以包括在一个或多个手术(例如，一个或多个外科手术)期间收集的图像和/或视频。例如，图像和/或视频可能已经由图1的参与者112(例如，医生、手术护士、麻醉师等)在手术期间佩戴的用户设备、位于手术室内的不可佩戴的成像设备，或插入图1的患者110体内的内窥镜摄像机收集。在一些示例中，数据存储区320与图1的数据收集系统150分离。在其他示例中，数据存储区320是数据收集系统150的一部分。

在数据存储区320中记录的用于训练机器学习模型330的图像和/或视频中的每一者可以被定义为基本图像，并且可以与表征相关联的手术和/或渲染规范的其他数据相关联。例如，其他数据可以识别手术类型、手术位置、执行手术所涉及的一个或多个人、手术目标和/或手术结果。替代地或另外，其他数据可以指示图像或视频所对应的手术的阶段、图像或视频所对应的渲染规范和/或捕获图像或视频的成像设备的类型(例如，和/或如果设备是可佩戴设备，则佩戴设备的特定人的角色等)。此外，其他数据可以包括识别和/或表征图像或视频中描绘的一个或多个对象(例如，工具、解剖对象等)的图像分割数据。表征可以指示对象在图像中的位置、取向或姿势。例如，表征可以指示对应于对象和/或由过去或当前用户处理产生的对象状态的一组像素。可以使用用于识别一个或多个坐标系中的对象的各种技术来执行定位。

机器学习训练系统325使用数据存储区320中记录的数据来训练机器学习模型330，该数据可以包括模拟手术数据(例如，虚拟图像的集合)和实际手术数据。机器学习模型330可以基于模型类型和超参数集来定义(例如，基于来自客户端设备的输入来定义)。机器学习模型330可以基于一组参数来配置，该组参数可以基于(例如，连续或重复)训练(即，学习、参数调谐)而动态地定义。机器学习训练系统325可以使用一个或多个优化算法来定义该组参数以最小化或最大化一个或多个损失函数。该组(学习的)参数可以作为经训练的机器学习模型330的一部分使用用于该经训练的机器学习模型330的特定数据结构来存储。数据结构还可以包括一个或多个不可学习的变量(例如，超参数和/或模型定义)。

机器学习模型执行系统340可以访问机器学习模型330的数据结构并且相应地配置机器学习模型330以进行推断(即，预测)。机器学习模型330可以包括例如全卷积网络适应、对抗网络模型、编码器、解码器、或其他类型的机器学习模型。机器学习模型330的类型可以在对应数据结构中指示。机器学习模型330可以根据一个或多个超参数和一组学习参数来配置。

机器学习模型330在执行期间接收待处理的手术数据作为输入，并且随后根据训练生成一个或多个推断。例如，由图1的视频记录系统104捕获的视频数据可以包括表示视频中的固定或可变长度的时间窗的单个图像或一组帧(例如，包括多个图像或具有定序数据的图像)中的每一者的数据流(例如，强度、深度及/或RGB值的阵列)。由视频记录系统104捕获的视频数据可以由数据接收系统305接收，该数据接收系统可以包括位于正在执行外科手术的手术室内的一个或多个设备。替代地，数据接收系统305可以包括远程定位的设备，在外科手术的执行期间将所捕获的视频数据实时直播到该设备。替代地或另外，数据接收系统305以离线方式从数据收集系统150或从任何其他数据源(例如，本地或远程存储设备)访问数据。

数据接收系统305可以处理所接收的视频和/或数据。该处理可以包括当以编码格式接收视频流时进行解码，使得可以提取并处理图像序列的数据。数据接收系统305还可以处理包括在输入手术数据中的其他类型的数据。例如，手术数据可以包括附加数据流，例如音频数据、RFID数据、文本数据、来自一个或多个手术器械/传感器的测量结果等，该附加数据流可以表示来自手术室的刺激/手术状态。在将来自不同设备/传感器的不同输入输入到机器学习处理系统310中之前，数据收集系统305将不同输入同步。

一旦进行训练，机器学习模型330就可以分析输入手术数据，并且在一个或多个方面中，预测和/或表征包括在手术数据中包括的视频数据中的结构。视频数据可以包括连续图像和/或编码视频数据(例如，使用数字视频文件/流格式及/或编解码器，例如MP4、MOV、AVI、WEBM、AVCHD、OGG等)。结构的预测和/或表征可以包括分割视频数据或利用概率热图预测结构的定位。在一些例子中，一个或多个机器学习模型包括在分割视频数据之前执行的预处理或增强(例如，强度标准化、改变大小、裁剪等)或与该预处理或增强相关联。一个或多个机器学习模型的输出可以包括图像分割或概率热图数据，该数据指示在视频数据内预测所定义的一组结构中的哪一个(如果有的话)、视频数据内的结构的位置和/或定位和/或姿势、和/或结构的状态。位置可以是视频数据中的图像/帧中的一组坐标。例如，坐标可以提供边界框。坐标可以提供围绕被预测的结构的边界。在一个或多个示例中，训练机器学习模型630以执行更高水平的预测和跟踪，例如预测外科手术的阶段以及跟踪在外科手术中使用的一个或多个手术器械。

虽然本文描述用于预测外科手术中的手术阶段(“阶段”)的一些技术，但是应理解，可以使用用于阶段预测的任何其他技术，而不影响本文所描述的技术解决方案的各方面。在一些示例中，机器学习处理系统310包括使用机器学习模型来识别外科手术(“手术”)内的阶段的阶段检测器350。阶段检测器350使用来自手术跟踪数据结构列表的特定手术跟踪数据结构355。阶段检测器350基于正在执行的外科手术的类型来选择手术跟踪数据结构355。在一个或多个示例中，外科手术的类型预先确定或由参与者112输入。手术跟踪数据结构355识别可以对应于特定类型的手术的一部分的一组潜在阶段。

在一些示例中，手术跟踪数据结构355可以是包括一组节点和一组边的图形，其中每个节点对应于潜在阶段。边缘可以提供节点之间的定向连接，该定向连接指示(通过方向)在整个手术的重复中将遇到阶段的预期顺序。手术跟踪数据结构355可以包括馈送到多个下一个节点的一个或多个分支节点，和/或可以包括节点之间的一个或多个分叉点和/或会聚点。在一些情况下，阶段指示正在执行或已经执行的手术动作(例如，外科手术动作)和/或指示已经执行的动作的组合。在一些情况下，阶段与经历外科手术的患者的生物学状态相关。例如，生物状态可以指示并发症(例如，血栓、动脉/静脉堵塞等)、预病症(例如，病变、息肉等)。在一些示例中，训练机器学习模型330以检测“异常状况”，例如出血、心律失常、血管异常等。

手术跟踪数据结构355内的每个节点可以识别对应于该节点的阶段的一个或多个特性。该特性可以包括视觉特性。在一些例子中，节点识别在该阶段期间通常在使用或可供使用(例如，在工具盘上)的一个或多个工具。节点还识别通常执行手术任务的人的一个或多个角色、(例如，手或工具的)典型类型的移动等。因此，阶段检测器350可以使用由模型执行系统340生成的分割数据来识别真实图像数据所对应的估计节点，该分割数据指示视场内的特定对象的存在和/或特性。节点(即，阶段)的识别还可以基于针对给定手术重复的先前检测到的阶段和/或其他检测到的输入(例如，包括个人对个人的请求或评论的口头音频数据、当前或过去阶段的显式标识、信息请求等)。

阶段检测器350输出与由机器学习处理系统310分析的视频数据的一部分相关联的阶段预测。通过识别由机器学习执行系统340分析的视频的部分的开始时间和结束时间，阶段预测与视频数据的部分相关联。输出的阶段预测可以包括由阶段检测器350基于机器学习执行系统340的输出检测到的手术阶段的标识。此外，在一个或多个示例中，阶段预测可以包括由机器学习执行系统340在进行分析的视频的部分中识别的结构(例如，器械、解剖结构等)的标识。阶段预测还可以包括预测的置信度得分。其他示例可以包括输出的阶段预测中的各种其他类型的信息。

应注意，虽然一些附图描绘被分析的内窥镜视频，但是可以应用本文所描述的技术解决方案以分析当执行开放式手术(即，非腹腔镜手术)时由非内窥镜摄像机(即，患者身体外部的摄像机)捕获的视频和图像数据。例如，视频和图像数据可以由安装在手术室中的一个或多个人员(例如，外科医生)身上的摄像机捕获。替代地或另外，摄像机可以安装在手术器械、墙壁或手术室中的其他位置上。

现在转到图4，根据一个或多个方面总体上示出用于识别手术方法变化的数据分析系统400的框图。数据分析系统400的全部或部分可以由图1的CAS系统100和/或由图10的计算机系统1000实现。图4中所示的数据分析系统400包括手术工作流数据402、手术工作流方法分析模块404、手术变化可视化模块406、手术方法识别模块408和显示设备410。下面在图5和图6中示出可以由图4中所示的模块执行的处理的示例。

手术工作流数据库402存储例如由图1的视频记录系统104和/或图2的摄像机204捕获的视频数据，该视频数据例如由图3的机器学习处理系统310分成多个阶段。根据本文所描述的技术解决方案的各方面，手术工作流数据库402位于图1的数据收集系统的存储设备152中或存储为图2的手术数据214。手术工作流数据库402包括由一个或多个不同的手术服务提供者在相同医疗手术的若干次重复期间记录的手术视频数据。图4中所示的显示设备410可以由任何用户显示设备实现，该用户显示设备对于已经授权查看本文所描述的分析结果的用户是可访问的。各方面包括支持用于输出图形数据的图形用户界面(GUI)的显示设备410。

手术工作流方法分析模块404、手术方法识别模块408和手术变化可视化模块406的全部或部分可以通过由图1的计算系统102执行的计算机指令实现。手术工作流方法分析模块404接收手术工作流数据402，该手术工作流数据包括相同类型的多个外科手术的视频记录，并且创建类似工作流的分组。特定类型的外科手术的每个例子的视频记录或手术工作流用已经例如由机器学习处理系统310和/或经由手动注释识别的阶段来注释。注释可以用于将手术工作流分割成手术阶段。此外，使用机器学习技术自动地对手术工作流进行分组/聚类。可以基于一个或多个因素来执行分组。该因素可以包括，例如但不限于，在每个手术工作流中识别的手术阶段、执行手术工作流的医务人员(例如，外科医生、工作人员、培训生/实习生等)、正在执行手术工作流的医院/机构、用于手术工作流的装备等，或它们的组合。手术方法识别模块408使用机器学习技术或经由提示的用户输入自动地将标识符分配给手术工作流的每个分组。各方面可以包括标识符描述由一个或多个所标识组中的工作流使用的方法的类型(例如，解剖学上自上而下、系统方法等)。手术工作流的每个群集或组的标识符可以与指向属于每个组的手术工作流的指针一起存储在手术工作流数据库402中。

图4中所示的手术变化可视化模块406可以经由显示设备410向授权用户提供对存储在手术工作流数据库402中的数据的分析的不同视图。例如，每个分组可以以不同的颜色示出，或由不同的外科手术服务提供者捕获手术的手术工作流可以以不同的颜色示出。下面在图8和图9中示出示例。在本发明的一个或多个实施方案中，手术变化可视化模块406的全部或部分由位于用户设备(例如，个人计算机、膝上型计算机、手机等)上的处理器执行，并且显示设备410位于用户设备上或附接到用户设备。手术变化可视化模块406可以经由一个或多个网络连接来访问手术工作流数据库402的全部或部分。

图4的计算环境可以用任何适当的逻辑实现，其中在各个方面，如本文所提及的逻辑可以包括任何合适的硬件(例如，处理器、嵌入式控制器、或专用集成电路等)、软件(例如，应用程序等)、固件、或硬件、软件和固件的任何合适的组合。

应理解，图4的框图并非旨在指示系统400将包括图4中所示的所有组件。相反，系统400可以包括图4中未示出的任何适当的更少或附加组件，例如但不限于一个或多个附加显示设备410和/或手术工作流数据库402。另外，可以不同地布置图4中所示的组件。例如，手术工作流方法分析模块404和手术方法识别模块408可以位于不同的计算机服务器上，或者它们可以是同一处理单元的一部分。

现在转到图5，根据一个或多个方面总体上示出用于识别手术方法变化的方法500的流程图。方法500的全部或部分可以例如由图1的CAS系统100、图2的系统200、图3的系统300和/或图4的系统400的全部或部分来实现。图5中所示的方法500包括可以用于提取手术方法的管线。

在图5的框502处，获取或接收手术工作流数据(例如，手术视频)。手术工作流数据的至少一部分可以例如从图1的数据收集系统150获取。所获取的手术工作流数据属于单一类型的外科手术或一组类似手术，并且可以包括来自多个手术服务提供者，例如多个不同外科医生和/或多个机构(例如，医院)以及由不同外科医生产生的工作流数据。手术工作流数据包括用于外科手术的每次重复的视频数据，例如腹腔镜视频。在框502处获取的数据集可以包括用于每个外科手术的附加数据，例如但不限于医院标识/特性(例如，执行外科手术的位置、频率等)、外科医生标识/特性(例如，外科手术的实践、培训、经验年数等)和/或患者标识/特性(例如，年龄、身高、体重等)。在框504处，使用例如视频中的视觉提示将手术视频分割成手术阶段。例如，视觉提示可以包括但不限于视频中的手术器械、解剖方法等。分割可以包括对视频进行注释以及基于注释将视频分解成多个片段。根据本文所描述的技术解决方案的各方面，片段的持续时间也可以用于识别手术方法。另外，在同一情况下可以重复某些手术阶段。

如本文所用，术语“病例”是指外科手术的一次重复，即，由单次手术工作流表示的单次手术。在框502处获取的手术工作流数据或数据集可以包括从不同的手术服务提供者获得的特定类型的外科手术的若干病例(数百或甚至数千)。手术工作流数据还可以针对单个手术服务提供者获得，以分析由单个手术服务提供者使用的一致性和/或方法。

在图5的框506处，从数据集中移除无效手术工作流。无效手术工作流是不完整的工作流，即，它们不包括完成外科手术所必需的阶段。来自医学专家的输入可以用于确定哪些阶段是完成医学手术所必需的。每个手术工作流可以由计算机扫描以获得所需的阶段，并且如果手术工作流缺少所需的阶段，则可以在框506处移除手术工作流。根据一个或多个方面，在框506处执行的验证包括使用由医学专家提供的逻辑“规则”，其允许检测不可能的阶段序列。这允许排除一些可能的注释错误以及包含两个病例而不是一个病例的视频等内容。

处理在框508处继续，其中使用聚类算法将手术工作流分组成类似手术工作流。本文中的技术解决方案的各方面将使用若干度量针对所有病例对定义的距离矩阵相比较，该度量捕获内容、时间、转变和编辑相似性。此外，聚类技术可以用于识别类似手术工作流的组。可以应用模式识别技术来确定在执行外科手术时发现的相关联方法。可以使用聚类效率和分类评估度量来识别最佳距离度量、算法和相关联参数。使用此分析，识别数据集中的每个手术服务提供者已经采用的关键方法。例如，可以使用具有编辑相似性度量的谱聚类来分析数据集。编辑距离可以使用例如动态时间扭曲、Levenshtein、最佳字符串对准和Damerau Levenshtein的技术来计算。或者，可以计算图形距离并且将图形距离用于分析。可以使用邻接、图形匹配或其他此类技术来计算图形距离。此外，还可以计算设定距离并且将设定距离用于分析数据集。可以使用诸如Jaccard、Chi-Squared等技术来计算设定距离。

在一个或多个示例中，计算多种类型的距离度量。不同的距离测量可以表示工作流之间的不同类型的变化。在一些示例中，构建距离矩阵以分析整个输入数据集。下面在图6中示出用于执行图5的框508的聚类的过程的示例。在完成框508处的处理之后，处理在框510和512处继续。

在图5的框512处，使用可以指示不同方法的子序列和子字符串标识确定对于每个组唯一的最佳手术方法。手术方法可以通过手术工作流中出现的子串和子序列识别。在框514处，医学专家使用众所周知的医学术语连同对于每种方法唯一的进一步医学见解理解临床意义来命名手术方法。每组内检测到的方法可以指示用于各种外科手术的方法的差异或变化。例如，可以识别表示例如但不限于解剖学上自上而下方法、结肠后吻合方法和系统方法的方法的各种群集。

在框510处，通过计算距离矩阵的UMap表示，在三维(3D)中可视化手术变化，如例如下面在图8中所示。可视化中的每个点是手术工作流，并且在空间中更靠近在一起的工作流越来越相似。数据集中的结构可以通过用无监督聚类标签在群集中着色或阴影化来可视化，所述无监督聚类标签由系统应用以区分群集(例如，“方法1”或“组1”等)。应注意，相同的方法可以用于在二维(2D)中可视化距离矩阵。另外，一个群集可以具有多种方法。

图5中所示的处理并不旨在指示将以任何特定顺序执行操作或将在每种情况下包括图5中所示的所有操作。另外，图5中所示的处理可以包括任何适当数量的附加操作。

现在转到图6，根据一个或多个方面总体上示出用于使用聚类算法将手术工作流分组成类似工作流的方法508的流程图。在图6的框602处，计算在图5的框506处的处理之后保留在数据集中的所有手术工作流对之间的距离度量，并且将该距离度量存储在距离矩阵中。

简化示例包括五个外科手术工作流或病例，每个分割成多个阶段。“A”、“B”、“C”和“D”各自表示外科手术的不同阶段。如下所示，将手术工作流0分割成包括“ABCDADB”的阶段的有序序列。“ABCDADB”是手术工作流0的符号表示。

现在转向示例，其中分析包括五个手术工作流的数据集。在此示例中，阶段包括阶段A、B、C和D并且顺序如下：

手术工作流0：A B C D A B D，

手术工作流1：A B C B D A B D，

手术工作流2：A B C B A B D，

手术工作流3：D A D B AB C，以及

手术工作负荷4：D A D C B A B C。

可以使用Levenshtein距离计算距离度量，Levenshtein距离是用于测量两个序列之间的差异的度量。两个单词或序列之间的Levenshtein距离是将一个单词改变为另一个单词所需的单字符编辑(插入、删除或替换)的最小数目。在此示例中，使用Levenshtein距离计算的距离矩阵产生：

	手术工作流0	手术工作流1	手术工作流2	手术工作流3	手术工作流4
						手术工作流0	0	1	1	5	5
手术工作流1	1	0	1	5	5
						手术工作流2	1	1	0	4	4
手术工作流3	5	5	4	0	1
						手术工作流4	5	5	4	1	0

在框502处计算的距离矩阵可以存储在例如图4的手术工作流数据库402中。

在图6的框604处，使用频谱聚类来使用所计算的距离矩阵对类似工作流进行聚类或分组。继续示例，基于上述距离矩阵，手术工作流可以分为两个群集，第一群集包括：

手术工作流0：A B C B A B D，

手术工作流1：A B C B D A B D，以及

手术工作流2：A B C B A B D；

第二群集包括：

手术工作流3：D A D B AB C，以及

手术工作流4：D A D C B A B C。

现在转到图7，总体上示出示例性手术工作流阶段子串和子序列的框图700。在图7中，每个方框表示一个阶段，并且一行方框表示外科手术或手术工作流。按操作顺序描述阶段，并且根据阶段的类型为块分配视觉属性。例如，“空肠造瘘术”被描绘为“A”，“胃空肠造瘘术”被描绘为“B”，并且“肠系膜缺损闭合术”被描绘为“C”。在其他显示示例中可以使用其他视觉属性，例如不同颜色或不同阴影、或不同形状的图形。

匹配子串包括相同顺序的相同连续阶段。子串识别块702包括四个手术工作流，每个包括子串“ABCDE”。匹配子序列包括相同顺序的相同阶段，但是该阶段不需要是连续的。图7的子序列识别块704包括四个手术工作流，每个包括子序列“ABCDE”。

转到示例，如下确定在图6的框606处确定的两个度量。在每个群集中识别最长唯一子串。第一群集包括两个子串：“ABD”和“ABC”；并且第二群集包括两个子串：“BABC”和“DAD”。第一个子串中的子串“ABC”从计算中删除，因为它同时出现在第一群集和第二群集中，也就是说，该字串对它所来自的群集来说不是唯一的。第一群集中的最长唯一子串是长度为3的“ABD”，第二群集中的最长唯一子串是长度为4的“BABC”。

接下来，根据本文所描述的技术解决方案的方面，针对每个群集计算最大唯一子序列。第一群集包括以下子序列：“ABCD”、“ABCBD”、“ABCAD”和“ABCABD”；并且第二群集包括以下子序列：“DADBC”、“DADBBC”、“DADBAC”和“DADBABC”。在这种情况下，所有子序列对于它们所来自的群集是唯一的，因此没有一个子序列被排除在考虑范围之外。通常存在许多候选子序列，并且可以通过去除也是其他子序列中的子序列的子序列，留下通常称为最大子序列的子序列来减少这些候选子序列。这导致每个群集少得多的子序列。第一群集中的最大唯一子序列是“ABCABD”，并且第二子序列中的最大唯一子序列是“DADBABC”。最长唯一子串和最大唯一子序列的组合可以用于定义给定群集中的方法。

在图6的框606处，确定最佳聚类超参数。根据本发明的一个或多个实施方案，要优化的聚类超参数是k，即，将数据划分成的聚类的数目。用于确定k的常用方法是使用间隙统计，但是这不能以其原始形式应用于顺序数据。为了将间隙统计应用于手术工作流数据，需要生成随机手术工作流作为参考数据集进行比较。根据本发明的一个或多个实施方案，马尔可夫链模型用于从数据学习转变概率，然后生成参考数据集的随机序列。一旦生成参考数据集，就可以针对k的多个值绘制间隙函数，并且使用表达式：Gap(k)>＝Gap(k+1)-标准误差来识别要使用的值k。图11描绘间隙曲线1100的示例，其中k的值匹配突出显示的标准。可以选择k的最小或第二小的值并且其表示不同的可能细节级别。

根据本文所描述的技术解决方案的方面，图6中示出的处理包括计算距离测量以创建用于数据集中的工作流的距离矩阵。还使用聚类算法来找到数据集中的结构。距离矩阵可以由图4的手术变化可视化模块406根据距离矩阵所属的组或群集使用降维技术和着色数据可视化，以便突出显示手术服务提供者所使用的方法之间的差异。在一些示例中，距离矩阵以帮助人类操作者解释的格式(例如，视觉表示描绘。可以经由例如图4的显示设备410的显示设备向用户可视化或显示距离矩阵和/或群集。

图6中所示的处理并不旨在指示操作将以任何特定顺序执行，或图6中所示的所有操作将包括在每种情况中。另外，图6中所示的处理可以包括任何适当数量的附加操作。

现在转到图8，根据一个或多个方面总体上示出手术方法的可视化800。图8中所示的可视化800是可以例如在图4的显示设备410上显示的数据集中的工作流的距离矩阵的UMap表示。UMap表示仅仅是可以由本发明的一个或多个实施方案利用的距离矩阵可视化的一个示例。可以利用的其他表示可以包括但不限于：MDS、t-SNE和Voronoi图。将每个手术工作流阴影化，以例如基于在图5的框508中执行的处理来指示它属于哪个组。如图8中所示，向这些组提供通用标签：方法1、方法2、方法3、方法4、方法5和方法6。应注意，一个聚类组可以具有多种方法。可视化中的每个点是手术工作流，并且在空间中更靠近在一起的工作流越来越相似。尽管图8中示出的可视化800是黑白的，但是应当理解，可视化可以是彩色的并且包括任何类型的图形。数据集中的结构可以通过用无监督聚类标签在群集中着色或阴影化来可视化，所述无监督聚类标签由系统应用以区分群集(例如，“方法1”或“组1”等)。

现在转到图9，根据一个或多个方面总体上示出不同手术提供者所使用的手术方法的可视化900。图9中所示的可视化900可以例如显示在图4的显示设备410上。如图9中所示，将可视化900中的点阴影化以指示哪个手术服务提供者(在这种情况下，医院)执行手术。图9中所示的可视化900可以用于识别手术服务提供者所使用的不同方法。

图12中所示的可视化1200示出每个群集的七个最频繁的工作流。已突出显示最大模式以提供更多上下文。此外，根据各方面，通过添加由无阴影正方形的存在指示的间隔来对准工作流，使得每一列总是包含相同的阶段。还显示那些工作流所表示的群集的累积百分比。为了可视化构成手术方法的所识别子序列或子串，可以使用图12的可视化1220。群集中最常见的工作流按顺序显示，并且突出显示构成方法中的子序列或子串的阶段。以此方式，可以清楚地看到集群中的特征阶段和排序。此外，群集之间的方法的差异也是可见的，从而允许描述工作流变化。

分别在图8、图9、图12、图13、图14、图15和图16中所示的可视化800 900 12001300 1400 1500 1600以及图17的键1700是可以生成并显示给用户的类型的示例。图17描绘将在可视化800 900 1200 13001400 1500 1600中所示的阴影与手术阶段关联的键1700。根据各方面，输出所识别的手术方法的图形表示(或其他数据)以在显示设备上显示。可以经由图形表示的用户界面接收用户输入，并且可以输出包括例如使用所识别的手术方法中的一个或多个的提供者的第二图形表示以在显示设备上显示。以此方式，可视化是交互式的并且可以基于来自用户的输入来修改。本领域技术人员将理解，基于用于输出到图4的显示设备410的手术工作流数据的内容，图4的手术变化可视化模块408可以提供包含不同数据并且以不同格式的任何数量的不同可视化。

本文所描述的技术解决方案的各方面提供确定手术方法与手术服务提供者之间的相关性的能力。因此，可以确定并且在一些情况下可视化服务提供者之间的变化。此外，对于每个医院，可以确定所使用的主要手术方法以及每个医院/方法的关键区别。例如，可以分析手术数据集以确定对于由医院4执行的病例：空肠造瘘术比胃空肠造瘘术晚得多；此外，肠系膜缺损闭合术在手术的中间和结束时完成。

本文所描述的技术解决方案的各方面比较使用若干度量针对所有病例对定义的距离矩阵，该若干度量捕获内容、时间、转变和编辑相似性。另外，聚类技术可以用于对相似手术工作流的组进行分类。应用模式识别技术以确定在执行外科手术时发现的相关联方法。使用聚类效率和分类评估度量来识别最佳距离度量、算法和相关联参数。使用此分析，可以识别数据集中的每个手术服务提供者已经利用的关键方法。

本文所描述的技术解决方案便于计算和使用编辑距离度量来从多机构数据集识别手术上有意义的方法，即使具有细粒度注释。数据集中的医院可以具有所识别的两个或更多个不同的方法，而不知道为什么选择一种方法而不是另一种方法的原因。此外，本文所描述的技术解决方案可以便于识别手术方法及其与(外科手术/阶段的)持续时间和手术结果的相关性。

分析和标准化手术实践的一个基本步骤是了解手术工作流对临床结果测量的影响。手术工作流是指在手术情况下执行手术目标的顺序。病例之间的噪声和微小变化可能导致手术病例数据集中难以处理的数量的工作流。本文所描述的技术解决方案提供一种用于提取少量手术方法以表示工作流数据集的方法。可以将每个手术病例可以分割成手术目标以获得工作流。可以使用Levenshtein距离来计算工作流之间的所有成对距离，并且可以应用谱聚类来找到相似病例的群集，期望每个群集具有其自己的特征方法。群集的数目可以通过具有由马尔可夫链提供的参考空模型的间隙统计来确定。然后可以使用与自定义唯一性约束相组合的顺序模式挖掘来为每个群集提取关键方法。

本文所描述的技术解决方案可以在聚类数据集中识别关键方法，其中每一群集由独特方法表征。熟悉手术的医学专业人员可以评估特征方法以描述每个集群的主要临床特征。可以使用本发明的一个或多个实施方案来客观地量化外科工作流与患者结果之间的关系，从而实现包括外科干预的可测量改进的技术解决方案。本发明的一个或多个实施方案提供一种方法，该方法根据病例的手术工作流对病例进行聚类，并且允许对这些集群进行标记和描述。然后，这些关键手术方法可以用于分析对结果数据的任何潜在影响。

本文所描述的技术解决方案用于通过客观地量化手术工作流与患者结果之间的关系来提供手术干预中的可测量改进。如本文所描述，病例被聚类到它们的手术工作流，并且这些集群可以在临床上解释。特征手术工作流可以用于分析对结果数据的任何潜在影响。

现在转到图10，根据一个方面总体上示出计算机系统1000。计算机系统1000可以是电子计算机框架，该电子计算机框架包括和/或采用利用各种通信技术的任意数量和组合的计算设备和网络，如本文所描述。计算机系统1000可以容易地升级、扩展和模块化，具有改变到不同服务或独立于其他特征重新配置一些特征的能力。计算机系统1000可以是例如服务器、台式计算机、膝上型计算机、平板计算机或智能手机。在一些示例中，计算机系统1000可以是云计算节点。可以在由计算机执行的例如程序模块的计算机可执行指令的一般情况下描述计算机系统1000。一般来说，程序模块可以包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、逻辑、数据结构等。可以在分布式云计算环境中实践计算机系统1000，其中任务由通过通信网络链接的远程处理设备执行。在分布式云计算环境中，程序模块可以位于包含存储器存储设备的本地和远程计算机系统存储介质两者中。

如图10中所示，计算机系统1000具有一个或多个中央处理单元(CPU)1001a、1001b、1001c等(统称为或一般称为处理器1001)。处理器1001可以是单核处理器、多核处理器、计算集群或任何数量的其他配置。处理器1001(也称为处理电路)经由系统总线1002耦合到系统存储器1003和各种其他组件。系统存储器1003可以包括一个或多个存储器设备，例如只读存储器(ROM)1004和随机存取存储器(RAM)1005。ROM 1004耦合到系统总线1002并且可以包括基本输入/输出系统(BIOS)，该基本输入/输出系统控制计算机系统1000的某些基本功能。RAM是耦合到系统总线1002以供处理器1001使用的读写存储器。系统存储器1003在操作期间为所述指令的操作提供临时存储空间。系统存储器1003可以包括随机存取存储器(RAM)、只读存储器、快闪存储器或任何其他合适的存储器系统。

计算机系统1000包括耦合到系统总线1002的输入/输出(I/O)适配器1006和通信适配器1007。I/O适配器1006可以是与硬盘1008和/或任何其他类似组件通信的小型计算机系统接口(SCSI)适配器。I/O适配器1006和硬盘1008在本文中统称为大容量存储设备1010。

用于在计算机系统1000上执行的软件1011可以存储在大容量存储设备1010中。大容量存储设备1010是可由处理器1001读取的有形存储介质的示例，其中软件1011存储为用于由处理器1001执行以使计算机系统1000操作的指令，例如在下文中关于各个附图所描述。本文中更详细地讨论计算机程序产品的示例和这种指令的执行。通信适配器1007将系统总线1002与可以是外部网络的网络1012互连，使得计算机系统1000能够与其他此类系统通信。在一个方面中，系统存储器1003和大容量存储设备1010的一部分共同地存储操作系统，该操作系统可以是用于协调图10中所示的各种组件的功能的任何适当操作系统。

附加的输入/输出设备被示为经由显示适配器1015和接口适配器1016连接到系统总线1002。在一个方面中，适配器1006、1007、1015和1016可以连接到经由中间总线桥(未示出)连接到系统总线1002的一个或多个I/O总线。显示器1019(例如，屏幕或显示监测器)通过显示适配器1015连接到系统总线1002，该显示适配器可以包括用于改进图形密集型应用程序的性能的图形控制器以及视频控制器。键盘、鼠标、触摸屏、一个或多个按钮、扬声器等可以经由接口适配器1016互连到系统总线1002，该接口适配器可以包括例如将多个设备适配器集成到单个集成电路中的超级I/O芯片。用于连接例如硬盘控制器、网络适配器和图形适配器的外围设备的合适I/O总线通常包括公共协议，例如外围组件互连(PCI)。因此，如图10中所配置，计算机系统1000包括呈处理器1001形式的处理能力、包括系统存储器1003和大容量存储设备1010的存储能力、例如按钮、触摸屏的输入装置，以及包括扬声器1023和显示器1019的输出能力。

在一些方面中，通信适配器1007可以使用例如互联网小型计算机系统接口等任何合适的接口或协议来发射数据。网络1012可以是蜂窝网络、无线电网络、广域网(WAN)、局域网(LAN)，或互联网等。外部计算设备可以通过网络1012连接到计算机系统1000。在一些示例中，外部计算设备可以是外部网络服务器或云计算节点。

应理解，图10的框图并非旨在指示计算机系统1000将包括图10中所示的所有组件。相反，计算机系统1000可以包括图10中未示出的任何适当的更少或附加的组件(例如，附加的存储器组件、嵌入式控制器、模块、附加的网络接口等)。此外，本文中关于计算机系统1000描述的方面可以用任何适当逻辑实现，其中如本文中所提及的逻辑在各种方面中可以包括任何合适硬件(例如，处理器、嵌入式控制器或专用集成电路等)、软件(例如，应用程序等)、固件，或硬件、软件和固件的任何合适组合。

下文关于示例性数据集描述识别手术视频中的特征手术工作流的附加方面。下文或上文所描述的任何方面可以与任何其他方面组合以识别手术方法中的变化。

分析和标准化手术实践的一个基本步骤是了解手术工作流对临床结果测量的影响。手术工作流是单个手术病例中的手术阶段的顺序。病例之间的变化可以导致数据集中难以处理的数量的工作流，因此提出一种用于提取表征数据集的关键工作流的方法。

以下示例包括包含366个腹腔镜Roux-en-Y胃旁路术病例的数据集，每个病例被分割成手术阶段以获得工作流。根据各方面，结合谱聚类使用Levenshtein距离来找到相似病例的组，期望每个群集具有其自己的特征工作流。群集的数目由具有由马尔可夫链所提供的参考模型的间隙统计确定。与唯一性约束相组合的顺序模式挖掘被用于为每个群集提取特征工作流。

本文所描述的本发明的各方面识别数据集中的每个集群的特征工作流。这些特征手术工作流由熟悉手术的医学背景人士进行评估以描述主要的临床特征。本文所描述的各方面提供根据病例的手术工作流对病例进行聚类并使得这些群集能够在临床上进行解释的方法。特征手术工作流可以用于分析对手术结果的影响。

Roux-en-Y胃旁路手术是在递送和结果方面高度可变的手术的示例。识别递送中的偏差可以有助于使行为标准化并且减少低效率，从而提高全球护理质量。

外科手术可以由不同粒度水平的手术过程模型(SPM)表示，并且如本文所述，称为工作流的SPM包括手术阶段的有序序列。本发明的一个或多个方面的目的是从不同数据集识别相似工作流的组，并且提取定义这些组的特征工作流。这可以降低将手术工作流与例如患者结果的关键成功指标相关联的复杂性以及时间和成本效率。

在示例中使用的数据集包括366个腹腔镜Roux-en-Y胃旁路术病例，该病例用覆盖无间隙病例的整个持续时间的手术阶段注释。应用使用Levenshtein距离的谱聚类以对工作流进行聚类。使用间隙统计来选择集群的最佳数量。间隙统计的现有公式无法直接应用于序列数据，并且如本文所描述，使用马尔可夫链模型生成用于此目的的参考数据集。

继续示例，一旦已经将数据集分成集群，就使用频繁顺序模式(FSP)挖掘从每个集群内的手术工作流提取频繁顺序模式。对于高度可变的数据集，所得FSP集合可能很大并且难以解释。此外，许多FSP较短，出现在大多数工作流中，并且对定义单个群集特有的特征不感兴趣。

出于此原因，在一个或多个方面中，定义唯一性分数以识别群集的特征工作流：唯一性(FSPk,Ck)＝支持(FSPk,Ck)/支持(FSPk,X)，其中FSPk是群集k中的频繁顺序模式，Ck是群集k中的工作流集合且X是工作流的全集。当FSPk仅在其自己的群集Ck中具有支持时，此分数为1，而当FSPk不具有支持时，此分数为0。因此，使用唯一性阈值u_min来定义唯一FSP，即集群的特征工作流。

在此示例中，间隙统计选择群集的最佳数目为k＝4。应注意，间隙函数可以再次上升，以指示嵌套子群集的存在，这在此示例中当k＝8时对于数据发生。

对于k＝4在图13中总结群集的特性并且对于k＝8在图14中总结群集的特性。图13描绘根据一个或多个方面的当存在四个群集时的可视化1300的示例，并且图14描绘根据一个或多个方面的当存在八个群集时的可视化1400的示例。此示例中的大多数群集具有大量封闭FSP及唯一FSP，然而，过滤到最大唯一FSP产生每群集可管理的数目。对于k＝4，在图15和16中示出每个群集的最大唯一FSP。另外，在图15和16中显示每个群集中的前7个最频繁观察的工作流。

可以对图15的可视化1500和图16的可视化1600进行以下观察。在群集1和4中观察到的手术方法从上到下穿过患者解剖结构。在这种自上而下方法中，首先执行与胃相关的阶段，随后执行与肠相关的阶段。相反，群集2中的方法从上到下穿过患者解剖结构。群集3中的工作流遵循在胃与肠之间交替的方法。可以通过观察群集2进行另一观察。在一些工作流中，看到两个另外的阶段：“创建结肠系膜窗口”和“取出Roux肢”。这两个阶段与结肠后吻合方法相关，这是首次引入Rouxen-Y胃旁路术时的主要方法。

本文所描述的一个或多个方面识别腹腔镜Roux-en-Y胃旁路术视频数据集中的特征手术工作流。咨询熟悉手术的人员以阐明特征模式。发现这些群集对应于临床上不同的Roux-en-Y胃旁路术方法，每个群集包含主要方法的微小变化。对嵌套子群集的进一步研究能够将工作流分成包含在Roux-en-Y胃旁路术的结肠方法之后的工作流的一个群集和包含在前结肠方法之后的工作流的其他群集。

在手术工作流的数据集中找到临床上有意义的结构的能力为将工作流与患者结果以及成本和效率测量联系起来的研究铺平道路。这又是标准化手术和关于最佳手术实践的讨论的基础。

本发明可以是处于任何可能的技术细节集成级别的系统、方法和/或计算机程序产品。计算机程序产品可以包括其上具有用于使处理器执行本发明的各方面的计算机可读程序指令的计算机可读存储介质(或多个计算机可读存储介质)。

计算机可读存储介质可以是能够保存和存储指令以供指令执行设备使用的有形设备。计算机可读存储介质可以是例如但不限于，电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或前述项的任何合适的组合。计算机可读存储介质的更具体示例的非穷尽列表包括以下项：便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备，例如穿孔卡或其上记录有指令的凹槽中的凸起结构，以及上述项的任何合适的组合。如本文所使用的计算机可读存储介质不应被解释为瞬态信号本身，例如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如，通过光纤电缆传递的光脉冲)、或通过导线传输的电信号。

本文所描述的计算机可读程序指令可以从计算机可读存储介质下载到相应计算/处理设备，或经由例如互联网、局域网、广域网和/或无线网络的网络下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光传输光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或网络接口从网络接收计算机可读程序指令，并且转发计算机可读程序指令以存储在相应计算/处理设备内的计算机可读存储介质中。

用于执行本发明的操作的计算机可读程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、用于集成电路系统的配置数据，或以一种或多种编程语言的任何组合编写的源代码或目标代码，该编程语言包括例如Smalltalk、C++等的面向对象的编程语言以及例如“C”编程语言或类似编程语言的过程编程语言。计算机可读程序指令可以完全在用户计算机上执行、部分在用户计算机上执行、作为独立的软件包执行、部分在用户计算机上且部分在远程计算机上执行，或完全在远程计算机或服务器上执行。在后一种情境下，远程计算机可以通过任何类型的网络，包括局域网(LAN)或广域网(WAN)连接到用户的计算机，或可以连接到外部计算机(例如，使用互联网服务提供商通过互联网连接)。在一些方面中，包括例如可编程逻辑电路系统、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)的电子电路系统可以通过利用计算机可读程序指令的状态信息来执行计算机可读程序指令以使电子电路系统个性化，以便执行本发明的方面。

本文参考根据本发明的各方面的方法、装置(系统)和计算机程序产品的流程图和/或框图来描述本发明的各方面。应理解，流程图和/或框图中的每个框以及流程图和/或框图中的框的组合可以由计算机可读程序指令实现。

可以将这些计算机可读程序指令提供到通用计算机、专用计算机或其他可编程数据处理装置的处理器以产生机器，使得经由计算机或其他可编程数据处理装置的处理器执行的指令创建用于实现在流程图和/或一个或多个框图块中指定的功能/动作的装置。这些计算机可读程序指令也可以存储在计算机可读存储介质中，该计算机可读存储介质可以指导计算机、可编程数据处理装置和/或其他设备以特定方式起作用，使得其中存储指令的计算机可读存储介质包括制品，该制品包括实现流程图和/或一个或多个框图块中指定的功能/动作的方面的指令。

还可以将计算机可读程序指令加载到计算机、其他可编程数据处理装置或其他设备上，以使在该计算机、其他可编程装置或其他设备上执行一系列操作步骤产生计算机实现的过程，使得在该计算机、其他可编程装置或其他设备上执行的指令实现流程图和/或一个或多个框图块中指定的功能/动作。

附图中的流程图和框图示出了根据本发明的各个方面的系统、方法和计算机程序产品的可能实现方式的架构、功能和操作。在这方面，流程图或框图中的每个框可以表示指令的模块、区段或部分，其包括用于实现指定逻辑功能的一个或多个可执行指令。在一些替代实现方式中，在框中提到的功能可以不按照在附图中提到的顺序发生。例如，根据所涉及的功能，连续示出的两个框实际上可以基本上同时执行，或这些框有时可以相反的顺序执行。还将注意，框图和/或流程图的每个框以及框图和/或流程图中的框的组合可以由基于专用硬件的系统实现，该基于专用硬件的系统执行指定功能或动作，或执行专用硬件和计算机指令的组合。

已经出于说明的目的呈现本发明的各个方面的描述，但是这些描述并不旨在穷举或限制于所公开的方面。在不脱离所描述的方面的范围和精神的情况下，许多修改和变化对于本领域普通技术人员来说将是显而易见的。选择本文所使用的术语以最佳地解释这些方面的原理、实际应用或对市场中发现的技术的技术改进，或使所属领域的其他技术人员能够理解本文所描述的方面。

本文参考相关附图描述本发明的各个方面。在不脱离本发明的范围的情况下，可以设计本发明的替代方面。在以下描述和附图中的元件之间阐述各种连接和位置关系(例如，上方、下方、相邻等)。除非另有说明，否则这些连接和/或位置关系可以是直接的或间接的，并且本发明并不意图在这方面进行限制。因此，实体的耦合可以指直接或间接耦合，并且实体之间的位置关系可以是直接或间接的位置关系。此外，本文所描述的各种任务和过程步骤可以并入具有本文未详细描述的附加步骤或功能的更全面程序或过程中。

下面的定义和缩写用于解释权利要求和说明书。如本文所使用，术语“包括(comprises/comprising)”、“包含(includes/including)”、“具有(has/having)”、“含有(contains/containing)”或其任何其他变体旨在涵盖非排他性的包括。例如，包括元素列表的组合物、混合物、过程、方法、制品或装置不必仅限于那些元素，而是可以包括未明确列出的或此类组合物、混合物、过程、方法、制品或装置所固有的其他元素。

另外，本文中使用术语“示例性”来表示“充当示例、例子或说明”。本文中描述为“示例性”的任何方面或设计不一定理解为比其他方面或设计优选或有利。术语“至少一个”和“一个或多个”可以被理解为包括大于或等于一的任何整数，即，一个、两个、三个、四个等。术语“多个”可以被理解为包括大于或等于二的任何整数，即，两个、三个、四个、五个等。术语“连接”可以包括间接“连接”和直接“连接”。

术语“约”、“基本上”、“大致”以及其变体旨在包括与基于提交本申请时可用的装备的具体量的测量相关联的误差程度。例如，“约”可以包括给定值的±8％或5％或2％的范围。

为了简洁起见，与制备和使用本发明的方面相关的常规技术可以在本文中详细描述或不详细描述。特别地，实现本文所描述的各种技术特征的计算系统和特定计算机程序的各个方面是公知的。因此，为了简洁起见，本文仅简要提及或完全省略许多常规实现细节，而不提供众所周知的系统和/或过程细节。

应当理解，本文所公开的各个方面可以与说明书和附图中具体呈现的组合不同的组合进行组合。还应该理解，取决于示例，本文描述的过程或方法的任一者的某些动作或事件可以以不同的顺序执行，可以完全添加、合并或省略(例如，执行这些技术可能不需要所有描述的动作或事件)。另外，尽管为清楚起见，本公开的某些方面被描述为由单个模块或单元执行，但应当理解，本公开的技术可以通过与例如医疗设备相关联的单元或模块的组合来执行。

在一个或多个示例中，描述的技术可在硬件、软件、固件或它们的任何组合中实现。如果在软件中实施，则功能可作为一个或多个指令或代码存储在计算机可读介质上并且由基于硬件的处理单元执行。计算机可读介质可包括非暂时性计算机可读介质，其对应于有形介质，诸如数据存储介质(例如，RAM、ROM、EEPROM、闪存存储器，或可用于存储指令或数据结构形式的期望程序代码并且可由计算机访问的任何其他介质)。

指令可以由例如一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其他等同的集成或离散逻辑电路系统的一个或多个处理器执行。因此，如本文所用的术语“处理器”可指前述结构或适合于实施所描述的技术的任何其他物理结构中的任一种。另外，本技术可在一个或多个电路或逻辑元件中完全实现。

Claims (20)

1.一种系统，所述系统包括：

机器学习训练系统，所述机器学习训练系统包括一个或多个机器学习模型，所述一个或多个机器学习模型被训练成识别外科手术的视频中的多个手术阶段；和

数据分析系统，所述数据分析系统被配置为在捕获相同类型的外科手术的多个视频中识别不同手术方法，其中识别不同手术方法包括：

接收多个手术视频，所述多个手术视频中的每一个手术视频捕获相同类型的外科手术的工作流；

基于由所述机器学习训练系统识别的手术阶段将所述多个手术视频中的每一个手术视频分割成多个手术阶段；

将所述多个手术视频中的每一个手术视频中的每一分段表示为符号；

对所述多个手术视频的符号表示进行聚类以形成具有类似工作流的手术视频组；以及

将所述组输出到显示设备以供显示，其中每一组表示不同手术方法。

2.根据权利要求1所述的系统，其中识别不同手术方法还包括将与所述手术视频或组中的一个或多个相关联的手术服务提供者的指示输出到所述显示设备以供显示。

3.根据权利要求2所述的系统，其中所述手术服务提供者是医院。

4.根据权利要求2所述的系统，其中所述手术服务提供者是医生。

5.根据权利要求2所述的系统，其中识别不同手术方法还包括将不同手术服务提供者所采用的手术方法的比较输出到所述显示设备以供显示。

6.根据权利要求1所述的系统，其中聚类包括：

计算所述多个手术视频的每一对之间的距离度量；

将所计算的距离度量存储在距离矩阵中；以及

至少部分地基于所述距离矩阵对类似工作流进行分组。

7.根据权利要求1所述的系统，其中识别不同手术方法还包括将标签添加到所述不同手术方法中的每一个手术方法并且将所述标签输出到所述显示设备。

8.一种计算机实现的方法，所述计算机实现的方法包括：

由处理器接收多个手术视频，所述多个手术视频中的每一个手术视频捕获相同类型的外科手术的工作流并且将所述多个手术视频中的每一个手术视频分割成手术阶段；

由所述处理器将所述多个手术视频分组为类似工作流的组，所述分组至少部分地基于所述手术视频中的每一个手术视频的所述手术阶段；以及

由所述处理器识别对于所述组中的每一个组唯一的手术方法，识别至少部分地基于所述手术视频中的每一个手术视频的所述手术阶段。

9.根据权利要求8所述的计算机实现的方法，所述计算机实现的方法还包括标记所述唯一手术方法中的每一个手术方法。

10.根据权利要求8所述的计算机实现的方法，其中分组包括应用聚类技术。

11.根据权利要求10所述的计算机实现的方法，其中应用聚类技术包括：

计算所述多个手术视频的每一对之间的距离度量；

将所计算的距离度量存储在距离矩阵中；以及

至少部分地基于所述距离矩阵对类似工作流进行分组。

12.根据权利要求11所述的计算机实现的方法，所述计算机实现的方法还包括确定用于所述多个手术视频的最佳聚类超参数。

13.根据权利要求8所述的计算机实现的方法，所述计算机实现的方法还包括由所述处理器将所述类似工作流的组中的所述工作流的图形表示和所识别的手术方法输出到显示设备。

14.根据权利要求13所述的计算机实现的方法，其中所述图形表示识别与所述工作流中的每一个工作流相关联的手术服务提供者。

15.一种计算机程序产品，所述计算机程序产品包括其上存储有计算机可执行指令的存储器设备，所述计算机可执行指令在由一个或多个处理器执行时使所述一个或多个处理器执行操作，所述操作包括：

可视化由服务提供者在执行外科手术时使用的不同手术方法，可视化包括：

接收多个手术视频，所述多个手术视频中的每一个手术视频捕获执行所述外科手术的服务提供者的工作流；

将所述多个手术视频聚类为类似工作流的群集；

识别对于所述群集中的每一个群集唯一的手术方法；以及

将所识别的手术方法的图形表示输出到显示设备。

16.根据权利要求15所述的计算机程序产品，其中可视化还包括：

经由所述图形表示的用户界面接收用户输入；以及

响应于所述用户输入，将第二图形表示输出到所述显示设备，所述第二图形表示包括使用所识别的手术方法的提供者。

17.根据权利要求15所述的计算机程序产品，其中可视化还包括：

经由所述图形表示的用户界面接收用户输入；以及

响应于所述用户输入，将第二图形表示输出到所述显示设备，所述第二图形表示包括描述所识别的手术方法中的每一个手术方法的标签。

18.根据权利要求15所述的计算机程序产品，其中可视化还包括：

经由所述图形表示的用户界面接收用户输入；以及

响应于所述用户输入，将第二图形表示输出到所述显示设备，所述第二图形表示包括描述服务提供者或患者中的一者或两者的特性的附加信息。

19.根据权利要求15所述的计算机程序产品，其中所述多个手术视频中的每一个手术视频均各自分割成手术阶段，并且聚类至少部分地基于所述手术阶段。

20.根据权利要求15所述的计算机程序产品，其中聚类包括：

计算所述多个手术视频的每一对之间的距离度量；

将所计算的距离度量存储在距离矩阵中；以及

至少部分地基于所述距离矩阵对类似工作流进行分组。