CN111226288B - 用于对外科手术视频分段的系统和方法 - Google Patents

用于对外科手术视频分段的系统和方法 Download PDF

Info

Publication number
CN111226288B
CN111226288B CN201880067999.8A CN201880067999A CN111226288B CN 111226288 B CN111226288 B CN 111226288B CN 201880067999 A CN201880067999 A CN 201880067999A CN 111226288 B CN111226288 B CN 111226288B
Authority
CN
China
Prior art keywords
video
surgical
bookmark
bookmarks
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880067999.8A
Other languages
English (en)
Other versions
CN111226288A (zh
Inventor
J.巴拉尔
M.哈贝克
A.克鲁明斯
M.莱文
T.泰塞雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Verily Life Sciences LLC
Original Assignee
Verily Life Sciences LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Verily Life Sciences LLC filed Critical Verily Life Sciences LLC
Publication of CN111226288A publication Critical patent/CN111226288A/zh
Application granted granted Critical
Publication of CN111226288B publication Critical patent/CN111226288B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot

Abstract

公开了用于对外科手术视频分段的系统和方法。一种示例方法包括由计算设备的处理器接收外科手术视频，该外科手术视频包括外科手术过程的至少一系列视频帧；响应于接收到视频帧的标识，由处理器基于视频帧生成书签；由处理器将书签与视频帧相关联；以及由处理器将书签存储在非暂时性计算机可读介质中。

Description

用于对外科手术视频分段的系统和方法
技术领域
本公开一般涉及用于执行外科手术的系统，并且特别但非专门地，涉及用于对外科手术视频分段的系统和方法。
背景技术
机器人或计算机辅助外科手术使用机器人系统来辅助外科手术过程。机器人外科手术是作为一种克服预先存在的外科手术治疗的限制(例如，与外科医生的手相关联的空间限制、人类移动固有的不稳定性以及人类工作产品的不一致性等)的方法而发展起来的。近年来，该领域在限制切口大小和缩短患者恢复时间方面取得了巨大进步。
在开放式外科手术的情况下，机器人控制的器械可以代替传统的工具来执行外科手术运动。反馈控制的运动可以允许比人类执行的外科手术步骤更平滑的外科手术步骤。例如，使用外科机器人进行诸如肋骨扩张的步骤，与由外科医生的手执行的步骤相比，可能对患者的组织造成更少的损伤。此外，外科手术机器人可以通过需要较少的步骤来完成手术过程，从而减少在手术室的时间量。
然而，机器人外科手术可能仍然受到与传统外科手术相关联的限制。例如，外科医生可能仍然需要查看外科手术视频，以便适应手术过程。外科医生可能需要几天或几周的时间来查看足够的片段，以便精通特定类型的手术。
发明内容
描述了用于对外科手术视频分段(segmenting)的系统和方法的各种示例。用于对外科手术视频分段的一种示例方法包括：由计算设备的处理器接收外科手术视频，该外科手术视频包括外科手术过程的至少一系列视频帧；响应于接收到视频帧的标识，由该处理器基于视频帧生成书签；由该处理器将书签与视频帧相关联；以及由该处理器将书签存储在非暂时性计算机可读介质中。
用于对外科手术视频分段的另一示例方法包括接收外科手术视频和至少一个书签，每个书签标识外科手术视频内的不同视频帧；接收第一书签的标识；接收提取外科手术视频的一部分的指示；提取外科手术视频的该部分，外科手术视频的该部分在第一书签处开始；以及将外科手术视频的该部分存储在非暂时性计算机可读介质中。
用于对外科手术视频分段的另一示例方法包括接收包括搜索参数的搜索命令，该搜索参数包括以下之一：(i)外科手术过程的步骤、(ii)外科手术过程的子步骤、或(iii)外科手术过程的事件；访问多个外科手术视频的书签信息；使用搜索参数标识多个书签，所述多个书签中的每个书签与外科手术视频之一相关联；以及响应于搜索命令提供所述多个书签的子集。
用于对外科手术视频分段的一种示例系统包括非暂时性计算机可读介质；以及与所述非暂时性计算机可读介质通信的处理器，该处理器被配置为执行存储在非暂时性计算机可读介质中的处理器可执行指令，以：接收外科手术视频，该外科手术视频包括外科手术过程的至少一系列视频帧；响应于接收到视频帧的标识，基于视频帧生成书签；将书签与视频帧相关联；以及存储书签。
用于对外科手术视频分段的另一示例系统包括：非暂时性计算机可读介质；处理器，与所述非暂时性计算机可读介质通信并被配置为执行存储在该非暂时性计算机可读介质中的处理器可执行指令，以：接收外科手术视频和标识外科手术视频中的不同视频帧的多个书签；接收多个书签中的第一书签的标识；接收提取外科手术视频的一部分的命令；提取外科手术视频的该部分，外科手术视频的该部分在视频帧处开始；以及将外科手术视频的该部分存储在非暂时性计算机可读介质中。
用于对外科手术视频分段的又一示例系统包括：非暂时性计算机可读介质；以及处理器，与该非暂时性计算机可读介质通信并被配置为执行处理器可执行指令，以：接收包括搜索参数的搜索命令，该搜索参数包括以下之一：(i)外科手术过程的步骤、(ii)外科手术过程的子步骤、或(iii)外科手术的事件；访问多个外科手术视频的书签信息；使用搜索参数标识多个书签，所述多个书签中的每个书签与外科手术视频之一相关联；并且响应于搜索命令提供所述多个书签的子集。
用于对外科手术视频分段的一种示例性非暂时性计算机可读介质包括处理器可执行指令，被配置为使得处理器：接收外科手术视频，该外科手术视频包括外科手术过程的至少一系列视频帧；响应于接收到视频帧的标识，基于视频帧生成书签；将书签与视频帧相关联；以及存储书签。
用于对外科手术视频分段的另一示例性非暂时性计算机可读介质包括处理器可执行指令，被配置为使得处理器：接收外科手术视频和标识外科手术视频内的不同视频帧的多个书签；接收多个书签中的第一书签的标识；接收提取外科手术视频的一部分的命令；提取外科手术视频的该部分，外科手术视频的该部分在视频帧处开始；以及将外科手术视频的该部分存储在非暂时性计算机可读介质中。
用于对外科手术视频分段的又一示例性非暂时性计算机可读介质包括：接收包括搜索参数的搜索命令，该搜索参数包括以下之一：(i)外科手术过程的步骤、(ii)外科手术过程的子步骤、或(iii)外科手术过程的事件；访问多个外科手术视频的书签信息；使用搜索参数标识所述多个书签，所述多个书签中的每个书签与外科手术视频之一相关联；并且响应于搜索命令提供所述多个书签的子集。
提及这些说明性示例不是为了限制或限定本公开的范围，而是为了提供示例来帮助理解本公开。在提供进一步描述的具体实施方式中讨论了说明性示例。通过查看本说明书，可以进一步理解各种示例提供的优点。
附图说明
并入并构成本说明书的一部分的附图说明了一个或多个特定示例，并且与示例的描述一起用于解释特定示例的原理和实施方式。
图1-2和图3A-3B示出了用于对外科手术视频分段的示例系统；
图4和图5示出了用于对外科手术视频分段的示例图形用户界面；
图6显示了用于对外科手术视频分段的示例元数据；
图7示出了用于对外科手术视频分段的示例分层书签信息；
图8、图9A-9B和图10A-10B示出了用于对外科手术视频分段的示例图形用户界面；
图11示出了用于对外科手术视频分段的示例系统；
图12A-12B示出了用于搜索外科手术视频的示例图形用户界面；
图13-14示出了用于对外科手术视频分段的示例方法；
图15示出了用于搜索外科手术视频片段的示例方法；和
图16示出了适用于根据本公开的系统和方法的示例计算设备。
具体实施方式
在用于对外科手术视频分段的系统和方法的环境下，在本文中描述了示例。本领域普通技术人员将认识到，以下描述仅是说明性的，并且不旨在以任何方式进行限制。现在将详细参考如附图所示的示例的实施方式。相同的参考标记将在所有附图和以下描述中用于指代相同或相似的项目。
为了清楚起见，没有示出和描述本文中描述的示例的所有常规特征。当然，应当理解，在任何这种实际实施方式的开发中，必须做出许多特定于实施方式的决定，以便实现开发者的特定目标，诸如符合与应用和业务相关的约束，并且这些特定目标将随着实施方式的不同以及开发者的不同而不同。
大多数外科手术需要几个小时才能完成，并且相应的视频太长以至于不可能再次被完整地查看。此外，虽然查看这种视频可能是学习技术、查看意外事件或评估手术过程中所犯错误的有价值的方法，但是搜索单个视频以获得相关信息是乏味的，并且需要手动快进或快倒(通常称为“浏览(scrubbing)”)。一旦感兴趣的视频被识别到，就可以使用传统的视频编辑工具从完整的视频中手动提取感兴趣的视频，诸如通过手动选择起点和终点并使用该工具来提取视频片段。然而，如果从同一原始视频中提取到多个视频片段作为对特定手术过程感兴趣的，则必须分开管理和维护几个不同的文件(诸如在文件系统的文件夹中)，并且如果外科医生想要以后查看原始视频的这些不同部分，则她必须手动选择每个单独的视频并且彼此独立地观看它们。类似地，与其他人共享视频需要通过电子邮件或批量文件传输发送提取的视频或提供视频在线副本的链接。
为了减轻外科医生的负担，否则外科医生可能需要手动处理他们自己的视频或他们访问的其他外科手术视频，说明性系统使得各种技术能够允许外科医生或机器学习(“ML(machine learning)”)技术快速对外科手术视频内的点加入书签(bookmark)、共享这些书签、使用书签从完整视频中摘录(多个)视频，以标识外科手术过程的类型以及外科手术过程内感兴趣的步骤、子步骤或事件。这种技术可以允许外科医生更有效地查看外科手术视频、改进他们的外科手术技术、评估错误和纠正动作或训练需求，或者搜索视频的语料库以获得外科手术视频的特定部分，诸如特定类型外科手术过程的特定步骤或在一个或多个外科手术过程期间发生的事件。
该示例中的该说明性系统包括能够访问外科手术视频(诸如来自一个或多个机器人手术系统(每个是“RSS(robotic surgical system)”))的视频处理服务器。RSS在各种外科手术过程期间记录来自一个或多个内窥镜相机的视频，在本地存储视频，并且然后将视频传输到远程存储设备，或者在相应的外科手术过程期间，RSS可以将视频流式传输到远程储存器。
视频处理服务器包括几种经训练的ML技术，这些ML技术能够识别不同类型的外科手术过程，并且当被呈现新的外科手术视频时，能够对视频进行分类以用于进一步处理。ML技术还能够标识可以用于这种外科手术过程的外科手术步骤。在该示例中，在外科手术过程的类型已经被标识之后，已经针对该外科手术过程类型训练的第二ML技术然后被用于标识在视频内采取的不同步骤。第二经训练的ML技术输出表示手术过程的不同步骤开始和结束的时间的时间戳。在从第二经训练的ML技术接收到该信息之后，视频处理服务器生成书签，并将书签作为元数据插入到视频文件内。每个书签包括外科手术过程的相应步骤的名称和指示相应步骤的开始的时间戳。
一旦外科手术视频已经被加入书签，它可以通知参与手术过程的外科医生(或多个外科医生)该视频已经被处理并且可用于查看。此时，外科医生可以经由网络门户界面访问经处理的视频。该网络门户为外科医生提供她过去外科手术过程的视频，并且还提供了对医疗中心、医院网络等内可用的其他外科手术视频的访问。
当外科医生第一次访问新加入书签的视频时，她被呈现将屏幕的一部分用于视频本身的界面。此外，该界面还为视频提供了可以用于在视频中进行浏览的时间线。时间线还包括指示由视频处理服务器应用的书签中的每一个的标记。外科医生可以选择书签来跳转到视频的对应部分，并且观看被加入书签的视频片段。默认情况下，标记是未被标记的，但是如果外科医生将光标悬停在标记上，则将显示关联的外科手术步骤。外科医生还可以选择在视频中显示书签列表和相应的信息，诸如外科手术步骤的名称和外科手术步骤在视频内开始的时间戳。
除了直接导航到感兴趣的视频片段之外，书签还可以用于进一步操纵视频。例如，如果外科医生希望与同事共享视频的片段，她可以选择一个书签或多个书签，并且选择“共享”选项来生成给同事的消息，该消息包括对视频和书签的引用。然后，该消息将允许接收者跳转到视频内的被加入书签的位置。
可替换地，外科医生可以通过选择相应的书签并选择提取视频的(多个)片段的选项来选择视频的一个或多个片段。然后，片段可以单独(或共同)与同事共享，诸如通过经由社交媒体或多媒体消息传递服务将它们附加到电子邮件或直接消息，或者简单地保持在服务器上以用于外科医生(或其他人)查看，诸如通过存储片段并将每个片段与源视频相关联。此外，还可以基于视频片段的源视频、与每个视频片段相关联的书签信息(例如，步骤、子步骤、事件等)、以及执行外科手术过程的一个或多个外科医生，对视频片段进行索引以用于搜索。
该说明性的示例为外科手术视频的创建和使用提供了许多好处。例如，该示例系统可以帮助希望获得特定类型外科手术过程的训练的外科医生，以及对出现的任何问题的术后分析，或者评估外科医生(诸如医科学生、住院医生等)的表现。此外，通过使用ML技术来执行外科手术视频的预处理，可以使视频变得有用，而不需要使外科医生负担手动查看数小时的外科手术视频以发现感兴趣的事件或外科手术过程的不同步骤、或者提取该视频并与同事或学生共享该视频。
给出该说明性示例是为了向读者介绍本文中讨论的一般主题，并且本公开不限于该示例。以下部分描述了用于对外科手术视频分段的系统和方法的各种附加的一个或多个非限制性示例。
现在参考图1，图1示出了用于对外科手术视频分段的示例系统100。系统100包括外科手术机器人121(包括一个或多个臂141)、相机101、光源103、计算设备107、显示器111、网络131(表示一个或多个网络)、麦克风112和数据储存器133，数据储存器133包括存储在外科手术过程期间收集的视频、音频和其他数据的一个或多个非暂时性计算机可读介质。如图所示，外科手术机器人121可以用于持有外科手术器械(例如，每个臂141可在臂的远端持有器械)并执行外科手术、诊断疾病、进行活组织检查或进行医生或外科医生可执行的任何其他过程。外科手术器械可以包括手术刀、镊子、能量工具(例如，用于烧灼组织)、相机(例如，相机101)等。虽然该示例性外科手术机器人121仅具有三个臂141，但是应当理解，该外科手术机器人121仅仅是代表性的说明，并且取决于要执行的外科手术的类型等，外科手术机器人121可以采取任意数量的形状，包括任意数量的臂或工具等。外科手术机器人121可以通过有线或无线方式耦合到计算设备107、网络131和/或数据储存器133。此外，外科手术机器人121可以(无线地或通过有线连接)耦合到用户输入设备，以接收来自外科医生或医生的指令。合适的用户输入设备包括触敏屏、操纵杆、脚踏板、手持设备或控制器等，并且可以包括用于控制外科手术机器人121的一个或多个外科手术工具或者例如经由触敏显示器与计算设备107交互的任何输入设备。
计算设备107和计算设备107的用户可以位于非常靠近外科手术机器人121和患者的位置(例如，在同一房间内)，或者可以位于相距数英里的位置(诸如在远程外科手术的情况下)。因此，外科手术机器人121可以用于在专家远离患者数英里的地方的情况下执行外科手术，并且来自外科医生的指令通过互联网或另一网络(例如，安全网络)(诸如网络131)发送。可替换地，外科医生可以是本地的，并且可以使用一个或多个输入设备(诸如踏板(pedal)、操纵杆等)手动控制外科手术机器人121。
在所描绘的实施例中，数据储存器133可以被包括在连接到互联网的一个或多个服务器中，一般称为“云”服务器或“云”存储。可替换地，数据储存器133可以是位于手术室或外科手术中心的本地存储(诸如硬盘驱动器、固态存储器等)。数据储存器133可以耦合到网络131，网络131可以包括互联网或局域网。应当理解，数据储存器133和网络131可以被认为是计算设备107的一部分。因此，在一些示例中，计算设备107可以是分布式系统。网络131和数据储存器133可以向计算设备107提供逻辑，该逻辑在被计算设备107执行时使得系统100执行各种操作。可替代地或附加地，计算设备107可以包括通用计算机的处理器和存储器。
在所描绘的实施例中，具有一个或多个显示器111和麦克风112的计算设备107耦合到外科手术机器人121。如图所示，相机101被耦合以捕获外科手术视频。外科手术视频包括在外科手术过程期间捕获的视频，诸如用外科手术机器人121执行的视频。计算设备107从相机接收包括在相机处或由相机生成的任何关联的元数据的视频信号，并且将该视频信号存储在视频文件中，或者在计算设备107处本地存储，或者流式传输到远程服务器(诸如云储存器)。此外，在该示例中，计算设备107向(多个)显示器111提供视频信号，(多个)显示器111在执行外科手术过程期间显示视频，从而使得外科医生能够查看外科机器人121采取的动作。在一些示例中，(多个)显示器111可以包括能够接收触摸输入并向计算设备107提供触摸输入信号的一个或多个触敏显示器，该一个或多个触敏显示器可以用于选择触敏显示器上的选项或在触敏显示器上执行手势(包括多点触摸手势)。
在接收到外科手术视频之后，或者实时地或者在整个视频已经被捕获之后，计算设备107然后通过分析外科手术视频或关联的元数据中的至少一个来识别外科手术视频中的片段，并且计算设备107用注释来注释外科手术视频以标识片段中的每一个。在该示例中，计算设备107采用ML技术来识别外科手术过程并标识外科手术过程的片段或步骤。可以训练任何合适的ML技术(诸如卷积神经网络(“CNN(convolutional neural network)”)、长短期记忆(“LSTM(long short-term memory)”)技术、动态时间扭曲(“DTW(dynamic timewarping)”)技术、隐马尔可夫模型(“HMM(hidden Markov model)”)或一种或多种这种技术的组合—例如，CNN-LSTM、CNN-HMM或MCNN(Multi-Scale Convolutional Neural Network，多尺度卷积神经网络))来识别不同的外科手术过程。然后，外科手术视频可以与注释一起输出到显示器111。这可以允许外科手术视频的查看者快速识别和查看视频的相关部分。此外，它还可以提供可以用于进一步训练一个或多个ML技术的被注释的视频馈送(video feed)。
现在参考图2，图2示出了用于对外科手术视频分段的示例系统200。在该示例中，系统200包括内窥镜251(包括相机201)、计算设备207、显示器211、网络231和储存器233。如图所示，相机201布置在内窥镜251的远端(与近端相对)。照明源也可以布置成从远端发射光。内窥镜251耦合到计算设备207，以将外科手术视频265输出到计算设备207。类似于图1所示的示例系统100，计算设备207耦合到网络231和储存器233。计算设备207还耦合到显示器211，以输出时间分段的、被注释的视频馈送(在视频265的播放栏上用标记1-6示出)。
在该示例中，内窥镜251可以在内窥镜手术等期间捕获视频(并且因此对于一些示例可以被认为是“外科手术工具”)，诸如包括来自患者肺部上的外科手术的视频的视频265。计算设备207在外科手术期间从相机201接收视频信号(该视频信号表示视频帧)，并且使用一个或多个ML技术对接收到的视频在时间上进行分段和注释。在该示例中，当接收到视频信号时，分段和注释基本上实时执行；然而，在一些示例中，可以接收视频并将其存储在计算设备107本地或者储存器233远程的非暂时性计算机可读介质中，并且在外科手术过程完成之后，可以通过一个或多个ML技术来处理视频。应当理解，实时处理视频可能在计算上是昂贵的，并且随着捕获的视频的分辨率而增加，因此，为了减轻一些计算负担，计算设备107可以不处理每个接收到的视频帧，而是可以周期性地采样视频帧。例如，计算设备207可以每秒采样一帧，并且将该帧提供给ML技术进行处理。在其他示例中，计算设备207可以以更高的速率或者在每一帧上执行初始预处理，以确定帧是否具有感兴趣的特征存在，并且如果具有感兴趣的特征存在，则计算设备207可以开始处理每一帧或者从视频馈送增加其采样率(例如从1帧/秒增加到10帧/秒)或者甚至处理每一个接收到的视频帧。
例如，计算设备207可以执行初始预处理(诸如预处理一个或多个视频帧)，以确定由相机201捕获的场景自最后处理的帧以来是否已经显著改变。例如，如果外科医生已经暂停外科手术过程以查看患者记录、与同事协商或更换外科手术机器人中的工具，则计算设备207可以检测到两个连续处理的视频帧基本相同，这意味着帧内任何外科手术工具的位置或方向没有改变。可以接收指示在连续帧之间可能没有视频变化的其他输入。例如，如果在两个帧之间没有从任何外科手术机器人控制器接收到输入(例如，没有踩下踏板并且没有检测到手持控制器输入)，外科医生已经将UI视图从内窥镜视频改变为患者信息等，则计算设备207可以确定场景可能没有改变并且因此可能不参与对采样视频帧的进一步处理。这种预处理可以减少计算设备207的计算负担，潜在地使得能够采用其他功能(诸如对来自外科手术过程的先前捕获的视频分段或注释等)。可替换地，ML技术可以检测视频帧中的感兴趣的特征，这可以导致对视频帧执行进一步的处理，或者增加视频帧被采样以用于由一个或多个ML技术处理的速率。感兴趣的特征可以包括被ML技术识别为指示外科手术过程的新步骤、外科手术过程的新的子步骤或外科手术过程内的识别到的事件的视频帧。
例如，如果检测到出血事件，则计算设备207可以增加采样率以处理可能捕获出血事件和外科医生对该事件的任何响应的更多的帧。这些帧可以被处理以潜在地捕获事件期间发生的其他事件或子步骤。可替换地，计算设备可以用元数据来注释一个或多个帧，而不是实时处理这种帧，其中该元数据指示在外科手术过程完成之后应该处理这些帧。因为检测到的感兴趣的特征可能在其中检测到感兴趣的特征的帧之前已经开始，所以这种注释可以包括在检测到的感兴趣的特征之前的帧上的注释。因此，计算设备可以实时围绕潜在事件生成注释窗口，但是节省了计算上昂贵的处理，直到外科手术过程完成之后。
除了使视频采样或实时处理适应外科手术期间发生的事件之外，这种检测到的事件也可以作为对外科医生的附加信息在显示器211上实时指示。例如，出血事件可以视觉上指示，诸如在检测到的出血上用文本显示或图形覆盖物、用指向出血的箭头等。在一些示例中，外科手术过程的检测到的步骤可以在显示器上呈现给外科医生以用于参考的目的。此外，在一些示例中，外科医生可以提供确认检测到的步骤实际上正在发生的一个或多个输入，或者可以提供指示检测到的步骤不正确的输入。这种信息可以用于注释视频或进一步训练一个或多个ML技术，诸如存在于计算设备207或云服务器中的ML技术。
应当理解，虽然上面讨论的示例系统200包括在手术室内本地存在的计算设备207，但是在一些示例中，采用远程服务器(诸如一个或多个云服务器)的其他配置可能是合适的。例如，外科手术视频可以通过网络231从相机201流式传输到远程服务器进行处理和存储，或者流式传输到可以执行以上讨论的功能的某些方面的远程外科手术站。
现在参考图3A-3B，图3A示出了用于对外科手术视频分段的示例系统300。示例系统300包括示出功能组件的框图。该系统包括作为外科手术机器人(未示出)的一部分的相机310。相机310连接到计算设备320，计算设备320具有一个或多个ML技术322a-n(其中n是ML技术的数量，并且可以是任何正整数)。计算设备从相机310接收视频信号，并且将视频的一个或多个采样帧提供给ML技术322a-n中的一个或多个。例如，计算设备320可以将所有视频信号引导到一个或多个ML技术322a-n，一个或多个ML技术322a-n然后单独采样离散帧以进行处理，或者计算设备320可以采样视频信号并将某些帧提供给(多个)ML技术322a-n以进行处理。计算设备320还将视频信息保存到数据储存器330，该视频信息可以包括未处理或未注释的视频，或者可以包括已经由一个或多个ML技术322a-n处理或注释的视频。虽然在该示例中数据储存器330被示为直接连接到计算设备320，但是应当理解，数据储存器330可以是云数据储存器、或者连接到远程服务器的数据储存器。
图3B示出了示例系统350，其是图3A所示系统300的变体。在该示例中，计算设备320不具有ML技术322a-n，而是从相机接收视频信号并经由一个或多个网络370向远程计算设备360传输视频信息。远程计算设备360采用ML技术322a-n来处理或注释视频信息(如本文中将更详细讨论的)，然后将视频信息存储在数据储存器330中。因此，在一些示例中，由相机310捕获的视频从外科手术过程远程处理。还可以采用其他示例配置。例如，相机310可以经由一个或多个网络370将视频信号传输到远程计算设备360，而不使用本地计算设备320。
现在参考图4，图4示出了根据用于对外科手术视频分段的示例系统的示例图形用户界面(“GUI(graphical user interface)”)400。将相对于图1所示的示例系统100来讨论该示例GUI 400，但是应当理解，可以采用根据本公开的任何合适的系统。
图4所示的GUI 400由计算设备107运行的应用提供；然而，在一些示例中，GUI 400可以由远程计算设备提供为网络门户，诸如相对于图11在下面讨论的系统1100中的服务器1140。在一些示例中，GUI 400可以由在计算设备(诸如图11所示的用户设备1110、1120或移动设备1130)上运行的本地应用提供。基于网络门户的GUI 400可以使远程用户终端(例如，用户终端1110-1120或移动设备1130)处的用户能够与示例GUI 400(以及本文中讨论的其他示例GUI)进行交互。该示例GUI 400被显示在显示屏411上，并为用户提供与外科手术视频471交互的界面。GUI 400包括视频窗口410，其中视频窗口410包括播放/暂停416b视频471以及分段向前/向后跳转按钮416a、416c的回放控件416a-c。视频时间线412用光标414示出，其中光标414示出了时间线中的视频471的当前帧，其可以用于浏览(scrub)视频471。此外，五个书签422a-e位于时间线412上对应于视频471的帧的位置处。书签可以用于快速跳转到视频471的特定帧。此外，向前/向后跳转按钮416a、416c可以用于在表示视频471的不同片段的、连续的书签之间跳转。
除了允许外科手术视频471的回放之外，GUI 400还提供关于视频的目录信息420，其中目录信息420包括标题、主要外科医生以及手术的日期和时间。此外，还可以包括任何其他合适的目录信息，包括患者信息、外科手术机器人信息(例如，工具配置、制造商、型号等)、医疗中心信息等。此外，GUI 400提供编辑430书签、提取440一个或多个视频片段、共享450视频片段或观看460视频的选项。最后，GUI 400提供搜索470其他外科手术视频的选项。这些特征被示出为GUI内的按钮，但是可以替代地(或附加地)呈现在视频窗口410内的上下文敏感菜单416内。可以例如通过在视频内右击或通过在时间线上右击一个或多个书签422a-e来访问这种上下文敏感菜单416。将在本公开的以下部分中更详细地描述这些特征中的每一个。
现在参考图5，图5示出了根据用于对外科手术视频分段的示例系统的示例GUI500。将相对于图1所示的示例系统100来讨论该示例GUI 500，但是应当理解，可以采用根据本公开的任何合适的系统。
该示例中的GUI 500提供了对外科手术视频分段的功能。该GUI包括包含显示外科手术视频471的视频窗口510的几个用户界面(“UI”)组件。视频窗口410包括视频时间线412和可以用于手动浏览视频471的光标414。还提供了包括暂停、片段向前跳转和片段向后跳转的视频控制416a-c。此外，还提供了“撤消”和“重做”编辑控件518a-b来撤消或重做书签改变。可以看出，视频时间线412包括已经由处理外科手术视频471的ML技术应用的五个书签422a-e。
视频窗口410中所示的书签422a-e中的每一个也在视频窗口410左侧的书签编辑器窗口520中被复制。书签编辑器窗口520允许用户查看关于每个书签的详细信息并编辑每个书签的一个或多个属性。在该示例中，GUI 500允许用户为每个书签422a-e提供名称，编辑每个书签422a-e在视频内的位置，查看与每个书签相关联的确切时间戳，添加或删除书签，或者指定外科手术过程524的类型。此外，GUI 500允许用户返回到先前的GUI屏幕来选择不同的功能。
如上所述，在计算设备107接收到视频之后，一个或多个帧被提供给ML技术以确定外科手术过程类型或标识外科手术过程中的步骤、子步骤或事件。因此，(多个)ML技术可以对视频应用一个或多个注释，诸如书签。因此，当用户使用GUI 500第一次访问外科手术视频时，书签(诸如书签422a-e)可以被预先填充，并且可以立即用于用户定制或使用。在该示例中，ML技术创建了四个书签422a-d，并且将视频471识别为胃旁路外科手术。此外，ML技术识别与四个书签422a-d中的每个书签相对应的步骤并为每个书签插入步骤名称，这些步骤名称在书签编辑器窗口520中是可见的。用户还选择添加了新书签的选项并创建了新书签422e。然后，GUI 400向用户呈现输入与新书签422e相对应的步骤、子步骤或事件的名称的选项，并且用户将输入步骤名称作为“闭合肠系膜缺损”(如图8所示)。用户也可以通过选择相应的时间戳并输入新的时间来编辑对应于任何书签的时间。
而GUI 500提供书签编辑器窗口520以允许用户创建、删除和修改书签。用户还可以在相对于该详细描述描述的任何示例GUI中直接与视频窗口410内的书签422a-e交互。例如，用户可以诸如通过触摸书签或在书签上移动鼠标光标并点击按钮来选择书签，以跳转到视频471的被加入书签的帧。用户还可以通过选择书签并将书签沿着时间线412拖到新位置来编辑书签的位置。在一些示例中，拖动书签也可以浏览视频，以便用户接收对书签移动的即时反馈，然而在一些示例中可能不采用这种特征(或者可以由用户可选地启用或禁用)。一旦用户完成了编辑书签，她可以通过返回到图4所示的GUI 400来保存修订。
在该示例中，系统100将书签保存为与(多个)外科手术视频文件相关联的元数据。保存书签可以由明确的用户命令发起，诸如通过按下“保存”按钮，或者系统100可以在用户编辑现有书签时自动保存对现有书签的改变，同时仍然允许用户撤销任何不期望的编辑。
现在参考图6，图6示出了与图4-5所示的外科手术视频471相关联的示例元数据600。元数据600可以被存储在一个或多个外科手术视频文件中，或者可以被存储为与外科手术视频文件相关联的单独文件。该关联可以由伴随元数据文件的文件名生成或维护，例如，通过使用与关联的视频文件相同的文件名但具有不同的扩展名。例如，如果外科手术视频的视频文件被称为外surgery_video.mp4，则元数据文件可以被命名为surgery_video.book以指示该文件是书签文件。在一些示例中，可以通过在元数据本身内包括(多个)关联的视频文件的名称来生成或维护该关联，如图6所示。
在该示例中，元数据600是使用标记语言创建的。注释是在标签“video_annotations”中建立的，并且包括具有关联的元数据的多个不同的标签。与注释相关联的视频由<video>标签610标识。在这种情况下，关联的视频由文件名标识；然而，在一些示例中，它可以由完整路径和文件名来标识，或者由其他标识信息(诸如统一资源定位符(“URL(uniform resource locator)”)、标识号等)来标识。
除了关联的视频文件之外，元数据600还包括标识视频612的类型和子类型的信息以及某些其他信息(诸如视频的标题、(多个)外科医生的(多个)姓名、外科手术的日期和时间等)。这种信息可以用于索引视频文件以用于以后搜索，或者用于在播放视频时作为关于视频的信息呈现(诸如在图4-5所示的GUI 400、500中)。例如，再次参考图4，目录信息420提供从元数据中提取的信息中的一些，包括标题、外科医生姓名、外科手术日期和外科手术时间。剩余的元数据已被摄取(ingest)，但可能不会在其中显式显示。例如，类型和子类型信息612已经被解析和摄取，但是没有显示在GUI 400内，然而如果用户选择执行对其他外科手术视频的搜索，则类型和子类型信息612可以用于自动填充一个或多个搜索字段。
再次参考图6，除了上面讨论的信息之外，元数据600包括描述五个书签622a-622e的元数据，其中五个书签622a-622e对应于图4和5所示的示例GUI 400、500中所示的书签422a-e。可以看出，每个书签都是由<bookmark></bookmark>标签对建立的。每个书签包括定义相应书签的信息。例如，书签622a包括四个标签：“step”标签624、“name”标签625、“begin”标签626和“end”标签627。
在该示例中，“step”标签624表示视频中所示的外科手术步骤。“step”标签本身具有为胃旁路型外科手术的特定步骤定义的预设标准化值。因此，系统100包括不同的标准化外科手术类型(例如，Gastric_Bypass)，该标准化外科手术类型具有关联的标准化步骤(例如，Bypass_Pouch_Create)。因此，当为Gastric_Bypass外科手术视频创建新的书签时，用户或系统100可以选择标准化步骤中的一个来与书签相关联。这种标准化使得能够一致地标识外科手术视频和外科手术视频内的步骤，并且可以实现一致的搜索结果。
应当理解，“step”标签是书签元数据中的可选标签。书签可以在视频中的任何点任意创建，并且不需要绑定到特定的步骤，然而在一些示例中可能希望将书签仅限制在标准化的步骤、子步骤或事件。此外，可以采用其他类型的标签，诸如如上所述的<sub-step>或<event>标签。可以使用这种标签代替“step”标签来标识与相应书签相关联的子步骤或事件。并且，虽然在该示例中，系统100采用标准化的外科手术类型和子类型、步骤、子步骤和事件，但是在一些示例中，这些标签中的任何一个或全部可以包括用户定义的信息，该用户定义的信息对于一些用户或所有用户可以是标准化的，或者可以不是标准化的。
再次参考书签622a，书签622a还包括包含关于书签622a的进一步信息的“name”、“begin”和“end”标签。该示例中的“name”标签存储书签的名称，该名称可以被显示在GUI400、500中。例如，用户可以将光标悬停在书签422a上，或者可以按下并保持在书签422a，这可以使得GUI 400、500显示存储在“name”标签中的信息。可替换地，用户可以被呈现外科手术视频内可用的书签列表，该书签列表可以包括每个显示的书签的相应名称。
“begin”和“end”标签包括视频内的时间戳，并且可以用于标识视频471中与书签相关联的特定帧。“begin”标签626指示书签622a在视频471中的位置以及在视频时间线412上显示书签422a的视觉指示符的位置。因此，如果用户调整书签的位置，它可以改变由“begin”标签存储的值。虽然该示例中的begin标签使用分钟和秒来指定视频帧，但是也可以使用其他格式。例如，begin标签可以使用(小时):分钟:秒.帧来指定帧号。例如，如果视频以每秒24帧记录，则“begin”标签可以表示为3:02.14，表示视频中3:02标记之后的第15个帧，其中帧被编号为0到23。根据不同的示例，还可以采用其他帧编号惯例。
“end”标签表示与书签622a相关联的视频片段的结束。因此，根据一些示例，书签可以表示单个帧或视频片段。如果书签具有进一步嵌入的书签，则可以使用“end”标签。例如，可以以层级建立书签，以便标识步骤、该步骤的一个或多个子步骤，或者在该步骤期间发生的一个或多个事件。因此，“end”标签可以明确地指示步骤的结束，而附加的子(child)书签可以在由书签建立的视频片段内定义。可替换地，在一些示例中，当到达同一层级的另一个书签时，一个视频片段可以默认结束。
现在参考图7，图7示出了根据一个示例的外科手术视频的示例书签层级700。在该示例中，层级在具有四个步骤710-740的外科手术视频处开始。步骤1(step 1)(710)具有两个子步骤712、714和事件716。此外，子步骤2(sub-step 2)(714)具有两个进一步的子步骤714.1-714.2。类似地，步骤2(720)具有关联的事件722。步骤3-4(step3-4)(730-740)不具有任何子步骤。这种子步骤和事件可以使用类似于下面摘录的元数据来表示：
Figure BDA0002455615240000161
Figure BDA0002455615240000171
采用这种层级书签可以实现外科手术视频的更丰富的注释，并且更容易导航到视频中感兴趣的片段。此外，层级书签可以允许在视频的时间线上或在伴随的导航窗口中折叠和展开书签。
例如，参考图8，图8示出了用于对外科手术视频分段的示例GUI 800。在该示例中，GUI 800为外科手术视频提供回放功能。GUI 800向图4所示的视频窗口410提供回放控件416a-c。另外，类似于图4中所示的示例性GUI 400，视频时间线412包括用户可以选择以立即跳转到视频471中的特定帧的多个书签422a-e、820。例如，用户可以触摸(使用触敏输入设备)或者将光标移动到书签图标422a-e(每个都是带有数字或字母的圆圈)中的一个上并选择，以立即将回放光标414跳转到对应于书签的视频帧。
可替换地，用户可以从视频窗口410左侧所示的书签列表中选择一个或多个书签。在该示例中，每个书签422a-e被列出，并且包括书签的相应描述以及视频内的相应时间戳。用户可以选择列表中的任何书签来跳转到视频471的相应帧。可替换地，用户可以选择多个书签(诸如通过在选择书签的同时按住CTRL键)，然后可以从第一个(时间上)书签开始连续播放外科手术视频，以及然后无缝地前进到下一个书签，即使这将涉及跳过视频片段。例如，如果用户选择书签1、3和4(422a、c、d)并按下“播放”，则视频窗口410可以呈现在对应于书签1的帧处开始的视频(422a)，并且在到达书签2(422b)时可以跳到书签3(422c)并继续播放到书签4(422d)的末尾，此时视频可以停止或者可以在书签1处重新开始(422a)。
此外，因为书签422b具有嵌套书签‘A’(820)，所以GUI 800提供展开或折叠书签列表以显示或隐藏这种嵌套书签的选项810。当书签列表或书签列表的一部分被折叠时，只有顶层书签422a-e与展开相应顶层书签422a-e的嵌套书签820的相应选项810一起被显示在列表和时间线上。应当理解，顶层书签422a-e中的任何一个或全部可以根据层级具有嵌套书签，嵌套书签中的每一个可以被独立地展开或折叠(或者在一些示例中被全局展开或折叠)。可替换地，用户可以访问特定书签(例如，书签422b)的时间线上的展开/折叠选项，以显示或隐藏其嵌套书签(例如，书签820)。例如，用户可以触摸并保持在书签上以访问这种选项，或者用户可以右击书签以获得具有这种选项的上下文敏感菜单。因此，如图7所示，书签层级可以由元数据来表示，并且可以以多种不同的方式(包括通过使用如图8中的示例GUI 800所示的展开/折叠书签列表)来访问。
再次参考图6，诸如在书签622e中，缺少值的标签不在元数据中表示。书签622e仅包括“begin”标签，但不包括在其他书签622a-d中存在的相应的“step”、“name”或“end”标签。在该示例中，系统100读取元数据并将书签视为具有1:02:56的“begin”时间戳，但将不会标识与书签相关联的任何相应的标准化步骤或任何名称。在一些示例中，可以向用户呈现为每个这种字段输入数据的选项，然后可以使用适当的标签将该数据存储在元数据中。然而，在一些示例中，没有值的标签可能仍然存在于元数据中，但是没有数据。例如，在一些示例中，书签622e可以表示如下：
Figure BDA0002455615240000181
虽然图6中仅示出了某些类型的元数据，但是应当理解，根据不同的示例，可以采用任何合适的元数据。例如，诸如用户提供的注释(例如，注解、评论、评分信息等)的其他信息可以存储在元数据中。再次参考图5，用户可以选择“添加新书签”选项来在视频中的点处添加新书签，并在“notes”字段中向书签输入评注或反馈。这种信息然后可以存储在与书签相关联的<note></note>或<comment></comment>标签内的元数据中。其他类型的信息(诸如到另一个视频(或视频书签)的超链接(例如，<link></link>标签))可以提供与显示的视频471的比较，例如，外科手术过程的步骤的特别好或坏的示例。根据不同的示例或设计参数，还可以将其他类型的信息存储在元数据中。
现在参考图9A，图9A示出了允许用户从外科手术视频中提取一个或多个视频片段的示例GUI 900。该示例GUI 900包括相对于图4在上面描述的视频窗口400，并且提供与外科手术视频471相关联的书签列表。如上所述，对于列出的书签422a-e中的每一个，标识符位于视频时间线412上。
如上所述，外科手术视频可以在长度上持续几个小时。因此，为了仅查看视频471的特定部分，用户可以手动浏览视频以找到视频的感兴趣部分。这种过程是乏味的，并且可能限制这种外科手术视频的有用性。为了帮助解决这个问题，根据本公开的系统和方法使得用户能够通过使用与外科手术视频471相关联的书签来有效地提取特定的视频片段。如上所讨论的，可以基于识别外科手术类型和外科手术的各个步骤，通过一个或多个ML技术最初创建书签，并且用户稍后可以调整书签、添加新书签或删除现有的书签。一旦书签422a-e已经被建立并与视频471相关联，GUI 900使得用户能够采用书签来选择视频片段并提取那些片段作为离散的外科手术视频。为了使用该示例GUI 900提取一个或多个视频片段，用户选择一个或多个书签422a-e并选择“提取单独的视频片段”910或“提取单个视频”920的选项。
虽然该示例GUI 900具体示出了使用书签，但是应当理解，一些示例可能不需要使用书签来建立一个或多个视频片段。相反，一些示例可以允许用户不选择书签而选择提取视频片段的选项。然后，用户可以指定视频中的任意起点和终点来创建视频片段。然后，计算设备可以基于所提供的起点和终点提取视频片段。如果用户指定多个起点和终点，则计算设备可以然后为每对起点和终点提取视频片段。此外，任何起点也可以操作为前一片段的终点。同样，任何终点也可以操作为后一片段的起点。计算设备还可以允许用户还将起点和终点中的一个或两个作为书签建立到源视频中。
现在参考图9B，图9B示出了用户已经选择了三个书签422b-d的GUI 900。在选择书签之后，用户选择两个提取选项910、920中的一个来提取一个或多个视频片段。可替换地，用户可以打开上下文敏感菜单930(诸如通过右击时间线412内的书签422b或者触摸并保持在书签422b)，并且从菜单中选择期望的选项910、920。在该示例中，如果用户选择“提取单独的视频片段”选项910，则系统100将生成两个新的视频文件。第一视频文件将包括开始于书签2(422b)并结束于书签3(422c)的视频帧，而第二视频文件将包括开始于书签3(422c)并结束于书签4(422d)的视频帧。每个新的视频文件将基于外科手术视频471的名称被赋予默认文件名，并且包括标记视频的开始的书签的名称。例如，外科手术视频471具有文件名“GastricBypass_DrSamBrown_141120171630.mp4”。因此，第一视频文件可以被分配文件名“gastrojejunal_anastomosis_GastricBypass_DrSamBrown_141120171630.mp4”。第二视频文件可以根据相同的惯例被分配文件名。
在该示例中，提取视频还包括为提取的视频文件生成元数据，这可以包括创建新的元数据或者从外科手术视频的元数据中复制相应的元数据，并且将新的元数据与提取的视频相关联。例如，第一视频文件可以包括从图6所示的元数据600复制的信息，诸如<type>、<subtype>、<surgeon>、<date>和<time>标签，但是<video>标签可以包括相应提取的视频文件的文件名，并且<title>标签可以包括基于提取的视频的信息，例如初始书签422b的名称：<title>Gastrojejunal Anastomosis–Gastric Bypass–High BMI</title>。复制的元数据可以包括根据层级书签方案的嵌套书签的书签信息。这种复制可以保留嵌入在提取的外科手术视频471的(多个)片段中的任何书签。
作为选择“提取单独的视频片段”选项910的替代，用户可以选择“提取单个视频”选项920。在该示例中，这种选择将使得系统100生成包括开始于书签422b并结束于书签422d的所有视频帧的单个视频文件。如果选择了非连续的书签(例如422a、422c和422d)，则一些示例系统可以提取书签422a和422b之间以及422c和422d之间的视频帧，并且将它们存储在单个视频文件中。或者一些示例可以将每个选择的书签视为选择的片段，因此选择书签422a、422c和422d可以使得一些系统提取书签422a-422b、422c-422d和422d-422e之间的所有帧。根据不同的示例，可以采用更多的变化。然后，系统100还将视频帧提取到单个文件中，并且通常还如上文关于“提取单独的视频片段”选项910所述的创建与提取的视频相关联的元数据。如上所讨论的，新创建的视频文件可以包括外科手术视频471的文件名以及用于创建视频文件的书签的指示符。
因此，采用示例GUI(诸如图9A-9B所示的示例)，用户可以容易地从外科手术视频471中提取一个或多个视频片段。因为外科医生可以立即访问短视频剪辑而不是整个外科手术视频471，所以这种功能可以减轻外科医生在稍后查看外科手术时的负担。此外，外科医生可以能够更容易地获得或共享视频片段的副本，该副本的大小可能比完整的外科手术视频471小得多。
应当理解，根据该示例讨论的特定GUI 900和技术可以用不同的图形特征或界面元素以不同的方式实现；然而，这些示例都使得用户能够容易地选择视频的相关部分并将它们提取到一个或多个文件中。
现在参考图10A-10B，图10A示出了使用户能够与其他人共享外科手术视频片段的示例GUI 1000。在该示例中，如以上关于图4所讨论的，GUI 1000向用户呈现显示外科手术视频471的视频窗口410。此外，GUI 1000显示为视频建立的书签422a-e。
为了共享一个或多个视频片段，用户选择视频中的一个或多个书签422a-e并选择“共享视频片段”按钮1010，或者用户可以右击(或触摸并保持住等)以打开具有两个选项的上下文敏感菜单：仅共享视频片段、或共享具有插针(pin)的视频。在该示例中，用户选择了书签422c，并且打开了上下文敏感菜单1020，并且选择了“仅共享视频片段”的选项。
现在参考图10B，图10B示出了示例GUI 1000，在用户选择按钮1010之后，该GUI1000打开了对话框窗口1030。可以经由按钮1010或上下文敏感菜单1020访问的对话窗口1030向用户提供共享视频片段的选项。在该示例中，GUI 1000提供选择共享类型1032、选择与其共享(多个)视频片段的人1034以及选择向其发布(多个)视频片段的(多个)频道1036的选项。
“共享类型”选项反映了来自上下文敏感菜单1020的选项，并且基于用户在上下文敏感菜单1020中的选择来选择选项。如果用户选择了按钮1010，则“共享类型”选项1032将被呈现为未被选择，然而在一些示例中，一个选项默认被选择。
该示例中呈现的两个选项是“仅共享(多个)视频片段”和“共享具有插针的视频”。“仅共享(多个)视频片段”选项采用相对于图9A-9B在上面讨论的视频片段提取功能的方面。如果用户选择该选项，则基于所选择的书签如上所讨论的提取视频片段，并且然后如下将讨论的与所选择的人或频道共享。然而，如果用户选择“共享具有插针的视频”，则整个视频将与所选择的人或联系人共享，并带有视频光标414最初被设置在接收者的视频播放器处的指示符。然后，接收者可以立即从“被钉住的(pinned)”位置(例如，在特定的书签处)开始播放视频。
“发送给人”部分提供用户可以从中选择要与其共享(多个)视频片段的一个或多个人的下拉菜单。例如，用户可以从下拉列表中选择一个或多个同事、管理员等。该示例中的姓名列表由向系统100注册并被授权接收外科手术视频的用户填充。在下拉列表内，用户可以选择要与其共享(多个)视频片段的每个姓名。在一些示例中，GUI 1000还可以允许用户输入用户信息(诸如电子邮件地址、用户名或用户标识号)，以标识要与其共享(多个)视频片段的人。这种字段还可以提供自动完成功能，以允许系统在用户向字段中输入信息时呈现接收者选项。
除了共享视频人之外，或者作为替代，GUI 1000提供将(多个)视频片段发布到一个或多个频道的选项。例如，外科手术中心可以提供一个或多个在线频道，其外科医生和工作人员可以在工作时访问这些频道，以便在即将进行的外科手术之前发布或查看信息、发布评论或问题等。此外，该频道可以允许用户发布视频内容以供外科手术中心的其他人查看或评论。可替换地，该频道可以包括社交媒体站点上的视频频道(诸如
Figure BDA0002455615240000221
)，其中该视频频道可以被系统100直接访问以上传一个或多个视频片段。可以在可用频道的下拉列表中访问该频道。在一些示例中，用户还可以提供一个或多个频道的访问信息(诸如通过提供例如
Figure BDA0002455615240000222
账户的登录信息)，然后所述一个或多个频道可以提供用户的
Figure BDA0002455615240000223
频道的列表。根据不同的示例，还可以选择其他类型的频道。
在选择“共享类型”选项1032和一个或多个接收者(无论是人还是频道)之后，用户可以选择“共享”按钮来共享所选择的(多个)视频片段。然而，如果用户改变主意，她可以“取消”共享操作，并且返回到图10A所示的GUI 1000的主屏幕。
现在参考图11，图11示出了用于对外科手术视频分段的示例系统1100。图11中所示的系统1100可以适合于实现如以上相对于图10A-10B所讨论的共享视频，但是可以采用根据本公开的任何合适的系统。系统1100包括经由网络1160与服务器1140通信的两个用户站1100、1120和移动设备1130。在该示例中，网络1160是互联网，但是根据不同的示例，可以是任何合适的网络或网络的组合。服务器1140可以访问本地的数据储存器1142。外科手术机器人1170也经由网络1160连接到服务器1140。此外，服务器1140以及用户站1110、1120、移动设备1130和外科手术机器人1170可以经由网络1160访问云储存器1150。外科手术机器人1170可以在外科手术过程期间或之后将外科手术视频上传到服务器1140或云储存器1150。上传的外科手术视频可以如上所讨论的在服务器1140处被处理以提供初始书签和元数据，以及然后被存储在数据储存器1142中。
在新的外科手术视频已经被处理并存储在数据储存器1142中之后，外科手术团队可以被通知该视频已经被处理并可供访问。例如，系统1100可以给外科手术团队的每个成员发送电子邮件，或者它可以生成经由网络门户应用可用的消息，该消息指示新的外科手术视频可用。稍后，外科团队成员中的一个可以经由门户访问视频，诸如通过使用用户站1110或移动设备1130与本文中所描述的示例GUI中的一个或多个进行交互。然后，用户可以访问视频，选择要共享的一个或多个视频片段，并选择另一个用户来共享视频，如上所述。
共享命令可以经由GUI被发送到服务器1140，并且服务器1140可以基于所选择的视频片段生成一个或多个新的视频并将它们存储在数据储存器1142或云储存器1150中(如果选择了该选项)。除此之外，服务器1140可以向每个标识的接收者生成指示(多个)视频已经与他或她共享的消息，并且例如经由电子邮件或者经由网络门户应用中的消息传递特征来传输该消息。可替换地，服务器1140可以将(多个)共享视频添加到用户的网络门户账户中的共享视频列表中。然后，(多个)接收者可以经由另一个用户站(例如，用户站1120)访问网络门户，并且访问共享视频。因此，联网的示例系统1100可以在系统1100的各种用户之间提供共享能力，并且还可以与外科手术机器人1170交互以不时地获得新的外科手术视频。
现在参考图12A，图12A示出了在用于对外科手术视频分段的系统中搜索视频的示例GUI 1200。该示例GUI 1200使得用户能够基于与视频相关联的书签来搜索一个或多个外科手术视频。在该示例中，GUI 1200提供下拉列表1210-1230，以允许用户选择一个或多个外科手术过程类型1210、外科手术过程1220的一个或多个步骤、或一个或多个事件1230。下拉列表1210-1230分别填充有标准化的外科手术过程名称、步骤和事件，然而在一些示例中，也可以提供用户创建的书签。例如，如果用户将书签添加到外科手术视频并输入定制的名称(不是标准化的步骤或事件)，则系统100可以将定制的名称添加到可以被搜索的步骤的列表1220或事件的列表1230(视情况而定)中。在一些示例中；然而，标准化的步骤或事件不会被修改。相反，用户可以使用关键词搜索区域1240搜索这种定制名称。可替换地，用户可以将一个或多个关键词输入到关键词搜索区域1240中，其中该关键词搜索区域1240可以匹配与一个或多个外科手术视频相关联的元数据。这种关键词可以包括视频标题、外科医生姓名、日期、时间、医疗中心、患者标识号等。
在用户已经输入了一个或多个搜索参数(诸如外科手术过程、外科手术步骤、事件或关键词)之后，“搜索视频”按钮1250可以被启用，并且用户可以按下该按钮来启动搜索。然后，搜索结果可以呈现在搜索窗口1260中以供用户查看和选择。
现在参考图12B，图12B示出了在用户已经输入了搜索参数并按下“搜索视频”按钮1250之后的示例GUI 1200。在该示例中，用户选择“胃旁路(Gastric Bypass)”作为手术类型，选择“创建JJ吻合(Create JJ Anastomosis)”作为外科手术步骤。她没有选择任何事件或输入任何关键词进行搜索。系统100在数据储存器133上运行搜索以识别具有指示“胃旁路”作为外科手术过程类型的元数据并具有被标识为“创建JJ吻合”的外科手术步骤的任何外科手术视频。因此，在该示例中，数据储存器133至少部分基于它们各自的关联元数据来索引外科手术视频。然后，满足搜索标准的外科手术视频1262-1266被呈现在搜索窗口1260内。
该示例中的搜索窗口1260呈现每个识别到的视频的表示和关于每个识别到的视频的一些目录信息。在该示例中，从与相应的外科手术视频相关联的元数据中获得目录信息，并且显示的目录信息包括相应视频的标题、外科手术过程的主要外科医生以及外科手术日期。其他示例系统100或GUI 1200可以提供其他目录信息，或者可以提供指示识别到的视频与搜索参数的相关性分数的信息。例如，如果视频满足一些搜索参数，但不是所有搜索参数，则该视频可能接收到比满足所有搜索参数的视频更低的相关性分数。在一个示例中，相关性分数可以通过确定搜索参数的总数并将该值除以匹配搜索参数的、外科手术视频的搜索参数的数量来计算。例如，如果搜索包括四个搜索参数，并且外科手术视频匹配这四个搜索参数中的三个搜索参数，则外科手术视频可以具有75％的相关性分数。还可以采用比其他技术更多或更少地加权一个或多个搜索参数的其他技术。
在搜索结果已经呈现在搜索窗口1260中之后，用户可以选择一个或多个视频来查看。例如，用户可以双击视频以切换到图4所示的GUI 400来与视图交互，诸如通过选择“观看视频”选项460来查看视频。然后，用户可以返回到搜索结果并选择不同的视频或执行新的搜索。
现在参考图13，图13示出了用于对外科手术视频分段的示例方法1300。将相对于图1所示的示例系统100来描述该示例方法1300；然而，应当理解，可以采用任何合适的系统，诸如图2、图3A-3B或图11所示的系统。
在框1310，计算设备107从外科手术机器人121接收外科手术视频，其中该外科手术视频包括外科手术过程的一序列视频帧。在该示例中，计算设备107从相机101接收视频信号，并基于视频信号将视频帧保存到视频文件。在该示例中，视频文件被保存到本地的数据储存器133，但是在一些示例中，视频文件可以被流式传输到远程服务器或云储存器。
虽然该示例以上讨论了从外科手术机器人121接收视频信号，但是在一些示例中，计算设备107可以通过访问存储在数据储存器133中的视频文件来接收外科手术视频。例如，在外科手术结束后，计算设备107可以从数据储存器133中检索视频文件。关于在本文中讨论的另一系统1100，可以通过从数据储存器1142或云储存器1150下载一个或多个视频文件来接收外科手术视频。
在框1320，计算设备107接收外科手术视频内的视频帧的标识。在该示例中，计算设备107将接收到的外科手术视频提供给一个或多个ML技术。例如，计算设备107已经运行了被训练成基于视频帧识别外科手术过程类型的ML技术。计算设备107可以向接收到的外科手术视频的一部分或全部提供经训练的ML技术，然后该经训练的ML技术可以提供在外科手术视频中执行的外科手术过程的类型的指示。在接收到外科手术过程的类型之后，计算设备107然后可以向第二ML技术提供外科手术视频和外科手术过程的类型。第二ML技术可以被训练成基于外科手术过程的类型和接收到的外科手术视频来识别一个或多个外科手术过程的步骤。第二ML技术然后可以处理外科手术视频，并标识该视频的与外科手术过程的不同步骤的开始相关联的一个或多个帧。
例如，参考图8所示的GUI 800，计算设备107在从外科手术机器人121接收到外科手术视频471之后，通过使用第一ML技术来确定外科手术视频471是胃旁路。然后，计算设备107将外科手术视频连同该外科手术视频是胃旁路外科手术视频的指示一起提供给第二ML技术。然后，第二ML技术处理视频并识别外科手术视频471内的五个步骤和一个子步骤：(步骤1)创建囊袋、(步骤2)胃空肠吻合、(子步骤A)创建中线切口、(步骤3)测量消化道、(步骤4)创建空肠-空肠吻合、以及(步骤5)闭合肠系膜缺损。计算设备107然后从第二ML技术接收与每个识别到的步骤的开始相对应的视频内的识别到的步骤和帧的指示：
Figure BDA0002455615240000261
如上所述，小数点后的数字指示指定了特定秒内的哪一帧。外科手术视频471具有每秒24帧的帧速率，然而可以采用任何合适的帧速率。虽然上面的示例采用不同的ML技术来识别外科手术过程的类型和外科手术过程的步骤，但是应该理解，可以训练单个ML技术来识别外科手术过程的类型并识别外科手术过程的步骤、以及子步骤或事件。因此，在一些示例中，可以仅使用一个ML技术，然而在一些示例中，可以使用多个ML技术。
在一些示例中，计算设备107可以通过GUI从用户输入接收视频的标识。例如，再次参考图5，示例性GUI 500提供了使用户能够创建、移除或编辑视频中的书签的功能。为了使用GUI 500来标识视频帧，用户可以使用视频控件416a-c来手动浏览外科手术视频471，以标识感兴趣的特定帧，无论是步骤、子步骤还是感兴趣的事件的开始。然后，用户可以选择“添加新书签”选项，以向计算设备107提供外科手术视频471内的视频帧的指示。
虽然可以使用ML技术或用户输入来标识视频帧，但是也可以使用其他技术。例如，在已经针对视频标识了外科手术过程的类型之后，计算设备107可以基于与被标识的外科手术过程相关联的步骤的数量将视频分成多个等长的片段。例如，如果外科手术视频是两个小时，并且视频中的外科手术过程具有八个步骤，则计算设备107然后可以将该外科手术视频分成八个相等的片段，并且标识对应于八个片段中的每一个的开始的视频帧。例如，计算设备107可以标识0:00.0、0:15.0、0:30.0、0:45.0、1:00.0、1:15.0、1:30.0、和1:45.0处的视频帧。
在另一示例中，计算设备107可以采用指示特定外科手术视频的每一步的平均时间长度的信息来标识视频帧。例如，如果特定外科手术视频具有五个步骤，并且这些步骤平均花费12分钟、20分钟、45分钟、30分钟和6分钟，则计算设备107可以基于这些持续时间或者基于平均步骤长度与视频持续时间的比率来标识相应的帧。例如，12分钟的步长表示外科手术长度的10.6％。因此，如果外科手术视频是两个小时长，则计算设备107可以将12:43.5(对于24fps(每秒帧数))处的帧标识为第二步骤的开始。
也可以采用其他技术。例如，可以基于外科手术过程内发生的事件(诸如改变工具、检测到的事件或并发症、执行特定技术(例如，执行特定类型的缝合)或激活特定工具(例如，烧灼工具)等)来添加书签。这种事件可以通过ML技术或基于从机器人手术系统接收到的输入来标识。例如，当从外科手术机器人移除工具或者使用新工具时，外科手术机器人可以生成信号，系统100可以使用该信号来用元数据注释外科手术视频或者创建一个或多个书签。
在一些示例中，可以实时确定一个或多个视频帧。例如，在外科手术过程期间，外科医生可以标识外科手术过程的新步骤的开始。在该示例中，外科医生可能会说一些话来指示新步骤正在开始。外科医生的声音可以被系统的麦克风112捕获，并且计算设备107可以使用语音识别技术来识别外科医生的语音并识别外科手术过程中的新步骤的指示符。例如，外科医生可以说出语音命令，例如“开始新步骤”，或者他可以陈述新步骤的名称，例如“创建JJ吻合”等。计算设备107可以将这种语音识别为指示外科手术过程的新步骤，并确定相应的视频帧。例如，计算设备107可以识别与外科医生的语音输入开始的时间相对应或者与外科医生的语音输入结束的时间相对应的视频帧。此外，即使系统100不能识别语音，也可以调用这种功能。例如，系统100可以仅基于检测到但未识别到的语音的存在来标识视频帧。这可以使得能够在口说(spoken)命令指示存在值得注意的内容的前提下标识书签。
除了(或代替)语音输入，外科医生还可以执行指示外科手术过程的新步骤已经开始的手势。例如，外科医生可以用与外科手术过程的特定步骤相关联的、外科手术机器人的一个或多个用户控制来执行运动。根据不同的示例，这种用户控制可以包括手动控制、脚踏板等。诸如通过解除对外科手术工具的控制，并且然后用控制器执行移动。或者，用户可以使用触敏输入设备输入手势，例如，通过在计算设备的触摸屏111上做出手势。例如，用户可以用两个手指水平滑动以指示新步骤正在开始。检测到手势的时间可以用于标识具有相应时间戳的视频帧。在一些示例中，系统可以采用视线跟踪来监视用户的视线方向或焦点。该系统可以检测用户的视线被引导到预定位置(诸如用户界面组件)以对视频帧加入书签。虽然该示例以上提供了某些技术来标识一个或多个视频帧，但是还可以采用其他方法来自主标识视频帧。
在步骤1330，计算设备107基于被标识的视频帧生成书签。在该示例中，计算设备107生成指示书签并包括对应于书签的被标识的视频帧的标识符的元数据。例如，图6示出了包括对应于相应书签的视频帧的标识符的示例元数据600。参考图6，书签622a包括书签的标识符，该书签包括<bookmark>和</bookmark>标签。此外，书签622a包括标识外科手术视频内的特定视频帧3:12.0的<begin>标签。因此，计算设备107已经基于被标识的视频帧生成了书签。
在一些示例中，计算设备107可以生成比仅标识书签的视频帧更丰富的书签。例如，如上所讨论的，计算设备107可以采用一个或多个ML技术来识别外科手术视频471内的外科手术过程的类型，并标识外科手术视频471内感兴趣的步骤、子步骤或事件。这种信息也可以被包括在书签中，诸如图6中所示的。如上所讨论的，与外科手术过程的类型、或者步骤、子步骤和事件相关的信息可以被标准化，以跨整个外科手术视频语料库提供统一的标识符。
除了(或者替代)采用自动化技术来识别要包括在一个或多个书签内的关于外科手术视频的信息之外，计算设备107可以请求将用户输入包括在书签中。例如，计算设备107可以提示用户提供书签的名称；选择外科手术过程的类型；选择一个或多个步骤、子步骤或事件；输入其他特定于用户的信息等。此外，在一些示例中，如果ML技术未能识别外科手术过程类型或步骤、子步骤或事件，则计算设备107可以提示用户提供缺失的信息。例如，图5示出了其中提示用户输入书签422e的步骤信息的示例GUI 500。
在一些示例中，书签信息可以在多个不同时间生成，随后的信息被添加到生成的书签中。例如，在外科手术期间，外科医生可以如上所讨论的指定视频帧，这可以使得计算设备107为视频帧创建书签。稍后，外科手术视频可以被提供给一个或多个ML技术，以识别外科手术视频内外科手术过程的类型以及步骤、子步骤或事件。当每个ML技术分析外科手术视频时，它可以更新现有的书签信息，或者它可以输出计算设备107能够合并到现有书签(或者如果不存在相应的书签，则适当地创建新书签)中的信息。
在框1340，计算设备107将书签与视频帧相关联。在该示例中，计算设备107通过标识书签定义内的视频帧来将书签与视频帧相关联，如图6所示。例如，书签622a通过<begin>标签与帧3:02.0相关联。此外，书签基于标识与定义书签622a的元数据600相关联的视频的<video>标签与视频帧相关联。因此，在该示例中，基于被标识的视频和被标识的视频帧来创建书签和视频帧之间的关联。
虽然图6所示的示例采用了存储在与外科手术视频的(多个)视频文件分开的文件中的元数据，但是在如上所述的一些示例中，元数据可以被存储在视频文件本身中。例如，视频文件可以在视频信息之前的文件的开始部分包括元数据。在一个这种示例中，书签可以简单地引用特定的视频帧，诸如图6中所示的。在另一个示例中，外科手术视频的元数据可以与视频帧本身交织。因此，当视频播放器遇到具有元数据的帧时，元数据被提取。
在框1350，计算设备107存储书签。在该示例中，计算设备107将包括书签的元数据存储在数据储存器133上，作为与(多个)视频文件分开的文件，然而如所讨论的，在一些示例中，元数据可以被存储在(多个)视频文件本身内。此外，其他示例(例如图11的系统1100)可以采用云储存器来存储包括书签的元数据。
在完成框1350之后，方法1300可以前进到框1360，或者它可以返回到框1320以标识用于加入书签的另一个视频帧。应当理解，可以为特定的外科手术视频创建任意数量的书签，并且因此方法1300可以多次返回到框1320。
在框1360，计算设备107接收用户输入以共享外科手术视频的一部分。例如，参考图10A-10B所示的GUI 1000，用户可以选择一个或多个书签422a-e，并选择共享(多个)视频片段按钮1010或调用上下文敏感菜单1020并选择共享选项。
再次参考图10B，GUI 1000提供用户可以选择其来提供用户输入以共享外科手术视频471的一部分的选项。例如，用户可以选择如何共享视频，例如，仅作为(多个)片段，或者共享具有所选择的书签(或插针)的整个视频。用户还可以指定接收者列表或(多个)频道。为了启动共享操作，用户可以选择“共享”按钮。
在一些示例中，可以使用其他技术来选择要共享的视频片段。例如，示例GUI可以允许用户例如从联系人的下拉列表中选择联系人、联系人组、频道等，然后将一个或多个书签拖到联系人上，以与所选择的联系人(或联系人组、频道等)共享(多个)书签。
在框1370，计算设备107向所选择的(多个)接收者或频道传输消息，以共享外科手术视频的所选择的部分。在该示例中，计算设备107生成并传输包括附件的电子邮件，其中该附件具有已经从完整外科手术视频中提取的、该外科手术视频的所选择的部分。然而，在一些示例中，计算设备107可以传输具有对外科手术视频的该部分的存储副本的引用的消息。例如，计算设备107可以提取要共享的外科手术视频的该部分(如参考图14在下面将详细讨论的)，并生成标识外科手术视频的所提取的部分的位置的引用(例如，URL)。此外，在一些示例中，计算设备107可以传输到整个外科手术视频的链接和指示与要共享的外科手术视频的所选择的部分相对应的视频光标的开始位置的信息。因此，当接收者访问链接时，外科手术视频被访问，并且接收者被呈现外科手术视频，其中视频光标414位于外科手术视频的共享的部分处。根据不同的示例，可以采用传输消息的其他技术。
现在参考图14，图14示出了用于对外科手术视频分段的示例方法1400。将相对于图1所示的示例系统100来描述示例方法1400；然而，应当理解，可以采用任何合适的系统，诸如图2、图3A-3B或图11所示的系统。
在框1410，计算设备107接收外科手术视频和至少一个书签。计算设备通常如以上相对于图13的框1310所讨论的接收外科手术视频。在该示例中，计算设备107接收所述至少一个书签作为存储在与外科手术视频分开的文件中的元数据；然而，在一些示例中，计算设备107可以接收该至少一个书签作为嵌入外科手术视频内的元数据。应当理解，在一些示例中，计算设备107接收没有任何书签的外科手术视频，并且然后基于用户执行根据本公开的另一方法(诸如图13的示例方法1300)接收一个或多个书签。因此，可以通过执行图13的方法1300(或根据本公开的类似方法)的框1310-1350来执行框1410。
在框1420，计算设备1420接收书签的标识。在该示例中，用户访问由网络门户应用提供的GUI，诸如图9A所示的GUI 900。然而，在一些示例中，GUI 900可以由在计算设备107上本地运行的应用来提供。在访问GUI 900之后，用户选择为外科手术视频定义的一个或多个书签，诸如为外科手术视频471定义的一个或多个书签422a-e。例如，用户可以通过在与显示在时间线414上或书签列表中的(多个)书签指示符相对应的位置触摸触敏显示器来选择一个或多个书签，或者用户可以使用鼠标来选择一个或多个书签422a-e。
在一些示例中，计算设备107可以采用通过已标识视频内的一个或多个步骤、子步骤或事件的ML技术输出的书签，而不是接收用户选择。例如，计算设备107可以通常如以上相对于图13的框1320所讨论的接收外科手术视频内的视频帧的标识。然后，计算设备107可以将被标识的视频帧中的一个或多个标识为书签的标识。例如，计算设备107可以标识外科手术步骤的所有视频帧，但不标识外科手术过程中的子步骤或事件的视频帧。然而，在一些示例中，计算设备107可以将由ML技术标识的所有视频帧标识为指示步骤、子步骤或事件。
没有限制暗示在框1420被标识的书签是先前为外科手术视频定义的书签。例如，用户可以浏览接收到的视频(例如不具有书签的视频)，并如以上相对于图13的方法1300所述的添加一个或多个书签，并且然后在框1420选择新创建的书签中的一个。此外，在一些示例中，用户可以选择视频片段(诸如通过选择视频光标414)，右击它(或在触摸屏上按住)以开始选择视频帧，并将光标414拖动到新的位置以选择视频帧的期望范围。这种选择的开始和结束位置可以至少暂时地被建立为一个或多个书签，使得能够提取外科手术视频的所选择的部分。
在框1430，计算设备107接收提取外科手术视频的一部分的指示。在选择书签之后，GUI可以呈现提取一个或多个视频片段的选项。例如，如图9B所示，用户可以选择书签422b，并且GUI 900可以在书签422b附近(或接近处)呈现具有提取单独的视频片段或单个视频的可选选项的上下文敏感菜单930，或者他们可以选择静态按钮选项910、920中的一个。
然而，如上所讨论的，在一些示例中，计算设备107可以基于由一个或多个ML技术标识的视频帧来标识一个或多个书签。在接收到视频帧的标识之后，计算设备107可以启动对一个或多个视频片段的提取。因此，计算设备107可以基于从一个或多个ML技术接收一个或多个被标识的视频帧来接收提取外科手术视频的一部分的指示。
在框1440，计算设备107提取外科手术视频的在所选择的书签处开始的一部分。在该示例中，计算设备107基于所选择的书签提取单独的视频片段。为了提取该视频片段，计算设备107标识每个所选择的书签，并且然后确定与外科手术视频相关联的书签中的相同层级的与外科手术视频相关联的下一个书签。
在图9A-9B所示的示例中，如果用户选择书签422b，则计算设备107确定同一层级(“ending”书签)的下一个书签(在该示例中是书签422c)。然而，参考图7所示的示例性层级700，如果用户选择步骤1(710)，则计算设备107可以在步骤2中的相同的层级确定下一个书签(720)。因此，计算设备107选择与所选择的书签以及任何嵌套书签相关联的视频帧。类似地，如果用户选择子步骤2(714)，则计算设备将下一个书签确定为事件1(716)，从而将子步骤A和B(714.1-2)包含在该选择中。这种方法可以允许用户容易地选择特定粒度级别的视频片段，而不需要用户单独选择特定视频片段内的每个嵌套书签。
在标识了与所选择的书签处于相同层级的下一个书签之后，计算设备107可以创建新的视频文件，访问包含外科手术视频471的文件，并将来自外科手术视频471的视频信息复制到新的视频文件中，其中该新的视频文件在对应于所选择的书签的视频帧处开始并在结束(ending)书签之前的最后一帧处结束，并且包括所有中间视频帧。在该示例中，计算设备107还复制对应于复制的视频帧的任何元数据。例如，如果元数据被存储在与外科手术视频471分开的文件中，则计算设备107可以创建第二新的文件来存储元数据，并将对应于复制的视频的元数据复制到第二新的文件中。
在一些示例中，外科手术视频可以具有其他相应的信息，诸如音频信息、图形覆盖物(例如，评论、评注、诸如脉搏率、血压等的患者信息)等。这种信息也可以被复制到新的视频文件(或与新的视频文件一起创建的相应的新的文件)中，使得与复制的视频相对应的所有信息也被复制到新的文件或文件集合中。
在该示例中，新的视频文件被本地存储在计算设备107的非易失性存储器中，然而在一些示例中，新的视频文件可以被创建在易失性存储器中，以用于以后存储在非易失性存储器中。
虽然上面讨论的示例提取是相对于单个所选择的书签的，但是示例方法1400也提取与多个所选择的书签相关联的视频信息。如果用户选择多个书签，则计算设备107可以针对每个所选择的书签执行如上所讨论的框1440。用户可以通过选择类似于图9A-9B中的“提取单独的视频片段”选项910的选项来调用这种功能。
在一些示例中，计算设备107可以确定是否所选择的书签中的多于一个所选择的书签是同一层级的连续书签(例如，步骤1(710)和步骤2(720))，并且如果是，则计算设备可以提取跨越同一层级的所有连续的所选择的书签的单个视频。例如，如果用户选择对应于图7所示的步骤1-3(710-730)的书签，则计算设备可以提取单个视频，其中该单个视频包括从对应于步骤1(710)的书签的视频帧处开始并在步骤4(740)之前的最后一个视频帧处结束的视频帧。如果用户选择图9A-9B中的“提取单个视频”选项920，则可以调用这种功能。
在一些示例中，计算设备107可以基于由一个或多个ML技术标识的视频帧来自动提取一个或多个视频片段。例如，ML技术可以标识与外科手术视频内的不同步骤、子步骤或事件相关联的视频帧。计算设备107然后可以选择例如对应于每个被标识的步骤的每个视频帧，并且然后基于配置设置，提取每个步骤作为单独的视频片段或者提取每个步骤、子步骤和事件作为单独的视频片段。在后一示例中，计算设备可以提取例如在图7中的步骤1(710)处开始的视频帧到步骤2(720)之前的视频帧，并且还提取子步骤1(712)、子步骤2(714)、事件1(716)、子步骤A(714.1)和子步骤B(714.2)中的每一个的视频片段。在这种示例中，计算设备107可以由此创建跨越这些步骤、子步骤和事件中的每一个的七个单独的视频片段。然后，不同的视频可以允许查看者精确地选择要查看的、外科手术视频的一部分。类似地，在一些示例中，用户可以通过选择对应于这些步骤、子步骤和事件的书签中每一个并选择提取单独的视频片段的选项来调用这种功能。
在框1450，计算设备107将提取的(多个)视频片段存储到非易失性存储器。例如，计算设备107可以将提取的(多个)视频片段本地存储在非易失性存储介质(诸如硬盘驱动器、闪存驱动器等)上。在一些示例中，计算设备107可以将提取的视频的副本存储在远程存储设备上，诸如存储在云储存器中或者存储在远程服务器上(诸如存储在图11所示的数据储存器1142或云储存器1150中)。
上述方法1400被描述为具有特定顺序的特定步骤；然而，应当理解，根据不同的示例，这些步骤可以以不同的顺序发生，或者可以基本上同时发生。例如，框1440和1450可以基本上同时发生。此外，计算设备可以在框1440提取视频，同时用户在框1420选择另一个书签。
现在参考图15，图15示出了用于搜索外科手术视频片段的示例方法1500。将相对于图11所示的示例系统1100来描述该示例方法1400；然而，应当理解，可以采用任何合适的系统，诸如图1、图2或图3A-3B所示的系统。
在框1510，服务器1140接收具有至少一个搜索参数的搜索命令。例如，用户可以与图12A所示的GUI 1200交互，以经由服务器1140提供的网络门户输入一个或多个搜索参数。在该示例中，用户可以从过程1210的下拉列表中选择过程，或者从相应的下拉列表1220、1230中选择步骤或子步骤或事件。如上所讨论的，这些列表中的每一个可以包括标准化过程、步骤和事件名称的列表。例如，胃旁路过程可以用标准过程名称“胃旁路(GastricBypass)”来表示。因此，用户可以简单地选择期望的手术过程，而不需要输入可能匹配或不匹配用户定义的过程或步骤名称的关键字。如上所讨论的，可以使用标准化名称来建立书签，然后可以使用标准化名称来填充示例GUI 1200中所示的过程、步骤和事件列表1210-1230。此外，或者可替换地，用户可以在关键词文本字段区域1240中输入一个或多个关键词。
在用户输入搜索词中的每一个之后，她可以按下“搜索视频”按钮1250以向服务器1140发送搜索命令。服务器1140接收搜索命令和任何搜索参数(诸如用户输入的那些)。在一些示例中，服务器1140可以将搜索命令转发到数据储存器1142或云储存器1150，数据储存器1142或云储存器1150可以包括数据库管理系统(“DBMS”)；然而，在一些示例中，服务器1140本身可以使用搜索参数来执行搜索。
在框1520，服务器1140访问与存储在数据储存器1142或云储存器1150中的一个或多个外科手术视频相关联的书签信息。例如，服务器1140可以为数据储存器1142或云储存器1150提供DBMS。DBMS可以具有一个或多个外科手术视频的记录和关联的元数据。此外，DBMS可以基于存储在元数据中的一个或多个书签来索引外科手术视频。因此，DBMS可以经由这种索引或其他DBMS数据库结构来访问书签信息。
在框1530，服务器1140使用DBMS，基于接收到的搜索参数，基于被标识的外科手术过程、步骤或事件，标识一个或多个书签。例如，服务器1140使用DBMS可以标识与被标识的外科手术过程(如果有的话)匹配的所有视频，并且标识与匹配搜索参数内被标识的步骤、子步骤或事件的这种视频相关联的一个或多个书签。在一些示例中，搜索参数可以包括可以存储在与外科手术视频相关联的元数据注释或书签中的其他信息，诸如外科手术工具、医生、日期范围等。
在框1540，服务器1140经由网络门户向用户提供一个或多个书签。再次参考图12B，GUI 1200可以提供显示搜索结果的搜索结果窗口1260。图12B中的示例GUI 1200显示了由具有简短目录信息的图标表示的三个搜索结果1262-1266。搜索结果1262-1266可以包括提示在搜索参数中指定的“创建JJ吻合”步骤处开始的完整外科手术视频，或者它们可以包括从完整外科手术视频中提取的视频片段，诸如通过以上参考图14描述的过程(或者根据本公开的任何合适的方法)。因此，用户可以快速地并且有效地标识外科手术视频，并且特别是外科手术视频的匹配其搜索标准的特定部分，以使用户能够基于先前定义的书签(诸如根据本文所述的各种系统和方法创建的书签)快速找到相关视频或视频部分。
应当理解，在执行根据图15的示例方法之后，然后，系统可以允许用户对从搜索返回的视频执行根据本公开的一个或多个方法(包括根据图13或14的方法)。例如，在获得搜索结果之后，用户可以选择用于视频回放一个或多个书签以与另一用户共享或者提取一个或多个视频片段。此外，应当理解，图13-15的方法也可以以其他方式组合。例如，用户可以执行根据图14的方法来提取视频片段，并且然后可以执行根据图13的步骤1360和1370来共享提取的视频片段。因此，尽管这些方法示出了根据本公开的各种系统能够实现的某些离散功能，但是这些方法中的每一个仅仅是可用功能的方面，并且可以被组合以提供注释、加入书签、提取、共享或搜索外科手术视频的系统或方法。
现在参考图16，图16示出了根据本公开的适用于对外科手术视频分段的示例系统或方法的示例计算设备1600。合适的计算设备可以包括或采取台式或膝上型计算机、平板电脑、智能电话、平板电话、可穿戴设备、增强或虚拟现实设备、瘦客户端等形式。示例计算设备1600包括处理器1610，其中处理器1610使用一条或多条通信总线1602与存储器1620和计算设备1600的其他组件通信。处理器1610被配置为运行存储在存储器1620中的处理器可运行指令，以根据不同的示例执行一种或多种用于对外科手术视频分段的方法(诸如以上参考图13-15描述的示例方法1300-1500的一部分或全部)。在该示例中，计算设备还包括接受用户输入的一个或多个用户输入设备1650，诸如键盘、鼠标、触摸屏、麦克风等。计算设备1600还包括向用户提供视觉输出的显示器1640。
计算设备1600还包括通信接口1640。在一些示例中，通信接口1630可以使用一个或多个网络(包括局域网(“LAN(local area network)”)；广域网(“WAN(wide areanetwork)”)，诸如互联网；城域网(“MAN(metropolitan area network)”)；点对点或对等连接等)来实现通信。可以使用任何合适的联网协议来实现与其他设备的通信。例如，一种合适的联网协议可以包括互联网协议(“IP(Internet Protocol)”)、传输控制协议(“TCP(Transmission Control Protocol)”)、用户数据报协议(“UDP(User DatagramProtocol)”)或它们的组合(诸如TCP/IP或UDP/IP)。
虽然本文中的方法和系统的一些示例是根据在各种机器上运行的软件来描述的，但是这些方法和系统也可以被实现为专门配置的硬件，诸如专门用于运行根据本公开的各种方法的现场可编程门阵列(field-programmable gate array，FPGA)。例如，示例可以在数字电子电路中实现，或者在计算机硬件、固件、软件或它们的组合中实现。在一个示例中，设备可以包括一个或多个处理器。处理器包括计算机可读介质，诸如耦合到处理器的随机存取存储器(random access memory，RAM)。处理器运行存储在存储器中的计算机可执行程序指令，诸如运行一个或多个计算机程序。这种处理器可以包括微处理器、数字信号处理器(digital signal processor，DSP)、专用集成电路(application-specific integratedcircuit，ASIC)、现场可编程门阵列(field programmable gate array，FPGA)和状态机。这种处理器还可以包括可编程电子设备，诸如PLC(programmable logic controller，可编程逻辑控制器)、可编程中断控制器(programmable interrupt controller，PIC)、可编程逻辑设备(programmable logic device，PLD)、可编程只读存储器(programmable read-onlymemory，PROM)、电子可编程只读存储器(EPROM(erasable programmable read-onlymemory)或EEPROM(electrically erasable programmable read-only memory))或其他类似设备。
这种处理器可以包括介质(例如，一个或多个非暂时性计算机可读介质)，或者可以与介质通信，其中该介质可以存储处理器可运行指令，该处理器可运行指令当由处理器运行时可以使得处理器执行(如由处理器执行或辅助的)根据本公开的方法。非暂时性计算机可读介质的示例可以包括但不限于能够向处理器(诸如网络服务器中的处理器)提供处理器可运行指令的电子、光学、磁性或其他存储设备。非暂时性计算机可读介质的其他示例包括但不限于软盘、CD-ROM、磁盘、存储器芯片、ROM、RAM、ASIC、配置的处理器、所有光学介质、所有磁带或其他磁介质、或者计算机处理器可以读取的任何其他介质。所描述的处理器和处理可以在一个或多个结构中，并且可以分散在一个或多个结构中。处理器可以包括执行根据本公开的方法(或方法的一部分)的代码。
前面对一些示例的描述仅仅是为了说明和描述的目的来呈现，而不是为了穷举或将本公开限制为所公开的精确形式。在不脱离本公开的精神和范围的情况下，其许多修改和改编对于本领域的技术人员将是明显的。
本文中对示例或实施方式的引用意味着结合该示例描述的特定特征、结构、操作或其他特征可以被包括在本公开的至少一个实施方式中。本公开不限于这样描述的特定示例或实施方式。短语“在一个示例中”、“在示例中”、“在一个实施方式中”或“在实施方式中”的出现，或者在说明书中不同地方的相同变体，不一定指相同的示例或实施方式。本说明书中关于一个示例或实现方式描述的任何特定特征、结构、操作或其他特征可以与关于任何其他示例或实现方式描述的其他特征、结构、操作或其他特征相结合。
本文使用的词语“或”旨在涵盖包含性和排他性的或条件。换句话说，A或B或C包括适用于特定用途的以下替代组合中的任何一个或所有：单独A；单独B；单独C；仅A和B；仅A和C；仅B和C；以及A和B和C。

Claims (58)

1.一种用于对外科手术视频分段的方法，包括：
由计算设备的处理器接收外科手术视频，所述外科手术视频包括外科手术过程的至少一系列视频帧；
由所述处理器使用第一经训练的机器学习技术来识别在所述外科手术视频中执行的外科手术过程的类型；
在识别外科手术过程的类型之后，由所述处理器使用第二经训练的机器学习技术来识别外科手术视频的一个或多个步骤；
标识对应于所识别的步骤的外科手术视频的一个或多个视频帧；
响应于一个或多个视频帧的标识，基于外科手术视频的一个或多个步骤和一个或多个视频帧生成一个或多个书签；
由所述处理器将一个或多个书签与相应的一个或多个视频帧相关联；和
由所述处理器存储一个或多个书签。
2.根据权利要求1所述的方法，还包括：
由所述处理器从麦克风接收音频信息；以及
基于所述音频信息确定所述视频帧的标识。
3.根据权利要求2所述的方法，还包括由所述处理器使用语音识别技术从所述音频信息中识别一个或多个口说字词；以及
基于一个或多个口说字词确定所述视频帧的标识。
4.根据权利要求3所述的方法，其中，所述音频信息在外科手术过程期间被接收，并且其中，确定所述视频帧的标识在外科手术过程期间实时地发生。
5.根据权利要求1所述的方法，还包括：
由所述处理器从输入设备接收输入信息；
由所述处理器基于所述输入信息检测手势；以及
基于所述手势确定所述视频帧的标识。
6.根据权利要求5所述的方法，其中，所述输入设备包括用于外科手术机器人的外科手术工具的控制设备。
7.根据权利要求5所述的方法，其中，所述输入设备包括触敏输入设备。
8.根据权利要求1所述的方法，还包括：
由所述处理器接收对图形用户界面内的外科手术过程的选择；
由所述处理器接收对所述图形用户界面内的外科手术过程的步骤的选择；以及
在对外科手术过程和外科手术过程的步骤的选择之后接收所述视频帧的标识；
其中，生成所述书签包括：
由所述处理器基于外科手术过程和外科手术过程的步骤生成标识符，以及
由所述处理器基于所述标识符生成元数据；并且
其中，存储所述书签包括存储所述元数据。
9.根据权利要求1所述的方法，其中，存储所述书签包括在所述外科手术视频内插入元数据。
10.根据权利要求1所述的方法，其中，将书签与视频帧相关联包括生成标识所述视频帧的元数据，并且其中，存储所述书签包括将所述元数据存储在与所述外科手术视频分开的文件中。
11.根据权利要求1所述的方法，其中，所述第一经训练的机器学习技术是与所述第二经训练的机器学习技术相同的经训练的机器学习技术。
12.根据权利要求1所述的方法，其中，所述书签是第一书签，并且还包括：
接收外科手术步骤的标识；
接收第二视频帧的标识，所述第二视频帧与所述外科手术步骤的子步骤或与所述外科手术步骤相关联的事件相关联；
接收所述子步骤或所述事件的标识；
基于第二视频帧和所述子步骤或所述事件生成第二书签；
将所述第二书签与所述第一书签和所述第二视频帧相关联，所述关联包括生成书签层级信息并将所述第二书签关联为所述第一书签的子书签；以及
存储所述第二书签和所述书签层级信息。
13.根据权利要求12所述的方法，其中：
所述第一书签包括标识所述外科手术步骤的元数据；并且
所述第二书签包括标识所述子步骤或所述事件的元数据。
14.根据权利要求1所述的方法，还包括：
生成包括(i)所述外科手术视频的标识和(ii)所述书签的消息；以及
将所述消息发送给接收者。
15.一种用于对外科手术视频分段的方法，包括：
接收外科手术视频和与外科手术视频相关联的多个书签，每个书签标识所述外科手术视频内的不同视频帧；
从用户界面接收对所述多个书签的第一书签的选择；
从用户界面接收多个书签的第二书签的标识；
从用户界面接收对提取所述外科手术视频的部分的指示；
提取所述外科手术视频的所述部分，所述外科手术视频的所述部分从所述第一书签处开始并且在所述第二书签处结束；以及
将所述外科手术视频的所述部分存储在非暂时性计算机可读介质中。
16.根据权利要求15所述的方法，其中：
接收所述第一书签的标识包括从用户界面接收所述多个书签的书签子集的标识，所述多个书签中的每个书签对应于所述外科手术视频的不同视频帧；
提取所述外科手术视频的所述部分包括提取所述外科手术视频的多个部分，所述多个部分中的每个不同部分在所述多个书签中的相应的不同书签处开始；以及
存储所述外科手术视频的所述部分包括将所述外科手术视频的所述多个部分中的每个部分存储在所述非暂时性计算机可读介质中的单独文件中。
17.根据权利要求16所述的方法，其中，所述多个部分中的每个部分在所述多个书签中的相应的不同书签处开始，并且在所述多个书签内的下一个书签处结束。
18.根据权利要求15所述的方法，其中，所述多个书签各自具有以下之一：(i)所述外科手术过程的关联的步骤、(ii)所述外科手术过程的关联的子步骤、或(iii)所述外科手术过程的关联的事件；并且还包括：
接收对以下之一的选择：(i)所述外科手术过程的步骤、(ii)所述外科手术过程的子步骤、或(iii)事件；
标识与所述选择相关联的一个或多个书签；以及
基于所标识的一个或多个书签提取所述视频的所述部分。
19.一种用于对外科手术视频分段的方法，包括：
接收包括搜索参数的搜索命令，所述搜索参数包括以下之一：(i)外科手术过程的步骤、(ii)所述外科手术过程的子步骤、或(iii)所述外科手术过程的事件；
访问多个外科手术视频的书签信息，对于多个视频的一个或多个外科手术视频，所述书签信息包括：用于相应的外科手术视频的一个或多个标准化书签，标识外科手术过程的相关联的标准化步骤或子步骤的一个或多个标准化书签，标识相应的外科手术视频的帧的一个或多个标准化书签中的至少一个标准化书签；
使用所述搜索参数标识多个书签；以及
响应于所述搜索命令提供所述多个书签的子集。
20.一种用于对外科手术视频分段的系统，包括：
非暂时性计算机可读介质；和
与所述非暂时性计算机可读介质通信的处理器，所述处理器被配置为执行存储在所述非暂时性计算机可读介质中的处理器可执行指令，以：
接收外科手术视频，所述外科手术视频包括外科手术过程的至少一系列视频帧；
使用第一经训练的机器学习技术来识别在所述外科手术视频中执行的外科手术过程的类型；
在识别外科手术过程的类型之后，使用第二经训练的机器学习技术来识别外科手术视频的一个或多个步骤；
标识对应于所识别的步骤的外科手术视频的一个或多个视频帧；
响应于一个或多个视频帧的标识，基于外科手术视频的一个或多个步骤和一个或多个视频帧生成一个或多个书签；
将一个或多个书签与相应的一个或多个视频帧相关联；和
存储一个或多个书签。
21.根据权利要求20所述的系统，其中，所述处理器还被配置为执行存储在所述非暂时性计算机可读介质中的处理器可执行指令，以：
从麦克风接收音频信息；
基于所述音频信息确定所述视频帧的标识。
22.根据权利要求21所述的系统，其中，所述处理器还被配置为执行存储在所述非暂时性计算机可读介质中的处理器可执行指令，以：
由所述处理器使用语音识别技术从所述音频信息中识别一个或多个口说字词；以及
基于一个或多个口说字词确定所述视频帧的标识。
23.根据权利要求22所述的系统，还包括外科手术机器人系统和所述麦克风，并且其中，所述处理器还被配置为执行存储在所述非暂时性计算机可读介质中的处理器可执行指令，以在所述外科手术过程期间接收所述音频信息，并且确定所述视频帧的标识在外科手术过程期间基本上实时地发生。
24.根据权利要求20所述的系统，其中，所述处理器还被配置为执行存储在所述非暂时性计算机可读介质中的处理器可执行指令，以：
从输入设备接收输入信息；
基于所述输入信息检测手势；以及
基于所述手势确定所述视频帧的标识。
25.根据权利要求24所述的系统，其中，所述输入设备包括用于外科手术机器人的外科手术工具的控制设备。
26.根据权利要求24所述的系统，其中，所述输入设备包括触敏输入设备。
27.根据权利要求20所述的系统，其中，所述处理器还被配置为执行存储在所述非暂时性计算机可读介质中的处理器可执行指令，以：
接收对图形用户界面内的外科手术过程的选择；
接收对所述图形用户界面内的所述外科手术过程的步骤的选择；以及
在选择所述外科手术过程和所述外科手术过程的步骤之后接收所述视频帧的标识；
基于所述外科手术过程和所述外科手术过程的步骤生成标识符，以及
基于所述标识符生成元数据；以及
存储所述元数据。
28.根据权利要求20所述的系统，其中，所述处理器还被配置为执行存储在所述非暂时性计算机可读介质中的处理器可执行指令，以在所述外科手术视频内插入元数据。
29.根据权利要求20所述的系统，其中，所述处理器还被配置为执行存储在所述非暂时性计算机可读介质中的处理器可执行指令，以生成标识所述视频帧的元数据，并且将所述元数据存储在与所述外科手术视频分开的文件中。
30.根据权利要求20所述的系统，其中，所述第一经训练的机器学习技术是与所述第二经训练的机器学习技术相同的经训练的机器学习技术。
31.根据权利要求20所述的系统，其中，所述书签是第一书签，并且其中，所述处理器还被配置为执行存储在所述非暂时性计算机可读介质中的处理器可执行指令，以：
接收外科手术步骤的标识；
接收第二视频帧的标识，所述第二视频帧与所述外科手术步骤的子步骤或与所述外科手术步骤相关联的事件相关联；
接收所述子步骤或所述事件的标识；
基于第二视频帧和所述子步骤或所述事件生成第二书签；
将所述第二书签与所述第一书签和所述第二视频帧相关联，
生成书签层级信息并将所述第二书签关联为所述第一书签的子书签；以及
将所述第二书签和所述书签层级信息存储在所述非暂时性计算机可读介质中。
32.根据权利要求31所述的系统，其中：
所述第一书签包括标识所述外科手术步骤的元数据；并且
所述第二书签包括标识所述子步骤或所述事件的元数据。
33.根据权利要求20所述的系统，其中，所述处理器还被配置为执行存储在所述非暂时性计算机可读介质中的处理器可执行指令，以：
生成包括(i)所述外科手术视频的标识和(ii)所述书签的消息；以及
将所述消息发送给接收者。
34.一种用于对外科手术视频分段的系统，包括：
非暂时性计算机可读介质；
处理器，与所述非暂时性计算机可读介质通信并被配置为执行存储在所述非暂时性计算机可读介质中的处理器可执行指令，以：
接收外科手术视频和标识所述外科手术视频内的不同视频帧的多个书签；
从用户界面接收对多个书签的第一书签的选择；
从用户界面接收多个书签的第二书签的标识；
从用户界面接收对提取所述外科手术视频的部分的命令；
提取所述外科手术视频的所述部分，所述外科手术视频的所述部分在所述第一书签处开始并且在所述第二书签处结束；以及
将所述外科手术视频的所述部分存储在非暂时性计算机可读介质中。
35.根据权利要求34所述的系统，其中，所述处理器还被配置为执行存储在所述非暂时性计算机可读介质中的处理器可执行指令，以：
接收所述多个书签中的第二书签的标识；并且
其中，所述外科手术视频的所述部分在第二书签处结束。
36.根据权利要求34所述的系统，其中，所述处理器还被配置为执行存储在所述非暂时性计算机可读介质中的处理器可执行指令，以：
接收所述多个书签的书签子集的标识，所述多个书签中的每个书签对应于所述外科手术视频的不同视频帧；
提取所述外科手术视频的多个部分，所述多个部分的每个不同部分在所述多个书签中的相应的不同书签处开始；以及
将所述外科手术视频的所述多个部分中的每个部分存储在所述非暂时性计算机可读介质中的单独文件中。
37.根据权利要求36所述的系统，其中，所述多个部分中的每个部分在相应的不同书签处开始并在所述多个书签内的下一个书签处结束。
38.根据权利要求34所述的系统，其中，所述多个书签各自具有以下之一：(i)外科手术过程的关联的步骤、(ii)外科手术过程的关联的子步骤、或(iii)外科手术过程的关联的事件；并且其中，所述处理器还被配置为执行存储在所述非暂时性计算机可读介质中的处理器可执行指令，以：
接收对以下之一的选择：(i)外科手术过程的步骤、(ii)外科手术过程的子步骤、或(iii)事件；
标识与所述选择相关联的一个或多个书签；以及
基于所标识的一个或多个书签提取所述视频的所述部分。
39.一种用于对外科手术视频分段的系统，包括：
非暂时性计算机可读介质；和
处理器，与所述非暂时性计算机可读介质通信并被配置为执行处理器可执行指令，以：
接收包括搜索参数的搜索命令，所述搜索参数包括以下之一：(i)外科手术过程的步骤、(ii)所述外科手术过程的子步骤、或(iii)所述外科手术过程的事件；
访问多个外科手术视频的书签信息，对于多个视频的一个或多个外科手术视频，所述书签信息包括：用于相应的外科手术视频的一个或多个标准化书签，标识外科手术过程的相关联的标准化步骤或子步骤的一个或多个标准化书签，标识相应的外科手术视频的帧的一个或多个标准化书签中的至少一个标准化书签；
使用所述搜索参数标识多个书签；以及
响应于所述搜索命令，提供多个书签的子集。
40.一种包括处理器可执行指令的非暂时性计算机可读介质，所述处理器可执行指令被配置为使得处理器：
使用第一经训练的机器学习技术来识别在外科手术视频中执行的外科手术过程的类型；
在识别外科手术过程的类型之后，使用第二经训练的机器学习技术来识别外科手术视频的一个或多个步骤；
标识对应于所识别的步骤的外科手术视频的一个或多个视频帧；
响应于一个或多个视频帧的标识，基于外科手术视频的一个或多个步骤和一个或多个视频帧生成一个或多个书签；
将一个或多个书签与相应的一个或多个视频帧相关联；和
存储一个或多个书签。
41.根据权利要求40所述的非暂时性计算机可读介质，其中，所述处理器还被配置为执行存储在所述非暂时性计算机可读介质中的处理器可执行指令，以：
从麦克风接收音频信息；
基于所述音频信息确定所述视频帧的标识。
42.根据权利要求41所述的非暂时性计算机可读介质，其中，所述处理器还被配置为执行存储在所述非暂时性计算机可读介质中的处理器可执行指令，以：
由所述处理器使用语音识别技术从所述音频信息中识别一个或多个口说字词；以及
基于一个或多个口说字词确定所述视频帧的标识。
43.根据权利要求42所述的非暂时性计算机可读介质，还包括外科手术机器人系统和麦克风，并且其中，所述处理器还被配置为执行存储在所述非暂时性计算机可读介质中的处理器可执行指令，以在外科手术过程期间接收音频信息，并且确定所述视频帧的标识在外科手术过程期间基本上实时地发生。
44.根据权利要求40所述的非暂时性计算机可读介质，其中，所述处理器还被配置为执行存储在所述非暂时性计算机可读介质中的处理器可执行指令，以：
从输入设备接收输入信息；
基于所述输入信息检测手势；以及
基于所述手势确定所述视频帧的标识。
45.根据权利要求44所述的非暂时性计算机可读介质，其中，所述输入设备包括用于外科手术机器人的外科手术工具的控制设备。
46.根据权利要求44所述的非暂时性计算机可读介质，其中，所述输入设备包括触敏输入设备。
47.根据权利要求40所述的非暂时性计算机可读介质，其中，所述处理器还被配置为执行存储在所述非暂时性计算机可读介质中的处理器可执行指令，以：
接收对图形用户界面内的外科手术过程的选择；
接收对所述图形用户界面内的外科手术过程的步骤的选择；以及
在选择所述外科手术过程和所述外科手术过程的步骤之后接收所述视频帧的标识；
基于所述外科手术过程和所述外科手术过程的步骤生成标识符，以及
基于所述标识符生成元数据；以及
存储所述元数据。
48.根据权利要求40所述的非暂时性计算机可读介质，其中，所述处理器还被配置为执行存储在所述非暂时性计算机可读介质中的处理器可执行指令，以在所述外科手术视频内插入元数据。
49.根据权利要求40所述的非暂时性计算机可读介质，其中，所述处理器还被配置为执行存储在所述非暂时性计算机可读介质中的处理器可执行指令，以生成标识所述视频帧的元数据，并将所述元数据存储在与所述外科手术视频分开的文件中。
50.根据权利要求40所述的非暂时性计算机可读介质，其中，所述第一经训练的机器学习技术是与所述第二经训练的机器学习技术相同的经训练的机器学习技术。
51.根据权利要求40所述的非暂时性计算机可读介质，其中，所述书签是第一书签，并且其中，所述处理器还被配置为执行存储在所述非暂时性计算机可读介质中的处理器可执行指令，以：
接收外科手术步骤的标识；
接收第二视频帧的标识，所述第二视频帧与所述外科手术步骤的子步骤或与所述外科手术步骤相关联的事件相关联；
接收所述子步骤或所述事件的标识；
基于第二视频帧和所述子步骤或所述事件生成第二书签；
将所述第二书签与所述第一书签和所述第二视频帧相关联，
生成书签层级信息并将所述第二书签关联为所述第一书签的子书签；以及
将所述第二书签和所述书签层级信息存储在所述非暂时性计算机可读介质中。
52.根据权利要求51所述的非暂时性计算机可读介质，其中：
所述第一书签包括标识所述外科手术步骤的元数据；并且
所述第二书签包括标识所述子步骤或所述事件的元数据。
53.根据权利要求40所述的非暂时性计算机可读介质，其中，所述处理器还被配置为执行存储在所述非暂时性计算机可读介质中的处理器可执行指令，以：
生成包括(i)所述外科手术视频的标识和(ii)所述书签的消息；以及
将所述消息发送给接收者。
54.一种包括处理器可执行指令的非暂时性计算机可读介质，所述处理器可执行指令被配置为使得处理器：
接收外科手术视频和标识所述外科手术视频内的不同视频帧的多个书签；
从用户界面接收对多个标签的第一书签的选择；
从用户界面接收多个书签的第二书签的标识；
从用户界面接收对提取所述外科手术视频的部分的命令；
提取所述外科手术视频的所述部分，所述外科手术视频的所述部分在所述第一书签处开始并且在所述第二书签处结束；以及
将所述外科手术视频的所述部分存储在非暂时性计算机可读介质中。
55.根据权利要求54所述的非暂时性计算机可读介质，其中，所述处理器还被配置为执行存储在所述非暂时性计算机可读介质中的处理器可执行指令，以：
接收所述多个书签的书签子集的标识，所述多个书签中的每个书签对应于所述外科手术视频的不同视频帧；
提取所述外科手术视频的多个部分，所述多个部分中的每个不同部分在所述多个书签中的相应的不同书签处开始；以及
将所述外科手术视频的所述多个部分中的每个部分存储在所述非暂时性计算机可读介质中的单独文件中。
56.根据权利要求55所述的非暂时性计算机可读介质，其中，所述多个部分中的每个部分在相应的不同书签处开始，并在所述多个书签中的下一个书签处结束。
57.根据权利要求54所述的非暂时性计算机可读介质，其中，所述多个书签各自具有以下之一：(i)外科手术过程的关联的步骤、(ii)外科手术过程的关联的子步骤、或(iii)外科手术过程的关联的事件；并且其中，所述处理器还被配置为执行存储在所述非暂时性计算机可读介质中的处理器可执行指令，以：
接收对以下之一的选择：(i)所述外科手术过程的步骤、(ii)所述外科手术过程的子步骤、或(iii)所述事件；
标识与所述选择相关联的一个或多个书签；以及
基于所标识的一个或多个书签提取所述视频的所述部分。
58.一种包括处理器可执行指令的非暂时性计算机可读介质，所述处理器可执行指令被配置为使得处理器：
接收包括搜索参数的搜索命令，所述搜索参数包括以下之一：(i)外科手术过程的步骤、(ii)所述外科手术过程的子步骤、或(iii)所述外科手术过程的事件；
访问多个外科手术视频的书签信息，对于多个视频的一个或多个外科手术视频，所述书签信息包括：用于相应的外科手术视频的一个或多个标准化书签，标识外科手术过程的相关联的标准化步骤或子步骤的一个或多个标准化书签，标识相应的外科手术视频的帧的一个或多个标准化书签中的至少一个标准化书签；
使用搜索参数标识多个书签；以及
响应于所述搜索命令，提供所述多个书签的子集。
CN201880067999.8A 2017-10-17 2018-10-17 用于对外科手术视频分段的系统和方法 Active CN111226288B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762573327P 2017-10-17 2017-10-17
US62/573,327 2017-10-17
PCT/US2018/056260 WO2019079430A1 (en) 2017-10-17 2018-10-17 SYSTEMS AND METHODS FOR SEGMENTING SURGICAL VIDEOS

Publications (2)

Publication Number Publication Date
CN111226288A CN111226288A (zh) 2020-06-02
CN111226288B true CN111226288B (zh) 2022-03-29

Family

ID=64110197

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880067999.8A Active CN111226288B (zh) 2017-10-17 2018-10-17 用于对外科手术视频分段的系统和方法

Country Status (6)

Country Link
US (2) US10956492B2 (zh)
EP (1) EP3698372A1 (zh)
JP (2) JP7265543B2 (zh)
CN (1) CN111226288B (zh)
CA (1) CA3079559A1 (zh)
WO (1) WO2019079430A1 (zh)

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11871901B2 (en) 2012-05-20 2024-01-16 Cilag Gmbh International Method for situational awareness for surgical network or surgical network connected device capable of adjusting function based on a sensed situation or usage
WO2019079430A1 (en) 2017-10-17 2019-04-25 Verily Life Sciences Llc SYSTEMS AND METHODS FOR SEGMENTING SURGICAL VIDEOS
US11759224B2 (en) 2017-10-30 2023-09-19 Cilag Gmbh International Surgical instrument systems comprising handle arrangements
US11857152B2 (en) 2017-12-28 2024-01-02 Cilag Gmbh International Surgical hub spatial awareness to determine devices in operating theater
US11864728B2 (en) 2017-12-28 2024-01-09 Cilag Gmbh International Characterization of tissue irregularities through the use of mono-chromatic light refractivity
US11896443B2 (en) 2017-12-28 2024-02-13 Cilag Gmbh International Control of a surgical system through a surgical barrier
US11896322B2 (en) 2017-12-28 2024-02-13 Cilag Gmbh International Sensing the patient position and contact utilizing the mono-polar return pad electrode to provide situational awareness to the hub
US11109866B2 (en) 2017-12-28 2021-09-07 Cilag Gmbh International Method for circular stapler control algorithm adjustment based on situational awareness
US11013563B2 (en) 2017-12-28 2021-05-25 Ethicon Llc Drive arrangements for robot-assisted surgical platforms
US11832899B2 (en) 2017-12-28 2023-12-05 Cilag Gmbh International Surgical systems with autonomously adjustable control programs
US11266468B2 (en) * 2017-12-28 2022-03-08 Cilag Gmbh International Cooperative utilization of data derived from secondary sources by intelligent surgical hubs
US11672605B2 (en) 2017-12-28 2023-06-13 Cilag Gmbh International Sterile field interactive control displays
US11612444B2 (en) 2017-12-28 2023-03-28 Cilag Gmbh International Adjustment of a surgical device function based on situational awareness
US11534196B2 (en) 2018-03-08 2022-12-27 Cilag Gmbh International Using spectroscopy to determine device use state in combo instrument
US11090047B2 (en) 2018-03-28 2021-08-17 Cilag Gmbh International Surgical instrument comprising an adaptive control system
US10567780B2 (en) 2018-06-14 2020-02-18 Telefonaktiebolaget Lm Ericsson (Publ) System and method for encoding 360° immersive video
US10623736B2 (en) 2018-06-14 2020-04-14 Telefonaktiebolaget Lm Ericsson (Publ) Tile selection and bandwidth optimization for providing 360° immersive video
US10419738B1 (en) 2018-06-14 2019-09-17 Telefonaktiebolaget Lm Ericsson (Publ) System and method for providing 360° immersive video based on gaze vector information
US10523914B1 (en) 2018-07-26 2019-12-31 Telefonaktiebolaget Lm Ericsson (Publ) System and method for providing multiple 360° immersive video sessions in a network
US10356387B1 (en) * 2018-07-26 2019-07-16 Telefonaktiebolaget Lm Ericsson (Publ) Bookmarking system and method in 360° immersive video based on gaze vector information
US10841662B2 (en) 2018-07-27 2020-11-17 Telefonaktiebolaget Lm Ericsson (Publ) System and method for inserting advertisement content in 360° immersive video
US11116587B2 (en) 2018-08-13 2021-09-14 Theator inc. Timeline overlay on surgical video
JP2021191320A (ja) * 2018-09-11 2021-12-16 ソニーグループ株式会社 手術支援システム、表示制御装置、および表示制御方法
US10440416B1 (en) 2018-10-01 2019-10-08 Telefonaktiebolaget Lm Ericsson (Publ) System and method for providing quality control in 360° immersive video during pause
US10757389B2 (en) 2018-10-01 2020-08-25 Telefonaktiebolaget Lm Ericsson (Publ) Client optimization for providing quality control in 360° immersive video during pause
JP7325173B2 (ja) * 2018-10-06 2023-08-14 シスメックス株式会社 手術支援ロボットの遠隔支援方法、および遠隔支援システム
US11298129B2 (en) 2019-02-19 2022-04-12 Cilag Gmbh International Method for providing an authentication lockout in a surgical stapler with a replaceable cartridge
EP3928325B1 (en) 2019-02-21 2023-07-05 Theator Inc. Systems and methods to enable automatically populating a post-operative report of a surgical procedure
US11452576B2 (en) 2019-02-21 2022-09-27 Theator inc. Post discharge risk prediction
US11348235B2 (en) 2019-03-22 2022-05-31 Verily Life Sciences Llc Improving surgical video consumption by identifying useful segments in surgical videos
JP6647668B1 (ja) * 2019-03-29 2020-02-14 株式会社 情報システムエンジニアリング 機械学習用のデータ構造、学習方法及び情報提供システム
CN109951743A (zh) * 2019-03-29 2019-06-28 上海哔哩哔哩科技有限公司 弹幕信息处理方法、系统及计算机设备
JP6651189B1 (ja) 2019-03-29 2020-02-19 株式会社 情報システムエンジニアリング 機械学習用のデータ構造、学習方法及び情報提供システム
JP7289241B2 (ja) * 2019-08-09 2023-06-09 富士フイルム株式会社 ファイリング装置、ファイリング方法及びプログラム
US11185386B2 (en) * 2019-08-22 2021-11-30 Taipei Medical University Smart marking system for surgical video and method thereof
WO2021178250A1 (en) * 2020-03-02 2021-09-10 DeepHow Corp. System and method for capturing, indexing and extracting digital workflow from videos using artificial intelligence
US11227686B2 (en) 2020-04-05 2022-01-18 Theator inc. Systems and methods for processing integrated surgical video collections to identify relationships using artificial intelligence
EP4179547A1 (en) * 2020-07-08 2023-05-17 Replicare LLC Systems and methods for supporting medical procedures
JP2022030825A (ja) * 2020-08-07 2022-02-18 キヤノンメディカルシステムズ株式会社 医用画像診断装置
CN112258513A (zh) * 2020-10-23 2021-01-22 岭东核电有限公司 核电试验视频分割方法、装置、计算机设备和存储介质
CN112883782B (zh) * 2021-01-12 2023-03-24 上海肯汀通讯科技有限公司 投放行为识别方法、装置、设备及存储介质
JP2024515636A (ja) * 2021-04-14 2024-04-10 シーサッツ・インコーポレイテッド 自然言語処理技法を使用するコンピュータビジョンベースの外科ワークフロー認識システム
CN113223709B (zh) * 2021-06-08 2023-07-28 上海微创医疗机器人（集团）股份有限公司 手术过程回溯系统、方法和存储介质
US11895393B1 (en) * 2021-06-23 2024-02-06 Verily Life Sciences Llc Use of intermediate frames to capture and adjust low frame-rate, single-light source images
KR102640314B1 (ko) * 2021-07-12 2024-02-23 (주)휴톰 인공지능 수술 시스템 및 그것의 제어방법
EP4123658A1 (en) * 2021-07-20 2023-01-25 Leica Instruments (Singapore) Pte. Ltd. Medical video annotation using object detection and activity estimation
CN113630658A (zh) * 2021-07-23 2021-11-09 重庆天如生物科技有限公司 一种用于胃肠镜视频图像数据收集、标注的系统和方法
WO2023013080A1 (ja) * 2021-08-06 2023-02-09 オリンパス株式会社 アノテーション支援方法、アノテーション支援プログラム及びアノテーション支援装置
US11550867B1 (en) * 2021-09-09 2023-01-10 Bank Of America Corporation Apparatus and methods for bookmark sharing
USD1024100S1 (en) * 2021-09-16 2024-04-23 Beijing Zitiao Network Technology Co., Ltd. Display screen or portion thereof with a graphical user interface
WO2023067171A1 (en) * 2021-10-21 2023-04-27 Digital Surgery Limited Low-latency video capture and overlay
EP4193957A1 (en) * 2021-12-10 2023-06-14 Leica Microsystems CMS GmbH Devices for providing a video of a surgery
CN114496173A (zh) * 2021-12-31 2022-05-13 北京航天长峰股份有限公司 短视频手术报告生成方法、装置、计算机设备及存储介质
CN114512210A (zh) * 2021-12-31 2022-05-17 北京航天长峰股份有限公司 数字化手术报告生成和编辑方法、计算机设备及存储介质
WO2023131878A1 (en) * 2022-01-05 2023-07-13 Libra Science Ltd. Automatic guiding for human performance of a medical procedure
IT202200005063A1 (it) * 2022-03-16 2023-09-16 Sparkbio S R L Metodo per la generazione e la memorizzazione di un estratto di ripresa video
KR102539676B1 (ko) * 2022-10-20 2023-06-02 주식회사 메디씽큐 블록체인을 이용한 의료 영상의 기록 관리 방법 및 이를 이용한 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5801685A (en) * 1996-04-08 1998-09-01 Tektronix, Inc. Automatic editing of recorded video elements sychronized with a script text read or displayed
CN1520561A (zh) * 2001-03-30 2004-08-11 皇家菲利浦电子有限公司 流式视频书签
CN1666510A (zh) * 2002-07-09 2005-09-07 汤姆森许可贸易公司 数字视频回放的增强书签
CN101127870A (zh) * 2007-09-13 2008-02-20 深圳市融合视讯科技有限公司 一种视频流媒体书签的创建及使用方法
CN105518783A (zh) * 2013-08-19 2016-04-20 谷歌公司 基于内容的视频分段

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6535639B1 (en) 1999-03-12 2003-03-18 Fuji Xerox Co., Ltd. Automatic video summarization using a measure of shot importance and a frame-packing method
AU2001283004A1 (en) 2000-07-24 2002-02-05 Vivcom, Inc. System and method for indexing, searching, identifying, and editing portions of electronic multimedia files
JP2002044586A (ja) * 2000-07-26 2002-02-08 Sony Corp 画像記録再生装置および方法
US7231135B2 (en) 2001-05-18 2007-06-12 Pentax Of American, Inc. Computer-based video recording and management system for medical diagnostic equipment
KR100839251B1 (ko) * 2001-11-08 2008-06-17 엘지전자 주식회사 썸네일을 이용한 북마킹 방법
US7398000B2 (en) 2002-03-26 2008-07-08 Microsoft Corporation Digital video segment identification
US8238718B2 (en) 2002-06-19 2012-08-07 Microsoft Corporaton System and method for automatically generating video cliplets from digital video
US20070288426A1 (en) * 2006-06-12 2007-12-13 Joshua Schachter System and method for bookmarking and auto-tagging a content item based on file type
US8982195B2 (en) 2006-09-07 2015-03-17 Abbott Medical Optics Inc. Digital video capture system and method with customizable graphical overlay
US20080131853A1 (en) 2006-11-30 2008-06-05 James Kunitz Vidio interface for learning an activity
US8165450B2 (en) * 2007-11-19 2012-04-24 Echostar Technologies L.L.C. Methods and apparatus for filtering content in a video stream using text data
US8112702B2 (en) 2008-02-19 2012-02-07 Google Inc. Annotating video intervals
US9396669B2 (en) 2008-06-16 2016-07-19 Microsoft Technology Licensing, Llc Surgical procedure capture, modelling, and editing interactive playback
US9390169B2 (en) 2008-06-28 2016-07-12 Apple Inc. Annotation of movies
US20100115596A1 (en) * 2008-10-31 2010-05-06 Motorola, Inc. Method and System for Creating and Sharing Bookmarks of Media Content
US8200602B2 (en) 2009-02-02 2012-06-12 Napo Enterprises, Llc System and method for creating thematic listening experiences in a networked peer media recommendation environment
US8120301B2 (en) 2009-03-09 2012-02-21 Intuitive Surgical Operations, Inc. Ergonomic surgeon control console in robotic surgical systems
US9230173B2 (en) * 2009-08-24 2016-01-05 Verizon Patent And Licensing Inc. Soft decision making processes for analyzing images
US8108541B2 (en) 2009-11-19 2012-01-31 Alcatel Lucent Method and apparatus for providing collaborative interactive video streaming
US8953928B2 (en) * 2010-12-21 2015-02-10 Google Technology Holdings LLC Bookmarks in recorded video
US20120263430A1 (en) * 2011-03-31 2012-10-18 Noah Spitzer-Williams Bookmarking moments in a recorded video using a recorded human action
EP2775730A1 (en) * 2013-03-05 2014-09-10 British Telecommunications public limited company Video data provision
EP2973105B1 (en) 2013-03-15 2022-08-31 Arthrex, Inc Surgical imaging system and method for processing surgical images
US9171477B2 (en) 2013-03-25 2015-10-27 University Of Rochester Method and system for recognizing and assessing surgical procedures from video
KR101352999B1 (ko) * 2013-04-03 2014-02-05 주식회사 인피니트헬스케어 특성정보를 활용하는 의료영상 북마크 장치 및 방법
US9640084B2 (en) 2013-09-24 2017-05-02 Xerox Corporation Computer-based system and method for creating customized medical video information using crowd sourcing
CN106104692B (zh) 2014-02-03 2019-05-07 诺基亚技术有限公司 精彩部分视频分段的排序
WO2015161677A1 (en) 2014-04-22 2015-10-29 Bio-Medical Engineering (HK) Limited Single access surgical robotic devices and systems, and methods of configuring single access surgical robotic devices and systems
GB201505864D0 (en) 2015-04-07 2015-05-20 Ipv Ltd Live markers
US20160314717A1 (en) 2015-04-27 2016-10-27 KindHeart, Inc. Telerobotic surgery system for remote surgeon training using robotic surgery station coupled to remote surgeon trainee and instructor stations and associated methods
US10096342B2 (en) 2015-04-30 2018-10-09 Rodica Schileru Method and sytem for segmenting videos
WO2016200887A1 (en) * 2015-06-09 2016-12-15 Intuitive Surgical Operations, Inc. Video content searches in a medical context
US20170053543A1 (en) 2015-08-22 2017-02-23 Surgus, Inc. Commenting and performance scoring system for medical videos
CN113456241A (zh) 2015-11-12 2021-10-01 直观外科手术操作公司 具有训练或辅助功能的外科手术系统
US10592750B1 (en) 2015-12-21 2020-03-17 Amazon Technlogies, Inc. Video rule engine
KR101769071B1 (ko) * 2016-05-10 2017-08-18 네이버 주식회사 비디오 태그 제작 및 활용을 위한 방법 및 시스템
US10600448B2 (en) * 2016-08-10 2020-03-24 Themoment, Llc Streaming digital media bookmark creation and management
US9788907B1 (en) 2017-02-28 2017-10-17 Kinosis Ltd. Automated provision of real-time custom procedural surgical guidance
WO2019079430A1 (en) 2017-10-17 2019-04-25 Verily Life Sciences Llc SYSTEMS AND METHODS FOR SEGMENTING SURGICAL VIDEOS
US11189379B2 (en) 2018-03-06 2021-11-30 Digital Surgery Limited Methods and systems for using multiple data structures to process surgical data
US11657087B2 (en) 2018-03-19 2023-05-23 Verily Life Sciences Llc Surgical video retrieval based on preoperative images
US10910103B2 (en) 2018-12-14 2021-02-02 Verb Surgical Inc. Method and system for extracting an actual surgical duration from a total operating room (OR) time of a surgical procedure
EP3928325B1 (en) 2019-02-21 2023-07-05 Theator Inc. Systems and methods to enable automatically populating a post-operative report of a surgical procedure

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5801685A (en) * 1996-04-08 1998-09-01 Tektronix, Inc. Automatic editing of recorded video elements sychronized with a script text read or displayed
CN1520561A (zh) * 2001-03-30 2004-08-11 皇家菲利浦电子有限公司 流式视频书签
CN1666510A (zh) * 2002-07-09 2005-09-07 汤姆森许可贸易公司 数字视频回放的增强书签
CN101127870A (zh) * 2007-09-13 2008-02-20 深圳市融合视讯科技有限公司 一种视频流媒体书签的创建及使用方法
CN105518783A (zh) * 2013-08-19 2016-04-20 谷歌公司 基于内容的视频分段

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Event understanding in endoscopic surgery video;MARIO GUGGENBERGER等;《PROCEEDINGS OF THE 1ST ACM INTERNATIONAL WORKSHOP ON HUMAN CENTERED EVENT UNDERSTANDING FROM MULTIMEDIA》;20140101;第17-22页 *
基于视频分析的虚拟翻书系统的设计与实现;孙连山等;《陕西科技大学学报（自然科学版）》;20110831(第04期);第24-28页 *

Also Published As

Publication number Publication date
EP3698372A1 (en) 2020-08-26
US11941050B2 (en) 2024-03-26
US10956492B2 (en) 2021-03-23
CA3079559A1 (en) 2019-04-25
US20190110856A1 (en) 2019-04-18
JP7265543B2 (ja) 2023-04-26
JP2023083402A (ja) 2023-06-15
US20210200804A1 (en) 2021-07-01
JP2020537779A (ja) 2020-12-24
WO2019079430A1 (en) 2019-04-25
CN111226288A (zh) 2020-06-02

Similar Documents

Publication Publication Date Title
CN111226288B (zh) 用于对外科手术视频分段的系统和方法
US11081229B2 (en) Surgical tracking and procedural map analysis tool
US7954049B2 (en) Annotating multimedia files along a timeline
US20190325024A1 (en) Method, System, and Apparatus for Validation
JP6273267B2 (ja) レポート作成の補助の提供
US8520978B2 (en) Methods, computer program products, apparatuses, and systems for facilitating viewing and manipulation of an image on a client device
US10642463B2 (en) Interactive management system for performing arts productions
TW201523426A (zh) 顯示於觸控螢幕上的可動作內容
US10692591B2 (en) Apparatus, method and computer readable medium for tracking data and events
Avellino et al. Surgical video summarization: Multifarious uses, summarization process and ad-hoc coordination
US20110113357A1 (en) Manipulating results of a media archive search
US20230335261A1 (en) Combining natural language understanding and image segmentation to intelligently populate text reports
JP2016157320A (ja) 情報処理システム、情報処理方法及びプログラム
US20220147703A1 (en) Voice activated clinical reporting systems and methods thereof
Zhang et al. Annotation and taxonomy of gestures in lecture videos
Münzer et al. ECAT-endoscopic concept annotation tool
US11119727B1 (en) Digital tutorial generation system
JP5181008B2 (ja) 自動処理リスト作成装置、方法並びにプログラム
US20230326172A1 (en) System and method for automatic tagging of images and video in an operative report
JPH0916064A (ja) 患者教育システム
US20240077997A1 (en) System and method for diagnosis and analysis of medical images
CN117678028A (zh) 使用对象检测与活动估计的医学视频注释
TW202009891A (zh) 電子書語音朗讀裝置及其方法
Zhang Using graphical representation of user interfaces as visual references
Ong et al. Cardiscuss: A heart sounds annotation tool facilitating doctor to doctor communication

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant