CN114128304A - 用于使手术视频同步以进行比较学习的方法和系统 - Google Patents

用于使手术视频同步以进行比较学习的方法和系统 Download PDF

Info

Publication number
CN114128304A
CN114128304A CN201980098420.9A CN201980098420A CN114128304A CN 114128304 A CN114128304 A CN 114128304A CN 201980098420 A CN201980098420 A CN 201980098420A CN 114128304 A CN114128304 A CN 114128304A
Authority
CN
China
Prior art keywords
video
surgical
segment
segments
playback
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980098420.9A
Other languages
English (en)
Other versions
CN114128304B (zh
Inventor
P·加西亚基尔罗伊
J·文卡塔拉曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Verb Surgical Inc
Original Assignee
Verb Surgical Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Verb Surgical Inc filed Critical Verb Surgical Inc
Publication of CN114128304A publication Critical patent/CN114128304A/zh
Application granted granted Critical
Publication of CN114128304B publication Critical patent/CN114128304B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/167—Systems rendering the television signal unintelligible and subsequently intelligible
    • H04N7/169—Systems operating in the time domain of the television signal
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/20—ICT specially adapted for the handling or processing of medical references relating to practices or guidelines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/11—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information not detectable on the record carrier
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/322—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier used signal is digitally coded
    • G11B27/323—Time code signal, e.g. on a cue track as SMPTE- or EBU-time code
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Bioethics (AREA)
  • Signal Processing (AREA)
  • Surgery (AREA)
  • Urology & Nephrology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本文描述的实施方案提供了制备两个手术视频，特别是用于比较学习的两个外科手术视频的各种示例。在一些实施方案中，为了允许对两个记录的外科视频的比较学习，这两个记录的外科视频中的每一者均被分割成预定义阶段/步骤序列。接下来，两个分割视频的对应阶段/步骤以成对的方式单独地进行时间同步，使得一个记录视频的给定阶段/步骤和另一分割视频的对应阶段/步骤可在比较回放两个记录的视频期间具有相同或基本上相同的起始时间和结束时间。所公开的比较学习技术通常可应用于可被分解成预定义阶段/步骤序列的任何类型的手术视频，并且用于在预定义阶段/步骤序列中的每个分割阶段/步骤处将一个此类手术视频同步到/从属于相同类型的另一个手术视频。

Description

用于使手术视频同步以进行比较学习的方法和系统
技术领域
本公开整体涉及构建外科手术视频分析工具，并且更具体地涉及系统、装置和技术，该系统、装置和技术用于使给定外科手术的外科视频同步，使得外科视频可在外科手术的预定义阶段序列被自动同步地回放以进行比较学习。
背景技术
医学手术诸如外科手术的记录视频包含非常有价值且丰富的信息以用于医学教育和培训、评估和分析外科手术的质量和外科医生的技能、以及用于改善外科手术的结果和外科医生的技能。存在涉及显示和捕获外科手术的视频图像的许多外科手术。例如，几乎所有微创手术(MIS)诸如内窥镜检查、腹腔镜检查和关节镜检查都涉及使用摄像机和视频图像来协助外科医生。此外，现有技术机器人辅助的外科手术需要捕获术中视频图像并在监视器上显示给外科医生。因此，对于许多上述外科手术，例如胃套或胆囊切除术，大量外科视频已经存在，并且由于来自不同医院的许多不同外科医生执行大量的外科病例而继续创建。
众所周知，记录的外科手术视频可用于评估和分析外科的质量和外科医生的技能。然而，通过仅仅观看记录在外科手术视频上的外科医生执行某些外科任务，可能非常难以客观地评估外科医生的表现，因为没有明确的参考或度量来衡量外科医生是否在每个外科任务中都做得很好。作为上述技术的改进，比较学习技术涉及专家同时观看由两个外科医生执行的两个外科视频，在视觉上比较这两个外科医生的技术，并且更客观地为由两个外科医生执行的外科任务分配得分。作为上述技术的又一改进，另一比较学习技术涉及并排播放两个记录的手术视频：第一视频是由外科手术的专家执行的参考视频；而第二视频是由第二外科医生执行的评估视频。同样，专家的任务是同时观看两个并排视频，比较第二外科医生的技术与专家的技术，并且随后基于第二视频中的第二外科医生与第一视频中的专家的直接比较来为第二外科医生分配技能得分。
发明内容
本专利公开提供了制备两个手术视频，特别是用于比较学习的两个外科手术视频的各种实施方案。在一些实施方案中，为了允许对两个记录的外科视频的比较学习，这两个记录的外科视频中的每一者均被分割成预定义阶段/步骤序列。接下来，两个分割视频的对应阶段/步骤以成对的方式单独地进行时间同步，使得一个分割视频的给定阶段/步骤和另一分割视频的对应阶段/步骤可在例如在两个并排的监视器上比较回放两个记录的视频期间具有相同或基本上相同的起始时间和结束时间。
在一些实施方案中，所提出的比较学习技术还包括并排比较播放和观看记录视频和直播视频馈送。为此，记录视频可在回放之前被分割成预定义步骤序列(即，离线处理)。接下来，在直播实践会话期间，所提出的技术提供了一种机制来实时地识别直播视频馈送中的预定义步骤，并且随后将记录视频中的预定义步骤的回放从属于直播视频馈送中所识别的对应预定义步骤。这样，记录视频可暂停、重新开始并且遵循直播视频馈送的速度，该直播视频馈送描绘了一个人通过预定义步骤序列复制记录视频中的动作。
在一个方面，公开了一种用于使两个外科手术视频同步的过程。该过程可开始于接收外科手术的第一外科视频和相同外科手术的第二外科视频，其中该外科手术包括预定义阶段序列。该过程接下来执行对第一外科视频和第二外科视频中的每一者的阶段分割操作，以将第一外科视频和第二外科视频分割成对应于预定义阶段序列的第一组视频片段和第二组视频片段。接下来，该过程使第一组视频片段中的对应于预定义阶段序列中的预定义阶段的每个视频片段同步到第二组视频片段中的对应于相同预定义阶段的对应视频片段。该过程随后将包括第一组同步的视频片段和第二组同步的视频片段的第一外科视频和第二外科视频输出到显示系统以进行比较观看。
在一些实施方案中，该过程通过以下方式将第一外科视频或第二外科视频分割成第一组视频片段或第二组视频片段：对于预定义阶段序列中的每个阶段，识别第一外科视频或第二外科视频中的第一阶段边界，该第一阶段边界表示第一外科视频或第二外科视频中的阶段的开始；识别所述第一外科视频或所述第二外科视频中的第二阶段边界，所述第二阶段边界表示所述第一外科视频或所述第二外科视频中的所述阶段的结束；以及将第一外科视频或第二外科视频的第一阶段边界和第二阶段边界之间的视频片段输出为对应于给定阶段的视频片段。需注意，第一组视频片段或第二组视频片段中的每个视频片段包括对应组视频帧。
在一些实施方案中，该过程通过以下方式来识别第一外科视频或第二外科视频中的第一阶段边界或第二阶段边界：使用机器学习引擎来检测第一外科视频或第二外科视频中指示外科手术中的对应阶段的开始或结束的外科事件。
在一些实施方案中，该过程通过以下方式来使第一外科视频的第一组视频片段中的每个视频片段同步到第二外科视频的第二组视频片段中的对应视频片段：将第一外科视频的视频片段的第一阶段边界与第二外科视频的对应视频片段的第一阶段边界时间对准；以及确定视频片段的第一回放速度和对应视频片段的第二回放速度，使得使用第一回放速度的视频片段的第一回放时间等于或基本上等于使用第二回放速度的对应视频片段的第二回放时间。这样，该过程允许第一外科视频的视频片段的第二阶段边界与第二外科视频的对应视频片段的第二阶段边界时间对准。
在一些实施方案中，该过程通过以下方式来使第一外科视频的第一组视频片段中的给定视频片段同步到第二外科视频的第二组视频片段中的对应视频片段：确定给定视频片段中所包含的第一视频帧数；确定所述对应视频片段中所包含的第二视频帧数；以及基于第一视频帧数和第二视频帧数来确定用于回放给定视频片段的第一帧速率和用于回放对应视频片段的第二帧速率，使得使用第一帧速率的给定视频片段的第一回放时间等于或基本上等于使用第二帧速率的对应视频片段的第二回放时间。
在一些实施方案中，第一帧速率是第一外科视频的所有视频片段的恒定帧速率，并且其中基于该恒定帧速率以及第一视频帧数和第二视频帧数来计算第二帧速率。
在一些实施方案中，第一外科视频是参考视频，并且该过程通过以下方式来使第一组视频片段中的给定视频片段同步到第二组视频片段中的对应视频片段：为第一组视频片段中的所有视频片段分配恒定回放速度；以及对于第二组视频片段中的每个视频片段，基于第一组视频片段中的对应视频片段在使用恒定回放速度时的回放时间来分配可调节回放速度。更具体地，该可调节回放速度被配置为加快或减慢第二组视频片段中的视频片段的回放，使得第一组视频片段中的每个视频片段在使用恒定回放速度时的回放时间等于或基本上等于使用可调节回放速度的第一组视频片段中的每个视频片段的回放时间。
在一些实施方案中，该过程通过以下方式来执行第一外科视频和第二外科视频的比较观看：将第一外科视频输出到第一监视器并且将第二外科视频输出到定位在第一监视器旁边的第二监视器；以及同时开始第一监视器上的第一外科视频的回放和第二监视器上的第二外科视频的回放。需注意，基于两组同步的视频片段来播放第一外科视频和第二外科视频会使第一组视频片段中的每个视频片段的回放自动同步到第二组视频片段中的对应视频片段的回放。
在一些实施方案中，第一监视器上的第一外科视频的回放与第二监视器上的第二外科视频的回放同时或基本上同时结束。
在一些实施方案中，该过程通过以下方式来执行第一外科视频和第二外科视频的比较观看：通过组合第一外科视频和第二外科视频来创建分屏视频，其中第一外科视频和第二外科视频中的对应视频片段在分屏视频中的对应阶段边界处被时间对准；以及在监视器上回放分屏视频，使得第一外科视频和第二外科视频在预定义阶段序列中的每个阶段中被并排播放并且被彼此时间对准。
在另一方面，公开了一种用于使两个外科手术视频同步的系统。该系统可包括：一个或多个处理器；存储器，所述存储器耦接到所述一个或多个处理器；分割模块，该分割模块被配置为基于外科手术的预定义阶段序列来将相同外科手术的第一外科视频和第二外科视频分别分割成第一组视频片段和第二组视频片段；同步模块，该同步模块被配置为使第一组视频片段中的对应于预定义阶段序列中的预定义阶段的视频片段同步到第二组视频片段中的对应于相同预定义阶段的对应视频片段；和输出模块，该输出模块被配置为将同步的视频片段输出到显示系统以进行比较观看。
在一些实施方案中，分割模块被配置为通过以下方式来分割第一外科视频或第二外科视频：对于预定义阶段序列中的每个阶段，识别第一外科视频或第二外科视频中的第一阶段边界，该第一阶段边界表示第一外科视频或第二外科视频中的阶段的开始；识别所述第一外科视频或所述第二外科视频中的第二阶段边界，所述第二阶段边界表示所述第一外科视频或所述第二外科视频中的所述阶段的结束；以及将第一外科视频或第二外科视频的第一阶段边界和第二阶段边界之间的视频片段输出为对应于给定阶段的视频片段。需注意，第一组视频片段或第二组视频片段中的每个视频片段包括对应组视频帧。
在一些实施方案中，分割模块被进一步配置为通过以下方式来识别第一外科视频或第二外科视频中的第一阶段边界或第二阶段边界：使用机器学习引擎来检测第一外科视频或第二外科视频中指示外科手术中的对应阶段的开始或结束的外科事件。
在一些实施方案中，同步模块被配置为通过以下方式来使第一组视频片段中的视频片段同步到第二组视频片段中的对应视频片段：将第一外科视频的视频片段的第一阶段边界与第二外科视频的对应视频片段的第一阶段边界时间对准；以及确定视频片段的第一回放速度和对应视频片段的第二回放速度，使得使用第一回放速度的视频片段的第一回放时间等于或基本上等于使用第二回放速度的对应视频片段的第二回放时间。这样，同步模块使得第一外科视频的视频片段的第二阶段边界能够与第二外科视频的对应视频片段的第二阶段边界时间对准。
在一些实施方案中，同步模块被进一步配置为通过以下方式来使第一组视频片段中的视频片段同步到第二组视频片段中的对应视频片段：确定给定视频片段中所包含的第一视频帧数；确定所述对应视频片段中所包含的第二视频帧数；以及基于第一视频帧数和第二视频帧数来确定用于回放给定视频片段的第一帧速率和用于回放对应视频片段的第二帧速率，使得使用第一帧速率的给定视频片段的第一回放时间等于或基本上等于使用第二帧速率的对应视频片段的第二回放时间。
在一些实施方案中，第一帧速率是第一外科视频的所有视频片段的恒定帧速率，并且其中基于该恒定帧速率以及第一视频帧数和第二视频帧数来计算第二帧速率。
在一些实施方案中，第一外科视频是参考视频，并且阶段同步模块被进一步配置为通过以下方式来使第一外科视频的第一组视频片段中的给定视频片段同步到第二外科视频的第二组视频片段中的对应视频片段：为第一组视频片段中的所有视频片段分配恒定回放速度；以及对于第二组视频片段中的每个视频片段，基于第一组视频片段中的对应视频片段在使用恒定回放速度时的回放时间来分配可调节回放速度。更具体地，阶段同步模块将可调节回放速度配置为加快或减慢第二组视频片段中的视频片段的回放，使得第一组视频片段中的每个视频片段在使用恒定回放速度时的回放时间等于或基本上等于使用可调节回放速度的第一组视频片段中的每个视频片段的回放时间。
在一些实施方案中，输出模块被进一步配置为：将第一组视频片段中的视频片段输出到第一监视器并且将第二组视频片段中的对应视频片段输出到定位在第一监视器旁边的第二监视器；以及同时开始第一监视器上的第一外科视频的视频片段的回放和第二监视器上的第二外科视频的对应视频片段的回放。通过基于两个同步的视频片段来播放第一外科视频和第二外科视频，系统会使第一外科视频的视频片段的回放自动同步到第二外科视频的对应视频片段的回放。
附图说明
通过查看以下具体实施方式和附图将理解本公开的结构和操作，在附图中类似的附图标号是指类似的部件，并且其中：
图1A示出了根据本文所描述的一些实施方面的用于将包括M个视频帧的外科手术的第一外科视频分割成一组K个视频片段的示例性外科视频分割过程。
图1B示出了根据本文所描述的一些实施方面的用于将包括N个视频帧的相同外科手术的第二外科视频分割成一组K个片段的示例性外科视频分割过程。
图2示出了根据本文所描述的一些实施方案的用于对相同外科手术的两个记录外科视频进行时间同步并且回放两个时间同步的外科视频以进行比较学习的示例性外科视频比较学习系统。
图3呈现了根据本文所描述的一些实施方案的流程图，该流程图示出了用于对相同外科手术的两个外科视频进行时间同步以进行比较学习的示例性过程。
图4呈现了根据本文所描述的一些实施方案的流程图，该流程图示出了用于使外科手术的记录指导视频的回放同步到一个人复制相同外科手术的直播视频馈送的示例性过程。
图5概念性地示出了可用以实现本主题技术的一些实施方案的计算机系统。
具体实施方式
下文列出的具体实施方式旨在作为本主题技术的各种配置的描述，并非旨在表示可实践本主题技术的唯一配置。附图并入本文并构成具体实施方式的一部分。具体实施方式包括特定细节，其目的在于提供对本主题技术的透彻理解。然而，本主题技术不限于本文列出的特定细节，并且可在没有这些特定细节的情况下被实践。在一些情况下，结构和部件在框图中示出，以避免模糊本主题技术的概念。
在本专利公开中，公开了制备两个手术视频，特别是用于比较学习的两个外科手术视频的各种实施方案。在一些实施方案中，为了允许对两个记录的外科视频的比较学习，这两个记录的外科视频中的每一者均被分割成预定义阶段/步骤序列。接下来，两个分割视频的对应阶段/步骤以成对的方式单独地进行时间同步，使得一个分割视频的给定阶段/步骤和另一分割视频的对应阶段/步骤可在例如在两个并排的监视器上比较回放两个记录的视频期间具有相同或基本上相同的起始时间和结束时间。在一些实施方案中，所提出的比较学习技术还包括并排比较播放和观看记录视频和直播视频馈送。为此，记录视频可在回放之前被分割成预定义步骤序列(即，离线处理)。接下来，在直播实践会话期间，所提出的技术提供了一种机制来实时地识别直播视频馈送中的预定义步骤，并且随后将记录视频中的预定义步骤的回放从属于直播视频馈送中所识别的对应预定义步骤。这样，记录视频可暂停、重新开始并且通过预定义步骤序列遵循直播视频馈送的速度。
需注意，外科手术视频(或下文称为“外科视频”)表示一类手术视频，其中每个视频可分解为预定义外科步骤或阶段的序列，其中预定义阶段序列中的每个阶段表示外科手术的在整个外科手术中起到独特且可区分的目的的特定阶段。在一些实施方案中，本文描述的给定外科视频是专门为外科手术的术中时期记录的。可最初基于可从外科信息管理系统(IMS)检索的公认和/或标准化操作手术来建立预定义阶段序列，该IMS识别给定外科手术内的关键阶段。使用预定义阶段序列和外科阶段分割引擎(或下文称为“阶段分割引擎”)，可将外科视频(其可以是相当长的视频)分割成一组较短的视频片段，并且每个视频片段对应于外科手术的特定阶段，该特定阶段能够与对应于外科手术的其他阶段的其他视频片段区分开来。在一些实施方案中，阶段分割引擎还可将给定预定义阶段分解成子阶段序列，其中每个子阶段对应于在给定预定义阶段内执行的任务序列中的单个任务。在此类实施方案中，还能够将外科视频的阶段片段划分为甚至更小的片段，该甚至更小的片段对应于给定阶段内的单个任务。阶段分割引擎的更详细操作已在序列号为15/987,782且提交日期为2018年5月23日的相关专利申请中进行描述，该专利申请的内容以引用方式并入本文。
两个记录视频之间的比较学习
需注意，对应于相同外科手术(诸如胃套或胆囊切除术)的两个记录外科视频通常包含相同的预定义阶段或时期序列。例如，可根据同一外科医生对两个不同的患者执行相同的外科手术或根据两个不同的外科医生对两个不同的患者执行相同的外科手术来生成这两个记录视频。在上述场景中的每个场景中，可能有益的是，通过例如在双监视器并排设置中比较地播放和观看两个记录视频，来比较同一外科医生在两个不同外科手术中的表现或两个不同外科医生做相同手术的表现。还需注意，在上述场景中的每个场景中，虽然两个记录视频可由相同的预定义阶段序列组成，但两个视频中的一对对应视频片段可在长度和视频帧数方面不同。因此，如果两个记录视频在个别阶段没有进行时间同步，则比较观看将需要观察者手动暂停两个视频中的一者(例如，当第一视频在第二视频之前完成阶段1时)和使其重新开始(例如，当第二视频在稍后完成阶段1时)，并且在两个视频之间往返以便使两个视频在对应阶段中的回放同步。
为了使得能够自动比较播放和观看(在本专利公开中也称为“比较学习”)给定外科手术的两个记录视频，本专利公开的一些实施方案首先将对应的阶段分割引擎应用于这两个记录视频以将两个视频中的每个视频分解/分割成预定义阶段序列。例如，对于给定外科手术，第一记录视频V1可被分割成对应于N个预定义阶段序列的一组N个视频片段(例如，N＝6或8)，并且对于相同外科手术，第二记录视频V2也可被分割成对应于相同N个预定义阶段序列的一组N个视频片段(例如，N＝6或8)。此外，对于V1或V2中每个识别的外科阶段，阶段分割引擎也可确定两个阶段边界，即，对应视频片段的开始时间戳和结束时间戳。需注意，虽然两个记录视频中的每个视频中的N个预定义阶段彼此相同，但两个记录视频中给定阶段内的帧的持续时间和数量可能不同。接下来，在两个视频V1和V2的回放期间，V1的该组N个视频片段中的每个视频片段可与V2的对应视频片段的回放进行时间同步播放。例如，取决于两个视频V1和V2的两个对应视频片段中的每个视频片段中的帧数，可针对任一视频调节视频播放器的帧速率，使得每个对应视频片段对于两个视频的回放在相同或基本上相同的时间开始和结束。
需注意，虽然所公开的比较学习技术(例如，通过并排回放和观看)在上文整体描述并且还在下文基于将外科视频分割成预定义阶段序列进行了描述，但外科视频的分割可包括比仅一组高级阶段更细的粒度。例如，两个记录视频中的每个视频可首先被分割成对应于一组预定义高级外科阶段的一组视频片段。接下来，对应于该组高级外科阶段中的一个或多个阶段的视频片段子集还可被分割成一组外科子阶段/任务。换句话说，视频片段子集中的每一者可被分解成单个外科任务的一组甚至更短的视频片段。在视频分割结束时，两个记录视频可被分割成预定义阶段和任务的组合序列。换句话说，对于具有识别的阶段或任务的第一视频，在第二视频中存在识别出的对应阶段或任务，而不管该阶段或任务的长短如何。为了简化讨论，我们描述了在预定义阶段序列的范围内使两个记录视频的回放同步的各种实施方案。然而，在不脱离本专利公开的范围的情况下，下文在两个记录视频之间公开的技术可同样适用于使更细粒度的视频片段(诸如子阶段、步骤和任务)同步。
在一些实施方案中，与两个记录视频相关联的总手术时间可相同，虽然两个视频的一些对应视频片段/阶段具有不同的持续时间/长度。例如，如果视频V1具有给定阶段，该给定阶段比视频V2中的对应阶段长两分钟，但也具有另一阶段，该另一阶段比V2中的对应阶段短两分钟，则V1和V2仍可具有相同的总视频长度。在该示例中，如果两个视频同时开始比较回放，则这两个回放也将在相同或基本上相同的时间结束。然而，对于对应于预定义阶段序列的阶段P1的第一视频片段，阶段P1在V1中的回放可在与对应阶段P1在V2中的回放的结束不同的时间结束，即，阶段P1的回放在两个视频V1和V2之间不会自动时间同步(或“时间同步”)。
为了比较观看和学习，有益的是以如下方式回放两个记录视频，即使第一视频中的每个视频片段/阶段时间同步到第二视频中的对应视频片段/阶段。在一些实施方案中，可通过以下方式来实现两个视频的同步回放：以不同速度播放一组视频片段，使得两个视频中的对应视频片段始终在对应的视频片段边界(也称为对应阶段的“阶段边界”)处同步。更具体地，在对两个视频执行阶段分割之后，可提取两个视频的每个视频片段的长度和阶段边界。接下来，使两个视频的回放同步就仅需要在对应阶段边界处同步对应的视频片段。例如，假设V1中的给定视频片段/阶段和V2中的对应视频片段/阶段同时开始播放(即，两个视频中的给定视频片段/阶段的第一阶段边界已被时间对准)，则使两个视频中给定视频片段/阶段同步会要求两个视频中的给定视频片段/阶段的回放也同时结束(即，两个视频中的给定视频片段/阶段的第二阶段边界也被时间对准)。
更具体地，如果V1中的给定视频片段/阶段和V2中的对应视频片段/阶段具有不同的长度/持续时间，则可通过以下方式来实现第二阶段边界的对准：(1)提高较长视频片段/阶段的回放速度；或(2)降低较短视频片段/阶段的回放速度。例如，如果V1中的视频片段s1比V2中的对应视频片段s1长2倍，则将V2中的视频片段s1的回放减慢2倍会导致两个视频中的s1的回放同时结束。作为另一示例，如果V1中的视频片段s3比V2中的对应视频片段s3短1.5倍，则将V2中的视频片段s3的回放加快1.5倍同样会导致两个视频中的视频片段s3的回放同时结束。可针对预定义阶段序列的每一个视频片段/阶段重复用于使给定视频分割/阶段的阶段边界对准的上述回放同步技术，从而在两个视频之间针对所有单独视频片段/阶段和整个手术实现完全时间同步。需注意，当在两个视频的比较播放期间实现完全时间同步时，比较播放的观看者将始终在任何给定时间点观看两个视频中的外科手术的相同视频片段/阶段。
在一些实施方案中，可通过始终以较慢速度播放视频片段来实现使两个分割视频的回放同步。更具体地，对于视频片段/阶段中的每一者，两个视频中具有较长持续时间的一个视频始终用作参考视频并且以规则/恒定速度被播放，而视频片段/阶段的对准通过针对另一视频中的对应视频片段/阶段使用较慢回放速度来实现。另选地，可通过始终以较快速度播放视频片段来实现使两个分割视频的回放同步。更具体地，对于视频片段/阶段中的每一者，两个视频中具有较短持续时间的一个视频始终用作参考视频并且以规则/恒定速度被播放，而视频片段/阶段的对准通过针对另一视频中的对应视频片段/阶段使用较快回放速度来实现。
在一些其他实施方案中，可通过以下方式来实现使两个分割视频的回放同步：始终将一个视频作为参考视频并且以规则速度被播放，并且然后通过基于参考视频中的对应视频片段/阶段加快或减慢回放来针对该组视频片段/阶段中的每一者调节另一视频的回放速度以同步不同视频片段/阶段。在一些实施方案中，如果用于比较学习的两个视频包括专家/指导/训练视频和非专家/评估/受训者视频，则专家/指导/训练视频可作为参考视频，该参考视频将以其规则速度被播放，而非专家/评估/受训者视频将针对该组视频片段/阶段中的每一者以不同速度被播放以便与专家/指导/训练视频中的对应视频分割/阶段同步。需注意，选择上述技术中的哪种技术来实现阶段边界对准通常将取决于与视频比较相关联的特定应用。
需注意，因为每个记录视频由天然表示时间序列的一组视频帧组成，所以将记录视频分割成视频片段必会将一组帧划分为帧的子集，其中每个视频片段由该组帧的子集组成。图1A示出了根据本文所描述的一些实施方面的用于将包括M个视频帧的外科手术的第一外科视频100分割成一组K个视频片段的示例性外科视频分割过程。如在图1A中可见，外科视频100(其由M个帧组成)被馈送到阶段分割引擎102中。阶段分割引擎102被配置为将外科视频100分割成一组视频片段104，即，片段1、片段2、…、片段K，该组视频片段对应于K个预定义外科阶段序列。因此，分割引擎102将外科视频100(其可以是相当长的视频)分割成一组较短的视频片段，并且每个视频片段对应于外科手术的特定预定义阶段，该特定预定义阶段能够与对应于外科手术的其他预定义阶段的其他视频片段区分开来。具体地，在视频分割之后，所生成的一组视频片段104(即，片段1、片段2、…、片段K)对应于一组帧(m1、m2、…、mK)。例如，视频100的片段i由mi个视频帧组成，其中i是从1至K的任何数字。照此，m1+m2+…+mK＝M。在一些实施方案中，视频100是由外科手术的专家制备的指导视频或训练视频。
需注意，输出形式分割引擎102还可包括该组视频片段104中的每个视频片段的两个阶段边界和对应阶段，其中两个阶段边界中的每个阶段边界标记对应阶段的开始或结束。两个阶段边界中的每个阶段边界可由阶段边界的对应时间戳或由阶段边界的对应帧数表示。因此，给定视频片段i的持续时间可被计算为两个阶段边界的两个时间戳之间的差，其与帧数mi(i＝1,2,…,K)成比例。然而，在一些实施方案中，分割引擎102不直接生成阶段边界。相反，处理流水线更下方的阶段同步引擎可用于提取来自该组视频片段104的阶段边界。
在一些实施方案中，识别对应阶段的阶段边界包括使用计算机视觉或基于机器学习的视频图像处理技术来检测外科视频中指示外科手术中的对应阶段的开始或结束的界标外科事件的发生。例如，此类界标事件可包括特定外科工具的出现、特定解剖结构的出现以及以上的组合。需注意，给定阶段的第二或结束阶段边界也可以是预定义阶段序列中后续阶段的第一或开始阶段边界。
类似地，图1B示出了根据本文所描述的一些实施方面的用于将包括N个视频帧的相同外科手术的第二外科视频110分割成一组K个片段的示例性外科视频分割过程。如在图1B中可见，外科视频110(其可由N个帧组成)被馈送到与图1A中相同的阶段分割引擎102中。在一些实施方案中，外科视频110描绘了与外科视频100相同的外科手术，并且因此包括与外科视频100相同的预定义阶段序列。因此，阶段分割引擎102被配置为将外科视频110分割成一组视频片段114，即，片段1、片段2、…、片段K，该组视频片段对应于与图1A中相同的K个预定义外科阶段序列。需注意，在分割了视频100和110两者之后，该组视频片段104中的片段k(k＝1,2,…,K)和该组视频片段114中的相同索引的片段k(k＝1,2,…,K)对应于相同外科手术中的相同预定义外科阶段。
因此，分割引擎102将外科视频110分割成一组较短的视频片段，并且每个视频片段对应于外科手术的特定预定义阶段，该特定预定义阶段能够与对应于外科手术的其他预定义阶段的其他视频片段区分开来。具体地，在视频分割之后，所生成的一组视频片段104(即，片段1、片段2、…、片段K)对应于一组帧(n1、n2、…、nKK)。例如，视频110的片段j由nj个视频帧组成，其中j是从1至K的任何数字。照此，n1+n2+…+nK＝N。在一些实施方案中，视频110是受训者视频或由在外科手术方面不是专家的人制备的视频。
类似地，输出形式分割引擎102还可包括该组视频片段114中的每个视频片段的两个阶段边界和对应阶段，其中两个阶段边界中的每个阶段边界标记对应阶段的开始或结束。两个阶段边界中的每个阶段边界可由阶段边界的对应时间戳或由阶段边界的对应帧数表示。因此，给定视频片段j的持续时间可被计算为两个阶段边界的时间戳之间的差，其与帧数nj(j＝1,2,…,K)成比例。然而，在一些实施方案中，分割引擎102不直接生成阶段边界。相反，处理流水线更下方的阶段同步引擎可用于提取来自该组视频片段114的阶段边界。
图2示出了根据本文所描述的一些实施方案的用于对相同外科手术的两个记录外科视频100和110进行时间同步并且回放两个时间同步的外科视频以进行比较学习的示例性外科视频比较学习系统200。需注意，比较学习系统200包括图1A和图1B中的上述阶段分割引擎102、阶段同步引擎202和比较显示系统220，这些部件以所示顺序彼此耦接。
如在图2中可见，阶段分割引擎102接收外科视频100和110，并且将每个视频分割成对应组视频片段104和114。上文结合图1A和图1B描述了使用阶段分割引擎102来将外科视频100和110分割成对应组视频片段104和114的各种实施方案。在一些实施方案中，阶段分割引擎102可并行地或顺序地处理外科视频100和110。如果分割引擎102顺序地处理外科视频100和110，则分割引擎102可以任一顺序处理外科视频100和110。
在一些实施方案中，阶段同步引擎202用于使视频100的对应于给定外科阶段的每个视频片段104时间同步到视频110的对应于相同外科阶段的对应视频片段114。更具体地，阶段同步引擎202可被配置为确定视频100的每个视频片段k(k＝1,2,…,K)的第一回放速度和视频110的对应视频片段k的第二回放速度，使得这两个视频片段具有相同或基本上相同的回放时间。这样，如果两个视频片段在相同或基本上相同的时间开始播放，则它们也将在相同或基本上相同的时间到达回放的结尾。
需注意，阶段分割引擎102和阶段同步引擎202组合形成外科视频同步子系统230，该外科视频同步子系统用于使相同外科手术的两个输入外科视频100和110时间同步以便为比较观看作准备。需注意，所公开的外科视频同步子系统230可以是独立系统，该独立系统可用于预处理相同外科手术的外科视频并且生成时间同步输出(例如，包括计算的回放速度)，单独显示系统(诸如比较显示系统220)使用该时间同步输出来执行比较学习会话。
如上所述，可通过使两个视频片段在两个对应阶段边界处同步/对准来实现对两个对应视频片段k的时间同步。因此，在一些实施方案中，阶段同步引擎202被配置为提取来自视频100的视频片段k的两个阶段边界和来自视频110的对应视频片段k的两个阶段边界，并且根据这些阶段边界确定两个视频片段的持续时间。需注意，可基于给定视频片段中的两个阶段边界和/或帧数之间的时间差来测量给定视频片段的持续时间。由于两个计算的持续时间可彼此不同，因此即使两个视频片段k的第一阶段边界已被时间对准，两个视频片段k的第二阶段边界也不会被彼此自动对准。
在一些实施方案中，阶段同步引擎202被配置为基于所确定的持续时间来计算两个视频片段k的回放速度，使得在比较回放期间，如果两个视频片段k的第一阶段边界已被时间对准，即，具有相同或基本上相同的起始时间，则两个视频片段k的第二阶段边界也被时间对准，即，具有相同或基本上相同的完成时间。由于两个视频片段k中的每个视频片段由一组视频帧组成，所以可基于帧速率来测量给定视频片段的回放速度，其中可基于对应视频片段中的帧数来确定两个视频片段k的帧速率。
在特定实施方案中，假设第一视频100用作以原始帧速率R播放的参考视频，并且还假设两个视频片段k的第一阶段边界已被时间对准，则阶段同步引擎202可基于以下表达式来确定视频110的视频片段k的帧速率：
R×(nk/mk)，
其中，mk和nk分别是视频100和110的两个视频片段k中的帧数。更具体地，假设两个视频100和110同时开始播放，则可通过以调节后的帧速率R×(n1/m1)播放视频110来实现两个视频中的第一视频片段(即，片段1)的时间同步；可通过以调节后的帧速率R×(n2/m2)播放视频110来实现两个视频中的第二视频片段(即，片段2)的时间同步；等等，直到最后一个视频片段K(即，片段K)，其中可通过以调节后的帧速率R×(nK/mK)播放视频110中的视频片段K来实现时间同步。这样，两个视频100和110中的每个视频片段/阶段的阶段边界可在比较观看会话期间始终维持时间对准，并且回放也可在相同或基本上相同的时间完成。需注意，虽然我们讨论了两个外科视频的范围内的时间同步，但是在视频回放期间使阶段边界对准的相同概念可轻松地扩展到使给定外科手术的多个(即，两个或更多个)外科视频与相同外科手术的相同参考视频对准。
因此，为了使两个输入视频100和110时间同步，视频同步子系统230的阶段同步引擎202被配置为分别生成视频100的一组阶段边界206和视频110的对应组阶段边界216；以及还分别生成视频100的一组回放速度208和视频110的对应组回放速度218，其中每个回放速度可根据帧速率来测量。在以上示例中，视频100的该组回放速度208是恒定帧速率R；而基于表达式R×(nk/mk)(k＝1,2,…,K)来计算视频110的该组回放速度218。
接下来，来自阶段同步引擎202的输出可由比较显示系统220接收，该比较显示系统被配置为执行用于外科视频100和110的比较学习会话。例如，显示系统220可包括两个并排监视器222和224，其中视频100在左侧的第一监视器222上播放，并且视频110在右侧的第二监视器224上播放。显示系统220的视频处理模块可基于该组回放速度208和该组回放速度218来控制两个视频的比较回放，以确保两个外科视频中的对应视频片段/阶段始终在对应阶段边界处被对准。
在一些实施方案中，比较显示系统220可被配置为使用来自阶段同步引擎202的输出以通过将外科视频100和110组合成单个分屏视频来创建复合视频，其中视频100显示在分屏视频的一半上并且视频110显示在分屏视频的另一半上。此外，当组合两个视频时，分屏视频中的对应视频片段在对应阶段边界处被时间对准。接下来，在比较观看会话期间，比较显示系统220在单个监视器上回放组合视频，其中分屏视频的两个半部始终在对应的阶段和阶段边界处被时间对准。
图3呈现了根据本文所描述的一些实施方案的流程图，该流程图示出了用于对相同外科手术的两个外科视频进行时间同步以进行比较学习的示例性过程300。在一个或多个实施方案中，可省略、重复和/或以不同次序执行图3中的步骤中的一个或多个步骤。因此，图3所示的步骤的具体布置不应被理解为限制本技术的范围。
如在图3中可见，过程300开始于接收相同外科手术的两个记录外科视频(步骤302)。在一些实施方案中，两个外科视频中的一者是由外科手术的专家执行的外科手术的指导/训练视频，而另一个外科视频由外科手术的受训者执行。在其他实施方案中，可根据同一外科医生对两个不同的患者执行相同的外科手术或根据两个不同的外科医生对两个不同的患者执行相同的外科手术来生成这两个记录视频。接下来，过程300对两个外科视频中的每一者执行阶段分割以将每个外科视频分割成对应于外科手术的预定义阶段序列的一组视频片段(步骤304)。例如，过程300可使用上述阶段分割引擎102来执行阶段分割操作。需注意，由于两个外科视频是记录视频，因此可离线执行阶段分割操作。
需注意，虽然两个分割视频中的每个分割视频由对应于相同预定义阶段序列的一组视频片段组成，但两个视频中的一对对应视频片段(例如，第一视频中的片段1和第二视频中的片段1)可在长度和视频帧数方面不同。在一些实施方案中，一个视频的对应于给定预定义阶段的一组视频片段中的给定视频片段还可被分割成预定义子阶段序列，其中每个子阶段对应于在给定预定义阶段内执行的任务序列中的单个任务。类似地，另一视频的对应于相同预定义阶段的一组视频片段中的给定视频片段也可被分割成预定义子阶段序列。
接下来，过程300使对应于给定外科阶段的一组视频片段中的每个视频片段同步到对应于相同外科阶段的另一组视频片段中的对应视频片段(步骤306)。例如，过程300可确定视频片段的第一回放速度和对应视频片段的第二回放速度，使得两个视频片段可具有相同或基本上相同的回放时间。这样，如果两个视频片段在第一对应阶段边界处被时间对准，则它们也将在第二对应阶段边界处被时间对准。需注意，如果两个视频中的一个视频是指导/训练视频并且另一个视频是受训者视频，则指导/训练视频中的所有视频片段均可被分配有原始回放速度(即，在比较回放期间用作参考视频片段)，而受训者视频中的每个视频片段被分配有经调节的回放速度，例如基于两个视频中的两个对应视频片段中的帧数来计算该经调节的回放速度。最后，过程300将两个外科视频的两组单独的时间对准视频片段输出到比较显示系统以执行比较学习(步骤308)。例如，比较学习会话包括在两个并排监视器上分别显示两组单独的时间对准视频片段。
记录视频和直播视频馈送之间的比较学习
本专利公开的一些实施方案还提供了用于将记录视频的回放同步到/从属于直播视频馈送(或“直播视频”)的“提辞装置”式比较学习技术。例如，在示例性机器人外科手术训练系统中，训练设置可包括虚拟现实(VR)环境，诸如由受训者佩戴的VR头戴式装置，该VR头戴式装置向受训者提供沉浸式显示。更具体地，当受训者看向头戴式装置时，VR显示屏可分成两半(即，以两个并排视频的形式)：显示器的一半(例如，左边一半)可示出关于如何执行外科任务(诸如外科缝合)的记录训练/指导视频；而显示器的另一半(例如，右边一半)可示出受训者通过遵循/重复在训练/指导视频中显示的动作来执行相同外科任务的直播视频馈送。
然而，在此类双视频比较学习VR环境中可能出现问题。让我们假设显示器的左边一半上播放的指导视频在演示缝合技术，其中视频中的指导者用第一组镊子拾取组织，用第二组镊子抓住针，并且完成第一个结。同时，在显示器的右边一半上，直播馈送示出了受训者正试图复制相同的动作以打第一个结，但尚未能完成第一个结。这种情况则将需要受训者手动暂停指导视频以等待，并且然后在第一个结已完成之后再次手动使指导视频重新开始。在没有受训者的手动干预的情况下，指导视频将继续播放并且示出下一个任务。然而，让受训者手动暂停和重新开始指导视频可能会分散受训者的实践注意力，因为其导致受训者注意力不集中并且因此影响实践的有效性。
所提出的在记录指导视频与直播视频馈送之间比较学习的技术使得能够通过在直播视频中检测受训者尚未完成实时任务(例如，受训者正试图第一个结)来自动暂停指导视频以等待指导视频的受训者/跟随者。所提出的比较学习技术还使得能够在检测到受训者已完成实时任务之后自动重新开始暂停的指导视频。使用所提出的比较学习技术，受训者/跟随者可遵循指导视频中描绘的整个手术，而不必手动暂停和重新开始指导视频。
在一些实施方案中，可在受训者的直播视频馈送上实时地应用通常在记录视频上离线操作的上述阶段分割引擎。在这些实施方案中，如果阶段分割引擎可实时地确定受训者正在执行的确切任务，则阶段分割引擎可自动暂停或播放指导视频，使得受训者可遵循指导视频，而不管受训者正在以何种速度执行当前/实时任务。更具体地，阶段分割引擎可被配置为实时地分割直播视频中描绘的动作，并且确定特定任务是仍在执行还是刚刚完成。此外，如上所述，阶段分割引擎还可被配置为离线地分割记录指导视频，使得阶段分割引擎确切地了解指导视频中描绘的给定任务何时开始和结束(即，阶段边界)。基于来自指导视频和直播视频馈送的分割信息，阶段分割引擎然后可实时地确定是否是指导视频中描绘的任务已结束但直播视频中描绘的任务仍在进行中。如果是，则阶段分割引擎被配置为暂停指导视频以等待受训者的进行。接下来，如果阶段分割引擎随后检测到直播视频馈送中的当前任务刚刚完成，则阶段分割被进一步配置为重新开始指导视频以继续到下一个任务/步骤。
在一些实施方案中，为了促进在给定外科手术中检测每个任务的开始和结束，可预定义一组界标事件。例如，如果指导视频描绘了在组织上打5个外科结的实践，则可预定义5个界标事件，并且每个界标事件对应于5个外科结中的每个外科结的完成。需注意，这些预定义界标可用于标记指导视频或为其做记号，使得当稍后回放指导视频时可检测到它们。换句话说，阶段分割引擎可被配置为在指导视频回放期间检测这些预定义界标。因此，在实践期间，每当在指导视频中检测到界标事件时，如果尚未达到直播视频中的对应界标事件，则阶段分割引擎可暂停指导视频并且等待直播视频馈送。接下来，当同样在直播视频馈送中检测到对应界标事件时，阶段分割引擎可重新开始指导视频以演示下一任务。
需注意，虽然上文使用包括一些简单任务的简单缝合手术来描述了用于使记录视频和直播视频馈送同步的比较学习技术，但是相同的技术可应用于包括明显更复杂的手术的其他记录视频和对应直播视频馈送场景。在一些实施方案中，当实践更复杂的外科手术时，阶段分割引擎可被配置为将记录视频和直播视频分割成不同复杂性和粒度的多级别任务。具体地，更复杂的手术可被分割成手术的一组高级阶段，然后每个高级阶段还可被分割成一个或多个子阶段，并且高级阶段和子阶段中的每一者还可被分割成一个或多个简单任务。例如，更复杂的手术可包括缝合阶段，随后是钉缝阶段，其中缝合阶段还可包括多个打结任务，而钉缝阶段可包括多个钉缝任务。需注意，即使是打外科结的简单缝合任务也可被进一步分解成更细的粒度，例如，在缝合任务中拾取线的动作可被分割作为用于事件检测的缝合任务的子任务。
在一些实施方案中，对于每个级别的阶段、子阶段和任务，可针对事件检测目的预定义对应组界标事件。因此，对于复杂手术，可存在用于手术的一组高级阶段的一组预定义界标事件。在给定高级阶段内，可存在用于一组子阶段的一组预定义界标事件，并且对于高级阶段或子阶段中的每一者，可存在用于一组简单任务的一组预定义界标事件。需注意，阶段分割引擎可使用所有这些不同级别的预定义界标事件来在任何给定界标事件处暂停指导视频并且等待直播视频完成刚刚在指导视频中完成的相同阶段/子阶段/任务。需注意，对于预定义阶段序列，这些界标事件类似于上述阶段边界。
在一些实施方案中，所公开的比较学习技术还可通过基于直播视频中的动作速度控制指导视频的回放速度和/或帧速率来将指导视频从属于直播视频，而不是暂停和重新开始指导视频。更具体地，取决于受训者当前处于哪个阶段或步骤，阶段分割引擎可调节视频播放器的帧速率，使得指导视频能够以从属于受训者速度的不同速度被播放。这样，在整个手术中，指导视频的回放速度继续遵循针对受训者正在执行每个任务的受训者速度。需注意，该回放从属技术可与上述暂停和重新开始技术进行组合。换句话说，在阶段分割引擎检测到指导视频已完成某一任务而相同任务在直播视频中仍在进行中的任何时间，指导视频可自动暂停以等待直播视频完成相同任务。
图4呈现了根据本文所描述的一些实施方案的流程图，该流程图示出了用于使外科手术的记录指导视频的回放同步到一个人复制相同外科手术的直播视频馈送的示例性过程400。在一个或多个实施方案中，可省略、重复和/或以不同次序执行图4中的步骤中的一个或多个步骤。因此，图4所示的步骤的具体布置不应被理解为限制本技术的范围。
如在图4中可见，过程400开始于接收外科手术的记录视频，其中外科手术包括一组任务(步骤402)。在一些实施方案中，该记录视频是由外科手术的专家执行的直到/训练视频。此外，过程400可接收一组界标事件，其中每个界标事件指示一组外科任务中的对应手术任务的完成(步骤404)。如上所述，在执行比较学习之前，阶段分割引擎可离线用于将记录视频分割成对应于该组外科任务的一组视频片段，并且随后提取该组界标事件。在一些实施方案中，每个界标事件可由指示对应外科任务的结束/完成的时间戳表示。
接下来，在用于执行外科手术的实时训练会话期间，过程400同时监测正在显示环境的一部分上播放的记录视频和直播视频馈送，该直播视频馈送正捕获一个人(也称为“跟随者”或“受训者”)执行外科手术并且被显示在显示环境的另一部分上(步骤406)。在一些实施方案中，记录视频和直播视频并排显示。此外，显示环境可包括VR显示环境，诸如包括分屏显示器的VR头戴式装置。在一些实施方案中，直播视频中的受训者正试图复制记录视频中演示的外科任务的确切序列。
接下来，过程400检测记录视频中指示外科任务的结束的界标事件(步骤408)。例如，对于缝合任务，界标事件可包括切断线以从新形成的结中释放针的动作。在一些实施方案中，如果界标事件由预定时间戳表示，则检测界标事件仅涉及检测时间戳。然后，过程400确定在直播视频馈送中是否已出现对应界标事件(步骤410)，即，受训者是否已完成相同的外科任务。需注意，对于当前外科任务，受训者可比在记录视频中演示任务更快地完成该任务。如果是这样，则过程400确定受训者已完成当前任务，并且随后返回到步骤406以继续监测记录视频和直播视频馈送。然而，如果过程400确定受训者在步骤410处尚未完成当前任务，则过程400立即暂停记录视频的播放(步骤412)，并且继续针对对应界标事件监测直播视频馈送(步骤414)。在最终检测到受训者已完成当前任务之后，过程400重新开始记录视频的回放(步骤416)，并且返回到步骤406以继续监测记录视频和直播视频馈送的剩余部分的回放。需注意，虽然图4中未明确示出，但如果所检测到的界标事件是该组界标事件中指示最后一个外科任务已完成的最后界标事件，则过程400可在步骤408处终止。
需注意，通过基于受训者执行每个外科任务的进度自动暂停和重新开始记录视频，过程400允许通过跟随/同步到受训者动作/移动的速度来将记录视频从属于直播视频馈送。在一些实施方案中，如果在监测一个或多个外科任务之后，确定受训者执行外科任务的速度始终比记录视频中一个或多个外科任务的回放慢，则过程400可被配置为按一定量减慢/降低记录视频的回放速度/帧速率以匹配受训者的平均速度，使得记录视频中的视觉演示变得更加同步到直播视频馈送中的受训者的动作/移动。然而，如果在播放一个或多个外科任务之后，确定受训者执行外科任务的速度始终比记录视频中一个或多个外科任务的回放快，则过程400可被配置为按一定量加快/提高记录视频的回放速度/帧速率以匹配受训者的平均速度，使得记录视频中的视觉演示再次变得更加同步到直播视频馈送中的受训者的动作/移动。
需注意，虽然在外科手术视频的范围内描述了本技术的各种实施方案，但是所公开的比较学习技术也可应用于除用于执行比较学习的外科视频之外的其他类型的手术视频。更具体地，对于可被分解成预定义和固定数量的阶段/步骤的序列的任何类型的手术视频，包括所公开的阶段分割引擎和阶段同步引擎的所公开的比较学习技术可用于在阶段/步骤序列中的每个分割阶段/步骤处将一个此类手术视频同步到/从属于相同类型的另一个手术视频。例如，适用的手术视频可包括非外科医疗手术视频和许多类型的实际经验视频。
图5概念性地示出了可用以实现本主题技术的一些实施方案的计算机系统。计算机系统500可以是客户端、服务器、计算机、智能电话、PDA、膝上型电脑或其中嵌入有或其上耦接有一个或多个处理器的平板电脑，或任何其他类型的计算装置。此类计算机系统包括各种类型的计算机可读介质和用于各种其他类型的计算机可读介质的接口。计算机系统500包括总线502、处理单元512、系统存储器504、只读存储器(ROM)510、永久性存储装置508、输入装置接口514、输出装置接口506和网络接口516。在一些实施方案中，计算机系统500是机器人外科系统的一部分。
总线502共同表示通信地连接计算机系统500的多个内部装置的所有系统总线、外围总线和芯片组总线。例如，总线502将处理单元512与ROM 510、系统存储器504和永久性存储装置508通信地连接。
处理单元512从这些各种存储器单元检索要执行的指令和要处理的数据，以便执行本专利公开中描述的各种过程，包括结合图1A至图1B和图2至图4公开的使两个外科视频时间同步以进行比较学习的过程和使记录指导视频的回放同步到直播视频馈送的过程。处理单元512可包括任何类型的处理器，包括但不限于微处理器、图形处理单元(GPU)、张量处理单元(TPU)、智能处理器单元(IPU)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)和专用集成电路(ASIC)。在不同具体实施中，处理单元512可以是单个处理器或多核处理器。
ROM 510存储处理单元512和计算机系统的其他模块所需要的静态数据和指令。在另一方面，永久性存储装置508是读写存储器装置。该装置是即使在计算机系统500关闭时也存储指令和数据的非易失性存储器单元。本主题公开内容的一些具体实施使用海量存储装置(诸如磁盘或光盘及其对应的盘驱动器)作为永久性存储装置508。
其他具体实施使用可移除存储装置(诸如软盘、闪存驱动器及其对应的盘驱动器)作为永久性存储装置508。与永久性存储装置508一样，系统存储器504是读写存储器装置。然而，与存储装置508不同的是，系统存储器504是易失性读写存储器，诸如随机存取存储器。系统存储器504存储处理器在运行时需要的指令和数据中的一些指令和数据。在一些实施方案中，在本专利公开中描述的各种过程(包括结合图1A至图1B和图2至图4公开的使两个外科视频时间同步以进行比较学习的过程和使记录指导视频的回放同步到直播视频馈送的过程)被存储在系统存储器504、永久性存储装置508和/或ROM 510中。处理单元512从这些各种存储器单元检索要执行的指令和要处理的数据，以便执行一些具体实施的过程。
总线502还连接到输入装置514和输出装置506。输入装置514使得用户能够向计算机系统传送信息并选择用于计算机系统的命令。输入装置514可包括例如字母数字键盘和指向装置(也称为“光标控制装置”)。输出装置506使得能够例如显示由计算机系统500生成的图像。输出装置506可包括例如打印机和显示装置，诸如阴极射线管(CRT)或液晶显示器(LCD)。一些具体实施包括既用作输入装置又用作输出装置的装置，诸如触摸屏。特别地，输出装置506可包括两个并排监视器，其用于同时显示两个手术视频以进行比较学习。
最后，如图5所示，总线502还通过网络接口516将计算机系统500耦接到网络(未示出)。这样，计算机可为计算机的网络(诸如局域网(“LAN”)、广域网(“WAN”)、内联网)或网络群的网络(诸如互联网)的一部分。计算机系统500的任何或所有部件都可与本主题公开内容结合使用。
结合本专利公开中所公开的实施方案描述的各种例示性逻辑块、模块、电路和算法步骤可被实现为电子硬件、计算机软件或两者的组合。为了清楚地例示硬件和软件的这种可互换性，上文已就其功能性而言一般性地描述了各种例示性部件、块、模块、电路和步骤。此类功能性是被实现为硬件还是软件取决于具体应用和施加于整个系统的设计约束。技术人员可针对每个具体应用以不同方式实现所描述的功能性，但此类具体实施决策不应被解释为导致脱离本公开的范围。
用于实现结合本文所公开的方面描述的各种例示性逻辑、逻辑块、模块和电路的硬件可利用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他可编程逻辑器件、离散栅极或晶体管逻辑部件、离散硬件部件或它们的被设计成执行本文所述的功能的任何组合来实现或执行。通用处理器可为微处理器，但在另选方案中，处理器可为任何常规的处理器、控制器、微控制器或状态机。处理器也可被实现为接收器装置的组合，例如DSP和微处理器的组合、多个微处理器、与DSP内核结合的一个或多个微处理器、或任何其他此类配置。另选地，一些步骤或方法可由特定于给定功能的电路来执行。
在一个或多个示例性方面，所述功能可在硬件、软件、固件或它们的任何组合中实现。如果在软件中实现，则功能可被存储为非暂态计算机可读存储介质或非暂态处理器可读存储介质上的一个或多个指令或代码。本文所公开的方法或算法的步骤可体现在可驻留在非暂态计算机可读或处理器可读存储介质上的处理器可执行指令中。非暂态计算机可读或处理器可读存储介质可为可由计算机或处理器访问的任何存储介质。通过示例但非限制，此类非暂态计算机可读或处理器可读存储介质可包括RAM、ROM、EEPROM、闪存存储器、CD-ROM或其他光盘存储装置、磁盘存储装置或其他磁存储装置、或可用于存储为指令或数据结构的形式的期望的程序代码并且可由计算机访问的任何其他介质。如本文所用，磁盘和光盘包括压缩盘(CD)、激光盘、光盘、数字通用光盘(DVD)、软盘和蓝光盘，其中磁盘通常以磁性方式再现数据，而光盘利用激光以光学方式再现数据。上述组合也包括在非暂态计算机可读和处理器可读介质的范围内。另外，方法或算法的操作可作为代码和/或指令中的一者或任何组合或集合驻留在非暂态处理器可读存储介质和/或计算机可读存储介质上，从而可结合到计算机程序产品中。
虽然本专利文档包含许多细节，但这些细节不应被理解为对任何所公开的技术或可受权利要求书保护的内容的范围的限制，而是应理解为可能特定于具体技术的具体实施方案的特征的描述。在该专利文档中在单独实施方案的上下文中描述的某些特征也可以组合形式在单个实施方案中实现。反之，在单个实施方案的上下文中描述的各种特征也可单独地或以任何子组合形式在多个实施方案中实现。此外，虽然特征可能在上文中被描述为以某些组合起作用并且甚至最初是如此受权利要求书保护的，但来自受权利要求书保护的组合的一个或多个特征可在一些情况下从该组合中去除，并且受权利要求书保护的组合可能涉及子组合或子组合的变型。
类似地，虽然在附图中以特定顺序描绘了操作，但这不应被理解为要求以所示的特定顺序或按顺序执行此类操作，或者要求执行所有例示的操作才能实现期望的结果。此外，在本专利文档中描述的实施方案中的各种系统部件的分离不应被理解为在所有实施方案中要求此类分离。
仅描述了几个具体实施和示例，但可基于本专利文档中描述和例示的内容得到其他具体实施、增强和变型。

Claims (20)

1.一种用于使两个外科手术视频同步的计算机实现的方法，所述方法包括：
接收外科手术的第一外科视频和相同外科手术的第二外科视频，其中所述外科手术包括预定义阶段序列；
对所述第一外科视频和所述第二外科视频中的每一者执行阶段分割，以将所述第一外科视频和所述第二外科视频分割成对应于所述预定义阶段序列的第一组视频片段和第二组视频片段；
使所述第一组视频片段中的对应于所述预定义阶段序列中的预定义阶段的每个视频片段同步到所述第二组视频片段中的对应于相同预定义阶段的对应视频片段；以及
将包括所述第一组同步的视频片段和所述第二组同步的视频片段的所述第一外科视频和所述第二外科视频输出到显示系统以进行比较观看。
2.根据权利要求1所述的计算机实现的方法，其中将所述第一外科视频或所述第二外科视频分割成所述第一组视频片段或所述第二组视频片段包括：
对于所述预定义阶段序列中的每个阶段，
识别所述第一外科视频或所述第二外科视频中的第一阶段边界，所述第一阶段边界表示所述第一外科视频或所述第二外科视频中的所述阶段的开始；
识别所述第一外科视频或所述第二外科视频中的第二阶段边界，所述第二阶段边界表示所述第一外科视频或所述第二外科视频中的所述阶段的结束；以及
将所述第一外科视频或所述第二外科视频的所述第一阶段边界和所述第二阶段边界之间的视频片段输出为对应于所述阶段的所述视频片段，
其中所述第一组视频片段或所述第二组视频片段中的每个视频片段包括对应组视频帧。
3.根据权利要求2所述的计算机实现的方法，其中识别所述第一外科视频或所述第二外科视频中的所述第一阶段边界或所述第二阶段边界包括使用机器学习引擎来检测所述第一外科视频或所述第二外科视频中指示所述外科手术中的所述对应阶段的所述开始或结束的外科事件。
4.根据权利要求3所述的计算机实现的方法，使所述第一外科视频的所述第一组视频片段中的每个视频片段同步到所述第二外科视频的所述第二组视频片段中的对应视频片段包括：
将所述第一外科视频的所述视频片段的所述第一阶段边界与所述第二外科视频的所述对应视频片段的所述第一阶段边界时间对准；以及
确定所述视频片段的第一回放速度和所述对应视频片段的第二回放速度，使得使用所述第一回放速度的所述视频片段的第一回放时间等于或基本上等于使用所述第二回放速度的所述对应视频片段的第二回放时间，从而致使所述第一外科视频的所述视频片段的所述第二阶段边界与所述第二外科视频的所述对应视频片段的所述第二阶段边界时间对准。
5.根据权利要求1所述的计算机实现的方法，其中使所述第一外科视频的所述第一组视频片段中的给定视频片段同步到所述第二外科视频的所述第二组视频片段中的对应视频片段包括：
确定所述给定视频片段中所包含的第一视频帧数；
确定所述对应视频片段中所包含的第二视频帧数；以及
基于所述第一视频帧数和所述第二视频帧数来确定用于回放所述给定视频片段的第一帧速率和用于回放所述对应视频片段的第二帧速率，使得使用所述第一帧速率的所述给定视频片段的第一回放时间等于或基本上等于使用所述第二帧速率的所述对应视频片段的第二回放时间。
6.根据权利要求5所述的计算机实现的方法，其中所述第一帧速率是所述第一外科视频的所有视频片段的恒定帧速率，并且其中基于所述恒定帧速率以及所述第一视频帧数和所述第二视频帧数来计算所述第二帧速率。
7.根据权利要求1所述的计算机实现的方法，其中所述第一外科视频是参考视频，并且其中使所述第一外科视频的所述第一组视频片段中的给定视频片段同步到所述第二外科视频的所述第二组视频片段中的对应视频片段包括：
为所述第一组视频片段中的所有视频片段分配恒定回放速度；以及
对于所述第二组视频片段中的每个视频片段，基于所述第一组视频片段中的所述对应视频片段在使用所述恒定回放速度时的回放时间来分配可调节回放速度，
其中所述可调节回放速度被配置为加快或减慢所述第二组视频片段中的视频片段的所述回放，使得所述第一组视频片段中的每个视频片段在使用所述恒定回放速度时的所述回放时间等于或基本上等于使用所述可调节回放速度的所述第二组视频片段中的每个视频片段的所述回放时间。
8.根据权利要求1所述的计算机实现的方法，其中执行所述第一外科视频和所述第二外科视频的比较观看包括：
将所述第一外科视频输出到第一监视器并且将所述第二外科视频输出到定位在所述第一监视器旁边的第二监视器；以及
同时开始所述第一监视器上的所述第一外科视频的回放和所述第二监视器上的所述第二外科视频的回放，
其中基于所述两组同步的视频片段来播放所述第一外科视频和所述第二外科视频会使所述第一组视频片段中的每个视频片段的所述回放自动同步到所述第二组视频片段中的对应视频片段的所述回放。
9.根据权利要求8所述的计算机实现的方法，其中所述第一监视器上的所述第一外科视频的所述回放与所述第二监视器上的所述第二外科视频的所述回放同时或基本上同时结束。
10.根据权利要求1所述的计算机实现的方法，其中执行所述第一外科视频和所述第二外科视频的比较观看包括：
通过组合所述第一外科视频和所述第二外科视频来创建分屏视频，其中所述第一外科视频和所述第二外科视频中的所述对应视频片段在所述分屏视频中的所述对应阶段边界处被时间对准；以及
在监视器上回放所述分屏视频，使得所述第一外科视频和所述第二外科视频在所述预定义阶段序列中的每个阶段中被并排播放并且被彼此时间对准。
11.一种用于使两个外科手术视频同步的系统，所述系统包括：
一个或多个处理器；和
存储器，所述存储器耦接到所述一个或多个处理器；
分割模块，所述分割模块被配置为基于所述外科手术的预定义阶段序列来将相同外科手术的第一外科视频和第二外科视频分别分割成第一组视频片段和第二组视频片段；
同步模块，所述同步模块被配置为使所述第一组视频片段中的对应于所述预定义阶段序列中的预定义阶段的视频片段同步到所述第二组视频片段中的对应于相同预定义阶段的对应视频片段；和
输出模块，所述输出模块被配置为将同步的视频片段输出到显示系统以进行比较观看。
12.根据权利要求11所述的系统，其中所述分割模块被配置为通过以下方式来分割所述第一外科视频或所述第二外科视频：
对于所述预定义阶段序列中的每个阶段，
识别所述第一外科视频或所述第二外科视频中的第一阶段边界，所述第一阶段边界表示所述第一外科视频或所述第二外科视频中的所述阶段的开始；
识别所述第一外科视频或所述第二外科视频中的第二阶段边界，所述第二阶段边界表示所述第一外科视频或所述第二外科视频中的所述阶段的结束；以及
将所述第一外科视频或所述第二外科视频的所述第一阶段边界和所述第二阶段边界之间的视频片段输出为对应于所述阶段的所述视频片段，
其中所述第一组视频片段或所述第二组视频片段中的每个视频片段包括对应组视频帧。
13.根据权利要求12所述的系统，其中所述分割模块被进一步配置为通过以下方式来识别所述第一外科视频或所述第二外科视频中的所述第一阶段边界或所述第二阶段边界：使用机器学习引擎来检测所述第一外科视频或所述第二外科视频中指示所述外科手术中的所述对应阶段的所述开始或结束的外科事件。
14.根据权利要求13所述的系统，其中所述同步模块被配置为通过以下方式来使所述第一组视频片段中的所述视频片段同步到所述第二组视频片段中的所述对应视频片段：
将所述第一外科视频的所述视频片段的所述第一阶段边界与所述第二外科视频的所述对应视频片段的所述第一阶段边界时间对准；以及
确定所述视频片段的第一回放速度和所述对应视频片段的第二回放速度，使得使用所述第一回放速度的所述视频片段的第一回放时间等于或基本上等于使用所述第二回放速度的所述对应视频片段的第二回放时间，从而致使所述第一外科视频的所述视频片段的所述第二阶段边界与所述第二外科视频的所述对应视频片段的所述第二阶段边界时间对准。
15.根据权利要求11所述的系统，其中所述同步模块被进一步配置为通过以下方式来使所述第一组视频片段中的所述视频片段同步到所述第二组视频片段中的所述对应视频片段：
确定所述视频片段中所包含的第一视频帧数；
确定所述对应视频片段中所包含的第二视频帧数；以及
基于所述第一视频帧数和所述第二视频帧数来确定用于回放所述视频片段的第一帧速率和用于回放所述对应视频片段的第二帧速率，使得使用所述第一帧速率的所述视频片段的第一回放时间等于或基本上等于使用所述第二帧速率的所述对应视频片段的第二回放时间。
16.根据权利要求15所述的系统，其中所述第一帧速率是所述第一外科视频的所有视频片段的恒定帧速率，并且其中基于所述恒定帧速率以及所述第一视频帧数和所述第二视频帧数来计算所述第二帧速率。
17.根据权利要求11所述的系统，其中所述第一外科视频是参考视频，并且其中所述同步模块被进一步配置为通过以下方式来使所述第一外科视频的所述第一组视频片段中的给定视频片段同步到所述第二外科视频的所述第二组视频片段中的对应视频片段：
为所述第一组视频片段中的所有视频片段分配恒定回放速度；以及
对于所述第二组视频片段中的每个视频片段，基于所述第一组视频片段中的所述对应视频片段在使用所述恒定回放速度时的回放时间来分配可调节回放速度，
其中所述可调节回放速度被配置为加快或减慢所述第二组视频片段中的视频片段的所述回放，使得所述第一组视频片段中的每个视频片段在使用所述恒定回放速度时的所述回放时间等于或基本上等于使用所述可调节回放速度的所述第二组视频片段中的每个视频片段的所述回放时间。
18.根据权利要求11所述的系统，其中所述输出模块被进一步配置为：
将所述第一组视频片段中的所述视频片段输出到第一监视器并且将所述第二组视频片段中的所述对应视频片段输出到定位在所述第一监视器旁边的第二监视器；以及
同时开始所述第一监视器上的所述第一外科视频的所述视频片段的回放和所述第二监视器上的所述第二外科视频的所述对应视频片段的回放，
其中基于所述两个同步的视频片段来播放所述第一外科视频和所述第二外科视频会使所述第一外科视频的所述视频片段的所述回放自动同步到所述第二外科视频的所述对应视频片段的所述回放。
19.一种用于使两个外科手术视频同步的设备，所述设备包括：
一个或多个处理器；和
存储器，所述存储器耦接到所述一个或多个处理器；
分割模块，所述分割模块被配置为基于所述外科手术的预定义阶段序列来将相同外科手术的第一外科视频和第二外科视频分别分割成第一组视频片段和第二组视频片段；
同步模块，所述同步模块被配置为使所述第一组视频片段中的对应于所述预定义阶段序列中的预定义阶段的每个视频片段同步到所述第二组视频片段中的对应于相同预定义阶段的对应视频片段；和
输出模块，所述输出模块被配置为将所述第一组同步的视频片段和所述第二组同步的视频片段输出到显示系统以进行比较观看。
20.根据权利要求19所述的设备，其中所述第一外科视频是参考视频，并且其中所述同步模块被进一步配置为通过以下方式来使所述第一组视频片段中的给定视频片段同步到所述第二组视频片段中的对应视频片段：
为所述第一组视频片段中的所有视频片段分配恒定回放速度；以及
对于所述第二组视频片段中的每个视频片段，基于所述第一组视频片段中的所述对应视频片段在使用所述恒定回放速度时的回放时间来分配可调节回放速度，
其中所述可调节回放速度被配置为加快或减慢所述第二组视频片段中的视频片段的所述回放，使得所述第一组视频片段中的每个视频片段在使用所述恒定回放速度时的所述回放时间等于或基本上等于使用所述可调节回放速度的所述第二组视频片段中的每个视频片段的所述回放时间。
CN201980098420.9A 2019-06-13 2019-06-21 用于使手术视频同步以进行比较学习的方法和系统 Active CN114128304B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/440647 2019-06-13
US16/440,647 US10791301B1 (en) 2019-06-13 2019-06-13 Method and system for synchronizing procedure videos for comparative learning
PCT/US2019/038603 WO2020251595A1 (en) 2019-06-13 2019-06-21 Method and system for synchronizing procedure videos for comparative learning

Publications (2)

Publication Number Publication Date
CN114128304A true CN114128304A (zh) 2022-03-01
CN114128304B CN114128304B (zh) 2024-03-08

Family

ID=72615187

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980098420.9A Active CN114128304B (zh) 2019-06-13 2019-06-21 用于使手术视频同步以进行比较学习的方法和系统

Country Status (5)

Country Link
US (4) US10791301B1 (zh)
EP (1) EP3984244A4 (zh)
KR (1) KR20220020896A (zh)
CN (1) CN114128304B (zh)
WO (1) WO2020251595A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3881335A1 (en) * 2018-11-15 2021-09-22 Intuitive Surgical Operations, Inc. Training users using indexed to motion pictures
KR102572006B1 (ko) 2019-02-21 2023-08-31 시어터 인코포레이티드 수술 비디오의 분석을 위한 시스템 및 방법
US11426255B2 (en) 2019-02-21 2022-08-30 Theator inc. Complexity analysis and cataloging of surgical footage
US20210313050A1 (en) 2020-04-05 2021-10-07 Theator inc. Systems and methods for assigning surgical teams to prospective surgical procedures
CN112380378B (zh) * 2020-11-17 2022-09-02 北京字跳网络技术有限公司 歌词特效展示方法、装置、电子设备及计算机可读介质
CN113141346B (zh) * 2021-03-16 2023-04-28 青岛小鸟看看科技有限公司 基于串流的vr一拖多系统及方法
US11631433B2 (en) 2021-08-10 2023-04-18 International Business Machines Corporation Optimized video segmentation for completing tasks
US20230153344A1 (en) * 2021-11-16 2023-05-18 Samsung Electronics Co., Ltd. Probabilistic procedure planning for instructional videos

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009044213A (ja) * 2007-08-06 2009-02-26 Sony Corp ビデオ再生方法およびビデオ再生装置
US20100167250A1 (en) * 2008-12-31 2010-07-01 Haptica Ltd. Surgical training simulator having multiple tracking systems
US20140240516A1 (en) * 2013-02-28 2014-08-28 Apple Inc. Aligned video comparison tool
CN106792080A (zh) * 2016-12-07 2017-05-31 北京小米移动软件有限公司 视频播放方法及装置
US20170359612A1 (en) * 2014-12-25 2017-12-14 Echostar Uraine, L.L.C. Simultaneously viewing multiple camera angles
CN107818706A (zh) * 2017-10-30 2018-03-20 中科汉华医学科技（北京）有限公司 一种医院远程直播式教学培训系统
CN107851120A (zh) * 2015-06-09 2018-03-27 直观外科手术操作公司 医疗环境中的视频内容搜索
CN108833816A (zh) * 2018-06-14 2018-11-16 成都依能科技股份有限公司 一种多通道音视频同步录制与多轨道同步编辑的方法
CN109168066A (zh) * 2018-10-29 2019-01-08 四川长虹电器股份有限公司 一种屏幕墙同步播放系统及方法
US20190090969A1 (en) * 2015-11-12 2019-03-28 Intuitive Surgical Operations, Inc. Surgical system with training or assist functions

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1450555A1 (en) * 2003-02-18 2004-08-25 Thomson Licensing S.A. Video device and method for synchronising time bases of video devices
JP4585997B2 (ja) 2006-08-29 2010-11-24 独立行政法人産業技術総合研究所 手術用トレーニング装置
US20130218137A1 (en) 2011-12-30 2013-08-22 Mako Surgical Corp. Integrated surgery system
US10134296B2 (en) * 2013-10-03 2018-11-20 Autodesk, Inc. Enhancing movement training with an augmented reality mirror
US10521671B2 (en) * 2014-02-28 2019-12-31 Second Spectrum, Inc. Methods and systems of spatiotemporal pattern recognition for video content development
JP6419441B2 (ja) 2014-03-11 2018-11-07 キヤノンメディカルシステムズ株式会社 医用画像処理装置、医用画像処理システム、および医用画像処理プログラム
KR101758740B1 (ko) 2015-09-09 2017-08-11 울산대학교 산학협력단 의료영상을 사용하는 중재시술 가이드 방법 및 이를 위한 중재시술 시스템
EP3171599A1 (en) * 2015-11-19 2017-05-24 Thomson Licensing Method for generating a user interface presenting a plurality of videos
CN110089110B (zh) * 2017-07-24 2020-07-07 三菱电机株式会社 显示器及显示方法
KR101864412B1 (ko) 2017-12-28 2018-06-04 (주)휴톰 학습용 데이터 관리방법, 장치 및 프로그램
US11205508B2 (en) 2018-05-23 2021-12-21 Verb Surgical Inc. Machine-learning-oriented surgical video analysis system
US11348235B2 (en) * 2019-03-22 2022-05-31 Verily Life Sciences Llc Improving surgical video consumption by identifying useful segments in surgical videos

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009044213A (ja) * 2007-08-06 2009-02-26 Sony Corp ビデオ再生方法およびビデオ再生装置
US20100167250A1 (en) * 2008-12-31 2010-07-01 Haptica Ltd. Surgical training simulator having multiple tracking systems
US20140240516A1 (en) * 2013-02-28 2014-08-28 Apple Inc. Aligned video comparison tool
US20170359612A1 (en) * 2014-12-25 2017-12-14 Echostar Uraine, L.L.C. Simultaneously viewing multiple camera angles
CN107851120A (zh) * 2015-06-09 2018-03-27 直观外科手术操作公司 医疗环境中的视频内容搜索
US20190090969A1 (en) * 2015-11-12 2019-03-28 Intuitive Surgical Operations, Inc. Surgical system with training or assist functions
CN106792080A (zh) * 2016-12-07 2017-05-31 北京小米移动软件有限公司 视频播放方法及装置
CN107818706A (zh) * 2017-10-30 2018-03-20 中科汉华医学科技（北京）有限公司 一种医院远程直播式教学培训系统
CN108833816A (zh) * 2018-06-14 2018-11-16 成都依能科技股份有限公司 一种多通道音视频同步录制与多轨道同步编辑的方法
CN109168066A (zh) * 2018-10-29 2019-01-08 四川长虹电器股份有限公司 一种屏幕墙同步播放系统及方法

Also Published As

Publication number Publication date
CN114128304B (zh) 2024-03-08
US20220217305A1 (en) 2022-07-07
US10791301B1 (en) 2020-09-29
WO2020251595A1 (en) 2020-12-17
EP3984244A1 (en) 2022-04-20
US11677909B2 (en) 2023-06-13
US20210006752A1 (en) 2021-01-07
US20230276027A1 (en) 2023-08-31
US11290689B2 (en) 2022-03-29
EP3984244A4 (en) 2023-07-12
KR20220020896A (ko) 2022-02-21

Similar Documents

Publication Publication Date Title
CN114128304B (zh) 用于使手术视频同步以进行比较学习的方法和系统
US20080145830A1 (en) Synchronous multi-media recording and playback with end user control of time, data, and event visualization for playback control over a network
US10134296B2 (en) Enhancing movement training with an augmented reality mirror
US10360814B2 (en) Motion learning support apparatus
US20080145829A1 (en) Synchronous multi-media recording and playback with end user control of time, data, and event visualization for playback control over a network
CN110012311B (zh) 一种动作指导音视频播放方法、装置和系统
WO2020197621A1 (en) Spatially consistent representation of hand motion
KR970703595A (ko) 편집 시스템(Editing system)
Atkins et al. Saccadic delays on targets while watching videos
CN109688345A (zh) 一种基于时间码驱动的媒体服务器演出控制系统及方法
CN104244065B (zh) 一种字幕处理的方法及装置
JP4585997B2 (ja) 手術用トレーニング装置
US9007383B2 (en) Creating presentations by capturing content of a simulated second monitor
US20170243503A1 (en) Apparatus and method for providing realistic education media
WO2021024637A1 (ja) 記録再生制御装置、記録再生制御方法、およびプログラム
JP7406761B1 (ja) 人材育成を支援するためのプログラムおよび装置
TWI789083B (zh) 擴增實境內容播放之控制方法、系統及其電腦可讀媒介
US20240105071A1 (en) Learning analysis device, learning analysis method, and program
JP3834974B2 (ja) マルチメディアデータ記録及び再生方法
JPWO2018003147A1 (ja) 再生システム、再生方法、プログラム、および記録媒体
Zhou Feedback Timing Control and Reflection for VR Public Speaking Training
US20200275172A1 (en) Step by step interactive video
JP2017131327A5 (zh)
Smirnova The specificity of forming strategies of the dyad adult-child with hearing impairment in the process of learning: eye tracking of double eye tracking technologies (duet)
Manoudi et al. “Investigation of the effects of editing techniques for time manipulation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant