CN103299355A - 用于微创手术技能的评估或改进的系统和方法 - Google Patents

用于微创手术技能的评估或改进的系统和方法 Download PDF

Info

Publication number
CN103299355A
CN103299355A CN2011800640017A CN201180064001A CN103299355A CN 103299355 A CN103299355 A CN 103299355A CN 2011800640017 A CN2011800640017 A CN 2011800640017A CN 201180064001 A CN201180064001 A CN 201180064001A CN 103299355 A CN103299355 A CN 103299355A
Authority
CN
China
Prior art keywords
data
minimally invasive
training
surgical
invasive surgery
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011800640017A
Other languages
English (en)
Other versions
CN103299355B (zh
Inventor
拉杰什·库马尔
格雷戈里·D·黑格
阿莫德·S·乔格
戴维·D·尤哈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Johns Hopkins University
Original Assignee
Johns Hopkins University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Johns Hopkins University filed Critical Johns Hopkins University
Publication of CN103299355A publication Critical patent/CN103299355A/zh
Application granted granted Critical
Publication of CN103299355B publication Critical patent/CN103299355B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/35—Surgical robots for telesurgery
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G09B23/285—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine for injections, endoscopy, bronchoscopy, sigmoidscopy, insertion of contraceptive devices or enemas
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00681—Aspects not otherwise provided for
    • A61B2017/00707—Dummies, phantoms; Devices simulating patient or parts of patient

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Epidemiology (AREA)
  • Surgery (AREA)
  • Primary Health Care (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • General Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Computational Mathematics (AREA)
  • Algebra (AREA)
  • Medicinal Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Pulmonology (AREA)
  • Urology & Nephrology (AREA)
  • Robotics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Manipulator (AREA)
  • Instructional Devices (AREA)
  • Image Analysis (AREA)

Abstract

一种用以帮助用以执行微创手术的技能的评估或改进中的至少一个的系统，包括：微创手术系统；视频系统，其被布置成记录用户与微创手术系统的交互或用微创手术系统执行的任务中的至少一个；以及与微创手术系统通信并与视频系统通信的数据存储和处理系统。微创手术系统与来自视频系统的时间登记视频信号相结合地提供微创手术系统的至少部件的运动数据、人类工程学调整数据、电接口交互数据或机械接口交互数据中的至少一个。数据存储和处理系统处理运动数据、人类工程学调整数据、电接口交互数据或机械接口交互数据中的至少一个以与时间登记视频信号相结合地提供表现度量以使其可用于专家进行评估。

Description

用于微创手术技能的评估或改进的系统和方法
相关申请的交叉引用
本申请要求2010年11月4日提交的美国临时申请号61/410,150的优先权，其全部内容被通过引用结合到本文中。
本发明是根据由NIH授予的许可号1 R21 EB009143-01 A1和由国家科学基金会授予的许可号0941362和0931805在政府支持下完成的。美国政府对本发明具有某些权限。
技术领域
本发明的当前要求保护的实施例的领域涉及用于用以执行微创手术的技能的评估或改进中的至少一个的系统、方法和软件。
背景技术
近年来，在包括微创手术程序的许多手术程序中已存在显著进步。然而，连同这些进步一起，越来越复杂的手术器械和工具及组合手术设备要求对工具和设备两者的操作以及执行特定手术任务方面的技能。先前，很少有人了解关于技术手术技能的结构、其独立于手术任务和技术的获取或者在有经验的从业者之间存在什么水平的可变性。然而，被很好地接受的是技术手术技能是许多手术程序的结果中的决定性元素。事实上，由于医原性原因而引起的死亡每年估计有44,000至98,000个案例(ohn L，ed，Corrigan J，ed，Donaldson M，ed.；To ErrIs Human：Building a Safer Health System；National Academy Press；1999)。单独的研究(Zhan C，Miller M.Excess length of stay，charges，and mortality attributable tomedical injuries during hospitalization；JAMA；Vol.290(14)：1868-1874，2003)报告了超过32,000例主要手术相关的死亡。其某个部分是由于技术误差而引起的。不清楚技术技能对手术结果和病状有什么附加影响。同时，减少住院医师工作的时间以及关于保健成本的新压力总体上要求手术技能的教授方面的增加的效率(Fletcher，K，Underwood W.Davis，S，Mangrulkar，R，McMahon，L，Saint，S；Effects of work hour reduction on residents′lives-a systematic review；JAMA；Vol.294(9)，pp.1088-1100，2005)。
现在被广泛使用的复杂的微创手术系统要求相当大的训练以便外科医生开发所需的技能。然而，当前的训练系统仅仅鼓励受训者再三地执行相同的任务以实现更好的分数。因此，仍需要用于用以执行微创手术的技能的评估或改进中的至少一个的改进的系统和方法。
发明内容
根据本发明的某些实施例的用以帮助用以执行微创手术的技能的评估或改进中的至少一个的系统包括微创手术系统、被布置成记录用户与微创手术系统的交互或用微创手术系统执行的任务中的至少一个的视频系统以及与微创手术系统通信并与视频系统通信的数据存储和处理系统。所述微创手术系统与来自视频系统的时间登记视频信号相结合地提供微创手术系统的至少部件的运动数据、人类工程学调整数据、电接口交互数据或机械接口交互数据中的至少一个。该数据存储和处理系统处理该运动数据、人类工程学调整数据、电接口交互数据或机械接口交互数据中的至少一个以与时间登记视频信号相结合地提供表现度量以使其可用于专家进行评估。
根据本发明的某些实施例的用于评估和帮助微创手术技能的改进的方法包括在被使用的同时在有形介质中记录微创手术系统的至少部件的运动数据、人类工程学调整数据、电接口交互数据或机械接口交互数据中的至少一个；在有形介质中与记录运动数据、人类工程学调整数据、电接口交互数据或机械接口交互数据中的至少一个相结合地记录微创手术系统的至少部件的视频以提供时间登记视频信号；以及在数据处理系统上处理运动数据、人类工程学调整数据、电接口交互数据或机械接口交互数据中的至少一个以与时间登记视频信号相结合地提供表现度量以使其可用于专家进行评估。
根据本发明的某些实施例的有形机器可读存储介质包括存储指令，其在被数据处理系统执行时促使数据处理系统执行操作，该操作包括接收微创手术系统的至少部件的运动数据、人类工程学调整数据、电接口交互数据或机械接口交互数据中的至少一个；与运动数据、人类工程学调整数据、电接口交互数据或机械接口交互数据中的至少一个相结合地接收微创手术系统的至少部件的非瞬变时间登记视频信号；以及在数据处理系统上处理运动数据、人类工程学调整数据、电接口交互数据或机械接口交互数据中的至少一个以与非瞬变时间登记视频信号相结合地提供表现度量以使其可用于专家进行评估。
附图说明
根据描述、附图和示例的考虑，其他目的和优点将变得显而易见。
图1是根据本发明的实施例的用以帮助用以执行微创手术的技能的评估或改进中的至少一个的系统的示意性图示。
图2是根据本发明的实施例的用以帮助用以执行微创手术的技能的评估或改进中的至少一个的系统的示意性图示。
图3是根据本发明的实施例的能够适合于包括用以帮助用以执行微创手术的技能的评估或改进中的至少一个的系统的机器手术系统的示意性图示。
图4示出了根据本发明的实施例的能够用于用以帮助用以执行微创手术的技能的评估或改进中的至少一个的系统的训练板的示意性图示。
图5示出了用于专家外科医生的四穿线(four-throw)缝合任务的执行期间具有识别的手术子任务的达芬奇左手操纵器的笛卡尔位置图。
图6示出了用于新手外科医生的四穿线缝合任务的执行期间具有识别的手术子任务的达芬奇左手操纵器的笛卡尔位置图。
图7是根据本发明的实施例的用来识别基本任务的系统的功能方框图。
图8示出了机器人辅助手术运动的自动分段与手动分段的比较。请注意，大多数错误在过渡时发生。
图9A和9B是图示出如何能够使用从任务试验的隐马尔可夫模型分段导出的两个特征来区别“中级”和“专家”用户的图。图9A示出了除子子任务A(其具有用于可靠估计的过少数据点)之外，专家如预期的那样以比中级用户更紧密地匹配理想模型的方式执行任务。图9B显示在不同子任务中花费的时间量在专家与中级之间明显不同。在某些子任务的情况下，诸如对针(B)进行定位，专家比中级用户花费明显更少的时间。然而，在诸如拉动缝合线(D)的其他子任务中，专家更加谨慎并以更一致的方式(时间)执行该任务。
图10示出了根据本发明的实施例的具有达芬奇系统(左)和用于机器人手术训练的第一模块(右)的无生命训练群体(training pods)的档案系统配置。
图11示出了根据本发明的实施例的专家(左、上和下)以及新手(右、上和下)分别使用的主机和相机工作空间。
图12a-12h示出了用于单独任务以及超过全部四个任务的基于时间、主操纵柄距离以及主操纵柄体积以及OSATS结构化评定测量结果的学习曲线。请注意，OSATS分数标度已被倒置，并且专家任务度量出现在图表的底部下拐角中。
图13示出了根据本发明的实施例的使用PCA的3个维度上的缝合器械笛卡尔速度的投影。蓝色观察结果是专家试验，绿色是手术受训者，并且褐色是非临床用户。
具体实施方式
下面详细地讨论本发明的某些实施例。在描述实施例中，为了明了起见而采用特定术语。然而，本发明并不意图局限于这样选择的特定术语。本领域的技术人员将认识到在不脱离本发明的宽泛概念的情况下可以采用其他等价部件，并且可以开发其他方法。在本说明书中的任何地方被引用的所有参考文献、包括背景技术和详细说明部分被通过引用结合到本文中，如同其已被单独地结合一样。
图1是用以帮助用以执行微创手术的技能的评估或改进中的至少一个的系统100的示意性图示。系统100具有微创手术系统102、被布置成记录用户与微创手术系统的交互或用微创手术系统执行的任务中的至少一个的视频系统104以及与微创手术系统102通信并与视频系统104通信的数据存储和处理系统106。在图1的示例中，微创手术系统102是机器人手术系统，并且可以将视频系统104结合到机器人系统中。然而，在其他实施例中，视频系统104还可以单独地布置有一个或多个相机。在本发明的某些实施例中，视频系统104还可以包括一个或多个立体相机。在图1中，仅示出了机器人手术系统102的外科医生控制台。机器人手术系统102可以包括附加部件，例如，诸如图2和3中所示。图3还示出了包括主操纵柄的部分视图的外科医生或主机控制台的视图。
虽然本说明书中的许多特定示例将参考机器人手术系统作为可能的微创手术系统，但本发明的一般概念不限于该特定示例。例如，未采用机器人系统的其他腹腔镜意图被包括在本发明的一般范围内。微创手术系统可以包括例如内窥镜、导管、套针和/或多种关联工具。
微创手术系统102与来自视频系统的时间登记视频信号相结合地提供微创手术系统100的至少部件的运动数据、人类工程学调整数据、电接口交互数据或机械接口交互数据中的至少一个。术语“运动数据”意图广泛地包括一个人能够依此确定从至少一个时刻到另一时刻的平移运动和/或旋转运动的任何数据。例如，诸如但不限于线性加速度计和陀螺仪的传感器可以提供感兴趣对象的位置和取向信息。另外，在一个时刻的对象的位置和取向及在另一时刻的对象的位置和取向也可以提供运动数据。然而，术语“运动数据”不仅限于这些示例。例如，在机器人微创手术系统的情况下，工具臂的运动等是已知的，因为机器人系统中的传感器直接地测量和报告这些运动。
数据存储和处理系统106处理该运动数据、人类工程学调整数据、电接口交互数据或机械接口交互数据中的至少一个以与时间登记视频信号相结合地提供表现度量以使其可用于专家进行评估。术语“专家”意图指的是具有预定最低水平的相关手术技术方面的知识和技能的人和/或利用来自所述人的此类信息以便被精通手术科目的人认为熟练和/或被确立的标准认为有资格在手术专业中对人动手术的专家系统(例如，计算机化系统)。本文所使用的专家系统还可以包括来自多于一个专家的信息。
数据存储和处理系统可以是诸如膝上型计算机、个人计算机和/或工作站的组合系统。该数据存储系统还可以具有单独的数据和存储部件和/或组合的多个此类部件。数据处理系统还可以包括例如数据存储阵列和/或多处理器数据处理器。数据存储和处理器系统还可以是本地地或通过网络(诸如局域网或因特网)的分布式系统。另外，系统100的部件可以是电学或光学连接、无线连接，并且可以包括例如本地网络以及广域网和/或因特网。微创手术系统102可以包括例如一个或多个手术工具。
在某些实施例中，微创手术系统102可以是远程操纵机器人手术系统，其包括主操纵柄，并且运动数据可以包括主操纵柄的运动数据。在某些实施例中，微创手术系统102可以是远程操纵机器人手术系统，其具有包含主操纵柄的控制台，并且运动数据可以包括控制台的人类工程学、工作空间以及可视化方面中的至少一个的配置。
系统100还可以包括与数据存储和处理系统106通信以与时间登记视频信号相结合地显示表现度量以使其可用于专家进行评估的显示系统108。该显示系统可以包括任何适当的显示设备，诸如但不限于例如CRT、LCD、LED和/或等离子体显示器。该显示器可以被本地地连接到数据存储和处理系统106，或者可以例如通过网络或无线连接而是远程的。显示系统108还可以同时地或比用户的训练课更迟地显示来自数据存储和处理系统106的信息。系统100还可以包括第二显示系统(未示出)，其与数据存储和处理系统106通信以与时间登记视频相结合地向用户显示专家评估。第二显示系统可以包括任何适当的显示设备，诸如但不限于例如CRT、LCD、LED和/或等离子体显示器。第二显示系统也可以是本地的或远程的，并且实时地或在稍后的时间进行显示。系统100不限于一个或两个显示系统，并且可以具有更多的显示系统，如对于特定应用而言所期望的。
系统100还可以包括输入设备，其与数据存储和处理系统106通信以从专家接收与表现度量和时间登记视频相一致的专家评估。该输入设备可以是键盘、鼠标、触摸屏或任何其他适当的数据输入外围设备。系统100还可以包括多个数据输入设备。该输入设备可以被本地地连接或者可以通过诸如但不限于因特网的网络连接到数据存储和处理系统106。
在本发明的实施例中，还可以将数据存储和处理系统106配置成分析任务表现并提供自动化评估和专家评估以及任务视频。根据本发明的某些实施例，自动化评估可以包括基于可配置任务度量的任务表现的学习曲线。根据本发明的某些实施例，还可以将数据存储和处理系统106配置成允许隐藏自动化评估的特定方面不进行评论以防止由诸如受训者的用户引入对自动化评估的数值方面的偏见或关注。根据本发明的某些实施例，自动化评估可以包括用于后续、诸如下一次训练课的任务特定反馈。该自动化评估可以包括用于辅导教师和受训者两者的特定客观反馈，根据本发明的某些实施例，用于辅导教师的反馈不同于对受训者的反馈。根据本发明的某些实施例，该客观反馈可以包括其中将受训者识别为不足的任务步骤。根据本发明的某些实施例，对辅导教师的客观反馈可以包括受训者进展的概要、学习曲线、群体范围趋势、受训者与其他受训者的比较、训练系统限制、供给和材料状态以及系统维护问题。根据本发明的某些实施例，自动化评估可以用来改变训练任务复杂性。根据本发明的某些实施例，该自动化评估可以用来改变训练频率。根据本发明的某些实施例，自动化评估可以用来选择用于下一次训练课的训练任务。
根据本发明的某些实施例，可以将处理系统配置成执行用于技能分类的统计分析的方法，包括熟练和不足的识别。技能分类可以是例如二元的。例如但不限于指示(1)熟练，或者(2)需要更多训练。在其他实施例中，技能分类可以是多级或顺序的。例如但不限于(1)新手，(2)中级，(3)熟练，(4)专家。根据本发明的某些实施例，技能分类可以是基于任务统计或技能度量中的至少一个。根据本发明的某些实施例，技能分类可以是基于多个分类方法。
根据本发明的某些实施例，可以单独地执行人机交互、人类工程学和手术任务技能分类。根据本发明的某些实施例，可以计算人机交互、人类工程学和手术任务技能的单独度量。根据本发明的某些实施例，可以将单独的训练任务和难度水平用于人机交互、人类工程学和手术任务技能。
本发明的另一实施例针对一种用于评估和帮助微创手术技能的改进的方法。该方法包括在被使用的同时在有形介质中记录微创手术系统的至少部件运动数据、人类工程学调整数据、电接口交互数据或机械接口交互数据中的至少一个。该方法还包括与记录运动数据、人类工程学调整数据、电接口交互数据或机械接口交互数据中的至少一个相结合地在有形介质中记录微创手术系统的至少部件的视频以提供时间登记视频信号。该方法还包括在数据处理系统上处理运动数据、人类工程调整数据、电接口交互数据或机械接口交互数据中的至少一个以与时间登记视频信号相结合地提供表现度量以使其可用于专家进行评估。数据处理可以是或者可以包括例如上述数据存储和处理系统106的一部分。
本发明的另一实施例针对已存储指令的有形机器可读存储介质，所述指令在被数据处理系统执行时促使数据处理系统执行操作。所述操作包括接收微创手术系统的至少部件的运动数据、人类工程学调整数据、电接口交互数据或机械接口交互数据中的至少一个；与运动数据、人类工程学调整数据、电接口交互数据或机械接口交互数据中的至少一个相结合地接收微创手术系统的至少部件的非瞬变时间登记视频信号；以及在数据处理系统上处理运动数据、人类工程学调整数据、电接口交互数据或机械接口交互数据中的至少一个以与非时变时间登记视频信号相结合地提供表现度量以使其可用于专家进行评估。
示例
以下示例是本发明的某些特定实施例的应用。这些并不意图限制由权利要求定义的本发明的一般范围。
新技术的可用性现在赋予我们在训练期间测量技术技能的完整性和有效性的方法，这在过去是不可用的。
研究手术技能方面的困难中的一个是在手术期间获取工具使用和工具运动的精确测量结果的仪表化。在这方面，直观手术达芬奇机器人手术系统提供了用于在临床操作背景下研究手术程序的标准化、良好仪表化的“实验室”。与模拟或仪表化真实手术环境相反，其允许经由其应用编程接口(API)不被实验传感器和工具干扰和修改地记录手术运动和临床事件。到2010年后期，存在超过1700个安装的达芬奇系统。机器人根治性前列腺切除术现在是用于去除具有癌症的前列腺的手术的主导形态，并且机器人执行的各种程序的总数的保守估计在美国是数万个，并且在全世界为近十万个。即使其是唯一的商用机器人手术系统，达芬奇现在是广泛可用的，并且以临床体积(clinical volume)操作，这实现了关于护理质量方面的重大问题的技能开发的研究。从更广泛的角度出发，记录并分析此类数据提供了研究基本结构和获得技术技能以用于无创的具有成本效益的方式的更广泛的医学实践的唯一机会。
机器人腹腔镜或微创手术已在手术实践的多个领域中变成确立护理标准。特别地，机器人手术在泌尿科学(Elhage O，Murphy D，et al，Robotic urology in theUnited Kingdom：experience and overview of robotic-assisted cystectomy，Journal ofRobotic Surgery，1(4)，pp.235-242，2008；Thaly R，Shah K，Patel VR，Applicationsof robots in urology，Journal of Robotic Surgery，1(1)，pp3-17，2007；Kumar R，Hemal AK，Menon M，Robotic renal and adrenal surgery：Present and future.BJUInternational，96(3)，pp.244-249，2005)、妇科学(Boggess JF，Robotic surgery ingynecologic oncology：evolution of a new surgical paradigm；Journal of RoboticSurgery，1(1)，pp.31-37，2007)以及心脏手术(Rodriguez E，Chitwood WR，Outcomes in robotic cardiac surgery，Journal of Robotic Surgery，1(1)，pp 19-23，2007)中已经大有进步。自从其在2000年在美国的初始临床批准以来，达芬奇机器人手术系统(加利福尼亚州桑尼维尔市的直观手术公司(Intuitive SurgicalInc.)已经作为微创机器人手术平台中的被广泛接受的领导者出现，在2010年安装了超过1700个系统，从2007年的超过700个系统和2006年的约500个上升。经机器人训练的临床医生的团体现在多达数千个，并且广泛地发表作品，包括在诸如机器人手术杂志(Journal of Robotic Surgery)的杂志，具体地集中于机器人手术。直观手术最近已开发了用于机器人手术的住院医生实习期计划，其与多个领导训练机构合作以改善手术训练并快速地增加受训临床医生的数目。
机器人手术应用：前列腺癌是非常普遍的疾病；6个男人中有一个可预期在其一生中将被诊断具有该疾病。护理的黄金标准是根治性耻骨后前列腺切除术。诸如减少疼痛、外伤和较短恢复时间的益处导致腹腔镜技术的确立，但是它是执行微创的复杂程序。根治性前列腺切除术的常见副作用包括勃起功能障碍和失禁，除功能丧失之外，这对病人也具有心理暗示。机器人手术在此类复杂程序中已获得广泛的接受。在用于治疗前列腺癌的每年在美国执行的75000例根治性前列腺切除术中(Shuford MD，Robotically assisted laparoscopic radicalprostatectomy：a brief review of outcomes，Proc.Baylor University Medical Center，20(4)，pp354-356，2007)，可预期达芬奇已在2007年执行了大多数(在全世界总共超过50000)(直观手术公司在JP摩根保健会议上的介绍，网址：http://www，intuitivesurgical.com，2007年12月访问)而变成用于局部化前列腺癌的主要治疗，从2005年使用达芬奇执行的18000个手术和在2004年的8500个(Shuford)上升。最近提出的大型人群和长期研究(Badani KK，Kaul S，Menon M，Evolution ofrobotic radical prostatectomy：assessment after 2766 procedures，Cancer，1 10(9)，pp.195 1-8，2007)已经显示出机器人方法的相当或良好的表现。机器人子宫切除术(Boggess；Diaz-Arrastia C，Jurnalov C et al.，Laparoscopic hysterectomy usinga computer-enhanced surgical robot，Surgical Endoscopy，16(9)，pp.1271-1273，2002)和复杂的妇科学手术正在获得更广泛的接受，并且可以不久在前列腺切除术后作为主要手术形态。
用达芬奇已经执行了包括冠状动脉旁路移植术(Rodriguez，et al；Novick RJ，Fox SA，Kiaii BB，et al.，Analysis of the learning curve in telerobotic beating heartcoronary artery bypass grafting：A 90 patient experience，Annals of Thoracic Surgery，76，pp.749-753，2003；appert U，Cichon R，Schneider J，et al，Closed-chest coronaryartery surgery on the beating heart with the use of a robotic system，Journal ofThoracic and Cardiovascular Surgery，120(4)，pp.809-811，2000)、房间隔缺损关闭(Reichenspurner H，Boehm DH，Welz A，et al.，3D-video and robot-assistedminimally invasive ASD closure using the Port-Access techniques，Heart SurgeryForum，1(2)，pp.1 04-106，1998)以及激光心肌血管重建(Yuh DD，Simon BA，Fernandez-Bustamante A，et al，Totally endoscopic robot-assisted transmyocardialrevascularization，Journal of Thoracic and Cardiovascular Surgery，130(1)，pp.120-124，2005)的许多心脏手术。虽然由于搏动心脏的运动、胸腔的物理约束以及手术误差或接入延迟的极端结果而尚未在所有的心脏手术中复制泌尿科学的成功，但诸如二尖瓣修补术的某些心脏手术(Rodriguez，et al；Chitwood WR，Currentstatus of endoscopic and robotic mitral valve surgery.Annals of Thoracic Surgery，79(6)，pp.S2248-S2253，2005)正在变得更加流行。改进的技术、包括用于稳定的方法和工具可以使得其他机器人心脏手术在将来更加普遍。
在多个其他外科专业中，在儿科(Sinha C，Haddad M，Robot-assisted surgeryin children：current status，Journal of Robotic Surgery，1(4)，pp.243-246，2008)、神经外科(Bumm K，Wurm J，Rachinger J，et al，An automated robotic approach withredundant navigation for minimally invasive extended transsphenoidal skull basesurgery.Minimally Invasive Neurosurgery，48(3)，pp.159-164，2005)以及胃肠外科(Ballantyne GH，Telerobotic gastrointestinal surgery：phase 2-safety and efficacy，Surgical Endoscopy，21(7)，pp.1054-1062，2007)中也已经执行机器人手术。利用在开发中的其他手术平台和工具，机器人手术很可能继续扩展其在外科手术中的存在。
达芬奇机器人手术系统：达芬奇机器人手术系统包括具有一对主操纵器及其控制系统的外科医生控制台、具有一组病人侧操纵器的病人手推车以及容纳立体内窥镜视觉设备(图1-图3)的手推车。可以将多种可容易地去除的手术器械附接于病人侧操纵器，并且可以在外科医生的控制台处从主操纵器对其进行操纵。达芬奇的最新版本可以具有四个从操纵器，一个专用于保持立体内窥镜相机。可以通过使用外科医生控制台上的脚踏板和开关响应于主操纵器的运动而激活从操纵器进行移动。可以使用外科医生控制台处的按钮来调整主操纵器及其相应的从运动之间的运动的缩放。在包括器械自由度的情况下，从机器人能够具有多达七个自由度，允许尖端处的比人手腕更大的灵巧性。
机器人手术限制：达芬奇是市售的唯一机器人手术系统。除其相当大的系统成本(约130万美元)和维护费用(每年超过十万美元)之外，一次性手术工具的成本也被已知在每个手术数千美元。如任何新技术一样，出版物已经记录了重要的学习曲线，具有临床熟练所需的广泛实验室实践(Chitwood，et al；Novic，et al；Yohannes P，Rotariu P，Pinto P，et al，Comparison of robotic versuslaparoscopic skill：is there a difference in the learning curve？，Urology，60，pp.39-45，2002)。
达芬奇应用编程接口(API)：最为其手术用途的补充，达芬奇机器人系统还提供了用于测量和评定手术和手术训练的各种方面的良好仪表化的机器人实验室。API(DiMaio，S，and Hasser，C，The da Vinci research interface，Workshop onSystems and Architectures for Computer Assisted Interventions，MICCAI 2008，MidasJournal，http://hdl.handle.net/10380/1464，accessed 1 1/2008)提供了对相机、仪器以及主操纵柄的运动参数的访问。独立于临床使用而操作(并且能够被启用或禁用)的API是以太网接口，其提供对运动矢量的透明访问，该运动矢量包括关节角、笛卡尔位置和速度、夹持器角度以及关节速度和转矩数据。另外，可以从用于立体内窥镜通道的视觉系统获取高质量的时间同步视频。达芬奇API也随着多个临床和系统事件发生而将其流式传输。这包括特别地用信号通知工具的变化、主机控制手术器械运动的开始或结束、主或从工作空间(主离合器或从离合器)的重配置、相机视场的变化的事件。可以将API配置成以各种速率(通常达到100Hz)流式传输数据，其比一般视频获取速率更好地提供新操纵器数据。
机器人手术训练：使用诸如图4中所示的管家团体机器人手术训练群体的训练群体来执行机器人手术定向。训练群体可用于所有基本手术技能，诸如切割、缝合以及打结。定向后面通常是在封闭模型且最终是在动物模型上的手术。在实现动物模型上的熟练之后，监督外科医生并在其前几个人类手术期间提供辅导。
使用自动化方法的技能建模和评定中的在先工作：我们并不知道关注于手术训练期间的系统操作和操作员技能的开发的类似特定研究。这些技能还组成临床熟练所需的技能的一部分。腹腔镜模拟和手术训练在过去已使用运动参数的分析。这包括将诸如MIST-VR腹腔镜训练器(Gallagher A.G，Richie K.，McClure M.，McGuigan J.；Objective Psychomotor Skills Assessment of Experienced，Junior，and Novice Laparoscopists with Virtual Reality；World Journal of Surgeiy；Vol.25(11)，pp.1478-1483，2001)或基于电磁跟踪器的帝国学院手术评定设备(ICSAD)(Darzi A，Mackay S，Skills assessment of surgeons，Surgery，13 1(2)，pp.121-124，2002)的系统用于手术表现的测量或手术技能的获得的运动分析。这些研究常常依赖于由专家内科医生进行的所记录视频数据的人工解释。还基于达芬奇API数据(Moorthy K，Munz Y，et al，Objective assessment of technicalskills in surgery.BMJ，327，pp.1032-1037，2003)执行了基于运动数据的技术技能的客观结构化评定(OSATS)(Hernandez JD，Bann SD，et al，Qualitative andquantitative analysis of the learning curve of a simulated surgical task on the da Vincisystem，Surgical Endoscopy，18，pp.372-378，2004)，并且其包括手动专家评估的元素。我们的团体和合作者(Verner L，Oleynikov D，et al，Measurements of thelevel of expertise using flight path analysis from da Vinci robotic surgical system，Medicine Meets Virtual Reality，94，2003；Lin HC，Shafran I，Yuh DD，Hager GD，Vision-Assisted Automatic Detection and Segmentation of Robot-Assisted SurgicalMotions，Medicine Meets Virtual Reality，2006)也已将达芬奇API数据用于手术运动的自动分段和分析。
仍存在对客观手术训练(Reznick RK；Teaching and testing technical skills；AmJ Surg，Vol.165，pp.358-361，1993；Reznick RK，and MacRae H；Teaching surgicalskills-changes in the wind；New England Journal of Medicine；vol.355(25)；pp.2664-2669，2006)的实际需要。需要识别在教室中的工作台顶部模型上学习到的技能及其到在手术室中确认的真实手术的传递。Ericsson(Ericsson，KA，Krampe，RT，and Tesch-Romer，C；The role of deliberate practice in the acquisition ofexpert performance；Psychological Review，Vol 100(3)，363-406，1993)主张大多数外科医生并未达到实际专业技术，并且需要慎重的实践和反馈。存在一大群出版的研究物，包括来自我们团体的某些，其采用新技术(G Gallagher A.G，RichieK.，McClure M.，McGuigan J.；Objective Psychomotor Skills Assessment ofExperienced，Junior，and Novice Laparoscopists with Virtual Reality；World Journalof Surgery；Vol.25(11)，pp.1478-1483，2001；Gallagher AG，Satava RM，Virtualreality as a metric for the assessment of laparoscopic psychomotor skills，SurgicalEndoscopy，16(2)，pp.1746-1752，2002；Lin HC，Shafran I，Yuh DD，Hager GD，Vision-Assisted Automatic Detection and Segmentation of Robot-Assisted SurgicalMotions，Medicine Meets Virtual Reality，2006；C.E.Reiley，T.Akinbiyi，D.Burschka，A.M.Okamura，C.Hasser，D.Yuh；Evaluation of Surgical Tasks usingSensory Substitution in Robot-Assisted Surgical Systems；The Journal of Thoracicand Cardiovascular Surgery；Vol.135，Issue 1，pp.196-202，2008)来自动地对手术技能、训练和传递进行分析、建模和评定。这些研究报告说有经验的外科医生明显更快、更一致地执行手术任务，具有较低差错率，并且具有手术器械的更高效移动。这些客观度量中的某些难以在没有对手术实践的广泛入侵的情况下或在不使用附加技术的情况下测量。诸如移动效率的其他方面的测量在没有此类辅助的情况下是根本不可能的。
此工作的基本原理和意义：我们先前的工作和其他出版的技术表明应用于大量记录数据的现代统计学习和分类技术具有实现手术中的训练和评定的改革的潜力。事实上，这非常类似于当发生朝向统计建模的类似范式转换时语音处理所经历的革命。很明显，此研究的结果将可应用于机器人手术，其中，此类数据组提供附加的可能许多形式的人类工程学和机构效率研究。获取的数据将促进研究，该研究还将具有用于我们理解手术实践的更宽泛含意。从此数据获得的技术和洞察力将提供关于用于传统腹腔镜方法的教导和评定方法的开发的指导，并且最后甚至可以具有用于传统开放手术的含意。
示例1
在根据本发明的实施例的以下示例中，我们广泛地将达芬奇机器人系统用于对人类手术任务表现进行建模和评估。这包括新技术的集成(Leven J，BurschkaD，Kumar R，et al，DaVinci Canvas A Telerobotic Surgical System with Integrated，Robot-Assisted，Laparoscopic Ultrasound Capability，Medical Image Computing andComputer Assisted Intervention，Springer Lecture Notes in Computer Science，4190，pp81 1-818，2005；Burschka D，Corso JJ，et al，Navigating Inner Space：3-DAssistance for Minimally Invasive Surgery.Robotics and Autonomous System，2005)、新架构的开发(Hanly EJ，Miller BE，Kumar R，et al，Mentoring consoleimproves collaboration and teaching in surgical robotics，Journal ofLaparoendoscopic and Advanced Surgical Techniques；16(5)，pp445-451，2006)以及人-机交互的研究(C.E.Reiley，T.Akinbiyi，D.Burschka，A.M.Okamura，C.Hasser，D.Yuh；Evaluation of Surgical Tasks using Sensory Substitution in Robot-AssistedSurgical Systems；The Journal of Thoracic and Cardiovascular Surgery；Vol.1 35，Issue 1，pp.196-202，2008；Hanley，et al.；Lin HC，Shafran I，Yuh DD，Hager GD，Vision-Assisted Automatic Detection and Segmentation of Robot-Assisted SurgicalMotions，Medicine Meets Virtual Reality，2006；Lin HC，Shafran I，et al，TowardsAutomatic Skill Evaluation：Detection and Segmentation of Robot-Assisted SurgicalMotions，Computer Aided Surgery，11(5)，pp.220-230，2006；Lin HC，Shafran I，et al，Automatic detection and segmentation of robot-assisted surgical motions.MedicalImage Computing and Computer Assisted Intervention，Springer Lecture Notes inComputer Science，4190，pp.802-810，2005)。我们还研究了用户运动和/或力数据、机器人引导对手术任务的速度和准确度的有效性以及信息反馈的各种形态的统计建模。参见以下各项：
·Voros，S，and Hager，G；Towards″real-Time″Tool-Tissue Interaction Detectionin Robotically Assisted Laparoscopy；IEEE International Conference onBiomedical Robotics and Biomechatronics，pp.562-567，2008；
·Kitagawa M，Dokko D，Okamura AM，Yuh DD，Effect of sensory substitutionon suture manipulation forces for robotic surgical systems，Journal of Thoracicand Cardiovascular Surgery，129，pp.151-158，2005；
·Kitagawa M，Dokko D，Okamura AM，et al，Effect of sensory substitution onsuture manipulation forces for surgical teleoperation，Medicine Meets VirtualReality 12，pp 157-163，2004；
·Kitagawa M，Okamura AO，Bethea BT，et al，Analysis of suture manipulationforces for teleoperation with force feedback，Medical Image Computing andComputer Assisted Intervention，Springer Lecture Notes in Computer Science，2488，pp.155-162，2002；
·Bethea BT，Okamura AM，Kitagawa M，et al，Application of haptic feedback torobotic surgery，Journal of Laparoendoscopic and Advance Surgical Techniques，14(3)，191-195，2004；以及
·Moorthy K，Munz Y，et al，Objective assessment of technical skills in surgery.BMJ，327，pp.1032-1037，2003.
用达芬奇机器人进行的数据记录
我们已开发了根据本发明的某些实施例的用于从达芬奇系统进行的数据记录的基于PC的软件解决方案。应用程序以可配置的速率从达芬奇API获取数据。这些定量测量包括工具、相机和主操纵柄运动向量，包括关节角、速度和转矩、笛卡尔位置和速度、夹持器角度以及同步立体视频数据(“手术数据”)。收集的数据跨操纵器和视频通道被同步，并且在存档之前被加时间戳。本示例与直观手术专有API库兼容。专有达芬奇API客户端应用程序仅捕捉运动向量和最初产生的文本日志文件。
另外，我们已开发了多个任务板以供在结构化数据收集中使用，其示例在图4中示出。每个任务板被设计成是高度可复制的。到目前为止，已经设计了用于缝合、打结和穿针的的板。已经在约翰-霍普金斯(Johns Hopkins)大学和直观手术(Intuitive Surgical)公司两者处从实验室(任务板)设置、动物手术以及现场人类手术收集数据。到目前为止，已经获取了超过40个手术记录。还已执行了超过100个训练记录，具有包括受训人和专家的超过30个用户。
我们还继续使用我们的数据收集系统和任务板来获取任务表现数据。最近，我们已将在约翰-霍普金斯模拟中心处收集的来自腹腔镜手术训练程序的新运动和视频数据添加到我们的档案。为了确认无人管理的数据收集，在实验期间在不存在工程师组员的情况下在多个训练课内收集此数据。我们的数据收集环境还支持使用基础操作系统工具的远程管理。
达芬奇手术期间的系统操作的分析
我们并不知道机器人手术程序中的操作员表现的任何系统分析，调查诸如仅用于调整相机视场的操作时间的量的因素。初步研究显示相机控制是非常频繁使用的模式，临床上消耗的相当大量的总操作时间。系统操作数据被使用API存档并进行后处理以获得用于到相机控制中的模式变化数目的统计以及在相机控制模式期间所使用的时间量。来自三个达芬奇前列腺切除手术的表1中的数据显示其可能容易地大于操作时间的5％。此外，视场变化被非常频繁地调用，每分钟几次。在这里不包括被用来在相机控制之前或之后对主机进行重新定位的附加手术时间。
表1：用达芬奇手术机器人进行的微创手术程序期间的内窥镜相机运动
Figure BPA00001741052300151
需要用更多的研究来确认的这些发现指示系统操作任务容易地临床上消耗掉总操作时间的相当一部分。存在多个类似的系统操作任务(例如，主机重新定位以及器械交换)，其同样地明显对总操作时间有所贡献。因此理解机器人手术用户的系统和操作技能的开发是重要的。使用达芬奇机器人的缝合的统计模型
我们已开发了用于特定手术任务的操作员运动的统计模型。为了关注于检测子任务并将其分段的中心目的，我们创建了关于由三个用户用达芬奇系统执行缝合任务预测的简化实验范例；我们将用户的技能水平评级为“专家”、“中级”和“新手”。每个用户执行约15个试验，其中，每个试验由四次穿线组成，具有八个可识别的子任务：
运动 描述
1 去拿针(夹持器开)
2 定位针(保持针)
3 插入针/将针推进组织
4 用针移动至中间(左手)
5 用针移动至中间(右手)
6 用左手拉缝合线
7 用右手拉缝合线
8 用两只手定向针
针对每次试验，收集的数据由以10Hz的速率从达芬奇API获取的78个运动变量组成。主控制台的左手和右手操纵器运动每个被25个变量跟踪，而左手和右手机器人器械臂每个被14个变量跟踪。除同步视频数据之外，每个试验包含约600个此类运动变量。
检查达芬奇左手操纵器的笛卡尔位置，能够容易地辨别由专家用户在缝合任务中执行的四次缝合穿线(图5和图6)，建议自动化方法可能能够以良好的准确度辨别此任务。
我们设计了能够使用达芬奇API实时地识别正在执行的子任务的自动统计系统。此统计系统被使用一组示例训练。为了测试该系统，我们将收集的数据划分成训练和测试组，其中，使用机器学习技术和在测试运动数据上测量的识别准确度来同化(assimilate)训练运动数据。为了改善结果的统计显著性，我们将进入训练和测试组的数据旋转约15次(即，15倍交叉验证)并测量平均准确度。
可以将我们的任务识别系统(图7)划分成两部分：处理输入特征的一个以及使用这些特征来构建分类器的另一个。
不同运动参数(即，位置、速度、旋转以及加速度)的动态范围明显不同。从机器学习文献众所周知的是这些差异能够负面地影响运动识别。为了说明这一点，这些参数被归一化成具有零平均值和单位方差。此外，来自达芬奇API的78个运动控制和监视变量包含冗余，其可以削弱后端分类器的表现。这要求使用维度减少机制；并且在分类的背景下，线性差别分析(LDA)提供合理的解决方案。
对任务序列进行建模是困难的，因为可能序列的数目随着任务长度呈指数地增加。为了开发能够被跟踪的任务模型，需要进行某些独立假设。这些假设允许模型以低方差来表示局部现象。然而，对于大多数现实世界过程而言，任何给定时间的观察严重地受到其背景的影响。应对此问题的一个简单方式是用来自其背景的帧(frame)附加任何给定时间的观察向量。在这里，我们通过用来自其邻位置的那些附加于每个特征向量来完成这一点。经处理的特征然后被输入到两个不同的自动检测和分段技术。首先，我们使用简单的贝叶斯分类器，其使用多变量高斯分布(图8)独立地在每个时刻对帧进行建模。其次，我们使用HMM来尝试替换方法以通过隐式状态序列对信号的连续性质进行建模。
结果和讨论：我们发现我们的系统中的运动信号清楚到足以允许贝叶斯分类和HMM技术同样好地工作。此外，我们发现当我们仅使用工具的刚体运动(因此进行独立于达芬奇运动学的数据表示)时，加标签的准确度是相当的。并且预测标签的分析显示错误主要在子任务之间的过渡时发生。在某种程度上，这也可以归因于人注释中的小的不一致性；当过渡顺利地发生时难以精确地确定子任务结束且下一个开始的时间。允许+/-0.2秒的公差，我们获得超过92％的准确度等级。我们还使用支持向量机(SVM)来调查替换策略，其已在许多应用中提供优越的表现。SVM能够容易地用冗余信息来适应大的维度空间。因此，我们在计算本地上下文信息之后直接应用SVM。我们发现SVM提供约0.5％的准确度方面的附加增益；实现了约93％的准确度。
自动化手术技能评估
如上所述，定义的手术任务的子任务分段提供了用于计算特征的丰富集合以便构建自动手术技能评估系统的机制。在示例中，我们检查能够自动地计算的两个简单特征，以理解开发此类评估系统中的问题。此研究是用从处于两个不同技能水平的用户收集的数据执行的：由“中级”用户进行的12次试验和由“专家”用户进行的15次试验。HMM被使用来自专家用户的数据训练，并且随后被用来将从中级用户获取的运动数据分段。同样地，还在15次试验中的每一个中将由专家用户执行的任务试验分段。从训练数据提供被分段的实验以确保在训练和测试数据之间不存在重叠。这样，所有的手术任务试验被自动地分段成五个离散子任务，这通过使上述八个子任务瓦解而获得(具有少数数据点的某些子任务被调入其他的中)。
先前的研究已经建议执行任务所花费的时间量是手术技能的良好指标。此特征能够从每个任务试验自动地计算。另外，可以计算第二特征，其测量给定表现与从任务的专家表现导出的风格化“理想”模型匹配的有多好。针对五个子任务计算这两个特征并随后针对两个技能水平进行汇集。在平均和标准偏差方面，两个特征的不同分布清楚地显示这些特征能够用来区别(图9)两个技能水平。
多用户试验
关于手术姿势识别的示例包括来自使用模型组织在工作台顶部模型上执行手术缝合任务的七个受试者的35次试验(表2)。在机器人辅助系统上使用达芬奇外科医生和非外科医生来完成确认实验。我们应用包括高斯混合模型、3态隐式马尔可夫模型以及监督和无监督最大似然线性回归(MLLR)的各种统计方法的识别和分段技术来测试多种用户的运动识别算法的稳健性。通过将自动标记数据的准确度逐帧地与手动标记数据相比较来定义成功。这显示出使用类似于MLLR的特定模型来解决较大数据集的改进。
表2：多用户试验中的姿势识别
这些工作台顶部模型与现场手术之间的外科运动相似性的初步评定显示从工作台顶部模型学习的识别算法在针对现场手术模型的三次试验进行测试时平均起来具有针对缝合的20％、针对穿针的21％以及针对打结的17％的低得多的识别率。
工具组织交互的分析：我们已将这些技术应用于发现在动物模型上执行的训练手术期间所记录的API数据中的工具组织交互的问题。我们发现我们能够以76％的总体准确度来识别其中工具与带(tie)交互的情况(85％真阳性、31％假阳性(Voros，S，and Hager，G；Towards″real-Time″Tool-Tissue InteractionDetection in Robotically Assisted Laparoscopy；IEEE International Conference onBiomedical Robotics and Biomechatronics，pp.562-567，2008))。在至今未公布的工作中，我们已使用最近邻分类器将这些百分比增加至超过90％。这些早期结果在具有挑战性的此环境中是非常鼓舞人心的。
达芬奇视频中的缝合的分析：我们还已分析了在没有注释的情况下获取的来自20次达芬奇缝合试验的视频数据(参见表3)。该分析使用具有18个状态的HMM模型，每个状态表示手术姿势或子姿势。每个试验被使用演进HMM加标签并确定通过18个状态的用于20次试验中的每一个的最好路径。这提供了标签序列，其中，每个标签都是HMM中的状态。然后可以通过使编辑距离(插入、删除以及置换的数目)最小化来识别由手术技术或专业技术的差异引起的缝合的变化。2个此类试验之间的帧的对准可以允许针对手术任务的手术技术和子姿势的专家视觉比较。
表3：变化技能水平的用户之间的平均编辑距离。
Figure BPA00001741052300191
多中心数据收集
可以在提供对较大数目的机器人手术受训者的透明访问的此多中心住院医生实习计划中，将本发明的某些实施例集成到自动测量系统中。作为用于住院医生实习计划的准备的一部分，直观手术在美国主持领导机器人手术训练计划中的某些的指导者的研讨会，这也将是其先导计划的一部分。
示例2
介绍
用新手术机器人技术已经促进了微创心胸外科手术。虽然到2010年年中为止在全世界[1]的临床使用中存在超过1700个手术机器人系统，但机器人到心脏外科手术的应用在很大程度上由于在用具有针对技术误差和延迟的相对较低公差的手术机器人平台[2，3]开发操作熟练性时的陡学习曲线而尚未赶上其他手术学科。具体地，在以有限的接入执行精确的且复杂的改造技术中提出的技术挑战和与机器人辅助心脏手术相关联的较长体外循环术和主动脉阻断时间[2，3，4]已经妨碍了机器人在心胸外科团体中的广泛接受。机器人手术技术的改善采用和使用将要求技术和训练方法两者中的改进。
使用“看到一个、完成一个、教导一个”学徒制模型的手术训练的传统Halstedian原理并不是整体地可应用于手术机器人训练。为了开发临床熟练性，要求用以使外科医生熟悉新的机器人技术的有效的训练和实践策略[2，3]。然而，当前的机器人训练方法缺少用于评定和跟踪技术和操作技能的统一标准。确立导致用于机器人手术的有效训练课程和认证计划的标准、目标以及自动化技能度量将要求：(1)能够在技能的获得期间被纵向地(例如，一年)跟踪的类似技能的显著的一群训练中机器人外科医生，(2)一组标准化手术任务，(3)获取和分析大量运动数据的能力，以及(4)由专家收集的数据的一致的“地面实况(ground truth)”评定。
机器人手术训练方面的公开的研究局限于来自相对短持续时间的从头训练[5，6]的技能度量的量化。在将变化技能水平的受训者(例如，研究生训练年)与“专家”外科医生相比较时还预测了客观地将有限数目的受训者[7，8]的技能度量量化的先前努力。这些研究将实验任务用于训练和评定两者。机器人手术系统要求复杂的人机交互，并且该技术还未将临床任务技能与机器操作和技术技能区别开。
我们通过开发能够客观地区别操作和技术机器人手术技能并在技能开发期间纵向地跟踪受训者的新型自动化运动识别系统而选择采取新方法。我们确立用于每个训练步骤的多个学习曲线；提供技能开发的比较分析；并开发用于反馈以有效地解决技能不足的方法。我们还使用我们的任务作为基准评估，而不是作为训练任务。这也是涉及机器人手术训练的第一个纵向多中心研究，并且包括到目前为止最大的受训人群。
方法
手术训练的客观表现度量的测量(即，手活动的效率)先前已要求并不广泛可用、干扰手术技术且采用并未普遍可用或被容易地集成到常规手术仪器例如[9]中的仪表化样机设备。作为新型“透明”替换，我们已开发了用以从机器人手术训练收集运动和视频数据的基础设施，其不要求任何特殊仪表化且保持不要求专家外科医生的现场监督的训练环境的允诺。
数据收集：
我们的运动数据收集平台使用达芬奇外科机器人系统。其应用编程接口(API[10])提供了包含334个位置和运动参数的稳健的运动数据集。API自动地通过以太网连接将运动向量流式传输至加密档案工作站，该运动向量包括关节角、笛卡尔位置和速度、夹持器角以及用于主控制台操纵器、立体相机和仪器的关节速度和转矩数据。API还流式传输多个系统事件，包括仪表化变化、操纵器“离合(clutching)”以及视野调整。API可以提供比用视频记录获得的那些数据获取速率(通常达到30Hz)更快的运动数据获取速率(达到100Hz)。另外，可以从立体视频系统获取高质量时间同步视频。使用数据收集框架(图1，左侧)334，在50Hz下对334个系统变量进行采样并在30Hz下收集立体视频流。此数据在源处是匿名的，被分配唯一受试者标识符，并根据批准的IRB协议在数据库中存档。为了进行分析，存档数据被进一步分段成任务或系统操作序列。此过程每小时生成20-25GB的数据。不要求特殊训练以操作档案工作站，其可以被就地置于连接状态，而不影响手术或其他训练使用。
实验任务：在所有训练阶段中收集训练数据。我们的训练协议被划分成不同的训练模块：
模块I：系统取向技能：此训练模块意图使受训者熟悉基本系统和手术技能，包括主控制台离合、相机控制、操纵缩放变化、牵引、缝合、组织处理、双手操纵、横切(transaction)以及解剖。受训者已在当前的训练体系中实践这些基本技能，并且其适合于基准调查(benchmarking)。每个月，我们从已从直观手术机器人手术训练实习科目[11]获取的四个微创手术技能的周期性基准调查执行收集数据。这些任务(图10，右侧)是：
·操纵：此任务测试受试者的系统操作技能。其要求四个环从任务群体的中心定位针到相应外定位针的传递，后面是依次的环到内定位针的替换。基本任务表现度量包括任务完成时间和任务错误(例如，掉落的环/定位针、将仪器移动到视场外面)。
·缝合：此任务涉及3-0Vicryl缝合线的具有三个10cm长度的线性缺陷的修复。基本任务表现度量包括任务完成时间和任务错误(例如，掉落的针、折断的缝合线、不准确的近似)。
·横切：此任务涉及在用第三臂使群体(Pod)稳定的同时使用弯剪在横切群体上切割“S”或圆形图案。基本任务表现度量包括任务完成时间和任务错误(例如，在图案外面切割)。
·解剖：解剖任务要求群体的表层的解剖以获得到掩埋血管的暴露，后面是周向解剖以完全松动(mobilize)血管。测量任务完成时间和错误(例如，对血管的损坏、不完全松动以及过度解剖)。
这些定向实验室通常产生一小时的训练数据。在成功地获取这些基本技能时，受训者毕业至下面的第二模块。此工作突出第一训练模块的分析。
模块II：微创手术技能：此模块意图使受训者熟悉基本微创手术(MIS)技能，包括端口放置、仪器交换、复杂操纵以及仪器冲突(collision)的分辨。
模块之间的分级是基于受训者达到专业技能水平或者基于六个月完成。我们旨在继续跟踪我们的受训者以便无论何时其有限地仅通过访问其机器人系统以进行数据收集的实践时都变得熟练。
招募和状态
已经招募了来自三个学院的手术训练计划(约翰-霍普金斯(Johns Hopkins)，Boston Children′s，U.Penn and Stanford)的(48个的目标中的)30个机器人手术用户来参与我们正在进行的研究。由于从IRB接收到批准，正在添加附加训练中心和受试者，并且其训练机器人被机器人系统(直接手术公司)的制造商激活以用于数据收集。我们的受试者被根据四个技能水平分层：新手、初学者、中级以及专家。新手受训者被定义为不具有关于达芬奇机器人系统的先前经验。初学受训者仅拥有有限的dry-lab经验，并且不具有利用达芬奇系统的临床经验。中级受训者拥有利用机器人系统的有限的临床经验。专家用户由具有临床机器人手术实践的教员外科医生组成。纵贯其训练期间，以每个月的间隔收集来自每个受试者的表现数据。专家外科医生提供了训练任务的两次执行以确立技能度量。在这里，我们分析4个专家用户和非专家技能水平的8个其他用户。
结构化评定
为了确认我们的框架的构造，我们对每个任务执行应用技术技能的客观结构化评定(OSATS)[12，13]。OSATS全球评级标度由在五点Likert-like标度(即，1至5)上评级的手术程序中的六个技能相关变量组成。中间和极限点被明确地定义。六个测量种类是：(1)对组织的尊重(R)，(2)时间&运动(TM)、仪器搬运(H)、仪器的知识(K)、手术流程(F)以及手术知识(KP)。“助手的使用”种类在第一训练模块中一般不适用，并且因此未被评估。获得用于六个种类中的每一个的累计分数总单独分数(最小分数＝0，最大分数＝30)。先前已经在评级人间变化性(inter-rater variability)和与技术成熟度的相关性方面确认了OSATS评估构造[13，14]，并且已在评估具有机器人辅助手术的设施中应用[15]。
自动化度量
存在可以根据我们已获取的纵向数据计算的至少两个不同类型的自动化度量。第一个是聚合运动统计、任务度量以及关联纵向评定(即，学习曲线)。第二个包括使用统计分析计算以便将受训者的技术技能与专家外科医生的相比较的度量。
运动统计和任务度量：表2.1示出了用于定义的手术任务执行的计算的基本度量。这些度量中的每一个被用来在纵向收集数据范围内导出关联学习曲线。
表2.1：根据纵向数据计算的聚合度量：针对第一模块中的训练任务详述了专家执行每个任务两次以减少可变化性-样本任务时间(秒，顶部)、主操纵柄运动距离(米，中间)以及相机脚踏板事件的数目(计数，底部)。
Figure BPA00001741052300241
技术技能的统计分类：我们团体和合作者[16、17、18、19]先前已经使用达芬奇API运动数据来开发用于手术技能的定量评定的基本手术运动的自动化分段和分析的统计方法。Lin等人[16]使用线性差别分析(LDA)来将运动参数减少至三或四个维度，并使用贝叶斯分类来检测基本手术运动并将其分段，称为“手势”。Reiley等人[19]使用隐式马尔可夫模型(HMM)方法以便对手势进行建模。这些研究报道有经验的外科医生执行手术任务显著更快、更一致、更高效并具有较低的差错率[19，20]。我们通过使用支持向量机(SVM)来使维度减少的数据聚集、显示出不同水平的能力而概括机器人系统操作技能的评定。SVM使用核函数将输入数据变换成较高维度空间，并且最优化步骤然后估计以最大间隔将数据分离的超平面。
结果
结构化评定：表2.1示出了基于受训者的系统操作技能和临床背景的受训者之间的明确间隔，提供了用于评定我们的自动化方法的已确认“地面实况”。
工作空间管理：保持紧凑的操作工作空间是重要的机器人系统操作技能。专家机器人外科医生保持用于给定操作任务的最佳视场，将仪器始终保持在视场内(图11，左下)，而受训者趋向于放大至宽视场，其在任务执行期间未被调整(图11，右下)。
图11(上)以图形方式图示出执行操纵任务的受训者与专家机器人外科医生之间的工作空间使用方面的差异。轨迹表示主操纵柄运动，并且包围体积表示所使用的总体积以及在主离合器调整结束时被主操纵柄的位置包围的体积。工作空间使用演进至随着受训者学习更高效地调整其工作空间而变得更接近于专家工作空间使用。专家任务执行还包括规则间隔相机离合器事件以将仪器保持在视场中。
如与在文献中报告的仪器尖端运动相比，我们将主操纵柄运动用于这里的计算，因为其通过捕捉调整主机工作空间所需的所有主机运动来更好地测量操作技能，其未被仪器尖端运动捕捉。我们测量主机距离以及主操纵柄在其中移动的体积。虽然在这里未报告，但我们确实还测量并分析了仪器运动统计以及其他脚踏板、仪器交换以及其他系统事件的计数。
学习曲线：图12a-12h示出了从完成定义的手术任务所需的任务运动和时间导出的学习曲线和基于相应的专家OSATS结构化评定的相应学习曲线。ANOVA(在α＝0.05下在1、3和5个月F＝71.88＞2.23，F＝51.02＞2.37，并且F＝71.4＞2.57)结果在5％显著性水平下是显著的，指示用于时间、OSATS、主机运动以及主机体积的期望值明显不同。受训者表现随时间而改善，如较小任务完成时间、较小体积、较短运动以及在OSATS分数中的相关改善所指示的。通过比较，专家度量在两次执行中具有非常小的变化性。
以1、3和5个月间隔计算的度量(例如任务时间、总时间、主机运动以及主机体积)与用于相应会话(p＜0.05)的OSATS分数相关。对于缝合而言，在1月，平均OSATS(M＝77.58、V＝527.35、N＝12)和缝合时间(M＝466.29、V＝39392.63、N＝12)明显大于零，t(11)＝-6.27，双尾p＝6.07E-5，提供了任务完成时间与地面实况评定相关的证据。表2.2详述了针对α＝0.05的p-值。
表2.2：1、3和5个月时间间隔的针对逐对t-测试以及(α＝0.05)针对OSATS分数和缝合时间(缝合)、总时间(时间)、操纵距离(manip)、总任务距离(距离)、解剖中的主操纵柄体积(dissec)以及总主操纵柄体积(体积)的双尾p值(上)。处于相同间隔的用于所有变量(下)的单因数方差分析(ANOVA)的P值。
Figure BPA00001741052300261
技能评定：针对数据集的一部分(2个专家、4个非专家)，我们聚集运动数据，首先使用主成分分析(PCA)来减少用于笛卡尔仪器速度信号的数据维度。我们然后在数据的一部分上训练二元支持向量机(SVM)分类器，并使用经训练的分类器来执行专家对比其余人二元分类。这种方法以针对缝合任务的83.33％准确度和针对操纵任务的76.25％准确度根据其各自的技能水平正确地将我们的受训者分层。关于此数据集和扩展数据集的详细自动化分析正在被单独地报告。
讨论
临床技能度量应是仪器环境交互的度量。虽然使用内置到机器人中的传感器准确地测量了仪器运动，但在动态运动数据中并未捕捉工具与环境(例如病人或模型)以及诸如针和缝合线的附加工具的交互和效果。与其中已主要使用仪器运动作为“临床”技能的指标的领域相比，我们关注于用于机器人手术系统的“操作”技能。机器人手术使用复杂的人机接口，并且此接口的复杂性在于即使对于经过腹腔镜训练的外科医生而言也产生长的学习曲线。
我们描述了机器人手术受训者的纵向研究，包括结构化专家评定(OSATS)的初步评定以及技能的自动计算的统计和度量。可以使用可从机器人系统获得的遥测技术来完整地捕捉操作技能效果，并且用适当的任务和度量，能够识别单独的学习曲线。特别地，我们注意到使用OSATS的任务表现的结构化评定与上文计算的主机工作空间度量(距离、体积、时间)之间的非常高的一致性。计算但在这里未描述的附加度量包括相机运动效果、类似于文献的仪器运动度量、基于系统事件的学习曲线以及基于异常事件和对异常事件的反应的学习曲线。
我们执行纵向分析以开发学习曲线。这是朝向训练课程以及区别操作技能的度量两者的开发的必需练习。如所述，基于主机操纵的技能的度量显示出专家与非专家之间的大的差异以及随着训练进展而朝向专家的会聚。其中操作技能和系统定向最重要的从零开始的训练仅仅是机器人手术训练中的第一步。训练的附加模块在第一模块完成时添加端口约束、仪器碰撞以及更复杂任务。
在这里提出的此分析仅使用我们的数据的一部分，并且仅讨论所计算的度量中的某些。涉及更大数据集和替换方法的附加的更大型研究目前正在进行中。在正在进行中的工作中，我们还测量对错误的响应时间以及其作为附加技能度量的开发曲线。最后，在这里以大于80％的准确度报告相对简单的统计分类，仅仅为了突出我们的数据的质量。在正在进行中的工作中，我们还将交替的被监督和无监督多类分类器两者用于操作技能以及手术任务技能。
用于示例2的参考文献
1.Intuitive Surgical Inc，http://www.intu itivesurgical.com/products/faq/index.aspx，2010.
2.Novick RJ，Fox SA，Kiaii BB，Stitt LW，Rayman R，Kodera K，et al.Analysisof the learning curve in telerobotic，beating heart coronary artery bypass grafting：a 90 patient experience.The Annals of thoracic surgery 2003；76(3)：749-753
3.Rodriguez E and Chitwood Jr WR.Outcomes in robotic cardiac surgery，Journal of Robotic Surgery，2007；1：19-23
4.Chitwood Jr，WR.Current status of endoscopic and robotic mitral valve surgery.The Annals of thoracic surgery 2005；79(6)：S2248-S2253
5.Ro CY，Toumpoulis IK，Jr RCA，Imielinska C，Jebara T，Shin SH，et al.A noveldrill set for the enhancement and assessment of robotic surgical performance.Studies in Health Technology and Informatics，Proc.Medicine Meeting VirtualReality(MMVR).2005；111：418-421
6.Judkins TN，Oleynikov D，Stergiou N.Objective evaluation of expert andnovice performance during robotic surgical training tasks.Surgical Endoscopy2009；23(3)：590-597
7.Sarle R，Tewari A，Shrivastava A，Peabody J and Menon M.Surgical roboticsand laparoscopic training drills.Journal of Endourology.2004；18(1)：63-67
8.Narazaki K，Oleynikov D，and Stergiou N.Objective assessment of proficiencywith bimanual inanimate tasks in robotic laparoscopy.Journal ofLaparoendoscopic&Advanced Surgical Techniques.2007；17(1)：47--52
9.Datta V，Mackay S，Mandalia M，and Darzi A.The use of electromagneticmotion tracking analysis to objectively measure open surgical skill in thelaboratory-based model.Journal of the American College of Surgeons.2001；193(5)：479-485
10.DiMaio S，and Hasser C.The da Vinci Research Interface，Systems andArchitectures for Computer Assisted Interventions workshop(MICCAI 2008)，http://www.midasiournal.orR/browse/publication/622，2008.
11.Mohr C，and Curet M，The Intuitive Surgical System Skill Practicum.IntuitiveSurgical，Inc，2008
12.Martin JA，Regehr G，Reznick R，MacRae H，Murnaghan J，Hutchison C，et al.Objective structured assessment of technical skill(OSATS)for surgical residents.British Journal of Surgery.1997；84(2)：273-278
13.Faulkner H，Regehr G，Martin J，Reznick R.Validation of an objectivestructured assessment of technical skill for surgical residents.Academic Medicine.1996；71(12)：1363
14.Darzi A，Smith S，and Taffinder N.Assessing operative skill.British MedicalJournal.1999；318(7188)：887
15.Hernandez JD，Bann SD，Munz Y，Moorthy K，Datta V，Martin S，et al.Qualitative and quantitative analysis of the learning curve of a simulated surgicaltask on the da Vinci system.Surgical Endoscopy.2004；18：372-378
16.Lin HC，Shafran I，Yuh D，Hager GD.Towards automatic skill evaluation：Detection and segmentation of robot-assisted surgical motions.Computer AidedSurgery.2006；11(5)：220-230
17.Verner L，Oleynikov D，Hotmann S，Zhukov L.Measurements of level ofsurgical expertise using flight path analysis from Da Vinci robotic surgical system.Studies in Health Technology and Informatics 2003；94：373-378
18.Gallagher AG；Ritter EM，Satava RM；Fundamental principles of validation，and reliability：rigorous science for the assessment of surgical education andtraining，Surgical Endoscopy.2003；17：1525-1529
19.Reiley CE，Hager GD.Task versus Subtask Surgical Skill Evaluation ofRobotic Minimally Invasive Surgery，Proc.Medical Image Computing andComputer-Assisted Intervention(MICCAI).2009；435-442
20.Gallagher AG，Richie K，McClure N，and McGuigan J.Objectivepsychomotor skills assessment of experienced，junior，and novice laparoscopistswith virtual reality.World Journal of Surgery，2001；25(11)：1478-1483
示例3
在机器人手术系统[1，2]的引入和批准的情况下，微创手术在过去二十年中已经历了快速的转变。工具和技术方面的持续进步已在包括腹腔[4]、泌尿科[5]、耳鼻喉科[6]和神经病学手术[7]以及心胸外科[3]手术的手术实践的许多领域中将微创手术确立为护理标准。
减少的疼痛和外伤、减少的失血以及较短的恢复时间已经刺激了微创技术的越来越多的使用。微创心脏手术的成功已经由于器官运动、胸腔的物理约束、手术错误或过度延迟[8]的后果以及可用于机器人设备故障的有限缓解而落后于在其他专业中用机器人腹腔镜手术实现的那些。
最初开发达芬奇手术系统(加利福尼亚州桑尼维尔市直观手术)是用于微创心胸外科手术。现在处于其第三代的机器人由三个部件组成：外科医生控制台、由多达三个机器人仪器操纵器和机器人内窥镜组成的病人侧手推车以及容纳内窥镜部件且在最新的一代中容纳计算引擎的视觉手推车。外科医生坐在控制台处并操纵主机仪器手柄，并且运动被缩放和变换成适当的仪器运动。尖端处的机器人仪器包含比人手更大的精度和灵巧度，并且还使进入孔周围的腹腔镜所固有的运动倒置反向。
达芬奇系统现在是复杂泌尿科手术中的护理标准。其已被成功地用来执行越来越多的心胸外科手术[4]，包括冠状动脉旁路移植术[9]、心房间隔缺损封闭[10]、经心肌激光再血管化[11]以及二尖瓣修补术[12]。训练仍是改善机器人心胸外科手术的采用中的主要挑战中的一个。最新一代的机器人系统(Si)可以具有多达两个外科医生控制台。其基于由创作者中的一个创建的原型(Kumar等人，Multi-user medical robotic system for collaboration or training in minimallyinvasive surgical procedures，2006)，并且旨在解决前一代的训练限制。
学术医疗中心中的手术训练仍是根据Halstedian“看到一个、完成一个、教导一个”方案预测的，其中，允许实习和初级住院医生在教员外科医生的指导下执行操作。指导者通常基于其对受训者的能力及其手术理解的主观信心来调整受训者的参与。我们已经开发了用于获取详细表现数据以及技能的客观度量的方法，其能够允许更好地理解受训者的表现，并且具有大大地改善用于指导者和受训者两者的训练过程的效率的潜力。
材料和方法
我们以无阻碍方式记录了在机器人手术或训练程序期间生成的所有运动。先前需要此类记录的设备可能并未在不影响手术或训练工作流程的情况下被容易地结合到手术和训练基础设施[9]中。通过比较，达芬奇系统中的应用编程接口(API[10])允许在没有程序工作流程的任何修改的情况下且在没有现场监督的情况下使用我们的系统来记录仪器和手部运动及视频数据。
数据收集系统：我们的数据收集系统(图1)被设计成主要从达芬奇手术机器人系统收集数据。API以达到100Hz的速率流式传输334个变量，包含笛卡尔位置和速度、关节角、关节速度、转矩数据以及用于所有机器人臂及控制台按钮和脚踏板的事件。此数据通过以太网连接被流式传输到小的便携式工作站，在那里其被加密和存档。连同此数据一起；我们还以实时帧速率(30Hz)记录了来自立体相机的高质量同步视频。
此数据在源处是匿名的，并且根据约翰-霍普金斯大学机构审查委员会(Johns Hopkins Institutional Review Board)协议被存储在档案中。受试者被分配唯一标识符以允许纵向分析，诸如学习曲线的计算。此过程每小时产生20-25千兆字节(GB)的数据。存档工作站并不需要任何特殊训练以进行操作，并且能够在不影响系统操作的情况下被置于连接状态。
实验任务：我们正在进行中的协议旨在评定机器人手术训练技能。其包含一组微创手术训练任务。训练的第一模块(图4)包含用于系统定向的操纵任务，并且缝合、横切以及解剖技能的基准调查测试大约每个月对一般被用于机器人手术训练[11]的训练群体执行(Chamberlain Group公司)。
该操纵任务涉及使橡胶环围绕整个机器人工作空间移动。受试者还使用8-10cm长度的Vicryl 3-0缝合线沿着I缺陷执行间断缝合(3个缝合线)，使用弯剪在横切群体上横切一个图案，并且使用钝器解剖来使掩埋在凝胶模型中的人造血管松动。
除运动数据之外，我们还记录了受训者在这些基准调查训练课之间的实践小时数。受试者在完成六个基准调查训练课(约六个月)之后或当表现度量指示任务熟练时毕业。
招募和状态：我们的受试者是来自四个机构：约翰-霍普金斯、儿童医院、波士顿、斯坦福/VA医院以及宾夕法尼亚大学的机器人手术住院医生及其随从。招募实习临床医生是为了提供用于计算表现度量的熟练水平的地面实况数据。当前的招募停留在包括6个专家的24个人。
专家评定：专家外科医生合作者提供每个记录试验的技术技能的客观结构化评定(OSATS)[12，13]评定。OSATS分级系统也已在机器人手术[15]中的评级人间变化性和与技术能力[13，14]的相关性方面得到确认。OSATS评级标度包含在五点Likert-like标度(即1至5)评级的任务表现度量。我们使用六个种类：1)对组织的注重(R)，2)时间&运动(TM)、3)仪器搬运(H)、4)仪器的知识(K)、5)手术流程(F)以及6)手术知识(KP)。‘助手的使用’种类在第一模块中并不适用且未被包括在评分中。根据单独种类来计算总分数(最小＝5、最大＝30)。
为了理解我们的数据的复杂性并发起分析，我们首先从两个专家、两个初学者和不具有临床经验的两个用户收集数据。在此实验中包括非临床用户仅仅是为了评定训练任务中的临床背景的实用性。表3.2示出了用于参与本实验的六个受试者的OSATS分数。
表3.2：针对6个用户的OSATS分数
Figure BPA00001741052300321
自动化评定：除手动结构化专家评定之外，我们调查了执行自动化评定的两个方法-聚合运动统计和任务表现度量，区别专家和非专家。先前的研究[6，8]已使用初步度量来识别技能，仅着重于将不同技能水平的用户与专家相比较。表3.1示出了类似于任务完成时间、相机事件的数目、离合器踏板事件的数目的初步任务表现度量以调整工作空间、仪器行进的总距离以及相机的总运动。
表3.1：针对第一模块中的训练任务详述了根据两个训练课计算的平均聚合度量：任务完成时间(秒，第一列)、相机踏板事件的数目、离合器脚踏板事件的数目、病人侧仪器行进的距离(米)、相机行进的距离(米)。
Figure BPA00001741052300331
来自达芬奇API的运动数据先前还被用来使用统计机学习方法将技能分类。这些研究[16，19]主要关注于识别正在执行的手术任务。来自API的运动数据是高维度的(以高达100Hz的334个维度)，并且我们使用维数缩减(主分量分析(PCA))来将数据投射到较低数目的维度。PCA使用正交线性变换来将由相关变量组成的数据变换成由不相关变量组成的较低维度数据以丢弃冗余数据。
缩减数据被使用支持向量机(SVM)分类成专家和非专家类别。SVM使用核函数和最优化算法来找到在两个类别之间具有最佳间隔的超平面。SVM先前也已被用来在运动数据中将手术技能分类。给定地面实况标签，可以将分类器的灵敏度和准确度直接计算为表现度量。
结果
为了开发我们的方法，我们分析了来自两个专家、两个初学者和不具有临床经验的两个用户的数据。表3.2示出了针对我们的实验中的全部六个受试者的分数。包括非临床用户是为了评定临床背景在我们的训练任务中的实用性。
结构化评定：表3.2基于其系统操作技能和临床背景示出了受训者之间的清楚间隔。针对此小数据集，评级也与自动报告的专业技术相关，并且为我们提供了用于我们的自动化方法的“地面实况”。专家(SOATS分数＞13)和受训者(OSATS分数＜10)在结构化评定中被很好地分离。
工作空间可视化：图11(左上)描绘了用于操纵任务的专家主操纵柄工作空间使用。蓝色和红色运动轨迹分别表示左和右主操纵柄。绿色三角形是离合器踏板被压下以调整主操纵柄的时间点。内红色椭圆体示出了其中受试者的手在工作空间调整之后返回的体积，而外椭圆体限制任务工作体积。图11(右上)示出了针对同一任务的初学者的工作空间使用。在视觉上显而易见的是专家比初学者具有更紧凑的工作体积。随着训练的进展，工作空间使用效率改善至与专家的匹配。
表3.3.四个训练课内的2个受训者的时间和仪器运动距离的纵向观察。时间以秒为单位，距离以米为单位。
Figure BPA00001741052300341
图11(左下)描绘了用于同一任务的专家相机运动。为了将仪器保持在视场中，三角形表示相机运动的开始和结束。为了始终将仪器保持在视场中，专家在保持近似相同的缩放的同时执行正规的相机运动。受训者(图11，右下)替代地旨在通过放大而使相机运动最小化，并且更频繁地但以小的运动移动相机。这些可视化可以用来向受训者推荐特定任务策略和改进。
使用统计分类的技能评定
与受训者相比，专家在实现最佳视场时使用多出74.64％的视频观测(videoscopic)相机，导致较少的踩离合、平移运动(缝合，专家＜2.5m，新手＞4.4m)、碰撞以及较短的任务完成时间(专家＜290秒，新手＞375秒)。
针对缝合中的统计技能分类，我们单独地将每个试验3个缝合线分段(每个用户2次训练课)。这提供了总共36次试验，其中，12次被标记为专家且24次是非专家。我们现在将针对每个缝合线的笛卡尔速度数据用作特征向量。每次缝合试验约为5000个样本。使用主分量分析，我们将此数据减少至30个维度。
我们接下来在试验的子集上训练二元支持向量机(SVM分类器)并使用受训分类器来执行专家对比非专家二元分类。3个专家和3个非专家样本被用于训练并在剩余的30个样本上应用受训SVM。这实现了针对缝合的83.3％的分类准确度。同样地，96个维度提供针对操纵的76.3％的分类准确度。图13示出了三个维度上的缝合笛卡尔速度的投影。专家试验群很好地与剩余样本分离。还请注意，非临床用户也与具有缝合技能的受训用户分离。
评论
我们描述了我们的用于训练达芬奇手术系统的机器人手术的新型无监督数据收集基础设施。此基础设施被用于在四个不同的训练中心处捕捉训练数据(约翰-霍普金斯、宾夕法尼亚大学、儿童医院、波士顿和斯坦福)。
与具有检测在文献[7-9、16-19]中报告的当前技能水平的意图的实验数据收集相比，我们将技能范例的基准调查用于不仅评定当前技能水平、而且评定学习曲线的开发。正在单独地报告学习曲线及其确认。与现有技术相比，我们的受训者被其愿望激发而获取这些技能并变成机器人外科医生。他们在各中心处参与训练计划，并且由于我们的协议而并未用机器人进行实践。因此我们还在基准调查训练课之间收集其训练时间，并且训练与技能水平的关系也正在被单独地报告。最后，我们调查用于使用达芬奇的系统操作技能。机器人手术的特征在于相对复杂的人机接口，这是用于陡学习曲线的原因之一。在这里，我们报告了可以用于检测低效使用并提供指导的可视化。
我们还表明二元分类器能够以大于80％的准确度来区别专家和非专家。此工作意图在有限数据集上调查对实验任务中的手术训练的需要。正在进行中的分析正在探索对系统事件和任务错误的响应时间，并且正在开发用于基于对任务变化性和错误的响应来辨别技能的方法。其他工作也正在较大数据集上探索用于操作和手术技能的有监督和无监督方法。那些分析正在准备单独提交。
用于示例3的参考文献
1.Intuitive Surgical Inc，http://www.intu itivesurgical.com/products/faq/index.aspx，2010.
2.Novick RJ，Fox SA，Kiaii BB，Stitt LW，Rayman R，Kodera K，et al.Analysisof the learning curve in telerobotic，beating heart coronary artery bypass grafting：a 90 patient experience.The Annals of thoracic surgery 2003；76(3)：749-753
3.Rodriguez E and Chitwood Jr WR.Outcomes in robotic cardiac surgery，Journal of Robotic Surgery，2007；1：19-23
4.Chitwood Jr，WR.Current status of endoscopic and robotic mitral valve surgery.The Annals of thoracic surgery 2005；79(6)：S2248～S2253
5.Ro CY，Toumpoulis IK，Jr RCA，Imielinska C，Jebara T，Shin SH，et al.A noveldrill set for the enhancement and assessment of robotic surgical performance.Studies in Health Technology and Informatics，Proc.Medicine Meeting VirtualReality(MMVR).2005；111：418-421
6.Judkins TN，Oleynikov D，Stergiou N.Objective evaluation of expert andnovice performance during robotic surgical training tasks.Surgical Endoscopy2009；23(3)：590--597
7.Sarle R，Tewari A，Shrivastava A，Peabody J and Menon M.Surgical roboticsand laparoscopic training drills.Journal of Endourology.2004；18(1)：63-67
8.Narazaki K，Oleynikov D，and Stergiou N.Objective assessment of proficiencywith bimanual inanimate tasks in robotic laparoscopy.Journal ofLaparoendoscopic&Advanced Surgical Techniques.2007；17(1)：47-52
9.Datta V，Mackay S，Mandalia M，and Darzi A.The use of electromagneticmotion tracking analysis to objectively measure open surgical skill in thelaboratory-based model.Journal of the American College of Surgeons.2001；193(5)：479-485
10.DiMaio S，and Hasser C.The da Vinci Research Interface，Systems andArchitectures for Computer Assisted Interventions workshop(MICCAI 2008)，http://www.midasjournal.org/biOwse/publication/622，2008.
11.Mohr C，and Curet M，The Intuitive Surgical System Skill Practicum.IntuitiveSurgical，Inc，2008
12.Martin JA，Regehr G，Reznick R，MacRae H，Murnaghan J，Hutchison C，et al.Objective structured assessment of technical skill(OSATS)for surgical residents.British Journal of Surgery.1997；84(2)：273-278
13.Faulkner H，Regehr G，Martin J，Reznick R.Validation of an objectivestructured assessment of technical skill for surgical residents.Academic Medicine.1996；71(12)：1363
14.Darzi A，Smith S，and Taffinder N.Assessing operative skill.British MedicalJournal.1999；318(7188)：887
15.Hernandez JD，Bann SD，Munz Y，Moorthy，Datta V，Martin S，et al.Qualitative and quantitative analysis of the learning curve of a simulated surgicaltask on the da Vinci system.Surgical Endoscopy.2004；18：372-378
16.Lin HC，Shafran I，Yuh D，Hager GD.Towards automatic skill evaluation：Detection and segmentation of robot-assisted surgical motions.Computer AidedSurgery.2006；11(5)：220-230
17.Verner L，Oleynikov D，Hotmann S，Zhukov L.Measurements of level ofsurgical expertise using flight path analysis from Da Vinci robotic surgical system.Studies in Health Technology and Informatics 2003；94：373-378
18.Gallagher AG，Ritter EM，Satava RM，Fundamental principles of validation，and reliability：rigorous science for the assessment of surgical education andtraining，Surgical Endoscopy.2003；17：1 525-1529
19.Reiley CE，Hager GD.Task versus Subtask Surgical Skill Evaluation ofRobotic Minimally Invasive Surgery，Proc.Medical Image Computing andComputer-Assisted Intervention(MICCAI).2009；435-442
20.Gallagher AG，Richie K，McCIure N，and McGuigan J.Objectivepsychomotor skills assessment of experienced，junior，and novice laparoscopistswith virtual reality.World Journal of Surgery，2001；25(11)：1478-1483
21.Aggarwal R，Moorthy K，Darzi a.Laparoscopic skills training and assessment.The British Journal ofSurgery.2004；91(12)：1549-58
22.Judkins TN，Oleynikov D，Stergiou N.Real-time augmented feedback benefitsrobotic laparoscopic training.Studies in Health technology and Informatics.2006；119：243-8
23.Narazaki，Oleynikov D，Stergiou N.Identifying objective variables forquantifying the extent of proficiency.Urology.2006：96-103.
24.Ro CY，Toumpoulis IK，Ashton RC，et al.A novel drill set for theenhancement and assessment of robotic surgical performance.Studies in HealthTechnology and Informatics.2005；11 1：41 8-21.
25.Vassiliou MC，Feldman LS，Andrew CG，et al.A global assessment tool forevaluation of intraoperative laparoscopic skills.American journal of surgery.2005；190(1)：107-13
26.Rosen J，Brown JD，Barreca M，et al.The Blue DRAGON-a system formonitoring the kinematics and the dynamics of endoscopic tools in minimallyinvasive surgery for objective laparoscopic skill assessment.Studies in HealthTechnology and Informatics.
27.Sarle R，Tewari A，Shrivastava A，Peabody J，Menon M.Surgical robotics andlaparoscopic training drills.Journal of Endourology/Endourological Society.2004；I 8(1)：63-6；discussion 66-7
在本说明书中示出并讨论的实施例仅仅意图教导本领域的技术人员如何完成和使用本发明且并不意图限定本发明的范围。在描述本发明的实施例时，为了明了起见而采用特定术语。然而，本发明并不意图局限于这样选择的特定术语。如本领域的技术人员根据以上讲授内容认识到的那样，在不脱离本发明的情况下，可以修改或改变本发明的上述实施例。因此应理解的是在权利要求及其等价物范围内，可以除如具体描述的那样之外地实施本发明。

Claims (32)

1.一种用以帮助用以执行微创手术的技能的评估或改进中的至少一个的系统，包括：
微创手术系统；
视频系统，其被布置成记录用户与所述微创手术系统的交互或用所述微创手术系统执行的任务中的至少一个；以及
与所述微创手术系统通信并与所述视频系统通信的数据存储和处理系统，
其中所述微创手术系统与来自所述视频系统的时间登记视频信号相结合地提供所述微创手术系统的至少部件的运动数据、人类工程学调整数据、电接口交互数据或机械接口交互数据中的至少一个，并且
其中所述数据存储和处理系统处理所述运动数据、人类工程学调整数据、电接口交互数据或机械接口交互数据中的至少一个以与所述时间登记视频信号相结合地提供表现度量以使其可用于专家进行评估。
2.权利要求1的系统，其中所述微创手术系包括手术工具。
3.权利要求1的系统，其中所述微创手术系包括机器人手术系统。
4.权利要求3的系统，其中所述微创手术系是远程操纵机器人手术系统。
5.权利要求4的系统，其中所述远程操纵机器人手术系统包括主操纵柄并且所述运动数据包括远程操纵手术系统的主操作柄的运动数据。
6.权利要求5的系统，其中所述远程操纵机器人手术系统包括控制台，所述控制台包括所述主操纵柄并且所述运动数据包括所述控制台的人类工程学、工作空间和可视化方面的至少一个的配置。
7.权利要求1-6中的任意一个的系统，其中所述微创手术系统是腹腔镜手术系统。
8.权利要求1的系统，进一步包括与所述数据存储和处理系统通信以与所述时间登记视频信号相结合地显示所述表现度量以使其可用于所述专家进行评估的显示系统。
9.权利要求8的系统，进一步包括与所述数据存储和处理系统通信以从所述专家接收与所述表现度量和所述时间登记视频相一致的专家评估的输入设备。
10.权利要求9的系统，进一步包括与所述数据存储和处理系统通信以与所述时间登记视频相结合地显示所述专家评估的第二显示系统。
11.权利要求9的系统，其中所述数据存储和处理系统被进一步配置成分析任务表现并提供自动化评估和专家评估以及任务视频。
12.权利要求9的系统，其中所述显示系统通过因特网与所述数据存储和处理系统远程地通信。
13.权利要求12的系统，其中所述输入设备通过因特网与所述数据存储和处理系统远程地通信。
14.权利要求11的系统，其中所述自动化评估包括基于可配置任务度量的任务表现的学习曲线。
15.权利要求11的系统，其中所述数据存储和处理系统被进一步配置成允许隐藏所述自动化评估的特定方面不进行评论以防止由受训者引入对所述自动化评估的数值方面的偏见或关注。
16.权利要求13的系统，其中所述自动化评估包括用于下一次训练课的任务特定反馈。
17.权利要求16的系统，其中所述自动化评估包括用于辅导教师和受训者两者的特定客观反馈，用于所述辅导教师的反馈不同于对所述受训者的反馈。
18.权利要求17的系统，其中所述客观反馈包括其中将受训者识别为不足的任务步骤。
19.权利要求17的系统，其中对所述辅导教师的客观反馈包括受训者进展的概要、学习曲线、群体范围趋势、受训者与其他受训者的比较、训练系统限制、供给和材料状态以及系统维护问题。
20.权利要求17的系统，其中所述自动化评估被用于改变训练任务复杂性。
21.权利要求17的系统，其中所述自动化评估被用于改变训练频率。
22.权利要求17的系统，其中所述自动化评估被用于选择用于下一次训练课的训练任务。
23.权利要求1的系统，其中所述处理系统被配置成执行用于技能分类的统计分析的方法，包括熟练和不足的识别。
24.权利要求23的系统，其中所述技能分类是二元的。
25.权利要求23的系统，其中所述技能分类是多级和顺序中的至少一个。
26.权利要求23的系统，其中所述技能分类是基于任务统计或技能度量中的至少一个。
27.权利要求23的系统，其中所述技能分类是基于多个分类方法。
28.权利要求23的系统，其中所述人机交互、人类工程学和手术任务技能分类是被单独地执行的。
29.权利要求23的系统，其中计算人机交互、人类工程学和手术任务技能的单独度量。
30.权利要求23的系统，其中将单独的训练任务和难度水平用于人机交互、人类工程学和手术任务技能。
31.一种用于评估和帮助微创手术技能的改进的方法，包括：
在被使用的同时在有形介质中记录微创手术系统的至少部件的运动数据、人类工程学调整数据、电接口交互数据或机械接口交互数据中的至少一个；
在有形介质中与所述记录运动数据、人类工程学调整数据、电接口交互数据或机械接口交互数据中的至少一个相结合地记录所述微创手术系统的至少所述部件的视频以提供时间登记视频信号；以及
在数据处理系统上处理所述运动数据、人类工程学调整数据、电接口交互数据或机械接口交互数据中的至少一个以与所述时间登记视频信号相结合地提供表现度量以使其可用于专家进行评估。
32.一种有形机器可读存储介质，包括存储指令，其在被数据处理系统执行时促使数据处理系统执行操作，该操作包括：
接收微创手术系统的至少部件的运动数据、人类工程学调整数据、电接口交互数据或机械接口交互数据中的至少一个；
与运动数据、人类工程学调整数据、电接口交互数据或机械接口交互数据中的至少一个相结合地接收所述微创手术系统的至少所述部件的非瞬变时间登记视频信号；以及
在所述数据处理系统上处理所述运动数据、人类工程学调整数据、电接口交互数据或机械接口交互数据中的至少一个以与所述非瞬变时间登记视频信号相结合地提供表现度量以使其可用于专家进行评估。
CN201180064001.7A 2010-11-04 2011-05-06 用于微创手术技能的评估或改进的系统和方法 Active CN103299355B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US41015010P 2010-11-04 2010-11-04
US61/410,150 2010-11-04
PCT/US2011/035627 WO2012060901A1 (en) 2010-11-04 2011-05-06 System and method for the evaluation of or improvement of minimally invasive surgery skills

Publications (2)

Publication Number Publication Date
CN103299355A true CN103299355A (zh) 2013-09-11
CN103299355B CN103299355B (zh) 2016-09-14

Family

ID=46024758

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180064001.7A Active CN103299355B (zh) 2010-11-04 2011-05-06 用于微创手术技能的评估或改进的系统和方法

Country Status (5)

Country Link
US (1) US20140287393A1 (zh)
EP (1) EP2636034A4 (zh)
KR (1) KR101975808B1 (zh)
CN (1) CN103299355B (zh)
WO (1) WO2012060901A1 (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104658393A (zh) * 2015-02-10 2015-05-27 上海理工大学 腹腔镜模拟手术训练评价系统及方法
CN106028930A (zh) * 2014-02-21 2016-10-12 3D集成公司 包括手术器械的套件
CN106683518A (zh) * 2017-03-20 2017-05-17 合肥德铭电子有限公司 一种腔镜模拟仿真训练系统及其方法
CN106999257A (zh) * 2014-09-23 2017-08-01 外科安全技术公司 手术室黑盒设备、系统、方法和计算机可读介质
CN107615395A (zh) * 2015-03-26 2018-01-19 外科安全技术公司 用于事件和差错预测的手术室黑盒设备、系统、方法和计算机可读介质
CN108348299A (zh) * 2015-09-28 2018-07-31 皇家飞利浦有限公司 远程运动中心机器人的光学配准
CN108430339A (zh) * 2015-10-29 2018-08-21 夏普应用流体力学有限责任公司 用于手术室中数据捕获的系统和方法
CN108762060A (zh) * 2018-05-07 2018-11-06 中国科学院力学研究所 一种远程操作任务制定的优化方法及系统
CN110379239A (zh) * 2018-04-13 2019-10-25 发那科株式会社 操作训练系统
CN112822989A (zh) * 2018-07-18 2021-05-18 西姆拉特无生命模型公司 外科手术培训设备、方法和系统
US11020144B2 (en) 2015-07-21 2021-06-01 3Dintegrated Aps Minimally invasive surgery system
US11039734B2 (en) 2015-10-09 2021-06-22 3Dintegrated Aps Real time correlated depiction system of surgical tool
CN113454696A (zh) * 2019-02-05 2021-09-28 史密夫和内修有限公司 使用机器人手术数据进行训练
CN113547527A (zh) * 2020-04-26 2021-10-26 中移(成都)信息通信科技有限公司 幼教机器人及幼教机器人系统
CN113574611A (zh) * 2018-12-14 2021-10-29 威博外科公司 用于从外科过程的总手术室（or）时间提取实际外科持续时间的方法和系统
US11331120B2 (en) 2015-07-21 2022-05-17 3Dintegrated Aps Cannula assembly kit
TWI765369B (zh) * 2020-10-12 2022-05-21 臺北醫學大學 基於擴增實境的手術決策支援系統及其方法

Families Citing this family (100)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9805625B2 (en) 2010-10-29 2017-10-31 KindHeart, Inc. Surgical simulation assembly
CA2816089A1 (en) 2010-10-29 2012-05-03 Richard H. Feins Modular staged reality simulator
US11871901B2 (en) 2012-05-20 2024-01-16 Cilag Gmbh International Method for situational awareness for surgical network or surgical network connected device capable of adjusting function based on a sensed situation or usage
US20140051049A1 (en) 2012-08-17 2014-02-20 Intuitive Surgical Operations, Inc. Anatomical model and method for surgical training
US20140106326A1 (en) * 2012-10-11 2014-04-17 Dental Equipment, Llc (D/B/A Pelton & Crane) Dental mannequin simulation device and system
US9601030B2 (en) * 2013-03-15 2017-03-21 Mark B. Ratcliffe System and method for performing virtual surgery
US20150044654A1 (en) * 2013-08-09 2015-02-12 University Of Washington Through Its Center For Commercialization Crowd-Sourced Assessment of Technical Skill (C-SATS™/CSATS™)
US20160270861A1 (en) * 2013-10-31 2016-09-22 Health Research, Inc. System and methods for a situation and awareness-based intelligent surgical system
EP3084747B1 (en) * 2013-12-20 2022-12-14 Intuitive Surgical Operations, Inc. Simulator system for medical procedure training
EP3089139A4 (en) * 2013-12-26 2017-06-14 Japan Science And Technology Agency Movement learning support device and movement learning support method
US20150262511A1 (en) * 2014-03-17 2015-09-17 Henry Lin Systems and methods for medical device simulator scoring
USD779678S1 (en) 2014-07-24 2017-02-21 KindHeart, Inc. Surgical tray
EP3213232A1 (en) * 2014-10-30 2017-09-06 Pearson Education, Inc. Content database generation
US11504192B2 (en) 2014-10-30 2022-11-22 Cilag Gmbh International Method of hub communication with surgical instrument systems
US20160314711A1 (en) * 2015-04-27 2016-10-27 KindHeart, Inc. Telerobotic surgery system for remote surgeon training using robotic surgery station and remote surgeon station with display of actual animal tissue images and associated methods
WO2016201123A1 (en) 2015-06-09 2016-12-15 Intuitive Surgical Operations, Inc. Configuring surgical system with surgical procedures atlas
CN104992582B (zh) * 2015-07-13 2017-08-15 中国科学院自动化研究所 一种基于混合现实的医学微创手术训练系统
WO2017048922A1 (en) 2015-09-16 2017-03-23 KindHeart, Inc. Surgical simulation system and associated methods
CN113456241A (zh) * 2015-11-12 2021-10-01 直观外科手术操作公司 具有训练或辅助功能的外科手术系统
EP3414753A4 (en) * 2015-12-07 2019-11-27 M.S.T. Medical Surgery Technologies Ltd. AUTONOMOUS OBJECTIVE-BASED EVALUATION AND TRAINING SYSTEM FOR LAPAROSCOPIC SURGERY
EP3414737A4 (en) * 2015-12-07 2019-11-20 M.S.T. Medical Surgery Technologies Ltd. AUTONOMOUS SYSTEM FOR DETERMINING CRITICAL POINTS IN LAPAROSCOPIC SURGERY
WO2017189317A1 (en) * 2016-04-26 2017-11-02 KindHeart, Inc. Telerobotic surgery system for remote surgeon training using robotic surgery station and remote surgeon station and an animating device
JP6684349B2 (ja) * 2016-06-30 2020-04-22 オリンパス株式会社 医療情報提供システムおよび医療情報提供方法
KR102633401B1 (ko) * 2016-11-11 2024-02-06 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 외과의 숙련도 레벨 기반 기구 제어를 갖는 원격조작 수술 시스템
CA3049148A1 (en) 2017-01-24 2018-08-02 Tietronix Software, Inc. System and method for three-dimensional augmented reality guidance for use of medical equipment
US11017687B2 (en) * 2017-01-31 2021-05-25 Ent. Services Development Corporation Lp Information technology user behavior monitoring rule generation
US10806532B2 (en) 2017-05-24 2020-10-20 KindHeart, Inc. Surgical simulation system using force sensing and optical tracking and robotic surgery system
US10678338B2 (en) 2017-06-09 2020-06-09 At&T Intellectual Property I, L.P. Determining and evaluating data representing an action to be performed by a robot
US11213353B2 (en) 2017-08-22 2022-01-04 Covidien Lp Systems and methods for planning a surgical procedure and evaluating the performance of a surgical procedure
WO2019040705A1 (en) * 2017-08-23 2019-02-28 The General Hospital Corporation SURGICAL DECISION SUPPORT USING A DECISION-MAKING MODEL
US11911045B2 (en) 2017-10-30 2024-02-27 Cllag GmbH International Method for operating a powered articulating multi-clip applier
US11564756B2 (en) 2017-10-30 2023-01-31 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11071560B2 (en) 2017-10-30 2021-07-27 Cilag Gmbh International Surgical clip applier comprising adaptive control in response to a strain gauge circuit
US11510741B2 (en) 2017-10-30 2022-11-29 Cilag Gmbh International Method for producing a surgical instrument comprising a smart electrical system
US11801098B2 (en) 2017-10-30 2023-10-31 Cilag Gmbh International Method of hub communication with surgical instrument systems
EP3677208A4 (en) * 2017-12-05 2020-09-09 Sony Olympus Medical Solutions Inc. MEDICAL INFORMATION PROCESSING DEVICE AND INFORMATION PROCESSING PROCESS
US11744604B2 (en) 2017-12-28 2023-09-05 Cilag Gmbh International Surgical instrument with a hardware-only control circuit
US11559307B2 (en) 2017-12-28 2023-01-24 Cilag Gmbh International Method of robotic hub communication, detection, and control
US11896322B2 (en) 2017-12-28 2024-02-13 Cilag Gmbh International Sensing the patient position and contact utilizing the mono-polar return pad electrode to provide situational awareness to the hub
US11659023B2 (en) 2017-12-28 2023-05-23 Cilag Gmbh International Method of hub communication
US11633237B2 (en) 2017-12-28 2023-04-25 Cilag Gmbh International Usage and technique analysis of surgeon / staff performance against a baseline to optimize device utilization and performance for both current and future procedures
US11857152B2 (en) 2017-12-28 2024-01-02 Cilag Gmbh International Surgical hub spatial awareness to determine devices in operating theater
US11529187B2 (en) 2017-12-28 2022-12-20 Cilag Gmbh International Surgical evacuation sensor arrangements
US11786245B2 (en) 2017-12-28 2023-10-17 Cilag Gmbh International Surgical systems with prioritized data transmission capabilities
US11903601B2 (en) 2017-12-28 2024-02-20 Cilag Gmbh International Surgical instrument comprising a plurality of drive systems
US11696760B2 (en) 2017-12-28 2023-07-11 Cilag Gmbh International Safety systems for smart powered surgical stapling
US11132462B2 (en) 2017-12-28 2021-09-28 Cilag Gmbh International Data stripping method to interrogate patient records and create anonymized record
US11389164B2 (en) 2017-12-28 2022-07-19 Cilag Gmbh International Method of using reinforced flexible circuits with multiple sensors to optimize performance of radio frequency devices
US11423007B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Adjustment of device control programs based on stratified contextual data in addition to the data
US11559308B2 (en) 2017-12-28 2023-01-24 Cilag Gmbh International Method for smart energy device infrastructure
US11432885B2 (en) 2017-12-28 2022-09-06 Cilag Gmbh International Sensing arrangements for robot-assisted surgical platforms
US11969142B2 (en) 2017-12-28 2024-04-30 Cilag Gmbh International Method of compressing tissue within a stapling device and simultaneously displaying the location of the tissue within the jaws
US11612444B2 (en) 2017-12-28 2023-03-28 Cilag Gmbh International Adjustment of a surgical device function based on situational awareness
US11864728B2 (en) 2017-12-28 2024-01-09 Cilag Gmbh International Characterization of tissue irregularities through the use of mono-chromatic light refractivity
US10758310B2 (en) 2017-12-28 2020-09-01 Ethicon Llc Wireless pairing of a surgical device with another device within a sterile surgical field based on the usage and situational awareness of devices
US11786251B2 (en) 2017-12-28 2023-10-17 Cilag Gmbh International Method for adaptive control schemes for surgical network control and interaction
US11013563B2 (en) 2017-12-28 2021-05-25 Ethicon Llc Drive arrangements for robot-assisted surgical platforms
US11896443B2 (en) 2017-12-28 2024-02-13 Cilag Gmbh International Control of a surgical system through a surgical barrier
US11589888B2 (en) 2017-12-28 2023-02-28 Cilag Gmbh International Method for controlling smart energy devices
US11166772B2 (en) 2017-12-28 2021-11-09 Cilag Gmbh International Surgical hub coordination of control and communication of operating room devices
US11576677B2 (en) 2017-12-28 2023-02-14 Cilag Gmbh International Method of hub communication, processing, display, and cloud analytics
US11666331B2 (en) 2017-12-28 2023-06-06 Cilag Gmbh International Systems for detecting proximity of surgical end effector to cancerous tissue
US11832840B2 (en) 2017-12-28 2023-12-05 Cilag Gmbh International Surgical instrument having a flexible circuit
US11937769B2 (en) 2017-12-28 2024-03-26 Cilag Gmbh International Method of hub communication, processing, storage and display
US11818052B2 (en) 2017-12-28 2023-11-14 Cilag Gmbh International Surgical network determination of prioritization of communication, interaction, or processing based on system or device needs
US11571234B2 (en) 2017-12-28 2023-02-07 Cilag Gmbh International Temperature control of ultrasonic end effector and control system therefor
US20190201039A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Situational awareness of electrosurgical systems
US11540855B2 (en) 2017-12-28 2023-01-03 Cilag Gmbh International Controlling activation of an ultrasonic surgical instrument according to the presence of tissue
US11602393B2 (en) 2017-12-28 2023-03-14 Cilag Gmbh International Surgical evacuation sensing and generator control
US11969216B2 (en) 2017-12-28 2024-04-30 Cilag Gmbh International Surgical network recommendations from real time analysis of procedure variables against a baseline highlighting differences from the optimal solution
US11424027B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Method for operating surgical instrument systems
US11464559B2 (en) 2017-12-28 2022-10-11 Cilag Gmbh International Estimating state of ultrasonic end effector and control system therefor
US11419667B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Ultrasonic energy device which varies pressure applied by clamp arm to provide threshold control pressure at a cut progression location
US11612408B2 (en) 2017-12-28 2023-03-28 Cilag Gmbh International Determining tissue composition via an ultrasonic system
US11202570B2 (en) 2017-12-28 2021-12-21 Cilag Gmbh International Communication hub and storage device for storing parameters and status of a surgical device to be shared with cloud based analytics systems
US10892995B2 (en) 2017-12-28 2021-01-12 Ethicon Llc Surgical network determination of prioritization of communication, interaction, or processing based on system or device needs
US11026751B2 (en) 2017-12-28 2021-06-08 Cilag Gmbh International Display of alignment of staple cartridge to prior linear staple line
US11832899B2 (en) * 2017-12-28 2023-12-05 Cilag Gmbh International Surgical systems with autonomously adjustable control programs
US11109866B2 (en) 2017-12-28 2021-09-07 Cilag Gmbh International Method for circular stapler control algorithm adjustment based on situational awareness
US11678881B2 (en) 2017-12-28 2023-06-20 Cilag Gmbh International Spatial awareness of surgical hubs in operating rooms
US11707293B2 (en) 2018-03-08 2023-07-25 Cilag Gmbh International Ultrasonic sealing algorithm with temperature control
US11259830B2 (en) 2018-03-08 2022-03-01 Cilag Gmbh International Methods for controlling temperature in ultrasonic device
US11589915B2 (en) 2018-03-08 2023-02-28 Cilag Gmbh International In-the-jaw classifier based on a model
US11259806B2 (en) 2018-03-28 2022-03-01 Cilag Gmbh International Surgical stapling devices with features for blocking advancement of a camming assembly of an incompatible cartridge installed therein
US11090047B2 (en) 2018-03-28 2021-08-17 Cilag Gmbh International Surgical instrument comprising an adaptive control system
US20190336226A1 (en) * 2018-05-03 2019-11-07 The Board Of Regents Of The University Of Oklahoma Training system for robot-assisted laparoscopic surgery
US20210335149A1 (en) * 2018-09-04 2021-10-28 Alexander Mottrie Simulator Based Training Processes for Robotic Surgeries
WO2020091385A1 (ko) * 2018-10-29 2020-05-07 주식회사 매니아마인드 미세수술 및 인젝션을 포함한 메디컬 트레이닝 가상현실 장치
CN113272910A (zh) * 2018-11-15 2021-08-17 直观外科手术操作公司 使用索引到运动图片来训练用户
CN113366583A (zh) * 2019-01-31 2021-09-07 直观外科手术操作公司 用于计算机辅助手术系统的摄像机控制系统和方法
US11751872B2 (en) 2019-02-19 2023-09-12 Cilag Gmbh International Insertable deactivator element for surgical stapler lockouts
US11291444B2 (en) 2019-02-19 2022-04-05 Cilag Gmbh International Surgical stapling assembly with cartridge based retainer configured to unlock a closure lockout
CN111861049A (zh) * 2019-04-25 2020-10-30 天津御锦人工智能医疗科技有限公司 基于图像识别的肠镜检查质量标准及打分系统
CN110411506B (zh) * 2019-07-08 2021-09-14 中国航天员科研训练中心 面向遥操作的精细操作能力测试系统
GB2585691B (en) * 2019-07-11 2024-03-20 Cmr Surgical Ltd Anonymising robotic data
CN112163974A (zh) * 2020-08-24 2021-01-01 南京巨鲨显示科技有限公司 一种手术采集学习分享方法及其系统
US20220233241A1 (en) * 2021-01-22 2022-07-28 Ethicon Llc Surgical procedure monitoring
CN113053194B (zh) * 2021-02-28 2023-02-28 华中科技大学同济医学院附属协和医院 一种基于人工智能和vr技术的医师培训系统及方法
US20240087699A1 (en) * 2021-04-27 2024-03-14 Intuitive Surgical Operations, Inc. Graphical user interface for surgical performance assessment
US20230298336A1 (en) * 2022-03-21 2023-09-21 Verb Surgical Inc. Video-based surgical skill assessment using tool tracking

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020188293A1 (en) * 2001-04-19 2002-12-12 Intuitive Surgical, Inc. Robotic tool with monopolar electro-surgical scissors
KR20030083695A (ko) * 2001-01-24 2003-10-30 괴테보르크 유니버시티 서지컬 사이언스 아베 외과적 치료의 시뮬레이션 방법 및 시스템
CN101291635A (zh) * 2005-10-20 2008-10-22 直观外科手术公司 医用机器人系统中的计算机显示屏上的辅助图像显示和操纵
WO2010105237A2 (en) * 2009-03-12 2010-09-16 Health Research Inc. Method and system for minimally-invasive surgery training
WO2010108128A2 (en) * 2009-03-20 2010-09-23 The Johns Hopkins University Method and system for quantifying technical skill

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2719690B1 (fr) * 1994-05-04 1996-07-19 Lille Ii Universite Dispositif et procédé de simulation d'un examen ou d'une opération chirurgicale effectuée sur un organe simulé.
IL123073A0 (en) * 1998-01-26 1998-09-24 Simbionix Ltd Endoscopic tutorial system
US8600551B2 (en) * 1998-11-20 2013-12-03 Intuitive Surgical Operations, Inc. Medical robotic system with operatively couplable simulator unit for surgeon training
WO2005088583A1 (en) * 2004-03-08 2005-09-22 The Johns Hopkins University Device and method for medical training and evaluation
US20100248200A1 (en) * 2008-09-26 2010-09-30 Ladak Hanif M System, Method and Computer Program for Virtual Reality Simulation for Medical Procedure Skills Training

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030083695A (ko) * 2001-01-24 2003-10-30 괴테보르크 유니버시티 서지컬 사이언스 아베 외과적 치료의 시뮬레이션 방법 및 시스템
US20020188293A1 (en) * 2001-04-19 2002-12-12 Intuitive Surgical, Inc. Robotic tool with monopolar electro-surgical scissors
CN101291635A (zh) * 2005-10-20 2008-10-22 直观外科手术公司 医用机器人系统中的计算机显示屏上的辅助图像显示和操纵
WO2010105237A2 (en) * 2009-03-12 2010-09-16 Health Research Inc. Method and system for minimally-invasive surgery training
WO2010108128A2 (en) * 2009-03-20 2010-09-23 The Johns Hopkins University Method and system for quantifying technical skill

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106028930A (zh) * 2014-02-21 2016-10-12 3D集成公司 包括手术器械的套件
US11033182B2 (en) 2014-02-21 2021-06-15 3Dintegrated Aps Set comprising a surgical instrument
CN106999257A (zh) * 2014-09-23 2017-08-01 外科安全技术公司 手术室黑盒设备、系统、方法和计算机可读介质
CN104658393A (zh) * 2015-02-10 2015-05-27 上海理工大学 腹腔镜模拟手术训练评价系统及方法
CN107615395B (zh) * 2015-03-26 2021-02-05 外科安全技术公司 用于事件和差错预测的手术室黑盒设备、系统、方法和计算机可读介质
CN107615395A (zh) * 2015-03-26 2018-01-19 外科安全技术公司 用于事件和差错预测的手术室黑盒设备、系统、方法和计算机可读介质
US11331120B2 (en) 2015-07-21 2022-05-17 3Dintegrated Aps Cannula assembly kit
US11020144B2 (en) 2015-07-21 2021-06-01 3Dintegrated Aps Minimally invasive surgery system
CN108348299A (zh) * 2015-09-28 2018-07-31 皇家飞利浦有限公司 远程运动中心机器人的光学配准
CN108348299B (zh) * 2015-09-28 2021-11-02 皇家飞利浦有限公司 远程运动中心机器人的光学配准
US11039734B2 (en) 2015-10-09 2021-06-22 3Dintegrated Aps Real time correlated depiction system of surgical tool
CN108430339A (zh) * 2015-10-29 2018-08-21 夏普应用流体力学有限责任公司 用于手术室中数据捕获的系统和方法
CN106683518A (zh) * 2017-03-20 2017-05-17 合肥德铭电子有限公司 一种腔镜模拟仿真训练系统及其方法
CN110379239A (zh) * 2018-04-13 2019-10-25 发那科株式会社 操作训练系统
CN110379239B (zh) * 2018-04-13 2022-06-24 发那科株式会社 操作训练系统
CN108762060A (zh) * 2018-05-07 2018-11-06 中国科学院力学研究所 一种远程操作任务制定的优化方法及系统
CN108762060B (zh) * 2018-05-07 2021-02-02 中国科学院力学研究所 一种远程操作任务制定的优化方法及系统
CN112822989A (zh) * 2018-07-18 2021-05-18 西姆拉特无生命模型公司 外科手术培训设备、方法和系统
CN113574611A (zh) * 2018-12-14 2021-10-29 威博外科公司 用于从外科过程的总手术室（or）时间提取实际外科持续时间的方法和系统
CN113454696A (zh) * 2019-02-05 2021-09-28 史密夫和内修有限公司 使用机器人手术数据进行训练
CN113547527A (zh) * 2020-04-26 2021-10-26 中移(成都)信息通信科技有限公司 幼教机器人及幼教机器人系统
CN113547527B (zh) * 2020-04-26 2022-12-02 中移(成都)信息通信科技有限公司 幼教机器人及幼教机器人系统
TWI765369B (zh) * 2020-10-12 2022-05-21 臺北醫學大學 基於擴增實境的手術決策支援系統及其方法

Also Published As

Publication number Publication date
CN103299355B (zh) 2016-09-14
US20140287393A1 (en) 2014-09-25
KR101975808B1 (ko) 2019-08-28
WO2012060901A1 (en) 2012-05-10
KR20150004726A (ko) 2015-01-13
EP2636034A1 (en) 2013-09-11
EP2636034A4 (en) 2015-07-22

Similar Documents

Publication Publication Date Title
CN103299355B (zh) 用于微创手术技能的评估或改进的系统和方法
US11751957B2 (en) Surgical system with training or assist functions
Kassahun et al. Surgical robotics beyond enhanced dexterity instrumentation: a survey of machine learning techniques and their role in intelligent and autonomous surgical actions
Kumar et al. Objective measures for longitudinal assessment of robotic surgery training
Reiley et al. Review of methods for objective surgical skill evaluation
JP6169562B2 (ja) サンプルタスク軌跡を分析する、コンピュータで実現される方法、および、サンプルタスク軌跡を分析するシステム
Gao et al. Jhu-isi gesture and skill assessment working set (jigsaws): A surgical activity dataset for human motion modeling
US9691290B2 (en) Systems for quantifying clinical skill
Oropesa et al. Methods and tools for objective assessment of psychomotor skills in laparoscopic surgery
Nageotte et al. Stitching planning in laparoscopic surgery: Towards robot-assisted suturing
Jog et al. Towards integrating task information in skills assessment for dexterous tasks in surgery and simulation
Long et al. Integrating artificial intelligence and augmented reality in robotic surgery: An initial dvrk study using a surgical education scenario
Menegozzo et al. Surgical gesture recognition with time delay neural network based on kinematic data
Cavallo et al. Biomechanics–machine learning system for surgical gesture analysis and development of technologies for minimal access surgery
Oropesa et al. Virtual reality simulators for objective evaluation on laparoscopic surgery: current trends and benefits
Lazar et al. Automatic assessment of performance in the FLS trainer using computer vision
Gao et al. Towards validation of robotic surgery training assessment across training platforms
US20220354585A1 (en) Robotic surgery
Selvaggio et al. Physics-based task classification of da vinci robot surgical procedures
Narayanan Quantitative evaluation of user performance in minimally invasive surgical procedures
Rosen et al. Objective Assessment of Surgical Skills
Jayender et al. Validation of New Procedures and Training Processes Through Physical Task Analysis
Lu Suture thread detection and 3D model reconstruction for automated surgical knot tying with a vision-based robotic system
Anderson Objective surgical skill evaluation
Topalli et al. Classifying Intermediate and Novice Surgeons in a Computer-Simulated Endoscopic Surgery Training Environment Using Velocity-Based Hand Measures

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant