CN108701429B - 训练机器人手术系统的用户的方法、系统、以及存储媒体 - Google Patents

训练机器人手术系统的用户的方法、系统、以及存储媒体 Download PDF

Info

Publication number
CN108701429B
CN108701429B CN201780014106.9A CN201780014106A CN108701429B CN 108701429 B CN108701429 B CN 108701429B CN 201780014106 A CN201780014106 A CN 201780014106A CN 108701429 B CN108701429 B CN 108701429B
Authority
CN
China
Prior art keywords
user
surgical robot
model
command
displaying
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201780014106.9A
Other languages
English (en)
Other versions
CN108701429A (zh
Inventor
德怀特·梅格兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Covidien LP
Original Assignee
Covidien LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Covidien LP filed Critical Covidien LP
Publication of CN108701429A publication Critical patent/CN108701429A/zh
Application granted granted Critical
Publication of CN108701429B publication Critical patent/CN108701429B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00216—Electrical control of surgical instruments with eye tracking or head position tracking control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Educational Technology (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Robotics (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Veterinary Medicine (AREA)
  • Medicinal Chemistry (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

公开用于使用虚拟或增强现实界面训练包括手术机器人的机器人手术系统的用户的系统、装置和方法，实例方法包含定位所述手术机器人相对于所述界面的三维(3D)模型，使用所述虚拟或增强现实界面显示或使用所述手术机器人的所述3D模型的对准视图，在所述用户的头部移动时连续取样所述用户的所述头部的位置和定向，以及基于所述取样的所述用户的所述头部的位置和定向而更新所述手术机器人的所述3D模型的姿势。

Description

训练机器人手术系统的用户的方法、系统、以及存储媒体
相关申请的交叉引用
本申请要求2016年3月4日提交的美国临时专利申请第62/303,460号和2016年5月9日提交的美国临时专利申请第62/333,309号的权益，所述美国临时专利申请中的每一个的全部内容以引用的方式并入本文中。
背景技术
机器人手术系统越来越变为微创手术程序的组成部分。一般来说，机器人手术系统包括远离一个或多个机器人臂定位的外科医生控制台，手术器械和/或相机耦合到所述一个或多个机器人臂。用户将输入提供到外科医生控制台，所述输入传送到中央控制器，所述中央控制器将输入翻译成用于在手术程序期间远程操纵机器人臂、手术器械和/或相机的命令。
因为机器人手术系统为非常复杂的装置，所以系统可对技术的新用户呈现陡的学习曲线。虽然传统的教室和演示类型指令可用于训练新用户，但是此方法可能效率不理想，因为需要有经验的用户可用以持续重复演示。
发明内容
本公开通过提供用于使用虚拟和/或增强现实系统的方法和提供与手术机器人交互训练的装置解决前述问题。
根据本公开的实施例提供使用虚拟现实界面训练包括手术机器人的手术机器人系统的用户的方法。在本公开的一个方面，方法包括产生手术机器人的三维(3D)模型，使用虚拟现实界面显示手术机器人的3D模型的视图，在用户头部移动时连续取样用户头部的位置和定向，和基于取样的用户头部的位置和定向，更新显示的手术机器人的3D模型的视图。
在本公开的另一方面，方法进一步包括跟踪用户附件的移动，基于跟踪的用户附件的移动确定与手术机器人的3D模型的交互，和基于交互，更新显示的手术机器人的3D模型的视图。
在本公开的另一个方面，方法进一步包括使用虚拟现实界面基于课程计划显示命令。
在本公开的另一方面，方法进一步包括确定交互是否对应于命令，和当确定交互对应于命令时，基于课程计划显示更新的命令。
在本公开的另一个方面，显示命令包括显示指示用户执行移动以与手术机器人的3D模型交互的命令。
在本公开的又一方面，课程计划包括指示用户执行设置手术机器人的动作的命令。
在本公开的另一方面，方法进一步包括基于用于基于通过命令指示的交互评定用户表现的熟练程度的客观指标，显示评分。
在本公开的另一个方面，显示包括使用头戴式虚拟现实显示器，显示3D模型的视图。
在本公开的又一方面，显示包括使用投影仪系统，投影3D模型的视图。
根据本公开的实施例提供用于训练包括手术机器人的手术机器人系统的用户的系统。在本公开的一方面，系统包括手术机器人、虚拟现实界面和与虚拟现实界面通信的计算机。计算机被配置成产生手术机器人的三维(3D)模型，使用虚拟现实界面显示手术机器人的3D模型的视图，在用户头部移动时连续取样用户头部的位置和定向，和基于取样的用户头部的位置和定向，更新显示的手术机器人的3D模型的视图。
在本公开的另一个方面，计算机被进一步配置成跟踪用户附件的移动，基于跟踪的用户附件的移动确定与手术机器人的3D模型的交互，和基于交互，更新显示的手术机器人的3D模型的视图。
在本公开的另一方面，系统进一步包括被配置成跟踪用户附件的移动的一个或多个传感器。
在本公开的另一个方面，系统进一步包括被配置成跟踪用户附件的移动的一个或多个相机。
在本公开的又一方面，计算机被进一步配置成使用虚拟现实界面，基于课程计划显示命令。
在本公开的另一方面，计算机被进一步配置成确定交互是否对应于命令，和当确定交互对应于命令时，基于课程计划显示更新的命令。
在本公开的又一方面，命令指示用户执行移动以与手术机器人的3D模型交互。
在本公开的另一个方面，课程计划包括指示用户执行设置手术机器人的动作的命令。
在本公开的另一方面，计算机被进一步配置成基于用于基于通过命令指示的交互评定用户表现的熟练程度的客观指标，显示评分。
在本公开的另一个方面，包括使用头戴式虚拟界面，显示3D模型的视图。
在本公开的又一方面，显示包括使用投影仪系统，投影3D模型的视图。
根据本公开的实施例提供存储用于训练包括手术机器人的手术机器人系统的用户的计算机程序的非暂时性计算机可读存储媒体。在本公开的一个方面，计算机程序包括指令，所述指令在由处理器执行时引起计算机产生手术机器人的三维(3D)模型，使用虚拟现实界面显示手术机器人的3D模型的视图，在用户的头部移动时连续取样用户头部的位置和定向，和基于取样的用户的头部的位置和定向，更新显示的手术机器人的3D模型的视图。
在本公开的另一方面，指令进一步引起计算机跟踪用户附件的移动，基于跟踪的用户附件的移动确定与手术机器人的3D模型的交互，和基于交互，更新显示的手术机器人的3D模型的视图。
在本公开的另一个方面，指令进一步引起计算机使用虚拟现实界面，基于课程计划显示命令。
在本公开的另一方面，指令进一步引起计算机确定交互是否对应于命令，和当确定交互对应于命令时，基于课程计划显示更新的命令。
在本公开的另一个方面，命令指示用户执行移动以与手术机器人的3D模型交互。
在本公开的又一方面，课程计划包括指示用户执行设置手术机器人的动作的命令。
在本公开的另一方面，指令进一步引起计算机基于用于基于通过命令指示的交互评定用户表现的熟练程度的客观指标，显示评分。
在本公开的另一个方面，显示包括使用头戴式虚拟界面，显示3D模型的视图。
在本公开的另一方面，显示包括使用投影仪系统，投影3D模型的视图。
在本公开的另一个方面提供使用包括增强现实界面装置的增强现实界面训练包括手术机器人的机器人手术系统的用户的方法。方法包括检测在包括物理模型的图像中的标识符，将标识符与表示手术机器人的物理模型的三维表面几何形状图匹配，显示物理模型的增强现实视图，连续取样用户头部相对于物理模型的定位的位置和定向，和基于取样的用户的头部的位置和定向，更新显示的物理模型的增强现实视图。
在本公开的另一个方面，方法进一步包含跟踪用户附件的移动，基于跟踪的用户附件的移动确定与表示手术机器人的物理模型的交互，和基于交互，更新显示的物理模型的增强现实视图。
在本公开的另一方面，方法进一步包含使用虚拟现实界面，基于课程计划显示命令。
在本公开的另一个方面，方法进一步包含确定交互是否对应于命令，和响应于确定交互对应于命令，基于课程计划显示更新的命令。
在本公开的另一方面，显示命令包括显示指示用户执行移动以与表示手术机器人的物理模型交互的命令。
在本公开的又一方面，课程计划包括指示用户执行设置手术机器人的动作的命令。
在本公开的另一方面，显示包括使用头戴式增强现实显示器，显示物理模型的增强现实视图。
在本公开的另一个方面，物理模型为手术机器人。
在本公开的另一个方面提供使用包括增强现实界面装置的增强现实界面训练包括手术机器人的机器人手术系统的用户的方法。方法包括检测在包括手术机器人的图像中的标识符，将标识符与手术机器人的三维表面几何形状图匹配，显示手术机器人的图像的增强现实视图，连续取样增强现实界面装置相对于手术机器人的定位的位置和定向，和基于取样的增强现实界面装置的位置和定向，更新显示的手术机器人的增强现实视图。
在本公开的另一个方面，方法进一步包括跟踪用户附件的移动，基于跟踪的用户附件的移动确定与手术机器人的交互，和基于交互，更新显示的手术机器人的增强现实视图。
在本公开的另一方面，方法进一步包括使用虚拟现实界面，基于课程计划显示命令。
在本公开的另一个方面，方法进一步包括确定交互是否对应于命令，和响应于确定交互对应于命令，基于课程计划显示更新的命令。
在本公开的另一方面，显示命令包括显示指示用户执行移动以与手术机器人交互的命令。
在本公开的又一方面，课程计划包括指示用户执行设置手术机器人的动作的命令。
在本公开的另一方面，显示包括使用平板计算机、智能电话或投影屏，显示手术机器人的图像的增强现实视图。
在不脱离本公开的范围的情况下，可组合本公开的上述方面和实施例中的任一个。
附图说明
下文中参考附图描述本公开的各种方面和特征，其中：
图1为根据本公开的实施例的包括交互训练用户界面的示例性机器人手术系统的简化图；
图2为根据本公开的实施例的实施到图1的机器人手术系统中的控制器的框图；
图3为根据本公开的实施例的训练机器人手术系统的用户的方法的流程图；
图4为根据本公开的另一个实施例的训练机器人手术系统的用户的方法的流程图；和
图5为根据本公开的再一个实施例的训练机器人手术系统的用户的流程图。
具体实施方式
本公开涉及用于使用虚拟和/或增强现实提供训练机器人手术系统的操作的装置、系统和方法。为了辅助技师、临床医生或临床医生的团队(共同称为“临床医生”)，在训练配置、设置和操作机器人手术系统时，指令的各种方法和/或使用虚拟和/或增强现实装置可并入到训练中以为临床医生提供与机器人手术系统的物理交互训练。
下文描述这类装置、并入这类装置的系统和其使用方法的详细实施例。然而，这些详细实施例仅仅是本发明的实例，其可以各种形式实施。因此，本文所公开的特定结构和功能细节不应被解释为限制性的，而是仅仅应被解释为权利要求书的基础，和用于允许所属领域的技术人员在几乎任何适当详述的结构中不同地使用本公开的代表性基础。
参考附图，图1示出根据本公开的实施例提供的可用于虚拟和/或增强现实训练的机器人手术系统100。机器人手术系统100一般包括手术机器人25、多个相机30、控制台80、一个或多个交互训练(IT)界面90、计算装置95和控制器60。手术机器人25具有一个或多个机器人臂20，所述机器人臂20可呈连杆形式，具有互换紧固到每个机器人臂20的远侧端部22的对应的手术工具27。一个或多个机器人臂20还可具有紧固到其上的相机30，并且每个臂20可在患者10周围围绕手术部位15放置。机器人臂20还可具有耦合到其上的一个或多个位置检测传感器(未示出)，其能够检测机器人臂20、手术工具27和/或相机30的位置、方向、定向、角度和/或移动速度。在一些实施例中，位置检测传感器可直接耦合到手术工具27或相机30。手术机器人25进一步包括机器人底座18，其包括用于机械地驱动每个机器人臂20和操作每个手术工具27的马达。
控制台80为用户界面，通过其负责训练新手用户的用户(如有经验外科医生或临床医生)可操作手术机器人25。控制台80连同控制器60操作以控制手术机器人25的操作。在一个实施例中，控制台80通过控制器60与机器人底座18通信并且包括被配置成显示图像的显示装置44。在一个实施例中，显示装置44显示手术部位15的图像，其可包括通过附接到机器人臂20的相机30所捕获的图像和/或通过绕手术场放置的相机30(例如放置在手术部位15内的相机30、邻近患者10放置的相机30，和/或安装到其中使用机器人手术系统100的手术室的墙壁的相机30)所捕获的数据。在一些实施例中，相机30捕获手术部位15的视觉图像、红外图像、超声图像、X射线图像、热图像和/或任何其它已知实时图像。在实施例中，相机30将捕获的图像传输到控制器60，其可根据图像实时创建手术部位15的三维图像并且将三维图像传输到显示装置44用于显示。在另一个实施例中，显示的图像为通过相机30所捕获的二维图像。
控制台80还包括附接到平衡环70的一个或多个输入手柄，其使有经验用户操控机器人手术系统100(例如移动机器人臂20、机器人臂20的远侧端部22和/或手术工具27)。每个平衡环70与控制器60通信以将控制信号传输到其并且从其接收反馈信号。另外或替代地，每个平衡环70可包括控制接口或输入装置(未示出)，其使外科医生操控(例如夹持、握紧、起动、打开、闭合、旋转、推进、切片等)支撑在机器人臂20的远侧端部22的手术工具27。
每个平衡环70为可移动的以移动机器人臂20的远侧端部22和/或操控在手术部位15内的手术工具27。在平衡环70移动时，手术工具27在手术部位15内移动。手术工具27的移动还可包括支撑手术工具27的机器人臂20的远侧端部22的移动。除了手柄之外或代替手柄，手柄可包括离合器开关和/或包括触控板、操纵杆、键盘、鼠标或其它计算机附件的一个或多个输入装置，和/或被配置成将来自临床医生的物理移动转换成发送到控制器60的信号的脚踏开关、控制杆、导航球或其它可致动装置。控制器60进一步包括用于操作手术机器人和当在从相机30接收的视频图像之间切换时合成空间感知转变的软件和/或硬件，如下文更详细地描述。
IT界面90被配置成为新手用户提供增强的学习经历。在此方面，IT界面90可被实施为若干虚拟现实(VR)或增强现实(AR)配置中的一种。在使用虚拟现实(VR)的实施例中，IT界面90可为包括显示通过其中新手用户的眼睛可观察的图像的能力的头盔(未示出)，如通过Oculus Rift实施。在这类实施例中，虚拟手术机器人以数字方式创建并且经由IT界面90向用户显示。因此，物理手术机器人25对于训练使用虚拟现实不是必需的。
在另一个VR实施例中，IT界面90仅包括显示装置，使得虚拟手术机器人和/或机器人手术系统在投影屏90c或三维显示器上显示并且用训练信息增强。这类实施可与相机或头戴式装置结合使用用于跟踪用户的头部姿势或用户的视线。
在使用增强现实AR的实施例中，IT界面90可包括可穿戴装置90a，如头戴式装置。头戴式装置由用户穿戴使得用户可通过透明透镜查看现实世界手术机器人25或其它物理物体，而图形同时在透镜上显示。在此方面，头戴式装置允许新手用户在查看手术机器人25时同时看到手术机器人25和待传输的与手术机器人25和/或机器人手术系统100相关的信息两者。此外，在查看通过有经验用户在控制台80执行的手术程序时IT界面90可为有用的，并且可以类似于
Figure GDA0003191946150000071
或
Figure GDA0003191946150000072
装置的方式实施。
在另一个增强现实实施例中，IT界面90可另外包括被配置成显示增强现实图像的一个或多个屏幕或其它二维或三维显示装置，如投影仪和屏幕系统90c、智能电话、平板计算机90b等。举例来说，在其中IT界面90被实施为投影仪和屏幕系统90c的实施例中，投影仪和屏幕系统90c可包括用于接收手术机器人25的实况图像的多个相机。此外，投影仪可设置在具有非常接近于手术机器人25的投影屏的房间中，使得新手用户可同时看到手术机器人25和在投影屏90c上的手术机器人25的图像。投影屏90c可显示与增强现实信息(如训练信息和/或命令)叠加的手术机器人25的实景。通过同时查看手术机器人25和投影屏90c，可模拟头戴式IT界面90a的作用。
在其中IT界面90可使用平板计算机90b实施的增强现实实施例中，新手用户可存在于具有手术机器人25的手术室中并且可指向在手术机器人25处的平板计算机90b的相机。平板计算机90b的相机可然后接收并处理手术机器人25的图像以在平板计算机90b的显示器上显示手术机器人25的图像。因此，提供手术机器人25的增强现实视图，其中手术机器人25的图像与增强现实信息(如训练信息和/或命令)叠加。
在再一个增强现实实施例中，IT界面90可被实施为可用于将图像投影到手术机器人25上的投影仪系统。举例来说，投影仪系统可包括用于接收手术机器人25的图像的相机，根据相机实时确定手术机器人25的姿势，如通过深度相机或投影匹配。来自物体的数据库的图像可与所接收的图像结合使用以计算手术机器人25的姿势，并且由此通过投影仪系统的投影仪将物品的投影提供到手术机器人25上。
在再一个实施例中，IT界面90可被配置成经由VR和AR两者向用户呈现图像。举例来说，虚拟手术机器人可以数字方式创建并且经由可穿戴装置90a向用户显示，并且检测用户移动的传感器可然后用于更新图像并且允许用户与虚拟手术机器人交互。图形和其它图像可在虚拟手术机器人上叠置并且经由可穿戴装置90a呈现到视图。
不管特定实施方案，IT界面90可为被配置成独自产生和处理图像的智能界面装置。替代地，IT界面90连同分开的计算装置(如计算装置95)操作以产生和处理待通过IT界面90显示的图像。举例来说，头戴式IT界面装置(未示出)可具有能够产生和处理待通过头戴式IT界面装置显示的图像的内置计算机，而用于显示AR或VR图像的屏幕(如投影屏90c或计算机监视器(未示出))将需要分开的计算装置以产生和处理待在屏幕上显示的图像。因此，在一些实施例中，IT界面90和计算装置95可组合成单个装置，而在其它实施例中，IT界面90和计算装置95为分开的装置。
控制器60连接到手术机器人25和任何IT界面90并且被配置成控制手术机器人25和任何IT界面90的操作。在一个实施例中，控制台80直接或经由网络(未示出)连接到手术机器人25和/或至少一个IT界面90。控制器60可集成到控制台80中或可为经由机器人底座18连接到控制台80和手术机器人25的分开的独立装置。
现在转向图2，控制器60可包括存储器202、处理器204和/或通信接口206。存储器202包括用于存储通过处理器204可执行并且控制控制器60的操作的数据和/或软件的任何非暂时性计算机可读存储媒体。
存储器202可存储应用程序216和/或数据库214。应用程序216当由处理器204执行时可引起至少一个IT界面90呈现图像，如虚拟和/或增强现实图像，如下文进一步描述。数据库214存储增强现实训练指令，如命令、图像、视频、演示等。通信接口206可为被配置成连接到网络的网络接口，所述网络连接到至少一个IT界面90，如由有线网络和/或无线网络组成的局域网(LAN)、广域网(WAN)、无线移动网络、
Figure GDA0003191946150000091
网络和/或因特网。另外或替代地，通信接口206可为到至少一个IT界面90直接连接。
如上文所提到，虚拟现实或增强现实界面可用于提供与虚拟手术机器人或与物理手术机器人25或用于演示的物理模型的用户交互。选择使用哪些界面可取决于演示的特定目的。举例来说，虚拟现实界面允许与虚拟手术机器人一起使用。因此，虚拟现实界面可用于为用户提供虚拟人工交互，如用于训练或高水平熟悉手术机器人25。另外，因为物理手术机器人不必需与虚拟现实界面一起使用，所以在其中空间可成问题或其中在特定定位处进入或放置物理手术机器人25可能不是可实行的情形中，虚拟现实界面可为期望的。对于其中与物理手术机器人交互可为期望的情形，可实施增强现实界面，其中增强现实界面补充物理手术机器人25显示在其上或在示出物理手术机器人25的图像的显示器中的特定信息。因此，用户可能够使其自己熟悉与物理交互的手术机器人25。现在将在下文单独地进一步详细讨论这些实施例中的每个。
图3为根据本公开的实施例的用于使用虚拟现实界面训练手术机器人的用户的示例性方法的流程图。图3的方法可使用例如在图1中示出的系统100的IT界面90和计算装置95中的任一个执行。如上文所提到，IT界面90和计算装置95可为分开的装置或单个组合的装置。在下文提供的实例中，出于说明性目的，将描述实施例，其中IT界面90为具有能够产生和处理其自身的图像的内置计算机的头戴式VR界面装置(例如90a)。然而，在不脱离本公开的原理的情况下，任何IT界面90可用于图3的方法中。
使用头戴式VR界面装置90a，基于实际手术机器人25的设计和/或图像数据，为用户呈现虚拟手术机器人的视图。如下所述，用户可虚拟地与通过VR界面装置显示的虚拟手术机器人交互。VR界面装置能够跟踪用户的头部和其它附件的移动，并且基于这类移动，可更新显示的虚拟手术机器人的视图并且确定特定移动是否对应于与虚拟手术机器人的交互。
在步骤302开始，IT界面90接收手术机器人25的模型数据。模型数据可包括实际手术机器人25的图像数据，和/或类似于实际手术机器人25的数字手术机器人的计算机产生的模型。IT界面90可使用模型数据以产生将在交互训练期间使用和用户与其虚拟交互的数字手术机器人的3D模型。其后，在步骤304，IT界面90显示手术机器人的3D模型的视图。3D模型的视图可以使得用户可通过移动用户的头部、就地旋转和/或走来走去查看3D模型的不同角度和定向的方式显示。
在一个实施例中，在用户移动时，IT界面90持续取样用户的头部、手臂、腿、手部等(在下文中统称为“附件”)的位置和定向。在此方面，在用户使用IT界面90时，IT界面90的传感器(如运动检测传感器、陀螺仪、相机等)可收集关于用户头部的位置和定向的数据。具体来说，传感器连接到用户头部、手部、手臂或其它相关身体部位以跟踪这类附件的移动、位置和定向。通过跟踪用户附件的移动，IT界面90可检测用户执行特定动作和/或可显示3D模型的不同视图和/或3D模型的不同角度和旋转。
通过取样用户头部的位置和定向，在步骤310，IT界面90可确定用户头部的位置和定向是否已改变。如果IT界面90确定用户头部的位置和定向已改变，那么在步骤312，IT界面90可基于检测的用户头部的位置和定向的改变，更新显示的3D模型的视图。举例来说，用户可转动他/她的头部以引起显示的数字手术机器人的3D模型的视图改变，例如在特定方向上旋转。类似地，用户可在特定方向上移动(如通过行走、倾斜、站起、蹲下等)以引起显示的手术机器人的视图对应地改变。然而，如果IT界面90确定用户头部的位置和定向尚未改变，那么在步骤310重复方法使得IT界面90可保持取样用户头部的位置和定向以监测任何随后改变。
与执行步骤304、310和312同时，IT界面90可接收课程计划并且可基于课程计划产生命令。根据一个实施例，课程计划预载到IT界面90中以由此从在线自动指令系统提供计算机引导的经历。在另一个实施例中，课程计划的一部分预载到IT界面90中；然而，课程计划的其它部分可通过另一来源，如包括人生导师或培训教师的实时来源或通过另一个计算机提供。在步骤306，IT界面90显示命令。命令可显示为在显示的数字手术机器人的3D模型的视图上的叠加。替代地，命令可显示在与数字手术机器人的3D模型的视图分开的指令面板上。如上文所提到，命令可为文本、图形和/或音频命令。命令还可包括数字手术机器人的3D模型的演示性视图。举例来说，如果指示用户移动特定组件(如机器人臂20)或将特定组件连接到手术机器人，那么命令可经由手术机器人的3D模型的演示性视图说明期望操作。
接下来，在步骤308，在用户移动时，IT界面90取样用户附件的位置和定向。通过跟踪用户附件的移动，IT界面90可检测用户已执行特定动作。基于跟踪的用户附件的移动，在步骤314，IT界面90然后检测与数字手术机器人的3D模型的交互是否已发生。如果IT界面90检测到已执行交互，那么方法前进到步骤316。如果IT界面90检测到尚未执行交互，那么方法返回到步骤308，并且IT界面90继续跟踪用户附件的移动以监测随后交互。
在步骤316，IT界面90确定交互是否对应于命令。举例来说，IT界面90可基于跟踪的用户附件的移动，确定已执行特定移动，并且然后确定此移动是否与目前显示的命令对应。因此，当用户成功地执行与如通过命令指示的数字手术机器人的3D模型交互时，IT界面90确定已实现命令。在另一个实施例中，IT界面90可向培训教师指出交互是否对应于命令。如果是，在步骤318，IT界面90基于在用户附件和虚拟手术机器人之间的交互，更新显示的手术机器人的3D模型的视图。举例来说，当IT界面90确定用户已执行与数字手术机器人的特定交互(如移动特定机器人臂20)时，IT界面90基于交互，更新显示的数字手术机器人的3D模型的视图。然而，在步骤316，如果交互不对应于命令，那么方法返回到步骤308，并且IT界面90继续跟踪用户附件的移动以监测随后交互。在另一个实施例中，可经由更新的显示或可听声音，从培训教师向用户提供指出建议的校正动作或另外的指导的另外的通知或消息。
在步骤318更新显示之后，在步骤320，关于是否存在待显示的另外的命令，进行确定。如果存在待显示的另外的命令，那么课程未完成，并且方法前进到步骤322以基于课程计划显示更新的命令。然而，如果确定不存在待显示的另外的命令，那么课程完成，并且方法结束。
在课程已完成和/或在课程期间的各个间隔之后，如在完成特定命令之后，除了基于课程计划显示更新的命令之外，IT界面90可进一步显示指出用户的交互与命令对应的良好程度的评分。举例来说，用户可基于度量的集合给出百分比评分。度量的集合可包括用户执行交互花费的时间，用户是否第一次正确执行交互或在正确移动机器人臂20之前用户是否例如不正确移动机器人臂20，在执行交互时用户是否使用相对于太多或太少的正确量的力等。通过评分包括在课程计划中的命令的用户执行，对于执行的每个任务，可对用户给出等级。另外，用户的评分可与其它用户相比，和/或可对用户给出在训练期间实现高评分的奖励。
如上文所提到，可使用增强现实执行与手术机器人25的交互。在一个实施例中，通过使用头戴式AR界面装置，用户可查看物理手术机器人，其可为手术机器人25或表示手术机器人25的演示性模型(共同称为“物理模型”)，并且AR界面装置可将信息和/或命令显示为在用户的物理模型视图上的叠加。如下所述，用户可与物理模型交互，并且AR界面装置能够跟踪用户头部和其它附件的移动，并且基于这类移动，可更新显示的信息和/或命令并且确定特定移动是否对应于与物理模型的交互。
在此方面，现在转向图4，提供用于使用增强现实界面训练物理模型的用户的另一个实例方法。可使用例如在图1中示出的系统100的IT界面90和计算装置95执行图4的方法。如上文所提到，IT界面90和计算装置95可为分开的装置或单个组合的装置。在下文提供的实例中，出于说明性目的，这里将描述方法400的实施例，其中IT界面90为具有能够产生和处理其自身的图像的内置计算机的头戴式AR界面装置。然而，在不脱离本公开的原理的情况下，任何IT界面90可用于图4的方法。
在步骤402开始，从相机接收的图像检测标识符。举例来说，在一个实施例中，IT界面90接收物理模型的图像，其可通过绕其中定位物理模型的房间放置的一个或多个相机，通过连接到AR界面装置的一个或多个相机等收集。物理模型可为手术机器人25、手术机器人的微型型式、具有手术机器人25的一般形状的模型等。标识符可为一个或多个标记物、图案、图标、文字数字代码、符号、物体、形状、表面几何形状、颜色、红外反射器或发射体或其它唯一标识或可使用图像处理技术从图像检测的标识符的组合。
在步骤404，从图像检测的标识符与物理模型的三维(3D)表面几何形状图匹配。在一个实施例中，物理模型的3D表面几何形状图可存储在存储器202中，例如在数据库216中，并且在物理模型的3D表面几何形状图和标识符之间进行对应。结果被IT界面90使用用于确定何处显示叠加信息和/或命令。
在步骤406，IT界面90显示物理模型的增强现实视图。举例来说，IT界面90可显示引导在物理模型的特定部件或特征处的各个信息面板。信息可显示为在用户的物理模型的视图上的叠加。在其中物理模型为具有手术机器人25的一般形状的模型的实施例中，手术机器人25的虚拟图像可显示为在用户的物理模型的视图上的叠加，并且信息可在用户的物理模型的视图上叠置。为了在用户的物理模型视图上恰当地显示叠加信息，在步骤412，关于用户的头部是否已相对于物理模型改变位置，连续进行确定。举例来说，通过取样用户头部的位置和定向，IT界面90可确定用户头部的位置和定向是否已改变。如果IT界面90确定用户头部的位置和定向已改变，那么在步骤414，IT界面90可基于检测到的用户头部的位置和定向的改变，更新显示的物理模型的增强现实视图(例如与物理模型相关的信息)。举例来说，用户可转动他/她的头部或相对于手术机器人25移动位置以引起显示的叠加信息的视图在特定方向上改变例如旋转。类似地，用户可在特定方向上移动(如通过行走、倾斜、站起、蹲下等)以引起显示的叠加信息的视图相对于物理模型对应地改变。然而，如果IT界面90确定用户头部的位置和定向尚未改变，那么在步骤412重复方法使得IT界面90可保持取样用户头部的位置和定向以监测任何随后改变。
其后或与其同时，IT界面90可接收课程计划并且可基于课程计划产生命令，所述课程计划可全部预载到IT界面90中或部分预载到IT界面90中并且从其它来源补充。课程计划可包括用户遵循的一系列指令，其可包括在用户和经由IT界面90呈现的物理模型之间的交互。在一个实施例中，课程计划可为一系列课程设置使得用户可实践与物理模型的交互直到完成某些目标。一旦完成，可呈现在一系列课程中的另一个课程计划。
在此方面，在步骤408，其可与步骤406、412和/或414同时执行，IT界面90向用户显示命令。在一个实施例中，命令可以与在步骤中406显示的信息类似的方式显示，如在用户的物理模型的视图上的叠加，如经由IT界面90查看。替代地，命令可在与用户的物理模型视图分开的指令面板中显示。虽然命令可显示为文本或图形表示，但是应了解，命令或命令的部分中的一个或多个可提供为音频和/或触觉提示。在一个实施例中，命令还可包括基于物理模型的演示性视图。举例来说，如果指示用户移动特定组件，如机器人臂20，或将特定组件连接到手术机器人，命令可经由叠置在物理模型上的手术机器人的3D模型的演示性视图说明期望操作。
接下来，在步骤410，在用户移动时，IT界面90取样用户的头部、手臂、腿、手部等(在下文中统称为“附件”)的位置和定向。举例来说，IT界面90可包括传感器(如运动检测传感器、陀螺仪、相机等)，其在用户使用IT界面90时可收集关于用户头部的位置和定向的数据。IT界面90可包括连接到用户头部、手部、手臂或其它相关身体部位的传感器以跟踪这类附件的移动、位置和定向。通过跟踪用户附件的移动，IT界面90可检测用户执行特定动作。
在步骤416，IT界面90基于跟踪的用户附件的移动，检测与物理模型的交互是否已发生。替代地或另外，IT界面90可从物理模型接收数据，即已与物理模型执行交互，如特定机器人臂20的移动和/或特定组件的连接。如果IT界面90检测或接收已执行交互的数据，那么处理前进到步骤418。如果IT界面90检测到尚未执行特定交互，那么处理返回到步骤410，其中IT界面90继续跟踪用户附件的移动以监测随后交互。
在步骤418，IT界面90进一步确定交互是否对应于命令。举例来说，在其中命令包括将物理模型的机器人臂移动到特定定位的实施例中，IT界面90可确定移动已完成或从物理模型接收移动已完成的数据，并且然后将确定交互对应于当前显示的命令。在另一个实施例中，IT界面90可向培训教师指出交互是否对应于命令。替代地或另外，IT界面90可基于跟踪的用户附件的移动，确定已执行特定移动，并且然后确定此移动是否与当前显示的命令对应。举例来说，当用户如通过命令指示成功地执行与物理模型交互时，IT界面90确定命令已实现。然而，如果IT界面90确定特定移动不与当前显示的命令对应，那么方法返回到步骤410，并且IT界面90继续跟踪用户附件的移动以监测随后的交互。在另一个实施例中，可经由更新的显示或可听声音，从培训教师向用户提供指出建议的校正动作或另外的指导的另外的通知或消息。
在步骤420，确定是否存在待显示的另外的命令。如果存在待显示的另外的命令，那么课程未完成，并且方法前进到步骤422以基于课程计划显示更新的命令。然而，如果确定不存在待显示的另外的命令，那么课程完成，并且方法结束。
在步骤422，IT界面90基于课程计划显示更新的命令。应了解，除了基于课程计划显示更新的命令之外，IT界面90可进一步显示指出用户的交互与命令对应的良好程度的评分。举例来说，用户可基于度量的集合给出百分比评分。度量的集合可包括用户执行交互花费的时间，用户是否第一次正确执行交互或在正确移动机器人臂20之前用户是否例如不正确移动机器人臂20，在执行交互时用户是否使用相对于太多或太少的正确量的力等。通过评分包括在课程计划中的命令的用户执行，对于执行的每个任务，可对用户给出等级。另外，用户的评分可与其它用户相比，和/或可对用户给出在训练期间实现高评分的奖励。
在另一个实施例中，此外设想代替使用头戴式AR界面装置，用户在定位在手术机器人25附近的IT界面90b或90c(如便携式电子装置，如平板计算机、智能电话和/或相机/投影仪/投影屏系统)上查看手术机器人25的实景，并且指令和/或命令可同样地显示为在手术机器人25的实景上的叠加。举例来说，现在转向图5，提供根据另一个实施例的使用增强现实界面训练手术机器人的用户的方法500。可使用例如在图1中示出的系统100的IT界面90和计算装置95执行图5的方法。如上文所提到，IT界面90和计算装置95可为分开的装置或单个组合的装置。这里，将描述方法500的实施例，其中IT界面90为具有能够产生和处理其自身的图像的内置计算机的便携式电子装置。然而，在不脱离本公开的原理的情况下，任何IT界面90可用于图5的方法中。
在步骤502开始，从图像检测标识符。举例来说，在一个实施例中，IT界面90接收手术机器人25的图像(其可通过包括为引导在手术机器人25处的便携式电子装置的一部分的相机，通过连接到IT界面装置90的一个或多个相机等收集)，并且从图像检测标识符(其可类似于上文对于在方法400中的步骤402所描述的标识符)。在步骤504，检测到的标识符与手术机器人25的三维(3D)表面几何形状图匹配，并且结果可被IT界面90使用用于确定何处显示叠加信息和/或命令，和用户与手术机器人25的交互是否根据显示的命令。
在步骤506，IT界面90显示手术机器人25的图像的增强现实视图。举例来说，IT界面90可显示叠加到手术机器人25的所显示图像的特定部件或特征上的各个信息面板。信息可在IT界面90的显示屏上显示为在用户的手术机器人25的视图上的叠加。在其中IT界面90为智能电话或平板计算机90b的实施例中，为了恰当地显示在显示的手术机器人25的图像上的叠加信息，在步骤512，关于IT界面90(例如便携式电子装置)的定位是否已相对于手术机器人25改变位置，连续进行确定。在一个实施例中，通过取样IT界面90的位置和定向，关于IT界面90的位置和定向是否已改变，可进行确定。如果IT界面90的位置和定向已改变，那么在步骤514，IT界面90可基于检测到的IT界面90的位置和定向的改变，更新显示的与手术机器人25相关的信息。IT界面90可相对于手术机器人25转动或移动以引起手术机器人25和叠加信息两者的所显示图像改变，例如在特定方向上旋转。如果IT界面90确定其位置和定向尚未改变，那么在步骤512重复方法使得IT界面90可保持取样其位置和定向以监测任何随后改变。
不管IT界面90的特定实施方案，IT界面90可接收课程计划并且可基于课程计划产生命令，所述课程计划可全部预载到IT界面90中或部分预载到IT界面90中并且从其它来源补充。课程计划可包括用户遵循的一系列指令，其可包括在用户和经由IT界面90呈现的手术机器人25之间的交互。在一个实施例中，课程计划可为一系列课程设置使得用户可实践与手术机器人25的交互直到完成某些目标。一旦完成，可呈现在一系列课程中的另一个课程计划。
在此方面，在步骤508，其可与步骤506、512和/或514同时执行，IT界面90向用户显示命令。在一个实施例中，命令可以与在步骤506中显示的信息类似的方式显示，如在显示的手术机器人25的图像上的叠加，如经由IT界面90查看。替代地，命令可显示在与显示的手术机器人25的图像分开的指令面板中。虽然命令可显示为文本或图形表示，但是应了解，命令或命令的部分中的一个或多个可提供为音频和/或触觉提示。在一个实施例中，命令还可包括基于手术机器人25的演示性视图。举例来说，如果指示用户移动特定组件，如机器人臂20，或将特定组件连接到手术机器人，那么命令可经由叠置在显示的手术机器人25的图像上的手术机器人的3D模型的演示性视图说明期望操作。
在一个实施例中，在步骤510，在用户移动时，IT界面90取样用户的头部、手臂、腿、手部等(在下文中统称为“附件”)的位置和定向。举例来说，IT界面90可与在用户使用IT界面90时可收集关于用户附件的位置和定向的数据的传感器(如运动检测传感器、陀螺仪、相机等)通信。IT界面90可包括连接到用户头部、手部、手臂或其它相关身体部位的传感器以跟踪这类附件的移动、位置和定向。通过跟踪用户附件的移动，IT界面90可检测用户执行特定动作。
在步骤516，IT界面90基于跟踪的用户附件的移动，检测与手术机器人25的交互是否已发生。替代地或另外，IT界面90可从手术机器人25接收数据，即已执行交互，如移动特定机器人臂20和/或连接特定组件。如果IT界面90确定或接收已执行交互的数据，那么处理前进到步骤518。如果IT界面90确定尚未执行特定交互，那么处理返回到步骤510，其中IT界面90继续跟踪用户附件的移动以监测随后交互。
在步骤518，IT界面90进一步确定交互是否对应于命令。举例来说，在其中命令包括将手术机器人25的机器人臂移动到特定定位的实施例中，IT界面90可确定移动已完成或从手术机器人25接收移动已完成的数据，并且然后将确定交互对应于当前显示的命令。在另一个实施例中，IT界面90可向培训教师指出交互是否对应于命令。替代地或另外，IT界面90可基于跟踪的用户附件的移动，确定已执行特定移动，并且然后确定此移动是否与当前显示的命令对应。举例来说，当用户如通过命令指示成功地执行与手术机器人25交互时，IT界面90确定命令已实现。然而，如果IT界面90确定特定移动不与当前显示的命令对应，那么方法返回到步骤510，并且IT界面90继续跟踪用户附件的移动以监测随后交互。在另一个实施例中，可经由更新的显示或可听声音，从培训教师向用户提供指出建议的校正动作或另外的指导的另外的通知或消息。
在步骤520，确定是否存在待显示的另外的命令。如果存在待显示的另外的命令，那么课程未完成，并且方法前进到步骤522以基于课程计划显示更新的命令。然而，如果确定不存在待显示的另外的命令，那么课程完成，并且方法结束。
在步骤522，IT界面90基于课程计划显示更新的命令并且可以类似于上文关于方法500的步骤522所描述的方式执行。
本文中所描述的系统还可利用一个或多个控制器以接收各种信息并转化所接收到的信息以产生输出。控制器可包括任何类型的计算装置、计算电路，或能够执行存储在存储器中的一系列指令的任何类型的处理器或处理电路。控制器可包括多个处理器和/或多核中央处理单元(CPU)并且可包括任何类型的处理器，如微处理器、数位信号处理器、微控制器、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)等。控制器还可包括存储器以存储数据和/或当由一个或多个处理器执行时引起一个或多个处理器执行一个或多个方法和/或算法的指令。
本文中所描述方法、程序、算法或代码中的任一种可转换成编程语言或计算机程序或以编程语言或计算机程序表达。如本文所用，术语“编程语言”和“计算机程序”，各自包括用于为计算机指定指令的任何语言，并且包括(但不限于)以下语言和其衍生物：汇编程序、Basic、Batch文件、BCPL、C、C+、C++、Delphi、Fortran、Java、JavaScript、机器代码、操作系统命令语言、Pascal、Perl、PL1、脚本处理语言、Visual Basic、自身指定程序的元语言和所有第一、第二、第三、第四、第五或另一代计算机语言。还包括数据库和其它数据模式，以及任何其它元语言。不对被解译、编译或使用经编译和解译方法两者的语言进行区分。也不对程序的编译版本与源版本进行区分。因此，提及编程语言可以多于一种状态(例如，源、经编译、对象或经链接)存在的程序是对任何和所有这类状态的提及。对程序的提及可涵盖实际指令和/或那些指令的意图。
本文中所描述的方法、程序、算法或代码中的任一种可包含在一个或多个机器可读媒体或存储器上。术语“存储器”可包括提供(例如存储和/或传输)呈机器可读形式的信息的机构，这类处理器、计算机或数字处理装置。举例来说，存储器可包括只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储媒体、光学存储媒体、闪存装置，或任何其它易失性或非易失性存储器存储装置。包含在其上的代码或指令可由载波信号、红外信号、数字信号和其它类似信号表示。
虽然已在附图中示出本公开的数个实施例，但并不旨在将本公开限于这些实施例，因为希望本公开具有如本领域将允许的广泛的范围且对说明书的理解也是如此。因此，上文的描述不应解释为限制性的，而仅仅是作为特定实施例的例证。所属领域的技术人员将设想在本文所附的权利要求书的范围和精神内的其它修改。

Claims (36)

1.一种使用虚拟现实界面训练包括手术机器人的机器人手术系统的用户的方法，所述方法包含：
通过使用所述手术机器人的模型数据产生所述手术机器人的3D模型；
使用所述虚拟现实界面显示用户将与其虚拟交互的所述手术机器人的所述3D模型的视图；
在所述用户的特征移动时，连续取样所述用户的所述特征的位置和定向；
基于所述取样的所述用户的所述特征的位置和定向，更新所述显示的所述手术机器人的所述3D模型的视图；
使用所述虚拟现实界面，基于课程计划显示命令；
跟踪所述用户的附件的移动；
基于所述跟踪的所述用户的所述附件的移动，确定与所述手术机器人的所述3D模型的交互是否对应于所述命令；以及
当确定所述交互对应于所述命令时，基于所述交互，更新所述显示的所述手术机器人的所述3D模型的视图，
其中，当确定所述交互不对应于所述命令时，不更新所述显示的所述手术机器人的所述3D模型的视图。
2.根据权利要求1所述的方法，其进一步包含：
当确定所述交互对应于所述命令时，基于所述课程计划显示更新的命令。
3.根据权利要求1所述的方法，其中所述显示命令包括显示指示所述用户执行移动以与所述手术机器人的所述3D模型交互的命令。
4.根据权利要求1所述的方法，其中所述课程计划包括指示所述用户执行设置所述手术机器人的动作的命令。
5.根据权利要求2所述的方法，其进一步包含基于用于基于通过所述命令指示的所述交互评定用户表现的客观指标而显示评分。
6.根据权利要求1所述的方法，其中所述显示包括使用头戴式虚拟现实显示器显示所述3D模型的所述视图。
7.根据权利要求1所述的方法，其中所述显示包括使用投影仪系统投影所述3D模型的所述视图。
8.一种用于训练机器人手术系统的用户的系统，所述系统包含：
手术机器人；
虚拟现实界面；和
与所述虚拟现实界面通信的计算机，所述计算机被配置成：
通过使用所述手术机器人的模型数据产生所述手术机器人的3D模型；
使用所述虚拟现实界面显示用户将与其虚拟交互的所述手术机器人的所述3D模型的视图；
在所述用户的特征移动时，连续取样所述用户的所述特征的位置和定向；
基于所述取样的所述用户的所述特征的位置和定向，更新所述显示的所述手术机器人的所述3D模型的视图；
使用所述虚拟现实界面，基于课程计划显示命令；
跟踪所述用户的附件的移动；
基于所述跟踪的所述用户的所述附件的移动，确定与所述手术机器人的所述3D模型的交互是否对应于所述命令；以及
当确定所述交互对应于所述命令时，基于所述交互，更新所述显示的所述手术机器人的所述3D模型的视图，
其中，当确定所述交互不对应于所述命令时，不更新所述显示的所述手术机器人的所述3D模型的视图。
9.根据权利要求8所述的系统，其进一步包含被配置成跟踪所述用户的所述附件的所述移动的一个或多个传感器。
10.根据权利要求8所述的系统，其进一步包含被配置成跟踪所述用户的所述附件的所述移动的一个或多个相机。
11.根据权利要求8所述的系统，其中所述计算机被进一步配置成：
当确定所述交互对应于所述命令时，基于所述课程计划显示更新的命令。
12.根据权利要求8所述的系统，其中所述命令指示所述用户执行移动以与所述手术机器人的所述3D模型交互。
13.根据权利要求8所述的系统，其中所述课程计划包括指示所述用户执行设置所述手术机器人的动作的命令。
14.根据权利要求11所述的系统，其中所述计算机被进一步配置成基于用于基于通过所述命令指示的所述交互评定用户表现的客观指标而显示评分。
15.根据权利要求8所述的系统，其中所述显示包括使用头戴式虚拟界面显示所述3D模型的所述视图。
16.根据权利要求8所述的系统，其中所述显示包括使用投影仪系统投影所述3D模型的所述视图。
17.一种非暂时性计算机可读存储媒体，存储用于使用虚拟现实界面训练包括手术机器人的机器人手术系统的用户的计算机程序，所述计算机程序包括指令，所述指令当由处理器执行时致使所述计算机：
通过使用所述手术机器人的模型数据产生所述手术机器人的3D模型；
使用所述虚拟现实界面显示用户将与其虚拟交互的所述手术机器人的所述3D模型的视图；
在所述用户的特征移动时，连续取样所述用户的所述特征；
基于所述取样的所述用户的头部的位置和定向，更新所述显示的所述手术机器人的所述3D模型的视图；
使用所述虚拟现实界面，基于课程计划显示命令；
跟踪所述用户的附件的移动；
基于所述跟踪的所述用户的所述附件的移动，确定与所述手术机器人的所述3D模型的交互是否对应于所述命令；以及
当确定所述交互对应于所述命令时，基于所述交互，更新所述显示的所述手术机器人的所述3D模型的视图，
其中，当确定所述交互不对应于所述命令时，不更新所述显示的所述手术机器人的所述3D模型的视图。
18.根据权利要求17所述的非暂时性计算机可读存储媒体，其包括另外的指令，所述另外的指令当被执行时致使所述计算机：
当确定所述交互对应于所述命令时，基于所述课程计划显示更新的命令。
19.根据权利要求17所述的非暂时性计算机可读存储媒体，其中所述命令指示所述用户执行移动以与所述手术机器人的所述3D模型交互。
20.根据权利要求17所述的非暂时性计算机可读存储媒体，其中所述课程计划包括指示所述用户执行设置所述手术机器人的动作的命令。
21.根据权利要求18所述的非暂时性计算机可读存储媒体，其包括另外的指令，所述另外的指令当被执行时致使所述计算机基于用于基于通过所述命令指示的所述交互评定用户表现的熟练程度的客观指标而显示评分。
22.一种使用包括增强现实界面装置的增强现实界面训练包括手术机器人的机器人手术系统的用户的方法，所述方法包含：
检测在包括表示所述手术机器人的物理模型的图像中的标识符；
将所述标识符与所述物理模型的三维表面几何形状图匹配；
显示所述物理模型的增强现实视图；
连续取样用户头部相对于所述物理模型的定位的位置和定向；以及
基于所述取样的所述用户的所述头部的位置和定向，更新所述显示的所述物理模型的增强现实视图。
23.根据权利要求22所述的方法，其进一步包含：
跟踪所述用户的附件的移动；
基于所述跟踪的所述用户的所述附件的移动，确定与所述物理模型的交互；以及
基于所述交互，更新所述显示的所述物理模型的增强现实视图。
24.根据权利要求23所述的方法，其进一步包含使用所述增强现实界面，基于课程计划显示命令。
25.根据权利要求24所述的方法，其进一步包含：
确定所述交互是否对应于所述命令；和
响应于确定所述交互对应于所述命令，基于所述课程计划显示更新的命令。
26.根据权利要求24所述的方法，其中所述显示命令包括显示指示所述用户执行移动以与所述物理模型交互的命令。
27.根据权利要求24所述的方法，其中所述课程计划包括指示所述用户执行设置所述手术机器人的动作的命令。
28.根据权利要求27所述的方法，其中所述显示包括使用头戴式增强现实显示器显示所述物理模型的所述增强现实视图。
29.根据权利要求22所述的方法，其中所述物理模型为所述手术机器人。
30.一种使用包括增强现实界面装置的增强现实界面训练包括手术机器人的机器人手术系统的用户的方法，所述方法包含：
检测在包括所述手术机器人的图像中的标识符；
将所述标识符与所述手术机器人的三维表面几何形状图匹配；
显示所述手术机器人的图像的增强现实视图；
连续取样所述增强现实界面装置相对于所述手术机器人的定位的位置和定向；以及
基于所述取样的所述增强现实界面装置的位置和定向，更新所述显示的所述手术机器人的增强现实视图。
31.根据权利要求30所述的方法，其进一步包含：
跟踪所述用户的附件的移动；
基于所述跟踪的所述用户的所述附件的移动，确定与所述手术机器人的交互；以及
基于所述交互，更新所述显示的所述手术机器人的增强现实视图。
32.根据权利要求31所述的方法，其进一步包含使用所述增强现实界面，基于课程计划显示命令。
33.根据权利要求32所述的方法，其进一步包含：
确定所述交互是否对应于所述命令；和
响应于确定所述交互对应于所述命令，基于所述课程计划显示更新的命令。
34.根据权利要求32所述的方法，其中所述显示命令包括显示指示所述用户执行移动以与所述手术机器人交互的命令。
35.根据权利要求32所述的方法，其中所述课程计划包括指示所述用户执行设置所述手术机器人的动作的命令。
36.根据权利要求31所述的方法，其中所述显示包括使用平板计算机、智能电话或投影屏显示所述手术机器人的图像的所述增强现实视图。
CN201780014106.9A 2016-03-04 2017-03-03 训练机器人手术系统的用户的方法、系统、以及存储媒体 Expired - Fee Related CN108701429B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662303460P 2016-03-04 2016-03-04
US62/303,460 2016-03-04
US201662333309P 2016-05-09 2016-05-09
US62/333,309 2016-05-09
PCT/US2017/020572 WO2017151999A1 (en) 2016-03-04 2017-03-03 Virtual and/or augmented reality to provide physical interaction training with a surgical robot

Publications (2)

Publication Number Publication Date
CN108701429A CN108701429A (zh) 2018-10-23
CN108701429B true CN108701429B (zh) 2021-12-21

Family

ID=59744443

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780014106.9A Expired - Fee Related CN108701429B (zh) 2016-03-04 2017-03-03 训练机器人手术系统的用户的方法、系统、以及存储媒体

Country Status (4)

Country Link
US (1) US20190088162A1 (zh)
EP (1) EP3424033A4 (zh)
CN (1) CN108701429B (zh)
WO (1) WO2017151999A1 (zh)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10013808B2 (en) 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
WO2019036006A1 (en) 2017-08-16 2019-02-21 Covidien Lp SYNTHESIS OF SPACE-SENSITIVE TRANSITIONS BETWEEN MULTIPLE VIEWPOINTS OF VIEWING DEVICES DURING MINI-INVASIVE SURGERY
CN108161904B (zh) * 2018-01-09 2019-12-03 青岛理工大学 基于增强现实的机器人在线示教装置、系统、方法、设备
US20190254753A1 (en) 2018-02-19 2019-08-22 Globus Medical, Inc. Augmented reality navigation systems for use with robotic surgical systems and methods of their use
JP6787966B2 (ja) * 2018-10-02 2020-11-18 ファナック株式会社 拡張現実と複合現実を用いたロボット制御装置及び表示装置
US12008721B2 (en) 2018-10-26 2024-06-11 Intuitive Surgical Operations, Inc. Mixed reality systems and methods for indicating an extent of a field of view of an imaging device
CN109637252B (zh) * 2019-01-14 2021-06-04 晋城市人民医院 一种神经外科虚拟手术训练系统
CN109806002B (zh) * 2019-01-14 2021-02-23 微创（上海）医疗机器人有限公司 一种手术机器人
US20200281675A1 (en) * 2019-03-04 2020-09-10 Covidien Lp Low cost dual console training system for robotic surgical system or robotic surgical simulator
CN110335516B (zh) * 2019-06-27 2021-06-25 王寅 一种采用vr心脏手术模拟系统进行vr心脏手术模拟的方法
US10758309B1 (en) 2019-07-15 2020-09-01 Digital Surgery Limited Methods and systems for using computer-vision to enhance surgical tool control during surgeries
US11958183B2 (en) 2019-09-19 2024-04-16 The Research Foundation For The State University Of New York Negotiation-based human-robot collaboration via augmented reality
US11119713B2 (en) * 2019-10-29 2021-09-14 Kyocera Document Solutions Inc. Systems, processes, and computer program products for delivery of printed paper by robot
US11992373B2 (en) 2019-12-10 2024-05-28 Globus Medical, Inc Augmented reality headset with varied opacity for navigated robotic surgery
CN110974426A (zh) * 2019-12-24 2020-04-10 上海龙慧医疗科技有限公司 骨科关节置换手术机器人系统
US11464581B2 (en) 2020-01-28 2022-10-11 Globus Medical, Inc. Pose measurement chaining for extended reality surgical navigation in visible and near infrared spectrums
US11382699B2 (en) 2020-02-10 2022-07-12 Globus Medical Inc. Extended reality visualization of optical tool tracking volume for computer assisted navigation in surgery
US11207150B2 (en) 2020-02-19 2021-12-28 Globus Medical, Inc. Displaying a virtual model of a planned instrument attachment to ensure correct selection of physical instrument attachment
US11607277B2 (en) 2020-04-29 2023-03-21 Globus Medical, Inc. Registration of surgical tool with reference array tracked by cameras of an extended reality headset for assisted navigation during surgery
US11510750B2 (en) 2020-05-08 2022-11-29 Globus Medical, Inc. Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications
US11153555B1 (en) 2020-05-08 2021-10-19 Globus Medical Inc. Extended reality headset camera system for computer assisted navigation in surgery
US11382700B2 (en) 2020-05-08 2022-07-12 Globus Medical Inc. Extended reality headset tool tracking and control
CN111610860B (zh) * 2020-05-22 2020-12-18 江苏濠汉信息技术有限公司 一种基于增强现实的取样方法和系统
US11737831B2 (en) 2020-09-02 2023-08-29 Globus Medical Inc. Surgical object tracking template generation for computer assisted navigation during surgical procedure
US20210121245A1 (en) * 2020-10-06 2021-04-29 Transenterix Surgical, Inc. Surgeon interfaces using augmented reality
CN114601564B (zh) * 2020-10-08 2023-08-22 深圳市精锋医疗科技股份有限公司 手术机器人及其图形化控制装置、图形化显示方法
CN113616336B (zh) * 2021-09-13 2023-04-14 上海微创微航机器人有限公司 手术机器人仿真系统、仿真方法及可读存储介质
EP4419035A1 (en) * 2021-10-21 2024-08-28 Lem Surgical Ag Robotically coordinated virtual or augmented reality

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6659939B2 (en) * 1998-11-20 2003-12-09 Intuitive Surgical, Inc. Cooperative minimally invasive telesurgical system
US8600551B2 (en) * 1998-11-20 2013-12-03 Intuitive Surgical Operations, Inc. Medical robotic system with operatively couplable simulator unit for surgeon training
US20080050711A1 (en) * 2006-08-08 2008-02-28 Doswell Jayfus T Modulating Computer System Useful for Enhancing Learning
WO2009114613A2 (en) * 2008-03-11 2009-09-17 Health Research Inc. System and method for robotic surgery simulation
US8864652B2 (en) * 2008-06-27 2014-10-21 Intuitive Surgical Operations, Inc. Medical robotic system providing computer generated auxiliary views of a camera instrument for controlling the positioning and orienting of its tip
KR101108927B1 (ko) * 2009-03-24 2012-02-09 주식회사 이턴 증강현실을 이용한 수술 로봇 시스템 및 그 제어 방법
US20110306986A1 (en) * 2009-03-24 2011-12-15 Min Kyu Lee Surgical robot system using augmented reality, and method for controlling same
US9099015B2 (en) * 2009-05-12 2015-08-04 Edda Technology, Inc. System, method, apparatus, and computer program for interactive pre-operative assessment involving safety margins and cutting planes in rendered 3D space
KR100957470B1 (ko) * 2009-08-28 2010-05-17 주식회사 래보 증강현실을 이용한 수술 로봇 시스템 및 그 제어 방법
CN102254475B (zh) * 2011-07-18 2013-11-27 广州赛宝联睿信息科技有限公司 内窥镜微创手术模拟训练3d平台系统的实现方法
JP5855423B2 (ja) * 2011-11-01 2016-02-09 オリンパス株式会社 手術支援装置
KR101912717B1 (ko) * 2012-05-25 2018-10-29 삼성전자주식회사 수술 용구 및 이를 포함하는 매니플레이션 시스템
US9855103B2 (en) * 2012-08-27 2018-01-02 University Of Houston System Robotic device and system software, hardware and methods of use for image-guided and robot-assisted surgery
US9563266B2 (en) * 2012-09-27 2017-02-07 Immersivetouch, Inc. Haptic augmented and virtual reality system for simulation of surgical procedures
KR20140112207A (ko) * 2013-03-13 2014-09-23 삼성전자주식회사 증강현실 영상 표시 시스템 및 이를 포함하는 수술 로봇 시스템
KR20140129702A (ko) * 2013-04-30 2014-11-07 삼성전자주식회사 수술 로봇 시스템 및 그 제어방법
CN105578954B (zh) * 2013-09-25 2019-03-29 迈恩德玛泽控股股份有限公司 生理参数测量和反馈系统
JP2017514608A (ja) * 2014-05-05 2017-06-08 バイカリアス サージカル インク． 仮想現実外科手術デバイス
US20150366628A1 (en) * 2014-06-18 2015-12-24 Covidien Lp Augmented surgical reality environment system
US10529248B2 (en) * 2014-06-19 2020-01-07 Embraer S.A. Aircraft pilot training system, method and apparatus for theory, practice and evaluation
EP3179947B1 (en) * 2014-07-25 2019-06-26 Covidien LP An augmented surgical reality environment for a robotic surgical system
CN104739519B (zh) * 2015-04-17 2017-02-01 中国科学院重庆绿色智能技术研究院 一种基于增强现实的力反馈手术机器人控制系统

Also Published As

Publication number Publication date
WO2017151999A1 (en) 2017-09-08
EP3424033A1 (en) 2019-01-09
US20190088162A1 (en) 2019-03-21
CN108701429A (zh) 2018-10-23
EP3424033A4 (en) 2019-12-18

Similar Documents

Publication Publication Date Title
CN108701429B (zh) 训练机器人手术系统的用户的方法、系统、以及存储媒体
US11580882B2 (en) Virtual reality training, simulation, and collaboration in a robotic surgical system
US11013559B2 (en) Virtual reality laparoscopic tools
US11944401B2 (en) Emulation of robotic arms and control thereof in a virtual reality environment
US11468791B2 (en) Simulator system for medical procedure training
US20220101745A1 (en) Virtual reality system for simulating a robotic surgical environment
US20210369354A1 (en) Navigational aid
KR102038398B1 (ko) 수술 시뮬레이션 시스템 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20211221