CN115397353A - 用于外科机器人系统的移动虚拟现实系统 - Google Patents

用于外科机器人系统的移动虚拟现实系统 Download PDF

Info

Publication number
CN115397353A
CN115397353A CN202080099372.8A CN202080099372A CN115397353A CN 115397353 A CN115397353 A CN 115397353A CN 202080099372 A CN202080099372 A CN 202080099372A CN 115397353 A CN115397353 A CN 115397353A
Authority
CN
China
Prior art keywords
surgical
virtual reality
processor
foot
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080099372.8A
Other languages
English (en)
Inventor
B·菲尔斯特
E·约翰逊
P·加尔西亚吉尔罗伊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Verb Surgical Inc
Original Assignee
Verb Surgical Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Verb Surgical Inc filed Critical Verb Surgical Inc
Publication of CN115397353A publication Critical patent/CN115397353A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Master-slave robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/35—Surgical robots for telesurgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/74—Manipulators with manual electric input means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/76—Manipulators having means for providing feel, e.g. force or tactile feedback
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G09B23/30—Anatomical models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00115—Electrical control of surgical instruments with audible or visual output
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Robotics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Chemical & Material Sciences (AREA)
  • Medicinal Chemistry (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Manipulator (AREA)

Abstract

一种用于模拟、训练或演示外科机器人系统的移动虚拟现实系统，该移动虚拟现实系统可包括虚拟现实处理器。该处理器可生成虚拟外科机器人并在显示器上渲染该虚拟外科机器人。虚拟外科机器人可包括虚拟外科工具。手持式用户输入装置(UID)可感测来自手的手输入。脚输入装置可感测来自脚的脚输入。虚拟现实处理器可被配置为基于手输入控制虚拟外科机器人的移动或动作，以及基于脚输入改变哪个虚拟外科器械由一个或多个手持式UID控制。本发明公开并要求保护其他实施方案和方面。

Description

用于外科机器人系统的移动虚拟现实系统
技术领域
本发明大体上涉及外科机器人系统，并且更具体地涉及用于模拟、训练或演示外科机器人系统和/或规程的移动虚拟现实系统。描述了其他实施方案。
背景技术
微创外科手术(MIS)诸如腹腔镜手术涉及旨在在外科规程期间减少组织损伤的技术。例如，腹腔镜规程通常涉及在患者体内(例如，在腹部)形成多个小切口，以及通过切口将一个或多个工具和至少一个相机引入患者体内。然后可通过使用所引入的外科工具执行外科规程，其中可视化辅助由相机提供。
一般来讲，MIS提供多重有益效果，诸如减少患者疤痕、减轻患者疼痛、缩短患者恢复期以及降低与患者恢复相关联的医疗费用。可利用外科机器人系统执行MIS，该外科机器人系统包括一个或多个机器人臂，该机器人臂用于基于来自远程操作者的命令操纵外科工具。机器人臂可以例如在其远侧端部处支承各种装置，诸如外科端部执行器、成像装置、用于提供进入患者体腔和器官的通路的插管等。因此，外科机器人臂可以帮助执行外科手术。
此类机器人系统的控制可能需要用户(例如，外科医生或其他操作者)经由一个或多个用户接口装置进行控制输入，该一个或多个用户接口装置将用户的操纵或命令翻译为对机器人系统的控制。例如，当外科工具定位在患者的外科手术部位处时，具有一个或多个马达的工具驱动器可以响应于用户命令而致动外科工具的一个或多个自由度。
发明内容
在一个方面，可能期望使用虚拟环境(例如，虚拟现实、混合现实或增强现实)来模拟、训练或演示外科机器人系统和/或规程。这样，医务人员(例如，外科医生)可有利地熟悉虚拟环境中的外科机器人系统和规程，而无需整个物理外科机器人系统(例如，外科机器人臂、平台、控制站、手术室等)。可利用模拟物理外科机器人系统的虚拟现实系统来模拟外科机器人系统和规程，包括沉浸式虚拟环境(例如，头戴式装置中的3D显示器)。成熟的虚拟现实系统可能体积庞大并且需要外部传感器(例如，放置在物理环境的一个或多个区域中以检测和感测用户的相机)，这可能使设置变得困难。此类系统还可能需要电线/电缆的布线和路线规划。因此，此类系统不是方便移动的，因为它们难以从一个位置移动到另一个位置。因此，有利地是提供一种可移动的(例如，具有最少的部件和设置复杂性)的虚拟现实系统，使得该系统可有效地从一个位置运输到另一个位置，例如，以便对医务人员进行训练。
移动虚拟现实可使用真实的硬件和内向外跟踪来运行完全实现的患者模拟。此类系统可能没有外部跟踪器(例如，相机)。脚踏板或脚跟踪(例如，利用传感器或内向外相机对脚进行光学跟踪)可被设计到此类系统中。可利用真实机器人模型来驱动模拟，该真实机器人模型指示真实规程中使用的真实外科机器人系统。此类系统可容易地进行装配并在医务人员之间进行传递以进行训练。
在一个方面，一种用于模拟、训练或演示外科机器人系统的移动虚拟现实系统包括：处理器；显示器，该显示器用于基于由处理器生成的数据流来接收和示出虚拟外科机器人，该虚拟外科机器人包括多个虚拟外科器械；一个或多个手持式用户输入装置(UID)，该一个或多个手持式UID感测来自手的手输入；以及一个或多个脚输入装置，该一个或多个脚输入装置感测来自脚的脚输入。处理器可被配置为基于手输入来控制虚拟外科机器人系统的移动，以及改变哪个虚拟外科器械由一个或多个手持式UID控制。
附图说明
图1示出了根据一个实施方案的外科机器人系统。
图2示出了根据一个实施方案的用于模拟、训练或演示外科机器人系统的虚拟现实系统。
图3A至图3C示出了根据各种实施方案的脚输入装置。
图4示出了根据一个实施方案的用于模拟、训练或演示外科机器人系统的虚拟现实系统。
图5示出了根据一个实施方案的虚拟接口。
图6示出了根据一个实施方案的用户接口或过程的流程图。
具体实施方式
本发明的各个方面和变型的示例在本文描述并在附图中示出。以下描述并非旨在将本发明限制于这些实施方案，而是旨在使本领域的技术人员能够制备和使用本发明。
下面的说明书和附图是对本公开的说明，不应理解为是限制本公开。描述了许多具体细节，以提供对本公开的各种实施方案的透彻理解。然而，在某些情况下，未对公知的或常规的细节进行描述，以使本公开的实施方案的讨论简洁。
在说明书中引用的“一个实施方案”或“实施方案”意指结合实施方案描述的特定特征、结构或特性可以包括在本公开的至少一个实施方案中。在说明书中各处出现的短语“在一个实施方案中”并不一定全部是指相同的实施方案。
参考图1，这是手术场所中的示例性外科机器人系统1的绘画视图。机器人系统1包括用户控制台2、控制塔3以及外科机器人平台5(例如，台、床等)处的一个或多个外科机器人臂4。系统1可结合用于对患者6执行外科手术的任何数量的装置、工具或附件。例如，系统1可包括用于执行外科手术的一个或多个外科工具7。外科工具7可以是附接到外科臂4的远侧端部的端部执行器，用于执行外科规程。
每个外科工具7可在外科手术期间手动操纵、通过机器人操纵或两者。例如，外科工具7可以是用于进入、查看或操纵患者6的内部解剖结构的工具。在一个实施方案中，外科工具7为可抓持患者的组织的抓持器。外科工具7可由床边操作者8手动控制；或者其可经由其所附接的外科机器人臂4的致动移动而由机器人控制。机器人臂4被示出为台上安装系统，但在其他配置中，臂4可安装在手推车、天花板或侧壁上，或者安装在另一个合适的结构支撑件中。
一般来讲，远程操作者9(诸如外科医生或其他操作者)可使用用户控制台2以远程操纵臂4和/或所附接的外科工具7，例如远程操作。用户控制台2可位于与系统1的其余部分相同的手术室中，如图1所示。然而，在其他环境中，用户控制台2可位于相邻或附近的房间中，或者其可位于远程位置，例如，在不同的建筑物、城市或国家中。用户控制台2可包括座椅10、脚动控件13、一个或多个手持式用户输入装置(UID)14以及至少一个用户显示器15，该用户显示器被配置为显示例如患者6体内的外科手术部位的视图。在示例性用户控制台2中，远程操作者9坐在座椅10中并查看用户显示器15，同时操纵脚动控件13和手持式UID14，以便远程控制臂4和外科工具7(其安装在臂4的远侧端部上)。
在一些变型中，床边操作者8还可以“床上”模式操作系统1，其中床边操作者8(用户)现在位于患者6的一侧并且同时操纵机器人驱动的工具(附接到臂4的端部执行器)，例如，用一只手握持手持式UID 14和手动腹腔镜工具。例如，床边操作者的左手可操纵手持式UID以控制机器人部件，而床边操作者的右手可操纵手动腹腔镜工具。因此，在这些变型中，床边操作者8可对患者6执行机器人辅助微创外科手术和手动腹腔镜外科手术两者。
在示例性规程(外科手术)期间，为患者6做手术准备并以无菌方式为该患者覆盖消毒盖布以实现麻醉。在机器人系统1的臂处于收起配置或撤回配置时，可手动地执行对外科手术部位的初始触及(以便于触及外科手术部位)。一旦完成触及，就可执行机器人系统1包括其臂4的初始定位或准备。接着，外科手术继续，其中用户控制台2处的远程操作者9利用脚动控制件13和UID 14来操纵各种端部执行器以及可能的成像系统，以执行外科手术。也可由身着消毒手术衣的床边人员(例如，床边操作者8)在手术床或手术台处提供人工辅助，该床边人员可对机器人臂4中的一个或多个臂执行任务，诸如回缩组织、执行手动重新定位以及工具更换。也可存在非消毒人员以在用户控制台2处辅助远程操作者9。当规程或外科手术完成时，系统1和用户控制台2可被配置或设定成一定状态以便于完成术后规程，诸如清洁或消毒以及经由用户控制台2输入或打印保健记录。
在一个实施方案中，远程操作者9保持并且移动UID 14以提供输入命令，从而移动机器人系统1中的机器人臂致动器17。UID 14可例如经由控制台计算机系统16通信地耦接到机器人系统1的其余部分。UID 14可生成对应于UID 14的移动的空间状态信号，例如UID的手持式外壳的位置和取向，并且空间状态信号可以是控制机器人臂致动器17的运动的输入信号。机器人系统1可使用源自空间状态信号的控制信号来控制致动器17的成比例运动。在一个实施方案中，控制台计算机系统16的控制台处理器接收空间状态信号并生成对应的控制信号。基于控制致动器17如何通电以移动臂4的区段或连接件的这些控制信号，附接到臂的对应外科工具的移动可模拟UID 14的移动。类似地，远程操作者9与UID 14之间的交互可生成例如夹持控制信号，该夹持控制信号使外科工具7的抓持器的钳口闭合并夹持患者6的组织。
外科机器人系统1可包括若干UID 14，其中为控制相应臂4的致动器和外科工具(端部执行器)的每个UID生成相应的控制信号。例如，远程操作者9可移动第一UID 14以控制位于左机器人臂中的致动器17的运动，其中致动器通过移动臂4中的连杆、齿轮等来响应。类似地，远程操作者9对第二UID 14的移动控制另一个致动器17的运动，这继而移动机器人系统1的其他连杆、齿轮等。机器人系统1可包括固定到患者的右侧的床或台的右臂4，以及位于患者的左侧的左臂4。致动器17可包括一个或多个马达，该一个或多个马达被控制成使得它们驱动臂4的接合部旋转，以例如相对于患者改变附接到该臂的外科工具7的内窥镜或抓持器的取向。同一臂4中的若干致动器17的运动可由从特定UID 14生成的空间状态信号控制。UID 14还可控制相应外科工具抓持器的运动。例如，每个UID 14可生成相应的夹持信号以控制致动器(例如，线性致动器)的运动，该致动器在外科工具7的远侧端部处打开或闭合抓持器的钳口以抓持患者6体内的组织。
在一些方面，平台5和用户控制台2之间的通信可通过控制塔3，该控制塔可将从用户控制台2(并且更具体地从控制台计算机系统16)接收的用户命令转换成传输到机器人平台5上的臂4的机器人控制命令。控制塔3还可将状态和反馈从平台5传输回用户控制台2。机器人平台5、用户控制台2和控制塔3之间的通信连接可经由有线和/或无线链路，使用各种数据通信协议中的任何合适的数据通信协议。任何有线连接可任选地内置于手术室的地板和/或墙壁或天花板中。机器人系统1可向一个或多个显示器提供视频输出，包括手术室内的显示器以及可经由互联网或其他网络访问的远程显示器。还可加密视频输出或馈送以确保隐私，并且视频输出的全部或部分可保存到服务器或电子保健记录系统。
外科机器人臂可以具有可移动的、接合的和/或机动的构件，其具有多个自由度，该自由度可以在远侧端部处保持各种工具或附件。示例系统包括达芬奇(da Vinci(r))外科系统，其可以用于微创外科手术(例如，泌尿外科规程、普通腹腔镜外科规程、妇科腹腔镜外科规程、普通非心血管胸腔镜外科规程和胸腔镜辅助的心切开术规程)。“虚拟外科机器人臂”可以是在用户设置的捕获的视频上渲染的机器人臂的计算机生成的模型。虚拟外科机器人臂可以是真实机器人臂的复杂3D模型。另选地或另外，虚拟外科机器人臂可包括视觉辅助，诸如箭头、工具尖端或涉及提供关于机器人臂的位姿信息的其他表示，诸如真实机器人臂的几何简化版本。
移动虚拟现实系统
参考图2，一种用于模拟、训练或演示外科机器人系统的移动虚拟现实系统40可包括：虚拟现实处理器42；显示器44，该显示器用于接收和示出由处理器生成的虚拟现实环境，该虚拟现实环境包括虚拟外科机器人系统(例如，图1中所示的外科机器人系统)。具体地，处理器可生成数据流，该数据流包括虚拟外科机器人(例如，图1中所示的一个或多个外科机器人臂4和/或平台5的虚拟副本)和一个或多个虚拟外科器械(例如，图1中所示的外科工具107的虚拟副本)。虚拟现实处理器被配置为基于手输入以及通过手持式控制器(UID)上的传感器命令的动作或脚输入来控制虚拟外科机器人(包括器械)的移动或动作。例如，基于手输入，虚拟现实环境中的虚拟外科机器人臂或工具可以移动，从而模拟利用相同或相似手输入的现实外科规程。脚输入可改变哪个虚拟外科器械由一个或多个手持式UID控制。例如，脚输入可将控制从附接到一个虚拟外科机器人臂的一个虚拟外科器械切换到附接到另一个虚拟外科机器人臂的另一个虚拟外科器械。在其他情况下，脚输入可在不同的虚拟机器人臂之间或在相同虚拟机器人臂的各构件之间切换控制。换句话说，利用脚输入，用户可在哪个装置构件正主动由手输入控制之间进行切换。在一些实施方案中，脚输入可充当暂停对虚拟外科机器人(包括一个或多个臂和器械)的控制的离合器。例如，当脚输入指示脚正在按下脚踏板时，来自手持式UID的所有输入都将被忽略。当脚输入指示脚踏板被释放时，则对虚拟外科机器人的控制可恢复到离合器激活之前的位置。在一个实施方案中，各种装置可通过网络进行通信(例如，手持式输入、处理器、脚输入和显示器)。该网络可以是有线或无线的，并且可使用已知的通信协议(例如，TCP/IP、CAN、RS-232等)。
在一个实施方案中，移动虚拟现实系统不包括跟踪系统(例如，相机)的外部静止部件。有利地，不需要在模拟室中安装跟踪系统的任何部件，这可减少准备外科模拟的时间。跟踪系统没有外部部件也提供了更紧凑且移动的虚拟训练系统。如在其他部分中所讨论的，该系统可使用内置跟踪装置(诸如内向外相机、或安装在膝上型计算机或头戴式装置上的相机)，而不是外部部件。
在一个实施方案中，处理器和显示器与计算(诸如膝上型计算机)集成一体。在一个实施方案中，显示器是二维屏幕或三维屏幕(例如，多视图3D显示器、体积3D显示器或数字全息图显示器)。在一个实施方案中，显示器是穿戴在用户的头部上的3D可穿戴显示器。处理器可与显示器集成一体，需要或不需要外部计算机(例如，容纳在诸如膝上型计算机或头戴式计算装置等装置中)。
手持式输入
移动系统可包括一个或多个手持式用户输入装置(UID)46，该一个或多个手持式UID可感测来自手的运动的手输入。例如，用户的手可将UID挤压、旋转或平移。这些手输入可由UID感测。
在一个实施方案中，如图2所示，一个或多个手持式UID 46包含内向外跟踪模块48和/或惯性测量单元(IMU)47。内向外跟踪模块48可包括一个或多个相机或其他传感器，该一个或多个相机或其他传感器能够映射UID外部的对象和其移动。内向外跟踪模块48可在UID上具有不同位置，诸如但不一定在手持式UID的前部位置(如图2所示)，远离UID所保持的地方。可处理来自一个或多个相机或传感器的图像以确定UID的移动和位置，该移动或位置可用于控制虚拟外科机器人系统。IMU 47可包括加速度计、陀螺仪或它们的组合。在一个实施方案中，UID可包括用于挤压的一个或多个开关和/或一个或多个按钮。在一个实施方案中，处理器被配置为基于来自内向外跟踪模块(例如，相机)和/或IMU的输入来确定手输入(例如，UID的移动、位置、平移或取向)。
脚输入
移动系统可包括一个或多个脚输入装置，该一个或多个脚输入装置感测来自一个或多个脚的脚输入。脚输入装置可具有不同的形式。在一个实施方案中，图3A示出了用于捕获包含脚输入的视觉数据的光学传感器或外部相机52。处理器(例如，VR处理器42或专用脚输入处理器)可被配置为基于识别和跟踪脚的移动、位置或取向(例如，利用机器学习和/或经训练的神经网络)来确定脚输入。
在一个实施方案中，光学传感器或跟踪模块48可包括容纳在一个或多个手持式UID 46中的相机，如图2所示。相机可具有广角视图或镜头，例如能够查看170°或更大，以捕获来自手持位置的包含脚输入的视觉数据。因此，在此类实施方案中，系统可消除对单独的脚输入硬件的需要，因为其中的手持式UID和内向外跟踪模块可协同地用于感测脚输入。
在一个实施方案中，图3B示出了脚踏板50，该脚踏板具有一个或多个传感器、附加的接近度/悬停传感器和/或可感测来自脚的压力输入或由脚修改的脚踏板位置的编码器。另选地，脚踏板的表示可被投射到地板上，例如从3D显示器或3D头戴式显示器进行投射。在一个实施方案中，如图3C所示，一个或多个脚输入装置包括一个或多个跟踪传感器54，例如，惯性测量单元(IMU)。跟踪传感器可包括加速度计、陀螺仪或它们的组合。传感器可固定到脚上(例如，作为鞋、袜子、贴纸或带子)以检测脚的移动。这些输入可由处理器处理以在虚拟外科机器人系统的可控构件之间切换控制。
感测到的手输入和脚输入
在一个实施方案中，在图4中示出了用于模拟、训练或演示外科机器人系统的移动虚拟现实系统。该系统可包括：虚拟现实处理器62；显示器64，该显示器用于接收和示出由处理器生成的虚拟现实环境。该虚拟现实环境可包括：a)虚拟外科机器人系统(例如，如图1所示的在虚拟手术室中的系统)，b)用于接收来自手的手输入的装置，以及c)用于接收来自脚的脚输入的装置。虚拟现实处理器可被配置为：基于手输入来控制虚拟外科机器人系统的移动；以及使用脚运动和输入来控制机器人系统的其他功能，诸如在虚拟外科机器人系统的机器人器械、内窥镜或臂之间切换。
在一个实施方案中，系统包括与处理器通信的相机或传感器66，其中相机/传感器被定位(例如，定位和定向)成捕获包含来自用户的手输入和脚输入的图像数据。相机可将图像数据传送到处理器(例如，通过数据总线、电线、网络等)。处理器可被配置为通过在图像数据中识别和跟踪手或手持式用户接口装置(UID)来识别手输入，并且被配置为通过在图像数据中识别和跟踪膝盖、腿和/或脚及其移动来识别脚输入。
在一个实施方案中，处理器可通过机器学习(例如，一个或多个经过训练的人工神经网络)识别手输入。例如，处理器可使用对象识别和/或计算机视觉技术来识别和跟踪控制台UID 68。在这种情况下，控制台UID可以是没有内部跟踪元件(诸如相机或IMU)的无源控制台UID。另选地或另外，无源控制台UID可具有一个或多个信用标记(例如，固定在控制台UID的表面上)和/或用于帮助识别和跟踪控制台UID及其位置和取向的标记。因此，UID可有利地是无源UID，其不需要电力或与处理器通信。这可将手输入的责任交给处理器，从而简化系统的开发和设计。这也可允许对输入进行动态编程，例如，处理器可被编程为接收新类型的手输入，而无需重新设计手持式UID的硬件。
在一个实施方案中，系统不包括附加传感器(例如，相机、脚踏板、按钮等)来感测手输入和脚输入。因此，不需要附加传感器设置来提供虚拟训练环境，从而提高系统的移动性。在一个实施方案中，处理器、相机和显示器与穿戴装置(诸如头戴式装置60)集成一体，其中显示器被放置在眼睛上方，从而提供沉浸式虚拟体验。在一个方面，相机被容纳在位于可穿戴装置上的万向节中。
具有截面图的接口
在一个方面，如图5所示，用于外科机器人系统的模拟和远程操作的沉浸式虚拟接口70可包括显示器71，该显示器具有示出了沉浸式手术规程馈送74的虚拟视图的第一视图区段72和示出了用户对手术规程的控制的第二视图区段76。手术规程馈送74可以是来自物理手术规程(例如，来自物理手术室中的相机)或具有虚拟患者模型和虚拟外科机器人系统(例如，虚拟外科机器人臂、平台、患者模型等)的虚拟手术规程的馈送。虚拟接口可与头戴式装置集成一体，其中显示器被戴在用户的眼睛上方，从而提供沉浸式视觉和/或虚拟环境。在一个实施方案中，头戴式装置的一个或多个相机可为第二视图区段76提供数据。
在一个实施方案中，第一视图区段和第二视图区段由处理器渲染到显示器上。例如，第二视图可以是相机馈送或虚拟渲染。在一个实施方案中，第二视图区段具有示出物理踏板的相机馈送。另选地，相机视图可具有在来自相机馈送的图像上渲染的增强/虚拟脚踏板。如所提及的，相机馈送可由头戴式装置的相机(例如，定位成捕获装置的穿戴者的身体)生成。在一个实施方案中，第二视图区段是虚拟化视图，而不是相机馈送。虚拟化视图可基于相机馈送和/或其他传感器数据来生成。虚拟化视图可示出用户的身体的虚拟表示，包括脚。可生成虚拟控件(例如，虚拟脚踏板)。在一个实施方案中，第二视图区段的用户控件包括以下中的一者或多者：脚踏板、手持式用户接口装置、用户的脚、用户的手。在一个实施方案中，在用户控件视图中生成虚拟控件(例如，虚拟脚踏板或虚拟手持式UID)，并以用户身体的视图进行渲染。有利地，用户可通过用户控件视图看到由用户的四肢处理的虚拟控件，以提高控制。
另选地，在一个实施方案中，第一视图区段由处理器渲染到显示器上，并且第二视图区段包括显示器的无障碍开口，该开口的形状和尺寸允许用户控件的真实工作视图。显示器中的开口处于第一视图区段下方或在显示器的底部部分处(例如，当显示器位于头戴式装置上的眼睛上方时朝向用户的鼻子)并且提供用户的身体和控件的视图。
用户接口流
在图6中，示出了根据一个实施方案的用于外科机器人系统的模拟和远程操作的用户接口(或由用户接口执行的过程)90。该过程可例如在框91处由用户输入发起，诸如，用户拾取手持式UID。该过程可通过在本公开的其他部分中描述的技术来感测UID的拾取或移动。显示器或屏幕(例如，在可穿戴装置、膝上型计算机或独立监视器上)可响应于发起而激活和打开。
在框92处，该过程可提示用户输入登录信息(例如，利用输入字段)以及/或者接收来自用户的登录信息。可基于该登录信息检索用户简档。一个或多个用户简档93可被存储在数据库中并且在需要时被引用。每个用户简档可具有与该用户简档相关联的存储设置。在框94处，该过程可发起会话，包括将用户简档与登录信息同步。在新用户的情况下，可生成新的用户简档。该过程可基于用户登录信息来发起会话。
在框95处，该过程可提供可选择的演习选项。在一个实施方案中，该过程可呈现以下一个或多个选项106：a)在虚拟环境中模拟一个或多个外科规程和/或b)远程操作一个或多个外科机器人规程。有利地，相同的登录信息和设置可用于训练和模拟外科机器人规程以及真实的外科机器人规程。在一个方面，可通过用户简档将一种或多种演习分配给用户(例如，由第二用户或自动调度系统)，所分配的演习将由用户简档的用户执行。每种演习可指定规程类型108(例如，腹部的腹腔镜外科手术)。因此，当用户登录时，用户可从所分配的演习中选择，进行训练/模拟和进行真实的规程。还可基于用户简档呈现更新和消息。
在框96处，该过程可提供外科规程的可重新配置设置(例如，偏好)。此类设置可包括选择外科机器人系统的装备项(例如，外科机器人类型或工具类型104)。另外或另选地，可基于演习自动地选择装备(例如，规程类型)。在一个方面，用户可选择将在模拟或远程操作期间测量的一个或多个度量112。在一个实施方案中，设置可包括组织特性和交互110(例如，组织的厚度、柔软性或强度)。在一个方面，偏好/设置可包括反馈类型，诸如视觉、听觉和/或触觉反馈114，诸如示出外科工作空间的视觉指示(例如，在显示器上突出显示)、碰撞和可能碰撞的警告、外科工具在患者或患者模型中的深度以及组织交互。在一个实施方案中，用户可选择患者模型118或模型类型(例如，基于患者尺寸或形状/体型)。该过程有利地允许用户在不同的训练模拟之间进行选择并熟练掌握不同的外科机器人模型。
在框98处，该过程可在虚拟环境(例如，虚拟手术室中的外科机器人系统和患者模型)中执行外科机器人规程的模拟演习或通过实时馈送执行外科机器人规程的远程操作。该过程可在模拟规程期间向用户提供视觉、听觉或触觉反馈，该反馈是针对以下中的一者或多者提供：工作空间(例如，患者或患者模型中的外科工作空间)、故障、碰撞、警告、深度(例如，外科工具在患者/模型中的深度)、组织特性或交互。触觉或触感反馈可以是通过一个或多个马达、振动器和/或致动器(例如，它们被容纳在头戴式装置或手持式UID中)来提供。视觉反馈可在显示器上生成。听觉反馈可通过一个或多个扬声器(例如，位于头戴式装置、独立扬声器或计算机膝上型计算机扬声器上)来生成。过程和系统90可由处理器通过显示器(例如，头戴式显示器、膝上型计算机、平板电脑、台式计算机和其他等效技术)执行。在一个实施方案中，提供用户接口和过程90来模拟和操作图1至图5所示的系统(例如，由其中提及的处理器、显示器和UID执行)。
在一个实施方案中，该过程可在框100处确定模拟外科规程的得分和/或其他反馈(例如，演习结果、测量的度量、超过工具的深度的情况、或者切口可能太大的情况)。该得分和其他反馈可例如通过用户接口或显示器被提供给用户。在一个实施方案中，可基于会话来更新用户简档或与用户简档相关联的数据(例如，可与用户简档相关联地保存会话的设置/偏好)。
在一个实施方案中，图1至图5所示的系统中的每个系统可形成移动套件。例如，手持式UID可与头戴式装置或膝上型计算机配套(例如，打包)。该套件可为外科机器人系统提供移动训练系统或远程操作，可在医务人员之间轻松共享，而无需设置可能在虚拟现实系统中常见的外部传感器。
在一个实施方案中，该方法包括显示虚拟外科环境。例如，虚拟外科环境可以显示给用户控制台上的用户显示器(如图1所示)或任何本地或远程显示器。虚拟外科环境可以显示为体育场视图、平面图、第一人称视图或其他视图。显示器可以由网络上的节点(例如，计算装置)之间的数据传输协议驱动(例如，TCP/IP、以太网、UDP等等)。在一个实施方案中，将虚拟外科环境显示到头戴式显示器。可以跟踪头戴式显示器的穿戴者，使得穿戴者可以在整个虚拟外科环境中移动以获得对各种装备的位置和取向以及虚拟外科环境内的未占用空间和走道的三维理解。在一个实施方案中，虚拟外科环境是交互式的，使得用户可以调整虚拟外科环境中的对象的取向和/或位置(例如，虚拟外科机器人臂、控制塔、外科机器人平台的角度或高度、显示器的角度等等)。
在一个实施方案中，系统的处理器(例如，VR处理器、机器人控制器、相机、显示器和机器人臂)可包括微处理器和存储器。每个处理器可包括其中包括单个处理器内核或多个处理器内核的单个处理器或多个处理器。每个处理器可以表示一个或多个通用处理器，诸如微处理器、中央处理单元(CPU)等。更具体地讲，每个处理器可以是复杂指令集计算(CISC)微处理器、精简指令集计算(RISC)微处理器、超长指令字(VLIW)微处理器、实现其他指令集的处理器或实现指令集组合的处理器。每个处理器还可以是一个或多个专用处理器，诸如专用集成电路(ASIC)、蜂窝或基带处理器、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、网络处理器、图形处理器、通信处理器、加密处理器、协同处理器、嵌入式处理器或能够处理指令的任何其他类型的逻辑。
诸如本文所述的算法或方法步骤的模块、部件和其他特征可以由微处理器、离散硬件部件来实施，或者集成在硬件部件(诸如ASIC、FPGA、DSP或类似装置)的功能中。此外，此类特征和部件可以被实施为硬件装置内的固件或功能电路系统，然而，此类细节与本公开的实施方案没有重要关联。还应当理解，具有更少部件或可能更多部件的网络计算机、手持式计算机、移动计算装置、服务器和/或其他数据处理系统也可与本公开的实施方案一起使用。
以上详细描述的一些部分已经根据算法和对计算机存储器内的数据位的操作的符号表示来呈现。数据处理领域的技术人员利用这些算法描述和表示来向本领域的其他技术人员最有效地传达他们的工作要旨。算法在此处并且通常被视为导致期望结果的有条理的操作序列。操作为需要物理量的物理操纵的操作。
然而，应当记住，这些和类似的术语都将与适当的物理量相关联并且仅仅是应用于这些量的方便的标签。除非从上述讨论中另外明确指明，否则可以理解的是，在整个说明书中，利用诸如以下权利要求中提出的那些术语的讨论是指计算机系统或类似的电子计算装置的动作和过程，其操纵表示为计算机系统的寄存器和存储器内的物理(电子)量的数据并将其转换成相似地表示为计算机系统存储器或寄存器或其他此类信息存储、传输或显示装置内的物理量的其他数据。
本公开的实施方案还涉及用于执行本文的操作的设备。此类计算机程序存储在非暂态计算机可读介质中。机器可读介质包括用于以机器(例如，计算机)可读的形式来存储信息的任何机制。例如，机器可读(例如，计算机可读)介质包括机器(例如，计算机)可读存储介质(例如，只读存储器(“ROM”)、随机存取存储器(“RAM”)、磁盘存储介质、光学存储介质、闪存存储器装置)。
在前图中描绘的过程或方法可以由处理逻辑执行，该处理逻辑包括硬件(例如，电路系统、专用逻辑等)、软件(例如，体现在非暂态计算机可读介质上)或两者的组合。虽然上文根据一些顺序操作来描述过程或方法，但是应当理解，所描述的操作中的一些操作可以不同的顺序来执行。此外，一些操作可并行地而非顺序地执行。
本公开的实施方案未参考任何特定的编程语言来进行描述。应该理解，可以使用各种编程语言来实现本文描述的本公开的实施方案的教导内容。
在前述说明书中，已参考本公开的具体示例性实施方案描述了本公开的实施方案。将显而易见的是，在不脱离如以下权利要求中阐述的本公开的更广泛的实质和范围的情况下，可对本公开进行各种修改。因此，说明书和附图将被视为在示例性意义上而非限制性的。出于解释的目的，前述描述使用特定命名来提供对本发明的透彻理解。然而，对于本领域的技术人员将显而易见的是，实践本发明不需要具体细节。出于举例说明和描述的目的，已经提供了本发明的特定实施方案的前述说明。它们并非旨在为详尽的或将本发明限制为所公开的具体形式；根据上述教导内容可对本公开进行多种修改和改变。选择和描述实施方案是为了最好地解释本发明的原理及其实际应用，从而使得本领域的其他技术人员能够最好地利用本发明和具有适合于所设想的特定用途的各种修改的各种实施方案。以下权利要求书及其等同项旨在限定本发明的范围。

Claims (20)

1.一种用于模拟、训练或演示外科机器人系统的移动虚拟现实系统，所述移动虚拟显示系统包括：
处理器；
显示器，所述显示器用于接收和示出来自所述处理器的虚拟外科机器人，所述虚拟外科机器人包括多个虚拟外科器械；
一个或多个手持式用户输入装置UID，所述一个或多个手持式UID感测来自手的手输入；和
一个或多个脚输入装置，所述一个或多个脚输入装置感测来自脚的脚输入，
其中所述处理器被配置为：
基于所述手输入来控制所述虚拟外科机器人的移动，以及
基于所述脚输入来改变哪个所述虚拟外科器械由所述一个或多个手持式UID控制。
2.根据权利要求1所述的移动虚拟现实系统，其中，所述移动虚拟现实系统不具有外部静止相机。
3.根据权利要求1所述的移动虚拟现实系统，其中，所述处理器和所述显示器与膝上型计算机集成一体。
4.根据权利要求1所述的移动虚拟现实系统，其中，所述显示器是二维屏幕或三维屏幕。
5.根据权利要求1所述的移动虚拟现实系统，其中，所述显示器是穿戴在用户的头部上的3D可穿戴显示器。
6.根据权利要求5所述的移动虚拟现实系统，其中，所述处理器与容纳在装置中的所述显示器集成一体。
7.根据权利要求1所述的移动虚拟现实系统，其中，所述一个或多个手持式UID包括内向外跟踪模块，并且所述处理器被配置为基于指示由所述内向外跟踪模块感测到的所述一个或多个手持式UID的移动、位置或取向的数据来确定所述手输入。
8.根据权利要求7所述的移动虚拟现实系统，其中，所述一个或多个手持式UID包括惯性测量单元(IMU)，并且所述处理器被配置为基于指示由所述IMU感测到的所述一个或多个手持式UID的移动、位置或取向的数据来确定所述手输入。
9.根据权利要求1所述的移动虚拟现实系统，其中，所述一个或多个脚输入装置包括脚踏板。
10.根据权利要求1所述的移动虚拟现实系统，其中，所述一个或多个脚输入装置包括跟踪传感器。
11.根据权利要求10所述的移动虚拟现实系统，其中，所述跟踪传感器包括加速度计、陀螺仪或它们的组合。
12.根据权利要求1所述的移动虚拟现实系统，其中，所述一个或多个脚输入装置包括光学传感器，所述光学传感器捕获包含所述脚输入的视觉数据，并且所述处理器被配置为基于通过使用机器学习识别和跟踪所述视觉数据中所述脚的移动、位置或取向来确定所述脚输入。
13.根据权利要求12所述的移动虚拟现实系统，其中，所述光学传感器包括容纳在所述一个或多个手持式UID中的相机。
14.根据权利要求13所述的移动虚拟现实系统，其中，所述相机具有170°或更大的视野，以捕获包含所述脚输入的所述视觉数据。
15.一种用于提供用于模拟和远程操作外科机器人系统的沉浸式移动接口的方法，所述方法包括：
接收来自用户的登录信息；
将用户简档与所述登录信息同步以发起会话，其中所述用户简档具有外科规程的一个或多个可重新配置设置；
提供一种或多种可选择的演习，所述一种或多种可选择的演习确定对外科机器人规程的模拟或对外科机器人规程的远程操作；以及
在所述会话中模拟外科规程。
16.根据权利要求15所述的方法，其中，所述可重新配置设置包括以下中的一者或多者：
外科机器人臂或工具类型，
在所述演习期间要测量的一个或多个度量，
组织特性，
视觉、听觉、触觉或触感反馈类型，或
患者模型设置。
17.根据权利要求15所述的方法，所述方法还包括：
确定所模拟的外科规程的得分；以及
将所述得分的反馈提供给所述用户。
18.根据权利要求15所述的方法，所述方法还包括：
在模拟规程期间向所述用户提供视觉、听觉、触觉或触感反馈，所述反馈是针对以下中的一者或多者提供：工作空间、故障、碰撞、警告、深度、组织特性或交互。
19.根据权利要求15所述的方法，所述方法还包括：
基于所述会话来更新与所述用户简档相关联的偏好。
20.一种用于提供用于模拟和远程操作外科机器人系统的沉浸式移动接口的系统，所述系统包括：
虚拟现实处理器，所述虚拟现实处理器被配置为：
接收来自用户的登录信息；
将用户简档与所述登录信息同步以发起会话，其中所述用户简档具有外科规程的一个或多个可重新配置设置；
提供一种或多种可选择的演习，所述一种或多种可选择的演习确定对外科机器人规程的模拟或对外科机器人规程的远程操作；以及
在所述会话中模拟所述外科规程。
CN202080099372.8A 2020-04-03 2020-05-04 用于外科机器人系统的移动虚拟现实系统 Pending CN115397353A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/840,144 US11690674B2 (en) 2020-04-03 2020-04-03 Mobile virtual reality system for surgical robotic systems
US16/840144 2020-04-03
PCT/US2020/031367 WO2021201890A1 (en) 2020-04-03 2020-05-04 Mobile virtual reality system for surgical robotic systems

Publications (1)

Publication Number Publication Date
CN115397353A true CN115397353A (zh) 2022-11-25

Family

ID=77920880

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080099372.8A Pending CN115397353A (zh) 2020-04-03 2020-05-04 用于外科机器人系统的移动虚拟现实系统

Country Status (4)

Country Link
US (2) US11690674B2 (zh)
EP (1) EP4125671A4 (zh)
CN (1) CN115397353A (zh)
WO (1) WO2021201890A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220252687A1 (en) * 2020-11-24 2022-08-11 Global Diagnostic Imaging Solutions, Llp System and method for medical simulation

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8600551B2 (en) 1998-11-20 2013-12-03 Intuitive Surgical Operations, Inc. Medical robotic system with operatively couplable simulator unit for surgeon training
US8398541B2 (en) 2006-06-06 2013-03-19 Intuitive Surgical Operations, Inc. Interactive user interfaces for robotic minimally invasive surgical systems
US20090305210A1 (en) 2008-03-11 2009-12-10 Khurshid Guru System For Robotic Surgery Training
US8140989B2 (en) 2009-02-19 2012-03-20 Kimberly-Clark Worldwide, Inc. Virtual room use simulator and room planning system
US8521331B2 (en) 2009-11-13 2013-08-27 Intuitive Surgical Operations, Inc. Patient-side surgeon interface for a minimally invasive, teleoperated surgical instrument
EP3084747B1 (en) * 2013-12-20 2022-12-14 Intuitive Surgical Operations, Inc. Simulator system for medical procedure training
KR20170083091A (ko) 2014-11-13 2017-07-17 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 통합된 사용자 환경
US9643314B2 (en) 2015-03-04 2017-05-09 The Johns Hopkins University Robot control, training and collaboration in an immersive virtual reality environment
EP3274889A4 (en) 2015-03-26 2019-01-02 Surgical Safety Technologies Inc. Operating room black-box device, system, method and computer readable medium
US10136949B2 (en) 2015-08-17 2018-11-27 Ethicon Llc Gathering and analyzing data for robotic surgical systems
JP6714085B2 (ja) * 2015-12-29 2020-06-24 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． ロボット手術のために仮想現実デバイスを使用するシステム、コントローラ、及び方法
US10510268B2 (en) * 2016-04-05 2019-12-17 Synaptive Medical (Barbados) Inc. Multi-metric surgery simulator and methods
CA3048999C (en) 2016-06-13 2024-01-23 Synaptive Medical (Barbados) Inc. Virtual operating room layout planning and analysis tool
JP7046912B2 (ja) * 2016-08-12 2022-04-04 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 遠隔操作医療システムにおけるオンスクリーンメニューのためのシステム及び方法
US10568703B2 (en) * 2016-09-21 2020-02-25 Verb Surgical Inc. User arm support for use in a robotic surgical system
US20180098813A1 (en) 2016-10-07 2018-04-12 Simbionix Ltd. Method and system for rendering a medical simulation in an operating room in virtual reality or augmented reality environment
US10368955B2 (en) * 2017-03-31 2019-08-06 Johnson & Johnson Innovation-Jjdc, Inc. Multi-functional foot pedal assembly for controlling a robotic surgical system
US11589937B2 (en) 2017-04-20 2023-02-28 Intuitive Surgical Operations, Inc. Systems and methods for constraining a virtual reality surgical system
US10154360B2 (en) 2017-05-08 2018-12-11 Microsoft Technology Licensing, Llc Method and system of improving detection of environmental sounds in an immersive environment
US10806532B2 (en) 2017-05-24 2020-10-20 KindHeart, Inc. Surgical simulation system using force sensing and optical tracking and robotic surgery system
US11011077B2 (en) 2017-06-29 2021-05-18 Verb Surgical Inc. Virtual reality training, simulation, and collaboration in a robotic surgical system
US11270601B2 (en) * 2017-06-29 2022-03-08 Verb Surgical Inc. Virtual reality system for simulating a robotic surgical environment
US11284955B2 (en) * 2017-06-29 2022-03-29 Verb Surgical Inc. Emulation of robotic arms and control thereof in a virtual reality environment
WO2019036790A1 (en) * 2017-08-21 2019-02-28 Precisionos Technology Inc. MEDICAL VIRTUAL REALITY, MIXED REALITY OR SURGICAL SYSTEM IN INCREASED REALITY
US10624707B2 (en) * 2017-09-18 2020-04-21 Verb Surgical Inc. Robotic surgical system and method for communicating synchronous and asynchronous information to and from nodes of a robotic arm
CA3088004A1 (en) 2018-01-10 2019-07-18 Covidien Lp Guidance for positioning a patient and surgical robot
AU2019214340A1 (en) 2018-02-02 2020-09-24 Intellijoint Surgical Inc. Operating room remote monitoring
US11189379B2 (en) * 2018-03-06 2021-11-30 Digital Surgery Limited Methods and systems for using multiple data structures to process surgical data
US11232556B2 (en) * 2018-04-20 2022-01-25 Verily Life Sciences Llc Surgical simulator providing labeled data
US20200074402A1 (en) 2018-09-05 2020-03-05 Trax Technology Solutions Pte Ltd. Monitoring product shortages over time

Also Published As

Publication number Publication date
US20210307831A1 (en) 2021-10-07
EP4125671A1 (en) 2023-02-08
EP4125671A4 (en) 2024-04-24
US20230270502A1 (en) 2023-08-31
US11690674B2 (en) 2023-07-04
WO2021201890A1 (en) 2021-10-07

Similar Documents

Publication Publication Date Title
JP6782750B2 (ja) ロボット手術システム内のツールの相互使用可能な切換え
JP7071405B2 (ja) ロボット外科システムにおける仮想現実訓練、模擬、及び協働
US10610303B2 (en) Virtual reality laparoscopic tools
US20190005838A1 (en) Virtual reality communication protocol
JP2016518877A (ja) ソフトウェア構成可能なマニピュレータ自由度
US11944395B2 (en) 3D visualization enhancement for depth perception and collision avoidance
US11382696B2 (en) Virtual reality system for simulating surgical workflows with patient models
US11389246B2 (en) Virtual reality system with customizable operation room
US20230270502A1 (en) Mobile virtual reality system for surgical robotic systems
US11950850B2 (en) Feedback for surgical robotic system with virtual reality
Zinchenko et al. Virtual reality control of a robotic camera holder for minimally invasive surgery
CN115697235A (zh) 使用增强现实的远程外科指导
US11657730B2 (en) Simulator for manual tasks
Hill et al. Telepresence interface with applications to microsurgery and surgical simulation
KR20230082640A (ko) 수술 로봇용 증강 현실 헤드셋
JP7455965B2 (ja) 患者モデルとカスタマイズ可能な手術室とを用いた外科手術作業フローをシミュレートするための仮想現実システム
US20230414307A1 (en) Systems and methods for remote mentoring
KR20150007517A (ko) 실감형 시각정보를 이용한 수술동작 지시방법
US20230149085A1 (en) Surgical simulation device
Mick Development and Assessment of Alternative Control Methods for the Da Vinci Surgical System
WO2022119766A1 (en) Systems and methods for generating virtual reality guidance
WO2023117155A1 (en) Systems and methods for clinical workspace simulation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination