CN115697235A - 使用增强现实的远程外科指导 - Google Patents

使用增强现实的远程外科指导 Download PDF

Info

Publication number
CN115697235A
CN115697235A CN202080101729.1A CN202080101729A CN115697235A CN 115697235 A CN115697235 A CN 115697235A CN 202080101729 A CN202080101729 A CN 202080101729A CN 115697235 A CN115697235 A CN 115697235A
Authority
CN
China
Prior art keywords
electronic device
portable electronic
virtual
remote user
surgical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080101729.1A
Other languages
English (en)
Inventor
B·奥尔森
B·A·福斯特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Verb Surgical Inc
Original Assignee
Verb Surgical Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Verb Surgical Inc filed Critical Verb Surgical Inc
Publication of CN115697235A publication Critical patent/CN115697235A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/35—Surgical robots for telesurgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Master-slave robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A61B2034/2057—Details of tracking cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2059—Mechanical position encoders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/252—User interfaces for surgical systems indicating steps of a surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/368—Correlation of different images or relation of image positions in respect to the body changing the image on a display according to the operator's position
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Robotics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Manipulator (AREA)

Abstract

基于机器人信息和通过深度相机对手术室的感测来生成该OR的虚拟表示。该深度相机中的一者与由该手术室中的本地用户操作的便携式电子装置集成。该OR的该虚拟表示与三维点云数据一起传送到虚拟现实头戴式设备。将虚拟现实环境呈现给由远程用户操作的该虚拟现实头戴式设备的显示器。该远程用户的虚拟表示在增强现实中呈现给该便携式电子装置的显示器。

Description

使用增强现实的远程外科指导
技术领域
本公开整体涉及外科机器人领域，并且更具体地涉及远程外科指导。
背景技术
微创外科手术(MIS)诸如腹腔镜手术涉及旨在在外科规程期间减少组织损伤的技术。例如，腹腔镜规程通常涉及在患者体内(例如，在腹部)形成多个小切口，以及通过切口将一个或多个工具和至少一个内窥镜相机引入患者体内。然后通过使用引入的工具执行外科规程，其中可视化辅助由相机提供。
一般来讲，MIS提供多重有益效果，诸如减少患者疤痕、减轻患者疼痛、缩短患者恢复期以及降低与患者恢复相关联的医疗费用。在一些实施方案中，可利用外科机器人系统执行MIS，该外科机器人系统包括用于基于来自操作者的命令操纵外科器械的一个或多个机器人臂。例如，操作员可提供用于操纵外科器械的命令，同时查看由相机提供并在显示器上向用户显示的图像。
外科规程的执行可能需要关于外科手术的不同方面(包括设置、工作流程等)的深入知识和经验。外科机器人系统的使用潜在地增加了外科手术的复杂性。外科医生或助手在术前、术中和术后与处于远程位置的医疗专业人员协作可能是有帮助的。通过远程协作，可改进规程并且可识别和降低风险。
发明内容
通常，外科机器人系统具有允许术前、术中和术后协作的远程指导特征。远程指导特征可提供用于经由远程指导者引导术中规程的直观且稳健的方法。远程用户(“指导者”)佩戴虚拟现实(VR)头戴式设备以编排化身，该化身是指导者的数字表示，其被虚拟地引入到手术室中且由控制或佩戴增强现实(AR)装置(诸如计算机平板、移动智能电话或头戴式设备(例如，增强现实或混合现实眼镜))的本地用户可见。AR是指将虚拟对象(例如，指导者的数字表示)叠加在示出AR用户的物理环境(在这种情况下是手术室)的视频馈送上。虚拟对象通常被集成到用户的物理环境中，例如，通过与物理环境交互。应当理解，为了本公开的目的，术语增强现实和混合现实是可互换的。
远程VR用户和本地术中AR用户都被界定在相对于Verb机器人系统的共享坐标系中。换句话说，它们具有公共坐标系，使得它们以现实方式共同定位在相同虚拟空间中。远程虚拟现实用户不仅通过化身可见，而且还可创建位于3D空间内的注释和标记，提供机器人臂移动/位置的推荐和示例，以及推荐外科手术台取向/位置。远程用户和本地用户的音频流可在远程用户和本地用户之间来回传输以有助于口头通信。因此，来自远程用户的输入(例如，注释、标记、推荐和/或音频)可向本地用户提供关于外科规程的不同方面的有帮助的见解。
继而，物理手术室环境的点云信息可由深度相机捕捉并且传输回虚拟现实环境以供远程用户查看和操纵。通过使用增强现实头戴式设备/平板计算机作为传感器源和数据生成器，远程VR用户可在VR中构造患者的3D网格，该网格将指示和实现术中引导。
在一些实施方案中，系统可包括多个深度相机(例如，RGBD扫描器或等效技术)。深度相机中的至少一者与由手术室(OR)中的本地用户操作的便携式电子装置集成。深度相机中的另一者被布置在OR中，诸如安装在装备和/或墙壁上。系统可包括外科机器人，诸如用于在外科手术期间支撑患者的机器人臂和平台，以及用于命令外科机器人的移动的控制器。
基于a)从外科机器人或控制器接收的机器人信息和b)由多个深度相机对OR的感测来生成OR的虚拟表示。向虚拟现实头戴式设备传输OR的虚拟表示和三维点云数据，其用于向由远程用户佩戴的虚拟现实头戴式设备的显示器呈现虚拟现实环境。以这种方式，远程用户可“看到”在OR中正在发生什么并且提供见解。
在便携式电子装置处在增强现实中呈现远程用户的虚拟表示。虚拟表示可以是叠加在OR的“实况”视频馈送上的图形对象。可基于远程用户的位置来生成远程用户的虚拟表示，使得远程用户的虚拟表示共享公共坐标系，该公共坐标系对于OR的虚拟表示、外科机器人和本地用户的便携式电子装置是公共的。换句话说，如果远程用户在OR的虚拟表示中朝向患者向前移动(如在虚拟现实头戴式设备中向远程用户示出)，则远程用户的化身将同时朝向患者向前移动，如向本地用户显示的增强现实所示。类似地，如果远程用户在向远程用户示出的虚拟现实环境中“指向”患者的部分，则远程用户的化身将在向本地用户示出的增强现实中指向患者的对应部分。这创建本地用户和远程用户之间的“现实”交互并且将本地用户的增强现实与远程用户的虚拟现实合并。
可通过远程用户的虚拟表示来指示来自远程用户的输入诸如音频数据(例如，远程用户的语音)和由数字工具(例如，由远程用户保持的手持式用户输入装置)生成的虚拟注释。虚拟表示可以是将远程用户的手势、移动、位置和/或意图传送给用户的人(例如，头和手)的简化呈现、现实表示或符号表示。
附图说明
图1示出了根据一些实施方案的手术室中的外科机器人系统的示例。
图2示出了根据一些实施方案的具有远程远距指导特征的外科机器人系统。
图3示出了根据一些实施方案的在增强现实体验中虚拟地导入手术室中的远程用户。
图4示出了根据一些实施方案的虚拟地导入远程用户的虚拟现实体验中的手术室和本地用户。
图5示出了根据一些实施方案的用于利用外科机器人系统进行远程指导的方法。
具体实施方式
本发明的各个方面和变型的非限制性示例在本文中描述并在附图中示出。
参见图1，这是手术场所中的示例性外科机器人系统1的绘画视图。系统1包括用户控制台2、控制塔3，以及在外科机器人平台5(例如，台、床等)处的一个或多个外科机器人臂4。臂4可安装到患者搁置于其上的台或床，如图1的示例所示，或者它们可安装到与台或床分离的手推车。系统1可以结合用于对患者6执行手术的任何数量的装置、工具或附件。例如，系统1可包括用于执行外科手术的一个或多个外科工具7。外科工具7可以是附接到外科臂4的远侧端部的端部执行器，用于执行外科规程。
每个外科工具7可在外科手术期间手动操纵、通过机器人操纵或两者。例如，外科工具7可以是用于进入、查看或操纵患者6的内部解剖结构的工具。在一个方面，外科工具7为可抓持患者的组织的抓持器。外科工具7可被配置为由床边操作者8手动地控制、经由其附接到的外科机器人臂4的致动移动来通过机器人控制、或两者。机器人臂4被示出为台上安装的，但在其他配置中，臂4可安装到手推车、天花板或侧壁，或者安装到另一个合适的结构支撑件。
远程操作者9(诸如外科医生或其他人类操作者)可使用用户控制台2以远程操纵臂4和其附接的外科工具7，例如在此称为远程操作。用户控制台2可位于与系统1的其余部分相同的手术室中，如图1所示。然而，在其他环境中，用户控制台2可位于相邻或附近的房间中，或者其可位于远程位置，例如，在不同的建筑物、城市或国家中。用户控制台2可包括座椅10、脚动控件13、一个或多个手持式用户输入装置(UID)14以及至少一个用户显示器15，该用户显示器被配置为显示例如患者6体内的外科手术部位的视图。在示例性用户控制台2中，远程操作者9坐在座椅10中并查看用户显示器15，同时操纵脚动控件13和手持式UID14，以便远程控制臂4和安装在臂4的远侧端部上的外科工具7。
在一些变型中，床边操作者8可以“床上”模式操作系统1，其中床边操作者8(用户)位于患者6的一侧并且同时操纵机器人驱动的工具(附接到臂4的端部执行器)，其中用一只手握持手持式UID 14并且用另一只手握持手动腹腔镜工具。例如，床边操作者的左手可操纵手持式UID以控制机器人驱动的工具，而床边操作者的右手可操纵手动腹腔镜工具。在系统1的此特定变型中，床边操作者8可对患者6执行机器人辅助微创外科手术和手动腹腔镜外科手术两者。
在示例性规程(外科手术)期间，为患者6做手术准备并以无菌方式为该患者覆盖消毒盖布以实现麻醉。在机器人系统1的臂处于收起配置或撤回配置时，可手动地执行对外科手术部位的初始触及(以便于触及外科手术部位)。一旦完成触及，就可执行机器人系统1包括其臂4的初始定位或准备。接着，外科手术继续，其中用户控制台2处的远程操作者9利用脚动控制件13和UID 14来操纵各种端部执行器以及可能的成像系统，以执行外科手术。也可由身着消毒手术衣的床边人员(例如，床边操作者8)在手术床或手术台处提供人工辅助，该床边人员可对机器人臂4中的一个或多个臂执行任务，诸如回缩组织、执行手动重新定位以及工具更换。也可存在非消毒人员以在用户控制台2处辅助远程操作者9。当规程或外科手术完成时，系统1和用户控制台2可被配置或设定成一定状态以便于完成术后规程，诸如清洁或消毒以及经由用户控制台2输入或打印保健记录。
在一个实施方案中，远程操作者9保持并且移动UID 14以提供输入命令，从而移动机器人系统1中的机器人臂致动器17。UID 14可例如经由控制台计算机系统16通信地耦接到机器人系统1的其余部分。UID 14可生成对应于UID 14的移动的空间状态信号，例如UID的手持式外壳的位置和取向，并且空间状态信号可以是控制机器人臂致动器17的运动的输入信号。机器人系统1可使用源自空间状态信号的控制信号来控制致动器17的成比例运动。在一个实施方案中，控制台计算机系统16的控制台处理器接收空间状态信号并生成对应的控制信号。基于控制致动器17如何通电以移动臂4的区段或连接件的这些控制信号，附接到臂的对应外科工具的移动可模拟UID 14的移动。类似地，远程操作者9与UID 14之间的交互可生成例如夹持控制信号，该夹持控制信号使外科工具7的抓持器的钳口闭合并夹持患者6的组织。
外科机器人系统1可包括若干UID 14，其中为控制相应臂4的致动器和外科工具(端部执行器)的每个UID生成相应的控制信号。例如，远程操作者9可移动第一UID 14以控制位于左机器人臂中的致动器17的运动，其中致动器通过移动臂4中的连杆、齿轮等来响应。类似地，远程操作者9对第二UID 14的移动控制另一个致动器17的运动，这继而移动机器人系统1的其他连杆、齿轮等。机器人系统1可包括固定到患者的右侧的床或台的右臂4，以及位于患者的左侧的左臂4。致动器17可包括一个或多个马达，该一个或多个马达被控制成使得它们驱动臂4的接合部旋转，以例如相对于患者改变附接到该臂的外科工具7的内窥镜或抓持器的取向。同一臂4中的若干致动器17的运动可由从特定UID 14生成的空间状态信号控制。UID 14还可控制相应外科工具抓持器的运动。例如，每个UID 14可生成相应的抓持信号以控制致动器(例如，线性致动器)的运动，该致动器在外科工具7的远侧端部处打开或闭合抓紧器的钳口以抓持患者6体内的组织。
在一些方面，平台5和用户控制台2之间的通信可通过控制塔3，该控制塔可将从用户控制台2(并且更具体地从控制台计算机系统16)接收的用户命令转换成传输到机器人平台5上的臂4的机器人控制命令。控制塔3还可将状态和反馈从平台5传输回用户控制台2。机器人平台5、用户控制台2和控制塔3之间的通信连接可经由有线和/或无线链路，使用各种数据通信协议中的任何合适的数据通信协议。任何有线连接可任选地内置于手术室的地板和/或墙壁或天花板中。机器人系统1可向一个或多个显示器提供视频输出，包括手术室内的显示器以及可经由互联网或其他网络访问的远程显示器。还可加密视频输出(视频馈送)以确保隐私，并且视频输出的全部或部分可保存到服务器或电子保健记录系统。
图2示出了具有远程特征的外科机器人系统1，该远程特征允许外科医生在术前、术中和术后协作。实时的虚拟现实和增强现实协作平台的发展实现了交互范例，其中远程外科专业人员可从不同位置方便地观察和建议外科手术。
处理器24可基于a)机器人信息和b)由一个或多个深度相机(例如，相机21、23)对手术室的感测来生成手术室的虚拟表示。深度相机可包括与由手术室中的本地用户操作的便携式电子装置22集成的至少一个深度相机23，以及在手术室中布置在固定位置处(例如，在墙壁上和/或在装备上)的至少一个静止深度相机21。深度相机可以是RGBD传感器或感测颜色和深度的其他等效技术。
机器人信息由图1所示的外科机器人系统的部件生成。例如，外科机器人平台可提供由伺服系统或传感器生成的遥测，该遥测指示平台当前保持在的位置和取向(例如，平台高度和角度)。类似地，外科机器人臂和外科工具的传感器或控制器可提供遥测，该遥测描述外科机器人臂的位置(例如，关节角度)、当前附接到机器人臂的工具类型、工具抓持状态(例如，90％闭合)和活动工具能量。可在控制塔或用户控制台处收集该数据。此外，诸如系统状态(开、关、空闲)或错误代码的系统信息可被收集并且与远程用户共享。
处理器可使用机器人信息以基于例如机器人关节角度以及平台高度和角度来生成机器人信息所指示的位置中的相应机器人部件的虚拟表示。这可避免根据由深度相机感测的图像数据外推平台、机器人臂和工具的精确定位的需要，同时还改进包括在手术室的虚拟表示中的这些部件的虚拟表示的准确性。
在一些实施方案中，便携式电子装置22可以是平板计算机或移动智能电话28。增强现实(例如，远程用户和/或其他虚拟对象的表示)被呈现在装置的显示器上，叠加在由装置捕捉的图像流上。另选地，便携式电子装置可以是头戴式装置诸如增强现实或混合现实眼镜39，其具有佩戴在眼睛前方的透明显示器，增强现实被呈现在该透明显示器上。这以“实时”或“实况”方式进行，这意味着增强现实的处理和显示与图像流的捕获同时执行，尽管存在不可避免的延迟诸如缓冲、处理和通信时延。
手术室的虚拟表示和三维点云数据被传输到虚拟现实头戴式设备26(由远程用户操作)，该虚拟现实头戴式设备用于将虚拟现实环境呈现给虚拟现实头戴式设备的显示器。此处，虚拟现实环境是完全沉浸式的，这意味着向远程用户示出的内容不与远程用户的环境集成，而是远程用户被虚拟地传达到手术室。
手术室的虚拟表示可包括手术室和手术室中的部件的三维呈现。在一些情况下，虚拟化手术室可包括元数据诸如装备类型、位置和取向，使得虚拟现实头戴式设备可将那些对象呈现到虚拟现实环境中，从而减小必须被传输到虚拟现实头戴式设备的数据量，例如，如果环境的所有对象的原始3D点云数据要被传输。手术室的虚拟表示可包括在OR环境中感测的对象、墙壁、天花板、人员(例如，外科医生、助手等)的网格表示。手术室的虚拟表示可基于由多个深度相机捕获的3D点云数据来构造。
虚拟表示可由处理器24生成。处理器可与独立计算机成一体，与控制器、膝上型计算机、由本地用户操作的便携式电子装置或外科机器人系统的其他计算系统集成。
然而，应当认识到，对于一些区域，有益的是将原始3D点云数据传输到远程用户，提供更大的细节和分辨率，并且允许远程用户与手术室的感测环境交互的更大能力。该3D点云数据可由便携式电子装置22的深度相机生成，或者由在OR中安装在装备或墙壁上的指向感兴趣区域的一个或多个深度相机生成。例如，本地用户可将便携式电子装置的深度相机23瞄准患者身上的感兴趣区域(例如，患者腹部)。该原始3D点云数据可被传输到远程VR头戴式设备以允许远程用户分析和操纵该原始图像数据。
例如，远程外科医生可在另一个外科医生正在执行外科手术时对患者执行器官的分割，使得术中人员可接收生理界标上的实时视觉引导。分割是指将图像划分成具有类似属性(诸如灰度级、颜色、纹理、亮度和对比度)的区域的过程。因此，远程用户可细分图像中的对象以帮助识别感兴趣区域(例如，器官、肿瘤、病变、其他异常的部分)。基于原始点云数据，远程用户还可识别患者身上的用作外科机器人器械的入口点的端口的位置。因此，具有可被引导到感兴趣区域的深度相机会允许本地用户向远程用户发送患者的详细扫描。
处理器使用由深度相机感测的机器人信息和传感器数据以识别并虚拟地建立外科机器人系统和其部件在AR装置的坐标系中的3D位置和取向。这可通过已知计算机视觉算法(诸如图像分类和对象定位)以及执行从一个坐标系到另一个坐标系的变换以确定公共坐标系来执行。
通过该过程，跨外科机器人系统和便携式电子装置布置的深度相机建立公共坐标系并且创建与房间中的机器人臂/台的实时位置/取向匹配的机器人臂/台的虚拟重建。在外科机器人系统的部件被定位在3D空间(例如，控制塔、外科医生桥，以及台和臂)中之后，远程参与者可与OR的虚拟重构交互。远程用户的虚拟表示(例如，远程用户的手、身体和/或头部的取向/位置)传送到相同的相对坐标系中的增强现实用户。
对由与便携式电子装置集成的至少一个深度相机所生成的数据执行同时定位和标测(SLAM)算法，以在公共坐标系中定位便携式电子装置3D空间的位置和取向。
本地用户的便携式电子装置和/或处理器24可具有与外科机器人系统的数据连接以使得其可检索实时机器人信息(例如，机器人的臂关节角度、工具类型、工具抓持状态、活动工具能量、臂模式、台位置和取向、病例外科医生，以及故障排除错误代码)。这可用于生成虚拟OR并且向本地用户和远程用户提供通知。
除了在3D空间中定位外科机器人系统的部件(例如，平台、用户控制台、控制塔、机器人臂)之外，通过由一个或多个深度相机(例如，23和/或21)生成的3D点云流向远程用户发送进入3D术中空间的实况“窗口”。该点云提供来自OR的实际深度和RGB数据的实时流，而不是部件位置/取向数据的简化流，其调整远程用户的虚拟现实环境中的外科机器人系统的预呈现部件和OR部件。在正确坐标空间中相对于虚拟现实环境的其余部分显示的该点云流解锁远程用户的附加能力。
例如，远程用户可通过3D点云数据(或基于3D点云数据生成的网格)更详细地看到患者身体，并且创建针对套管针应当被放置在患者中的位置的数字路点和虚拟引导(参见例如图4)。另外地或另选地，远程用户可创建针对机器人臂应当如何相对于患者身体取向的数字路点和虚拟引导。另外地或另选地，远程用户可给出关于人员应站在手术室中的何处或者装备应被布置在手术室中的何处的有教育的建议。本地用户通过便携式装置22与远程用户交互，如图3所示。
图3示出了手术室和放置在手术室中的远程用户的虚拟表示，从而为本地用户创建增强现实体验。远程用户的虚拟表示基于远程用户的位置和来自远程用户的输入在增强现实中呈现给便携式电子装置22的显示器。远程用户的位置共享公共坐标系，即其对于OR的虚拟表示和本地用户的便携式电子装置是公共的。
远程用户相对于OR的位置可使用用户的远程位置处的一个或多个参考点来确定。例如，在远程用户的远程位置处，传感器可被布置在远程用户的周围环境中和/或VR头戴式设备上。可在远程用户的位置中选择(例如，任意地)原点以匹配手术室的空间中的原点。可执行变换以将远程用户的移动和位置映射到OR的虚拟表示。因此，可相对于手术室的坐标系计算远程用户的位置和取向，从而允许远程用户虚拟地探索手术室并与手术室交互。
如在其他部分中讨论的，本地用户可将可与便携式装置22集成的深度相机瞄准感兴趣位置(诸如患者腹部)。由深度相机生成的原始点云数据可被实时传输到远程用户。虚拟标记和对象可基于由远程用户生成的输入呈现在便携式装置的显示器上，该输入诸如：由数字工具远程生成的虚拟注释、解剖分割数据、套管针放置的指示和先前外科设置。
例如，远程用户可使用如图2所示的手持式数字工具27来圈出要切割或移除的区域、标记套管针的入口端口应处于的位置、或者标记需要缝合的位置。这些“标记”可在本地用户的便携式装置中由虚拟对象(例如，线、突出显示区域、或形状)虚拟地表示。
如所讨论的，来自远程用户的输入可包括在VR头戴式设备处捕获的音频数据。来自本地用户的音频可同时传输到VR头戴式设备，从而提供双向通信。可使用IP语音(VOIP)或其他音频通信技术。
返回参照图3，当远程用户口头地指示并标记套管针应当插入的位置时，本地用户可“看到”和“听到”远程用户。远程用户的虚拟存在创建自然远距指导平台。从远程用户向本地用户传送空间上下文3D标记和注释。这可与外科手术的执行同时进行。远程用户可不仅在内窥镜馈送中而且还围绕机器人提供视觉引导，例如，如何对臂进行取向、用于放置内窥镜和工具的位置、第1位助理应站在的位置。远程用户的虚拟表示可包括以下中的一者或多者：a)虚拟现实头戴式设备的虚拟表示，b)指示远程用户的手移动或手位置的虚拟手，以及c)类似于整个人的一部分或整个人的虚拟化身。
图4示出了远程用户的虚拟现实体验。远程用户被传达到外科机器人系统所位于的手术室。佩戴VR头戴式设备26的远程用户可探查虚拟空间并且口头地和/或使用诸如数字笔或手持式UID的远程数字工具(例如，图2所示的远程数字工具27)来提供输入。
虚拟化OR数据和点云数据被传送到VR头戴式设备，在该VR头戴式设备中这用于将OR的虚拟表示以及感兴趣点(例如，患者)的详细区域呈现到远程用户的VR头戴式设备的显示器上。此外，本地用户的便携式电子装置22的位置和取向可被传送到虚拟现实头戴式设备。这可用于在虚拟现实环境中呈现便携式电子装置的虚拟表示(例如，在虚拟环境中浮动)和/或本地用户的虚拟表示(例如，化身)。以此方式，远程用户可感觉她正与虚拟OR中的本地用户交互。
如在其他部分中讨论的，远程用户可使用医疗成像分割以在操作正在行进时突出显示、分割和视觉地注释与操作相关的组织和器官。远程用户可将其自身的先前外科设置加载和叠加到增强现实用户的现有术中设置上，作为针对他们可如何组织其自身的OR/机器人的引导。
根据一些实施方案，在图5中示出了提供交互式和沉浸式远程指导的方法40。方法可由图1和图2所示的外科机器人系统执行。例如，方法可由处理器24执行，该处理器可与独立计算机成一体、与外科机器人系统1(图1或图2所示)的部件集成、或与图2的便携式电子装置22集成。
在操作41处，方法包括基于a)机器人信息和b)由一个或多个深度相机对OR的感测来生成OR的虚拟表示。深度相机包括与由OR中的本地用户操作的便携式电子装置集成的至少一个深度相机，以及布置在OR中的至少一个静止深度相机。机器人信息可用于更准确地生成机器人部件(诸如机器人臂、附接到其的工具/器械以及外科平台)的位置。
在操作42处，方法包括向虚拟现实头戴式设备传输OR的虚拟表示和三维点云数据，其中这用于向由远程用户操作的虚拟现实头戴式设备的显示器呈现虚拟现实环境。OR的虚拟表示可包括描述手术室和手术室中的对象的几何形状的网格数据，和/或手术室中的已识别对象的位置和取向数据。远程用户被虚拟地传达到外科手术室中，使得远程用户可分析设置、工作流程或提供其他有帮助的见解以执行外科手术。
在操作43处，方法包括基于远程用户的位置和来自远程用户的输入在增强现实中将远程用户的虚拟表示呈现给便携式电子装置的显示器。远程用户的虚拟表示在公共坐标系中呈现，该公共坐标系对于OR的虚拟表示和本地用户的便携式电子装置是公共的。可基于由附接到便携式电子装置或与便携式电子装置集成的深度相机捕获的图像数据与由安装在手术室中的深度相机捕获的图像数据之间的变换来确定公共坐标系。
方法可连续且实时地执行。例如，连续且同时地执行操作42和操作43以提供本地用户和远程用户之间的相干交互。
出于解释的目的，前述描述使用特定命名来提供对本发明的透彻理解。然而，对于本领域的技术人员将显而易见的是，实践本发明不需要具体细节。出于举例说明和描述的目的，已经提供了本发明的特定实施方案的前述说明。它们并非旨在为详尽的或将本发明限制为所公开的具体形式；根据上述教导内容可对本公开进行多种修改和改变。选择和描述实施方案是为了最好地解释本发明的原理及其实际应用，从而使得本领域的其他技术人员能够最好地利用本发明和具有适合于所设想的特定用途的各种修改的各种实施方案。

Claims (20)

1.一种用于利用外科机器人系统进行远程指导的方法，包括：
基于a)机器人信息和b)由一个或多个深度相机对手术室(OR)的感测来生成所述OR的虚拟表示，所述一个或多个深度相机包括与由所述OR中的本地用户操作的便携式电子装置集成的至少一个深度相机以及布置在所述OR中的至少一个静止深度相机；
向虚拟现实头戴式设备传输用于向由远程用户操作的所述虚拟现实头戴式设备的显示器呈现虚拟现实环境的所述OR的所述虚拟表示和三维点云数据；以及
基于所述远程用户的位置和来自所述远程用户的输入在增强现实中将所述远程用户的虚拟表示呈现给所述便携式电子装置的显示器。
2.根据权利要求1所述的方法，其中，所述三维点云数据包括所述OR中的患者。
3.根据权利要求1所述的方法，其中，来自所述远程用户的所述输入包括在所述虚拟现实头戴式设备处捕获的音频数据。
4.根据权利要求1所述的方法，其中，来自所述远程用户的所述输入包括要在所述便携式电子装置处在所述增强现实中呈现的以下中的至少一者：由数字工具远程生成的虚拟注释、解剖分割数据、套管针放置和先前外科设置。
5.根据权利要求1所述的方法，其中，所述本地用户的所述便携式电子装置是平板计算机，并且在由所述平板计算机捕获的图像流之上在所述显示器上呈现所述增强现实。
6.根据权利要求1所述的方法，其中，所述本地用户的所述便携式电子装置是具有佩戴在眼睛前方的透明显示器的头戴式装置，在所述透明显示器上呈现所述增强现实。
7.根据权利要求1所述的方法，其中，所述机器人信息包括以下中的至少一者：一个或多个外科机器人臂的关节角度、工具类型、工具抓持状态、活动工具能量、外科手术台的位置和取向、以及所述外科机器人系统的错误代码。
8.根据权利要求1所述的方法，其中，对由与所述便携式电子装置集成的所述至少一个深度相机所生成的数据执行同时定位和标测(SLAM)，以在所述公共坐标系中定位所述便携式电子装置的所述位置和取向。
9.根据权利要求1所述的方法，其中，所述便携式电子装置的所述位置和取向被传送到所述虚拟现实头戴式设备，用于在所述远程用户的所述虚拟现实环境中呈现所述便携式电子装置的虚拟表示或所述本地用户的虚拟表示。
10.根据权利要求1所述的方法，其中，所述一个或多个深度相机包括RGBD相机。
11.根据权利要求1所述的方法，其中，所述远程用户的所述虚拟表示包括以下中的至少一者：a)所述虚拟现实头戴式设备的虚拟表示，b)指示所述远程用户的手移动或手位置的虚拟手，或者c)类似于整个人或整个人的一部分的虚拟化身。
12.一种外科机器人系统，包括：
多个深度相机，所述多个深度相机包括与由手术室(OR)中的本地用户操作的便携式电子装置集成的至少一个深度相机以及布置在所述OR中的至少一个静止深度相机；
外科机器人和控制器；以及
处理器，所述处理器被配置为执行以下操作：
基于a)从所述外科机器人或控制器接收的机器人信息和b)由所述多个深度相机对所述OR的感测来生成所述OR的虚拟表示；
向虚拟现实头戴式设备传输所述OR的所述虚拟表示和三维点云数据，从而致使所述虚拟现实头戴式设备向由远程用户佩戴的所述虚拟现实头戴式设备的显示器呈现虚拟现实环境；以及
向所述本地用户的所述便携式电子装置传输用于在所述便携式电子装置处在增强现实中呈现所述远程用户的虚拟表示的所述远程用户的位置和来自所述远程用户的输入。
13.根据权利要求12所述的外科机器人系统，其中，所述三维点云数据包括患者的身体。
14.根据权利要求12所述的外科机器人系统，其中，来自所述远程用户的所述输入包括在所述虚拟现实头戴式设备处捕获的音频数据。
15.根据权利要求12所述的外科机器人系统，其中，来自所述远程用户的所述输入包括要在所述便携式电子装置处在所述增强现实中呈现的以下中的至少一者：由数字工具远程生成的虚拟注释、解剖分割数据、套管针放置和先前外科设置。
16.根据权利要求12所述的外科机器人系统，其中，所述本地用户的所述便携式电子装置是平板计算机，并且在由所述平板计算机捕获的图像流之上呈现所述增强现实并且在所述平板计算机的屏幕上显示所述增强现实。
17.根据权利要求12所述的外科机器人系统，其中，所述本地用户的所述便携式电子装置是具有透明显示区域的头戴式显示器，在所述透明显示区域上呈现所述增强现实。
18.根据权利要求12所述的外科机器人系统，其中，所述机器人信息包括以下中的至少一者：一个或多个外科机器人臂的关节角度、工具类型、工具抓持状态、活动工具能量、外科手术台的位置和取向、以及所述外科机器人系统的错误代码。
19.根据权利要求12所述的外科机器人系统，其中，对由与所述便携式电子装置集成的所述至少一个深度相机所生成的数据执行同时定位和标测(SLAM)，以在所述公共坐标系中定位所述便携式电子装置的所述位置和取向。
20.根据权利要求12所述的外科机器人系统，其中，所述便携式电子装置的所述位置和取向被传送到所述虚拟现实头戴式设备，用于在所述远程用户的所述虚拟现实环境中呈现所述便携式电子装置的虚拟表示或所述本地用户的虚拟表示。
CN202080101729.1A 2020-06-05 2020-06-17 使用增强现实的远程外科指导 Pending CN115697235A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/894,515 US11769302B2 (en) 2020-06-05 2020-06-05 Remote surgical mentoring
US16/894515 2020-06-05
PCT/US2020/038088 WO2021247052A1 (en) 2020-06-05 2020-06-17 Remote surgical mentoring using augmented reality

Publications (1)

Publication Number Publication Date
CN115697235A true CN115697235A (zh) 2023-02-03

Family

ID=71409593

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080101729.1A Pending CN115697235A (zh) 2020-06-05 2020-06-17 使用增强现实的远程外科指导

Country Status (5)

Country Link
US (2) US11769302B2 (zh)
EP (1) EP4161426A1 (zh)
KR (1) KR20230020504A (zh)
CN (1) CN115697235A (zh)
WO (1) WO2021247052A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11989843B2 (en) * 2022-06-22 2024-05-21 Snap Inc. Robotic learning of assembly tasks using augmented reality
WO2024006729A1 (en) * 2022-06-27 2024-01-04 Covidien Lp Assisted port placement for minimally invasive or robotic assisted surgery

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130136566A (ko) * 2011-03-29 2013-12-12 퀄컴 인코포레이티드 로컬 멀티-사용자 협업을 위한 모듈식 모바일 접속된 피코 프로젝터들
KR20170083091A (ko) * 2014-11-13 2017-07-17 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 통합된 사용자 환경
US10610303B2 (en) 2017-06-29 2020-04-07 Verb Surgical Inc. Virtual reality laparoscopic tools
US11011077B2 (en) * 2017-06-29 2021-05-18 Verb Surgical Inc. Virtual reality training, simulation, and collaboration in a robotic surgical system
JP2021510110A (ja) * 2018-01-10 2021-04-15 コヴィディエン リミテッド パートナーシップ 外科用ポートの配置のためのガイダンス
US11197799B2 (en) * 2018-10-17 2021-12-14 Midea Group Co., Ltd. System and method for generating pressure point maps based on remote-controlled haptic-interactions
US11087551B2 (en) * 2018-11-21 2021-08-10 Eon Reality, Inc. Systems and methods for attaching synchronized information between physical and virtual environments
US11442685B2 (en) * 2019-09-09 2022-09-13 Autodesk, Inc. Remote interaction via bi-directional mixed-reality telepresence

Also Published As

Publication number Publication date
US20210378768A1 (en) 2021-12-09
US20240046589A1 (en) 2024-02-08
KR20230020504A (ko) 2023-02-10
EP4161426A1 (en) 2023-04-12
WO2021247052A1 (en) 2021-12-09
US11769302B2 (en) 2023-09-26

Similar Documents

Publication Publication Date Title
US20210307851A1 (en) Robotic Port Placement Guide and Method of Use
KR102673560B1 (ko) 수술　절차　아틀라스를　갖는　수술시스템의　구성
Freschi et al. Technical review of the da Vinci surgical telemanipulator
US11766308B2 (en) Systems and methods for presenting augmented reality in a display of a teleoperational system
KR102596096B1 (ko) 원격조작 시스템에서 기구 내비게이터를 디스플레이하기 위한 시스템들 및 방법들
KR101720047B1 (ko) 최소 침습 수술을 위한 가상 측정 도구
KR20120087806A (ko) 최소 침습 수술을 위한 가상 측정 도구
US20240046589A1 (en) Remote surgical mentoring
US11944395B2 (en) 3D visualization enhancement for depth perception and collision avoidance
US20220280238A1 (en) Robot-assisted setup for a surgical robotic system
CN114401691A (zh) 用于外科机器人的手持式用户界面设备
US11382696B2 (en) Virtual reality system for simulating surgical workflows with patient models
KR20230082640A (ko) 수술 로봇용 증강 현실 헤드셋
Zinchenko et al. Virtual reality control of a robotic camera holder for minimally invasive surgery
US20220211270A1 (en) Systems and methods for generating workspace volumes and identifying reachable workspaces of surgical instruments
US20230270502A1 (en) Mobile virtual reality system for surgical robotic systems
US20230414307A1 (en) Systems and methods for remote mentoring
JP7455965B2 (ja) 患者モデルとカスタマイズ可能な手術室とを用いた外科手術作業フローをシミュレートするための仮想現実システム
US20240070875A1 (en) Systems and methods for tracking objects crossing body wallfor operations associated with a computer-assisted system
JP2023551531A (ja) 医療処置の生成及び評価のためのシステム及び方法
WO2023150449A1 (en) Systems and methods for remote mentoring in a robot assisted medical system
JP2023553392A (ja) 仮想現実ガイダンスを生成するためのシステムと方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination