CN114667110A - 用于利用患者模型和可定制的手术室模拟外科工作流的虚拟现实系统 - Google Patents

用于利用患者模型和可定制的手术室模拟外科工作流的虚拟现实系统 Download PDF

Info

Publication number
CN114667110A
CN114667110A CN201980101893.XA CN201980101893A CN114667110A CN 114667110 A CN114667110 A CN 114667110A CN 201980101893 A CN201980101893 A CN 201980101893A CN 114667110 A CN114667110 A CN 114667110A
Authority
CN
China
Prior art keywords
virtual
surgical
equipment
patient
physical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980101893.XA
Other languages
English (en)
Inventor
B·菲尔斯特
E·约翰逊
基尔罗伊 P·加西亚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Verb Surgical Inc
Original Assignee
Verb Surgical Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US16/667,241 external-priority patent/US11389246B2/en
Priority claimed from US16/667,237 external-priority patent/US11382696B2/en
Application filed by Verb Surgical Inc filed Critical Verb Surgical Inc
Publication of CN114667110A publication Critical patent/CN114667110A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Master-slave robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/74—Manipulators with manual electric input means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A61B2034/104—Modelling the effect of the tool, e.g. the effect of an implanted prosthesis or for predicting the effect of ablation or burring
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2021—Shape modification
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Robotics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Urology & Nephrology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Manipulator (AREA)

Abstract

利用外科机器人系统来计划外科机器人工作流可以包括生成虚拟外科环境，该虚拟外科环境包括虚拟外科机器人臂和虚拟患者。可以在该虚拟患者内确定工作空间。可以确定被附接到该虚拟外科机器人臂的虚拟工具的方位。可以确定该虚拟外科机器人臂的方位以维持该虚拟工具在该工作空间中的触及范围。

Description

用于利用患者模型和可定制的手术室模拟外科工作流的虚拟 现实系统
相关申请
本PCT申请要求美国申请16/667,237(V0060-US1)和美国申请16/667,241(V0060-US2)的较早申请日的权益。
技术领域
本发明整体涉及外科机器人系统，并且更具体地涉及用于计划外科机器人规程的系统和方法。
背景技术
微创外科手术(MIS)诸如腹腔镜手术涉及旨在在外科规程期间减少组织损伤的技术。例如，腹腔镜规程通常涉及在患者体内(例如，在腹部)形成多个小切口，以及通过切口将一个或多个工具和至少一个相机引入患者体内。然后可通过使用所引入的外科工具执行外科规程，其中可视化辅助由相机提供。
一般来讲，MIS提供多重有益效果，诸如减少患者疤痕、减轻患者疼痛、缩短患者恢复期以及降低与患者恢复相关联的医疗费用。可利用外科机器人系统执行MIS，该外科机器人系统包括一个或多个机器人臂，该机器人臂用于基于来自远程操作者的命令操纵外科工具。机器人臂可以例如在其远侧端部处支承各种装置，诸如外科端部执行器、成像装置、用于提供进入患者体腔和器官的通路的插管等。因此，外科机器人臂可以帮助执行外科手术。
此类机器人系统的控制可能需要用户(例如，外科医生或其他操作者)经由一个或多个用户接口装置进行控制输入，该一个或多个用户接口装置将用户的操纵或命令转化为对机器人系统的控制。例如，响应于用户命令，当外科工具定位在患者的外科手术部位处时，具有一个或多个马达的工具驱动器可以致动外科工具的一个或多个自由度。
发明内容
可能期望在规程之前计划描述外科机器人臂的布置的外科机器人工作流。通过利用本文所讨论的过程在外科手术之前确定布置，可以提高操作成功的可重复性，并且有利地确定哪些物理环境(例如，健康设施中的手术室)将足够用于特定的外科机器人环境。可以基于本文所讨论的过程计划和优化外科机器人系统(例如，外科机器人臂、外科机器人平台、用户控制台、控制塔和其他外科机器人装备)的布置(例如，位置和取向)。
在一些实施方案中，描述了用于利用外科机器人系统来计划外科机器人工作流的系统和过程。生成具有一个或多个虚拟外科机器人臂和虚拟患者的虚拟外科环境。在虚拟患者内确定工作空间。基于工作空间确定一个或多个虚拟工具中的每个虚拟工具的方位。基于虚拟工具的方位确定一个或多个虚拟外科机器人臂中的每个虚拟外科机器人臂的方位，以维持虚拟工具在工作空间中的触及范围。
在一些实施方案中，可以递增地改进外科机器人工作流和外科机器人规程的布局。确定工作流和虚拟外科装备的布局。布局用作布置物理布局的参考。然后可以将物理布局用作重新布置虚拟外科机器人装备的参考。因此，双向改进过程可以帮助在物理环境中设置外科机器人系统。例如，可以基于现有的手术室(OR)模型和现有的装备模型生成虚拟OR和虚拟外科装备。接收限定具有物理装备的物理OR的传感器反馈，该物理装备包括物理OR内的外科机器人系统。基于传感器反馈更新虚拟OR和虚拟外科装备。虚拟外科装备的布局在虚拟OR中优化。虚拟外科装备的优化布局可以呈现在显示器上，该显示器可以被用作参考以重新布置物理OR中的物理外科装备。可以重复该过程。
附图说明
图1示出了根据一个实施方案的外科机器人系统。
图2示出了根据一个实施方案的用于外科机器人系统的工作流。
图3示出了根据一个实施方案的用于生成和优化工作流设置的系统。
图4示出了根据一个实施方案的用于优化虚拟外科环境的过程。
图5示出了根据一个实施方案的优化的虚拟外科环境。
图6示出了根据一个实施方案的利用来自物理OR的反馈生成虚拟外科环境的流程图。
具体实施方式
本发明的各个方面和变型的示例在本文描述并在附图中示出。以下描述并非旨在将本发明限制于这些实施方案，而是旨在使本领域的技术人员能够制备和使用本发明。
下面的说明书和附图是对本公开的说明，不应理解为是限制本公开。描述了许多具体细节，以提供对本公开的各种实施方案的透彻理解。然而，在某些情况下，未对公知的或常规的细节进行描述，以使本公开的实施方案的讨论简洁。
在说明书中引用的“一个实施方案”或“实施方案”意指结合实施方案描述的特定特征、结构或特性可以包括在本公开的至少一个实施方案中。在说明书中各处出现的短语“在一个实施方案中”并不一定全部是指相同的实施方案。
参考图1，这是手术场所中的示例性外科机器人系统1的绘画视图。机器人系统1包括用户控制台2、控制塔3以及外科机器人平台5(例如台、床等)处的一个或多个外科机器人臂4。系统1可结合用于对患者6执行外科手术的任何数量的装置、工具或附件。例如，系统1可包括用于执行外科手术的一个或多个外科工具7。外科工具7可以是被附接到外科臂4的远侧端部的端部执行器，用于执行外科规程。
每个外科工具7可在外科手术期间手动操纵、机器人操纵或两者。例如，外科工具7可以是用于进入、查看或操纵患者6的内部解剖结构的工具。在一个实施方案中，外科工具7为可抓持患者的组织的抓持器。外科工具7可由床边操作者8手动控制；或者其可经由其所附接的外科机器人臂4的致动移动而由机器人控制。机器人臂4被示出为台上安装系统，但在其他配置中，臂4可安装在手推车、天花板或侧壁上，或者安装在另一个合适的结构支撑件中。
一般来讲，远程操作者9(诸如外科医生或其他操作者)可使用用户控制台2以远程操纵臂4和/或所附接的外科工具7，例如远程操作。用户控制台2可位于与系统1的其余部分相同的手术室中，如图1所示。然而，在其他环境中，用户控制台2可位于相邻或附近的房间中，或者其可位于远程位置，例如，在不同的建筑物、城市或国家中。用户控制台2可包括座椅10、脚动控件13、一个或多个手持式用户输入装置(UID)14以及至少一个用户显示器15，该用户显示器被配置为显示例如患者6体内的外科手术部位的视图。在示例性用户控制台2中，远程操作者9坐在座椅10中并查看用户显示器15，同时操纵脚动控件13和手持式UID14，以便远程控制臂4和外科工具7(其安装在臂4的远侧端部上)。
在一些变型中，床边操作者8还可以“床上”模式操作系统1，其中床边操作者8(用户)现在位于患者6的一侧并且同时操纵机器人驱动的工具(被附接到臂4的端部执行器)，例如，用一只手握持手持式UID 14和手动腹腔镜工具。例如，床边操作者的左手可操纵手持式UID以控制机器人部件，而床边操作者的右手可操纵手动腹腔镜工具。因此，在这些变型中，床边操作者8可对患者6执行机器人辅助微创外科手术和手动腹腔镜外科手术两者。
在示例性规程(外科手术)期间，以无菌方式对患者6行准备并覆盖消毒盖布以实现麻醉。在机器人系统1的臂处于收起配置或撤回配置时，可手动地执行对外科手术部位的初始触及(以便于触及外科手术部位)。一旦完成触及，就可执行机器人系统1包括其臂4的初始定位或准备。接着，外科手术继续，其中用户控制台2处的远程操作者9利用脚动控制件13和UID 14来操纵各种端部执行器以及可能的成像系统，以执行外科手术。也可由身着消毒手术衣的床边人员(例如床边操作者8)在手术床或手术台处提供人工辅助，该床边人员可对机器人臂4中的一个或多个臂执行任务，诸如回缩组织、执行手动重新定位以及工具更换。也可存在非消毒人员以在用户控制台2处辅助远程操作者9。当规程或外科手术完成时，系统1和用户控制台2可被配置或设定成一定状态以便于完成术后规程，诸如清洁或消毒以及经由用户控制台2输入或打印保健记录。
在一个实施方案中，远程操作者9保持并移动UID 14以提供输入命令，从而移动机器人系统1中的机器人臂致动器17。UID14可例如经由控制台计算机系统16通信地联接到机器人系统1的其余部分。UID 14可生成对应于UID 14的移动的空间状态信号，例如UID的手持式外壳的方位和取向，并且空间状态信号可以是控制机器人臂致动器17的运动的输入信号。机器人系统1可使用源自空间状态信号的控制信号来控制致动器17的成比例运动。在一个实施方案中，控制台计算机系统16的控制台处理器接收空间状态信号并生成对应的控制信号。基于控制致动器17如何通电以移动臂4的区段或连接件的这些控制信号，被附接到臂的对应外科工具的移动可模拟UID 14的移动。类似地，远程操作者9与UID 14之间的交互可生成例如抓持控制信号，该抓持控制信号导致外科工具7的抓持器的钳口闭合并抓持患者6的组织。
外科机器人系统1可包括若干UID 14，其中为控制相应臂4的致动器和外科工具(端部执行器)的每个UID生成相应的控制信号。例如，远程操作者9可移动第一UID 14以控制位于左机器人臂中的致动器17的运动，其中致动器通过移动臂4中的连杆、齿轮等来响应。类似地，远程操作者9对第二UID 14的移动控制另一个致动器17的运动，这继而移动机器人系统1的其他连杆、齿轮等。机器人系统1可包括固定到患者的右侧的床或台的右臂4，以及位于患者的左侧的左臂4。致动器17可包括一个或多个马达，控制该一个或多个马达，使得它们驱动臂4的接合部旋转，以例如相对于患者改变被附接到该臂的外科工具7的内窥镜或抓持器的取向。同一臂4中的若干致动器17的运动可由从特定UID 14生成的空间状态信号控制。UID 14还可控制相应外科工具抓持器的运动。例如，每个UID 14可生成相应的抓持信号以控制致动器(例如，线性致动器)的运动，该致动器在外科工具7的远侧端部处打开或闭合抓持器的钳口以抓持患者6体内的组织。
在一些实施方案中，平台5和用户控制台2之间的通信可通过控制塔3，该控制塔可将从用户控制台2(并且更具体地从控制台计算机系统16)接收的用户命令转换成传输到机器人平台5上的臂4的机器人控制命令。控制塔3还可将状态和反馈从平台5传输回用户控制台2。机器人平台5、用户控制台2和控制塔3之间的通信连接可经由有线和/或无线链路，使用各种数据通信协议中的任何合适的数据通信协议。任何有线连接可任选地内置于手术室的地板和/或墙壁或天花板中。机器人系统1可向一个或多个显示器提供视频输出，包括手术室内的显示器以及可经由互联网或其他网络访问的远程显示器。还可加密视频输出或馈送以确保隐私，并且视频输出的全部或部分可保存到服务器或电子保健记录系统。
外科机器人臂可以具有可移动的、接合的和/或机动的构件，其具有多个自由度，该自由度可以在远侧端部处保持各种工具或附件。示例系统包括达芬奇(da Vinci(r))外科系统，其可以用于微创外科手术(例如，泌尿外科规程、普通腹腔镜外科规程、妇科腹腔镜外科规程、普通非心血管胸腔镜外科规程和胸腔镜辅助的心切开术规程)。“虚拟外科机器人臂”可以是在用户设置的捕获的视频上渲染的机器人臂的计算机生成的表示。虚拟外科机器人臂可以是真实机器人臂的复杂3D模型。另选地或除此之外，虚拟外科机器人臂可以包括视觉辅助，诸如箭头、工具尖端或涉及提供关于机器人臂的位姿信息的其他表示，诸如真实机器人臂的几何简化版本。
用于生成和优化工作流设置的系统
用于外科机器人系统的工作流描述了外科装备的准备，使得可以在被称为工作空间的患者的区域中执行规程。工作流优化可以包括确定工作空间、工具放置、端口位置和外科机器人臂的设置，以准备外科规程。参考图2，可以在虚拟环境300中优化工作流以降低碰撞风险并且最大化工具在工作空间中的可触及性。应当理解，如本文所用的“虚拟”可以描述对象(例如，外科装备、房间和/或人)在二维或三维空间中的计算机生成的表示。可以生成表示对应的现实生活中的对应物的虚拟装备，限定大小和形状。例如，虚拟外科机器人臂可以表示真实外科机器人臂，虚拟受试者可以表示现实生活中的患者，并且虚拟手术室可以表示真实手术室。对象的计算机模型是描述物理对象的属性的一组数据，诸如但不限于外科装备和患者。可以基于计算机模型生成虚拟对象。
可以例如基于规程类型、患者解剖结构、患者体型等来限定虚拟患者内的工作空间310。可以基于工作空间和/或外科工具在工作空间内的触及范围306来确定工具304的方位。工具可包括套管针和/或附加外科工具(例如，缝合器、抓持器、剪刀和相机)。可以基于套管针穿过虚拟患者的腹部308的位置来确定端口312。虚拟外科机器人臂302的方位可以基于端口位置、套管针方位和/或工作空间来确定。
可以确定每个机器人臂的初始设置，例如，每个机器人臂是否处于收起方位、覆盖消毒盖布或停靠。在规程之前，每个机器人臂的适当设置将臂和附接的工具放置到位，以便进入工作空间并在其上进行操作。不正确的设置可导致规程期间的延迟，并增加错误和/或对患者造成伤害的风险。在确定臂设置时会考虑每个臂能够进行的机械移动，以实现外科工具在工作空间中的触及范围。
规程可能需要外科机器人臂中的一个或多个外科机器人臂能够在规程的各个阶段到达工作空间310。优化工作流可以包括确定套管针放置，使得工具通过套管针的触及范围306在工作空间中足够。在一些情况下，工作流优化可以确定套管针、端口和外科机器人臂的方位，使得两个或更多个机器人和对应的工具的触及范围在工作空间中重叠。如本文所用，优化可以指基于本文所述的一个或多个标准和输入，诸如但不限于工作空间的位置、在工作空间中的触及范围和移动、便利性和碰撞风险来布置虚拟外科装备(例如，工作流和/或布局)的软件和硬件支持的算法。优化不需要达到最佳布置。相反，虚拟装备和/或虚拟OR的布置有时基于标准递增地改进。
参考图3，示出了用于生成和优化工作流设置的系统20。该系统可以生成手术室和外科装备的虚拟现实(VR)模拟100，其在本文中也被描述为虚拟外科环境。此类模拟可以包括虚拟患者114和表示图1中描述的外科机器人系统的虚拟外科装备(包括一个或多个虚拟机器人臂103)。虚拟外科机器人装备和虚拟患者可以布置在虚拟手术室中，以帮助计划外科机器人规程(例如，腹腔镜外科手术)。
外科机器人运动学处理器106可以生成限定物理外科机器人臂的移动限制和移动能力的运动学参数。例如，每个机器人臂可以具有各种互连构件，所述互连构件的每个构件可以在一个或多个限定的方向、平面或轴线中移动转动或行进。移动可以例如通过行进角度或距离来限制。因此，运动学参数可以限定外科机器人臂和外科机器人工具如何可以或无法移动，这继而确定工具在工作空间中的触及范围和移动能力。
在一个实施方案中，运动学参数在机器人模型102中定义(例如，计算机辅助绘图(CAD)模型或统一机器人描述格式(URDF)模型)。运动学处理器可以从待用于确定VR模拟中虚拟外科机器人臂或虚拟工具的设置的模型中提取这些参数。
另选地或除此之外，运动学处理器可以基于由机器人控件112生成的机器人控制数据(例如，马达/致动器命令和反馈、伺服命令、方位数据和速度数据)来生成运动学参数。机器人控制数据可以使用真实外科机器人臂和/或外科工具108在真实外科规程期间生成，也使用真实外科机器人臂和/或工具在模拟外科规程(例如，测试运行)期间生成。
在一个实施方案中，基于机器人模型和基于机器人控制数据生成运动学参数。运动学参数可以从机器人模型102提取，并且然后基于从机器人控件112接收的真实世界数据来修改。
在一个实施方案中，运动学参数还可以包括动态信息，诸如机器人臂的质量、惯性、重力、力和扭矩。可以基于来自真实机器人控件112和/或机器人模型的输入来生成动态信息。这些输入可以包括真实外科机器人臂108的控制反馈、马达控制数据和传感器数据。
因此，运动学建模可以受益于物理反馈以及计算机生成的约束，以生成类似于机器人臂的实时运动学的运动学模型。有利地，通过使用来自物理机器人臂的真实数据，运动学参数可以提供确定虚拟机器人臂相对于工作空间和虚拟患者的布置的准确度。因此，基于物理外科机器人臂和/或工具的移动约束和能力，虚拟机器人臂可以在VR模拟中相对于虚拟患者布置，以实现在虚拟患者的工作空间内的适当移动，如特定外科规程所需。
在一个实施方案中，执行优化程序110以基于一个或多个输入和对输入的改变来布置虚拟对象(例如，患者、机器人臂和工具、平台、用户控制台、控制塔和其他外科装备)。例如，输入可以是工作空间、患者几何形状、手术室、规程类型、平台高度等。对输入的改变可以包括对虚拟患者的修改、对规程的改变、对手术室的改变、对平台高度的改变和/或将修改虚拟患者内的工作空间的位置或大小的任何改变。在一些情况下，用户界面可以允许用户在佩戴具有抬头显示器的头戴式耳机的同时在VR模拟中手动移动虚拟对象。用户可以沉浸在VR模拟中。基于一个或多个输入，优化规程可以重新布置虚拟对象并重新优化。
在一个实施方案中，优化规程110包括用于用外科机器人系统来计划外科机器人工作流的操作。该操作包括：生成虚拟外科环境，该虚拟外科环境包括虚拟外科机器人臂和虚拟患者。可以确定虚拟患者内的工作空间(例如，基于规程类型和虚拟患者)。可以基于工作空间确定虚拟工具(例如，套管针和通过套管针引入的其他工具)的方位。基于虚拟工具的方位确定虚拟工具被附接在其上的虚拟外科机器人臂的方位，以维持虚拟工具在工作空间中的触及范围。
在一个实施方案中，可以生成运动学参数，这些运动学参数限定外科机器人臂将用于规程类型的移动约束。例如，运动学参数可以限定机器人的构件移动的方向、每个构件可以行进的最大或最小距离或角度、每个构件的质量、每个构件的刚度和/或其中构件移动的速度和力。因此，虚拟外科机器人臂或虚拟工具的布置可以进一步基于虚拟机器人臂的运动学参数，使得虚拟外科机器人臂可以参考运动学参数在外科工作空间内执行外科规程类型。
在一个实施方案中，VR模拟可以包括虚拟装备115，诸如外科机器人平台、控制塔、用户控制台、扫描装备(例如，移动X射线机器(C形臂)或超声成像机)、支架、凳子、托盘和将被布置在外科手术室中的其他装备。虚拟装备可以基于定义诸如各种装备的形状和大小等参数的计算机模型生成。
在一个实施方案中，可以在VR模拟中生成手术室。其他虚拟对象可以布置在虚拟手术室中以计划特定手术室中的外科布局和工作流。虚拟手术室116可以基于物理手术室以计划物理手术室中的规程。虚拟手术室可以从存储在电子存储器中的许多手术室模型中的一个手术室模型呈现。虚拟手术室可以由以下方式生成：a)由物理房间的三维扫描生成；b)基于选自含有一个或多个手术室模型的数据库的模型生成；或c)基于房间参数(例如，墙壁、天花板、地板、门道、窗户等等的长度和宽度)生成。
可以通过扫描现实生活中的患者来生成一个或多个虚拟患者114。可以基于在规程期间捕获的数据来调整或改进虚拟患者114。在一个实施方案中，虚拟患者114可以具有建模的内部器官。可以基于识别内部器官的位置和几何形状的数据来确定工作空间。
可以使用患者模型在虚拟环境中确定虚拟患者和工作空间。可以基于外科规程的类型在虚拟患者内限定外科工作空间。例如，特定的外科规程可以将虚拟患者的外科工作空间限定为肚脐、肠、肝、胆囊等下方的区域。因此，理解患者的解剖结构(例如，器官的位置)在确定机器人臂和工具的设置以及端口方位方面可具有很高的重要性。通过扫描现实生活中的患者，并且然后使用真实外科数据，可以改进虚拟患者和虚拟患者内的工作空间位置的准确性，从而改进外科工作流的计划。可以准确确定端口方位，并且可以改进工具在工作空间内的触及范围。
虚拟患者的几何形状和解剖结构可以基于从一个或多个外科规程捕获的传感器信息或外科机器人移动数据来确定。外科规程可以是真实外科规程或具有真实患者或假人的模拟规程。生成或修改虚拟患者可以包括基于传感器估计虚拟患者的内部体积和/或解剖结构，诸如a)在患者内部拍摄的相机图像，和/或b)在一个或多个外科规程期间捕获的外科机器人工具运动。
附加地或另选地，生成或修改虚拟患者可以包括基于在一个或多个外科规程期间捕获的内窥镜数据来重建患者模型的内部体积。可以基于真实患者的3D扫描来生成患者模型。附加地或另选地，可以基于传感器数据(例如，相机和其他医学成像技术)生成患者模型。在执行3D扫描的情况下，可以基于传感器信息(例如，由外科工具捕获)或外科机器人移动数据来修改患者模型。有利地，例如，如果3D扫描没有提供足够的信息，则患者模型的重建可以填充患者模型的缺失部分或缺陷定义。
在确定患者模型有缺陷的情况下，可以重建患者模型的区域以补充缺失或缺陷的患者模型信息。例如，如果患者模型的肝脏的位置基于3D扫描不清楚，则传感器信息或外科机器人移动数据可用于重建患者模型的该区域。信息和数据可以在规程期间捕获并存储在真实外科日志中。例如，在真实外科规程期间，可以基于远程运动中心(RCM)机制、相机生成的图像、其他图像和/或其他外科机器人工具运动，来生成关于内部解剖结构(例如，器官大小和壁厚等等)和患者的内部体积的数据。
在一个实施方案中，VR模拟100可通过例如用户控制台120上的显示器传送或输出。视图发生器可以生成VR模拟的一个或多个视图118，例如，体育场视图或第一人称视图。用户可以使用此类视图来进一步生成到优化器20的输入。例如，用户可以使用用户控制台120修改或更换虚拟患者、工作空间、虚拟外科装备和/或虚拟手术室。可以基于由用户进行的调整在框110处优化VR模拟。然后可以为用户重新生成模拟的视图，从而基于用户生成的输入对工作流提供调整和优化。以此方式，用户可以定制工作流和布局优化以适合特定的患者和规程类型。这可以简化用于不同患者、不同规程的机器人臂的设置，并且帮助选择手术室以促进此类规程。
在一些实施方案中，可以生成VR模拟作为2D模型。例如，可以生成VR模拟作为平面图，该平面图可以有利地提供对手术室中每个对象的位置和模型之间的间距的即时理解。
在一个实施方案中，如图4所示，优化过程110可以基于一个或多个输入138优化房间布局152和外科机器人臂配置154。输入可以包括对以下因素中的一个或多个因素的改变：规程类型、外科工作空间、虚拟患者、工具方位和运动学参数。
例如，如关于图2所提及的，初始输入可以包括工作空间310在虚拟受试者308体内的位置。套管针304的方位可以基于工作空间以及工具(例如，剪刀、缝合器、抓持器或针)在工作空间内的触及范围306来确定。可以基于套管针的方位和/或工作空间来确定端口位置312。可以基于端口的位置、工作空间和/或套管针方位来确定外科机器人臂的方位。
患者模型、外科工具方位、机器人运动学或外科工作空间的改变可以引发对机器人臂的设置的调整。例如，如果虚拟患者的体型改变，则这可导致工作空间的位置改变。调节套管针方位以最大化工具在工作空间的改变位置内的触及范围。可以相应地调整端口位置以及外科机器人臂的方位。应当理解，如关于机器人臂和工具所讨论的“设置”、“配置”和“布置”可以描述机器人臂和/或工具的构件绝对或相对于彼此定位的方式。因此，机器人臂的“设置”或“配置”可以描述机器人臂的特定位姿和被附接到机器人臂的工具的方位。
在一个实施方案中，虚拟外科装备(例如，用户控制台、扫描装备、控制塔)或辅助人员模型的位置或取向的改变可以引发虚拟外科装备的重新布置。类似地，对规程类型的改变可以引发虚拟患者内的外科工作空间的改变，该改变继而可导致默认工具方位(例如，默认套管针方位)、端口位置和外科机器人臂方位的改变。类似地，虚拟患者(例如，更高或更重的体型)的改变可以引发虚拟患者的外科工作空间的改变，这可导致工具方位、端口位置和外科机器人臂配置的连锁反应。类似地，假设虚拟患者在虚拟规程期间被放置在平台上，平台方位的改变(例如，台的高度、角度或斜率)可以类似地引发工具方位、端口位置和机器人臂配置的改变。
参考图4，优化过程110可以生成优化的房间布局152，并且外科机器人臂配置154支持在限定的工作空间内具有足够触及范围的工具方位。优化过程可以基于重要性排序而具有操作层次结构。框140、142、144和146可以按所示顺序依次执行。
例如，在框140处，虚拟患者和/或外科机器人规程类型可以具有最高的重要性等级。患者体内的工作空间可以基于规程类型确定和/或虚拟患者可以确定患者体内的工作空间(例如，在虚拟患者的腹部下方的某个区域)。工作空间区域可以限定虚拟患者内待发生规程的位置、大小和/或形状。
接下来，在框142中，可以限定和布置外科机器人工具方位(例如，默认工具方位)。外科工具的方位可以基于外科工作空间。例如，如图2所示，可以基于每个工具的触及范围306以及工作空间位置310来确定一个或多个工具304的方位(例如，位置和取向)。可以基于工具方位(例如，工具穿过虚拟患者的腹部308的方位)确定一个或多个端口位置312。可以确定工具方位以提供工具在工作空间中的足够移动和触及范围。
接下来，在框144中，可以基于工具方位、工作空间和/或端口方位将一个或多个虚拟外科机器人臂和/或外科机器人平台的方位(包括位置和/或取向)布置在虚拟外科手术室中。可以确定工具被附接在其上的外科机器人臂方位以将虚拟工具中的每个虚拟工具保持在适当方位，使得在工作空间中的触及范围和移动足够。可以调整平台的高度和俯仰角。
在框146处，优化可以包括布置虚拟控制塔、虚拟用户控制台和其他外科机器人装备的位置或取向。这可以基于各种因素来执行，例如，通过聚类相关工具使人员行进最小化、将某些工具和装备放置在相关人员附近、为医务人员和其他医疗装备提供空间以及最小化碰撞风险。通过使用此类操作顺序，优先考虑对操作至关重要的工作空间内的触及范围和移动。可以在不改变在工作空间中提供足够的触及范围和移动的外科机器人臂的方位的情况下确定其余考虑因素，诸如医疗装备的布局是否方便和适合。
在一个实施方案中，可以在框144处生成虚拟手术室。虚拟机器人臂和平台布置在虚拟手术室中。在这种情况下，然后可以在框146中将装备布置在虚拟手术室中。在另一实施方案中，在所有虚拟外科装备已经定位之后，可以在框146处生成虚拟手术室。以这种方式，假设虚拟手术室表示在设施内可用的真实手术室，如果手术室的可用性高，则可以首先执行虚拟患者和虚拟外科装备的布置，并且然后可以选择表示物理手术室的虚拟手术室以最佳地适合优化的布置，而不改变布置。另一方面，如果手术室的可用性低，则可以在框144处选择手术室，并且装备的位置和取向可以基于可用手术室的几何形状或大小所固有的限制来布置和优化。因此，确定虚拟手术室的顺序可以取决于物理手术室的可用性而改变。
在一个实施方案中，基于上述优化过程，该过程可以输出优化的房间布局152(例如，外科机器人臂、平台、用户控制台、控制塔和其他外科装备的位置和取向)以及优化的外科机器人臂配置/工作流154。如所描述，优化的工作流可以限定一个或多个默认套管针/工具方位、端口位置以及外科机器人臂的每个构件的方位和取向。
参考图5，在平面图中示出了优化的房间布局的一个示例。诸如但不限于：虚拟患者226、外科机器人平台222、外科机器人臂和附接工具224、虚拟控制塔228、用户控制台232和其他虚拟外科装备230的虚拟对象中的任何虚拟对象的位置可以布置在虚拟外科环境220中。可以利用诸如但不限于x轴、y轴和/或z轴的坐标来描述虚拟对象的布置。取向可以描述对象中的任何对象的方向。
用物理手术室计划虚拟外科环境
仔细计划和可视化可以帮助设置外科机器人系统以支持具有可重复性和高成功机会的工作流。可以借助于虚拟环境识别不与外科机器人系统兼容的手术室。
在一个实施方案中，图6的流程图示出了有助于基于来自物理手术室的反馈来确定外科装备的布局的方法和系统。在框272处，生成包括虚拟外科装备的虚拟OR。虚拟外科装备可以包括图1所示的装备的虚拟表示。虚拟OR和虚拟外科装备可以基于现有的手术室模型和现有的装备模型生成。可以从本地或网络化的一个或多个计算装置支持的一个或多个数据库270中检索这些模型。OR模型和/或现有的装备模型可以包括以下中的一者或多者：几何形状、大小、名称、外科机器人系统配置和外科手术类型。例如，外科机器人臂的模型可以描述臂的几何形状和大小。模型可以具有名称并且具有描述臂适合哪种或哪些外科手术类型的元数据。外科机器人系统配置可以限定以下中的一者或多者：多个机器人臂、工具(例如，抓持器、缝合器等)和机器人臂的位姿。在一些实施方案中，基于可以从一个或多个数据库中检索的患者模型在虚拟OR中生成虚拟患者。
可以在操作284处接收传感器反馈。传感器反馈可以限定物理手术室的几何形状和/或物理外科装备在物理OR中的方位。物理手术室的几何形状显示房间的形状和大小。物理装备的方位可以描述装备在房间中的位置和取向。传感器反馈可以由一个或多个传感器生成，包括但不限于：相机、红外传感器、3D扫描相机、机器人传感器和人体跟踪装置。这些传感器可以位于墙壁上，在手持式装置中，或与外科机器人装备集成。
在框272处，基于传感器反馈更新虚拟OR和/或虚拟OR中的虚拟外科装备。例如，可以更新虚拟手术室的几何形状以匹配物理手术室。类似地，可以更新虚拟外科装备的位置和取向以匹配物理手术室中的物理外科装备。对象检测和其他已知的计算机视觉技术可用于识别传感器反馈中的装备和对象。以此方式，该过程可以自动检测物理手术室中的物理外科装备，并且使虚拟外科装备同步以反映物理外科装备的方位。
在操作286处，可以优化虚拟外科装备的布局。优化可以包括布线电缆和流体管线，例如，以减少行走区中的布线。优化基于一个或多个标准，诸如但不限于：优化的工作流、虚拟外科装备的间隙、无障碍的行走路径、相关装备的紧密放置、电缆和流体管线的长度减小、杂乱减少和碰撞风险降低。可以加权标准。例如，工作流允许在外科工作空间中正确执行外科规程。因此，可以为工作流分配比基于便利性的标准更大的权重，诸如便利性减少了杂乱。优化可以包括以一种或多种布置将虚拟外科装备布置在虚拟OR中，并且基于如何满足标准来选择一种或多种布置中最有利的布置。
在一些实施方案中，优化虚拟外科装备的布局包括确定虚拟OR的改进的几何形状，诸如改变虚拟OR的形状或大小。例如，基于装备或其他因素之间的间隙增加，可以改变几何形状。可以通过关于图3和图4的优化过程110描述的系统和过程来执行优化。
在操作280处，可以在显示器上渲染虚拟OR和虚拟外科装备的优化配置。在框274处，可以通过人员相应地调整物理手术室。优化的配置可以用作调整的参考。
此过程(框274、284、272、286和280)可以重复以形成闭环，该闭环改进了物理手术室中的外科装备的设置。例如，在调整物理OR之后，在操作284处再次接收附加的传感器反馈。附加的传感器反馈可以指示物理装备在物理OR中的重新布置。虚拟手术室和/或虚拟外科装备的布局可以基于附加的反馈来更新，并且可以再次执行优化操作。可以显示更新的优化配置，并且用作进一步重新布置的参考，等等。在某个点处，优化操作可能不会对虚拟手术室进行任何改变。在这种情况下，系统和过程可能不具有关于外科装备的布局的任何附加建议。
此类过程可以有益于使用外科机器人系统(例如，图1中所示)来计划外科机器人规程，因为由于各种部件(例如，外科机器人臂、平台、用户控制台、控制塔、人员、传感器和其他装备)的原因，此类外科机器人系统的设置可能具有挑战性。因此，并非所有OR都可以适用于此类外科规程，要么是由于空间不足，要么是OR几何形状的缺陷，这可能导致外科规程执行期间的问题。
在一些实施方案中，可以在虚拟化手术室中模拟物理手术室中的传感器方位。例如，外科机器人系统可以使用安装在墙壁上的相机。相机的放置难以计划，因为直到安装相机之后才能感测相机的视线中的遮挡。虚拟相机可以在虚拟手术室中生成以帮助确定物理相机的正确位置和视线。
例如，在操作284处接收到的传感器反馈可以含有来自物理手术室中的物理相机的相机数据(例如，一个或多个图像)。在框272处，系统可以生成和/或更新具有对应于物理相机的位置和视线的位置和视线的虚拟相机。在框286处，系统可以确定虚拟相机的视线中是否存在遮挡(阻挡视觉的对象)。如果存在遮挡，则系统可以修改虚拟相机的位置或视线以最小化或消除遮挡。虚拟相机可以以优化的配置示出，然后可以用作调整物理相机的参考。
在一个实施方案中，感官反馈包括物理OR中的物理外科机器人臂的控制数据和传感器数据(例如，编码器数据、运动学数据)。因此，来自物理外科机器人臂的反馈可用于优化虚拟OR布局。例如，如果传感器数据(例如，图像)不包括物理患者的准确表示，则处理器可以使用其他传感器数据(例如，来自机器人臂的编码器数据)来参数化广义患者模型，并且随后基于患者模型创建OR布局的虚拟模型。然后，可以如述计算OR布局和工作流的改进。
在一个实施方案中，系统可以在一个或多个数据库270中存储具有优化布局的虚拟OR。所存储的布局将来可以被调用和重新使用，以帮助调整物理手术室，从而不会不必要地重复相同的优化过程。
在一个实施方案中，基于传感器反馈(例如，物理OR的3D扫描)，系统可以基于所接收的数据在虚拟OR内添加新虚拟装备。可以生成新的模型并将其存储进数据库中。以此方式，系统可以基于来自3D扫描仪的反馈将新的和未知的虚拟对象添加到虚拟手术室中并将它们缝合到虚拟OR中。
系统可以生成包括虚拟OR中装备模型的布局信息的报告。报告可以包括图片，诸如透视图的平面图。系统可以确定物理OR是否具有支持待用于外科规程的装备模型或外科机器人系统的能力。例如，基于房间的大小和几何形状以及装备彼此之间的接近程度，可以认为物理OR不适用于此类装备和规程。
在一些实施方案中，可以确定手术室与外科机器人规程和装备的兼容性。可以基于物理OR的几何形状生成虚拟OR。虚拟OR可以在框272处基于预先存在的OR模型和装备模型和/或基于可被分析以确定物理手术室和物理手术室中对象的大小和形状的感测到的反馈生成。在操作286处，可以如所述优化虚拟外科装备的布局。
在操作278处，可以执行兼容性确定，该兼容性确定描述物理OR对于外科机器人系统和/或规程的兼容性如何。该确定可以显示OR必须支持虚拟外科机器人系统的能力有多少。在一个实施方案中，该确定可以基于虚拟装备是否能够被可靠地移入和移出虚拟OR，该虚拟OR继而反映物理装备是否能够被可靠地移入和移出物理OR。兼容性分数还基于将虚拟装备的大小(例如，虚拟机器人臂、平台、用户控制台和控制塔)与虚拟OR的入口或路径比较。
还可以基于虚拟外科装备之间、虚拟外科装备与物理OR的壁之间、或虚拟外科装备与虚拟人员之间是否存在足够的间隙来进行兼容性确定。因此，兼容性确定还可以考虑OR可能有多狭窄。
在框276处，用户可以查看兼容性确定并决定是使用当前物理手术室执行规程，还是使用不同的手术室。例如，低兼容性分数可以向用户指示当前物理手术室太小或不具有足够的入口以使装备移入和移出。在这种情况下，用户可以决定在不同的手术室中执行相同的过程。
在一个实施方案中，处理器可以确定假设的手术室的改进的几何形状。这可以包括确定当前虚拟手术室的形状或大小的改变，该改变可以基于物理手术室的扫描。可以通过显示器或报告指示改进的几何形状，从而提供关于更适合规程的OR的建议。
在一个实施方案中，处理器可以在虚拟手术室中(例如，在装备模型和/或模型与电插座之间)给虚拟电缆定路线。类似地，静脉内管线或其他医疗管或电缆可以在虚拟手术室内布线。处理器可以将布线的敏感布线识别为“禁”区，以帮助设置和计划外科机器人规程，并且帮助培训工作人员。
在一个实施方案中，该方法包括显示虚拟外科环境。例如，虚拟外科环境可以显示给用户控制台上的用户显示器(如图1所示)或任何本地或远程显示器。虚拟外科环境可以显示为体育场视图、平面图、第一人称视图或其他视图。显示器可以由网络上的节点(例如，计算装置)之间的数据传输协议驱动(例如，TCP/IP、以太网、UDP等等)。在一个实施方案中，将虚拟外科环境显示到头戴式显示器。可以跟踪头戴式显示器的穿戴者，使得穿戴者可以在整个虚拟外科环境中移动以获得对各种装备的位置和取向以及虚拟外科环境内的未占用空间和走道的三维理解。在一个实施方案中，虚拟外科环境是交互式的，使得用户可以调整虚拟外科环境中的对象的取向和/或位置(例如，虚拟外科机器人臂、控制塔、外科机器人平台的角度或高度、显示器的角度等等)。
在一个实施方案中，系统的处理器(例如，优化处理器、运动学处理器、机器人控制器、相机、显示器和机器人臂)可以包括微处理器和存储器。每个处理器可包括其中包括单个处理器内核或多个处理器内核的单个处理器或多个处理器。每个处理器可以表示一个或多个通用处理器，诸如微处理器、中央处理单元(CPU)等。更具体地讲，每个处理器可以是复杂指令集计算(CISC)微处理器、精简指令集计算(RISC)微处理器、超长指令字(VLIW)微处理器、实现其他指令集的处理器或实现指令集组合的处理器。每个处理器还可以是一个或多个专用处理器，诸如专用集成电路(ASIC)、蜂窝或基带处理器、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、网络处理器、图形处理器、通信处理器、加密处理器、协同处理器、嵌入式处理器或能够处理指令的任何其他类型的逻辑。
诸如本文所述的算法或方法步骤的模块、部件和其他特征可以由微处理器、离散硬件部件来实施，或者集成在硬件部件(诸如ASIC、FPGA、DSP或类似装置)的功能中。此外，此类特征和部件可以被实施为硬件装置内的固件或功能电路系统，然而，此类细节与本公开的实施方案没有重要关联。还应当理解，具有更少部件或可能更多部件的网络计算机、手持式计算机、移动计算装置、服务器和/或其他数据处理系统也可与本公开的实施方案一起使用。
以上详细描述的一些部分已经根据算法和对计算机存储器内的数据位的操作的符号表示来呈现。数据处理领域的技术人员利用这些算法描述和表示来向本领域的其他技术人员最有效地传达他们的工作要旨。算法在此处并且通常被视为导致期望结果的有条理的操作序列。操作为需要物理量的物理操纵的操作。
然而，应当记住，这些和类似的术语都将与适当的物理量相关联并且仅仅是应用于这些量的方便的标签。除非从上述讨论中另外明确指明，否则可以理解的是，在整个说明书中，利用诸如以下权利要求中提出的那些术语的讨论是指计算机系统或类似的电子计算装置的动作和过程，其操纵表示为计算机系统的寄存器和存储器内的物理(电子)量的数据并将其转换成相似地表示为计算机系统存储器或寄存器或其他此类信息存储、传输或显示装置内的物理量的其他数据。
本公开的实施方案还涉及用于执行本文的操作的设备。此类计算机程序存储在非暂态计算机可读介质中。机器可读介质包括用于以机器(例如，计算机)可读的形式来存储信息的任何机制。例如，机器可读(例如，计算机可读)介质包括机器(例如，计算机)可读存储介质(例如，只读存储器(“ROM”)、随机存取存储器(“RAM”)、磁盘存储介质、光学存储介质、闪存存储器装置)。
在前图中描绘的过程或方法可以由处理逻辑执行，该处理逻辑包括硬件(例如，电路系统、专用逻辑等)、软件(例如，体现在非暂态计算机可读介质上)或两者的组合。虽然上文根据一些顺序操作来描述过程或方法，但是应当理解，所描述的操作中的一些操作可以不同的顺序来执行。此外，一些操作可并行地而非顺序地执行。
本公开的实施方案未参考任何特定的编程语言来进行描述。应该理解，可以使用各种编程语言来实现本文描述的本公开的实施方案的教导内容。
在前述说明书中，已参考本公开的具体示例性实施方案描述了本公开的实施方案。将显而易见的是，在不脱离如以下权利要求中阐述的本公开的更广泛的实质和范围的情况下，可对本公开进行各种修改。因此，说明书和附图将被视为在示例性意义上而非限制性的。出于解释的目的，前述描述使用特定命名来提供对本发明的透彻理解。然而，对于本领域的技术人员将显而易见的是，实践本发明不需要具体细节。出于举例说明和描述的目的，已经提供了本发明的特定实施方案的前述说明。它们并非旨在为详尽的或将本发明限制为所公开的具体形式；根据上述教导内容可对本公开进行多种修改和改变。选择和描述实施方案是为了最好地解释本发明的原理及其实际应用，从而使得本领域的其他技术人员能够最好地利用本发明和具有适合于所设想的特定用途的各种修改的各种实施方案。以下权利要求书及其等同项旨在限定本发明的范围。

Claims (40)

1.一种用于利用外科机器人系统来计划外科机器人工作流的方法，所述方法包括：
生成虚拟外科环境，所述虚拟外科环境包括虚拟外科机器人臂和虚拟患者；
确定所述虚拟患者内的工作空间；
基于所述工作空间来确定虚拟工具的方位；以及
基于所述虚拟工具的所述方位来确定所述虚拟工具被附接在其上的所述虚拟外科机器人臂的方位，以维持所述虚拟工具在所述工作空间中的触及范围。
2.根据权利要求1所述的方法，其中，基于规程类型和所述虚拟患者来确定所述工作空间。
3.根据权利要求1所述的方法，其中，所述虚拟外科机器人臂或所述虚拟工具的所述方位还基于限定所述虚拟外科机器人臂的移动约束的运动学参数。
4.根据权利要求3所述的方法，其中，从限定物理外科机器人臂的几何形状和移动约束的计算机模型中提取所述运动学参数。
5.根据权利要求3所述的方法，其中，基于在物理外科规程或物理模拟期间捕获的物理外科机器人臂的马达控制数据来确定所述运动学参数。
6.根据权利要求3所述的方法，所述方法还包括：
基于所述虚拟工具的所述方位来确定所述虚拟患者上的进入点，其中，所述虚拟工具包括套管针。
7.根据权利要求6所述的方法，所述方法还包括：
基于为医务人员和其他医疗装备提供足够的间隙并最小化碰撞风险，来确定虚拟控制塔或虚拟用户控制台在所述虚拟手术环境中的位置或取向。
8.根据权利要求7所述的方法，所述方法还包括：
基于限定对所述虚拟患者或规程的改变的接收的输入，来重复所述方法以更新所述虚拟外科环境。
9.根据权利要求1所述的方法，其中，按先后顺序执行操作，包括a)第一，基于所述虚拟患者和外科规程类型来确定所述工作空间；b)第二，基于所述工作空间来确定所述虚拟工具的所述方位；c)第三，基于所述虚拟工具的所述方位来确定所述虚拟外科机器人臂的所述方位；以及d)第四，确定其余虚拟外科机器人装备的位置和取向。
10.根据权利要求1所述的方法，所述方法还包括将所述虚拟外科环境显示为体育馆视图或第一人称视图。
11.根据权利要求1所述的方法，所述方法还包括通过头戴式显示器来显示所述虚拟外科环境。
12.根据权利要求1所述的方法，其中，由物理患者的三维扫描生成或从数据库选择所述虚拟患者。
13.根据权利要求1所述的方法，其中，基于从一个或多个物理外科规程捕获的传感器信息或外科机器人移动数据来生成或修改所述虚拟患者。
14.根据权利要求13所述的方法，其中，生成或修改所述虚拟患者包括基于以下来估计所述虚拟患者的内部体积：a)物理患者体内的相机图像；或b)在所述一个或多个物理外科规程期间捕获的外科机器人工具运动。
15.根据权利要求13所述的方法，其中，生成或修改所述虚拟患者包括基于在所述一个或多个物理外科规程期间捕获的内窥镜数据来重建所述虚拟患者的内部体积。
16.一种用于计划外科机器人系统中的外科工作流的系统，所述系统包括虚拟现实处理器，所述虚拟现实处理器被配置为执行包括以下的操作：
生成虚拟外科环境，所述虚拟外科环境包括虚拟外科机器人臂和虚拟患者；
确定所述虚拟患者内的工作空间；
基于所述工作空间来确定虚拟工具的方位；以及
基于所述虚拟工具的所述方位来确定所述虚拟工具被附接在其上的所述虚拟外科机器人臂的方位，以维持所述虚拟工具在所述工作空间中的触及范围。
17.根据权利要求16所述的系统，其中，基于重要性按顺序来执行所述操作，所述顺序包括：a)基于所述虚拟患者和外科规程类型来确定所述工作空间；b)接下来，基于所述工作空间来确定所述虚拟工具的所述方位；c)接下来，基于所述虚拟工具的所述方位来确定所述虚拟外科机器人臂的所述方位；以及d)接下来，确定其余虚拟外科机器人装备的位置和取向。
18.根据权利要求16所述的系统，其中，所述工作空间基于所述虚拟患者的内部体积，所述虚拟患者的所述内部体积基于以下来确定：a)物理患者体内的相机图像；或b)在所述一个或多个物理外科规程期间捕获的物理外科机器人臂或工具的运动。
19.根据权利要求16所述的系统，其中，由物理患者的三维扫描生成所述虚拟患者。
20.根据权利要求16所述的系统，所述系统还包括显示器，其中，在所述显示器上输出所述虚拟外科环境。
21.一种方法，所述方法由一个或多个处理器执行，所述方法包括：
基于现有的手术室(OR)模型和现有的装备模型来生成包括虚拟外科装备的虚拟OR；
接收限定具有物理装备的物理OR的传感器反馈，所述物理装备包括所述物理OR内的外科机器人系统；
基于所述传感器反馈来更新所述虚拟OR和所述虚拟外科装备；
优化所述虚拟外科装备在所述虚拟OR中的布局；以及
在显示器上渲染所述虚拟OR和所述虚拟外科装备。
22.根据权利要求21所述的方法，其中，从数据库中检索所述现有的OR模型和所述现有的装备模型。
23.根据权利要求21所述的方法，其中，所述现有的OR模型或所述现有的装备模型包括以下中的一者或多者：几何形状、大小、名称、外科机器人系统配置和外科手术类型。
24.根据权利要求23所述的方法，其中，所述外科机器人系统配置限定以下中的一者或多者：多个机器人臂、工具和所述机器人臂的位姿。
25.根据权利要求21所述的方法，其中，基于患者模型在所述虚拟OR中生成虚拟患者。
26.根据权利要求21所述的方法，其中，由以下传感器中的一者或多者生成所述传感器反馈：相机、红外传感器、3D扫描相机、机器人传感器和人体跟踪装置。
27.根据权利要求21所述的方法，其中，所述传感器反馈包括所述外科机器人系统在所述物理OR中的运动学数据。
28.根据权利要求21所述的方法，其中，所述传感器反馈包括来自相机的相机数据，所述相机具有的在所述物理OR中的位置和视线对应于虚拟相机在所述虚拟OR中的位置和视线。
29.根据权利要求28所述的方法，所述方法还包括：
确定所述虚拟相机的所述视线中是否存在遮挡；
如果存在所述遮挡，则修改所述虚拟相机的所述位置或所述视线以最小化或消除所述遮挡。
30.根据权利要求21所述的方法，其中，优化所述虚拟外科装备在所述虚拟OR中的所述布局包括确定所述虚拟OR的改进的几何形状，所述改进的几何形状包括所述虚拟OR的形状或大小的改变。
31.根据权利要求21所述的方法，其中，优化所述虚拟外科装备在所述虚拟OR中的所述布局基于以下标准中的一者或多者：工作流、所述虚拟外科装备的间隙和碰撞风险。
32.根据权利要求31所述的方法，其中，基于重要性来加权所述标准。
33.根据权利要求21所述的方法，其中，优化所述虚拟外科装备在所述虚拟OR中的所述布局包括在所述虚拟OR中给虚拟电缆定路线。
34.根据权利要求21所述的方法，所述方法还包括：
基于所述虚拟OR来确定所述物理OR的所述物理装备的兼容性分数，所述兼容性分数基于一个或多个兼容性因素，所述一个或多个兼容性因素包括：a)所述虚拟OR是否具有支持所述虚拟外科装备的能力；b)所述虚拟外科装备是否能够被可靠地移入和移出所述虚拟OR；c)所述虚拟外科装备中的一个或多个虚拟外科装备的大小与所述虚拟OR的入口或路径的比较，或d)所述虚拟外科装备之间、所述虚拟外科装备与所述物理OR的壁之间、或所述虚拟外科装备与虚拟人员之间是否存在足够的间隙。
35.根据权利要求21所述的方法，所述方法还包括将所述虚拟OR与所述虚拟外科装备的所优化的布局存储进计算机存储器中的数据库中。
36.一种用于利用虚拟外科机器人系统生成虚拟手术室(OR)的系统，所述系统包括：
虚拟现实处理器，所述虚拟现实处理器被配置为：
基于物理OR的几何形状来生成虚拟OR，所述物理OR在所述虚拟OR内具有表示物理外科装备的虚拟外科装备；
优化所述虚拟外科装备在所述虚拟OR中的布局；以及
基于所述虚拟外科装备在所述虚拟OR中的所优化的布局来确定所述物理OR与所述物理外科装备之间的兼容性。
37.根据权利要求36所述的系统，其中，确定所述兼容性基于以下中的一者或多者：a)所述虚拟OR是否具有支持所述虚拟外科装备的能力；b)所述虚拟外科装备是否能够被可靠地移入和移出所述虚拟OR；c)所述虚拟外科装备中的一个或多个虚拟外科装备的大小与所述虚拟OR的入口或路径的比较，或d)所述虚拟外科装备之间、所述虚拟外科装备与所述物理OR的壁之间、或所述虚拟外科装备与虚拟人员之间是否存在足够的间隙。
38.根据权利要求36所述的系统，其中，优化所述虚拟外科装备在所述虚拟OR中的所述布局包括确定所述虚拟OR的改进的几何形状，所述改进的几何形状包括所述虚拟OR的形状或大小的改变。
39.根据权利要求36所述的系统，其中，优化所述虚拟外科装备的所述布局基于以下中的一者或多者：工作流、所述虚拟外科装备的间隙或碰撞风险。
40.根据权利要求36所述的系统，其中，优化所述虚拟外科装备在所述虚拟OR中的所述布局包括在所述虚拟OR中给虚拟电缆定路线。
CN201980101893.XA 2019-10-29 2019-12-05 用于利用患者模型和可定制的手术室模拟外科工作流的虚拟现实系统 Pending CN114667110A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US16/667237 2019-10-29
US16/667,241 US11389246B2 (en) 2019-10-29 2019-10-29 Virtual reality system with customizable operation room
US16/667,237 US11382696B2 (en) 2019-10-29 2019-10-29 Virtual reality system for simulating surgical workflows with patient models
US16/667241 2019-10-29
PCT/US2019/064713 WO2021086417A1 (en) 2019-10-29 2019-12-05 Virtual reality systems for simulating surgical workflow with patient model and customizable operation room

Publications (1)

Publication Number Publication Date
CN114667110A true CN114667110A (zh) 2022-06-24

Family

ID=75715556

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980101893.XA Pending CN114667110A (zh) 2019-10-29 2019-12-05 用于利用患者模型和可定制的手术室模拟外科工作流的虚拟现实系统

Country Status (7)

Country Link
US (1) US11896315B2 (zh)
EP (1) EP4051155A4 (zh)
JP (1) JP7455965B2 (zh)
KR (1) KR20220091551A (zh)
CN (1) CN114667110A (zh)
BR (1) BR112022007849A2 (zh)
WO (1) WO2021086417A1 (zh)

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7139685B2 (en) 2000-11-03 2006-11-21 Siemens Aktiengesellschaft Video-supported planning of equipment installation and/or room design
US7607440B2 (en) * 2001-06-07 2009-10-27 Intuitive Surgical, Inc. Methods and apparatus for surgical planning
EP1855607B1 (en) * 2005-01-13 2017-10-25 Mazor Robotics Ltd. Image-guided robotic system for keyhole neurosurgery
US8398541B2 (en) 2006-06-06 2013-03-19 Intuitive Surgical Operations, Inc. Interactive user interfaces for robotic minimally invasive surgical systems
US8140989B2 (en) 2009-02-19 2012-03-20 Kimberly-Clark Worldwide, Inc. Virtual room use simulator and room planning system
US20110061011A1 (en) 2009-09-04 2011-03-10 Ramsay Hoguet Three-Dimensional Shopping Lists
US8521331B2 (en) 2009-11-13 2013-08-27 Intuitive Surgical Operations, Inc. Patient-side surgeon interface for a minimally invasive, teleoperated surgical instrument
JP2014102679A (ja) 2012-11-20 2014-06-05 Toda Constr Co Ltd 建物の物配置用バーチャルリアリティーソフトとその入力方法
CN106030683B (zh) 2013-12-20 2020-10-30 直观外科手术操作公司 用于医疗程序培训的模拟器系统
KR20170083091A (ko) 2014-11-13 2017-07-17 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 통합된 사용자 환경
CA2980618C (en) * 2015-03-26 2023-09-26 Surgical Safety Technologies Inc. Operating room black-box device, system, method and computer readable medium for event and error prediction
JP2016221166A (ja) 2015-06-03 2016-12-28 株式会社デンソー 医療行為支援システム
US10136949B2 (en) 2015-08-17 2018-11-27 Ethicon Llc Gathering and analyzing data for robotic surgical systems
WO2017147596A1 (en) * 2016-02-26 2017-08-31 Think Surgical, Inc. Method and system for guiding user positioning of a robot
WO2017173518A1 (en) 2016-04-05 2017-10-12 Synaptive Medical (Barbados) Inc. Multi-metric surgery simulator and methods
WO2017214696A1 (en) * 2016-06-13 2017-12-21 Synaptive Medical (Barbados) Inc. Virtual operating room layout planning and analysis tool
US11314846B1 (en) * 2016-09-29 2022-04-26 OR Link, Inc. Surgical communication and computerization infrastructure
WO2018083687A1 (en) 2016-10-07 2018-05-11 Simbionix Ltd Method and system for rendering a medical simulation in an operating room in virtual reality or augmented reality environment
US10368955B2 (en) 2017-03-31 2019-08-06 Johnson & Johnson Innovation-Jjdc, Inc. Multi-functional foot pedal assembly for controlling a robotic surgical system
EP3612123A4 (en) 2017-04-20 2021-01-13 Intuitive Surgical Operations, Inc. SYSTEMS AND METHODS FOR RESTRICTING A SURGICAL SYSTEM WITH VIRTUAL REALITY
US10154360B2 (en) 2017-05-08 2018-12-11 Microsoft Technology Licensing, Llc Method and system of improving detection of environmental sounds in an immersive environment
US10806532B2 (en) * 2017-05-24 2020-10-20 KindHeart, Inc. Surgical simulation system using force sensing and optical tracking and robotic surgery system
US20180350145A1 (en) * 2017-05-30 2018-12-06 Reston Restoration Augmented Reality Devices and Methods Thereof for Rendering Virtual Objects
US11011077B2 (en) 2017-06-29 2021-05-18 Verb Surgical Inc. Virtual reality training, simulation, and collaboration in a robotic surgical system
US11127306B2 (en) 2017-08-21 2021-09-21 Precisionos Technology Inc. Medical virtual reality surgical system
EP3703604A4 (en) * 2017-10-30 2021-08-11 Intuitive Surgical Operations, Inc. GUIDED PORT PLACEMENT SELECTION SYSTEMS AND METHODS
JP7367990B2 (ja) * 2018-02-02 2023-10-24 インテリジョイント サージカル インク． 手術室の遠隔監視
CN111741729A (zh) * 2018-02-20 2020-10-02 株式会社休通 手术最优化方法以及装置
US11189379B2 (en) 2018-03-06 2021-11-30 Digital Surgery Limited Methods and systems for using multiple data structures to process surgical data
US11232556B2 (en) 2018-04-20 2022-01-25 Verily Life Sciences Llc Surgical simulator providing labeled data
US20200074402A1 (en) 2018-09-05 2020-03-05 Trax Technology Solutions Pte Ltd. Monitoring product shortages over time
US10712923B1 (en) * 2019-04-02 2020-07-14 Magick Woods Exports Private Limited System and method for designing interior space

Also Published As

Publication number Publication date
KR20220091551A (ko) 2022-06-30
JP2023511474A (ja) 2023-03-20
BR112022007849A2 (pt) 2022-07-05
EP4051155A4 (en) 2023-11-29
US11896315B2 (en) 2024-02-13
WO2021086417A1 (en) 2021-05-06
EP4051155A1 (en) 2022-09-07
US20220296307A1 (en) 2022-09-22
JP7455965B2 (ja) 2024-03-26

Similar Documents

Publication Publication Date Title
EP3119326B1 (en) Command shaping to dampen vibrations in mode transitions
US11382696B2 (en) Virtual reality system for simulating surgical workflows with patient models
US11389246B2 (en) Virtual reality system with customizable operation room
US11950850B2 (en) Feedback for surgical robotic system with virtual reality
US11944395B2 (en) 3D visualization enhancement for depth perception and collision avoidance
US20220061936A1 (en) Control of an endoscope by a surgical robot
US20230270502A1 (en) Mobile virtual reality system for surgical robotic systems
US20210378769A1 (en) Inverse kinematics of a surgical robot for teleoperation with hardware constraints
CN115697235A (zh) 使用增强现实的远程外科指导
US11896315B2 (en) Virtual reality system with customizable operation room
US20240033005A1 (en) Systems and methods for generating virtual reality guidance
US20240029858A1 (en) Systems and methods for generating and evaluating a medical procedure
US20240013901A1 (en) Systems and methods for planning a medical environment
EP4243721A1 (en) Systems and methods for remote mentoring

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination