CN115699198A - 手术室的数字化 - Google Patents

手术室的数字化 Download PDF

Info

Publication number
CN115699198A
CN115699198A CN202080101730.4A CN202080101730A CN115699198A CN 115699198 A CN115699198 A CN 115699198A CN 202080101730 A CN202080101730 A CN 202080101730A CN 115699198 A CN115699198 A CN 115699198A
Authority
CN
China
Prior art keywords
surgical
data
robotic system
objects
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080101730.4A
Other languages
English (en)
Inventor
B·A·奥尔森
B·A·福斯特
A·巴特尔
徐一鸣
G·泰勒
宋天羽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Verb Surgical Inc
Original Assignee
Verb Surgical Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Verb Surgical Inc filed Critical Verb Surgical Inc
Publication of CN115699198A publication Critical patent/CN115699198A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Master-slave robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G06F16/9024—Graphs; Linked lists
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/34—Trocars; Puncturing needles
    • A61B17/3417—Details of tips or shafts, e.g. grooves, expandable, bendable; Multiple coaxial sliding cannulas, e.g. for dilating
    • A61B17/3421—Cannulas
    • A61B17/3423—Access ports, e.g. toroid shape introducers for instruments or hands
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A61B2034/2057—Details of tracking cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Robotics (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Graphics (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了通过生成3D点云数据的深度相机感测利用外科机器人系统执行的外科动作。记录与外科机器人系统相关联的机器人系统数据。对由一个或多个深度相机产生的图像数据执行对象辨识，以辨识手术室(OR)中的对象，包括外科设备和人。通过存储未辨识的对象的3D点云数据、与所辨识的对象相关联的位置和取向以及c)机器人系统数据来将外科动作数字化。

Description

手术室的数字化
技术领域
本发明整体涉及外科机器人系统，并且更具体地涉及使利用外科机器人系统执行的外科动作数字化。
背景技术
微创外科手术(MIS)诸如腹腔镜手术涉及旨在在外科规程期间减少组织损伤的技术。例如，腹腔镜规程通常涉及在患者体内(例如，在腹部)形成多个小切口，以及通过切口将一个或多个工具和至少一个相机引入患者体内。然后可通过使用所引入的外科工具执行外科规程，其中可视化辅助由相机提供。
一般来讲，MIS提供多重有益效果，诸如减少患者疤痕、减轻患者疼痛、缩短患者恢复期以及降低与患者恢复相关联的医疗费用。可利用外科机器人系统执行MIS，该外科机器人系统包括一个或多个机械臂，该机械臂用于基于来自远程操作者的命令操纵外科工具。外科机械臂可以例如在其远侧端部支承各种装置，诸如外科端部执行器、成像装置、用于提供对患者体腔和器官的触及的插管等。对这种机器人系统的控制可能需要来自用户(例如，外科医生或其他操作者)的经由一个或多个用户界面装置的控制输入，这些用户界面装置将来自用户的操纵或命令转换成对机器人系统的控制。例如，当外科工具定位在患者的外科手术部位处时，具有一个或多个马达的工具驱动器可以响应于用户命令而致动外科工具的一个或多个自由度。因此，外科机械臂可以帮助执行外科手术。
利用外科机器人系统执行外科手术可以受益于术前规划、术后分析和术中指导。捕获图像数据的系统可以允许用户查看外科动作的记忆呈现并与其交互。所捕获的数据可以用于术前规划、术后分析和术中指导。
发明内容
为了在外科领域内建立一致性并制定供新手外科医生遵循的外科手术的客观标准，可以进行广泛的数据收集以便找到已经从不同大学、实习地、医院和国家接受训练的外科医生之间的共性。不管这些共性是最终源自机器智能还是个体检测和人类智能，这两种方法都有共同的问题：需要使外科手术数字化，使得能够使用离线分析来对外科手术进行重放和定量分析。
此外，手术室的数字化应理想地消除对原始传感器数据的存储，因为每次外科手术都将产生人类和计算机难以存储、重放和查看的太字节的信息。本公开描述了OR和外科动作的数字化，该数字化以能够支持向在不同国家不同环境下运营的医院大规模部署外科机器人系统的方式支持外科手术重放、离线分析和术中指导。
本公开描述了用于重建外科动作的关键时间和空间方面的方法，使得该外科动作能够被数字化重建以用于术前重放和规划、术后分析和术中干预。深度相机(例如，RGBD传感器)可以与外科机器人系统(例如，与控制塔)集成并集成在无约束便携式电子装置(例如，手持式计算机平板电脑)上，以创建融合在一起的点云数据流。例如，一个或多个处理器将该连续RGBD点云流与来自外科机器人系统的所记录的机器人数据融合，以创建在增强现实平板电脑、控制塔和外科手术台之间共享的公共坐标系。
针对多小时外科手术的点云数据可能太大以致不能针对每次外科手术被存储在云中，因此语义分割可以用于仅存储点云数据的不与在场景中辨识的预定义或分类对象相关联的部分。所分类的、所辨识的对象的该集合和未分类的点云数据被存储在云中以用于离线分析。
另外，对场景中的由受过训练的语义分割机器学习模型辨识的可辨识对象的在线分析可以用于在术中警示手术室人员重要事件。总之，本文所述的OR数字化方法为手术室人员提供了以下能力：查看过去外科手术的重放、接收已经通过人工智能或人类智能分析的外科手术的术后分析，以及接收关于关键外科事件的术中警示。
在一些实施方案中，描述了一种用于生成包括外科动作的记录的数字资产的方法，该数字资产从3D点云数据和所记录的机器人系统数据融合。利用外科机器人系统执行外科动作。通过一个或多个深度相机(也被称为3D扫描仪)来感测对外科动作的执行，该外科动作可以是真实的外科规程或演示。同时，记录与外科机器人系统相关联的机器人系统数据。机器人系统数据可以包括机械臂的位置、取向和移动，以及与系统或规程相关的其他值得注意的指示标识。
使用计算机视觉，可以在由深度相机产生的图像数据中辨识一些对象。然而，一些对象可能无法被辨识。所辨识的对象可以通过存储如在其环境中感测到的那些对象的位置和取向而被记忆。因此，可以减少它们的存储器占用。对于未辨识的对象，可以存储诸如3D点云数据或网格数据的图像数据。机器人系统数据也被存储。所存储的数据可以被保存为数字资产并在时间上同步(例如，具有时间戳)和/或在一个或多个帧序列中管理。所存储的数据可以用于重建外科动作以用于回放、在手术期间提供实时警示以及用于离线分析。
回放装置可以通过在数字资产中指定的位置和取向处渲染所辨识的对象来重建外科动作。所存储的图像数据(例如，3D点云或网格)可以与所辨识的对象一起被渲染，共享公共3D坐标系，并且在时间上同步。所存储的机器人系统数据可以用于重建被渲染用于回放或用于实时分析的外科机器人(例如，机械臂和外科工具)的精确位置、取向和移动。
可以基于人类活动和/或机器人系统数据生成用作“跳跃点”的事件，以用于值得注意的外科事件。例如，人类活动和/或机器人系统数据可以在数据中指示UID何时用于外科手术或者何时更换外科医生或更换器械、何时插入套管针等。用户可以在回放期间选择事件以跳跃到外科动作的相关部分。在本公开中描述了另外的方面和特征。可以通过对数据流中的一个或多个数据流的自动分析和/或通过由人进行的分析来生成事件。
附图说明
图1示出了根据一个实施方案的外科机器人系统。
图2和图3示出了根据一些实施方案的用于捕获外科动作的系统。
图4示出了根据一些实施方案的数字化外科动作的示例。
图5示出了根据一些实施方案的数字化外科动作的可访问事件。
图6示出了根据一些实施方案的外科动作的数字化3D数据。
图7示出了根据一些实施方案的用于使外科动作数字化的方法。
具体实施方式
本发明的各个方面和变型的示例在本文描述并在附图中示出。以下描述并非旨在将本发明限制于这些实施方案，而是旨在使本领域的技术人员能够制备和使用本发明。
下面的说明书和附图是对本公开的说明，不应理解为是限制本公开。描述了许多具体细节，以提供对本公开的各种实施方案的透彻理解。然而，在某些情况下，未对公知的或常规的细节进行描述，以使本公开的实施方案的讨论简洁。
在说明书中引用的“一个实施方案”或“实施方案”意指结合实施方案描述的特定特征、结构或特性可以包括在本公开的至少一个实施方案中。在说明书中各处出现的短语“在一个实施方案中”并不一定全部是指相同的实施方案。
参考图1，这是手术场所中的示例性外科机器人系统1的绘画视图。机器人系统1包括用户控制台2、控制塔3以及外科机器人平台5(例如台、床等)处的一个或多个外科机械臂4。系统1可结合用于对患者6执行外科手术的任何数量的装置、工具或附件。例如，系统1可包括用于执行外科手术的一个或多个外科工具7。外科工具7可以是附接到外科臂4的远侧端部的端部执行器，用于执行外科规程。
每个外科工具7可在外科手术期间手动操纵、通过机器人操纵或两者。例如，外科工具7可以是用于进入、查看或操纵患者6的内部解剖结构的工具。在一个实施方案中，外科工具7为可抓持患者的组织的抓持器。外科工具7可以由床边操作者8手动控制；或者其可以由其所附接的外科机械臂4的致动移动而由机器人控制。机械臂4被示出为台上安装系统，但在其他配置中，臂4可安装在手推车、天花板或侧壁上，或者安装在另一个合适的结构支撑件中。
一般来讲，远程操作者9(诸如外科医生或其他操作者)可使用用户控制台2以远程操纵臂4和/或所附接的外科工具7，例如远程操作。用户控制台2可位于与系统1的其余部分相同的手术室中，如图1所示。然而，在其他环境中，用户控制台2可位于相邻或附近的房间中，或者其可位于远程位置，例如，在不同的建筑物、城市或国家中。用户控制台2可包括座椅10、脚动控件13、一个或多个手持式用户输入装置(UID)14以及至少一个用户显示器15，该用户显示器被配置为显示例如患者6体内的外科手术部位的视图。在示例性用户控制台2中，远程操作者9坐在座椅10中并查看用户显示器15，同时操纵脚动控件13和手持式UID14，以便远程控制臂4和外科工具7(其安装在臂4的远侧端部上)。
在一些变型中，床边操作者8还可以“床上”模式操作系统1，其中床边操作者8(用户)现在位于患者6的一侧并且同时操纵机器人驱动的工具(附接到臂4的端部执行器)，例如，用一只手握持手持式UID 14和手动腹腔镜工具。例如，床边操作者的左手可操纵手持式UID以控制机器人部件，而床边操作者的右手可操纵手动腹腔镜工具。因此，在这些变型中，床边操作者8可对患者6执行机器人辅助微创外科手术和手动腹腔镜外科手术两者。
在示例性规程(外科手术)期间，为患者6做手术准备并以无菌方式为该患者覆盖消毒盖布以实现麻醉。在机器人系统1的臂处于收起配置或缩回配置时，可手动地执行对外科手术部位的初始触及(以便于触及外科手术部位)。一旦完成触及，就可执行机器人系统1包括其臂4的初始定位或准备。接着，外科手术继续，其中用户控制台2处的远程操作者9利用脚动控制件13和UID 14来操纵各种端部执行器以及可能的成像系统，以执行外科手术。也可由身着消毒手术衣的床边人员(例如，床边操作者8)在手术床或手术台处提供人工辅助，该床边人员可对机械臂4中的一个或多个臂执行任务，诸如回缩组织、执行手动重新定位以及工具更换。也可存在非消毒人员以在用户控制台2处辅助远程操作者9。当规程或外科手术完成时，系统1和用户控制台2可被配置或设定成一定状态以便于完成术后规程，诸如清洁或消毒以及经由用户控制台2输入或打印保健记录。
在一个实施方案中，远程操作者9保持并且移动UID 14以提供输入命令，从而移动机器人系统1中的机械臂致动器17。UID 14可例如经由控制台计算机系统16通信地耦接到机器人系统1的其余部分。UID 14可生成对应于UID 14的移动的空间状态信号，例如UID的手持式外壳的位置和取向，并且空间状态信号可以是控制机械臂致动器17的运动的输入信号。机器人系统1可使用源自空间状态信号的控制信号来控制致动器17的成比例运动。在一个实施方案中，控制台计算机系统16的控制台处理器接收空间状态信号并生成对应的控制信号。基于控制致动器17如何通电以移动臂4的区段或连接件的这些控制信号，附接到臂的对应外科工具的移动可模拟UID 14的移动。类似地，远程操作者9与UID 14之间的交互可生成例如夹持控制信号，该夹持控制信号使外科工具7的抓持器的钳口闭合并夹持患者6的组织。
外科机器人系统1可包括若干UID 14，其中为控制相应臂4的致动器和外科工具(端部执行器)的每个UID生成相应的控制信号。例如，远程操作者9可移动第一UID 14以控制位于左机械臂中的致动器17的运动，其中致动器通过移动臂4中的连杆、齿轮等来响应。类似地，远程操作者9对第二UID 14的移动控制另一个致动器17的运动，这继而移动机器人系统1的其他连杆、齿轮等。机器人系统1可包括固定到患者的右侧的床或台的右臂4，以及位于患者的左侧的左臂4。致动器17可包括一个或多个马达，该一个或多个马达被控制成使得它们驱动臂4的接合部旋转，以例如相对于患者改变附接到该臂的外科工具7的内窥镜或抓持器的取向。同一臂4中的若干致动器17的运动可由从特定UID 14生成的空间状态信号控制。UID 14还可控制相应外科工具抓持器的运动。例如，每个UID 14可生成相应的夹持信号以控制致动器(例如，线性致动器)的运动，该致动器在外科工具7的远侧端部处打开或闭合抓持器的钳口以抓持患者6体内的组织。
在一些实施方案中，平台5和用户控制台2之间的通信可通过控制塔3，该控制塔可将从用户控制台2(并且更具体地从控制台计算机系统16)接收的用户命令转换成传输到机器人平台5上的臂4的机器人控制命令。控制塔3还可将状态和反馈从平台5传输回用户控制台2。机器人平台5、用户控制台2和控制塔3之间的通信连接可经由有线和/或无线链路，使用各种数据通信协议中的任何合适的数据通信协议。任何有线连接可任选地内置于手术室的地板和/或墙壁或天花板中。机器人系统1可向一个或多个显示器提供视频输出，包括手术室内的显示器以及可经由互联网或其他网络访问的远程显示器。还可加密视频输出或馈送以确保隐私，并且视频输出的全部或部分可保存到服务器或电子保健记录系统。
外科机械臂可以具有可移动的、接合的和/或机动的构件，其具有多个自由度，该自由度可以在远侧端部处保持各种工具或附件。示例系统包括达芬奇(da Vinci(r))外科系统，其可以用于微创外科手术(例如，泌尿外科规程、普通腹腔镜外科规程、妇科腹腔镜外科规程、普通非心血管胸腔镜外科规程和胸腔镜辅助的心切开术规程)。“虚拟外科机械臂”可以是在用户设置的捕获的视频上渲染的机械臂的计算机生成的模型。虚拟外科机械臂可以是真实机械臂的复杂3D模型。另选地或另外，虚拟外科机械臂可包括视觉辅助，诸如箭头、工具尖端或涉及提供关于机械臂的位姿信息的其他表示，诸如真实机械臂的几何简化版本。
图2中示出了用于使外科动作数字化的系统，该系统包括一个或多个深度相机(例如，3D扫描传感器21、22和23)。这些深度相机可以被布置在图1所述的外科机器人系统的任何部分(例如，控制塔3、外科手术台5和/或用户控制台2)上或与该任何部分集成。另外地，深度相机可以与便携式电子装置20集成和/或被安装在手术室的支架、墙壁或天花板上。深度相机感测利用外科机器人系统执行的外科动作。外科动作可以是使用如图1所示的外科机器人系统对真实患者执行的真实规程、在真实患者或假人上的演示或其他训练动作。
在一些实施方案中，系统包括三至五个深度相机。深度相机可以生成同步的RGBD(颜色和深度)帧。这些RGBD帧可以被融合，以产生OR的广角RGBD帧的奇异序列。传感器的帧速率可以由系统动态地改变，这取决于哪个相机被认为对于在任何一个时间点处检索数据是最重要的。被认为最重要的相机可以具有增加的帧速率。
便携式电子装置20可以是在动作期间由外科人员操作的计算机平板电脑，该便携式电子装置容纳检索RGBD(颜色+深度)帧的3D扫描传感器。由便携式电子装置捕获的这些RGBD帧可以通过连续运行的SLAM(同时定位和映射)算法在3D空间内定位，该SLAM算法指定平板电脑相对于外科机器人系统在3D空间中的位置。平板电脑将此图像数据(RGBD帧)发送到处理器24，这能够以各种传送速率进行，取决于OR中的Wi-Fi连接或其他通信协议的速度。
在规程期间，记录与外科机器人系统相关联的机器人系统数据。记录可以与由深度相机捕获的图像数据并发并且同步。机器人系统数据流可以包括来自用户控制台的用户控制，诸如例如用户界面装置(诸如图1中的UID 14)的输入状态、位置或旋转或脚踏开关(诸如脚踏开关13)的状态，这些用户控制用于操作外科机器人系统。机器人系统数据还可以包括描述附接到机械臂的外科器械的状态、位置或旋转(诸如抓持器或切割器是打开还是关闭或者其延伸到外科手术工作空间中多远)或者利用外科器械施加的力或能量的实时信息。此外，可以记录机械臂或外科手术台的移动、位置和取向，诸如机械臂中的每个机械臂的关节值(描述关节位置)或模式(悬垂、不悬垂)。还可以包括其他信息，诸如外科机器人系统的网络连通性、用户登录数据、图形用户界面状态(例如，在图1所示的用户显示器15上什么屏幕是活动的)以及外科机器人系统上的触摸点的状态。机器人系统数据可以被连续记录、加时间戳以及与加时间戳的点云数据同步地长期存储。
处理器24可以基于时间戳的对准来协调机器人系统数据与图像数据40。图像数据可以是RGBD帧的集合，使得组合数据(数字资产30)可以被重建为外科机器人系统(包括图1所述的外科机器人、控制塔、用户控制台)的3D网格，以及手术室中的任何预分类对象，诸如梅奥支架、墙壁、地板、凳子、搁架、照明吊杆和屏幕/监视器。
在一些实施方案中，内窥镜31可以生成内窥镜馈送，该内窥镜馈送也被处理器接收并且与数字化外科动作融合。内窥镜馈送还可以与机器人系统数据和图像数据相关联并且同步以用于回放。处理器可以将图像数据、机器人系统数据以及可选地将内窥镜馈送压缩为可以用于回放的数字资产30。数字资产可以被存储在电子装置(诸如网络连接服务器26)中。回放装置28可以检索数字资产以用于回放。如其他部分所述，处理器可以格式化数字资产，使得存储所辨识的对象的位置和取向，而不是存储原始图像数据或点云数据。
对于所辨识的对象，可以利用与外科机器人系统的未辨识的对象、墙壁、天花板和地板一样的公共坐标系来确定位置和取向。回放装置可以访问所辨识的对象的模型32以将它们渲染到与未辨识的对象相对应的位置和取向中，以在回放期间渲染OR和外科动作(例如，到显示器)。
除了同步和压缩外科动作的数据以用于回放之外，系统还可以基于机器人系统数据或所辨识的对象的位置和取向在外科动作期间生成用户反馈。用户反馈可以指示以下各项中的至少一项：用户界面装置用于外科手术、外科医生的更换、器械的更换、套管针的对接、套管针的插入、阶段变化、外科手术的缓慢执行、不当的套管针位置、不当的患者位置、臂碰撞和不当的OR人员位置。
这种反馈可以使用机器学习算法和/或计算机实现的逻辑基于数据分析而自动生成。例如，基于外科器械和机械臂的位置和移动、内窥镜馈送或其他数据，处理器可以确定套管针正被插入、插入角度以及该插入是否适当。在另一示例中，基于计算机视觉，处理器可以确定患者是否被不当地定位在外科手术台上。
在另一示例中，基于对机器人系统数据的遥测的评估以及与已知基准或先前的外科动作的比较，处理器可以确定外科动作被执行得太慢或太快。如果确定外科规程的涉及器官的切割或移除的一部分以超过阈值时间量比平均或预先确定的时间更快或更慢地执行，则系统可以向外科医生和人员提供反馈，使得如果适当的话可以调整外科动作。
在又一示例中，处理器可以分析外科人员在OR中的位置并且确定他们是否被正确地定位，例如，人员可能站在患者的脚处。处理器能够辨识人员和她在OR中相对于外科手术台的位置，并且基于对已知基准或预定参数的参考来确定人员没有站在适当的位置处。可以实时地提供反馈，以警示人员沿着外科手术台朝向患者的中间部分移动。所有反馈可以例如以最小延迟(包括不可避免的延迟，如由数据的处理、通信延迟和缓冲引起的那些)实时给出，以在外科规程期间提供实时反馈。
图3示出了根据一些实施方案的对用于形成数字资产30的外科动作的处理。接收其可以为3D点云数据的原始图像数据以用于处理。点云数据为空间中的由3D图像捕获装置产生的数据点集。点云数据表示对由3D图像捕获装置感测到的对象的外表面上的许多点的测量。
当收集原始图像数据40(例如，从图2中的相机21至相机23)时，可以在分析之前在预处理器框42处处理数据。这里，跨帧的点云数据可以被降噪、下采样和合并，使得3D点云的密度在3D空间中是一致的。可以应用基于概率的处理过滤器来确定哪些点应当随时间维持以及哪些应当被丢弃，因为场景中的对象不保证是静态的。
随着该公共3D点云被连续更新，在框44、框48和框50处执行另一过程(其可以较慢并且与预处理器并行操作)以分析所更新的点。可以将点云中的点的稳定部分与不稳定部分分开，以加速点云分析。在网格转换器框48(可选的)处，后台进程可以生成点云的3D网格，该3D网格具有表示3D多边形形状的顶点的减少点集。在点云似乎包括已知对象(诸如外科手术台和机械臂、用户控制台、控制塔或其他已知和分类对象)的区域(例如，像素)中，不计算点云的简化3D网格。相反，描述所辨识的对象在空间中的位置和取向的分量变换代替所辨识的对象。位置和取向与原始点云对准。应当理解，取向描述了对象在公共3D坐标系中的方向或旋转。
在一些实施方案中，点云的具有显著更新的部分将被处理，以更新这些部分的3D网格，而没有更新或低于阈值改变量的那些部分将不被更新。点云的具有未辨识对象的部分的3D网格可以针对面向消费者的特征而被保持(以足够的速率更新)，诸如例如在机械臂围绕患者身体行进的情况下，以及在考虑到患者的尺寸和规程确定患者上的套管针放置的情况下。
为了辨识对象，在框44处，计算机视觉分析器44可以在原始图像数据中检测并辨识对象，诸如但不限于图1所示控制塔、外科手术台、机械臂和用户控制台。计算机视觉分析器可应用一种或多种机器学习算法(例如，神经网络)，该机器学习算法经训练以检测和辨识(以某一概率)属于一个或多个分类的对象。机器学习算法可执行分类(例如，辨识对象是否存在于图像中)、对象辨识(例如，辨识特定区域中的对象)和/或语义分割(例如，辨识像素级上的对象)。计算机视觉算法可以包括例如经训练的深度神经网络、经训练的卷积神经网络、边缘检测、角点检测、特征检测、斑块检测或可以被部署以检测和辨识对象的其他等效技术。可以利用API，诸如例如Tensorflow、ImageAI或OpenCV。
通过类似的图像处理和计算机视觉算法，处理器可以在框50处确定所辨识的对象的位置(例如，公共3D坐标中的位置)和取向。机器人系统数据可以用于确定机械臂、外科器械和外科手术台的详细定位。例如，除了其他数据之外，机器人系统数据可以包括外科手术台的角度和高度以及每个机械臂的关节角度。对象标识符(诸如名称或唯一标识符)可以与所辨识的对象中的每个对象相关联以供参考。例如，回放装置可以基于标识符类型来渲染外科手术台的计算机模型，并且基于与对象标识符相关联的所存储的位置和取向来在公共坐标系中渲染该模型。
在一些实施方案中，诸如外科助手和其他人员的人类被辨识并被转换为更压缩的数据表示，例如样条曲线表示。这可以进一步减少数字资产的占用。应当理解，数字资产可以是被长期存储以用于回放的数字文件或文件分组，而不是被短期或临时存储用于处理的目的。
为了减小数据存储大小并提高随后的可检索性和可读性，将针对外科环境中未辨识或未分类的对象的原始图像数据(例如，3D点云数据)存储为原始点云数据，但这不针对如其他部分所讨论的所辨识的对象(其可以被存储为位置和取向或为样条数据)。在一些情况下，针对未辨识的对象的3D点云数据可以在框48处被转换为网格数据(例如，多边形网格、三角形网格)或样条数据。处理器可以执行一个或多个转换算法(例如，Delaunay三角剖分、阿尔法形状、滚球法以及其他等效技术)以将3D点云数据转换为网格数据。
在一些实施方案中，可以在框46处存储并进一步离线分析未辨识的对象。在该上下文中，离线是指提供实时反馈和产生用于回放的数字资产的过程不等待或依赖于该离线分析。在该框中，可以在后续外科手术执行时对未辨识的对象进行连续离线分析，直到将未辨识的对象分类。包括未辨识的对象的点云数据可以被存储在计算机可读存储器中(例如，在联网服务器中)并由自动化计算平台(使用计算机视觉算法)和/或由科学家和其他人分析，以辨识和分类未辨识的对象。
点云数据可以包括时间戳数据，该时间戳数据允许数据与从外科机器人系统检索到的其他传感器数据(诸如外科医生桥接部上的麦克风或相机以及机器人日志)在时间上融合。融合的数据可以进一步帮助分类和辨识对象。新的分类可以用于训练针对计算机视觉的机器学习算法，该机器学习算法然后可以由处理器用于在未来外科动作的数字化中“辨识”这些对象。
例如，参照图1，一些梅奥支架(例如，支架19)、第一助手8、椅子或搁架单元18或照明吊杆可能在一个或多个较早的动作中未被辨识。这些对象可以被离线分类，然后用于在以后的动作中辨识这些或类似对象，从而改进在线分析并随着重复减少数字资产的占用。如其他部分所述，这些对象在被辨识之后可以由OR中的位置和取向来表示以用于存储的目的，并且在回放期间用计算机生成的模型或表示来替代，如同其他所辨识对象。针对未分类的对象的基于计算机的对象辨识可以在OR中实时发生或者在数据已经被上传到服务器之后在云中使用离线分析而发生。
附加地或另选地，其他部分所述的关键外科手术事件也可以由自动化计算平台和/或由科学家或其他人员来离线识别。计算平台可以训练机器学习算法，以基于外科人员、机械臂、UID、外科器械/工具的位置、取向、移动来识别对术后分析有用的进一步的外科手术事件。
重新参照图3，组合器52可以将各种数据组合成一个或多个数字资产以用于将来回放。在一些实施方案中，未辨识的对象的点云数据、与一个或多个所辨识的对象相关联的位置和取向及机器人系统数据被存储为数字资产。在一些实施方案中，数字资产还包括在外科动作期间捕获的内窥镜图像。数据在时间上被同步(例如，具有时间戳)，使得该数据在被回放时类似于原始外科动作。
在一些实施方案中，诸如原始3D点云数据或从3D点云数据生成的高分辨率网格数据的高分辨率数据(空间分辨率和/或时间分辨率)将被存储在云中以用于服务团队、调试和数据分析。该高分辨率数字资产可以被离线分析。然而，为了在面向消费者的装置上重放该数据，组合器可以对机器人系统数据进行下采样。此外，点云数据或网格数据可以被“按需”流传输，以便降低针对低功率消费者装置的计算复杂度并降低查看外科手术不同部分所需的网络流量。低功率消费者装置的示例包括膝上型计算机、运行移动应用的智能电话或Wi-Fi连接的移动、无约束虚拟现实(VR)装置。
缓冲或分级服务器26可以在面向消费者的应用中托管数字资产，该数字资产可以作为外科数据流被提供，该面向消费者的应用允许消费者重放已经通过时间戳融合了其数据的外科手术。该数字资产可以例如通过通信网络(例如，TCP/IP、Wi-Fi等)被流传输到回放装置。数字资产的示例在图4中示出。
图4示出了如根据一些实施方案所述的数字资产30。数字资产可以包括包含未辨识的对象的图像数据(例如，3D点云或网格数据)、与所辨识的对象相关联的压缩数据、记录的外科机器人数据以及内窥镜馈送。该数据可以通过时间戳融合在单独的数据集合中。内窥镜馈送可以是由在外科动作期间使用的内窥镜捕获的立体视频馈送。内窥镜馈送可以具有捕获患者的内部的图像数据。
数字资产可以包括在外科动作期间记录的机器人系统数据。所记录的机器人系统数据可以包括以下各项中的至少一项：UID状态，包括位置、旋转和原始电磁(EM)传感器数据；脚踏开关状态；器械状态，包括位置旋转和所施加的能量/力；机械臂状态，包括关节值和模式；手术台状态，包括位置和旋转；系统错误或信息，例如，Wi-Fi连接、哪个外科医生登录、GUI状态/信息以及机器人上哪些触摸点被按压/按下。
数字资产包括从3D点云数据提取的所辨识的对象。所辨识的对象可以包括图1所述的外科机器人系统的部件，诸如例如用户控制台、外科手术台和机械臂、控制塔以及其他部分所述的移动电子装置20的位置和取向。此外，随着系统的智能平台的进步(例如，通过离线分析)，附加对象可以被辨识并被存储在数字资产中。例如，不是图1所示的外科机器人系统的一部分的梅奥支架、显示器和其他设备可以越来越多地被系统自动辨识并且被包括作为所辨识的对象。所辨识的对象可以包括被存储为样条曲线数据和/或为针对腿部关节、肩部、颈部、臂关节和其他人类关节的位置和取向以及关节值的人。
此外，数字资产还可以包括针对未辨识和未知的对象的3D点云数据或网格数据，例如，地板上使用过的绷带、未知的外科器械和设备等。因此，所辨识的对象可以以压缩形式表示，而未辨识的对象用压缩数据来表示。
回放装置可以基于所辨识的对象的位置和取向来渲染对应于所辨识的对象的模型。例如，可以在定义OR的墙壁、地板和天花板的点云或网格数据上渲染外科手术台和机械臂的模型。在公共坐标系中利用由数字资产指定的位置和取向来渲染模型。外科手术台和机械臂的详细位置可以被记忆在所记录的机器人系统数据中，并且基于该数据而被渲染。
如其他部分所述，数字资产可以包括与数字资产的时间线或帧相关联的事件70。例如，如图5所示，事件可以提供用户在回放期间可以跳跃到的回放接入点。值得注意的事件可以基于对数字化外科动作的分析而被自动确定。例如，图2或图3的处理器或离线计算平台可以分析外科机器人系统数据(诸如机械臂的关节值或外科器械的移动和状态、助手的位置和/或移动、UID输入、内窥镜馈送图像等)以确定关键事件。可以使用机器学习、决策树、编程逻辑或其任何组合来执行分析以确定关键事件。
例如，可以分析机器人系统数据(例如，遥测)以直接指示事件，诸如UID何时用于手术、何时更换外科医生、何时更换器械。离线平台可以将一种或多种机器学习算法(例如，离线)应用于内窥镜馈送、机器人系统数据和图像数据，以生成指示以下各项中的至少一项的事件：何时插入套管针，阶段变化、外科手术的异常缓慢部分、不良患者位置、机械臂碰撞、不正确的OR人员位置、不当的套管针位置或插入端口位置。每个事件可以与数字资产的时间点或帧相关联。因此，用户可以直接跳跃到感兴趣事件或者搜索动作的集合，以提取示出特定事件的动作。
除了跳跃点之外，数字资产可以被加速或减速。例如，用户可以通过从分级服务器请求关于外科手术的增量数据来选择以超过外科手术的实时回放速度的速率(例如，1.5X、2.0X或3.0X)播放整个外科手术。
参照图6，数字资产30可以包括基于由3D扫描器捕获的3D图像数据生成的帧72的序列。帧74可以包括未辨识的对象的点云数据或网格数据和/或诸如地板、墙壁和天花板的房间几何形状。关键帧76可以在时间上分散在包括一个或多个所辨识的对象的位置和取向的帧72的序列中。此外，不需要每个关键帧包含每个所辨识的对象。例如，关键帧可以仅包括具有自先前关键帧改变的值(例如，位置和取向或样条数据)的那些所辨识的对象。这可以进一步减少数字资产占用并且提高计算效率。
参照图7，示出了根据一些实施方案的用于使外科动作数字化的方法或过程80。例如，如图2和图3所示，方法可以由一个或多个处理器执行。
在操作81处，过程包括通过一个或多个深度相机感测利用外科机器人系统执行的外科动作。如所述，一个或多个深度相机(也被称为3D扫描器)可以与外科机器人系统的部件集成，被安装在OR中的墙壁上或支架上和/或与便携式电子装置(例如，平板电脑)集成。
在操作82处，过程包括记录与外科机器人系统的外科机器人相关联的机器人系统数据。该机器人系统数据可以限定机械臂的位置(例如，关节值)、外科手术台高度和角度以及外科机器人系统的各种其他遥测数据，如其他部分所述。
在操作83处，过程包括在由一个或多个深度相机产生的图像数据中辨识一个或多个所辨识的对象。这可以使用计算机视觉算法来执行。如其他部分所讨论，所辨识的对象可以包括外科机器人系统的部件以及其他通用部件。当这些分类扩展到覆盖新的对象时，可辨识对象的库可以随着重复而增长。
在操作64处，过程包括：在电子存储器中存储a)未辨识的对象的图像数据，b)与一个或多个所辨识的对象相关联的位置和取向，以及c)机器人系统数据。图像数据可以被存储为3D点云数据、3D网格数据或其他等效表示。
在一些实施方案中，操作64替代地包括：在电子存储器中存储a)样条曲线、网格表示或在图像数据中辨识的一个或多个人类的位置、取向和关节值，b)未辨识的对象的3D点云数据(或网格数据)，以及c)机器人系统数据，作为数字资产以用于外科动作的回放。可以基于一个或多个人类的位置或移动或机器人系统数据或机器人系统数据来确定一个或多个事件，该一个或多个事件用作在数字资产的回放期间可直接访问的跳跃点，如其他部分所述。
总之，本公开的实施方案允许对手术室的数字重建，其支持术前规划和外科手术的重放。提高了对物理对象在场景中的位置以及人在任何一个时间点正在做什么的认识。也支持术后分析。增强了对外科手术期间的关键事件的离线分析。可以提供对外科手术期间的不同问题的原因的解释。生成数据，使得手术室人员可以识别问题及其原因。还解决了术中指导。所述实施方案可以捕获内窥镜之外的数据和机器人日志。内窥镜分析和机器人日志可以与手术室分析融合。可以警示OR人员关键事件(例如，实时地)以避免外科手术错误、提高外科手术速度、改善患者结局，以及为其用户改善外科机器人系统的工效/人为因素。
在一些实施方案中，各种框和操作可以由执行存储在计算机可读介质上的指令的一个或多个处理器来描述。每个处理器可包括其中包括单个处理器内核或多个处理器内核的单个处理器或多个处理器。每个处理器可以表示一个或多个通用处理器，诸如微处理器、中央处理单元(CPU)等。更具体地讲，每个处理器可以是复杂指令集计算(CISC)微处理器、精简指令集计算(RISC)微处理器、超长指令字(VLIW)微处理器、实现其他指令集的处理器或实现指令集组合的处理器。每个处理器还可以是一个或多个专用处理器，诸如专用集成电路(ASIC)、蜂窝或基带处理器、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、网络处理器、图形处理器、通信处理器、加密处理器、协同处理器、嵌入式处理器或能够处理指令的任何其他类型的逻辑。
诸如本文所述的算法或方法步骤的模块、部件和其他特征可以由微处理器、离散硬件部件来实施，或者集成在硬件部件(诸如ASIC、FPGA、DSP或类似装置)的功能中。另外，这样的特征和部件可以实现为硬件装置内的固件或功能电路；然而，这样的细节与本公开的实施方案没有密切关系。还应当理解，具有更少部件或可能更多部件的网络计算机、手持式计算机、移动计算装置、服务器和/或其他数据处理系统也可与本公开的实施方案一起使用。
以上详细描述的一些部分已经根据算法和对计算机存储器内的数据位的操作的符号表示来呈现。数据处理领域的技术人员利用这些算法描述和表示来向本领域的其他技术人员最有效地传达他们的工作要旨。算法在此处并且通常被视为导致期望结果的有条理的操作序列。操作为需要物理量的物理操纵的操作。
然而，应当记住，这些和类似的术语都将与适当的物理量相关联并且仅仅是应用于这些量的方便的标签。除非从上述讨论中另外明确指明，否则可以理解的是，在整个说明书中，利用诸如以下权利要求中提出的那些术语的讨论是指计算机系统或类似的电子计算装置的动作和过程，其操纵表示为计算机系统的寄存器和存储器内的物理(电子)量的数据并将其转换成相似地表示为计算机系统存储器或寄存器或其他此类信息存储、传输或显示装置内的物理量的其他数据。
本公开的实施方案还涉及用于执行本文的操作的设备。此类计算机程序存储在非暂态计算机可读介质中。机器可读介质包括用于以机器(例如，计算机)可读的形式来存储信息的任何机制。例如，机器可读(例如，计算机可读)介质包括机器(例如，计算机)可读存储介质(例如，只读存储器(“ROM”)、随机存取存储器(“RAM”)、磁盘存储介质、光学存储介质、闪存存储器装置)。
在前图中描绘的过程或方法可以由处理逻辑执行，该处理逻辑包括硬件(例如，电路系统、专用逻辑等)、软件(例如，体现在非暂态计算机可读介质上)或两者的组合。虽然上文根据一些顺序操作来描述过程或方法，但是应当理解，所描述的操作中的一些操作可以不同的顺序来执行。此外，一些操作可并行地而非顺序地执行。
本公开的实施方案未参考任何特定的编程语言来进行描述。应该理解，可以使用各种编程语言来实现本文描述的本公开的实施方案的教导内容。
在前述说明书中，已参考本公开的具体示例性实施方案描述了本公开的实施方案。将显而易见的是，在不脱离如以下权利要求中阐述的本公开的更广泛的实质和范围的情况下，可对本公开进行各种修改。因此，说明书和附图将被视为在示例性意义上而非限制性的。出于解释的目的，前述描述使用特定命名来提供对本发明的透彻理解。然而，对于本领域的技术人员将显而易见的是，实践本发明不需要具体细节。出于举例说明和描述的目的，已经提供了本发明的特定实施方案的前述说明。它们并非旨在为详尽的或将本发明限制为所公开的具体形式；根据上述教导内容可对本公开进行多种修改和改变。选择和描述实施方案是为了最好地解释本发明的原理及其实际应用，从而使得本领域的其他技术人员能够最好地利用本发明和具有适合于所设想的特定用途的各种修改的各种实施方案。以下权利要求书及其等同项旨在限定本发明的范围。

Claims (20)

1.一种由一个或多个处理器执行的方法，包括：
通过一个或多个深度相机感测利用外科机器人系统执行的外科动作；
记录与所述外科机器人系统相关联的机器人系统数据；
在由所述一个或多个深度相机产生的点云数据中辨识一个或多个所辨识的对象；以及
在电子存储器中存储：a)未辨识的对象的所述点云数据，b)与所述一个或多个所辨识的对象相关联的位置和取向，以及c)所述机器人系统数据。
2.根据权利要求1所述的方法，其中，所述未辨识的对象的所述点云数据、与所述一个或多个所辨识的对象相关联的所述位置和取向以及所述机器人系统数据在时间上被同步并被存储为数字资产以用于回放。
3.根据权利要求2所述的方法，其中，所述数字资产还包括在所述外科动作期间捕获的内窥镜图像。
4.根据权利要求2所述的方法，其中，所述数字资产包括：a)连续帧，每个连续帧包括所述未辨识的对象的所述点云数据；以及b)关键帧，所述关键帧在时间上分散在所述连续帧中，所述关键帧包括所述一个或多个所辨识的对象的所述位置和取向。
5.根据权利要求2所述的方法，还包括将事件与所述数字资产相关联，所述事件指示以下各项中的至少一项：套管针的插入、阶段变化、外科手术的缓慢执行、不当的套管针位置、不当的患者位置、臂碰撞、不当的OR人员位置，其中所述事件在所述数字资产的所述回放期间能够直接访问。
6.根据权利要求2所述的方法，还包括将事件与所述数字资产的一个或多个帧相关联，所述事件指示以下各项中的至少一项：用户界面装置用于外科手术、外科医生的更换、器械的更换、套管针的对接，其中所述事件在所述回放期间能够直接访问。
7.根据权利要求1所述的方法，其中，所述未辨识的对象的所述点云数据被存储为网格数据。
8.根据权利要求1所述的方法，其中，所述机器人系统数据包括以下各项中的至少一项：控制所述外科机器人系统的操作的用户界面装置的位置或旋转、电磁传感器数据、控制所述外科机器人系统的操作的脚踏开关的状态、附接到机械臂的外科器械的位置或旋转、利用所述外科器械施加的力或能量、所述机械臂的关节值或模式、所述外科机器人系统的网络连通性、用户登录数据、图形用户界面状态以及所述外科机器人系统上的触摸点的状态。
9.根据权利要求1所述的方法，其中，所述一个或多个所辨识的对象包括以下各项中的至少一项：机械臂、一个或多个人、用户控制台、控制站、外科手术台。
10.根据权利要求9所述的方法，其中，所述一个或多个人由关节值或样条曲线表示。
11.根据权利要求1所述的方法，其中，所述一个或多个深度相机为RGB深度相机。
12.根据权利要求11所述的方法，其中，所述一个或多个深度相机包括被布置在所述外科机器人系统的控制塔上的深度相机以及被布置在便携式电子装置上的第二深度相机，所述一个或多个深度相机用在所述外科动作的手术室中。
13.根据权利要求1所述的方法，其中，未辨识的对象的所述点云数据被存储在电子存储器中，并且用于训练机器学习算法以用于将来对所述未辨识的对象的辨识。
14.根据权利要求1所述的方法，还包括基于所述机器人系统数据或所述所辨识的对象的所述位置和取向在所述外科动作期间生成用户反馈，所述用户反馈包括以下各项中的至少一项：用户界面装置用于外科手术、外科医生的更换、器械的更换、套管针的对接、套管针的插入、阶段变化、外科手术的缓慢执行、不当的套管针位置、不当的患者位置、臂碰撞和不当的OR人员位置。
15.根据权利要求2所述的方法，其中，所述数字资产的回放包括：基于所述所辨识的对象的所述位置和取向来渲染对应于所述所辨识的对象的模型。
16. 一种外科机器人系统，包括：
多个深度相机，所述多个深度相机被布置在控制塔和移动电子装置上以捕获利用外科机器人执行的外科动作，以及
一个或多个处理器，所述一个或多个处理器被配置为执行以下操作：
记录与所述外科机器人相关联的机器人系统数据；
在由所述一个或多个深度相机产生的图像数据中辨识一个或多个所辨识的对象；以及
在电子存储器中存储：a)未辨识的对象的所述图像数据，b)与所述一个或多个所辨识的对象相关联的位置和取向，以及c)所述机器人系统数据。
17.根据权利要求16所述的外科机器人系统，其中，所述未辨识的对象的所述图像数据、与所述一个或多个所辨识的对象相关联的所述位置和取向以及所述机器人系统数据在时间上被同步并被存储为数字资产以用于回放。
18.根据权利要求16所述的外科机器人系统，其中，所述未辨识的对象的所述图像数据包括点云数据或网格数据。
19. 一种外科机器人系统，包括：
多个深度相机，所述多个深度相机被布置在手术室中以捕获利用外科机器人执行的外科动作，以及
一个或多个处理器，所述一个或多个处理器被配置为执行以下操作：
记录与所述外科机器人相关联的机器人系统数据；
基于由所述一个或多个深度相机产生的点云数据来辨识一个或多个人类；以及
在电子存储器中存储：a)所述一个或多个人类的样条曲线表示，b)未辨识的对象的所述点云数据，以及c)所述机器人系统数据，作为数字资产以用于所述外科动作的回放。
20.根据权利要求19所述的外科机器人系统，其中，所述数字资产包括在所述数字资产的所述回放期间能够直接访问的一个或多个事件，所述一个或多个事件基于所述一个或多个人类的位置或移动或所述机器人系统数据或所述机器人系统数据来确定，所述一个或多个事件指示以下各项中的至少一项：套管针的插入、阶段变化、外科手术的缓慢执行、不当的套管针位置、不当的患者位置、机械臂碰撞、外科人员的不当位置。
CN202080101730.4A 2020-06-05 2020-06-16 手术室的数字化 Pending CN115699198A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/894587 2020-06-05
US16/894,587 US11756672B2 (en) 2020-06-05 2020-06-05 Digitization of an operating room
PCT/US2020/037923 WO2021247050A1 (en) 2020-06-05 2020-06-16 Digitization of an operating room

Publications (1)

Publication Number Publication Date
CN115699198A true CN115699198A (zh) 2023-02-03

Family

ID=71465427

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080101730.4A Pending CN115699198A (zh) 2020-06-05 2020-06-16 手术室的数字化

Country Status (5)

Country Link
US (2) US11756672B2 (zh)
EP (1) EP4162501A1 (zh)
KR (1) KR20230021023A (zh)
CN (1) CN115699198A (zh)
WO (1) WO2021247050A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11568998B2 (en) 2020-12-15 2023-01-31 Omnicure Inc. Systems and methods for enhanced networking and remote communications
JP2023183966A (ja) 2022-06-17 2023-12-28 シスメックス株式会社 手術用ロボットを用いた手術画像の提供方法および情報処理システム
WO2024061715A1 (en) * 2022-09-21 2024-03-28 Koninklijke Philips N.V. Patient occupancy detection using 3d passive stereo camera and point cloud processing using ai/ml algorithms

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9348337B2 (en) 2014-05-14 2016-05-24 Swissray Asia Healthcare Co., Ltd. Environment recognition guide system for movable medical equipment and method
US11366450B2 (en) 2017-03-23 2022-06-21 Abb Schweiz Ag Robot localization in a workspace via detection of a datum
US10096122B1 (en) * 2017-03-28 2018-10-09 Amazon Technologies, Inc. Segmentation of object image data from background image data
US11432877B2 (en) * 2017-08-02 2022-09-06 Medtech S.A. Surgical field camera system that only uses images from cameras with an unobstructed sight line for tracking
GB2577714B (en) 2018-10-03 2023-03-22 Cmr Surgical Ltd Automatic endoscope video augmentation
CN111134849B (zh) 2018-11-02 2024-05-31 威博外科公司 手术机器人系统
US11638613B2 (en) * 2019-05-29 2023-05-02 Stephen B. Murphy Systems and methods for augmented reality based surgical navigation

Also Published As

Publication number Publication date
US20240038367A1 (en) 2024-02-01
WO2021247050A1 (en) 2021-12-09
US11756672B2 (en) 2023-09-12
KR20230021023A (ko) 2023-02-13
US20210378754A1 (en) 2021-12-09
EP4162501A1 (en) 2023-04-12

Similar Documents

Publication Publication Date Title
JP7367140B2 (ja) 走査ベースの位置付けを伴う遠隔操作手術システム
CN113613852B (zh) 机器人手术碰撞检测系统
US20240038367A1 (en) Digitization of an operating room
KR102523779B1 (ko) 수술 절차 아틀라스를 갖는 수술 시스템의 구성
JP7376569B2 (ja) ロボット操作手術器具の位置を追跡システムおよび方法
KR20180068336A (ko) 훈련 또는 보조 기능들을 갖는 수술 시스템
US11389246B2 (en) Virtual reality system with customizable operation room
US11382696B2 (en) Virtual reality system for simulating surgical workflows with patient models
US20240325094A1 (en) 3d visualization enhancement for depth perception and collision avoidance
US20240046589A1 (en) Remote surgical mentoring
US20240238045A1 (en) Virtual reality system with customizable operation room
Zinchenko et al. Virtual reality control of a robotic camera holder for minimally invasive surgery
US20220211270A1 (en) Systems and methods for generating workspace volumes and identifying reachable workspaces of surgical instruments
Dumpert et al. Semi-autonomous surgical tasks using a miniature in vivo surgical robot
US11690674B2 (en) Mobile virtual reality system for surgical robotic systems
WO2022055516A1 (en) User presence/absence recognition during robotic surgeries using deep learning
US20240070875A1 (en) Systems and methods for tracking objects crossing body wallfor operations associated with a computer-assisted system
WO2024123888A1 (en) Systems and methods for anatomy segmentation and anatomical structure tracking

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination