CN115315729A - 用于促进远程呈现或交互的方法和系统 - Google Patents

用于促进远程呈现或交互的方法和系统 Download PDF

Info

Publication number
CN115315729A
CN115315729A CN202180022600.6A CN202180022600A CN115315729A CN 115315729 A CN115315729 A CN 115315729A CN 202180022600 A CN202180022600 A CN 202180022600A CN 115315729 A CN115315729 A CN 115315729A
Authority
CN
China
Prior art keywords
image
augmented reality
user
physical world
processing system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180022600.6A
Other languages
English (en)
Inventor
S·穆鲁加潘
D·G·罗德里格斯
G·帕雅乌拉
S·蒂迈欧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intuitive Surgical Operations Inc
Original Assignee
Intuitive Surgical Operations Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intuitive Surgical Operations Inc filed Critical Intuitive Surgical Operations Inc
Publication of CN115315729A publication Critical patent/CN115315729A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/35—Surgical robots for telesurgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/90—Identification means for patients or instruments, e.g. tags
    • A61B90/94—Identification means for patients or instruments, e.g. tags coded with symbols, e.g. text
    • A61B90/96—Identification means for patients or instruments, e.g. tags coded with symbols, e.g. text using barcodes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00216—Electrical control of surgical instruments with eye tracking or head position tracking control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2059—Mechanical position encoders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/368—Correlation of different images or relation of image positions in respect to the body changing the image on a display according to the operator's position
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1671—Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39451—Augmented reality for robot programming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/024—Multi-user, collaborative environment

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Robotics (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Primary Health Care (AREA)
  • Physics & Mathematics (AREA)
  • Epidemiology (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Urology & Nephrology (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一种用于促进物理世界的远程呈现的促进系统包括第一对象和第一对象的操作环境。促进系统包括处理系统，处理系统被配置为获得描绘物理世界的图像帧，识别图像帧中第一对象的描绘，以及获得将对象模型与物理世界中的第一对象配准的第一空间配准。对象模型属于第一对象。处理系统还被配置为获得与利用第一对象的当前状态更新的对象模型对应的更新对象模型，并使用图像帧、第一空间配准和更新对象模型生成混合帧。混合帧包括图像帧，其中第一对象的描绘被更新对象模型的描绘替换。

Description

用于促进远程呈现或交互的方法和系统
相关申请的交叉引用
本申请基于《美国法典》第35卷第119(e)条规定要求于2020年3月30日提交的美国临时专利申请序列号63/002,102的权益。美国临时专利申请序列号63/002,102通过引用整体并入本文。
背景技术
概述
随着人们在短距离和长距离上相互交互，远程呈现和远程交互已经变得更加普遍。例如，人们可以跨越房间、跨越城市、跨越国家或跨越海洋和大陆进行交互。促进远程呈现或交互的技术可以通过提高通信的理解、效率和有效性、降低带宽需求和诸如此类来帮助增强交互。
远程呈现和远程交互可以涉及用于在工作部位执行任务的机器人系统。例如，机器人系统可以包括机器人操纵器来操纵用于执行任务的器械。示例机器人系统包括工业和娱乐机器人系统。示例机器人系统还包括用于诊断、非手术治疗、手术治疗等程序的医疗机器人系统。作为具体示例，机器人系统包括微创机器人远程手术系统，其中外科医生可以从床边或远程位置对患者进行手术。
发明内容
一般而言，在一个方面，一个或多个实施例涉及一种用于促进包括第一对象和第一对象的操作环境的物理世界的远程呈现的促进系统，促进系统包括：处理系统，其被配置为：获得图像帧，图像帧描绘物理世界；识别图像帧中第一对象的描绘；获得第一空间配准，第一空间配准将对象模型与物理世界中的第一对象配准，其中对象模型属于第一对象；获取与利用第一对象的当前状态更新的对象模型对应的更新对象模型；以及使用图像帧、第一空间配准和更新对象模型生成混合帧，其中混合帧包括图像帧，其中第一对象的描绘被更新对象模型的描绘替换。
一般而言，在一个方面，一个或多个实施例涉及一种用于促进远程交互的促进系统，该促进系统包括：处理系统，其被配置为：提供用于由远程显示器显示的图像帧，该图像帧表示物理世界；获得物理世界本地的增强现实系统的本地用户的视野，本地用户在物理世界中；基于来自远程显示器的远程用户的输入，获得由增强现实系统在物理世界中的某个位置显示的虚拟子图像；以及基于视野和位置，确定是否渲染指示符以将视野朝向该位置引导，并响应于渲染指示符的确定，使增强现实系统渲染指示符。
一般而言，在一个方面，一个或多个实施例涉及一种用于操作促进系统的方法，促进系统用于促进包括第一对象和第一对象的操作环境的物理世界的远程呈现，该方法包括：利用促进系统的处理系统获得图像帧，图像帧描绘物理世界；利用处理系统识别图像帧中第一对象的描绘；利用处理系统获得第一空间配准，第一空间配准将对象模型与物理世界中的第一对象配准，其中对象模型属于第一对象；利用处理系统获得与利用第一对象的当前状态更新的对象模型对应的更新对象模型；以及利用处理系统使用图像帧、第一空间配准和更新对象模型生成混合帧，其中混合帧包括图像帧，其中第一对象的描绘被更新对象模型替换。
一般而言，在一个方面，一个或多个实施例涉及一种用于操作促进系统以促进远程交互的方法，该方法包括：利用促进系统的处理系统提供图像帧，以由远程显示器显示，图像帧表示物理世界；利用处理系统获得物理世界本地的增强现实系统的本地用户的视野，本地用户在物理世界中；利用处理系统并基于来自远程显示器的远程用户的输入，获得将由增强现实系统在物理世界中的某个位置处显示的虚拟子图像；以及利用处理系统并基于视野和位置，确定是否渲染指示符以将视野朝向该位置引导；以及响应于渲染指示符的确定，使用增强现实系统来渲染指示符。
通过下面的描述和所附权利要求书，其他方面将变得明显。
附图说明
图1示出了根据一个或多个实施例的远程辅助系统的框图。
图2A示出了根据一个或多个实施例的机器人程序场景中的计算机辅助医疗系统的俯视图。
图2B示意性地示出了根据一个或多个实施例的图2A的机器人程序场景的各种组件。
图3示出了根据一个或多个实施例的远程可视化系统。
图4示出了根据一个或多个实施例的增强现实系统。
图5A示出了描述根据一个或多个实施例的用于远程呈现或交互的方法的流程图。
图5B示出了描述根据一个或多个实施例的用于远程呈现或交互的方法的流程图。
图6示出了描述根据一个或多个实施例的用于促进子图像的显示的方法的流程图。
图7示出了根据一个或多个实施例的远程辅助系统的示例实施方式。
具体实施方式
现在将参照附图详细描述本公开的具体实施例。为一致起见，各个图中的相同元件由相同的附图标记表示。
在本公开的实施例的以下详细描述中，阐述了许多具体细节以便提供对本公开的更透彻的理解。然而，对于本领域的普通技术人员来说显而易见的是，可以在没有这些具体细节的情况下实践所公开的技术。在其他情况下，没有详细描述众所周知的特征以避免不必要地使描述复杂化。
在整个申请中，序数(例如，第一、第二、第三等)可以用作元件(即，申请中的任何名词)的形容词。序数的使用不是暗示或创建元件的任何特定顺序，也不是将任何元件限制为仅是单个元件，除非明确公开，例如通过使用术语“之前”、“之后”、“单个”，以及其他此类术语。相反，序数的使用是为了区分元件。作为示例，第一元件不同于第二元件，并且第一元件可以包含多于一个元件并且在元件的排序中在第二元件之后(或之前)。
尽管本文描述的一些示例涉及外科手术或工具，或医疗程序和医疗工具，但所公开的技术适用于医疗和非医疗程序，以及医疗和非医疗工具。例如，本文所述的工具、系统和方法可以用于非医疗目的，包括工业用途、一般机器人用途以及感测或操纵非组织工件。其他示例应用包括外观改进、人体或动物解剖结构成像、从人体或动物解剖结构收集数据、设置或拆除系统，以及培训医疗或非医疗人员。其他示例应用包括用于从人体或动物解剖结构中取出的组织进行的程序(不返回人体或动物解剖结构)以及对人体或动物尸体执行程序。此外，这些技术还可以用于包括或不包括外科方面的医疗或诊断程序。
通常，本公开的实施例便于远程呈现或交互。远程呈现或交互可以用于支持协作、培训、通信和其他呈现或交互目的。远程用户(例如，远程支持人员)也可以使用远程呈现或交互来支持机器人和/或医疗系统的本地用户，反之亦然。促进系统(facilitationsystem)可以为远程用户提供机器人和/或医疗系统、操作环境和/或其他组件的远程可视化，从而使远程用户能够查看和视觉检查机器人和/或医疗系统、操作环境和/或其他组件，例如，检测和/或分析问题，或学习。
远程可视化可以包括机器人和/或医疗系统的数字复制品。换言之，在远程可视化中，机器人和/或医疗系统的图像可以被机器人和/或医疗系统的系统模型替换。可以周期性地更新系统模型以反映物理世界中实际机器人和/或医疗系统的当前运动学配置(和/或配置的其他方面)。
为了与本地用户交互，远程用户可以提供与远程可视化中显示的机器人和/或医疗系统或任何其他显示的组件相关的输入，以指示要显示给本地用户的一个或多个子图像。例如，远程用户可以使用标记来识别远程可视化中的机器人和/或医疗系统的元件，使用符号来说明任务的执行等。促进系统可以为本地用户提供增强现实(AR)可视化。在AR可视化中，本地用户可以看到物理世界中实际的机器人和/或医疗系统，同时基于远程用户输入的一个或多个子图像在视觉上叠加，从而为操作物理世界的本地用户提供指导。这些一个或多个子图像可以通过任何适当的技术在AR可视化中渲染，包括作为由增强现实系统显示的一个或多个覆盖物。
在一个或多个实施例中，促进系统进一步向本地用户提供方向指示符以调整他或她的视野以更好地看到一个或多个子图像。这可能有助于将本地用户的注意力引导到一个或多个子图像上。
随后提供结合这些和其他特征的系统和方法的详细描述。本公开的实施例可以用于各种目的，包括但不限于促进各种领域(例如制造、娱乐、维修和维护、包括机器人手术的计算机辅助医疗程序以及一般的现场服务)中的技术支持、远程监考、教学等。例如，促进系统可以为设置、清洁、维护、维修、操作计算机辅助医疗等提供支持。此外或替代地，可以提供远程监考，其中更有经验的用户指导经验较少的用户操作计算机辅助医疗系统，例如在执行外科手术的方面。
现在参考附图，其中相同的附图标记在若干视图中代表相同的组件，图1示意性地示出了实现远程辅助系统(100)的组件的框图。远程辅助系统(100)可以包括计算机辅助系统(110)和形成促进系统(102)的其他组件。促进系统(102)可以实现一个或多个本地用户(198)与一个或多个远程用户(192)之间的远程交互。可以提供远程交互以支持本地用户(198)，为远程用户(192)提供学习机会，或提供任何其他与交互相关的目标，例如当在操作环境(190)中操作计算机辅助系统(110)时。在操作期间，计算机辅助系统(110)可以与操作环境(190)中的目标(196)交互。计算机辅助系统(110)可以包括计算机辅助医疗系统，例如计算机辅助诊断系统或计算机辅助手术系统。如下文进一步讨论的，各种组件可以是计算机辅助系统的一部分。
根据一个或多个实施例，操作环境(190)包括本地用户(198)、计算机辅助系统(110)和目标(196)，并且还可以包括增强现实(AR)系统(120)、图像捕获设备(134)和/或用户跟踪单元(132)。促进系统(102)包括AR系统(120)、图像捕获设备(134)和/或用户跟踪单元(132)。在医疗场景中，操作环境(190)可以是检查室、手术室或一些其他医疗环境。在非医疗场景中，操作环境(190)可以是容纳计算机辅助系统的非医疗环境。
在一个或多个实施例中，操作环境(包括操作环境中的组件)处于与显示给远程用户(192)的虚拟世界不同的物理世界中，如下所述。虚拟世界可以至少部分地反映物理世界的状态、在物理世界中执行的动作等。
促进系统(102)还可以包括处理系统(140)和远程可视化系统(170)。远程用户(192)可以使用远程可视化系统(170)访问促进系统(102)。当使用远程可视化系统(170)时，远程用户(192)可以接收远程可视化(172)，从而允许远程用户(192)查看从物理世界导出的虚拟世界。
随后描述这些元件中的每一个。虽然图1显示了某些位置处的某些组件，但本领域技术人员将认识到本公开不限于该特定配置。例如，虽然在本地用户(198)和远程用户(192)之间进行了区分，但远程用户(192)可能远离或可能不远离本地用户。例如，远程用户(192)可能与本地用户(198)在同一房间但不在同一附近(在手术示例中，本地用户可以是能够进入无菌空间的无菌人员，而远程用户可能是保持在无菌空间之外的非无菌人员)，在同一设施中但在与操作环境不同的房间中，在不同的设施中，在不同的国家或任何其他地方，例如，在不同的大洲上。类似地，虽然处理系统(140)在功能上位于操作环境(190)中的促进系统(102)的各种组件与远程可视化系统(170)之间，但是处理系统可以全部或部分地位于任何地方，例如在操作环境中，在云环境中，或与远程可视化系统(170)相结合。处理系统的至少一些组件也可以是分布式的。下面参考图7提供实际实施方式的示例。
继续讨论图1中所示的组件，在一个或多个医疗实施例中，计算机辅助系统(110)是医疗系统，例如以下参照图2A和图2B描述的，或任何其他类型的医疗系统。替代地，在其他医疗实施例中，计算机辅助系统(110)是非手术医疗系统(例如非侵入性诊断系统)。此外，作为另一示例，计算机辅助系统(110)可以是非医疗系统(例如工业机器人)。
在医疗示例中，计算机辅助系统(110)的本地用户(198)可以是操作计算机辅助系统(110)的医护专业人员。对于包括手术系统的计算机辅助系统(110)，医护专业人员可以是外科医生或手术助理。
在医疗实施例中，目标(196)可以是人或动物解剖结构的切除部分、尸体、人、动物或类似物。例如，目标(196)可以是通过计算机辅助系统(110)执行的程序接受医学测试或治疗的患者。在这种情况下，本地用户(198)可以是外科医生、助理等。
在一个或多个实施例中，AR系统(120)是使本地用户(198)能够看到由附加感知信息增强的操作环境(190)的物理世界的系统。
在一个或多个实施例中，AR系统(120)是促进系统(102)的组件。AR系统(120)可以包括可佩戴的AR眼镜，允许本地用户(198)通过眼镜看到操作环境(190)的物理世界，同时还在增强现实(AR)可视化(122)中提供叠加的子图像，例如文字、标记、方向箭头、标签或其他文本或图形元件等。子图像可以是任何适当的视觉项目；例如，子图像可以包含文本或图形，可以是静态的或动画的，用于演示、注释、娱乐或提供任何其他视觉交互功能。可以基于远程用户(192)提供的输入来提供子图像，如下面进一步讨论的。例如，子图像可以通过在AR可视化(122)中包括叠加在要指出的组件上的标记或标签来识别或指出计算机辅助系统(110)的特定组件。下面参考图5A、图5B和图6的流程图讨论AR可视化(122)的生成。此外，参考图4提供示例。
AR系统(120)也可以基于不同于AR眼镜的其他技术。例如，代替使本地用户(198)能够通过透明或半透明眼镜感知操作环境(190)的物理世界，AR可视化(122)可以使用一个或多个显示器来提供物理世界的捕获图像。物理世界的相机图像可以显示在显示器中(其可以包括固定显示器(例如监视器)、可移动显示器(例如平板电脑)和/或可穿戴显示器(例如头戴式显示器)，并且子图像可以直接添加到显示器中的图像中。
在一个或多个实施例中，用户跟踪单元(132)是促进系统(102)的组件并且能够在操作环境(190)中跟踪本地用户(198)。用户跟踪单元(132)可以提供关于本地用户(198)在操作环境(190)中的方位和/或取向的信息。在一个或多个实施例中，用户跟踪单元(132)提供头部取向和/或注视，使促进系统(102)能够确定本地用户的视野和/或注视方向。
可以使用各种跟踪技术。例如，基于图像的方法可以使用从图像捕获设备(134)获得的图像数据。如果可用，其他方法可以使用来自基于惯性的跟踪、GPS跟踪等的数据，例如当AR系统(120)将这些传感器包括在AR眼镜或一些其他组件中时。在一些实施例中，用户跟踪还包括用户眼睛的眼睛跟踪。本地用户(198)的跟踪信息可以用于各种目的。例如，当本地用户(198)佩戴AR眼镜时，叠加在通过AR眼镜看到的物理世界上的子图像可以周期性地更新以在存在本地用户(198)移动他或她的视野的情况下保持子图像与物理世界对齐。此外，跟踪信息可以用于确定由远程用户(192)提供的子图像是否在本地用户(198)的视野中。下面参考图5A、图5B和图6的流程图讨论实现这些功能的方法。
在一个或多个实施例中，图像捕获设备(134)是促进系统(102)的组件，并捕获操作环境(190)和/或操作环境(190)中的计算机辅助系统(110)的图像帧或图像帧序列(例如，作为一组静止图像或作为视频)。在一个实施例中，图像捕获设备(134)提供二维(2D)图像。在另一个实施例中，图像捕获设备(134)提供三维(3D)图像。图像捕获设备可以包括3D深度传感器，该3D深度传感器基于飞行时间原理或适用于以期望的空间和时间分辨率生成3D图像的任何其他原理进行操作。图像捕获设备(134)可替代地或附加地包括RGB或红外相机和任何类型的3D深度感测相机(例如LIDAR)的组合。在某一时刻获得的图像捕获设备(134)的原始输出可以是3D点云。随后的处理可以产生包括3D网格的图像帧，表示捕获的操作环境(190)。下面参考图5A和图5B的流程图讨论处理图像帧的方法。
在一个实施例中，图像捕获设备(134)是AR系统(120)的组件。更具体地，根据一个或多个实施例，AR系统(120)(例如通过AR眼镜，如果是AR系统的一部分)可以配备有内置3D深度传感器和/或其他图像传感器。AR系统(120)(例如通过AR眼镜，如果是AR系统的一部分)可以配备有头部跟踪，以使捕获的图像数据能够与物理世界进行配准。替代地，图像捕获设备(134)可以安装在其他地方，例如，在墙壁、天花板等上。
作为图像捕获设备(134)的替代或补充，可以使用其他类型的操作环境传感器。例如，可以使用一个或多个激光扫描仪、超声扫描仪等。尽管根据一个或多个实施例，图像捕获设备(134)提供3D数据，但不一定捕获彩色或灰度图像数据。
虽然未在图1中示出，但操作环境(190)可以包括附加组件。例如，操作环境(190)可以包括除了计算机辅助系统(110)之外的其他对象。其他对象可以与计算机辅助系统物理分离。其他对象的示例包括但不限于桌子、橱柜、梅奥架(mayo stands)、机械、操作员站、供应品、诸如机械、人类、动物、供应品等的其他设备。
促进系统(102)包括处理系统(140)。并且，在一个或多个实施例中，处理系统(140)包括图像处理引擎(142)、模型更新引擎(146)、混合帧合成引擎(150)、子图像引擎(154)、增强现实渲染引擎(156)和/或远程可视化引擎(158)。
在不背离本公开的情况下，处理系统可以包括其他组件。虽然图像处理引擎(142)、模型更新引擎(146)、混合帧合成引擎(150)、子图像引擎(154)、增强现实渲染引擎(156)和远程可视化引擎(158)被示为分组以形成处理系统(140)，但是本领域技术人员将理解，在各种实施例中，处理系统(140)可以包括这些组件的子集，或者包括一个或多个附加组件。此外，组件可以全部存在于相同的物理空间中(例如，在包含处理器和形成处理系统的指令的相同物理系统中)，或者这些组件中的一个或多个可以不同地布置，例如以分布式方式，例如部分在云中。
图像处理引擎(142)是被配置为处理从图像捕获设备(134)获得的图像帧(144)或图像帧组的软件、硬件和/或软件和硬件的组合。图像处理引擎(142)包括一组机器可读指令(存储在计算机可读介质上)，当由计算设备执行时，这些指令执行图5A、图5B和图6的流程图中描述的一个或多个操作。广义地说，图像处理引擎(142)处理由图像捕获设备(134)提供的图像数据，例如以点云的形式，以计算图像帧(144)。图像处理引擎(142)可以进一步执行附加任务，包括计算机视觉任务。例如，图像处理引擎可以识别图像帧(144)中的计算机辅助系统(110)并且可以用计算机辅助系统(110)的可配置系统模型来代替它。图像处理引擎(142)可以在诸如图2B的计算系统(242)的计算设备上实现。图像处理引擎(142)的一些或全部功能可以在操作环境(190)中的计算设备上实现，例如在图像捕获设备(134)的处理器上实现。一些或所有功能也可以在不是操作环境(190)本地的计算设备上实现，例如，在云处理系统上。
模型更新引擎(146)是被配置为处理系统模型(146)的软件、硬件和/或软件和硬件的组合。系统模型(148)可以是医疗系统的可配置数字表示，例如计算机辅助系统(110)的3D模型。在计算机辅助系统使用计算机辅助设计(CAD)系统建模的情况下，CAD模型可以用于提供3D模型。在一个或多个实施例中，系统模型(148)的可配置元件包括运动学配置。例如，假设计算机辅助系统(110)是机器人操纵系统。运动学配置可以应用于机器人操纵系统。运动学配置可以进一步应用于用户控制系统和/或与计算机辅助系统相关联的其他组件。下面参考图2A和图2B描述这些组件的示例。关节方位和/或取向可以用于指定运动学配置的部分或整个运动学配置。其他可配置元件可以包括但不限于计算机辅助系统(110)的指示灯(颜色、状态(闪烁与恒定)、状态显示器、声音发射器(哔哔声、消息)等。表示对象的对象模型、表示人员的人员模型和/或表示操作环境中的其他对象的其他模型可以以类似的方式处理。
模型更新引擎(146)包括一组机器可读指令(存储在计算机可读介质上)，当由计算设备执行时，这些指令执行图5A、图5B和图6的流程图中描述的一个或多个操作。广义上讲，模型更新引擎(146)对系统模型(148)的处理可以涉及系统模型(148)的更新以使系统模型反映实际计算机辅助系统(110)在物理世界中的当前运动学配置。此外，可以更新系统模型的其他方面，包括指示灯等。可以基于从计算机辅助系统(110)获得的实时或接近实时的数据来执行更新。因此，模型更新引擎可以包括直接或间接通信接口以从计算机辅助系统(110)接收配置数据。
模型更新引擎(146)可以在诸如图2B的计算系统(242)的计算设备上实现。模型更新引擎(146)的一些或全部功能可以在云处理系统上和/或在操作环境(190)中的计算设备上实现。
混合帧合成引擎(150)是被配置为生成物理世界的数字复制品(152)的软件、硬件和/或软件和硬件的组合。在一个或多个实施例中，数字复制品(152)是操作环境(190)、计算机辅助系统(110)和/或可能存在于操作环境中的一个或多个对象的数字表示。数字复制品(152)可以由图像处理引擎(142)获得的图像帧(144)组成。在一个或多个实施例中，显示计算机辅助系统(110)的图像帧区域由系统模型(148)代替。类似地，对象可以被对象模型代替。可为数字复制品(152)获得或维护空间配准，以提供数字复制品(152)中的元件和物理世界中的对应元件的空间映射。数字复制品(152)可以用作在本地用户(198)和远程用户(192)之间建立共享理解的介质。如下所述，数字复制品可以用作AR可视化(122)和远程可视化(172)二者的共享空间模型，尽管数字复制品(152)的不同方面依赖于AR可视化(122)和远程可视化(172)。
混合帧合成引擎(150)包括一组机器可读指令(存储在计算机可读介质上)，当由计算设备执行时，这些指令执行图5A、图5B和图6的流程图中描述的一个或多个操作。广义地说，由混合帧合成引擎(150)生成数字复制品(152)可以涉及从图像帧(144)、系统模型(148)和/或对象模型合成数字复制品(152)。在集成到数字复制品(152)中之前，在数字复制品(152)中使用的系统模型(148)可能已经由模型更新引擎(146)更新。
混合帧合成引擎(150)可以在诸如图2B的计算系统(242)的计算设备上实现。混合帧合成引擎(150)的一些或全部功能可以在云处理系统上和/或在操作环境(190)中的计算设备上实现。
子图像引擎(154)是被配置为执行子图像操作的软件、硬件和/或软件和硬件的组合，其中基于远程用户(192)在远程可视化(172)中提供的输入在AR可视化(122)中将子图像提供给本地用户(198)。
子图像引擎(154)包括一组机器可读指令(存储在计算机可读介质上)，当由计算设备执行时，这些指令执行图6的流程图中描述的一个或多个操作。广义地说，根据一个或多个实施例，子图像引擎(154)在远程可视化(172)中处理从远程用户(192)接收的虚拟子图像。虚拟子图像例如可以是向本地用户(198)提供指导的子图像，如下面参考图6的流程图进一步描述的。下面参考图4提供对导致AR可视化(122)的渲染输出的描述。
子图像引擎(154)可以在诸如图2B的计算系统(242)的计算设备上实现。子图像引擎(154)的一些或全部功能可以在云处理系统上和/或在与远程可视化系统(170)相关联的计算设备上实现，如下所述。
增强现实渲染引擎(156)是被配置为执行用于本地用户(198)的AR可视化(122)的渲染的软件、硬件和/或软件和硬件的组合。增强现实渲染引擎(156)包括一组机器可读指令(存储在计算机可读介质上)，当由计算设备执行时，这些指令执行图6的流程图中描述的一个或多个操作。如本地用户(198)所见，可以为要叠加在物理世界上的虚拟子图像执行渲染。渲染可能涉及专用硬件，例如视频显示硬件。
增强现实渲染引擎(156)可以在诸如图2B的计算系统(242)的计算设备上实现。增强现实渲染引擎(156)的一些或所有功能可以在AR系统(120)的处理器上和/或其他地方，例如在云处理系统上实现。
远程可视化引擎(158)是被配置为执行用于远程用户(192)的远程可视化(172)的渲染的软件、硬件和/或软件和硬件的组合。下面参考图3提供对导致远程可视化(172)的渲染输出的描述。远程可视化引擎(158)包括一组机器可读指令(存储在计算机可读介质上)，当由计算设备执行时，这些指令执行图5A和图5B的流程图中描述的一个或多个操作。可以为数字复制品(152)的元件执行渲染。渲染可能涉及专用硬件，例如视频显示硬件。
远程可视化引擎(158)可以在诸如图2B的计算系统(242)的计算设备上实现。远程可视化引擎(158)的一些或全部功能可以在远程可视化系统(170)的处理器上和/或其他地方，例如在云处理系统上实现。
在一个或多个实施例中，远程可视化(170)是促进系统(102)的组件。远程可视化系统(170)可以包括允许远程用户(192)看到物理世界的远程可视化(172)的显示器。物理世界可以包括操作环境(190)、计算机辅助系统(110)的系统模型(148)和/或操作环境(190)中的其他组件。在一个或多个实施例中，远程可视化(172)源自数字复制品(152)。在远程可视化(172)中渲染数字复制品(152)的哪些组件可以是用户可选择的。控件(174)可以使远程用户(192)能够在远程可视化(172)内导航，例如，通过缩放、平移等。此外，控件(174)可以使远程用户(192)能够注释在远程可视化(172)中显示的组件。可以使用键盘、鼠标和/或触摸屏输入来执行子图像。下面参考图5A和图5B的流程图讨论远程可视化(172)的生成，下面参考图6讨论子图像的处理。此外，图3中提供了远程可视化(172)的示例。
访问远程可视化系统(170)的远程用户(192)可以是支持人员、监考人员、教师、同伴、学习者、合作者或可以与本地用户交互的任何其他人员。如前所述，远程用户可能在物理上靠近或远离本地用户。在一个实施例中，远程用户(192)依靠远程可视化系统(170)来获得本地用户(198)在操作环境(190)中所经历的情况的印象。例如，远程用户(192)可以检查计算机辅助系统(110)的配置以识别由本地用户(198)报告的问题的原因。远程用户(192)可以接受培训，使他或她能够提供问题解决方案。不同的远程用户(192)可能具有不同级别的培训、专业等。例如，一个远程用户可能通常熟悉计算机辅助系统(110)的各个方面，而另一远程用户可能对一个特定方面具有高度专业化的知识。在计算机辅助系统(110)是医疗系统的场景中，远程用户(192)可以是例如机器人协调员、现场技术人员、现场主管、专科医生或专家。
图2A示出了机器人程序场景中的计算机辅助医疗系统(200)的俯视图。图2A中所示的组件可以位于图1的操作环境(190)中。计算机辅助医疗系统(200)可以对应于图1的计算机辅助系统(110)。虽然在图2A中，微创机器人手术系统被显示为计算机辅助医疗系统(200)，但以下描述适用于其他场景和系统，例如非手术场景或系统、非医疗场景或计算机辅助系统等。
在示例中，对躺在手术台(210)上的患者(290)执行诊断或外科手术。该系统可以包括供操作员(292)(例如，诸如外科医生的临床医生)在程序期间使用的用户控制系统(220)。一名或多名助理(294A、294B、294C)也可以参与该程序。计算机辅助医疗系统(200)还可以包括机器人操纵系统(230)(例如，患者侧机器人设备)和辅助系统(240)。机器人操纵系统(230)可以包括至少一个操纵器臂(250A、250B、250C、250D)，每个操纵器臂可以支撑可拆卸地耦接的工具(260)(也称为器械(260))。在图示的程序中，工具(260)可以通过诸如喉咙或肛门的自然孔口或通过切口进入患者(290)的身体，同时操作员(292)通过用户控制系统(220)观察工作部位(例如，手术场景中的手术部位)。工作部位的图像可以通过成像设备(例如，内窥镜、光学相机或超声探头)获得，成像设备即用于对工作部位进行成像的工具(260)，成像设备可以由机器人操纵系统(230)操纵以便定位和定向成像设备。辅助系统(240)可以用于处理工作部位的图像以通过位于本地或远离程序的用户控制系统(220)或其他显示系统显示给操作员(292)。一次使用的工具(260)的数量通常取决于任务和空间限制等因素。如果在程序期间更换、清洁、检查或重新加载一个或多个正在使用的工具(260)是合适的，则助手(294A、294B、294C)可以从操纵器臂(250A、250B、250C、250D)上移除工具(260)，并用相同的工具(260)或另一工具(260)替换。
在图2A中，助手(294B)佩戴AR系统(120)的AR眼镜(280)。AR眼镜(280)可以包括图1的促进系统(102)的各种组件。例如，AR眼镜(280)不仅可以包括AR系统(120)，还可以包括用户跟踪单元(132)和/或图像捕获设备(134)。促进系统(102)的其他组件未在图2A中示出。
图2B提供了计算机辅助医疗系统(200)的示意图(202)。计算机辅助医疗系统(200)可以包括一个或多个计算系统(242)。计算系统(242)可以用于处理由用户控制系统(220)从操作员提供的输入。计算系统还可以用于向显示器(244)提供输出，例如视频图像。一个或多个计算系统(242)还可以用于控制机器人操纵系统(230)。
计算系统(242)可以包括一个或多个计算机处理器、非持久性存储设备(例如，诸如随机存取存储器(RAM)、高速缓冲存储器的易失性存储器)、持久性存储设备(例如，硬盘、诸如光盘(CD)驱动器或数字多功能盘(DVD)驱动器的光驱、闪存等)、通信接口(例如，蓝牙接口、红外接口、网络接口、光学接口等)，以及许多其他元件和功能。
计算系统(242)的计算机处理器可以是用于处理指令的集成电路。例如，计算机处理器可以是处理器的一个或多个核或微核。计算系统(242)还可以包括一个或多个输入设备，例如触摸屏、键盘、鼠标、麦克风、触摸板、电子笔或任何其他类型的输入设备。
计算系统(242)的通信接口可以包括用于将计算系统(242)连接到网络(未示出)(例如，局域网(LAN)、诸如互联网的广域网(WAN)、移动网络或任何其他类型的网络)和/或另一个设备(例如另一个计算系统(242))的集成电路。
此外，计算系统(242)可以包括一个或多个输出设备，例如显示设备(例如，液晶显示器(LCD)、等离子显示器、触摸屏、有机LED显示器(OLED)、投影仪、或其他显示设备)、打印机、扬声器、外部存储设备或任何其他输出设备。一个或多个输出设备可以与(一个或多个)输入设备相同或不同。存在许多不同类型的计算系统，并且上述(一个或多个)输入和输出设备可以采用其他形式。
用于执行本公开的实施例的计算机可读程序代码形式的软件指令可以全部或部分地、临时或永久地存储在诸如CD、DVD、存储设备、软盘、磁带、闪存、物理存储器的非暂时性计算机可读介质或任何其他计算机可读存储介质上。具体地，软件指令可以对应于计算机可读程序代码，当由(一个或多个)处理器执行时，该程序代码被配置为执行本发明的一个或多个实施例。
计算系统(242)可以连接到网络或者是网络的一部分。该网络可以包括多个节点。每个节点可以对应于计算系统或一组节点。作为示例，本公开的实施例可以在连接到其他节点的分布式系统的节点上实现。作为另一示例，本发明的实施例可以在具有多个节点的分布式计算系统上实现，其中本公开的每个部分可以位于分布式计算系统内的不同节点上。此外，前述计算系统的一个或多个元件可以位于远程位置并且通过网络连接到其他元件。
机器人操纵系统(230)可以使用包括成像设备(例如内窥镜或超声探头)的工具(260)来捕获工作部位的图像并将所捕获的图像输出到辅助系统(240)。辅助系统(240)可以在任何后续显示之前以多种方式处理捕获的图像。例如，辅助系统(240)可以在通过用户控制系统(220)向操作员显示组合图像之前用虚拟控制界面覆盖捕获的图像。机器人操纵系统(230)可以输出捕获的图像以在辅助系统(240)外部进行处理。一个或多个单独的显示器(244)也可以与计算系统(242)和/或辅助系统(240)耦接，用于本地和/或远程显示图像，例如手术部位的图像，或其他相关图像。
转向图3，示出了根据一个或多个实施例的远程可视化系统。如图所示，远程可视化系统(300)包括远程可视化(310)和控件(380)，如先前在图1中介绍的。在远程可视化(310)中，显示了物理世界的数字复制品的元件。更具体地，在图3的示例中，显示了如图2中介绍的机器人操纵系统的系统模型(312)。不显示操作环境的其余部分的表示，尽管操作环境的点云、网格或其他表示可能是可用的。操作环境的其余部分的表示可能已经被远程可视化系统自动关闭，或者被远程用户禁用，以提供系统模型(312)的更清晰的视图。远程用户可以使用控件(380)在远程可视化(310)内导航，例如，通过缩放、平移、从预定义的视图中选择、激活/禁用组件的渲染等。这些元件的渲染可以如下面参照图5A和图5B所描述的那样进行。
如图3所示，远程可视化(310)还包括远程用户用来支持本地用户的子图像。在图3的示例中，子图像包括两个对象标记(314)和两个方向指令标记(316)。对象标记(314)在系统模型(312)中识别机器人操纵系统的特定臂段。对象标记(314)可能已经由远程用户使用控件(380)放置。例如，远程用户可能已经绘制了对象标记(314)或者从可用子图像元件的库中选择了对象标记(314)并且使用拖放操作将它们如图所示放置。可以使用控件(380)放置的其他子图像可以包括但不限于箭头、突出显示、动画、手绘和/或草图，以及专用于某些任务或组件的预定义模板。当在本地用户的AR可视化中查看时，对象标记(314)的目的可以是将本地用户的注意力引导到物理世界中机器人操纵系统的已识别的臂段。方向指令标记(316)图示由对象标记(314)识别的臂段的移动。方向指令标记(316)可能已经由远程用户通过在远程可视化系统(300)的触摸屏上绘制方向指令标记(316)来放置。方向指令标记(316)的目的可以是指示本地用户如所指示的那样调整机器人操纵系统的识别的臂段的取向。下面参考图6描述为使能子图像而执行的操作。
远程可视化(310)还包括本地用户的头部位置或移动的渲染。在示例中，本地用户的头部方位和取向由本地用户佩戴的AR眼镜的图示表示，反映了AR眼镜在物理世界中的方位和取向。
转向图4，示出了根据一个或多个实施例的增强现实(AR)系统。如图所示，AR系统(400)包括AR可视化(410)，如先前在图1中介绍的。在AR可视化(410)中，可以看到物理世界，例如，通过透明或半透明的AR眼镜。在图4的示例中，本地用户在物理世界中以操作环境为背景看到医疗系统(412)(例如，图2的机器人操纵系统(230))。机器人操纵系统(230)被覆盖，例如，被透明或半透明塑料薄膜松散地覆盖。AR可视化(410)还包括对象标记(414)和方向指令标记(416)。对象标记(414)和方向指令标记(416)对应于远程可视化(310)中的对象标记(314)和方向指令标记(316)，作为已在远程可视化(320)中制作并出现在AR可视化(410)中以辅助本地用户的子图像的示例。子图像(例如，对象标记(414)和方向指令标记(416))出现在AR眼镜中，叠加在通过AR眼镜看到的物理世界上。在一个或多个实施例中，在AR可视化(410)和远程可视化(310)中可以看到的内容之间存在直接对应关系。如以下参考流程图所讨论的，在两个可视化之间通过计算获得或维持空间配准。因此，远程用户在远程可视化(310)中引入的子图像出现在AR可视化(410)中的正确对应位置，即使当AR可视化中的视野随着本地用户在物理世界中移动而改变时也是如此。更具体地说，AR可视化中的视野(由本地用户的方位和取向控制)独立于远程可视化中的视野(由远程用户执行的缩放/平移操作控制)。虽然未在图4的示例中示出，但AR可视化可以包括附加元件，例如状态指示符，包括指示灯(可能会改变颜色和状态(闪烁与恒定))、电子显示器上显示的图像、状态消息、诸如声音之类的声音信息，包括空间信息、口语等。状态指示符可以指示状态，诸如：系统接收到的信号强度；系统中或系统检测到的错误的发生或持续；系统中发生或由系统检测到的实时事件(例如，按下按钮、器械安装/卸载)或其他系统状态。状态指示符的另一个示例包括虚拟显示器，该虚拟显示器被配置为呈现与在本地显示器(例如，用户控制系统的显示器、患者监视器、辅助系统的显示器、麻醉车的显示器等)上渲染的图像相同的图像。虚拟显示器所要显示的内容可以是系统提供的，也可以是向系统提供内容的同一源提供的，处理图像帧中的截屏得到的等。
转向流程图，图5A、图5B和图6描绘了用于促进计算机辅助系统的远程呈现以及用于促进与计算机辅助系统的本地用户进行远程交互的方法。图5A、图5B和图6中的一个或多个步骤可以由先前参考图1、图2、图3和图4描述的系统的各种组件执行。这些图中的一些描述了特定的计算机辅助医疗系统。然而，随后描述的方法不限于医疗系统的特定配置。相反，这些方法适用于任何类型的医疗系统，或更一般地说，适用于任何类型的机器人系统。
虽然这些流程图中的各个步骤是按顺序呈现和描述的，但普通技术人员将理解，一些或所有步骤可以以不同的顺序执行，可以组合或省略，并且一些或所有步骤可以并行执行。可以进一步执行附加步骤。此外，可以主动或被动地执行这些步骤。例如，根据本发明的一个或多个实施例，一些步骤可以使用轮询来执行或被中断驱动。举例来说，根据本发明的一个或多个实施例，确定步骤可能不需要处理器处理指令，除非接收到中断以表示条件存在。作为另一示例，可以通过执行测试来执行确定步骤，例如检查数据值以测试该值是否与根据本发明的一个或多个实施例的测试条件一致。因此，本公开的范围不应被视为限于图5A、图5B和图6中所示的步骤的具体布置。
广义地说，图5A、图5B和图6描述了包括操作环境和诸如计算机辅助设备(例如，医疗设备)的对象的物理世界的数字复制品是如何用于促进各种支持任务。更具体地，数字复制品用作促进远程用户协助对象的本地用户的介质。操作环境和对象的远程可视化源自数字复制品并且可以提供给远程用户。远程用户可以依靠远程可视化来远程检查对象、对象的问题、操作环境等。远程用户可以注释数字复制品的元件以向用户提供指令。
增强现实可视化也可以从数字复制品中得到。可以将增强现实可视化提供给本地用户，例如，使用AR眼镜上的增强现实(AR)显示器、单独的监视器或一些其他显示器来观看。在增强现实可视化中，子图像可以叠加在通过AR眼镜看到的实际物理元件上。子图像和物理元件的空间对齐是通过获得或维持数字复制品和物理世界之间的空间配准来完成的，例如，在存在用户移动的情况下。
图5A、图5B和图6描述了实现这些和其他功能的方法。取决于执行图5A、图5B和图6的方法的哪些步骤，可以实现用于促进对象(例如医疗系统)的远程呈现的方法和/或用于促进与对象(例如医疗系统)的一个或多个本地用户的远程交互的方法。
转向图5A，示出了根据一个或多个实施例的用于远程呈现或交互的方法。参考图5A描述的方法涵盖了对象的远程呈现或交互。参考图5B描述了涵盖特定类型的对象(医疗系统)的远程呈现或交互的方法。
在步骤500中，获得图像帧。图像帧可以是一系列图像帧(视频)的图像帧，图像帧可以描绘包括第一对象和第一对象的操作环境的物理世界。第一对象可以是任何类型的对象，例如医疗系统、机器人系统、任何类型的计算机辅助系统、人员等。在一个或多个实施例中，图像帧由图像捕获设备获得，本地用户在操作环境中可能会佩戴图像捕获设备。可替换地，图像帧可以由在操作环境中静止的相机捕获。获取图像帧可能涉及可以由图像捕获设备执行的多个操作。至少一些操作可以替代地在别处执行。在一个实施例中，图像捕获设备捕获表示物理世界(操作环境)的3D数据(例如3D点云)，包括第一对象以及操作环境中可能的附加对象。图像捕获设备或另一处理系统，例如图像处理引擎，可以从3D数据生成3D网格(例如，三角形网格)。在这样的示例中，图像帧然后可以包括3D网格。获取图像帧可能是更全面过程的一部分。更具体地，获取图像帧可以是用于构建操作环境的地图同时跟踪本地用户在操作环境中的位置的同步定位和映射(SLAM)操作的一部分，例如，当图像捕获设备被可能在操作环境内移动的本地用户佩戴时。因此，SLAM操作能够在图像帧和由图像帧描绘的物理世界之间建立对齐。随后描述的步骤中的至少一些可能取决于这种空间配准。
如下所述，图像帧可以以其初始形式或在附加处理之后被提供给其他系统组件。换言之，各种系统组件(本地或远程)可以获得由图像捕获设备提供的图像帧。
在步骤502中，在图像帧中识别第一对象的描绘。第一对象可以是如先前参考图2描述的机器人操纵系统，图2可以进一步包括用户控制系统和/或辅助系统。在步骤502中可以识别这些组件中的一个或多个。类似地，在步骤502中，可以识别与第一对象不同的一个或多个对象的描绘。识别的对象可以包括，例如，家具、设备、供应品、人、诸如墙壁的结构房间元件和/或等。识别的对象可以或可以不与第一对象物理分离。
第一对象和/或(一个或多个)其他对象的检测可以通过图像帧中的3D数据(例如3D点云、3D网格等)的语义分割来执行。图像处理方法，例如卷积神经网络、基于深度学习的算法等，可以用于语义分割。语义分割的输出可以包括在图像帧(例如，第一对象和/或(一个或多个)其他对象)中检测到的组件的分类，包括检测到的第一对象和/或(一个或多个)其他对象的位置(方位和/或取向)。在最初描述的图2的医疗场景中，可以检测诸如机器人操纵系统、用户控制系统、辅助系统、患者台的组件、患者在台上的潜在存在以及诸如麻醉车的第三方系统。
步骤502可以由图像处理引擎执行。图像处理引擎对于操作环境可以是本地的，或者它可以是远程的，例如，托管在云环境中。
在步骤504中，获得第一对象的对象模型的第一空间配准。对象模型可以是第一对象的可配置数字表示，例如3D模型，如先前参考图1所讨论的。对象模型可以是可配置的，使得它能够准确地反映第一对象的至少某些方面，如先前参考图1所讨论的。
在一个或多个实施例中，对象模型的第一空间配准使用图像帧中识别的第一对象的描绘和对象模型来执行。更具体地，可以使用图像处理操作基于从图像帧导出的关于第一对象的方位、取向和其他信息的信息来估计图像帧中的第一对象的方位和/或取向。对象模型可以被布置(定位、定向和/或缩放)以匹配图像帧中的第一对象的估计。在基于模型的方法中，对象模型可以布置成使得对象模型的特征与图像帧中的第一对象的特征一致。例如，可以使用可识别的标记(例如，边缘、点或一般形状)来执行匹配。识别标记(例如类似QR码的图像)也可以用作可识别标记。在一个或多个实施例中，特定于第一对象的独特几何方面用于第一空间配准。例如，如图2A所示，机器人操纵系统(230)具有独特的特征，例如操纵臂(250A-250D)、指示灯等，独特的特征可以与对象模型的对应元件相匹配。可以基于第一对象的不同示例配置来训练成像算法，例如深度学习模型。在图2A的机器人操纵系统(230)的示例中，可以使用具有许多不同的操纵臂运动学配置、被激活的不同指示灯等的机器人操纵系统训练成像算法。一旦离线训练，成像算法可以用于执行第一对象与对象模型的第一空间配准。在一个实施例中，第一空间配准在空间模型的更新之后执行，如下文参考步骤506所述。在空间模型的更新之后执行第一空间配准可以导致特别准确和/或可靠的空间配准。
可以对执行步骤502时检测到的其他对象执行类似的操作。具体地，可以为其他对象获取对象模型，并且可以建立其他空间配准以将对象模型与其他对象配准。还可以获得目标的目标模型(例如，在目标是患者的情况下也可以获得患者模型)。
步骤504可以由图像处理引擎执行。图像处理引擎对于操作环境可以是本地的，或者它可以是远程的，例如，托管在云环境中。
在步骤506中，获得更新的对象模型。在一个或多个实施例中，基于第一对象的当前配置来更新对象模型。当前配置可以例如通过数据接口从第一对象获得。例如，可以获得关节方位和/或取向以更新对象模型的运动学配置以反映第一对象(例如，机器人操纵系统和/或用户控制系统)的当前运动学配置，或可以使用人员的当前方位和/或人员的姿势(例如，包括肢体或躯干配置)等来更新人员模型。可以进一步获取指示灯的状态(颜色、状态(闪烁与恒定)、发出的声音等来更新对象模型的对应指示符。
基于从第一对象获得的某些类型的信息更新对象模型可以改变对象模型的物理尺寸、形状、方位、配置、速度、加速度、颜色等(例如，改变的状态灯、改变的运动学配置)。基于某些类型的其他信息更新对象模型可能不会改变对象模型在渲染时的外观(例如，错误和状态消息、第一对象的组件之间的光纤信号的信号强度等)。
可以对在执行步骤502时检测到的其他对象执行类似的操作。
步骤506可以由模型更新引擎执行。模型更新引擎对于操作环境可以是本地的，或者它可以是远程的，例如，托管在云环境中。
在步骤508中，使用图像帧、第一空间配准和更新的对象模型来生成混合帧。广义上讲，在混合帧中，图像帧中的一些对象描绘可以被对应更新的对象模型的描绘所替代。例如，第一对象(可能具有特定相关性)的描绘可以由对应的更新对象模型的描绘代替。相比之下，图像帧中其他对象(可以是可识别的，也可以是不可识别的)的描绘可能不会被替代。在一个或多个实施例中，混合帧包括图像帧，其中第一对象的描绘被更新的对象模型的描绘替代和/或其他对象的描绘被对应的对象模型的描绘替代。混合帧可以形成操作环境的数字复制品，包括操作环境中的组件，并且第一对象和/或(一个或多个)其他对象的3D表示(例如，3D点云、3D网格或其他表面表示)被对应模型的描绘替代，该对应模型的描绘被更新以反映第一对象和/或(一个或多个)其他对象的当前状态。在混合帧中，被更新的对象模型的描绘替代的第一对象的描绘可以用作空间参考。(一个或多个)其他元件(例如对象模型)可以相对于更新的对象模型来参考。类似地，用于捕获图像帧的图像捕获设备的位置也可以相对于更新的对象模型来参考。
使用空间配准，包含在混合帧中的物理世界的数字复制品即使在图像捕获设备存在移动的情况下也可以保持连贯，例如，当图像捕获设备是可以使用头部跟踪来更新空间配准的头戴式AR系统的一部分时。一个或多个本地用户，每个都戴着AR耳机，因此可以在操作环境中四处移动，而不会中断混合帧的生成。
步骤508建立数字复制品和物理世界的对应关系，物理世界包括操作环境、第一对象、(一个或多个)其他对象和/或本地用户。随后，数字复制品可以用作不同可视化和/或其他应用程序的共享模型，如下所述。
步骤508可以由混合帧合成引擎执行。混合帧合成引擎对于操作环境可以是本地的，或者它可以是远程的，例如，托管在云环境中。
在步骤510中，混合帧在远程可视化中被渲染。可以为一个或多个远程用户执行呈现。渲染可以包括更新的对象模型的描绘。更新的对象模型的描绘可以叠加在图像帧中的操作环境的3D表示(例如，3D点云、3D网格或其他表面表示)上。可替代地，可以隐藏3D表示。渲染还可以包括(一个或多个)对象模型的描绘。渲染可以进一步包括例如基于为一个或多个本地用户获得的头部跟踪信息的一个或多个本地用户的头部位置(包括方位和取向)的图示。头部位置的图示可以是化身或更基本的表示，例如方向符号。
远程用户可以控制远程可视化中混合帧的视图，例如，通过在远程可视化中进行缩放、移动等。远程用户可以进一步控制在远程可视化中可视化的内容。例如，远程用户可以激活或停用操作环境的3D表示的渲染。当3D表示被停用时，远程用户仍可以看到更新的对象模型和/或作为混合帧的一部分的其他组件的描绘，例如对象模型的描绘。
步骤510可以由远程可视化引擎执行。远程可视化引擎可以是远程操作员访问的远程可视化系统本地的。为了执行渲染，包括3D表示、(一个或多个)对象模型的物理世界的数字复制品可以通过混合帧合成引擎而被流式传输(stream)到远程可视化引擎。与最初获得的操作环境的3D表示相比，流式传输的数据(例如，3D网格或其他表面或点云表示)可能会减少，因为某些组件(例如第一对象和/或一个或多个其他对象)被对应的模型替换。为了渲染(一个或多个)模型，仅当前配置(例如关节角度等)被流式传输。图3中提供了渲染的远程可视化的示例。
在步骤512中，执行子图像操作。子图像操作可以使一个或多个远程用户能够向一个或多个本地用户提供指导、从一个或多个本地用户寻求指导或与一个或多个本地用户共享信息。远程可视化中渲染的混合帧可以由远程用户注释。随后可以在增强现实可视化中将子图像提供给一个或多个本地用户。下面参考图6对子图像操作中涉及的步骤进行详细描述。步骤512的执行是可选的。此外，可以执行步骤512而不执行图5A所示的所有先前步骤。例如，可以直接在原始获得的图像帧上执行子图像，而不用对应的模型替换第一对象和/或(一个或多个)其他对象。因此，可以在跳过步骤502、504、506和508中的一个或多个的同时执行步骤512。
可以重复执行图5A的方法以定期地向一个或多个远程用户提供更新的远程可视化和/或向一个或多个本地用户提供更新的增强现实可视化。图5A中描述的方法的步骤可以实时或接近实时地执行，因为图像帧是周期性地获得的。
图5B描述了用于医疗系统(即，特定类型的对象)的远程呈现或交互，作为通过5A呈现和讨论的方法的具体实施方式。转向图5B，示出了根据一个或多个实施例的用于远程呈现或交互的方法。
在步骤550中，获取包括医疗系统和医疗系统的操作环境的物理世界的图像帧。图像帧中描绘的操作环境可以包括例如部分或全部患者、一名或多名医务人员、一种或多种医疗工具或其他医疗设备等。步骤550类似于步骤500，对象为医疗系统，并且为步骤500描述的方法和技术也适用于此处。因此，此处不再重复该文本。
可以将图像帧提供给其他系统组件，类似于结合步骤500所描述的。
在步骤552中，在图像帧中识别医疗系统的描绘。医疗系统可以是或包括具有一个或多个机器人操纵器的机器人操纵系统，该机器人操纵器包括多个关节，如之前参考图2所描述的。步骤552类似于步骤502，其中对象是医疗系统，并且为步骤502描述的方法和技术在这里也适用。因此，此处不再重复该文本。例如，步骤552可以由图像处理引擎执行，并且其他识别的对象可以包括例如：患者监视器、梅奥架、其他家具和/或设备、供应品、人(例如，患者、诸如外科医生或助理或护士等的临床工作人员、观察员)等。已识别的对象可以与医疗系统物理分离，也可以不分离。
在步骤554中，获得医疗系统的系统模型的空间配准。系统模型可以是医疗系统的可配置数字表示，包括物理上可操纵的3D模型，如先前参考图2所讨论的。系统模型可以是可配置的，使得它能够准确地反映医疗系统的至少某些方面，例如可配置为反映医疗系统的物理配置。
在一个或多个实施例中，系统模型的空间配准使用在图像帧中识别的医疗系统的描绘和系统模型来执行的。步骤554与步骤504类似，对象为医疗系统，对象模型为医疗系统的系统模型。为步骤504描述的方法和技术在这里也适用，因此这里不再重复该文本。例如，医疗系统在图像帧中的方位和/或取向可以基于使用图像处理操作从图像帧中导出的关于医疗系统的方位、取向和其他信息的信息来估计。
可以对在执行步骤552时检测到的其他对象执行类似的空间配准操作，并将其他对象模型与这些其他对象配准。例如，也可以为目标获得目标模型(例如，在目标是患者的情况下也可以获得患者模型)，并且可以将目标的部分或全部图像替换为模型(例如，患者的部分或全部可以被部分或全部患者模型替换)。空间配准可以依赖各种提示。例如，可以使用桌子方位(如果支撑患者)和/或基于图像的提示，例如患者的位置、手臂姿态、腿姿态和/或其他信息。此外，在某些情况下，可能会考虑其他数据，例如患者的体重指数、身高或其他身体特征。该模型还可以包括患者健康信息，例如血压、心率、氧气水平等。患者健康信息可以从传感器获得，可以从图像中提取，和/或可以从其他第三方数据源获得。该模型还可以包括术中患者图像，例如CT和/或MRI扫描。可以获得对象模型的其他对象包括但不限于医疗设备、供应品、人、诸如墙壁、地板、天花板的结构房间元件等。
在步骤556中，获得更新的系统模型。在一个或多个实施例中，基于医疗系统的当前配置更新系统模型。当前配置可以从医疗系统获得，例如，通过数据接口。例如，可以获取从传感器获得的关节方位、取向和/或其他运动学信息，以更新系统模型的运动学配置，以反映医疗系统(例如，机器人操纵系统和/或用户控制系统)的当前运动学配置。参考图2A，获得运动学信息可以涉及获得机器人操纵系统的或由其支撑的任何组件的方位和/或取向，组件包括：(一个或多个)操纵器臂、由机器人操纵系统支撑的一个或多个工具(例如成像设备)，并且包括这些组件的各个连杆。可以基于关节传感器(例如，编码器、电位计等)的方位和/或取向信息来计算组件的连杆的方位和/或取向。方位和/或取向信息可以用于将连杆相应地布置在运动学链中，该运动学链表示机器人操纵系统的部分或整个运动学配置。还可获取指示灯的状态(颜色、操作状态如闪烁与恒定)、电子显示器上显示的图像、发出的声音、故障状态或其他系统状态等，以更新系统模型的对应指示符。
可以对在执行步骤552时检测到的其他对象执行类似的操作以获得更新的对象模型。例如，可以基于支撑患者(例如，使用从桌子获得的数据)的桌子的方位、患者位置、手臂姿态、腿部姿态(例如，使用位于患者身上或从图像处理中获得的标记)来更新患者的模型。
步骤556类似于步骤506，其中对象是医疗系统，并且对象模型是医疗系统的系统模型。为步骤506描述的方法和技术在这里也适用，因此这里不再重复该文本。
在步骤558中，使用图像帧、空间配准和更新的系统模型来生成混合帧。在一个或多个实施例中，混合帧包括图像帧，其中医疗系统的描绘被更新的系统模型的描绘代替。步骤558与步骤508类似，对象为医疗系统，对象模型为医疗系统的系统模型。为步骤508描述的方法和技术也适用于此处，因此此处不再重复该文本。例如，混合帧描绘了由其他对象模型的对应描绘替换的其他对象。
步骤558建立数字复制品和物理世界的对应关系，物理世界包括操作环境、医疗系统、(一个或多个)对象和/或本地用户。
在步骤560中，在远程可视化中渲染混合帧。可以为一个或多个远程用户执行渲染。渲染可以包括更新的系统模型的描绘。步骤560与步骤510类似，对象为医疗系统，对象模型为医疗系统的系统模型。为步骤510描述的方法和技术在这里也适用，因此这里不再重复该文本。
在步骤562中，执行子图像操作。步骤562与步骤512类似，对象为医疗系统，对象模型为医疗系统的系统模型。为步骤512描述的方法和技术也适用于此处，因此此处不再重复该文本。
可以反复地执行图5B的方法以定期地向一个或多个远程用户提供更新的远程可视化和/或向一个或多个本地用户提供更新的增强现实可视化。图5B中描述的方法的步骤可以实时或接近实时地执行，因为图像帧是周期性地获得的。
转向图6，示出了根据一个或多个实施例的用于促进显示覆盖物或虚拟子图像的方法。使用覆盖物或虚拟子图像，一个或多个远程用户可以向一个或多个本地用户提供指导、寻求指导或与一个或多个本地用户共享信息，例如，在提供技术支持、教授新任务等时。使用所描述的方法，远程用户可以注释在图5的步骤510中提供给远程用户的远程可视化中显示的元件。然后可以在增强现实可视化中向一个或多个本地用户显示(一个或多个)虚拟子图像。在增强现实可视化中，一个或多个本地用户可以看到物理世界，其中(一个或多个)虚拟子图像叠加在实际物理元件上。因为物理世界中的元件(例如，医疗设备、对象、操作环境的3D表示等)与物理世界的数字复制品的对应元件之间的空间配准得到维护，所以虚拟和增强现实可视化可以共存，两者之间具有定义的空间映射。因此，远程可视化中添加的虚拟子图像可以显示在增强现实可视化中的正确对应位置。例如，考虑添加到表示远程可视化中的医疗系统的系统模型的特定元件的虚拟子图像(例如，图3中的对象标记)。一个或多个本地用户可能靠近实际的物理医疗系统，通过增强现实系统的显示器(例如AR眼镜)查看物理医疗系统。由于连续维护空间配准，虚拟子图像被增强现实系统正确地叠加在物理医疗系统上(如图4所示)。
转向该方法的步骤，在步骤600中，从远程用户获得虚拟子图像或覆盖物。虚拟子图像可以是叠加在呈现给远程用户的远程可视化上的任何种类的图示。例如，虚拟子图像可以是远程用户选择并放置在远程可视化中的特定位置的符号、手绘符号、手写笔记、键入的文本、突出显示、指针或其他形状、从工具箱中选择的动画、显示多个步骤的图示序列等。也可以提供其他类型的信息。例如，可以提供图表、手册页、网页、音频记录、图像和视频记录等。远程用户可以将虚拟子图像或覆盖物放置在期望的位置，例如，叠加在要被注释的元件上。图3中示出了以对象标记和方向指令的形式放置的虚拟子图像的示例。在一个实施例中，生成虚拟子图像以添加代表远程用户的化身。化身可以是远程用户的任何类型的表示，提供远程用户观看混合帧的有效观看位置和/或观看方向，包括符号、照片等。化身可以允许一个或多个本地用户来确定远程用户的方位和观看方向，从而可以通过提供额外的上下文来帮助(一个或多个)本地用户。化身可以由远程用户控制。例如，远程用户可以相对于混合帧中的对象模型的描绘来定位和/或取向化身，并且系统可以使用对象模型和对应对象之间的空间配准来定位物理世界中渲染的化身。替代地，方位和/或取向可以从系统已知的参数导出，例如远程用户的观看方向和缩放级别。例如，系统可以使用显示给远程用户的图像来导出远程用户的视点，然后使用该视点推断人员在物理空间中的估计的观看位置和/或估计的观看方向，以(例如，在相同的缩放级别)观察相同的视点；系统可以使用估计的观看位置和/或估计的观看方向来定位物理世界中的渲染化身。
步骤600可以由远程可视化引擎执行。换言之，在远程可视化中渲染混合帧的远程可视化引擎还可以接收来自一个或多个用户的输入，包括与虚拟子图像相关的输入。远程可视化引擎可以随后渲染接收到的虚拟子图像。
在步骤602中，确定显示虚拟子图像相对于物理世界中的医疗系统或对象的位置。可以通过将子图像投影到底层元件上来确定位置，如在远程可视化中所渲染的。例如，考虑图3中医疗系统的远程可视化。在这个二维可视化(显示在屏幕上)中，标记(对象标记、方向指令标记)的位置与表示医疗系统的系统模型的元件二维重叠。因此，在步骤602中，使用二维投影，这些子图像可以被放置在这些元件的表面上。更具体地，基于该投影，虚拟子图像可以被放置在与底层元件的表面相切的平面中，该平面在该位置与底层元件相交。在混合帧中显示并在远程可视化中渲染的任何类型的元件都可以以这种方式进行注释。这包括但不限于医疗系统的系统模型(可能具有许多可以单独注释的个体子元件)、对象模型、操作环境的3D表示的元件(例如，3D网格或其他表面表示或3D点云)(如果显示的话)等。
如果远程可视化是三维的(例如，使用立体显示器)，则可以以不同的方式确定位置。在这种情况下，在视觉深度可用的情况下，用户可以三维地放置虚拟子图像，从而潜在地使投影变得不必要。
物理世界中的位置可以基于对象模型与对应对象的空间配准来确定。在图3所示的例子中，可以使用由表示医疗系统的系统模型和医疗系统本身的空间配准建立的对应关系。
在一个或多个实施例中，一旦确定了位置，就在其上放置虚拟子图像的元件与虚拟子图像本身之间建立关联。该关联可以确保当元件移动时(例如，图3所示系统模型的机械臂的移动)，虚拟子图像保持附着并跟随移动。该移动可以例如基于如先前在图5的步骤506中描述的更新的运动学配置是可跟踪的，。
步骤602可以由远程可视化引擎执行。替代地，步骤602可以在别处执行，例如由混合帧合成引擎执行。
在步骤604中，虚拟子图像被渲染以出现在提供给操作环境中的一个或多个本地用户的增强现实可视化中。例如佩戴AR眼镜的(一个或多个)本地用户可以通过AR眼镜看到物理世界(操作环境)，同时还可以感知AR眼镜中渲染的叠加虚拟子图像。因此，物理世界通过虚拟子图像被增强。基于周期性更新的空间配准(图5的步骤504)，即使当(一个或多个)本地用户移动和/或当医疗系统(或任何其他对象)的运动学配置改变时，虚拟子图像也显示在适当位置。图4中提供了增强现实可视化的示例。本领域技术人员将认识到，虚拟子图像不一定在增强现实可视化中渲染。具体地，增强现实可视化中的子图像的渲染可能仅在子图像在(一个或多个)本地用户的视野中时发生。例如，假设图4所示场景中的(一个或多个)本地用户面向相反的方向，远离医疗系统，虚拟子图像将不会在AR眼镜中渲染。
步骤604可以由增强现实渲染引擎执行。
可以另外执行随后讨论的步骤以向本地用户提供方向指导。如前所述，本地用户的视野不一定与虚拟子图像的位置重叠。例如，可能需要在空间上引导本地用户将虚拟子图像带入本地用户的视野，因为虚拟子图像可能包括本地用户应该知道的重要信息(例如，错误解决方案的指令)。
在步骤606中，确定本地用户的当前视野。可以基于为本地用户获得的头部跟踪信息来确定本地视野。例如，本地用户佩戴的AR眼镜可以配备头部跟踪传感器，头部跟踪传感器提供本地用户头部在物理世界中的方位和/或取向。可以考虑其他几何约束，例如由AR眼镜提供的视野几何形状，以确定本地用户在物理环境中的当前视野。
在步骤608中，执行测试以确定是否渲染方向指示符。如果虚拟子图像的位置在视野之外，则可以显示方向指示符，其旨在在空间上引导本地用户朝着虚拟子图像的位置调整视野。如果虚拟子图像的位置在视野内，则方向指示符的显示可能是不必要的。如前所述，头部跟踪信息可以用于确定物理世界中的当前视野。使用获得的或维持的空间配准，然后可以确定虚拟子图像的位置是否在视野内。
如果确定不需要渲染方向指示符，则可以终止图6的方法的执行。如果确定需要渲染方向指示符，则该方法可以继续执行步骤610。
步骤608可以由增强现实系统的组件执行，例如由增强现实渲染引擎执行，或在处理系统上执行，例如由混合帧合成引擎执行。
在步骤610中，在增强现实可视化中渲染方向指示符。可以渲染方向指示符，使得它指示本地用户通过AR眼镜将当前视野改变为朝向虚拟子图像。换言之，方向指示符被计算为使得跟随方向指示符减小视野与虚拟子图像之间的距离，以最终使视野与虚拟子图像重叠。渲染可以是视觉的(例如，箭头)和/或听觉的(例如，口头指令)并且可以包括旋转指令(例如，转动头部，从而调整视野)。还可以包括平移指令(例如，移动到更接近医疗系统)。
步骤610可以由增强现实系统的组件执行，例如由增强现实渲染引擎执行。
图5A、图5B和图6的方法适用于促进一个本地用户和一个远程用户之间、一个本地用户和多个远程用户之间、多个本地用户和一个远程用户之间以及多个本地用户和多个远程用户之间的交互。因此，这些方法同样适用于各种场景，而不背离本公开。
在实施例中，所描述的系统同时与一个本地用户和多个远程用户一起操作。可以从每个远程用户获得虚拟子图像。因此，可以获得多个虚拟子图像。每个虚拟子图像可以如前所述被处理，并且每个虚拟子图像的渲染可以由增强现实系统为本地用户执行。多个远程用户可能具有相同或不同的角色。可以使用混合图像的远程用户的示例角色包括：培训师或教师、技术人员或其他支持人员以及观察员。例如，多个学生可能正在观察涉及被混合图像中的对象模型替换的对象的相同程序。作为具体示例，多个医学生可以通过查看其中医疗系统的描绘已被医疗系统的系统模型的描绘替换的相同混合图像来观看使用医疗系统执行的相同医疗程序。
在实施例中，所描述的系统同时与多个本地用户和一个远程用户一起操作。可以从远程用户获得虚拟子图像，并且可以如前所述处理虚拟子图像。可以为第一增强现实系统的第一本地用户执行虚拟子图像的渲染，但可以不为第二增强现实系统的第二本地用户执行渲染。是否渲染虚拟子图像的决定可能取决于本地用户的身份。每个本地用户(具有身份)可能具有特定的角色，并且用户的角色可以是用于确定是否应该渲染虚拟子图像的因素。多个本地用户可能具有相同或不同的角色。可以使用混合图像的远程用户的示例包括：培训师或教师、技术人员或其他支持人员。远程用户可以观察多个本地用户并以并行或串行的方式与他们交互。例如，多个本地用户可能正在一起工作以执行程序。作为具体的示例，在执行医疗程序的情况下，多个本地用户可以为本地团队，并且可以包括以下中的一个或多个：临床医生、助理、实习生、医学生、护士等，并由远程用户支持。远程用户例如可以是临床专家、本地用户使用的医疗系统的技术支持人员、实习生等。
在实施例中，所描述的系统同时与多个本地用户和多个远程用户一起操作。例如，远程用户和本地用户的示例包括为上述示例所列举的那些。作为具体示例，包括远程支持人员的多个远程用户可以支持或观看多个本地用户一起工作。
在涉及多个本地和/或多个远程用户的场景中，用户可能具有不同的角色并且可能具有不同的视图。例如，对于多个本地用户，每个本地用户可以接收独特的增强现实可视化，该可视化与其他本地用户的增强现实可视化分开渲染。增强现实可视化可以特定于本地用户的视野，并且可以进一步定制以渲染与本地用户相关的虚拟子图像和/其他视觉内容(例如，基于本地用户的身份或角色、基于物理世界中的位置(例如，与医疗系统的接近程度、无菌与非无菌环境)、基于经验水平、当前工作量水平、本地用户的授权级别等)，同时可能不渲染与本地用户无关的虚拟子图像和/或其他视觉内容。因此，在一些示例中，是否渲染虚拟子图像的决定可以取决于本地用户的身份、远程用户的身份以及本地和远程用户之间的关联。类似地，远程用户可能能够单独控制他们的虚拟现实可视化，包括他们的视图、被显示或隐藏的元件等。在某些情况下，为多个本地和/或远程人员中的一些或全部维护选择元件的共享模型。作为具体示例，具有诸如医疗机器人程序的医疗系统的程序的核心要素可以包括临床人员、机器人系统和患者的物理位置和显著姿势。其他元件(包括诸如注释的真实或虚拟元件)可能不与用户群、用户群的子集或全部共享。例如，虚拟元件可能仅由提供输入以生成虚拟元件的用户、仅本地用户、仅远程用户、仅具有特定身份(例如特定名称、角色、组从属关系)的用户、所有用户等查看。这可以由用户输入设置，例如由提供导致虚拟元件的输入的用户指示的偏好设置、由具有管理员访问权限或更高优先级的用户设置等。
转向图7，示出了根据一个或多个实施例的远程辅助系统(710)的示例配置(700)。在图7中，本地用户(798)使用计算机辅助医疗系统，例如如图2所示的机器人操纵系统(230)。示例配置(700)包括促进系统(702)，包括增强现实系统(720)，例如，一组增强现实眼镜，以及远程计算设备(740)。这些组件中的每一个都包括计算系统的至少一些元件或与其对接，计算系统例如一个或多个计算机处理器(724、764)、非持久性存储设备(726、766)、持久性存储设备(728、768)和通信接口(730、770)。这些组件可以类似于先前参考图2B描述的对应组件。
本地用户(798)佩戴用于增强现实系统(720)的组件，例如一组增强现实(AR)眼镜，如前所述，其配备有3D深度图像捕获设备和显示系统。
在图7的示例中，包括3D数据的图像帧由AR眼镜的3D深度图像设备捕获。替代地，图像帧可以由位于操作环境中其他地方的3D深度图像设备捕获。
使用由3D深度图像捕获设备提供的点云数据，在(一个或多个)计算机处理器(724)上执行的增强现实系统(720)的处理系统输出格式为空间地图的3D三角形网格。空间地图可以作为Wavefront OBJ文件提供，并且还可以包括位置信息(例如，基于头部跟踪传感器)以将空间地图锚定到物理世界。
包括位置信息的空间地图通过增强现实系统(720)和远程计算设备(740)的通信接口(730、770)被发送到在远程计算设备(740)上执行的远程处理服务器(750)。在远程计算设备(740)的(一个或多个)计算机处理器(764)上执行的远程处理服务器(750)可以处理空间地图以执行空间变换以定位和定向空间地图，以根据远程用户(792)的需要定位和定向用于远程可视化(782)的空间地图。该处理进一步包括在空间地图中识别计算机辅助医疗系统以允许由可配置的3D模型替换。
处理导致混合帧的生成，该混合帧包括操作环境的3D表示和在空间地图中组合的可配置的3D模型的元件。也可以包括其他可配置的对象模型。远程处理服务器(750)将处理后的空间地图连同可配置的3D模型一起提供给在远程计算设备(740)的(一个或多个)处理器(764)上执行的网络浏览器应用程序(780)。通过使用几何定义文件格式(例如，Wavefront OBJ格式)来传输处理后的空间地图而不是流式传输视频数据，优化了性能并最小化带宽需求。在示例实施方式中，完整的空间地图由OBJ格式的3D数据(例如3D网格)、对象的3D姿势列表(包括浮点变量的4x4矩阵)和识别计算机辅助医疗系统(710)的一个字符串表示。使用3D姿态，可配置的3D模型可以被更新以利用适当的运动学配置显示。
由远程计算设备(760)上的网络浏览器应用程序(780)生成的远程可视化(782)包括已处理的空间地图，其中插入了可配置的3D模型。网络浏览器应用程序(780)可以从远程处理服务器(750)接收3D模型的配置(以3D姿态的形式)的定期更新。更新的配置数据可以通过使用Websocket通信来传输。每当接收到更新的配置数据时，网络浏览器应用程序(780)可以更新远程可视化(782)中显示的3D模型。网络浏览器应用程序(780)可以使用提供3D图形能力的库以基于JavaScript的方式实现。
从远程用户(792)接收的子图像由网络浏览器应用程序(780)处理。更具体地，在远程可视化(782)内捕获子图像以确定空间地图中的位置。随后，将空间地图中的子图像和识别的位置共享给远程处理服务器(750)。因为空间地图被周期性地更新，所以子图像的位置映射到操作环境(790)的物理世界中的适当对应位置，即使存在本地用户(798)的移动。随后，远程处理服务器通过通信接口(730、770)将子图像和子图像的位置提供给增强现实系统(720)。
子图像由增强现实系统(720)渲染，以在增强现实可视化(722)中显示，例如在本地用户(798)佩戴的AR眼镜中。取决于本地用户的当前视野，子图像可能对本地用户(798)可见或可能不可见。视野由增强现实系统(720)使用头部跟踪信息确定。在示例中，头部跟踪信息从AR眼镜的头部跟踪传感器获得。如果子图像当前不在本地用户(798)的视野中，则方向指示符由增强现实系统渲染以将本地用户朝向子图像引导。方向指示符被添加到增强现实可视化(722)中，在AR眼镜中显示给本地用户(798)。与子图像和/或方向指示符的渲染相关联的操作由AR系统(720)的(一个或多个)计算机处理器(724)执行。
本公开的实施例可以具有多种应用。在一个示例用例中，本地用户遇到了机器人操纵系统的问题。本地用户对机器人操纵系统的了解有限，因此无法继续进行正在进行的程序。
远程用户查看操作环境中的当前情况，以了解本地用户遇到的问题，并且为解决问题提供指导。在如图3所示的远程可视化中，远程用户评估机器人操纵系统的当前配置并注意到四个机器人操纵器臂中的两个已经碰撞，因此妨碍了进一步的移动。远程用户得出结论，以机械方式重新配置两个操纵器臂的碰撞元件将解决该问题，从而允许正在进行的程序继续进行。
如图3所示，远程用户放置对象标记以识别机器人操纵臂的需要机械重新配置的元件。远程用户进一步放置方向指令标记以指示元件将如何移动以解决两个机器人操纵器臂之间的碰撞。
如图4所示，在AR可视化中，本地用户看到识别操纵器臂的需要机械重新配置的元件的对象标记和方向指令标记。此外，本地和远程用户可以使用音频链接口头讨论重新配置。
虽然在上述使用案例中描述了机器人外科手术，但是本公开的实施例可以用于许多其他应用，包括在诸如制造、机器人手术和一般的现场服务的各个领域中的技术支持、远程监考、教学等。
本公开的实施例因此可以提高远程提供的帮助的效率。具体而言，在远程支持任务中，远程用户可能能够快速评估本地问题，而无需大量询问本地用户。混乱和/或错误的沟通可能会大大减少，尤其是在处理更具挑战性的支持任务和/或经验不足的本地用户时。通过使用不仅包含物理世界的网格表示，还包含计算机辅助系统的(可能高度准确的)系统模型的数字复制品，即使是在纯粹的基于相机图像的表示中无法获得的最小细节也可以被传达，同时不需要大量的数据传输带宽。因此，使用本公开的实施例，可以提供通常只能通过本地支持人员才能获得的非常高水平的远程支持。
虽然已经针对有限数量的实施例描述了本发明，但受益于本公开的本领域技术人员将理解，可以设计不背离本文所公开的本发明范围的其他实施例。因此，本发明的范围应仅由所附权利要求书限制。

Claims (45)

1.一种用于促进包括第一对象和所述第一对象的操作环境的物理世界的远程呈现的促进系统，所述促进系统包括：
处理系统，其被配置为：
获得图像帧，所述图像帧描绘所述物理世界，
识别所述图像帧中所述第一对象的描绘，
获得第一空间配准，所述第一空间配准将对象模型与所述物理世界中的所述第一对象配准，其中所述对象模型属于所述第一对象，
获得与利用所述第一对象的当前状态更新的所述对象模型对应的更新对象模型，以及
使用所述图像帧、所述第一空间配准和所述更新对象模型生成混合帧，其中所述混合帧包括所述图像帧，其中所述第一对象的所述描绘被所述更新对象模型的描绘替换。
2.根据权利要求1所述的促进系统，其中：
所述第一对象包括人员；
所述对象模型包括所述人员的人员模型；并且
利用所述第一对象的当前状态更新的所述对象模型包括利用所述人员的当前方位或姿势更新的所述人员模型。
3.根据权利要求1所述的促进系统，其中：
所述第一对象包括医疗系统；
所述对象模型包括所述医疗系统的系统模型，其中所述系统模型包括三个维度；并且
利用所述第一对象的当前状态更新的所述对象模型包括利用所述医疗系统的当前运动学配置更新的所述系统模型。
4.根据权利要求3所述的促进系统，其中所述医疗系统包括机器人操纵器，所述机器人操纵器包括多个关节，并且其中所述当前运动学配置包括所述多个关节的关节方位。
5.根据权利要求1所述的促进系统，其中使用所述图像帧和所述图像帧中所述对象的所识别描绘来获得所述第一空间配准。
6.根据权利要求1所述的促进系统，
其中所述处理系统还被配置为：
识别所述图像帧中第二对象的描绘，所述第二对象与所述物理世界中的所述第一对象物理分离，以及
使用来自所述图像帧的数据确定所述第二对象的方位；并且
其中生成所述混合帧还包括用在所述第二对象的所述方位处的第二对象模型的描绘替换所述图像帧中的所述第二对象的所述描绘，所述第二对象模型属于所述第二对象。
7.根据权利要求6所述的促进系统，其中所述处理系统还被配置为：
基于来自所述混合帧的用户的输入，获得将由所述物理世界本地的增强现实系统显示的虚拟子图像，
基于将所述第二对象模型与所述第二对象配准的第二空间配准，确定在所述物理世界中显示所述虚拟子图像相对于所述第二对象的位置，以及
通过所述增强现实系统使所述虚拟子图像的渲染出现在所述位置。
8.根据权利要求1至7中任一项所述的促进系统，其中所述处理系统还被配置为：
基于来自所述混合帧的第一用户的输入，获得将由所述物理世界本地的第一增强现实系统显示的第一虚拟子图像，
基于所述第一空间配准，确定在所述物理世界中显示所述第一虚拟子图像相对于所述第一对象的位置，以及
引起所述第一增强现实系统在所述位置渲染所述第一虚拟子图像。
9.根据权利要求8所述的促进系统，其中所述处理系统还被配置为：
基于来自所述混合帧的第二用户的输入，获得将由所述第一增强现实系统显示的第二虚拟子图像；
基于所述第一空间配准，确定在所述物理世界中显示所述第二虚拟子图像相对于所述第一对象的位置；以及
引起所述第一增强现实系统在所述位置渲染所述第二虚拟子图像。
10.根据权利要求8所述的促进系统，
其中所述处理系统通信地耦接到所述物理世界本地的多个增强现实系统，所述多个增强现实系统包括所述第一增强现实系统；并且
其中所述处理系统还被配置为：在引起所述第一增强现实系统在所述位置中渲染所述第一虚拟子图像的同时，不引起所述多个增强现实系统中的第二增强现实系统渲染所述第一虚拟子图像，其中所述第一增强现实系统被配置为渲染图像以供所述物理世界中的第一本地用户观看，并且其中所述第二增强现实系统被配置为渲染图像以供所述物理世界中的第二本地用户观看。
11.根据权利要求10所述的促进系统，其中所述处理系统还被配置为：
基于所述第一用户的身份确定引起所述第一增强现实系统渲染所述第一虚拟子图像；以及
基于所述第二用户的身份确定不引起所述第二增强现实系统渲染所述第一虚拟子图像。
12.根据权利要求8所述的促进系统，其中所述处理系统通信地耦接到所述物理世界本地的多个增强现实系统，所述多个增强现实系统包括所述第一增强现实系统，并且其中所述处理系统被进一步配置为：
基于来自所述混合帧的第二用户的输入，获得将由所述多个增强现实系统中的第二增强现实系统显示的第二虚拟子图像；
基于所述第一空间配准，确定在所述物理世界中显示所述第二虚拟子图像相对于所述第一对象的位置；以及
引起所述第二增强现实系统而不是所述第一增强现实系统在所述位置渲染所述第二虚拟子图像。
13.根据权利要求12所述的促进系统，其中所述处理系统还被配置为：
基于选自以下各项组成的组中的至少一个参数，确定引起所述第二增强现实系统而不是所述第一增强现实系统在所述位置渲染所述第二虚拟子图像：所述混合帧的所述第一用户的身份、所述混合帧的所述第二用户的身份、所述第一增强现实系统的第一本地用户的身份、所述第二增强现实系统的第二本地用户的身份以及所述第二本地用户与所述混合帧的所述第一用户或所述第二用户之间的关联。
14.根据权利要求8所述的促进系统，其中所述第一虚拟子图像包括所述混合帧的所述第一用户的估计观看位置或估计观看方向的表示。
15.根据权利要求8所述的促进系统，其中所述处理系统还被配置为：
基于所述第一增强现实系统的本地用户的视野和所述位置，确定是否渲染将所述本地用户朝向所述位置引导的指示符，以及
响应于渲染所述指示符的确定，引起所述第一增强现实系统渲染所述指示符。
16.根据权利要求8所述的促进系统，其中所述处理系统还被配置为：
基于所述第一增强现实系统的本地用户的头部的跟踪头部移动来更新所述第一空间配准，
其中所述第一增强现实系统包括由所述本地用户佩戴的头戴式增强现实显示器，并且
其中所述头戴式增强现实显示器包括用于跟踪所述头部移动的跟踪传感器。
17.根据权利要求16所述的促进系统，其中所述处理系统被配置为进一步通过在所述混合帧中插入所述头部的头部位置的图示来生成所述混合帧。
18.根据权利要求16所述的促进系统，其中所述处理系统还被配置为：跟踪所述本地用户的注视，其中所述处理系统被配置为进一步通过在所述混合帧中插入所述注视的图示来生成所述混合帧。
19.根据权利要求1至7中任一项所述的促进系统，其中所述处理系统被配置为：
通过基于所述对象的对应状态指示符的状态获得所述对象模型的更新状态指示符，来获得所述更新对象模型，使得所述混合帧中的所述更新对象模型的所述描绘包括所述更新状态指示符。
20.根据权利要求1至7中任一项所述的促进系统，还包括：
图像捕获设备，
其中所述图像捕获设备被配置为获得表示所述物理世界的三维点云即3D点云并将所述3D点云提供给所述处理系统，以及
其中所述图像帧包括从所述3D点云生成的3D网格。
21.一种用于促进远程交互的促进系统，所述促进系统包括：
处理系统，其被配置为：
提供用于由远程显示器显示的图像帧，所述图像帧表示物理世界，
获得所述物理世界本地的增强现实系统的本地用户的视野，所述本地用户在所述物理世界中，
基于来自所述远程显示器的远程用户的输入，获得将由所述增强现实系统在所述物理世界中的一个位置显示的虚拟子图像，以及
基于所述视野和所述位置，确定是否渲染指示符以将所述视野朝向所述位置引导，以及
响应于渲染所述指示符的确定，引起所述增强现实系统渲染所述指示符。
22.根据权利要求21所述的促进系统，其中所述物理世界包含对象，其中所述图像帧描绘包括所述对象的所述物理世界，并且其中所述处理系统被配置为通过以下方式确定是否渲染所述指示符：
使用所述图像帧和所述物理世界之间的空间配准确定相对于所述对象的所述位置，以及
确定所述视野和所述位置之间的差异。
23.根据权利要求21所述的促进系统，其中处理系统被配置为通过以下方式获得将由所述增强现实系统在所述位置处显示的所述虚拟子图像：
确定由所述远程用户指示的所述图像帧中的方位，以及
使用所述方位和所述图像帧与所述物理世界之间的空间配准来确定所述位置。
24.根据权利要求21至23中任一项所述的促进系统，其中所述指示符包括：引导所述视野的移动的视觉指示符，或具有多方向可听视角的听觉指示符。
25.一种用于操作促进系统的方法，所述促进系统用于促进包括第一对象和所述第一对象的操作环境的物理世界的远程呈现，所述方法包括：
利用所述促进系统的处理系统获得图像帧，所述图像帧描绘所述物理世界；
利用所述处理系统识别所述图像帧中所述第一对象的描绘；
利用所述处理系统获得第一空间配准，所述第一空间配准将对象模型与所述物理世界中的所述第一对象配准，其中所述对象模型属于所述第一对象；
利用所述处理系统获得与利用所述第一对象的当前状态更新的所述对象模型对应的更新对象模型；以及
利用所述处理系统使用所述图像帧、所述第一空间配准和所述更新对象模型生成混合帧，其中所述混合帧包括所述图像帧，其中所述第一对象的所述描绘被所述更新对象模型替换。
26.根据权利要求25所述的方法，其中：
所述第一对象包括人员；
所述对象模型包括所述人员的人员模型；并且
利用所述第一对象的当前状态更新的所述对象模型包括用所述人员的当前方位或姿势更新的所述人员模型。
27.根据权利要求25所述的方法，其中：
所述第一对象包括医疗系统；
所述对象模型包括所述医疗系统的系统模型，其中所述系统模型包括三个维度；并且
利用所述第一对象的当前状态更新的所述对象模型包括利用所述医疗系统的当前运动学配置更新的所述系统模型。
28.根据权利要求27所述的方法，
其中所述医疗系统包括机器人操纵器，所述机器人操纵器包括多个关节，并且其中所述当前运动学配置包括所述多个关节的方位。
29.根据权利要求25所述的方法，还包括：
利用所述处理系统识别所述图像帧中第二对象的描绘，所述第二对象与所述物理世界中的所述第一对象物理分离；以及
利用所述处理系统使用来自所述图像帧的数据确定所述第二对象的方位，
其中生成所述混合帧还包括用在所述第二对象的所述方位处的第二对象模型的描绘替换所述图像帧中的所述第二对象的所述描绘，所述第二对象模型属于所述第二对象。
30.根据权利要求29所述的方法，还包括：
利用所述处理系统并基于来自所述混合帧的用户的输入，获得将由所述物理世界本地的增强现实系统显示的虚拟子图像，
利用所述处理系统并基于将所述第二对象模型与所述第二对象配准的第二空间配准，确定在所述物理世界中显示所述虚拟子图像相对于所述第二对象的位置，以及
利用所述处理系统，通过所述增强现实系统使所述虚拟子图像的渲染出现在所述位置。
31.根据权利要求25至30中任一项所述的方法，还包括：
利用所述处理系统并基于来自所述混合帧的第一用户的输入，获得将由所述物理世界本地的第一增强现实系统显示的第一虚拟子图像；
利用所述处理系统并基于所述第一空间配准，确定在所述物理世界中显示所述第一虚拟子图像相对于所述第一对象的位置，以及
利用所述处理系统，引起所述第一增强现实系统在所述位置渲染所述第一虚拟子图像。
32.根据权利要求31所述的方法，还包括：
利用所述处理系统并基于来自所述混合帧的第二用户的输入，获得将由所述第一增强现实系统显示的第二虚拟子图像；
利用所述处理系统并基于所述第一空间配准，确定在所述物理世界中显示所述第二虚拟子图像相对于所述第一对象的位置；以及
利用所述处理系统，引起所述第一增强现实系统在所述位置渲染所述第二虚拟子图像。
33.根据权利要求31所述的方法，还包括：
在引起所述第一增强现实系统在所述位置渲染所述第一虚拟子图像的同时，没有利用所述处理系统引起第二增强现实系统渲染所述第一虚拟子图像，其中所述第一增强现实系统被配置为渲染图像以供所述物理世界中的第一本地用户观看，并且其中所述第二增强现实系统被配置为渲染图像以供所述物理世界中的第二本地用户观看。
34.根据权利要求33所述的方法，还包括：
利用所述处理系统确定，基于所述第一用户的身份引起所述第一增强现实系统渲染所述第一虚拟子图像；以及
利用所述处理系统确定，基于所述第二用户的身份没有引起所述第二增强现实系统渲染所述第一虚拟子图像。
35.根据权利要求31所述的方法，还包括：
利用所述处理系统并基于来自所述混合帧的第二用户的输入，获得将由第二增强现实系统显示的第二虚拟子图像；
利用所述处理系统并基于所述第一空间配准，确定在所述物理世界中显示所述第二虚拟子图像相对于所述第一对象的位置；以及
利用所述处理系统，引起所述第二增强现实系统而不是所述第一增强现实系统在所述位置渲染所述第二虚拟子图像。
36.根据权利要求35所述的方法，还包括：
利用所述处理系统确定，基于选自以下各项组成的组中的至少一个参数引起所述第二增强现实系统而不是所述第一增强现实系统在所述位置渲染所述第二虚拟子图像：所述混合帧的所述第一用户的身份、所述混合帧的所述第二用户的身份、所述第一增强现实系统的第一本地用户的身份、所述第二增强现实系统的第二本地用户的身份以及所述第二本地用户与所述混合帧的所述第一用户或所述第二用户之间的关联。
37.根据权利要求31所述的方法，其中所述第一虚拟子图像包括所述混合帧的所述第一用户的估计观看位置或估计观看方向的表示。
38.根据权利要求31所述的方法，还包括：
基于所述第一增强现实系统的本地用户的视野和所述位置，确定是否渲染将所述本地用户朝向所述位置引导的指示符，以及
响应于渲染所述指示符的确定，引起所述第一增强现实系统渲染所述指示符。
39.根据权利要求31所述的方法，还包括：
利用所述处理系统基于所述第一增强现实系统的本地用户的头部的跟踪头部移动来更新所述第一空间配准，
40.其中生成所述混合帧还包括在所述混合帧中插入所述头部的头部位置或被跟踪注视的图示。
41.一种用于操作促进系统以促进远程交互的方法，所述方法包括：
利用所述促进系统的处理系统提供用于由远程显示器显示的图像帧，所述图像帧表示物理世界，
利用所述处理系统获得所述物理世界本地的增强现实系统的本地用户的视野，所述本地用户在所述物理世界中；
利用所述处理系统并基于来自所述远程显示器的远程用户的输入，获得将由所述增强现实系统在所述物理世界中的一个位置处显示的虚拟子图像；以及
利用所述处理系统并基于所述视野和所述位置，确定是否渲染将所述视野朝向所述位置引导的指示符；以及
响应于渲染所述指示符的确定，使用所述增强现实系统来渲染所述指示符。
42.根据权利要求41所述的方法，其中所述物理世界包含对象，其中所述图像帧表示包括所述对象的所述物理世界，并且其中基于所述视野和所述位置确定是否渲染所述指示符包括：
使用所述图像帧和所述物理世界之间的空间配准确定相对于所述对象的所述位置，以及
确定所述视野和所述位置之间的差异。
43.根据权利要求41所述的方法，其中获得将由所述增强现实系统在所述物理世界中的所述位置处显示的所述虚拟子图像包括：
确定由所述远程用户指示的所述图像帧中的方位，以及
使用所述方位和所述图像帧与所述物理世界之间的空间配准来确定所述位置。
44.根据权利要求41至43中任一项所述的方法，其中所述指示符包括：引导所述视野的移动的视觉指示符，或具有多方向可听视角的听觉指示符。
45.一种包括多个机器可读指令的非暂时性机器可读介质，当所述多个机器可读指令由与促进系统相关联的一个或多个处理器执行时，适于使所述一个或多个处理器执行根据权利要求25至44中任一项所述的方法。
CN202180022600.6A 2020-03-30 2021-03-30 用于促进远程呈现或交互的方法和系统 Pending CN115315729A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063002102P 2020-03-30 2020-03-30
US63/002,102 2020-03-30
PCT/US2021/024999 WO2021202609A1 (en) 2020-03-30 2021-03-30 Method and system for facilitating remote presentation or interaction

Publications (1)

Publication Number Publication Date
CN115315729A true CN115315729A (zh) 2022-11-08

Family

ID=75588285

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180022600.6A Pending CN115315729A (zh) 2020-03-30 2021-03-30 用于促进远程呈现或交互的方法和系统

Country Status (4)

Country Link
US (1) US20230093342A1 (zh)
EP (1) EP4128171A1 (zh)
CN (1) CN115315729A (zh)
WO (1) WO2021202609A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023150449A1 (en) * 2022-02-02 2023-08-10 Intuitive Surgical Operations, Inc. Systems and methods for remote mentoring in a robot assisted medical system
WO2023158793A1 (en) * 2022-02-17 2023-08-24 Humana Machina, Llc Parallel content authoring and remote expert method and system
WO2023211838A1 (en) * 2022-04-26 2023-11-02 Intuitive Surgical Operations, Inc. Systems and methods for facilitating medical procedures with presentation of a 3d point cloud
WO2024030641A1 (en) * 2022-08-05 2024-02-08 Massachusetts Institute Of Technology Robot avatar
WO2024049942A1 (en) * 2022-09-02 2024-03-07 Intuitive Surgical Operations, Inc. Techniques for updating a registration transform between an extended-reality system and a computer-assisted device

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112018007473A2 (pt) * 2015-10-14 2018-10-23 Surgical Theater LLC navegação cirúrgica de realidade aumentada
GB2568426B (en) * 2016-08-17 2021-12-15 Synaptive Medical Inc Methods and systems for registration of virtual space with real space in an augmented reality system

Also Published As

Publication number Publication date
EP4128171A1 (en) 2023-02-08
US20230093342A1 (en) 2023-03-23
WO2021202609A1 (en) 2021-10-07

Similar Documents

Publication Publication Date Title
US11730545B2 (en) System and method for multi-client deployment of augmented reality instrument tracking
US11580882B2 (en) Virtual reality training, simulation, and collaboration in a robotic surgical system
US11013559B2 (en) Virtual reality laparoscopic tools
US11944401B2 (en) Emulation of robotic arms and control thereof in a virtual reality environment
US20230093342A1 (en) Method and system for facilitating remote presentation or interaction
KR102523779B1 (ko) 수술 절차 아틀라스를 갖는 수술 시스템의 구성
US20220101745A1 (en) Virtual reality system for simulating a robotic surgical environment
US10601950B2 (en) Reality-augmented morphological procedure
JP2022540898A (ja) 外科手術を遠隔監督するための拡張現実システムおよび方法
Lin et al. A first-person mentee second-person mentor AR interface for surgical telementoring
Smith et al. Mixed reality interaction and presentation techniques for medical visualisations
Gupta et al. Augmented reality based human-machine interfaces in healthcare environment: benefits, challenges, and future trends
Preim et al. Virtual and augmented reality for educational anatomy
TW201619754A (zh) 醫用影像物件化介面輔助解說控制系統及其方法
JP2004348091A (ja) 実体模型及びこれを用いた手術支援システム
Zhou et al. The study of using eye movements to control the laparoscope under a haptically-enabled laparoscopic surgery simulation environment
WO2023114348A1 (en) Methods and systems for coordinating content presentation for computer-assisted systems
Andersen Effective User Guidance Through Augmented Reality Interfaces: Advances and Applications
Singh Augmented Reality on the da Vinci Surgical System
KR20230113599A (ko) 의료 환경을 계획하기 위한 시스템들 및 방법들
TW202111724A (zh) 醫療訓練之多媒體輔助系統
Pednekar et al. Application of Virtual Reality In Surgery Simulation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination