CN115461700A - 用于基于区域的呈现增强内容的系统和方法 - Google Patents
用于基于区域的呈现增强内容的系统和方法 Download PDFInfo
- Publication number
- CN115461700A CN115461700A CN202180030969.1A CN202180030969A CN115461700A CN 115461700 A CN115461700 A CN 115461700A CN 202180030969 A CN202180030969 A CN 202180030969A CN 115461700 A CN115461700 A CN 115461700A
- Authority
- CN
- China
- Prior art keywords
- viewpoint
- region
- content
- augmented content
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/44—Event detection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B2017/00017—Electrical control of surgical instruments
- A61B2017/00203—Electrical control of surgical instruments with speech control or speech recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B2017/00017—Electrical control of surgical instruments
- A61B2017/00216—Electrical control of surgical instruments with eye tracking or head position tracking control
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2055—Optical tracking systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2074—Interface software
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
- A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/372—Details of monitor hardware
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/50—Supports for surgical instruments, e.g. articulated arms
- A61B2090/502—Headgear, e.g. helmet, spectacles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2016—Rotation, translation, scaling
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Architecture (AREA)
- Processing Or Creating Images (AREA)
Abstract
一种基于区域的增强系统被配置为确定显示设备的用户的视点被引导到包含用户的物理世界的锚定区域内。作为响应,系统引导显示设备以明显方式呈现增强内容。明显方式包括相对于视点锚定增强内容,使得当用户在锚定区域内移动视点时增强内容跟随视点。系统进一步确定用户将视点引导到锚定区域之外。作为响应,系统引导显示设备以较不明显的方式呈现增强内容。以较不明显的方式呈现增强内容包括与明显方式相比较不显著地呈现增强内容和/或相对于视点取消锚定增强内容。还公开了相应的方法和系统。
Description
相关申请
本申请要求于2020年5月11日提交的美国临时专利申请号63/023,012的优先权,其内容通过引用整体并入本文。
背景技术
混合现实技术允许用户观察合并真实元素(即,在真实世界中实际围绕用户的真实元素)和虚拟元素(即,呈现以供用户观察的合成元素,但实际上并不存在于真实世界中)的世界。例如,增强现实技术、某些虚拟现实技术和其它形式的扩展现实都可以被视为混合现实技术,如该术语在本文中使用的。
可以通过使用混合现实技术将增强内容(即一个或多个虚拟元素)呈现到真实世界的视图上来服务于各种应用程序和使用实例。然而,在任何时候或在每种情况下,这种增强内容的突出显示可能不是同样可取的。
发明内容
本文描述了用于向用户基于区域的呈现增强内容的系统和方法。例如,这种基于区域的增强系统的一个实施例包括存储指令的存储器和通信地耦合到存储器并被配置为实施指令以执行某些操作的处理器。例如,操作可以包括确定显示设备的用户的视点被引导到包含用户的物理世界的锚定区域内。操作还可以包括响应于确定视点被引导到锚定区域内而引导显示设备以明显的方式呈现增强内容。例如,明显方式可以包括相对于视点锚定增强内容,使得当用户在锚定区域内移动视点时增强内容跟随视点。这些操作还可以包括确定视点由用户引导到锚定区域之外,并且响应于确定视点被引导到锚定区域之外,引导显示设备以较不明显的方式呈现增强内容。例如,以较不明显的方式呈现增强内容可以包括与明显的方式相比较不显著地呈现增强内容或相对于视点取消锚定增强内容。
一种基于区域的增强方法的示例实施例可以由基于区域的增强系统来执行。例如,该方法可以包括确定显示设备的用户的视点被引导到包含该用户的物理世界的锚定区域内。该方法还可以包括响应于确定视点被引导到锚定区域内,引导显示设备以明显的方式呈现增强内容。例如,明显方式可以包括相对于视点锚定增强内容,使得当用户在锚定区域内移动视点时增强内容跟随视点。该方法还可以包括确定用户将视点引导到锚定区域之外,并且响应于确定视点引导到锚定区域之外,引导显示设备以较不明显的方式呈现增强内容。例如,以较不明显的方式呈现增强内容可以包括与明显的方式相比较不显著地呈现增强内容或相对于视点取消锚定增强内容。
各种其它示例实施例可以通过存储指令的非暂时性计算机可读介质来实施,这些指令在被执行时引导计算设备的处理器执行本文描述的任何操作。
附图说明
附图图示了各种实施例并且是说明书的一部分。图示的实施例仅仅是示例并且不限制本公开的范围。在整个附图中,相同或相似的附图标记表示相同或相似的元件。
图1示出了根据本文描述的原理以明显方式向用户基于区域的呈现增强内容的说明性基于区域的增强系统。
图2示出了根据本文所述的原理运行的图1的基于区域的增强系统的说明性实施方式的某些方面。
图3示出了根据本文描述的原理当用户的视点被引导到物理世界的锚定区域内时以明显方式对增强内容的说明性呈现。
图4A示出了根据本文描述的原理相对于显示设备的用户的视点锚定的说明性增强内容。
图4B示出了根据本文描述的原理相对于物理世界锚定的说明性增强内容。
图5示出了根据本文描述的原理当用户的视点被引导到边界附近时锚定到锚定区域的边界的说明性增强内容。
图6-图8示出了根据本文描述的原理以较不明显的方式对增强内容的各种说明性呈现。
图9A-图9D示出了根据本文描述的原理在物理世界内定义的锚定区域的各种说明性方面。
图10示出了根据本文所述原理的说明性计算机辅助医疗系统。
图11示出了根据本文描述的原理向用户基于区域的呈现增强内容的说明性方法。
具体实施方式
本文描述了以明显方式向用户基于区域的呈现增强内容的系统和方法。如本文所用,“基于区域的”呈现增强内容指代向观察者(例如,体验混合现实的观察者)呈现增强内容,其中该呈现说明了正在观察的世界区域。例如,如本文将更详细地描述的,当视图指向世界的一个区域时,可以用以明显方式呈现的内容来增强观察者的世界视图(例如,相对于观察者的视点被锚定,以特定大小呈现,以最小或无透明度呈现等),而当视图没有指向世界的一个区域时,增强内容可以以较不明显的方式呈现(例如,未从观察者的视点锚定,以较小的尺寸呈现,以较大的透明度呈现,完全不呈现等)。如本文所用,物理世界中通常希望以明显方式呈现增强内容的区域在本文中称为锚定区域。
本文描述的用于基于区域的呈现增强内容的系统和方法可以在各种各样的环境和使用用例中提供有用的好处和优势。例如,由扩展现实技术促进的各种应用(诸如消遣或娱乐应用(例如,视频游戏、电视或电影内容、锻炼计划等)、工业应用(例如,制造、机器人和其它应用)、教育和训练应用、消费者和专业应用、通信应用等)都可以由本文描述的基于区域的增强系统和方法的实施方式来服务。
参考计算机辅助系统和设备来描述本公开的各方面,其可以包括手动操纵、远程操作、半自主、自主等的系统和设备;包括机器人或非机器人、远程操作或非远程操作等的系统和设备。此外,本公开的方面是依据使用外科手术系统的实施方式来描述的,诸如由加利福尼亚州桑尼维尔的直观外科手术操作公司商业化的da外科手术系统。然而,本文公开的创造性方面可以以各种其它方式来体现和实施。da外科手术系统上的实施方式仅仅是示例性的并且不应被视为限制本文所公开的发明方面的范围。例如,参考外科手术仪器和外科手术方法描述的技术可以在其它情况下使用。因此,本文所述的仪器、系统和方法可用于人类、动物、人类或动物解剖学的一部分、工业系统、通用机器人或远程操作系统。作为进一步的示例,本文描述的仪器、系统和方法可用于非医疗目的,其包括工业用途、一般机器人用途、感测或操纵非组织工件、美容改进、人类或动物解剖结构的成像、从人类或动物解剖学收集数据、建立或拆除系统、培训医疗或非医疗人员等。其它示例应用包括用于从人类或动物解剖结构中取出的组织的手术(不返回人类或动物解剖结构)以及用于人类或动物尸体的手术。进一步,这些技术也可用于包括或不包括外科手术方面的医疗治疗或诊断手术。
因此,本文描述的原理对许多类型的应用和使用实例具有广泛的适用性。为了描述方便,以下描述通常会呈现特定类型的使用实例。具体而言,下文描述的基于区域的增强系统和方法通常将在医学上下文中进行描述和图示,医学上下文将被理解为与各种外科手术和非外科手术医学手术和/或操作(例如,诊断手术、治疗手术、训练手术等)相关,对于外科手术和非外科手术医学手术和/或操作,这些医疗人员可以利用混合现实技术(诸如涉及增强现实显示设备的技术)。尽管使用这样的医学上下文作为示例,但是应当理解,本文描述的原理可以发现显著适用于各种其它类型的上下文、场景和应用。
为了说明特定的医学示例,将考虑使用计算机辅助(例如,机器人控制的)医学系统执行的微创外科手术程序(这种系统的具体示例将在下面关于图10进行更详细的描述和图示)。在这种手术的床边执行体内任务的外科医生通常使用安装在手术室的墙壁或天花板上或安装在手术室中的设施上的物理监视器来可视化外科手术内窥镜视频和/或其它图像。在这些类型的位置中放置监视器可能不符合人类工程学且不方便,并且可能使工作人员难以可视化体内事件并难以在手术期间有效地执行其分配的任务。
当内容是被确定为期望的、有用的或方便的时,本文描述的系统和方法可以在这种类型的医学环境中提供显著的益处,诸如通过在手术期间以明显的方式向医务工作人员的眼睛呈现增强内容(例如,附加图像、视频等)。当内容是被确定为不期望、没有用或不方便时,本文描述的系统和方法还可以使增强内容较不明显。许多这些好处将在下面的描述中描述和/或变得明显。现在将参考附图更详细地描述各种实施例。
图1示出了用于基于区域的呈现增强内容(例如,对于医学示例,由协助或执行医疗程序的医务工作人员使用等)的说明性的基于区域的增强系统100(“系统100”)。如图所示,系统100可以包括但不限于选择性地和通信地彼此耦合的存储器102和处理器104。应当理解,存储器102可以表示相同或不同类型的一个或多个存储器模块(例如,瞬态存储器、非瞬态存储装置等)。类似地,处理器104可以表示相同或不同类型的一个或多个处理单元(例如,中央处理单元(“CPU”)、图形处理单元(“GPU”)、嵌入式设备、可定制设备(诸如现场可编程门阵列(“FPGA”)等)。
在一些示例中,存储器102和处理器104可以集成到单个设备中,而在其它示例中,存储器102和处理器104中的一个或两个可以分布在多个设备和/或多个位置之间。例如,在系统100的一个实施方式中,与特定用户相关联的显示设备可以包括一个或多个内置处理单元、存储器模块、传感器、通信接口等,所有这些都可以互操作以实施系统100。相反,在系统100的其它实施方式中,这些部件中的一些或全部可以不集成到显示设备本身中,而是可以在可以服务于特定实施方式的其它计算系统上实施(例如,边缘服务器、云服务器、与计算机辅助医疗系统的其它部件集成的计算设备(诸如将在下面结合图10描述的)等)。
存储器102可以存储或以其它方式维护由处理器104使用的可执行数据以执行本文描述的任何功能。例如,存储器102可以存储指令106,该指令106可以由处理器104实施以执行本文描述的任何功能。指令106可以由任何合适的应用程序、软件、代码和/或其它可执行数据实例来实施。存储器102还可以维护由处理器104接收、生成、管理、使用和/或传输的任何数据。
处理器104可以被配置为执行,例如通过被配置为执行存储在存储器102中的指令106来执行与增强内容的基于区域的呈现相关联的各种处理功能。例如,处理器104可以确定显示设备的用户的视点被引导到包含用户的物理世界的锚定区域内,并且可以响应于确定该视点被引导到锚定区域内的确定而引导显示设备以明显的方式呈现增强内容。
参考医疗程序上下文示例,显示设备可以被实施为头戴式增强现实显示器,用户利用该显示器来执行或帮助在医疗区域内正在对身体执行的医疗程序。处理器104可以基于用户键入的区域来定义锚定区域。处理器104还可以半自动地定义锚定区域,例如通过基于操作条件或其它因素呈现以供选择锚定区域。处理器104还可基于检测或接收的各种参数自动定义锚定区域,例如通过其自身识别锚定区域。示例操作条件和其它因素包括:医疗程序的部位的位置、大小或其它几何特征、手术中使用的系统、执行手术的工具、与手术相关联的用户或其他人员、手术的类型或系统或工具、存储的用户偏好信息等。此外,增强内容可以被配置为帮助用户执行医疗程序。例如,增强内容可以包括文本信息、图形信息(例如,视频、照片、传感器图像、符号、图画、图表等),或文本和图形信息两者。作为图形信息的具体示例,增强内容可以以接收医疗程序的身体的一个或多个外部或内部视图为特征。这样的视图可以在术前或术中捕获,并且可以由任何合适的成像设备捕获。示例成像设备包括:用于捕获显著光或不显著光的相机、内窥镜、超声模块、荧光(florescence)成像模块、荧光镜(fluoroscopic)成像模块等。在某些示例中,增强内容可以描绘已经基于术前数据生成或基于术中数据生成和/或更新的模型。
在另一个医疗程序示例中,用户可以是帮助执行医疗程序的人,并且锚定区域可以与接收医疗程序的身体相关联。例如,锚定区域可以包括靠近身体的一部分或靠近整个身体的空间、围绕身体的该部分或围绕整个身体的空间等。
这种医疗程序的示例包括外科手术程序以及非外科手术程序。此类医疗程序的示例包括用于诊断、治疗和诊治、美容、成像、数据收集、培训和演示的医疗程序。医疗程序可能会或可能不会使用涉及计算机辅助医疗系统的微创技术。可以执行医疗程序的身体的示例包括有生命的人类患者或可以是有生命的或无生命的、生物的或非生物的、天然的或人造的其它合适的身体等。例如,动物的身体、人类尸体、动物尸体、人类或动物解剖结构的一部分、从人类或动物解剖结构中取出的组织(可能会或可能不会重新植入人类或动物解剖结构内)、非组织工件、训练模型等都可以是可以在其上执行医疗程序的身体的示例。
当处理器104引导显示设备以明显方式呈现增强内容时,处理器104可以在某些实施方式中相对于用户的视点锚定增强内容,使得当用户在锚定区域内移动视点时增强内容跟随视点。以这种方式,当用户在锚定区域内观看(例如,在锚定区域的方向上观看)时,用户可以容易地看到增强内容,并且提高了人机工程学和效率。如下文将描述的,还可能存在这样的情况,即增强内容到视点的这种锚定被改变或以其它方式执行。
当用户继续在锚定区域内引导他或她的视点时,系统100可以以明显方式连续呈现增强内容,其中明显方式包括相对于视点锚定增强内容。然而,如果用户将视点引导到远离锚定区域的物理世界的另一部分,则系统100可以自动过渡为以较不明显的方式呈现增强内容。以较不明显的方式呈现可能有助于减少视觉干扰、增加便利性、舒适性、效率等,其中用户正在执行未由增强内容的明显呈现帮助的任务。以较不明显的方式呈现可以包括与明显的方式相比较不显著地呈现增强内容,或相对于视点取消锚定增强内容。在一些示例中,与明显的方式相比较不显著地呈现内容可以包括根本不呈现增强内容。
为此,处理器104可以确定用户将视点引导到锚定区域之外,并且响应于确定视点被引导到锚定区域之外,处理器104可以引导显示设备以较不明显的方式呈现增强内容。例如,处理器104可以通过与明显的方式相比较不显著地呈现增强内容(诸如通过以更小尺寸或更高透明度来呈现增强内容、通过停止显示增强内容等)来以较不明显的方式呈现增强内容。作为另一示例,处理器104可以通过相对于视点取消锚定增强内容以较不明显的方式呈现增强内容;在一些情况下,处理器104可以替代地将增强内容锚定到物理世界。
在一些实施方式中,系统100(例如,处理器104)可以被配置为以明显的方式向用户实时地执行增强内容的基于区域的呈现。如本文所使用的,当功能涉及或基于动态的时间敏感信息并且在时间敏感信息保持准确或以其它方式相关时执行该功能时,可以说该功能是实时执行的。由于物理系统中的处理时间、通信延迟和其它固有延迟,某些功能在立即执行且没有不当延迟时可被视为实时执行,即使在小延迟后执行(例如,延迟高达几秒钟或类似的时间)。作为实时功能的一个示例,处理器104可以引导显示设备以明显的方式、较不明显的方式来呈现增强内容,或者以响应于用户移动显示设备的方式在这些不同的呈现方式之间切换(或开始在它们之间过渡)。
图2示出了运行中的系统100的说明性实施方式的某些方面。具体而言,如图所示,图2描绘了物理世界200、包含在物理世界200内的用户202以及用户202正在使用的显示设备204的俯视图。物理世界200是包含用户202的真实世界。用户202的视点206可以是用户202的观察焦点的实际或估计方向和/或位置,或者可以基于观察焦点的方向和/或位置来确定。在各种实施方式中,基于用户202的注视方向或注视位置、基于用户202的头部所引导的方向或位置、基于用户202的一只或更多眼睛被确定接合的方向或位置或基于与显示设备204相关联的视场来确定视点206。视点206可以由用户202自由移动,以在不同时间被引导或朝向物理世界200的任何不同区域。在图2中使用源自用户202的并沿特定方向向外移动的不同样式的线来描绘三个说明性视点206(标记为视点206-1到206-3)。图2的俯视图进一步描绘了锚定区域208和包括在物理世界200内的多个对象210(例如,对象210-1到210-4)。现在将更详细地描述图2中描绘的这些元件中的每一个。
图2描绘了根据本文所述的原理的物理世界200的矩形部分,并且将被理解为表示世界的一部分(诸如房间或包括至少一个锚定区域的另一合适区域)并且系统100可以在其中执行增强内容的基于区域的呈现。在诸如已经描述的医疗程序上下文中,例如,物理世界200可以表示正在执行医疗程序的手术室或其它医疗区域。
用户202可以表示显示设备204的任何用户。在医疗示例中,用户202可以是工作以执行或协助医疗程序的人,诸如护士、助理、临床医生、外科医生、监督人员、任何这些角色的实习生等。
显示设备204可以由被配置为由用户202使用以基于用户202将视点206引导到的物理世界200的区域来呈现增强内容的任何合适的设备来实施。在一些示例中,显示设备204可以由头戴式显示设备实施,该头戴式显示设备被配置为当佩戴者使用头部运动在物理世界200内移动视点时在设备的佩戴者的视场中呈现增强内容。在各种实施方式中,头戴式显示设备可以通过专用增强现实设备、通过使用头戴式装置佩戴在眼前的通用移动设备(例如,平板电脑、智能手机等)或由其它类型的显示设备来实施。
在某些示例中,显示设备204可以由未戴在头部上的设备来实施。例如,显示设备204可以由手持设备(例如,诸如智能手机、平板电脑等的移动设备)、基于投影的增强现实设备或者能够以各种其它合适方式呈现增强现实内容的其它非头戴式设备来实施,该手持设备可以被指向不同方向和/或聚焦到物理世界200内的不同距离,基于投影的增强现实设备可以将增强内容投影到物理世界200中的物理表面上。在某些这样的实施方式中,用户202的视点206可以被确定为显示设备204的视图方向和/或位置,而不是用户202的视图的方向和/或位置。
在一些实施方式中,显示设备204可以包括捕获物理世界200的视图并将该视图实时传递到用户可观察的显示屏的相机,以将物理世界200的视图呈现给用户202。例如,用于实施显示设备204的某些通用移动设备可以以这种方式操作。在其它类型的实施方式中,显示设备204可以包括透视屏幕,其允许光从物理世界200穿过到达用户202的眼睛,并且允许通过覆盖在通过屏幕可查看到的物理世界的视图上来在屏幕上呈现增强内容。当头戴式显示设备采用这种方法并且头戴式显示设备由用户202(例如经由增强现实眼镜)佩戴时,透视屏幕可以位于用户202的眼睛前面。这样,透视屏幕可以允许用户202随意引导视点206,并且可以呈现增强内容以允许用户202通过透视屏幕看到物理世界200以及增强内容。
在各种情况下,显示设备204还可包括足以实施系统100或与完全或部分实施系统100的另一计算系统通信的计算机硬件和软件(例如,处理器、存储指令的存储器等)。
在一些示例中,系统100至少基于根据显示设备204的位置和定向所定义的观察方向来确定视点206,诸如在图2中的视点206-1到206-3中所示。在一些示例中,系统100至少基于根据用户202的位置和定向(诸如基于用户202的头部的定向)而定义的观察方向来确定视点206。在又一个示例中,系统100可以基于附加或其它参数来确定视点206的方向。例如,系统100可以至少基于用户202的眼睛的注视方向来确定视点206的方向。因此,在这样的实施方式中,系统100可以采用眼睛跟踪技术来确定视点206。在系统100基于观察方向确定视点206的这些示例中,系统100可以通过确定观察方向与锚定区域相交来确定视点被引导到锚定区域(例如,锚定区域208)内。
在一些示例中,系统100将视点206确定为视觉焦点的位置。在这样的示例中,视点206可以通过观察方向以及距显示器204或用户202的观察距离来描述。例如,系统100可以基于用户202的眼睛的观察方向和焦距来确定视点206。在这样的示例中,系统100可以通过确定观察方向和落入锚定区域内的距离来确定视点被引导到锚定区域(例如,锚定区域208)内。
在图2所示的示例中,用户202被示为将视点206引导向对象210-1并位于锚定区域208内。然而,应当理解,在随后的时间点(如下所述),用户202可以通过转动他的或她的头部和/或眼睛看别处,或通过移动显示设备204在其它方向(诸如视点206-2和206-3所示的方向)上引导视点206。
对象210可以各自表示可能存在于物理世界200中的任何对象或其它图像。例如,在物理世界200包括正在执行医疗程序的医疗区域(例如,手术室等)的示例中,对象210-1可以表示在执行医疗程序时身体置于其上的手术台。对象210-2到210-4可以是医疗区域中存在的其它类型的对象,诸如其他人员、医疗设施(例如,计算机辅助医疗系统的部件、放置仪器的桌子等),或可能服务于特定实施方式的其它对象。
如图2所示,并且将在下面更详细地描述的,锚定区域208可以在物理世界200内被定义为与对象210-1相关联的区域。在该示例中,如图所示,锚定区域208可以被定义为包围整个手术台和正被手术的身体,以及围绕手术台和身体的少量空间。
如已经描述的,系统100可以被配置为确定何时将视点206引导到锚定区域内或之外。系统100可以以任何合适的方式执行该确定,诸如通过使用显示设备204的适当传感器(例如,图像传感器、加速度计、陀螺仪传感器、磁力计等)、通过使用外部跟踪传感器(例如,安装在物理世界200中并配置为监视用户202和/或显示设备204的光学跟踪传感器、安装到用户202或显示设备204的光学或运动传感器等)和/或基于任何合适的跟踪技术或算法(例如,配准或空间跟踪技术、同步定位和映射(“SLAM”)算法等)以确定视点206。例如,此类传感器和/或技术可用于确定显示设备204或用户202的位置、显示设备204或用户202在空间中如何定向等,以确定如何引导视点206。在视点206基于观察方向的情况下,当视点206与锚定区域208相交时,系统100可以确定视点206被引导到锚定区域208内;在该示例中,当确定视点206不与锚定区域208相交时,系统100然后确定视点206未被引导到锚定区域208内,而是被引导到锚定区域208之外。在视点206基于观察位置的情况下,当观察方向和观察距离落入锚定区域208内时,系统100可以确定视点206被引导到锚定区域208内;在该示例中,当确定观察方向和观察距离以将视点206置于锚定区域208之外时,系统100然后确定视点206未被引导到锚定区域208内,而是被引导到锚定区域208之外。
如图2所示,并且可以由系统100以这些方式中的任何一种方式确定,用户202将视点206-1引导到锚定区域208内,视点206-2朝向锚定区域208的边界被引导,并且视点206-3被引导到锚定区域208之外。现在将结合图3-图8更详细地图示和描述与这些视点206中的每一个相关联的视场。
图3示出了与被引导到锚定区域208内的视点206-1相关联的说明性视场。如图所示,视点206-1被图示为从用户202的有利点查看通过显示设备204或在显示设备204上可查看到的对象210-1的一部分的透视图。在图3和本文的后续图示中,显示设备204的形状大致类似于说明性头戴式显示设备或一副眼镜的视口,其包括具有设备可以搁在鼻子上的凹口300的大型可视空间。该形状仅用于说明方便,并且应当理解,各种实施方式可以采用各种类型和形状的视口,其包括矩形视口。此外,显示设备204可以被配置为呈现单视场视图、立体视图、3-D视图等。
当用户202查看物理世界200中的对象210-1和/或其它对象和图像时,图3示出了显示设备204可以呈现增强内容,该增强内容实际上并不存在于场景中而是被叠加以便用户202可以与存在于物理世界200中的图像和对象一起查看。更具体而言,图3示出了在与视点206-1相关联的视场内以明显方式说明性呈现增强内容。例如,如图所示,增强内容302属于第一类型(例如,显示实时图像,诸如当前由成像仪器(诸如插入体内的内窥镜、超声探头、透视设备等)捕获的身体的内部视图)。增强内容302被示出为被显示在图3中的视场的左下部分的位置处,而增强内容304是第二类型(例如,显示非实时图像,诸如术前图像(诸如通过MRI或CT扫描捕获的图像)、基于术前成像生成的解剖模型等)。增强内容302和304可以彼此相关,诸如通过提供补充信息,或通过彼此改变。作为一个具体示例,在一些情况下,增强内容302可以包括由成像设备捕获的解剖结构的实时图像,并且增强内容304可以包括直接或间接配准到实时图像的相同解剖结构的模型或术前图像;在该示例中,随着增强内容302被更新以显示解剖结构的不同部分,增强内容304被自动更新以描绘相同的不同部分,反之亦然。增强内容304被示为被显示在图3中的视场的右下部分的位置处。在图3中表示的时间段处(即,当视点206被引导到锚定区域208内时,如视点206-1所示),可以以明显的方式呈现增强内容302和304之一或两者。如图所示,根据图3的示例以明显方式呈现增强内容包括相对于视点206锚定增强内容,使得当用户202在锚定区域208内移动视点206时增强内容跟随视点206。
示出由图3中的显示设备204呈现的增强内容包括在特定位置的两个虚拟屏幕(即,增强内容302包括第一虚拟屏幕并且增强内容304包括第二虚拟屏幕)。然而,将理解,特定实施方式中的增强内容可以包括任何元素类型、元素数量和元素的位置,每个元素具有适合于该实施方式的任何合适的形式或形状。例如,在某些情况下,增强内容可以包括不采用虚拟屏幕形式的图形或文本显示。作为另一个示例,在某些情况下,增强内容可以包括更少或更多的虚拟屏幕。在一些示例中,多个增强内容可以水平或垂直对齐。在一些示例中,对系统100的不同输入或显示设备204的运动(例如,用户上下俯仰显示设备、左右偏航运动等)可以被系统100解释为指示引导显示设备204以特定方式呈现、锚定和/或以其它方式操纵增强内容。
增强内容可以被配置为以可以服务于特定实施方式的任何方式呈现任何信息。例如,如图3的医疗程序示例所示,增强内容302被实施为包括呈现对象210-1的身体的一种类型的内部视图的虚拟屏幕,而增强内容304被实施为包括与增强内容302的虚拟屏幕分离的虚拟屏幕,并且呈现对象210-1的身体的不同类型的内部视图。应当理解,增强内容302和304中所示的增强内容的示例仅用于说明目的,并且可以在其它医疗程序示例或其它非医疗示例中呈现各种类型的其它增强内容。
增强内容302和304中的每一个可以以任何合适的方式锚定到视点206、锚定到物理世界200、锚定到某个其它参考或者不被锚定。例如,由显示设备204呈现的增强内容可以包括锚定到视点206(例如,在视场的左下部分)的第一增强内容(例如,如图3所示的用于增强内容302的第一虚拟屏幕)和锚定到在不同位置处的视点206(例如,在视场的右下部分)的第二增强内容(例如,如图3所示的用于增强内容304的第二虚拟屏幕)。作为另一示例,由显示设备204呈现的增强内容可以包括锚定到视点206的第一增强内容(例如,如图3所示的用于增强内容302的第一虚拟屏幕)和锚定到相对于物理世界200的固定位置(例如,参考对象210-1的位置)的第二增强内容(例如,如图3所示的用于增强内容304的第二虚拟屏幕)。
因此,当用户202将视点206引导到物理世界200的不同区域时,增强内容(诸如增强内容302和304)可以被锚定到视点206或从视点206取消锚定,或者从物理世界200锚定或不锚定。图4A和图4B图示了在锚定相对于视点的增强内容(在相对于视点或视点的方面的固定位置中)和锚定相对于物理世界的增强内容(在相对于物理世界或物理世界的方面的固定的位置中,例如到物理世界中定义的坐标,到物理世界中的真实对象等)之间的差异。图4A示出了视点锚定模式400-1,其中说明性的增强内容相对于显示设备204的用户的视点被锚定,而图4B示出了物理世界的锚定模式400-2,其中说明性的增强内容是相对于用户通过显示设备204观察的物理世界被锚定。图4A和图4B中的每一个示出了在初始时间处(在图4A和图4B的左侧)和在显示设备204已经被向左移动(根据在初始视图之上显示的移动箭头)并且视点已经被重新定向到不同位置之后的随后时间处的视图,如图4A和图4B的右侧所示。在显示设备204上或通过显示设备204显著的视场的这些描绘中的每一个中,描绘了物理世界中的对象402(例如,对象402可以是物理世界200中的对象210之一)。当用户202相应地引导与显示设备204相关联的视图时,可以查看到对象402。图4A示出了相对于视点锚定的视点锚定增强内容404(在该示例中,固定在相对于视点的位置中)。图4B示出了锚定到物理世界的物理世界锚定的增强内容406(在该特定示例中,固定在相对于对象402的位置中)。
如图4A所示,当用户将显示设备204向左重新定向几度并稍微靠近对象402时(如对象402向右偏移并在视场内从初始时间开始到随后的时间稍微变大所证明的),视点锚定的增强内容404相对于视点保持在相同的位置。更具体而言,如图4A所示,随着视点随时间推移从初始位置重新定向到后续位置,视点锚定的增强内容404保持相同大小并保持在视场的左下部分的固定位置。
相反,如图4B所示,当用户202针对物理世界锚定的增强内容406以相同方式重新定向显示设备204时,物理世界锚定的增强内容406相对于对象402保持在相同位置。如图4B所示,当随着时间推移视点从初始位置重新定向到后续位置时,物理世界锚定的增强内容406变得稍大并且保持在对象402的左上角附近的固定位置。
返回到图3,增强内容302和304中的每一个在一些情况下可以被实施为视点锚定的增强内容、在一些情况下可以被实施为物理世界锚定的增强内容、或在一些情况下可以被实施为自由浮动或其它锚定的增强内容。在一些示例中,在某些情况下,例如基于视点206在物理世界200内引导到的位置,增强内容302和304中的一个或两个可以变为被锚定,或改变它们的锚定模式。例如,在一个特定实施方式中,当用户202在锚定区域208内移动视点206时,增强内容302和304两者都可以相对于视点206保持锚定(例如,分别在视场的左下部分和右下部分,如图所示)。然而,如果用户202将视点206引导到锚定区域208之外,则系统100可以开始以较不明显的方式呈现增强内容302和/或304。为了以较不明显的方式呈现增强内容302和/或304,系统100可以与如图3中所示的明显方式相比较不显著地呈现增强内容,和/或可以将锚定模式从视点锚定模式改变为另一种模式。作为模式改变的具体示例,系统100可以在物理世界锚定模式(例如,物理世界锚定模式400-2)中呈现增强内容。
例如,在一些情况下,当用户202将视点206移出锚定区域208时,系统100可以通过相对于视点206取消锚定增强内容来引导显示设备204以较不明显的方式呈现增强内容。这种取消锚定可以包括停止在至少一个空间方向上相对于视点206锚定增强内容(即,使得增强内容在至少一个空间方向上不跟随视点206)。如本文所用,空间方向可指代空间中的平移或旋转运动方向。因此,当增强内容在特定空间方向上变为从视点取消锚定时,视点在该特定空间方向上的移动可能不再导致增强内容相应地移动。
在一些示例中,停止在至少一个空间方向上锚定增强内容可以通过停止在所有空间方向上将增强内容锚定到视点206来执行,使得增强内容不再在任何空间方向上锚定到视点206。在其它示例中,停止在至少一个空间方向上锚定增强内容包括在少于所有空间方向(诸如仅在一个空间方向)上取消锚定增强内容,使得当视点206移动时,增强内容相对于锚定区域208在至少一个空间方向上不移动。但是当用户202在其它空间方向上移动视点206时增强内容仍然跟随视点206。
为了图示对于不同空间方向锚定可能不同的一种情形,图5示出了当视点206-2被引导到锚定区域208的边界502附近时的说明性示例。在图5中,增强内容302被锚定在相对于用户的视点的第一空间方向上并且被锚定在相对于边界的第二空间方向上。在图5中,视点206-2表示用户202向左移动视点206(根据显示设备204上方所示的移动箭头)的时刻,以便跨边界502移动视点206(即,以便将视点206从锚定区域208内移动到锚定区域208外)。如上所述,当视点206保持在锚定区域208内时,增强内容302可以在所有空间方向上相对于视点206被锚定。并且,当视点206已经被引导向左越过锚定区域208的边界502时,系统100可以引导显示设备204以改变增强内容302被锚定的方式(例如,改变增强内容302的锚定模式)。具体而言,例如,系统100可以引导显示设备204停止将增强内容302锚定到视点206,并开始将增强内容302锚定到物理世界200中的坐标(例如,不随视点206移动的世界坐标系中的坐标)。
增强内容302锚定方式的改变可能影响相对于锚定增强内容302的所有或仅一些空间方向(例如,横向、垂直和深度空间方向)。例如,在图5中,增强内容302被示为相对于横向(例如,水平)空间方向锚定到边界502;通过这种方法,当视点206在边界502之上向左或向右移动时,增强内容302保持锚定到边界502并且不离开锚定区域208。同时,增强内容302可以相对于垂直空间方向和/或深度空间方向(例如,到边界502的距离)保持锚定到视点206;使用这种方法,当用户202将视点206移动到边界502之上时,增强内容302以恒定大小连续显示在视场的底部附近。以此方式,增强内容302可以根据视点锚定模式相对于一个或多个空间方向(例如,垂直和/或深度空间方向)同时被锚定,同时根据物理世界锚定模式相对于一个或多个其它空间方向(例如,横向和/或深度空间方向)被锚定。
如本文所用,锚定到边界502的增强内容将被认为使用物理世界锚定的形式,即使边界502不与任何特定物理对象相关联,因为锚定区域208被定义为物理世界200的区域。此外,应当理解,增强内容可以以不同于图5中所示方式的各种方式被锚定到锚定区域。例如,增强内容可以被锚定在边界的外侧、锚定为以边界为中心、相对于两个或更多个空间方向(而不是仅相对于如上所述的横向空间方向)进行锚定、锚定到锚定区域的中心、旋转锚定而不平移锚定等。
在某些实施方式或情况中,呈现增强内容的较不明显的方式可能涉及较不显著地呈现增强内容。以较不显著的方式呈现增强内容可以代替以上述方式相对于视点取消锚定增强内容或与以上述方式相对于视点取消锚定增强内容一起存在。例如,可以以现在将参考图6-图8描述的任何方式来较不显著地呈现增强内容。
图6-图8示出了以不明显的方式各种说明性呈现针对视点206-3的增强内容,视点206-3在对象210-2到210-4的一般方向上(而不是在对象210-1的方向上)被引导到锚定区域208之外。在医疗程序示例中,视点206-3可以表示与任务相关联的视图,该任务与对象210-1所表示的身体不直接相关并且因此在该任务中,以与当视点206被引导到锚定区域208内时一样明显的方式呈现表示身体的内部视图的增强内容对于用户202可能没有帮助或不期望。例如,对象210-2到210-4可以表示用户202可能需要与之交谈的其他人、用户202负责选择或操纵的仪器的选择、向用户202提供与在增强内容内呈现的相比的不同类型信息的物理屏幕等。因此,图6-图8示出了可以以与例如图3中针对视点206-1呈现的明显方式相比较不明显的方式呈现增强内容的各种说明性方式。
图6示出了系统100可以通过完全停止呈现增强内容来引导显示设备204以较不明显的方式呈现增强内容302和304(较不显著地呈现增强内容的示例)。具体而言,如先前呈现增强内容302所在视场的左下部分处的空形状602所示,以及先前呈现增强内容304所在视场右下部分处的空形状604所示,系统100可以引导显示设备204停止呈现增强内容302或304(或任何其它增强内容),同时视点206被引导到锚定区域208之外。
作为另一个示例,图7示出了系统100可以通过增加增强内容302和304的透明度或半透明度来引导显示设备204以较不明显的方式显示增强内容302和304(较不显著地呈现增强内容的另一个示例)。具体而言,如先前呈现增强内容302所在视场的左下部分处的增强内容702所示,以及如先前呈现增强内容304所在视场右下部分处的增强内容704所示,当视点206被引导到锚定区域208之外时,系统100可以引导显示设备204将增强内容调整为比视点206被引导到锚定区域208内更透明或半透明。增加的透明度或半透明度可以降低增强内容的不透明度。通过比较图3和图7来说明示例。图3中的增强内容302和304是完全不透明的并且阻挡了他们后面的物理世界200的观察,而图7中的增强内容702和704是部分透明或半透明的并且允许观察他们后面的物理世界200内的对象。
作为另一个示例,图8示出了系统100可以通过减小显示设备204所呈现的增强内容302和304的大小来引导显示设备204以较不明显的方式显示增强内容302和304(较不显著地呈现增强内容的又一个示例)。具体而言,如先前呈现增强内容302所在视场的左下部分处的增强内容802所示,以及先前呈现增强内容304所在视场的右下部分处的增强内容804所示,系统100可以引导显示设备204以与当将视点206引导到锚定区域208内时相比,当将视点206引导到锚定区域208之外时使增强内容的尺寸更小。通过比较图3和图8来说明示例。相比之下,图3中的增强内容302和304相对较大,因此更加突出,而图8中的增强内容802和804相对较小,因此不太突出并且较不显著。
在其它示例中,系统100可以通过使用图4-图8中所示的原理的组合或以使增强内容302和304较不明显的其它方式来引导显示设备204以较不明显的方式呈现增强内容302和304。例如,可以通过降低增强内容的亮度属性、改变增强内容的锚定(例如,通过移动增强内容以锚定在视场的较不显著的部分等)、简化或减少增强内容(例如,显示减少颜色的图像、轮廓而不是完整图像、缩写文本或缩短的消息、更简单的图形、符号而不是文本等)等来使增强内容较不显著。
系统100可以以突然方式或更渐进方式在以明显方式和较不明显方式呈现增强内容之间过渡。更渐进方式的示例包括从较显著的显示增强内容较慢地褪色到较不显著地显示增强内容。例如,系统可以基于自事件发生后的逝去时间(例如,自视点206已经退出或进入锚定区域208以来)引起在以明显方式和较不明显方式呈现之间的过渡,并且在增强内容的呈现中的变化可以是在明显和较不明显之间的完整变化,该变化在事件发生后立即发生,在事件发生后经过预定时间段后发生,基于事件发生后时间的流逝而逐渐发生等。类似地,在增强内容的呈现中的变化可以是在明显和较不明显之间的完整变化,一旦视点方向、位置、速度方向、速度幅度、加速度方向、加速度幅度等满足阈值或其它标准,该变化就发生,或基于接近、满足或超过阈值或其它标准而逐渐发生。作为进一步的示例,其它实例可以使用可服务于特定实施方式的其它合适的条件。
在某些示例中,系统100以较不明显的方式呈现增强内容可以包括通过基于一个或多个参数改变增强内容的视觉属性来与明显方式相比较不显著地呈现增强内容。这样的参数可以包括,例如,1)锚定区域的边界和视点被引导到的锚定区域之外的位置之间的距离,2)自从确定视点被引导到锚定区域之外以来逝去的时间,3)视点相对于锚定区域的边界正在移动的速度,或可用于特定实施方式的任何其它参数。以这种方式,随着(一个或多个)参数的改变,增强内容的呈现可能变得越来越不明显,直到在某些实施方式中满足一个或多个适用阈值。例如,呈现可能会变得越来越不明显(例如,透明度或半透明度可能会逐渐增加,大小可能会逐渐减小等),直到达到一定的距离或速度,逝去一定的时间,已经达到一定的透明度或大小等。
在一些示例中,当视点206接近诸如边界502之类的锚定区域边界时,可能会出现在明显和较不明显的呈现方式之间的过渡(即,使得转换可能在跨越边界时正在进行或完成)。相反,在其它示例中,明显方式和较不明显方式之间的过渡可以在视点206已经越过边界之后发生。因此,在某些实施方式中,系统100可以在锚定区域的边界附近定义过渡区域,并且过渡区域可以用于促进在增强内容呈现的明显方式和较不明显方式之间的各种类型的平滑过渡,包括视点锚定模式和针对锚定增强内容所使用的物理世界锚定模式之间的平滑过渡。
作为这种过渡的示例,可以基于视点和锚定区域边界的相应位置、姿势、运动坐标和/或其它此类特性的加权的线性组合,相对于视点206定位增强内容。在该示例中,当视点206进入过渡区域时,增强内容(例如,使用视点锚定模式)完全锚定到视点,而当视点206退出过渡区域时,增强内容(例如,使用物理世界锚定模式)被完全锚定到锚定区域的边界。可以相对于一个或多个空间方向实施这种类型的过渡,并且可能具有减慢增强内容的视觉效果或随着内容通过过渡区域而逐渐将其与视点解耦。
作为过渡的另一个示例,系统100可以在增强内容移动通过过渡区域时缩放增强内容相对于锚定区域边界的运动速度,当视点206完全退出过渡区域时,使增强内容静止(即,相对速度达到零)。在又一实施方式中,当视点206穿过过渡区域时,可以模拟虚拟弹簧力以将增强内容束缚到锚定区域边界,或者可以采用另一合适的过渡。
一旦系统100已经确定视点206被引导到锚定区域208之外并且相应地已经引导显示设备204以较不明显的方式呈现增强内容,系统100可以继续监视用户202如何引导视点206并进一步改变呈现作为响应的增强内容。例如,在确定视点206被引导到锚定区域208之外之后,系统100可以确定视点206再次被引导到锚定区域208内。响应于将视点206再次被引导到锚定区域208内的确定,系统100可以引导显示设备204以明显方式或另一种明显方式呈现增强内容。在某些示例中,系统100可以立即返回以明显方式呈现,而在其它示例中,呈现可以使用过渡期或过渡区域逐渐发生。这样的过渡期或区域可以与上述过渡期或区域相似但相反。
以上关于图3-图8描述的示例涉及基于用户202(例如,通过移动显示设备204)如何引导视点206以不同方式(例如,根据明显方式、根据较不明显方式等)呈现的增强内容。将理解,在某些实施方式中和/或在由给定实施方式遇到的某些场景中,系统100可以引导显示设备204以基于除视点206的方向之外的各种标准相对于锚定区域208以明显或较不明显的方式呈现增强内容。
例如,在各种示例中,系统100可以确定当视点206被引导到锚定区域208之外时用户202发生的事件或执行的动作与以明显方式显示增强内容相关联;响应于该确定,系统100可以引导显示设备204以明显方式而不是与被引导到锚定区域208之外的视点206相关联的较不明显方式来显示增强内容。此外,系统100可以确定当视点206被引导到锚定区域208内时用户202发生的事件或执行的动作与以较不明显的方式显示增强内容相关联;响应于该确定,系统100可以引导显示设备204以较不明显的方式而不是与引导到锚定区域208内的视点206相关联的明显方式来显示增强内容。
多个实施方式可能没有以明显或较不明显的方式修改增强内容的显示的事件或动作的定义。确实具有此类定义的各种实施方式在哪些动作或事件导致此类修改方面有所不同。可能导致增强内容以与上述方式不匹配的方式呈现的事件和动作的示例(即,当视点206被引导到锚定区域外时,导致增强内容以明显方式呈现,或当视点206被引导到锚定区域内时,以较不明显的方式呈现)包括以下内容:在物理世界200中发生的手术中使用的设施故障、物理世界200中的紧急事件、在医疗程序中使用的系统的意外移动或动作、意外事件或动作、由用户202或参与手术的一些其他人员发出的命令、手术的开始或继续执行或手术的特定阶段、在手术的工作场所中操纵身体或工具、在身体内操纵工具、特定工具的当前使用情况或特定事件或手术的立体空间的实现。
在包括被配置为支撑工具的机器人操纵器臂的系统100的实施方式(例如,诸如下文关于图10所描述的实施方式)中,事件或动作可以包括从机器人操纵器臂移除工具、将工具附接到操纵器臂、操纵工具、给工具通电、给工具断电、将工具连接到控制系统或电源,或其它这种与工具相关的动作。在其它示例中,事件或动作可以涉及由用户202发出的命令,例如与增强内容的显示相关联的语音、手势或输入设备命令。
可能导致系统100以与视点206不匹配的方式呈现增强内容的事件和动作的其它示例包括:医疗程序的某时期或阶段的开始或继续(例如,在涉及具有机器人操纵器臂的计算机辅助医疗系统、操纵器组件的定位或操纵器臂的安装、操纵器臂的对接、仪器与操纵器臂的物理或电耦接、仪器与计算机辅助医疗系统的电耦接等的示例中)、系统状态的变化、操纵器臂的外部操作(例如通过202)、将操纵器臂置于离合模式、安装或重新安装仪器、电缆或附件与系统的连接、仪器或操纵器臂之间的碰撞或即将发生的碰撞、机器人臂或仪器与人的碰撞或即将发生的碰撞(例如,用户202、患者、助手等)、仪器错误、仪器的操作的主动插入、与增强内容无关的任务的执行等。
在特定示例中,系统100可以确定用户202以大于阈值速率的速率移动视点206,并且响应于该确定,引导显示设备204以较不明显的方式呈现增强内容,即使视点206被引导到锚定区域208内。对于头戴式显示设备204的示例,如果用户202快速转动或快速扭转他或她的头部,则视点206可以快速通过锚定区域208的部分或全部。在这种情况下,视点206的方向可能是偶然的和/或临时的,并且用户202可能不打算观察锚定区域208,而是意图忽视锚定区域208或锚定区域208之外的其它东西。基于头部转动的速度(例如,基于移动速率大于阈值速率),系统100可以确定上述内容。因此,在一些情况下,系统100可以引导显示设备204以较不明显的方式开始或继续呈现增强内容,同时显示设备204、视点206或用户202的移动速度被确定为高于阈值速度。即使视点206被引导到锚定区域208内,也可能是这种情况。
上面的一些示例讨论了基于系统100做出的确定以某些方式自动呈现增强内容的实例。在一些示例中,系统100还可以至少部分地基于用户202或直接或间接指示显示设备204被期望如何呈现增强内容的其他人员的手动指示来呈现增强内容。例如,用户202或其他人员可以通过任何适当的输入技术以明显或较不明显的方式指示他或她关于增强内容的呈现的偏好,并且系统100可以根据用户202的输入或其他人员呈现增强内容。示例输入技术包括按钮按压、语音命令、手势输入等。
在各种示例中,锚定区域208可以由系统100自动定义,或者使用可以服务于特定实施方式的任何类型的锚定区域定义技术部分或完全由用户定义(例如,由用户202或其他人员)。例如,用户可以使用眼睛注视、头部、手或用户控制的一些其它身体部位或工具的移动来定义锚定区域,以指示区域转角、边缘或整个边界。在一些其它示例中,用户可以使用来自系统100的帮助来定义锚定区域的一些(但不一定是全部)边界,并且系统100可以自动定义锚定区域的其它边界。例如,系统100可以接收诸如上述的用户输入以定义某些边界,或者识别物理空间中不应被增强视图遮挡的区域,然后系统100可以基于此和其它信息计算优选锚定区域。在其它示例中,用户可以从系统100提供的预设锚定区域的库中选择预设锚定区域。
作为进一步的具体示例,锚定区域的某些边界区段可以由系统100基于操作条件自动定义(例如,下边界可以由系统100定义为基于医疗程序的部位或接收医疗程序的身体的表面),而锚定区域的其它边界部分可以是用户定义的(例如,上边界和一个或多个横向边界可以是基于用户输入定义的表面部分)。
可用于帮助系统100定义锚定区域的示例操作条件包括:正在执行的医疗程序的类型、在设施周围留出的空闲空间的量和/或位置(例如,手术中涉及的操纵器系统)、经历手术的身体或物理世界中的另一个对象的数量和/或位置,和/或之前讨论的任何示例。此外,在医疗程序在一系列操作阶段中执行的一些示例中,系统100可以在医疗程序期间基于医疗程序的当前操作阶段自动地重新定义锚定区域。例如,响应于医疗程序从第一操作阶段过渡到第二操作阶段,系统100可以将锚定区域从与第一操作阶段相关联的第一区域自动地重新定义为与第二操作阶段相关联的第二区域;取决于包括操作阶段在内的各种考虑,第一区域和第二区域可以相同或彼此不同。类似地,系统100可以基于用户或一个或多个其他人员相对于身体所处的位置、基于用于执行医疗程序的操纵器臂或仪器的当前空间特性、或基于可以服务于特定实施方式的其它合适的标准自动地重新定义锚定区域。
图2描绘了由单个盒状形状组成的锚定区域208。其它实例可以利用其它形状的锚定区域,例如球体、椭圆体、柱体、多面体、由弯曲或平面的任何组合形成的形状等。锚定区域可以包括任意数量的对称或不对称,或凸部分或凹部分。作为一个示例,在某些情况下,锚定区域是基于物理世界中的对象的体积来定义的。作为一个具体示例,定义为围绕手术台上的患者的锚定区域可以通过将患者和手术台的外表面向外偏移然后连接它们来定义。为了图示进一步的示例锚定区域,图9A-图9D示出了在各种实施方式中可以在物理世界(例如,物理世界200)内定义的各种锚定区域的各种说明性方面。应当理解,图9A-图9D的锚定区域表示空间中的三维中的锚定区域,尽管图9A-图9D为了说明方便而描绘了每个相应的锚定区域的横截面。现在将更详细地描述图9A-图9D中的每一个。
图9A图示了与医疗区域相关联的锚定区域902,在该医疗区域处对身体904执行医疗程序。如图所示,身体904搁置在手术台906上。在图9A的示例中,医疗程序被示出为使用仪器908执行,该仪器908在身体904上的进入位置910处进入身体904以在身体904内部操作。例如,进入位置910可以是插入套管(未示出)的切口。在该示例中,锚定区域902可以基于用于医疗程序的部位而被定义。例如,锚定区域902可以基于进入位置910而被定义。这可以完成的一种示例方式是使锚定区域902被自动定义为距进入位置910特定距离912(即,半径)内的区域。因此,基于进入位置910和距离912(例如,这两者都可以由用户提供或使用默认值或以本文描述的其它方式自动确定),系统100可以有效且自动地定义锚定区域902以并入正执行医疗程序的位置周围的适当区域。
在相同或其它示例中,系统(例如系统100)可以以可以服务于特定实施方式的任何适当方式生成锚定区域(例如,锚定区域902)。例如,物理世界(例如物理世界200)中的机器人系统可以包括一个或多个操纵器臂,其中每个操纵器臂具有远程运动中心,操纵器臂在操作期间围绕该远程运动中心枢转。操纵器臂的远程中心的实时位置可以任何适当的方式确定,包括基于操纵器臂的几何参数和实时运动学信息,以及将机器人系统配准到物理世界或显示设备(例如显示设备204)或另一个基准的配准信息。在一些情况下,(一个或多个)远程运动中心通常与进入位置(例如进入位置910)并置。在一些情况下,系统将锚定区域定义至少基于(一个或多个)远程运动中心的(一个或多个)位置。运动学信息的另一种潜在用途是相对于手术的工作方向定位锚定区域(例如,基于一个或多个操纵器臂或由(一个或多个)操纵器臂支撑的工具的物理配置、图像捕获设备(例如内窥镜等)的视觉焦点的指向方向或位置)。在一些示例中,图像捕获设备方向可以用于定义锚定区域的初始位置,并且该初始位置可以由用户通过用户输入来修改或确认。
在其它示例中,系统(例如系统100)可以基于其它或附加因素生成锚定区域(例如,锚定区域902)。示例因素包括:用户(例如,用户202)所在的位置、手术空间的预期形状(例如,手术台906周围的空间)、手术台906周围的一个或多个设备、手术台906附近的开放空间的标识、用户偏好的感兴趣区域、基于手术类型的机器学习模型、用户偏好、与手术相关的其它数据、以及任何其它合适的因素或它们的组合。
图9B图示了被定义为包括完全包围物理世界的第二区域(即,在图9B中为非锚定区域916的球形区域)的物理世界的第一区域(即,包含作为非锚定区域916的球形区域的盒形区域914)的锚定区域914(阴影区域)。非锚定区域916不是锚定区域914的一部分(因此没有阴影)。在某些实施方式中,锚定区域可以包括包含任意数量和形状的内部非锚定区域的区域。在一些实施方式中,锚定区域914可以以与上述锚定区域208相同或相似的方式(除了形状差异)操作。在其它实施方式中,锚定区域914可以以与锚定区域208不同的方式操作。例如,非锚定区域916可以是不可遮挡区域。如本文所使用的,不可遮挡区域是物理世界中不会被某些增强内容遮挡或不会被任何增强内容遮挡的区域。用户202可能希望指定为不可遮挡区域的区域的示例包括:包含物理监视器或人员(例如,医疗程序的助理或护士)的区域、手术的特殊导入的区域(例如,紧接在进入位置(例如图9A中的进入位置910)周围的区域或用户202想要保持显著性的任何其它合适区域。在某些情况下,用户定义不可遮挡区域。在一些情况下,系统半自动地定义不可遮挡区域,例如通过识别和呈现以供选择或确认,基于操作条件或其它因素的潜在不可遮挡区域。在某些情况下,系统基于操作条件或其它因素自动定义不可遮挡区域。
作为一个具体示例,在一些情况下,当增强内容相对于视点206被锚定并且用户202移动视点206使得增强内容将与不可遮挡区域(例如区域916)重叠时,系统(例如系统100)可以引导显示设备204不在不可遮挡区域中显示增强内容。例如,系统100可以引导显示设备204从视点206暂时对增强内容取消锚定以避免用增强内容遮挡不可遮挡区域。作为一个具体示例,系统100可以使增强内容恰好被锚定在不可遮挡区域之外,当增强内容基于视点206的方向以其它方式位于不可阻挡区域内时,被锚定在增强内容将基于视点206方向进入不可遮挡区域的位置处。虽然由非锚定区域916实施的不可遮挡区域被示出为由锚定区域914包围,但是应当理解,不可遮挡区域的某些实施方式可以以其他方式定义。例如,不可闭塞区域可以被定义为与锚定区域相邻而不是被锚定区域包围,在远离任何锚定区域的区域中,等等。此外,可以理解,某些不可遮挡区域可以在物理世界中独立移动。例如,与物理世界中的人员的面部相关联的不可遮挡区域可以随着人在物理世界中的移动而移动。
图9C图示了在两个不同时刻示出的锚定区域918。在第一时刻,锚定区域918被标记为锚定区域918-1,并且在第二时刻,锚定区域918被标记为锚定区域918-2。在图9C中,锚定区域918被示为参考物理世界中的对象920(在该示例中图示为仪器的尖端)。这样,锚定区域918被示为与对象920一起在物理世界中移动的动态锚定区域。如图所示,当对象920在两个不同时间点从第一位置平移和重新定向到第二位置时(并且如箭头所示),锚定区域918从锚定区域918-1重新定义为锚定区域918-2。应当理解,物理世界中的任何对象都可以用于为诸如锚定区域918的锚定区域提供参考。此类对象的示例包括以下部分或全部:操纵器臂、用于手术的身体、工具、手术台、一件设施、人员等。
图9D图示了锚定区域922,其包括物理世界中标记为922-1到922-3的多个物理分离的子区域。在例如图9D所示的示例中,锚定区域922的每个子区域可以与上述锚定区域(例如,锚定区域208)类似地被处理。因此,以上针对本公开中的其它锚定区域描述的各种原理也可以应用于多部分锚定区域的子区域,诸如锚定区域922。作为一个具体示例,系统(例如系统100)可以确定用户的视点被引导在锚定区域922的一个子区域内,并且响应于该确定,系统可以引导显示设备,从而如果视点被引导到锚定区域922的子区域内,则以明显的方式呈现增强内容,或者如果视点不是锚定区域922的任何子区域内的方向,则以较不明显的方式呈现增强内容。
如图9D所示,多部分锚定区域(例如锚定区域922)中的不同子区域可以具有不同的形状,并且在空间上也是分离的(例如,参见子区域922-1和922-3)或在空间上相互连接(例如,参见子区域922-1和922-2)。
此外,在某些示例中,可以在位于物理世界中的不同位置的多个用户之间共享一个或多个锚定区域。例如,每个用户可以设置他/她自己的(一个或多个)锚定区域,然后可以适当地共享这些锚定区域中的一些或全部,例如在其他人协助为其设置锚定区域的任务时共享锚定区域。在这样的示例中,系统100可以检测到第一显示设备的第一用户与第二显示设备的第二用户共享锚定区域。系统100可以确定第二用户的视点被引导在第一用户的锚定区域内并且响应于该确定引导第二显示设备以明显的方式向第二用户呈现增强内容。另外,系统100稍后可以确定第二用户的视点被引导到由第一用户共享的锚定区域之外,而不是引导到该锚定区域内,并且作为响应,可以引导第二显示设备以较不明显的方式向第二用户呈现增强内容。
为了更具体地图示一个特定的医疗程序示例,图10示出了示例性计算机辅助医疗系统1000(“医疗系统1000”),其可用于执行各种类型的医疗程序,包括外科手术程序和/或非外科手术程序。如图所示,医疗系统1000可以包括操纵器组件1002(操纵器推车在图10中被示出)、用户控制系统1004和辅助系统1006,所有这些都以通信方式相互耦合。医疗系统1000可以被医疗团队用来在患者1008的身体或可以服务于特定实施方式的任何其它身体上执行计算机辅助医疗程序或其它类似操作。如图所示,医疗团队可以包括第一用户1010-1(例如用于外科手术的外科医生)、第二用户1010-2(例如患者侧助理)、第三用户1010-3(例如另一个助理、护士、实习生等)和第四用户1010-4(例如外科手术程序的麻醉师),所有这些都可以统称为“用户1010”,并且每个用户都可以控制、交互或以其它方式成为医疗系统1000和/或系统100的实施方式的用户。在如可以服务于特定实施方式的医疗程序中可能会出现更多、更少或替代的用户。例如,不同医疗程序或非医疗程序的团队组成可能不同,并包括具有不同角色的用户。
虽然图10图示了正在进行的微创医疗程序,例如微创外科手术程序,但是应当理解,医疗系统1000(或替代图10中的医疗系统1000的医疗系统)可以类似地用于执行开放式医疗程序或其它类型的操作。例如,还可以执行诸如探索性成像操作、用于训练目的的模拟医疗程序和/或其它操作的操作。
如图10所示,操纵器组件1002可以包括一个或多个操纵器臂1012(图10示出了操纵器组件1002包括多个机器人操纵器臂1012(例如,臂1012-1到1012-4)),一个或多个仪器可以耦合到多个机器人操纵器臂1012(图10示出了多个仪器)。仪器可用于对患者1008进行计算机辅助医疗程序(例如,在外科手术示例中,通过至少部分插入患者1008并在患者1008内操纵)。尽管在本文中将操纵器组件1002描绘和描述为包括四个操纵器臂1012,但是将认识到,操纵器组件1002可以包括单个操纵器臂1012或可以服务于特定实施方式的任何其它数量的操纵器臂。此外,应当理解,在一些示例中,一个或多个仪器可以部分或完全手动控制,例如通过由人手持和手动控制。例如,这些部分或完全手动控制的仪器可以与耦合到图10所示的操纵器臂1012的计算机辅助仪器结合使用或作为其替代。
在医疗操作期间,用户控制系统1004可以被配置为便于用户1010-1对操纵器臂1012和附接到操纵器臂1012的仪器进行远程操作控制。为此,用户控制系统1004可以向用户1010-1提供由成像设备捕获的与患者1008相关联的操作区域的图像。
为了便于控制仪器,用户控制系统1004可以包括一组主控件。这些主控件可由用户1010-1操纵以控制操纵器臂1012或耦合到操纵器臂1012的任何仪器的运动。
辅助系统1006可以包括一个或多个计算设备,该计算设备被配置为执行辅助功能以支持医疗程序,例如为医疗系统1000的成像设备、图像处理或协调部件提供吹气、电灼能量、照明或其它能量。
在一些示例中,辅助系统1006可以被配置有显示监视器1014,该显示监视器1014被配置为显示一个或多个用户界面,或支持医疗程序的图形或文本信息。在一些情况下,显示监视器1014可以由触摸屏显示器实施并提供用户输入功能。由基于区域的增强系统提供的增强内容可以和与显示监视器1014或操作区域中的一个或多个显示设备(未示出)相关联的内容相似或不同。
如下文将更详细描述的,系统100可在医疗系统1000内实施或可与医疗系统1000结合操作。例如,在某些实施方式中,系统100可以完全由与个体用户1010相关联的一个或多个显示设备来实施。
操纵器组件1002、用户控制系统1004和辅助系统1006可以以任何合适的方式彼此通信地耦合。例如,如图10中所示,操纵器组件1002、用户控制系统1004和辅助系统1006可以通过控制线1016通信地耦合,控制线1016可以表示可以服务于特定实施方式的任何有线或无线通信链路。为此,操纵器组件1002、用户控制系统1004和辅助系统1006可各自包括一个或多个有线或无线通信接口,例如一个或多个局域网接口、Wi-Fi网络接口、蜂窝接口等。
图11示出了用于增强内容的基于区域的呈现的说明性方法1100。尽管图11示出了根据一个实施例的说明性操作,但其它实施例可以省略、添加、重新排序和/或修改图11中所示的任何操作。图11中所示的一个或多个操作可以由基于区域的增强系统(诸如系统100、其中包括的任何部件和/或其任何实施方式)执行。
在操作1102中,基于区域的增强系统可以确定显示设备的用户的视点被引导到包含该用户的物理世界的锚定区域内。操作1102可以本文描述的任何方式来执行。
在操作1104中,基于区域的增强系统可以引导显示设备以明显的方式呈现增强内容。例如,响应于在操作1102中确定视点被引导到锚定区域内,基于区域的增强系统可以引导显示设备以明显的方式呈现增强内容。在操作1104中,呈现增强内容的明显方式可以包括相对于视点锚定增强内容,使得当用户使用锚定区域移动视点时增强内容跟随视点。操作1104可以本文描述的任何方式来执行。
在操作1106中,基于区域的增强系统可以确定用户将视点引导到锚定区域之外。操作1106可以以本文描述的任何方式来执行。
在操作1108中,基于区域的增强系统可以引导显示设备以与在操作1104中显示的方式相比较不明显的方式来呈现增强内容。例如,响应于在操作1106中确定视点被引导到锚定区域之外,基于区域的增强系统可以以较不明显的方式呈现增强内容。在操作1108中,以较不明显的方式呈现增强内容可以包括与操作1104的明显方式相比较不显著地呈现增强内容和/或相对于视点取消锚定增强内容。操作1108可以本文描述的任何方式来执行。
在一些示例中,可以根据本文描述的原理提供存储计算机可读指令的非暂时性计算机可读介质。当由计算设备的处理器执行时,指令可以引导处理器和/或计算设备执行本文所述的任何功能(例如,其包括上述方法1100的任何操作)。这样的指令可以使用多种已知的计算机可读介质中的任何一种来被存储和/或传输。
如本文所指的非暂时性计算机可读介质可包括参与提供可由计算设备(例如,由计算机的处理器)读取和/或执行的数据(例如,指令)的任何非暂时性存储介质。例如,非暂时性计算机可读介质可以包括但不限于非易失性存储介质和/或易失性存储介质的任何组合。非易失性存储介质的示例包括:但不限于只读存储器、闪存、固态驱动器、磁存储设备(例如硬盘、软盘、磁带等)、铁电随机存取存储器(“RAM”)以及光盘(例如,压缩光盘、数字视频光盘、蓝光光盘等)。易失性存储介质的示例包括但不限于RAM(例如,动态RAM)。
在一些示例中,本文描述的系统和/或其它部件中的任何一个可以由包括一个或多个处理器、存储设备、输入/输出模块、通信接口、总线、基础设施等的计算设备来实施。例如,系统100的存储器102可以由计算设备的存储设备来实施,并且系统100的处理器104可以由计算设备的一个或多个处理器来实施。在其它示例中,本文描述的系统和/或其它部件可以通过存储指令的任何合适的非暂时性计算机可读介质来实施,这些指令在被执行时指导这种计算设备的处理器执行本文描述的方法和操作。
在前面的描述中,已经参考附图描述了各种说明性实施例。然而,在不背离如所附权利要求中阐述的本发明的范围的情况下,显然可以对其进行各种修改和改变,并且可以实施附加的实施例。例如,本文所述的一个实施例的某些特征可以与本文所述的另一实施例的特征组合或替代。相应地,描述和附图被认为是说明性的而不是限制性的。
Claims (38)
1.一种系统,其包括:
存储指令的存储器;和
处理器,其通信地耦合到所述存储器并被配置为实施所述指令以执行操作,所述操作包括:
确定显示设备的用户的视点被引导到包含所述用户的物理世界的锚定区域内;
响应于确定所述视点被引导到所述锚定区域内,引导所述显示设备以明显方式呈现增强内容,其中所述明显方式包括相对于所述视点锚定所述增强内容,使得当用户在所述锚定区域内移动所述视点时,所述增强内容跟随所述视点;
确定所述用户将所述视点引导到所述锚定区域之外;以及
响应于确定所述视点被引导到所述锚定区域之外,引导所述显示设备以较不明显的方式呈现所述增强内容,其中以所述较不明显的方式呈现所述增强内容包括:与所述明显方式相比较不显著地呈现所述增强内容和/或相对于所述视点取消锚定所述增强内容。
2.根据权利要求1所述的系统,其中以所述较不明显的方式呈现所述增强内容包括通过以下方式较不显著地呈现所述增强内容:
停止所述增强内容的呈现。
3.根据权利要求1所述的系统,其中以所述较不明显的方式呈现所述增强内容包括通过以下方式相对于所述视点取消锚定所述增强内容:
停止在至少一个空间方向上相对于所述视点锚定所述增强内容,使得所述增强内容在所述至少一个空间方向上不跟随所述视点。
4.根据权利要求3所述的系统,其中所述至少一个空间方向包括所有空间方向,使得所述增强内容不在任何空间方向上锚定到所述视点。
5.根据权利要求3所述的系统,其中以所述较不明显的方式呈现所述增强内容还包括:
在所述至少一个空间方向上相对于所述锚定区域锚定所述增强内容,使得当所述视点移动时,所述增强内容不在所述至少一个空间方向上相对于所述锚定区域移动。
6.根据权利要求1所述的系统,其中以所述较不明显的方式呈现所述增强内容包括通过以下方式较不显著地呈现所述增强内容:
增加所述增强内容的透明度或半透明度。
7.根据权利要求1所述的系统,其中以所述较不明显的方式呈现所述增强内容包括通过以下方式较不显著地呈现所述增强内容:
减小由所述显示设备呈现的所述增强内容的大小。
8.根据权利要求1所述的系统,其中以所述较不明显的方式呈现所述增强内容包括基于选自由以下各项组成的组中的至少一个参数通过改变所述增强内容的视觉属性来与所述明显方式相比较不显著地呈现所述增强内容:
在所述锚定区域的边界与所述锚定区域之外的所述视点所引导到的位置之间的距离;
自确定所述视点被引导到所述锚定区域之外起逝去的时间;以及
所述视点相对于所述锚定区域的所述边界移动的速度。
9.根据权利要求1所述的系统,其中在确定所述视点被引导到所述锚定区域之外之后,所述操作还包括:
确定所述视点被再次引导到所述锚定区域内;并且
响应于确定所述视点被再次引导到所述锚定区域内,引导所述显示设备以所述明显方式呈现所述增强内容。
10.根据权利要求1所述的系统,其中所述物理世界的所述锚定区域至少部分是用户定义的。
11.根据权利要求1所述的系统,其中在所述物理世界中执行医疗程序,并且其中所述操作还包括:
基于用于所述医疗程序的部位来定义所述锚定区域。
12.根据权利要求11所述的系统,其中所述显示设备包括头戴式增强现实显示器,并且其中所述增强内容包括接收所述医疗程序的身体的内部视图。
13.根据权利要求11所述的系统,其中基于用于所述医疗程序的所述部位来定义所述锚定区域包括基于以下至少一项来定义所述锚定区域:
在所述医疗程序中使用的仪器的进入位置,以及
用于所述医疗程序的图像捕获设备被引导到的方向。
14.根据权利要求1所述的系统,其中医疗程序在所述物理世界中被执行,其中所述医疗程序包括第一操作阶段和第二操作阶段,并且其中所述操作还包括:
响应于所述医疗程序从所述第一操作阶段过渡到所述第二操作阶段,自动地重新定义从第一区域到第二区域的所述锚定区域,所述第一区域与所述第一操作阶段相关联,并且所述第二区域与所述第二操作阶段相关联,所述第二区域不同于所述第一区域。
15.根据权利要求1所述的系统,其中将所述锚定区域参考到所述物理世界中的对象,并随着所述对象移动。
16.根据权利要求1所述的系统,其中所述锚定区域包括在所述物理世界中的多个物理分离的子区域。
17.根据权利要求1所述的系统,其中:
所述锚定区域包括所述物理世界的第一区域;
所述第一区域包围所述物理世界的第二区域;以及
所述第二区域不是所述锚定区域的一部分。
18.根据权利要求1所述的系统,其中所述增强内容包括虚拟屏幕。
19.根据权利要求1所述的系统,其中所述增强内容包括第一虚拟屏幕,并且其中所述操作还包括:
引导所述显示设备在相对于所述物理世界的固定位置处显示第二虚拟屏幕。
20.根据权利要求1所述的系统,其中所述操作还包括:
定义由所述锚定区域包围或与所述锚定区域相邻的不可遮挡区域;以及
引导所述显示设备不在所述不可遮挡区域中显示所述增强内容。
21.根据权利要求1至20中任一项所述的系统,其中所述操作还包括:
确定当所述视点被引导到所述锚定区域之外时发生的事件或动作与以所述明显方式显示所述增强内容相关联;以及
响应于确定所述事件或动作与以所述明显方式显示所述增强内容相关联,引导所述显示设备以所述明显方式显示所述增强内容。
22.根据权利要求21所述的系统,还包括:
操纵器臂,其被配置为支撑工具,其中与以所述明显方式显示所述增强内容相关联的所述事件或动作包括:
所述用户从所述操纵器臂移除所述工具,或
将所述工具附接到所述操纵器臂,或
所述用户操纵所述工具。
23.根据权利要求1至20中任一项所述的系统,其中所述操作还包括:
确定当所述视点被引导到所述锚定区域内时发生的事件或动作与以所述较不明显的方式显示所述增强内容相关联;以及
响应于确定所述事件或动作与以所述较不明显的方式显示所述增强内容相关联,引导所述显示设备以所述较不明显的方式显示所述增强内容。
24.根据权利要求23所述的系统,还包括:
操纵器臂,其被配置为支撑工具,其中与以所述较不明显的方式显示所述增强内容相关联的所述事件或动作包括:
所述用户从所述操纵器臂移除所述工具,或
将所述工具附接到所述操纵器臂,或
所述用户操纵所述工具。
25.根据权利要求23所述的系统,其中:
所述锚定区域与正在对身体执行医疗程序的区域重叠;并且
所述事件或动作包括对所述区域中的所述身体的操纵,或在所述身体内操纵工具。
26.根据权利要求1至20中任一项所述的系统,其中所述操作还包括:
确定所述用户以大于阈值速率的速率移动所述视点;并且
响应于确定所述用户以大于所述阈值速率的所述速率移动所述视点,引导所述显示设备以所述较不明显的方式呈现所述增强内容。
27.根据权利要求1至20中任一项所述的系统,其中所述操作还包括:
检测到所述用户与附加显示设备的附加用户共享所述物理世界的所述锚定区域;
确定所述附加用户的附加视点被引导到所述物理世界的所述锚定区域内;
响应于确定所述附加视点被引导到所述锚定区域内,引导所述附加显示设备以所述明显方式呈现附加增强内容;
确定所述附加视点被所述附加用户引导到所述锚定区域之外;以及
响应于确定所述附加视点被引导到所述锚定区域之外,引导所述附加显示设备以所述较不明显的方式呈现所述附加增强内容。
28.一种方法,其包括:
通过基于区域的增强系统确定显示设备的用户的视点被引导到包含所述用户的物理世界的锚定区域内;
响应于确定所述视点被引导在所述锚定区域内,由所述基于区域的增强系统引导所述显示设备以明显方式呈现增强内容,其中所述明显方式包括相对于所述视点锚定所述增强内容,使得当所述用户在所述锚定区域内移动所述视点时,所述增强内容跟随所述视点;
通过所述基于区域的增强系统确定所述用户将所述视点引导到所述锚定区域之外;以及
响应于确定所述视点被引导到所述锚定区域之外,由所述基于区域的增强系统引导所述显示设备以较不明显的方式呈现增强内容,其中以所述较不明显的方式呈现所述增强内容包括:与所述明显方式相比较不显著地呈现所述增强内容,或者相对于所述视点取消锚定所述增强内容。
29.根据权利要求28所述的方法,其中以所述较不明显的方式呈现所述增强内容包括通过以下方式较不显著地呈现所述增强内容:
停止所述增强内容的所述呈现。
30.根据权利要求28所述的方法,其中以所述较不明显的方式呈现所述增强内容包括通过以下方式相对于所述视点取消锚定所述增强内容:
停止在至少一个空间方向上相对于所述视点锚定所述增强内容,使得所述增强内容在所述至少一个空间方向上不跟随所述视点。
31.根据权利要求28所述的方法,其中以所述较不明显的方式呈现所述增强内容包括通过以下方式较不显著地呈现所述增强内容:
增加所述增强内容的透明度或半透明度。
32.根据权利要求28所述的方法,其中以所述较不明显的方式呈现所述增强内容包括通过以下方式较不显著地呈现所述增强内容:
减小由所述显示设备呈现的所述增强内容的大小。
33.根据权利要求28所述的方法,其中在确定所述视点被引导到所述锚定区域之外之后,所述方法还包括:
确定所述视点被再次引导到所述锚定区域内;以及
响应于确定所述视点被再次引导到所述锚定区域内,引导所述显示设备以所述明显方式呈现所述增强内容。
34.根据权利要求28所述的方法,其中在所述物理世界中执行医疗程序,并且其中所述方法还包括:
由所述基于区域的增强系统基于用于所述医疗程序的部位来定义所述锚定区域。
35.根据权利要求34所述的方法,其中基于用于所述医疗程序的所述部位来定义所述锚定区域包括基于以下至少一项来定义所述锚定区域:
在所述医疗程序中使用的仪器的进入位置,以及
用于所述医疗程序的图像捕获设备被引导到的方向。
36.根据权利要求28至35中任一项所述的方法,还包括:
由所述基于区域的增强系统确定当所述视点被引导到所述锚定区域之外时发生的事件或动作与以所述明显方式显示所述增强内容相关联;以及
响应于确定所述事件或动作与以所述明显方式显示所述增强内容相关联,由所述基于区域的增强系统引导所述显示设备以所述明显方式显示所述增强内容。
37.根据权利要求28至35中任一项所述的方法,还包括:
由所述基于区域的增强系统确定当所述视点被引导到所述锚定区域内时发生的事件或动作与以所述较不明显的方式显示所述增强内容相关联;以及
响应于确定所述事件或动作与以所述较不明显的方式显示所述增强内容相关联,由所述基于区域的增强系统引导所述显示设备以所述较不明显的方式显示所述增强内容。
38.一种存储指令的非暂时性计算机可读介质,当执行所述指令时,所述指令指导计算设备的处理器执行根据权利要求28至37中任一项所述的方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202063023012P | 2020-05-11 | 2020-05-11 | |
US63/023,012 | 2020-05-11 | ||
PCT/US2021/031568 WO2021231293A1 (en) | 2020-05-11 | 2021-05-10 | Systems and methods for region-based presentation of augmented content |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115461700A true CN115461700A (zh) | 2022-12-09 |
Family
ID=76197635
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202180030969.1A Pending CN115461700A (zh) | 2020-05-11 | 2021-05-10 | 用于基于区域的呈现增强内容的系统和方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230186574A1 (zh) |
CN (1) | CN115461700A (zh) |
WO (1) | WO2021231293A1 (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US12028507B2 (en) * | 2021-03-11 | 2024-07-02 | Quintar, Inc. | Augmented reality system with remote presentation including 3D graphics extending beyond frame |
WO2024012650A1 (en) * | 2022-07-11 | 2024-01-18 | Brainlab Ag | Augmentation overlay device |
WO2024151444A1 (en) * | 2023-01-09 | 2024-07-18 | Mediview Xr, Inc. | Planning and performing three-dimensional holographic interventional procedures with holographic guide |
CN118192810B (zh) * | 2024-05-16 | 2024-09-10 | 江西省气象探测中心 | 一种基于mr的雷达设备检修标记方法及系统 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9245388B2 (en) * | 2013-05-13 | 2016-01-26 | Microsoft Technology Licensing, Llc | Interactions of virtual objects with surfaces |
GB201414609D0 (en) * | 2014-08-18 | 2014-10-01 | Tosas Bautista Martin | Systems and methods for dealing with augmented reality overlay issues |
IL292427B2 (en) * | 2016-07-25 | 2023-05-01 | Magic Leap Inc | Change, display and visualization of imaging using augmented and virtual reality glasses |
CN110248618B (zh) * | 2016-09-09 | 2024-01-09 | 莫比乌斯成像公司 | 用于在计算机辅助手术中显示患者数据的方法及系统 |
US10068378B2 (en) * | 2016-09-12 | 2018-09-04 | Adobe Systems Incorporated | Digital content interaction and navigation in virtual and augmented reality |
WO2018203304A1 (en) * | 2017-05-05 | 2018-11-08 | Scopis Gmbh | Surgical navigation system |
US10521020B2 (en) * | 2017-07-12 | 2019-12-31 | Unity IPR ApS | Methods and systems for displaying UI elements in mixed reality environments |
-
2021
- 2021-05-10 CN CN202180030969.1A patent/CN115461700A/zh active Pending
- 2021-05-10 WO PCT/US2021/031568 patent/WO2021231293A1/en active Application Filing
- 2021-05-10 US US17/919,927 patent/US20230186574A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20230186574A1 (en) | 2023-06-15 |
WO2021231293A1 (en) | 2021-11-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113259584B (zh) | 摄像机跟踪系统 | |
US20210267698A1 (en) | Graphical user interface for a surgical navigation system and method for providing an augmented reality image during operation | |
JP7216768B2 (ja) | 三次元のエクステンデットリアリティアプリケーションでの医療画像における二次元のデジタル撮像の活用および通信 | |
EP3443923B1 (en) | Surgical navigation system for providing an augmented reality image during operation | |
US20210022599A1 (en) | Augmented and extended reality glasses for use in surgery visualization and telesurgery | |
CN115461700A (zh) | 用于基于区域的呈现增强内容的系统和方法 | |
Sielhorst et al. | Advanced medical displays: A literature review of augmented reality | |
JP2021090753A (ja) | ナビゲートされるロボット外科手術のための変動する不透明性を有する拡張現実ヘッドセット | |
US20200038124A1 (en) | Systems and methods for constraining a virtual reality surgical system | |
ES2736966T3 (es) | Manejo -sin contacto táctil- de dispositivos usando sensores de profundidad | |
WO2021092194A1 (en) | Surgical virtual reality user interface | |
EP3870021B1 (en) | Mixed reality systems and methods for indicating an extent of a field of view of an imaging device | |
CN105078580B (zh) | 手术机器人系统及其腹腔镜操作方法以及体感式手术用图像处理装置及其方法 | |
JP2022513013A (ja) | 複合現実のための仮想オブジェクトの体系的配置 | |
EP3497600B1 (en) | Distributed interactive medical visualization system with user interface features | |
EP3907585B1 (en) | Systems and methods of controlling an operating room display using an augmented reality headset | |
KR20230113360A (ko) | 로봇 보조형 시스템을 위한 사용자 인터페이스에서합성 표시자들을 제공하는 시스템 | |
Gsaxner et al. | Augmented reality in oral and maxillofacial surgery | |
Zinchenko et al. | Virtual reality control of a robotic camera holder for minimally invasive surgery | |
JP2022519203A (ja) | 外科空間への外科器具の挿入を容易にするシステム及び方法 | |
Danciu et al. | A survey of augmented reality in health care | |
Das et al. | The utilization of AR/VR in robotic surgery: A study | |
Salb et al. | Risk reduction in craniofacial surgery using computer-based modeling and intraoperative immersion | |
US20220354613A1 (en) | Creating Surgical Annotations Using Anatomy Identification | |
WO2024107455A1 (en) | Techniques for displaying extended reality content based on operator related parameters |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |