CN108140259B - 虚拟和增强现实系统和方法 - Google Patents

虚拟和增强现实系统和方法 Download PDF

Info

Publication number
CN108140259B
CN108140259B CN201680060759.6A CN201680060759A CN108140259B CN 108140259 B CN108140259 B CN 108140259B CN 201680060759 A CN201680060759 A CN 201680060759A CN 108140259 B CN108140259 B CN 108140259B
Authority
CN
China
Prior art keywords
virtual
display
depth plane
augmented reality
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680060759.6A
Other languages
English (en)
Other versions
CN108140259A (zh
Inventor
J·F·罗德里格兹
R·M·佩雷兹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Priority to CN202210656307.1A priority Critical patent/CN114998557A/zh
Priority to CN201811171282.6A priority patent/CN109409251B/zh
Priority to CN201811171280.7A priority patent/CN109407835B/zh
Publication of CN108140259A publication Critical patent/CN108140259A/zh
Application granted granted Critical
Publication of CN108140259B publication Critical patent/CN108140259B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/388—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
    • H04N13/395—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume with depth sampling, i.e. the volume being constructed from a stack or sequence of 2D image planes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0185—Displaying image at variable distance
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00—Command of the display device
    • G09G2310/02—Addressing, scanning or driving the display screen or processing steps related thereto
    • G09G2310/0235—Field-sequential colour display
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00—Command of the display device
    • G09G2310/08—Details of timing specific for flat panels, other than clock recovery
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/02—Handling of images in compressed format, e.g. JPEG, MPEG
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/04—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2007—Display of intermediate tones
    • G09G3/2018—Display of intermediate tones by time modulation using two or more time intervals
    • G09G3/2022—Display of intermediate tones by time modulation using two or more time intervals using sub-frames

Abstract

一种虚拟或增强现实显示系统，其使用意图在显示器上显示的虚拟或增强现实图像所包含的控制信息来控制显示器。控制信息可用于指定多个可能的显示深度平面中的一个。控制信息还可以指定给定深度平面内或深度平面之间的像素移位。该系统还可以通过使用增益因子来增强来自传感器的头部姿势测量，该增益因子基于在运动的生理范围内的用户头部姿势位置而变化。

Description

虚拟和增强现实系统和方法
相关申请的交叉引用
本申请根据35USC§119(e)要求2015年8月18日提交的美国临时申请No.62/206,765题为“虚拟和增强现实系统和方法(VIRTUAL AND AUGMENTED REALITY SYSTEMS ANDMETHODS)”的优先权权益，其通过引用全部并入在此。
技术领域
本公开涉及虚拟和增强现实成像和可视化系统。
背景技术
现代计算和显示技术促进了虚拟现实和增强现实系统的发展。虚拟现实或“VR”系统为用户创造模拟的环境来体验。这可以通过将计算机生成的图像通过显示器呈现给用户来完成。这个图像创造了让用户沉浸在模拟环境中的感觉体验。虚拟现实场景通常只包含计算机生成的图像的呈现，而不包括实际的真实世界的图像的呈现。
增强现实系统通常用模拟元素来补充真实世界环境。例如，增强现实或“AR”系统可以通过显示器向用户提供周围真实世界环境的视图。然而，计算机生成的图像也可以呈现在显示器上，以增强现实世界的环境。这个计算机生成的图像可以包括与现实世界环境上下相关的元素。这些元素可以包括模拟的文本、图像、对象等。模拟的元素通常可以实时交互。图1描绘了示例性的增强现实场景1，其中，AR技术的用户看到以背景中的人、树、建筑为特征的真实世界的公园状的设置6以及实体平台1120。除了这些项目以外，计算机生成的图像也呈现给用户。计算机生成的图像可以包括例如站在真实世界的平台1120上的机器人雕像1110，以及看起来像飞行的蜜蜂的化身的卡通式的头像角色2，尽管这些元素2、1110不实际存在于真实的世界环境中。
由于人类的视觉感知系统是复杂的，所以开发促进虚拟图像元素在其它虚拟或现实世界图像元素中的舒适的、感觉自然的、丰富的呈现的VR或AR技术是有挑战性的。
发明内容
在一些实施例中，虚拟或增强现实显示系统包括：显示器，其被配置为显示多个深度平面的图像；显示控制器，其被配置为从图形处理器接收渲染的虚拟或增强现实图像数据，以及至少部分地基于嵌入在渲染的图像中的控制信息来控制显示器；其中，嵌入的控制信息指示当显示图像时应用于渲染图像的至少一部分的移位。
在一些实施例中，与在渲染图像中的一个或多个虚拟或增强现实对象的位置相比，移位改变所述一个或多个对象的显示位置。
在一些实施例中，移位包括图像的至少一部分在同一深度平面内的指定数量的像素的横向移位。
在一些实施例中，移位包括图像的至少一部分从一个深度平面到另一深度平面的纵向移位。
在一些实施例中，显示控制器还被配置为缩放所述图像的至少一部分连同从一个深度平面到另一深度平面的纵向移位。
在一些实施例中，移位包括图像的至少一部分从一个深度平面到虚拟深度平面的纵向移位，该虚拟深度平面包括至少两个深度平面的加权组合。
在一些实施例中，移位基于关于用户的头部姿势的信息。
在一些实施例中，移位由显示控制器执行而不重新渲染图像。
在一些实施例中，在虚拟或增强现实显示系统中的方法包括：从图形处理器接收渲染的虚拟或增强现实图像数据；以及至少部分基于嵌入在渲染的图像中的控制信息，显示多个深度平面的图像；其中，嵌入的控制信息指示当显示图像时应用于渲染图像的至少一部分的移位。
在一些实施例中，方法还包括与在渲染图像中的一个或多个虚拟或增强现实对象的位置相比，移位所述一个或多个对象的显示位置。
在一些实施例中，方法还包括基于控制信息将图像的至少一部分横向移位同一深度平面内的指定数量的像素。
在一些实施例中，方法还包括基于控制信息，将图像的至少一部分从一个深度平面纵向移位到另一深度平面。
在一些实施例中，方法还包括：缩放所述图像的至少一部分连同所述图像从一个深度平面纵向移位到另一深度平面。
在一些实施例中，方法还包括：将图像的至少一部分从一个深度平面纵向移位到虚拟深度平面，该虚拟深度平面包括至少两个深度平面的加权组合。
在一些实施例中，该移位基于关于用户的头部姿势的信息。
在一些实施例中，方法还包括：移位图像而不重新渲染图像。
在一些实施例中，虚拟或增强现实显示系统包括：显示器，其被配置为显示多个深度平面的虚拟或增强现实图像，图像包括由像素数据的行和列组成的系列图像；显示控制器，其被配置为从图形处理器接收图像并且至少部分地基于嵌入在图像中的控制信息来控制显示器，其中，嵌入的控制信息包括深度平面指示符数据，该深度平面指示符数据指示多个深度平面中的哪一个以显示图像的至少一部分。
在一些实施例中，控制信息不改变该系列图像中的像素数据的行数和列数。
在一些实施例中，控制信息包括替代系列图像中的一个或多个图像中的像素数据的行或列的行或列信息。
在一些实施例中，控制信息包括附加到用于系列图像中的一个或多个图像的像素数据的行或列信息。
在一些实施例中，像素数据包括多个颜色值，并且其中，深度平面指示符数据替代至少一个颜色值的一个或多个位。
在一些实施例中，深度平面指示符数据替代至少一个颜色值的一个或多个最低有效位。
在一些实施例中，深度平面指示符数据替代蓝色值的一个或多个位。
在一些实施例中，每个像素包括深度平面指示符数据。
在一些实施例中，显示控制器被配置为至少部分地基于深度平面指示符数据对系列图像进行排序。
在一些实施例中，虚拟或增强现实显示系统中的方法包括：从图形处理器接收虚拟或增强现实图像，该图像包括由用于多个深度平面的像素数据的行和列组成的系列图像；至少部分地基于嵌入在图像中的控制信息来显示图像，其中，嵌入的控制信息包括深度平面指示符数据，深度平面指示符数据指示多个深度平面中的哪一个以显示图像的至少一部分。
在一些实施例中，控制信息不改变该系列图像中的像素数据的行数和列数。
在一些实施例中，控制信息包括替代系列图像中的一个或多个图像中的像素数据的行或列的行或列信息。
在一些实施例中，控制信息包括附加到用于系列图像中的一个或多个图像的像素数据的行或列信息。
在一些实施例中，像素数据包括多个颜色值，并且其中，深度平面指示符数据替代至少一个颜色值的一个或多个位。
在一些实施例中，深度平面指示符数据替代至少一个颜色值的一个或多个最低有效位。
在一些实施例中，深度平面指示符数据替代蓝色值的一个或多个位。
在一些实施例中，每个像素包括深度平面指示符数据。
在一些实施例中，方法还包括至少部分地基于深度平面指示符数据对系列图像进行排序。
在一些实施例中，虚拟或增强现实显示系统包括：第一传感器，其被配置为随时间提供用户的头部姿势的测量；以及处理器，其被配置为基于至少一个头部姿势测量并且基于至少一个计算的预测头部姿势来估计用户的头部姿势，其中，处理器被配置为使用一个或多个增益因子来组合头部姿势测量和预测头部姿势，并且其中，一个或多个增益因子在运动的生理范围内基于用户的头部姿势位置而变化。
在一些实施例中，第一传感器被配置为头戴式。
在一些实施例中，第一传感器包括惯性测量单元。
在一些实施例中，当用户的头部姿势在运动的生理范围的中心部分中时，一个或多个增益因子强调预测头部姿势超过头部姿势测量。
在一些实施例中，当用户的头部姿势比运动的用户生理范围的极限更接近运动的生理范围的中间时，一个或多个增益因子强调预测头部姿势超过头部姿势测量。
在一些实施例中，当用户的头部姿势接近运动的生理范围的极限时，一个或多个增益因子强调头部姿势测量超过预测头部姿势。
在一些实施例中，当用户的头部姿势比运动的生理范围的中间更接近运动的生理范围的极限时，一个或多个增益因子强调头部姿势测量超过预测头部姿势。
在一些实施例中，第一传感器被配置为头戴式，并且还包括被配置为身体安装的第二传感器，其中，至少一个头部姿势测量基于来自第一传感器和第二传感器的测量来确定。
在一些实施例中，头部姿势测量基于来自第一传感器和第二传感器的测量之间的差异来确定。
在一些实施例中，估计虚拟或增强现实显示系统中的头部姿势的方法包括：从第一传感器接收用户的头部姿势随时间变化的测量；以及使用处理器基于至少一个头部姿势测量并且基于至少一个计算的预测头部姿势来估计用户的头部姿势，其中，估计用户的头部姿势包括使用一个或多个增益因子组合头部姿势测量和预测头部姿势，并且其中，一个或多个增益因子在运动的生理范围内基于用户的头部姿势位置而变化。
在一些实施例中，第一传感器被配置为头戴式，并且方法还包括：从配置为身体安装的第二传感器接收身体方位测量；以及基于至少一个头部姿势测量并且基于至少一个计算的预测头部姿势来估计用户的头部姿势，其中，至少一个头部姿势测量基于来自第一传感器和第二传感器两者的测量来确定。
在一些实施例中，虚拟或增强现实显示系统包括：传感器，其被配置为确定环境照明的一个或多个特征；处理器，其被配置为基于环境照明的一个或多个特征来调整虚拟对象的一个或多个特征；以及显示器，其被配置为向用户显示虚拟对象。
在一些实施例中，环境照明的一个或多个特征包括环境照明的亮度。
在一些实施例中，环境照明的一个或多个特征包括环境照明的色调。
在一些实施例中，虚拟对象的一个或多个特征包括虚拟对象的亮度。
在一些实施例中，虚拟对象的一个或多个特征包括虚拟对象的色调。
在一些实施例中，虚拟或增强现实显示系统中的方法包括：从传感器接收环境照明的一个或多个特征；使用处理器基于环境照明的一个或多个特征来调整虚拟对象的一个或多个特征；以及向用户显示虚拟对象。
在一些实施例中，虚拟或增强现实显示系统包括：处理器，其被配置为压缩虚拟或增强现实图像数据，图像包括多个深度平面的图像，处理器被配置为通过减少图像的深度平面之间的冗余信息来压缩图像数据；显示器，其被配置为显示多个深度平面的图像。
在一些实施例中，深度平面的图像根据相对于相邻深度平面的差异来表示。
在一些实施例中，处理器编码深度平面之间的对象的运动。
在一些实施例中，虚拟或增强现实显示系统中的方法包括：用处理器压缩虚拟或增强现实图像数据，图像包括多个深度平面的图像，处理器被配置为通过减少图像的深度平面之间的冗余信息来压缩图像数据；显示多个深度平面的图像。
在一些实施例中，深度平面的图像根据相对于相邻深度平面的差异来表示。
在一些实施例中，方法还包括编码深度平面之间的对象的运动。
在一些实施例中，虚拟或增强现实显示系统包括：显示器，其被配置为显示多个深度平面的虚拟或增强现实图像；显示控制器，其被配置为控制显示器，其中，显示控制器动态地配置显示器的子部分以在每个显示周期刷新。
在一些实施例中，显示器包括扫描显示器，并且显示控制器动态地配置扫描图案以跳过不需要刷新图像的显示器的区域。
在一些实施例中，显示周期包括视频图像的帧。
在一些实施例中，如果要刷新的显示器的子部分的尺寸减小，则显示控制器增加视频帧速率。
在一些实施例中，如果要刷新的显示器的子部分的尺寸增加，则显示控制器降低视频帧速率。
在一些实施例中，虚拟或增强现实显示系统中的方法包括：用显示器显示多个深度平面的虚拟或增强现实图像；动态地配置显示器的子部分以在每个显示周期刷新。
在一些实施例中，显示器包括扫描显示器，并且该方法还包括动态地配置扫描图案以跳过不需要刷新图像的显示器的区域。
在一些实施例中，显示周期包括视频图像的帧。
在一些实施例中，方法还包括如果要刷新的显示器的子部分的尺寸减小，则增加视频帧速率。
在一些实施例中，该方法还包括如果要刷新的显示器的子部分的尺寸增加，则降低视频帧速率。
在一些实施例中，虚拟或增强现实显示系统包括：发射器，其发射空间中变化的电场或磁场；允许用户与虚拟对象或场景交互的有形物体，有形物体包括检测来自发射器的电场或磁场的传感器，其中，来自传感器的测量用于确定有形物体相对于发射器的位置或方向。
在一些实施例中，发射器与虚拟或增强现实显示系统的头戴式部分集成。
在一些实施例中，虚拟或增强现实显示系统中的方法包括：使用发射机发射在空间中变化的电场或磁场；使用传感器检测电场或磁场；使用来自传感器的测量来确定传感器相对于发射器的位置或方向。
在一些实施例中，发射器与虚拟或增强现实显示系统的头戴式部分集成。
在一些实施例中，虚拟或增强现实显示系统包括被配置为显示多个深度平面的图像的显示器；显示控制器，其被配置为接收渲染的虚拟或增强现实图像数据，并且至少部分地基于嵌入在渲染的图像中的控制信息来控制显示器，其中，嵌入的控制信息指示期望的亮度或颜色以当显示图像时应用于渲染图像的至少一部分。与渲染的图像中的一个或多个对象的位置相比，期望的亮度或颜色可以改变一个或多个虚拟或增强现实对象的显示位置。期望的亮度或颜色可以将图像的至少一部分从一个深度平面纵向移位到虚拟深度平面，该虚拟深度平面包括至少两个深度平面的加权组合。
在一些实施例中，虚拟或增强现实显示系统包括：显示器，其被配置为显示多个深度平面的图像；显示控制器，其被配置为接收渲染的虚拟或增强现实图像数据，并且至少部分地基于控制信息来控制显示器，其中，控制信息指示至少一个深度平面是不活动的，并且显示控制器被配置为基于至少一个深度平面是不活动的指示来控制显示器，从而降低功耗。
在一些实施例中，至少一个深度平面是不活动的指示包括控制信息，控制信息包括指定显示图像的多个活动深度平面的深度平面指示符数据。
在一些实施例中，至少一个深度平面是不活动的指示包括控制信息，控制信息包括指定至少一个深度平面是不活动的深度平面指示符数据。
在一些实施例中，控制信息被嵌入在渲染的图像中。
在一些实施例中，作为指示至少一个深度平面是不活动的所述控制信息的结果，显示控制器导致一个或多个光源的功率降低，从而降低功耗。
在一些实施例中，虚拟或增强现实显示系统中的方法包括：接收渲染的虚拟或增强现实图像数据以在多个深度平面上显示图像；接收指示至少一个深度平面是不活动的控制信息；以及至少部分地基于指示至少一个深度平面是不活动的所述控制信息显示多个深度平面的图像，从而降低功耗。
在一些实施例中，控制信息包括指定显示图像的多个活动深度平面的深度平面指示符数据。
在一些实施例中，控制信息包括指定至少一个深度平面是不活动的深度平面指示符数据。
在一些实施例中，控制信息被嵌入在渲染的图像中。
在一些实施例中，作为指示至少一个深度平面是不活动的所述控制信息的结果，一个或多个光源的功率降低，从而降低功耗。
在一些实施例中，虚拟或增强现实显示系统包括：显示器，其被配置为显示具有多个色场的多个深度平面的图像；显示控制器，其被配置为接收渲染的虚拟或增强现实图像数据，并且至少部分地基于控制信息来控制显示器，其中，控制信息指示至少一个色场是不活动的，并且显示控制器被配置为基于至少一个色场是不活动的指示来控制显示器，从而降低功耗。
在一些实施例中，至少一个色场是不活动的指示包括控制信息，该控制信息包括指定显示图像的多个活动色场的色场指示符数据。
在一些实施例中，至少一个色场不活动的指示包括控制信息，该控制信息包括指定至少一个色场是不活动的色场指示符数据。
在一些实施例中，控制信息被嵌入在渲染的图像中。
在一些实施例中，作为指示至少一个色场是不活动的所述控制信息的结果，显示控制器导致一个或多个光源的功率降低，从而降低功耗。
在一些实施例中，虚拟或增强现实显示系统中的方法包括：接收渲染的虚拟或增强现实图像数据以在具有多个色场的多个深度平面上显示图像；接收指示至少一个色场是不活动的控制信息；以及至少部分地基于指示至少一个色场是不活动的所述控制信息来显示多个深度平面中的多个色场的图像，从而降低功耗。
在一些实施例中，控制信息包括指定显示图像的多个活动色场的色场指示符数据。
在一些实施例中，控制信息包括指定至少一个色场是活动的色场指示符数据。
在一些实施例中，控制信息被嵌入在渲染的图像中。
在一些实施例中，作为指示至少一个色场是不活动的所述控制信息的结果，一个或多个光源的功率降低，从而降低功耗。
附图说明
图1示出了使用示例AR系统的用户对增强现实(AR)的视图。
图2示出了可穿戴显示系统的示例。
图3示出了用于为用户模拟三维图像的传统显示系统。
图4示出了使用多个深度平面来模拟三维图像的方法的方面。
图5A-5C示出了曲率半径和焦点半径之间的关系。
图6示出了用于向用户输出图像信息的波导堆叠的示例。
图7示出了由波导输出的出射光束的示例。
图8示出了波导堆叠的示例设计，其中每个深度平面具有三个相关联的波导，每个波导输出不同颜色的光。
图9示出了用于显示光场图像的虚拟或增强现实系统的示例时序方案。
图10示出了包括附加控制数据的视频数据的帧的示例格式。
图11示出了包括控制数据的视频数据的帧的另一示例格式。
图12示出了包括嵌入控制数据的视频数据的像素的示例格式。
图13示出了如何将视频的帧分离成可以串行显示的颜色分量。
图14示出了如何使用深度平面指示符数据将光场视频数据的帧分离成多个深度平面，每个深度平面可以被分裂成用于显示的颜色分量子帧。
图15示出了其中图12的深度平面指示符数据指示光场视频数据的帧的一个或多个深度平面是不活动的示例。
图16示出了增强现实系统中计算机生成的图像的帧的示例绘图区域。
图17示意性地示出了用户的头部围绕两个旋转轴的可能运动。
图18示出了如何将用户的头部姿势映射到三维表面上。
图19示意性地示出了可用于限定增益因子以改善头部姿势跟踪的各种头部姿势区域。
具体实施方式
在此公开的虚拟和增强现实系统可以包括向用户呈现计算机生成的图像的显示器。在一些实施例中，显示系统是可穿戴的，这可以有利地提供更具沉浸感的VR或AR体验。图2示出可穿戴显示系统80的示例。显示系统80包括显示器62以及支持该显示器62的功能的各种机械和电子模块和系统。显示器62可以耦合到框架64，框架64可由显示系统用户或观看者60佩戴并且被配置为将显示器62定位在用户60的眼睛前方。在一些实施例中，扬声器66耦合到框架64并且定位成邻近用户的耳道(在一些实施例中，未示出的另一个扬声器定位成邻近用户的另一个耳道以提供立体声/可塑造声音控制)。显示器62诸如通过有线或无线连接68可操作地耦合到本地数据处理模块70，该本地数据处理模块70可以以各种配置安装，诸如固定地附接到框架64，固定地附接到用户佩戴的头盔或帽子，嵌入到耳机中，或以其它方式可移除地附接到用户60(例如，以背包方式的配置，以带式耦合方式的配置等)。
本地处理和数据模块70可以包括处理器以及诸如非易失性存储器(例如，闪速存储器)的数字存储器，二者都可用于辅助处理以及存储数据。这包括从传感器捕获的数据，传感器诸如图像捕获装置(诸如照相机)、麦克风、惯性测量单元、加速度计、指南针、GPS单元、无线电装置和/或陀螺仪。传感器可以例如可操作地耦合到框架64或以其它方式附接到用户60。可选地或另外地，传感器数据可以使用远程处理模块72和/或远程数据储存库74获取和/或处理，可能在这种处理或检索之后传送给显示器62。本地处理和数据模块70可以通过诸如经由有线或无线通信链路的通信链路(76，78)操作性地耦合到远程处理模块72和远程数据储存库74，使得这些远程模块(72，74)可操作性地彼此耦合并作为资源可用于本地处理和数据模块70。
在一些实施例中，远程处理模块72可以包括被配置为分析和处理数据(例如，传感器数据和/或图像信息)的一个或多个处理器。在一些实施例中，远程数据储存库74可以包括数字数据存储设施，其可以通过互联网或其它网络配置以“云”资源配置而可用。在一些实施例中，在本地处理和数据模块中存储全部数据，并且执行全部计算，允许从远程模块完全自主使用。
在一些实施例中，通过显示器62提供的计算机生成的图像可以产生三维的印象。这可以通过例如向用户呈现立体图像来完成。在一些传统系统中，这样的图像可以包括来自略微不同视角的场景或对象的分离图像。分离的图像可以分别呈现给用户的右眼和左眼，从而模拟双眼视觉及其相关的深度感知。
图3示出用于模拟用户的三维图像的传统显示系统。两个不同的图像74和76被输出给用户，一个图像用于每只眼睛4和6。图像74和76与眼睛4和6沿着平行于观看者视线的光轴线或z轴线间隔开距离10。图像74和76是平坦的，并且眼睛4和6可以通过呈现(assume)单个适应(accommodate)状态来聚焦在图像上。这种系统依赖于人类视觉系统以组合图像74和76来提供组合图像的深度感知。
然而，应当理解，人类视觉系统更加复杂，并且提供对深度的现实感知是更具挑战性的。例如，传统的“3D”显示系统的许多观看者发现这种系统不舒服，或者根本不能感知到深度感。不受理论的限制，相信对象的观看者可能由于聚散度和适应性的组合而将该对象感知为“三维”。两只眼睛彼此相对的聚散运动(即，光瞳孔彼此相向或远离的滚动运动，以会聚眼睛的视线来注视对象)与眼睛晶状体的聚焦(或“适应性”)密切相关。在正常情况下，改变眼睛晶状体的焦点或适应眼睛，以将焦点从在不同距离处的一个对象改变到另一个对象，将会在称为“适应性聚散度反射(accommodation-vergence reflex)”的关系下自动地导致在聚散度上的匹配改变达到相同的距离。同样，在正常情况下，聚散度的改变将引发适应性的匹配改变。如在此所指出的，许多立体显示系统使用稍微不同的呈现(并且因此稍微不同的图像)来向每只眼睛显示场景，以使得人类视觉系统感知到三维视角。然而，这种系统对于许多观看者来说是不舒服的，因为，这些系统仅提供场景的不同呈现，但是眼睛以单一适应状态观看所有图像信息，并且因此针对“适应性聚散度反射”进行工作。提供适应性和聚散度之间的更好匹配的显示系统可以形成更逼真且舒适的三维图像模拟。
例如，可以将光场图像呈现给用户以模拟三维视图。光场图像可以模仿在真实世界环境中进入观看者眼睛的光线。例如，当显示光场图像时，来自被模拟为在远处被感知的对象的光线在进入观看者的眼睛时被使得更准直，而来自被模拟为在附近被感知的对象的光线被使得更发散。因此，来自场景中的对象的光线进入观看者眼睛的角度取决于这些对象距观看者的模拟距离。虚拟或增强现实系统中的光场图像可以包括来自不同深度平面的场景或对象的多个图像。对于每个深度平面，图像可以是不同的(例如，提供场景或对象的略微不同的呈现)，并且可以由观看者的眼睛单独聚焦，从而有助于向用户提供舒适的深度感知。
当这些多个深度平面图像同时或快速连续地呈现给观看者时，观看者将该结果解释为三维图像。当观看者体验这种类型的光场图像时，眼睛可以适应以聚焦不同的深度平面，就像他们在体验真实世界场景时一样。这些焦点提示可以提供更逼真的模拟三维环境。
在一些配置中，在每个深度平面处，可以通过覆盖各自具有特定分量颜色的分量图像来形成全色图像。例如，可以分别输出红色、绿色和蓝色图像以形成每个全色深度平面图像。结果，每个深度平面可以具有与其关联的多个分量颜色图像。
图4示出使用多个深度平面来模拟三维图像的方法的方面。参考图4，在z轴线上距眼睛4和眼睛6的不同距离处的对象由眼睛(4，6)适应，使得那些对象在焦点中。眼睛4和眼睛6呈现特定的适应状态，在沿着z轴线的不同距离处聚焦到对象中。因此，可以说特定的适应状态与深度平面14中的特定一个深度平面相关联，以使得当眼睛处于该深度平面的适应状态时，特定深度平面中的对象或对象的部分被聚焦。在一些实施例中，可以通过为眼睛(4，6)中的每一只眼睛提供不同的图像呈现来模拟三维图像，并且还通过提供与深度平面中每一个深度平面对应的图像的不同呈现来模拟三维图像。
对象与眼睛(4或6)之间的距离可以改变来自该对象的光的发散量，如该眼睛所观察的。图5A-5C示出了距离与光线的发散之间的关系。对象与眼睛4之间的距离以距离减小的顺序表示为R1、R2和R3。如在图5A-5C中所示，随着到对象的距离减小，光线变得更加发散。随着距离的增加，光线变得更加准直。换句话说，可以说由点(对象或对象的部分)产生的光场具有球面波前曲率，这是该点距用户眼睛有多远的函数。曲率随着对象和眼睛4之间的距离减小而增加。因此，在不同的深度平面处，光线的发散度也不同，发散度随着深度平面与观看者的眼睛4之间的距离减小而增加。尽管在图5A-5C和在此的其它附图中为了清楚说明仅示出单只眼睛4，将会理解，关于眼睛4的讨论可以应用于观看者的双眼(4和6)。
不受理论的限制，据信人类眼睛通常可以解释有限数量的深度平面以提供深度感知。因此，通过向眼睛提供与这些有限数量的深度平面中的每一个平面对应的图像的不同呈现，可以实现感知深度的高度可信的模拟。
图6示出用于向用户输出图像信息的波导堆叠的示例。显示系统1000包括可以用于采用多个波导(182，184，186，188，190)向眼睛/大脑提供三维感知的波导堆叠或堆叠波导组件178。在一些实施例中，显示系统1000是图2的系统80，图6更详细地示意性地示出了该系统80的一些部分。例如，波导组件178可以被集成到图2的显示器62中。
继续参考图6，波导组件178还可以包括在波导之间的多个特征(198，196，194，192)。在一些实施例中，特征(198，196，194，192)可以是透镜。波导(182，184，186，188，190)和/或多个透镜(198，196，194，192)可以被配置为以各种级别的波前曲率或光线发散向眼睛发送图像信息。每个波导级别可以与特定的深度平面相关联，并且可以被配置为输出与该深度平面对应的图像信息。图像注入装置(200，202，204，206，208)可用于将图像信息注入到波导(182，184，186，188，190)中，如在此所述，其中的每一个可以被配置为分配入射光穿过每一个相应的波导，用于向眼睛4输出。光从图像注入装置(200，202，204，206，208)的输出表面(300，302，304，306，308)出射并被注入到波导(182，184，186，188，190)的相应输入边缘(382，384，386，388，390)。在一些实施例中，可以将单个光束(例如，准直光束)注入到每一个波导中，以便与特定波导相关联的深度平面对应的特定角度(和发散量)输出朝向眼睛4定向的克隆准直光束的整个视场。
在一些实施例中，图像注入装置(200，202，204，206，208)是分立显示器，其每一个产生用于分别注入到相应波导(182，184，186，188，190)中的图像信息。在一些其它实施例中，图像注入装置(200，202，204，206，208)是单个复用显示器的输出端，其可以例如经由一个或多个光导管(诸如光缆)向图像注入装置(200，202，204，206，208)中的每一个图像注入装置输送图像信息。
控制器210控制堆叠波导组件178和图像注入装置(200，202，204，206，208)的操作。在一些实施例中，控制器210包括根据例如在此公开的各种方案中的任一个来调节到波导(182，184，186，188，190)的图像信息的定时和提供的编程(例如，在非暂时性计算机可读介质中的指令)。在一些实施例中，控制器可以是单个整体装置，或通过有线或无线通信通道连接的分布式系统。在一些实施例中，控制器210可以是处理模块(70或72)(图2)的部分。
波导(182，184，186，188，190)可以被配置为通过全内反射(TIR)在每一个相应的波导内传播光。波导(182，184，186，188，190)可以每一个是平面的或弯曲的，具有主要的顶表面和底表面以及在这些主要的顶表面和底表面之间延伸的边缘。在所示的配置中，波导(182，184，186，188，190)每一个可以包括光重定向元件(282，284，286，288，290)，其被配置为将在每一个相应波导内传播的光重定向到波导外以向眼睛4输出图像信息。光束在波导中传播的光照射光重定向元件的位置处被波导输出。光重定向元件(282，284，286，288，290)可以是反射和/或衍射光学特征。虽然为了便于描述和清晰起见而将其图示设置在波导(182，184，186，188，190)的底部主表面处，但是在一些实施例中，光重定向元件(282，284，286，288，290)可以设置在顶部和/或底部主表面处，和/或可以直接设置在波导(182，184，186，188，190)的体积中。在一些实施例中，光重定向元件(282，284，286，288，290)可以形成在附接到透明基板的材料层中以形成波导(182，184，186，188，190)。在一些其它实施例中，波导(182，184，186，188，190)可以是单片材料，并且光重定向元件(282，284，286，288，290)可以形成在那片材料的表面上和/或那片材料的内部中。
继续参考图6，如在此所讨论的，每一个波导(182，184，186，188，190)被配置为输出光以形成与特定深度平面对应的图像。例如，最接近眼睛的波导182可以被配置为将如注入到这种波导182中的准直光传送到眼睛4。准直光可以代表光学无限远焦平面。下一个上行波导184可以被配置为在准直光可以到达眼睛4之前发出穿过第一透镜(192；例如，负透镜)的准直光；这种第一透镜192可以被配置为产生轻微的凸面的波前曲率，以使得眼睛/大脑将来自下一个上行波导184的光解释为来自第一焦平面，该第一焦平面从光学无穷远更靠近向内朝向眼睛4。类似地，第三上行波导186在到达眼睛4之前使其输出光通过第一192和第二194透镜两者；第一192和第二194透镜的组合光强度可被配置为产生另一增量的波前曲率，以使得眼睛/大脑将来自第三波导186的光解释为来自第二焦平面，该第二焦平面从光学无穷远比来自下一个上行波导184的光更靠近向内朝向人。
其它波导层(188，190)和透镜(196，198)被类似地配置，其中堆叠中的最高波导190通过它与眼睛之间的全部透镜发送其输出，用于代表最靠近人的焦平面的聚合(aggregate)焦度。当在堆叠波导组件178的另一侧上观看/解释来自世界144的光时，为了补偿透镜(198，196，194，192)的堆叠，补偿透镜层180可以设置在堆叠的顶部处以补偿下面的透镜堆叠(198，196，194，192)的聚合焦度。这种配置提供了与可用波导/透镜配对一样多的感知焦平面。波导的光重定向元件和透镜的聚焦方面可以是静态的(即，不是动态的或电激活的)。在一些替代实施例中，它们可以是使用电激活特征而动态的。
继续参考图6，光重定向元件(282，284，286，288，290)可以被配置为将光重定向到它们相应的波导之外并且对于与波导相关联的特定深度平面输出具有适当的发散量或准直量的该光。结果，具有不同相关联深度平面的波导可具有不同配置的光重定向元件(282，284，286，288，290)，其取决于相关联的深度平面输出具有不同发散量的光。在一些实施例中，如在此所讨论的，光重定向元件(282，284，286，288，290)可以是体积或表面特征，其可以被配置为以特定角度输出光。例如，光重定向元件(282，284，286，288，290)可以是体积全息图、表面全息图和/或衍射光栅。在2015年3月7日提交的美国专利申请No.14/641,376中描述了诸如衍射光栅的光重定向元件，其通过引用全部并入在此。在一些实施例中，特征(198，196，194，192)可以不是透镜；相反，它们可以简单地是间隔物(例如，用于形成气隙的包层和/或结构)。
在一些实施例中，光重定向元件(282，284，286，288，290)是形成衍射图案或“衍射光学元件”(在此也称为“DOE”)的衍射特征。优选地，DOE具有相对较低的衍射效率，以使得仅光束的一部分通过DOE的每一个交点偏转向眼睛4，而其余部分经由全内反射继续移动通过波导。携带图像信息的光因此被分成多个相关的出射光束，该出射光束在多个位置处离开波导，并且该结果对于在波导内反射的该特定准直光束是朝向眼睛4的相当均匀图案的出射发射。
在一些实施例中，一个或多个DOE可以在它们主动地衍射的“开”状态和它们不显著衍射的“关”状态之间可切换。例如，可切换的DOE可以包括聚合物分散液晶层，其中微滴在主体介质中包含衍射图案，并且微滴的折射率可以切换为基本上匹配主体材料的折射率(在这种情况下，图案不明显地衍射入射光)，或者微滴可以切换为与主体介质的指数不匹配的指数(在这种情况下，该图案主动地衍射入射光)。
图7示出了由波导输出的出射光束的示例。示出了一个波导，但是可以理解，波导178堆叠中的其它波导可以类似地起作用。光400在波导182的输入边缘382处被注入到波导182中，并且通过TIR在波导182内传播。在光400撞击在DOE 282上的点处，一部分光如出射光束402离开波导。出射光束402被示出为基本上平行，但是如在此所讨论的，取决于与波导182相关联的深度平面，该出射光束402同样可以以一定角度(例如，形成发散的出射光束(bean))被重定向以传播到眼睛4。应该理解的是，基本上平行的出射光束可以指示与距眼睛4较大模拟距离(例如，光学无穷远)处的深度平面对应的波导。其它波导可以输出更加发散的出射光束图案，这将需要眼睛4适应聚焦在更近的模拟距离上并且将被大脑解释为光来自比光学无穷远更接近眼睛4的距离。
图8示意性地示出了堆叠波导组件的示例设计，其中每个深度平面具有三个相关波导，每个波导输出不同颜色的光。可以通过在多个分量(例如，三个或更多个分量颜色)中的每一个中覆盖图像，在每个深度平面处形成全色图像。在一些实施例中，分量颜色包括红色、绿色和蓝色。在一些其它实施例中，包括品红色、黄色和青色的其它颜色可以与红色、绿色或蓝色中的一种结合使用或者可以代替红色、绿色或蓝色中的一种。每个波导可以被配置为输出特定的分量颜色，并且因此每个深度平面可以具有与它关联的多个波导。每个深度平面可以具有例如与它相关联的三个波导：一个用于输出红光，第二个用于输出绿光，第三个用于输出蓝光。
继续参考图8，示出了深度平面14a-14f。在所示的实施例中，每个深度平面具有与其相关联的三个分量颜色图像：第一颜色的第一图像，G；第二颜色的第二图像，R；以及第三颜色的第三图像，B。按照在此的惯例，这些字母中的每一个后面的数字表示屈光度(1/m)，或深度平面与观察者之间的视距的倒数，并且图中的每个方框表示单独的分量颜色图像。在一些实施例中，G是绿色，R是红色，以及B是蓝色。如上面所讨论的，深度平面距观察者的感知距离可以由光重定向元件(282，284，286，288，290)(例如，衍射光学元件(DOE))和/或通过透镜(198，196，194，192)来建立，其使光以与视距相关联的角度发散。
在一些配置中，每个分量颜色图像可以由波导堆叠中的不同波导输出。例如，每个深度平面可以具有与其相关联的三个分量颜色图像：第一波导用于输出第一颜色，G；第二波导用于输出第二颜色，R；以及第三波导用于输出第三颜色，B。在波导被用于输出分量颜色图像的配置中，图中的每个方框可被理解为表示单独的波导。
尽管为了便于描述，在该示意图中，与每个深度平面相关联的波导被示出为彼此相邻，但是应该理解的是，在物理装置中，波导可以全部以一个波导水平设置在堆叠中。在图中用字母G、R和B后面的对于屈光度的不同数字表示不同的深度平面。
显示时序方案
在一些实施例中，虚拟或增强现实系统对于视频数据的给定帧通过连续显示多个不同的深度平面来提供光场图像。然后系统更新到视频数据的下一帧，并对于该帧连续显示多个不同的深度平面。例如，视频数据的第一帧实际上可以包括三个分离的数据子帧：远场帧D0、中场帧D1和近场帧D2。D0、D1和D2可以连续显示。随后，可以显示视频数据的第二帧。视频数据的第二帧同样可以包括连续显示的远场帧、中场帧和近场帧等。虽然这个例子使用三个深度平面，但是光场图像并不受此限制。相反，根据例如期望的视频帧速率和系统的能力，可以使用任何复数个深度平面。
因为光场视频数据的每个帧包括用于不同深度平面的多个子帧，所以提供光场图像的系统可以受益于能够具有高刷新率的显示面板。例如，如果系统以120Hz的帧速率显示视频，但包含来自多个不同的深度平面的图像，则显示器需要能够具有大于120Hz的刷新率，以便适应用于视频的每帧的多个深度平面图像。在一些实施例中，使用硅基液晶(LCOS)显示面板，但也可以使用其它类型的显示面板(包括颜色顺序显示器和非颜色顺序显示器)。
图9示出了用于显示光场图像的虚拟或增强现实系统的示例时序方案。在这个例子中，视频帧速率是120Hz，光场图像包括三个深度平面。在一些实施例中，每个帧的绿色、红色和蓝色分量连续显示，而不是同时显示。
120Hz的视频帧速率允许以8.333毫秒显示视频的单个帧的全部深度平面。如图9所示，视频数据的每个帧包括三个深度平面，每个深度平面包括绿色、红色和蓝色分量。例如，深度平面D0包括绿色子帧G0、红色子帧R0和蓝色子帧B0。类似地，深度平面D1分别包括绿色、红色和蓝色子帧G1、R1和B1，并且深度平面D2分别包括绿色、红色和蓝色子帧G2、R2和B2。假定每个视频帧包括三个深度平面，并且每个深度平面具有三个颜色分量，则将分配的8.333毫秒分成九段，每段0.926毫秒。如图9所示，在第一时间段期间显示第一深度平面的绿色子帧G0，在第二时间段期间显示第一深度平面的红色子帧R0，以此类推。对于视频的每帧的总绿色开启时间为2.778毫秒。对于每个视频帧的总红色开启时间和总蓝色开启时间也是如此。然而，应该理解的是，也可以使用其它视频帧速率，在这种情况下，可以相应地调整图9中所示的特定时间间隔。尽管各个颜色分量被示出为具有相同的显示时间，但是这不是必需的，并且颜色分量之间的显示时间的比率可以变化。此外，图9所示的深度平面和颜色分量子帧的闪烁顺序仅仅是一个示例。其它闪烁顺序也可以使用。而且，虽然图9示出了使用颜色顺序显示技术的实施例，但是在此描述的技术不限于颜色顺序显示。
其它显示时序方案也是可能的。例如，帧速率、深度平面的数量和颜色分量可以变化。在一些实施例中，如在此所述的虚拟或增强现实系统的帧速率是80Hz并且存在三个深度平面。在一些实施例中，可以在不同的帧中显示不同的深度平面。例如，具有四个深度平面的光场视频可以以60Hz的有效帧速率来显示，通过以120Hz的帧速率显示每帧的两个深度平面(对于60Hz的有效帧速率，深度平面D0和D1可以在第一个8.33毫秒内显示，深度平面D2和D3可以在接下来的8.33毫秒中显示，全深度信息在16.7毫秒内提供)。在一些实施例中，所示的深度平面的数量可以在显示器上在空间上变化。例如，可以在用户的视线中的显示器的子部分中显示更多数量的深度平面，并且可以在位于用户的周边视觉中的显示器的子部分中显示更少数量的深度平面。在这样的实施例中，可以使用眼睛跟踪器(例如，照相机和眼睛跟踪软件)来确定用户正在看显示器的哪个部分。
视频数据的控制数据
图10示出了包括附加控制数据的视频数据的帧的示例格式。如图10所示，视频数据的每个帧可以包括格式化为行和列的像素数据的阵列。在所示示例中，有1280列和960行的像素数据，其形成图像。图10还示出了可以将控制数据1010附加到视频数据的帧。在这个示例中，控制包1010可以被附加到视频数据的帧，例如作为额外的行。第一行(行000)包含控制信息，而行1-960包含实际图像。因此，在该实施例中，主机向显示控制器发送1280×961的分辨率。
显示控制器读取附加的控制信息并使用它，例如以配置发送到一个或多个显示面板(例如，左眼显示面板和右眼显示面板)的图像信息1020。在这个示例中，控制信息1010的行不被发送到显示面板。因此，当主机以1280×961的分辨率向显示控制器发送信息时，显示控制器从数据流中去除控制信息1010，并且仅以1280×960的分辨率向显示面板发送视频信息1020。图像数据可以以例如显示串行接口(DSI)格式被发送到显示面板(例如，LCOS显示面板)。尽管图10示出了附加的控制信息1010包括附加在视频数据的每个帧的开始处的单个行，但是可以替代地附加其它量的控制信息。此外，控制信息1010不一定必须被附加在视频数据的每个帧的开始处，而是可以替代地在其它位置处被插入到视频数据中。然而，在帧的开始处的附加控制信息可以允许控制器在显示图像数据之前在渲染图像的帧的开始处更容易地作用于控制信息。
图11示出了包括控制数据的视频数据的帧的另一个示例格式。图11类似于图10，除了以下之外：插入控制信息1110代替第一行视频数据而不是附加到第一行之前的视频数据的帧。因此，帧的第一行(行000)包含控制信息，而剩余的959行包含实际图像数据1120。
在这个示例中，主机以1280×960的分辨率向显示控制器发送信息。显示控制器可以使用控制数据1110来配置发送到显示面板的图像信息。显示控制器然后向显示面板发送图11所示的视频数据的帧。然而，在一些实施例中，在向显示面板发送图11所示的视频数据的帧之前，显示控制器可以通过例如将该行视频数据设置为零来去除控制信息1110。这导致视频数据的每个帧的第一行在显示器上显示为黑线。
使用图11所示的方案，控制信息1110可以与视频数据的帧一起被包括，而不改变发送到显示控制器的信息的分辨率。然而，在这个示例中的折衷是由于一些图像数据被控制数据代替的事实，有效显示分辨率降低。尽管图11示出了插入控制数据1110代替第一行图像数据，但是替代地，可以插入控制数据代替帧中的另一行。
在例如图10和11(以及随后的图12)中示出的控制数据可以用于许多不同的目的。例如，控制数据可以指示应该在左眼视频面板还是右眼视频面板上显示视频数据的帧。控制数据可以指示视频数据的帧对应于多个深度平面中的哪一个。控制数据可以指示光场视频数据的闪烁顺序。例如，控制数据可以指示显示每个深度平面的顺序，以及显示每个深度平面的颜色分量子帧的顺序。此外，在主机已经产生用于显示的内容之后，可能需要将像素向左/右或上/下移位。控制数据可以包括指定应由显示控制器执行的像素移位的方向和幅度的像素移位信息，而不是调整和重新渲染图像数据。
这样的像素移位可以由于许多原因而被执行。在由于例如用户的头部移动而图像内容需要在显示器上移动的情况下，可以执行像素移位。在这种情况下，内容可以是相同的，但是其在显示器上的观看区域内的位置可能需要被移位。不是在GPU上重新渲染图像内容并再次将整个像素组发送到显示控制器，而是可以使用像素移位控制信息将像素移位应用于图像数据。如图10和11所示，像素移位控制信息可被包括在帧的开始处。可替换和/或另外地，延迟更新控制数据包可以在帧内(例如，在第一行之后)被发送以基于更新的头部姿势中间帧来执行适当的像素移位。这可以通过使用例如移动产业处理器接口(MIPI)显示器串行接口(DSI)虚拟通道来完成。
也可以在用户正在移动他或她的头部并且想要更精确地表示像素的情况下执行像素移位。不是GPU重新渲染图像，而是可以使用像素移位方法来应用在显示器上延迟移位。在此描述的任何像素移位可以影响单个深度平面或多个深度平面。如在此已经讨论的，在一些实施例中，在显示各种深度平面之间存在时间上的差异。在这些时间差期间，用户可能会移动他或她的眼睛，以使得观看视锥(frustum)可能需要移位。这可以使用任何深度平面的像素移位来实现。
像素移位控制信息可以指示单个深度平面的帧内的X-Y方向上的像素移位。可选地和/或另外地，像素移位控制信息可以指示深度平面缓冲器之间的Z方向上的移位。例如，之前在一个或多个深度平面中显示的对象可以移动到以Z像素移位设置的另一个深度平面。这种类型的移位还可以包括缩放器(scaler)来放大或缩小每个深度的局部图像。例如，假定显示的特征在两个深度平面之间浮动，并且不存在该特征与另一个对象的遮挡。通过使用Z像素移位和缩放器向前或向后一个或多个深度平面重新绘制特征，可以实现特征在深度方向上的明显移动。这可以在不重新渲染特征并向显示控制器发送帧更新的情况下实现，以更低的计算成本产生更平滑的运动性能。
缩放器还可以用于补偿由于例如透镜192、194、196、198而在显示器内发生的放大效应。这样的透镜可以产生用户可观察的虚拟图像。当虚拟对象从一个深度平面移动到另一个深度平面时，虚拟图像的光学放大实际上将与物理世界中预期的相反。例如，在物理世界中，当对象位于离观察者更远的深度平面处时，对象看起来比如果位于更近的深度平面更小。然而，当虚拟对象从更近的深度平面移动到显示器中的更远的深度平面时，透镜实际上可以放大对象的虚拟图像。因此，在一些实施例中，使用缩放器来补偿显示器中的光学放大效应。可以为每个深度平面提供缩放器，以校正由光学器件引起的放大效应。另外，如果在每种颜色的基础上存在任何缩放问题，则可以为每种颜色提供缩放器。
在一些实施例中，最大水平像素移位可以对应于整个面板宽度，而最大垂直像素移位可以对应于整个面板高度。控制数据可以指示正移位和负移位二者。使用该像素移位信息，显示控制器可以在深度平面之间向左或向右、向上或向下以及向前或向后移位视频数据的帧。像素移位信息也可以使得视频数据的帧完全或部分地从左眼显示面板移位到右眼显示面板，反之亦然。可以为光场视频数据中的每个深度平面包括像素移位信息。
在一些实施例中，例如使用基于扫描的显示器的那些实施例中，可以提供增量分布的像素移位。例如，视频帧的图像可以在一个或多个深度平面中增量地移位，直到到达图像的结尾(例如，底部)。在帧内首先显示的像素可以比稍后显示的像素更多或更少地移位，以便补偿头部移动或模拟对象的运动。此外，基于每个平面可以存在增量像素移位。例如，一个深度平面中的像素可以比另一个深度平面中的像素更多或更少地移位。在一些实施例中，使用眼睛跟踪技术来确定用户正在固定注视显示屏的哪个部分。不同深度平面中的对象或者甚至在单个深度平面内的不同位置处的对象可以根据用户正在观看的位置而被像素移位(或不移位)。如果存在用户没有注视的对象，那么可以忽略这些对象的像素移位信息，以便改善用户正在注视的图像中的像素移位的性能。再次，可以使用眼睛跟踪器来确定用户正在看显示器上的哪里。
控制信息也可用于指定和/或调节一个或多个虚拟深度平面。通过以适当的权重混合两个深度平面图像以保持图像的期望亮度，可以在虚拟或增强现实系统中的两个设定的深度平面之间的期望间隔处提供虚拟深度平面。例如，如果期望虚拟深度平面在深度平面D0和深度平面D1之间，则混合单元可以将D0图像数据的像素值加权50％，同时还将D1图像数据的像素值加权50％。(只要权重总和为100％，则可以保持图像的视亮度)。结果将是似乎位于D0和D1之间的中间的虚拟深度平面。虚拟深度平面的视深度可以通过使用不同的混合权重来控制。例如，如果期望虚拟深度平面看起来比D0更接近D1，则可以对D1图像加权得更重。可以使用一个或多个缩放器来确保虚拟对象在正在被混合的两个深度平面中基本上相同的尺寸，以使得在混合操作期间虚拟对象的相同部分被组合。控制数据可以指定何时计算虚拟深度平面图像，并且控制信息还可以包括用于虚拟深度平面的混合权重。在各种实施例中，权重可被存储在可编程查找表(LUT)中。控制信息可用于从LUT中选择适当的权重，以提供期望的虚拟深度平面。
控制信息还可以指示两个立体显示器中的一个立体显示器的图像帧是否应该被复制到另一个中。例如，在最远的模拟深度平面(例如，背景图像)的情况下，右眼图像与左眼图像之间存在相对较小的差异(例如，由于视差移位)。在这种情况下，控制信息可以指示立体显示器中的一个立体显示器的图像被复制到另一个显示器用于一个或多个深度平面。这可以实现，而不在GPU上为右眼和左眼显示器重新渲染图像数据或将数据重新传输到显示控制器。如果右眼图像和左眼图像之间存在相对较小的差异，则像素移位也可以用于补偿，而不为两只眼睛重新渲染或重新传输图像数据。
图10和图11中所示的控制数据也可以用于除了在此具体列举的那些之外的其它目的。
尽管图10和图11示出了控制数据行可以与视频数据包含在一起，但是控制数据也可以(或可选地)嵌入到视频数据的各个像素中。这在图12中示出，其示出了包括嵌入的控制数据1240的视频数据的像素1200的示例格式。图12示出了视频数据的像素包括蓝色值1230(字节0)、绿色值1220(字节1)和红色值1210(字节2)。在该实施例中，每个颜色值具有8位的颜色深度。在一些实施例中，与颜色值中的一个或多个颜色值相对应的一个或多个位可以由控制数据1240代替，以颜色值的位深度为代价。因此，控制数据可以直接嵌入到视频数据的像素中，以像素的颜色值的动态范围为代价。例如，如图12所示，蓝色值的突出显示的两个最低有效位可以专用作控制数据1240。尽管未示出，但其它颜色值的位也可以专用作控制数据。而且，不同数量的像素位可以专用作控制数据。
在一些实施例中，嵌入在视频数据的像素中的控制数据1240可以是深度平面指示符数据(尽管嵌入像素中的控制数据也可以是任何其它类型的控制数据，包括在此所述的其它类型)。如在此所讨论的，光场视频数据可以包括多个深度平面。视频帧中一个或多个像素的位深度可以减小，并且所得到的可用位可以用于指示像素对应的深度平面。
作为一个具体的示例，考虑图12所示的24位RGB像素数据。红色、绿色和蓝色颜色值的每一个具有8位的位深度。如已经讨论的，可以牺牲一个或多个颜色分量的位深度并用深度平面指示符数据代替。例如，由于眼睛对蓝色不太敏感，所以蓝色分量可以由六位(图12中的位B3-B8)代替八位来表示。所得到的额外两位(位B1和B2)可用于指定该像素对应的最多四个深度平面中的哪一个。如果有更多或更少的深度平面，则可以牺牲更多或更少数量的颜色位。例如，如果位深度减少一位，则可以指定最多两个深度平面。如果位深度减少三位，则可以指定最多八个深度平面等。以这种方式，可以对颜色值的动态范围进行折衷，以便将深度平面指示符数据直接编码到图像数据本身内。
在一些实施例中，深度平面指示符数据1240被编码在视频数据的每个像素中。在其它实施例中，深度平面指示符数据1240可以被编码在每帧一个像素中，或者每行一个像素中，每个虚拟或增强现实对象一个像素中等。另外，深度平面指示符数据1240可以被编码在仅单个颜色分量中，或多个颜色分量中。类似地，直接在图像数据内编码深度平面指示符数据1240的技术不仅限于颜色图像。该技术可以以相同的方式用于灰度图像等等。
图12示出了用于编码图像数据中的深度平面指示符数据的一种技术。另一种技术是采用色度子采样并使用得到的可用位作为深度平面指示符数据。例如，图像数据可以用YCbCr格式表示，其中Y表示亮度分量(其可以或者可以不是伽马校正)，Cb表示蓝色差异色度分量，Cr表示红色差异色度分量。由于眼睛对色度分辨率比亮度分辨率不太敏感，所以可以以比亮度信息更低的分辨率提供色度信息，而不会不适当地降低图像质量。在一些实施例中，使用YCbCr 4:2:2格式，其中为每个像素提供Y值，但是仅以交替方式为每隔一个像素提供Cb和Cr值的每个。如果像素(在没有色度子采样的情况下)通常由24位信息(8位Y值、8位Cb值和8位Cr值)组成，那么在采用色度子采样之后，每个像素将只需要16位信息(8位Y值和8位Cb或Cr值)。剩余的8位可以用作深度平面指示符数据。深度平面指示符数据可用于将像素分离成适当的深度平面以在适当的时间显示。
在图12所示的实施例和色度子采样实施例中，深度平面指示符数据可以指定由虚拟或增强现实系统支持的实际深度平面和/或如本文所讨论的虚拟深度平面。如果深度平面指示符数据指定虚拟深度平面，则其也可以指定要被混合的深度平面的权重，如在此所讨论的。
嵌入的深度平面指示符数据在显示控制器中的使用如图14所示。但首先，图13以背景的方式提供，以示出仅呈现单个深度平面时显示控制器的操作。图13示出了如何将视频的帧分离成可串行显示的颜色分量。图13的左侧面板1310示出了包括每秒视频120帧的一帧的图像。如图13的右侧面板1330所示，图像被分离成红色、绿色和蓝色分量，它们在1/120秒(8.33ms)的过程中通过显示控制器在显示器上闪烁。为简单起见，图13示出每个颜色分量都会闪烁一次，并且每个颜色分量在相同的时间量都是活动(active)的。然后，人类视觉系统将各个颜色分量子帧融合成图13的左侧面板中所示的原始颜色图像。图14示出了当视频数据的每帧包括多个深度平面时如何适应该过程。
图14示出了如何使用深度平面指示符数据将光场视频数据的帧分离成多个深度平面，每个深度平面可以被分成用于显示的颜色分量子帧。在一些实施例中，主机将光场视频数据流发送到显示控制器。该视频数据流由图14的左侧面板1410中的图像表示。显示控制器可以使用嵌入的深度平面指示符数据1240将视频数据流分离成多个RxGxBx序列，其中R0G0B0序列对应于第一深度平面，R1G1B1序列对应于第二深度平面，以及R2G2B2序列对应于第三深度平面。如图13所示，该深度平面分离可以基于每个像素中的两个最低有效蓝色位来执行。结果显示在图14的中间面板1420中，该图示出了三个分离的深度平面图像。最后，图14的中间面板1420中所示的三个分离的深度平面图像中的每一个可以被分离为它的成分颜色分量子帧。如图14的右侧面板1430所示，每个深度平面的颜色分量子帧然后可以顺序地闪烁到显示器。例如，序列顺序可以是如图14中所示的R0G0B0R1G1B1R2G2B2，或者如图9所示的G0R0B0G1R1B1G2R2B2。
深度平面指示符数据1240可以被显示控制器使用来确定要使用的RxGxBx序列的数量以及哪个像素对应于哪个序列。也可以提供控制数据以指定闪烁到显示器的RxGxBx颜色序列的顺序。例如，在包括三个深度平面(D0、D1、D2)的视频数据的情况下，有六个可能的顺序，其中各个RxGxBx序列可以闪烁到显示面板：D0、D1、D2；D0、D2、D1；D1、D0、D2；D1、D2、D0；D2、D0、D1；以及D2、D1、D0。如果由控制数据指定的顺序是D0、D1、D2，则具有与第一深度平面D0对应的蓝色LSB位0b00的像素可以被选择作为第一RxGxBx颜色序列图像输出。具有与第二深度平面D1对应的蓝色LSB位0b01的像素可以被选择作为第二RxGxBx颜色序列图像输出，等等。
图15示出了其中图12的深度平面指示符数据指示光场视频数据的帧的一个或多个深度平面是不活动的示例。图15与图14类似之处在于其示出了视频数据流(由图15的左侧面板1510表示)被分离成深度平面(由图15的中间面板1520表示)，其然后分别分离成颜色分量子帧(由图15的右侧面板1530表示)。然而，图15与图14不同之处在于，只有单个深度平面示出为活动的。
如已经讨论的那样，图12中的深度平面指示符数据1240包括每个像素中的蓝色值的两个最低有效位。这两位可以指定最多四个深度平面。然而，光场视频数据可以包括少于四个深度平面。例如，在前面的示例中，光场视频数据仅包括三个深度平面。在视频数据包括少于可指定深度平面的最大数量的这种情况下，深度平面指示符数据可以指定一个或多个深度平面是不活动。例如，继续前面的示例，如果像素中的两个蓝色LSB位被设置为0b11，则该像素可以被分配给不活动的第四深度平面D3。如图15所示，在输出序列中仅激活三个RxGxBx颜色序列中的一个；不活动的深度平面示出为黑色框架。如前所述，可以提供控制数据来指定显示深度平面的顺序。如图15的中间面板1520所示，在所示的示例中，控制数据已经指定了不活动深度平面D3在该序列中首先和最后显示。因此，只有序列中的中间帧包括闪烁到显示器的实际图像数据。(也可以使用其它序列。例如，活动深度平面可以在序列中首先排序或最后排序，或者可以在序列中多次重复)。当显示控制器看到像素被分配给不活动的深度平面，则显示控制器可以简单地忽略该像素并且不将其闪烁到显示器。例如，当控制数据指示深度平面是不活动的时，可以减少(例如，关闭)向特定深度平面的显示器提供光的光源的功率，从而降低功耗。这可以节省显示驱动器的开关功率。因此，可以通过将视频数据的一个或多个深度平面指定为不活动来实现功率节省模式。类似地，在一些实施例中，控制数据可指示一个或多个颜色场在深度平面内不活动，而深度平面中的一个或多个其它颜色场是活动的。基于这个控制数据，显示控制器可以控制显示器忽略不活动的一个颜色场或多个颜色场，并且显示来自一个或多个活动颜色场而没有不活动颜色场的图像。例如，当控制数据指示颜色场是不活动的时，可以减少(例如，关闭)向特定颜色场的显示器提供光的光源的功率，从而降低功耗。因此，为显示器提供照明的光源(诸如发光二极管(LED)、激光器等)对于不活动的深度平面和/或不活动的颜色场而言可以被关闭或者减小其功率。
多深度平面图像压缩
在一些实施例中，图像压缩技术被应用在多个深度平面上，以便通过去除深度平面之间的信息的冗余来减少视频图像数据的量。例如，不是为每个深度平面发送图像数据的整个帧，而是可以依据相对于相邻深度平面的变化来表示一些或全部深度平面。(这也可以在相邻时刻的帧之间的时间基础上完成)。压缩技术可以是无损的或者它可以是有损的，以使得小于给定阈值的相邻深度平面帧之间或时间相邻帧之间的变化可以被忽略，这导致图像信息的减少。另外，压缩算法可以使用运动矢量在单个深度平面内(X-Y运动)和/或在深度平面(Z运动)之间编码物体的运动。如此处所讨论的，不是要求运动物体的图像数据随时间重复发送，而是可以用像素移位控制信息完全或部分地实现物体的运动。
动态可配置的显示绘图区域
在显示光场图像的系统中，由于对于每个视频帧包括相对较大量的信息(例如，多个深度平面、每个具有多个颜色分量)，实现高视频帧速率具有挑战性。然而，通过识别计算机生成的光场图像一次只能占用显示的部分，可以改善视频帧速率，特别是在增强现实模式下，如图16所示。
图16示出了增强现实系统中的计算机生成的图像的帧的示例绘图区域。图16与图1类似，除了它仅示出要在其中绘制增强现实图像的显示器的部分之外。在这种情况下，增强现实图像包括机器人雕像1110和蜜蜂角色2。增强现实模式中的显示器的其余区域可以简单地是用户周围的真实世界环境的视图。因此，可能不需要在显示器的这些区域绘制计算机生成的图像。通常情况下，计算机生成的图像一次只占据显示区域的相对较小的部分。通过动态地重新配置从帧到帧刷新的特定绘图区域以排除不需要显示计算机生成的图像的区域，可以改善视频帧速率。
计算机生成的增强现实图像可以被表示为多个像素，每个像素具有例如相关联的亮度和颜色。视频数据的帧可以包括这样像素的m×n阵列，其中m表示行的数量以及n表示列的数量。在一些实施例中，增强现实系统的显示器至少部分透明，以便除了显示计算机生成的图像之外还能够提供用户的真实世界环境的视图。如果计算机生成的图像中给定像素的亮度设置为零或相对较低的值，则观看者将在该像素位置处看到真实世界的环境。可选地，如果给定像素的亮度设置为较高值，则观看者将在该像素位置处看到计算机生成的图像。对于任何给定的增强现实图像的帧，许多像素的亮度可能低于指定的阈值，以使得它们不需要在显示器上显示。不是对于这些低于阈值的像素的每一个像素来刷新显示器，而是显示器可以动态配置为不刷新这些像素。
在一些实施例中，增强现实系统包括用于控制显示的显示控制器。控制器可以动态配置显示器的绘图区域。例如，控制器可以动态地配置在任何给定刷新周期期间视频数据的帧中的哪些像素被刷新。在一些实施例中，控制器可以接收与视频的第一帧对应的计算机生成的图像数据。如在此所讨论的，计算机生成的图像可以包括若干深度平面。基于视频的第一帧的图像数据，控制器可以动态地确定对于每个深度平面刷新显示像素的哪个显示像素。例如，如果显示器利用扫描型显示技术，则控制器可以动态地调整扫描图案以跳过不需要刷新增强现实图像的区域(例如，没有增强现实图像的帧的区域或增强现实图像的亮度降至指定阈值以下)。
以这种方式，基于接收到的视频数据的每帧，控制器可以识别应当显示增强现实图像的显示器的子部分。每个这样的子部分可以包括显示器上的单个连续区域或多个非连续区域(如图16所示)。显示器的这些子部分可以针对光场图像数据中的每个深度平面来确定。然后显示控制器可以使显示器针对该特定视频帧仅刷新显示器的所识别的子部分。该过程可以针对视频的每帧执行。在一些实施例中，控制器动态调整将在视频数据的每帧的开始处刷新的显示器的区域。
如果控制器确定应该刷新的显示器的区域随着时间变得越来越小，则控制器可以增加视频帧速率，因为绘制增强现实数据的每一帧需要更少的时间。可选地，如果控制器确定应该刷新的显示器的区域随时间变得越来越大，则其可以降低视频帧速率以允许足够的时间绘制增强现实数据的每一帧。视频帧速率的变化可能与需要用图像填充的显示器的部分成反比。例如，如果只需要填充十分之一的显示器，则控制器可以将帧速率提高10倍。
这种视频帧速率调整可以在逐帧的基础上执行。可选地，可以以指定的时间间隔或者当要刷新的显示器的子部分的大小增加或减少特定量时执行这种视频帧速率调整。在某些情况下，取决于特定的显示技术，控制器还可以调整显示器上显示的增强现实图像的分辨率。例如，如果显示器上的增强现实图像的尺寸相对较小，则控制器可以使图像以增加的分辨率显示。相反，如果显示器上的增强现实图像的尺寸相对较大，则控制器可以使图像以降低的分辨率显示。
增强的头部姿势估计
如在此所讨论的，虚拟和增强现实系统可以包括身体安装式显示器，诸如头盔、眼镜、护目镜等。另外，虚拟增强现实系统可以包括诸如陀螺仪、加速度计等的传感器，其执行可用于估计和跟踪在三维空间中用户头部的位置、方向、速度和/或加速度的测量。传感器可以设置在用户戴在他或她头上的惯性测量单元中。以这种方式，可以估计用户的头部姿势。头部姿势估计可以用作允许用户与虚拟或增强现实场景交互的手段。例如，如果用户转动或倾斜他或她的头部，则可以以相应的方式(例如，场景的视场可以被移位或倾斜)来调整虚拟或增强现实场景。
图17示意性地示出了用户头部围绕两个旋转轴的可能运动。如图所示，用户可以围绕垂直轴和与页面垂直的水平轴旋转他或她的头部。虽然未示出，但用户也可以围绕位于页面平面中的水平轴旋转他或她的头部。在一些实施例中，将用户的视线的方向定义为头部姿势方向可能是有用的。(尽管头部姿势的这种定义不一定会考虑头部的侧向倾斜，但头部姿势的其它定义可以)。图18示出了用户的头部姿势如何能够映射到三维表面1810上。图18包括指示用户的头部姿势的表面法线向量1820。三维表面上的每个可能的表面法向向量1820对应于不同的头部姿势。在图18中，当他或她直接向前看时，直接向上指向的表面法向向量将对应于用户的中立头部姿势。
基于来自头戴式惯性测量单元的传感器测量，可以使用各种算法来估计和跟踪用户的头部姿势。这些包括例如卡尔曼(Kalman)滤波器和其它类似的算法。这些类型的算法通常产生基于随着时间而不是仅在任何单个时刻的传感器测量的估计。例如，Kalman滤波器包括预测阶段，其中滤波器基于前一时刻的头部姿势估计来输出头部姿势的预测估计。接下来，在更新阶段期间，滤波器基于当前传感器测量来更新头部姿势估计。这样的算法可以提高头部姿势估计的准确性，这减少了响应于头部移动而适当地显示虚拟或增强现实图像的错误。精确的头部姿势估计还可以减少系统中的时延。
通常，Kalman滤波器或类似算法针对用户的中立头部姿势附近的头部姿势(对应于图18中的垂直表面法向向量1820)产生最准确头部姿势估计。不幸的是，这种算法在头部姿势偏离中立头部姿势更远时可能无法正确估计头部姿势运动，因为它们没有考虑人体生理或用户头部相对于身体的运动所施加的运动限制。然而，为了减少这些弱点对头部姿势跟踪的影响，可以进行各种适应。
在一些实施例中，使用Kalman滤波器或类似算法的头部姿势估计和跟踪可以通过使用可变增益因子来改善，可变增益因子根据生理上可能的头部姿势的包络内的当前头部姿势位置而不同。图18示出了对应于这种生理上可能的头部姿势的包络的三维表面1810。图18示出了用户的头部具有不超过约180°的任何方向的运动范围(例如，左右或上下)。生理包络内的当前头部姿势可以用于调整Kalman滤波器估计的可变增益因子。在靠近包络中心的区域(即中立头部姿势)，可以设置增益因子以强调预测的头部姿势超过测量的头部姿势，因为由于该区域中的头部运动的较高线性度，Kalman滤波器预测误差可能较低。这可以减少系统中的时延，而不会不当地影响头部姿势估计精度。当头部姿势接近生理头部运动包络边界时，则该算法可以使用设定的增益因子来减少过滤器对预测头部姿势的依赖或者强调测量头部姿势超过预测头部姿势以减少误差。
在一些实施例中，图18中所示的生理头部姿势包络线上的每个位置可对应于不同的增益。在其它实施例中，生理头部姿势包络可以被分成分离的区域，并且不同的增益值可以与每个不同的区域相关联。这在图19中示出。
图19示意性地示出了可用于定义增益因子以改善头部姿势跟踪的各种头部姿势区域。图19示出了对应于相对中立头部姿势的中心区域1910。它还包括对应于生理边界附近的头部姿势的外部区域1930以及中心区域和外部区域之间的中间区域1920。在一些实施例中，可以为每个头部姿势区域指定不同的一组增益因子。中心区域1910示出具有较高线性运动的区域，其将具有由Kalman滤波器算法产生的较高准确度预测值。当头部姿势位于中心区域1910内时，可以设置Kalman滤波器的增益因子以强调预测的头部姿势超过测量的头部姿势或者以其它方式减少对测量的头部姿势的依赖。当头部姿势离开中心区域并进入中间区域或外部区域(分别为1920、1930)时，如果不考虑该算法，运动会受到生理因素的更多限制，这些生理因素将对Kalman预测的头部姿势产生不利影响。因此，在这些区域(特别是外部区域1930)中，可以设置Kalman滤波器增益值以减少滤波器对预测的头部姿势的依赖并增加其对测量的头部姿势的依赖。例如，如果已知头部的加速度将在靠近包络边界处停止，则强烈依赖将来的太远的预测头部姿势将是不准确的。虽然图19中示出了三个头部姿势区域，但是在其它实施例中可以使用不同数量的头部姿势区域。
在一些实施例中，还可以通过感测用户头部相对于用户身体的位置、方向、速度和/或加速度而不是以绝对意义感测头部的运动来改善头部姿势估计和跟踪。这可以通过提供由用户佩戴在他或她身上(例如，在躯干或腰部上)的附加惯性测量单元来完成。注意头部姿势是头部和身体运动的函数是很重要的。生理上可能的头部姿势的包络不固定在空间中；它随着例如身体旋转而移动。如果用户坐在椅子上移动他或她的头部同时保持身体不动，则生理包络将相对受到限制，以使得通过仅考虑头部运动可以实现相对良好的头部姿势估计。然而，当用户实际佩戴虚拟或增强现实头戴式显示器并四处移动时，则可能的头部姿势的生理包络随着身体移动而变化。
佩戴在身体上的第二惯性测量单元(例如，与用于虚拟或增强现实系统的电池组和/或处理器一起安装)可以帮助提供额外的信息以跟踪头部姿势的生理包络的运动。代替将包络固定在空间中，第二惯性测量单元可以允许相对于身体确定头部的移动。例如，如果身体向右旋转，则生理包络可以相应地向右旋转以更精确地确定生理包络内的头部姿势并且避免不适当地约束Kalman滤波器的操作。
在一些实施例中，使用头戴式惯性测量单元确定的头部运动可以从使用身体安装式惯性测量单元确定的身体运动中减去。例如，可以从头部的绝对位置、方位、速度和/或加速度中减去身体的绝对位置、方位、速度和/或加速度，以估计头部相对于身体的位置、方位、速度和/或加速度。一旦头部相对于身体的方位或运动已知，则可以更准确地估计生理包络内的实际头部姿势位置。如本文所讨论的，这允许确定Kalman滤波器增益因子以改善头部姿势的估计和跟踪。
增强的“图腾(Totem)”位置估计
在一些虚拟或增强现实系统中，指定的有形对象可以用作“图腾”，其允许用户与虚拟对象或场景交互。例如，用户握在他或她手中的有形块可被系统识别为交互式装置，诸如计算机鼠标。该系统可以包括例如跟踪用户手中的有形块的移动并随后相应地调整虚拟指针(pointer)的照相机。使用计算机视觉来跟踪空间中的图腾的可能的缺点是图腾有时可能会在照相机的视场之外或者被遮挡。因此，提供用于以六个自由度在三维中稳健地跟踪图腾的位置和运动的系统将是有益的。
在一些实施例中，用于跟踪图腾的位置和运动的系统包括图腾中的一个或多个传感器。这些一个或多个传感器可以是加速度计和/或陀螺仪，其独立地确定空间中的图腾的位置和移动。这些数据可以发送到虚拟或增强现实系统。
可选地，图腾中的一个或多个传感器可以与发射器一起结合工作以确定图腾和空间的位置和移动。例如，发射器可以在空间中产生空间变化的电场和/或磁场，并且图腾可以包括在图腾的位置处重复测量场的一个或多个传感器，从而允许图腾的位置和运动要被确定。在一些实施例中，这样的发射器可以有利地并入虚拟或增强现实系统的头戴式显示器中。可选地，发射器可以并入身体安装式背包中。以这种方式，可以确定图腾分别相对于用户的头部或身体的位置和/或运动。由于图腾的位置和/或运动可以相对于用户的头部或身体来确定，所以这可能比如果发射器仅位于固定位置处(例如，在附近的桌子上)更有用的信息。
基于环境照明的图像颜色的调整
在一些实施例中，在此描述的虚拟和增强现实系统包括用于检测环境照明的亮度和/或色调的一个或多个传感器(例如，照相机)。这样的传感器可以被包括在例如虚拟或增强现实系统的显示头盔中。然后可以使用感测到的关于环境照明的信息来调整虚拟对象的生成像素的亮度或色调。例如，如果环境照明具有淡黄色投射，则计算机生成的虚拟对象可以被改变为具有与房间中的真实对象更接近匹配的淡黄色调。这种像素调整可以在GPU渲染图像时进行。可替换地和/或另外地，可以在通过使用在此讨论的控制信息进行渲染之后进行这样的像素调整。
为了总结本公开，在此已经描述了本发明的某些方面、优点和特征。应当理解，根据本发明的任何特定实施例，不一定可以实现所有这些优点。因此，本发明可以以实现或优化在此所教导的一个优点或一组优点的方式来实施或执行，而不必实现在此可能教导或提出的其它优点。
已经结合附图描述了实施例。然而，应当理解的是，这些附图不是按比例绘制的。距离、角度等仅仅是说明性的，并不一定与所示装置的实际尺寸和布局有精确的关系。此外，前述实施例已经以详细程度进行了描述，以允许本领域的普通技术人员制造和使用在此所述的装置、系统、方法等。各种各样的变化是可能的。组件、元件和/或步骤可以被改变、添加、移除或重新排列。
在此描述的装置和方法可以有利地使用例如计算机软件、硬件、固件或者软件、硬件和固件的任意组合来至少部分地实现。软件模块可以包括存储在计算机存储器中的计算机可执行代码，用于执行在此描述的功能。在一些实施例中，计算机可执行代码由一个或多个通用计算机执行。然而，根据本公开，本领域技术人员将理解，可以使用将在通用计算机上执行的软件来实现的任何模块也可以使用硬件、软件或固件的不同组合来实现。例如，这种模块可以使用集成电路的组合完全以硬件实现。可选地或另外地，可以使用被设计为执行在此描述的特定功能的专用计算机而不是通用计算机完全或部分地实现这种模块。另外，在所描述的方法是或可能至少部分由计算机软件执行的情况下，应当理解，可以在非暂时性计算机可读介质上提供这样的方法(例如，诸如CD或DVD的光盘、硬盘驱动器、闪存、软盘等)，当其被计算机或其它处理设备读取时，使其执行该方法。
虽然已经明确描述了某些实施例，但是基于本公开，其它实施例对于本领域的普通技术人员将变得显而易见。

Claims (26)

1.一种虚拟或增强现实显示系统，包括：
具有多个波导的显示器，被配置为显示用于多个深度平面的图像，所述多个波导中的每个波导与所述多个深度平面中的相应的一个深度平面相关联并且被配置为显示与该相应的深度平面对应的所述图像；以及
显示控制器，被配置为
从图形处理器接收带有嵌入的移位信息的渲染的虚拟或增强现实图像数据，
执行由所述移位信息所指定的所述渲染的虚拟或增强现实图像数据的至少一部分的移位，其中，所述移位为第一深度平面内的像素移位，或所述移位为从所述第一深度平面到第二深度平面的移位，以及
向所述显示器提供移位的渲染的虚拟或增强现实图像数据。
2.根据权利要求1所述的虚拟或增强现实显示系统，其中，与所述渲染的图像数据中的一个或多个虚拟或增强现实对象的位置相比，所述移位改变所述一个或多个对象的显示位置。
3.根据权利要求1所述的虚拟或增强现实显示系统，其中，所述移位包括所述渲染的图像数据的至少一部分在所述第一深度平面内的指定数量的像素的横向移位。
4.根据权利要求1所述的虚拟或增强现实显示系统，其中，所述移位包括所述渲染的图像数据的至少一部分从所述第一深度平面到所述第二深度平面的纵向移位。
5.根据权利要求4所述的虚拟或增强现实显示系统，其中，所述显示控制器还被配置为缩放所述渲染的图像数据的至少一部分连同从所述第一深度平面到所述第二深度平面的纵向移位。
6.根据权利要求1所述的虚拟或增强现实显示系统，其中，所述移位包括所述渲染的图像数据的至少一部分从所述第一深度平面到所述第二深度平面的纵向移位，所述第二深度平面包括虚拟深度平面，所述虚拟深度平面包括至少两个深度平面的加权组合。
7.根据权利要求1所述的虚拟或增强现实显示系统，其中，所述移位基于关于用户的头部姿势的信息。
8.根据权利要求1所述的虚拟或增强现实显示系统，其中，所述移位由所述显示控制器执行而不重新渲染所述渲染的图像数据。
9.根据权利要求1所述的虚拟或增强现实显示系统，其中，所述嵌入的移位信息包括所述渲染的图像数据的帧中的替代行或列。
10.根据权利要求1所述的虚拟或增强现实显示系统，其中，所述嵌入的移位信息包括所述渲染的图像数据的一个或多个像素中的一个或多个替代值。
11.根据权利要求1所述的虚拟或增强现实显示系统，其中，所述嵌入的移位信息包括所述渲染的图像数据的帧中的额外行或列。
12.根据权利要求1所述的虚拟或增强现实显示系统，其中，所述显示控制器还被配置为：在将所述渲染的图像数据提供给所述显示器之前，从所述渲染的图像数据中去除所述嵌入的移位信息。
13.根据权利要求1所述的虚拟或增强现实显示系统，其中，所述显示器的所述多个深度平面与相应的多个不同波前曲率相关联。
14.一种在虚拟或增强现实显示系统中的方法，所述虚拟或增强现实显示系统包括显示器和显示控制器，所述显示器具有被配置为显示用于多个深度平面的图像的多个波导，所述多个波导中的每个波导与所述多个深度平面中的相应的一个深度平面相关联并且被配置为显示与该相应的深度平面对应的所述图像，所述方法包括：
从图形处理器接收带有嵌入的移位信息的渲染的虚拟或增强现实图像数据；
执行由所述移位信息所指定的所述渲染的虚拟或增强现实图像数据的至少一部分的移位，其中，所述移位为第一深度平面内的像素移位，或所述移位为从所述第一深度平面到第二深度平面的移位；以及
用所述显示器显示经移位的渲染的虚拟或增强现实图像数据。
15.根据权利要求14所述的方法，其中，与在所述渲染的图像数据中的一个或多个虚拟或增强现实对象的位置相比，所述移位改变所述一个或多个对象的显示位置。
16.根据权利要求14所述的方法，其中，移位所述渲染的图像数据包括：基于所述移位信息，将所述渲染的图像数据的至少一部分在所述第一深度平面内横向移位指定数量的像素。
17.根据权利要求14所述的方法，其中，移位所述渲染的图像数据包括：基于所述移位信息，将所述渲染的图像数据的至少一部分从所述第一深度平面纵向移位到所述第二深度平面。
18.根据权利要求17所述的方法，还包括：缩放所述渲染的图像数据的至少一部分连同所述渲染的图像数据从所述第一深度平面纵向移位到所述第二深度平面。
19.根据权利要求14所述的方法，其中，移位所述渲染的图像数据包括：将所述渲染的图像数据的至少一部分从所述第一深度平面纵向移位到所述第二深度平面，所述第二深度平面包括虚拟深度平面，所述虚拟深度平面包括至少两个深度平面的加权组合。
20.根据权利要求14所述的方法，其中，所述移位基于关于用户的头部姿势的信息。
21.根据权利要求14所述的方法，其中所述移位被执行而不重新渲染所述渲染的图像数据。
22.根据权利要求14所述的方法，其中，所述嵌入的移位信息包括所述渲染的图像数据的帧中的替代行或列。
23.根据权利要求14所述的方法，其中，所述嵌入的移位信息包括所述渲染的图像数据的一个或多个像素中的一个或多个替代值。
24.根据权利要求14所述的方法，其中，所述嵌入的移位信息包括所述渲染的图像数据的帧中的额外行或列。
25.根据权利要求14所述的方法，还包括：在显示所渲染的图像之前，从所述渲染的图像数据中去除所述嵌入的移位信息。
26.根据权利要求14所述的方法，其中，所述多个深度平面的图像与相应的多个不同波前曲率相关联。
CN201680060759.6A 2015-08-18 2016-08-17 虚拟和增强现实系统和方法 Active CN108140259B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202210656307.1A CN114998557A (zh) 2015-08-18 2016-08-17 虚拟和增强现实系统和方法
CN201811171282.6A CN109409251B (zh) 2015-08-18 2016-08-17 虚拟和增强现实系统和方法
CN201811171280.7A CN109407835B (zh) 2015-08-18 2016-08-17 虚拟和增强现实系统和方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562206765P 2015-08-18 2015-08-18
US62/206,765 2015-08-18
PCT/US2016/047425 WO2017031246A1 (en) 2015-08-18 2016-08-17 Virtual and augmented reality systems and methods

Related Child Applications (3)

Application Number Title Priority Date Filing Date
CN201811171282.6A Division CN109409251B (zh) 2015-08-18 2016-08-17 虚拟和增强现实系统和方法
CN201811171280.7A Division CN109407835B (zh) 2015-08-18 2016-08-17 虚拟和增强现实系统和方法
CN202210656307.1A Division CN114998557A (zh) 2015-08-18 2016-08-17 虚拟和增强现实系统和方法

Publications (2)

Publication Number Publication Date
CN108140259A CN108140259A (zh) 2018-06-08
CN108140259B true CN108140259B (zh) 2022-06-14

Family

ID=58051711

Family Applications (4)

Application Number Title Priority Date Filing Date
CN201811171280.7A Active CN109407835B (zh) 2015-08-18 2016-08-17 虚拟和增强现实系统和方法
CN201811171282.6A Active CN109409251B (zh) 2015-08-18 2016-08-17 虚拟和增强现实系统和方法
CN201680060759.6A Active CN108140259B (zh) 2015-08-18 2016-08-17 虚拟和增强现实系统和方法
CN202210656307.1A Pending CN114998557A (zh) 2015-08-18 2016-08-17 虚拟和增强现实系统和方法

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN201811171280.7A Active CN109407835B (zh) 2015-08-18 2016-08-17 虚拟和增强现实系统和方法
CN201811171282.6A Active CN109409251B (zh) 2015-08-18 2016-08-17 虚拟和增强现实系统和方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202210656307.1A Pending CN114998557A (zh) 2015-08-18 2016-08-17 虚拟和增强现实系统和方法

Country Status (10)

Country Link
US (3) US11481911B2 (zh)
EP (2) EP4198911A1 (zh)
JP (5) JP7036711B2 (zh)
KR (2) KR20230042142A (zh)
CN (4) CN109407835B (zh)
AU (2) AU2016308731A1 (zh)
CA (1) CA2995978A1 (zh)
IL (2) IL305152A (zh)
NZ (2) NZ752336A (zh)
WO (1) WO2017031246A1 (zh)

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9407865B1 (en) * 2015-01-21 2016-08-02 Microsoft Technology Licensing, Llc Shared scene mesh data synchronization
CA2995978A1 (en) 2015-08-18 2017-02-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
US10962780B2 (en) * 2015-10-26 2021-03-30 Microsoft Technology Licensing, Llc Remote rendering for virtual images
KR20180000771A (ko) * 2016-06-23 2018-01-04 삼성디스플레이 주식회사 표시 장치
EP3500977B1 (en) 2016-08-22 2023-06-28 Magic Leap, Inc. Virtual, augmented, and mixed reality systems and methods
US10869026B2 (en) * 2016-11-18 2020-12-15 Amitabha Gupta Apparatus for augmenting vision
US20200158517A1 (en) * 2017-01-19 2020-05-21 Mindmaze Holding Sa System, methods, device and apparatuses for preforming simultaneous localization and mapping
KR20240046291A (ko) 2017-03-22 2024-04-08 매직 립, 인코포레이티드 디스플레이 시스템들을 위한 깊이 기반 포비티드 렌더링
US20180300916A1 (en) * 2017-04-14 2018-10-18 Facebook, Inc. Prompting creation of a networking system communication with augmented reality elements in a camera viewfinder display
EP3571542A4 (en) * 2017-04-28 2020-11-25 Hewlett-Packard Development Company, L.P. DETERMINING THE POSITION AND ORIENTATION OF A USER'S TORSO FOR A DISPLAY SYSTEM
JP6257825B1 (ja) * 2017-05-26 2018-01-10 株式会社コロプラ 仮想空間を介して通信するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
WO2018223179A1 (en) * 2017-06-05 2018-12-13 Immersive Robotics Pty Ltd Digital content stream compression
JP6791034B2 (ja) * 2017-06-16 2020-11-25 株式会社Ｊｖｃケンウッド 表示システム、映像処理装置、画素ずらし表示装置、映像処理方法、表示方法、及びプログラム
US10338400B2 (en) 2017-07-03 2019-07-02 Holovisions LLC Augmented reality eyewear with VAPE or wear technology
US10859834B2 (en) 2017-07-03 2020-12-08 Holovisions Space-efficient optical structures for wide field-of-view augmented reality (AR) eyewear
IL253432A0 (en) * 2017-07-11 2017-09-28 Elbit Systems Ltd System and method for correcting a rolling display effect
US11311188B2 (en) * 2017-07-13 2022-04-26 Micro Medical Devices, Inc. Visual and mental testing using virtual reality hardware
CN107835403B (zh) * 2017-10-20 2020-06-26 华为技术有限公司 一种以3d视差效果显示的方法及装置
US10705606B1 (en) * 2017-10-23 2020-07-07 Facebook Technologies, Llc Tracking sensor integration system and method for recursive estimation of pose of user's body part
IL310847A (en) * 2017-10-27 2024-04-01 Magic Leap Inc A virtual network for augmented reality systems
US10735649B2 (en) 2018-02-22 2020-08-04 Magic Leap, Inc. Virtual and augmented reality systems and methods using display system control information embedded in image data
CN112136094A (zh) 2018-03-16 2020-12-25 奇跃公司 用于显示系统的基于深度的凹式渲染
US11012694B2 (en) * 2018-05-01 2021-05-18 Nvidia Corporation Dynamically shifting video rendering tasks between a server and a client
US10469750B1 (en) 2018-05-22 2019-11-05 BioForce Analytics LLC Method for embedding motion data of an object into a video file to allow for synchronized visualization of the motion data upon playback of the video file
US10284752B1 (en) * 2018-05-22 2019-05-07 BioForce Analytics LLC Method for determining a start offset between a video recording device and an inertial measurement unit for use in synchronizing motion data of an object collected by the inertial measurement unit attached to the object with video frames captured by an image sensor of the video recording device of the object in motion
US11624909B2 (en) 2018-06-18 2023-04-11 Magic Leap, Inc. Head-mounted display systems with power saving functionality
EP3807710B1 (en) * 2018-06-18 2024-01-17 Magic Leap, Inc. Augmented reality display with frame modulation functionality
US10812731B2 (en) * 2018-08-22 2020-10-20 Qualcomm Incorporated Adjustable receiver exposure times for active depth sensing systems
US10991283B2 (en) * 2018-09-04 2021-04-27 Apple Inc. Decimated burn-in compensation with pixel shifting
US11189054B2 (en) * 2018-09-28 2021-11-30 Apple Inc. Localization and mapping using images from multiple devices
CN109633632B (zh) * 2018-12-26 2021-11-30 青岛小鸟看看科技有限公司 一种头戴显示设备，手柄及其定位追踪方法
CN109862339A (zh) * 2019-02-19 2019-06-07 浙江舜宇光学有限公司 增强现实的再现方法、装置、系统、存储介质和处理器
JP7330280B2 (ja) 2019-02-22 2023-08-21 ビュージックス コーポレーション 平行板導波路
CN110033521B (zh) * 2019-04-01 2020-01-14 重庆固成未来教育科技有限公司 一种基于vr与ar技术的三维可视化系统
WO2020236460A1 (en) 2019-05-23 2020-11-26 Magic Leap, Inc. Blended mode three dimensional display systems and methods
JP7379961B2 (ja) * 2019-09-04 2023-11-15 株式会社Ｊｖｃケンウッド 表示システム、及び表示方法
CN110782532B (zh) * 2019-10-23 2021-04-16 北京达佳互联信息技术有限公司 图像生成方法、生成装置、电子设备及存储介质
WO2021113482A1 (en) 2019-12-06 2021-06-10 Magic Leap, Inc. Virtual, augmented, and mixed reality systems and methods
US11276201B1 (en) 2020-06-01 2022-03-15 Snap Inc. Localizing an augmented reality device
US11748954B2 (en) * 2020-06-01 2023-09-05 Snap Inc. Tracking an augmented reality device
SE2030252A1 (en) * 2020-08-13 2022-02-14 Nagoon AB Method performed by a computer system for creation of augmented reality experiences and connection of these to the real world
JP2024513890A (ja) * 2021-04-09 2024-03-27 インターディジタル・シーイー・パテント・ホールディングス・ソシエテ・パ・アクシオンス・シンプリフィエ 多平面画像のシーケンスを符号化／復号するための方法及び装置、コンピュータ生成ホログラムを再構成するための方法及び装置
US11288027B1 (en) * 2021-04-14 2022-03-29 Varjo Technologies Oy Peripheral display apparatus and system
JP2022185485A (ja) 2021-06-02 2022-12-14 トヨタ自動車株式会社 ステータとその製造方法
CN114265330B (zh) * 2021-12-17 2023-05-02 中国人民解放军空军特色医学中心 一种基于模拟飞行的增强现实显示效果评估系统及方法
US11586286B1 (en) 2022-05-18 2023-02-21 Bank Of America Corporation System and method for navigating on an augmented reality display
US11720380B1 (en) 2022-05-18 2023-08-08 Bank Of America Corporation System and method for updating augmented reality navigation instructions based on a detected error

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6084979A (en) * 1996-06-20 2000-07-04 Carnegie Mellon University Method for creating virtual reality
US6377276B1 (en) * 1998-06-18 2002-04-23 Sony Corporation Bitmap animation of on-screen-display graphics over a distributed network and a clipping region having a visible window
CN104392045A (zh) * 2014-11-25 2015-03-04 沈阳建筑大学 一种基于智能移动终端的实时增强虚拟现实系统及方法

Family Cites Families (105)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6222525B1 (en) 1992-03-05 2001-04-24 Brad A. Armstrong Image controllers with sheet connected sensors
US6351261B1 (en) 1993-08-31 2002-02-26 Sun Microsystems, Inc. System and method for a virtual reality system having a frame buffer that stores a plurality of view points that can be selected and viewed by the user
US5670988A (en) 1995-09-05 1997-09-23 Interlink Electronics, Inc. Trigger operated electronic device
DE19906769A1 (de) 1998-02-19 1999-12-16 Leica Microsystems Überlastschutz zur Vermeidung einer Beschädigung optischer Komponenten
US6801213B2 (en) 2000-04-14 2004-10-05 Brillian Corporation System and method for superframe dithering in a liquid crystal display
US20050193425A1 (en) * 2000-07-24 2005-09-01 Sanghoon Sull Delivery and presentation of content-relevant information associated with frames of audio-visual programs
JP3406965B2 (ja) 2000-11-24 2003-05-19 キヤノン株式会社 複合現実感提示装置及びその制御方法
US7522257B2 (en) * 2001-01-23 2009-04-21 Kenneth Jacobs System and method for a 3-D phenomenoscope
US7850304B2 (en) 2001-01-23 2010-12-14 Kenneth Martin Jacobs Continuous adjustable 3Deeps filter spectacles for optimized 3Deeps stereoscopic viewing and its control method and means
US7604348B2 (en) 2001-01-23 2009-10-20 Kenneth Martin Jacobs Continuous adjustable 3deeps filter spectacles for optimized 3deeps stereoscopic viewing and its control method and means
US7508485B2 (en) * 2001-01-23 2009-03-24 Kenneth Martin Jacobs System and method for controlling 3D viewing spectacles
US7218339B2 (en) * 2002-01-22 2007-05-15 Kenneth Jacobs Eternalism, a method for creating an appearance of sustained three-dimensional motion-direction of unlimited duration, using a finite number of pictures
US7391888B2 (en) * 2003-05-30 2008-06-24 Microsoft Corporation Head pose assessment methods and systems
JP4463538B2 (ja) 2003-12-15 2010-05-19 三菱電機株式会社 マルチディスプレイ三次元グラフィックス表示装置
SG155167A1 (en) * 2004-08-03 2009-09-30 Silverbrook Res Pty Ltd Walk-up printing
JP4904692B2 (ja) * 2005-01-28 2012-03-28 株式会社ニコン 画像再生装置、及び画像再生プログラム
JP2007018173A (ja) * 2005-07-06 2007-01-25 Canon Inc 画像処理方法、画像処理装置
US8696113B2 (en) 2005-10-07 2014-04-15 Percept Technologies Inc. Enhanced optical and perceptual digital eyewear
US11428937B2 (en) 2005-10-07 2022-08-30 Percept Technologies Enhanced optical and perceptual digital eyewear
US20070081123A1 (en) 2005-10-07 2007-04-12 Lewis Scott W Digital eyewear
JP2007148567A (ja) 2005-11-24 2007-06-14 Canon Inc 画像処理方法、画像処理装置
CN103000138A (zh) * 2005-12-19 2013-03-27 皮克斯特罗尼克斯公司 直视mems显示装置以及在其上生成图像的方法
JP4519865B2 (ja) 2007-01-29 2010-08-04 三菱電機株式会社 通信装置
JP4857196B2 (ja) 2007-05-31 2012-01-18 キヤノン株式会社 頭部装着型表示装置、及びその制御方法
JP4889036B2 (ja) 2007-07-17 2012-02-29 キヤノン株式会社 画像処理装置、画像処理方法
CN101925929A (zh) * 2008-01-22 2010-12-22 杰森·博 用于显示深度效果增强的图像的方法和装置
WO2010036128A2 (en) 2008-08-27 2010-04-01 Puredepth Limited Improvements in and relating to electronic visual displays
ES2390253T3 (es) 2008-09-25 2012-11-08 Koninklijke Philips Electronics N.V. Procesamiento de datos de imagen tridimensional
TWI542190B (zh) 2008-11-04 2016-07-11 皇家飛利浦電子股份有限公司 編碼三維影像信號的方法及系統、經編碼之三維影像信號、解碼三維影像信號的方法及系統
US8301013B2 (en) * 2008-11-18 2012-10-30 Panasonic Corporation Reproduction device, reproduction method, and program for stereoscopic reproduction
US9256282B2 (en) * 2009-03-20 2016-02-09 Microsoft Technology Licensing, Llc Virtual object manipulation
BRPI1004351A2 (pt) 2009-06-11 2020-06-23 Panasonic Corporation Dispositivo de reprodução, circuito integrado, meio de gravação.
JP5604825B2 (ja) 2009-08-19 2014-10-15 ソニー株式会社 画像処理装置および方法
JP2011082675A (ja) 2009-10-05 2011-04-21 Sony Corp 画像信号処理装置、画像信号処理方法、画像表示装置、画像表示方法、プログラム、および画像表示システム
US20110175902A1 (en) * 2010-01-20 2011-07-21 Apple Inc. Multilayer display device
GB2477120A (en) * 2010-01-22 2011-07-27 Icescreen Ehf Media editing using poly-dimensional display of sequential image frames
KR101829345B1 (ko) 2010-06-28 2018-02-19 톰슨 라이센싱 입체 컨텐츠의 3-차원적인 효과들을 요구에 맞추기 위한 방법 및 장치
KR20120017228A (ko) 2010-08-18 2012-02-28 엘지전자 주식회사 이동 단말기 및 상기 이동 단말기의 영상 표시 방법
JP5837606B2 (ja) 2010-11-15 2015-12-24 エルジー エレクトロニクス インコーポレイティド フレームフォーマット変換方法及びその方法を使用する装置
US9304319B2 (en) 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
JP2012120067A (ja) 2010-12-03 2012-06-21 Brother Ind Ltd シースルー型画像表示装置およびシースルー型画像表示方法
US10156722B2 (en) 2010-12-24 2018-12-18 Magic Leap, Inc. Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
JP6185844B2 (ja) 2010-12-24 2017-08-30 マジック リープ， インコーポレイテッド 人間工学的ヘッドマウントディスプレイデバイスおよび光学システム
US9041774B2 (en) * 2011-01-07 2015-05-26 Sony Computer Entertainment America, LLC Dynamic adjustment of predetermined three-dimensional video settings based on scene content
US8514225B2 (en) 2011-01-07 2013-08-20 Sony Computer Entertainment America Llc Scaling pixel depth values of user-controlled virtual object in three-dimensional scene
CN103635891B (zh) 2011-05-06 2017-10-27 奇跃公司 大量同时远程数字呈现世界
JP2013003848A (ja) * 2011-06-16 2013-01-07 Nippon Telegr & Teleph Corp <Ntt> 仮想物体表示装置
JP2013066075A (ja) 2011-09-01 2013-04-11 Sony Corp 送信装置、送信方法および受信装置
EP2761362A4 (en) 2011-09-26 2014-08-06 Microsoft Corp VIDEO DISPLAY CHANGE BASED ON SENSOR INPUT FOR TRANSPARENT EYE DISPLAY
EP2760363A4 (en) 2011-09-29 2015-06-24 Magic Leap Inc TACTILE GLOVE FOR HUMAN COMPUTER INTERACTION
BR112014010230A8 (pt) 2011-10-28 2017-06-20 Magic Leap Inc sistema e método para realidade virtual e aumentada
CA3024054C (en) 2011-11-23 2020-12-29 Magic Leap, Inc. Three dimensional virtual and augmented reality display system
US9392251B2 (en) * 2011-12-29 2016-07-12 Samsung Electronics Co., Ltd. Display apparatus, glasses apparatus and method for controlling depth
WO2013121823A1 (ja) * 2012-02-16 2013-08-22 ソニー株式会社 送信装置、送信方法および受信装置
WO2013152205A1 (en) 2012-04-05 2013-10-10 Augmented Vision Inc. Wide-field of view (fov) imaging devices with active foveation capability
US20130286053A1 (en) * 2012-04-25 2013-10-31 Rod G. Fleck Direct view augmented reality eyeglass-type display
GB2501929B (en) * 2012-05-11 2015-06-24 Sony Comp Entertainment Europe Apparatus and method for augmented reality
JP2013254151A (ja) 2012-06-08 2013-12-19 Canon Inc 画像処理装置および画像処理方法
CN104737061B (zh) * 2012-06-11 2018-01-16 奇跃公司 使用波导反射器阵列投射器的多深度平面三维显示器
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US8957855B2 (en) * 2012-06-25 2015-02-17 Cyberlink Corp. Method for displaying a stereoscopic cursor among stereoscopic objects
US10129524B2 (en) * 2012-06-26 2018-11-13 Google Llc Depth-assigned content for depth-enhanced virtual reality images
US8754829B2 (en) * 2012-08-04 2014-06-17 Paul Lapstun Scanning light field camera and display
RU2012138174A (ru) * 2012-09-06 2014-03-27 Сисвел Текнолоджи С.Р.Л. Способ компоновки формата цифрового стереоскопического видеопотока 3dz tile format
EP2895910A4 (en) 2012-09-11 2016-04-20 Magic Leap Inc ERGONOMIC HEAD-MOUNTED DISPLAY DEVICE AND OPTICAL SYSTEM
JP5873982B2 (ja) 2012-10-09 2016-03-01 パナソニックＩｐマネジメント株式会社 ３次元表示装置、３次元画像処理装置および３次元表示方法
KR101909630B1 (ko) 2012-10-30 2018-10-18 삼성전자주식회사 동작 인식 방법 및 동작 인식 장치
US9619911B2 (en) 2012-11-13 2017-04-11 Qualcomm Incorporated Modifying virtual object display properties
KR101984915B1 (ko) * 2012-12-03 2019-09-03 삼성전자주식회사 증강 현실 컨텐츠 운용 방법 및 이를 지원하는 단말기와 시스템
KR20150103723A (ko) * 2013-01-03 2015-09-11 메타 컴퍼니 가상 또는 증강매개된 비전을 위한 엑스트라미시브 공간 이미징 디지털 아이 글래스
JP6025050B2 (ja) 2013-01-11 2016-11-16 パナソニックＩｐマネジメント株式会社 照明装置
US10151875B2 (en) 2013-01-15 2018-12-11 Magic Leap, Inc. Ultra-high resolution scanning fiber display
KR102387314B1 (ko) * 2013-03-11 2022-04-14 매직 립, 인코포레이티드 증강 및 가상 현실을 위한 시스템 및 방법
US10371943B2 (en) 2013-03-14 2019-08-06 Valve Corporation Method and system to control the focus depth of projected images
NZ751602A (en) 2013-03-15 2020-01-31 Magic Leap Inc Display system and method
US20160033770A1 (en) 2013-03-26 2016-02-04 Seiko Epson Corporation Head-mounted display device, control method of head-mounted display device, and display system
US9036078B1 (en) 2013-05-14 2015-05-19 Google Inc. Reducing light damage in shutterless imaging devices
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
US9514571B2 (en) 2013-07-25 2016-12-06 Microsoft Technology Licensing, Llc Late stage reprojection
JP5466786B1 (ja) * 2013-08-28 2014-04-09 株式会社 ディー・エヌ・エー 画像処理装置及び画像処理プログラム
EP3058418B1 (en) 2013-10-16 2023-10-04 Magic Leap, Inc. Virtual or augmented reality headsets having adjustable interpupillary distance
US9857591B2 (en) 2014-05-30 2018-01-02 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
KR102268462B1 (ko) 2013-11-27 2021-06-22 매직 립, 인코포레이티드 가상 및 증강 현실 시스템들 및 방법들
KR102197504B1 (ko) 2013-12-18 2020-12-31 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 사전 계산된 조명으로 증강 현실 환경을 구성하는 기법
US10244223B2 (en) * 2014-01-10 2019-03-26 Ostendo Technologies, Inc. Methods for full parallax compressed light field 3D imaging systems
EP4071537A1 (en) 2014-01-31 2022-10-12 Magic Leap, Inc. Multi-focal display system
EP3100098B8 (en) 2014-01-31 2022-10-05 Magic Leap, Inc. Multi-focal display system and method
US10203762B2 (en) 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
GB2524478A (en) 2014-03-20 2015-09-30 Nokia Technologies Oy Method, apparatus and computer program product for filtering of media content
US9563269B2 (en) 2014-03-25 2017-02-07 Microsoft Technology Licensing, Llc Scanning liquid-crystal display backlight
US9971153B2 (en) 2014-03-29 2018-05-15 Frimory Technologies Ltd. Method and apparatus for displaying video data
US9495801B2 (en) * 2014-05-01 2016-11-15 Microsoft Technology Licensing, Llc Pose tracking an augmented reality device
US20150324568A1 (en) 2014-05-09 2015-11-12 Eyefluence, Inc. Systems and methods for using eye signals with secure mobile communications
KR102193052B1 (ko) 2014-05-30 2020-12-18 매직 립, 인코포레이티드 가상 또는 증강 현실 장치로 가상 콘텐츠 디스플레이를 생성하기 위한 방법들 및 시스템들
GB2528699B (en) * 2014-07-29 2017-05-03 Sony Computer Entertainment Europe Ltd Image processing
WO2016105521A1 (en) 2014-12-23 2016-06-30 Meta Company Apparatuses, methods and systems coupling visual accommodation and visual convergence to the same plane at any depth of an object of interest
US10721517B2 (en) 2015-03-20 2020-07-21 Liuzhou Guitong Technology Co., Ltd. Method and system for synchronously reproducing multimedia multi-information
US10284816B2 (en) * 2015-03-23 2019-05-07 Intel Corporation Facilitating true three-dimensional virtual representation of real objects using dynamic three-dimensional shapes
USD758367S1 (en) 2015-05-14 2016-06-07 Magic Leap, Inc. Virtual reality headset
US9240069B1 (en) * 2015-06-30 2016-01-19 Ariadne's Thread (Usa), Inc. Low-latency virtual reality display system
US10089790B2 (en) * 2015-06-30 2018-10-02 Ariadne's Thread (Usa), Inc. Predictive virtual reality display system with post rendering correction
CA2995978A1 (en) 2015-08-18 2017-02-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
KR102257181B1 (ko) 2016-09-13 2021-05-27 매직 립, 인코포레이티드 감각 안경류
US10735649B2 (en) 2018-02-22 2020-08-04 Magic Leap, Inc. Virtual and augmented reality systems and methods using display system control information embedded in image data

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6084979A (en) * 1996-06-20 2000-07-04 Carnegie Mellon University Method for creating virtual reality
US6377276B1 (en) * 1998-06-18 2002-04-23 Sony Corporation Bitmap animation of on-screen-display graphics over a distributed network and a clipping region having a visible window
CN104392045A (zh) * 2014-11-25 2015-03-04 沈阳建筑大学 一种基于智能移动终端的实时增强虚拟现实系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
数字全息三维立体显示关键技术研究;郑华东;《中国博士学位论文全文数据库 基础科学辑》;20100515(第5期);A005-7 *

Also Published As

Publication number Publication date
JP7036773B2 (ja) 2022-03-15
IL257505B2 (en) 2024-01-01
CN109407835A (zh) 2019-03-01
US11481911B2 (en) 2022-10-25
AU2021209169A1 (en) 2021-08-19
US20170053450A1 (en) 2017-02-23
US20230005167A1 (en) 2023-01-05
IL257505B1 (en) 2023-09-01
CN114998557A (zh) 2022-09-02
CN109407835B (zh) 2023-01-13
EP4198911A1 (en) 2023-06-21
US11302018B2 (en) 2022-04-12
EP3338251A4 (en) 2019-04-03
CN109409251B (zh) 2023-05-16
IL257505A (en) 2018-06-28
KR20180038552A (ko) 2018-04-16
US20180061139A1 (en) 2018-03-01
JP2023010774A (ja) 2023-01-20
JP2018533108A (ja) 2018-11-08
WO2017031246A1 (en) 2017-02-23
CA2995978A1 (en) 2017-02-23
JP2021093206A (ja) 2021-06-17
CN108140259A (zh) 2018-06-08
JP2024036460A (ja) 2024-03-15
AU2016308731A1 (en) 2018-03-15
JP7230082B2 (ja) 2023-02-28
EP3338251B1 (en) 2023-01-25
IL305152A (en) 2023-10-01
JP2019191600A (ja) 2019-10-31
NZ752336A (en) 2023-06-30
JP7036711B2 (ja) 2022-03-15
JP7454627B2 (ja) 2024-03-22
KR20230042142A (ko) 2023-03-27
KR102511490B1 (ko) 2023-03-16
CN109409251A (zh) 2019-03-01
NZ739860A (en) 2019-10-25
EP3338251A1 (en) 2018-06-27

Similar Documents

Publication Publication Date Title
JP7230082B2 (ja) 仮想および拡張現実システムならびに方法
AU2022201611B2 (en) Virtual, augmented, and mixed reality systems and methods
US11800218B2 (en) Virtual and augmented reality systems and methods
NZ791444A (en) Virtual, augmented, and mixed reality systems and methods

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant