CN107003734B - 将视觉调节和视觉会聚耦合到感兴趣对象的任何深度处的同一平面的设备、方法和系统 - Google Patents

将视觉调节和视觉会聚耦合到感兴趣对象的任何深度处的同一平面的设备、方法和系统 Download PDF

Info

Publication number
CN107003734B
CN107003734B CN201580065116.6A CN201580065116A CN107003734B CN 107003734 B CN107003734 B CN 107003734B CN 201580065116 A CN201580065116 A CN 201580065116A CN 107003734 B CN107003734 B CN 107003734B
Authority
CN
China
Prior art keywords
display
pixels
focal plane
intensity
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580065116.6A
Other languages
English (en)
Other versions
CN107003734A (zh
Inventor
R·C·H·洛
S·巴尔达斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bonfire 3d Co
Original Assignee
Meida Vision Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Meida Vision Co Ltd filed Critical Meida Vision Co Ltd
Publication of CN107003734A publication Critical patent/CN107003734A/zh
Application granted granted Critical
Publication of CN107003734B publication Critical patent/CN107003734B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/10—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images using integral imaging methods
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/12—Fluid-filled or evacuated lenses
    • G02B3/14—Fluid-filled or evacuated lenses of variable focal length
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • G09G3/30—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
    • G09G3/32—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED]
    • G09G3/3208—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED] organic, e.g. using organic light-emitting diodes [OLED]
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • G09G3/3611—Control of matrices with row and column drivers
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/363—Graphics controllers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/388—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0127—Head-up displays characterised by optical features comprising devices increasing the depth of field
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0185—Displaying image at variable distance
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00—Aspects of the constitution of display devices
    • G09G2300/02—Composition of display devices
    • G09G2300/023—Display panel composed of stacked panels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0233—Improving the luminance or brightness uniformity across the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0626—Adjustment of display parameters for control of overall brightness
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/045—Zooming at least part of an image, i.e. enlarging it or shrinking it
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed

Abstract

本公开的设备、方法和系统的方面通过将视觉调节和视觉会聚实时耦合到感兴趣对象的任何深度处的同一平面来提供三维梯度和动态光场，以便以3D技术，特别是3D增强现实(AR)装置进行显示。

Description

将视觉调节和视觉会聚耦合到感兴趣对象的任何深度处的同 一平面的设备、方法和系统
相关申请的交叉引用
本申请根据美国法典第35篇第119条(e)款要求2014年12月23日在美国专利和商标局提交的题为“APPARATUSES,METHODS AND SYSTEMS COUPLING VISUAL ACCOMMODATIONAND VISUAL CONVERGENCE TO THE SAME PLANE AT ANY DEPTH OF AN OBJECT OFINTEREST”的美国临时申请号62/096,521的利益，所述临时申请的全部内容出于所有的目的通过引用的方式明确地并入本文。
发明背景
存在提供虚拟或增强现实显示器的许多类型的视觉系统。特别地，诸如头戴式显示器(HMD)的可佩戴技术变得越来越受欢迎。然而，即使仅在短时间内佩戴或使用，一些用户佩戴或使用此类视觉系统也可能存在问题。
发明内容
在一个一般方面，本文所描述的过程、系统、部件和技术使得能够创建光场(例如，梯度和动态光场)，以便为视觉系统的用户生成三维(3D)图像，同时保持和/或优化虚拟或增强现实显示的功能以及观看由光场提供的图像的用户的舒适度。
在一个一般方面，一种视觉系统包括：第一显示器；第二显示器；以及光学元件。光学元件布置在离第一显示器的第一距离处并且离第二显示器的第二距离处，以将第一显示器发射的光投射在第一焦平面中并且将从第二显示器发射的光投射在第二焦平面中。处理装置被配置来控制第一显示器和第二显示器的一个或多个像素的相对强度(RI)，以产生感知的三维光场。
第一焦平面可以是系统的观看者的焦点的远平面(FP)，并且第二焦平面可以是系统的观看者的焦点的近平面(NP)。
系统的RI可以表示为：RI＝(INP-IFP)/(INP+IFP)，其中RI是在图像的每个像素处计算并且归一化的相对强度，INP是在NP中提供的图像的强度，IFP是在FP中提供的图像的强度。
第一显示器可以是液晶显示器，并且第二显示器可以是透明有机发光二极管显示器，并且所述光学元件可具有单个焦点。
所述系统还可以包括附加显示器。例如，第三显示器可以布置在离光学元件的第三距离处，所述第三显示器比第一显示器更靠近并且比第二显示器更远离，其中第三显示器布置成将图像投射在系统的观看者的焦点的中间平面中。
在另一个一般方面，一种视觉系统包括：显示器，其包括至少第一部分和第二部分；多焦点光学元件，其包括第一焦点，所述第一焦点布置成将从显示器的第一部分发射的光投射在第一焦平面中；以及第二焦点，所述第二焦点布置成将从显示器的第二部分发射的光投射在第二焦平面中；以及处理装置，其被配置来控制显示器的第一部分和显示器的第二部分的一个或多个像素的相对强度(RI)，以产生感知的三维光场。
系统的第一焦平面可以是系统的观看者的焦点的远平面(FP)，并且第二焦平面可以是系统的观看者的焦点的近平面(NP)。
系统的RI可以表示为：RI＝(INP-IFP)/(INP+IFP)，其中RI是在图像的每个像素处计算并且归一化的相对强度，INP是在NP中提供的图像的强度，IFP是在FP中提供的图像的强度。
显示器还可以包括第三部分，并且多焦点光学元件可以包括第三焦点，所述第三焦点布置成将来自第三部分的图像投射在系统的观看者的焦点的中间平面中。
在另一个一般方面，一种为视觉系统生成梯度光场的方法，所述方法包括：通过视觉系统的至少一个部件接收图像数据；通过部件针对将要呈现给观看者的图像数据的像素确定由至少两个焦平面形成的梯度光场内的感知深度；确定图像数据的像素在每个焦平面中的相对强度(RI)，所述RI对应于光场中的像素的所确定的感知深度；以及控制对应光源的像素或光源的一部分以便以对应于所确定RI的强度照明。
所述方法可以确定RI，如下式所示：RI＝(INP-IFP)/(INP+IFP)，其中RI是在图像的每个像素处计算并且归一化的相对强度，INP是在NP中提供的图像的强度，IFP是在FP中提供的图像的强度。
在另一个一般方面，一种视觉系统，其包括：眼睛跟踪装置，其被配置为确定系统的观看者的眼睛的位置；多焦点光学元件；以及处理装置，其被配置来确定视觉系统的观看者的三维空间中的会聚点，以便基于所确定的会聚点来调整视觉系统的焦平面，并且基于经调整的焦平面通过视觉系统来呈现显示图像的深度相关的视差和模糊。
在另一个一般方面，向视觉系统的观看者生成感知动态光场的方法包括：确定视觉系统的观看者的三维空间中的会聚点；基于所确定的会聚点调整视觉系统的焦平面；以及基于经调整的焦平面通过视觉系统来呈现显示图像的深度相关的视差和模糊。
所述方法还可以包括：将来自源的光导向观看者的眼睛；感测光源来自眼睛的反射；以及确定观看者的每只眼睛的眼睛位置，其中基于所确定的观看者的眼睛位置来确定会聚点。
各种实施方案的细节在附图和以下描述中进行阐述。其他特征和优点将从以下描述、附图和权利要求书中显而易见。
附图简述
以下描述通过举例更详细地示出本公开设备、方法和系统的实施方案的各方面，这些实施方案旨在参考附图是非限制性和说明性的，在附图中：
图1A和图1B示出在视觉过程中视觉调节和视觉会聚的耦合的实例。
图1C和图1D示出在视觉过程中视觉调节和视觉会聚的解耦的实例。
图2A示出对象的感知深度随相对强度变化的实例。
图2B示出使用图2A的示例性功能来提供两个焦平面和照亮场景的实例。
图2C示出产生包括三个焦平面的多平面梯度光场的配置的一个实例。
图3A和图3B示出使用三个焦平面的视觉系统的实例。
图4示出用于控制视觉系统的一个或多个光源以提供梯度光场的过程的实例。
图5A、图5B、图5C和图5D示出提供梯度或多梯度光场的视觉系统的实例。
图6示出图5A和图5B所示系统的配置的实例。
图7示出用于控制视觉系统的一个或多个光源以提供梯度光场的过程的实例。
图8示出用于在视觉系统中显示的图像的对准的实例。
图9示出提供用于观看三维图像的动态光场的视觉系统的一个实例。
图10示出由图9的视觉系统实现的过程的一个实例。
图11A和图11B示出在两个不同焦平面中处理由视觉系统呈现的对象的实例。
图12A和图12B示出离轴增强现实视觉系统的光学图的实例。
图13示出与光源位置相关的焦平面的实例。
图14示出用于以虚拟焦平面为目标的显示移动的实例。
图15和图16示出提供显示移动以调整不同FOV的数字内容的感知位置的视觉系统的实例。
具体实施方式
以下详细描述本质上仅仅是示例性的并且并不意图限制所述实施方案(实例、选项等)或所述实施方案的应用和用途。如本文所使用，词语“示例性”或“说明性”意指“用作一个实例、例子或例示”。本文描述为是“示例性”或“说明性”的任何实现方式都不必被解释为比其他实现方式优选或有利。下文所描述的所有实现方式都是被提供用于实现或使用本公开的实施方案的示例性实现方式，并不意图限制本公开的范围。为了本文的描述，术语“上”、“下”、“左”、“后”、“右”、“前”、“竖直”、“水平”以及类似术语或其衍生词与实例的关系如附图中所定向的，并且除非特别指出，否则不一定反映现实世界取向。此外，本发明并不意图受到前述简要概述或以下详细描述中所提出的任何所表述或暗含理论的约束。还应理解，附图中说明且在以下说明书中描述的特定装置和过程是示例性实施方案(实例)、方面和/或构思。因此，与本文所公开的实施方案相关的特定尺寸和其他物理特性不应视为限制性的，除了明确声明的任何权利要求书之外。应了解，“至少一个”等同于“一个”。
参考附图描述各方面(实例、变更、修改、选项、变型、实施方案以及其任何等同物)；应当理解，本文的描述通过说明各种实施方案的方式示出，其中可以实施要求保护的发明，并且不是详尽的或排他的。它们只是为了帮助理解和教导要求保护的原理而呈现。应当理解，它们不一定代表所有要求保护的发明。因此，本文中没有讨论一些实施方案的某些方面。所述替代实施方案可能未被呈现用于本发明的特定部分，或未被描述的另外的替代实施方案可用于一部分不被认为是那些替代实施方案的免责声明。应当理解，许多未描述的那些实施方案包含与本发明和等同的其他实施方案相同的原理。因此，应理解，在不脱离本公开的范围和/或精神的情况下，可利用其他实施方案并且可进行功能、逻辑、组织、结构和/或拓扑结构修改。
视觉过程：
在一个一般方面，人类双目或立体视觉包含至少两个紧密耦合的生理机制。例如，一个机制可以被标记为视觉调节(VA)。VA可以指眼睛晶状体的曲率的动态变化，所述眼睛晶状体调整对应于例如一个或多个感兴趣对象(OOI)的深度平面(例如，焦平面)上的焦点。另一种机制可以被标记为视觉会聚(VC)，有时被称为聚散度。VC可以指每只眼睛的转动，其允许每只眼睛的视线会聚在空间中例如对应于位于不同距离处的OOI的一点处。图1A、图1B、图1C和图1D有助于说明这些机制。
例如，如图1A和图1B所示，一对眼睛101在近深度135和远深度125处观察OOI 110。如图1A、图1B、图1C和图1D所示，眼睛晶状体随深度的变化改变曲率。每只眼睛的视线120在对应于眼睛晶状体的第一曲率127的远深度125处的调节平面(AP)123中的OOI110的会聚点(CP)122处会聚。当OOI 110向前移动(如图1B所示)时，眼睛向内转动，使得新视线128在对应于眼睛晶状体的第二曲率137的近深度135处的AP 133中的OOI 110的CP 130处会聚。如图1A和图1B所示，AP和CP位于同一平面(例如，图1A中的123和图1B中的133)中。因此，图1A和图1B示出普通人类视觉的一个实例，其中VA和VC耦合到远OOI(图1A)和近OOI(图1B)。
图1C和图1D示出VA和VC的解耦的一个实例。例如，如图1C所示，一对眼睛101观察OOI 110。然而，每只眼睛的视线140在远离AP 145的深度143处在OOI 110的CP 142处会聚。图1D示出眼睛101的视线150的实例，所述视线在比AP 145更近的深度153处在OOI 110的CP152处会聚。在图1C和图1D所示的实例中，眼睛晶状体的曲率157(其可调整来聚焦在不同深度的OOI处)被固定在平面145上。因此，焦平面145从OOI 110的表观深度偏离，无论是靠近还是远处，并且仅CP动态地跟踪OOI 110。
鉴于屈光度是单位＝1/米，当CP与AP之间的距离大于例如像约1/3屈光度的距离时，个体通常经历眼睛疲劳和/或视觉不适的其他症状。因此，当CP由视觉系统动态设置以确保每只眼睛所看到的对象的图像的视觉融合时；不佳的会聚会导致例如复视。此外，当视觉系统提供单一不变的AP时，例如，在图像被投射并且CP动态变化的情况下，眼睛疲劳和相关的不适也可能发生。
然而，如本文所述，人类感知系统具有以有效方式组合各种感官提示以便感知空间中‘物理上似真实的’的数字对象的能力。例如，人类感知系统具有整合诸如亮度、深度、形状信息中的一种或多种的感官提示以形成或感知连贯的视觉对象的能力等。因此，如本文所述，人类感知的特性可以通过视觉系统来利用，可以采用硬件和/或软件体系结构来形成数字图像，所述数字图像可由视觉系统的用户借助于人脑深度敏感模块的原理来在空间中定位或感知。
梯度光场：
根据本文所描述的系统和技术的一个示例性实施方案，梯度光场由视觉系统提供，以例如为视觉系统的用户生成3D图像，同时维持和/或优化用户观看图像的舒适度。视觉系统可以任何系统实现，所述系统包括提供数字图像图形处理的至少一个处理装置、由处理装置控制的至少一个光源以及用于投射图像的一个或多个对应的视觉光学元件。以下更详细地描述视觉系统的各种部件和配置。在一个实例中，视觉系统可以结合在头戴式显示系统(HMD)等中，例如像2014年1月3日提交的题为“Extramissive Spatial ImagingDigital Eye Glass Apparatuses,Methods and Systems for Virtual or AugmediatedVision,Manipulation,Creation,or Interaction with Objects,Materials,or OtherEntities”的美国专利申请号14/147,199中所描述的系统，或在2015年11月18日提交的题为“Wide Field of View Head Mounted Display Apparatuses,Methods and Systems”的美国专利申请号14/945,372中所描述的系统，所述专利申请的全部内容出于所有的目的通过引用的方式并入本文。
在一个实现方式中，视觉系统投射在至少两个不同焦平面-例如，近平面(NP)和远平面(FP)的相同平面(即，二维(“2D”))位置中，所述平面由以屈光度单位表示的深度Δ分开。如果两个投射图像中的对象相同或基本上类似，则人类视觉系统将两个投射图像的对象整合到单个对象中，所述单个对象的感知深度取决于形成每个投射图像中的对象的像素的相对强度。
在视觉系统的一个实现方式中，像素的相对强度可以给出为：
RI＝(INP-IFP)/(INP+IFP) [1]
其中RI是可以在图像的每个像素处计算并且归一化的相对强度，INP是在NP中提供的图像的强度，并且IFP是FP中提供的图像的强度。
图2A示出对象的感知深度随RI变化的实例。如图2A所示，在一个实例中，对象的深度由两个焦平面(例如，NP和FP)中的强度值预测，其中RI的正值指示INP相比于IFP占优势的那些情况，RI的负值指示IFP相比于INP占优势的那些情况。当RI为零时，IFP和INP的强度值基本上相同，这导致用户在由两个焦平面形成的体积中途感知到OOI。
当投射对象仅在FP中照亮并且NP完全变暗时，对象的图像将在FP的深度处被感知。在这种情况下，VC和VA都注册到FP。当投射对象仅在NP平面中照亮并且FP平面完全变暗时，对象将在NP的深度处被感知。在这种情况下，VC和VA都注册到NP。然而，当图像的总照度分布在两个焦平面上时，OOI将在两个焦平面之间的一距离或深度处被感知，所述距离或深度根据FP和NP的RI而变化。例如，如果对象在对应于对象的每个像素处反射的总亮度在两个平面中均匀分布(即，NP中50％和FP中50％)，则对象将被感知为浮动在距离D处，所述距离为两个焦平面之间的1/2Δ。因此，在一个实例中，视觉系统可以根据对象在每一像素处反射的总亮度在两个焦平面中的每一者中的分布的线性关系(例如，如图2A所示)来提供梯度光场，从而允许系统将对象呈现为在两个焦平面之间的任何分数Δ处由观看者感知。在一个实施方案中，例如对于梯度光场的观看者的舒适度来说，距离Δ小于或等于0.66屈光度。
根据图2A所示的关系，VC和VA分别会聚和调节在两个焦平面之间的投射OOI的明显(或虚幻)深度的平面处，例如，如图2B所示。如图2B所示，场景200被描绘为具有两个OOI，例如灯塔和鹈鹕。在这个实例中，视觉系统提供两个焦平面210和212，从而分别提供NP和FP。如图2B所示，鹈鹕的图像216和灯塔的图像218被投射在NP 210中。在所述实例中，在NP210中，鹈鹕的图像216的强度高于灯塔的图像218的强度。此外，鹈鹕的图像226和灯塔的图像228被投射在FP 212中。在所述实例中，在FP中，鹈鹕的图像226的强度低于灯塔的图像218的强度。由场景200的观看者感知到的所得到的图像包括鹈鹕236和灯塔238，因为它们作为两个平面中的每个对象的RI的效果在感知体积中出现。在这个实例中，鹈鹕236对于观看者看起来更靠近NP而不是FP，并且灯塔233对于观看者看起来更靠近FP而不是NP。根据观看者当前正在观看的对象，VC和VA共同聚焦在一个或另一个OOI上。因此，无论用户在场景200中看到哪个OOI，3D场景200被观看者感知，同时保持和/或优化观看者的舒适度。在一个实例中，NP与FP之间的距离Δ可以表示为0.5≤Δ≤0.66屈光度，以便例如提供具有增强的观看者舒适度的场景。
应当理解，可以使用多于两个焦平面来在空间中提供感知体积。例如，视觉系统可以通过提供三个或更多个焦平面来实现多平面梯度光场，以扩展用于观看者感知的体积的深度或范围。在一个实现方式中，焦平面具有对应的2D位置和特定深度，以便实现体积的最佳分离。在一个实现方式中，可以选择两个相邻平面之间的分离，以增强感知3D OOI的观看者的舒适度。例如，焦平面之间的深度或距离可以选择为等于或小于0.66屈光度，以提供围绕每个焦平面的等于基本上0.33屈光度的示例性视觉舒适区。图2C中示出多平面梯度光场的配置的一个这样的实例。
图2C示出产生包括三个焦平面的多平面梯度光场的配置的一个实例280。根据这个实例，中间平面(MP)285位于NP 290与FP 295之间。在一个实现方式中，焦平面可以位于分别对应于FP、MP和NP的0.34、1和1.66屈光度的光焦度的相对距离处。然而，这些距离是示例性的，并且可以使用其他距离和配置。
在一个实例中，可以使用两个或更多个光源(例如像，显示器)来创建多个焦平面(例如，2个或更多个平面)。例如，可以使用两个显示器来提供上述梯度光场的图像，或可以使用三个或更多个显示器来提供上述多平面梯度光场的图像。在一个实现方式中，通过在离单个聚焦光学元件不同的距离处配置、定位、堆叠或叠加多个显示器来生成梯度光场。在一个实例中，光学元件可以是一个或多个透镜，诸如由护目镜(例如，光学组合器)的眼睛图像区域、单片眼镜或眼镜和/或具有特定曲率的线提供的那些。在一个实施方案中，显示器相对于光学元件和用户定位，使得从显示器发射的光被光学元件反射到将反射光感知为图像的用户的眼睛。独立于焦距，光源或显示器离光学元件放置得越远，相关联的投射焦平面将看起来离观看者越远。
在一个实施方案中，可以使用液晶显示器(LCD)来实现与光学元件距离最远的显示器以便投射FP；然而，还可以使用其他显示器，诸如发光二极管(LED)显示器、表面传导电子发射器显示器(SED)和/或等离子体显示器等。在一个实施方案中，可以使用透明显示器来实现在比FP近的距离处生成的每个附加焦平面，所述透明显示器允许从较远的显示器发射的光在被反射到用户的眼睛之前穿过透明显示器朝向光学元件。在一个实施方案中，以这一配置布置的显示器被堆叠。在一个实例中，透明有机发光二极管(OLED)显示器可以用于由透明显示器提供的每个附加焦平面。在一个一般方面，由于OLED具有自发光像素，所以OLED不依赖于例如用于生成FP的LCD的背光的亮度。如果LCD用于生成显示器堆叠的FP，则LCD的背光可以在多层显示器堆叠中强烈衰减。因此，可以使用用于近平面生成的自发OLED来消除或减轻显示器堆叠中的这种衰减。
可以选择用于任何特定设计或实施方案的焦平面的数量以实现最佳或期望的距离范围，以适应许多不同实现方式或要求标准。图3A示出提供三个焦平面的一个实例。如图3A所示，其示出本发明的一个实施方案，视觉系统300包括一个LCD显示器301和两个OLED显示器305、307。尽管这个实例示出一个LCD和两个OLED的使用，但是其他组合也是可能的。例如，可以使用不带背光的薄膜晶体管(TFT)LCD显示器(即，透明LCD)来代替OLED。LCD显示器301布置在离光学元件310最远的距离处，以提供对应于FP 315的图像。第一OLED显示器305布置在LCD显示器301与光学元件310之间的距离处以提供对应于MP 317的图像。第二OLED显示器307布置在第一OLED显示器305与光学元件310之间的距离处以提供对应于NP 319的图像。通过调制与由不同显示器呈现的相同对象相对应的光的强度，观看者可以感知到对象出现在由来自显示器的光形成的NP和FP界定的体积320中的任何地方，从而从光学元件反射到用户的眼睛中。
在另一个实例中，可以使用诸如分段显示器的单个光源来创建多个焦平面(例如，2个或更多个平面)。例如，单个显示器可以被分割成两个部分或段，其中每个部分提供基本上相同的图像来投射上述梯度光场。此外，可以使用分割成三个或更多个部分的单个显示器，其中每个部分提供基本上相同的图像，可用于提供上述多平面梯度光场。在另一个实例中，两个或更多个显示器可以并排布置在同一平面中，以创建单个分段显示器，其中每个显示器形成分段显示器的一个段。在一个实现方式中，通过将显示器的每个段配置、定位或位置确定成对应于多焦点光学元件的不同焦点来生成梯度光场。在一个实例中，多焦点光学元件可以是一个或多个透镜，诸如由护目镜(例如，光学组合器)的眼睛图像区域、单眼镜片或具有指定曲率的眼镜提供的那些，其提供与由视觉系统提供的每个焦平面相关联的不同焦点。在一个实现方式中，显示器的每个段中的相同对象通过光学元件至对应于期望距离的不同焦平面的对应焦点来对强度进行调制并且反射到用户的眼睛。在一个实施方案中，高分辨率LCD显示器可以均匀地分割成两个或更多个部分，其中每个部分被布置来发射指向光学元件的对应不同焦点的光。可以选择用于任何特定设计或实施方案的由光学元件提供的焦平面的数量以实现最佳或期望的距离范围，以适应许多不同实现方式或要求标准。图3B示出提供三个焦平面的实例。
如图3B所示，在一个实施方案中，视觉系统330包括至少一个高分辨率LCD显示器331和多焦点光学元件332。显示器331被分割成三个相等的部分333、335和337。在替代实例中，每个部分333、335和337可以由单独的对应显示器实现，诸如可被布置在同一平面上。在这个实例中，显示器331被纵向地分段以提供夹住中间部分335的两个外部部分333、337。第一外部部分333布置成与多焦点光学元件332的提供对应于FP 345的图像的第一焦平面对应。中间部分335布置成与多焦点光学元件332的提供对应于MP 347的图像的第二焦平面对应。另一个外部部分337布置成与多焦点光学元件332的提供对应于NP 349的图像的第三焦平面对应。通过调制不同显示区段333、335和337中的相同对象的强度，观看者可以感知到对象出现在由NP 349和FP 345界定的体积350中的任何地方。
应当理解，提供图3A和图3B以说明一般概念，并且可以在任何实际设计的实现方式中进行变化。例如，图3A和图3B所示的眼睛可能不反映眼睛相对于显示器的实际位置。例如，在由HMD提供的一个实现方式中，显示器301、305、307或331可以位于佩戴HMD的用户的视场之外。在一个实例中，堆叠或显示器的一个边缘可以由HMD的物理外壳相对靠近用户的前额以及用户的眼睛上方来定位。在这个实现方式中，从显示器发射的光被光学元件(例如，反射镜、组合器和/或类似对象)反射，所述光学元件放置在显示器下方并且具有将从显示器发射的光引导到用户眼睛中的曲率。此外，可以使用多种显示器和光学元件的不同组合。例如，在一个实现方式中，如图3A和图3B所示的光学体系结构可以单独配置用于用户的每只眼睛(例如，为每只眼睛使用单独的显示配置)。在一个实例中，可以选择任何特定实现方式或配置的选择以优化其中实现视觉系统的装置的特征，例如像HMD中的视场(FOV)的大小。不同的实现方式和配置相对于附图进行了概述，下面将进一步详细描述。
图4示出用于控制视觉系统的一个或多个光源的过程400的实例。例如，所述过程可以通过软件、硬件或其组合来实现，以控制LCD显示器、有源或无源矩阵OLED显示器、不带背光的TFT LCD显示器(即，透明LCD)和/或高分辨率LCD显示器等中的一个或多个。
在操作401中，由视觉系统的至少一个部件接收图像数据。例如，在两个平面D的一个实现方式中，D_RI是接收到的图像数据，D_NP是在NP上呈现的最终数据，D_FP是在FP上呈现的最终数据。在这个实例中，操作401针对图像中的每个像素计算相对于观看者的深度数据(DD)(例如，图形处理单元(GPU)将图像呈现到帧缓冲器，并将深度数据呈现为单独的深度或z-缓冲器。)。由部件接收的图像数据可以包括与由视觉系统向用户提供的内容相关联的数字图像数据。例如，数字图像数据可以描绘将呈现给视觉系统的观看者的图形、场景、图形用户界面、计算机游戏、电影、来自互联网的内容(诸如从万维网访问的网络内容)等中的一个或多个。
在操作410中，通过部件针对将要呈现给观看者的图像数据的每个像素确定光场内的感知深度。例如，可以针对将要呈现的数字图像的每个像素确定或访问坐标或其他信息。所述部件可以使用坐标或其他信息来确定在所生成的光场内视觉系统的观看者将在哪里感知到每个像素。在操作410的一个实现方式中，在操作401中计算的DD被用于确定光场中的感知深度。例如，如观看者所感知到的，DD相对于NP和FP距离归一化(DD_N)(例如，NP为1并且FP为-1，并且DD_N从NP处的1至FP处的-1进行线性地内插，例如如图2A所示)。在另一个实例中，DD被归一化到范围[0,1]，其中NP＝0且FP＝1。
在操作420中，针对对应于光场中的像素的所确定的感知深度的图像数据的像素来确定由视觉系统提供的每个焦平面的RI。例如，部件使用由系统提供的多个焦平面的位置或坐标信息来确定与每个焦平面相对应的一个或多个光源的总照明输出，以便将图像呈现在用户期望的感知距离处，所述距离例如通过图2A所示的RI关系和/或其导数和/或变体来确定。
在一个实现方式中，使用DD_N来计算每个平面的RI。在这个实例中，过程可以取决于显示技术，例如像加法显示技术和乘法显示技术。在加法系统中，来自两个或更多个显示面板的光被相加在一起(例如，在两个面板系统中，最终光＝光#1+光#2)。在乘法系统中，存在单个光源(例如，背光)，并且每个面板将允许一定百分比的光通过(例如，对于两个面板系统，最终光＝背光*面板#1_传输*面板#2_传输)。
例如，其中DD_N范围是[0，1]：
a.对于加法显示技术，用户看到的最终强度是面板的加权平均值：I＝I_NP+I_FP＝DD_N*NP+(1-DD_N)*FP
b.对于乘法显示技术，用户看到的最终强度是乘积：I＝I_NP*I_FP。一种用于计算I_NP和I_FP的技术是因式分解。例如，给定强度(和/或颜色)值在[0,1]的范围内，高性能近似是在D_RI与最大可能数据值(D_M)(为1)之间进行内插：
i.I_NP＝A*D_RI+(1-A)*D_M
ii.I_FP＝B*D_RI+(1-B)*D_M
c.A和B将基于DD_N计算。在一个实现方式中，DD_N域被映射到对数范围。
在操作430中，部件控制对应的光源的每个像素或光源(例如，显示器)的一部分，以便以对应于所确定RI的强度照亮由显示器呈现的对应像素。例如，在操作420中计算由显示器呈现的像素，并存储在帧缓冲器中。显示驱动程序随后可能会将此数据传输到物理显示器。
对于由视觉系统的部件接收的数字数据，过程400可以重复任意次数。在一个实例中，部件可以是一个或多个处理装置，例如像图形处理单元。
图5A、图5B、图5C和图5D示出提供梯度或多梯度光场的视觉系统500、501、502和503的实例。如图5A所示，视觉系统500可以包括处理装置504、图形处理单元(GPU)505、至少两个显示器507、509和平面间光学元件510和511，并且可以包括未示出的其他部件(例如像，一个或多个存储装置和/或缓冲器、一个或多个接口、电源等)。
视觉系统500包括处理装置504。处理装置504可以实现包括其他软件(诸如操作系统)的一个或多个应用或程序。在一个实例中，处理装置504包括存储由处理装置504实现的应用512的相关联存储器(未示出)和/或与其对接，诸如可以生成描绘将呈现给视觉系统500的观看者的图形、场景、图形用户界面、计算机游戏、电影、来自互联网的内容(诸如从万维网访问的网络内容)等中的一个或多个的数字图像数据。应用实例包括媒体播放器、移动应用、浏览器、视频游戏、图形用户界面等。
视觉系统500还可以包括GPU 505。GPU 505可以是独立图形处理器、集成图形处理器或其组合中的一个或多个，其被配置来实现过程400和/或控制两个或更多个显示器，诸如LCD显示器507和透明OLED显示器509(对于提供两个焦平面的情况)。GPU可以包括各种部件，诸如一个或多个存储装置，诸如存储器插槽中提供的存储器或存储有BIOS的闪存、时钟、存储器控制器、图形控制器、中央处理单元、I/O控制器、以及各种通信I/O接口(例如，通信总线、PGA、PCI和PCI express以及其他端口)。此外，GPU可以具有专用存储器和/或可以与处理装置504共享存储器。
如图5A所示，GPU 505驱动LCD显示器507，以将与由平面间光学元件510和511反射的图像相对应的光发射到用户的眼睛，以提供如由用户感知的梯度光场515的FP 520。此外，GPU 505驱动透明OLED显示器509，以将与由平面间光学元件510和511反射的图像相对应的光发射到用户的眼睛，以提供如由用户感知的梯度光场515的NP 525。
在一个实例中，平面间光学元件510和511各自可被实现为护目镜的相对于显示器定位的反射区域，以将从显示器发射的光反射到用户的对应眼睛。例如，可以使用形成在护目镜的对应于每只眼睛的区域上的反射或半反射系列薄膜来涂覆护目镜的对应于平面间光学元件510或511的眼睛图像区域或开口区域，以便将从显示器发射的光反射到用户的眼睛以产生感知光场515。
来自GPU 505的输出将总照明分布到两个显示器507、509，以便使图像呈现在每个图像的RI所规定的感知距离处，例如使用诸如图2A所示的功能。在一个实例中，GPU可以实现下文进一步详细描述的呈现过程。例如由GPU 505提供的两个显示器507、509、对应光学元件510、511的分离以及平面间光学界面强度逻辑生成两个不同的焦平面520、525，从而生成如用户感知到出现在它们的相对距离之间的梯度光场515。例如，为了生成梯度光场515，GPU 505驱动显示器507、509以利用每个图像的每个像素处限定的适当比例的强度来呈现两个相似的图像。在一个实例中，可以使用等式1(如上所提供)或其衍生物(例如，如上文在方法400中所述)。在一个实施方案中，具有单个焦点的平面间光学元件510、511将来自显示器的光在两个焦平面520、525处反射到用户的对应眼睛，从而形成由用户所感知的呈现图像的预期深度。
应当理解，视觉系统500可以提供一个或多个可选的或附加的焦平面，诸如MP530。在这个实现方式中，为每个附加焦平面提供诸如透明OLED显示器535的附加显示器，所述显示器由GPU 505的附加输出控制/驱动以生成多梯度光场515。
如图5B所示，视觉系统501类似于图5A所示的视觉系统。视觉系统501还包括处理装置504、GPU 505和平面间光学元件510和511、和/或未示出的其他部件。如图5B所示，视觉系统501包括两组显示器507、509和可选显示器535。在这个实例中，每一组显示器由GPU505单独控制以提供用户眼睛中对应一者的图像；否则，系统与上面针对图5A所述的相同。
图5C示出还包括处理装置504、GPU 505、高分辨率LCD显示器547和多焦点光学元件550、551的视觉系统502的实例。
如上所述，视觉系统501包括处理装置504、由处理装置504实现的应用512和GPU505。
在这个实施方案中，高分辨率LCD显示器547被分成两半552和553。例如，一半552对应于用户的右眼，另一半553对应于用户的左眼。此外，显示器547的每一半被分割成对应于两个或更多个焦平面(例如，至少NP和FP)的两个或更多个部分。在一个实现方式中，GPU505控制显示器的第一部分555的像素的强度，以便在如用户感知的梯度光场515的FP 560处将由多焦点光学元件550、551的第一焦点反射的图像投射到用户的对应眼睛中。此外，GPU 505控制显示器的第二部分565的像素的强度，以便在如用户感知的梯度光场515的NP570处将由多焦点光学元件550、551的第二焦点反射的图像投射到用户的对应眼睛中。来自GPU 505的输出将总照明分布到显示器555、565的部分，以便使图像呈现在感知距离处，例如使用诸如图2A所示的功能。多焦点光学元件550、551–(在这种情况下是双焦点光学元件)–提供限定两个不同焦平面560、570的两个焦点575、580，从而生成梯度光场515。为了生成梯度光场515，GPU 505驱动显示部分555、565以利用每个图像的每个像素处的适当比例的强度来呈现两个相似的图像。在一个实例中，可使用等式1(如上所提供)和/或其衍生物和/或变体(例如，如方法400中所提供)。具有两个焦点的多焦点光学元件510、511在两个焦平面555、565处将来自显示器的具有指定强度的光投射到用户的眼睛中，以产生对呈现图像的深度的感知。
在一个实施方案中，视觉系统502可以提供一个或多个附加焦平面，诸如MP 590。在这个实现方式中，高分辨率LCD显示器547可以被分割成用于每个附加焦平面的附加部分594。在这种情况下，多焦点光学元件550、551包括对应于显示器547的每个附加部分594的附加焦点595，以生成多梯度光场515。
图5D示出还包括处理装置504、GPU 505、高分辨率LCD显示器547和多焦点光学元件550、551的视觉系统503的实例。与图5B类似，视觉系统503包括两组显示器547。在这个实例中，每组显示器组547由GPU 505单独控制，以提供用于用户对应眼睛的图像；否则，系统以与上述用于图5C的相同的方式操作。
图6示出Y-Z平面中的系统500和501的配置600的一个实例。如这个实例所示，平面间光学元件510和511各自被实现为护目镜的相对于显示器507、509和535定位的反射区域。护目镜在区域510和511处是弯曲的，以将来自显示器的光反射到用户的对应眼睛，从而在用户眼睛的视网膜上产生感知光场515(由虚拟焦平面520、525、530组成)。在这个实例中，存在对应于两个不同光路的两个不同的眼睛转动。
图7示出控制HMD的一个或多个光源以提供视觉调节的过程的实例。操作701捕获在视觉调节过程中使用的图像。例如，图像可以是由GPU呈现的图像。由GPU呈现以输出到显示器的图像包括显示器的每个像素的各种信息，诸如颜色信息、深度和强度。在一个实例中，GPU将图像呈现到帧缓冲器，并将深度数据呈现到单独的深度或z-缓冲器。在将图像输出到显示器之前，GPU执行若干操作以提供视觉调节。在操作702中，GPU从深度或z缓冲器读取深度信息。在操作703中，GPU读取所呈现图像的每个像素的颜色信息(例如，RGB数据的强度)。操作702和703并行执行。GPU然后对每个焦平面执行一系列操作704、705和706。在这个实例中，GPU执行操作以生成对应于近平面(NP)和远平面(FP)的两个显示器的显示输出。操作704、705和706可以从第一平面(例如，NP)开始并且然后是另一个平面(例如FP)串行地执行。然后对706的输出执行最后的操作707。在另一个实施方案中，可以针对形成的每个平面并行执行操作704、705、706和707。在这个实例中，虽然通过所述过程生成了两个平面，但是本领域技术人员将理解，操作704、705、706和707可以对于一个或多个附加平面(例如，中间平面)进行复制。
在操作704(例如，704np和704fp)中，基于例如所使用的显示技术，使用上述技术之一调整由每个平面显示的图像的图像强度。例如，如果使用加法显示技术，则对于每个平面，确定用于显示的图像的加权平均值(例如，I＝I_NP+I_FP＝DD_N*NP+(1-DD_N)*FP)。如果使用乘法显示技术，则将每个显示器的最终强度确定为乘积(例如，I＝I_NP*I_FP)。
在操作705(例如，705np和705fp)中，强度–改变的对应图像数据–被锐化以考虑视觉系统的配置。例如，当显示器被布置成使得来自一个显示器的光行进通过一个或多个显示器时，发生衍射。例如，在两个显示配置的情况下，为NP提供图像的显示器引起来自为FP提供图像的显示器的光的衍射。在这个实例中，衍射是由以下原因引起的：从对应于FP的显示器行进的光必须行进经过对应于NP的显示器。当作为波行进的光遇到障碍物(在这种情况下，对应于NP的显示器)时，会出现衍射。本领域技术人员将会理解，衍射随光行进穿过的每个附加显示器而增加。衍射的严重程度也由面板技术和配置决定。在这个实例中，由于衍射使得对应于FP的图像出现模糊、柔和或失焦，所以在所述操作中应用了锐化滤波器以补偿衍射。在一个实例中，可以使用非锐化掩模来补偿衍射。根据物理面板、深度和引入的衍射量来调整总体锐化量。例如，像素越靠近NP，执行的锐化越小，像素越接近FP，执行的锐化越大。
在操作706(例如，706np和706fp)中，图像数据–的强度现在已被平面修改并且被锐化–每个图像的对应像素被对准，使得所提供的平面的正确像素(例如，NP和FP)被眼睛整合到最终图像中。例如，每个显示器以在各个像素处利用变化的强度输出相同图像，以提供梯度光场。然而，由于来自不同显示器的光行进的路径，图像必须对准以解决这种差异。对准操作允许用户融合由两个平面提供的图像。图7示出通过所述操作提供的对准的一个实例。
在操作707(例如，707np和707fp)中，最终输出图像显示在对应于物理显示面板上的平面深度(例如，NP或FP)的显示器上。
图8示出由操作706提供的对准的一个实例。如图8所示，提供了两个显示器800和01。显示器800发射具有对应于FP的第一组强度的图像A′的光，并且显示器801发射具有对应于NP的第二组强度的图像A″的光。从显示器800发射的光通过显示器801。从两个显示器发出的光作为图像A′和A″被光学元件802反射到系统用户的眼睛803中，在那里它们被组合为图像A。为了融合为图像A，提供图像A′和A″的每个显示器的像素被对准。
例如，每个显示器800和801包括多个像素。然而，由于显示器的分离，必须对准在每个显示器上提供图像的像素。例如，对于由系统呈现的图像的像素A，将像素A映射到显示器800的像素1 804和显示器801的像素2 805。由显示器800的像素1 804发射的光和对应于射线A 808的像素2 805发射的光被反射并组合在用户的眼睛803中。类似地，由显示器800的像素n 806发射的光和对应于射线B 809的像素n-1 807发射的光被反射并组合在用户的眼睛803中。以这种方式，来自每个平面的正确像素可以通过用户的眼睛和其他生理学被整合到最终图像中。
图8示出通过显示器801显示在NP上的图像被显示为比通过显示器800显示在FP上的图像小(或相反地，FP上的图像被呈现为比NP上的图像大)。这种必要性来自透视缩放。例如，当对象远离眼睛移动时，投射在视网膜中的图像较小。由于两个图像应通过用户的眼睛和生理学对准以进行适当的融合，所以可以放大另一个图像或者可以收缩更近的图像，使得每个图像的大小从眼睛的视角看起来相同。如图8所示，FP上的第一个像素对应于NP上的第二个像素，FP上的最后一个像素对应于NP上的倒数第二个像素。在这个实例中，NP上的第一个像素在FP上没有对应的像素，类似地，NP上的最后一个像素在FP上没有对应的像素。在这种情况下，这些像素可以被呈现为黑色或不被照亮。
动态光场
根据本文所描述的系统和技术的另一个示例性实施方案，动态光场由视觉系统提供，从而例如为视觉系统的用户生成3D图像，同时维持、增强和/或优化用户观看图像的舒适度。以下更详细地描述视觉系统的各种部件和配置的实施方案。
在一个实施方案中，视觉系统使用硬件和软件体系结构提供动态光场，所述体系结构使得能够在观看OOI的视觉系统的用户的任何给定固定位置处实现对OOI的真实光学聚焦。在以下实例中，动态光场基于可以采用人眼运动系统的特性以形成锐利的3D数字图像的硬件和/或软件体系结构。在一个实施方案中，根据两个瞳孔之间的水平距离的变化(在瞳孔转动以会聚在不同距离处的OOI上时)来动态地调制由视觉系统的光学元件形成的焦平面，从而形成3D图像。
观看者对VC的控制是自愿的，而VA的控制不是。因此，视觉系统使用眼睛跟踪系统来实时计算用户的VC，这与观看者的视觉注意焦点一致。然后可以动态地校正由视觉系统的光学元件形成的焦平面以与观看者的VC一致。因此，触发了将焦点校正到OOI上，并且VC和VA都连续耦合。在一个实施方案中，视觉系统体系结构包括至少双目眼睛跟踪器、至少一个处理装置以及可调焦距光学体系结构，从而提供多焦点光学元件以与软件一起生成视觉系统的用户可见的动态光场。
图9示出提供用于观看3D图像的动态光场的视觉系统900的一个实例。
如图9所示，视觉系统900包括双目眼睛跟踪部件。在一个实例中，眼睛跟踪器的体系结构包括至少两个光源910(每只眼睛一个)，例如像一个或多个红外(IR)LED光源被定位或配置来将IR光引导到每只眼睛101的角膜和/或瞳孔中。此外，至少两个传感器920(例如，每只眼睛一个)，例如像IR相机被定位或配置来感测每只眼睛的定位或视线。例如，相机被配置来从对应的眼睛读取IR反射，其被处理以确定瞳孔和角膜反射位置。在一个实例中，源和传感器都可以安装到诸如HMD的视觉系统的框架或壳体。
在一个实现方式中，视觉系统900还可以包括至少一个处理装置930。处理装置930可以实现一个或多个应用来提供3D数字图像数据，所述图像数据描绘将呈现给视觉系统900的观看者的图形、场景、图形用户界面、计算机游戏、电影、来自互联网的内容(诸如从万维网访问的网络内容)等中的一个或多个。应用实例包括媒体播放器、移动应用、浏览器、视频游戏、以及图形用户界面等。
在一个实例中，处理装置930包括存储由处理装置930实现的一个或多个应用(未示出)的相关联存储器。例如，一个应用是确定瞳孔位置的眼睛跟踪器，所述眼睛跟踪器相对于IR LED源的反射轨迹随眼睛移动，并且将相关观看者的目光位置映射到由视觉系统呈现的图形或场景。在一个实例中，由处理装置930实现的应用整合了从每个传感器接收的输出，以计算用作处理装置930的输入的观看者目光的3D坐标，以便使用多焦点光学元件940来调整视觉系统900的焦点。以下将更详细地描述用于使用多焦点光学元件调节焦点的许多不同方法。在使用IR源和跟踪器的情况下，光学元件应反射IR光。在一个实例中，提供视觉系统的HMD的护目镜的眼睛图像区域的光学涂层被选择用于凹面的光谱反射率。在这个实例中，对于可见光(例如，400-700nm)，电介质涂层是部分反射的(例如，～30％)，对于IR波长，反射率更高(例如85％)。这允许虚拟图像创建，看到外界的能力以及嵌入式眼睛跟踪器系统的IR LED部分的反射率(全部来自用于涂覆的相同系列的膜)。
视觉系统900还可以包括显示器和多焦点光学元件940的一个或多个组合。由眼睛跟踪器应用基于由处理装置进行的输入和计算驱动的多焦点光学元件940可以使用多种不同体系结构之一来实现。例如，可以使用与显示器组合的可变倍率透镜。可变倍率透镜光学体系结构使用可以依次基于可变曲率透镜或电动渐进透镜的渐进系统。可变倍率透镜可以各种方式实现，例如像，透镜基于电输入或流体运动而改变形状。在另一个实例中，电动渐进透镜使用在系统的方向上移动的渐进多焦点透镜，以便动态地重新聚焦焦平面以使光学系统的FOV的大小最大化。
在另一个实例中，可以使用动态聚焦体系结构。例如，通过电动系统移动透镜的光学堆叠或显示器，以基于眼睛跟踪器应用的输出来改变数字内容的焦平面。例如，由处理装置控制的电机与显示器耦合，以将显示器移动到预定位置范围内。例如，当处理装置读取并处理从眼睛跟踪器获得的位置数据以确定用户正在看远距离对象时，处理装置控制电机以使显示器远离系统光学元件移动。因此，从显示器发射的光在被反射到用户的眼睛中之前行进一段距离移动到光学元件，这使得用户感知到的焦平面移动。因此，由显示器呈现的内容被观看者感知为距离用户更远以匹配远距离对象所位于的位置。以类似的方式，当处理器从眼睛跟踪器应用读取新的输出并确定用户已经改变了焦点以观察近距离对象时，处理器控制电机将显示器移动到更接近的地方，以匹配显示器在与近距离对象的感知位置一致的焦距处呈现的数字内容。
在又一个实例中，可变光导可以由视觉系统900实现。在这个实例中，移动定向和电动反射镜的系统以动态地适应光导的长度，从而提供视觉系统900的可变焦点。
在又一个实施方案中，使用电可调液体透镜(“液体透镜”)来移动焦平面。在这个实例中，将透镜放置在显示源与光学元件之间。在一个实例中，可以使用液体透镜。液体透镜可以包括压电膜，以便通过增加或减少透镜腔室中的液体体积来控制透镜的光学曲率。用于膜的驱动电压由处理装置基于来自眼睛跟踪器应用的输出来确定，以调节焦平面以匹配用户正在观看的真实环境中的对象的焦平面。
图10示出由视觉系统900实现的过程1000的一个实例。根据图10所示的过程1000，在操作1001中，将来自源的光导向视觉系统的用户的左眼和右眼。例如，可以在视觉系统内配置IR光源以将光导向观看者的每只眼睛。在一个实施方案中，源可以相对于HMD的壳体框架进行配置，以将来自源的光导向观看者的眼睛的角膜/瞳孔区域。
在操作1010中，从左眼和右眼感测光源的反射，并且在操作1020中，确定每只眼睛的眼睛位置。例如，可以对一个或多个IR传感器进行定位，以感测来自每只眼睛的角膜和瞳孔的反射。在一个实现方式中，IR相机可以被安装到HMD的框架或壳体上，所述IR相机被配置来从每只眼睛读取IR源的反射。相机感测反射，其被处理以确定每只眼睛的角膜和/或瞳孔位置。
在操作1030中，确定观看者的会聚点。例如，来自IR相机的输出可以被输入到处理装置。处理装置将眼睛位置(例如，每只眼睛的角膜和/或瞳孔位置)整合以确定与观众视觉的会聚点相关联的坐标(例如，3D空间中的例如由x，y，z坐标表示的位置)。在一个实施方案中，会聚点与用户当时正在观看的OOI一致。在一个实例中，系统从眼睛跟踪器的输出确定固定眼睛的像素的坐标，固定坐标(FC)。所述坐标用于从捕获的图像中查找深度信息。例如，当GPU将图像呈现到帧缓冲器并且将深度数据呈现到单独的深度或z缓冲器时，可以从缓冲器读取深度信息。检索到的深度信息可以是FC周围的单个像素或像素的聚合。然后深度信息用于确定焦距。在另一个实例中，FC用于将射线投射到虚拟场景中。在一个实现方式中，与射线相交的第一对象可以被确定为虚拟OOI。使用射线与来自观看者的虚拟OOI的相交点的距离来确定焦距。
在另一个实例中，FC用于将射线投射到如每只眼睛感知到的虚拟场景中。射线的相交点被确定为眼睛的会聚点。使用相交点与观看者的距离来确定焦平面。
在操作1040中，调整视觉系统的焦平面。视觉系统使用所确定的会聚点来调整焦平面以匹配CP。例如，会聚点的坐标被转换成对应的电荷，以便根据透镜改变形状以使透镜的焦点与坐标重合。在另一个实例中，渐进多焦点透镜被移动以使焦平面动态地重新对准以与所确定的坐标一致。在另一个实例中，使用所确定的坐标来控制电机，以将显示器移动到与坐标相对应的位置。
深度相关的视差和模糊由视觉系统呈现(1050)。独立于用于所述过程1000的特定光学体系结构，视觉系统的可变焦点导致所有对象的呈现以其最清晰的焦点显示，而不管其深度如何。为了解决这个问题并创建一个真实的深度焦点(DOF)，处理装置实现一个软件界面，以便通过实现一个匹配的差异来调整位于确定的焦平面之外的场景中提供的数字对象(即，两只眼睛)，并通过模糊系统中呈现在场景中的对象以匹配相对深度差处的光学模糊。
图11A和图11B示出在两个不同焦平面中处理由视觉系统900呈现的对象的实例。例如，如图11A和图11B所示，示出两个对象(例如，鹈鹕和灯塔)。图11A示出与灯塔的CP1105对准的焦平面1101的实例。图11B示出与鹈鹕的CP 1125对准的焦平面1120的实例。在一个实施方案中，为了提供与自然人类视觉过程一致的场景，DOF处理产生观看者的焦平面之外的任何对象的视差和模糊(例如，与OOI一致)。例如，如图11A所示，OOI是灯塔。因此，在焦平面之外的鹈鹕由视觉系统模糊1130。而如图11B所示，OOI为鹈鹕。因此，在焦平面之外的灯塔由视觉系统模糊1140。视觉系统的处理装置基于例如用户的瞳孔间距离(IPD)来确定视差。在一个实施方案中，可以在设置视觉系统期间实现的校准过程期间确定IPD。IPD也可以基于场景中所描绘的虚拟对象的距离。除了使用瞳孔大小的估计之外，还可以例如根据离当前固定的焦平面的距离模糊图像来使用模糊内核实际应用对象的模糊(例如，基于整体照明条件确定)。
图12A示出离轴增强现实视觉系统的光学图的一个实例。如图12A所示，在一个实现方式中，光学视觉系统1200包括至少一个图像源1201和被布置用于由用户的眼睛1220观看的光学元件1210。图像源1201发光。光学元件1210包括反射光的凹光学表面。光学表面也具有光焦度，例如由限定表面曲率的惯例指定。在一个实现方式中，图像源1201被定位来发射在用户的FOV之外的光(即，用户不直接观看图像源1201)。光学元件1210相对于图像源1201定位，使得光学元件1210的凹光学表面反射由图像源1201发射的光。图像源1201和光学元件1210进一步以彼此相对的角度定位(以及意图佩戴HMD的用户的眼睛的近似位置)，使得来自图像源的光被光学元件的光学表面反射到用户的对应眼睛中，以便在视网膜上提供叠加在用户的FOV内的图像。在一个实施方案中，光学元件1210可以是光学组合器、半反射表面、半镀银反射镜和/或类似物，其中光学元件1210的光学表面可以部分地反射来自图像源的光，除了允许光从外部光源通过光学表面之外，还将图像光和外部光组合在用户的FOV中。
在一个实现方式中，面向图像源1201和眼睛1220的光学元件1210的光学表面是凹形的。光学表面被弯曲以为光学系统1200提供特定的光焦度，从而在用户的FOV内放大来自源的图像并提供宽的FOV(例如，在类似的成角度的平坦表面上)。在一个实现方式中，光学表面相对于图像源1210和观看者倾斜。然而，倾斜光焦度表面在观看者的竖直方向(x向)和水平方向(y向)上施加不同的光焦度，从而导致离轴系统。
在一个实施方案中，光学元件1210可以实现为护目镜，诸如具有两个眼睛图像区，各自对应于用户的一只眼睛。图像源1201可以由可以呈现任何类型的期望数字内容的显示器来实现。在一个实现方式中，由显示器呈现的图像可以被建模为数百万个点源。在这个实例中，图像1211由显示器提供。如图12所示，从与图像1211相对应的显示器上的点发射的光1212在到达护目镜上的局部光学区域1215(例如，指示的后方矩形)之前行进D1的距离。发射光1212的部分1218朝向用户的眼睛1220反射。反射光1218在击中眼晶状体1221之前行进D2的距离。眼睛的光学肌肉改变眼晶状体1221的光焦度以重新聚焦光并在视网膜1227上形成对应的点图像1225。因此，用户看到或感知到离护目镜位置1215距离D3处的点的虚拟图像1230。虚拟图像的总距离或人眼的焦点深度是D3和D2之和。
图12B示出视觉系统1200的另一个实例1250。作为用户的眼睛，转动以观看显示器提供的不同点，观看者的光路改变。如图13所示，示出与显示器上的两个不同点1211和1251相关联的两个不同的光学光路。当观看显示器的点1211(例如，描绘太阳图像)时，发射光1212行进距离D1到护目镜1201上的局部光学区域1215，其中部分光1218在到达眼晶状体之前被反射距离D2以形成视网膜1227上的点图像1225。如上所述，用户观看并感知远离用户眼睛的距离D3+D2的虚拟图像点1230。当用户然后观看显示器的点1215(例如，表示为星号)时，眼睛转动并将眼晶状体放置在不同的位置处。在这种情况下，光1258在到达护目镜上的局部光学区域1260之前从点1251行进距离D4。光1261的一部分朝向行进距离D5的观看者反射，直到到达新位置处的眼晶状体，以在视网膜1127上形成新的点图像1262。用户观看来自观看者的眼睛的组合距离D6+D5的虚拟图像点1265。由于视觉系统1200的离轴布局，两个虚拟图像点1230和1265处于离用户眼睛不同的距离处。因此，与由显示器1210提供的图像相关联的虚拟“焦平面”(例如，由黑色虚线表示)1268远离眼睛倾斜，从而使视场的顶部更靠近用户而底部更远离。
图13示出与光源位置相关的焦平面的一个实例1300。如图13所示，光源1201(例如，面板显示器)可以位于三个位置1301、1303和1305中的一个。如图所示，显示器相对于光学元件1210(例如，HMD的护目镜)的取向在每个位置1301、1303、1305中基本相同；然而，随着离显示器的距离改变，光行进到显示器的距离发生变化。因此，相关联的虚拟焦平面的距离改变。例如，虚拟焦平面1311对应于显示器的位置1301，虚拟焦平面1313对应于显示器的位置1303，并且虚拟焦平面1315对应于显示器的位置1305。因此，在位置1301与1305之间移动显示器引入由NP(例如，1311)和FP(例如，1315)界定的体积焦平面区域。在一个实施方案中，显示器1201与至少一个电机械机构1330耦合以在对应于至少NP和FP的至少两个预定位置之间移动显示器。例如，处理装置1335的接口连接到机构1330(例如，电动机、磁体或弹簧的控制器或驱动器)，以控制由处理装置指定的显示器的位置。
图14示出以虚拟焦平面为目标用于将数字内容移动到不同FOV的不同显示移动的另一个实例1400。如图1400所示，对于标称位置1401处的显示，产生虚拟焦平面1410。如前所述，归因于由离轴光学元件1210产生的焦平面的曲率，平面1410是倾斜的。例如，虚拟焦平面1410的顶部1411比底部1412更靠近视觉系统的用户。在利用离轴光学元件(例如，1201)的光学系统中，如果由视觉系统呈现的图像包括目标虚拟焦平面1420上的太阳图像1413、月亮图像1414和星星图像1415，则显示器必须移动以得到使用户聚焦在焦点上的图像(例如，太阳、月亮或星星)。例如，如果观看者正观看在目标焦平面1420上的太阳1413，则将显示器移动到对应于FP 1441'的位置1441。如果观看者正观看在目标虚拟焦平面1420上的月亮1414，则将显示器移动到对应于中间虚拟焦平面1445'的中间位置1445。如果观看者正在观看目标焦平面1420上的星星1415，则将显示器移动到对应于另一个中间虚拟焦平面1450'的位置1450。在这个实例中，视觉系统基于来自眼睛跟踪器系统(例如，IR相机1430、IR发射器1431和处理装置(未示出)的反馈确定用户正在观看什么虚拟对象。眼睛跟踪器系统确定用户(例如，FC)的固定，并且确定移动显示器的距离以将图像的所述部分聚焦在目标平面1420中。
图15示出提供不同显示移动以调整不同FOV的数字内容的感知位置的视觉系统的另一个实例1500。在这个实例中，通过眼睛跟踪器系统的反馈调整虚拟图像1507中的数字内容(例如，太阳1505)的感知深度1501，以匹配视觉系统正在看的物理现实世界对象1520(例如，三角形)的位置1510。在这个实例中，眼睛跟踪器系统包括IR相机1530、IR发射器1531和处理装置1540。在眼睛跟踪系统的帮助下，视觉系统确定用户固定在哪个窄FOV角度，并且确定对应于人类正在看的距离的物理目标位置。在一个实例中，使用反馈回路来将显示器从标称位置1550移动特定校准量以到达新位置1551，以便将具有相同窄FOV角度的数字内容(例如，太阳)作为虚拟图像1560投射到对应于物理目标1520的位置1510的深度。
图16示出与图15所示类似的另一个实例1600。在这个实例中，可变倍率透镜1601用于改变光源1210与人眼之间的总光焦度，以改变虚拟图像1607中的图像1606(例如，太阳)的感知深度，从而使其与用户正在看的真实世界物理对象1620(例如，三角形)的位置1610一致。在眼睛跟踪系统的帮助下，视觉系统确定用户固定在哪个窄FOV角度，并确定对应于用户正在观看的距离的物理目标。在一个实例中，使用反馈回路来改变液体透镜1601的形状，以将具有相同窄FOV角度的数字内容(例如，太阳)作为虚拟图像1624投射到对应于物理目标(例如，三角形)的位置1610的深度1630。
如上所述，本文所描述的用于视觉系统的技术可以使用数字电子电路、或以计算机硬件、固件、软件或它们的组合来实现。这些技术可以被实现为计算机程序产品，即，有形地体现在非暂时性信息载体中的计算机程序，例如在机器可读存储设备中，在机器可读存储介质中，计算机可读存储设备，或者在用于由数据处理装置或处理装置(例如可编程处理器，计算机或多台计算机)执行或控制数据处理装置或处理装置的操作的计算机可读存储介质中。计算机程序可以用任何形式的编程语言来编写，包括编译或解释语言，并且其可以用任何形式来部署，包括作为独立的程序或作为模块、部件、子例程或适合在特定计算环境中使用的其他单元。可以将计算机程序部署为由视觉系统的一个部件或多个部件执行。
诸如例如400、700、1000等的示例性过程可以由一个或多个可执行的一个或多个可执行可编程处理装置或处理器执行，所述可编程处理装置或处理器执行一个或多个计算机程序，以通过对输入数字数据进行操作并产生相应的输出(例如，将亮度控制到一个或多个显示器的强度或调整视觉系统的焦平面并呈现深度相关的视差和模糊)来执行上述技术的功能。方法步骤和技术还可以被实现为特殊用途逻辑电路，例如，FPGA(场可编程门阵列)或ASIC(专用集成电路)。
适用于执行计算机程序的处理装置或处理器以举例的方式包括通用和专用微处理器、以及任何种类的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本原件为用于执行指令的处理器、和用于存储指令和数据的一个或多个存储器装置。本文所描述的处理装置可以包括一个或多个处理器和/或核。通常，处理装置将还包括用于存储数据的一个或多个大容量存储装置(诸如，磁盘、磁光盘、或光盘)，或可操作地耦合以便从其接收数据或将数据传输至其或两者。适用于具体化计算机程序指令和数据的非暂时性信息载体包括所有形式的非易失性存储器、以举例的方式包括半导体存储器装置(诸如，EPROM、EEPROM和闪存或固态存储器装置)；磁盘(诸如，内部硬盘或可移动磁盘)；磁光盘；以及CD-ROM和DVD-ROM磁盘。处理器和存储器可由专用逻辑电路补充或结合在其中。
视觉系统可以包括各种其他部件，包括各种光学装置和框架或其他结构，以便将视觉系统定位或安装在用户上，从而允许用户佩戴视觉系统，同时为用户提供舒适的观看体验。视觉系统可以包括一个或多个附加部件，例如像一个或多个电源装置或连接到电源装置以为各种系统部件供电、用于操作系统部件的一个或多个控制器/驱动器、一个或多个输出装置(诸如扬声器)、用于向系统提供用于向系统的用户提供增强现实的信息的一个或多个传感器、与外部输出装置通信的一个或多个接口、用于与外部存储器装置或处理器通信的一个或多个接口、以及被配置来通过各种通信路径发送和接收数据的一个或多个通信接口。此外，可以提供一个或多个内部通信链路或总线以便连接各种部件并允许数据和程序的接收、发送、操纵和存储。可以用于提供这种部件的各种装置的许多实例在先前并入的美国申请号14/147,199中进一步详细描述。
为了解决各种问题并在技术上有进展，本申请的全部(包括封面、名称、标题、具体实施方式、权利要求书、摘要、附图和/或其他方式)以实例的方式示出各种实施方案，其中可以实施所要求保护的发明。应用的优点和特征仅仅是实施方案的代表性实例，并且不是详尽的和/或排他的。它们只是为了帮助理解和教导要求保护的原理。应当理解，它们不代表所有要求保护的发明。此外，本公开包括目前未被要求保护的其他发明。申请人保留当前无人认领的发明的所有权利，包括要求这种发明的权利、提交附加申请、延续、部分继续、分案等。因此，应当理解，本公开的优点、实施方案、实例、功能、特征、逻辑、组织、结构、拓扑和/或其他方面不应被视为由权利要求书限定的本公开的限制或对权利要求书的等效物的限制。

Claims (13)

1.一种视觉系统，其包括：
第一显示器，配置为显示由从所述第一显示器发射光的多个第一像素形成的图像，所述图像包括由包括在所述第一像素中的一个或多个第一显示对象像素表示的至少一个对象；
第二显示器，配置为显示由从所述第二显示器发射光的多个第二像素形成的图像，以及由包括在所述第二像素中的一个或多个第二显示对象像素表示的所述至少一个对象；
光学元件，其布置在离所述第一显示器的第一距离处并且离所述第二显示器的第二距离处，以将对应于所述图像的所述第一显示器发射的光投射在第一焦平面中并且将对应于所述图像的从所述第二显示器发射的光投射在第二焦平面中；以及
处理装置，其被配置为控制所述一个或多个第一显示对象像素的强度相对于所述一个或多个第二显示对象像素的强度，以在所述第一焦平面和所述第二焦平面之间创建对所述至少一个对象的感知；
其中所述一个或多个第一显示对象像素的强度相对于所述一个或多个第二显示对象像素的强度被控制为使得：
如果所述至少一个对象将在相比于所述第二焦平面更靠近所述第一焦平面处被感知，则所述第一显示对象像素具有比所述第二显示对象像素更高的强度，并且
如果所述至少一个对象将在相比于所述第一焦平面更靠近所述第二焦平面处被感知，则所述第二显示对象像素具有比所述第一显示对象像素更高的强度。
2.根据权利要求1所述的系统，其中所述第一焦平面是所述系统的观看者的焦点的远平面(FP)，并且所述第二焦平面是所述系统的观看者的焦点的近平面(NP)。
3.根据权利要求2所述的系统，其中RI＝(INP-IFP)/(INP+IFP)
其中RI是在图像的每个像素处计算并且归一化的相对强度，INP是在所述NP中提供的所述图像的所述强度，并且IFP是在所述FP中提供的所述图像的所述强度。
4.根据权利要求1所述的系统，其中所述第一显示器是液晶显示器，并且所述第二显示器是透明有机发光二极管显示器，并且所述光学元件具有单个焦点。
5.根据权利要求1所述的系统，其还包括第三显示器，所述第三显示器配置为显示由从所述第三显示器发射光的多个第三像素形成的图像，所述图像包括由包括在所述第三像素中的一个或多个第三显示对象像素表示的第二对象，所述第三显示器布置在比所述第一显示器和所述第二显示器更远离所述光学元件的第三距离处，所述光学元件布置成将对应于所述图像的所述第三显示器发射的光投射在第三焦平面中，其中所述第二显示器进一步配置为显示由从所述第二显示器发射光的多个第二像素形成的图像，以及由包括在所述第二像素中的一个或多个附加第二显示对象像素表示的所述第二对象，并且所述处理装置进一步被配置为控制所述一个或多个第三显示对象像素的强度相对于所述一个或多个附加第二显示对象像素的强度，以在所述第三焦平面和所述第二焦平面之间创建对所述第二对象的感知；
其中所述一个或多个第三显示对象像素的强度相对于所述一个或多个附加第二显示对象像素的强度被控制为使得：
如果所述第二对象将在相比于所述第二焦平面更靠近所述第三焦平面处被感知，则所述第三显示对象像素具有比所述附加第二显示对象像素更高的强度，并且
如果所述第二对象将在相比于所述第三焦平面更靠近所述第二焦平面处被感知，则所述附加第二显示对象像素具有比所述第三显示对象像素更高的强度。
6.根据权利要求1所述的系统，其中所述处理装置根据与在所述第一焦平面与第二焦平面之间的所述对象的预期深度相对应的深度数据，控制所述第一显示对象像素相对于所述第二显示对象像素的强度。
7.根据权利要求1所述的系统，其中所述图像包括由包括在所述第一像素中的一个或多个附加第一显示对象像素表示的另一对象，以及由包括在所述第二像素中的一个或多个附加第二显示对象像素表示的另一对象；以及
所述处理装置进一步配置为控制所述一个或多个附加第一显示对象像素的强度相对于所述一个或多个附加第二显示对象像素的强度，以在所述第一焦平面和所述第二焦平面之间创建所述另一对象的感知；
其中所述一个或多个附加第一显示对象像素的强度相对于所述一个或多个附加第二显示对象像素的强度被控制为使得：所述另一对象在所述第一焦平面和所述第二焦平面之间被感知的深度与所述至少一个对象的深度不同。
8.一种视觉系统，其包括：
显示器，其分为至少两个不同的部分，包括至少第一部分和第二部分，所述第一部分配置为显示由从所述第一部分发射光的多个第一像素形成的图像，所述图像包括由包括在所述第一像素中的一个或多个第一部分对象像素表示的至少一个对象，所述第二部分配置为显示由从所述第二部分发射光的多个第二像素形成的图像，以及由包括在所述第二像素中的一个或多个第二部分对象像素表示的所述至少一个对象；
多焦点光学元件，其包括第一焦点，所述第一焦点布置成将从对应于所述图像的所述显示器的所述第一部分发射的光投射在第一焦平面中；以及第二焦点，所述第二焦点布置成将从对应于所述图像的所述显示器的所述第二部分发射的光投射在第二焦平面中；以及
处理装置，其被配置为控制所述一个或多个第一部分对象像素的强度相对于所述一个或多个第二部分对象像素的强度，以在所述第一焦平面和所述第二焦平面之间创建对所述至少一个对象的感知；
其中所述一个或多个第一部分对象像素的强度相对于所述一个或多个第二部分对象像素的强度被控制为使得：
如果所述至少一个对象将在相比于所述第二焦平面更靠近所述第一焦平面处被感知，则所述第一部分对象像素具有比所述第二部分对象像素更高的强度，并且
如果所述至少一个对象将在相比于所述第一焦平面更靠近所述第二焦平面处被感知，则所述第二部分对象像素具有比所述第一部分对象像素更高的强度。
9.根据权利要求8所述的系统，其中所述第一焦平面是所述系统的观看者的焦点的远平面(FP)，并且所述第二焦平面是所述系统的观看者的焦点的近平面(NP)。
10.根据权利要求9所述的系统，其中RI＝(INP-IFP)/(INP+IFP)
其中RI是在图像的每个像素处计算并且归一化的相对强度，INP是在所述NP中提供的所述图像的所述强度，并且IFP是在所述FP中提供的所述图像的所述强度。
11.根据权利要求8所述的系统，其中所述显示器包括第三部分，所述第三部分配置为显示由从所述第三部分发射光的多个第三像素形成的图像，所述图像包括由包括在所述第三像素中的一个或多个第三部分对象像素表示的第二对象，并且所述多焦点光学元件包括第三焦点，所述第三焦点布置成将来自对应所述图像的所述第三部分的光投射在所述第三焦平面中，并且其中所述第二部分进一步配置为显示由从所述第二部分发射光的多个第二像素形成的图像，以及由包括在所述第二像素中的一个或多个附加第二部分对象像素表示的所述第二对象，并且所述处理装置进一步被配置为控制所述一个或多个第三部分对象像素的强度相对于所述一个或多个附加第二部分对象像素的强度，以在所述第三焦平面和所述第二焦平面之间创建对所述第二对象的感知；
其中所述一个或多个第三部分对象像素的强度相对于所述一个或多个附加第二部分对象像素的强度被控制为使得：
如果所述第二对象将在相比于所述第二焦平面更靠近所述第三焦平面处被感知，则所述第三部分对象像素具有比所述附加第二部分对象像素更高的强度，并且
如果所述第二对象将在相比于所述第三焦平面更靠近所述第二焦平面处被感知，则所述附加第二部分对象像素具有比所述第三部分对象像素更高的强度。
12.根据权利要求8所述的系统，其中所述处理装置根据与在所述第一焦平面与第二焦平面之间的所述对象的预期深度相对应的深度数据，控制所述第一部分对象像素相对于所述第二部分对象像素的强度。
13.根据权利要求8所述的系统，其中所述图像包括由包括在所述第一像素中的一个或多个附加第一部分对象像素表示的另一对象，以及由包括在所述第二像素中的一个或多个附加第二部分对象像素表示的另一对象；以及
所述处理装置进一步配置为控制所述一个或多个附加第一部分对象像素的强度相对于所述一个或多个附加第二部分对象像素的强度，以在所述第一焦平面和所述第二焦平面之间创建所述另一对象的感知；
其中所述一个或多个附加第一部分对象像素的强度相对于所述一个或多个附加第二部分对象像素的强度被控制为使得：所述另一对象在所述第一焦平面和所述第二焦平面之间被感知的深度与所述至少一个对象的深度不同。
CN201580065116.6A 2014-12-23 2015-12-23 将视觉调节和视觉会聚耦合到感兴趣对象的任何深度处的同一平面的设备、方法和系统 Active CN107003734B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462096521P 2014-12-23 2014-12-23
US62/096,521 2014-12-23
PCT/US2015/000277 WO2016105521A1 (en) 2014-12-23 2015-12-23 Apparatuses, methods and systems coupling visual accommodation and visual convergence to the same plane at any depth of an object of interest

Publications (2)

Publication Number Publication Date
CN107003734A CN107003734A (zh) 2017-08-01
CN107003734B true CN107003734B (zh) 2019-12-17

Family

ID=56151262

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580065116.6A Active CN107003734B (zh) 2014-12-23 2015-12-23 将视觉调节和视觉会聚耦合到感兴趣对象的任何深度处的同一平面的设备、方法和系统

Country Status (5)

Country Link
US (3) US9576399B2 (zh)
EP (1) EP3234920A4 (zh)
KR (2) KR20180035934A (zh)
CN (1) CN107003734B (zh)
WO (1) WO2016105521A1 (zh)

Families Citing this family (103)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9699433B2 (en) * 2013-01-24 2017-07-04 Yuchen Zhou Method and apparatus to produce re-focusable vision with detecting re-focusing event from human eye
AU2014248874B2 (en) * 2013-03-11 2019-07-11 Magic Leap, Inc. System and method for augmented and virtual reality
CA3160567A1 (en) 2013-03-15 2014-09-18 Magic Leap, Inc. Display system and method
CN104102349B (zh) * 2014-07-18 2018-04-27 北京智谷睿拓技术服务有限公司 内容分享方法和装置
EP3234920A4 (en) 2014-12-23 2017-10-25 Meta Company Apparatuses, methods and systems coupling visual accommodation and visual convergence to the same plane at any depth of an object of interest
US10852541B2 (en) * 2015-07-03 2020-12-01 Essilor International Methods and systems for augmented reality
US11481911B2 (en) * 2015-08-18 2022-10-25 Magic Leap, Inc. Virtual and augmented reality systems and methods
CA2901477C (en) 2015-08-25 2023-07-18 Evolution Optiks Limited Vision correction system, method and graphical user interface for implementation on electronic devices having a graphical display
US10401953B2 (en) * 2015-10-26 2019-09-03 Pillantas Inc. Systems and methods for eye vergence control in real and augmented reality environments
US9984507B2 (en) * 2015-11-19 2018-05-29 Oculus Vr, Llc Eye tracking for mitigating vergence and accommodation conflicts
WO2017131770A1 (en) * 2016-01-29 2017-08-03 Hewlett-Packard Development Company, L.P Viewing device adjustment based on eye accommodation in relation to a display
US10521952B2 (en) 2016-04-12 2019-12-31 Quidient, Llc Quotidian scene reconstruction engine
US9726896B2 (en) * 2016-04-21 2017-08-08 Maximilian Ralph Peter von und zu Liechtenstein Virtual monitor display technique for augmented reality environments
US10089788B2 (en) * 2016-05-25 2018-10-02 Google Llc Light-field viewpoint and pixel culling for a head mounted display device
US9773438B1 (en) 2016-06-29 2017-09-26 Meta Company System and method for providing views of virtual content in an augmented reality environment
JP6714791B2 (ja) * 2016-07-13 2020-07-01 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びプログラム
KR102239686B1 (ko) 2016-08-04 2021-04-13 돌비 레버러토리즈 라이쎈싱 코오포레이션 단일 깊이 추적 순응-수렴 솔루션
WO2018027015A1 (en) * 2016-08-04 2018-02-08 Dolby Laboratories Licensing Corporation Single depth tracked accommodation-vergence solutions
EP3296792A1 (en) * 2016-09-19 2018-03-21 Essilor International Method for managing the display of an image to a user of an optical system
CN107066079A (zh) 2016-11-29 2017-08-18 阿里巴巴集团控股有限公司 基于虚拟现实场景的业务实现方法及装置
CN206301289U (zh) * 2016-11-29 2017-07-04 阿里巴巴集团控股有限公司 Vr终端设备
GB2557231B (en) 2016-11-30 2020-10-07 Jaguar Land Rover Ltd Multi-depth display apparatus
GB2557227A (en) 2016-11-30 2018-06-20 Jaguar Land Rover Ltd Multi-depth display apparatus
GB2557229A (en) * 2016-11-30 2018-06-20 Cambridge Entpr Ltd Multi-depth augmented reality display
GB2557230B (en) 2016-11-30 2019-09-25 Jaguar Land Rover Ltd Multi-depth augmented reality display
EP3333695B1 (en) * 2016-12-06 2019-10-16 LG Electronics Inc. Digital signage system and data processing method in the same
KR20180064723A (ko) * 2016-12-06 2018-06-15 엘지전자 주식회사 디지털 사이니지 시스템 및 그 데이터 처리 방법
US11042039B1 (en) * 2016-12-20 2021-06-22 Facebook Technologies, Llc Varifocal display with actuated reflectors
CN106501885B (zh) * 2017-01-13 2019-07-05 京东方科技集团股份有限公司 透镜及其制造方法、以及光学显示设备
US10520742B1 (en) * 2017-02-13 2019-12-31 Facebook Technologies, Llc Beamsplitter assembly for eye tracking in head-mounted displays
CN114326128A (zh) * 2017-02-21 2022-04-12 脸谱科技有限责任公司 聚焦调整多平面头戴式显示器
EP3370100A1 (en) * 2017-03-03 2018-09-05 Nokia Technologies Oy Virtual and augmented reality apparatus, near-eye displays comprising the same, and method of displaying virtual and augmented reality
CN107122642A (zh) 2017-03-15 2017-09-01 阿里巴巴集团控股有限公司 基于虚拟现实环境的身份认证方法及装置
KR102404734B1 (ko) * 2017-03-24 2022-06-07 삼성전자주식회사 컨텐트를 재생하는 전자 장치 및 컴퓨터 판독 가능한 기록 매체
JP2020515895A (ja) 2017-03-27 2020-05-28 エイヴギャント コーポレイション 操作可能な中心窩ディスプレイ
PL3610654T3 (pl) 2017-04-11 2022-02-14 Dolby Laboratories Licensing Corporation Wrażenia z warstwowej rozszerzonej rozrywki
US10991280B2 (en) 2017-05-01 2021-04-27 Pure Depth Limited Head tracking based field sequential saccadic break up reduction
US10672311B2 (en) * 2017-05-04 2020-06-02 Pure Depth, Inc. Head tracking based depth fusion
US10771773B2 (en) * 2017-05-11 2020-09-08 Htc Corporation Head-mounted display devices and adaptive masking methods thereof
WO2018217252A1 (en) 2017-05-26 2018-11-29 Google Llc Near-eye display with extended accommodation range adjustment
CN107102446B (zh) * 2017-06-27 2019-07-09 京东方科技集团股份有限公司 一种三维立体显示面板、其显示方法及显示装置
KR102411661B1 (ko) * 2017-07-31 2022-06-21 삼성전자주식회사 영상 처리 방법 및 디바이스
GB201713051D0 (en) * 2017-08-15 2017-09-27 Imagination Tech Ltd Low latency distortion unit for head mounted displays
US10546430B1 (en) * 2017-08-29 2020-01-28 Facebook Technologies, Llc Image plane adjustment in a near-eye display
WO2019060209A1 (en) 2017-09-20 2019-03-28 Facebook Technologies, Llc MULTILAYER PROJECTOR FOR VISIOCASQUE
EP3460785A1 (en) * 2017-09-20 2019-03-27 Facebook Technologies, LLC Multiple layer projector for a head-mounted display
JP7036572B2 (ja) * 2017-11-02 2022-03-15 マクセル株式会社 虚像表示装置およびそれを用いたヘッドマウントディスプレイ
US11138301B1 (en) * 2017-11-20 2021-10-05 Snap Inc. Eye scanner for user identification and security in an eyewear device
US11333902B2 (en) * 2017-12-12 2022-05-17 RaayonNova LLC Smart contact lens with embedded display and image focusing system
TWI653469B (zh) * 2017-12-19 2019-03-11 宏碁股份有限公司 面板調整方法以及頭戴顯示器
US10867174B2 (en) 2018-02-05 2020-12-15 Samsung Electronics Co., Ltd. System and method for tracking a focal point for a head mounted device
US10735649B2 (en) 2018-02-22 2020-08-04 Magic Leap, Inc. Virtual and augmented reality systems and methods using display system control information embedded in image data
US10698218B1 (en) * 2018-03-07 2020-06-30 Facebook Technologies, Llc Display system with oscillating element
CN112470191A (zh) 2018-05-02 2021-03-09 奎蒂安特有限公司 用于处理具有几乎无限细节的场景的编解码器
KR20200001863A (ko) 2018-06-28 2020-01-07 삼성전자주식회사 디스플레이 장치
US10916040B2 (en) * 2018-07-24 2021-02-09 Apical Ltd. Processing image data using different data reduction rates
KR20200013453A (ko) 2018-07-30 2020-02-07 삼성전자주식회사 3차원 영상 표시 장치 및 영상 처리 방법
KR102546321B1 (ko) 2018-07-30 2023-06-21 삼성전자주식회사 3차원 영상 표시 장치 및 방법
US10728534B2 (en) * 2018-07-31 2020-07-28 Lightspace Technologies, SIA Volumetric display system and method of displaying three-dimensional image
US20200049994A1 (en) * 2018-08-13 2020-02-13 Google Llc Tilted focal plane for near-eye display system
KR20200021670A (ko) * 2018-08-21 2020-03-02 삼성전자주식회사 웨어러블 장치 및 그 제어 방법
US11966507B2 (en) * 2018-10-22 2024-04-23 Evolution Optiks Limited Light field vision testing device, adjusted pixel rendering method therefor, and vision testing system and method using same
US11327563B2 (en) 2018-10-22 2022-05-10 Evolution Optiks Limited Light field vision-based testing device, adjusted pixel rendering method therefor, and online vision-based testing management system and method using same
US11729370B2 (en) * 2018-11-28 2023-08-15 Texas Instruments Incorporated Multi-perspective display driver
EP3891546A4 (en) 2018-12-07 2022-08-24 Avegant Corp. STEERING POSITIONING ELEMENT
US10778953B2 (en) 2018-12-10 2020-09-15 Universal City Studios Llc Dynamic convergence adjustment in augmented reality headsets
KR20200075533A (ko) * 2018-12-18 2020-06-26 삼성전자주식회사 영상을 표시하는 장치, 방법 및 컴퓨터 프로그램
CN109633905B (zh) * 2018-12-29 2020-07-24 华为技术有限公司 多焦平面显示系统以及设备
JP7460637B2 (ja) 2019-01-07 2024-04-02 エイヴギャント コーポレイション 制御システムおよびレンダリングパイプライン
US11200656B2 (en) 2019-01-11 2021-12-14 Universal City Studios Llc Drop detection systems and methods
US11789531B2 (en) 2019-01-28 2023-10-17 Evolution Optiks Limited Light field vision-based testing device, system and method
US11500461B2 (en) 2019-11-01 2022-11-15 Evolution Optiks Limited Light field vision-based testing device, system and method
CN217739617U (zh) 2019-03-29 2022-11-04 阿维甘特公司 使用波导提供可转向混合显示器的系统
US11852813B2 (en) * 2019-04-12 2023-12-26 Nvidia Corporation Prescription augmented reality display
WO2020219711A1 (en) * 2019-04-23 2020-10-29 Evolution Optiks Limited Light field display and vibrating light field shaping layer and vision testing and/or correction device
EP4001995A4 (en) * 2019-07-18 2023-11-29 Samsung Electronics Co., Ltd. IMAGE DISPLAY DEVICE FOR EXPRESSING MULTIPLE DEPTHS
US11902498B2 (en) 2019-08-26 2024-02-13 Evolution Optiks Limited Binocular light field display, adjusted pixel rendering method therefor, and vision correction system and method using same
US11487361B1 (en) 2019-11-01 2022-11-01 Evolution Optiks Limited Light field device and vision testing system using same
US11823598B2 (en) 2019-11-01 2023-11-21 Evolution Optiks Limited Light field device, variable perception pixel rendering method therefor, and variable perception system and method using same
CA3156195A1 (en) * 2019-11-08 2021-05-14 Joseph Ivar Etigson System and method for implementing a viewer-specific image perception adjustment within a defined view zone, and vision correction system and method using same
EP4070153A4 (en) * 2019-12-06 2023-01-18 Magic Leap, Inc. VIRTUAL, AUGMENTED AND MIXED REALITY SYSTEMS AND PROCEDURES
EP4062225A4 (en) 2020-01-06 2023-12-27 Avegant Corp. HEAD MOUNTED SYSTEM WITH COLOR SPECIFIC MODULATION
CN111427166B (zh) * 2020-03-31 2022-07-05 京东方科技集团股份有限公司 一种光场显示方法及系统、存储介质和显示面板
CN111739359A (zh) * 2020-06-30 2020-10-02 上海乂学教育科技有限公司 增强现实的课件生成系统
CN111783660B (zh) * 2020-07-01 2023-11-10 业成科技（成都）有限公司 眼动追踪装置及应用其的电子装置
CN111830714B (zh) * 2020-07-24 2024-03-29 闪耀现实(无锡)科技有限公司 图像显示控制方法、图像显示控制装置及头戴式显示设备
US11410580B2 (en) 2020-08-20 2022-08-09 Facebook Technologies, Llc. Display non-uniformity correction
US11393368B2 (en) * 2020-11-05 2022-07-19 Innolux Corporation Display method of image
CN114442319A (zh) * 2020-11-05 2022-05-06 群创光电股份有限公司 影像的显示方法
CN112526763B (zh) * 2020-11-20 2022-09-27 亿信科技发展有限公司 一种光场3d显示装置及其驱动方法
WO2022124607A1 (en) * 2020-12-07 2022-06-16 Samsung Electronics Co., Ltd. Depth estimation method, device, electronic equipment and computer readable storage medium
US11733773B1 (en) 2020-12-29 2023-08-22 Meta Platforms Technologies, Llc Dynamic uniformity correction for boundary regions
KR102380713B1 (ko) * 2021-02-05 2022-04-01 이태경 스마트 디스플레이
US11415806B1 (en) * 2021-02-05 2022-08-16 Htc Corporation Head mounted display apparatus
CN112835453B (zh) * 2021-03-04 2023-05-09 网易（杭州）网络有限公司 模拟人眼聚焦时界面效果的方法、设备和存储介质
US20220311984A1 (en) * 2021-03-26 2022-09-29 Lightspace Technologies, SIA System and method for rendering three-dimensional image content
US11681363B2 (en) 2021-03-29 2023-06-20 Meta Platforms Technologies, Llc Waveguide correction map compression
EP4071543A1 (en) * 2021-04-06 2022-10-12 Horizons Optical S.L.U. Method for establishing the size of the near, far and intermediate vision zones of a progressive lens
DE102021205700B4 (de) * 2021-06-07 2023-07-06 Siemens Healthcare Gmbh Darstellungsvorrichtung zur Anzeige einer erweiterten Realität und Verfahren zum Bereitstellen einer erweiterten Realität
US11710212B1 (en) * 2022-01-21 2023-07-25 Meta Platforms Technologies, Llc Display non-uniformity correction
US11754846B2 (en) 2022-01-21 2023-09-12 Meta Platforms Technologies, Llc Display non-uniformity correction
WO2023187167A1 (en) * 2022-03-31 2023-10-05 Horizons Optical S.L.U. Method to establish the size of the different areas of a progressive lens
KR102646925B1 (ko) * 2022-07-21 2024-03-12 주식회사 긱스로프트 가상 객체 시인성 개선 장치

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6100862A (en) * 1998-04-20 2000-08-08 Dimensional Media Associates, Inc. Multi-planar volumetric display system and method of operation
CN101360252A (zh) * 2008-09-04 2009-02-04 黄松琪 光学立体电视接收器
EP2309768A2 (en) * 2009-10-09 2011-04-13 LG Electronics Mobile terminal with 3D/2D display and controlling method thereof
WO2012058150A1 (en) * 2010-10-28 2012-05-03 Microsoft Corporation Transparent display configuration modes
CN102566049A (zh) * 2010-11-08 2012-07-11 微软公司 用于扩展现实显示的自动可变虚拟焦点
CN202330754U (zh) * 2011-12-09 2012-07-11 上海康耐特光学股份有限公司 一种3d光学树脂眼镜片
US8493379B2 (en) * 2005-12-19 2013-07-23 Koninklijke Philips N.V. Method of identifying pattern in a series of data
WO2013144506A1 (fr) * 2012-03-29 2013-10-03 Orange Procede et dispositif de creation d'images
WO2013170074A1 (en) * 2012-05-09 2013-11-14 Nokia Corporation Method and apparatus for providing focus correction of displayed information
WO2014066662A1 (en) * 2012-10-26 2014-05-01 Qualcomm Incorporated See through near-eye display

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0961506B1 (en) * 1998-05-20 2003-03-26 Texas Instruments France Autostereoscopic display
EP1784988A1 (en) 2004-08-06 2007-05-16 University of Washington Variable fixation viewing distance scanned light displays
JP4692986B2 (ja) * 2004-12-17 2011-06-01 株式会社 日立ディスプレイズ 表示装置
JP4900741B2 (ja) 2010-01-29 2012-03-21 島根県 画像認識装置および操作判定方法並びにプログラム
US20110241977A1 (en) 2010-04-01 2011-10-06 Microsoft Corporation Enhanced viewing brightness for surface display
US9348141B2 (en) 2010-10-27 2016-05-24 Microsoft Technology Licensing, Llc Low-latency fusing of virtual and real content
KR101670927B1 (ko) 2010-11-05 2016-11-01 삼성전자주식회사 디스플레이 장치 및 방법
US8692738B2 (en) * 2011-06-10 2014-04-08 Disney Enterprises, Inc. Advanced Pepper's ghost projection system with a multiview and multiplanar display
US9459457B2 (en) 2011-12-01 2016-10-04 Seebright Inc. Head mounted display with remote control
WO2014106823A2 (en) 2013-01-03 2014-07-10 Meta Company Extramissive spatial imaging digital eye glass apparatuses, methods and systems for virtual or augmediated vision, manipulation, creation, or interaction with objects, materials, or other entities
US9392129B2 (en) * 2013-03-15 2016-07-12 John Castle Simmons Light management for image and data control
WO2014145070A1 (en) 2013-03-15 2014-09-18 Immy Inc. Head mounted display with non-pupil forming optical path
CA3160567A1 (en) 2013-03-15 2014-09-18 Magic Leap, Inc. Display system and method
RU2682798C2 (ru) * 2013-07-19 2019-03-21 Сони Корпорейшн Устройство обнаружения и способ
US9170646B2 (en) * 2013-09-04 2015-10-27 Johnson & Johnson Vision Care, Inc. Ophthalmic lens system capable of interfacing with an external device
CN107300769B (zh) * 2013-11-27 2019-12-13 奇跃公司 虚拟和增强现实系统与方法
US9865089B2 (en) 2014-07-25 2018-01-09 Microsoft Technology Licensing, Llc Virtual reality environment with real world objects
EP3234920A4 (en) 2014-12-23 2017-10-25 Meta Company Apparatuses, methods and systems coupling visual accommodation and visual convergence to the same plane at any depth of an object of interest
WO2016105541A1 (en) * 2014-12-24 2016-06-30 Reald Inc. Adjustment of perceived roundness in stereoscopic image of a head
CA3161521C (en) * 2014-12-29 2024-03-12 Magic Leap, Inc. Light projector using an acousto-optical control device

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6100862A (en) * 1998-04-20 2000-08-08 Dimensional Media Associates, Inc. Multi-planar volumetric display system and method of operation
US8493379B2 (en) * 2005-12-19 2013-07-23 Koninklijke Philips N.V. Method of identifying pattern in a series of data
CN101360252A (zh) * 2008-09-04 2009-02-04 黄松琪 光学立体电视接收器
EP2309768A2 (en) * 2009-10-09 2011-04-13 LG Electronics Mobile terminal with 3D/2D display and controlling method thereof
WO2012058150A1 (en) * 2010-10-28 2012-05-03 Microsoft Corporation Transparent display configuration modes
CN102566049A (zh) * 2010-11-08 2012-07-11 微软公司 用于扩展现实显示的自动可变虚拟焦点
CN202330754U (zh) * 2011-12-09 2012-07-11 上海康耐特光学股份有限公司 一种3d光学树脂眼镜片
WO2013144506A1 (fr) * 2012-03-29 2013-10-03 Orange Procede et dispositif de creation d'images
WO2013170074A1 (en) * 2012-05-09 2013-11-14 Nokia Corporation Method and apparatus for providing focus correction of displayed information
WO2014066662A1 (en) * 2012-10-26 2014-05-01 Qualcomm Incorporated See through near-eye display

Also Published As

Publication number Publication date
KR20180035934A (ko) 2018-04-06
US20170206713A1 (en) 2017-07-20
US10650605B2 (en) 2020-05-12
KR20170081702A (ko) 2017-07-12
US20200098184A1 (en) 2020-03-26
US9576399B2 (en) 2017-02-21
US10319148B2 (en) 2019-06-11
CN107003734A (zh) 2017-08-01
EP3234920A1 (en) 2017-10-25
US20160260258A1 (en) 2016-09-08
EP3234920A4 (en) 2017-10-25
WO2016105521A1 (en) 2016-06-30
KR101844883B1 (ko) 2018-04-03

Similar Documents

Publication Publication Date Title
CN107003734B (zh) 将视觉调节和视觉会聚耦合到感兴趣对象的任何深度处的同一平面的设备、方法和系统
JP7329105B2 (ja) ディスプレイシステムのための深度ベース中心窩化レンダリング
US10983354B2 (en) Focus adjusting multiplanar head mounted display
US20220148538A1 (en) Depth based foveated rendering for display systems
US9984507B2 (en) Eye tracking for mitigating vergence and accommodation conflicts
US20200051320A1 (en) Methods, devices and systems for focus adjustment of displays
US20150312558A1 (en) Stereoscopic rendering to eye positions
US20150187115A1 (en) Dynamically adjustable 3d goggles
CN111295702A (zh) 虚像显示装置以及使用该装置的头戴式显示器
US10528128B1 (en) Head-mounted display devices with transparent display panels for eye tracking
EP3179289B1 (en) Focus adjusting virtual reality headset
US11221487B2 (en) Method and device of field sequential imaging for large field of view augmented/virtual reality
WO2021237115A1 (en) Augmented and virtual reality display systems with correlated in-coupling and out-coupling optical regions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20190531

Address after: American New York

Applicant after: Meta Co.

Address before: California, USA

Applicant before: Meta Co.

GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: California, USA

Patentee after: Bonfire 3D Co.

Country or region after: U.S.A.

Address before: New York, United States

Patentee before: Meta Co.

Country or region before: U.S.A.