CN114730068A - 用于可穿戴装置的环境光管理系统和方法 - Google Patents

用于可穿戴装置的环境光管理系统和方法 Download PDF

Info

Publication number
CN114730068A
CN114730068A CN202080078724.1A CN202080078724A CN114730068A CN 114730068 A CN114730068 A CN 114730068A CN 202080078724 A CN202080078724 A CN 202080078724A CN 114730068 A CN114730068 A CN 114730068A
Authority
CN
China
Prior art keywords
light
user
eye
dimmer
eyepiece
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080078724.1A
Other languages
English (en)
Inventor
V·马瑟
J·N·哈多克
T·迪尔
吴哲宇
C·卡尔里斯勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of CN114730068A publication Critical patent/CN114730068A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/1313—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells specially adapted for a particular application
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133—Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/1333—Constructional arrangements; Manufacturing methods
    • G02F1/133305—Flexible substrates, e.g. plastics, organic film
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133—Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/1333—Constructional arrangements; Manufacturing methods
    • G02F1/1335—Structural association of cells with optical devices, e.g. polarisers or reflectors
    • G02F1/133528—Polarisers
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133—Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/1333—Constructional arrangements; Manufacturing methods
    • G02F1/1335—Structural association of cells with optical devices, e.g. polarisers or reflectors
    • G02F1/133553—Reflecting elements
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133—Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/1333—Constructional arrangements; Manufacturing methods
    • G02F1/1335—Structural association of cells with optical devices, e.g. polarisers or reflectors
    • G02F1/13363—Birefringent elements, e.g. for optical compensation
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133—Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/1333—Constructional arrangements; Manufacturing methods
    • G02F1/1343—Electrodes
    • G02F1/134309—Electrodes characterised by their geometrical arrangement
    • G02F1/134327—Segmented, e.g. alpha numeric display
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133—Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/136—Liquid crystal cells structurally associated with a semi-conducting layer or substrate, e.g. cells forming part of an integrated circuit
    • G02F1/1362—Active matrix addressed cells
    • G02F1/1368—Active matrix addressed cells in which the switching element is a three-electrode device
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/013—Head-up displays characterised by optical features comprising a combiner of particular shape, e.g. curvature
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/0001—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
    • G02B6/0011—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being planar or of plate-like form
    • G02B6/0075—Arrangements of multiple light guides
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133—Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/1333—Constructional arrangements; Manufacturing methods
    • G02F1/1335—Structural association of cells with optical devices, e.g. polarisers or reflectors
    • G02F1/133528—Polarisers
    • G02F1/133548—Wire-grid polarisers
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133—Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/1333—Constructional arrangements; Manufacturing methods
    • G02F1/1335—Structural association of cells with optical devices, e.g. polarisers or reflectors
    • G02F1/13363—Birefringent elements, e.g. for optical compensation
    • G02F1/133634—Birefringent elements, e.g. for optical compensation the refractive index Nz perpendicular to the element surface being different from in-plane refractive indices Nx and Ny, e.g. biaxial or with normal optical axis
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133—Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/1333—Constructional arrangements; Manufacturing methods
    • G02F1/1335—Structural association of cells with optical devices, e.g. polarisers or reflectors
    • G02F1/13363—Birefringent elements, e.g. for optical compensation
    • G02F1/133638—Waveplates, i.e. plates with a retardation value of lambda/n
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F2201/00—Constructional arrangements not provided for in groups G02F1/00 - G02F7/00
    • G02F2201/12—Constructional arrangements not provided for in groups G02F1/00 - G02F7/00 electrode
    • G02F2201/121—Constructional arrangements not provided for in groups G02F1/00 - G02F7/00 electrode common or background
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F2201/00—Constructional arrangements not provided for in groups G02F1/00 - G02F7/00
    • G02F2201/12—Constructional arrangements not provided for in groups G02F1/00 - G02F7/00 electrode
    • G02F2201/123—Constructional arrangements not provided for in groups G02F1/00 - G02F7/00 electrode pixel
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F2201/00—Constructional arrangements not provided for in groups G02F1/00 - G02F7/00
    • G02F2201/34—Constructional arrangements not provided for in groups G02F1/00 - G02F7/00 reflector
    • G02F2201/343—Constructional arrangements not provided for in groups G02F1/00 - G02F7/00 reflector cholesteric liquid crystal reflector
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F2413/00—Indexing scheme related to G02F1/13363, i.e. to birefringent elements, e.g. for optical compensation, characterised by the number, position, orientation or value of the compensation plates
    • G02F2413/03—Number of plates being 3
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F2413/00—Indexing scheme related to G02F1/13363, i.e. to birefringent elements, e.g. for optical compensation, characterised by the number, position, orientation or value of the compensation plates
    • G02F2413/07—All plates on one side of the LC cell

Landscapes

  • Physics & Mathematics (AREA)
  • Nonlinear Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Mathematical Physics (AREA)
  • Geometry (AREA)
  • Engineering & Computer Science (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)
  • Polarising Elements (AREA)

Abstract

描述了用于操作光学系统的技术。在一些实施例中，在光学系统处接收与世界对象相关联的光。虚拟图像光被投射到光学系统的目镜上。基于由光学系统检测到的信息来确定光学系统的系统视场的要被至少部分调暗的部分。可以基于检测到的信息来确定用于系统视场的该部分的多个空间分辨的调暗值。检测到的信息可包括光信息、注视信息和/或图像信息。可以根据多个调暗值调整光学系统的调光器以减小与系统视场的该部分中的世界对象相关联的光的强度。

Description

用于可穿戴装置的环境光管理系统和方法
背景技术
现代计算和显示技术已经有助于用于所谓的“虚拟现实”或“增强现实”体验的系统的开发，其中，数字再现的图像或其部分以其看起来是真实的或可以被感知为真实的方式呈现给用户。虚拟现实或“VR”场景通常涉及数字或虚拟图像信息的呈现，而对其它实际真实世界视觉输入不透明；增强现实或“AR”场景通常涉及将数字或虚拟图像信息呈现为对用户周围的真实世界的可视化的增强。
尽管在这些显示技术中取得进步，但是在本领域中需要与增强现实系统(特别是显示系统)有关的改进的方法、系统、和装置。
发明内容
本公开通常涉及用于改进在变化的环境光条件下的光学系统的技术。更特别地，本发明的实施例提供了用于操作包括调光元件的增强现实(AR)装置的系统和方法。尽管本发明参考AR装置描述，但是本公开适用于计算机视觉和图像显示系统中的各种应用。
下面参考多个示例提供本发明的综述。如下文所使用的，对一系列示例的任何引用将被理解为分离地对那些示例中的每一个的引用(例如，“示例1-4”将被理解为“示例1、2、3、或4”)。
示例1是一种操作光学系统的方法，该方法包括：在光学系统处接收与世界对象相关联的光；将虚拟图像光投射到目镜上；基于由所述光学系统检测到的信息，确定所述光学系统的系统视场的要被至少部分调暗的部分；调整调光器以降低与所述系统视场的所述部分中的世界对象相关联的光的强度。
示例2是根据示例1所述的方法，其中，所述光学系统包括光传感器，所述光传感器被配置为检测对应于与所述世界对象相关联的光的光信息，其中，所述检测到的信息包括所述光信息。
示例3是根据示例1-2所述的方法，其中，所述光信息包括多个空间分辨光值。
示例4是根据示例1-3所述的方法，其中，所述光信息包括全局光值。
示例5是根据示例1-4所述的方法，其中，所述光学系统包括眼睛跟踪器，所述眼睛跟踪器被配置为检测对应于所述光学系统的用户眼睛的注视信息。其中，所述检测到的信息包括所述注视信息。
示例6是根据示例1-5所述的方法，其中，所述注视信息包括与所述用户眼睛的注视矢量相交的像素位置。
示例7是根据示例1-6所述的方法，其中，所述注视信息包括所述用户眼睛的瞳孔位置、所述用户眼睛的旋转中心、所述用户眼睛的瞳孔尺寸、所述用户眼睛的瞳孔直径以及所述用户眼睛的视锥和视杆位置中的一者或多者。
示例8是根据示例1-7所述的方法，还包括：检测对应于所述虚拟图像光的图像信息，其中，所述检测到的信息包括所述图像信息。
示例9是根据示例1-8所述的方法，其中，所述图像信息包括多个空间分辨图像亮度值。
示例10是根据示例1-9所述的方法，其中，所述图像信息包括全局图像亮度值。
示例11是根据示例1-10所述的方法，还包括：基于所述检测到的信息确定用于所述系统视场的所述部分的多个空间分辨的调暗值，其中，所述调光器根据所述多个调暗值来调整。
示例12是根据示例1-11所述的方法，其中，所述调光器包括多个像素。
示例13是根据示例1-12所述的方法，其中，所述调光器被调整以完全阻挡与所有所述系统视场中的世界对象相关联的所述光的强度。
示例14是根据示例1-13所述的方法，还包括：调整与所述虚拟图像光相关联的亮度。
示例15是根据示例1-14所述的方法，其中，所述虚拟图像光由图像视场表征，以及其中，所述图像视场等于所述系统视场。
示例16是根据示例1-15所述的方法，其中，确定所述光学系统的系统视场的要被至少部分地调暗的部分至少部分地基于所述至少一个世界对象。
示例17是根据示例1-16所述的方法，其中，确定所述光学系统的系统视场的要被至少部分调暗的部分至少部分地基于包括在所述虚拟图像中的至少一个对象。
示例18是一种非暂态计算机可读介质，包括指令，所述指令当由处理器执行时，使得所述处理器执行包括以下各项的操作：在光学系统处接收与世界对象相关联的光；将虚拟图像光投射到目镜上；基于由所述光学系统检测到的信息，确定所述光学系统的系统视场的要被至少部分调暗的部分；调整调光器以降低与所述系统视场的所述部分中的世界对象相关联的光的强度。
示例19是根据示例18所述的非暂态计算机可读介质，其中，所述光学系统包括光传感器，所述光传感器被配置为检测对应于与所述世界对象相关联的所述光的光信息，其中，所述检测到的信息包括所述光信息。
示例20是根据示例19所述的非暂态计算机可读介质，其中，所述光信息包括多个空间分辨光值。
示例21是根据示例19所述的非暂态计算机可读介质，其中，所述光信息包括全局光值。
示例22是根据示例18所述的非暂态计算机可读介质，其中，所述光学系统包括眼睛跟踪器，所述眼睛跟踪器被配置为检测对应于所述光学系统的用户眼睛的注视信息。其中，所述检测到的信息包括所述注视信息。
示例23是根据示例22所述的非暂态计算机可读介质，其中，所述注视信息包括与所述用户眼睛的注视矢量相交的像素位置。
示例24是根据示例22所述的非暂态计算机可读介质，其中，所述注视信息包括所述用户眼睛的瞳孔位置、所述用户眼睛的旋转中心、所述用户的眼睛的瞳孔尺寸、所述用户眼睛的瞳孔直径以及所述用户眼睛的视锥和视杆位置中的一者或多者。
示例25是根据示例18所述的非暂态计算机可读介质，其中，所述操作还包括：检测对应于所述虚拟图像光的图像信息，其中，所述检测到的信息包括所述图像信息。
示例26是根据示例25所述的非暂态计算机可读介质，其中，所述图像信息包括多个空间分辨图像亮度值。
示例27是根据示例25所述的非暂态计算机可读介质，其中，所述图像信息包括全局图像亮度值。
示例28是根据示例18所述的非暂态计算机可读介质，其中，所述操作还包括：基于所述检测到的信息确定用于所述系统视场的所述部分的多个空间分辨的调暗值，其中，所述调光器根据所述多个调暗值来调整。
示例29是根据示例18所述的非暂态计算机可读介质，其中，所述调光器包括多个像素。
示例30是根据示例18所述的非暂态计算机可读介质，其中，所述调光器被调整以完全阻挡与所有所述系统视场中的世界对象相关联的所述光的强度。
示例31是根据示例18所述的非暂态计算机可读介质，其中，所述操作还包括：调整与所述虚拟图像光相关联的亮度。
示例32是根据示例18所述的非暂态计算机可读介质，其中，所述虚拟图像光由图像视场表征，以及其中，所述图像视场等于所述系统视场。
示例33是一种光学系统，包括：被配置为将虚拟图像光投射到目镜上的投射器；被配置为调暗与世界对象相关联的光的调光器；通信地耦接到所述投射器和所述调光器的处理器，其中，所述处理器被配置为执行包括以下各项的操作：基于由所述光学系统检测到的信息，确定所述光学系统的系统视场的要被至少部分地调暗的部分；调整所述调光器以降低与所述系统视场的所述部分中的世界对象相关联的光的强度。
示例34是根据示例33所述的光学系统，还包括：光传感器，所述光传感器被配置为检测对应于与所述世界对象相关联的所述光的光信息，其中，所述检测到的信息包括所述光信息。
示例35是根据示例34所述的光学系统，其中，所述光信息包括多个空间分辨光值。
示例36是根据示例34所述的光学系统，其中，所述光信息包括全局光值。
示例37是根据示例33所述的光学系统，还包括：眼睛跟踪器，所述眼睛跟踪器被配置为检测对应于所述光学系统的用户眼睛的注视信息。其中，所述检测到的信息包括所述注视信息。
示例38是根据示例37所述的光学系统，其中，所述注视信息包括与所述用户眼睛的注视矢量相交的像素位置。
示例39是根据示例37所述的光学系统，其中，所述注视信息包括所述用户眼睛的瞳孔位置、所述用户眼睛的旋转中心、所述用户眼睛的瞳孔尺寸、所述用户眼睛的瞳孔直径以及所述用户眼睛的视锥和视杆位置中的一者或多者。
示例40是根据示例33所述的光学系统，其中，所述操作还包括：检测对应于所述虚拟图像光的图像信息，其中，所述检测到的信息包括所述图像信息。
示例41是根据示例39所述的光学系统，其中，所述图像信息包括多个空间分辨图像亮度值。
示例42是根据示例40所述的光学系统，其中，所述图像信息包括全局图像亮度值。
示例43是根据示例33所述的光学系统，其中，所述操作还包括：基于所述检测到的信息确定用于所述系统视场的所述部分的多个空间分辨的调暗值，其中，所述调光器根据所述多个调暗值来调整。
示例44是根据示例33所述的光学系统，其中，所述调光器包括多个像素。
示例45是根据示例33所述的光学系统，其中，所述调光器被调整以完全阻挡与所有所述系统视场中的世界对象相关联的所述光的强度。
示例46是根据示例33所述的光学系统，其中，所述操作还包括：调整与所述虚拟图像光相关联的亮度。
示例47是根据示例33所述的光学系统，其中，所述虚拟图像光由图像视场表征，以及其中，所述图像视场等于所述系统视场。
示例48是一种光学系统，包括：被配置为穿戴在所述光学系统的用户的头部周围的框架；由所述框架承载并被配置为定位在所述用户眼睛与所述用户的环境之间的调光组件；被配置为监测所述用户眼睛的定位的眼睛跟踪器；以及通信地耦接到所述调光组件和所述眼睛跟踪器的控制电路，所述控制电路被配置为：从所述眼睛跟踪器接收数据；基于从所述眼睛跟踪器接收的数据，确定所述用户眼睛的特定解剖学区域位于的沿着所述用户眼睛的光轴的位置；标识位于所述用户的环境内的三维空间中的一个或多个点；以及对于所述用户的环境中的一个或多个标识点中的每一个：至少部分地基于所述用户眼睛的所述特定解剖学区域的所确定的位置和位于所述用户的环境内的三维空间中的相应点来标识所述调光组件的一个或多个像素的集合；控制所述调光组件以调暗所标识的一个或多个像素的集合。
示例49是根据示例48所述的光学系统，其中，所述用户眼睛的所述特定解剖学区域包括所述用户眼睛的旋转中心。
示例50是根据示例48所述的光学系统，其中，所述用户眼睛的所述特定解剖学区域包括所述用户眼睛的瞳孔中心。
示例51是根据示例48所述的光学系统，还包括：被配置为发射表示虚拟内容的光的投射器；以及由所述框架承载并被配置为定位在所述用户眼睛与所述调光组件之间的波导，其中，所述波导被配置为接收来自所述投射器的光并将其引导到所述用户眼睛。
示例52是根据示例51所述的光学系统，其中，所述控制电路通信地耦接到所述投射器，所述控制电路还被配置为控制所述投射器以发射表示虚拟内容的一个或多个像素的光。
示例53是根据示例52所述的光学系统，其中，位于所述用户的所述环境内的三维空间中的所述一个或多个点分别对应于虚拟内容的所述一个或多个像素将由所述用户感知的三维空间中的一个或多个位置。
示例54是根据示例52所述的光学系统，其中，虚拟内容的所述一个或多个像素包括虚拟对象的多个像素。
示例55是根据示例54所述的光学系统，其中，位于所述用户的所述环境内的三维空间中的所述一个或多个点分别对应于与所述虚拟对象相关联的虚拟阴影的一个或多个像素将由所述用户感知的三维空间中的一个或多个位置。
示例56是根据示例48所述的光学系统，其中，位于所述用户的所述环境内的三维空间中的所述一个或多个点对应于由所述用户的所述环境中的真实世界对象占据的三维空间中的一个或多个点。
示例57是根据示例48所述的光学系统，其中，为了标识所述调光组件的一个或多个像素的所述集合，所述控制电路被配置为：将一条或多条光线的集合从位于所述用户的所述环境内的三维空间中的相应点投射到所述用户眼睛的特定解剖学区域的确定位置；以及标识一条或多条光线的所述集合与所述调光组件之间的一个或多个交点的集合。
示例58是根据示例48所述的光学系统，其中，所述调光组件在形状方面是弯曲的。
示例59是根据示例48所述的光学系统，其中，所述控制电路还被配置为分别针对所述调光组件的所标识的一个或多个像素的集合确定一个或多个调暗值的集合，以及其中，所述控制电路被配置为控制所述调光组件以根据所确定的一个或多个调暗值的集合来调暗所标识的一个或多个像素的集合。
示例60是根据示例59所述的光学系统，其中，所述控制电路还被配置为基于从所述眼睛跟踪器接收的数据来确定所述用户眼睛的一个或多个特性，以及其中，所述控制电路被配置为至少部分地基于所述用户眼睛的一个或多个确定的特性，分别针对所述调光组件的所标识的一个或多个像素的集合确定所述一个或多个调暗值的集合。
示例61是根据示例60所述的光学系统，其中，所述用户眼睛的一个或多个特性包括所述用户眼睛的瞳孔尺寸、所述用户眼睛的瞳孔直径、所述用户眼睛的视锥和视杆位置和所述用户眼睛的晶状体的调节状态中的一者或多者。
示例62是根据示例61所述的光学系统，其中，所述控制电路被配置为至少部分地基于所述用户眼睛的一个或多个确定的特性来标识所述调光组件的所述一个或多个像素的集合。
示例63是根据示例所述的光学系统59，还包括：通信地耦接到所述控制电路并被配置为发射表示虚拟内容的光的投射器；以及由所述框架承载并被配置为定位在所述用户眼睛与所述调光组件之间的波导，其中，所述波导被配置为接收来自所述投射器的光并将其引导到所述用户的眼睛，其中，所述控制电路还被配置为控制所述投射器分别以一个或多个亮度水平发射表示虚拟内容的一个或多个像素的光，以及其中，所述控制电路被配置为至少部分地基于虚拟内容的所述一个或多个像素的所述一个或多个亮度水平，分别针对所述调光组件的所标识的一个或多个像素的集合确定所述一个或多个调暗值的集合。
示例64是根据示例63所述的光学系统，其中，所述控制电路被配置为至少部分地基于为所述虚拟内容指定的预定对比度和预定可见性水平中的一者或多者，分别针对所述调光组件的所标识的一个或多个像素的集合确定所述一个或多个调暗值的集合。
示例65是根据示例63所述的光学系统，其中，所述虚拟内容包括虚拟对象，以及其中，所述控制电路被配置为至少部分地基于所述虚拟对象的一个或多个特性来标识所述调光组件的所述一个或多个像素的集合。
示例66是根据示例65所述的光学系统，其中，所述虚拟对象的所述一个或多个特性包括所述虚拟对象的尺寸、所述虚拟对象的形状、所述虚拟对象将由所述用户感知的所述用户的环境中的位置以及所述虚拟对象将由所述用户感知的深度中的一者或多者。
示例67是根据示例59所述的光学系统，还包括：光学传感器，所述光学传感器通信地耦接到所述控制电路并被配置为分别监测光的与所述用户的环境的一个或多个部分相关联的一个或多个亮度水平，以及其中，所述控制电路还被配置为至少部分地基于与所述用户的环境的所述一个或多个部分相关联的所述一个或多个亮度水平，分别针对所述调光组件的所标识的一个或多个像素的集合确定所述一个或多个调暗值的集合。
示例68是根据示例67所述的光学系统，其中，所述光学传感器包括相机。
示例69是根据示例67所述的光学系统，其中，所述光学传感器包括一个或多个光电二极管。
示例70是根据示例67所述的光学系统，还包括：通信地耦接到所述控制电路并被配置为发射表示虚拟内容的光的投射器；以及由所述框架承载并被配置为定位在所述用户眼睛与所述调光组件之间的波导，其中，所述波导被配置为接收来自所述投射器的光并将其引导到所述用户眼睛，以及其中，所述控制电路还被配置为控制所述投射器以发射表示虚拟内容的一个或多个像素的光。
示例71是根据示例70所述的光学系统，其中，所述虚拟内容包括虚拟对象，以及其中，与所述一个或多个亮度水平相关联的所述用户的环境的所述一个或多个部分包括所述用户的环境的将由所述用户感知为由所述虚拟对象遮挡的特定部分。
示例72是根据示例70所述的光学系统，其中，所述控制电路还被被配置为至少部分地基于与所述用户的环境的所述一个或多个部分相关联的所述一个或多个亮度水平来控制所述投射器发射表示虚拟内容的一个或多个像素的光。
示例73是根据示例48所述的光学系统，其中，所述眼睛跟踪器被配置为监测所述用户眼睛相对于所述调光组件的定位。
示例74是一种光学系统，包括：被配置为穿戴在所述光学系统的用户的头部周围的框架；由所述框架承载并被配置为定位在所述用户的左眼与所述用户的环境之间的左调光组件；由所述框架承载并被配置为定位在所述用户的右眼与所述用户的环境之间的右调光组件；以及通信地耦接到所述左调光组件和所述右调光组件的控制电路，所述控制电路被配置为：标识位于所述用户的环境内的三维空间中的一个或多个点；以及对于所述用户的环境中的一个或多个标识点中的每一个：至少部分地基于位于所述用户的环境内的三维空间中的相应点来标识所述左调光组件的一个或多个像素的集合；至少部分地基于位于所述用户的环境内的三维空间中的相应点来标识所述右调光组件的一个或多个像素的集合；控制所述左调光组件以调暗所述左调光组件的所标识的一个或多个像素的集合；以及控制所述右调光组件以调暗所述右调光组件的所标识的一个或多个像素的集合。
示例75是根据示例74所述的光学系统，还包括：左眼睛跟踪器，所述左眼睛跟踪器通信地耦接到所述控制电路并被配置为监测所述用户的所述左眼的定位；以及右眼睛跟踪器，所述左眼睛跟踪器通信地耦接到所述控制电路并被配置为监测所述用户的所述右眼的定位；其中，所述控制电路还被配置为：从所述左眼跟踪器和所述右眼跟踪器接收数据；基于从所述左眼睛跟踪器接收的所述数据，确定所述用户的所述左眼的特定解剖学区域位于的沿着所述用户的所述左眼的光轴的位置；基于从所述右眼睛跟踪器接收的所述数据，确定所述用户的所述右眼的特定解剖学区域位于的沿着所述用户的所述右眼的光轴的位置；
示例76是根据示例75所述的光学系统，其中，所述控制电路被配置为：至少部分地基于所述用户的所述左眼的所述特定解剖学区域的所确定位置和位于所述用户的环境内的三维空间中的相应点来标识所述左调光组件的所述一个或多个像素的集合；以及至少部分地基于所述用户的所述右眼的所述特定解剖学区域的所确定位置和位于所述用户的环境内的三维空间中的相应点来标识所述右调光组件的所述一个或多个像素的集合。
在一个实施例中，光学装置包括塑料基板，其形状在至少一个维度上展现出曲率，包括层压到所述塑料基板上的多个部件。所述多个部件包括包含反射膜和着色膜中的至少一者的部件的外部堆叠、位于所述部件的外部堆叠和塑料基板之间的双折射膜的堆叠、以及位于所述双折射膜的堆叠与塑料基板之间的空间光调制器组件。
在一个或多个实施例中，所述多个部件还包括位于所述空间光调制器组件与所述塑料基板之间的第一偏振器，以及位于所述双折射膜的堆叠与所述空间光调制器组件之间的第二偏振器。所述双折射膜的堆叠可包括第一四分之一波片(QWP)、第二QWP和位于所述第一QWP与所述第二QWP之间的C板。塑料基板，塑料基板的形状可以在二维上展现出曲率。所述多个部件还可包括一个或多个四分之一波片(QWP)、消色差QWP(AQWP)、延迟器、抗反射层、多层反射偏振器(MLP)、层压层或其组合。
在一个或多个实施例中，所述空间光调制器组件包括像素电极层、平面电极和位于所述像素电极层和所述平面电极之间的液晶(LC)层。所述空间光调制器组件可包括邻近所述电极层定位的第一塑料层和邻近所述平面电极定位的第二塑料层。所述像素电极层可包括分割电极和电耦接到所述分割电极的电路。所述电路可包括有机薄膜晶体管(O-TFT)。所述多个部件中的每个部件的形状可符合所述塑料基板的曲率。所述部件的所述外部堆叠可包括线栅偏振器和胆甾型液晶(CLC)反射器中的至少一者。
在另一实施例中，可穿戴显示系统包括目镜和光学装置。所述光学装置包括塑料基板，其形状在至少一个维度上展现出曲率，包括层压到所述塑料基板上的多个部件。所述多个部件包括包含反射膜和着色膜中的至少一者的部件的外部堆叠、位于所述部件的外部堆叠和所述塑料基板之间的双折射膜的堆叠、以及位于所述双折射膜的堆叠与所述塑料基板之间的空间光调制器组件。
在一个或多个实施例中，所述可穿戴显示系统还包括被配置为穿戴在用户的头部周围的框架。所述目镜可以被配置为当所述框架由所述用户穿戴时位于所述用户的眼睛与所述光学装置之间。所述目镜可包括多个波导。所述目镜的形状可以在至少一个维度上展现出曲率。所述可穿戴显示系统还可包括通信地耦接到所述空间光调制器组件的控制电路。
在又一实施例中，显示装置包括目镜堆叠和环境光管理模块(ALMM)，所述环境光管理模块(ALMM)包括调光器组件。所述ALMM可包括塑料基板、角度衰减器组件和至少一个面向世界的膜中的一者或多者。
通过本公开实现了相对于常规技术的许多益处。例如，本文所描述的增强现实(AR)装置可以通过全局调暗和/或选择性调暗到达用户眼睛的环境光，在从黑暗的室内到明亮的室外的不同光照水平中使用。通过使用像素化调光器将世界光衰减大于99％，本发明的实施例允许单个装置中的AR和虚拟现实(VR)能力。本发明的实施例还使用具有离散或连续可变深度平面切换技术的可变聚焦元件来减轻辐辏调节冲突。本发明的实施例通过基于检测到的环境光量优化投射器亮度来改进AR装置的电池寿命。本公开的其他益处对于本领域技术人员来说将是容易明显的。
附图说明
图1示出了根据本文所描述的一些实施例的如通过可穿戴AR装置观看的增强现实(AR)场景。
图2A示出了根据本发明的AR装置的一个或多个一般特征。
图2B图示了基于检测到的光信息确定被调暗的区域的AR装置的示例。
图2C示出了基于虚拟图像确定被调暗的区域的AR装置的示例。
图2D示出了基于注视信息确定被调暗的区域的AR装置的示例。
图3示出了根据本发明的可穿戴AR装置的示意图。
图4示出了用于操作光学系统的方法。
图5示出了具有目镜和像素化调光元件的AR装置。
图6示出了用于基于用户的眼睛的瞳孔位置来确定注视矢量的技术。
图7示出了用于基于用户的眼睛的旋转中心来确定注视矢量的技术。
图8示出了用于基于检测到的光信息以及眼睛内的视锥和视杆位置来确定注视矢量的技术。
图9示出了在瞳孔收缩的高光条件下的所确定的注视矢量。
图10示出了在瞳孔扩张的低光条件下的所确定的注视矢量。
图11示出了用于确定高光条件下的注视矢量和对应的被调暗的区域的三种技术。
图12示出了用于确定低光条件下的注视矢量和对应的被调暗的区域的三种技术。
图13示出了已被调整以产生使用使用瞳孔位置计算的注视矢量确定的被调暗的区域的调光器。
图14示出了已被调整以产生使用在高光条件下使用视锥和视杆位置计算的注视矢量确定的被调暗的区域的调光器。
图15示出了已被调整以产生使用在低光条件下使用视锥和视杆位置计算的注视矢量确定的被调暗的区域的调光器。
图16示出了被调暗的区域包括环形区域内的中心部分的示例。
图17示出了已被调整以产生使用使用眼睛的旋转中心计算的注视矢量确定的被调暗的区域的调光器。
图18A和图18B示出了用于基于图像信息来确定系统视场的要被调暗的部分的方法。
图19A和图19B示出了用于基于图像信息来确定系统视场的要被调暗的部分的方法。
图20示出了通过调整调光器和/或调整投射器来改进虚拟内容的不透明度的示例。
图21示出了通过调暗对应于虚拟对象的系统视场的一部分来改进虚拟内容的不透明度的示例。
图22示出了示出虚拟图像亮度与环境光水平之间的关系的图。
图23A和图23B示出了示出小遮挡对世界场景的影响的图。
图24示出了示出改变遮光器直径对调光元件的作为角度范围的函数的透射的影响的图。
图25示出了使用单个遮光器进行调光的示例。
图26示出了光学透视(OST)头戴式显示器(HMD)的架构的示例。
图27示出了OST-HMD的架构的附加示例。
图28示出了OST-HMD的架构的附加示例。
图29示出了根据本发明的AR装置的示意图。
图30和图31示出了根据一些实施例的包括环境光管理模块(ALMM)的AR HMD的示例。
图32示出了根据本文所描述的一些实施例的简化计算机系统。
具体实施方式
光学透视(OST)增强现实(AR)装置的当前技术挑战是在变化的环境光条件下虚拟内容的不透明度和/或可见度的变化。该问题在诸如完全暗的房间或在全亮阳光的室外的极端照明条件下恶化。本发明的实施例通过调暗AR装置的视场内的不同空间位置处的世界光来解决这些和其他问题。视场的施加调光的部分和施加的调暗量各自基于由AR装置检测到的各种信息来确定。该信息可以包括检测到的环境光、检测到的注视信息和/或检测到的被投射的虚拟内容的亮度。例如通过检测多个空间分辨的光值来通过检测与环境光相关联的方向，来进一步改善AR装置的功能。这允许AR装置通过仅调暗视场的需要被调暗的部分和/或增加视场的某些部分中的投射器亮度来改善其电池寿命。因此，本发明的实施例使得AR装置能够在比传统上可能的更宽的各种条件下来使用。
图1示出了根据本发明的一些实施例的如通过可穿戴AR装置观看到的AR场景100。描绘了AR场景100，其中AR技术的用户看到以诸如人、树木、背景中的建筑物和真实世界混凝土平台120的各种真实世界对象130为特征的真实世界公园状设置106。除了这些项目之外，AR技术的用户同样感知到他们“看到”诸如站在真实世界混凝土平台120上的机器人雕像102-2、以及飞过的卡通式化身角色102-1的各种虚拟对象102，该化身角色看起来是大黄蜂的化身，即使这些元素(角色102-1和雕像102-2)在真实世界中不存在。由于人类的视觉感知和神经系统是极其复杂的，产生有助于连同其他虚拟或真实世界的图像元素一起的虚拟图像元素的舒适、自然、丰富呈现的虚拟现实(VR)或AR技术是具有挑战性的。
图2A示出了根据本发明的AR装置200的一个或多个一般特征。在一些实施例中，AR装置200可以包括目镜202和动态调光器203，该目镜202和动态调光器203被配置为当AR装置200处于非活动模式或关闭模式时是透明的或半透明的，使得用户可以在通过目镜202和动态调光器203观看时看到一个或多个世界对象230。如所示出的，目镜202和动态调光器203可以以并排配置来布置，并且可以形成用户在通过目镜202和动态调光器203观看时看到的系统视场。在一些实施例中，系统视场被定义为由目镜202和动态调光器203中的一者或两者占据的整个二维区域。尽管图2A示出了单个目镜202和单个动态调光器203(出于示例的原因)，但是AR装置200可以包括两个目镜和两个动态调光器，针对用户的每只眼睛具有一个。
在操作期间，可以调整动态调光器203以减小入射在动态调光器203上的与世界对象230相关联的世界光232的强度，从而在系统视场内产生被调暗的区域236。被调暗的区域236可以是系统视场的一部分或子集，并且可以部分地或完全地被调暗。可以根据用于被调暗的区域236的多个空间分辨的调暗值来调整动态调光器203。此外，在AR装置200的操作期间，投射器214可将虚拟图像光222(即，与虚拟内容相关联的光)投射到目镜202上，该虚拟图像光222和世界光232一起被用户观察到。
将虚拟图像光222投射到目镜202上可以使光场(即，虚拟内容的角度表示)被投射到用户的视网膜上，以使得用户将对应的虚拟内容感知为位于用户环境内的某个位置处。例如，由目镜202耦出的虚拟图像光222可以使用户将角色202-1感知为位于第一虚拟深度平面210-1处并将雕像202-2感知为位于第二虚拟深度平面210-2处。用户感知虚拟内容以及对应于一个或多个世界对象230(诸如平台120)的世界光232。
在一些实施例中，AR装置200可包括被配置为检测世界光232的环境光传感器234。环境光传感器234可被定位为使得由环境光传感器234检测到的世界光232类似于和/或表示入射在动态调光器203和/或目镜202上的世界光232。在一些实施例中，环境光传感器234可被配置为检测对应于动态调光器203的不同像素的多个空间分辨的光值。在这些实施例中，环境光传感器234可例如对应于成像传感器(例如，CMOS、CCD等)或多个光电二极管(例如，以阵列或另一空间分布的布置)。在一些实施例中，或在相同实施例中，环境光传感器234可被配置为检测对应于世界光232的平均光强度或单个光强度的全局光值。在这些实施例中，环境光传感器234可例如对应于一个或多个光电二极管的集合。构想了其他可能性。
图2B示出了AR装置200的示例，其中，基于检测到的对应于世界光232的光信息来确定被调暗的区域236。具体地，环境光传感器234可以检测与太阳250相关联的世界光232，并且可以进一步检测系统视场的与太阳250相关联的世界光232穿过AR装置200的方向和/或部分。作为响应，可以调整动态调光器203以将被调暗的区域236设置为覆盖系统视场的对应于检测到的世界光的部分。如图所示，动态调光器203可以被调整，以便以比被调暗的区域236的边缘更大的量来减小在被调暗的区域236的中心处的世界光232的强度。
图2C示出了基于虚拟图像光222来确定被调暗的区域236的AR装置200的示例。具体地，可以基于由用户观察虚拟图像光222而导致的由用户感知到的虚拟内容来确定被调暗的区域236。在一些实施例中，AR装置200可以检测包括虚拟图像光222的位置(例如，动态调光器203内用户感知到虚拟内容的位置)和/或虚拟图像光222的亮度(例如，所感知到的虚拟内容和/或在投射器214处生成的光的亮度)、以及其他可能性的图像信息。如图所示，动态调光器203可被调整以将被调暗的区域236设置为覆盖系统视场的对应于虚拟图像光222的部分，或替代地，在一些实施例中，被调暗的区域236可覆盖系统视场的未与虚拟图像光222对准的部分。在一些实施例中，被调暗的区域236的调暗值可基于由环境光传感器234检测到的世界光232和/或虚拟图像光222的亮度来确定。
图2D示出了基于与用户的眼睛对应的注视信息来确定被调暗的区域236的AR装置200的示例。在一些实施例中，注视信息包括用户的注视矢量238和/或动态调光器203的注视矢量238与动态调光器203相交处的像素位置。如图所示，动态调光器203可被调整以将被调暗的区域236设置为覆盖系统视场的对应于注视矢量238和动态调光器203之间的交点(或交叉区域)的部分，或者替代地，在一些实施例中，被调暗的区域236可以覆盖系统视场的未对应于注视矢量238和动态调光器203之间的交点(或交叉区域)的部分。在一些实施例中，可基于由环境光传感器234检测到的世界光232和/或虚拟图像光222的亮度来确定被调暗的区域236的调暗值。在一些实施例中，可由安装到AR装置200的眼睛跟踪器240来检测注视信息。
图3示出了根据本发明的可穿戴AR装置300的示意图。AR装置300可包括以并排配置布置的左目镜302A和左动态调光器303A，以及也以并排配置布置的右目镜302B和右动态调光器303B。在一些实施例中，AR装置300包括一个或多个传感器，其包括但不限于：直接附接到左目镜302A或靠近左目镜302A的左面向前世界相机306A；直接附接到右目镜302B或靠近右目镜302B的右面向前世界相机306B；直接附接到左目镜302A或靠近左目镜302A的面向左侧的世界相机306C；直接附接到右目镜302B或靠近右目镜302B的面向右侧的世界相机306D；被定位为观察用户的左眼的左眼睛跟踪器340A；被定位为观察用户的右眼的右眼睛跟踪器340B；以及环境光传感器334。在一些实施例中，AR装置300包括一个或多个图像投射装置，诸如光学链接到左目镜302A的左投射器314A和光学链接到右目镜302B的右投射器314B。
AR装置300的一些或所有部件可以被头戴，使得投射图像可以被用户观看到。在一个特定的实施方式中，图3中所示的AR装置300的全部部件都被安装到用户可穿戴的单个装置(例如，单个头戴耳机)上。在另一实施方式中，处理模块350通过一个或多个有线和/或无线连接与AR装置300的其他部件物理上分离并且被通信耦接到AR装置300的其他部件。例如，处理模块350可以以各种配置安装，诸如固定地附接到框架、固定地附接到用户佩戴的头盔或帽子、嵌入耳机中或以其他方式可移除地附接到用户(例如，以背包式配置、以皮带耦接式配置等)。
处理模块350可以包括处理器352以及相关联的数字存储器356，诸如非易失性存储器(例如，闪存)，两者均可以用于辅助数据的处理、缓存和存储。数据可以包括从传感器(例如，其可以被可操作地耦接到AR装置300)、或以其他方式附接到用户捕获的数据，该传感器诸如相机306、环境光传感器334、眼睛跟踪器340、麦克风、惯性测量单元、加速度计、指南针、GPS单元、无线电装置和/或陀螺仪。例如，处理模块350可以从相机306接收(一个或多个)图像320。具体地，处理模块350可以从左面向前世界相机306A接收(一个或多个)左前方图像320A，从右面向前世界相机306B接收(一个或多个)右前方图像320B，从面向左侧世界相机306C接收(一个或多个)左侧图像320C，以及从面向右侧世界相机306D接收(一个或多个)右侧图像320D。在一些实施例中，(一个或多个)图像320可以包括单个图像、一对图像、包括图像流的视频、包括成对图像流的视频等。图像320可以在AR装置300通电时被周期性地生成并发送到处理模块350，或者可以响应于由处理模块350发送给一个或多个相机的指令而生成。作为另一示例，处理模块350可以从环境光传感器334接收光信息。在一些实施例中，环境光传感器334的一些或全部功能可以通过世界相机306A-306D中的一个或多个的方式来提供。作为另一示例，处理模块350可以从眼睛跟踪器340中的一个或两个眼睛跟踪器接收注视信息。作为另一示例，处理模块350可以从投射器314中的一个或两个投射器接收图像信息(例如，图像亮度值)。
目镜302A和302B可以包括被配置为分别引导来自投射器314A和314B的光的透明或半透明的波导。具体地，处理模块350可以使左投射器314A将左虚拟图像光322A输出到左目镜302A上(从而导致与左虚拟图像光322A相关联的对应光场将被投射到用户的视网膜上)，并且可以使右投射器314B将右虚拟图像光322B输出到右目镜302B上(从而导致与右虚拟图像光322B相关联的对应光场将被投射到用户的视网膜上)。在一些实施例中，目镜302中的每一个目镜可以包括对应于不同颜色和/或不同深度平面的多个波导。在一些实施例中，动态调光器303可被耦接到目镜302和/或与目镜302集成。例如，动态调光器303中的一个动态调光器可被合并到多层目镜中并且可形成构成目镜302中的一个目镜的一个或多个层。
相机306A和306B可以被定位成捕获分别与用户的左眼和右眼的视场基本上重叠的图像。因此，相机306的放置可以在用户的眼睛附近，但不能太近以至于遮挡用户的视场。可替代地或另外，相机306A和306B可以被定位成分别与虚拟图像光322A和322B的耦入位置对准。相机306C和306D可以被定位成例如在用户的外围视觉中或在用户的外围视觉之外捕获到用户侧面的图像。使用相机306C和306D捕获的(一个或多个)图像320C和320D不一定需要与使用相机306A和306B捕获的(一个或多个)图像320A和320B重叠。
AR装置300的一个或多个部件可类似于参考图2A-2D所描述的一个或多个部件。例如，在一些实施例中，目镜302、动态调光器303、投射器314、环境光传感器334及眼睛跟踪器340的功能可分别类似于目镜202、动态调光器203、投射器214、环境光传感器234及眼睛跟踪器240。在一些实施例中，处理模块350的功能可以由单独容纳但通信地耦合的两组或更多组电子硬件部件来实现。例如，处理模块350的功能可以由被容纳在耳机内的电子硬件部件结合被容纳在物理地系留(tether)到耳机的计算装置内的电子硬件部件、耳机环境内的一个或多个电子装置(例如，智能电话、计算机、外围装置、智能电器等)、一个或多个远程定位的计算装置(例如，服务器、云计算装置等)或其组合来执行。下文参考图29进一步详细描述此配置的一个示例。
图4示出了用于操作光学系统(例如，AR装置200或300)的方法400。方法400的步骤可以以与图4中所示的顺序不同的顺序执行，并且不需要执行所有步骤。例如，在一些实施例中，步骤406、408和410中的一个或多个可以在方法400的执行期间被省略，方法400的一个或多个步骤可以由处理器(例如，处理器352)或者由光学系统内的一些其他部件来执行。
在步骤402处，在光学系统处接收与世界对象(例如，世界对象230)相关联的光(例如，世界光232)。世界对象可以是由光学系统的用户观看到的任何数量的真实世界对象，诸如树、人、房屋、建筑物、太阳等。在一些实施例中，与世界对象相关联的光首先由动态调光器(例如，动态调光器203或303)或由光学系统的外部装饰透镜接收。在一些实施例中，当光到达光学系统的一个或多个部件(例如，当光到达动态调光器时)，与世界对象相关联的光被认为在光学系统处被接收。
在步骤404处，将虚拟图像光(例如，虚拟图像光222或322)投射到目镜(例如，目镜202或302)上。虚拟图像光可以通过光学系统的投射器(例如，投射器214或314)投射到目镜上。虚拟图像光可以对应于单个图像、一对图像、包括图像流的视频、包括成对图像的流的视频等。在一些实施例中，当与虚拟图像光相关联的任何光到达目镜时，虚拟图像光被认为被投射到目镜上。在一些实施例中，将虚拟图像光投射到目镜上使得光场(即，虚拟内容的角度表示)被投射到用户的视网膜上，以使得用户将对应的虚拟内容感知为位于用户的环境内的某个位置处。
在步骤406、408和410期间，可以由光学系统使用例如光学系统的一个或多个传感器来检测信息。在步骤406处，检测对应于与世界对象相关联的光的光信息。可以使用安装到光学系统的光传感器(例如，环境光传感器234或334)来检测光信息。在一些实施例中，光信息包括多个空间分辨的光值。多个空间分辨的光值中的每一个空间分辨的光值可对应于系统视场内的二维位置。例如，每个光值可以与动态调光器的像素相关联。在其他实施例中，或者在相同的实施例中，光信息可以包括全局光值。全局光值可以与整个系统视场(例如，入射在动态调光器的所有像素上的光的平均光值)相关联。
在步骤408处，检测与光学系统的用户的眼睛对应的注视信息。可使用安装到光学系统的眼睛跟踪器(例如，眼睛跟踪器240或340)来检测注视信息。在一些实施例中，注视信息包括用户眼睛的注视矢量(例如，注视矢量238)。在一些实施例中，注视信息包括用户眼睛的瞳孔位置、用户眼睛的旋转中心、用户眼睛的瞳孔尺寸、用户眼睛的瞳孔直径、以及用户眼睛的视锥和视杆位置中的一者或多者。注视矢量可以基于注视信息的一个或多个分量来确定，诸如瞳孔位置、眼睛的旋转中心、瞳孔尺寸、瞳孔直径和/或视锥和视杆位置。当基于视锥和视杆位置来确定注视矢量时，还可以基于光信息(例如，全局光值)来确定注视矢量，以便确定注视矢量在包含视锥和视杆位置的眼睛的视网膜层内的原点。在一些实施例中，注视信息包括动态调光器的像素或像素组，在该像素或像素组处，注视矢量与动态调光器相交。
在步骤410处，检测对应于由投射器投射到目镜上的虚拟图像光(例如，虚拟图像光222或322)的图像信息。图像信息可由投射器、由处理器(例如，处理器352)或由单独的光传感器检测。在一些实施例中，图像信息包括动态调光器内的一个或多个位置，在用户观察虚拟图像光时，用户通过动态调光器内的该一个或多个位置感知虚拟内容。在一些实施例中，图像信息包括多个空间分辨的图像亮度值(例如，感知到的虚拟内容的亮度)。例如，图像亮度值中的每一个图像亮度值可与目镜或动态调光器的像素相关联。在一个特定实施方式中，当处理器将指令发送到投射器以将虚拟图像光投射到目镜上时，处理器可基于指令来确定空间分辨的图像亮度值。在另一特定实施方式中，当投射器从处理器接收到指令以将虚拟图像光投射到目镜上时，投射器将空间分辨的图像亮度值发送到处理器。在另一特定实施方式中，定位在目镜上或目镜附近的光传感器检测空间分辨的图像亮度值并其将发送到处理器。在其他实施例中，或者在相同的实施例中，图像信息包括全局图像亮度值。全局图像亮度值可以与整个系统视场(例如，所有虚拟图像光的平均图像亮度值)相关联。
在步骤412处，基于所检测到的信息来确定系统视场的要被至少部分地调暗的部分。所检测到的信息可以包括在步骤406期间检测到的光信息、在步骤408期间检测到的注视信息、和/或在步骤410期间检测到的图像信息。在一些实施例中，系统视场的该部分等于整个系统视场。在各种实施例中，系统视场的该部分可等于系统视场的1％、5％、10％、25％、50％或75％等。在一些实施例中，不同类型的信息可以在确定要被至少部分地调暗的部分时被不同地加权。例如，注视信息在可用时可以在确定要被至少部分地调暗的部分时比光信息和图像信息被更大地加权。在一个特定实施方式中，每个类型的信息可独立地用于确定系统视场的要被至少部分地调暗的不同部分，并且随后可使用AND或OR操作将该不同的部分组合成单个部分。
在一些实施例中，用于确定系统视场的要被至少部分地调暗的部分的信息包括与在虚拟内容内呈现的一个或多个对象相关联的信息。例如，虚拟内容可以包括文本、导航指示符(例如，箭头)和/或其他内容。在视场中呈现这样的内容的部分和/或邻近内容的视场可以被调暗，使得用户可以更容易地读取和理解内容，并且将内容与(一个或多个)世界对象区分开。调光器可以选择性地调暗像素中的一个或多个像素和/或区域，或者增强对内容的观看。在一个示例中，视场的下部部分中的一部分可以被选择性地和动态地调暗以使得用户更容易看到定向(例如，导航)箭头、文本消息等。可以在响应于确定要显示这样的内容而显示内容的同时执行这样的调暗，并且当不再显示内容时可以移除调暗。在一些情况下，可以执行调暗以减轻由能够在整个视场上进行调暗的像素结构引起的伪像。
在步骤414处，基于检测到的信息来确定用于系统视场的该部分的多个空间分辨的调暗值。在一些实施例中，使用基于虚拟内容的期望不透明度或可见度的公式方法来确定调暗值。在一个特定实施方式中，可使用以下等式来计算虚拟内容的可见度：
Figure BDA0003639984450000221
其中V是可见度，Imax是如由图像信息指示的虚拟图像光的亮度，Iback与如由光信息(其可以由所确定的调暗值来修改)指示的与世界对象相关联的光值相关，以及C是期望的对比度(例如，100:1)。例如，可在调光器的每个像素位置处使用可见度等式，以使用特定像素位置处的虚拟图像光的亮度和特定像素位置处的与世界对象相关联的光值来计算特定像素位置的调暗值。在一些实施例中，可以使用以下等式来定义Iback：
Iback＝Rv*Iworld
其中Tv是允许穿过调光器的一个或多个像素的光的百分比，以及Iworld是如由光信息指示的来自世界的环境光的亮度。在一些示例中，Tv可以表示调暗值或与调暗值相关。
在步骤416处，调整调光器以减小系统视场的部分中与对象相关联的光的强度。例如，调光器可以被调整，以使得根据针对该特定像素位置确定的调暗值来减小入射在调光器的每个像素位置上的与对象相关联的光的强度。如本公开中所使用的，调整调光器可以包括初始化调光器、激活调光器、对调光器供电、修改或改变先前初始化的、激活的和/或供电的调光器等。在一些实施例中，处理器可以向调光器发送指示系统视场的部分和多个空间分辨的调暗值两者的数据。
在步骤418处，调整投射器以调整与虚拟图像光相关联的亮度。例如，在一些实施例中，在不增加或降低虚拟对象的亮度的情况下，难以实现虚拟内容的期望的不透明度或可见度。在这样的实施例中，可以在调整调光器之前、之后、同步或同时调整虚拟图像光的亮度。
图5示出了具有目镜502和像素化调光元件503的AR装置500，该像素化调光元件503包括可具有各种调暗水平的调暗区域(即，像素)的空间网格。每个调暗区域可具有相关联的尺寸510(即，宽度)和相关联的间隔520(即，节距)。如图所示，调暗区域的空间网格可以包括提供入射光的完全调暗的一个或多个暗像素506和提供入射光的完全透射的一个或多个清晰(clear)像素508。像素化的调光元件503内的相邻像素可以是邻接的(例如，当节距等于尺寸时)或者可以由间隙分开(例如，当节距大于尺寸时)。在各种实施例中，像素化的调光元件503可采用液晶技术，诸如染料掺杂或宾主液晶、扭曲向列(TN)或垂直对准(VA)液晶或铁电液晶。在一些实施例中，像素化的调光元件503可以包括电致变色装置以及其他可能性。在一些实施方式中，像素化的调光元件503可以采用电控制的双折射(“ECB”)技术，诸如ECB单元。
图6示出了用于基于用户的眼睛的瞳孔位置605来确定注视矢量610的技术。在一些情况下，使用眼睛跟踪器检测相对于AR装置的瞳孔位置605，并且随后将注视矢量610定义为在瞳孔位置605处与眼睛的表面正交的矢量。注视矢量610可替代地或附加地被定义为与眼睛的旋转中心和瞳孔位置605相交的矢量。旋转中心可使用由眼睛跟踪器收集的数据来估计。注视矢量610可替代地或附加地被定义为与眼睛的几何中心和瞳孔位置605相交的矢量。眼睛的几何中心可以使用由眼睛跟踪器收集的数据来估计。构想了其他可能性。
使用瞳孔位置605来确定注视矢量610的几个固有问题中的一个问题在图6中示出。在上面的图中，示出了当眼睛大致朝向目镜602的中心看时瞳孔位置605与目镜602之间的第一距离D1。在下面的图中，示出了当眼睛大致朝向目镜的顶部看时瞳孔位置与目镜之间的第二距离D2。这里，第一距离D1小于第二距离D2，从而导致由于随着用户的眼睛移动而变化的聚散距离而导致的渲染配准问题。
图7示出了用于基于用户的眼睛的旋转中心720来确定注视矢量710的技术。旋转中心720可以使用由眼睛跟踪器收集的数据来估计，并且注视矢量710随后可以被定义为通过连接旋转中心720和瞳孔位置705形成的矢量。使用旋转中心720来确定注视矢量710的多个益处之一在于，旋转中心720与目镜702之间的距离可以相同，而不管眼睛看的方向。在图7的上图中，示出了当眼睛大致朝向目镜702的中心看时旋转中心720与目镜702之间的第三距离D3。在下图中，示出了当眼睛大致朝向目镜702的顶部看时旋转中心720与目镜702之间的第四距离D4。此处，第三距离D3与第四距离D4相同，从而改进了渲染配准。
图8示出了用于基于检测到的光信息和眼睛内的视锥804和视杆806位置来确定注视矢量的技术。因为视锥804在高光条件854下对光更敏感而视杆806在低光条件856下对光更敏感，所以当检测到的环境光降低850(例如，全局光值)时，注视矢量的原点可以从视网膜层的对应于高密度视锥804的中心位置向外调整到沿着对应于高密度视杆806的环的一个或多个点。因此，在高光条件854下，所确定的注视矢量可以是通过将视网膜层的中心位置连接到瞳孔位置而形成的单个注视矢量814，而在低光条件856下，(一个或多个)所确定的注视矢量可以是通过将沿着围绕视网膜层825的中心位置的环的一个或多个点连接到瞳孔位置而形成的单个或多个注视矢量816。替代地或附加地，多个注视矢量可以被描述/表示为包括无限数量的可能注视矢量的注视矢量的锥体或“注视锥体”。
视锥804和视杆806位置可以使用由眼睛跟踪器收集的信息来估计，或者在一些实施例中，视网膜层的与高密度视锥804对应的中心位置可以通过以下方式定义：使使用瞳孔位置所确定的注视矢量通过眼睛继续朝向眼睛的后部，以使得使用瞳孔位置所确定的注视矢量与在高光条件854下使用视锥804和视杆806位置所确定的注视矢量共线。在一些实施例中，AR装置被配置为使得在低光条件856(例如，“低光模式”)下使用视锥804和视杆806位置来确定注视矢量，而在高光条件854下使用眼睛的旋转中心来确定注视矢量。在这样的实施例中，可以建立光阈值，相对于该光阈值，可以评估检测到的光值，从而当检测到的光值低于光阈值时，使用视锥804和视杆806位置来确定注视矢量，而当检测到的光值高于光阈值时，使用眼睛的旋转中心来确定注视矢量。
在被调暗的区域显著大和/或调暗值显著高的一些实施例中，使用AR装置的光传感器检测到的环境光可能不指示到达眼睛的光的实际量。在这样的实施例中，瞳孔的尺寸可以用作到达眼睛的光量的代表(proxy)。例如，AR装置可在瞳孔尺寸超过瞳孔尺寸阈值时切换到“低光模式”(导致使用视锥804和视杆806位置来确定注视矢量)。例如，在一些实施方式中，可将瞳孔尺寸阈值设置为高于在高光条件854下用户的平均瞳孔尺寸(例如，瞳孔尺寸可对应于瞳孔的面积、直径、周长等)的20％。在另一特定实施例中，瞳孔尺寸阈值可基于低光856和高光条件854下的平均已知瞳孔尺寸来预先确定。构想了其他可能性。
图9示出了在瞳孔收缩的高光条件下所确定的注视矢量914。在一些实施例中，瞳孔尺寸930可用于估计环境光(例如，全局光值)，诸如，减少的环境光950，或者可替代地或附加地，(一个或多个)注视矢量914的(一个或多个)原点可以直接使用瞳孔尺寸930来确定而无需估计或检测环境光950。例如，不同的瞳孔直径可以与视网膜层925内的不同的视锥904和视杆906位置相关，在这些位置处可以定义(一个或多个)注视矢量的(一个或多个)原点。
图10示出了在瞳孔扩张的低光条件下所确定的注视矢量1016。类似于高光条件下的场景，在低光条件下，瞳孔尺寸1032可用于估计环境光(例如，全局光值)，诸如，减少的环境光1050，或者可替代地或附加地，可以使用瞳孔尺寸直接确定(一个或多个)注视矢量的(一个或多个)原点。类似于图9，示例的不同的瞳孔直径可以与视网膜层1025内的不同的视锥1004和视杆1006位置相关，在这些位置处可以定义(一个或多个)注视矢量的(一个或多个)原点。
图11示出了用于确定高光条件(例如具有5000NITS的室外环境光1155)下的注视矢量的三种技术，以及使用三种技术中的每一种确定的对应的被调暗的区域。在第一技术中，使用瞳孔位置来确定注视矢量，从而产生从瞳孔的表面朝向被调暗的区域A(或在一些实施例中，未被调暗的区域)正交地延伸的注视矢量1110A。在第二技术中，使用眼睛内的视锥1104和视杆1106位置确定注视矢量，从而产生从视网膜层的中心位置通过瞳孔位置朝向被调暗的区域(或在一些实施例中，未被调暗的区域)延伸的注视矢量1110B。可以通过以下各项中的一项或多项进一步促进第二技术：瞳孔位置(用于提供用于定义注视矢量的第二点)、检测到的环境光(用于确定(一个或多个)注视矢量的沿着视网膜层的(一个或多个)原点)、和瞳孔尺寸/直径(用于估计环境光和/或用于直接确定(一个或多个)注视矢量的沿着视网膜层1125的(一个或多个)原点)。在第三技术中，使用眼睛的旋转中心确定注视矢量，从而产生从眼睛的旋转中心通过瞳孔位置朝向被调暗的区域C(或在一些实施例中，未被调暗的区域)延伸的注视矢量1110C。在图12的示例中，被调暗的区域A与被调暗的区域B相同。
图12示出了图11中所示的相同技术，但是在低光条件下，例如具有100NITS的室外环境光1257。使用第一和第三技术(分别使用瞳孔位置和旋转中心)确定的注视矢量1210A和1210C以及对应的被调暗的区域A和C是相同的，但是使用第二技术(使用视锥1204和视杆1206位置)已经被修改。在第二技术中，使用眼睛内的视锥1204和视杆1206位置确定注视矢量，从而产生从沿着视网膜层1225的中心位置周围的环形的各个点通过瞳孔位置朝向被调暗的区域B'(或在一些实施例中，未被调暗的区域)延伸的注视矢量1210B'的集合。在图12所示的示例中，被调暗的区域A、B'和C中的每一个彼此不同。
图13示出了已被调整以产生使用注视矢量确定的被调暗的区域A的调光器1303，该注视矢量使用瞳孔位置计算。
图14示出了已被调整以产生使用注视矢量确定的被调暗的区域B的调光器1403，该注视矢量在高光条件下使用视锥和视杆位置计算，例如具有5000NITS的室外环境光。
图15示出了已被调整以产生使用注视矢量确定的被调暗的区域B’的调光器1503，该注视矢量在低光条件下使用视锥和视杆位置计算，例如具有100NITS的室外环境光。在可替代实施例中，被调暗的区域B'可仅包括图15所示的环形区域的部分而非其整体区域。
图16示出了已被调整以在具有100NITS的室外环境光1657下产生被调暗的区域B'的调光器1603，该被调暗的区域B'还包括环形区域内的中心部分。
图17示出了已被调整以产生在例如具有5000NITS的室外环境光处的被调暗的区域C的调光器1703。使用注视矢量来确定产生的被调暗的区域C，该注视矢量使用眼睛的旋转中心计算。
图18A和图18B示出了用于基于图像信息来确定系统视场的待调暗的一部分的方法。例如，图18A和图18B中所示的一个或多个步骤可对应于步骤410和/或412。在一些实施例中，AR装置可以以这样的方式将光投射到目镜1812上：虚拟内容在目镜1812和动态调光器1803之外的空间中的各个点处由用户感知，诸如点1802-1、1802-02和1802-03。点1802(例如，1802-01、1802-02和1802-03)可以例如对应于三维空间中的位置，包括虚拟内容(例如，一个或多个虚拟对象)的像素当通过目镜1812呈现时将由用户感知的位置、暗虚拟内容(例如，由通过目镜1812呈现的虚拟内容投射或以其他方式与通过目镜1812呈现的虚拟内容相关联的虚拟“阴影”)将由用户感知的位置、由位于用户的环境中的一个或多个现实世界对象或人物理占据的位置(例如，锚定到用户的环境中的某人头部的虚拟黑色“顶帽”)等。在一些实施方式中，点1802(例如，1802-01、1802-02和1802-03)可以从虚拟内容随机采样，或者在一些实施例中，点1802可以基于虚拟内容的关键特征来选择，诸如边缘、角、表面中心，以及其他可能性。在一些实施例中，点1802(例如，1802-01、1802-02和1802-03)可以从虚拟内容的外周边(如从参考点观看)采样。在其他实施例中，或在相同实施例中，虚拟内容的图像亮度也在点1802(例如，1802-01、1802-02和1802-03)中的每一个处确定，其可用于确定点1802处的调暗水平(即调暗值)，以实现虚拟内容的期望可见性V。使用的点1802的数量可以基于速度-准确度权衡而变化。
为了与感知的虚拟内容对准调暗，矢量1804(例如，1804-01、1804-02和1804-03)可以被定义为与点1802(例如，1802-01、1802-02和1802-03)中的每一个和瞳孔位置(即，参考点)相交。然后可以在矢量1804与动态调光器1803相交的每个位置处定义交点1806(例如，1806-01、1806-02和1806-03)。如参考图18B所示，可以基于交点1806(例如，1806-01、1806-02和1806-03)来确定被调暗的部分1808(例如，1808-01、1808-02和1808-03)。在一些实施方式中，可以采用一种或多种光线或椎体投射技术来定义矢量1804(例如，1804-01、1804-02和1804-03)并标识或以其他方式确定交点1806(例如，1806-01、1806-02和1806-03)。在一些实施例中，被调暗的部分1808(例如，1808-01、1808-02和1808-03)中的每一个可以被设置为包含交点1806(例如，1806-01、1806-02和1806-03)中的每一个的区域，或者包含交点1806的动态调光器1803的特定像素。在一些实施例中，被调暗的部分1808(例如，1808-01、1808-02和1808-03)的尺寸可以是采样点1802(例如，1802-01、1802-02和1802-03)的数量和/或点1802的密度的函数。例如，在一些实例中，被调暗的部分1808(例如，1808-01、1808-02和1808-03)的尺寸可以与点1802(例如，1802-01、1802-02和1802-03)的数量成反比。在从虚拟内容的外周边采样点1802(例如，1802-01、1802-02和1802-03)的实施例中，被调暗的部分1808(例如，1808-01、1808-02和1808-03)可以通过连接相邻的交点1806(例如，1806-01、1806-02和1806-03)并且调暗封闭区域来形成。在一些示例中，被调暗的部分1808(例如，1808-01、1808-02和1808-03)的尺寸和/或阴影可以是从参考点到交点1806(例如，1806-01、1806-02和1806-03)的确定距离、从交点1806(例如，1806-01、1806-02和1806-03)到点1802(例如，1802-01、1802-02和1802-03)的确定距离或其组合的函数。在图18A和图18B的示例中，定义矢量1804(例如，1804-01、1804-02和1804-03)的起始位置(即，参考点)的瞳孔位置(例如，瞳孔中心)可以随着眼睛1800运动发生而随时间变化。因此，交点1806(例如，1806-01、1806-02和1806-03)的位置和被调暗的部分1808(例如，1808-01、1808-02和1808-03)也可以随着眼睛1800运动发生而随时间变化。
图19A和图19B示出了用于基于类似于图18A和图18B所示的图像信息来确定系统视场的待调暗的一部分的方法，但是具有不同的参考点。在一些实施例中，AR装置可以以这样的方式将光投射到目镜1912上：虚拟内容在目镜1912和动态调光器1903之外的空间中的各个点处由用户感知，诸如点1902。点1902(例如，1902-01、1902-02和1902-03)可以表示用户感知虚拟内容的空间中的不同点。矢量1904(例如，1904-01、1904-02和1904-03)可以被定义为与点1902(例如，1902-01、1902-02和1902-03)中的每一个和眼睛1900的旋转中心1920(即，参考点)相交。然后可以在矢量1904(例如，1904-01、1904-02和1904-03)与动态调光器相交的每个位置处定义交点1906(例如，1906-01、1906-02和1906-03)。如参考图19B所示，可以基于交点1906(例如，1906-01、1906-02和1906-03)来确定被调暗的部分1908(例如，1908-01、1908-02和1908-03)。在一些实施例中，被调暗的部分1908(例如，1908-01、1908-02和1908-03)中的每一个可以被设置为包含交点1906(例如，1906-01、1906-02和1906-03)中的每一个的区域或者包含交点1906的动态调光器的特定像素。在一些示例中，被调暗的部分1908(例如，1908-01、1908-02和1908-03)的尺寸和/或阴影可以是从参考点到交点1906(例如，1906-01、1906-02和1906-03)的确定距离、从交点1906到点1902(例如，1902-01、1902-02和1902-03)的确定距离或其组合的函数。与作为图18A和图18B的示例中的参考点的瞳孔位置相比，当眼睛1900运动发生时，作为在图19A和图19B的示例中定义矢量1904(例如，1904-01、1904-02和1904-03)的起始位置(即，参考点)的眼睛1900的旋转中心1920的位置可能随时间更稳定。因此，在图19A和图19B的示例中，当眼睛1900运动发生时，交点1906(例如，1906-01、1906-02和1906-03)和被调暗的部分1908(例如，1908-01、1908-02和1908-03)的位置可能保持静止或随时间变化相对较小。尽管上文参考图18A、图18B、图19A和图19B描述了眼睛1900的瞳孔位置和旋转中心1920作为可用于确定系统视场的待调暗的一部分的参考点的示例，但是应理解，这样的参考点的示例还可包括沿着眼睛的光轴的各种其他位置中的任何一个。
图20示出了使用本文描述的任何技术来改善所显示的虚拟内容的实度(solidity)的示例，这些技术诸如基于光信息、注视信息和/或图像信息来调整调光器和/或调整投射器。参考左侧视场和右侧视场，除了虚拟内容看起来比虚拟内容2004的剩余部分更密实的虚拟内容2004的部分2006之外，在世界对象2002旁边显示的虚拟内容2004看起来被冲洗(washed out)。如所示示例中所示，虚拟内容的实度仅在系统视场中用户正在观看的部分处被改善。
图21示出了通过调暗系统视场的与虚拟对象对应的部分来改善所显示的虚拟对象2102的实度的示例。如图所示，其中虚拟对象2102的位于调暗的区域中的部分2104的不透明度和可见度相对大于虚拟对象2102的位于没有调暗的区域中的部分2106的不透明度和可见度。通过调暗部分2104处的与世界对象2108相关联的光，用户可以更清楚地感知到虚拟内容。
图22示出了示出用于维持等于0.7的可见度(即，V＝0.7)的在虚拟图像光亮度(x轴)与环境光水平之间的关系的曲线图。对于不同的环境光水平条件，实线斜线是固定的可见度水平线(对于V＝0.7)。例如，对于在约100尼特的室内区域中使用的200尼特的投射器亮度，可以采用接近30％的调暗水平来保持可见度接近0.7。再次参考上面参考图4描述的可见度等式，在一些示例中，图22中所示的曲线图的x轴和y轴可以分别对应于Imax和Tv，而实线斜线是针对不同Iworld值的固定可见度水平线(对于V＝0.7)。
图23A和23B示出了示出小遮挡对世界场景的影响的图。图23A示出了用户的眼睛正在观看无穷远处的简单情况。眼睛包括视网膜2302、瞳孔2304和晶状体2306。来自不同角度的光被聚焦到视网膜230上的不同位置。图23B示出了在远离瞳孔2304的距离d处的放置在眼睛前方的遮挡物(occlusor)2308。可以使用简单射线几何结构来构造视网膜处的梯度盘。忽略衍射，梯度盘的中心处的相对透射是t0＝1-(h/p)2，其中h是遮挡物的直径，p是瞳孔的直径。换句话说，t0＝1-A遮挡物/A瞳孔，其中A遮挡物是遮挡物的面积以及A瞳孔是瞳孔的面积。
图24示出了示出改变遮挡物直径而对作为角度范围(以度为单位)的函数的调暗元件的透射的影响的曲线图。如图所示，较小的遮挡物直径(例如，1mm)对透射具有非常小的影响，但是在角度范围上比较大的遮挡物直径(例如，4mm)更稳定，较大的遮挡物直径对在角度范围上显著地变化的透射具有较高的影响。
图25示出了使用单个遮挡物的调暗的示例，其中d＝17mm、p＝4mm和h＝1mm。被调暗的区域显示了单个像素的点扩散函数(PSF)2502。使用所示的调暗，针对所使用的特定调光元件的像素尺寸要求可以被估计为200μm像素。
图26示出了OST头戴式显示器(HMD)的遮光器透射2650架构的示例，包括将虚拟内容(例如，经由显示光2636)递送到用户眼睛的衍射波导目镜2602。在一些实施例中，HMD是可穿戴在用户的头部上的可穿戴装置。衍射波导目镜2602可包括一个或多个衍射光学元件(DOE)，诸如耦入光栅(ICG)、正交光瞳扩展器(OPE)和/或出射光瞳扩展器(EPE2640)。世界光2632也通过相同的元件到达用户的眼睛。如图所示，动态调光器2604允许管理世界光水平(例如，调暗的世界光2634)以将虚拟内容保持在某个不透明度水平。在一些实施例中，调光器2604可以对应于像素化调光元件，该像素化调光元件在功能上类似于或等同于如上文参考图5所描述的像素化调光元件503。在其他实施例中，调光器2604可以对应于全局(非像素化)调光元件。如图26所示，在一些实施方式中，调光器2604可以独立于目镜而成形和弯曲，以便改进OST-HMD的美观和/或功能。
图27示出了包括微型显示器(例如，LCOS、MEMS或光纤扫描器显示器类型)的OST-HMD的架构的附加示例，该微型显示器利用中继光学系统将光2736递送到衍射波导结构的耦入光栅中。波导结构可包括放大输入图像平面并递送到用户的眼睛2700的耦出光栅(例如，EPE 2740)。如图所示，各种元件可以位于用户的眼睛2700与世界对象之间。目镜2702可以是衍射波导组合器，该衍射波导组合器将虚拟光2736递送到用户的眼睛2700并且还允许世界光2732透过。可变焦元件2704可包括眼睛2700与目镜2702之间的深度平面变化/切换元件以作用于虚拟显示器。在一些实施例中，可变聚焦元件2704是后透镜组件(BLA)2706。BLA也不可变地作用于世界光，并且因此添加了前透镜组件(FLA)2708以消除对世界显示的影响。
该实施例中的动态调光元件2710安装在集成堆叠的外部。这允许从用于AR模式的透明显示器切换到完全阻挡世界光的用于VR模式的不透明显示器。调光元件2710可对应于全局调光元件或像素化的调光元件。外部透镜2712被定位成与光学堆叠分离，以便为OST-HMD提供保护和/或支撑结构。外部透镜2712还可以向整个系统视场提供调暗量。
图28示出了OST-HMD的架构的附加示例，其中平坦的动态调光器2802沿着弯曲的外部装饰透镜2804的内部定位，以将世界光2832转换成倍调暗的世界光2834。调光器2802可以对应于全局调光元件或像素化的调光元件。在一些实施例中，外部装饰透镜2804可向整个系统视场提供调暗量，其可在确定动态调光器2802的空间分辨的调暗值时被考虑。OST-HMD还可包括目镜2806、自适应BLA 2808、自适应FLA 2810，和EPE 2840，以向用户的眼睛2800显示光2836，如本文所述。
图29示出了根据本发明的AR装置2900的示意图。AR装置2900一般包括本地模块2910和远程模块2912。AR装置2900的部件在本地模块2910和远程模块之间的划分可以允许当AR装置2900在使用中时，将体积大的和/或高功耗的部件与靠近用户的头部定位的那些部件分离，从而增加用户的舒适性以及装置性能。本地模块2910可以是头戴式的并且可以包括各种机械和电子模块以促进像素化的调光器2903和空间光调制器2904的控制。空间光调制器2904的控制可以使得虚拟内容投射到目镜2902上，该虚拟内容与由调光器2903修改的世界光一起被AR装置2900的用户观看到。本地模块2910的一个或多个传感器2934可检测来自世界和/或用户的信息，并将所检测到的信息发送到传感器头戴式耳机处理器2940，该头戴式耳机处理器2940可将数据流发送到本地模块2910的显示器头戴式耳机处理器2942，并且将原始或经处理的图像发送到远程模块2912的感知处理单元2944。
在一些实施例中，本地模块2910的一个或多个部件可以类似于参照图3描述的一个或多个部件。例如，在这样的实施例中，目镜2902和调光器2903的功能可以分别类似于目镜302和调光器303的功能。在一些示例中，一个或多个传感器2934可以包括分别与世界相机306、环境光传感器334和/或眼睛跟踪器340中的一个或多个类似的世界相机、环境光传感器和/或眼睛跟踪器中的一个或多个。在一些实施例中，空间光调制器2904的功能性可类似于被包括在投射器314中的一个或多个部件的功能性，并且传感器头戴式耳机处理器2940和显示器头戴式耳机处理器2942中的一个或两者的功能性可类似于被包括在处理模块350中的一个或多个部件的功能性。
在一些实施例中，显示器头戴式耳机处理器2942可以从远程模块2912的图形处理单元(GPU)2946接收虚拟内容数据和像素化的调光器数据，并且可以在控制像素化的调光器2903和空间光调制器2906之前，执行各种校正和翘曲(warp)技术。由显示器头戴式处理器2942生成的调光器数据可以传递通过一个或多个驱动器，该一个或多个驱动器可以修改或生成用于控制调光器2903的电压。在一些实施例中，显示器头戴式耳机处理器2942可以从传感器头戴式耳机处理器2940接收深度图像和头戴式耳机姿势，其可用于改善调暗和投射的虚拟内容的准确度。
远程模块2912可以通过一个或多个有线或无线连接被电耦接到本地模块2910，并且可以被固定地附接到用户或由用户携带，以及其他可能性。远程模块2912可以包括用于执行/生成环境照明图、耳机姿势和眼睛感测的感知处理单元2944。感知处理单元2944可将数据发送到CPU 2948，该CPU 2948可被配置为执行/生成可传递世界几何形状和应用场景几何形状。CPU 2948可将数据发送到GPU 2946，该GPU 2946可被配置为执行针对最小世界亮度吞吐量、调暗像素对准、后期帧时间翘曲和渲染管道、以及其他操作的检查。在一些实施例中，CPU 2948可与GPU 2946集成，以使得单个处理单元可执行参考每一个所描述的功能中的一个或多个。在一些实施例中，被包括在远程模块2912中的部件中的一个或多个部件的功能性可以类似于被包括在处理模块350中的一个或多个部件的功能性。
实际上，如本文所描述的系统和技术所证明的，动态空间环境光衰减可以有利地在具有衍射波导组合器的光学透视增强现实(AR)头戴式显示器(HMD)中被利用以在变化的光条件下保持虚拟内容实度。然而，不同的照明条件可能提出超出与虚拟内容实度相关的挑战的附加挑战。例如，在一些情况下，AR HMD的用户环境中的头顶照明条件可能在用户的视场中产生衍射伪影。各种其他因素和照明条件也可用于将衍射伪影引入用户的视场中。因此，可能希望在这样的AR HMD中采用一个或多个系统和/或技术，以用于管理一系列照明环境中的用户视场中的衍射伪影。
在一些实施方式中，被配置为提供衍射伪影管理功能的一个或多个部件可以包含到调光器组件(例如，动态调光器)中和/或邻近其设置，诸如上文所描述的部件中的一个或多个。在一些实施方式中，用于管理具有调光器组件的AR HMD中的衍射伪影的一个或多个这样的系统和技术可用于具有类似于或等同于上文参考图1至图29所描述的动态调光器中的一个或多个的调光器组件的AR HMD中。在一些实施方式中，用于管理AR HMD中的衍射伪影的一个或多个这样的系统和技术可用于具有类似于或等同于上述调光器组件中的一个或多个的调光器组件的AR HMD中。
在一些实施例中，用于管理衍射伪影的上述系统和技术中的一个或多个可用于具有类似于或等同于如上文分别参考图26和图28所描述的动态调光器2604和动态调光器2802中的一个或多个的调光器组件的AR HMD中。在这样的实施例中，也可能重要的是，调光器组件满足某些美学和工业设计(ID)要求(产品的外观和感觉)和/或提供抗碎裂性以有效保护目镜和系统的其他精密部件。考虑到上述用于在不同光条件下保持虚拟内容实度和/或管理衍射伪影的许多系统和技术涉及将附加层(例如，膜、透镜和其他光学部件)包含到AR HMD的光学堆叠中，满足这样的美学和物理要求可能具有挑战性。此外，在AR HMD的光学堆叠中添加层也导致增加的厚度和质量，并且在一些情况下，还可能引入透射损耗和可见的伪影。如下文进一步详细描述的，在一些实施方式中，具有解决这些问题的新颖设计的环境光管理模块(ALMM)可用于AR HMD中。
在一些实施例中，ALMM是单个集成光学元件。ALMM可以在塑料或其他适合的基板上制造，并且可以合并到显示组合器的世界侧的AR HMD中。在一些示例中，ALMM可以在一维或二维中在形状方面弯曲。该单个集成元件被配置用于在变化的光条件下保持虚拟内容的实度并管理衍射伪影，但对AR HMD的光学堆叠添加相对小的厚度和质量，并且引入很少(或没有)附加的透射损耗和可见的伪影。
图30示出了根据一些实施例的包括环境光管理模块(ALMM 3050)的AR HMD的示例。图31示出了根据一些实施例的图30的AR-HMD和ALMM 3150的更详细示例。如图30所示，AR HMD包括位于用户的眼睛3000与世界3030之间的ALMM 3050，以及位于用户的眼睛3000与ALMM 3050之间的目镜堆叠3005。在一些实施方式中，ALMM 3050可包括以下各项中的一项或多项：一维或二维(双曲率、球面)曲率塑料基板3010(1D/2D弯曲基板)、用于改进内容实度的空间光衰减的调光器组件3003、分割调光器、用于高角度光衰减的角度衰减器组件3008(彩虹伪影减轻层)和/或用于装置的美学或装饰外观的其他面向世界的膜3012。在一些实施例中，诸如在图30和图31所示的示例中，ALMM 3050还包括位于塑料基板与调光器组件3003之间的偏振器P1、位于调光器组件3003与角度衰减器组件3008之间的偏振器P2、以及位于角度衰减器组件3008与面向世界的膜3012之间的偏振器P3。在一些示例中，偏振器P1-P3可以是线偏振器。例如，在这样的实施方式中，偏振器P1-P3的功能可以类似于或等同于偏振器1120a-1120c的功能。实施例还支持在ALMM 3050中包括更多或更少的偏振器。
塑料基板3010的曲率可用于增强ALMM 3050的美学外观。在一些实施方式中，ALMM3050的塑料基板3010可以具有在10度和30度之间的一维或二维曲率角。在一些示例中，ALMM 3050的塑料基板3010可以具有在100和200mm之间(例如，120mm、140mm等)的一维或二维曲率半径。另外，在一些示例中，ALMM 3050的塑料基板3010可以具有在20和60mm之间(例如，35mm、45mm等)的直径。另外，在一些实施例中，塑料基板3010可以足够稳健和/或足够坚固以满足用于AR HMD产品的破碎保护要求(例如，可以承受落球)。
如图31所示，AR HMD可包括位于用户的眼睛3100与世界3130之间的ALMM 3150，以及位于用户的眼睛3100与ALMM 3150之间的目镜堆叠3105。在一些实施方式中，调光器组件3003/3103包括层压在1D/2D弯曲塑料基板上的基于柔性有机薄膜晶体管(O-TFT)的液晶(LC)空间光调制器。如图31所示，在一些实施例中，调光器组件3103可包括多个层D1-D5。在一些示例中，层D1和D5对应于被配置为将调光器组件3103保持在一起和/或保护其中包含的其他层的塑料膜或基板。在一些示例中，层D2对应于像素电极和薄膜晶体管层，层D3对应于液晶(LC)层，以及层D4对应于公共平面电极。调光器组件3103的电极可以例如由也是导电的光学透射材料制成，例如氧化铟锡(ITO)。调光器组件3103的部件本质上可以是柔性的，使得调光器组件3103可以以某种方式设置在ALMM 3150中以大体符合由弯曲塑料基板3110阐述的轮廓。例如，在一些实施例中，层D2的像素电极可以具有类似于或等同于像素几何形状中的一个或多个的几何形状。在这些实施例中的至少一些实施例中，像素电极在x和y维度上可以展现出类似于或等同于上述像素几何形状中的一个或多个的几何形状，并且可以进一步成形为符合z维度上的ALMN的曲率。在一些示例中，层D2和D4的位置可以交换。
在一些实施方式中，角度衰减器组件3018/3108包括层压在1D/2D弯曲塑料基板3110上以形成衍射伪影/彩虹减轻膜的双折射膜。如图31所示，在一些实施例中，角度衰减器组件3108可包括多个层A1-A3。在一些示例中，层A1和A3对应于四分之一波片(QWP)，以及层A2对应于C板。
在一些实施方式中，(一个或多个)面向世界的膜3012/3112包括层压在1D/2D弯曲塑料基板上的一个或多个线栅偏振器或胆甾型液晶(CLC)膜，以在从外部观看装置时向用户提供反射和/或色彩。如图31所示，在一些实施例中，(一个或多个)面向世界的膜3112可包括多个层W1和W2。在一些实施方式中，层W1对应于线栅偏振器(WGP)或多层反射偏振器(MLP)，以及层W2对应于超延迟器/消色差QWP(AQWP)。在其他实施方式中，层W1对应于AQWP，以及层W2对应于CLC偏振器(CLCP)。在一些实施例中，(一个或多个)面向世界的膜3012/3112包括多于两层(例如，四层、五层等)。
尽管在图30和图31中未示出，但是在一些实施例中，两层或两层以上层压板可以设置在ALMM 3050/3150内或邻近其设置。在一些示例中，ALMM 3050/3150可包括被配置为衰减鬼影的一个或多个附加层。在一些实施方式中，ALMM 3050/3150可包括一个或多个附加QWP。例如，在这样的实施方式中，ALMM 3050/3150可包括位于塑料基板与偏振器P1之间的QWP、位于偏振器P1与调光器组件之间的QWP、位于调光器组件与偏振器P2之间的QWP或其组合。此外，在一些实施例中，ALMM3050/3150可包括一个或多个抗反射层。例如，在这样的实施例中，ALMM3050/3150可包括位于塑料基板与偏振器P1之间的抗反射层、位于(一个或多个)面向世界的膜与世界之间的抗反射层或其组合。另外，在一些实施方式中，ALMM3050/3150与目镜堆叠3005/3105之间的空间可以至少部分地填充有折射率匹配的材料。
在一些示例中，图30和图31的目镜堆叠3005/3105可以以类似于ALMM 3050/3150的方式弯曲。此外，图30和图31的目镜堆叠3005/3105可包括多个波导。在一些实施例中，多个波导中的一个或多个可以由基于聚合物的材料制成。
图32示出根据本文描述的一些实施例的简化的计算机系统3200。如图32中所示的计算机系统3200可以结合到诸如本文所述的AR装置200或300的装置中。图32提供了可以执行由各种实施例提供的方法的一些或全部步骤的计算机系统3200的一个示例的示意图。应该注意，图32仅旨在提供各种部件的一般性图示，可以适当地利用其中的任一个或全部。因此，图32广泛地示出可以如何以相对分离或相对更集成的方式来实现各个系统元件。
示出计算机系统3200包括可以经由总线3205电耦接或者可以适当地以其他方式通信的硬件元件。硬件元件可以包括一个或多个处理器3210，包括但不限于一个或多个通用处理器和/或一个或多个专用处理器，诸如数字信号处理芯片、图形加速处理器，和/或类似物；一个或多个输入装置3215，其可以包括但不限于鼠标、键盘、相机，和/或类似物；以及一个或多个输出装置3220，其可以包括但不限于显示装置、打印机，和/或类似物。
计算机系统3200可以还包括一个或多个非暂态存储装置3225和/或与之通信，该非暂态存储装置3225可以包括但不限于本地和/或网络可访问的存储装置，和/或可以包括但不限于磁盘驱动器、驱动器阵列、光存储装置、固态存储装置(诸如随机存取存储器(“RAM”)和/或只读存储器(“ROM”)，它们可以是可编程的、可更新的)，和/或类似物等。此类存储装置可以被配置为实现任何适当的数据存储，包括但不限于各种文件系统、数据库结构等。
计算机系统3200还可能包括通信子系统3219，该通信子系统3219可以包括但不限于调制解调器、网卡(无线或有线)、红外通信装置、无线通信装置和/或诸如蓝牙TM装置、802.11装置、WiFi装置、WiMax装置、蜂窝通信设施等的芯片组，和/或类似物。通信子系统3219可以包括一个或多个输入和/或输出通信接口，以允许与网络，诸如以下描述的网络，以列举一个示例、其他计算机系统、电视和/或本文描述的任何其他装置交换数据。取决于所需的功能和/或其他实施方式，便携式电子装置或类似装置可以经由通信子系统3219来传送图像和/或其他信息。在其他实施例中，便携式电子装置(例如，第一电子装置)可以被并入计算机系统3300中，例如作为输入装置3215的电子装置。在一些实施例中，如上所述，计算机系统3200将还包括工作存储器3235，该工作存储器3235可以包括RAM或ROM装置。
计算机系统3200还可包括被示为当前位于工作存储器3235内的软件元件，包括操作系统3240、装置驱动器、可执行库和/或其他代码，诸如一个或多个应用3245，如本文所述，该应用3245可以包括由各种实施例提供的计算机程序，和/或可以被设计为实现由其他实施例提供的方法和/或配置系统。仅作为示例，关于上述方法所描述的一个或多个过程可以被实现为可由计算机和/或计算机内的处理器执行的代码和/或指令，因此，一方面，此类代码和/或指令可以用于配置和/或适配通用计算机或其他装置以执行根据所描述的方法的一个或多个操作。
这些指令和/或代码的集合可以存储在非暂态计算机可读存储介质上，诸如上述存储装置3225。在一些情况下，该存储介质可能被并入诸如计算机系统3200的计算机系统内。在其他实施例中，该存储介质可能与计算机系统(例如，诸如光盘的可移动介质)分离，和/或设置在安装包中，使得存储介质可用于对通用计算机及其上存储的指令/代码进行编程、配置和/或适配。这些指令可能采取可以由计算机系统3200执行的可执行代码的形式，和/或可能采取源代码和/或可安装代码的形式，该源代码和/或可安装代码例如使用各种通常可用的编译器、安装程序、压缩/解压缩实用程序等在计算机系统3200上编译和/或安装时然后采用可执行代码的形式。
对于本领域技术人员而言显而易见的是，可以根据特定要求进行实质性的变化。例如，也可能使用定制的硬件，和/或可能在硬件、包括便携式软件(诸如小应用程序等)的软件或二者中实现特定的元件。此外，可以采用到诸如网络输入/输出装置的其他计算装置的连接。
如上所述，一方面，一些实施例可以采用诸如计算机系统3200的计算机系统来执行根据本技术的各种实施例的方法。根据一组实施例，此类方法的一些或全部过程由计算机系统3200响应于处理器3210执行一个或多个指令的一个或多个序列来执行，该一个或多个指令可能被并入操作系统3240和/或工作存储器3235中包括的其他代码，诸如应用程序3245。此类指令可以从另一计算机可读介质(诸如一个或多个存储装置3225)读入工作存储器3235。以示例的方式，包括在工作存储器3235中的指令序列的执行可能使处理器3210执行在此描述的方法的一个或多个过程。另外地或可替代地，在此描述的方法的部分可以通过专用硬件来执行。
如在此所使用，术语“机器可读介质”和“计算机可读介质”是指参与提供使机器以特定方式操作的数据的任何介质。在使用计算机系统3200实现的实施例中，各种计算机可读介质可能涉及向处理器3210提供指令/代码以供执行和/或可用于存储和/或承载此类指令/代码。在许多实施方式中，计算机可读介质是物理和/或有形存储介质。此类介质可以采取非易失性介质或易失性介质的形式。非易失性介质包括例如光盘和/或磁盘，诸如存储装置3225。易失性介质包括但不限于动态存储器，诸如工作存储器3235。
物理和/或有形计算机可读介质的常见形式包括，例如，软盘、柔性盘、硬盘、磁带或任何其他磁性介质、CD-ROM、任何其他光学介质、打孔卡、纸带、带孔图案的任何其他物理介质、RAM、PROM、EPROM、FLASH-EPROM、任何其他存储芯片或盒式磁带或计算机可以从中读取指令和/或代码的任何其他介质。
各种形式的计算机可读介质可涉及将一个或多个指令的一个或多个序列承载给处理器3210以供执行。仅作为示例，指令可以最初承载在远程计算机的磁盘和/或光盘上。远程计算机可能将指令加载到其动态存储器中，并通过透射介质将指令作为信号发送，以由计算机系统3200接收和/或执行。
通信子系统3219和/或其部件通常将接收信号，并且然后总线3205可能将信号和/或信号所承载的数据、指令等承载到工作存储器3235，处理器3210从该工作存储器3235中取得并执行指令。由工作存储器3235接收的指令可以可选地在由处理器3210执行之前或之后被存储在非暂态存储装置3225上。
上面讨论的方法、系统和装置是示例。各种配置可以适当地省略、替代或添加各种过程或部件。例如，在替代配置中，可以以与所描述的顺序不同的顺序执行该方法，和/或可以添加、省略和/或组合各个阶段。此外，关于某些配置描述的特征可以在各种其他配置中组合。可以以类似方式组合配置的不同方面和元素。此外，技术在发展，并且因此，许多元素是示例，并不限制本公开或权利要求的范围。
在说明书中给出了具体细节以提供对包括实施方式的示例性配置的透彻理解。然而，可以在没有这些具体细节的情况下实践配置。例如，已经示出了公知的电路、过程、算法、结构和技术，而没有不必要的细节，以便避免使配置模糊。该描述仅提供示例配置，并不限制权利要求的范围、适用性或配置。相反，配置的先前描述将为本领域技术人员提供用于实现所描述的技术的使能描述。在不脱离本公开的精神或范围的情况下，可以对元素的功能和布置进行各种改变。
此外，可以将配置描述为过程，该过程被描述为示意性流程图或框图。尽管每个操作都可以将操作描述为顺序过程，但是许多操作可以并行或同时执行。另外，可以重新排列操作的顺序。过程可具有图中未包括的附加步骤。此外，方法的示例可以通过硬件、软件、固件、中间件、微代码、硬件描述语言或其任意组合来实现。当以软件、固件、中间件或微代码实现时，用于执行必要任务的程序代码或代码段可以存储在诸如存储介质的非暂态计算机可读介质中。处理器可以执行所描述的任务。
已经描述了几种示例配置，在不脱离本公开的精神的情况下，可以使用各种修改、替代构造和等同形式。例如，以上元素可以是较大系统的部件，其中其他规则可以优先于或以其他方式修改技术的应用。同样，在考虑以上元素之前、之中或之后可以采取许多步骤。因此，以上描述不限制权利要求的范围。
如在此和所附权利要求书中所使用的，单数形式“一”、“一个”和“该”包括复数引用，除非上下文另外明确指出。因此，例如，对“用户”的引用包括多个此类用户，而对“处理器”的引用包括对一个或多个处理器及其本领域技术人员已知的等同形式的引用，等等。
此外，当在本说明书和所附权利要求书中使用时，词语“包括了”、“包括”、“包括了”、“包括”、“已包括”和“正包括”旨在指定所陈述的特征、整数、部件或步骤的存在，但它们并不排除一个或多个其他特征、整数、部件、步骤、动作或组的存在或添加。
还应理解，在此所述的示例和实施例仅用于说明目的，并且根据其各种修改或改变将被本领域技术人员建议，并且将被包括在本申请的精神和范围以及所附权利要求的范围之内。

Claims (20)

1.一种光学装置，包括：
塑料基板，其形状在至少一个维度上展现出曲率；
层压到所述塑料基板上的多个部件，所述多个部件包括：
包括反射膜和着色膜中的至少一者的部件的外部堆叠；
位于所述部件的外部堆叠与所述塑料基板之间的双折射膜的堆叠；以及
位于所述双折射膜的堆叠与所述塑料基板之间的空间光调制器组件。
2.根据权利要求1所述的光学装置，其中，所述多个部件还包括：
位于所述空间光调制器组件与所述塑料基板之间的第一偏振器；以及
位于所述双折射膜的堆叠与所述空间光调制器组件之间的第二偏振器。
3.根据权利要求2所述的光学装置，其中，所述多个部件还包括：
位于所述部件的外部堆叠与所述双折射膜的堆叠之间的第三偏振器。
4.根据权利要求1所述的光学装置，其中，所述双折射膜的堆叠包括：
第一四分之一波片(QWP)；
第二QWP；以及
位于所述第一QWP和所述第二QWP之间的C板。
5.根据权利要求1所述的光学装置，其中，所述空间光调制器组件包括：
像素电极层；
平面电极；以及
位于所述像素电极层与所述平面电极之间的液晶层(LC)。
6.根据权利要求5所述的光学装置，其中，所述空间光调制器组件还包括：
邻近所述电极层定位的第一塑料层；以及
邻近所述平面电极定位的第二塑料层。
7.根据权利要求5所述的光学装置，其中，所述像素电极层包括分割电极和电耦接到所述分割电极的电路。
8.根据权利要求7所述的光学装置，其中，所述电路包括有机薄膜晶体管(O-TFT)。
9.根据权利要求1所述的光学装置，其中，所述多个部件中的每个部件的形状符合所述塑料基板的曲率。
10.根据权利要求1所述的光学装置，其中，所述部件的外部堆叠包括线栅偏振器和胆甾型液晶(CLC)反射器中的至少一者。
11.根据权利要求1所述的光学装置，其中，塑料基板，所述塑料基板的所述形状在二维上展现出曲率。
12.根据权利要求1所述的光学装置，其中，所述多个部件还包括一个或多个四分之一波片(QWP)、消色差QWP(AQWP)、延迟器、抗反射层、多层反射偏振器(MLP)、层压层或其组合。
13.一种可穿戴显示系统，包括：
目镜；以及
根据权利要求1所述的光学装置。
14.根据权利要求13所述的可穿戴显示系统，还包括：被配置为穿戴在用户的头部周围的框架。
15.根据权利要求14所述的可穿戴显示系统，其中，所述目镜被配置为当所述框架由所述用户穿戴时位于所述用户的眼睛与所述光学装置之间。
16.根据权利要求13所述的可穿戴显示系统，其中，所述目镜包括多个波导。
17.根据权利要求13所述的可穿戴显示系统，其中，所述目镜的形状在至少一个维度上展现出曲率。
18.根据权利要求13所述的可穿戴显示系统，还包括：通信地耦接到所述空间光调制器组件的控制电路。
19.一种显示装置，包括：
目镜堆叠；以及
环境光管理模块(ALMN)，其包括调光器组件。
20.根据权利要求19所述的显示装置，其中，所述ALMM还包括塑料基板、角度衰减器组件和至少一个面向世界的膜中的一者或多者。
CN202080078724.1A 2019-11-13 2020-11-12 用于可穿戴装置的环境光管理系统和方法 Pending CN114730068A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962935056P 2019-11-13 2019-11-13
US62/935,056 2019-11-13
PCT/US2020/060254 WO2021097102A1 (en) 2019-11-13 2020-11-12 Ambient light management systems and methods for wearable devices

Publications (1)

Publication Number Publication Date
CN114730068A true CN114730068A (zh) 2022-07-08

Family

ID=75845578

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080078724.1A Pending CN114730068A (zh) 2019-11-13 2020-11-12 用于可穿戴装置的环境光管理系统和方法

Country Status (5)

Country Link
US (3) US11561401B2 (zh)
EP (1) EP4058835A4 (zh)
JP (1) JP7483001B2 (zh)
CN (1) CN114730068A (zh)
WO (1) WO2021097102A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11892632B2 (en) * 2019-11-25 2024-02-06 Apple Inc. Modifying display operating parameters based on light superposition from a physical environment
US11774763B2 (en) 2020-11-18 2023-10-03 Cheng-Hsing Liao Optical device utilizing LCoS substrate and spatial light modulator
CN114415372B (zh) * 2021-12-24 2023-08-04 歌尔科技有限公司 Ar眼镜对比度的控制方法、存储介质及ar眼镜
US20240027804A1 (en) * 2022-07-22 2024-01-25 Vaibhav Mathur Eyewear with non-polarizing ambient light dimming

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4192634B2 (ja) 2003-03-03 2008-12-10 株式会社ニコン コンバイナ光学系
JP4408368B2 (ja) 2003-12-24 2010-02-03 株式会社 日立ディスプレイズ 表示装置および表示方法およびこれらを用いる機器
US8545030B2 (en) 2004-07-12 2013-10-01 Gentex Corporation Rearview mirror assemblies with anisotropic polymer laminates
US20090161044A1 (en) * 2007-12-21 2009-06-25 Zhibing Ge Wide viewing angle circular polarizers
US20150309316A1 (en) 2011-04-06 2015-10-29 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
JP5741122B2 (ja) 2011-03-28 2015-07-01 ソニー株式会社 電気泳動素子、表示装置および電子機器
JP6015223B2 (ja) 2012-08-09 2016-10-26 株式会社ニコン 電子機器、及び表示装置
KR20160043280A (ko) 2014-10-13 2016-04-21 삼성전자주식회사 편광필름, 이를 포함하는 디스플레이 장치, 및 그 제어방법
TWI595292B (zh) * 2015-01-21 2017-08-11 友達光電股份有限公司 曲面液晶顯示裝置
JP6892213B2 (ja) 2015-04-30 2021-06-23 ソニーグループ株式会社 表示装置及び表示装置の初期設定方法
CN114998557A (zh) 2015-08-18 2022-09-02 奇跃公司 虚拟和增强现实系统和方法
JP6636323B2 (ja) 2015-12-28 2020-01-29 株式会社日立エルジーデータストレージ 調光器及びこれを用いた映像表示装置
WO2017172277A1 (en) * 2016-03-28 2017-10-05 Lc-Tec Displays Ab Electro-optic guest-host liquid crystal variable transmission filter with wide viewing angle
WO2018146995A1 (ja) * 2017-02-08 2018-08-16 富士フイルム株式会社 加飾フィルム
US10338400B2 (en) 2017-07-03 2019-07-02 Holovisions LLC Augmented reality eyewear with VAPE or wear technology
WO2019156839A1 (en) 2018-02-09 2019-08-15 Vuzix Corporation Image light guide with circular polarizer
US10871653B1 (en) * 2018-04-24 2020-12-22 Lc-Tec Displays Ab Viewing direction independent single-layer, pixelated light dimming filter
CN113646695B (zh) * 2019-02-12 2024-05-24 瑞尔D斯帕克有限责任公司 用于防窥显示器的漫射器

Also Published As

Publication number Publication date
US11561401B2 (en) 2023-01-24
US20210141229A1 (en) 2021-05-13
WO2021097102A1 (en) 2021-05-20
EP4058835A4 (en) 2022-12-07
US20230118979A1 (en) 2023-04-20
US20240126091A1 (en) 2024-04-18
US11885973B2 (en) 2024-01-30
JP7483001B2 (ja) 2024-05-14
JP2023503243A (ja) 2023-01-27
EP4058835A1 (en) 2022-09-21

Similar Documents

Publication Publication Date Title
CN112639579B (zh) 用于增强现实装置的空间分辨的动态调暗
US10867451B2 (en) Apparatus, systems, and methods for display devices including local dimming
US11561401B2 (en) Ambient light management systems and methods for wearable devices
US8619005B2 (en) Switchable head-mounted display transition
US11698557B2 (en) Geometries for mitigating artifacts in see-through pixel arrays
US11644675B2 (en) Ghost image mitigation in see-through displays with pixel arrays
US10482666B2 (en) Display control methods and apparatuses
US10775617B2 (en) Eye tracked lens for increased screen resolution
CN115087909B (zh) 用于照明光学器件的衍射元件的基于偏振的复用
US11768376B1 (en) Head-mounted display system with display and adjustable optical components

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination