CN107850788B - 用于增强现实的方法和系统 - Google Patents

用于增强现实的方法和系统 Download PDF

Info

Publication number
CN107850788B
CN107850788B CN201680039416.1A CN201680039416A CN107850788B CN 107850788 B CN107850788 B CN 107850788B CN 201680039416 A CN201680039416 A CN 201680039416A CN 107850788 B CN107850788 B CN 107850788B
Authority
CN
China
Prior art keywords
wearer
visualization
array
computer
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680039416.1A
Other languages
English (en)
Other versions
CN107850788A (zh
Inventor
A·鲍彻尔
J-P·卡诺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
EssilorLuxottica SA
Original Assignee
Essilor International Compagnie Generale dOptique SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Essilor International Compagnie Generale dOptique SA filed Critical Essilor International Compagnie Generale dOptique SA
Publication of CN107850788A publication Critical patent/CN107850788A/zh
Application granted granted Critical
Publication of CN107850788B publication Critical patent/CN107850788B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10Beam splitting or combining systems
    • G02B27/1066Beam splitting or combining systems for enhancing image performance, like resolution, pixel numbers, dual magnifications or dynamic range, by tiling, slicing or overlapping fields of view
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00Simple or compound lenses
    • G02B3/0006Arrays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/04Prisms
    • G02B5/045Prism arrays
    • GPHYSICS
    • G02OPTICS
    • G02FOPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/15Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on an electrochromic effect
    • G02F1/163Operation of electrochromic cells, e.g. electrodeposition cells; Circuit arrangements therefor
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2294Addressing the hologram to an active spatial light modulator
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0123Head-up displays characterised by optical features comprising devices increasing the field of view
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0127Head-up displays characterised by optical features comprising devices increasing the depth of field
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • G02B2027/0174Head mounted characterised by optical features holographic
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2270/00Substrate bearing the hologram
    • G03H2270/55Substrate bearing the hologram being an optical element, e.g. spectacles

Abstract

本发明总体上提供了用头戴式设备来显示图像的方法和系统。总体来说,本发明涉及一种光场显示器的用途。这样的显示器用于提供增强现实。

Description

用于增强现实的方法和系统
技术领域
本发明涉及用于增强现实的方法和系统。
本发明更具体地涉及计算机生成的图像的显示。
背景技术
具有多个显示特征的头戴式设备在本领域中是已知的。这样的设备包括所谓的‘智能眼镜’,这允许其配戴者看得见图像或文本从而增强现实。
WO 2015/032824和WO 2015/032828披露了包括用于显示计算机产生的全息图像的空间光调制器的头戴式设备。为了提高配戴者视觉舒适度,希望提供多种方法和系统,其中,以特别适配于配戴者和/或配戴设备的定制方式显示图像和文本。
另外,为了体验实际的增强现实,希望的是提供允许实现计算机生成的图像的可调谐可视化的方法和系统。具体而言,希望的是,可以用动态(例如延时)方式来定制被配戴者看得见的距离和/或方向。这将提供在不同注视方向上(换言之,在配戴者的视野的多个不同位置)的图像动态显示、和/或提供可视化距离(焦点)动态调整。还希望的是调整可视化图像的大小和视野。而且,希望的是,根据配戴者(无论是屈光不正的配戴者、还是屈光正常的配戴者)的视力来调整增强现实,从而能够考虑减小的调节力。还希望的是至少部分地矫正二级像差,如非球面化或场像差。
发明内容
本发明总体上提供了用头戴式设备来显示图像的方法和系统。
总体来说,本发明涉及一种光场显示器的用途。这样的显示器用于提供增强现实。
本发明的设备
在一方面,本发明涉及一种旨在由配戴者配戴的头戴式设备(HMD),其中,所述头戴式设备被配置成用于显示并使所述配戴者看得见计算机生成的图像,其中,所述头戴式设备(HMD)包括:图像源(IS),所述图像源(IS)包括光场显示器,以及位于所述配戴者的一只眼睛前方的透视反射镜(M),诸如全息反射镜(HM);其中,所述图像源(IS)被配置成用于朝向所述反射镜发射光束,其中,所述发射的光束被反射到所述反射镜(M,HM)上并且由此被引向所述配戴者的所述眼睛,从而使所述配戴者看得见计算机生成的图像。
在一些实施例中,所述透视反射镜和/或所述图像源被配置成用于至少部分地调整所述配戴者的视力以便看得见所述显示的计算机生成的图像;例如,当配戴者存在屈光不正时,所述透视反射镜和/或所述图像源可以被配置成用于至少部分地矫正所述配戴者的屈光不正以便看得见所述显示的计算机生成的图像。
在一些实施例中,所述透视反射镜是全息反射镜,并且所述光场显示器包括:光学微型元件阵列,其中,所述光学微型元件能够是有源的或无源的,并且其中,所述光学微型元件阵列是选自:微孔阵列;微棱镜阵列;液晶阵列,例如LCD或LCoS;光栅阵列;以及相位掩模阵列;以及:数字显示元件,所述数字显示元件是选自诸如LED显示屏、OLED显示屏、LCoS显示屏、LCD显示屏、以及SLM显示屏等数字显示屏。
在一些实施例中,所述光场显示器包括:光学微型元件阵列,以及包括多个像素的数字显示元件;其中,在所述光学微型元件阵列中,各个光学微型元件阵列对应于所述数字显示元件中的一个像素子集。
在一些实施例中,所述光学微型元件阵列中的所有光学微型元件是相同的。
在一些实施例中,所述光学微型元件阵列是:微透镜阵列,其中,所述微透镜阵列包括至少两种类型微透镜;或微孔阵列,其中,所述微孔阵列包括至少两种类型微孔;或微棱镜阵列,其中,所述微棱镜阵列包括至少两种类型微棱镜;或液晶阵列,其中,所述液晶阵列包括至少两种类型液晶;或光栅阵列,其中,所述光栅阵列包括至少两种类型光栅;或相位掩模阵列,其中,所述相位掩模阵列包括至少两种类型相位掩模。
在一些实施例中,所述光学微型元件阵列是包括至少两种类型微透镜的微透镜阵列,其中,所述至少两种类型微透镜的不同之处在于以下各项中的一项或多项:微透镜直径,微透镜光焦度,微透镜轮廓,所述微透镜轮廓是选自:球面、非球面、柱面、双凸面、平凸面、凹面、平凹面、双凹面、以及正弯月面、负弯月面等,从所述微透镜到其在所述数字显示元件中的相应像素子集的相对距离,所述微透镜的有源性质或无源性质;
在一些实施例中,所述光学微型元件阵列是包括至少两种类型微孔的微孔阵列,其中所述至少两种类型微孔的不同之处在于以下各项中的一项或多项:微孔尺寸,诸如直径;微孔形状,从所述微孔到其在所述数字显示元件中的相应像素子集的相对距离。
在一些实施例中,所述至少两种类型光学微型元件(所述至少两种类型微透镜,相应地所述至少两种类型微孔,相应地所述至少两种类型微棱镜,相应地所述至少两种类型液晶,相应地所述至少两种类型光栅,相应地所述至少两种类型相位掩模)被安排成具有所述图像源的光源,所述光源发射所述光束以在所述光学微型元件阵列中限定至少两个不同的区域。
在一些实施例中,所述头戴式设备(HMD)进一步包括至少一个传感器,所述传感器选自:一个或多个场景相机;一个或多个照度传感器和光度传感器;以及一个或多个眼睛跟踪器。
本发明的用途和方法
在一方面,本发明涉及一种光场显示器在旨在由配戴者配戴的透视头戴式设备中的用途,其中,所述头戴式设备包括反射镜,并且其中,所述光场显示器被配置成用于朝向所述反射镜发射光束,其中,所述发射的光束被反射到所述反射镜(M,HM)上并且由此被引向所述配戴者的所述眼睛,从而使所述配戴者看得见计算机生成的图像,所述光场显示器用于:调整所述配戴者看得见所述计算机生成的图像的距离;和/或调整所述配戴者看得见所述计算机生成的图像的注视方向,和/或调整可视化的图像的大小和视野;和/或矫正所述配戴者看得见所述计算机生成的图像时的二级光学像差,如非球面化、场像差;和/或当所述配戴者屈光不正时,至少部分地矫正所述配戴者的屈光不正以便所述配戴者看得见所述计算机生成的图像。
在一方面,本发明涉及一种用于显示并可视化计算机生成的图像的方法,包括以下步骤:
(a)向配戴者提供本文中所描述的头戴式设备(HMD),
(b)控制所述光场显示器以:调整所述配戴者看得见所述计算机生成的图像的距离;和/或调整所述配戴者看得见所述计算机生成的图像的注视方向;和/或矫正所述配戴者看得见所述计算机生成的图像时的二级光学像差,如非球面化、场像差;和/或当所述配戴者屈光不正时,至少部分地矫正所述配戴者的屈光不正以便所述配戴者看得见所述计算机生成的图像。
在本发明方法的一些实施例中,所述头戴式设备(HMD)进一步包括至少一个场景相机,并且步骤(b)包括以下步骤:
(i)基于从所述场景相机收集到的数据来确定所述配戴者看得见自然视野中的物体的距离和/或注视方向,并且
(ii)控制所述光学微型元件阵列相对于所述光场显示器的所述数字显示元件的位置,以根据在步骤(i)所确定的距离和/或注视方向来调整所述配戴者看得见所述计算机生成的图像的距离和/或注视方向,并且
(iii)可选地,以延时方式重复步骤(i)和(ii)。
在本发明方法的一些实施例中,所述头戴式设备(HMD)进一步包括被定位在所述配戴者的所述眼睛前方的至少一个照度传感器或光度传感器以及可选地电致变色单元,并且步骤(b)包括以下步骤:
(i)基于从所述照度传感器或光度传感器收集到的数据来确定照度或光度的至少一个值,并且
(ii)控制所述光学微型元件阵列相对于所述光场显示器的所述数字显示元件的位置,以根据在步骤(i)所确定的值来调整所述配戴者看得见所述计算机生成的图像的注视方向,和/或可选地根据在步骤(i)所确定的值来控制所述电致变色单元,并且
(iii)可选地,以延时方式重复步骤(i)和(ii)。
在本发明方法的一些实施例中,所述头戴式设备(HMD)进一步包括至少一个眼睛跟踪器,并且步骤(b)包括以下步骤:
(i)基于从所述眼睛跟踪器收集到的数据来确定所述配戴者看得见自然视野中的物体的距离和/或注视方向,并且
(ii)控制所述光学微型元件阵列相对于所述光场显示器的所述数字显示元件的位置,以根据在步骤(i)所确定的值来调整所述配戴者看得见所述计算机生成的图像的距离和/或注视方向,并且
(iii)可选地,以延时方式重复步骤(i)和(ii)。
在本发明的用途或方法的一些实施例中,所述透视反射镜和/或所述图像源被配置成用于至少部分地调整所述配戴者的视力以便看得见所述显示的计算机生成的图像;例如,当配戴者存在屈光不正时,所述透视反射镜和/或所述图像源可以被配置成用于至少部分地矫正所述配戴者的屈光不正以便看得见所述显示的计算机生成的图像。
附图说明
图1示出了本发明的HMD(部分视图)。
图2示出了用于本发明的HMD以及方法的镜片。
图2a-2c示出了用于本发明的HMD以及方法的光场显示器的示例性结构以及实施方式。
图3示出了通过本发明的HMD和方法获得的可能的可视化(视区)。
图4示出了使用全光相机(传感器)来确定入射角。
图5展示了通过本发明的HMD和方法可获得的延时增强现实。
图6a和图6b示出了本发明的示例性HMD。
图7示出了记录全息反射镜的原理(左)以及通过在虚拟图像可视化中复原反射镜的光学功能来利用所述反射镜(右)。
图8示出了用于记录全息反射镜的光学安排。
图9示出了记录全息反射镜的原理(左)以及通过在虚拟图像可视化中复原反射镜的光学功能来利用所述反射镜(右)。
图10示出了用于记录全息反射镜的光学安排。
图11示出了用于记录包括电致变色单元的镜片上的全息反射镜的光学安排。
图12示出了用于记录镜片上的具有扩展视野的全息反射镜的光学安排。
图13示出了根据本发明的用于记录全息反射镜的光学安排。
具体实施方式
定义
提供了以下定义来对本发明进行描述。
“计算机生成的图像”在本领域中是已知的。根据本发明,计算机生成的图像包括计算机生成的任何图像,如2D或3D衍射图像、计算机生成的2D或3D全息图像、任何振幅图像等。可以使用计算机生成的图像作为虚拟图像。在一些实施例中,可以计算图像(数据)以便至少部分地矫正光学像差、如显示器的固定像差(自然像差、或与在反射镜前方的图像取向或位置相关的像差)、以及与显示器的给定取向或位置一起使用的反射镜的像差。
“全息图像”在本领域中是已知的。这类全息图像可以通过阅读(照射)全息图而被显示。计算机生成的全息图又被称为合成或数字全息图。计算机生成的全息图通常是通过选择2D或3D图像、并且以数字方式计算其全息图而获得的。全息图像可以通过光学重建(即,通过用合适的光束(全息图的参考光束)照射(读取)全息图)而被显示。全息图像可以是2D或3D的。可以使用相同的计算来限定相位掩模,所述相位掩模可以在显示器前方使用以设计所希望的光场显示器。
“透视反射镜”(M)在本领域中是已知的。此类反射镜包括全息反射镜(HM)、半透明反射镜、二向色镜。对于HMD,这些反射镜可以具有特定的几何形状,以将可视化图像朝向配戴者的眼睛反射。优选的实例是全息反射镜,具体而言在眼科镜片曲面上记录所述全息反射镜的特定几何形状的全息反射镜。
“全息反射镜”(HM)在本领域中是已知的。如果反射镜是使用全息过程进行记录的,则所述反射镜被定义为全息反射镜。但是根据本发明,所述全息反射镜用于可视化目的。这种反射镜用于反射图像源产生的光束,以便使配戴者看得见图像。所述全息反射镜不用于对所记录的全息图像进行重建(如传统全息图观看的情况)。由于所述记录,有利地根据本发明,反射镜被赋予光学功能,其在适用的情况下能够在反射到所述反射镜上时改变源自图像源的光束的波前。这样允许矫正配戴者的虚拟视觉,因为本发明的镜片(结合了反射镜)可以改变在配戴者的眼睛中产生图像的光束。
虚拟图像因而不一定是全息图像。它可以是任何虚拟图像,如2D或3D图像。图像的性质源于图像源的性质,而不是源于全息反射镜的全息性质。可以使用全息图像源作为图像源,在这种情况下,虚拟图像是全息图像。
下文中更详细地描述此类全息反射镜。
“头戴式显示设备”(HMD)在本领域中是已知的。这类设备要配戴在配戴者的头上或周围,包括头盔式显示器、光学头戴式显示器、头戴式显示器等等。它们包括用于显示图像以便配戴者看得见的光学装置。HMD可以提供计算机生成的图像和‘现实’视野的叠加可视化。HMD可以是单目的(单眼)或双目的(双眼)。本发明的HMD可以采取各种形式,包括眼镜、面具(如滑雪或潜水面具)、眼罩等。HMD可以包括一个或多个镜片。所述镜片可以选自眼科镜片,如处方镜片。在优选实施例中,HMD是一副配备有多个镜片的眼镜。
“空间光调制器”(SLM)在本领域中是已知的。所述SLM可以是相位SLM、纯相位SLM、纯振幅SLM、或者相位振幅SLM。在存在的情况下,振幅调制优选地独立于相位调制,并且允许减少图像斑点,以便在灰度方面提高图像质量。SLM可以是透射式或反射式的。它可以由于完全或部分相干源(例如,激光器、二极管激光器)或非相干源(例如,LED、OLED显示屏)而被照亮。
“图像源”(IS)在本领域中是已知的。图像源是可以发射适合(被安排成、被配置成)用于显示图像以便配戴者看得见的光束的任何光源。可视化发生在源自图像源的照明光束反射到透视反射镜上之后。关于全息图像的显示,所述光束包括全息图的参考光束。可以从图像数据(例如计算机生成的图像数据)来显示图像。
根据本发明,IS包括光场显示器(LFD)。
根据本发明,IS可以有利地包括控制器、显卡、一个或多个电池、导线等。
根据本发明,IS还可以具有多叠层结构。
根据本发明,IS可以是“偏离轴线”的,因为它可以被定位成靠近配戴者的颞侧,例如在HMD的颞侧部件(如眼镜的颞侧部件)上。
“光场显示器”(LFD)在本领域中是已知的。它们有时也被称为全光显示器、或集成成像显示器。在一些实施例中(微孔阵列,参见下文),它们可以被称为多光瞳显示器、多光圈显示器、或孔径综合显示器。
在一些实施例中,LFD包括显示器(微屏幕),在所述显示器的前方定位有微透镜阵列。参见图2a。所述微屏幕(数字显示器D.D.)包括多个像素p。给定像素子集p.s.对应于给定微透镜(μL)。图像相对于阵列的位置能够设定(调整、调谐)图像I的显示方向以及配戴者可视距离。当微屏幕位于微透镜的焦点处时,在无限远∞处显示图像。参见图2b。为了看得见无限远处的图像(在给定平面中),能够改变微透镜阵列与微屏幕之间的距离。这可以通过选择所显示像素p1(在微屏幕内)的位置来实现。在此类情况下,可以将图像I显示在给定距离处且在给定位置(注视方向)处。参见图2c。当微透镜的焦距非常短时,其位置的微小差异导致焦平面方面的巨大差异。
在一些实施例中,当阵列包括微孔或其他光学微型元件时,能够计算所显示的图像,以将其在看得见的距离和位置方面进行适配而无需阵列的任何移动。
通过举例方式,对于光场显示器:
-显示器:边长9μm的(4000×4000像素)(边长约36mm);
-边长125μm的296×296微透镜的阵列;
-这对应于每个微透镜一个12×12像素像素集。
通过举例方式,根据本发明,有利的是,对边长10-50μm的微透镜的阵列,使用具有5μm或更小大小的高分辨率(全HD)像素。
图2a至图2c可以转至以下实施例:其中微透镜阵列被微孔阵列、或如在此所披露的任何其他微型元件阵列代替。
更一般地,LFD的当前定义有时是基于示例性微透镜阵列,但是适用于(和/或可以转至)本文所披露的任何其他微型元件阵列。
更一般地,根据本发明,LFD可以包括折射和/或衍射微型元件阵列,代替微透镜阵列。
在一些实施例中,能够使用多个光学微型元件阵列,其中,所述多个阵列可以是相同或不同的、并且可以被堆叠。两个或更多个相同或不同光学微型元件阵列的叠加是有利的,因为能够增加多个功能(多个视距、对比度等)。
如下文所描述的那样,在一些实施例中,微透镜阵列可以包括多个相同的微透镜(包括相同的焦距、相同的大小),并且可以通过阵列的相对纵向移动来执行焦点的设定。在其他实施例中,微透镜还可以使得焦距根据有待可视化的图像的区域而不同,例如以显示在视近区(NV)或视远区(FV)中而无需移动阵列(焦距梯度)。还能够计算阵列相对于屏幕的位置(距离、取向),使得图像在显示像素上的位置可以限定NV区和FV区。
这些微透镜均可以具有相同轮廓或几何类型(例如选自:球面、非球面、柱面、双凸面、平凸面、凹面、平凹面、双凹面、以及正弯月面、负弯月面等),或者各自独立地具有任何轮廓或几何类型。
微透镜均可以具有相同或不同的光焦度。它们还可以由其焦度(相同或不同)、例如球镜度、柱镜度、棱镜度来定义。
微透镜还可以是有源微透镜(液晶、薄膜、菲涅耳透镜、针孔、全息透镜等),以提供有源图像调制。这是有利的,因为它可以通过使可视化平面或聚焦区局部移位来矫正配戴者的屈光不正(眼科数据、处方数据等)。
“配戴者眼科数据”或“眼科数据”(OD)在本领域中是已知的。配戴者眼科数据包括配戴者处方数据(PD)、配戴者眼睛灵敏度数据(SD)和配戴者眼科生物统计数据(BD)、以及一般地与任何配戴者视觉缺陷有关的数据,包括(例如)与色散、缺少眼晶状体(缺少晶状体)、二级像差(如非球面化或场像差)有关的数据等。
“处方数据”(PD)在本领域中是已知的。处方数据指的是为配戴者获得的并且为每只眼睛指示以下内容的一项或多项数据:处方视远平均屈光力PFV、和/或处方散光值CYLFV和/或处方散光轴位AXEFV和/或适合于矫正每只眼睛的屈光不正和/或远视眼的处方下加光A。平均屈光力PFV是通过将处方散光值CYLFV的半值与处方球镜值SPHFV求和而获得的:PFV=SPHFV+CYLFV/2。然后,通过将处方下加光A加到针对同一只眼睛处方的视远平均屈光力PFV上针对近距离视觉(视近)获得每只眼睛的平均屈光力:PNV=PFV+A。在渐变镜片的处方的情况下,处方数据包括为每只眼睛指示SPHFV、CYLFV及A的值的配戴者数据。在优选实施例中,配戴者处方数据PD选自散光模数、散光轴位、焦度、棱镜和下加光、以及更概括地指示任何给定视觉缺陷的矫正的任何数据。这种缺陷可能是由部分视网膜脱落、视网膜或虹膜或角膜结构变形造成的,
“配戴者眼睛灵敏度数据”(SD)在本领域中是已知的。配戴者眼睛灵敏度数据包括光谱灵敏度(针对一个或多个波长或光谱带)的数据、如亮度灵敏度等一般灵敏度(例如,针对户外亮度灵敏度)。这类数据对于优化配戴者的图像可视化对比度而言具有重要性。
“配戴者眼科生物统计数据”或“生物统计数据”(BD)在本领域中是已知的。生物统计数据包括与配戴者的形态有关的数据,并且通常包括以下各项中的一项或多项:单目瞳孔距离、瞳孔间距、眼睛的轴向长度、眼睛的转动中心的位置、眼远点、眼近点等。
本发明的头戴式设备
根据本发明,提供了一种旨在由配戴者配戴的头戴式设备(HMD)。所述头戴式设备被配置成用于显示并使所述配戴者看得见计算机生成的图像。所述头戴式设备(HMD)包括:图像源(IS),其中所述图像源(IS)包括光场显示器,以及位于所述配戴者的一只眼睛前方的透视反射镜(M)、例如全息反射镜(HM)。所述图像源(IS)被配置成用于朝向所述反射镜发射光束,其中,所述发射的光束被反射到所述反射镜(M,HM)上并且由此被引向所述配戴者的所述眼睛,从而使所述配戴者看得见计算机生成的图像。所述反射镜被定位成相对于所述IS是偏离轴线的。这在图1中展示出,示出了反射镜M,如全息反射镜HM。图像源IS被定位在呈眼镜形式的HMD的颞侧上。IS还可以包括偏转器(例如,全息偏转器,H defl)。
在一些实施例中,所述反射镜是全息反射镜HM。这个HM可以是如在此所描述的那样。所述HM可以被配置成用于至少部分地矫正配戴者的视力。这包括可能的视力缺陷,如屈光不正和/或缺乏调节力储备。具体而言,所述HM可以被配置为考虑配戴者的眼科数据OD、例如处方数据PD。
HM可以被设置在眼科镜片的前面、或后面上、或在本体中。这在图2中示出(L,Rx:镜片,例如处方镜片);F:可以被记录以提供HM的全息材料膜;G:玻璃)。
所述镜片可以是任何类型的镜片、优选地处方镜片。
HM还可以限定多个不同的视区,无论是就注视方向(例如,向上、向下、向左、向右)还是就视觉而言(视近、视远、视中、中央视觉、周边视觉)还是就可视化距离而言。HM可以被配置为考虑配戴者的屈光不正或眼科数据,包括处方数据。
因此,有利的是,根据本发明,所述透视反射镜和/或图像源(LFD)被配置成用于至少部分地调整所述配戴者的视力以便看得见所述显示的计算机生成的图像。值得注意的是,当配戴者存在屈光不正时,所述透视反射镜和/或图像源可以被配置成用于至少部分地矫正配戴者的屈光不正以便看得见所述显示的计算机生成的图像。在一些实施例中,矫正视力包括矫正屈光不正和/或将调节最小化。在一些实施例中,矫正视力是通过配置所述透视反射镜和/或配置所述图像源(LFD)和/或图像计算(输入到图像源中的计算机生成的图像数据)来实现的。
在一些实施例中,为了至少部分地矫正视力,所发射的光束可以具有非零曲率。例如,所发射的光束可以沿着至少一条轴线具有至少0.25屈光度的曲率。
本发明的HMD以及方法中的光场显示器
在一些方面,在本发明的设备、方法、以及用途中,透视反射镜是全息反射镜,并且光场显示器包括:光学微型元件阵列以及选自诸如LED显示屏、OLED显示屏、LCoS显示屏、以及LCD显示屏等数字显示屏的数字显示元件。
在一些实施例中,光学微型元件可以是有源或无缘的,和/或所述光学微型元件阵列可以选自以下各项:
-微透镜阵列,
-微孔阵列,
-微棱镜阵列,
-液晶阵列(诸如LCD或LCoS),
-光栅阵列,以及
-相位掩模阵列等。
在一些实施例中,所述光场显示器包括:光学微型元件阵列,以及包括多个像素的数字显示元件。有利的是,根据本发明,在所述光学微型元件阵列中,每个光学微型元件可以对应于所述数字显示元件中的像素子集(例如,给定微透镜可以对应于给定像素子集,给定微孔可以对应于给定像素子集,给定微棱镜可以对应于给定像素子集,…)。
在一些实施例中,所述光学微型元件阵列中的所有光学微型元件可以是相同的。
在一些实施例中,所述光学微型元件阵列可以是以下各项中的一项或多项:
-微透镜阵列,其中,所述微透镜阵列包括至少两种类型微透镜;
-微孔阵列,其中,所述微孔阵列包括至少两种类型微孔;
-微棱镜阵列,其中,所述微棱镜阵列包括至少两种类型微棱镜;
-液晶阵列,其中,所述液晶阵列包括至少两种类型液晶;
-光栅阵列,其中,所述光栅阵列包括至少两种类型光栅;
-相位掩模阵列,其中,所述相位掩模阵列包括至少两种类型相位掩模。
“两种类型”是指微型元件阵列包括至少两个子组微型元件,所述至少两个子组微型元件关于以下至少一种物理特性而不同:诸如尺寸(大小、边长、直径、深度等);光学特性(折射率;焦度等);状态(打开或关掉;可调谐或设定等);或从微型元件到其在数字显示元件中的相应像素子集的相对距离。
通过举例方式,在一些实施例中,所述光学微型元件阵列可以是包括至少两种类型微透镜的微透镜阵列,其中,所述至少两种类型微透镜的不同之处在于以下各项中的一项或多项:
-微透镜直径,
-微透镜光焦度(例如像球镜度、柱镜度、或棱镜度),
-微透镜轮廓(例如,像球面、非球面、柱面、双凸面、平凸面、凹面、平凹面、双凹面、以及正弯月面、负弯月面等,)
-从所述微透镜到其在所述数字显示元件中的相应像素子集的相对距离,
-微透镜(例如,液晶或薄膜)的有源性质或无源性质。
通过举例方式,在一些实施例中,所述光学微型元件阵列是包括至少两种类型微孔的微孔阵列,其中所述至少两种类型微孔的不同之处在于以下各项中的一项或多项:
-微孔尺寸,诸如直径,
-微孔形状(正方形、圆形、矩形、多边形等),
-从所述微孔到其在所述数字显示元件中的相应像素子集的相对距离。
通过举例方式,在一些实施例中,所述光学微型元件阵列可以是液晶阵列,其中,所述液晶阵列包括至少两种类型液晶,其中,所述至少两种类型液晶的不同之处在于以下各项中的一项或多项:
-像素大小和/或像素形式(例如,选自诸如正方形、矩形、随机形状等不同几何形状);
-液晶化学性质或液晶族;
-光学折射率;
-控制电压值。
有利的是,根据本发明,所述至少两种类型光学微型元件(所述至少两种类型微透镜,相应地所述至少两种类型微孔,相应地所述至少两种类型微棱镜,相应地所述至少两种类型液晶,相应地所述至少两种类型光栅,相应地所述至少两种类型相位掩模)被安排为在所述光学微型元件阵列中限定至少两个不同的区域。LFD中的阵列能够限定多个对应视区。所述视区可以是用于可视化一个或多个计算机生成的图像的视区。所述视区可以根据待可视化的图像的区域来限定,例如就注视方向(例如,向上、向下、向左、向右、以及其组合)或是就视觉而言(视近、视远、视中、中央视觉、周边视觉)或是就可视化距离而言。
本发明的HMD可以包括一个或多个智能传感器。
在一些实施例中,本发明的HMD可以包括一个或多个场景相机,例如光场相机、鱼眼相机、或标准相机。所述相机可以具有广视野光圈;它可以是全光相机。
在HMD包括相机的情况下,能够检测场景中的物品(包括确定观察现实生活物品的距离和/或注视方向);并且接着在相同或不同的注视方向上和/或在相同或不同的可视化距离处显示一个或多个计算机生成的图像。例如,当配戴者在博物馆中查看照片时,所述相机检测观察照片(现实生活)时的距离和注视方向,并且相应地提供信息以便在照片的正下方、并且在相同(或不同)的可视化距离处(例如,对应于上述视区)显示关于所述照片的信息。所显示的信息可以包括标签、信息、照片、画家的姓名(增强现实)。
在一些实施例中,本发明的HMD可以包括一个或多个照度传感器和/或光度传感器(亮度传感器),例如ALS=环境光传感器、光电二极管、或广视野光圈、或全光相机等。
在HMD包括照度传感器和/或光度传感器的情况下,能够检测比其他区更暗的视区。这使得能够选择在M、HM的例如与上述视区相对应的较暗区域中显示信息(计算机生成的图像)。由于对比度提高,这有利地增强了视觉。
在一些实施例中,本发明的HMD可以包括一个或多个眼睛跟踪器,例如IR跟踪器或(IR)反射镜或相机。
在HMD包括一个或多个眼睛跟踪器的情况下,能够检测配戴者正在使用的视区(检测注视方向)。这使得能够选择在M、HM的例如与上述视区相对应的给定区域中或之外显示信息(计算机生成的图像)。
在这样的情况下,本发明的HMD可以进一步包括电致变色单元(EC)。EC单元可以存在于HMD的镜片中或其上。EC单元可以有利地用于使透镜变暗,以增强视觉对比度并改进配戴者对计算机生成的图像的可视化。更一般地,EC还可以在常规的太阳眼镜或太阳HMD中使用,无论是否自适应。
本发明的方法和用途
本发明提供了用于可视化计算机生成的图像的用途和方法。它们用于增强现实。
根据本发明,光场显示器在HMD中用于:
-调整所述配戴者看得见所述计算机生成的图像的距离,和/或
-调整所述配戴者看得见所述计算机生成的图像的注视方向,和/或
-调整所看得见的计算机生成的图像的大小和视野,和/或
-矫正所述配戴者看得见所述计算机生成的图像时的二级光学像差,诸如非球面化、场像差,和/或
-当所述配戴者屈光不正时,至少部分地矫正所述配戴者的屈光不正以便所述配戴者看得见所述计算机生成的图像。
根据本发明,光场显示器在HMD中与所记录的全息反射镜结合使用来:
-调整所述配戴者看得见所述计算机生成的图像的距离,和/或
-调整所述配戴者看得见所述计算机生成的图像的注视方向,和/或
-调整所看得见的计算机生成的图像的大小和视野,和/或
-矫正所述配戴者看得见所述计算机生成的图像时的二级光学像差,诸如非球面化、场像差,和/或
-当所述配戴者屈光不正时,至少部分地矫正所述配戴者的屈光不正以便所述配戴者看得见所述计算机生成的图像。
通过将由LFD发射的光束反射到所述全息反射镜上来可视化所述计算机生成的图像。
在一些实施例中,所述HMD包括场景相机,并且所述可视化方法包括:
(i)基于从所述场景相机收集到的数据来确定所述配戴者看得见自然视野中的物体的距离和/或注视方向,并且
(ii)控制所述光场显示器以根据在步骤(i)所确定的距离和/或注视方向来调整所述配戴者看得见所述计算机生成的图像的距离和/或注视方向,并且
(iii)可选地,以延时方式重复步骤(i)和(ii)。
在步骤(ii)中,所述配戴者看得见所述计算机生成的图像时的距离和/或注视方向可以分别与步骤(i)中所述配戴者看得见自然视野中的物体的距离和/或注视方向相同或不同。步骤(iii)提供了加强的增强现实体验,因为例如如果配戴者改变注视方向和/或转动头部、和/或自然视野中的物体正在移动,可以延时收集信息,以根据时间来更新显示。
在一些实施例中,所述HMD包括被定位在所述配戴者的所述眼睛前方的至少一个照度传感器或光度传感器以及可选地电致变色单元,并且在所述可视化方法中,步骤(b)包括:
(i)基于从所述照度传感器或光度传感器收集到的数据来确定照度或光度的至少一个值,并且
(ii)控制所述光场显示器以根据在步骤(i)所确定的值来调整所述配戴者看得见所述计算机生成的图像的注视方向,和/或可选地根据在步骤(i)所确定的值来控制所述电致变色单元,并且
(iii)可选地,以延时方式重复步骤(i)和(ii)。
步骤(ii)允许控制(调谐/调整)对比度以便所述配戴者看得见所述计算机生成的图像。步骤(iii)提供了加强的增强现实体验,因为可以延时收集信息,以根据环境光度的变化来更新显示。
在一些实施例中,所述HMD包括至少一个眼睛跟踪器,并且在所述可视化方法中,步骤(b)包括:
(i)基于从所述眼睛跟踪器收集到的数据来确定所述配戴者看得见自然视野中的物体的距离和/或注视方向,并且
(ii)控制所述光场显示器以根据在步骤(i)所确定的值来调整所述配戴者看得见所述计算机生成的图像的距离和/或注视方向,并且
(iii)可选地,以延时方式重复步骤(i)和(ii)。
这使得能够选择并使用如上所述的不同的视区。
根据本发明实现的全息反射镜
全息反射镜的光学特性
全息技术在本领域中是已知的。它们通常首先包括在合适的介质(如全息支撑件)上进行记录的步骤、和然后重建全息图像的步骤。记录通常包括用参考光束和照明光束对介质的双重照明。可以通过用参考光束照射记录的介质来重建全息图像。
反射镜的原理如下(这是为了展示配戴者是正视眼并且可视化图像位于无限远处的情况)。参见图7左侧,使用常规全息记录设置(光学安排)来记录无源反射镜。所述反射镜反射在屏幕(图像源)上显示的图像。这个屏幕相对靠近玻璃并且与之形成一定角度。它是用屏幕的实际距离和实际倾斜产生的发散波(波束)来模拟。待显示的图像位于无限远处、在与镜片垂直的方向上。第二干涉光束是在垂直于镜片的方向上的平面波。当屏幕定位时,图像将被显示在无限远处并且是配戴者可见的,如图7右侧所示(全息图恢复)。两条光束之间的干涉条纹以折射率光栅的形式被记录在光敏材料中。折射率光栅反映了待实现的光学功能。
广义而言,为了提供全息反射镜HM,本发明实现了记录步骤,但是不包括如上所述的重建步骤。总体上参见图7和图9所描绘的实例。
为了获得根据本发明实现的HM,使用记录步骤来将光学功能记录(赋予)在全息材料的膜F中。所得到的结果(记录膜)是用于反射来自图像源的光束的反射镜,以便使配戴者看得见虚拟图像。
图7和图9展示了这一点,其中,全息介质是全息反射镜:左侧部分示出了介质记录,并且右侧部分示出了配戴者看得见虚拟图像(来自图像源)。图像源IS提供照射全息反射镜的光束。将来自IS的光束反射到朝向受试者的眼睛(E)的反射镜上。在图7中,将要进行可视化的虚拟图像位于配戴者的无限远(或非常大)的距离处。图9展示了在瞳孔共轭的情况下的虚拟图像的可视化。在眼睛瞳孔上形成虚拟图像。
在一些实施例中,HM可以被配置成用于提供多个视区和/或至少部分地矫正配戴者的视力。具体而言,在配戴者存在屈光不正的情况下,HM可以被配置成用于至少部分地矫正配戴者的视力。
可以如2015年4月3日提交的EP 15305504.1中所描述的获得此类HM,所述文献的全部内容通过援引并入本文。另见下文。
用于制备全息反射镜的材料;全息材料膜
这种反射镜可以从特定材料获得,如重铬酸盐明胶或感光聚合物。感光聚合物可以处于任何物理状态(液态、固态、糊状等),并在标准条件下包括那些固态和那些液态。将镜像功能全息记录在特定的材料中。
感光聚合物制剂通常含有一种或多种单体或低聚物,其呈现至少一种烯属不饱和光可聚合部分以及与至少一种对于照明波长敏感的组分聚合的光引发体系。它们可以包含允许增大可见光的光谱灵敏度的范围的光引发剂和光敏剂的组合。这些感光聚合物制剂可以包含各种添加剂,如非穷举列表中的聚合物、溶剂、增塑剂、转移剂、表面活性剂、抗氧化剂、热稳定剂、防沫剂、增稠剂、匀染剂、催化剂等等。感光聚合物的实例包括商用感光聚合物,如OmniDex(内穆尔E.I.杜邦公司(EP 0377182 A2))、Bayfol HX(拜耳公司)、Darol(Polygrama)或SM-TR感光聚合物(Polygrama)。
取决于它们的组成,特别是取决于溶剂存与否及其粘度,可以设想不同类型的处理。感光聚合物层的厚度可以是从1μm至100μm、优选从4μm至50μm。
包含溶剂的制剂可以以不同的方式进行加工,例如通过旋涂、浸涂、喷涂或棒涂(矿物或有机)玻璃平面基材,或通过旋涂、浸涂或喷涂在弯曲的(矿物或有机)玻璃基材上,以便获得希望的厚度。在涂布之后,通常必需溶剂蒸发步骤以获得准备好要记录的感光聚合物层。参见图2(左侧部分)。
当配方不含溶剂时,在它们的粘度不太高时能以相同的方式使用它们。在这种情况下,蒸发步骤不是必需的。尽管如此,优选的方法包括将感光聚合物直接封装在具有平面或弯曲形状的两个(矿物或有机)玻璃片之间。参见图2(右侧部分)。
在这种情况下可以使用两种方法。在第一种方法中,将厚度从5μm至50μm(取决于感光聚合物)所需的液体量沉积在玻璃片上。所述液体包含适配于最终期望的厚度的、直径为从5μm至50μm的、由玻璃或聚合物制成的间隔物。将第二块玻璃片放置在液滴上。其允许铺展和限制感光聚合物。在曝光和聚合之后,感光聚合物成为固体(或至少凝胶化),并且它将两块玻璃片附接在一起。然后进行周边密封,以保护感光聚合物的边缘不与可能会随时间将其损坏的液体或大气相接触。
在第二种方法中,单元与两块(平面的或弯曲的)玻璃片组装并且沿着周边对除了允许用液体感光聚合物对单元进行填充的孔以外的所有地方进行密封。可以通过将单元置于低压下或真空下并将其插入感光聚合物中来进行填充。然后用有机胶(例如在UV下或热处理下进行聚合的胶)对孔进行密封。
另一种方法包括:
-将感光聚合物沉积在柔性基材上,例如像聚合物膜、聚酯等,
-通过蒸发或加热来去除最终的溶剂,
-使用公知的转移方法将涂有所述感光聚合物的膜转移到具有平面或弯曲形状的(矿物或有机物)基材上,并使它们适配于所使用的材料(膜和感光聚合物)(例如ESSILOR专利申请WO 2007144308 A1、WO 2010010275 A2)。在这种情况下,感光聚合物可以位于转移后的膜的表面或与基材相接触。
在沉积感光聚合物之后且在其曝光之前,需要将其静置通常15分钟至2小时。在此期间与沉积过程相关的应力消失。在记录全息反射镜之后,在UV下进行后曝光以使残留单体聚合。
可以用吸收一部分可见光的光敏剂对感光聚合物层进行着色。优选地选择这些光敏剂在暴露于可见光下之后完全失去其颜色。在UV下或白光下的后曝光减少了残留吸收。
可以根据所使用的材料来实现热处理以提高全息图的折射率调制及其衍射效率。
在一些实施例中,所述全息反射镜(HM)(相应地所述未记录的全息介质的膜(F))设置在眼科镜片的前表面上、眼科镜片的后表面上、或者在眼科镜片的前表面与后表面之间。所述眼科镜片可以选自单光镜片、如双焦点镜片等多焦点镜片、以及渐变多焦点镜片、和半成品镜片毛坯。
记录全息反射镜
可以根据光学安排进行反射镜的记录。在图8上示出了示例性光学安排。在这个图上,所述记录实现了激光器。偏振分束器PBS允许将光束‘分开’。附图标记PMF是保偏光纤。光束的分离提供了两条光束:照射全息记录介质的一侧的参考光束RB、以及照射全息介质的另一侧的照明光束IB。这样允许记录全息反射镜HM。一旦设定了光学安排(例如,几何形状、光束大小等),就可以通过改变一个或多个参数来修改全息反射镜的特征,所述参数包括两条光束之间的功率比(影响条纹对比度和衍射效率)、曝光时间(影响衍射和漫射效率)、以及可能使用可旋转支撑件用于光纤端部(影响光束在离开PMF光纤时的偏振)。在实例4中提供了用于光学安排与记录的参数的实例。
设置在眼科镜片上的全息反射镜;屈光不正矫正
在一些实施例中,HMD包括一个或多个眼科镜片,并且HM被设置在所述镜片中的一个或多个镜片中/上。在此类实施例中,可以根据以下方法来获得HM(总体上参照图10至图13所描绘的非限制性实例):
(1)提供具有前表面和后表面的眼科镜片,其中,所述眼科镜片包括未记录的全息介质的膜(F),其中,所述眼科镜片可选地进一步包括振幅调制单元,所述振幅调制单元例如选自电致变色单元、偏振单元和光致变色单元,
(2)通过在参考光束(RB)与照明光束(IB)之间产生干涉来进行所述全息介质的全息记录,以便提供包括全息反射镜(HM)的眼科镜片,其中,所述全息记录在至少将HMD的镜架的(空间)配置考虑在内的光学安排中进行,以及
(3)可选地对从步骤(2)获得的所述镜片进行切割。
有利地,根据步骤(2),RB的配置相对于装配到镜架中的镜片中的HM来模仿(模拟)镜架上的IS的配置。具体地,RB的空间配置反映了一旦将镜片装配到镜架上即可实施用于记录反射镜的空间配置(取向、距离、宽度(投影在镜片上的区的形状和大小)等)。内置的图像源IS在镜架上的实际位置因此可以进一步限定对应的二次(重新成像的)图像源。因此,IB的配置可以反映物理图像源IS或二次(重新成像的)图像源的发射。
有利地,步骤(2)的光学安排允许提供产生所希望的光学功能的全息反射镜,即通过步骤(2)获得的全息反射镜被“自动地”配置成用于提供适合用于通过镜片至少部分地矫正配戴者的对于虚拟视觉的屈光不正的光学功能。
如图10的右侧部分所示,对于膜F位于镜片L的前侧的第一种情况,来自图像源IS的光束穿过镜片L并被反射在全息反射镜HM上。被反射的波前WF与照明光束IB的波前相同,意味着虚拟图像似乎从无限远处而来,即如自然图像一样。镜片因而同时矫正自然视觉和虚拟图像的视觉两者。当膜F位于镜片L的后侧时,横穿镜片L之后的照明光束的波前在膜F上是发散的。因此,图像源IS的光束以与透过镜片L看到的现实图像相同的波前进行反射,并且虚拟图像似乎是源自与此现实图像相同的地方。为了实现这一点,镜片可以具有与配戴者的处方数据PD相同或接近的焦度值。
在一些实施例中,步骤(2)的光学记录进一步考虑到:
-所述配戴者戴着所述镜架时看得见所述显示的虚拟图像的距离(D)和/或
-所述配戴者戴着所述镜架时看得见所述显示的虚拟图像的方向和/或
-所述全息反射镜的、用于使所述配戴者在戴着所述镜架时看得见所述显示的虚拟图像的区域的数量。
在一些实施例中,所述配戴者存在屈光不正,步骤(1)的所述眼科镜片被配置成用于矫正所述配戴者的对于自然视觉的屈光不正,并且选自单光镜片、多焦点镜片(如选自双焦点镜片)、以及渐变多焦点镜片。
在一些实施例中,步骤(2)的所述光学安排使得以以下各项对所述照明光束(IB)在空间上进行配置:
-选自单焦点镜片,如双焦点镜片等多焦点镜片、以及渐变多焦点镜片、或镜片矩阵(LM)、或具有相位调制的有源镜片中的一个或多个记录镜片(RL,RL1,RL2)以及
可选地,不透明掩模(OM)。
在一些实施例中,步骤(2)的所述光学安排使得:
-所述参考光束(RB)模拟用于照射所述全息反射镜的内置图像源的光束,以便使所述配戴者在戴着所述镜架时看得见所述虚拟图像的显示,并且
-照明光束IB被配置成用于限定
·所述配戴者戴着所述镜架时看得见所述显示的虚拟图像的距离(D)和/或
·所述配戴者戴着所述镜架时看得见所述显示的虚拟图像的方向和/或
·所述全息反射镜的、用于使所述配戴者在戴着所述镜架时看得见所述显示的虚拟图像的区域的数量。
在一些实施例中,步骤(2)的所述光学安排使得所述照明光束(IB)被配置成用于在所述未记录的全息介质的膜(F)上有差别地记录多个区域(A1,A2,NV,FV),可选地,其中,每个区域(A1,A2;NV,FV)对应于所述配戴者看得见所述显示的虚拟图像的距离(D;D_nv,D_fv)的相同或不同值,和/或对应于所述配戴者看得见所述显示的虚拟图像的相同或不同方向。
在一些实施例中,步骤(2)的所述光学安排使得根据艾格玛函数(ergorama)对照明光束(IB)进行配置,其中,所述艾格玛函数根据在戴着镜架时的注视方向来限定配戴者看得见所述显示的虚拟图像的距离(D)和/或方向。
在一些实施例中,配戴者存在屈光不正,并且所述方法是一种用于提供渐变多焦点镜片(相应地多焦点镜片,如像双焦点眼镜片,相应地单光镜片)的方法,其中,所述步骤(1)的眼科镜片是渐变多焦点镜片(相应地多焦点镜片,如双焦点眼镜片,相应地单光镜片),并且其中,执行步骤(2)的全息记录,使得全息反射镜(HM)至少包括与配戴者看得见所显示的虚拟图像的距离的不同值D_nv,D_fv相对应的、用于视近(NV)的区域和用于视远(FV)的区域。
在一些实施例中,所述配戴者存在屈光不正,并且所述方法是一种用于提供具有HM的单光镜片的方法,其中,步骤(1)的所述眼科镜片是半成品镜片毛坯,其中,步骤(2)的所述光学安排包括辅助单光镜片(AL)的实现,所述辅助单光镜片的光焦度考虑到为了矫正所述配戴者的屈光不正所需的光焦度以及所述半成品镜片毛坯的光焦度,并且其中,所述辅助单光镜片(AL)用于在空间上配置所述参考光束(RB)或所述照明光束(IB)。
在一些实施例中,所述方法是一种用于提供具有HM的渐变多焦点镜片(相应地多焦点镜片,如双焦点眼镜片,相应地单光镜片)的方法,其中,步骤(1)的所述眼科镜片是渐变多焦点镜片(相应地多焦点镜片,如双焦点眼镜片,相应地单光镜片),并且其中,执行步骤(2)的所述全息记录,使得所述全息反射镜HM至少包括与所述配戴者看得见所显示的虚拟图像的距离的不同值D_nv,D_fv相对应的、用于视近NV的区域和用于视远FV的区域。例如参见图13。
有利地,上述方法在提供双重虚拟视觉的镜片(例如,单焦点镜片、如双焦点镜片等多焦点镜片、渐变多焦点镜片)上设置全息反射镜,其中,HM反射镜被具体地配置成包括用于虚拟视近的至少一个区域和用于虚拟视远的至少一个区域。
在一些实施例中,所述方法提供了包括如本文中描述的振幅调制单元(如电致变色单元EC)的、具有HM的镜片。例如参见图11中的说明性光学安排。
作为实现辅助镜片(AL)的替代方案,可以使用具有调制相位的有源镜片、例如使用自适应光学技术的变焦镜片来直接改变来自IB或RB的波前。在一些实施例中,IB使得其覆盖镜片上的扩展视野。例如参见图12。
通过以下非限制性实例来对本发明进行说明。
实例
实例1:用于屈光不正配戴者的HMD以及方法
HMD配备有LFD作为光源。LFD包括固定不动(固定位置)且无源的相同微透镜的阵列,所述微透镜的焦距是根据配戴者的处方数据确定的。例如,如果配戴者具有1D的处方柱镜度值和30°轴位,则无源透镜在30°/1D附近的柱镜度轴位和光焦度值。
所述显示器被定向成直接照亮全息反射镜(参见图1左侧)。通过将LFD显示器定位在平行于眼镜镜腿的位置(图1右侧)中,可以使用偏转部件来使系统更紧凑。偏转部件可以是微棱镜阵列(移动的、或附加于或替代微透镜的动作,不用于调整在屏幕上的图像位置)、或者全息部件(阵列、准直透镜和偏转透镜、偏转微透镜阵列等)。
替代性地,通过移动微透镜阵列或通过使用有源透镜来改变焦点,能够直接使用由具有非移动无源微透镜阵列的光场显示器产生的图像来矫正配戴者的屈光不正。
在一个实施例中,微透镜的大小可以显著小于瞳孔的直径,例如在约1mm的数量级上,使得在视网膜上形成的斑点的大小不太大。
以下针对近视配戴者(-1D)提供了显示单一光斑的实施例的实例:在这种情况下,为了使近视配戴者看得见清晰图像,在计算出的距离(-1m)处显示图像。例如,能够使用5×5微透镜阵列。微透镜经由全息反射镜被成像在眼睛的瞳孔上,并且每个微透镜的图像具有在约1mm的数量级的大小。
因此,各个微透镜‘解决’眼睛瞳孔的不同部分。在每个微透镜的输出处的光束是准直的、但具有在-1m处相交的不同方向。接着,每个微透镜在视网膜上产生的光斑完全重叠,然后产生大小减小的最终单一光斑。由于微透镜较小并且产生针孔效应,因此大小减小。
这种配置能够通过改变由全光屏幕(LFD)提供的虚拟距离来补偿配戴者的屈光不正。
距离为1/S,其中S=球镜矫正,并且在散光配戴者的情况下,这个距离为遵循散光轴位的1/Cmin和1/Cmax。
实例2:用于显示和可视化多个区的HMD及方法
图3示出了配戴者看得见的可能图像。LFD提供了使用不同视区的可能性。此类区1、2、3、4、5是根据不断变化的注视方向来限定的。例如(图3左侧),区5对应于中央视觉,而区1-4是周边视觉。此类区还可以在计算机生成的图像的可视化距离的方面上来限定。
实例3:用智能传感器进行显示和可视化的HMD及方法
根据本发明,HMD可以包括一个或多个智能传感器。每个传感器可以用于分析配戴者的环境(现实生活环境和配戴者),使得可以针对给定情形来定制显示。所述显示可以有利地延时执行,以便根据‘实时’情形来调整。
实例3.1:使用场景相机作为智能传感器进行显示和可视化的HMD及方法
对于增强现实方面的应用,有利的是具有用于将虚拟物体(计算机生成的图像)‘整合’到现实世界中的场景相机。
这个相机可以是常规相机。为了使相机具有人眼的视野类似的视野,能够使用例如鱼眼型广角透镜。然而,常规相机通常不允许精确确定所观察到的场景的深度。一种方法是使用可变焦镜片、并且通过相继测量焦距来重建(重新创建)距离。接着能够可视化3D场景的图像并且测量到物体的距离。第二种方法是使用多个相机。使用至少两个相机允许以不同视点来看场景并且因此获得三角测量以描述所述场景。第三种方法是使用配戴者的恒定移动。在这种情况下,已知相机的位置(例如,加速度计),能够追溯物体的距离和位置。事实上,图像分析允许确定来自场景的光束的方向、并且因此确定物体相对于相机的位置。
还能够使用全光相机(光场相机,LFC)。图4展示了使用全光相机(传感器)来确定入射角αi的原理。所述原理同样用于全光显示器。提供了一种能够以足够大的立体角(sr 2π)来测量场景的低分辨率图像的传感器。为此,将微透镜阵列(或微孔阵列等)放置在高分辨率传感器矩阵的前方。每个微透镜对应于像素组(子集)。来自场景的光束根据其方向以及物体在场景中的距离被每个微透镜分布到这些像素组上。接着能够获得包含(真实)物体的位置、距离、和方向的图像。适当的图像处理可以使用所收集的数据来显示虚拟物体,并且可以使所显示的计算机图像在现实生活场景中‘演变’。这可以在这个现实物体在配戴者环境中上固定的时进行(图5顶部:艾菲尔铁塔在现实生活场景中是固定的,但配戴者移动头部:计算机生成的图像的显示(例如,关于艾菲尔铁塔的注释)可以根据配戴者的头部移动而‘跟随’配戴者的注视方向并跟随环境的可视化),或者当其正在移动时(图5底部:配戴者头部不移动,但自行车在现实生活场景中移动(m))。接着能够例如确定真实物体的位置,以(经由全光屏)显示处于相同位置、具体而言相同距离处的虚拟图像。这允许配戴者在与相同的可视化距离处(无论其位置如何)清楚且同时看见现实图像/虚拟图像。
实例3.2:用照度或光度传感器作为智能传感器进行显示和可视化的HMD及方法
本发明的HMD可以包括光(亮度)传感器,如照度传感器或光度传感器。为了提高配戴者的视觉舒适度,有利的是优化虚拟图像的亮度和/或对比度并且使将其与其将嵌入的现实世界相适配。
本发明的HMD可以包括单一传感器、多个单独的传感器、或传感器阵列(例如,CCD、CMOS)以确定反射镜上的亮区位置。尤其有利的是,传感器阵列装配有与人的视角相似或相同的广角光学系统(镜片)。
能够使用场景相机来执行对环境亮度的测量。的确,通过校准光传感器,可以获得视野中的4D场(空间位置和亮度)。这样的系统有利地是紧凑的。这提供了场景的亮度的映射。
这个4D场于是可以用作用于瞳孔照明(或在眼睛模型的情况下为视网膜)的光线追踪计算的扩展源。这种计算可以进一步考虑配戴者的眼科数据,包括处方数据和/或眼睛相对于HMD/镜架和矢量光源的位置。根据对场景的分析(存在高亮度值区域、可用于虚拟图像的“载体”等),能够选择在黑暗区域中显示图像以便可视化、或者使所显示的图像移离非常明亮的区域、或者在必要时改变屏幕的亮度等。
如果HMD配备有电致变色玻璃(例如,具有结合了EC单元的镜片的眼镜),则亮度测量可以使EC透视与环境条件自动适配;如果镜片/眼镜片是像素化的,则这是局部的,或者如果不是,则这是整体的。在这两种情况下,例如,使用考虑了心理物理学测量结果(例如,眼科数据,包括处方数据或眼睛敏感度数据等)的算法,可以使用经由景场相机获得的4D照明矩阵来计算镜片/眼镜片的变暗,如中央视觉时的照明、周边照明等。这可以使用待确定的加权函数来执行。如果镜片/眼镜是像素化的,则可能能够使区域(例如,在虚拟图像区域中的区、在非常明亮的区域中的区、在中央或周边视觉的区等)变暗。图像显示与由相机执行的环境分析的这种关联还可以用于控制电致变色玻璃,以例如在不需要或不适当或危险时仅使有用点变暗,以使HMD/眼镜完全黑暗。
图6中展示了装配有全光显示器和全光场景相机、全息反射镜以及电致变色单元的眼镜。它们被用来在现实环境中、在考虑这种环境的情况下舒适地显示虚拟图像。图6a的图例如下:SC CAM:全光场景相机,也用作亮度传感器;EC:管理光源位置的电致变色单元;HM、EC:具有EC单元的全息反射镜;IS:作为图像源的全光显示器。
实例3.3:用眼睛跟踪器作为智能传感器进行显示和可视化的HMD及方法
使用IR全息反射镜的眼睛跟踪
为了跟随注视方向及其会聚,并且因此在配戴者已经看向的距离和注视方向上显示计算机生成的图像,可以添加眼睛跟踪系统。红外(IR)LED可以照射配戴者的眼睛(考虑到眼睛的安全性)。相机可以捕捉眼睛并跟随其移动和注视方向。经典地,这个相机可以指向眼睛。
IR全息反射镜
对于紧凑性问题,可以在镜片中使用IR全息反射镜,来将眼睛跟踪器IR LED的红外反射转向HMD/眼镜颞侧。这个反射镜可以用与图像反射反射镜相同的方式来获得,不同之处在于可能不需要考虑配戴者的处方数据。因此它可以非常简单地实现。在反射红外线的情况下,它不妨碍可见光谱中的视觉和显示、并且对配戴者完全透明。
图6b中示出了展示性实施例:SC CAM:全光场景相机,也用作亮度传感器;EC:管理光源位置的电致变色单元;HM、EC:具有EC单元的全息反射镜[HM实际上包括两个HM:一个HM用于图像可视化(用于可见波长)而一个HM是与眼睛跟踪器e-t一起使用的IR全息反射镜(这两个HM可以具有不同的光学功能(除了反射波长的区别之外))并且具体而言这两个HM可以具有不同的反射几何形状];IS:作为图像源的全光显示器;LED IR:红外LED;IR C(e-t):红外相机(眼睛跟踪器)。
实例4:用于显示和可视化的HMD和方法的全息反射镜HM
图8示出了记录全息反射镜的实例,所述图描绘了用于记录镜片(镜片未示出)上的全息反射镜的示例性光学安排。在这个实例中,激光器在532nm(100mW)下发射。PMF是一种保偏光纤(460-HP Nufern):熊猫光纤,纤芯直径2.5μm,ON 0.13,模场直径:3.5μm@515nm。偏振分束器PBS旁边的准直镜片为f=8mm。照明光束IB为1mW/cm2。参考光束RB为0.5mW/cm2。产生RB的镜片为f=4mm。产生IB的镜片(参考镜片,RL)为f=400mm。
HM形成在其上的镜片未示出。这种镜片如下:焦度-3D,前表面半径87mm,眼镜镜片形状40×50mm或圆直径70mm。膜F形成在两个玻璃层之间并且被定位在镜片的前侧上。膜F如下:直径70mm,曲率半径87mm,玻璃层厚度850μm,感光聚合物F厚度5至50μm(例如40μm)(由于间隔物),总堆叠厚度:1.65mm,取决于感光聚合物的性质,曝光时间:30秒至10分钟。
对于直径为70mm的镜片,对膜F进行沉积:
-在玻璃层上沉积50μL液滴(间隔物:5-50μm,玻璃层:厚度500μm;曲率半径87mm,圆直径70mm;减反射处理或涂布,特别地是532nm),
-对第二玻璃层进行定位;紧固,
-在照明支撑构件上停留20分钟。
根据光束强度(例如,参见图20)、感光聚合物的性质和厚度,照射30秒至6分钟。
-通过曝光于可见光下15分钟(例如卤素灯,50W至75W)进行漂白。
-必要时用胶水进行密封。
在照明期间:
-保护不受物理干扰(空气移动、机械振动、灰尘等)
-稳定化的温度(避免空气对流)
-黑色房间(暗室:例如用于记录绿光的非光化性照明)
-涂布(减反射)到玻璃上(避免寄生反射)。
表征:
-光谱(反射波长和反射镜效率)
-定性光学特性(观察OLED屏幕)
-定量光学性质(波前分析)。
能够与EC单元组合。
实例5:用于显示和可视化有源信息的HMD及方法
本发明的HMD可以用不同的方式来操作或使用。根据一个实施例,光场显示器可以用于完全覆盖反射镜或全息反射镜HM。于是能够显示给定虚拟图像作为完整显示的一部分(完整显示对应于反射镜的整个表面;参见图14顶部:F:整个反射镜上的全部显示(整个反射镜被IS照亮);箭头:给定图像作为完整显示F的一部分)。为了移动给定虚拟图像(例如图14顶部的箭头(d)),显示器的有源部分改变。它允许仅使用一组像差矫正(配戴者的眼睛、显示器、HM等)。可以用不同的透镜(轮廓、光焦度等)来计算光学微型元件阵列,例如以直接并且至少部分地矫正屏幕的像差和/或配戴者的处方等。于是,有利地更容易地执行对大小、视野、以及位置的修改。一个限制是图像分辨率损失。
根据另一个实施例,能够使用(全)光场显示器来仅在反射镜的子部分上显示给定虚拟图像。例如参见图14底部(L:反射镜仅被局部照亮;整个IS可以用于照亮反射镜表面的子部分)。由于光学微型元件阵列和/或图像数据的计算,可以管理位置、大小、场、以及距离。因此分辨率高,但是对于虚拟图像的每次改变(例如,图14上的移位(d)),必须重新计算像差矫正。还可以用不同的透镜来计算光学微型元件阵列,以直接并且至少部分地矫正屏幕的像差和/或配戴者的处方等。
对于上述两个实施例,针对所述图像显示,可以完全或部分地计算像差的矫正和/或虚拟图像的位置、距离、或大小的调整。在这种情况下,可以移动光学微型元件阵列以获得对虚拟图像上的希望作用。改变虚拟图像的决定可以通过手动或声音或手势命令与智能传感器(自动模式)或与配戴者的动作相关联。

Claims (9)

1.一种旨在由配戴者配戴的头戴式设备(HMD),
其中,所述头戴式设备被配置成用于显示计算机生成的图像并使计算机生成的图像对所述配戴者可视化,
其中,所述头戴式设备(HMD)包括:
-图像源(IS),其中,所述图像源(IS)包括光场显示器,
-位于所述配戴者的一只眼睛前方的透视全息反射镜,以及
-至少一个场景相机,
其中,所述图像源(IS)被配置成用于朝向所述透视全息反射镜发射光束,其中,所述发射的光束被反射到所述透视全息反射镜上并且由此被引向所述配戴者的所述眼睛,从而使计算机生成的图像对所述配戴者可视化,
其中,通过调整所述配戴者的可视化的距离和/或可视化的注视方向,来调整所述配戴者对计算机生成的图像的视力,
所述光场显示器包括光学微型元件阵列和包括多个像素的数字显示元件,其中每个光学微型元件对应于所述数字显示元件中的像素子集,以便至少部分地矫正所述配戴者的屈光不正,以使所显示的计算机生成的图像对所述配戴者可视化,以及
其中,所述头戴式设备被配置为:
(i)基于从所述场景相机收集到的数据,确定关于自然视野中的物体的所述配戴者的可视化的距离和/或可视化的注视方向,以及
(ii)控制所述光学微型元件阵列相对于所述光场显示器的所述数字显示元件的位置,以根据在(i)处所确定的可视化的距离和/或可视化的注视方向,调整关于所述计算机生成的图像的所述配戴者的可视化的距离和/或可视化的注视方向。
2.根据权利要求1所述的头戴式设备(HMD),
其中,有源的或无源的所述光学微型元件阵列是选自:
·微透镜阵列,
·微孔阵列,
·微棱镜阵列,
·液晶阵列,
·光栅阵列,以及
·相位掩模阵列;
以及其中,
-所述数字显示元件选自数字显示屏以及SLM显示屏。
3.根据权利要求2所述的头戴式设备(HMD),
其中所述液晶阵列是LCD或LCoS,以及
其中所述数字显示屏选自LED、OLED、LCoS和LCD。
4.根据权利要求1或3中任一项所述的头戴式设备(HMD),其中,所述光学微型元件阵列中的所有光学微型元件是相同的。
5.根据权利要求1至3中任一项所述的头戴式设备(HMD),进一步包括选自以下各项的至少一个传感器:
-一个或多个照度传感器和光度传感器,以及
-一个或多个眼睛跟踪器。
6.一种光场显示器在旨在由配戴者配戴的透视头戴式设备中的用途,其中,所述头戴式设备包括位于配戴者的一只眼睛前方的透视全息反射镜和至少一个场景相机,并且其中,所述光场显示器被配置成用于朝向所述透视全息反射镜发射光束,其中,所述发射的光束被反射到所述透视全息反射镜上并且由此被引向所述配戴者的所述眼睛,从而使计算机生成的图像对所述配戴者可视化,
所述光场显示器用于至少部分地矫正所述配戴者的屈光不正以使所显示的计算机生成的图像对所述配戴者可视化,
其中,通过调整对所述配戴者的可视化的距离和/或可视化的注视方向,来调整所述配戴者对计算机生成的图像的视力,
所述光场显示器包括光学微型元件阵列和包括多个像素的数字显示元件,其中每个光学微型元件对应于所述数字显示元件中的像素子集,以便至少部分地矫正所述配戴者的屈光不正,以使所显示的计算机生成的图像对所述配戴者可视化,
以及其中,所述头戴式设备被用于:
(i)基于从所述场景相机收集到的数据,确定关于自然视野中的物体所述配戴者的可视化的距离和/或可视化的注视方向,以及
(ii)控制所述光学微型元件阵列相对于所述光场显示器的所述数字显示元件的位置,以根据在(i)处所确定的可视化的距离和/或可视化的注视方向,调整关于所述计算机生成的图像的所述配戴者的可视化的距离和/或可视化的注视方向。
7.一种用于显示并可视化计算机生成的图像的方法,
包括以下步骤:
(a)为配戴者提供根据权利要求1至5中任一项所述的头戴式设备(HMD),
(b)控制所述光学微型元件阵列相对于所述光场显示器的所述数字显示元件的位置,以至少部分地矫正所述配戴者的屈光不正,从而所显示的计算机生成的图像对所述配戴者可视化,
其中,步骤(b)包括以下步骤:
(i)基于从所述场景相机收集到的数据,确定关于自然视野中的物体,所述配戴者的可视化的距离和/或可视化的注视方向,以及
(ii)改变所述光学微型元件阵列相对于所述光场显示器的所述数字显示元件的位置,以根据在步骤(i)处所确定的可视化的距离和/或可视化的注视方向,调整关于所述计算机生成的图像的所述配戴者的可视化的距离和/或注视方向,以及
(iii)可选地,以延时方式重复步骤(i)和(ii)。
8.根据权利要求7所述的方法,
其中,所述头戴式设备(HMD)进一步包括被定位在所述配戴者的所述眼睛前方的至少一个照度传感器或光度传感器以及可选地电致变色单元,并且
其中,步骤(b)包括以下步骤:
(i)基于从所述照度传感器或光度传感器收集到的数据来确定照度或光度的至少一个值,并且
(ii)改变所述光学微型元件阵列相对于所述光场显示器的所述数字显示元件的位置,以根据在步骤(i)所确定的值来调整关于所述计算机生成的图像的所述配戴者的可视化的注视方向,和/或可选地根据在步骤(i)所确定的值来控制所述电致变色单元,并且
(iii)可选地,以延时方式重复步骤(i)和(ii)。
9.根据权利要求7-8中任一项所述的方法,
其中,所述头戴式设备(HMD)进一步包括至少一个眼睛跟踪器,并且
其中,步骤(b)包括以下步骤:
(i)基于从所述眼睛跟踪器收集到的数据来确定所述配戴者自然视野中的物体的可视化的距离和/或注视方向,并且
(ii)改变所述光学微型元件阵列相对于所述光场显示器的所述数字显示元件的位置,以根据在步骤(i)所确定的值来调整关于所述计算机生成的图像的所述配戴者的可视化的距离和/或注视方向,并且
(iii)可选地,以延时方式重复步骤(i)和(ii)。
CN201680039416.1A 2015-07-03 2016-06-30 用于增强现实的方法和系统 Active CN107850788B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP15306099.1 2015-07-03
EP15306099 2015-07-03
PCT/EP2016/065403 WO2017005614A1 (en) 2015-07-03 2016-06-30 Methods and systems for augmented reality

Publications (2)

Publication Number Publication Date
CN107850788A CN107850788A (zh) 2018-03-27
CN107850788B true CN107850788B (zh) 2020-10-27

Family

ID=53524704

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680039416.1A Active CN107850788B (zh) 2015-07-03 2016-06-30 用于增强现实的方法和系统

Country Status (6)

Country Link
US (1) US10416456B2 (zh)
EP (1) EP3317716B1 (zh)
JP (1) JP6930929B2 (zh)
KR (1) KR102593113B1 (zh)
CN (1) CN107850788B (zh)
WO (1) WO2017005614A1 (zh)

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105717640B (zh) * 2014-12-05 2018-03-30 北京蚁视科技有限公司 基于微透镜阵列的近眼显示器
DE102015219859B4 (de) * 2015-10-13 2017-07-27 Carl Zeiss Vision International Gmbh Vorrichtung und Verfahren für die AR-Darstellung
US20220304570A1 (en) * 2016-10-17 2022-09-29 EyeQue Inc. Method and Apparatus for Measuring Vision Function
US11432718B2 (en) * 2017-10-31 2022-09-06 EyeQue Inc. Smart phone based virtual visual charts for measuring visual acuity
WO2018217252A1 (en) * 2017-05-26 2018-11-29 Google Llc Near-eye display with extended accommodation range adjustment
US10684494B2 (en) * 2017-06-01 2020-06-16 NewSight Reality, Inc. Fabrication of see-through near eye optical module and ophthalmic lens
US11454815B2 (en) * 2017-06-01 2022-09-27 NewSight Reality, Inc. Transparent optical module using pixel patches and associated lenslets
GB2567012B (en) * 2017-10-02 2021-05-12 Advanced Risc Mach Ltd Motion Sensing
US10930709B2 (en) 2017-10-03 2021-02-23 Lockheed Martin Corporation Stacked transparent pixel structures for image sensors
JP7278277B2 (ja) * 2017-11-02 2023-05-19 ピーシーエムエス ホールディングス インコーポレイテッド ライトフィールドディスプレイにおける開口拡大のための方法およびシステム
US10510812B2 (en) 2017-11-09 2019-12-17 Lockheed Martin Corporation Display-integrated infrared emitter and sensor structures
CN107861247B (zh) * 2017-12-22 2020-08-25 联想(北京)有限公司 光学部件及增强现实设备
EP3737977A4 (en) * 2018-01-14 2021-11-10 Light Field Lab, Inc. HOLOGRAPHIC AND DIFFACTIVE OPTICAL CODING SYSTEMS
US10594951B2 (en) 2018-02-07 2020-03-17 Lockheed Martin Corporation Distributed multi-aperture camera array
US11616941B2 (en) 2018-02-07 2023-03-28 Lockheed Martin Corporation Direct camera-to-display system
US10951883B2 (en) 2018-02-07 2021-03-16 Lockheed Martin Corporation Distributed multi-screen array for high density display
US10838250B2 (en) 2018-02-07 2020-11-17 Lockheed Martin Corporation Display assemblies with electronically emulated transparency
US10979699B2 (en) 2018-02-07 2021-04-13 Lockheed Martin Corporation Plenoptic cellular imaging system
US10652529B2 (en) 2018-02-07 2020-05-12 Lockheed Martin Corporation In-layer Signal processing
US10690910B2 (en) 2018-02-07 2020-06-23 Lockheed Martin Corporation Plenoptic cellular vision correction
US10129984B1 (en) 2018-02-07 2018-11-13 Lockheed Martin Corporation Three-dimensional electronics distribution by geodesic faceting
US20210118177A1 (en) * 2018-02-19 2021-04-22 Integral Scopes Pty Ltd Method and system for calibrating a plenoptic camera system
KR20190120634A (ko) * 2018-04-16 2019-10-24 엘지전자 주식회사 이동 단말기
US10788892B2 (en) 2018-05-23 2020-09-29 Facebook Technologies, Llc In-field illumination and imaging for eye tracking
US11455031B1 (en) * 2018-06-04 2022-09-27 Meta Platforms Technologies, Llc In-field illumination for eye tracking
KR102084723B1 (ko) * 2018-06-27 2020-03-04 (주)비젼에이드 플라스틱 엘시디 셰이드를 구비한 증강현실 및 가상현실 겸용 스마트 글라스 디스플레이 장치
WO2020009251A1 (ko) * 2018-07-03 2020-01-09 광운대학교 산학협력단 반사형 홀로그래픽 광학 소자를 이용한 풀칼라 증강현실 구현장치
GB2575658B (en) * 2018-07-18 2020-12-23 Envisics Ltd Head-up display
CN108919492B (zh) * 2018-07-25 2021-05-07 京东方科技集团股份有限公司 一种近眼显示装置、系统及显示方法
CN110908134B (zh) * 2018-08-28 2021-01-26 京东方科技集团股份有限公司 一种显示装置及显示系统
KR20200031922A (ko) 2018-09-17 2020-03-25 삼성전자주식회사 투시형 디스플레이 장치 및 이를 포함하는 증강 현실 장치
KR20200046517A (ko) 2018-10-24 2020-05-07 삼성전자주식회사 디스플레이 장치
WO2020090811A1 (ja) * 2018-10-31 2020-05-07 株式会社ニデック 自覚式検眼装置
CN109164583A (zh) * 2018-11-07 2019-01-08 深圳珑璟光电技术有限公司 一种水下ar装置
US10866413B2 (en) 2018-12-03 2020-12-15 Lockheed Martin Corporation Eccentric incident luminance pupil tracking
CN109633906A (zh) * 2019-01-02 2019-04-16 京东方科技集团股份有限公司 虚拟现实设备及其图像校正方法
WO2020146546A1 (en) 2019-01-08 2020-07-16 Avegant Corp. Sensor-based eye-tracking using a holographic optical element
KR20210143823A (ko) * 2019-03-20 2021-11-29 매튜 이. 워드 마이크로 led 어레이를 갖는 mems 구동 광학 패키지
CN109870820B (zh) * 2019-03-26 2023-10-17 成都工业学院 针孔反射镜阵列集成成像增强现实装置及方法
CN111757089A (zh) * 2019-03-29 2020-10-09 托比股份公司 利用眼睛的瞳孔增强调节来渲染图像的方法和系统
US10698201B1 (en) 2019-04-02 2020-06-30 Lockheed Martin Corporation Plenoptic cellular axis redirection
US11650426B2 (en) 2019-05-09 2023-05-16 Meta Platforms Technologies, Llc Holographic optical elements for eye-tracking illumination
KR20220024637A (ko) * 2019-06-19 2022-03-03 에프. 호프만-라 로슈 아게 정의된 조직의 다수 발현 카세트들의 표적화 통합에 의한 3가 항체 발현 세포의 생성 방법
WO2020263958A1 (en) 2019-06-28 2020-12-30 Pcms Holdings, Inc. Optical method and system for light field (lf) displays based on tunable liquid crystal (lc) diffusers
CN110286538B (zh) * 2019-06-28 2022-05-24 Oppo广东移动通信有限公司 显示方法、显示装置、头戴式显示装置和存储介质
CN114341747A (zh) * 2019-09-03 2022-04-12 光场实验室公司 移动装置的光场显示器
EP3901687A4 (en) 2019-09-10 2022-07-13 Lg Electronics Inc. ELECTRONIC DEVICE
KR102570187B1 (ko) * 2019-09-30 2023-08-25 주식회사 엘지화학 헤드 마운티드 디스플레이
KR102329612B1 (ko) * 2020-03-09 2021-11-22 주식회사 피앤씨솔루션 복수의 핀홀을 포함하는 광학 장치 및 이를 이용한 머리 착용형 디스플레이 장치
KR102377397B1 (ko) * 2020-03-31 2022-03-22 경북대학교 산학협력단 미세렌즈를 이용한 증강현실 디바이스
WO2022115534A1 (en) * 2020-11-24 2022-06-02 NewSight Reality, Inc. Transparent optical module using pixel patches and associated lenslets
EP4218540A1 (en) * 2022-01-26 2023-08-02 Essilor International Method for simulating an ophthalmic lens on an eye of a subject viewing a virtual three-dimensions scene using a light field display
CN115175004B (zh) * 2022-07-04 2023-12-08 闪耀现实(无锡)科技有限公司 用于视频播放的方法、装置、可穿戴设备及电子设备
US20240094529A1 (en) * 2022-09-14 2024-03-21 Valve Corporation Position tracking systems and methods for head-mounted display systems

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010026273A (ja) * 2008-07-22 2010-02-04 Dainippon Printing Co Ltd ヘッドマウントディスプレイ
CN104007552A (zh) * 2014-05-30 2014-08-27 北京理工大学 一种真实立体感的光场头盔显示系统
CN104656258A (zh) * 2015-02-05 2015-05-27 上海理湃光晶技术有限公司 屈光度可调的曲面波导近眼光学显示器件

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4959284A (en) 1988-12-29 1990-09-25 E. I. Du Pont De Nemours And Company Holographic photopolymer compositions and elements containing a ring-opening monomer
US5748264A (en) * 1995-01-10 1998-05-05 Hughes Electronics Distortion Corrected display
FR2764997B1 (fr) * 1997-06-20 1999-09-03 Sextant Avionique Dispositif de visualisation pour visuel de casque
JPH11326823A (ja) * 1998-05-18 1999-11-26 Sony Corp 虚像観察光学系
AU2148300A (en) * 1998-11-12 2000-05-29 Digilens Inc. Head mounted apparatus for viewing an image
WO2001009685A1 (en) * 1999-08-03 2001-02-08 Digilens Inc. Display system with eye tracking
JP4411547B2 (ja) * 2006-03-20 2010-02-10 ソニー株式会社 画像表示装置
FR2902105B1 (fr) 2006-06-13 2008-09-12 Essilor Int Procede de collage d'un film sur un substrat courbe
FR2934056B1 (fr) 2008-07-21 2011-01-07 Essilor Int Procede de transfert d'une portion de film fonctionnel
EP3269296A1 (en) * 2008-12-01 2018-01-17 Perfect Vision Technology (HK) Ltd. Methods and devices for refractive correction of eyes
JP2010262232A (ja) * 2009-05-11 2010-11-18 Konica Minolta Opto Inc 映像表示装置およびヘッドマウントディスプレイ
JP2011109276A (ja) * 2009-11-13 2011-06-02 Konica Minolta Opto Inc カメラファインダ、撮影装置および遠隔作業支援システム
US8998414B2 (en) 2011-09-26 2015-04-07 Microsoft Technology Licensing, Llc Integrated eye tracking and display system
US20130258486A1 (en) * 2012-03-27 2013-10-03 Dumitru Mihai Ionescu Head-mount display
US20130285885A1 (en) * 2012-04-25 2013-10-31 Andreas G. Nowatzyk Head-mounted light-field display
US10073201B2 (en) * 2012-10-26 2018-09-11 Qualcomm Incorporated See through near-eye display
US9223139B2 (en) 2013-02-15 2015-12-29 Google Inc. Cascading optics in optical combiners of head mounted displays
EP2967321B1 (en) * 2013-03-15 2023-05-10 AMO Groningen B.V. Wavefront generation for ophthalmic applications
US9582922B2 (en) 2013-05-17 2017-02-28 Nvidia Corporation System, method, and computer program product to produce images for a near-eye light field display
US10520730B2 (en) 2013-09-04 2019-12-31 Essilor International Methods and systems for augmented reality
JP6632979B2 (ja) 2013-09-04 2020-01-22 エシロール・アンテルナシオナル 拡張現実感のための方法とシステム
CN103607622A (zh) * 2013-11-25 2014-02-26 深圳市九洲电器有限公司 电视观看保护方法、装置和机顶盒
CN104519347B (zh) * 2014-12-10 2017-03-01 北京智谷睿拓技术服务有限公司 光场显示控制方法和装置、光场显示设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010026273A (ja) * 2008-07-22 2010-02-04 Dainippon Printing Co Ltd ヘッドマウントディスプレイ
CN104007552A (zh) * 2014-05-30 2014-08-27 北京理工大学 一种真实立体感的光场头盔显示系统
CN104656258A (zh) * 2015-02-05 2015-05-27 上海理湃光晶技术有限公司 屈光度可调的曲面波导近眼光学显示器件

Also Published As

Publication number Publication date
EP3317716A1 (en) 2018-05-09
JP6930929B2 (ja) 2021-09-01
EP3317716B1 (en) 2020-03-11
JP2018528452A (ja) 2018-09-27
WO2017005614A1 (en) 2017-01-12
US20180196265A1 (en) 2018-07-12
CN107850788A (zh) 2018-03-27
US10416456B2 (en) 2019-09-17
KR102593113B1 (ko) 2023-10-25
KR20180044238A (ko) 2018-05-02

Similar Documents

Publication Publication Date Title
CN107850788B (zh) 用于增强现实的方法和系统
CN107924057B (zh) 用于增强现实的方法和系统
CN107466375B (zh) 用于增强现实的方法和系统
US9530382B2 (en) Light management for image and data control
US10429648B2 (en) Augmented reality head worn device
US20180084232A1 (en) Optical See-Through Head Worn Display
JP2022537025A (ja) ホログラフィック構成要素を有する半製品レンズのセット
KR20220021910A (ko) 저-복굴절 베이스 렌즈 상에 홀로그래픽 미러를 갖는 안구 렌즈
US20230273352A1 (en) Optical element comprising at least one holographic diffusive element

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant