CN113892050A - 用于显示增强现实的电子设备和方法 - Google Patents

用于显示增强现实的电子设备和方法 Download PDF

Info

Publication number
CN113892050A
CN113892050A CN202080038897.0A CN202080038897A CN113892050A CN 113892050 A CN113892050 A CN 113892050A CN 202080038897 A CN202080038897 A CN 202080038897A CN 113892050 A CN113892050 A CN 113892050A
Authority
CN
China
Prior art keywords
virtual image
light
period
user
focus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080038897.0A
Other languages
English (en)
Inventor
崔明祚
郭圭燮
尹政根
李圭谨
李元准
崔钟喆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020190129992A external-priority patent/KR20210004776A/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN113892050A publication Critical patent/CN113892050A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/28—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising
    • G02B27/286—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising for controlling or changing the state of polarisation, e.g. transforming one polarisation state into another
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0081—Simple or compound lenses having one or more elements with analytic function to create variable power
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/12—Fluid-filled or evacuated lenses
    • G02B3/14—Fluid-filled or evacuated lenses of variable focal length
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0185—Displaying image at variable distance

Abstract

一种用于显示AR的电子设备，包括：光学引擎；第一偏振器；被配置为保持或转换真实场景的光的偏振方向的偏振转换器；波导，虚拟图像的光从该波导输出，并且真实场景的光透射通过该波导；焦点可调透镜；第二偏振器；和一个或多个处理器。一个或多个处理器被配置为：在第一时段期间，控制偏振转换器转换真实场景的第一光的偏振方向，使得真实场景的第一光的至少一部分被第二偏振器阻挡，并且在第二时段期间，控制偏振转换器保持真实场景的第二光的偏振方向，使得真实场景的第二光透射通过第二偏振器。

Description

用于显示增强现实的电子设备和方法
技术领域
本公开涉及用于显示增强现实(AR)的电子设备和方法。
背景技术
允许用户体验AR的AR设备包括，例如，AR眼镜。一种AR设备的图像光学系统，包括用于生成图像的图像生成设备和用于将生成的图像发送到用户眼睛的波导。从图像生成设备(例如，投影仪)输出的图像通过波导被发射到用户的眼睛，并且他/她观察该图像。
AR设备通过向双眼提供呈现为具有双目视差(binocular disparity)的图像来创建三维(3D)效果。尽管使用这种双目视差的3D效果可以通过使用实现3D的各种方法来相对容易地创建和体验，但是当用户长时间穿戴用于创建3D效果的设备时，用户会感到眼睛疲劳。由于双眼的视觉辐辏(vergence)距离和焦距不相同，可能会出现眼睛疲劳，这种视觉辐辏距离和焦距之间的不一致被称为视觉辐辏调节冲突(vergence accommodationconflict，VAC)。
发明内容
技术问题
提供了一种可以减轻眼睛疲劳的AR设备。
提供了一种AR设备，当提供多个虚拟图像时，该AR设备可以响应于用户感兴趣的区域。
额外的方面将在下面的描述中被部分地阐述，并且部分地将从描述中变得清楚、或者可以通过对本公开所呈现的实施例的时间来获知。
解决问题的技术方案
根据本公开的一个方面，一种用于显示AR的电子设备包括：被配置为输出虚拟图像的光的光学引擎；位于真实场景的光路中的第一偏振器；被配置为保持或转换光的偏振方向的偏振转换器；波导，虚拟图像的光从该波导输出，并且真实场景的光透射通过该波导；焦点可调透镜，该焦点可调透镜的焦距针对从波导输出的虚拟图像的光而被调节；位于波导和焦点可调透镜之间或偏振转换器和波导之间的第二偏振器；以及一个或多个处理器，其被配置为：在第一时段期间，控制偏振转换器转换已经穿过第一偏振器的真实场景的第一光的偏振方向，使得真实场景的第一光的至少一部分被第二偏振器阻挡；并且在第二时段期间，控制偏振转换器保持已经穿过第一偏振器的真实场景的第二光的偏振方向，使得真实场景的第二光透射通过第二偏振器。
偏振转换器可以包括液晶面板。
一个或多个处理器还可以被配置为：在第一时段期间，控制光学引擎输出虚拟图像的光，并且在第二时段期间，控制光学引擎不输出虚拟图像的光。
一个或多个处理器还可以被配置为：在第一时段期间，控制焦点可调透镜具有针对虚拟图像的光的第一焦距，并且在第二时段期间，控制焦点可调透镜具有第二焦距，并且第二焦距可以不同于第一焦距。
第一焦距可以是用于将虚拟图像的图像平面移动到虚拟图像的深度位置的焦距。
第二焦距可以是无限的。
第二焦距可以是用于校正用户视觉的焦距。
第一时段和第二时段可以彼此交替。
一个或多个处理器还可以被配置为：在第一时段期间，控制光学引擎通过时间划分来输出具有不同深度的多个虚拟图像层的光，并且根据与多个虚拟图像层的深度相对应的不同的第一焦距来控制焦点可调透镜。
电子设备还可以包括被配置为跟踪用户注视(gaze)的眼睛跟踪器。
一个或多个处理器还可以被配置为：在第一时段期间，生成虚拟图像，使得虚拟图像具有由眼睛跟踪器跟踪到的用户注视点的深度。
一个或多个处理器还可以被配置为：在第一时段期间，生成具有不同深度的多个虚拟图像层，其中，具有接近由眼睛跟踪器跟踪到的用户注视点的深度的虚拟图像层的频率大于具有远离用户注视点的深度的虚拟图像层的频率。
焦点可调透镜可以是液晶透镜、液体透镜或可移动透镜。
电子设备可以是眼镜型设备。
根据本公开的一个方面，一种用于显示AR的电子设备包括：波导，虚拟图像的光从该波导输出，并且真实场景的光透射通过该波导；位于波导后表面的一部分上的光学引擎；位于波导的前表面上，并且被配置为在电控制下透射或阻挡真实场景的入射光的光学快门；位于波导的后表面的另一部分上，并且具有通过电控制调节的焦距的焦点可调透镜；以及一个或多个处理器，其被配置为：在第一时段期间，控制光学快门阻挡真实场景的第一光的至少一部分，并且在第二时段期间，控制光学快门透射真实场景的第二光。
光学快门可以是液晶光学快门或电致变色光学快门。
根据本公开的一个方面，一种用于显示AR的电子设备包括：波导；位于波导一侧的光学引擎；位于波导的前表面上，并且被配置为在电控制下保持或转换入射光的偏振方向的偏振转换器；位于偏振转换器的前表面上的第一偏振器；位于波导的后表面上，并且具有通过电控制调节的焦距的焦点可调透镜；位于波导和焦点可调透镜之间或偏振转换器和波导之间的第二偏振器；以及一个或多个处理器，其中，该一个或多个处理器被配置为：在第一时段期间，控制偏振转换器转换已经穿过第一偏振器的真实场景的第一光的偏振方向，使得通过第一偏振器输入的真实场景的第一光的至少一部分被第二偏振器阻挡，并且在第二时段期间，控制偏振转换器保持已经穿过第一偏振器的真实场景的第二光的偏振方向，使得真实场景的光透射通过第二偏振器。
根据本公开的一个方面，一种显示AR的方法包括：在第一时段期间，从波导向焦点可调透镜输出虚拟图像的光；在第一时段期间，控制焦点可调透镜具有第一焦距；在第二时段期间，不向波导供应虚拟图像的光，并且通过焦点可调透镜透射真实场景的光；以及在第二时段期间，控制焦点可调透镜具有不同于第一焦距的第二焦距。
发明的有益效果
根据本公开，显示AR的电子设备和方法可以减轻眼睛疲劳。
根据本公开，显示AR的电子设备和方法可以通过跟踪用户的注视来提供响应于用户感兴趣的区域的虚拟图像。
附图说明
从以下结合附图的描述中，本公开的某些实施例的上述和其他方面、特征和优点将变得更加清楚，其中：
图1是示出根据实施例的AR设备的外观的视图；
图2是图1的AR设备的平面图；
图3是图1的AR设备的框图；
图4是示出根据实施例的光学引擎和光学组件的布置的视图；
图5是示出根据实施例的光学引擎的视图；
图6是示出根据实施例的波导的视图；
图7是示出根据实施例的第一偏振器、偏振转换器和第二偏振器的视图；
图8是示出根据实施例的焦点可调透镜的视图；
图9是用于描述焦点可调透镜的发散操作的视图；
图10是用于描述焦点可调透镜的会聚操作的视图；
图11是用于描述根据实施例的AR设备的操作的流程图；
图12是用于描述根据实施例的由AR设备顺序生成的AR图像的操作的视图；
图13是用于描述根据实施例的AR设备在第一时段期间的操作的视图；
图14是用于描述根据实施例的AR设备在第二时段期间的操作的视图；
图15是用于描述比较示例的AR设备中的视觉辐辏调节冲突的视图；
图16是用于描述根据实施例的AR设备中虚拟图像的深度处的焦点可调透镜的操作的视图；
图17是用于描述根据实施例的用户通过AR设备看到真实场景的情况的视图；
图18是用于描述根据实施例的AR设备基于其调节虚拟图像的亮度和真实场景的亮度的原理的视图；
图19是示出根据实施例的AR设备中具有多个深度的AR图像的视图；
图20是用于描述根据实施例的在AR设备中顺序生成的具有多个深度的AR图像的操作的视图；
图21是示出根据实施例的AR设备中的光学组件的布置的视图；
图22是示出根据实施例的AR设备中的光学组件的布置的视图；
图23是示出根据实施例的光学快门的配置的视图；
图24是示出根据实施例的光学快门的配置的视图；
图25是示出根据实施例的焦点可调透镜的操作的视图；
图26是示出根据实施例的焦点可调透镜的另一种操作的视图；
图27是根据实施例的AR设备的框图；
图28是示出根据实施例的眼睛跟踪器的视图；
图29是示出用户注视方向的3D眼球模型的视图；
图30是用于描述用户左眼和右眼的注视点和注视角度之间的关系的视图；
图31是用于描述向上注视方向上的注视点和注视角度之间的关系的视图；
图32是用于描述根据实施例的AR设备的操作的流程图；
图33是示出在具有三个不同深度的AR图像中存在感兴趣深度的情况的视图；
图34是用于描述根据实施例的AR设备的操作的流程图；
图35是用于描述根据实施例的显示具有三个不同深度的AR图像而不反映感兴趣深度的情况的图；
图36是用于描述根据实施例的显示反映三个不同深度当中感兴趣深度的AR图像的情况的图；
图37是用于描述根据实施例的显示反映三个不同深度当中感兴趣深度的AR图像的情况的图；
图38是示出在具有六个不同深度的AR图像中存在感兴趣深度的情况的视图；
图39是用于描述根据实施例的显示具有六个不同深度的AR图像而不反映感兴趣深度的情况的图；
图40是用于描述根据实施例的显示反映六个不同深度当中感兴趣深度的AR图像的情况的图；
图41是用于描述根据实施例的显示反映六个不同深度当中感兴趣深度的AR图像的情况的图；
图42是示出根据实施例的眼睛跟踪器的视图；
图43是根据实施例的AR设备的框图；以及
图44是示出显示具有与真实世界对象相匹配的深度的虚拟图像的情况的视图。
具体实施方式
现在将参考附图更全面地描述实施例。在附图中，相同的附图标记表示相同的元件，并且为了清楚起见，元件的尺寸可能被放大。本公开的实施例可以具有不同的形式，并且不应被解释为限于本文阐述的实施例。
尽管本文所使用的术语是考虑到它们在本公开中的功能而从当前广泛使用的通用术语中选择的，但是这些术语可以根据本领域普通技术人员的意图、先例或新技术的出现而变化。此外，在特定情况下，这些术语由本公开的申请人自由选择，并且将在具体实施方式的相应部分中详细描述这些术语的含义。因此，本公开中使用的术语不仅仅是对术语的指定，而是基于整个公开中术语的含义和内容来定义这些术语。
在整个公开内容中，表述“a、b或c中的至少一个”表示仅a、仅b、仅c、a和b两者、a和c两者、b和c两者、a、b和c的全部或其变体。
如本文所使用的，单数形式“一”、“一个”和“该”也旨在包括复数形式，除非上下文另有清楚指示。在整个本申请中，当部分“包括”元件时，应当理解，只要没有特别的相反叙述，则该部分还包括其他元件，而不是排除其他元件。
此外，在本公开中使用的诸如“……单元”、“模块”等术语指示处理至少一个功能或运动的单元，并且该单元可以通过硬件或软件或者通过硬件和软件的组合来实现。
根据情况，本文使用的表述“被配置为(或被设置为)”可以用例如“适合于”、“有能力”、“被设计为”、“适于”、“被制成”或“能够”来代替。表述“被配置为(或被设置为)”不一定意味着在硬件级别“被专门设计为”。相反，在一些情况下，“被配置为……的系统”可以意味着该系统与其他设备或部件一起“能够……”。例如，“被配置为(或被设置为)执行A、B和C的处理器”可以指用于执行相应操作的专用处理器(例如，嵌入式处理器)、或者能够通过运行存储在存储器中的一个或多个软件程序来执行相应操作的通用处理器(例如，中央处理单元(CPU)或应用处理器(AP))。
本文所使用的术语“增强现实(AR)”是将虚拟图像覆盖在真实世界的物理环境空间或真实世界对象上作为单个图像的技术。
在本公开中，能够创建AR的“AR设备”的示例包括类似于穿戴在用户上的眼镜的AR眼镜、头戴式显示装置和AR头盔。这样的AR设备在日常生活中非常有用，诸如信息检索、路线引导和相机拍摄。此外，类似于眼镜的AR眼镜可以作为时尚物品来穿戴，并且可以用于室内活动和室外活动两者。
本文所使用的术语“真实场景”是指观察者或用户通过AR设备看到的真实世界的场景，并且可以包括真实世界对象。术语“虚拟图像”是指由光学引擎生成的图像。虚拟图像可以包括静态图像和动态图像两者。虚拟图像可以是覆盖在真实场景上的，用来示出关于真实场景中的真实世界对象的信息、关于AR设备的操作的信息、控制菜单等的图像。
本文所使用的术语“焦点可调透镜”是指可以改变焦距的透镜。液晶(LC)透镜、液体透镜、可移动透镜或其他合适的焦距可调光学系统可以用作焦点可调透镜。如下所述，当用户看到虚拟图像时，他/她可以通过焦点可调透镜、根据虚拟图像的深度来调节焦点。
本文所使用的术语“眼睛跟踪器”是指用于检测关于用户注视的注视方向的信息的设备，并且可以通过检测瞳孔的图像或者检测光量或诸如近红外线的照明光从角膜反射的方向来计算该注视方向。
本文所使用的术语“焦点”是指平行于透镜光轴的光线穿过透镜(或光学系统)，然后该光线延伸的直线与光轴相交的点。空气中从透镜(或光学系统)的主平面到焦点的距离被称为焦距。
本文所使用的术语“虚拟图像的深度”是指当用户看到虚拟图像时，用户在空间中感知到虚拟图像的距离或深度。使用双目视差的3D图像可以生成具有不同视点的左眼虚拟图像和右眼虚拟图像，并且在这种情况下，不同的视点可以是用户左眼看到的视点和用户右眼看到的视点。因此，使用双目视差的3D图像中的虚拟图像的视点可以是根据左眼看到的视点和右眼看到的视点之间的视差(即，双目视差)而计算出的距离。多深度虚拟图像可以包括具有不同深度(即，不同双目视差)的虚拟图像层。
本文所使用的术语“注视方向”是指用户注视的方向，并且术语“注视”是指从用户的瞳孔起沿着注视方向的假想线。主要地，根据由眼睛跟踪器获得的信息来计算注视方向，并且估计注视。
本文所使用的术语“注视点”是指用户注视的点，并且可以被计算为用户双眼的注视相交的点。因为看到使用双目视差的3D图像的用户由于双目视差而感知3D图像，所以通过用户双眼的会聚角度而获得的注视点可以是用户感知到对象(虚拟图像层)的点(即，虚拟图像的深度)。
在真实世界中，到双眼的注视相交的点的视觉辐辏距离和通过调节眼睛晶状体(eye lens)的厚度而改变的聚焦距离(辐辏距离)彼此匹配，而在虚拟图像(即使用双目视差的3D图像)中，双眼的视觉辐辏距离和聚焦距离彼此不匹配。因此，长时间观看使用虚拟图像的虚拟现实(VR)或AR图像的人或对VR或AR图像敏感的人可能由于人眼的视觉辐辏距离和聚焦距离之间的差而出现头晕和眼睛疲劳。
图1是示出根据实施例的AR设备100的外观的视图。图2是图1的AR设备100的平面图。图3是图1的AR设备100的框图。图4是示出根据实施例的光学引擎120和光学组件130(例如，一个或多个可选元件)的布置的视图。
参考图1和图2，本实施例的AR设备100是类似于穿戴在用户身上的眼镜的AR眼镜，并且包括眼镜主体110。
眼镜主体110可以包括例如框架111和镜腿119。左透镜101L和右透镜101R位于其上的框架111可以具有经由桥112彼此连接的两个边框形状。左透镜101L和右透镜101R是示例，并且可以具有或不具有屈光力(能力)。可替代地，左透镜101L和右透镜101R可以彼此一体形成，并且在这种情况下，框架111的边框和桥112彼此不分离。可以省略左透镜101L和右透镜101R。
镜腿119分别连接到框架111的两个端部113并且在一个方向上延伸。框架111的两个端部113和镜腿119可以通过铰链115彼此连接。铰链115是示例，并且用于连接框架111的两个端部113和镜腿119的其他合适的构件可以用作铰链115。作为另一个示例，框架111的两个端部113和镜腿119可以彼此一体地(连续地)连接。
光学引擎120、多个光学组件130和电子组件190位于眼镜主体110上。
被配置为生成虚拟图像的光的光学引擎120可以是包括图像面板、照明光学系统和投影光学系统的投影仪的光学引擎。光学引擎120可以包括左眼光学引擎120L和右眼光学引擎120R。左眼光学引擎120L和右眼光学引擎120R可以位于框架111的两个端部113中。作为另一个示例，左眼光学引擎120L和右眼光学引擎120R可以分别位于左镜腿119L和右镜腿119R中。
进一步参考图4，被配置为将由光学引擎120生成的虚拟图像的光和真实场景的光透射到用户瞳孔的光学组件130可以包括波导140、偏振转换器150、第一偏振器158和第二偏振器159以及焦点可调透镜160。光学组件130可以包括左眼光学组件130L和右眼光学组件130R。左眼光学组件130L和右眼光学组件130R可以分别附接到左透镜101L和右透镜101R。可替代地，左眼光学组件130L和右眼光学组件130R可以与左透镜101L和右透镜101R分离地安装在框架111上。
参考图4，光学引擎120可以位于波导140的一部分的后表面上。波导140的后表面是当用户穿戴AR设备100时面向用户眼睛的表面。光学引擎120可以被定位为在波导140的一部分上沿z轴方向输出虚拟图像的光。第一偏振器158、偏振转换器150、第二偏振器159和焦点可调透镜160位于波导140的另一部分上。偏振转换器150和第一偏振器158可以位于波导140的前表面144上，而第二偏振器159和焦点可调透镜160可以位于波导140的后表面146上。也就是说，第一偏振器158、偏振转换器150、波导140、第二偏振器159和焦点可调透镜160可以以上述顺序来布置。真实场景的光沿-z轴方向入射到波导140的另一部分上。
进一步参考图3，电子组件190可以包括处理器191、接口192和存储器193，并且可以安装在眼镜主体110的镜腿119(参考图1)或框架111(参考图1)上；可以分布在多个部分上；或者可以安装在印刷电路板(PCB)、柔性PCB(FPCB)等上。用于驱动偏振转换器150的偏振转换器驱动驱动器电路和用于驱动焦点可调透镜160的透镜驱动驱动器电路可以邻近地位于偏振转换器150和焦点可调透镜160。偏振转换器驱动驱动器电路和透镜驱动驱动器电路可以彼此一体形成。作为另一个示例，偏振转换器驱动驱动器电路和透镜驱动驱动器电路可以全部或部分地位于安装在例如镜腿119上的主板上。
处理器191可以通过驱动操作系统或应用程序来控制包括光学引擎120、偏振转换器150和焦点可调透镜160的AR设备100的整体操作，并且可以执行包括图像数据的各种数据的操作和处理。例如，处理器191可以处理包括呈现为具有双目视差的左眼虚拟图像和右眼虚拟图像的图像数据。处理器191可以包括至少一个硬件设备，例如但不限于中央处理单元、微处理器、图形处理单元、专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑设备(PLD)或现场可编程门阵列(FPGA)。尽管在图3中仅示出了一个处理器191，但是实施例不限于此，并且可以提供多于一个的处理器来控制AR设备100的操作。
通过其输入/输出外部数据或操作命令的接口192可以包括用户接口，诸如可以由用户操作的触摸板、控制器或操作按钮。在实施例中，接口192可以包括诸如通用串行总线(USB)模块的有线通信模块或诸如蓝牙模块的无线通信模块，并且可以通过有线通信模块或无线通信模块接收从包括在外部设备中的接口发送的虚拟图像或用户的操作信息的数据。
存储器193可以包括内部存储器，诸如易失性存储器或非易失性存储器。存储器193可以存储用于在处理器191、程序或应用的控制下驱动和控制AR设备100的各种数据，以及输入/输出的虚拟图像的信号或数据。
被配置为接收由处理器191生成的图像数据并生成虚拟图像的光的光学引擎120包括左眼光学引擎120L和右眼光学引擎120R。左眼光学引擎120L和右眼光学引擎120R中的每一个都包括输出光的光源和通过使用从光源输出的光来形成虚拟图像的图像面板，并且具有与小型投影仪相同的功能。光源可以是例如发光二极管(LED)，并且图像面板可以是例如数字微镜设备(digital micromirror device，DMD)。
被配置为根据处理器191的控制信号来转换真实场景的光的偏振方向的偏振转换器150包括左眼偏振转换器150L和右眼偏振转换器150R。左眼偏振转换器150L和右眼偏振转换器150R中的每一个可以包括其光学属性根据所施加的电场而改变的光学活性材料，并且可以是例如液晶面板。如下所述，偏振转换器150与第一偏振器158和第二偏振器159一起透射或阻挡真实场景的光。
焦距通过处理器191的控制信号而改变的焦点可调透镜160包括左眼焦点可调透镜160L和右眼焦点可调透镜160R。左眼焦点可调透镜160L和右眼焦点可调透镜160R中的每一个可以被配置为使得折射率或屈光力根据所施加的电场而变化。
接下来，将更详细地描述光学引擎120和被配置为将由光学引擎120生成的虚拟图像的光和外部场景的光透射到用户瞳孔的光学组件130。提供光学引擎120和光学组件130作为用于用户左眼和右眼的构件。本领域普通技术人员将理解，因为用于左眼和右眼的构件是对称的，尽管描述了构件中的一个(例如，用于左眼的构件)，但是该描述可以适用于另一个构件(例如，用于右眼的构件)。
图5是示出根据实施例的光学引擎120的视图。光学引擎120包括照明光学系统121、通过被照明光学系统121照射来形成虚拟图像的光的图像面板123、以及投射在图像面板123上形成的虚拟图像的光的投影光学系统124。使用作为反射型图像面板的图像面板123的图5的光学引擎120包括分离来自照明光学系统121的光和由图像面板123反射的光的分束器122。当光学引擎120使用作为透射型图像面板的图像面板123时，可以省略分束器122。光学引擎120可以根据照明光学系统121或图像面板123的方法来输出偏振光或非偏振光。例如，当图像面板123是硅上液晶(LCoS)面板或其他液晶图像面板时，当偏振分束器用于分离/组合光束时、或者当使用高偏振的光源时，光学引擎120可以输出线偏振光。作为另一个示例，当图像面板123是DMD面板时，光学引擎120可以输出非偏振光。尽管光学引擎120通过使用图5中的图像面板123来投射虚拟图像的光，但是本公开不限于此。在实施例中，光学引擎120可以通过使用扫描方法来形成图像。
图6是示出根据实施例的波导140的视图。
参考图6，波导140具有由其中光反射和传播的透明材料而形成的单层或多层结构。波导140可以具有平板形状或曲板形状。波导140包括面向光学引擎120并接收虚拟图像的投射光的第一区域141、入射在第一区域141上的虚拟图像的光在其中传播的第二区域142、以及输出在第二区域142中传播的虚拟图像的光的第三区域143。第一偏振器158和偏振转换器150可以接触波导140的第三区域143的前表面、或者可以与波导140的第三区域143的前表面隔开预定间隔，第二偏振器159和焦点可调透镜160可以接触波导140的后表面的第三区域143、或者可以与波导140的后表面的第三区域143隔开预定间隔。在实施例中，第一偏振器158和偏振转换器150可以被定位为完全覆盖面向波导140的第三区域143的前表面部分，并且第二偏振器159和焦点可调透镜160可以被定位为完全覆盖波导140的后表面的第三区域143。在实施例中，第一偏振器158和偏振转换器150可以被定位为覆盖面向波导140的第三区域143的前表面部分的一部分，并且第二偏振器159和焦点可调透镜160可以被定位为覆盖波导140的后表面的第三区域143的一部分。
波导140安装在框架111上(见图1)，使得当用户穿戴AR设备100时，第三区域143位于用户瞳孔的前面。因为波导140是由透明材料形成的，所以用户可以通过AR设备100看到虚拟图像以及真实场景，因此AR设备100可以创建AR。术语“透明材料”是指可见光可以穿过的材料，并且透明材料的透明度可能不是100％，并且透明材料可以具有预定的颜色。
在实施例中，可以形成衍射光栅来耦合入射到波导140的后表面的第一区域141上的光，并且在第一方向(例如，X方向)上透射所耦合的光。光学引擎120可以被定位为使得发射的光垂直于第一区域141或者以预定角度倾斜地入射。光学引擎120的布置方向可以根据第一区域141的衍射光栅的图案而变化。
第二区域142相对于第一区域141可以位于第一方向(例如，Y方向)上。衍射光栅形成在第二区域142上，使得从第一区域141接收到的光的至少一部分在第二方向(例如，-X方向)上传播。当波导140具有单层结构时，第二区域142的衍射光栅可以形成在与第一区域141的衍射光栅相同的表面(即，波导140的后表面146)或者与第一区域141的衍射光栅相反的表面(即，波导140的前表面144)上。可替代地，当波导140具有多层结构时，第二区域142的衍射光栅可以形成在不同于其上形成了第一区域141的衍射光栅的层上。入射在第一区域141上的光在波导140的前表面和后表面之间反射并传播。尽管在本实施例中第二区域142是单个区域，但是第二区域142可以包括多个区域。当波导140具有多层结构时，第二区域142可以包括形成在不同层上的多个区域。
第三区域143相对于第二区域142可以位于第二方向(例如，-X方向)上。衍射光栅形成在第三区域143中，使得从第二区域142传播的光的至少一部分在垂直于波导140的方向(例如，-Z方向)上被输出或者在倾斜的方向上被输出。当波导140具有单层结构时，第三区域143的衍射光栅可以形成在与第一区域141和第二区域142的衍射光栅相同的表面上。可替代地，当波导140具有多层结构时，第三区域143的衍射光栅可以形成在不同于其上形成了第二区域142的衍射光栅的层上，并且可以形成在与第一区域141的衍射光栅相同的层上、或者可以形成在不同于其上形成了第一区域141的衍射光栅的层上。尽管在本实施例中，第三区域143相对于第二区域142位于第二方向(例如，-X方向)上，但是本公开不限于此。第三区域143相对于第二区域142可以位于与第二方向相反的方向(例如，+X方向)上。
第一区域141的衍射光栅、第二区域142的衍射光栅和第三区域143的衍射光栅可以具有不同的图案。当波导140具有多层结构时，第二区域142可以与第一区域141和第三区域143部分重叠。
图7是示出根据实施例的第一偏振器158、偏振转换器150和第二偏振器159的视图。
参考图7，偏振转换器150可以是包括其中封装有液晶的液晶层151和位于液晶层151的两个表面上的电极152和153的液晶面板。电极152和153可以由诸如氧化铟锡(ITO)的透明导电材料形成。关于液晶面板，根据电极152和153的布置和液晶的布置方法的各种方法(诸如扭曲向列(twisted nematic，TN)、垂直对准(vertical alignment，VA)和面线切换(plane to line switching，PLS))是本领域技术人员已知的。例如，在TN方法中，当没有施加电场时，液晶分子扭曲90°，并且当施加电场时，液晶分子在电场方向上旋转以解扭曲。因此，当电压没有被施加到电极152和153时(即，当电极152和153处于关断状态时)，使用TN方法入射到液晶层151上的线偏振光的偏振方向旋转，因此S偏振变成P偏振且P偏振变成S偏振。其中光(即电磁波)的电场的振动方向平行于入射平面的P偏振被称为水平偏振，其中电场的振动方向垂直于入射平面的S偏振被称为垂直偏振。当向电极152和153施加电压时(即，电极152和153处于导通状态)，使用TN方法入射到液晶层151上的线偏振光保持偏振。
第一偏振器158和第二偏振器159分别位于偏振转换器150的前表面700和后表面702上。第一偏振器158和第二偏振器159中的每一个仅使入射光的分量中的一个方向的线性偏振分量穿过。当焦点可调透镜160包括偏振器时，可以省略第二偏振器159。
第一偏振器158和第二偏振器159的布置方向可以根据偏振转换器150的方法或偏振转换器150的开启/关闭操作模式而变化。在本实施例中，基于处理器191的控制，偏振转换器150处于关闭模式，并且第二偏振器159透射真实场景的光。当基于处理器191的控制偏振转换器150处于开启模式时，第二偏振器159阻挡真实场景的光。光透射通过第二偏振器159的情况包括仅透射部分光或仅透射光的偏振分量的情况。在实施例中，当偏振转换器150是使用TN方法的液晶面板时，第一偏振器158和第二偏振器159可以被定位为使得偏振方向彼此垂直。例如，第一偏振器158可以被定位为仅使P偏振分量的光穿过，而第二偏振器159可以被定位为仅使S偏振分量的光穿过。当电压没有被施加到偏振转换器150的液晶层151时，由于偏振转换器150，穿过第一偏振器158并且具有第一偏振方向(例如，P偏振)的光具有垂直于第一偏振方向的第二偏振方向(例如，S偏振)，并因此穿过第二偏振器159。当电压被施加到偏振转换器150的液晶层151时，由于偏振转换器150，穿过第一偏振器158并具有第一偏振方向的光(例如，P偏振光)保持第一偏振方向，因此被第二偏振器159阻挡。这样，偏振转换器150与第一偏振器158和第二偏振器159一起用作真实场景的光的光学快门。
在实施例中，偏振转换器150的电极152和153中的每一个可以作为液晶层151的整个部分上的单个电极被提供，与第一偏振器158相对应。在实施例中，因为偏振转换器150的电极152和153之一作为像素化电极被提供并且是独立可控的，所以仅真实场景中与虚拟对象相对应的部分的真实场景的光被选择性地阻挡。
图8是示出根据实施例的焦点可调透镜160的配置的视图。
参考图8，焦点可调透镜160包括电光层161、位于电光层161的第一表面704上的第一电极阵列162和位于电光层161的第二表面706上的第二电极163。
电光层161可以包括其折射率根据所施加的电场而变化的电光材料，即，其局部有效折射率作为被施加到整个材料的电压的函数而变化的材料。电光层161可以具有由多个绝缘层分开的单层结构或多层结构。
在实施例中，其中液晶分子被施加的电场旋转以改变双折射轴和有效折射率的液晶可以用作电光材料。在实施例中，具有与聚合物凝胶类似的电光属性的其他材料可以用于电光层161。
电光材料可以具有其中折射率根据液晶分子的单层/多层结构或取向方法、根据偏振方向而变化的偏振特性或者具有非偏振特性。即使当电光层161的电光材料具有偏振特性时(例如，当电光材料是液晶材料时)，也可以通过使用第二偏振器159限制入射光的偏振方向来防止焦点可调透镜160中的重叠焦点或模糊图像(参考图7)。
第一电极阵列162和第二电极163可以由诸如ITO的透明导电材料来形成。第一电极阵列162可以是单独或成组操作的电极阵列。第一电极阵列162被图案化为一系列同心阵列或像素阵列，并且用于施加期望的电压，使得有效折射率被调节为局部期望的值。电光层161可以通过局部调节有效折射率来提供具有期望焦距的相位调制轮廓(profile)。第二电极163相对于第一电极阵列162可以用作参考电极。必要时，第二电极163可以被实现为电极阵列。第一电极阵列162和第二电极163的位置可以彼此改变。
在实施例中，第二偏振器159和焦点可调透镜160可以彼此隔开或者可以彼此接触。在实施例中，第二偏振器159和焦点可调透镜160可以彼此一体形成，并且第二偏振器159可以是焦点可调透镜160的组件。
在实施例中，尽管在关闭模式下，焦点可调透镜160可以具有为0的屈光力(即，无限焦距)，但是本公开不限于此，并且根据电光层161的单层/多层结构或形状，即使在关闭模式下，焦点可调透镜160也可以具有屈光力。下面将描述假设在关闭模式下焦点可调透镜160的屈光力为0的情况。
图9是用于描述焦点可调透镜的发散操作的视图。图10是用于描述焦点可调透镜的会聚操作的视图。参考图9和图10，当电压被施加到焦点可调透镜160的电光层161时，有效折射率可以局部改变，因此穿过焦点可调透镜160的光路可以改变，从而改变视觉辐辏。视觉辐辏是指示通过焦点可调透镜160透射的光会聚或发散的程度的指标。视觉辐辏可以根据焦点可调透镜160的屈光力来调节。在图9的实施例中，穿过电光层161中光学属性(例如，在液晶层的情况下，液晶分子165的布置角度)被改变的部分的光可以形成正视觉辐辏，因此焦点可调透镜160可以执行与凸透镜相同的功能。一旦形成正视觉辐辏，焦距可以缩短。在图10的实施例中，穿过电光层161中光学属性(例如，在液晶层的情况下，液晶分子165的布置角度)被改变的部分的光可以形成负视觉辐辏，因此焦点可调透镜160可以执行与凹透镜相同的功能。当负视觉辐辏形成时，焦距可以延长。
将参考图11至图14描述实施例的AR设备100的操作。
图11是用于描述根据实施例的AR设备100的操作的流程图。图12是用于描述根据实施例的由AR设备100顺序生成的AR图像的操作的视图。图13是用于描述根据实施例的AR设备100在第一时段期间的操作的视图。图14是用于描述根据实施例的AR设备100在第二时段期间的操作的视图。
参考图3和图11至图14，在操作S210中，根据实施例的处理器191基于通过接口192接收到的数据或存储在存储器193中的数据来生成包括虚拟图像的图像数据。虚拟图像包括具有双目视差的左眼虚拟图像和右眼虚拟图像。根据双目视差提供虚拟图像的深度。具有双目视差的左眼虚拟图像和右眼虚拟图像可以从原始数据来提供、或者可以由处理器191根据AR设备100的设置来生成。
包括虚拟图像的图像数据可以是通过在时间上交替用于输出虚拟图像的第一时段和用于不输出虚拟图像的第二时段而被时间划分的图像数据。因为图像通常以帧为单位来生成并显示，所以包括虚拟图像的图像数据可以具有这样的结构，其中第一时段的一个或多个连续第一帧(图12中的虚拟)和第一时段之后的第二时段的一个或多个连续第二帧(图12中的真实)交替。第一帧(虚拟)可以包含虚拟图像。
在实施例中，第二帧(真实)像空数据一样处于空白状态(blank state)，并且处理器191可以控制光学引擎120在第二帧(真实)中不输出光。
在实施例中，第二帧(真实)可以包含透明图像，并且处理器191可以控制光学引擎120在第二帧(真实)中输出该透明图像的光。
在实施例中，第二帧(真实)可以包含虚拟图像，并且当亮度为零或者存在单独的光源开启/关闭控制信息时，处理器191可以控制在第二帧(真实)中开启/关闭光学引擎120的光源，从而控制光学引擎120不输出虚拟图像的光。
在实施例中，处理器191可以在不提供虚拟图像的情况下保持第二时段、或者可以通过连续地提供虚拟图像来保持第一时段。
在操作S220中，在第一时段期间，处理器191控制光学引擎120输出虚拟图像的光Lv，控制偏振转换器150开启，使得真实场景的光Lo不到达焦点可调透镜160，并且控制焦点可调透镜160开启以具有第一焦距。
如图13所示，真实场景的光Lo可以是非偏振光，并且只有入射在第一偏振器158上并且具有第一偏振分量(例如，P偏振分量)的光穿过。第一偏振分量的真实场景的光Lo入射到偏振转换器150上。当处理器191控制偏振转换器150开启时，液晶可以根据所施加的电场而对准，并且第一偏振分量的光在保持偏振方向的同时穿过偏振转换器150，并通过波导140到达第二偏振器159。然而，因为第二偏振器159的第二偏振方向(例如，S偏振)垂直于第一偏振器158的第一偏振方向，所以真实场景的第一偏振分量的光被第二偏振器159阻挡，从而阻止用户看到真实场景。
当处理器191控制光学引擎120输出虚拟图像的光Lv时，从光学引擎120输出的虚拟图像的光Lv通过波导140传输到第二偏振器159。只有虚拟图像的光Lv的第二偏振分量(例如，S偏振分量)的光穿过第二偏振器159。在实施例中，当光学引擎120输出非偏振光时，与第二偏振器159的第二偏振方向(例如，S偏振)相同方向的偏振分量(即，第二偏振)的光可以到达用户的瞳孔，从而使用户能够看到虚拟图像。在实施例中，当光学引擎120输出特定偏振的光时，光学引擎120可以使光Lv具有与第二偏振器159的第二偏振方向(例如，S偏振)相同的偏振方向，从而消除或减少光损失。
处理器191可以根据虚拟图像的深度来控制焦点可调透镜160具有第一焦距，因此用户可以看到根据该深度的虚拟图像。也就是说，当用户看到左眼虚拟图像和右眼虚拟图像时，由于左眼虚拟图像和右眼虚拟图像的双目视差θV，用户感知到虚拟图像的深度，并且处理器191根据第一焦距来控制焦点可调透镜160，使得用户眼球的眼睛晶状体具有与虚拟图像的深度相对应的焦距f2(见图16)。在这种情况下，第一焦距是指用于调节焦点可调透镜160的视觉辐辏的焦点可调透镜160的焦距，使得用户的眼睛晶状体的焦距对应于虚拟图像的深度。
第二时段在第一时段之后。在操作S230中，在第二时段期间，处理器191控制光学引擎120不输出虚拟图像的光Lv，控制偏振转换器150关闭，使得真实场景的光Lo到达焦点可调透镜160，并且控制焦点可调透镜160关闭以具有第二焦距。
如图14所示，真实场景的光Lo可以是非偏振光，并且入射在第一偏振器158上并且具有第一偏振分量(例如，P偏振分量)的光穿过。第一偏振分量的真实场景的光Lo入射到偏振转换器150上。当处理器191控制偏振转换器150关闭时，偏振转换器150中的液晶返回到原始取向状态，并且真实场景的光Lo的偏振方向旋转90°以具有第二偏振方向(例如，S偏振)。因此，穿过偏振转换器150的真实场景的光Lo以第二偏振状态穿过波导140并到达第二偏振器159。然而，因为第二偏振器159的第二偏振方向垂直于第一偏振器158的第一偏振方向，所以真实场景的第二偏振分量的光Lo穿过第二偏振器159并入射到焦点可调透镜160上。当处理器191控制焦点可调透镜160关闭时，焦点可调透镜160可能不具有屈光力，并且第二焦距是无限的。也就是说，当焦点可调透镜160被控制为关闭时，焦点可调透镜160的视觉辐辏不会会聚或发散。因此，入射到被控制为关闭的焦点可调透镜160上的第二偏振分量的光(即，真实场景的光)在不改变视觉辐辏的情况下穿过，并且传播到用户的瞳孔。因为视觉辐辏不会因真实场景的光而改变，所以用户可以看到真实场景本身。为了便于解释，尽管当看到真实场景时，焦点可调透镜160被控制为关闭，但是本公开不限于此。例如，当用户患有近视或远视并且需要校正透镜时，可以控制焦点可调透镜160具有校正焦距(第二焦距)并且可以用作校正透镜。
用户可以在第一时段期间通过AR设备100看到虚拟图像，并且可以在第二时段期间通过AR设备100看到真实场景。第一时段和第二时段可以交替地继续。尽管在本实施例中首先存在第一时段，然后存在第二时段，但是本公开不限于此。在实施例中，可以首先存在第二时段，然后可以存在第一时段。第一时段和第二时段可以是相同的时间间隔，但是本公开不限于此。第一时段和第二时段可以是不同的时间间隔。此外，第二时段的时间间隔和第一时段的时间间隔可以根据情况而变化。
虚拟图像可以是覆盖在真实场景上的图像，并且示出关于真实场景中的真实世界对象的信息、关于AR设备的操作的信息、控制菜单等。虚拟图像可以具有深度。当左眼虚拟图像和右眼虚拟图像被生成为具有双目视差时，虚拟图像的深度可以是根据双目视差而计算出的距离。例如，虚拟图像可以具有与虚拟图像所覆盖的真实世界对象的距离相对应的深度，使得当用户注视真实世界对象时，虚拟图像(即，虚拟对象)位于真实世界对象的位置处或附近。当然，可以设置虚拟图像的深度，而不考虑真实世界的对象。
在第二时段期间，处理器191控制光学引擎120不输出虚拟图像的光，控制偏振转换器150透射真实场景的光，并且控制焦点可调透镜160具有第二焦距。第一焦距和第二焦距可以是不同的值。第二焦距可以是无限的(即，焦点可调透镜160的屈光力可以是0)。当用户患有近视或远视并且需要视觉校正时，第二焦距可以是校正透镜的焦距。
将参考图15至图17描述本实施例的AR设备100中的焦点可调透镜160的焦点调节功能。
图15是用于描述比较示例的AR设备中的视觉辐辏调节冲突的视图。图16是用于描述根据实施例的AR设备中虚拟图像的深度处的焦点可调透镜的操作的视图。图17是用于描述用户通过根据实施例的AR设备看到真实场景的情况的视图。
参考图15，在没有焦点可调透镜160的比较示例的AR设备中，当用户看到左眼虚拟图像和右眼虚拟图像时，由于左眼虚拟图像和右眼虚拟图像的双目视差θV，用户感知到虚拟图像IV的深度DV。也就是说，虚拟图像IV的深度DV是当用户看到虚拟图像IV时用户在空间中感知到虚拟图像IV的距离或深度，并且虚拟图像IV的深度DV可以根据双目视差θV来反算。因为左眼虚拟图像和右眼虚拟图像从波导140的第三区域143输出，因此用户将眼睛晶状体的焦距f1调节到从波导140输出的虚拟图像IV的图像平面PV。虚拟图像IV的图像平面PV可以形成在波导140的第三区域143上，但是本公开不限于此。
因为用户的眼睛晶状体的焦距f1和由于双目视差θV而感知到的虚拟图像IV的深度DV彼此不同，所以用户遭受视觉辐辏调节冲突。
相反地，参考图16，在本实施例的AR设备100中，处理器191调节焦点可调透镜160的视觉辐辏，使得AR设备100使用户的眼睛晶状体的焦距为与虚拟图像IV的深度DV相对应的焦距f2。换句话说，因为焦点可调透镜160的视觉辐辏被调节，所以用户可以使焦距f2与视觉辐辏距离(即，虚拟图像的深度DV)相同，从而防止视觉辐辏调节冲突。
参考图17，当用户看到真实场景SR时，因为焦点可调透镜160处于关闭状态，所以焦点可调透镜160的视觉辐辏为0。因此，用户可以无失真地看到真实场景SR。此外，因为眼睛晶状体的焦距f3与当看到真实场景SR时出现的、由于双目视差θR的距离(即，真实场景SR的深度)相同，所以防止了视觉辐辏调节冲突。
图18是用于描述根据实施例的AR设备100基于其调节虚拟图像的亮度和真实场景的亮度的原理的视图。
当外部环境是明亮的白天室外环境、黑暗的晚上室外环境、或室内环境时，进入用户眼睛的真实场景的光量有很大不同。在实施例中，AR设备100可以包括照度传感器，并且处理器191可以通过检测由照度传感器感测到的外部亮度并基于该外部亮度调节图像数据的第一时段βt1和第二时段βt2的时间划分比率来调节真实场景的光量和虚拟图像的光量。当外部环境是太亮的白天室外环境时，可以减少用于透射真实场景的光的第二时段βt2，并且可以增加用于显示虚拟图像的第一时段βt1。
在根据实施例的AR设备100中，处理器191可以通过在第一时段期间适当地控制光学引擎120的光源的强度来调节虚拟图像的光量。
在根据实施例的AR设备100中，处理器191可以通过施加较低电压将入射到偏振转换器150上的真实场景的光的第一偏振分量的仅一部分转换为第二偏振分量(而不是在第二时段中关闭偏振转换器150)来调节真实场景的光量。
在根据实施例的AR设备100中，处理器191可以通过调节光学引擎120的光源的强度、施加到偏振转换器150的电压的强度以及第一时段和第二时段之间的时间划分比率中的至少两个来调节真实场景的光量和虚拟图像的光量。
图19是示出根据实施例的AR设备100中具有多个深度的AR图像的视图。图20是用于描述在根据实施例的AR设备100中顺序生成的具有多个深度的AR图像的操作的视图。
参考图19和图20，在AR设备100中，覆盖在真实场景上的虚拟图像可以包括具有不同深度的第一虚拟图像层虚拟1和第二虚拟图像层虚拟2。第一虚拟图像层虚拟1可以包括具有第一双目视差的第一左眼虚拟图像层和第一右眼虚拟图像层。第二虚拟图像层虚拟2可以包括具有第二双目视差的第二左眼虚拟图像层和第二右眼虚拟图像层。第一双目视差和第二双目视差可以是不同的值。
在第二时段，AR设备100的处理器191控制偏振转换器150和焦点可调透镜160关闭，并且光学引擎120不输出虚拟图像的光。当偏振转换器150被控制为关闭时，真实场景的光通过偏振转换器150和焦点可调透镜160入射到用户的眼球上。当焦点可调透镜160被控制为关闭时，用户可以无失真地看到真实场景。
在第二时段之后的第一虚拟时段中，AR设备100的处理器191控制偏振转换器150和焦点可调透镜160开启，并且控制光学引擎120输出第一虚拟图像层虚拟1的光。在这种情况下，处理器191以第一电压V1控制焦点可调透镜160，并且调节焦点可调透镜160的视觉辐辏，使得用户的眼睛晶状体具有与第一虚拟图像层虚拟1的深度相对应的焦距。当偏振转换器150被控制为开启时，真实场景的光被第二偏振器159阻挡，并且第一虚拟图像层虚拟1的光通过波导140和焦点可调透镜160入射到用户的眼球上。当焦点可调透镜160以第一电压V1被控制时，用户可以看到第一虚拟图像层虚拟1的深度处的第一虚拟图像层虚拟1。
在第一虚拟时段之后的第二虚拟时段中，AR设备100的处理器191控制偏振转换器150和焦点可调透镜160开启，并且控制光学引擎120输出第二虚拟图像层虚拟2的光。在这种情况下，处理器191以第二电压V2控制焦点可调透镜160，并且调节焦点可调透镜160的视觉辐辏，使得用户的眼睛晶状体具有与第二虚拟图像层虚拟2的深度相对应的焦距。当偏振转换器150被控制为开启时，真实场景的光被第二偏振器159阻挡，并且第二虚拟图像层虚拟2的光通过波导140和焦点可调透镜160入射到用户的眼球上。当焦点可调透镜160以第二电压V2被控制时，用户可以看到第二虚拟图像层虚拟2的深度处的第二虚拟图像层虚拟2。
处理器191可以生成图像数据以重复第二时段、第一虚拟时段和第二虚拟时段，并且可以控制光学引擎120、偏振转换器150和焦点可调透镜160。尽管第二时段、第一虚拟时段和第二虚拟时段的顺序、频率和时间间隔可以是固定的，但是本公开不限于此。当用户根据第一虚拟图像层操纵接口192时，可以增加第一虚拟时段的时间间隔或频率。将参考例如图36或图37来描述增加第一虚拟时段的频率的方法。
尽管在本公开的上述实施例中，第二偏振器159位于波导140和焦点可调透镜160之间，但是本公开不限于此。图21是示出根据实施例的AR设备中的光学组件的布置的视图。参考图21，第二偏振器159可以位于偏振转换器150和波导140之间。在实施例中，焦点可调透镜160可以是具有偏振无关屈光力的透镜。在实施例中，焦点可调透镜160可以是具有偏振相关屈光力的液晶透镜，并且在这种情况下，光学引擎120可以被配置为发射特定偏振的光、或者可以在波导140和焦点可调透镜160之间提供附加的偏振器。在实施例中，当焦点可调透镜160具有偏振相关屈光力时，焦点可调透镜160可以包括并入其中的偏振器。
尽管在本公开的上述实施例中，真实场景的光被偏振转换器150、第一偏振器158和第二偏振器159的组合阻挡或透射，但是本公开不限于此。图22是示出根据实施例的AR设备中的光学组件130的布置的视图。参考图22，本实施例的AR设备中的光学组件130可以包括波导140、与波导140的第三区域143的前表面接触或隔开预定间隔的光学快门250、以及与波导140的第三区域143接触或隔开预定间隔的焦点可调透镜160。处理器191控制光学快门250来阻挡或透射真实场景的光。
图23是示出根据实施例的光学快门250的配置的视图。参考图23，光学快门250可以是包括偏振转换器150以及第一偏振器158和第二偏振器159的液晶光学快门，并且可以位于波导140的前表面上。光学快门250可以通过一体制造偏振转换器150以及第一偏振器158和第二偏振器159来实现。
图24是示出根据实施例的光学快门250的配置的视图。参考图24，光学快门250是包括第一透明电极352、电致变色(electrochromic)层353、电解(electrolytic)层354和第二透明电极355(它们位于彼此面对的两个透明基板351和356之间)的电致变色光学快门。
电致变色层353包括电致变色粒子。电致变色粒子是其光透射特性根据是否供电、通过氧化还原而改变的粒子。在实施例中，电致变色粒子可以包括载体(support)和围绕该载体的电致变色材料。在实施例中，载体可以包括用于改善电致变色材料的变色(chromism)特性的多孔材料。在实施例中，载体可以包括用于提高电子迁移率的透明导电氧化物，诸如氧化铟(In2O3)、氧化锡(SnO2)、ITO、氧化铟锡(IZO)、氧化锑锡(ATO)、掺氟氧化锡(FTO)或氧化铝锌(AZO)。在实施例中，载体可以包括对可见光具有高透射率和大比表面积的非导电金属氧化物，诸如氧化钛(TiO2)、氧化锌(ZnO)或二氧化硅(SiO2)。在实施例中，电致变色材料可以包括紫精衍生物(viologen derivative)(诸如甲基紫精(methylviologen)、乙基紫精(ethyl viologen)或苄基紫精(benzyl viologen))，并且可以由另外的有机材料(诸如，膦酸衍生物或吡啶(pyridine))或无机材料(诸如过渡金属氧化物，诸如氧化钨)来形成。载体和电致变色材料不限于上述材料。电致变色层353可以被分为氧化着色材料层和还原着色材料层，其中电解层354位于它们之间。电致变色层353最初可以处于透明状态(即，当没有供电时)，并且当供电时可以处于吸收光的遮光状态。可以使用作为电致变色光学快门的光学快门250来代替作为液晶光学快门的光学快门250。因为作为电致变色光学快门的光学快门250与偏振无关，所以与使用偏振的方法相比，光学快门250可以减少外部光(即，真实场景的光)的损失。
图25和图26是示出根据实施例的焦点可调透镜160的操作的视图。
参考图25和图26，焦点可调透镜160可以是包括两个透明基板461和463、位于透明基板461和463之间的第一介质465和第二介质466、以及密封第一介质465和第二介质466的密封构件462的电润湿(electrowetting)液体透镜。第一介质465和第二介质466是彼此不混合并且具有不同折射率的材料。例如，第一介质465可以是非导电流体，而第二介质466可以是导电流体。电极467和468以预定图案设置在由密封构件462和透明基板461和463密封的内部，并且绝缘层464涂覆电极467和468的至少一部分。当向电极467和468供电时，绝缘层464的润湿状态可以改变，并且如图25和图26所示，第一介质465和第二介质466的接口形状可以改变。因此，第一介质465和第二介质466的接口的曲率可以通过电控制来改变，以控制焦点可调透镜160的视觉辐辏。因为作为液体透镜的焦点可调透镜160与偏振无关，所以与使用偏振的方法相比，焦点可调透镜160可以减少虚拟图像的光或真实场景的光的损失。
图27是根据实施例的AR设备100的框图。参考图27，本实施例的AR设备100包括光学引擎120、偏振转换器150、焦点可调透镜160、处理器191、接口192、存储器193和眼睛跟踪器570。本实施例的AR设备100与图3的AR设备100基本相同，并且上述内容同样适用于此。
作为用于跟踪用户眼睛的注视方向的设备的眼睛跟踪器570可以获得关于指示用户注视方向的注视方向的信息。眼睛跟踪器570可以包括左眼跟踪器570L和右眼跟踪器570R。处理器191可以通过使用分别由左眼跟踪器570L和右眼跟踪器570R获得的关于左眼注视方向的信息和关于右眼注视方向的信息来获得用户的注视点。
图28是示出根据实施例的AR设备中的眼睛跟踪器570的视图。参考图28，眼睛跟踪器570可以包括红外发射器571和多个红外检测器575a、575b、575b、575d、575e和575f。尽管在图28中，眼睛跟踪器570包括红外发射器571和六个红外检测器(即，红外检测器575a至575f)，但是实施例不限于此。
红外发射器571可以向用户的眼球E的晶状体所在的角膜部分发射红外光，并且多个红外检测器575a至575f可以检测由角膜反射的红外光。在实施例中，眼睛跟踪器570可以获得关于由多个红外检测器575a至575f中的每一个检测到的红外光量的信息，并且可以基于所获得的红外光量来获得关于用户眼球E的注视方向的信息。眼睛跟踪器570可以向处理器191提供所获得的关于注视方向的信息。例如，由眼睛跟踪器570获得的关于注视方向的信息可以是用户左眼在水平和垂直方向上的注视角度信息，以及用户右眼在水平和垂直方向上的注视角度信息。
将参考图29至图31描述根据由眼睛跟踪器570测量的关于注视方向的信息来跟踪注视的方法。
图29是示出用户注视方向的3D眼球模型的视图。参考图29，根据实施例，可以基于注视的3D眼球模型来执行注视方向。根据该3D眼球模型，当假设眼球具有完美的球形形状并且理想地根据注视在空间中旋转时，可以通过使用等式1和2来对注视进行数学建模。
[等式1]
x＝d·tanα
y＝d·secα·tanβ
[等式2]
Figure BDA0003374071460000241
Figure BDA0003374071460000242
在等式1中，d表示用户眼球的中心Eo和虚拟屏幕S之间的距离，α表示当用户眼睛注视虚拟屏幕S的前方时，用户眼球在x轴(例如，水平轴)上的旋转角度，β表示当用户的眼睛注视虚拟屏幕s的前方时，用户眼球在y轴(例如，垂直轴)上的旋转角度。在等式2中，假设用户的眼球是球体，r表示球体的半径。
根据实施例的眼睛跟踪器570可以测量用户眼球E的旋转度α和β，并且AR设备100可以通过使用旋转度α和β来计算用户眼球E在虚拟屏幕S上的注视方向的二维(2D)坐标值(x，y)。用户眼球E的旋转度α和β可以是眼球E在水平和垂直方向上的注视角度信息。
眼球的实际移动不是期望的3D旋转，并且特别地，在向左/向右注视中，眼球肌肉的放松或收缩可能很大，因此对于基于期望的3D旋转眼球模型的向左/向右注视，在垂直注视估计期间可能出现误差。由于该误差，AR设备100可以使用户看随机点，并且可以将眼睛跟踪器570估计的注视方向值与随机点的实际注视方向值进行比较，并且可以统计地处理比较结果，从而提高准确性。
图30是用于描述用户左眼和右眼的注视点和注视角度之间的关系的视图。图31是用于描述向上注视方向上的注视点和注视角度之间的关系的视图。
参考图30和图31，可以通过使用由眼睛跟踪器570获得的左眼El和右眼Er的注视方向(或注视坐标)之间的差来估计焦距。当要获得到注视点的焦距时，眼睛的注视轴可能不会彼此交叉，并且在这种情况下，可以假设双眼处于相同的高度，并且可以将垂直轴(例如，y轴)的坐标计算为双眼的垂直轴(例如，y轴)的坐标的平均。可以假设双眼之间的距离‘a’例如是7cm。通过上述几何假设，使用比例表达式可以得到下面的等式。
[等式3]
Figure BDA0003374071460000251
等式3中需要到虚拟屏幕的距离“d”和眼睛之间的距离“a”，并且当用户注视前方时，距离“d”可以通过使用注视图像测量眼球的旋转角度来获得。作为结果，到注视点的距离‘D’由等式4定义。
[等式4]
Figure BDA0003374071460000252
x表示虚拟屏幕S上左眼和右眼的注视坐标xl和xr之间的水平距离，并且可以通过使用用户左眼和右眼的注视角度来获得，如等式1和2所示。
将参考图32描述AR设备100的操作。
图32是用于描述根据实施例的AR设备100的操作的流程图。参考图27和图32，在操作S610中，根据实施例的处理器191基于通过接口192接收到的数据或存储在存储器193中的数据来生成包括虚拟图像的图像数据。包括虚拟图像的图像数据可以是通过在时间上交替用于输出虚拟图像的第一时段和用于不输出虚拟图像的第二时段而被时间划分的图像数据。
在操作S620中，在第一时段期间，处理器191控制光学引擎120输出虚拟图像的光Lv，控制偏振转换器150开启，使得真实场景的光Lo不到达焦点可调透镜160，并且控制焦点可调透镜160开启以具有第一焦距。处理器191可以根据虚拟图像的深度来控制焦点可调透镜160具有第一焦距。
第二时段在第一时段之后。在操作S630中，在第二时段期间，处理器191控制光学引擎120不输出虚拟图像的光Lv，控制偏振转换器150关闭，使得真实场景的光Lo到达焦点可调透镜160，并且控制焦点可调透镜160关闭以具有第二焦距。第二焦距可以是例如无限焦距(即，当焦点可调透镜160没有屈光力时)，但是本公开不限于此。
接下来，在操作S640中，处理器191通过控制眼睛跟踪器570来检测用户的注视点。如参考图29至图31所述的，左眼跟踪器570L可以检测关于用户左眼的水平和垂直旋转角度(即，水平和垂直注视角度)的信息，右眼跟踪器570R可以检测关于用户右眼的水平和垂直旋转角度(即，水平和垂直注视角度)的信息，并且处理器191可以基于检测到的信息来计算用户的注视点。
在实施例中，可以在执行显示虚拟图像的操作S620的同时(即，第一时段)执行注视跟踪。
在实施例中，可以在交替重复执行操作620和操作630的同时执行注视跟踪。也就是说，可以在交替重复执行第一时段和第二时段的同时执行注视跟踪。
接下来，在操作S650中，处理器191可以基于检测到的注视点来在第一时段期间调节焦点可调透镜160的第一焦距。
在实施例中，即使当AR设备100显示虚拟图像时，用户也可以注视另外的点。在这种情况下，处理器191可以通过根据计算出的注视点重新调节虚拟图像的深度并重新调节焦点可调透镜160的第一焦距来诱导用户对虚拟图像感兴趣。
在实施例中，处理器191可以基于检测到的注视点，根据用户的个人特性来更准确地控制焦点可调透镜160的第一焦距。在检测到用户的注视点之前计算出的焦点可调透镜160的第一焦距可以是基于标准眼间距离或眼球的标准尺寸的。然而，适合于虚拟图像的深度的焦点可调透镜160的第一焦距(换句话说，视觉辐辏)可以根据用户的个人特性而变化。也就是说，因为眼间距离或眼球尺寸可以根据用户的个人特性而变化，所以可以基于检测到的注视点来更准确地控制焦点可调透镜160的第一焦距。
图33是示出在具有三个不同深度的AR图像中存在感兴趣深度的情况的视图。图34是用于描述根据实施例的AR设备的操作的流程图。
参考图33，虚拟图像可以包括具有不同深度的第一虚拟图像层1和第二虚拟图像层2。当包括真实场景0的深度时，AR图像包括总共具有三个深度的图像。在这种情况下，将假设在第一虚拟图像层1中存在用户感兴趣的深度来描述本实施例的AR设备的操作。
参考图27和图34，在操作S710中，根据实施例的处理器191基于通过接口192接收到的数据或存储在存储器193中的数据来生成包括虚拟图像的图像数据。包括虚拟图像的图像数据可以是通过在时间上交替用于输出第一虚拟图像层1和第二虚拟图像层2的第一时段和用于不输出虚拟图像的第二时段而被时间划分的图像数据。第一时段包括第一虚拟时段和第二虚拟时段。在第一虚拟时段期间，输出第一虚拟图像层1。在第二虚拟时段期间，输出第二虚拟图像层2。
在操作S720中，在第一虚拟时段期间，处理器191控制光学引擎120输出第一虚拟图像层1的光Lv，控制偏振转换器150开启，使得真实场景的光Lo不到达焦点可调透镜160，并且控制焦点可调透镜160开启以具有第一焦距。处理器191可以根据第一虚拟图像层的深度来控制焦点可调透镜160具有第一焦距。
在操作S730中，在第一虚拟时段之后的第二虚拟时段期间，处理器191控制光学引擎120输出第二虚拟图像层2的光Lv，控制偏振转换器150开启，使得真实场景的光Lo不到达焦点可调透镜160，并且控制焦点可调透镜160开启以具有第二焦距。处理器191可以根据第二虚拟图像层的深度来控制焦点可调透镜160具有第二焦距。
第二时段在第二虚拟时段之后。在操作S740中，在第二时段期间，处理器191控制光学引擎120不输出虚拟图像的光Lv，控制偏振转换器150关闭，使得真实场景的光Lo到达焦点可调透镜160，并且控制焦点可调透镜160关闭以具有第三焦距。第三焦距可以是例如无限焦距(即，当焦点可调透镜160没有屈光力时)，但是本公开不限于此。
接下来，在操作S750中，处理器191通过控制眼睛跟踪器570来检测用户的注视点。如参考图29至图31所述的，左眼跟踪器570L可以检测关于用户左眼的水平和垂直旋转角度的信息，右眼跟踪器570R可以检测关于用户右眼的水平和垂直旋转角度的信息，并且处理器191可以基于检测到的信息来计算用户的注视点。
在实施例中，可以在执行显示第一虚拟图像层和第二虚拟图像层的操作S720和S730的同时(即，第一虚拟时段和第二虚拟时段)执行注视跟踪。
在实施例中，可以在交替重复执行操作S720至S740的同时执行注视跟踪。也就是说，可以在交替重复执行第一虚拟时段和第二虚拟时段以及第二时段的同时执行注视跟踪。
在操作S760中，处理器191基于检测到的注视点来检测或确定感兴趣深度。例如，感兴趣深度的虚拟图像可以是第一虚拟图像层1。这样，当感兴趣深度的虚拟图像被确定时，生成用感兴趣深度加权的图像数据。
图35是用于描述根据实施例的显示具有三个不同深度的AR图像而不反映感兴趣深度的情况的图。在图35中，0表示用于示出真实场景的第二时段，1表示用于示出第一虚拟图像层的第一虚拟时段，2表示用于示出第二虚拟图像层的第二虚拟时段。图35所示的AR图像在一个周期期间对于每个深度具有相同的频率数。
图36是用于描述根据实施例的显示反映三个不同深度中的感兴趣深度的AR图像的情况的图。参考图36，用于示出第一虚拟图像层的第一虚拟时段1的频率数可以在一个周期期间被加权。例如，在一个周期期间，用于示出感兴趣深度的图像(即，第一虚拟图像层)的第一虚拟时段1具有频率数2，并且用于示出第二虚拟图像层的第二虚拟时段2和第二时段0中的每一个都具有频率数1。因此，AR设备100可以使用户能够更清楚地看到感兴趣深度的虚拟图像，例如第一虚拟层1。
图37是用于描述根据实施例的显示反映三个不同深度中的感兴趣深度的AR图像的情况的图。参考图37，例如，当左眼和右眼在一个周期期间被组合时，第二时段0具有频率数1，第一虚拟时段1具有频率数2，而第二虚拟时段2具有频率数1。左眼图像的深度和右眼图像的深度可以彼此不同，并且一个周期中的图像顺序可以不同于下一个周期中的图像顺序。
图38是示出在具有六个不同深度的AR图像中存在感兴趣深度的情况的视图。图39是用于描述根据实施例的显示具有六个不同深度的AR图像而不反映感兴趣深度的情况的图。图40是用于描述根据实施例的显示反映六个不同深度中的感兴趣深度的AR图像的情况的图。
参考图38，虚拟图像可以有具有不同深度的第一虚拟图像层至第五虚拟图像层1、2、3、4和5。当包括真实场景0的深度时，AR图像包括总共具有六个深度的图像。在这种情况下，将假设在第二虚拟图像层2中存在用户感兴趣的深度来描述本实施例的AR设备的操作。
参考图27和图39，根据实施例的处理器191基于通过接口192接收到的数据或存储在存储器193中的数据来生成图像数据，其中第一虚拟图像层至第五虚拟图像层1、2、3、4和5以及真实场景0(即，光学引擎120不输出虚拟图像的时段)顺序地重复。此外，处理器191可以控制光学引擎120和光学组件130，因此用户可以顺序地看到第一虚拟图像层至第五虚拟图像层1、2、3、4和5以及真实场景0。在一个周期中，第一虚拟图像层至第五虚拟图像层1、2、3、4和5与真实场景0具有相同的频率数。
处理器191通过控制眼睛跟踪器570来检测用户的注视点，然后基于检测到的注视点来生成反映感兴趣深度的图像数据。
参考图40，例如，用于示出第二虚拟图像层的第二虚拟时段2的频率数可以被加权为最高。此外，可以对用于示出靠近第二虚拟图像层的第一虚拟图像层和第三虚拟图像层的第一虚拟时段1和第三虚拟时段3中的每一个的频率数进行加权。例如，在一个周期期间，用于示出感兴趣深度的图像(即，第二虚拟图像层)的第二虚拟时段2具有频率数3，用于示出靠近第二虚拟图像层的第一虚拟图像层和第三虚拟图像层的第一虚拟时段1和第三虚拟时段3具有频率数2，而用于示出第四虚拟图像层和第五虚拟图像层的第四虚拟时段4和第五虚拟时段5以及第二时段0具有频率数1。因此，AR设备100可以使用户能够更清楚地看到靠近感兴趣深度的虚拟图像。
图41是用于描述根据实施例的显示反映六个不同深度中的感兴趣深度的AR图像的情况的图。参考图41，例如，当左眼和右眼在一个周期期间被组合时，第二时段0具有频率数1，第一虚拟时段1和第三虚拟时段3具有频率数2，第二虚拟时段2具有频率数3，而第四虚拟时段4和第五虚拟时段5具有频率数1。左眼图像的深度和右眼图像的深度可以彼此不同。在这种情况下，处理器191根据左眼图像的深度来控制左眼焦点可调透镜160L的焦距，并且根据右眼图像的深度来控制右眼焦点可调透镜160R的焦距。一个周期中的图像顺序可以不同于下一个周期中的图像顺序。尽管在图40的实施例中一个周期中包括10个图像帧，但是在图41的实施例中一个周期中可以包括5个图像帧。
图42是示出根据实施例的眼睛跟踪器570的视图。参考图42，眼睛跟踪器570可以包括多个光源871a、871b和871c，以及一个或多个图像传感器875。光源871a、871b和871c可以是红外LED(IR LED)，并且可以位于不同的位置。例如，光源871a、871b和871c可以位于框架111上。当拍摄用户的眼睛时，光源871a、871b和871c可以时间上顺序地向用户的眼球E提供光(例如，红外光)。向用户眼球E提供光，可以生成从用户眼球E反射的光。
图像传感器875可以是IR图像传感器。因为光源871a、871b和871c的位置彼此不同，所以反射光在由图像传感器875捕获到的用户眼睛的图像中的位置可能彼此不同，因此AR设备可以通过使用反射光的位置信息来跟踪用户眼睛的注视。例如，眼睛跟踪器570可以通过检测反射光在用户眼球E的图像中形成在瞳孔上的光斑来获得用户眼球E在水平和垂直方向上的旋转方向信息(即，注视角度信息)，并且可以基于该旋转方向信息来获得注视方向信息。
在AR设备100中使用的图27的眼睛跟踪器不限于图28或图42的眼睛跟踪器，并且可以使用适当的眼睛跟踪器。
图43是根据实施例的AR设备100的框图。参考图43，本实施例的AR设备100包括光学引擎120、偏振转换器150、焦点可调透镜160、处理器191、接口192、存储器193、眼睛跟踪器570、相机910和深度传感器920。可以使用3D相机来代替相机910和深度传感器920。
本实施例的AR设备与上述AR设备基本相同，因此，上述关于各种实施例的描述在此同样适用。
相机910可以通过拍摄用户看到的物理环境或空间来获得视频和/或静止图像。相机910可以将获得的视频数据和/或静止图像数据发送到处理器191。在实施例中，相机910可以可视地监视用户的周围空间。在实施例中，相机910可以执行由处理器191驱动的应用中一个或多个控制或操作、或者可以捕获由用户以及周围空间中的真实世界对象执行的手势或移动来操作应用中的特征。
深度传感器920可以是测量由用户看到的真实世界对象的深度值的相机。深度传感器920可以扫描物理空间或环境，可以根据真实世界对象的3D位置坐标值来测量位于物理空间或环境中的真实世界对象的深度值，并且可以通过根据每个3D位置坐标值定位所测量的深度值来生成深度图。深度传感器920可以将生成的深度图信息存储在存储器193或单独的存储装置中。
在实施例中，深度传感器920可以获得包括真实世界对象的深度值的深度图像。深度图像可以包括所拍摄的场景的2D像素区域，并且该2D像素区域中的每个像素可以指示深度值，诸如通过使用深度传感器920以厘米(cm)、毫米(mm)等拍摄的场景中的真实世界对象的距离。
深度传感器920可以通过使用例如立体类型(stereo-type)方法、飞行时间(time-of-flight，ToF)和结构化图案之一来测量3D深度值。在实施例中，深度传感器920可以包括可以用于捕获真实世界对象的深度图像的RGB相机、立体相机、红外光组件和3D相机。
图44是示出显示具有与真实世界对象752相匹配的深度的虚拟对象750(例如，虚拟图像)的情况的视图。参考图43和图44，深度传感器920可以将包括真实世界对象的深度值的深度图像发送到处理器191、或者可以将深度图像存储在存储器193或单独的存储装置中。在实施例中，处理器191可以从深度传感器920获得深度图像、或者可以通过加载先前存储在存储器193或单独的存储装置中的深度图来获得真实世界对象的深度值，并且可以基于所获得的深度值来改变虚拟对象(例如，虚拟图像)的深度。如在本公开的上述实施例中，当虚拟对象(例如，虚拟图像)的深度改变时，可以在第一时段期间根据改变的深度来重新调节焦点可调透镜160的焦距，从而将包括虚拟对象的虚拟图像的深度与真实世界对象的位置相匹配。
尽管AR设备100是眼镜型设备，但是本领域普通技术人员将会理解，AR设备100可以具体体现为或包括在头戴式显示装置或AR头盔中。
根据本公开的AR设备100可以被实现为硬件元件、软件元件和/或硬件元件和软件元件的组合。例如，根据本公开的实施例的AR设备100可以通过使用处理器、算术逻辑单元(ALU)、ASIC、DSP、DSPD、PLD、微型计算机、微处理器或一个或多个通用计算机或专用计算机来实现，诸如能够执行和响应指令的设备。
软件可以包括计算机程序、代码、指令或其一个或多个的组合，并且可以将处理设备配置为根据需要操作、或者可以单独地或共同地命令处理设备。
软件可以以包括存储在计算机可读存储介质上的指令的计算机程序来实现。计算机可读存储介质可以包括磁存储介质(例如，只读存储器(ROM)、随机访问存储器(RAM)、软盘、硬盘等)和光学读取介质(例如，紧凑盘只读存储器(CD-ROM)、数字多功能盘等(DVD)等)。计算机可读记录介质可以分布在经由网络连接的计算机系统中，并且可以以分布式方式存储和执行计算机可读代码。介质可以是计算机可读的，可以存储在存储器中，并且可以由处理器执行的。
计算机可以是被配置为调用存储在存储介质中的指令并响应于被调用的指令来执行根据本公开的实施例的操作的设备，并且可以包括根据本公开的实施例的AR设备100。
计算机可读存储介质可以作为非暂时性存储介质来提供。这里，“非暂时性”意味着存储介质不包括信号并且是有形的，但是不区分数据是半永久地还是临时地存储在存储介质上。
此外，根据本公开的实施例的AR设备100或操作AR设备100的方法可以在计算机程序产品中提供。计算机程序产品是可以作为产品在卖方和买方之间交易的产品。
计算机程序产品可以包括软件程序和其中存储软件程序的计算机可读存储介质。例如，计算机程序产品可以包括作为通过电子市场(例如，谷歌Play商店或苹果商店)的软件程序或AR设备100的制造商电子分发的产品(例如，可下载的应用程序)。对于电子分发，软件程序的至少一部分可以存储在存储介质中或者可以临时生成。在这种情况下，存储介质可以是制造商的服务器、电子市场的服务器或者临时存储软件程序的中继服务器的存储介质。
在包括服务器和终端(例如，AR设备)的系统中，计算机程序产品可以包括服务器的存储介质或终端的存储介质。可替代地，当存在与服务器或终端通信的第三设备(例如，智能手机)时，计算机程序产品可以包括该第三设备的存储介质。可替代地，计算机程序产品可以包括从服务器发送到终端或第三设备或者从第三设备发送到终端的软件程序本身。
在这种情况下，服务器、终端和第三设备之一可以通过执行计算机程序产品来执行根据本公开的实施例的方法。可替代地，服务器、终端和第三设备中的至少两个可以通过执行计算机程序产品、以分布式方式来执行根据本公开的实施例的方法。
例如，服务器(例如，云服务器或人工智能(AI)服务器)可以执行存储在服务器中的计算机程序产品，并且控制与服务器通信的终端执行根据本公开的实施例的方法。
作为另一个示例，第三设备可以执行计算机程序产品并控制与第三设备通信的终端来执行根据本公开的实施例的方法。
当第三设备执行计算机程序产品时，第三设备可以从服务器下载计算机程序产品并执行下载的计算机程序产品。可替代地，第三设备可以执行自由加载的计算机程序产品，并执行根据本公开的实施例的方法。
根据本公开，显示AR的电子设备和方法可以减轻眼睛疲劳。
根据本公开，显示AR的电子设备和方法可以通过跟踪用户的注视来提供响应于用户感兴趣的区域的虚拟图像。
尽管已经参考附图具体示出和描述了本公开的实施例，但是提供实施例是为了说明的目的，并且本领域普通技术人员将理解，可以根据本公开做出各种修改和等同的其他实施例。因此，本公开的真实技术范围由所附权利要求的技术精神来限定。

Claims (15)

1.一种用于显示增强现实的电子设备，所述电子设备包括：
光学引擎，被配置为输出虚拟图像的光；
第一偏振器，位于真实场景的光路中；
偏振转换器，被配置为保持或转换光的偏振方向；
波导，虚拟图像的光从所述波导输出，并且真实场景的光透射通过所述波导；
焦点可调透镜，被配置为针对从所述波导输出的虚拟图像的光调节焦距；
第二偏振器，位于所述波导和所述焦点可调透镜之间或所述偏振转换器和所述波导之间；以及
一个或多个处理器，被配置为：
在第一时段期间，控制所述偏振转换器转换已经穿过所述第一偏振器的真实场景的第一光的偏振方向，使得真实场景的第一光的至少一部分被所述第二偏振器阻挡，以及
在第二时段期间，控制所述偏振转换器保持已经穿过所述第一偏振器的真实场景的第二光的偏振方向，使得从所述第一偏振器输出的真实场景的第二光透射通过所述第二偏振器。
2.根据权利要求1所述的电子设备，其中，所述一个或多个处理器还被配置为：在第一时段期间，控制所述焦点可调透镜具有针对虚拟图像的光的第一焦距，并且在第二时段期间，控制所述焦点可调透镜具有第二焦距，
其中，所述第二焦距不同于所述第一焦距，并且
其中，所述第一焦距是用于将虚拟图像的图像平面移动到虚拟图像的深度的位置的焦距。
3.根据权利要求2所述的电子设备，其中，所述第二焦距是无限的。
4.根据权利要求2所述的电子设备，其中，所述第二焦距是用于校正用户视觉的焦距。
5.根据权利要求1所述的电子设备，其中，所述第一时段和所述第二时段交替。
6.根据权利要求1所述的电子设备，其中，所述一个或多个处理器还被配置为：在第一时段期间，控制所述光学引擎通过时间划分来分别输出具有不同深度的多个虚拟图像层的光，并且根据与所述多个虚拟图像层的不同深度相对应的不同的第一焦距来控制所述焦点可调透镜。
7.根据权利要求1所述的电子设备，还包括眼睛跟踪器，所述眼睛跟踪器被配置为跟踪用户的注视。
8.根据权利要求7所述的电子设备，其中，所述一个或多个处理器还被配置为：在第一时段期间，生成虚拟图像，使得所述虚拟图像具有其注视被所述眼睛跟踪器跟踪到的用户的注视点的深度。
9.根据权利要求7所述的电子设备，其中，所述一个或多个处理器还被配置为：在第一时段期间，分别生成具有不同深度的多个虚拟图像层，
其中，在所述多个虚拟图像层中，具有更靠近其注视被所述眼睛跟踪器跟踪到的用户的注视点的深度的第一虚拟图像层的频率大于具有更远离所述用户的注视点的深度的第二虚拟图像层的频率。
10.根据权利要求1所述的电子设备，其中，所述焦点可调透镜包括液晶透镜、液体透镜或可移动透镜之一。
11.一种用于显示增强现实的方法，所述方法包括：
在第一时段期间：
从波导向焦点可调透镜输出虚拟图像的光，以及
控制所述焦点可调透镜具有第一焦距；以及
在第二时段期间：
不向所述波导提供虚拟图像的光，并且通过所述焦点可调透镜透射真实场景的光，以及
控制所述焦点可调透镜具有不同于所述第一焦距的第二焦距。
12.根据权利要求11所述的方法，其中，在第一时段期间，从波导向焦点可调透镜输出虚拟图像的光包括：向所述焦点可调透镜分别输出具有不同深度的多个虚拟图像层，
其中，在第一时段期间，控制所述焦点可调透镜具有第一焦距包括：根据与所述多个虚拟图像层的不同深度相对应的不同的第一焦距来控制所述焦点可调透镜。
13.根据权利要求11所述的方法，还包括：
通过眼睛跟踪器来获得用户的注视信息；以及
基于由所述眼睛跟踪器获得的用户的注视信息来获得用户的注视点。
14.根据权利要求11所述的方法，其中，在第一时段期间，生成虚拟图像，使得所述虚拟图像具有用户的注视点的深度。
15.根据权利要求11所述的方法，还包括：在第一时段期间，分别生成具有不同深度的多个虚拟图像层，
其中，具有更靠近用户的注视点的深度的第一虚拟图像层的频率大于具有更远离所述用户的注视点的深度的第二虚拟图像层的频率。
CN202080038897.0A 2019-07-04 2020-06-26 用于显示增强现实的电子设备和方法 Pending CN113892050A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962870704P 2019-07-04 2019-07-04
US62/870,704 2019-07-04
KR1020190129992A KR20210004776A (ko) 2019-07-04 2019-10-18 증강 현실을 디스플레이하는 장치 및 방법
KR10-2019-0129992 2019-10-18
PCT/KR2020/008402 WO2021002641A1 (en) 2019-07-04 2020-06-26 Electronic device and method for displaying augmented reality

Publications (1)

Publication Number Publication Date
CN113892050A true CN113892050A (zh) 2022-01-04

Family

ID=74065451

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080038897.0A Pending CN113892050A (zh) 2019-07-04 2020-06-26 用于显示增强现实的电子设备和方法

Country Status (3)

Country Link
US (2) US11061238B2 (zh)
CN (1) CN113892050A (zh)
WO (1) WO2021002641A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024037622A1 (zh) * 2022-08-18 2024-02-22 北京字跳网络技术有限公司 Ar头戴式显示设备、控制方法及控制装置

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111566723A (zh) 2017-10-26 2020-08-21 奇跃公司 用于增强现实显示器的宽带自适应透镜组件
US11170565B2 (en) 2018-08-31 2021-11-09 Magic Leap, Inc. Spatially-resolved dynamic dimming for augmented reality device
US11822083B2 (en) * 2019-08-13 2023-11-21 Apple Inc. Display system with time interleaving
EP4100782A4 (en) * 2020-02-06 2024-03-06 Valve Corp VARIABLE OPTICAL CORRECTION USING SPATIAL VARIATION POLARIZERS
JP2023539962A (ja) 2020-08-14 2023-09-21 ヒーズ アイピー ホールディングス エルエルシー リアルタイム画像上に仮想画像を重ね合わせるためのシステムおよび方法
WO2022051688A1 (en) 2020-09-03 2022-03-10 Hes Ip Holdings, Llc Systems and methods for improving binocular vision
JP2023543958A (ja) 2020-09-30 2023-10-19 ヒーズ アイピー ホールディングス エルエルシー 仮想現実機器および拡張現実機器用の仮想画像表示システム
CN113393516B (zh) * 2021-06-17 2022-05-24 贝壳找房(北京)科技有限公司 用于打散ar场景中的虚拟物体的方法和装置
CN113759554B (zh) * 2021-09-13 2023-10-10 京东方科技集团股份有限公司 投影显示系统、方法及存储介质
JP2023087539A (ja) * 2021-12-13 2023-06-23 トヨタ自動車株式会社 Ａｒグラス
US20230204958A1 (en) * 2021-12-28 2023-06-29 David Fliszar Eyewear electronic tinting lens with integrated waveguide

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101114055A (zh) * 2007-08-30 2008-01-30 北京超多维科技有限公司 2d-3d可转换自动立体显示装置
CN105793763A (zh) * 2013-11-19 2016-07-20 3M创新有限公司 具有调节组合图像亮度比的液晶模块的透明头戴式显示器
EP3163379A1 (en) * 2015-10-28 2017-05-03 Samsung Electronics Co., Ltd. See-through holographic display apparatus
US20170160518A1 (en) * 2015-12-08 2017-06-08 Oculus Vr, Llc Focus adjusting virtual reality headset
CN207625713U (zh) * 2017-12-25 2018-07-17 广东虚拟现实科技有限公司 视觉显示系统以及头戴显示装置
US20180356639A1 (en) * 2017-06-12 2018-12-13 Magic Leap, Inc. Augmented reality display having multi-element adaptive lens for changing depth planes
CN109313341A (zh) * 2016-04-08 2019-02-05 奇跃公司 具有可变焦透镜元件的增强现实系统和方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US1069012A (en) 1910-07-11 1913-07-29 George L Wertman Toy school-room.
US6619799B1 (en) 1999-07-02 2003-09-16 E-Vision, Llc Optical lens system with electro-active lens having alterably different focal lengths
JP4057597B2 (ja) 2004-08-26 2008-03-05 独立行政法人科学技術振興機構 光学素子
US10156722B2 (en) * 2010-12-24 2018-12-18 Magic Leap, Inc. Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
WO2017158486A1 (en) 2016-03-16 2017-09-21 Optica Amuka (A.A.) Ltd. Polarization-insensitive phase modulator
US11126040B2 (en) 2012-09-30 2021-09-21 Optica Amuka (A.A.) Ltd. Electrically-tunable lenses and lens systems
EP3483648A1 (en) 2012-09-30 2019-05-15 Optica Amuka (A.A.) Ltd. Lenses with electrically-tunable power and alignment
US10466391B2 (en) 2014-06-05 2019-11-05 Optica Amuka (A.A.) Ltd. Control of dynamic lenses
US9651786B1 (en) * 2015-05-05 2017-05-16 SA Photonics, Inc. Systems and methods for augmented reality devices with light security
KR20160147636A (ko) 2015-06-15 2016-12-23 삼성전자주식회사 헤드 마운티드 디스플레이 장치
US9927614B2 (en) 2015-12-29 2018-03-27 Microsoft Technology Licensing, Llc Augmented reality display system with variable focus
WO2017182906A1 (en) 2016-04-17 2017-10-26 Optica Amuka (A.A.) Ltd. Liquid crystal lens with enhanced electrical drive
WO2017216716A1 (en) 2016-06-16 2017-12-21 Optica Amuka (A.A.) Ltd. Tunable lenses for spectacles
KR20180034116A (ko) * 2016-09-27 2018-04-04 삼성전자주식회사 증강 현실 영상을 제공하는 방법, 디바이스 및 기록매체
US20190246889A1 (en) 2016-10-28 2019-08-15 Essilor International Method of determining an eye parameter of a user of a display device
US10274732B2 (en) 2016-11-04 2019-04-30 Microsoft Technology Licensing, Llc Hologram focus accommodation
KR101868405B1 (ko) 2016-12-30 2018-06-20 한국과학기술연구원 증강현실 및 가상현실 전환 가능한 디스플레이 장치
US10108014B2 (en) * 2017-01-10 2018-10-23 Microsoft Technology Licensing, Llc Waveguide display with multiple focal depths
KR102598145B1 (ko) * 2017-04-05 2023-11-06 코닝 인코포레이티드 액체 렌즈 피드백 및 제어
CN107422484B (zh) 2017-09-19 2023-07-28 歌尔光学科技有限公司 棱镜式ar显示装置
CN111566723A (zh) * 2017-10-26 2020-08-21 奇跃公司 用于增强现实显示器的宽带自适应透镜组件
CN107894666B (zh) 2017-10-27 2021-01-08 杭州光粒科技有限公司 一种头戴式多深度立体图像显示系统及显示方法
EP3908876A4 (en) 2019-01-11 2022-03-09 Magic Leap, Inc. TIME MULTIPLEXED DISPLAY OF VIRTUAL CONTENT AT VARIOUS DEPTHS

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101114055A (zh) * 2007-08-30 2008-01-30 北京超多维科技有限公司 2d-3d可转换自动立体显示装置
CN105793763A (zh) * 2013-11-19 2016-07-20 3M创新有限公司 具有调节组合图像亮度比的液晶模块的透明头戴式显示器
EP3163379A1 (en) * 2015-10-28 2017-05-03 Samsung Electronics Co., Ltd. See-through holographic display apparatus
US20170160518A1 (en) * 2015-12-08 2017-06-08 Oculus Vr, Llc Focus adjusting virtual reality headset
CN109313341A (zh) * 2016-04-08 2019-02-05 奇跃公司 具有可变焦透镜元件的增强现实系统和方法
US20180356639A1 (en) * 2017-06-12 2018-12-13 Magic Leap, Inc. Augmented reality display having multi-element adaptive lens for changing depth planes
CN207625713U (zh) * 2017-12-25 2018-07-17 广东虚拟现实科技有限公司 视觉显示系统以及头戴显示装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024037622A1 (zh) * 2022-08-18 2024-02-22 北京字跳网络技术有限公司 Ar头戴式显示设备、控制方法及控制装置

Also Published As

Publication number Publication date
US20210003848A1 (en) 2021-01-07
US11061238B2 (en) 2021-07-13
WO2021002641A1 (en) 2021-01-07
US11256098B2 (en) 2022-02-22
US20210286184A1 (en) 2021-09-16

Similar Documents

Publication Publication Date Title
US11256098B2 (en) Electronic device and method for displaying augmented reality
KR20210004776A (ko) 증강 현실을 디스플레이하는 장치 및 방법
EP3330771B1 (en) Display apparatus and method of displaying using focus and context displays
US11815655B2 (en) Augmented reality device for adjusting focus region according to direction of user's view and operating method of the same
EP3330772B1 (en) Display apparatus and method of displaying using projectors
KR101844883B1 (ko) 관심 객체의 임의의 깊이에 있는 동일한 평면으로 시각적 조절과 시각적 수렴을 결합시키는 장치, 방법 및 시스템
US8780014B2 (en) Switchable head-mounted display
JP6433914B2 (ja) 裸眼立体拡張現実ディスプレイ
CN113711107A (zh) 根据用户的视线方向调整聚焦区域的增强现实设备及其操作方法
US10282912B1 (en) Systems and methods to provide an interactive space over an expanded field-of-view with focal distance tuning
US11579511B2 (en) Multifocal system using adaptive lenses
CN113196141B (zh) 使用分段相位剖面液晶透镜的光学系统
CN110850594B (zh) 头戴式可视设备及用于头戴式可视设备的眼球追踪系统
CN113272710A (zh) 通过分色扩展视场
US20230213772A1 (en) Display systems with collection optics for disparity sensing detectors
US20230209032A1 (en) Detection, analysis and correction of disparities in a display system utilizing disparity sensing port
US11924536B2 (en) Augmented reality device including variable focus lenses and operating method thereof
US20230314846A1 (en) Configurable multifunctional display panel
CN109963145B (zh) 视觉显示系统及方法，以及头戴显示装置
US20240094594A1 (en) Gradient-index liquid crystal lens having a plurality of independently-operable driving zones
KR20220170336A (ko) 가변 초점 렌즈를 포함하는 증강 현실 디바이스 및 그 동작 방법
CN109963141B (zh) 视觉显示系统及方法，以及头戴显示装置
KR20210150250A (ko) 증강 현실을 디스플레이하는 장치 및 방법
CN117546463A (zh) 包括变焦透镜的增强现实设备及其操作方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination