CN107110479B - 使用声光控制装置的光投影仪 - Google Patents

使用声光控制装置的光投影仪 Download PDF

Info

Publication number
CN107110479B
CN107110479B CN201580071408.0A CN201580071408A CN107110479B CN 107110479 B CN107110479 B CN 107110479B CN 201580071408 A CN201580071408 A CN 201580071408A CN 107110479 B CN107110479 B CN 107110479B
Authority
CN
China
Prior art keywords
acousto
image light
light
surface acoustic
frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580071408.0A
Other languages
English (en)
Other versions
CN107110479A (zh
Inventor
J·A·格拉塔
H·韦尔奇
M·侯赛因
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Priority to CN202110360187.6A priority Critical patent/CN113163180B/zh
Publication of CN107110479A publication Critical patent/CN107110479A/zh
Application granted granted Critical
Publication of CN107110479B publication Critical patent/CN107110479B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/32—Holograms used as optical elements
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/29—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the position or the direction of light beams, i.e. deflection
    • G02F1/33—Acousto-optical deflection devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/14—Picture reproducers using optical-mechanical scanning means only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/315—Modulator illumination systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/001—Constructional or mechanical details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/002—Eyestrain reduction by processing stereoscopic signals or controlling stereoscopic devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/008—Aspects relating to glasses for viewing stereoscopic images

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Nonlinear Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Optical Modulation, Optical Deflection, Nonlinear Optics, Optical Demodulation, Optical Logic Elements (AREA)
  • Diffracting Gratings Or Hologram Optical Elements (AREA)
  • Projection Apparatus (AREA)
  • Overhead Projectors And Projection Screens (AREA)

Abstract

用于投射光的方法可以使用声光深度开关来实现，所述声光深度开关使用沿着基板产生的表面声波来将图像光引导到不同的区域。表面声波可以使用换能器在基板上生成。不同频率的表面声波可以将图像光引导到不同物理位置处的不同光学元件上。光学元件可以被配置成显示在与观看者不同的距离处的图像中的对象。

Description

使用声光控制装置的光投影仪
背景技术
现代计算和显示技术促进了所谓的“虚拟现实”或“增强现实”体验的系统的发展，其中将数字再现的图像或其部分呈现给用户并且可以被感知为真实的。虚拟现实(“VR”)场景通常涉及数字或虚拟图像信息的呈现，而对其它实际的真实世界视觉输入不透明。增强现实(“AR”)场景通常涉及将数字或虚拟图像信息呈现为对用户周围的实际世界的可视化的增强。例如，参考图1，描绘了增强现实场景100，其中AR技术装置的用户看到以在背景中的人、树、建筑物以及实体平台104为特征的现实世界公园式的设置102。除了这些项目之外，AR技术的用户也感知到，他/她“看到”站在现实世界平台104上的机器人雕像106，以及正在飞行的卡通式虚拟角色，即使这些元素(106，108)在现实世界中不存在。事实证明，人类视觉感知系统是非常复杂的，并且产生促进虚拟图像元素在其它虚拟或现实世界图像元素中的舒适的、感觉自然的、丰富的呈现的VR或AR技术具有挑战性。
参考图2，已经开发了立体可穿戴眼镜200式配置，其通常具有两个显示器(例如，202，204)，该两个显示器被配置为显示具有稍微不同的元素呈现的图像，使得人类视觉系统感知到三维透视。已经发现这种配置由于聚散和调节(vergence and accommodation)之间的不匹配令很多用户不舒服，必须克服该不匹配以在三维中感知图像。实际上，一些用户不能容忍立体配置。
参考图3，描绘了人眼300的简化截面图，其具有角膜302、虹膜304、晶状体(lens)或“晶状体(crystalline lens)”306、巩膜308、脉络膜层310、黄斑312、视网膜314和通向大脑的视神经通路316。黄斑是视网膜的中心，用于观察适度的细节。在黄斑的中心是“小窝”，用于观察最细微的细节。小窝包含比视网膜的任何其它部分更多的感光体(每视觉度约120个视锥)。
人类视觉系统不是被动传感器类型的系统。它被配置为主动扫描环境。以某种类似于使用平板扫描仪扫描图像或者使用手指从纸上读取盲文的方式，眼睛的感光体响应于刺激的变化而激发，而不是持续地响应刺激的恒定状态。实际上，采用用于麻痹眼睛肌肉的诸如眼镜蛇毒的物质的实验已经表明，如果在他/她的眼睛是睁开的情况下定位，在眼睛的毒液诱导麻痹的下观看静态场景，则人类受试者将会经历失明。换句话说，在没有刺激变化的情况下，感光体不对大脑提供输入，并且经历失明。据信，至少有一个原因是正常人的眼睛已经被观察到在所谓的“微跳动”中的一侧到另一侧的运动中来回移动、或者抖动。如上所述，视网膜的小窝包含最大密度的感光体，并且即使人类通常认为他们具有在整个视野中具有高分辨率可视化能力，但是他们通常实际上只有小的高分辨率中心，他们正在四处大量机械扫掠，伴随由小窝最近捕获的高分辨率信息的持久记忆。以某种类似的方式，眼睛的焦距控制机制(睫状肌以如下方式可操作地耦合到晶状体，其中睫状肌松弛导致紧绷的睫状体肌结缔纤维将晶状体变平，用于更远的焦距；睫状肌收缩导致睫状肌结缔纤维放松，其允许晶状体呈现更圆的几何形状，用于更近焦距)以大约1/4至1/2的屈光度来回抖动，以在目标焦距的近端和远端周期性地诱导少量的所谓“屈光模糊”。这被大脑的适应控制回路用作周期性的负反馈，其有助于不断校正过程并且保持注视对象的视网膜图像近视聚焦。
大脑的可视化中心同样根据眼睛和其组件相对于彼此的运动来获得有价值的感知信息。两只眼睛相对于彼此的聚散运动(即，瞳孔朝向或远离彼此的滚动运动，以汇聚眼睛视线来注视到对象上)与眼睛的晶状体的聚焦(或“调节”)紧密相关。在正常情况下，为了聚焦在不同距离处的对象而改变眼睛的晶状体的焦点，或者调节眼睛，将在已知的“调节-聚散反射”关系下自动地引起对相同距离的聚散的匹配变化。同样，在正常情况下，聚散的变化将引起调节的匹配变化。已知与该反射相背的操作(如大多数传统的立体AR或VR配置所做的那样)将在用户中产生眼疲劳、头痛、或其它形式的不适。
容纳眼睛的头部的运动也对对象的可视化具有重要的影响。人类移动他们的头部来使他们周围的世界可视化。他们通常处于相对于感兴趣的对象重定位以及重定向头部的相当固定的状态。此外，当大多数人的眼睛注视需要移动离中心超过20度时，他们喜欢移动他们的头部以聚焦特定的对象(即，人们通常不喜欢“从眼睛的角部”看东西)。人类相对于声音也通常扫描或移动他们的头部-以提高声音信号的捕获并利用与头部相关联的耳朵的几何形状。人类视觉系统从所谓的“头部运动视差”获得强大的深度线索，“头部运动视差”与不同距离处的对象的相对运动有关作为头部运动和眼睛聚散距离的函数(即，如果一个人从一侧到另一侧移动他的头部并保持注视对象，则更远离那个对象的物品将在与头部相同的方向上移动；在那个对象前方的物品将与头部运动相反地移动。这些对于物体在相对于人的环境中在空间上位于哪里是十分显著的线索-或许与立体视觉一样强力)。当然，头部运动也用于环视对象。
此外，头部和眼睛的运动与“前庭眼球反射”协调，“前庭眼球反射”在头部转动期间稳定相对于视网膜的图像信息，因此保持对象图像信息近似居中在视网膜上。响应于头部转动，眼睛在相反的方向上反射地并成比例地转动以保持对对象的稳定注视。这种补偿关系的结果是，许多人可以在前后摇头时读书(有趣的是，如果书以相同的速度前后摇动而头部近似静止时，则通常不是同样的情况-该人不太可能能够阅读移动的书；前庭眼球反射是头部和眼睛运动的协调中的一种，通常不发展于手部的运动)。该范例对于增强现实系统很重要，因为用户的头部运动可相对直接地与眼睛的运动相关联，并且系统将优选地易于通过这种关系来工作。
实际上，考虑到这些各种关系，当放置数字内容时(例如，用于增强房间的真实世界视野而呈现的诸如虚拟枝形吊灯对象的3-D内容，或者用于增强房间的真实世界视野而呈现的诸如平面的/平的虚拟油画对象的2-D内容)，可做出设计选择以控制对象的行为。例如，2D油画对象可以头部为中心，在这种情况下对象围绕着用户的头部移动(例如在
Figure BDA0001334401020000041
方法中)；或者，对象可以世界为中心，在这种情况下，它可以被呈现为仿佛它是真实世界坐标系的一部分，使得用户在不移动对象相对于真实世界的位置的情况下，移动他的头部和眼睛。
因此，当将虚拟内容放置到增强现实世界中时，必须考虑如何呈现内容。例如，在以世界为中心的方案中，虚拟对象停留在在现实世界中的位置，使得用户可以围绕它移动他/她的头部，以从不同的视点观看对象。
在此描述的系统和技术被配置为与典型人类的视觉配置一起工作以解决这些挑战。
发明内容
在一些实施例中，用于投射光的方法可以使用声光深度开关来实现，所述声光深度开关使用沿着基板产生的表面声波来将图像光引导到不同的区域。表面声波可以使用换能器在基板上生成。不同频率的表面声波可以将图像光引导到不同物理位置处的不同光学元件上。光学元件可以被配置为在与观看者不同的距离处显示图像中的对象。在一些实施例中，AR系统用户可佩戴耦合到位于用户眼睛前面的显示系统的框架结构。扬声器可以耦合到框架并且定位成与用户的耳道相邻(在一个实施例中，另一个扬声器可以被定位成与用户的另一个耳道相邻以提供立体声/可塑形声音控制)。根据一些实施例，显示器诸如通过有线引线或无线连接可操作地耦合到本地处理和数据模块，该本地处理和数据模块可以以各种配置来安装，诸如固定地附接到框架。在附加的实施例中，本地处理和数据模块可以固定地附接到头盔或帽子、嵌入在耳机中、以背包式的配置可拆卸地附接到用户的躯干，或者以皮带耦合式的配置可拆卸地附接到用户的臀部。本地处理和数据模块可以包括低功率处理器或控制器，以及诸如闪速存储器的数字存储器，它们二者都可以用于协助以下数据的处理、缓存和存储，该数据：(a)从可以可操作地耦合到框架的传感器捕获，该传感器诸如是图像捕获装置(诸如相机)、麦克风、惯性测量单元、加速度计、指南针、GPS单元、无线电设备和/或陀螺仪；和/或(b)使用远程处理模块和/或远程数据存储库获取和/或处理，可能在这样的处理或检索之后传递显示器。
本地处理和数据模块可以诸如经由有线或无线通信链路可操作地耦合到远程处理模块和远程数据存储库，使得这些远程模块可操作地彼此耦合，并且作为资源可用于本地处理和数据模块。在一些实施例中，远程处理模块可以包括被配置为分析和处理数据和/或图像信息的一个或多个相对强大的处理器或控制器。在一些实施例中，远程数据存储库可以包括相对较大规模的数字数据存储设施，其可以通过因特网或“云”资源配置中的其它网络配置而可获得。在一些实施例中，在本地处理和数据模块中存储所有数据并且执行所有计算，允许来自任何远程模块的完全自主使用。
在一些实施例中，虚拟现实(VR)或增强现实(AR)系统使用堆叠的波导组件(“EDGE”)。EDGE系统可以包括具有存储器、CPU和GPU以及用于图像生成和处理的其它电路的图像生成处理器。图像生成处理器可以采用用于呈现给AR系统用户的所需的虚拟内容进行编程。应当理解，在一些实施例中，图像生成处理器可以容纳在可穿戴AR系统中。在其它实施例中，图像生成处理器和其它电路可以容纳在耦合到可穿戴光学器件的带束包中或其它配置中。由图像生成处理器生成的虚拟内容或信息可以被发送到显示电路。显示电路可以包括接口电路，该接口电路可以与图像生成处理器通信，并且可以进一步与诸如芯片、温度传感器、压电驱动器/换能器、红色激光器、蓝色激光器和绿色激光器的电路交互；以及组合激光器的光纤组合器。尽管激光器这里作为光生成器的示例被讨论，但是其它类型的光生成器(例如，DLP、LCD、LED)同样可以在显示电路中实现。显示电路可以与诸如光纤扫描装置(FSD)的显示器或投影装置交互。通常，FSD是具有被快速振动以产生各种图案来递送图像的一个或多个光纤的显示装置。虽然所讨论的实施例使用FSD作为显示装置，但是本领域普通技术人员可以理解，本领域中已知的其它显示装置(例如DLP、OLED、LCD、LCOS)可以被类似地实现。
在一些实施例中，VR/AR系统然后可以使用耦合光学器件将来自FSD的光引导到衍射光学元件(DOE)组件(例如，衍射光学元件)。根据一些实施例，耦合光学器件可以指可以用于将光聚焦到DOE组件中的不同深度平面的多个透镜。简而言之，根据一些实施例，DOE组件可以是由一个或多个堆叠的具有衍射光栅的平面波导组成的设备，所述衍射光栅使(1)沿着波导的跨度偏转图像光，(2)允许图像光以模拟自然现实世界衍射效应的角度离开波导。每个DOE层可以被定制成特定的聚焦深度，如下面进一步详细描述的。
在现实世界中，光随着其行进而衍射或扩散。因此，从遥远的对象(诸如月亮)反射的光比从更近的对象(诸如距离观看者5米的人)反射的光扩散更多。如上所述，人类视觉系统以至少两种方式来处理来自远处和近处对象的光：(1)通过视线调节(例如聚散运动)以及(2)通过聚焦。例如，当观看在现实世界中的月亮时，眼睛通过会聚每一只眼睛的视线以交叉到月亮所在的位置来调节。除了调节视线之外，每只眼睛都必须将其晶状体系统聚焦以解决光线的扩散。在一些实施例中，DOE组件通过在不同的深度平面中显示近处和远处的对象而与人类调节聚散反射相协调。例如，可以将平面图像(例如，人、树、地面和月亮)分解成三个深度平面DP1、DP2、DP3，以形成深度合成图像。旨在最接近的对象(人)被显示在深度平面1(DP1)中，该深度平面1已被调整为模拟从1米远的对象扩散的光。中间对象(树和地面)被显示在深度平面2(DP2)中，该深度平面2已经被调整为模拟从5米远的对象扩散的光。最后，最远的对象(月亮)被显示在深度平面3(DP3)中，该深度平面3已被调整为模拟从384,400,000米远的对象扩散的光。(384,400,000米是从地球到月亮的近似距离。然而，对于超过一定距离的对象，通常将诸如透镜系统的成像系统简单地调节为光学无限远，从而将入射光线近似为几乎平行的光线)。以这种方式，当注视不同深度平面中的对象时，深度合成图像的观看者必须调节他/她的聚焦和视线会聚，并且不会发生头痛或不适。
在一些实施例中，图像生成处理器可以被实现为将平面图像“分解成”多个深度平面中的多个对象的装置。在其它实施例中，图像序列被存储为单独的深度平面特定图像序列，并且图像处理生成器将预处理的深度平面图像序列发送到准备显示的显示电路。在一些实施例中，DOE可以在它们主动衍射的“开”状态和它们不显著衍射的“关”状态之间切换。例如，可切换的DOE可以包括聚合物分散液晶层，其中微滴在主介质中包含衍射图案，并且可以将微滴的折射率切换成基本上匹配主材料的折射率(在该情况下，图案不会明显地衍射入射光)，或者微滴可以被切换到与主介质的折射率不匹配的折射率(在该情况下，图案主动地衍射入射光)。为了节省资源，诸如电池功率，在一些实施例中，当观看者正在注视深度平面中的对象时，可以优选仅显示特定深度平面的图像信息。例如，如果图像仅由月亮组成，则可以打开DP3，而其它深度平面DP1和DP2关闭。可选地，所有三个深度平面可以被打开并用于以顺序的方式显示对象。例如，FSD可以快速连续地在DP1、DP2、DP3上的投影图像之间快速切换。因为人类视觉系统只能检测到高至一定频率(例如30Hz)的移动/变化，所以观看者将不会感觉到FSD在平面之间切换，而是将感觉到平滑的多深度平面合成图像流。
另外，根据一些实施例，系统同样可以包括眼睛跟踪子系统。在该情况下，眼睛跟踪子系统可以监视观看者的眼睛(例如通过监视眼睛的会聚角度)，以确定观看者是否正在注视远的对象或近的对象。例如，如果系统检测到观看者正在注视月亮，则可以打开DP3，并且关闭和/或减弱DP1和DP2。堆叠配置可以使用动态DOE(而不是静态波导和透镜)来同时提供多平面聚焦。例如，通过三个同时的焦平面，可以向用户呈现主焦平面(例如，基于测量的眼睛调节)，并且可以利用+余量和-余量(一个焦平面更近，另一个更远)以提供大的焦距范围，在该大的焦距范围内，在平面需要更新之前用户可以调节。如果用户切换到更近或更远的焦点(例如通过调节测量所确定的)，则该增加的焦距范围可以提供时间优势。然后，新的焦平面可以作为中间聚焦深度，其中+余量和-余量再次准备好快速切换到任一个，同时系统赶上。
在一些实施例中，可以实现AR/VR系统，用于在大的视场内快速显示多个深度平面中的图像。在那里，除了声光深度开关(ADS)之外，架构类似于架构。ADS可以被耦合以接收来自FSD的光，并将光聚焦到处于不同深度处的不同DOE层上。ADS可以包括逻辑模块和声光(AO)调制器。来自FSD的光输入进入ADS单元并且可以以多个角度偏转(例如衍射、折射)到DOE组件中。每个DOE层或衍射元件对应于深度平面(例如DP1、DP2、DP3)。例如，DOE层可以对应于DP1，并且显示在距离观看者1米的感知距离处的人。类似地，DOE层可以对应于DP2，并且显示在距离观看者5米的感知距离处的植根于地面中的树。最后，DOE层可以对应于DP3，并且显示在384,400,000米远的感知距离处(或在光学无限远处)的月亮。在一些实施例中，每个DOE层实现内耦合(in-coupling)光栅，以沿着深度平面的跨度偏转从ADS接收的图像光。然后，使用第二组衍射光栅图像可以朝向观看者离开DOE层。在一些实施例中，AO调制器通过耦合光学器件接收光，沿着波导引导接收的光，使用换能器来引起沿着基板的表面声波(表面声波改变基板的折射率)，这导致光以与表面声波周期成比例的角度离开基板。特别地，输入光首先通过耦合器(诸如棱镜)与AO调制器交互。耦合器将光引导到基板上的波导中。在一些实施例中，基板包括诸如石英的压电材料或如本领域已知的其它压电透明/半透明材料。在一些实施例中，基板包括同样是压电的(即，响应于压力/应力生成电)铌酸锂薄片。在一些实施例中，铌酸锂基板可以通过施加高电压(例如30伏特)来用作电光开关，以改变材料的折射率并在期望的方向上折射光。然而，通常不期望在人脸附近运行高电压。此外，使用诸如30伏铌酸锂开关的高电压开关在电池功率通常受限的可穿戴计算机视觉系统中不实用。可替代地，在一些实施例中，代替使用基板作为电光开关，AO调制器使用基板作为声光开关。例如，换能器可以被提供有非常低的电压，其使得基板来回摇摆以产生沿着基板表面的波(例如“表面声波”)。表面声波可以具有与由换能器产生的波的频率成比例的特定定义的周期(例如，峰-峰距离)。也就是说，例如，如果换能器接收到60Hz AC，则表面声波的周期近似匹配60Hz(不考虑，例如材料本身中的能量损失，例如滞后)。同样，如果将RF频率功率提供给换能器，则表面声波将近似匹配RF频率。因此，通过改变换能器的频率，可以控制和/或调谐感应表面波的周期。通常，在一些实施例中，逻辑模块可以管理AO调制器以产生所需的频率。例如，逻辑模块可以接收数据流，使换能器能够以一个序列改变频率以将光引导到DOE组件层。在其它实施例中，其它部件(诸如图像处理生成器)管理AO调制器以产生频率序列。表面声波可以改变基板的折射率，并且同样可以作为一种衍射光栅。最初，波导和基板具有两个不同的折射率，使得在波导内部的光发生全内反射。某些基板(诸如铌酸锂)具有响应于电能或物理/机械能(例如应力)而变化的折射率。因此，通过将不同的表面声波施加到铌酸锂基板上，可以改变折射率，以便打破在波导内发生的全内反射，并且从而允许波导内部的光逸出。
此外，给定波长的光偏转出光栅的角度可以与光的波长成比例。在一些实施例中，表面声波用作衍射光栅，该衍射光栅以与光栅宽度(例如，对于表面声波，从峰到峰的距离)成比例的角度将图像光衍射出波导/基板界面。以这种方式，行进通过波导的输入光可以通过折射(由基板的折射率的变化引起)和衍射(由引起与波周期成比例的衍射光栅效应的表面声波引起)来偏转。组合的效应可用于将输入光引导到多个内耦合光栅目标上，诸如内耦合光栅。另外，可以通过简单地将不同的信号(例如，不同的频率)施加到换能器来调节光可从一个目标偏转到下一个目标的速度。以该方式，声光深度开关可以在大的FOV内获得非常高的切换速度。
在一些实施例中，可以实现作为扫描器和开关的声光装置，而不需要FSD和/或耦合光学器件。在操作中，来自显示电路的图像信号被直接输入到AOS中。然后，AOS可以使用如以上所描述的那些的声光方法来调制光和将光偏转到不同的深度平面上。来自显示电路的输入光/图像光可以首先与耦合器交互，该耦合器可以是光学耦合器，诸如棱镜。耦合器将光引导到波导中，该波导使用全内反射来引导基板上的光。AO调制器可以包括两个换能器。垂直换能器产生垂直表面声波，该垂直表面声波使光以不同的角度朝向DOE组件偏转。在一些实施例中，水平换能器可以正交于垂直换能器对准。水平换能器可以被实现以产生水平表面声波。类似于垂直地(相对于AO调制器)偏转输入光的垂直表面声波，水平表面声波同样可以使用诸如布拉格衍射的机制来偏转波导中的光，但是是水平地偏转。因此，如所实现的，AO调制器可以在水平和垂直方向上控制输入光。例如，在DP2中，待显示的图像是植根于地面的树。为了引导光束以水平地扫描图像，水平换能器可以通过控制频率和由此光的水平偏转来调制水平表面声波。同样，为了垂直扫描图像，垂直换能器可以通过控制频率和由此光的垂直偏转来调制垂直表面声波。
在一些实施例中，示出的声光扫描器可以使用在混合AOS单元中的水平AO调制器和垂直AO调制器。水平AO调制器可以包括耦合器、基板、波导和水平换能器(例如，水平换能器)，该水平换能器可以用于产生水平偏转或偏移的光。然后可以将水平偏转的光输入到垂直AO调制器中。垂直AO调制器可以包括耦合器、基板、波导和垂直换能器(例如，垂直换能器)，该垂直换能器产生垂直偏转光的垂直表面声波。因此，代替一个组合的垂直/水平AO调制器，两个调制器是单独的单元，并且每一个调制器可以具有它们自己的基板、耦合器和波导，但是带有正交换能器。垂直/竖直调制器的构造类似于AO调制器。也就是说，它能够在向上/向下方向(相对于调制器)上偏转光。当垂直输入光被输入竖直调制器时，它在垂直方向上偏转以扫描图像，诸如在垂直方向上的图像输出。正交AO调制器可以旋转90度，使得其与竖直调制器正交。以该方式，正交AO调制器偏转水平输入光以在水平方向上扫描图像，而不使用布拉格衍射。虽然这里讨论的正交调制器作为示例，但是本领域普通技术人员认识到，可以类似地实现以不同角度对准的一个或多个AO调制器以实现全图像扫描。例如，在三个AO调制器实施方式中，第一AO调制器可以以0度对准，并且将光输入到以45度(相对于第一AO调制器)取向的第二AO调制器中，第二AO调制器可以将光输入到以90度(相对于第一AO调制器)取向的第三AO调制器中。以该方式，一个或多个中间调制器可以缓慢减少地改变角度，而不是在一个步骤中从0到90度。
在一些实施例中，可优选的是具有一个基板，但是利用其两个正交表面。例如，基板的顶面可以实现第一耦合器、波导和换能器。而基板的侧面上，实现第二耦合器、波导和换能器。在操作中，该实施例的功能类似于竖直和正交调制器，但不需要第二基板和/或AO调制器单元。
在一些实施例中，混合FSD/AOS模块，AOS部件可以与FSD互补使用。在该方法中，FSD以一定分辨率生成待显示的图像，该图像从FSD输入。例如，参考图像输出，FSD通常具有有限的分辨率，并且可以沿着一定间隔的漩涡输出光。在该方法中，混合FSD/AOS部件具有带有水平和垂直调制器的AO调制器，其可以更精细地生成FSD不能作为目标或无法达到的图像点。根据一些实施例，“主要”图像点可以首先由FSD生成(例如沿着FSD漩涡的点)，而辅助/补充图像点然后由AO调制器生成，以便“填充”超出FSD的分辨率的点。
用于使用声光深度开关投射光的方式的方法可以如下实现。首先，诸如激光器、LED或LCD的图像生成器生成包括一系列图像的图像光。该系列图像可以是图像的视频序列，其中该系列中的每一个图像描绘不同距离处的对象。例如，该系列的第一部分可以包括对观看者(例如，佩戴虚拟现实或增强现实耳机的观看者)关闭的第一深度平面中的所有对象。类似地，该系列的其它部分可以包括不同距离处的对象。在示例性实施例中，实现了六个深度平面，每一个深度平面对应于距观看者的六个距离。在一些实施例中，六个深度平面中的第一深度平面对应于三米或更近的距离，并且第六深度平面对应于光学无限远或另外非常大的距离。然后，由光生成器生成的图像光被输入到在一个角度内致动的FSD中。根据一些实施例，FSD用于将光投射到声光深度开关耦合光学器件上。耦合光学器件(诸如棱镜)可以沿着基板将图像光引导到波导上。声光深度开关内的换能器可以以不同的频率振动，以在基板的表面上生成表面声波。如上所述，不同频率的表面声波以不同的角度偏转图像光。然后，换能器可以从逻辑模块接收指令，该逻辑模块指示换能器产生不同频率的SAW以将图像光偏转到不同光学元件上，诸如衍射光学元件。
使用声光深度开关来以不同频率偏转光的投射光的方法可以如下实现。在一些实施例中，图像光可以是到对于不同深度平面的光的部分中的序列。例如，第一前导部分可以包括待显示为最接近观看者的对象。第二部分可以包括待显示的在距观看者的中间距离处的对象。第三部分可以包括待显示的距观看者最远的距离处的对象。在该方法中，逻辑模块可以引导换能器以交替的方式产生不同频率的SAW，以首先使用第一频率将第一部分偏转到第一光学元件，然后使用第二频率将第二部分偏转到第二光学元件，并且然后使用第三频率将第三部分偏转到第三光学元件。尽管这里仅讨论三个深度平面和频率作为示例，但是同样可以实现其它数量的深度平面(例如，六个)和相应的频率。
使用正交取向的换能器在正交方向上投射光的方法可以如下实现。首先，可以使用水平换能器生成水平SAW。水平SAW可以使用布拉格衍射沿水平方向将光偏转或扫掠到光学元件上。接下来，可以使用垂直换能器来生成垂直SAW。垂直SAW可以使用折射和衍射沿着垂直方向将光偏转或扫掠到光学元件上。虽然在上述方法中讨论了具体的步骤排序，但是本领域普通技术人员可以理解，同样可以实现不同的排序。
下面在具体实施方式、附图和权利要求中描述一些实施例的方面、目的和优点的进一步细节。前面一般描述和以下详细描述都是示例性和解释性的，并不意图限制为实施例的范围。
附图说明
附图示出了本发明的一些实施例的设计和实用性。应当注意，附图未按比例绘制，并且在整个附图中，相似结构或功能的元件由相同的附图标记表示。为了更好地了解如何获得本发明的各种实施例的上述和其它优点和目的，将通过参考如在附图中所示的其具体实施例对以上简要描述的本发明的更详细的描述进行说明。应当理解，这些附图仅描绘了本发明的典型实施例，且因此不被认为是对其范围的限制，将通过使用附图采用附加特征和细节来描述和解释本发明，在附图中：
图1示出了根据一些实施例的示例的虚拟或增强现实环境。
图2示出了根据一些实施例的虚拟或增强现实耳机。
图3示出了人眼的组成部分。
图4示出了根据一些实施例的虚拟或增强现实耳机和显示模块。
图5示出了根据一些实施例的用于使用光纤扫描装置的虚拟或增强现实耳机和显示模块的架构。
图6示出了根据一些实施例的作为平面图像的虚拟或增强现实环境的示例。
图7示出了根据一些实施例分割成不同深度平面的图6的虚拟或增强现实环境的示例。
图8示出了根据一些实施例的用于使用光纤扫描装置和声光深度开关的虚拟或增强现实耳机和显示模块的架构。
图9示出了根据一些实施例的声光深度开关和衍射光学组件的内部架构。
图10示出了根据一些实施例的用于使用直接耦合到包括光生成器的显示电路的声光深度开关的虚拟或增强现实耳机和显示模块的架构。
图11示出了根据一些实施例的具有水平和垂直换能器的衍射光学组件和声光深度开关的内部架构。
图12示出了根据一些实施例的衍射光学组件和耦合到垂直取向的声光深度开关的水平取向的声光深度开关的内部架构。
图13示出了根据一些实施例的衍射光学组件和与垂直取向的声光深度开关平行的水平取向的声光深度开关的内部架构。
图14示出了根据一些实施例的衍射光学组件和混合光纤扫描和声光深度开关装置的内部结构。
图15示出了根据一些实施例的衍射光学组件和覆盖光纤扫描装置不能到达的分辨率的声光深度开关的内部架构。
图16A-C示出了根据一些实施例的用于使用声光深度开关来投射光的方法的流程图。
图17示出了示例的系统架构。
具体实施方式
各种实施例涉及用于声光控制装置的方法、系统和计算机程序产品。其它目的、特征和优点在具体实施方式、附图和权利要求中描述。
现在将参考附图详细描述方法、系统和制品的各种实施例，这些附图被提供为说明性示例，以便使本领域技术人员能够实践各种实施例。值得注意的是，下面的附图和示例并不意味着限制本发明的范围。在本发明的某些元件可以使用已知的部件(或方法或过程)部分或完全实现的情况下，将仅描述理解本发明所必需的这些已知部件(或方法或过程)的那些部分，并且将省略对这些已知部件(或方法或过程)的其它部分的详细描述，以便不使本发明变得模糊。此外，本发明包括在此通过说明的方式提及的部件的现在和未来已知的等同物。
图4示出了可以实现声光控制装置的示例系统和操作环境。如图4所示，AR系统用户400被描绘为佩戴耦合到位于用户眼睛前方的显示系统402的框架404结构。扬声器406在描绘的配置中被耦合到框架404并且定位成与用户的耳道相邻(在一个实施例中，未示出的另一扬声器被定位成与用户的另一个耳道相邻以提供立体声/可塑形声音控制)。根据一些实施例，显示器402诸如通过有线引线或无线连接可操作地耦合408到本地处理和数据模块410，该本地处理和数据模块410可以以各种配置来安装，诸如固定地附接到框架404。在附加的实施例中，本地处理和数据模块410可以固定地附接到头盔或帽子、嵌入在耳机中、以背包式配置可拆卸地附接到用户的躯干、或以皮带耦合式配置可拆卸地附接到用户的臀部(未示出)。
本地处理和数据模块410可以包括低功耗处理器或控制器以及诸如闪速存储器的数字存储器，它们二者都可以用于协助以下数据的处理、缓存和存储，该数据：(a)从可以可操作地耦合到框架404的传感器捕获，该传感器诸如是图像捕获装置(诸如相机)、麦克风、惯性测量单元、加速度计、指南针、GPS单元、无线电设备和/或陀螺仪；和/或(b)使用远程处理模块412和/或远程数据存储库414获取和/或处理，可能在这样的处理或检索之后传递到显示器402。
本地处理和数据模块410可以诸如经由有线或无线通信链路可操作地耦合(416，418)到远程处理模块412和远程数据存储库414，使得这些远程模块(412，414)可操作地彼此耦合，并且作为资源可用于本地处理和数据模块410。在一些实施例中，远程处理模块412可以包括一个或多个相对强大的处理器或控制器，其被配置为分析和处理数据和/或图像信息。在一些实施例中，远程数据存储库414可以包括相对较大规模的数字数据存储设施，其可以通过因特网或“云”资源配置中的其它网络配置而可获得。在一些实施例中，在本地处理和数据模块中存储所有数据并且执行所有计算，允许来自任何远程模块的完全自主使用。
图5示出了根据一些实施例的使用堆叠波导组件(“EDGE”)的示例AR系统。EDGE系统500通常包括具有存储器512、CPU 516和GPU514以及用于图像生成和处理的其它电路的图像生成处理器502。图像生成处理器502可以采用用于呈现给AR系统用户的所需的虚拟内容进行编程。应当理解，在一些实施例中，图像生成处理器502可以容纳在可穿戴AR系统中。在其它实施例中，图像生成处理器和其它电路可以容纳在耦合到可穿戴光学器件的带束包中或其它配置中。
由图像生成处理器502生成的虚拟内容或信息可以被发送到显示电路510。显示电路510可以包括接口电路532，该接口电路532可以与图像生成处理器502通信，并且可以进一步与诸如芯片534、温度传感器536、压电驱动器/换能器538、红色激光器540、蓝色激光器542和绿色激光器544的电路交互；以及组合激光器(未示出)的光纤组合器。尽管激光器在这里作为光生成器的示例被示出，但是其它类型的光生成器(例如，DLP、LCD、LED)同样可以在显示电路510中实现。
显示电路510可以与诸如光纤扫描装置(FSD)520的显示器或投影装置交互。通常，FSD 520是具有被快速振动以产生各种图案来递送图像的一个或多个光纤的显示装置。虽然所示实施例使用FSD作为显示装置，但是本领域普通技术人员可以理解，本领域中已知的其它显示装置(例如DLP、OLED、LCD、LCOS)可以被类似地实现。
然后，AR系统可以使用耦合光学器件522将来自FSD的光引导到衍射光学元件(DOE)组件530(例如，衍射光学元件)。根据一些实施例，耦合光学器件522可以指可以用于将光聚焦到DOE组件中的不同深度平面的多个透镜。简而言之，根据一些实施例，DOE组件530是由一个或多个堆叠的带有衍射光栅的平面波导组成的设备，所述衍射光栅使(1)沿着波导的跨度偏转图像光，(2)允许图像光以模拟自然现实世界衍射效应的角度离开波导。每个DOE层可以被定制成特定的聚焦深度，如下面进一步详细描述的。
图6示出了在相同深度平面中示出的具有不同距离的对象的场景的说明性示例。在那里，平面图像600示出了人602、植根于地面606中的树604以及天空中的月亮608。在现实世界中，光会随着其行进而衍射或扩散。因此，从遥远对象(诸如月亮608)反射的光已经比从更近的对象(诸如人602)反射的光扩散更多。如上所述，人类视觉系统以至少两种方式来处理来自远处和近处对象的光：(1)通过视线调节(例如聚散运动)和(2)通过聚焦。例如，当观看在现实世界中的月亮时，眼睛通过会聚每一只眼睛的视线以交叉到月亮所在的位置来调节。同样，如果一个人注视他/她自己的鼻尖，眼睛就会再次调节会聚每一只眼睛的视线以交叉鼻尖所在的位置，并且受试人会向外出现“对视眼”。
除了调节视线之外，每一只眼睛必须将其晶状体系统聚焦以解决光的扩散。例如，如果来自月亮的光未被聚焦，则从遥远的月亮608反射的光可能会比从人602反射的光显得更“模糊”。因此，为了观看月亮，每一只眼睛通过平坦化其晶状体来聚焦晶状体，以折射月光越来越少，其最终将使月亮成为焦点。同样，为了观察人，每一只眼睛通过使晶状体更加圆来聚焦其晶状体，以便越来越多地折射入射光，直到人聚焦。如上所述，调节每一只眼睛的视线和聚焦自动地一起发生，并且被称为“调节-聚散反射”。
具有传统/遗留的立体AR或VR配置的问题是它们违背调节聚散反射。例如，参考图6中的平面图像600，如果传统/遗留的立体AR或VR系统以不同的感知距离显示月亮608、树604和人602(例如，人显现得更近，而月亮显现得更远)，但是全部合焦，则注视月亮或人时眼睛不需要重新聚焦。这导致违背调节聚散反射的不匹配。如所提到的，这些种类的遗传方法已知会在用户中产生眼睛疲劳、头痛或其它形式的不适。
相比之下，DOE组件530(在图5中)通过在不同的深度平面中显示近处和远处的对象而与人类的调节聚散反射相协调。例如，图7示出了分解成三个深度平面DP1、DP2、DP3以形成深度合成图像710的相同的平面图像600(例如，人、树、地面和月亮)。旨在最近的对象(人620)显示在深度平面1(DP1)中，该深度平面1已被调整为模拟从1米远的对象扩散的光。中间对象(树604和地面606)被显示在深度平面2(DP2)中，该深度平面2已被调整为模拟从5米远的对象扩散的光。最后，最远的对象(月亮608)被显示在深度平面3(DP3)中，该深度平面3已被调整为模拟从384,400,000米远的对象扩散的光。(384,400,000米是从地球到月亮的距离。然而，对于超过一定距离的对象，通常将诸如透镜系统的成像系统简单地调节为光学无限远，从而将入射光线近似为几乎平行的光线)。以该方式，当注视不同深度平面中的对象时，深度合成图像710的观看者必须调节他/她的聚焦和视线会聚，并且不会发生头痛或不适。
再次参考图5，根据一些实施例，图像生成处理器502可以被实现为将平面图像“分解成”多个深度平面中的多个对象的装置。在其它实施例中，图像序列被存储为单独的深度平面特定图像序列，并且图像处理生成器将预处理的深度平面图像序列发送到准备显示的显示电路。
在一些实施例中，DOE可以在它们主动衍射的“开”状态和它们不显著衍射的“关”状态之间切换。例如，可切换的DOE可以包括聚合物分散液晶层，其中微滴在主介质中包含衍射图案，并且可以将微滴的折射率切换成基本上匹配主材料的折射率(在该情况下，图案不会明显地衍射入射光)，或者微滴可以被切换到与主介质的折射率不匹配的折射率(在该情况下，图案主动地衍射入射光)。
为了节省资源，诸如电池功率，在一些实施例中，当观看者正在注视深度平面中的对象时，可以优选仅显示特定深度平面的图像信息。例如，参考图7，如果图像仅由月亮608组成，则可以打开DP3，而其它深度平面DP1和DP2关闭。可选地，所有三个深度平面可以被打开并用于以顺序的方式显示对象。例如，FSD 520可以快速连续地在DP1、DP2、DP3上的投影图像之间快速切换。因为人类视觉系统只能检测到高至一定频率(例如30Hz)的移动/变化，所以观看者将不会感觉到FSD 520在平面之间切换，而是将感觉到平滑的多深度平面合成图像流。
另外，根据一些实施例，系统同样可以包括眼睛跟踪子系统550(图5)。在该情况下，眼睛跟踪子系统可以监视观看者的眼睛(例如通过监视眼睛的会聚角度)，以确定观看者是否正在注视远的对象或近的对象。例如，如果系统检测到观看者正在注视月亮，则可以打开DP3，并且关闭和/或减弱DP1和DP2。
堆叠配置可以使用动态DOE(而不是静态波导和透镜)来同时提供多平面聚焦。例如，通过三个同时的焦平面，可以向用户呈现主焦平面(例如，基于测量的眼睛调节)，并且可以利用+余量和-余量(一个焦平面更近，另一个更远)以提供大的焦距范围，在该大的焦距范围内，在平面需要更新之前用户可以调节。如果用户切换到更近或更远的焦点(例如，如通过调节测量所确定的)，则该增加的焦距范围可以提供时间优势。然后，新的焦平面可以作为中间聚焦深度，其中+余量和-余量再次准备好快速切换到任一个，同时系统赶上。
然而，该场景假设FSD能够足够快地操作以快速地生成要注入到多个DOE中的不同图像/图像的部分。如所解释的，FSD通常通过在给定的角度内来回扫掠(raster)而工作。该角度表示显示的图像的视场(FOV)。在具有六个深度平面(例如DP1，DP2....DP6)的系统中，FSD必须能够以无缝的方式每帧在深度平面之间切换六次。例如，如果每秒帧数(FPS)为60(在许多视频流实施方式中是典型的)，则对于每帧，FSD必须每帧切换六次。另外，在每个深度平面中，可以有两个目标区域，一个用于绿色光，而另一个用于红色和蓝色光。因此，每帧可以存在FSD必须能够切换到的12个目标。因此，对于60FPS和12个目标，FSD必须能够每秒切换约714次以扫掠无缝的图像/视频序列。因为FSD是通过一个角度致动光纤以扫掠图像的物理/机械装置，所以随着每秒帧数或者深度平面的数量增加，足够快地在更大的角度内致动变得越来越困难。
另外，假设FSD 520可以足够快地扫掠和切换，耦合光学器件522(其将从FSD接收的光以几乎正交的角度引导到DOE组件中)应当能够匹配FSD的速度和FOV要求。目前的方法，诸如使用透镜将FSD光聚焦到每个深度平面上，至少相对于FOV要求是受到限制的。理想情况下，为了逼真的模拟，需要120度的FOV来模拟自然现实世界的视觉。然而，诸如使用可变焦透镜系统、LC快门和/或光栅系统的当前耦合光学方法不能产生120度的FOV，并且不能足够快地在深度平面之间切换以产生无缝的视觉显示。
另外，即使这种方法可以在所需的FOV上足够快地切换，机械地致动诸如透镜系统的FSD和耦合光学器件也能够耗尽功率和资源。因此，需要一种在大视场内快速显示多个深度平面中的图像的方法。
图8示出了用于在大视场内快速显示多个深度平面中的图像的方法。在那里，架构800类似于图5所示的架构，例外的是能够在大的FOV(诸如120度)内匹配和/或超过FSD速度的声光深度开关(ADS)802。如图8的示例实施例所示，ADS 802被耦合以接收来自FSD 520的光，并将光聚焦到处于不同深度处的不同DOE层。
图9示出了根据一些实施例的显示ADS和DOE组件的方面的内部架构900。在那里，ADS 802包括逻辑模块950和声光(AO)调制器952。在所示实施例中，来自FSD 520的光输入902进入ADS 802单元并且以多个角度被偏转(例如衍射、折射)到DOE组件530中。每个DOE层或衍射元件(例如，530a、530b、530c)对应于深度平面(例如DP1、DP2、DP3)。例如，DOE层530a可以对应于DP1，并且显示在距离观看者1米的感知距离处的人620(图7)。类似地，DOE层530b可以对应于DP2，并且显示在距离观看者5米的感知距离处的植根在地面606中的树604。最后，DOE层530c可以对应于DP3，并且显示在384,400,000米远的感知距离处(或者在光学无限远处)的月亮608。
在一些实施例中，每个DOE层实现内耦合光栅960，以沿着深度平面的跨度偏转从ADS 802接收的图像光。然后，使用第二组衍射光栅(未示出)图像可以朝向观看者914离开DOE层。
在一些实施例中，AO调制器通过耦合光学器件接收光，沿着波导引导接收的光，使用换能器引起沿着基板的表面声波(表面声波改变基板的折射率)，这导致光以与表面声波周期成比例的角度离开基板。特别地，如图9所示，输入光902首先通过耦合器904(诸如棱镜)与AO调制器952交互。耦合器904将光引导到基板912上的波导906中。在一些实施例中，基板包括诸如石英的压电材料或本领域已知的其它压电透明/半透明材料。在一些实施例中，基板包括也是压电的(即，响应于压力/应力生成电)铌酸锂薄片。
在一些实施例中，铌酸锂基板可以通过施加高电压(例如30伏)来用作电光开关，以改变材料的折射率并在期望的方向上折射光。然而，通常不希望在人脸附近运行高电压。此外，使用诸如30伏铌酸锂开关的高电压开关在电池功率通常受限的可穿戴计算机视觉系统中不实用。
可替代地，如图9所示，代替使用基板作为电光开关，AO调制器使用基板912作为声光开关。例如，换能器908可以被提供有非常低的电压，其使得基板来回摇摆以产生沿着基板的表面的波(例如“表面声波”)。表面声波可以具有与由换能器产生的波的频率成比例的特定定义的周期(例如，峰-峰距离)。也就是说，例如，如果换能器908接收60HzAC，则表面声波的周期近似匹配60Hz(不考虑例如在材料本身中的能量损失，例如滞后)。同样，如果将RF频率功率提供给换能器，则表面声波将近似匹配RF频率。因此，通过改变换能器的频率，可以控制和/或调谐感应表面波的周期。通常，在一些实施例中，逻辑模块950可以管理AO调制器952以产生所需的频率。例如，逻辑模块可以接收数据流，使换能器以序列改变频率以将光引导到DOE组件层。在其它实施例中，其它部件(诸如图像处理生成器502)管理AO调制器以产生频率序列。
如所提及的，表面声波改变基板的折射率，并且同样可以作为一种衍射光栅。最初，波导和基板具有两种不同的折射率，使得在波导内部的光发生全内反射。某些基板(诸如铌酸锂)具有响应于电能或物理/机械能(例如应力)而变化的折射率。因此，通过将不同的表面声波施加到铌酸锂基板上，可以改变折射率，以便打破在波导内发生的全内反射，并且从而允许波导内部的光逸出。
此外，给定波长的光偏转出光栅的角度与光的波长成比例。例如，在光栅上照射白光可产生与不同波长对应的“分解”颜色的彩虹。在一些实施例中，表面声波用作衍射光栅，其以与光栅宽度(例如，对于表面声波，从峰到峰的距离)成比例的角度将图像光衍射出波导/基板界面(例如，图9中的912和906之间的界面)。以该方式，行进通过波导906的输入光902可以通过折射(由基板912的折射率的变化引起)和衍射(由引起与波周期成比例的衍射光栅效应的表面声波引起)来偏转。组合的效应可以用于将输入光902引导到多个内耦合光栅目标上，诸如内耦合光栅906。此外，可以通过简单地将不同的信号(例如不同的频率)施加到换能器908来调节光可从一个目标偏转到下一个目标的速度。以该方式，声光深度开关802可以在大的FOV内获得非常高的切换速度。
图10示出了使用声光装置作为扫描器和开关的方法，而不需要FSD和/或耦合光学器件。在那里，架构1000类似于图8中所示的架构，除了声光扫描器(AOS)1002和缺少FSD520之外。在操作中，来自显示电路510的图像信号被直接输入到AOS 1002中。然后，AOS1002可以使用如以上描述的那些的声光方法调制光并将光偏转到不同的深度平面上。
图11示出了根据一些实施例的声光扫描器(AOS)1002和DOE组件530的内部架构1100。如图所示，来自显示电路510(图5)的输入光/信号902可以首先与耦合器1114交互，该耦合器1114可以是光学耦合器，诸如棱镜。耦合器1114将光引导到波导1110中，该波导1110使用全内反射来引导基板1108上的光。与上述方法相比，图11中的AO调制器1106具有两个换能器。垂直换能器1120在上面被讨论并且通常产生垂直表面声波1118，该垂直表面声波使光以不同的角度朝向DOE组件530偏转。
在一些实施例中，水平换能器1116可以垂直于垂直换能器1120对准。水平换能器被实现以产生水平表面声波1112。类似于垂直地(相对于AO调制器)偏转输入光的垂直表面声波1118，水平表面声波同样可以使用诸如布拉格衍射的机制来偏转波导中的光，但是是水平地偏转。因此，如所实现的，AO调制器1106可以在水平和垂直方向上控制输入光。例如，参考图像输出1150，在DP2中，待显示的图像是植根于地面的树。为了引导光束以水平地1152扫描图像，水平换能器可以通过控制频率和由此光的水平偏转来调制水平表面声波。同样，为了垂直地1154扫描图像输出，垂直换能器1120可以通过控制频率和由此光的垂直偏转来调制垂直表面声波1118。
图12示出了根据一些实施例的用于使用在混合AOS单元1202中的水平AO调制器和垂直AO调制器偏转光的AOS架构1200。在那里，水平AO调制器1204可以包括耦合器、基板、波导和水平换能器(例如，水平换能器1116)，该水平换能器可以用于产生水平偏转或偏移的光1222。然后可以将水平偏转的光输入垂直AO调制器1206。垂直AO调制器可以包括耦合器、基板、波导和垂直换能器(例如，垂直换能器1120)，该垂直换能器产生垂直偏转光1224的垂直表面声波。因此，代替一个组合的垂直/水平AO调制器(例如，图11中的1106)，两个调制器(1204，1206)是单独的单元，并且每个可以具有它们自己的基板、耦合器和波导，但是带有正交换能器。
图13示出了根据一些实施例的用于使用混合AOS单元1310中的竖直调制器和正交调制器偏转光的AOS架构1300。在那里，竖直调制器1320被构造成类似于如图9所示的AO调制器952。也就是说，它能够在向上/向下方向(相对于调制器)上偏转光。当垂直输入光1304被输入竖直调制器1320时，它在垂直方向上被偏转以扫描图像，诸如垂直方向1154上的图像输出1150。
正交AO调制器1322同样被构造成类似于如图9所示的AO调制器952。然而，正交AO调制器可以旋转90度，使得其与竖直调制器1320正交。以该方式，正交AO调制器1322将水平输入光1302偏转以在水平方向1152上扫描图像，而不使用布拉格衍射。虽然这里示出了正交调制器作为示例，但是本领域普通技术人员认识到，可以类似地实现以不同角度对准的一个或多个AO调制器以实现全图像扫描。例如，在三个AO调制器实施方式中，第一AO调制器可以以0度对准，并且将光输入到以45度(相对于第一AO调制器)取向的第二AO调制器中，第二AO调制器可以将光输入到以90度(相对于第一AO调制器)取向的第三AO调制器中。以该方式，一个或多个中间调制器可以缓慢减少地改变角度，而不是在一个步骤中从0到90度。
在一些实施例中，优选的是具有一个基板，但是利用其两个正交表面。例如，基板的顶面可以实现第一耦合器、波导和换能器。而在基板的侧面上，实现第二耦合器、波导和换能器。在操作中，该实施例的功能类似于图13中所示的竖直和正交调制器，但不需要第二基板和/或AO调制器单元。
图14示出了根据一些实施例的用于实现混合FSD/AOS模块的架构1400。在那里，混合FSD/AOS模块1402在结构上类似于图8中的FSD 520和ADS 802。然而，在图14中所示的方法中，AOS部件用作互补扫描器/生成器和开关。图15示出了根据该实施例的AOS调制器1550的内部架构1500。在该方法中，FSD(例如，FSD 520)以一定分辨率生成待显示的图像，如在1504处示出的从FSD输入图像。例如，参考图像输出1530，FSD通常具有有限的分辨率，并且可以沿着以一定间隔的漩涡输出光。也就是说，图像输出1530中的漩涡1510表示FSD可投射光的点。漩涡之间的圆形点1512超出了FSD的分辨率。然而，虽然FSD无法到达漩涡之间的圆形点，但是AO模块可以。在该方法中，混合FSD/AOS部件具有带有水平和垂直调制器的AO调制器1550，其可以更精细地生成FSD不能作为目标或无法达到的图像点。根据一些实施例，“主要”图像点可以首先由FSD生成(例如沿着FSD漩涡1510的点)，而辅助/补充图像点然后由AO调制器1550生成，以便“填充”超出FSD的分辨率的点。
图16A示出了根据一些实施例的用于使用声光深度开关投射光的方法的流程图1600。在1602处，诸如激光器、LED或LCD的图像生成器生成包括一系列图像的图像光。该系列图像可以是图像的视频序列，其中该系列中的每个图像描绘不同距离处的对象。例如，该系列的第一部分可以包括靠近观看者(例如，佩戴虚拟现实或增强现实耳机的观看者)的第一深度平面中的所有对象。类似地，该系列的其它部分可以包括不同距离处的对象。在示例性实施例中，实现了六个深度平面，每个深度平面对应于距观看者的六个距离。在一些实施例中，六个深度平面中的第一深度平面对应于三米或更近的距离，并且第六深度平面对应于光学无限远或另外非常大的距离。
在1604处，由光生成器生成的图像光被输入到在一角度内致动的FSD中。根据一些实施例，FSD用于将光投射到声光深度开关耦合光学器件上，如1606处所示。耦合光学器件(诸如棱镜)可以沿着基板将图像光引导到波导上。声光深度开关内的换能器可以以不同的频率振动，以在基板的表面上生成表面声波。如上所述，不同频率的表面声波以不同的角度偏转图像光。
在1608处，换能器可以从逻辑模块接收的指令，该逻辑模块指示换能器产生不同频率的SAW，以将图像光偏转到不同光学元件上，诸如衍射光学元件。
图16B示出了根据一些实施例的用于使用声光深度开关来以不同频率偏转光的流程图1609。在一些实施例中，图像光可以是到对于不同深度平面的光的部分中的序列。例如，第一前导部分可以包括待显示为最接近观看者的对象。第二部分可以包括待显示的在距观看者的中间距离处的对象。第三部分可以包括待显示的距观看者最远距离处的对象。逻辑模块可以引导换能器以交替方式产生不同频率的SAW，以如在1610处所示的使用第一频率将第一部分偏转到第一光学元件，如在1612处所示的使用第二频率将第二部分偏转到第二光学元件，并且如在1613处所示的使用第三频率将第三部分偏转到第三光学元件。尽管在此仅讨论三个深度平面和频率作为示例，但是同样可以实现其它数量的深度平面(例如，六个)和相应的频率。
图16C示出了根据一些实施例的用于使用正交取向的换能器在正交方向上投射光的方法的流程图1614。在1616处，使用水平换能器生成水平SAW。水平SAW可以使用布拉格衍射沿水平方向将光偏转或扫掠到光学元件上。在1618处，使用垂直换能器生成垂直SAW。垂直SAW可以使用折射和衍射沿着垂直方向将光偏转或扫掠到光学元件上。
图17是根据一些实施例的适用于实现光投影仪和逻辑模块方面的说明性计算系统1700的框图。计算机系统1700包括用于传送信息的总线1706或其它通信机制，其将诸如处理器1707、系统存储器1708(例如，RAM)、静态存储装置1709(例如，ROM)、磁盘驱动器1710(例如，磁的或光的)、通信接口1714(例如，调制解调器或以太网卡)、显示器1711(例如，CRT或LCD)、输入装置1712(例如，键盘)和光标控制器的子系统和装置互连。
根据本发明的一个实施例，计算机系统1700通过处理器1707执行系统存储器1708中包含的一个或多个指令的一个或多个序列来执行特定操作。这些指令可以从另一计算机可读/可用介质(诸如静态存储装置1709或磁盘驱动器1710)读取到系统存储器1708中。在替代实施例中，可以使用硬连线电路代替软件指令或与软件指令组合来实现本发明。因此，本发明的实施例不限于硬件电路和/或软件的任何特定组合。在一个实施例中，术语“逻辑”应当指用于实现本发明的全部或部分的软件或硬件的任何组合。
可以使用术语暂时性实施例、硬连线电路来代替涉及向处理器1707提供指令以供执行的任何介质。这种介质可以采取许多形式，包括但不限于非易失性介质和易失性介质。非易失性介质包括例如光盘或磁盘，诸如磁盘驱动器1710。易失性介质包括动态存储器，诸如系统存储器1708。根据一些实施例，数据库1732可以使用数据接口1733”在计算机可读介质1731上访问。
计算机可读介质的常见形式包括例如软盘、柔性盘、硬盘、磁带、任何其它磁介质、CD-ROM、任何其它光学介质、打孔卡、纸带、具有孔的任何其它物理介质、RAM、PROM、EPROM、FLASH-EPROM、任何其它存储器芯片或盒式芯片，或计算机可从中读取的任何其它介质。
在本发明的实施例中，实施本发明的指令序列的执行由单个计算机系统1700执行。根据本发明的其它实施例，通过通信链路1715耦合的两个或多个计算机系统1700(例如，LAN、PTSN或无线网络)可以彼此协调地执行实施本发明所需的指令序列。
计算机系统1700可以通过通信链路1715和通信接口1714来发送和接收消息、数据和指令，包括程序，即应用代码。接收的程序代码可以在被接收时由处理器1707执行，和/或存储在磁盘驱动器1710中或其它非易失性存储器中，以供稍后执行。
在前面的说明书中，已经参照本发明的具体实施例描述了本发明。然而，明显的是，在不脱离本发明的更广泛的精神和范围的情况下，可以对其进行各种修改和改变。例如，参考处理动作的特定顺序来描述上述处理流程。然而，可以改变许多描述的处理动作的排序，而不会影响本发明的范围或操作。因此，说明书和附图被认为是说明性的而不是限制性的。

Claims (20)

1.一种用于投射光的系统，所述系统包括：
生成与一系列图像对应的图像光的光生成器，所述一系列图像包括与多个深度平面对应的多个对象；以及
声光深度开关，其中所述图像光被偏转到所述声光深度开关上，并且所述声光深度开关使用沿着基板产生的不同频率的表面声波将所述图像光的部分偏转到多个堆叠的衍射光学元件上，其中所述多个衍射光学元件中的每一个对应于所述一系列图像的不同深度平面。
2.根据权利要求1所述的系统，其中光纤扫描装置接收由所述光生成器生成的所述图像光并且使用在一个角度内致动的光纤将所述图像光偏转到所述声光深度开关上。
3.根据权利要求1所述的系统，其中所述声光深度开关被耦合到所述光生成器。
4.根据权利要求1所述的系统，其中所述声光深度开关包括在所述基板上生成表面声波的换能器，所述表面声波将所述图像光偏转到所述多个衍射光学元件上。
5.根据权利要求4所述的系统，其中声光深度开关被配置成以多个频率生成所述表面声波，所述多个频率包括第一频率和与所述第一频率不同的第二频率，其中所述第一频率将所述图像光的一部分偏转到第一衍射光学元件上，并且所述第二频率将所述图像光的一部分偏转到第二衍射元件上。
6.根据权利要求4所述的系统，其中所述基板是铌酸锂基板。
7.根据权利要求1所述的系统，其中所述声光深度开关包括在所述基板上生成垂直表面声波的垂直换能器，和在所述基板上生成水平表面声波的水平换能器。
8.一种用于投射光的方法，包括：
生成包括一系列图像的图像光，所述一系列图像包括与不同距离对应的对象；以及
经由声光深度开关使用沿着基板产生的不同频率的表面声波将所述一系列图像的部分偏转到多个堆叠的衍射光学元件，所述一系列图像的第一部分被偏转到与第一距离对应的第一衍射光学元件，所述一系列图像的第二部分被偏转到与第二距离对应的第二衍射光学元件，所述第二距离大于所述第一距离。
9.根据权利要求8所述的方法，其中光纤扫描装置接收所述图像光并且使用在一个角度内致动的光纤将所述图像光偏转到所述声光深度开关上。
10.根据权利要求8所述的方法，其中所述声光深度开关被耦合到生成所述图像光的光生成器。
11.根据权利要求8所述的方法，其中所述声光深度开关包括在所述基板上生成表面声波的换能器，所述表面声波将所述图像光偏转到所述衍射光学元件上。
12.根据权利要求11所述的方法，其中声光深度开关被配置成以多个频率生成所述表面声波，所述多个频率包括第一频率和与所述第一频率不同的第二频率，所述第一频率将所述第一部分偏转到所述第一衍射光学元件，所述第二频率将所述第二部分偏转到所述第二衍射光学元件。
13.根据权利要求11所述的方法，其中所述基板是铌酸锂基板。
14.根据权利要求8所述的方法，其中所述声光深度开关包括在所述基板上生成垂直表面声波的垂直换能器，和在所述基板上生成水平表面声波的水平换能器。
15.一种用于投射光的系统，所述系统包括：
生成与一系列图像对应的图像光的光生成器，所述一系列图像包括与多个深度平面对应的多个对象；
声光扫描器，其中所述图像光被偏转到所述声光扫描器上，并且所述声光扫描器使用沿着基板产生的不同频率的表面声波将所述图像光的部分偏转到多个堆叠的衍射光学元件上，其中所述多个衍射光学元件中的每一个对应于所述一系列图像的不同深度平面；以及
其中所述声光扫描器包括水平调制器和垂直调制器，所述水平调制器水平地偏转所述图像光，并且所述垂直调制器垂直地偏转所述图像光，其中所述垂直调制器接收来自所述水平调制器的水平偏转的图像光。
16.根据权利要求15所述的系统，其中所述声光扫描器被配置成生成表面声波，以水平地和垂直地偏转所述光，所述声光扫描器被配置成以多个频率生成所述表面声波，所述多个频率包括第一频率和与所述第一频率不同的第二频率，其中所述第一频率将所述图像光的一部分偏转到第一衍射光学元件上，并且所述第二频率将所述图像光的一部分偏转到第二衍射元件上。
17.一种用于投射光的系统，所述系统包括：
生成与一系列图像对应的图像光的光生成器，所述一系列图像包括与多个深度平面对应的多个对象；
声光扫描器，其中所述图像光被偏转到所述声光扫描器上，并且所述声光扫描器使用沿着基板产生的不同频率的表面声波将所述图像光的部分偏转到多个堆叠的衍射光学元件上，其中所述多个衍射光学元件中的每一个对应于所述一系列图像的不同深度平面；以及
其中所述声光扫描器包括水平调制器和与所述水平调制器平行的垂直调制器，所述水平调制器水平地偏转所述图像光，并且所述垂直调制器垂直地偏转所述图像光，其中所述垂直调制器接收待垂直偏转的所述一系列图像的一部分作为输入，并且所述水平调制器接收待水平偏转的所述一系列图像的一部分作为输入。
18.根据权利要求17所述的系统，其中声光扫描器被配置成生成表面声波，以水平地和垂直地偏转所述光，所述声光扫描器被配置成以多个频率生成所述表面声波，所述多个频率包括第一频率和与所述第一频率不同的第二频率，其中所述第一频率将所述图像光的一部分偏转到第一衍射光学元件上，并且所述第二频率将所述图像光的一部分偏转到第二衍射元件上。
19.一种用于投射光的系统，所述系统包括：
生成与一系列图像对应的图像光的光生成器，所述一系列图像包括与多个深度平面对应的多个对象；
声光扫描器，其中所述图像光被偏转到所述声光扫描器上，并且所述声光扫描器使用沿着基板产生的不同频率的表面声波将所述图像光的部分偏转到多个堆叠的衍射光学元件上，其中所述多个衍射光学元件中的每一个对应于所述一系列图像的不同深度平面；以及
其中光纤扫描装置接收由所述光生成器生成的所述图像光并且使用在一个角度内致动的光纤将所述图像光偏转到所述声光扫描器上，所述光纤扫描装置可配置成以第一分辨率投射光，所述声光扫描器可配置成以比所述第一分辨率更大的第二分辨率投射光，其中所述声光扫描器接收来自所述光纤扫描装置的所述第一分辨率的所述图像光，并且所述声光扫描器输出所述第二分辨率的所述图像光。
20.根据权利要求19所述的系统，其中声光扫描器被配置成生成表面声波，以水平地和垂直地偏转所述光，所述声光扫描器被配置成以多个频率生成表面声波，所述多个频率包括第一频率和与所述第一频率不同的第二频率，其中所述第一频率将所述图像光的一部分偏转到第一衍射光学元件上，并且所述第二频率将所述图像光的一部分偏转到第二衍射元件上。
CN201580071408.0A 2014-12-29 2015-12-29 使用声光控制装置的光投影仪 Active CN107110479B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110360187.6A CN113163180B (zh) 2014-12-29 2015-12-29 使用声光控制装置的光投影仪

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462097563P 2014-12-29 2014-12-29
US62/097,563 2014-12-29
PCT/US2015/067957 WO2016109599A1 (en) 2014-12-29 2015-12-29 Light projector using an acousto-optical control device

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202110360187.6A Division CN113163180B (zh) 2014-12-29 2015-12-29 使用声光控制装置的光投影仪

Publications (2)

Publication Number Publication Date
CN107110479A CN107110479A (zh) 2017-08-29
CN107110479B true CN107110479B (zh) 2021-04-20

Family

ID=56285016

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201580071408.0A Active CN107110479B (zh) 2014-12-29 2015-12-29 使用声光控制装置的光投影仪
CN202110360187.6A Active CN113163180B (zh) 2014-12-29 2015-12-29 使用声光控制装置的光投影仪

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202110360187.6A Active CN113163180B (zh) 2014-12-29 2015-12-29 使用声光控制装置的光投影仪

Country Status (10)

Country Link
US (4) US10015477B2 (zh)
EP (3) EP4231637A3 (zh)
JP (3) JP6738336B2 (zh)
KR (4) KR102547307B1 (zh)
CN (2) CN107110479B (zh)
AU (1) AU2015374071B2 (zh)
CA (2) CA2971613C (zh)
IL (4) IL289705B2 (zh)
NZ (3) NZ733965A (zh)
WO (1) WO2016109599A1 (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9674510B2 (en) * 2012-11-21 2017-06-06 Elwha Llc Pulsed projection system for 3D video
EP3234920A4 (en) 2014-12-23 2017-10-25 Meta Company Apparatuses, methods and systems coupling visual accommodation and visual convergence to the same plane at any depth of an object of interest
US20160343173A1 (en) * 2015-05-20 2016-11-24 Daqri, Llc Acousto-optical display for augmented reality
WO2018140939A1 (en) 2017-01-30 2018-08-02 The Charles Stark Draper Laboratory, Inc. Electro-holographic light field generators and displays
US11243450B2 (en) * 2017-01-30 2022-02-08 The Charles Stark Draper Laboratory, Inc. Saw modulator having optical power component for extended angular redirection of light
US10534185B1 (en) * 2017-02-14 2020-01-14 Facebook Technologies, Llc Multi-planar display with waveguide and lens stacks
US10739665B2 (en) * 2017-04-17 2020-08-11 Brigham Young University Structures for modifying leaky mode light
US10338400B2 (en) 2017-07-03 2019-07-02 Holovisions LLC Augmented reality eyewear with VAPE or wear technology
US10859834B2 (en) 2017-07-03 2020-12-08 Holovisions Space-efficient optical structures for wide field-of-view augmented reality (AR) eyewear
US12013538B2 (en) 2017-07-03 2024-06-18 Holovisions LLC Augmented reality (AR) eyewear with a section of a fresnel reflector comprising individually-adjustable transmissive-reflective optical elements
US10895746B1 (en) 2017-08-07 2021-01-19 Facebook Technologies, Llc Expanding field-of-view in direct projection augmented reality and virtual reality systems
US10534209B1 (en) 2017-08-21 2020-01-14 Facebook Technologies, Llc Liquid crystal structure for controlling brightness uniformity in a waveguide display
FI129586B (en) * 2017-12-22 2022-05-13 Dispelix Oy Waveguide display element with many pupils and display device
FI128044B (en) * 2017-12-22 2019-08-30 Dispelix Oy Laser projector and diffractive display device
US10156770B1 (en) * 2018-02-08 2018-12-18 The Charles Stark Draper Laboratory, Inc. Packaging and interconnect systems for edge-emitting light modulators based on surface acoustic wave (SAW) modulation
US10613332B1 (en) 2018-02-15 2020-04-07 Facebook Technologies, Llc Near-eye display assembly with enhanced display resolution
WO2019195174A1 (en) * 2018-04-02 2019-10-10 Magic Leap, Inc. Waveguides with integrated optical elements and methods of making the same
EP4215254A1 (en) * 2018-08-28 2023-07-26 Magic Leap, Inc. Dynamic incoupling gratings in imaging systems
US11103763B2 (en) 2018-09-11 2021-08-31 Real Shot Inc. Basketball shooting game using smart glasses
US11141645B2 (en) 2018-09-11 2021-10-12 Real Shot Inc. Athletic ball game using smart glasses
JP2020064096A (ja) * 2018-10-15 2020-04-23 ソニー株式会社 画像表示装置、頭部装着型ディスプレイ、画像表示装置の製造方法、及び画像表示装置の調整方法
US11457804B1 (en) * 2019-05-02 2022-10-04 Amazon Technologies, Inc. System for monitoring vision changes
JP7406622B2 (ja) 2019-08-21 2023-12-27 マジック リープ， インコーポレイテッド 高屈折率材料を使用した平坦スペクトル応答格子

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3851951A (en) * 1974-01-16 1974-12-03 Isomet Corp High resolution laser beam recorder with self-focusing acousto-optic scanner
TW540228B (en) * 2000-11-03 2003-07-01 Actuality Systems Inc Three-dimensional display systems
CN1575524A (zh) * 2001-08-23 2005-02-02 华盛顿州大学 深度增强的图像采集
CN101207444A (zh) * 2006-12-15 2008-06-25 富士通株式会社 相干光接收器
CN101814694A (zh) * 2010-04-28 2010-08-25 天津奇谱光电技术有限公司 可调谐激光器
WO2014024121A1 (en) * 2012-08-04 2014-02-13 Paul Lapstun Scanning two-way light field camera and display
WO2014113506A1 (en) * 2013-01-15 2014-07-24 Magic Leap, Inc. Ultra-high resolution scanning fiber display
CN104105994A (zh) * 2011-12-22 2014-10-15 英特尔公司 用于激光束扫描的声光偏转器的配置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61213832A (ja) * 1985-03-19 1986-09-22 Nippon Sheet Glass Co Ltd 光偏向器
GB2249845A (en) * 1990-11-09 1992-05-20 Marconi Gec Ltd Acousto-optic device
US5903397A (en) 1998-05-04 1999-05-11 University Of Washington Display with multi-surface eyepiece
IL140309A0 (en) * 2000-12-14 2002-02-10 Yeda Res & Dev Acousto-optic scanner with fast non-linear scan
WO2002059691A2 (en) * 2000-12-18 2002-08-01 Alan Sullivan 3d display devices with transient light scattering shutters
US8149265B2 (en) * 2007-08-11 2012-04-03 Massachusetts Institute Of Technology Holographic video display system
US8757812B2 (en) * 2008-05-19 2014-06-24 University of Washington UW TechTransfer—Invention Licensing Scanning laser projection display devices and methods for projecting one or more images onto a surface with a light-scanning optical fiber
CN101505389B (zh) * 2009-02-13 2011-10-12 深圳市纳宇电子有限公司 激光投影显示装置及实现方法
WO2010116726A1 (ja) * 2009-04-09 2010-10-14 パナソニック株式会社 ビーム走査型表示装置
KR101826744B1 (ko) 2011-08-24 2018-02-07 삼성전자주식회사 나노 구조를 갖는 음향광학 소자, 및 상기 음향광학 소자를 이용한 광스캐너, 광 변조기 및 디스플레이 장치
KR101826743B1 (ko) 2011-08-25 2018-02-07 삼성전자주식회사 광회절각 음향광학 소자, 및 상기 음향광학 소자를 이용한 광 스캐너, 광 변조기 및 디스플레이 장치
KR102116697B1 (ko) * 2011-11-23 2020-05-29 매직 립, 인코포레이티드 3차원 가상 및 증강 현실 디스플레이 시스템
US9052414B2 (en) * 2012-02-07 2015-06-09 Microsoft Technology Licensing, Llc Virtual image device
CN103562802B (zh) * 2012-04-25 2016-08-17 罗克韦尔柯林斯公司 全息广角显示器
US10025089B2 (en) * 2012-10-05 2018-07-17 Microsoft Technology Licensing, Llc Backlight for viewing three-dimensional images from a display from variable viewing angles
CN203120067U (zh) * 2013-03-30 2013-08-07 广东汉唐量子光电科技有限公司 一种新型激光投影显示装置
CN110542938B (zh) 2013-11-27 2023-04-18 奇跃公司 虚拟和增强现实系统与方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3851951A (en) * 1974-01-16 1974-12-03 Isomet Corp High resolution laser beam recorder with self-focusing acousto-optic scanner
TW540228B (en) * 2000-11-03 2003-07-01 Actuality Systems Inc Three-dimensional display systems
CN1575524A (zh) * 2001-08-23 2005-02-02 华盛顿州大学 深度增强的图像采集
CN101207444A (zh) * 2006-12-15 2008-06-25 富士通株式会社 相干光接收器
CN101814694A (zh) * 2010-04-28 2010-08-25 天津奇谱光电技术有限公司 可调谐激光器
CN104105994A (zh) * 2011-12-22 2014-10-15 英特尔公司 用于激光束扫描的声光偏转器的配置
WO2014024121A1 (en) * 2012-08-04 2014-02-13 Paul Lapstun Scanning two-way light field camera and display
WO2014113506A1 (en) * 2013-01-15 2014-07-24 Magic Leap, Inc. Ultra-high resolution scanning fiber display

Also Published As

Publication number Publication date
KR20230093374A (ko) 2023-06-27
AU2015374071B2 (en) 2021-05-27
US10237540B2 (en) 2019-03-19
KR102414644B1 (ko) 2022-06-28
US20190166356A1 (en) 2019-05-30
JP6785999B2 (ja) 2020-11-18
IL302657A (en) 2023-07-01
CN113163180B (zh) 2023-03-31
EP3240969B1 (en) 2020-07-15
WO2016109599A1 (en) 2016-07-07
CN107110479A (zh) 2017-08-29
IL283580B (en) 2022-02-01
KR20220093277A (ko) 2022-07-05
KR20170115522A (ko) 2017-10-17
IL253213A0 (en) 2017-08-31
US10015477B2 (en) 2018-07-03
JP7003167B2 (ja) 2022-02-04
US11381804B2 (en) 2022-07-05
NZ759405A (en) 2022-01-28
NZ759399A (en) 2022-01-28
JP6738336B2 (ja) 2020-08-12
IL283580A (en) 2021-07-29
IL289705B1 (en) 2023-06-01
CN113163180A (zh) 2021-07-23
KR102547307B1 (ko) 2023-06-22
KR102270055B1 (ko) 2021-06-25
US20200336731A1 (en) 2020-10-22
JP2020095280A (ja) 2020-06-18
IL302657B2 (en) 2024-07-01
KR102664868B1 (ko) 2024-05-10
US20180270477A1 (en) 2018-09-20
IL289705B2 (en) 2023-10-01
IL289705A (en) 2022-03-01
JP2020095288A (ja) 2020-06-18
CA3161521C (en) 2024-03-12
CA3161521A1 (en) 2016-07-07
IL253213B (en) 2021-06-30
CA2971613C (en) 2022-07-19
JP2018503871A (ja) 2018-02-08
AU2015374071A1 (en) 2017-08-10
KR20210078584A (ko) 2021-06-28
US10728532B2 (en) 2020-07-28
EP3240969A1 (en) 2017-11-08
EP4231637A2 (en) 2023-08-23
IL302657B1 (en) 2024-03-01
EP3240969A4 (en) 2018-06-13
NZ733965A (en) 2021-07-30
US20160286204A1 (en) 2016-09-29
EP3723367A1 (en) 2020-10-14
EP4231637A3 (en) 2023-11-01
CA2971613A1 (en) 2016-07-07
EP3723367B1 (en) 2023-08-16

Similar Documents

Publication Publication Date Title
CN107110479B (zh) 使用声光控制装置的光投影仪
EP4439152A2 (en) Display system having 1-dimensional pixel array with scanning mirror

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant