CN110537132A - 凹式mems扫描显示器 - Google Patents

凹式mems扫描显示器 Download PDF

Info

Publication number
CN110537132A
CN110537132A CN201880024395.5A CN201880024395A CN110537132A CN 110537132 A CN110537132 A CN 110537132A CN 201880024395 A CN201880024395 A CN 201880024395A CN 110537132 A CN110537132 A CN 110537132A
Authority
CN
China
Prior art keywords
light source
light
image
described image
mems
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880024395.5A
Other languages
English (en)
Inventor
J·塔迪夫
J·O·米勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN110537132A publication Critical patent/CN110537132A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3129—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] scanning a light beam on the display screen
    • H04N9/3135—Driving therefor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/10—Scanning systems
    • G02B26/105—Scanning systems with one or more pivoting mirrors or galvano-mirrors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/315—Modulator illumination systems
    • H04N9/3155—Modulator illumination systems for controlling the light source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/315—Modulator illumination systems
    • H04N9/3161—Modulator illumination systems using laser light sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/315—Modulator illumination systems
    • H04N9/3164—Modulator illumination systems using multiple light sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0147—Head-up displays characterised by optical features comprising a device modifying the resolution of the displayed image
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0149—Head-up displays characterised by mechanical features
    • G02B2027/0154—Head-up displays characterised by mechanical features with movable elements

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Mechanical Optical Scanning Systems (AREA)

Abstract

一种扫描显示设备包括MEMS扫描仪、控制器、光源驱动器、光源和图像处理器。控制器控制MEMS扫描仪的(多个)MEMS镜的旋转。每个光源驱动器选择性地驱动光源中的相应一个光源，从而产生指向并且入射在MES扫描仪的MEMS镜上的相应光束。当图像的第一部分被MEMS扫描仪光栅扫描时，图像处理器使得光源驱动器中的两个光源驱动器驱动光源中的两个光源，从而产生两个光束。当图像的第二部分被MEMS扫描仪光栅扫描时，图像处理器使得光源驱动器中的仅一个光源驱动器驱动光源中的仅一个光源，从而产生仅一个光束。还公开了相关的方法和系统。

Description

凹式MEMS扫描显示器
背景技术
扫描显示设备通过创建“虚拟像素”而起作用，每个虚拟像素是双轴镜的位置(或两个单轴镜的位置)以及驱动光源的一个或多个发光元件(例如，激光二极管)的信号的大小的函数，该光源产生被(多个)镜子反射的光束。光源的(多个)发光元件可以被快速脉冲化，以在高分辨率显示器中产生每个像素。
传统上，在整个光栅扫描图像中，由扫描显示设备产生的图像的像素密度基本相同。因此，当期望增加图像的像素密度时，传统上，增加整个图像的像素密度，这会增加处理成本和功耗成本。
发明内容
一种扫描显示设备(更一般地是一种装置)包括MEMS扫描仪、控制器、多个光源、多个光源驱动器和图像处理器。MEMS扫描仪包括双轴MEMS镜或一对单轴MEMS镜。控制器通信地耦合到MEMS扫描仪，并且被配置为控制MEMS扫描仪的双轴MEMS镜或一对单轴MEMS镜的旋转。光源中的每个光源包括一个或多个发光元件，例如激光二极管。例如，多个光源中的每个光源包括被配置为分别发射红光、绿光和蓝光的红色激光二极管、绿色激光二极管和蓝色激光二极管、以及被配置为将红光、绿光和蓝光组合成光束的一个或多个光学元件。每个光源驱动器被配置为选择性地驱动光源中的相应一个光源，从而产生指向并且入射在双轴MEMS镜或一对单轴MEMS镜中的一个单轴MEMS镜上的相应光束。例如，光源驱动器中的每个光源驱动器可以被配置为选择性地驱动光源中的相应一个光源的红色激光二极管、绿色激光二极管和蓝色激光二极管，从而选择性地驱动相应一个光源。
根据某些实施例，图像处理器通信地耦合到光源驱动器中的每个光源驱动器，并且被配置为当图像的第一部分被MEMS扫描仪光栅扫描时，使得光源驱动器中的至少两个光源驱动器驱动光源中的至少两个光源，从而产生至少两个光束。图像处理器还被配置为当图像的第二部分被MEMS扫描仪光栅扫描时，使得光源驱动器中的仅一个光源驱动器驱动光源中的仅一个光源，从而产生仅一个光束。这样，图像的第一部分使用两个光束被光栅扫描，并且其线密度高于使用仅一个光束被光栅扫描的图像的第二部分的线密度。
根据某些实施例，多个光源包括第一光源、第二光源和第三光源，并且多个光源驱动器包括第一光源驱动器、第二光源驱动器和第三光源驱动器。在某些这样的实施例中，图像处理器被配置为当图像的第一部分被MEMS扫描仪光栅扫描时，使得第一光源驱动器不驱动第一光源，并且使得第二光源驱动器和第三光源驱动器分别驱动第二光源和第三光源，从而产生两个光束。图像处理器还被配置为当图像的第二部分被MEMS扫描仪光栅扫描时，使得第二光源驱动器和第三光源驱动器不驱动第二光源和第三光源，并且使得第一光源驱动器驱动第一光源，从而产生仅一个光束。在某些实施例中，用于光栅扫描图像的第一部分的两个光束中的每个光束的相应光斑尺寸小于用于光栅扫描图像的第二部分的仅一个光束的光斑尺寸。
根据某些实施例，多个光源包括第一光源和第二光源，并且多个光源驱动器包括第一光源驱动器和第二光源驱动器。在某些这样的实施例中，图像处理器被配置为当图像的第一部分被MEMS扫描仪光栅扫描时，使得第一光源驱动器和第二光源驱动器分别驱动第一光源和第二光源，从而产生两个光束。图像处理器还被配置为当图像的第二部分被MEMS扫描仪光栅扫描时，使得第二光源驱动器不驱动第二光源，并且使得第一光源驱动器驱动第一光源，从而产生仅一个光束。
在某些实施例中，图像的第一部分具有第一线密度，并且图像的第二部分具有低于第一线密度的第二线密度。在某些这样的实施例中，图像的第一部分(使用两个光束被光栅扫描)可以对应于图像的中央凹区域，图像的第二部分(使用仅一个光束被光栅扫描)可以对应于图像的非中央凹区域。图像的第一部分的位置可以相对于图像的其余部分是固定的。备选地，图像的第一部分的位置可以相对于图像的其余部分是动态的。例如，图像的第一部分的位置可以基于使用眼睛跟踪确定的眼睛的注视，并且图像的第一部分的位置可以响应于注视改变而改变。
本技术的某些实施例涉及一种用于与MEMS扫描仪一起使用的方法，该MEMS扫描仪包括用于光栅扫描图像的双轴MEMS镜或一对单轴MEMS镜。这样的方法可以包括控制MEMS扫描仪的双轴MEMS镜或一对单轴MEMS镜的旋转。该方法还可以包括当图像的第一部分被MEMS扫描仪光栅扫描时，产生指向并且入射在双轴MEMS镜或一对单轴MEMS镜中的一个单轴MEMS镜上的至少两个光束。该方法还可以包括当图像的第二部分被MEMS扫描仪光栅扫描时，产生指向并且入射在双轴MEMS镜或一对单轴MEMS镜中的一个单轴MEMS镜上的仅一个光束。图像的第一部分可以具有第一线密度，并且对应于图像的中央凹区域，并且图像的第二部分可以具有低于第一线密度的第二线密度，并且可以对应于图像的非中央凹区域。
根据一种方法，当图像的第二部分被MEMS扫描仪光栅扫描时产生的仅一个光束不包括当图像的第一部分被MEMS扫描仪光栅扫描时产生并使用的两个光束中的任何光束。根据另一种方法，当图像的第二部分被MEMS扫描仪光栅扫描时产生并使用的仅一个光束是当图像的第一部分被MEMS扫描仪光栅扫描时产生的两个光束中的一个光束。
这样的方法还可以包括跟踪眼睛的注视，并且基于所跟踪的注视来确定图像的第一部分的位置。在这样的实施例中，图像的第一部分的位置可以响应于跟踪的注视改变而改变。
本技术的某些实施例涉及一种近眼或平视显示系统，其包括MEMS扫描仪、控制器、多个光源、多个光源驱动器、图像处理器和一个或多个光波导。MEMS扫描仪包括双轴MEMS镜或一对单轴MEMS镜。控制器通信地耦合到MEMS扫描仪，并且被配置为控制MEMS扫描仪的双轴MEMS镜或一对单轴MEMS镜的旋转。光源中的每个光源包括一个或多个发光元件，例如激光二极管。光源驱动器中的每个光源驱动器被配置为选择性地驱动光源中的相应一个光源，从而产生指向并且入射在双轴MEMS镜或一对单轴MEMS镜中的一个单轴MEMS镜上的相应光束。图像处理器通信地耦合到光源驱动器中的每个光源驱动器，并且被配置为当图像的第一部分被MEMS扫描仪光栅扫描时，使得光源驱动器中国的至少两个光源驱动器驱动光源中的至少两个光源，从而产生至少两个光束。图像处理器还被配置为当图像的第二部分被MEMS扫描仪光栅扫描时，使得光源驱动器中的仅一个光源驱动器驱动光源中的仅一个光源，从而产生仅一个光束。光波导中的每个光波导包括输入耦合器和输出耦合器。
根据某些实施例，在控制器的控制下，光经由一个或多个光波导的输入耦合器被耦合到一个或多个光波导中，该光与使用双轴MEMS镜或一对单轴MEMS镜被光栅扫描的图像的第一部分和第二部分相对应。经由(多个)输入耦合器耦合到一个或多个光波导中的与图像的第一部分和第二部分相对应的光至少部分地通过全内反射(TIR)从一个或多个光波导的(多个)输入耦合器行进到(多个)输出耦合器。(多个)输出耦合器被配置为将已经在一个或多个光波导中从(多个)输入耦合器行进到(多个)输出耦合器的、与图像的第一部分和第二部分相对应的光耦合出一个或多个光波导。
该系统还可以包括被配置为跟踪眼睛的注视的眼睛跟踪器。在这样的实施例中，图像处理器可以被配置为基于使用眼睛跟踪器确定的眼睛注视的改变来改变图像的第一部分的位置。提供本“发明内容”以便以简化的形式介绍一些概念，这些概念将在下面的“具体实施方式”中进一步描述。本“发明内容”既不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。
附图说明
图1示出了根据本技术的一个实施例的扫描显示设备，其可以使用两个光束光栅扫描图像的第一部分，并且使用仅一个光束光栅扫描图像的第二部分，从而在图像的第一部分中提供比在图像的第二部分中更大的线密度和分辨率。
图2示出了根据本技术的另一实施例的扫描显示设备，其可以使用两个光束光栅扫描图像的第一部分，并且使用仅一个光束光栅扫描图像的第二部分，从而在图像的第一部分中提供比在图像的第二部分中更大的线密度，并且从而提供更高的分辨率。
图3是根据本技术的一个实施例的示例性显示系统的侧视图。
图4是用于概括可以用于光栅扫描图像的根据本技术的各种实施例的方法的高级流程图。
具体实施方式
图1示出了根据本技术的实施例的扫描显示设备100。扫描显示设备100(也可以称为扫描显示引擎，或更一般地称为显示引擎)可以与便携式设备集成或附接到便携式设备，诸如但不限于移动电话、智能电话、便携式计算机(例如，笔记本电脑、上网本或平板电脑)、个人数据助理(PDA)或便携式媒体播放器(例如，DVD播放器)。扫描显示设备100可以备选地与非便携式设备集成或附接到非便携式设备，诸如台式计算机、媒体播放器(例如，DVD播放器)或汽车平视显示器。
扫描显示设备100也可以是虚拟现实(VR)或增强现实(AR)头戴式显示器(HMD)或平视显示器(HUD)的一部分，并且扫描显示设备100可以产生可以由HMD的佩戴者或HUD的观察者可查看的虚拟图像。更具体地，与由扫描显示设备100产生的图像相对应的光可以被耦合到一个或多个光波导中，并且在通过全内反射(TIR)行进通过(多个)波导之后，可以从(多个)波导耦合出，使得光从与(多个)波导相关联的输出瞳孔输出和成像。这样的AR设备(可以被称为透视、混合现实显示系统)使得用户能够透视设备的透明或半透明显示器以查看周围环境，并且还可以看到被生成用于显示的虚拟对象的图像(例如，文本、图形、视频等)，以便呈现为周围环境的一部分和/或覆盖在周围环境上。在本文中描述的本技术的实施例的范围内，其他变化也是可能的。
参考图1，扫描显示设备100被示出为包括视频源102、图像处理器104、扫描控制器106、光源驱动器108a、108b和108c以及光源112a、112b和112c。光源驱动器108a、108b和108c可以个体地称为光源驱动器108，或者可以统称为光源驱动器108。光源112a、112b和112c可以个体地称为光源112，或者统称为光源112。根据视频源的类型，可以在视频源102与图像处理器104之间包括视频模拟前端(AFE)(未示出)，并且视频AFE可以包括例如一个或多个模数转换器(ADC)。然而，在视频源102是数字视频源的情况下，可能不需要视频AFE。扫描显示设备100还被示出为包括MEMS扫描设备122和(多个)MEMS镜118，它们可以被统称为MEMS扫描仪124。(多个)MEMS镜118可以是单个双轴MEMS镜、或一对单轴MEMS镜。
图像处理器104从视频源102(或视频AFE)接收红色(红)、绿色(绿)和蓝色(蓝)像素数据(或其他彩色像素数据)、水平同步(Hsync)信号和竖直同步(Vsync)信号。Hsync信号在帧的每条水平线上包括一个脉冲，该脉冲指示一行的结束和下一行的开始。Vsync信号每帧包括一个脉冲，该脉冲指示一帧的结束和下一帧的开始。图像处理器104还可以从扫描控制器106、或者备选地直接从MEMS扫描设备122接收指示(多个)镜子118的位置和速度的信息。图像处理器104还可以接收眼睛注视信息和/或图像处理器104可以用来执行凹式图像渲染的其他信息。这样的眼睛注视信息可以来自在图1中未具体示出的眼睛跟踪设备或子系统。
图像处理器104可以例如使用专用集成电路(ASIC)和/或微控制器来实现。在将这样的像素数据信号提供给光源驱动器108a和108b之前，图像处理器104可以对红、绿和蓝像素数据(也简称为红绿蓝像素数据)执行缩放和/或预失真。这样的缩放和/或预失真可以包括插值和/或抽取。更一般地，图像处理器104可以执行伽马校正、色彩空间转换、插值和/或抽取。可以执行插值和/或抽取操作，以通过考虑(多个)扫描镜118的实际扫描轨迹和实际位置，来将输入的红绿蓝像素数据(从视频源102或AFE接收的)映射到被提供给光源驱动器108的输出红绿蓝像素数据。红绿蓝像素数据的处理(包括插值和/或抽取)可以基于是处理奇数帧还是偶数帧和/或基于其他因素而有所不同。图像处理器104还可以执行凹式渲染。
图像处理器104与扫描控制器106通信，扫描控制器106也可以称为扫描(多个)微镜控制器106、微机电系统(MEMS)控制器或MEMS驱动器。扫描控制器106可以产生水平扫描控制信号(H扫描控制信号)和竖直扫描控制信号(V扫描控制信号)，这些扫描控制信号用于控制(多个)MEMS镜118的扫描，(多个)MEMS镜118也可以被称为(多个)微镜118。在使用单个双轴扫描镜118的情况下，可以将H和V扫描控制信号组合成组合的H和V扫描控制信号，这些扫描控制信号也可以称为复合H和V扫描控制信号，或者扫描控制器106可以产生组合的H和V扫描控制信号。在使用两个单轴扫描镜118的情况下，H和V扫描控制信号不被组合。组合的H和V扫描控制信号(或分开的H和V扫描控制信号)被提供给MEMS扫描设备122以控制扫描镜118。虽然在图1中示出为两个分离的框，但是将图像处理器104和扫描控制器106组合成一个功能块或电路也在实施例的范围内。
通常，水平扫描比竖直扫描发生得快得多，因此，水平扫描有时被称为沿快轴方向的扫描，竖直扫描有时被称为沿慢轴方向的扫描。在水平扫描比竖直扫描快的情况下(通常是这样)，H扫描控制信号也可以称为快速扫描控制信号或波形，而V扫描控制信号也可以称为慢速扫描控制信号或波形。在使用双轴扫描镜的情况下，同一镜在快轴方向和慢轴方向上都旋转。在使用两个单轴扫描镜的情况下，其中一个镜沿快轴方向旋转，而另一镜沿慢轴方向旋转。
尽管未在图1中示出，但是扫描显示设备100还可以包括电压调节器(例如，四输出可调DC-DC降压升压调节器)，电压调节器将由电压源(例如，电池或AC电源)提供的电压转换成各种电压电平(例如，四个电压电平V1、V2、V3和V4)，以用于为扫描显示设备100的各个组件供电。光源驱动器中的每个光源驱动器可以包括多个(例如，三个)数模转换器(DAC)、寄存器和用于从图像处理器104的通信接口接收使能和时钟信号的通信接口。另外，图像处理器104可以向光源驱动器内的寄存器写入数据和从其中读取数据。
光源112中的每个光源可以包括一个或多个发光元件，在某些实施例中，发光元件包括红色(红)、绿色(绿)和蓝色(蓝)激光二极管(LD)。在每个光源包括红、绿和蓝LD的情况下，光源驱动器108中的每个光源驱动器包括三个DAC，其中每个DAC用于驱动单独的LD，或者更一般地，每个DAC用于驱动单独的发光元件。在光源112(由光源驱动器108驱动)包括LD类型发光元件的情况下，光源驱动器108a、108b和108c中的每个光源驱动器可以被称为激光二极管驱动器(LDD)。可以使用备选类型的发光元件代替LD，诸如但不限于一个或多个发光二极管(LED)、超冷光发光二极管(SLED)或量子点光发光二极管(QD-LED)。如以下将在下面的附加细节中描述的，根据本技术的某些实施例，扫描显示设备可以包括甚至多于三个光源驱动器108和多于三个光源112。在诸如参考图2描述的其他实施例中，扫描显示设备包括仅两个光源驱动器108和仅两个光源112。在光源驱动器108驱动光源112的情况下，光源驱动器108可以更具体地驱动光源112的一个或多个发光元件(例如，LD、LED、SLED或QD-LED)。
光源112中的每个光源还可以包括组合光学器件。由每个光源112的LD或其他发光元件产生的光可以被提供给分束器，该分束器可以将一小部分光指向一个或多个校准光电检测器(PD)，并且将其余的光指向组合光学器件，该组合光学器件可以包括二向色镜、分色镜、反射板等，它们将红、绿和蓝光(和/或一个或多个其他波长的光)组合成单个光束。每个光源112还可以包括准直光学器件。由光学器件输出的光可以被提供给由扫描设备122操纵(例如，旋转)的(多个)MEMS镜118。在显示器是单色的情况下，每个光源112可以包括单个发光元件或产生相同波长的光的多个发光元件。
由图像处理器104提供给光源驱动器108中的每个光源驱动器的单独的像素数据由光源驱动器108中的每个光源驱动器用来驱动光源112中的相应一个光源，以产生光束114，当光束114被光栅扫描时，光束114基于像素数据被调制以使得图像130的像素被显示。在光束114包括多种颜色的情况下，每种颜色被单独调制。例如，在光源112包括红、绿和蓝发光元件的情况下，由光源112产生的光束114将包括分别基于红、绿和蓝像素数据单独调制的红、绿和蓝光。如果光束114是单色的，则仅一种颜色被调制。因此，应当理解，当光栅扫描一个或多个光束114以产生图像时，光束114中的每个光束是调制光束，其基于由图像处理器104产生的像素数据被调制。
在图1中，静态反射镜116被示出为将分别由光源112a、112b和112c产生的光束114a、114b和114c指向(多个)可旋转MEMS镜118，使得光束114a、114b和114c入射在同一可旋转MEMS镜118上。更具体地，在(多个)MEMS镜118实现为单个双轴MEMS镜的情况下，光束114a、114b和114c(分别示出为实线、点划线和虚线)中的每个在由光源112a、112b和112c产生时，指向并且入射在单个双轴MEMS镜上。在(多个)MEMS镜118实现为一对单轴MEMS镜的情况下(其中一个MEMS镜用于水平扫描，而另一MEMS镜用于竖直扫描)，光束114a、114b和114c(分别示出为实线、点划线和虚线)中的每个在由光源112a、112b和112c产生时，指向并且入射在该对单轴MEMS镜中的同一个(即，两个中的同一个)(并且然后朝向另一单轴MEMS镜反射以及远离另一单轴MEMS镜反射)。光束114a、114b和114c可以分别称为光束114，或者统称为光束114。
如上所述，(多个)镜118可以例如使用单个扫描镜(通常称为双轴镜)或使用两个单轴扫描镜来实现。扫描设备122可以包括水平和竖直位置传感器(例如，压电电阻传感器)，这些传感器向扫描控制器106提供指示(多个)镜118的位置的一个或多个位置反馈信号，以向扫描控制器106提供实时位置信息。位置传感器也可以与扫描设备122分离。位置传感器可以感测(多个)镜118沿着H和V扫描方向的旋转角度，或者更一般地沿着快轴和慢轴扫描方向的旋转角度。在某些实施例中，扫描设备122使用具有单个驱动线圈(也称为致动器线圈)的动圈致动来操纵单个双轴扫描镜118。备选地，扫描设备122可以使用两个驱动线圈来操纵两个单轴扫描镜。扫描设备122也可以被称为MEMS设备，(多个)扫描镜118也可以被称为MEMS扫描镜，并且MEMS设备122和(多个)扫描镜118可以共同地称为MEMS扫描镜组件124，或者简称为MEMS扫描仪124。
扫描控制器106可以控制MEMS扫描仪124操纵(多个)镜118，以将反射光束114光栅扫描到诸如屏幕、墙壁、椅子背面等表面上，从而形成图像130。备选地，光栅扫描的反射光束114可以耦合到HMD或HUD的一个或多个光波导的(多个)输入耦合器中，并且波导可以将光引导到将光向外耦合的(多个)输出耦合器，如下面将参考图3描述的。其他变化也是可能的。
扫描显示设备(诸如参考图1描述的设备100)通过创建“虚拟像素”(在下文中简称为像素)起作用。每个像素是双轴镜的位置(或两个单轴镜的位置)、以及驱动产生被(多个)镜118反射的光束的光源的一个或多个发光元件(例如，激光二极管)的信号的大小(幅度和/或脉冲宽度)的函数。光源的(多个)发光元件可以被快速脉冲化，以在高分辨率显示器中创建每个像素。在支持数据带宽以处理和驱动每个像素时会消耗很大一部分显示功率。
本文中使用的术语“像素密度”是指每单位空间的像素数，空间可以是角空间或投影空间。传统上，由扫描显示设备产生的图像的像素密度在整个图像上基本相同。因此，当期望增加图像的像素密度时，传统上，增加整个图像的像素密度。这会增加处理成本和功耗成本，这至少是部分相关的。例如，如果要将像素数增加约50％，例如从600×600像素(即，360,000像素)增加到735×735像素(即，540,225像素)，则图像处理器(例如，图1中的104)需要每帧渲染大约180,000个其他像素，这增加了与渲染像素相关联的功耗量。此外，由于显示的像素数增加了约50％，因此这也会增加显示像素所消耗的电量。
为了减少渲染针对图像的帧的像素数据所需要的时间和功率的量，可以执行凹式渲染，其利用以下事实：人眼的分辨率在中央凹(中央视场区域)中最高，而在周边区域(也可以称为非中央凹区域)中较低。结果，如果设备使用眼睛跟踪器检测用户眼睛的注视方向，则可以通过渲染在注视方向具有较高分辨率而在其他位置具有较低分辨率的图像来减少计算负荷。图像的具有较高分辨率的部分可以称为中央凹区域，而图像的具有较低分辨率的部分可以称为非中央凹区域。整个非中央凹区域的分辨率可以相同。备选地，非中央凹区域可以细分为两个或更多个区域，每个区域具有不同的分辨率。根据某些实施例，中央凹区域的位置可以是固定的，例如，可以假定用户的眼睛注视图像的中央(或某个其他部分)，并且中央凹区域可以是图像的中央(或某个其他部分)。根据备选实施例，中央凹区域的位置可以例如基于由眼睛跟踪器确定的用户眼睛的注视方向来动态地调节。另一种可能性是，将中央凹区域移动到感兴趣的位置，例如，以便将用户的注视引向感兴趣的位置。其他变化也是可能的。
当执行凹式渲染以减少与渲染相关联的计算负荷时，通常仍然显示相同数目的像素。换言之，即使在以凹式方式渲染像素的情况下，显示器本身通常也不会调节所显示的像素的数目。而是，位于图像的非中央凹部分内的一组或一块相邻显示像素(例如，一组3×3像素)可以全部相同。结果，显示了相同数目的像素，并且因此，无论是否执行了凹式渲染，显示图像的像素所消耗的功率通常是相同的。
下面说明的本技术的某些实施例在非中央凹区域内显示少于在中央凹区域内的像素，这可以减少与渲染和显示图像相关联的功耗量。更具体地，根据本技术的某些实施例，与光栅扫描非中央凹区域相比，使用更多数目的激光束来光栅扫描图像的中央凹区域。例如，两个激光束可以用于光栅扫描中央凹区域，而仅一个激光束用于光栅扫描非中央凹区域。在这样的实施例中，中央凹区域内的线密度将是非中央凹区域内的线密度的两倍。在中央凹和非中央凹区域内每行像素相同的情况下，这将导致中央凹区域的像素密度是非中央凹区域的两倍。每行的像素也可以在中央凹区域中增加，与非中央凹区域相比，这可以导致中央凹区域中的像素密度的更大增加。
在图1中，标记为132的虚线框示出了图像130的示例性中央凹区域，并且虚线框132外部的区域是图像130的非中央凹区域的示例。在图1中，图像130的第一部分130a被示出为与中央凹区域132相对应，图像130的第二部分130b被示出为与非中央凹区域相对应。
仍然参考图1，由光源112a产生的光束114a(示出为实线)被示出为用于扫描非中央凹区域，并且更一般地，扫描图像130的第二部分130b。当图像130的第二部分130b被扫描时，光源112b和112c被关闭，或者更具体地，未被光源驱动器108b和108c驱动。由光源112b和112c产生的光束114b和114c(分别以点划线和虚线示出)被示出为都用于同时光栅扫描中央凹区域，并且更一般地光栅扫描图像130的第一部分130a。当图像130的第一部分130a被扫描时，光源112a被关闭，或者更具体地，未被光源驱动器108a驱动。当两个光源112b和112c都打开时，它们的光束114b和114c都以基本相同的入射角指向并且入射在(多个)MEMS镜118中的同一MEMS镜上，其中存在小的空间偏移。
换言之，当图像130的第一部分130a被光栅扫描时，光源108b和108c都由其相应光源驱动器108b和108c驱动，以产生相应的光束114b和114c，其中第一部分130a可以对应于中央凹区域132。相反，当图像130的第二部分130b(可以对应于非中央凹区域)被光栅扫描时，只有一个光源(即，光源112a)由光源驱动器108a驱动以产生光束114a。以这种方式，两个光束114b和114c用于光栅扫描中央凹区域，而仅一个光束114a用于光栅扫描非中央凹区域。这导致与中央凹区域132相对应的第一部分130a内的线密度是与非中央凹区域相对应的第二部分130b内的线密度的两倍。注意，使用多于两个光束(例如，三个光束)来扫描中央凹区域以进一步增加中央凹区域中的线密度也在本技术的实施例的范围内。然而，为了简化下面的讨论，将假定使用仅两个光束来扫描中央凹区域，并且使用仅一个光束来扫描非中央凹区域。
为了使用光束114b和114c两者来光栅扫描图像130的第一部分130a，图像处理器104产生第一像素数据和第二像素数据，第一像素数据和第二像素数据被提供给光源驱动器112b和112c，并且由光源驱动器112b和112c使用以分别产生用于光栅扫描第一部分130a的光束114b和114c。例如，在光源包括红、绿和蓝激光二极管的情况下，提供给驱动该光源的光源驱动器，并且由该光源驱动器使用的像素数据可以包括红、绿和蓝像素数据。为了仅使用光束114a来光栅扫描图像130的第二部分130b，图像处理器104产生另外的像素数据，另外的像素数据被提供给光源驱动器108a，并且由光源驱动器108a使用以产生用于仅光栅扫描图像130的第二部分130b的光束112a。图像处理器104可以执行凹式渲染，该凹式渲染在图像130的第一部分130a内产生比在图像130的第二部分130b内更大的图像分辨率。与以中央凹区132的图像分辨率来渲染整个图像相比，这减少了图像处理的量和执行图像处理所消耗的功率的量。
根据某些实施例，在图像130的第二部分130b由MEMS扫描仪124光栅扫描的时间段内，图像处理器104不向光源驱动器108b和108c提供像素数据和/或禁用光源驱动器108b和108b。因此，当MEMS扫描仪124正在光栅扫描图像130的第二部分130b时，光源驱动器108b和108c不驱动光源112b和112c，因此，光源112b和112c不产生其光束114b、114c。与在图像130的整个光栅扫描期间驱动所有光源112a、112b和112c相比，这减少了驱动光源112消耗的功率量。更一般地，在图像130的第二部分130b被光栅扫描的时间段内，由光源112a产生的光束114a(示出为实线)指向并且入射在(多个)MEMS镜118中的一个上，并且光源112b和112c被关闭。相反，在图像130的第一部分130a被光栅扫描的时间段内，分别由光源112b和112c产生的光束114b和114c(分别以点划线和虚线示出)都指向并且入射在(多个)MEMS镜118中的一个上，并且光源112a被关闭。
根据某些实施例，由光源112b和112c产生并且用于扫描中央凹区域132的光束114b和114c分别具有比由光源112a产生的用于扫描非中央凹区域的光斑尺寸更小的光斑尺寸。与非中央凹区域相比，中央凹区域132中允许更高的调制传递函数(MTF)。例如，由光源112a产生的光斑尺寸的面积可以约为由光源112b和112c中的每个产生的光斑尺寸的面积的两倍。对于另一示例，由光源112a产生的光斑尺寸的直径可以大约是由光源112b和112c中的每个产生的光斑尺寸的直径的两倍。其他变化也是可能的。
在某些实施例中，一个或多个光源112可以产生不同宽度的光束，从而导致期望的不同光斑尺寸。例如，这可以使用不同尺寸的发光元件和/或光学器件来实现。
图2示出了根据本技术的另一实施例的扫描显示设备200，其可以使用两个光束来光栅扫描图像的第一部分，并且使用仅一个光束(用于扫描第一部分的两个光束中)来光栅扫描图像的第二部分，从而在图像的第一部分中提供比在图像的第二部分中更大的线密度，并且从而提供更高的分辨率。图2中与图1中相同的组件被标记为相同并且不再赘述，除了组件被配置为不同地操作。图1与图2之间的比较示出了图2中的扫描显示设备200与图1中的扫描显示设备100之间的区别在于，图2中的扫描显示设备200不包括光源驱动器108c和光源112c。而是，扫描显示设备200被示出为仅包括两个光源驱动器(即，108a和108b)以及仅两个光源(即，112a和112b)。
在图2的实施例中，扫描显示设备200使用两个光束114a和114b(由两个光源112a和112b产生)来扫描图像的第一部分130a，并且使用两个光束114a和114b(由两个光源112a和112b产生)中的仅一个来扫描图像的第二部分130b。更具体地，在图2的实施例中，仅光束114a用于扫描图像的第二部分130b。因此，在图2的实施例中，光束114a被打开并且用于光栅扫描图像130的第一部分130a和第二部分130b。这与图1的实施例不同，其中没有相同的光束被用于光栅扫描图像130的第一部分130a和第二部分130b。
在参考图1和2描述的实施例中，当图像130的第一部分130a由MEMS扫描仪124光栅扫描时，光源驱动器108中的两个光源驱动器驱动光源112中的两个光源，从而产生两个光束114，而当图像130的第二部分130b由MEMS扫描仪124光栅扫描时，仅一个光源驱动器108驱动仅一个光源112，从而产生仅一个光束114。图2的实施例与图1的实施例相比的优点在于，图1的实施例需要少一个光源驱动器108和少一个光源112，从而可能减少零件数量、尺寸、重量和成本。然而，图1的实施例与图2的实施例相比的优点在于，在图1的实施例中，可以使得用于光栅扫描图像130的第一部分130a的两个光束114中的每个的光斑尺寸小于用于光栅扫描图像的第二部分130b的一个光束114的光斑尺寸，这可以在如上所述可以对应于中央凹区域的图像130的第一部分130a中提供更高的MTF。
如上所述，图2的扫描显示设备200可以使用光束114a和114b两者来光栅扫描图像130的第一部分130a，并且仅使用光束114a来光栅扫描图像的第二部分130b。根据一个实施例，为了实现这一点，图像处理器104产生第一像素数据，第一像素数据被提供给光源驱动器108a，并且由光源驱动器108a使用以产生用于扫描整个图像130(包括第一部分130a和第二部分130b)的光束114a。图像处理器104还产生第二像素数据，第二像素数据被提供给光源驱动器108b，并且由光源驱动器108b使用，以产生用于扫描图像130的第二部分130b而不是图像的第一部分130a的光束114b。如在图1的实施例中那样，图像处理器104可以执行凹式渲染，该凹式渲染在图像130的第一部分130a内产生比在图像130的第二部分130b内更大的图像分辨率。与以中央凹区域132的图像分辨率来渲染整个图像相比，这减少了图像处理的量和执行图像处理所消耗的功率的量。
根据某些实施例，在图像130的第二部分130b由MEMS扫描仪124光栅扫描的时间段内，图像处理器104不向光源驱动器108b提供像素数据和/或禁用光源驱动器108b。因此，当MEMS扫描仪124光栅扫描图像130的第二部分130b时，光源驱动器108b不驱动光源112b，因此，光源112b不产生光束114b。与在图像130的整个光栅扫描期间驱动光源112a和112b相比，这减少了驱动光源112消耗的功率量。更一般地，在图像130的第二部分130b被光栅扫描的时间段内，由光源112a产生的光束114a(示出为实线)指向并且入射在(多个)MEMS镜118中的一个上，并且光源112b被关闭。相反，在图像130的第一部分130a被光栅扫描的时间段内，分别由光源112a和112b产生的光束114a和114b(分别以实线和点划线示出)都指向并且入射在(多个)MEMS镜118中的一个上。
如上所述，具有较大的线和像素密度的图像130的第一部分130a可以对应于中央凹区域，而具有较小的线和像素密度的图像130的第二部分130b可以对应于非中央凹区域。根据某些实施例，中央凹区域的位置可以是固定的，例如，可以假定用户的眼睛正注视图像的中央(或某个其他部分)，并且中央凹区域可以是图像的中央(或某个其他部分)。例如，参考图1和2，图像130的第一部分130a被示出为以图像130的中央的位置为中心。根据备选实施例，中央凹区域的位置不是固定的，中央凹区域的位置可以例如基于由眼睛跟踪器确定的用户眼睛的注视方向来动态地调节。例如，响应于确定注视从图像的中央过渡到图像的左下部分内的位置，可以相应地改变中央凹区域的位置，使得图像中眼睛注视的位置通常在中央凹区域的中央。另一种可能性是，将中央凹区域移动到感兴趣的位置，例如，以便将用户的注视引向感兴趣的位置。其他变化也是可能的。
人眼在感知亮度时实质上是对入射在眼睛上的光进行整合。这就是为什么人眼通常无法感知其亮度由幅度调制来控制的像素、其亮度由脉冲宽度调制来控制的像素和其亮度由幅度和脉冲宽度调制的组合来控制的像素之间的差异的原因。由于人眼感知亮度的方式，如果未正确补偿，则可以感觉到密度较大的图像部分要比密度较小的图像部分明显更亮，这可能会对整体图像质量产生不利影响。举一个简单的示例，假定图像的整个帧具有相同的颜色(例如，绿色)和相同的亮度。如果用于在密度较大的图像部分中生成像素的像素数据中包括的大小信息与用于在密度较小的另一图像部分中生成像素的像素数据中包括的大小信息相同，则密度较大的图像部分对于正在查看图像的眼睛会显得更亮。根据本技术的某些实施例，以使得能够补偿这种情况的方式来产生像素数据(例如，由图1中的图像处理器104)。在图像的第一部分的线密度是图像的第二部分的两倍的情况下，图像处理器104可以选择用于驱动光源112的发光元件的大小，以补偿图像的第一部分和第二部分的亮度如何受到使用两个光束114来光栅扫描图像的第一部分而使用仅一个光束114来光栅扫描图像的第二部分的影响。此外，在光束114的光斑尺寸不相同的情况下，图像处理器104在选择用于驱动光源、更具体地是其发光元件的适当大小时也应当考虑到这一点。
不管实施例如何，图像处理器104优选地为各种光源驱动器108产生像素数据，以确保中央凹区域与非中央凹区域之间的过渡被平滑地且基本无缝地混合，使得观看者不会被过渡分散注意力。此外，图像处理器104应当确保在中央凹区与非中央凹区之间感知到的亮度和色域相匹配。
如上所述，也可以被称为扫描显示引擎或更一般地称为显示引擎的扫描显示设备100或200可以与便携式设备集成或者附接到便携式设备，诸如但不限于移动电话、智能电话、便携式计算机(例如，笔记本电脑、上网本或平板电脑)、PDA或便携式媒体播放器(例如，DVD播放器)。同样如上所述，扫描显示设备100或200备选地与非便携式设备集成或者附接到非便携式设备，诸如台式计算机、媒体播放器或汽车平视显示器。扫描显示设备100或200也可以是VR或AR HMD或HUD的一部分，并且扫描显示设备100也可以产生可以由HMD的佩戴者或HUD的观察者查看的虚拟图像。由扫描显示设备100或200产生的图像可以被投影到屏幕或其他表面上。备选地，与由扫描显示设备100或200产生的图像相对应的光可以被耦合到一个或多个光波导中，并且在通过全内反射(TIR)的方式行进通过(多个)波导之后，可以从(多个)波导耦合出，使得光从与(多个)波导相关联的输出瞳孔输出和成像，例如，如参考图3示出和描述的。
图3是根据本技术的实施例的示例性显示系统302的侧视图。显示系统302被示出为包括标记为300R、300G、300B的三个光波导、以及生成包括角度内容的图像的显示引擎304，该角度内容通过相应的输入耦合器312R、312G和312B耦合到波导300R、300G和300B中。显示引擎304可以被实现为或包括扫描显示设备100或200。图3还示出了人眼314，该人眼314正在接近输出耦合器316R、316G和316B的眼盒内观看图像(作为虚拟图像)。用另一种方式解释，人眼314正在从与波导300R、300G和300B相关联的输出瞳孔观看图像。显示系统302可以是例如近眼显示器(NED)或平视显示器(HUD)系统，但不限于此。
光波导300R、300G和300B可以分别被配置为将与图像相对应的红色、绿色和蓝色光从输入瞳孔传输到输出瞳孔。更具体地，波导300R的输入耦合器312R可以被配置为将红色波长范围内的光(对应于扫描图像)耦合到波导300R中，并且波导300R的输出耦合器316R可以被配置为将红色波长范围内的光(对应于图像)(已经通过TIR从输入耦合器312R行进到输出耦合器316R)耦合出波导300R。类似地，波导300G的输入耦合器312G可以被配置为将绿色波长范围内的光(对应于扫描图像)耦合到波导300G中，并且波导300G的输出耦合器316G可以被配置为将绿色波长范围内的光(对应于图像)(已经通过TIR从输入耦合器312G行进到输出耦合器316G)耦合出波导300G。此外，波导300B的输入耦合器312B可以被配置为将蓝色波长范围内的光(对应于扫描图像)耦合到波导300B中，并且波导300B的输出耦合器316B可以被配置为将蓝色波长范围内的光(对应于图像)(已经通过TIR从输入耦合器312B行进到输出耦合器316B)耦合出波导300B。根据一个实施例，红色波长范围是从600nm到650nm，绿色波长范围是从500nm到550nm，并且蓝色波长范围是从430nm到480nn。其他波长范围也是可能的。
光波导300R、300G和300B可以统称为波导300，或者个体地称为波导300。两个或更多个波导300可以称为波导组件301。更具体地，多个波导可以背对背堆叠300以提供波导组件301。波导组件301的相邻波导300之间的距离可以例如在大约50微米(μm)到300μm之间，但不限于此。尽管没有具体示出，但是间隔件可以位于相邻波导300之间，以在它们之间保持期望的间隔。输入耦合器312G、312R和312B可以统称为输入耦合器312，或者个体地称为输入耦合器312。类似地，输出耦合器316G、316R和316B可以统称为输出耦合器316，或者个体地称为输出耦合器316。虽然波导组件301被示出为包括三个波导300，但是波导组件也可以包括多于或少于三个波导。
在图3中，点划线箭头322R表示与由显示引擎304输出的图像相对应的红色(红)光，虚线箭头322G表示与由显示引擎304输出的图像相对应的绿色(绿)光，实线箭头322B表示与由显示引擎304输出的图像相对应的蓝色(蓝)光。虽然红、绿和蓝光(322R、322G和322B)被示出为在空间上彼此错开，但是可以不是这种情况，以这种方式绘制图3，使得可以分别表示红、绿和蓝光。离开显示引擎304的红、绿和蓝光(322R、322G和322B)更可能彼此完全重叠。此外，虽然波导300R、300G和300B被示出为以特定顺序堆叠，但是可以改变堆叠波导300的顺序。
根据特定实施例，显示引擎304使用上面参考图1描述的扫描显示设备100、或上面参考图2描述的扫描显示设备200、或类似的扫描显示设备来实现。在图3中，显示引擎304被示出为面对波导300的背侧表面310，并且眼睛314被示出为面对与背侧表面310相对且平行的正侧表面308。这提供了潜望镜配置类型，其中光在波导300的第一侧上进入波导，并且在波导300的相对侧处离开波导300。备选地，输入耦合器312和输出耦合器316可以被实现为使得显示引擎304和眼睛314靠近并且面对同一主平面(308或310)。
波导组件301可以并入透视混合现实显示设备系统中，但不限于与其一起使用。可以为用户的左眼和右眼中的每个提供波导组件301和显示引擎304的单独实例。在某些实施例中，这样的波导组件301可以被定位在透明透镜的旁边或之间，该透明透镜可以是在眼镜中使用的标准透镜，并且可以被制成任何处方(prescription)(不包括任何处方)。在透视混合现实显示设备系统被实现为包括框架的头戴式显示器(HMD)眼镜的情况下，显示引擎304可以位于框架的侧面，从而位于用户的太阳穴附近。备选地，显示引擎304可以位于HMD眼镜的位于用户的鼻梁上方的中央部分中。显示引擎304的其他位置也是可能的。在这些情况下，用户也可以称为佩戴者。在针对用户的左眼和右眼中的每个存在单独的波导组件的情况下，对于每个波导组件并且因此对于用户的左眼和右眼中的每个，可以存在单独的显示引擎304。如本领域中已知的，一个或多个另外的相邻波导可以用于基于入射在用户的眼睛314上并且从用户的眼睛314反射的红外光来执行眼睛跟踪。
图3中的框306表示可以用于跟踪眼睛注视的眼睛跟踪器。如本领域中已知的，如上所述，眼睛跟踪器306可以利用一个或多个另外的相邻波导以基于入射在用户的眼睛314上并且从用户的眼睛314反射的红外光来执行眼睛跟踪。如本领域中已知的，眼睛跟踪器306也可以不利用任何波导。而是，它们的眼睛跟踪器306可以将光直接引导到眼睛314中，并且检测来自眼睛的直接反射。眼睛跟踪器306可以包括例如发射红外光(或另一波长的光)的光源、以及产生眼睛跟踪数据的光传感器或相机，如本领域中已知的。眼睛跟踪器306可以检测从眼睛314反射并且由摄像机或某种其他专门设计的光学传感器感测的红外光(或另一波长的光)。然后，分析该信息以从反射的变化中提取眼睛旋转。基于视频的眼睛跟踪器通常使用角膜反射(也称为第一浦肯野(purkinje)图像)和瞳孔中央作为随时间进行跟踪的特征。再举一个示例，双浦肯野类型的眼睛跟踪器可以将来自角膜前部(也称为第一浦肯野图像)和晶状体后部(也称为第四浦肯野图像)的反射用作用于跟踪的特征。眼睛跟踪器306可以备选地从眼睛内部对诸如视网膜血管的特征进行成像，并且在眼睛旋转时跟随这些特征。其他类型的眼睛跟踪器的使用和包括也在本文中描述的实施例的范围内。
现在将使用图4的高级流程图来总结根据本技术的各种实施例的可以用于光栅扫描图像的方法。这样的方法与包括双轴MEMS镜或一对单轴MEMS镜的MEMS扫描仪一起使用。参考图4描述的步骤不一定按所示顺序执行。例如，很多步骤可以同时执行。但是，如果某个步骤取决于另一步骤的结果，则可能暗含顺序。
参考图4，步骤402涉及跟踪近眼显示器或平视显示器的用户的眼睛注视，但不限于此。返回图3，眼睛跟踪器305或某种备选类型的眼睛跟踪器可以用于执行步骤402。可以使用任何已知的或将来开发的跟踪眼睛注视的技术，因为参考图4总结的实施例的实现不需要特定的用于跟踪眼睛注视的技术。
步骤404涉及选择要具有比图像的一个或多个其他部分更高的分辨率的图像的一部分。根据某些实施例，图像的被选择为具有较高分辨率的部分基于在步骤402处检测到的眼睛注视位置。例如，以眼睛注视位置为中心的图像的一部分可以被选择为具有更高分辨率。在其他实施例中，具有较高分辨率的图像部分可以是预定的固定位置，例如在图像的中央内。在其他实施例中，具有较高分辨率的图像部分可以是感兴趣的部分，例如，以便将用户的眼睛的注视指向感兴趣的部分。感兴趣的部分可以移动，也可以是静态的。其他变化也是可能的。在步骤604处不使用眼睛注视来选择具有更高分辨率的图像部分时，可以从参考图4概述的方法中省去步骤602(尽管检测到的眼睛注视可以用于与本文中具体描述的实施例无关的其他目的)。此外，在具有更高分辨率的图像部分固定的情况下，可以省略步骤404。
仍然参考图4，步骤406涉及产生像素数据，该像素数据用于控制驱动光源(例如，112)的发光元件以提供图像的特定(例如，选定)部分而不是图像的(多个)其他部分的更高分辨率的定时和大小。可以将大小指定为幅度、脉冲宽度或其组合。在光源包括红色、绿色和蓝色发光元件的情况下，像素数据可以包括为多个光源驱动器(例如，108)中的每个产生并且提供给其的红色、绿色和蓝色像素数据。步骤406可以例如由上面参考图1和2示出和描述的图像处理器104执行。步骤406尤其可以涉及图像的中央凹渲染，并且更具体地是其帧。
步骤408涉及控制MEMS扫描仪的双轴MEMS镜或一对单轴MEMS镜的旋转。步骤408可以例如由图1和2所示的扫描控制器106执行。在步骤402处控制的(多个)MEMS镜可以是图1和2所示的(多个)MEMS镜118。步骤408可以包括控制(多个)MEMS镜在快轴方向和慢轴方向上的旋转，以便使用从(多个)MEMS镜反射的光束来光栅扫描图像。
步骤410涉及当图像的第一部分被MEMS扫描仪光栅扫描时，产生指向并且入射在双轴MEMS镜或一对单轴MEMS镜中的一个单轴MEMS镜上的至少两个光束。步骤412涉及当图像的第二部分被MEMS扫描仪光栅扫描时，产生指向并且入射在双轴MEMS镜或一对单轴MEMS镜中的一个单轴MEMS镜上的仅一个光束。图像130的第一部分和第二部分的示例在图1和2中分别标记为130a和130b。
根据某些实施例，图像的第一部分(例如，130a)具有第一线密度，并且对应于图像的中央凹区域，并且图像的第二部分(例如，130b)具有低于第一线密度的第二线密度，并且对应于图像的非中央凹区域。
根据某些实施例，诸如上面参考图1所述的实施例，当图像的第二部分(例如，130b)被MEMS扫描仪光栅扫描时产生的仅一个光束(例如，114a)不是当图像的第一部分被MEMS扫描仪光栅扫描时产生的两个光束(例如，114b和114c)中的任一个。根据其他实施例，诸如上面参考图2描述的实施例，当图像的第二部分(例如，130b)被MEMS扫描仪光栅扫描时产生的仅一个光束(例如，114a)是当图像的第一部分被MEMS扫描仪光栅扫描时产生的两个光束(例如，114a和114b)中的一个光束。
根据某些实施例，针对凹式和非凹式内容存在单独的路径，这些路径共同覆盖整个可能的视场，因为用户可以在任何时间查看视场的不同部分。每个路径可以具有其自己的光源，但是可以利用到用户的同一光学路径。在某些实施例中，两个路径共享光源，但是路径中的一个路径还包括一个或多个附加光源。在某些实施例中，沿着路径的某处，例如在(多个)MEMS镜处，将两种内容类型光学地组合。但是，这种设计对于其他显示类型也可能有用。
尽管不限于与AR和VR系统一起使用，但是本技术的实施例与其一起特别有用，因为当中央凹区域中存在高分辨率时，AR和VR系统提供其最佳沉浸感。本文中描述的本技术的实施例提供了一种扫描显示器，其可以支持中央凹区域中的高分辨率和该区域之外的较低分辨率。
注意，以上讨论引入了很多不同的特征和很多实施例。应当理解，上述实施例并非全部互斥。也就是说，上述特征(即使单独描述)也可以在一个或多个实施例中组合。
为了本文档的目的，应当注意，附图中描绘的各种特征的尺寸可以不必按比例绘制。
为了本文档的目的，说明书中对“实施例”、“一个实施例”、“一些实施例”或“另一实施例”的引用可以用于描述不同实施例或同一实施例。
为了本文档的目的，术语“基于”可以被理解为“至少部分基于”。
为了本文档的目的，在没有附加上下文的情况下，对诸如“第一”对象或部分、“第二”对象或部分以及“第三”对象或部分等数字术语的使用可能并不表示对象或部分的顺序，而是可以用于标识目的以标识不同的对象或部分。例如，术语“第一”和“第二”在指代图像的第一部分和第二部分时，并非暗示第一部分在第二部分之前产生或扫描。而是，这些术语用于将图像的一部分与另一部分区分开。
出于说明和描述的目的已经给出了前述详细描述。并不旨在穷举或将本文中要求保护的主题限制为所公开的(多个)精确形式。根据以上教导，很多修改和变化是可能的。选择所描述的实施例是为了最好地解释所公开的技术的原理及其实际应用，从而使得本领域的其他技术人员能够在各种实施例中以适合于预期的特定用途的各种修改来最佳地利用该技术。意图在于，范围由所附权利要求书限定。
尽管已经用特定于结构特征和/或方法动作的语言描述了主题，但是应当理解，所附权利要求书中定义的主题不必限于上述特定特征或动作。相反，上述特定特征和动作被公开作为实现权利要求的示例形式。

Claims (15)

1.一种装置，包括：
MEMS扫描仪，包括双轴MEMS镜或一对单轴MEMS镜；
控制器，被通信地耦合到所述MEMS扫描仪，并且被配置为控制所述MEMS扫描仪的所述双轴MEMS镜或所述一对单轴MEMS镜的旋转；
多个光源，每个光源包括一个或多个发光元件；
多个光源驱动器，每个光源驱动器被配置为选择性地驱动所述光源中的相应一个光源，从而产生被指向并且入射在所述双轴MEMS镜或所述一对单轴MEMS镜中的一个单轴MEMS镜上的相应光束；以及
图像处理器，被通信地耦合到所述光源驱动器中的每个光源驱动器，并且被配置为：
当图像的第一部分被所述MEMS扫描仪光栅扫描时，使得所述光源驱动器中的至少两个光源驱动器驱动所述光源中的至少两个光源，从而产生至少两个光束；以及
当所述图像的第二部分被所述MEMS扫描仪光栅扫描时，使得所述光源驱动器中的仅一个光源驱动器驱动所述光源中的仅一个光源，从而产生仅一个光束。
2.根据权利要求1所述的装置，其中：
所述多个光源包括第一光源、第二光源和第三光源；
所述多个光源驱动器包括第一光源驱动器、第二光源驱动器和第三光源驱动器；以及
所述图像处理器被配置为：
当所述图像的所述第一部分被所述MEMS扫描仪光栅扫描时，使得所述第一光源驱动器不驱动所述第一光源，并且使得所述第二光源驱动器和所述第三光源驱动器分别驱动所述第二光源和所述第三光源，从而产生两个光束；以及
当所述图像的所述第二部分被所述MEMS扫描仪光栅扫描时，使得所述第二光源驱动器和所述第三光源驱动器不驱动所述第二光源和所述第三光源，并且使得所述第一光源驱动器驱动所述第一光源，从而产生仅一个光束。
3.根据权利要求2所述的装置，其中用于光栅扫描所述图像的所述第一部分的所述两个光束中的每个光束的相应光斑尺寸小于用于光栅扫描所述图像的所述第二部分的所述仅一个光束的光斑尺寸。
4.根据权利要求1所述的装置，其中：
所述多个光源包括第一光源和第二光源；
所述多个光源驱动器包括第一光源驱动器和第二光源驱动器；以及
所述图像处理器被配置为：
当所述图像的所述第一部分被所述MEMS扫描仪光栅扫描时，使得所述第一光源驱动器和所述第二光源驱动器分别驱动所述第一光源和所述第二光源，从而产生两个光束；以及
当所述图像的所述第二部分被所述MEMS扫描仪光栅扫描时，使得所述第二光源驱动器不驱动所述第二光源，并且使得所述第一光源驱动器驱动所述第一光源，从而产生仅一个光束。
5.根据权利要求1所述的装置，其中：
所述多个光源中的每个光源包括被配置为分别发射红光、绿光和蓝光的红色激光二极管、绿色激光二极管和蓝色激光二极管、以及被配置为将所述红光、所述绿光和所述蓝光组合成所述光束的一个或多个光学元件；以及
其中所述光源驱动器中的每个光源驱动器被配置为选择性地驱动所述光源中的相应一个光源的所述红色激光二极管、所述绿色激光二极管和所述蓝色激光二极管，从而选择性地驱动所述光源中的所述相应一个光源。
6.根据权利要求1所述的装置，其中：
所述图像的所述第一部分具有第一线密度；以及
所述图像的所述第二部分具有低于所述第一线密度的第二线密度。
7.根据权利要求6所述的装置，其中：
所述图像的所述第一部分包括所述图像的中央凹区域；以及
所述图像的所述第二部分包括所述图像的非中央凹区域。
8.根据权利要求1至7中任一项所述的装置，其中所述图像的所述第一部分的位置相对于所述图像的其余部分是固定的。
9.根据权利要求1至7中任一项所述的装置，其中所述图像的所述第一部分的位置相对于所述图像的其余部分是动态的。
10.根据权利要求9所述的装置，其中所述图像的所述第一部分的位置基于眼睛的注视，并且响应于所述注视改变而改变。
11.一种用于与MEMS扫描仪一起使用的方法，所述MEMS扫描仪包括用于光栅扫描图像的双轴MEMS镜或一对单轴MEMS镜，所述方法包括：
控制所述MEMS扫描仪的所述双轴MEMS镜或所述一对单轴MEMS镜的旋转；
当所述图像的第一部分被所述MEMS扫描仪光栅扫描时，产生被指向并且入射在所述双轴MEMS镜或所述一对单轴MEMS镜中的一个单轴MEMS镜上的至少两个光束；以及
当所述图像的第二部分被所述MEMS扫描仪光栅扫描时，产生被指向并且入射在所述双轴MEMS镜或所述一对单轴MEMS镜中的一个单轴MEMS镜上的仅一个光束。
12.根据权利要求11所述的方法，其中：
所述图像的所述第一部分具有第一线密度，并且包括所述图像的中央凹区域；以及
所述图像的所述第二部分具有低于所述第一线密度的第二线密度，并且包括所述图像的非中央凹区域。
13.根据权利要求11或12所述的方法，其中当所述图像的所述第二部分被所述MEMS扫描仪光栅扫描时产生的所述仅一个光束不包括当所述图像的所述第一部分被所述MEMS扫描仪光栅扫描时产生的所述两个光束中的任何光束。
14.根据权利要求11或12所述的方法，其中当所述图像的所述第二部分被所述MEMS扫描仪光栅扫描时产生的所述仅一个光束包括当所述图像的所述第一部分被所述MEMS扫描仪光栅扫描时产生的所述两个光束中的一个光束。
15.根据权利要求11或12所述的方法，其中所述图像的所述第一部分的位置相对于所述图像的其余部分是动态的，并且所述方法还包括：
跟踪眼睛的注视；以及
基于所述跟踪的注视来选择所述图像的所述第一部分的位置；
其中所述图像的所述第一部分的所述位置响应于所述跟踪的注视改变而改变。
CN201880024395.5A 2017-04-11 2018-04-02 凹式mems扫描显示器 Pending CN110537132A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/485,030 2017-04-11
US15/485,030 US10499021B2 (en) 2017-04-11 2017-04-11 Foveated MEMS scanning display
PCT/US2018/025616 WO2018191040A1 (en) 2017-04-11 2018-04-02 Foveated mems scanning display

Publications (1)

Publication Number Publication Date
CN110537132A true CN110537132A (zh) 2019-12-03

Family

ID=62063196

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880024395.5A Pending CN110537132A (zh) 2017-04-11 2018-04-02 凹式mems扫描显示器

Country Status (4)

Country Link
US (1) US10499021B2 (zh)
EP (1) EP3610318B1 (zh)
CN (1) CN110537132A (zh)
WO (1) WO2018191040A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111489659A (zh) * 2020-04-23 2020-08-04 歌尔光学科技有限公司 显示装置、显示方法及计算机可读存储介质

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6909874B2 (ja) 2017-05-29 2021-07-28 アイウェイ ビジョン リミテッドＥｙｅＷａｙ Ｖｉｓｉｏｎ Ｌｔｄ． 画像投影システム
EP3438525B1 (de) * 2017-08-04 2020-01-08 Atlas Material Testing Technology GmbH Beleuchtungsvorrichtung für simulationsanordnung für kraftfahrzeugunfälle
WO2019082510A1 (ja) * 2017-10-23 2019-05-02 ソニー株式会社 表示制御装置、ヘッドマウントディスプレイ、表示制御方法およびコンピュータプログラム
US10469813B2 (en) 2017-12-21 2019-11-05 Stmicroelectronics S.R.L. Light source response compensation for light projection system using a graphics processing unit
DE102018200696A1 (de) * 2018-01-17 2019-07-18 Robert Bosch Gmbh Vorrichtung und Verfahren zum Projizieren eines Bildes
US10614734B2 (en) * 2018-03-06 2020-04-07 Varjo Technologies Oy Display apparatus and method of displaying using controllable scanning mirror
US11875714B2 (en) * 2018-09-14 2024-01-16 Apple Inc. Scanning display systems
US10897601B2 (en) * 2018-12-19 2021-01-19 Microsoft Technology Licensing, Llc Display projector with non-uniform pixel resolution
WO2021079517A1 (ja) * 2019-10-25 2021-04-29 日本電気株式会社 画像生成装置、画像生成方法、及びプログラム
US11054635B1 (en) 2020-02-13 2021-07-06 Stmicroelectronics Ltd Synchronization of MEMS projector slow axis mirror to input video frame rate
US11270632B2 (en) * 2020-08-05 2022-03-08 Jade Bird Display (shanghai) Limited Scan needle and scan display system including same
DE102020127594A1 (de) 2020-10-20 2022-04-21 Robert Bosch Gesellschaft mit beschränkter Haftung Optische anordnung einer datenbrille
WO2022163282A1 (ja) * 2021-01-29 2022-08-04 ソニーグループ株式会社 表示装置
IT202100002153A1 (it) * 2021-02-02 2022-08-02 Theoresi S R L Start Up Costituita A Norma Dellart 4 Comma 10 Bis Del D L 24/01/2015 N 3 Apparato laser per la segnalazione luminosa dinamica e programmabile
EP4167018A1 (en) * 2021-10-13 2023-04-19 TriLite Technologies GmbH Display apparatus
CN114063512B (zh) * 2021-11-15 2023-09-19 中国联合网络通信集团有限公司 维保业务指导与监控方法、云平台、ar眼镜与系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1455883A (zh) * 2000-11-03 2003-11-12 微视有限公司 具有变化补偿扫描的显示器
US6856445B2 (en) * 2003-06-24 2005-02-15 Microsoft Corporation Rastering arrays of MEMS optical display systems
US20120105310A1 (en) * 2010-11-03 2012-05-03 Trex Enterprises Corporation Dynamic foveal vision display

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002542505A (ja) 1999-04-08 2002-12-10 ニューヨーク ユニバーシティ 超解像力を有する中心窩画像表示装置
US6515781B2 (en) 1999-08-05 2003-02-04 Microvision, Inc. Scanned imaging apparatus with switched feeds
US7252394B1 (en) * 2003-07-03 2007-08-07 Advanced Numicro Systems, Inc. Laser projection display and illumination device with MEMS scanning mirror for indoor and outdoor applications
US20100149073A1 (en) 2008-11-02 2010-06-17 David Chaum Near to Eye Display System and Appliance
US8488246B2 (en) 2010-02-28 2013-07-16 Osterhout Group, Inc. See-through near-eye display glasses including a curved polarizing film in the image source, a partially reflective, partially transmitting optical element and an optically flat film
WO2013012578A1 (en) 2011-07-17 2013-01-24 Ziva Corporation Optical imaging with foveation
US9921396B2 (en) 2011-07-17 2018-03-20 Ziva Corp. Optical imaging and communications
US9030583B2 (en) 2011-09-21 2015-05-12 Semiconductor Components Industries, Llc Imaging system with foveated imaging capabilites
KR102223290B1 (ko) 2012-04-05 2021-03-04 매직 립, 인코포레이티드 능동 포비에이션 능력을 갖는 와이드-fov(field of view) 이미지 디바이스들
US9398229B2 (en) 2012-06-18 2016-07-19 Microsoft Technology Licensing, Llc Selective illumination of a region within a field of view
US9727991B2 (en) 2013-03-01 2017-08-08 Microsoft Technology Licensing, Llc Foveated image rendering
WO2014155288A2 (en) 2013-03-25 2014-10-02 Ecole Polytechnique Federale De Lausanne (Epfl) Method and apparatus for head worn display with multiple exit pupils
US20160274365A1 (en) * 2015-03-17 2016-09-22 Thalmic Labs Inc. Systems, devices, and methods for wearable heads-up displays with heterogeneous display quality
JP7062873B2 (ja) * 2016-11-25 2022-05-09 船井電機株式会社 光投射装置
IT201600131865A1 (it) * 2016-12-28 2018-06-28 St Microelectronics Srl Dispositivo micro-elettro-meccanico dotato di una struttura mobile, in particolare microspecchio, e relativo procedimento di fabbricazione

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1455883A (zh) * 2000-11-03 2003-11-12 微视有限公司 具有变化补偿扫描的显示器
US6856445B2 (en) * 2003-06-24 2005-02-15 Microsoft Corporation Rastering arrays of MEMS optical display systems
US20120105310A1 (en) * 2010-11-03 2012-05-03 Trex Enterprises Corporation Dynamic foveal vision display

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111489659A (zh) * 2020-04-23 2020-08-04 歌尔光学科技有限公司 显示装置、显示方法及计算机可读存储介质
CN111489659B (zh) * 2020-04-23 2022-03-25 歌尔光学科技有限公司 显示装置、显示方法及计算机可读存储介质

Also Published As

Publication number Publication date
US10499021B2 (en) 2019-12-03
EP3610318B1 (en) 2023-04-19
WO2018191040A1 (en) 2018-10-18
US20180295331A1 (en) 2018-10-11
EP3610318A1 (en) 2020-02-19

Similar Documents

Publication Publication Date Title
CN110537132A (zh) 凹式mems扫描显示器
CN110506230A (zh) 宽视场扫描显示器
Kim et al. Foveated AR: dynamically-foveated augmented reality display.
US11336888B2 (en) Multi-view collimated display
US9986215B1 (en) Laser scan beam foveated display
JP6184983B2 (ja) 画像生成システム及び画像生成方法
CN110520781A (zh) 可转向中央凹显示器
CA2976905A1 (en) Systems, devices, and methods for eyebox expansion in wearable heads-up displays
TW200835321A (en) Enhanced image display in head-mounted displays
EP3729182B1 (en) Eye tracking for head-worn display
US11860359B2 (en) Display system with low-latency pupil tracker
EP3514606A1 (en) Eye tracking for head-worn display
Kiyokawa An introduction to head mounted displays for augmented reality
US20240019710A1 (en) Optical system for a virtual retinal scan display and method for projecting image contents onto a retina
GB2569600A (en) Eye tracking for head-worn display

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination