CN110447063A - 激光扫描束凹形显示 - Google Patents

激光扫描束凹形显示 Download PDF

Info

Publication number
CN110447063A
CN110447063A CN201880020080.3A CN201880020080A CN110447063A CN 110447063 A CN110447063 A CN 110447063A CN 201880020080 A CN201880020080 A CN 201880020080A CN 110447063 A CN110447063 A CN 110447063A
Authority
CN
China
Prior art keywords
image
described image
scanning
slow
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880020080.3A
Other languages
English (en)
Other versions
CN110447063B (zh
Inventor
J·塔迪夫
J·O·米勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN110447063A publication Critical patent/CN110447063A/zh
Application granted granted Critical
Publication of CN110447063B publication Critical patent/CN110447063B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3188—Scale or resolution adjustment
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0816—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements
    • G02B26/0833—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements the reflecting element being a micromechanical device, e.g. a MEMS mirror, DMD
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/10—Scanning systems
    • G02B26/101—Scanning systems with both horizontal and vertical deflecting means, e.g. raster or XY scanners
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/02—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes by tracing or scanning a light beam on a screen
    • G09G3/025—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes by tracing or scanning a light beam on a screen with scanning or deflecting the beams in two directions or dimensions
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3433—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using light modulating elements actuated by an electric field and being other than liquid crystal devices and electrochromic devices
    • G09G3/346—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using light modulating elements actuated by an electric field and being other than liquid crystal devices and electrochromic devices based on modulation of the reflection angle, e.g. micromirrors
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/18—Timing circuits for raster scan displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3129—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] scanning a light beam on the display screen
    • H04N9/3135—Driving therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/315—Modulator illumination systems
    • H04N9/3155—Modulator illumination systems for controlling the light source
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0147—Head-up displays characterised by optical features comprising a device modifying the resolution of the displayed image
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00—Command of the display device
    • G09G2310/08—Details of timing specific for flat panels, other than clock recovery
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0686—Adjustment of display parameters with two or more screen areas displaying information with different brightness or colours
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Optical Scanning Systems (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

一种装置包括一个或多个MEMS镜、光源驱动器和控制器。光源驱动器选择性地驱动光源的一个或多个发光元件，以从而产生被引导朝向相同MEMS镜的光束。控制器控制(多个)MEMS镜在快轴方向和慢轴方向上的旋转，以便使用从(多个)MEMS镜反射的光束来对图像进行光栅扫描。为了在被光栅扫描的图像的第一部分中实现第一线密度，并且在被光栅扫描的图像的第二部分实现小于第一线密度的第二线密度，控制器动态地调整(多个)MEMS镜中的一个MEMS镜在所述慢轴方向上旋转的速度。本文还公开了相关的系统和方法。

Description

激光扫描束凹形显示
背景技术
扫描显示设备通过创建“虚拟像素”来起作用，每个“虚拟像素”根据双轴镜的位置(或两个单轴镜的位置)和驱动光源的一个或多个发光元件(例如，激光二极管)的信号的幅度而变化，该光源产生由(多个)镜反射的光束。光源的(多个)发光元件可以被快速脉冲，以创建高分辨率显示器中的每个像素。显示功率的很大部分被消耗在支持用以处理和驱动每个像素的数据带宽中。
常规地，由扫描显示设备产生的图像的像素密度贯穿整个光栅扫描的图像是基本上相同的。因此，当已经有增加图像的像素密度的期望时，常规上整个图像的像素密度已经增加，这可以增加处理成本和功耗成本两者。
发明内容
根据本技术的某些实施例，一种装置(例如，扫描显示设备)包括一个或多个MEMS镜、光源驱动器和控制器。光源驱动器(例如，激光二极管驱动器)被配置为选择性地驱动光源的一个或多个发光元件(例如，激光二极管)，以从而产生被引导朝向该一个或多个MEMS镜中的相同MEMS镜的光束。一个或多个MEMS镜可以例如是单个双轴MEMS镜，或是两个单轴MEMS镜。控制器被配置为控制(多个)MEMS镜在快轴方向和慢轴方向上的旋转，以便使用从(多个)MEMS镜反射的光束来对图像进行光栅扫描。根据某些实施例，控制器被配置为动态地调整MEMS镜在慢轴方向上旋转的速度，以便在被光栅扫描的图像的第一部分中实现第一线密度，并且在被光栅扫描的图像的第二部分中实现第二线密度，第二线密度小于第一线密度。
根据某些实施例，图像的第一部分(具有较大的线密度)包括图像的中央凹(foveal)区域，并且图像的第二部分(具有较低或较小的线密度)包括非中央凹区域。图像的第一部分的位置可以相对于图像的其余部分是固定的。备选地，图像的第一部分的位置可以相对于图像的其余部分是动态的，例如，通过基于由使用眼睛跟踪器而确定的眼睛的注视。更具体地，眼睛跟踪器可以被配置为确定眼睛的注视，并且控制器可以被配置为基于由眼睛跟踪器确定的眼睛的注视，确定图像的第一部分的位置。
该装置还可以包括图像处理器，其被配置为产生像素数据，该像素数据被提供给光源驱动器，并且由光源驱动器使用，以控制光源的一个或多个发光元件何时被驱动的定时以及被驱动的幅度。根据某些实施例，图像处理器产生像素数据以控制光源的一个或多个发光元件被驱动的幅度，以补偿图像的部分的亮度如何受到控制器调整一个或多个MEMS镜中的一个MEMS镜在慢轴方向上旋转的速度的影响。这样做是为了确保图像的具有较大线密度的某些部分不会不适当地比图像的具有较低或较小线密度的其他部分更亮。图像处理器还可以执行凹形绘制(foveated rendering)，并且更具体地，图像处理器可以被配置为产生像素数据，该像素数据在被光栅扫描的图像的第一部分中提供比在被光栅扫描的图像的第二部分中高的图像分辨率。
根据本技术的一个实施例的方法包括：选择性地驱动光源的一个或多个发光元件，以从而产生被引导朝向一个或多个MEMS镜中的相同MEMS镜的光束。这种方法还包括：控制一个或多个MEMS镜在快轴方向和慢轴方向上的旋转，以便使用从该一个或多个MEMS镜反射的光束来对图像进行光栅扫描。根据某些实施例，该控制包括：调整一个或多个MEMS镜中的一个MEMS镜在慢轴方向上旋转的速度，以便在被光栅扫描的图像的第一部分中实现第一线密度，并且在被光栅扫描的图像的第二部分中实现小于第一线密度的第二线密度。根据某些实施例，图像的第一部分(具有较大的线密度)包括图像的中央凹区域，图像的第二部分(具有较低或较小的线密度)包括图像的非中央凹区域。图像的第一部分的位置可以相对于图像的其余部分是固定的。备选地，图像的第一部分的位置可以相对于图像的其余部分是动态的，例如，通过基于使用眼睛跟踪器而确定的眼睛的注视。更具体地，可以执行眼睛跟踪以确定眼睛的注视，并且可以基于眼睛的注视来确定图像的第一部分的位置。
一种方法还可以包括产生像素数据，该像素数据用于控制光源的一个或多个发光元件何时被驱动的定时以及被驱动的幅度，使得像素数据在被光栅扫描的图像的第一部中提供比在被光栅扫描的图像的第二部分中高的图像分辨率。在某些这样的实施例中，产生像素数据包括：选择光源的一个或多个发光元件被驱动的幅度，以补偿图像的部分的亮度如何受到对一个或多个MEMS镜中的一个MEMS镜在慢轴方向上旋转的速度的调整的影响。
本技术的某些实施例涉及近眼或抬头显示系统，其包括一个或多个MEMS镜、包括有一个或多个发光元件的光源、光源驱动器和控制器。光源驱动器被配置为选择性地驱动光源的一个或多个发光元件，以从而产生被引导朝向该一个或多个MEMS镜中的相同MEMS镜的光束。控制器被配置为控制一个或多个MEMS镜在快轴方向和慢轴方向上的旋转，以便使用从该一个或多个MEMS镜反射的光束来对图像进行光栅扫描。
根据某些实施例，近眼或抬头显示系统还包括一个或多个光学波导，该一个或多个光学波导中的每个光学波导包括输入耦合器和输出耦合器。在控制器的控制下，与使用从(多个)MEMS镜反射的光束而被光栅扫描的图像相对应的光经由一个或多个光学波导的(多个)输入耦合器被耦合到该一个或多个光学波导中。经由(多个)输入耦合器被耦合到一个或多个光学波导中的、与图像相对应的光至少部分地通过全内反射(TIR)从(多个)输入耦合器行进到一个或多个光学波导的(多个)输出耦合器。(多个)输出耦合器被配置为将已经在(多个)光学波导内从(多个)输入耦合器行进到(多个)输出耦合器的、与图像相对应的光从(多个)光学波导耦合出，以便该图像可以通过眼睛来查看。根据某些实施例，控制器被配置为动态地调整一个或多个MEMS镜中的一个MEMS镜在慢轴方向上旋转的速度，以便在被光栅扫描的图像的第一部分中实现比在被光栅扫描的图像的第二部分中大的线密度。
提供本发明内容是为了以简化的形式介绍概念的选择，这些概念将在下面的具体实施方式中进一步被描述。本发明内容不旨在标识所要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求保护的技术方案的范围。
附图说明
图1图示了根据本技术的一个实施例的扫描显示设备。
图2A示出了常规的慢和快扫描控制波形。
图2B示出了角度空间中的常规的扫描轨迹，其可以使用图2A中所示的常规的慢和快扫描控制波形来实现。
图3A示出了根据本技术的一个实施例的慢和快扫描控制波形，其中慢扫描控制波形具有包括不同斜率的分段线性部分。
图3B示出了根据本技术的一个实施例的角度空间中的扫描轨迹，其使用图3A中所示的慢和快扫描控制波形来实现。
图4示出了根据本技术的另一实施例的慢和快扫描控制波形，其中慢扫描控制波形具有变化斜率的非线性部分。
图5是根据本技术的一个实施例的示例性显示系统的侧视图。
图6是用于概述根据本技术的各种实施例的方法的高级别流程图，该方法可以用于对图像进行光栅扫描，使得该图像包括多于一个线密度。
具体实施方式
图1图示了根据本技术的一个实施例的示例性扫描显示设备100。也可以被称为扫描显示引擎或更一般地被称为显示引擎的扫描显示设备100可以与便携式设备集成或者被附接到便携式设备，便携式设备诸如但不限于移动电话、智能电话、便携式计算机(如，膝上型计算机、上网本或平板计算机)、个人数字助理(PDA)或便携式媒体播放器(例如，DVD播放器)。备选地，扫描显示设备100可以与非便携式设备集成或被附接到非便携式设备，非便携式设备诸如台式计算机、媒体播放器(例如，DVD播放器)或汽车抬头显示器。
扫描显示设备100也可以是虚拟现实(VR)或增强现实(AR)头戴式显示器(HMD)或抬头显示器(HUD)的一部分，并且扫描显示设备100也可以产生可由HMD的佩戴者或HUD的观察者查看的虚拟图像。更具体地，对应于由扫描显示设备100产生的图像的光可以被耦合到一个或多个波导中，并且在以全内反射(TIR)的方式行进通过(多个)波导之后，可以从(多个)波导被耦合出，使得光从与该(多个)波导相关联的输出光瞳被输出和成像。可以被称为透视混合现实显示系统的这种AR设备使得用户能够透视设备的透明或半透明显示器以查看周围环境，并且还能够看到被生成以显示为看起来为周围环境的一部分、和/或叠加在周围环境上的虚拟对象(例如，文本，图形，视频等)的图像。其他变型也是可能的，并且是在本文所描述的本技术的实施例的范围内。
参考图1，扫描显示设备100被示出为包括视频源102、图像处理器104、激光二极管驱动器(LDD)108和电压调节器110。取决于视频源的类型，视频模拟前端(AFE)(未示出)可以被包括在视频源102和图像处理器104之间，并且视频AFE可以例如包括一个或多个模数转换器(ADC)。然而，在视频源102是数字视频源的情况下，可以不需要视频AFE。图像处理器104从视频源102(或视频AFE)接收红色(R)、绿色(G)和蓝色(B)像素数据(或其他颜色的像素数据)、水平同步(Hsync)信号和竖直同步(Vsync)信号。Hsync信号包括帧的每个水平行一个脉冲，其指示一行的结束和下一行的开始。Vsync信号包括每帧一个脉冲，其指示一帧的结束和下一帧的开始。图像处理器104还可以从扫描控制器106，或者备选地直接从MEMS扫描设备122，接收指示(多个)镜118的位置和速度的信息。图像处理器104还可以接收眼睛注视信息和/或可以由图像处理器104用于执行图像的凹形绘制的其他信息。这样的眼睛注视信息可以来自眼睛跟踪设备，或者未在图1中具体示出的子系统。
图像处理器104可以例如使用专用集成电路(ASIC)和/或微控制器来实现。图像处理器104可以在这样的像素数据信号被提供给LDD 108之前，执行R、G和B像素数据(也被简称为RGB像素数据)的缩放和/或预失真。这样的缩放和/或预失真可以包括插值和/或抽取。更一般地，图像处理器104可以执行伽马校正、颜色空间转换、插值和/或抽取。通过考虑实际的扫描轨迹以及(多个)扫描镜118的实际位置，插值和/或抽取可以被执行以将(从视频源102或AFE接收的)输入RGB像素数据映射到被提供给LDD 108的输出RGB像素数据。RGB像素数据的处理(包括插值和/或抽取)可以基于奇数帧还是偶数帧正在被处理和/或基于其他因素而不同。图像处理器还可以执行凹形绘制。
图像处理器104与扫描控制器106通信，扫描控制器106也可以被称为扫描(多个)微镜控制器106、微机电系统(MEMS)控制器或MEMS驱动器。扫描控制器106可以产生水平扫描控制信号(H扫描控制信号)和竖直扫描控制信号(V扫描控制信号)，其用于控制可以是(多个)MEMS镜的一个或多个微镜118的扫描。在使用单个双轴扫描镜118的情况下，H和V扫描控制信号被组合成组合的H和V扫描控制信号，其也可以被称为合成的H和V扫描控制信号，或者扫描控制器106产生组合的H和V扫描控制信号。在使用两个单轴扫描镜118的情况下，H和V扫描控制信号不被组合。组合的H和V扫描控制信号(或单独的H和V扫描控制信号)被提供给MEMS扫描设备122以控制(多个)扫描镜118。下面讨论根据特定实施例的由扫描控制器106产生的信号或波形的附加细节。虽然在图1中被示出为两个单独的块，但将图像处理器104和扫描控制器106组合成一个功能块或电路也在实施例的范围内。
通常，水平扫描比竖直扫描发生快得多，因此，水平扫描有时被称为快轴方向上的扫描，而竖直扫描有时被称为慢轴方向上的扫描。在作为典型的水平扫描比竖直扫描快的情况下，H扫描控制信号也可以被称为快扫描控制信号或波形，而V扫描控制信号也可以被称为慢扫描控制信号或波形。在双轴扫描镜被使用的情况下，相同的镜在快轴方向和慢轴方向上均旋转。在两个单轴扫描镜被使用的情况下，镜中的一个在快轴方向上旋转，并且镜中的另一个在慢轴方向上旋转。
仍然参考图1，电压调节器110(例如，四输出的可调节DC-DC降压-升压调节器)可以将由电压源(例如，电池或AC电源)提供的电压转换为用于为扫描显示设备100的各种组件供电的各种电压水平(例如，四个电压水平V1、V2、V3和V4)。LDD 108被示出为包括三个数模转换器(DAC)1091、1092和1093(其可以被统称为DAC109)。LDD还被示出为包括串行接口111，其可以经由串行总线103从图像处理器104的串行接口接收串行使能(SEN)信号和串行数据时钟信号(SDCLK)。附加地，串行总线103的双向串行数据输入/输出(SDIO)线允许图像处理器104将数据写入LDD 108内的寄存器，并且从LDD 108内的寄存器读取数据。可以使用备选的串行总线和接口，诸如但不限于内置集成电路(I2C)或串行外设接口(SPI)总线和接口。LDD 108还包括未示出的寄存器等。
LDD 108的DAC 109驱动激光二极管112，激光二极管112可以包括但不限于例如红色、绿色和蓝色激光二极管。在LDD 108用于驱动红色(R)、绿色(G)和蓝色(B)激光二极管的情况下，LDD可以被称为RGB三激光二极管驱动器。使用备选类型的发光元件来代替激光二极管是可能，诸如但不限于一个或多个发光二极管(LED)、超辐射发光二极管(SLED)或量子点发光二极管(QD-LED)。因此，作为本文使用的术语，除非另有说明，否则激光二极管驱动器(LDD)可以驱动包括但不限于激光二极管的发光元件(例如，LDD可以备选地驱动LED)。
由激光二极管112或其他发光元件产生的光可以被提供给分束器114，分束器114可以朝向一个或多个校准光检测器(PD)120来引导小百分比的光，并且朝向组合器光学元件116来引导光的剩余部分，组合器光学元件116可以包括二向色透镜、二向色镜、反射板等，其将R、G和B光(和/或一个或多个其他波长的光)组合成单个光束。每个光源112还可以包括准直光学元件。由光学元件116输出的光可以被提供给也被称为(多个)MEMS镜的一个或多个扫描微镜118，其由扫描设备122操纵(例如，旋转)。将红色、绿色和蓝色光(和/或其他波长的光)组合成光束的激光二极管112或其他发光元件以及一个或多个元件(例如，组合器光学元件和准直光学元件)可以在本文被统称为产生光束的光源。在显示器是单色的情况下，光源可以包括单个发光元件，或者产生相同波长的光的多个发光元件。
扫描控制器106可以控制扫描设备122操纵(多个)镜118，以将反射的光光栅扫描到表面上，例如屏幕、墙壁、椅子的背面等上，以从而形成图像130。备选地，被光栅扫描的反射的光可以被耦合到HMD或HUD的一个或多个波导的(多个)输入耦合器中，并且该波导可以将光引导到如将在下面参考图5所描述的那样将光耦出的输出耦合器。其他变型也是可能的。
如上所提到的，(多个)镜118可以例如使用单个扫描镜(通常被称为双轴镜)或使用两个单轴扫描镜来实现。扫描设备122可以包括水平和竖直位置传感器123(例如，压阻式传感器)，水平和竖直位置传感器123向扫描控制器106提供指示(多个)镜118的位置的一个或多个位置反馈信号，以向扫描控制器106提供实时位置信息。位置传感器123也可以是与扫描设备122分开的。位置传感器123可以沿着H轴和V扫描方向，或者更一般地沿着快轴和慢轴扫描方向，感测(多个)镜118的旋转角度。在某些实施例中，扫描设备122使用利用单个驱动线圈(也被称为致动器线圈)的动圈致动来操纵单个双轴扫描镜118。备选地，扫描设备122可以使用两个驱动线圈来操纵两个单轴扫描镜。扫描设备122也可以被称为MEMS设备，(多个)扫描镜118也可以称为(多个)MEMS扫描镜，并且MEMS设备122和(多个)扫描镜118可以被统称为MEMS扫描镜总成，或简称为MEMS扫描仪。
诸如参考图1所描述的设备100的扫描显示设备通过创建“虚拟像素”来起作用，“虚拟像素”将在下文中被简称为像素。每个像素根据双轴镜的位置(或两个单轴镜的位置)和驱动光源的一个或多个发光元件(例如，激光二极管112)的信号的幅度(振幅和/或脉宽)而变化，该光源产生由(多个)镜118反射的光束。可以快速地脉冲光源的(多个)发光元件以产生高分辨率显示器中的每个像素。在支持数据带宽以处理和驱动每个像素时消耗了大部分的显示功率。
本文使用的术语“像素密度”是指每单位空间的像素的数目，该空间可以是角空间或投影空间。常规地，由扫描显示设备产生的图像的像素密度贯穿整个图像基本相同。因此，当已经有增加图像的像素密度的期望时，常规上整个图像的像素密度被增加。这可能增加至少部分地相互关联的处理成本和功耗成本两者。例如，如果像素计数将要增加～50％，例如，从600x 600像素(即，360000像素)增加到735x 735像素(即，540225像素)，则图像处理器(例如，图1中的104)需要每帧绘制大约180000个额外的像素，这增加了与绘制像素相关联的功耗的量。另外，这还可能增加用以显示像素所消耗的功率的量，因为正在显示的像素的数目增加了～50％。
为了减少绘制用于图像的帧的像素数据所需的时间和功率的量，可以执行凹形绘制，这利用了人眼的分辨率在中央凹(中心视野区域)中最高而在周边区域较低的事实，周边区域也可以被称为非中央凹区域。结果，如果设备使用眼睛跟踪器来检测用户眼睛的注视方向，则可以通过绘制在注视方向上具有较高分辨率并且在其他地方具有较低分辨率的图像来减少计算负荷。图像具有较高分辨率的部分可以被称为中央凹区域，并且图像具有较低分辨率的部分可以被称为非中央凹区域。整个非中央凹区域中的分辨率可以是相同的。备选地，非中央凹区域可以被再分为两个或更多个区域，每个区域具有不同的分辨率。根据某些实施例，中央凹区域的位置可以是固定的，例如，可以假设用户眼睛注视着图像的中心(或一些其他部分)并且中央凹区域可以是该图像的中心(或者一些其他部分)。根据备选的实施例，可以例如基于由眼睛跟踪器确定的用户眼睛的注视方向，动态地调整中央凹区域的位置。另一种可能性是将凹形区域移动到感兴趣的位置，以便例如朝向感兴趣的位置来引导用户的注视。其他变型也是可能的。
当凹形绘制被执行以减少与绘制相关联的计算负荷时，通常相同数目的像素仍然被显示。换言之，即使在以凹形方式绘制像素的情况下，显示器本身通常也不会调整所显示的像素的数目。而是，位于图像的非中央凹部分内的相邻显示像素的组或块(例如，3×3像素组)可以全部是相同的。结果，相同数目的像素被显示，因此，无论是否执行了凹形绘制，用以显示图像的像素而消耗的功率通常是相同的。下面说明的本技术的某些实施例在非中央凹区域内显示少于在中央凹区域中的像素，这可以减少与显示图像相关联的功耗的量。然而，在介绍这样的实施例的细节之前，先提供扫描显示设备如何常规操作的附加细节是有用的。这样，可以更好地理解本技术的实施例与常规扫描显示技术之间的区别。
图2A示出了常规的慢和快扫描控制波形202和212，其也可以被称为波束偏转波形。图2B示出了角度空间中的常规扫描轨迹232，其使用图2A中所示的常规的慢和快扫描控制波形202和212来实现。仍然参考图2B，扫描轨迹232在快扫描轴(水平轴)上具有正弦分量，并且在慢扫描轴(竖直轴)上具有锯齿分量。在这样的扫描轨迹232中，光束以正弦图案从左到右以及从右到左地来回扫描，并且以锯齿图案竖直地扫描(顶部到底部)，其具有在回扫(底部到顶部)期间的显示消隐。
再次参考图2A，慢扫描控制波形202被示出为锯齿波形，并且快扫描控制波形212被示出为正弦波形。锯齿的慢扫描控制波形202包括对应于从顶部到底部的竖直扫描的上升部分204，并且还包括对应于从底部到顶部的回扫的下降部分206。在回扫之后，竖直扫描在每个轨迹上穿过基本相同的路径。慢扫描控制波形202的竖直扫描部分的斜率是恒定的，这意味着在图像被光栅扫描时，存在MEMS镜在角度空间中围绕慢轴旋转的恒定速度。换言之，因为慢扫描控制波形202的斜率是恒定的，这使得镜在慢轴方向上以加速度为零的恒定速度旋转。如果从底部到顶部(而不是从顶部到底部)来执行光栅扫描，则与图2A中所示出的波形相比，慢扫描控制波形将被反转。
引起MEMS扫描镜的谐波振荡的正弦的快扫描控制波形212可以用于提供用于扫描显示设备的主时钟。慢扫描控制波形202的定时以及控制回路的定时可以从正弦的快扫描控制波形212的定时得出。
图2A中还示出了竖直消隐波形222。竖直消隐波形222使得扫描光束在回扫期间被消隐(没有像素被显示)，并且在竖直扫描期间不被消隐。虽然未在图2A中示出，还可以存在水平消隐波形，水平消隐波形使得扫描光束在水平扫描的边缘附近被消隐，这对应于当镜的旋转减慢、瞬间停止、改变方向、然后速度增加时。波形202、212和222(以及本文示出和描述的其他波形)不一定按比例绘制。例如，在实际实现中，在正弦快扫描波形212的对应于竖直扫描的每个部分中将存在更多的拐点，并且各种波形的相对幅度不一定按比例绘制。
再次参考图2B，在其中示出的扫描轨迹以与投影空间相对的角度空间来表示。本领域普通技术人员将理解，如果扫描轨迹从角度空间转换到投影空间，则由于反射的扫描光束在投影图像的上部和下部处比在图像的中心处更倾斜，在投影图像的上部和下部处线间距可以稍宽(并且因此线密度可以稍低)。然而，出于说明的目的，将假设当慢扫描控制信号具有如图2A所示的恒定斜率时，所得的线间距(以及由此所得的线密度)贯穿所得的图像是基本恒定的。
如上所说明，当使用图2B所示的扫描轨迹来产生图像时，贯穿被扫描的图像的整个帧，线密度是相同的。因此，如果假设图2B中被标记为242的虚线框对应于中央凹区域，并且被标记为242的虚线框的外部对应于非中央凹区域，则线密度在对应于中央凹区域的图像部分内与在对应于非中央凹区域的图像部分内是相同的。换句话说，当使用图2B中所示的扫描轨迹来产生图像时，线密度在图像的中央凹形区域242和图像的非中央凹形区域内将是相同的。
简要地回到参考图1，根据本技术的某些实施例，扫描控制器106动态地调整(多个)MEMS镜118中的一个MEMS镜在慢轴方向上旋转的速度，以便在被光栅扫描的图像的第一部分中实现第一线密度，并且在被光栅扫描的图像的第二部分中实现小于第一线密度的第二线密度。换言之，扫描控制器106导致如下的光栅扫描，其有目的地在图像的第一部分中产生比在图像的第二部分中大的线密度。
根据某些实施例，图像的第一部分(其具有较大的线密度)包括图像的中央凹区域，并且图像的第二部分(其具有较低的线密度)包括图像的非中央凹区域。在某些这样的实施例中，图像的第一部分(其包括中央凹区域并且具有较大的线密度)的位置相对于图像的其余部分(其具有较低的线密度)是固定的。例如，可以假设包括在图像的第一部分(其具有较大的线密度)内的中央凹区域处在图像的中心或某个其他位置内。根据其他的一些实施例，图像的第一部分(其包括中央凹区域并且具有较大的线密度)的位置相对于图像的其余部分(其具有较低的线密度)是动态的。例如，眼睛跟踪可以用于检测用户眼睛正在注视的位置，并且图像的第一部分(其包括中央凹区域，具有较大线密度)可以被定位成以用户眼睛所注视的位置为中心。其他变型也是可能的，并且是在本文所描述的实施例的范围内。
为了在图像的第一部分内产生相对于图像的其余部分更大的线密度，当图像的第一部分正被扫描时，MEMS镜在慢轴方向(可能是竖直方向)上的旋转相对于图像的其余部分被扫描的速度被有目的地减慢。这可以通过相比于用于对图像的其余部分进行光栅扫描的慢扫描控制波形的斜率，减小慢扫描控制波形的用于对图像的第一部分进行光栅扫描的部分的斜率来实现。这样的一个示例在图3A中示出。
参考图3A，在其中示出了具有上升部分304(对应于竖直扫描部分)的慢扫描控制波形302，上升部分304不具有恒定斜率，这意味着当图像被光栅扫描时，存在MEMS镜在角度空间中围绕慢轴旋转的非恒定速度。对应于从底部到顶部的回扫的下降部分306与图2A中的慢扫描控制波形202的下降部分206基本相同。图3A中所示的快扫描控制波形212和竖直扫描消隐波形被标记为与图2A中相同并且与图2A中是相同的，因此不再赘述。
与图2A中所示的、并且参考图2A所讨论的慢扫描控制波形202相比，图3A中的慢扫描控制波形302具有多于一个的斜率，这使得在用于对图像(并且更具体地，帧)进行光栅扫描的每个慢(例如，竖直)扫描期间，扫描镜的慢(例如，竖直)旋转在速度上变化。仍然参考慢扫描控制波形302，因为慢扫描控制波形302的斜率不是恒定的，这使得扫描镜在慢轴方向上以具有变化的加速度的不同速度旋转。更具体地，慢扫描控制波形302的上升部分304的斜率在被标记为305的段内，比在波形302的上升部分304的与从顶部到底部的轨迹的扫描相对应的其他段中低(即，更不陡峭)。
由于斜率与扫描镜围绕慢轴旋转的速度成比例，因此与当使用慢扫描控制波形302的上升部分304的具有更大(即更陡峭)斜率的其他段来旋转扫描镜时相比，扫描镜在使用慢扫描控制波形302的段305被控制时将更慢地旋转。从图3B可以理解的是，如下所述，这将导致在图像的使用较低斜率段305被扫描的部分中比图像的使用慢扫描控制波形302的较高斜率段被扫描的其他部分中更大的线密度。例如，如果段305的斜率是慢扫描控制信号302的竖直扫描部分的其他段的斜率的一半，则与图像的使用慢扫描控制波形302的较高斜率段被扫描的其他部分相比，在图像的使用较低斜率段305被扫描的部分中，线密度将翻倍。如果从底部到顶部(而不是从顶部到底部)执行光栅扫描，则与图3A中所示的波形相比，慢扫描控制波形302将被反转。
图3B示出了角度空间中的扫描轨迹332，其使用图3A中所示的慢和快扫描控制波形302和212来实现。该扫描轨迹在快扫描轴(水平轴)上具有正弦分量，并且在慢扫描轴(竖直轴)上具有大致上锯齿分量。与图2B中所示的扫描轨迹232(其贯穿被光栅扫描的整个图像具有基本相同的线密度)相比，扫描轨迹332(以及因此被光栅扫描的图像)在图像的部分352内比在图像362(在该示例中，其包括两个非连续部分354a和354b，其可以被统称为部分354)的其他部分中具有更大的线密度。如果假设图3B中标记为342的虚线框对应于中央凹区域，并且标记为342的虚线框的外部对应于非中央凹区域，则可以理解的是，包括较大线密度的部分352包括中央凹区域342，而部分354包括非中央凹区域342。在该示例中，由于中央凹区域342不延伸到图像的整个宽度，因此部分352还包括(即，虚线框342的左侧和右侧)非中央凹区域的一些。
再次参考图3A，慢扫描控制波形302的上升部分304(对应于从顶部到底部的竖直扫描)中的每一个被示出为具有两个不同斜率的分段线性信号。这使得在围绕慢轴的每次扫描期间，围绕慢轴的光栅扫描以两种不同的速度发生。在备选实施例中，慢扫描控制波形的每个竖直扫描部分可以是具有多于两个不同斜率(即，三个或更多个不同斜率)的分段线性信号，这将使得在围绕慢轴的每次旋转期间，围绕慢轴的光栅扫描以多于两种的不同速度(即，三种或更多种不同的速度)发生。这可以用于在图像内，更具体地在图像的帧内，实现多于两个(即，三个或更多个)的不同线密度。
在备选实施例中，慢扫描控制波形的上升部分(对应于从顶部到底部的竖直扫描)中的每一个可以是非线性的信号，而不是具有两个或更多个不同斜率的分段线性信号，该非线性的信号使得围绕慢轴的光栅扫描以许多连续变化的不同速度发生。作为一个示例，慢扫描控制波形的上升部分(对应于从顶部到底部的竖直扫描)中的每一个可以是大致上正弦的，例如，如图4所示。更具体地，参考图4，被示出为大致上正弦曲线的慢扫描控制波形402的上升部分404(对应于从顶部到底部的竖直扫描)在每个上升部分404的开始和结束附近具有相对陡峭的斜率，并且在每个上升部分404的中间附近具有最浅的斜率。假设慢轴是竖直轴，这将导致在每个图像(并且更具体地，图像的帧)的顶部和底部附近的围绕慢扫描轴的最快扫描(并且因此，最低线密度)，以及在每个图像中间附近的围绕慢扫描轴的最慢扫描(并且因此，最高线密度)。
如上所提及，扫描显示设备100(也可以称为扫描显示引擎，或更一般地显示引擎)可以与便携式设备集成或者被附接到便携式设备，便携式设备诸如但不限于移动电话、智能电话、便携式计算机(例如，膝上型计算机、上网本或平板计算机)、个人数字助理(PDA)或便携式媒体播放器(例如，DVD播放器)。也如上所提及，扫描显示设备100可以备选地与非便携式设备集成或被附接到非便携式设备，非便携式设备诸如台式计算机、媒体播放器或汽车抬头显示器。扫描显示设备100也可以是VR或AR HMD或HUD的一部分，并且扫描显示设备100可以产生可由HMD的佩戴者或HUD的观察者查看的虚拟图像。由扫描显示设备100产生的图像可以被投射到屏幕或其他表面上。备选地，与由扫描显示设备100产生的图像相对应的光可以被耦合到一个或多个波导中，并且在以全内反射(TIR)的方式行进通过(多个)波导之后，可以从(多个)波导被耦出，使得光从与(多个)波导相关联的输出光瞳被输出和成像，例如，如图5所示以及参考图5所描述的。
图5是根据本技术的一个实施例的示例性显示系统502的侧视图。显示系统502被示出为包括被标记为500R、500G、500B的三个光学波导和显示引擎504，显示引擎504生成包括角度内容的图像，该角度内容由相应的输入耦合器512R、512G和512B耦合到波导500R、500G和500B中。图5还示出了人眼514，其正在查看靠近输出耦合器116R、116G和116B的眼动范围(eye box)内的图像(作为虚拟图像)。换言之，人眼514正在从与波导500R、500G和500B相关联的输出光瞳查看图像。显示系统502可以例如是但不限于近眼显示(NED)或抬头显示(HUD)系统。
光学波导500R、500G和500B可以分别被配置为将对应于图像的红色、绿色和蓝色光从输入光瞳传输到输出光瞳。更具体地，波导500R的输入耦合器512R可以被配置为将红色波长范围内(对应于被扫描的图像)的光耦合到波导500R中，并且波导500R的输出耦合器516R可以被配置为将红色波长范围内(对应于图像)的光(其已经以TIR的方式从输入耦合器512R行进到输出耦合器516R)从波导500R耦合出。类似地，波导500G的输入耦合器512G可以被配置为将绿色波长范围内(对应于被扫描的图像)的光耦合到波导500G中，并且波导500G的输出耦合器516G可以被配置为将绿色波长范围内(对应于图像)的光(其已经以TIR的方式从输入耦合器512G行进到输出耦合器516G)从波导500G耦合出。进一步地，波导500B的输入耦合器512B可以被配置为将蓝色波长范围内(对应于被扫描的图像)的光耦合到波导500B中，并且波导500B的输出耦合器516B可以被配置为将蓝色波长范围内(对应于图像)的光(其已经以TIR的方式从输入耦合器512B行进到输出耦合器516B)从波导500B耦合出。根据一个实施例，红色波长范围是从600nm到650nm，绿色波长范围是从500nm到550nm，并且蓝色波长范围为430nm到480nm。其他波长范围也是可能的。
光学波导500R、500G和500B可以被统称为波导500，或者单独地被称为波导500。波导500中的两个或更多个可以被称为波导总成501。更具体地，多个波导500可以背对背地堆叠，以提供波导总成501。波导总成501的相邻的波导500之间的距离可以例如是但不限于在约50微米(μm)和300μm之间。虽然没有具体地示出，但是间隔物可以位于相邻的波导500之间，以保持其间所期望的间隔。输入耦合器512G、512R和512B可以被统称为输入耦合器512，或者单独地被称为输入耦合器512。类似地，输出耦合器516G、516R和516B可以被统称为输出耦合器516，或者单独地被称为输出耦合器516。虽然波导总成501被示出为包括三个波导500，但是波导总成也可以包括多于或少于三个的波导。
输入耦合器512中的每一个具有输入角度范围，并且输出耦合器516中的每一个具有输出角度范围。根据某些实施例，所有的输入耦合器512具有基本相同的输入角度范围，并且所有的输出耦合器516具有基本相同的输出角度范围。根据某些实施例，用于输入耦合器512的输入角度范围与用于输出耦合器516的输出角度范围是基本相同的。如果值在彼此的5％内，则这些值被认为是基本相同的。根据某些实施例，输入角度范围和输出角度范围各自相对于法线成约+/-15度。更小或更大的输入和输出角度范围也是可能的，并且是在本文所描述的实施例的范围内。
在图5中，点箭头线522R表示与由显示引擎504输出的图像相对应的红色(R)光，虚箭头线522G表示与由显示引擎504输出的图像相对应的绿色(G)光，并且实箭头线522B表示与由显示引擎504输出的图像相对应的蓝色(B)光。虽然R、G和B光(522R，522G和52B)被示出为在空间上彼此偏移，但实际可能并非如此，而是以这种方式绘制图5，使得R、G和B光可以被分开表示。更可能的是，离开显示引擎504的R、G和B光(522R、522G和52B)将彼此完全地重叠。此外，虽然波导500R、500G和500B被示出为以特定的顺序堆叠，但是波导500被堆叠的顺序可以改变。
根据具体实施例，使用如上参考图1所描述的扫描显示设备100或类似的扫描显示设备来实现显示引擎504。在图5中，显示引擎504被示出为面向波导500的后侧表面510，并且眼睛514被示出为面向与后侧表面510相对且平行的前侧表面508。这提供了潜望镜类型的配置，在其中光在波导500的第一侧进入波导，并且在波导500的相对侧离开波导500。备选地，输入耦合器512和输出耦合器516可以以使得显示引擎504和眼睛514靠近且面向相同的主平面表面(508或510)的方式来实现。
波导总成501可以被并入到透视混合现实显示设备系统中，但不限于与其一起使用。波导总成501和显示引擎504的单独实例可以被提供以用于用户的左眼和右眼中的每一个。在某些实施例中，这样的波导总成501可以被定位在紧靠透视透镜或透视透镜之间，透视透镜可以是在眼镜中使用的标准透镜，并且可以以任何处方(包括没有处方)制成。在透视混合现实显示设备系统被实现为包括框架的头戴式显示(HMD)眼镜的情况下，显示引擎504可以位于框架的侧面，使得其位于用户的太阳穴附近。备选地，显示引擎504可以位于HMD眼镜置于用户鼻梁上方的中心部分。用于显示引擎504的其他位置也是可能的。在这些实例中，用户也可以被称为佩戴者。在针对用户的左眼和右眼中的每一个存在单独的波导总成的情况下，对于波导总成中的每一个，并且因此对于用户的左眼和右眼中的每一个，可以存在单独的显示引擎504。如本领域已知的，一个或多个另外的相邻波导可以用于基于入射到用户(多个)眼睛514上并且从用户(多个)眼睛514反射的红外光执行眼睛跟踪。
图5中的框505表示可以用于跟踪眼睛注视的眼睛跟踪器。如上所提及，如本领域已知的，眼睛跟踪器505可以利用一个或多个另外的相邻波导来基于入射到用户(多个)眼睛514上并且从用户(多个)眼睛514反射的红外光执行眼睛跟踪。眼睛跟踪器505也可以不利用任何波导，这在本领域也是已知的。相反，眼睛跟踪器505可以将光直接地引导到眼睛514中并且检测从眼睛514的直接反射。如本领域已知的，眼睛跟踪器505可以例如包括发射红外光(或另一波长的光)的光源，以及产生眼睛跟踪数据的光传感器或相机。眼睛跟踪器505可以检测从眼睛514反射的、并且由视频相机或一些其他专门设计的光学传感器感测的红外光(或另一波长的光)。信息然后被分析以从反射的变化中提取眼睛旋转。基于视频的眼睛跟踪器通常使用角膜反射(也被称为第一浦肯野图像)和瞳孔中心作为要随时间跟踪的特征。作为另一个示例，双浦肯野类型的眼睛跟踪器可以使用从角膜前部的反射(也被称为第一浦肯野图像)和透镜背面的反射(也称为第四浦肯野图像)作为要跟踪的特征。眼睛跟踪器505可以备选地从诸如视网膜血管的眼睛内部的特征来成像，并且随着眼睛旋转跟随这些特征。其他类型的眼睛跟踪器的使用和包括也是在本文所描述的实施例的范围内。
现在将使用图6的高级别流程图来概述根据本技术的各种实施例的方法600，其可以用于对图像进行光栅扫描，使得图像包括多于一个的线密度。这样的方法可以用于例如对图像进行光栅扫描，使得图像在中央凹区域中包括比在非中央凹区域中大的线密度。
参考图6，步骤602涉及跟踪近眼显示器或抬头显示器(但不限于此)的用户的眼睛注视。回到参考图5，眼睛跟踪器505或一些替代类型的眼睛跟踪器可以用于执行步骤602。用于跟踪眼睛注视的任何已知的或未来开发的技术可以被使用，因为不需要用于跟踪眼睛注视的特定技术来实现参考图6概述的实施例。
步骤604涉及选择图像的部分，该部分将比图像的一个或多个其他部分具有更高的分辨率。根据某些实施例，图像被选择为具有更高分辨率的部分是基于在步骤602处检测到的眼睛注视位置。例如，图像的以眼睛注视位置为中心的部分可以被选择为具有更高分辨率。在其他的一些实施例中，图像的具有更高分辨率的部分可以是预定的固定位置，例如，在图像的中心内。在另一些其他实施例中，图像的具有更高分辨率的部分可以是感兴趣的部分，例如，以便朝向该感兴趣的部分来引导用户的注视。感兴趣的部分可以移动，或者可以是静态的。其他变型也是可能的。在步骤604处没有使用眼睛注视来选择图像的具有更高分辨率的部分的情况下，可以从参考图6所概述的方法中去除步骤602(尽管检测到的眼睛注视可以用于其他目的，但这与本文具体描述的实施例无关)。
仍然参考图6，步骤606涉及产生像素数据，该像素数据用于控制光源的发光元件何时被驱动的定时和被驱动的幅度，以比图像的(多个)其他部分中提供图像的特定(例如，被选择的)部分的更高分辨率。幅度可以被指定为振幅、脉宽或其组合。在光源包括红色、绿色和蓝色发光元件的情况下，像素数据可以包括红色、绿色和蓝色像素数据。步骤606可以例如由图1所示和上面参考图1所描述的图像处理器104来执行。步骤606可以尤其地涉及图像的中央凹绘制，并且更具体地涉及图像的帧的中央凹绘制。步骤608涉及取决于在步骤606处产生的像素数据，来选择性地驱动光源的一个或多个发光元件，以从而产生被引导朝向用于对图像进行光栅扫描的MEMS镜的光束。取决于实现，单个双轴MEMS镜可以用于光栅扫描，或者两个单轴MEMS镜可以被使用，如在上面参考图1中的(多个)镜118所说明的。
步骤610涉及控制(多个)MEMS镜在快轴方向和慢轴方向上的旋转，以便使用从(多个)MEMS镜反射的光束来对图像进行光栅扫描。根据本技术的特定实施例，步骤610包括调整MEMS镜在慢轴方向上旋转的速度，以便在被光栅扫描的图像的第一部分中实现第一线密度，并且在被光栅扫描的图像的第二部分中实现第二线密度，第二线密度小于第一线密度。图像的第一部分可以是在如上所讨论的步骤604处被选择的部分。更具体地，图像的第一部分可以包括图像的中央凹区域，并且图像的第二部分可以包括图像的非中央凹区域。以上例如参考图3A、图3B和图4描述了步骤610可以如何被执行的示例。更具体地，根据某些实施例，步骤602可以通过生成图3A和图4中分别示出的慢扫描控制波形302或402中的一个来执行。
简要地回到参考图3A和图4，其中示出的慢扫描控制波形302和402的上升部分(对应于从顶部到底部的竖直扫描)具有多于一个的斜率，这使得在用于对图像(并且更具体地，图像的帧)进行光栅扫描的每个慢(例如，竖直)扫描期间，扫描镜的慢(例如，竖直)旋转在速度上变化。如图3A中所示和上面参考图3A所讨论的，慢扫描控制波形可以是具有两个(或更多个)不同斜率的分段线性信号，这使得在围绕慢轴的每个扫描期间，围绕慢轴的光栅扫描以两个(或更多个)不同的速度发生。备选地，慢扫描控制波形的部分可以是非线性的信号，而不是具有两个或更多个不同斜率的分段线性信号，该非线性的信号使得围绕慢轴的光栅扫描以许多不同的速度发生。作为一个示例，慢扫描控制波形的上升部分(对应于从顶部到底部的竖直扫描)中的每一个可以是大致上正弦的，例如，如上面讨论的图4所示。慢扫描控制的部分(对应于竖直扫描)也可以是分段线性信号和大致上正弦的信号的组合。例如，回到参考图3A，波形302的部分304可以保持如图3A所示，而段305可以是大致上正弦的，反之亦然。如本领域普通技术人员阅读本说明书将理解的，其他变型也是可能的，并且是在本文所描述的实施例的范围内。
人眼在感知亮度时，本质上合并了入射到眼睛上的光。这是为什么人眼通常不能感知具有由振幅调制控制的亮度的像素之间、具有由脉宽调制控制的亮度的像素之间、具有由振幅和脉宽调制的组合控制的亮度的像素之间的差异。由于人眼感知亮度的方式，如果没有正确地被补偿，则图像的具有较大线密度的部分可能被感知为比图像的具有较低线密度的部分明显地亮，这可能不利地影响整体图像质量。针对一个简单的示例，假设图像的整个帧将具有相同的颜色(例如，绿色)和相同的亮度。如果用于在图像的具有较大线密度的部分中生成像素的像素数据中所包括的幅度信息，与用于在图像的具有较低线密度的另外部分中生成像素的另外像素数据中所包括的幅度信息相同，则图像的具有较高线密度的部分对于正在查看图像的眼睛将显得更亮。根据本技术的某些实施例，图像数据以便于补偿这种情况的方式被产生。例如，简要地回到参考图1，根据某些实施例，图像处理器104产生用以控制发射元件112被驱动的幅度的像素数据，以补偿被光栅扫描的图像的部分的亮度如何受到扫描控制器106调整MEMS镜118在慢轴方向上旋转的速度的影响。换言之，图像处理器104产生用以控制发射元件112被驱动的幅度的像素数据，以补偿被光栅扫描的图像的部分的亮度如何受到线密度的差异的影响。
仍然回到参考图1，根据某些实施例，用于慢扫描(例如，竖直)控制定时的控制回路使用查找表，以将线号与镜位置相关联。查找表可以被存储在存储器中或者寄存器中，该存储器或者寄存器被包括在图像处理器105内或者以其他方式是图像处理器105可访问的。更具体地，图像处理器105可以使用算法来填充查找表。该算法可以被提供有中央凹区域中的期望的线速率、非中央凹区域中的期望的线速率、视野、视野内的中央凹区域的位置和大小、控制回路带宽(BW)参数(例如，一阶和二阶导数的限制)，并且该算法可以用于生成导致适当镜响应的查找表。另外，该查找表可以用于生成图像采样坐标，该图像采样坐标用于取回、过滤、缩放和准备由图像处理器105提供给LDD 108的显示像素数据。可以使用相同或不同的查找表和/或算法来实现亮度补偿的特征。
通过增加图像的部分中的线密度，在图像的该部分中的竖直分辨率被增加。如上所描述，这样的技术可以用于相较于图像的用户未正在看的部分，增加图像的用户正在看的部分中的竖直分辨率。
本发明的某些实施例可以附加地或替代地用于通过仅在存在新数据时更新与虚拟像素相关联的像素数据，来变化水平分辨率，否则保持像素数据相同。在特定的实施例中，与当像素数据被生成以用于扫描中央凹区域时相比，当扫描设备100生成将用于扫描图像的非中央凹区域的像素数据时，像素数据(例如，由图像处理器104生成并提供给LDD 108的DAC 109)可以更不频繁地被更新。这减少了用以执行用于确定像素数据、时钟功率等的计算所消耗的功率。
应注意到的是，上面的讨论介绍了许多不同的特征和许多实施例。应理解的是，上述实施例并非全部相互地排斥。也就是说，上述特征(即使被分开地描述)可以在一个或多个实施例中被组合。
出于本文档的目的，应注意的是，图中描绘的各种特征的尺寸可能不一定是按比例绘制的。例如，在图3A和图4中，在实际实现中，对应于竖直扫描的快扫描波形的每个部分中将存在更多的拐点。再例如，图3A和图4中所示出的波形的相对幅度不一定是按比例绘制的。
出于本文档的目的，说明书中对“实施例”、“一个实施例”、“一些实施例”或“另一实施例”的引用可以用于描述不同的实施例或相同的实施例。
出于本文档的目的，术语“基于”可以被解读为“至少部分地基于”。
出于本文档的目的，在没有附加的上下文的情况下，诸如“第一”对象或部分、“第二”对象或部分以及“第三”对象或部分的数字术语的使用可以并不暗示对象或部分的排序，而是可以代之用于用以标识不同的对象或部分的标识目的。
已经出于说明和描述的目的呈现了前述具体实施方式。其并非旨在穷举或将本文要求保护的技术方案限制为所公开的(多种)精确形式。鉴于上述教导，许多修改和变型都是可能的。所描述的实施例是以便最好地说明所公开的技术的原理及其实际应用而被选择的，从而使得本领域的其他技术人员能够在各种实施例中以及用适合于预期的特别用途的各种修改，来最好地利用该技术。本公开的范围旨在由所附权利要求来限定。
尽管以结构特征和/或方法动作特定的语言描述了本技术方案，但应理解的是，所附权利要书中限定的技术方案不一定限于上述具体的特征或动作。相反，上述具体特征和动作被公开作为实现权利要求的示例形式。

Claims (15)

1.一种装置，包括：
一个或多个MEMS镜；
光源驱动器，被配置为选择性地驱动光源的一个或多个发光元件，以从而产生被引导朝向所述一个或多个MEMS镜中的相同MEMS镜的光束；以及
控制器，被配置为控制所述一个或多个MEMS镜在快轴方向和慢轴方向上的旋转，以便使用从所述一个或多个MEMS镜反射的所述光束来对图像进行光栅扫描；
其中所述控制器被配置为动态地调整所述一个或多个MEMS镜中的一个MEMS镜在所述慢轴方向上旋转的速度，以便在被光栅扫描的所述图像的第一部分中实现第一线密度，并且在被光栅扫描的所述图像的第二部分中实现第二线密度，所述第二线密度小于所述第一线密度。
2.根据权利要求1所述的装置，其中：
所述图像的所述第一部分包括所述图像的中央凹区域；并且
所述图像的所述第二部分包括所述图像的非中央凹区域。
3.根据权利要求1或2所述的装置，其中所述图像的所述第一部分的位置相对于所述图像的其余部分是固定的。
4.根据权利要求1或2所述的装置，其中所述图像的所述第一部分的位置相对于所述图像的其余部分是动态的。
5.根据权利要求4所述的装置，其中所述图像的所述第一部分的所述位置基于眼睛的注视，并且响应于所述注视的改变而改变。
6.根据权利要求5所述的装置，进一步包括：
眼睛跟踪器，被配置为确定眼睛的所述注视；
其中所述控制器被配置为基于由所述眼睛跟踪器确定的眼睛的所述注视，来确定所述图像的所述第一部分的所述位置。
7.根据权利要求1或2所述的装置，进一步包括：
图像处理器，所述图像处理器被配置为产生像素数据，所述像素数据被提供给所述光源驱动器，并且由所述光源驱动器使用以控制所述光源的所述一个或多个发光元件何时被驱动的定时以及被驱动的幅度；
其中所述图像处理器产生所述像素数据，以控制所述光源的所述一个或多个发光元件被驱动的幅度，来补偿所述图像的部分的亮度如何受到所述控制器调整所述一个或多个MEMS镜中的一个MEMS镜在所述慢轴方向上旋转的所述速度的影响。
8.根据权利要求7所述的装置，其中所述图像处理器还被配置为产生所述像素数据，以在被光栅扫描的所述图像的所述第一部分中提供比在被光栅扫描的所述图像的所述第二部分中高的绘制图像分辨率。
9.一种方法，包括：
选择性地驱动光源的一个或多个发光元件，以从而产生被引导朝向所述一个或多个MEMS镜中的相同MEMS镜的光束；以及
控制所述一个或多个MEMS镜在快轴方向和慢轴方向上的旋转，以便使用从所述一个或多个MEMS镜反射的所述光束来对图像进行光栅扫描；
其中控制旋转包括：调整所述一个或多个MEMS镜中的一个MEMS镜在所述慢轴方向上旋转的速度，以便在被光栅扫描的所述图像的第一部分中实现第一线密度，并且在被光栅扫描的所述图像的第二部分中实现第二线密度，所述第二线密度小于所述第一线密度。
10.根据权利要求9所述的方法，其中：
所述图像的所述第一部分包括所述图像的中央凹区域；并且
所述图像的所述第二部分包括所述图像的非中央凹区域。
11.根据权利要求9或10所述的方法，其中所述图像的所述第一部分的位置相对于所述图像的其余部分是固定的。
12.根据权利要求9或10所述的方法，其中所述图像的所述第一部分的位置相对于所述图像的其余部分是动态的。
13.根据权利要求12所述的方法，进一步包括：跟踪眼睛的注视，以及基于所述注视来确定所述图像的所述第一部分的所述位置。
14.根据权利要求9或10所述的方法，其中控制旋转包括：产生慢扫描控制信号，所述慢扫描控制信号包括用于在竖直扫描期间使用的、包括两个或更多个不同斜率的部分。
15.根据权利要求9或10所述的方法，进一步包括：
产生像素数据，所述像素数据用于控制所述光源的所述一个或多个发光元件何时被驱动的定时以及被驱动的幅度，使得所述像素数据在被光栅扫描的所述图像的所述第一部分中提供比在被光栅扫描的所述图像的所述第二部分中高的图像分辨率；并且
其中产生所述像素数据包括：选择所述光源的所述一个或多个发光元件被驱动的幅度，以补偿所述图像的部分的亮度如何受到对所述一个或多个MEMS镜中的一个MEMS镜在所述慢轴方向上旋转的所述速度的调整的影响。
CN201880020080.3A 2017-03-23 2018-03-17 用于凹形显示的装置、方法以及近眼或抬头显示系统 Active CN110447063B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/467,855 US9986215B1 (en) 2017-03-23 2017-03-23 Laser scan beam foveated display
US15/467,855 2017-03-23
PCT/US2018/023034 WO2018175265A1 (en) 2017-03-23 2018-03-17 Laser scan beam foveated display

Publications (2)

Publication Number Publication Date
CN110447063A true CN110447063A (zh) 2019-11-12
CN110447063B CN110447063B (zh) 2022-04-15

Family

ID=61911696

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880020080.3A Active CN110447063B (zh) 2017-03-23 2018-03-17 用于凹形显示的装置、方法以及近眼或抬头显示系统

Country Status (4)

Country Link
US (1) US9986215B1 (zh)
EP (1) EP3602536B1 (zh)
CN (1) CN110447063B (zh)
WO (1) WO2018175265A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112352185A (zh) * 2018-06-27 2021-02-09 微软技术许可有限责任公司 调整扫描镜的谐振频率
CN112859327A (zh) * 2019-11-27 2021-05-28 成都理想境界科技有限公司 一种图像输出控制方法及光纤扫描成像系统
CN113534105A (zh) * 2020-03-31 2021-10-22 华为技术有限公司 激光扫描控制方法、装置、mems振镜和激光雷达
CN114647084A (zh) * 2020-12-21 2022-06-21 英飞凌科技股份有限公司 具有眼睛跟踪的基于mems振镜的扩展现实投影
CN115166992A (zh) * 2022-07-28 2022-10-11 苏州龙马璞芯芯片科技有限公司 抑制散斑对比度的激光扫描显示装置、方法及抬头显示系统
WO2023116917A3 (zh) * 2021-12-24 2023-08-03 武汉万集光电技术有限公司 一种扫描方法、装置及计算机存储介质

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10602132B2 (en) * 2018-03-06 2020-03-24 Varjo Technologies Oy Display apparatus and method of displaying using light source and controllable scanning mirror
US11875714B2 (en) 2018-09-14 2024-01-16 Apple Inc. Scanning display systems
US11315327B1 (en) 2018-11-02 2022-04-26 Facebook Technologies, Llc. Beam-racing fallbacks in a display engine
US11487105B2 (en) 2018-12-18 2022-11-01 Microsoft Technology Licensing, Llc Modified slow-scan drive signal
US10930275B2 (en) 2018-12-18 2021-02-23 Microsoft Technology Licensing, Llc Natural language input disambiguation for spatialized regions
US10897601B2 (en) 2018-12-19 2021-01-19 Microsoft Technology Licensing, Llc Display projector with non-uniform pixel resolution
US10861379B2 (en) 2019-02-12 2020-12-08 Microsoft Technology Licensing, Llc Adaptive close loop control for laser beam scanning displays
US10884241B2 (en) * 2019-06-07 2021-01-05 Facebook Technologies, Llc Optical element for reducing stray infrared light
WO2022072565A1 (en) * 2020-09-30 2022-04-07 Hes Ip Holdings, Llc Virtual image display system for virtual reality and augmented reality devices
WO2022163282A1 (ja) * 2021-01-29 2022-08-04 ソニーグループ株式会社 表示装置
EP4167016B1 (en) * 2021-10-13 2024-02-14 TriLite Technologies GmbH Display apparatus
EP4167018B1 (en) * 2021-10-13 2024-07-31 TriLite Technologies GmbH Display apparatus
US20230228985A1 (en) * 2022-01-18 2023-07-20 Google Llc Mems mirror in series with resonant mems mirror to redistribute dense pixels
WO2024084819A1 (ja) * 2022-10-21 2024-04-25 パナソニックＩｐマネジメント株式会社 画像生成装置
WO2024135389A1 (ja) * 2022-12-22 2024-06-27 パナソニックＩｐマネジメント株式会社 画像生成装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1119482A (zh) * 1993-02-03 1996-03-27 尼托公司 图像投影的方法和设备
US20080144150A1 (en) * 2002-05-17 2008-06-19 Microvision, Inc. Projection System with Multi-Phased Scanning Trajectory
KR20090067123A (ko) * 2007-12-20 2009-06-24 레이던 컴퍼니 촬상 시스템
US20100149073A1 (en) * 2008-11-02 2010-06-17 David Chaum Near to Eye Display System and Appliance
JP2010271443A (ja) * 2009-05-20 2010-12-02 Sony Corp プロジェクタ及び映像表示方法
US20120105310A1 (en) * 2010-11-03 2012-05-03 Trex Enterprises Corporation Dynamic foveal vision display
CN103852962A (zh) * 2012-12-04 2014-06-11 建兴电子科技股份有限公司 扫描投影装置及其扫描控制方法
WO2014162504A1 (ja) * 2013-04-02 2014-10-09 パイオニア株式会社 投影装置、制御方法及びプログラム、並びに記録媒体
JP2014197062A (ja) * 2013-03-29 2014-10-16 船井電機株式会社 プロジェクタ
US20160328884A1 (en) * 2014-11-27 2016-11-10 Magic Leap, Inc. Virtual/augmented reality system having dynamic region resolution

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7172288B2 (en) * 2003-07-31 2007-02-06 Hewlett-Packard Development Company, L.P. Display device including a spatial light modulator with plural image regions
US7872635B2 (en) 2003-05-15 2011-01-18 Optimetrics, Inc. Foveated display eye-tracking system and method
US7090358B2 (en) * 2004-03-04 2006-08-15 International Business Machines Corporation System, apparatus and method of displaying information for foveal vision and peripheral vision
US8519983B2 (en) 2007-12-29 2013-08-27 Microvision, Inc. Input device for a scanned beam display
US9380273B1 (en) 2009-10-02 2016-06-28 Rockwell Collins, Inc. Multiple aperture video image enhancement system
US8493390B2 (en) 2010-12-08 2013-07-23 Sony Computer Entertainment America, Inc. Adaptive displays using gaze tracking
WO2013012578A1 (en) 2011-07-17 2013-01-24 Ziva Corporation Optical imaging with foveation
US9727991B2 (en) 2013-03-01 2017-08-08 Microsoft Technology Licensing, Llc Foveated image rendering
EP3296797B1 (en) 2013-03-25 2019-11-06 North Inc. Method for displaying an image projected from a head-worn display with multiple exit pupils
US9488837B2 (en) 2013-06-28 2016-11-08 Microsoft Technology Licensing, Llc Near eye display
EP3245551B1 (en) 2015-01-12 2019-09-18 DigiLens Inc. Waveguide light field displays

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1119482A (zh) * 1993-02-03 1996-03-27 尼托公司 图像投影的方法和设备
US20080144150A1 (en) * 2002-05-17 2008-06-19 Microvision, Inc. Projection System with Multi-Phased Scanning Trajectory
KR20090067123A (ko) * 2007-12-20 2009-06-24 레이던 컴퍼니 촬상 시스템
US20100149073A1 (en) * 2008-11-02 2010-06-17 David Chaum Near to Eye Display System and Appliance
JP2010271443A (ja) * 2009-05-20 2010-12-02 Sony Corp プロジェクタ及び映像表示方法
US20120105310A1 (en) * 2010-11-03 2012-05-03 Trex Enterprises Corporation Dynamic foveal vision display
CN103852962A (zh) * 2012-12-04 2014-06-11 建兴电子科技股份有限公司 扫描投影装置及其扫描控制方法
JP2014197062A (ja) * 2013-03-29 2014-10-16 船井電機株式会社 プロジェクタ
WO2014162504A1 (ja) * 2013-04-02 2014-10-09 パイオニア株式会社 投影装置、制御方法及びプログラム、並びに記録媒体
US20160328884A1 (en) * 2014-11-27 2016-11-10 Magic Leap, Inc. Virtual/augmented reality system having dynamic region resolution

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112352185A (zh) * 2018-06-27 2021-02-09 微软技术许可有限责任公司 调整扫描镜的谐振频率
CN112352185B (zh) * 2018-06-27 2022-12-02 微软技术许可有限责任公司 调整扫描镜的谐振频率
CN112859327A (zh) * 2019-11-27 2021-05-28 成都理想境界科技有限公司 一种图像输出控制方法及光纤扫描成像系统
CN113534105A (zh) * 2020-03-31 2021-10-22 华为技术有限公司 激光扫描控制方法、装置、mems振镜和激光雷达
CN114647084A (zh) * 2020-12-21 2022-06-21 英飞凌科技股份有限公司 具有眼睛跟踪的基于mems振镜的扩展现实投影
WO2023116917A3 (zh) * 2021-12-24 2023-08-03 武汉万集光电技术有限公司 一种扫描方法、装置及计算机存储介质
CN115166992A (zh) * 2022-07-28 2022-10-11 苏州龙马璞芯芯片科技有限公司 抑制散斑对比度的激光扫描显示装置、方法及抬头显示系统
CN115166992B (zh) * 2022-07-28 2024-02-06 苏州龙马璞芯芯片科技有限公司 抑制散斑对比度的激光扫描显示装置、方法及抬头显示系统

Also Published As

Publication number Publication date
EP3602536B1 (en) 2021-04-21
CN110447063B (zh) 2022-04-15
EP3602536A1 (en) 2020-02-05
US9986215B1 (en) 2018-05-29
WO2018175265A1 (en) 2018-09-27

Similar Documents

Publication Publication Date Title
CN110447063A (zh) 激光扫描束凹形显示
US10417975B2 (en) Wide field of view scanning display
US10499021B2 (en) Foveated MEMS scanning display
AU2021200916B2 (en) Display system and method
CN110023818B (zh) 影像显示装置和影像显示方法
US10685592B1 (en) Near-eye display assembly with adjustable resolution and frame rate
US11604356B1 (en) Near-eye display assembly with enhanced display resolution
US10757398B1 (en) Systems and methods for generating temporally multiplexed images
US20240337832A1 (en) Static uniformity correction for a scanning projector performing consecutive non-linear scan with multi-ridge light sources
US20240027748A1 (en) Scanning projector performing consecutive non-linear scan with multi-ridge light sources

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant