CN114647084A - 具有眼睛跟踪的基于mems振镜的扩展现实投影 - Google Patents

具有眼睛跟踪的基于mems振镜的扩展现实投影 Download PDF

Info

Publication number
CN114647084A
CN114647084A CN202111368640.4A CN202111368640A CN114647084A CN 114647084 A CN114647084 A CN 114647084A CN 202111368640 A CN202111368640 A CN 202111368640A CN 114647084 A CN114647084 A CN 114647084A
Authority
CN
China
Prior art keywords
image
eye
light
foveal
pulses
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111368640.4A
Other languages
English (en)
Inventor
B·基里洛夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Infineon Technologies AG
Original Assignee
Infineon Technologies AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Infineon Technologies AG filed Critical Infineon Technologies AG
Publication of CN114647084A publication Critical patent/CN114647084A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3188—Scale or resolution adjustment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0816—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements
    • G02B26/0833—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements the reflecting element being a micromechanical device, e.g. a MEMS mirror, DMD
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/10—Scanning systems
    • G02B26/101—Scanning systems with both horizontal and vertical deflecting means, e.g. raster or XY scanners
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/005—Projectors using an electronic spatial light modulator but not peculiar thereto
    • G03B21/008—Projectors using an electronic spatial light modulator but not peculiar thereto using micromirror devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3129—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] scanning a light beam on the display screen
    • H04N9/3135—Driving therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/315—Modulator illumination systems
    • H04N9/3152—Modulator illumination systems for shaping the light beam

Abstract

本公开是实施例涉及一种具有眼睛跟踪的基于MEMS振镜的扩展现实投影。一种图像投影系统，包括：第一发射器，被配置成沿着传输路径发射像素光脉冲以被投影到眼睛上，从而在眼睛上呈现投影图像；第二发射器，被配置成生成红外IR光脉冲，其沿着传输路径传输以被投影到眼睛上、并从眼睛反射回作为接收路径上的反射IR光脉冲；沿传输和接收路径布置的同轴扫描系统；眼睛跟踪传感器，被配置成基于反射IR光脉冲生成眼睛的视网膜图像，并且处理视网膜图像以确定眼睛的中央凹区域位置；以及系统控制器，被配置成基于中央凹区域位置来呈现投影图像，其中投影图像在中央凹区域中以较高分辨率呈现并且在中央凹区域外以较低分辨率呈现。

Description

具有眼睛跟踪的基于MEMS振镜的扩展现实投影
技术领域
本公开总体上涉及具有眼睛跟踪的基于MEMS振镜的扩展现实投影，并且具体地涉及图像投影系统和相应的投影方法。
背景技术
增强现实(AR)是一种通过用数字内容覆盖移动装置屏幕上的物理环境来增强物理环境的技术。增强现实将数字元素添加到实况视图。例如，用叠加在所捕捉的环境片段上的数字信息来增强所捕捉的环境片段。因此，数字内容被覆盖到所捕捉的环境片段上以向用户可视地提供附加信息。数字内容可以显示在透明基板或显示器上，例如智能眼镜、智能隐形眼镜、平视显示器(HUD)和头戴式显示器(HMD)，或者直接投影到用户的视网膜上，如虚拟视网膜显示器的情况。
虚拟现实(VR)是一种用计算机生成的虚拟环境完全取代用户的真实世界环境的技术。因此，向用户呈现完全数字的环境。尤其是计算机生成的立体视觉完全围绕用户。在VR模拟环境中，可以使用提供360度视觉的VR头戴式耳机。
混合现实(MR)体验组合了AR和VR两者的元素，使得现实世界和数字对象交互。这里，真实世界环境与虚拟世界环境混合。除了上述技术外，全息透镜可以用于向用户提供MR环境。
这些技术以及提高用户感觉的其他技术可以被称为扩展现实(XR)技术。
为了增强XR技术中的用户体验，实现眼睛跟踪以跟踪用户正看的方向可能是有益的。
发明内容
一个或多个实施例提供了一种图像投影系统，图像投影系统包括：第一发射器，被配置成生成像素光脉冲、并沿着传输路径发射所述像素光脉冲以被投影到眼睛上，从而在眼睛上呈现投影图像；第二发射器，被配置成生成红外IR光脉冲，IR光脉冲沿着所述传输路径传输，并且被投影到所述眼睛上，并且从所述眼睛被反射回作为接收路径上的反射IR光脉冲；同轴扫描系统，沿着所述传输路径和所述接收路径布置，所述同轴扫描系统包括至少一个振荡器结构，所述至少一个振荡器结构使得所述同轴扫描系统能够根据扫描图案在第一扫描方向和第二扫描方向上操纵所述像素光脉冲和所述IR光脉冲；眼睛跟踪传感器，被配置成：从所述同轴扫描系统接收反射IR光脉冲，基于反射IR光脉冲生成所述眼睛的视网膜图像，并且处理所述视网膜图像以确定所述眼睛的中央凹区域的位置；以及系统控制器，被配置成基于所述中央凹区域的位置来呈现所述投影图像，其中投影图像在中央凹区域中以较高分辨率呈现并且在中央凹区域外以较低分辨率呈现。
一个或多个实施例提供了一种基于中央凹跟踪来投影图像的方法。该方法包括：沿着传输路径传输像素光脉冲，以将像素光脉冲投影到眼睛上，从而在眼睛上呈现投影图像；沿着所述传输路径传输红外IR光脉冲，所述IR光脉冲被投影到所述眼睛上、并且从所述眼睛反射回作为接收路径上的反射IR光脉冲；根据扫描图案在第一扫描方向和第二扫描方向上操纵所述像素光脉冲和所述IR光脉冲；感测从所述接收路径接收的所述反射IR光脉冲；基于所述反射IR光脉冲生成所述眼睛的视网膜图像；处理所述视网膜图像以确定所述眼睛的中央凹区域的位置；以及基于所述中央凹区域的位置来呈现所述投影图像，其中投影图像在所述中央凹区域中以较高分辨率呈现并且在所述中央凹区域外以较低分辨率呈现。
附图说明
在此参考附图描述实施例。
图1是根据一个或多个实施例的图像投影系统100的示意框图；
图2A和图2B示出根据一个或多个实施例的2D扫描平面中的两个扫描图案；
图3A示出根据一个或多个实施例的用于扫描的MEMS振镜驱动波形；
图3B示出基于图3A中所示的MEMS振镜驱动波形生成的扫描图案；
图4A示出根据一个或多个实施例的用于扫描的MEMS振镜驱动波形；以及
图4B示出基于图4A中所示的MEMS振镜驱动波形生成的扫描图案。
具体实施方式
下面，将参照附图详细描述各种实施例。应当注意，这些实施例仅用于说明性目的并且不应被解释为限制性的。例如，虽然实施例可以被描述为包括多个特征或元件，但这不应被解释为指示实现实施例需要所有这些特征或元件。相反，在其他实施例中，一些特征或元件可以被省略，或者可以由替代特征或元件代替。另外，除了明确示出和描述的特征或元件外，可以提供另外的特征或元件，例如传感器装置的常规组件。
除非另外特别指出，来自不同实施例的特征可以组合以形成另外的实施例。关于实施例中的一个实施例描述的变化或修改也可适用于其他实施例。在一些情况下，为了避免使实施例模糊，以框图形式而不是详细地示出公知的结构和装置。
此外，在以下描述中，用等效或相似的附图标记表示等效或相似的元件或具有等效或相似功能的元件。由于在附图中相同或功能等效的元件被赋予相同的附图标记，因此可以省略对具有相同附图标记的元件的重复描述。因此，对具有相同或相似附图标记的元件的描述是可以彼此交换的。
除非另外指出，否则附图中所示或本文所述的元件之间的连接或耦联可以是基于有线连接或无线连接。此外，这样的连接或耦联可以是没有附加中间元件的直接连接或耦联，或者是具有一个或多个附加中间元件的间接连接或耦联，只要基本保持连接或耦联的通用目的，例如用于传输某种信号或传输某种信息即可。
术语“基本”可以在此使用以考虑小的制造公差(例如，在5％内)，在不偏离在此描述的实施例的方面的情况下，该小的制造公差被认为是在工业中可接受的。
在本公开中，包括诸如“第一”、“第二”和/或类似的序数的表述可以修饰各种元件。然而，这些元件不受上述表达的限制。例如，上述表达不限制元件的顺序和/或重要性。上述表达仅用于将一个元件与其他元件区分开。例如，第一框和第二框表示不同的框，尽管这两个框都是框。对于进一步的示例，在不脱离本公开的范围的情况下，第一元件可以被称为第二元件，并且类似地，第二元件也可以被称为第一元件。
实施例涉及光学传感器和光学传感器系统，并且涉及获得关于光学传感器和光学传感器系统的信息。传感器可以指将待测量的物理量转换为电信号、例如电流信号或电压信号的组件。物理量可以例如包括电磁辐射，例如可见光(VL)、红外(IR)辐射或其他类型的照明信号、电流或电压，但不限于此。例如，图像传感器可以是相机内部的硅芯片，硅芯片将来自透镜的光的光子转换成电压。传感器的有效面积越大，可以被收集以创建图像的光越多。
如本文所使用的传感器装置可以指包括传感器和另外的组件的装置，所述另外的组件例如是偏置电路、模数转换器或滤波器。传感器装置可以集成在单个芯片上，尽管在其他实施例中，多个芯片或者芯片外部的组件可以用于实现传感器装置。
在扩展现实(XR)技术领域中，传感器可以用于眼睛跟踪以检测和跟踪用户正看的方向。这样做可以允许XR系统使用(视网膜)中央凹渲染，这是一种将图像的高细节区域移位以与中央凹上的投影重合的技术。动态中央凹渲染使用眼睛跟踪或注视跟踪来实时地跟随用户的聚焦方向(即，用户的注视)，并且不是在任何固定位置处、而是无论用户的视网膜正在看哪里，都呈现清晰图像。本文公开的实施例涉及检测和跟踪眼睛方向(即，聚焦方向)，并且更具体地涉及检测和跟踪用户眼睛的中央凹位置以便补偿扫描系统的扫描操作。基于所检测的聚焦方向和/或所检测的中央凹位置，系统控制器被配置成调节一个或多个系统参数，包括：扫描结构的扫描频率、扫描图案、红绿蓝(RGB)投影的光脉冲发射时间和/或RGB投影的光束宽度。
图1是根据一个或多个实施例的图像投影系统100的示意框图。图像投影系统100包括眼睛跟踪系统，眼睛跟踪系统使得能够实现投影图像的动态中央凹呈现。图像投影系统100包括具有多个光源的RGB光单元10(即，第一发射器)，所述多个光源包括红(R)、绿(G)和蓝(B)单色光源(例如，激光二极管或发光二极管)。RGB光单元10被配置成生成可见光谱中的红色、绿色和蓝色光束，该可见光谱与要投影到用户眼睛的视网膜上的图像数据相对应。RGB光单元10被配置成向扫描系统20发射红、绿和蓝色光束。每个RGB光脉冲可以表示RGB图像的图像像素。每个RGB光脉冲可以包括同时发射的红光脉冲、绿光脉冲和/或蓝光脉冲的任意组合，包括根据相应图像像素的期望像素色调以受控强度组合的一种、两种或三种颜色。因此，RGB光脉冲可以被称为像素光脉冲。
扫描系统20具有同轴架构，其中，传输路径与接收路径共享。换句话说，扫描系统的组件既用于在用户的眼睛处传输光，又用于以传感器数据的形式接收来自用户眼睛的反射光或反向散射光。扫描系统20包括第一微机电系统(MEMS)振镜21、第一光束准直器22(即第一准直透镜)、第二光束准直器23(即第二准直透镜)和第二MEMS振镜24。第一光束准直器22和第二光束准直器23用于两个MEMS振镜21和24之间的中继光学系统，从而在其间传输光束(即，RGB光束和红外(IR)光束)。然而中继光学系统是可选的，以便可以使用两个MEMS振镜21和24之间的自由空间传播。另外，另一类型的中继光学系统可以被使用并且不限于两个准直器。此外，因为扫描系统20具有同轴架构，所以MEMS振镜21和24都用作传输振镜和接收振镜。
MEMS振镜是集成在半导体芯片(未示出)上的机械移动振镜(即，MEMS微振镜)。MEMS振镜可以由机械弹簧(例如，扭杆)或挠性件悬挂，并且被配置成围绕单个轴旋转，并且可以被认为仅具有一个移动自由度。例如，MEMS振镜21可以被配置成在x轴上振荡以执行水平扫描，而MEMS振镜24可以被配置成在y轴(即，与x轴正交)上振荡以执行垂直扫描。由于这个单一的旋转轴，MEMS振镜被称为1D MEMS振镜。两个MEMS振镜21和24一起能够执行二维(2D)扫描并且可以用于利萨茹扫描操作。
因为扫描系统20是2D扫描系统，所以光束具有被传输到用户视场中的点形状，其中较高的分辨率被引导朝向用户的视网膜，并且更具体地，被引导朝向用户的中央凹。
MEMS振镜本身是非线性谐振器(即，谐振MEMS振镜)，被配置成围绕扫描轴线“左右”振荡，使得从MEMS振镜反射的光在扫描方向(例如，水平扫描方向或垂直扫描方向)上来回振荡。例如由一个完整振荡，即从视场的第一边缘(例如，第一侧)到视场的第二边缘(例如，第二侧)、并且然后再次回到第一边缘，来定义扫描周期或振荡周期。MEMS振镜的振镜周期对应于扫描周期。
因此，通过改变每个MEMS振镜在其各自扫描轴线上的角度θ，在两个扫描方向上扫描视场。例如，MEMS振镜21可以被配置成在预定角度范围以2kHz的谐振频率振荡，以在扫描范围内操纵光。因此，通过MEMS振镜旋转经过其运动自由度，可以逐行地扫描视场。通过运动自由度(例如，从-15度到+15度)的一个这样的序列被称为单个扫描或扫描周期。
替代地，还将进一步理解，MEMS振镜21或24中的一个MEMS振镜也可以被配置为具有两个扫描轴线(即，x轴和y轴)的2D MEMS振镜，而另外的振镜被配置为固定反射结构。例如，MEMS振镜21可以用固定的反射结构代替，并且MEMS振镜24可以被配置为2DMEMS振镜，2DMEMS振镜的偏转位置通过在两个轴上驱动该振镜来控制。在这种情况下，单个2D MEMS振镜的两个轴由不同的锁相环(PLL)控制，使得根据第一轴的第一扫描方向和根据第二轴的第二扫描方向在驱动幅度和驱动频率方面是单独可控的。或者通过重新定位RGB单元10以将光束引导到2D扫描振镜24上的方式，甚至可以在没有振镜21的情况下构建系统。
当使用两个1D MEMS振镜时，可以说是相同的两个MEMS振镜在驱动振幅和驱动频率方面都是单独可控的。在该示例中，扫描系统20包括两个MEMS驱动器61和64，所述两个MEMS驱动器被配置成根据相应的驱动波形来驱动MEMS振镜21和MEMS振镜24中的相应一个MEMS振镜。每个MEMS振镜21和24的偏转角度基于其驱动波形随时间连续变化。可替代地，用于驱动每个MEMS振镜的电路可以组合到单个MEMS驱动器(例如，包括两个PLL电路)中。因此，应当理解，由MEMS驱动器61和64中的任一个MEMS驱动器执行的任何功能也可以由单个MEMS驱动器执行。
MEMS振镜21的扫描频率可以被设置成高于MEMS振镜24的扫描频率。为此，MEMS振镜21可以被称为“快”振镜，并且MEMS振镜24可以被称为“慢”振镜。另外，每个振镜的偏转角度(即，倾斜角度)可以遵循不同的图案。例如，MEMS振镜21的偏转角度可以遵循较高频率的正弦图案，并且MEMS振镜24的偏转角度可以遵循较低频率的锯齿图案。这导致MEMS振镜21与MEMS振镜24相比具有围绕其扫描轴线的更快的变化率。另外，一个或两个振镜的偏转角度可以基于所检测和跟踪的中央凹位置来调制，这将在下面更详细地描述。
如上所述，RGB光单元10向扫描系统20发射红、绿和蓝色光束。RGB光束可以通过各自的光学分束器11R、11G和11B耦联到传输路径中，所述光学分束器对于它们各自的RGB光束具有高反射率。RGB光束可以穿过相对于RGB光束具有高透射率的光学分束器12。扫描系统20被配置成接收RGB光束并使用两个扫描轴线在2D投影平面中操纵RGB光束以创建RGB图像。
具体地，扫描系统20将RGB光引导到包括耦入光栅32和耦出光栅34的波导30。耦入光栅32将光(例如，RGB光和IR光)耦联到波导30中。耦入光通过内部折射沿着波导30朝向耦出光的耦出光栅34行进。耦出光栅34将耦出光投影到用户眼睛的视场中，并且更具体地，将耦出光投影到用户眼睛上。因此，波导30负责耦入由RGB光形成的RGB图像、并且然后通过将RGB图像耦出到用户眼睛的视场中，来将RGB图像投影到用户眼睛中。换句话说，波导30根据基于检测和跟踪的中央凹位置而调节的受控系统分辨率，将由RGB光单元10产生的RGB图像传递到用户的眼睛。
图像投影系统100还包括眼睛跟踪传感器40，眼睛跟踪传感器与扫描系统20一起形成视网膜扫描仪。眼睛跟踪传感器40包括产生并传输IR光束的IR光源41(即，第二发射器)，诸如激光二极管或发光二极管。IR光源41可以是近红外(NIR)激光源，其产生在电磁光谱的近红外区域(例如，从780nm到1350nm)中的激光脉冲。传感器40还包括相对于IR光束具有高透射率的光学分束器42。光学分束器12被配置成接收来自IR光源41的IR光束，并且经由高反射率将IR光束耦联到传输路径中。布置在传输路径上的扫描系统20接收RGB光束与IR光束。关于传感器功能，扫描系统20将MEMS振镜21和24的2D扫描功能应用于IR光束以扫描用户眼睛的视网膜。该扫描与RGB图像到用户眼睛上的投影同时发生，并且因此并行发生。
IR光束从用户的眼睛反射回来，部分地由视网膜反射，并且进一步部分地由中央凹反射。反向散射IR光耦回到波导30中并且被引导回到传感器40到达光检测器43(例如，诸如光电二极管的光电检测器)。波导30、扫描系统20和光学分束器12被布置在表示用户眼睛的传感器数据的反向散射IR光的返回路径(即，接收路径)上。尤其，传感器数据可以被信号处理器使用来生成用户眼睛的图像，并且尤其是用户的视网膜的图像。
光学分束器12具有高反射率，以用于反射反向散射IR光并将反向散射IR光向着光学分束器42引导。同样，光学分束器42具有高反射率，以用于反射反向散射IR光并将其朝向光检测器43引导。光检测器43被配置成接收反向散射IR光并响应于其生成电信号。由于来自IR光源41的每个光脉冲的传输时间是已知的，并且由于光以已知的速度行进，所以使用电信号的飞行时间计算可以确定对象距光检测器43的距离。可以从距离信息生成用户眼睛的深度图。通过检测由在视网膜处反射的光产生的电信号的幅度，可以产生2D反射率图(视网膜的图像)。
例如，传感器40包括传感器电路44，传感器电路包括ADC 45和数字信号处理器(DSP)46。ADC 45可以用于信号检测和ToF测量。例如，ADC 45可以用于检测来自光检测器43的模拟电信号，以利用适当的算法估计开始信号(即，对应于传输光脉冲的定时)和停止信号(即，对应于在ADC 45处接收模拟电信号的定时)之间的时间间隔。DSP 46被配置成从ADC45接收数字信号，并且执行单通道数据处理以生成视网膜图像，并且然后进一步执行图像处理以执行眼睛跟踪。
DSP 46确定飞行时间并且因此确定与IR光源41发射的每个IR光脉冲相对应的距离信息。使用对应于每个MEMS振镜21和24的位置信息(即，在2D空间中投影到用户的眼睛上的所传输的IR光的x-y坐标)，DSP 46可以映射每个所传输的IR光脉冲的深度和位置以生成深度图，并且更具体地，生成视网膜图像。DSP 46还被配置成分析视网膜图像以检测眼睛的聚焦方向。更具体地说，DSP 46被配置成分析视网膜图像以检测和跟踪视网膜图像内的中央凹。DSP 46被配置成生成跟踪信息，包括视网膜跟踪信息和/或中央凹跟踪信息，并且将跟踪信息提供给系统控制器50。跟踪信息可以包括视网膜图像内的中央凹的实时位置信息。中央凹位置信息可以是x-y坐标、视网膜图像内的识别的感兴趣区域(ROI)、中央凹所在的x轴角度范围(例如，对应于MEMS振镜21)和/或中央凹所在的y轴角度范围(例如，对应于MEMS振镜24)的形式。系统控制器50被配置成基于接收到的跟踪信息执行一个或多个控制功能。
系统控制器50被配置成控制图像投影系统100的组件，包括控制所述IR光源41、RGB光单元10的RGB光源以及MEMS驱动器61和64。因此，系统控制器50包括控制电路，例如微控制器，控制电路被配置成产生控制信号。在一些示例中，系统控制器50可以包含DSP 46、其一部分，或者可以另外包括用于生成和/或分析视网膜图像数据、跟踪中央凹等的处理电路。控制信号可以用于控制发射器10的功能(即，RGB光源11的功能)、IR光源41的发射光脉冲的定时、MEMS振镜21和24的振荡频率、振荡图案和振荡范围(运动的角度范围)、和/或MEMS驱动器61和64的驱动波形。因此，系统控制器50可以包括用于处理数据的信号处理链的至少一个处理器和/或处理器电路(例如，比较器和数字信号处理器(DSP))，以及被配置成生成控制信号的控制电路，诸如微控制器。
MEMS驱动器61和64被配置成分别驱动MEMS振镜21和MEMS振镜24。尤其，每个MEMS驱动器61、64致动和感测其MEMS振镜围绕其扫描轴线的旋转位置，并且将振镜的位置信息(例如，围绕扫描轴线的倾斜角度或旋转角度)提供给系统控制器50。因此，每个MEMS驱动器61、64包括被配置成测量其MEMS振镜21、24的旋转位置的测量电路。
例如，用于驱动相应MEMS振镜21、24的致动器结构可以是梳状驱动转子和定子，其包括两个驱动电容器，驱动电容器的电容或存储电荷与偏转角度相关。因此，测量电路可以通过测量驱动电容器的电容或驱动电容器的存储电荷来确定旋转位置。
基于该位置信息，系统控制器50可以结合从DSP 46接收的跟踪信息来控制一个或多个系统功能。现在将更详细地描述基于中央凹检测和跟踪的可控功能。
图2A和图2B示出根据一个或多个实施例的2D扫描平面中的两个利萨茹扫描图案。2D扫描平面由在水平扫描方向上的两个角度极值之间(例如，在x方向上定义的左边缘和右边缘之间)的MEMS振镜21的角度范围和在垂直扫描方向上的两个角度极值之间(例如，在y方向上定义的顶部边缘和底部边缘之间)的MEMS振镜24的角度范围定义。根据预编程的扫描图案(例如，光栅或利萨茹图案)将IR光和RGB光投影到眼睛上，其中，光脉冲跟踪该图案。
图2A对应于用于眼睛检测和中央凹检测的眼睛(即，视网膜)的第一扫描。这里，扫描图案是均匀的，使得正弦波图案在y方向上是均匀的，这表明y方向上的恒定变化率(即，振荡速度)。在检测到中央凹的位置时，系统控制器50被配置成切换到由图2B表示的中央凹扫描。因此，图2B对应于一旦确定了中央凹的位置就初始化的后续扫描。
在图2B中，在y方向上修改扫描图案，使得扫描的图案密度在2D扫描规划的与所确定的中央凹位置相对应的区域中增加。为了调制扫描图案，系统控制器调节驱动MEMS振镜24的MEMS驱动器64的驱动波形。例如，y方向上的变化率可以在对应于中央凹的位置的y角度范围内减小，使得MEMS振镜21在该区域中执行更高次数的扫描(振荡)。这有效地增加了在该y角度范围内的扫描密度(即，分辨率)。
由于IR扫描仪和RGB成像器共享同一扫描系统20，因此增加扫描密度也增加了投影到用户眼睛中的RGB图像的图像分辨率。因此，RGB图像的投影被相应地呈现。增加扫描密度或分辨率还增强了传感器40的中央凹检测和跟踪，从而增加了中央凹定位的精度。
另外，y方向上的变化率可以在对应于远离或与中央凹疏远的位置的y角度范围内增加，使得MEMS振镜21在该区域中执行较少数量的扫描(振荡)。这有效地减小了在该y角度范围内的扫描密度(即，分辨率)。由于IR扫描仪和RGB成像器共享同一扫描系统20，因此降低扫描密度也降低了投影到用户眼睛中的RGB图像的图像分辨率。因此，RGB图像的投影被相应地呈现。
随着扫描坐标朝向中央凹所在的聚焦面积移动，扫描密度可以从远离中央凹的区域逐渐增加，并且随着扫描坐标远离中央凹所在的聚焦面积移动，扫描密度可以逐渐减小。
注意，MEMS振镜21的扫描图案保持固定(即，MEMS振镜的驱动波形固定)，而MEMS振镜24的扫描图案基于中央凹位置进行调节。然而，还应当理解，MEMS振镜21的扫描图案(例如其驱动波形)也可以由系统控制器50调制，以进一步限定扫描图案的聚焦面积。
因此，系统控制器50被配置成基于由DSP 46提供的跟踪信息来跟踪中央凹，并且调节扫描图案的增加扫描密度的聚焦面积，使得聚焦面积被限定在扫描图案中。聚焦面积的位置被调节成与所跟踪的中央凹的位置一致。实时调节聚焦面积以跟随中央凹的位置的任何变化。例如，通过调节MEMS振镜24的驱动波形，聚焦面积可以基于检测到的中央凹位置在y方向上向上或向下移位。在每次扫描之后可以调节扫描图案，使得基于检测到的中央凹位置更新用于下一次扫描的扫描图案。可替代地，扫描图案可以响应于检测到中央凹的位置而在扫描中间被调节。例如，MEMS振镜24的驱动波形可以在逐周期的基础上进行调节。
另外或者可替代地，系统控制器50可以通过调制RGB光脉冲来调节RGB图像的分辨率，以在RGB图像的中央凹区域中呈现较高的分辨率，并且在RGB图像中的中央凹区域外的面积中呈现较低的分辨率。RGB光脉冲可以在脉冲宽度、传输频率(即光脉冲的定时频率，更频繁或更不频繁)、亮度或其任意组合方面被调制。为了避免与频谱频率混淆，传输频率可以被称为脉冲速率。
图3A示出根据一个或多个实施例的用于利萨茹扫描的MEMS振镜驱动波形。尤其，顶部波形是用于在x方向水平扫描的用于MEMS振镜21的驱动波形，底部波形是用于在y方向垂直扫描的用于MEMS振镜24的驱动波形。可以看出，MEMS振镜21的X驱动波形是正弦曲线并且与具有锯齿波形的MEMS振镜24的Y驱动波形相比具有更高的振荡速率。因此，MEMS振镜21在MEMS振镜24的振荡(扫描)周期内振荡多次。
图3B示出基于图3A中所示的MEMS振镜驱动波形而生成的利萨茹扫描图案。此外，RGB激光脉冲被示出在2D投影平面中，重叠在扫描图案的一部分上。系统控制器50被配置成：根据是在中央凹区域内还是中央凹区域外发射RGB激光脉冲，来调制RGB激光脉冲的脉冲宽度、脉冲速率和/或激光驱动电流带宽。RGB激光器的功率也可以被调制，对于在中央凹区域内发射的脉冲，系统控制器50触发较高的亮度(即，较高的功率)，并且对于在中央凹区域外发射的脉冲，系统控制器50触发较低的亮度。激光驱动电流带宽是在输出没有显著变化的情况下可以支持的频率范围，并且取决于应用于光源的模拟调制方法，其中，模拟调制意味着波形在幅度上连续变化。
RGB图像的中央凹区域是与检测到的中央凹的位置重合的ROI，并且也可以称为聚焦区域。在这种情况下，当传输RGB图像的中央凹区域时，系统控制器50可以减小RGB光脉冲的脉冲宽度，增加RGB光脉冲的脉冲速率，和/或增加RGB光脉冲的激光驱动电流带宽。亮度也可以增加。这些宽度减小、脉冲速率更高、电流带宽更高的RGB光脉冲基于MEMS振镜21和24的扫描位置而被传输。例如，当MEMS振镜21的角度位置和MEMS振镜24的角度位置关于它们各自扫描轴线与中央凹区域的x-y坐标适配时，传输宽度减小、脉冲率更高的RGB光脉冲，或传输宽度减小、电流带宽更高的RGB光脉冲。因此，RGB图像在投影到中央凹上的面积中具有较高的分辨率，并且在投影到其他眼睛面积上的面积中具有较低的分辨率。
可以以这种方式定义分辨率的不同离散级别。例如，可以在中央凹区域中呈现最高分辨率，可以在与中央凹区域相邻并且同心的区域中呈现第二中间分辨率(例如，经由中间脉冲宽度、中间亮度、中间脉冲速率和/或中间激光驱动电流带宽)，并且可以在视网膜的外围区域处呈现最低分辨率(例如，经由最大脉冲宽度、最低亮度、最低传输脉冲速率和/或最低激光驱动电流带宽)。因此，脉冲宽度、脉冲亮度、脉冲速率和激光驱动电流带宽的任何组合可以用于定义RGB图像分辨率的不同离散等级。系统控制器50通过参考MEMS振镜位置信息和中央凹跟踪信息，经由发送到RGB光单元10的控制信号来调节这两个参数。
因此，通过DSP 46的眼睛跟踪/中央凹跟踪限定了高分辨率(中央凹)面积的位置，并且水平分辨率可以通过激光脉冲宽度来调谐。此外，可以通过调节每个RGB光源的峰值电流、电流带宽和/或占空比来独立地设置像素的亮度。
图4A示出根据一个或多个实施例的用于利萨茹扫描的MEMS振镜驱动波形。尤其，顶部波形是用于在x方向水平扫描的用于MEMS振镜21的驱动波形，底部波形是用于在y方向垂直扫描的用于MEMS振镜24的驱动波形。可以看出，MEMS振镜21的X驱动波形是正弦曲线，并且与MEMS振镜24的Y驱动波形相比具有更高的振荡速率，Y驱动波形具有可调节的锯齿波形。因此，MEMS振镜21在MEMS振镜24的振荡(扫描)周期内振荡多次。这里，基于中央凹区域的位置来调节Y驱动波形的斜率(即，变化率)。这导致对MEMS振镜24的旋转速度的调节。图4B示出基于图4A中所示的MEMS振镜驱动波形生成的利萨茹扫描图案。
根据该示例，Y驱动波形的上升沿的斜率被调节成当扫描图案在中央凹区域外时较高，并且当扫描图案在中央凹区域内或与中央凹区域重叠时较低。因此，系统控制器50减小Y驱动波形的斜率，从而当MEMS振镜24围绕其扫描轴线的角度位置与中央凹区域的角度范围一致时，减慢MEMS振镜的旋转运动。相反，X驱动波形保持固定。结果，MEMS振镜21相对于MEMS振镜24的角度变化执行了更多数量的振荡，从而在扫描图案中产生具有更高图案密度的聚焦区域。较高的图案密度为RGB图像的该区域产生较高的分辨率。
此外，当MEMS振镜24的角度位置与视网膜的周边区域的角度范围一致时，系统控制器50增大Y驱动波形的斜率。结果，MEMS振镜21在该区域中执行较少次数的振荡，从而在扫描图案中产生具有较低图案密度的区域。较低的图案密度为RGB图像的该区域产生较低的分辨率。可以以这种方式定义分辨率的不同离散级别。
系统控制器50也可以调节RGB光脉冲的发射定时，在扫描图案的聚焦区域内具有增加的脉冲速率，并且在扫描图案的聚焦区域外具有减小的脉冲速率。注意，刷新率和扫描线的总数不变。相反，扫描线的数量在聚焦区域中被压缩并且在聚焦区域外部更广泛地展开。扫描线之间的间隔可以随着与聚焦区域的中心(即，中央凹的中心)的距离而逐渐增加，或者可以固定在聚焦区域内，并且可以随着与聚焦区域的顶部边缘和底部边缘的距离而逐渐增加。
系统控制器50也可以基于上述类似的标准来调节RGB光脉冲的强度或亮度。
鉴于以上所述，图像投影系统100内的眼睛跟踪系统可以用于动态中央凹渲染，该动态中央凹渲染使用眼睛跟踪并且更具体地使用中央凹跟踪来跟随用户的注视，并且无论用户的视网膜正在看哪里，都呈现清晰图像。使用上述技术将图像的最高分辨率呈现到中央凹上，而较低分辨率呈现在中央凹区域外。这样的系统可以用于XR系统中，其中，波导30是智能眼镜、智能隐形眼镜、平视显示器(HUD)、头戴式显示器(HMD)等。
尽管本文描述的实施例涉及具有振镜的MEMS器件，但是应当理解，其他实现方式可以包括除了MEMS振镜装置外的光学装置。另外，尽管已经在设备的上下文中描述了一些方面，但是清楚的是，这些方面还表示对相应方法的描述，其中，块或装置对应于方法步骤或方法步骤的特征。类似地，在方法步骤的上下文中描述的方面还表示对相应设备的相应块或项目或特征的描述。方法步骤中的一些或全部方法步骤可以由(或使用)硬件设备来执行，例如微处理器、可编程计算机或电子电路。在一些实施例中，方法步骤中的某一个或多个方法步骤可以由这样的设备执行。
虽然已经描述了各种实施例，但是对于本领域普通技术人员将显而易见的是，在本公开的范围内，更多的实施例和实现方式是可能的。因此，本发明除了根据所附权利要求及其等同物外不受限制。关于由上述组件或结构(组合件、装置、电路、系统等)执行的各种功能，除非另外指出，否则用于描述这些组件的术语(包括对“器件”的引用)旨在对应于执行所述组件的指定功能的任何组件或结构(即，功能等同)，即使在结构上不等效于执行本文所示的本发明的示例性实施方式中的功能的公开结构。
此外，所附权利要求由此被并入具体实施方式中，其中，每个权利要求可以独立地作为单独的示例实施例。虽然每个权利要求可以独立地作为单独的示例实施例，但是应当注意，尽管从属权利要求可以在权利要求中指与一个或多个其他权利要求的特定组合，但是其他示例实施例也可以包括从属权利要求与每个其他从属或独立权利要求的主题的组合。除非说明不打算进行特定的组合，否则本文提出了这样的组合。此外，即使一个权利要求不是直接从属于独立权利要求，也旨在将该权利要求的特征包括到任何其他独立权利要求。
还应注意，说明书或权利要求书中公开的方法可以由具有用于执行这些方法的各个动作中的每个动作的器件的装置来实现。
此外，应当理解，在说明书或权利要求书中公开的多个动作或功能的公开不应被解释为在特定顺序内。因此，多个动作或功能的公开将不会将这些限制到特定顺序，除非这样的动作或功能出于技术原因不可互换。此外，在一些实施例中，单个动作可以包括或者可以被分解成多个子动作。除非明确排除，否则这些子动作可以被包括在此单个动作的公开中并且是该公开的一部分。
指令可以由一个或多个处理器执行，例如一个或多个中央处理单元(CPU)、数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其他等效集成或离散逻辑电路。因此，如本文所使用的术语“处理器”或“处理电路”指代前述结构或适合于实施本文所描述的技术的任何其他结构中的任一者。另外，在一些方面，本文描述的功能可以在专用硬件和/或软件模块内提供。而且，所述技术可完全实施于一个或多个电路或逻辑元件中。
因此，本公开中所描述的技术可至少部分地以硬件、软件、固件或其任何组合来实施。例如，所描述的技术的各个方面可以在一个或多个处理器中实现，包括一个或多个微处理器、DSP、ASIC、或任何其他等效的集成或分立逻辑电路、以及这些组件的任何组合。
包括硬件的控制器也可以执行本公开中描述的技术中的一个或多个技术。此类硬件、软件和固件可以在同一装置内或在单独装置内实施以支持本公开中所描述的各种技术。软件可以存储在非暂时性计算机可读介质上，使得非暂时性计算机可读介质包括存储在其上的程序代码或程序算法，当执行该程序代码或程序算法时，使得控制器经由计算机程序执行方法的步骤。
尽管已经公开了各种示例性实施例，但是对于本领域技术人员来说，在不脱离本发明的精神和范围的情况下，可以进行实现本文所公开的概念的一些优点的各种改变和修改是显而易见的。对于本领域的普通技术人员来说，显然可以适当地替换执行相同功能的其他组件。应该理解，在不脱离本发明的范围的情况下，可以利用其他实施例并且可以进行结构或逻辑上的改变。应当提到的是，参考特定附图解释的特征可以与其他附图的特征组合，即使在那些没有明确提到的附图中。对本发明总体构思的这种修改旨在由所附权利要求及其合法等同物覆盖。

Claims (21)

1.一种图像投影系统，包括：
第一发射器，被配置成生成像素光脉冲、并沿着传输路径发射所述像素光脉冲以被投影到眼睛上，从而在所述眼睛上呈现投影图像；
第二发射器，被配置成生成红外IR光脉冲，所述IR光脉冲沿着所述传输路径传输，并且被投影到所述眼睛上，并且从所述眼睛被反射回作为接收路径上的反射IR光脉冲；
同轴扫描系统，沿着所述传输路径和所述接收路径布置，所述同轴扫描系统包括至少一个振荡器结构，所述至少一个振荡器结构使得所述同轴扫描系统能够根据扫描图案在第一扫描方向和第二扫描方向上操纵所述像素光脉冲和所述IR光脉冲；
眼睛跟踪传感器，被配置成：从所述同轴扫描系统接收所述反射IR光脉冲，基于所述反射IR光脉冲生成所述眼睛的视网膜图像，并且处理所述视网膜图像以确定所述眼睛的中央凹区域的位置；以及
系统控制器，被配置成基于所述中央凹区域的位置来呈现所述投影图像，其中所述投影图像在所述中央凹区域中以较高分辨率呈现并且在所述中央凹区域外以较低分辨率呈现。
2.根据权利要求1所述的图像投影系统，其中所述同轴扫描系统被配置成：在所述第一扫描方向和所述第二扫描方向上操纵所述像素光脉冲以呈现所述投影图像，并且在所述第一扫描方向和所述第二扫描方向上操纵所述IR光脉冲以执行视网膜扫描。
3.根据权利要求1所述的图像投影系统，其中所述系统控制器被配置成：控制所述第一发射器，以对于投影到所述中央凹区域上的所述像素光脉冲的第一部分减小脉冲宽度、并且增加脉冲速率或激光驱动电流带宽中的至少一项；并且控制所述第一发射器，以对于投影到所述中央凹区域外的所述像素光脉冲的至少第二部分增大所述脉冲宽度、并且减小所述脉冲速率或所述激光驱动电流带宽中的至少一项。
4.根据权利要求1所述的图像投影系统，其中所述系统控制器被配置成：控制所述第一发射器，以对于投影到所述中央凹区域上的所述像素光脉冲的第一部分增加所述像素光脉冲的强度；并且控制所述第一发射器，以对于投影到所述中央凹区域外的所述像素光脉冲的至少第二部分减小所述像素光脉冲的强度。
5.根据权利要求4所述的图像投影系统，其中所述第一发射器包括多个单色光源，并且所述系统控制器被配置成：通过独立地调节多个单色光源中的每个单色光源的电流的峰值和带宽或占空比，来控制所述像素光脉冲的强度。
6.根据权利要求1所述的图像投影系统，其中所述系统控制器被配置成：控制所述同轴扫描系统，以在所述扫描图案的与所述中央凹区域对应的第一区域中增加所述扫描图案的图案密度；并且控制所述同轴扫描系统，以在所述扫描图案的不与所述中央凹区域对应的至少第二区域中减小所述扫描图案的图案密度。
7.根据权利要求1所述的图像投影系统，其中所述第一发射器是包括红色光源、绿色光源和蓝色光源的红绿蓝RGB发射器，并且所述投影图像是RGB图像。
8.根据权利要求1所述的图像投影系统，其中所述至少一个振荡器结构中的每个振荡器结构具有至少一个随时间连续变化的偏转角度。
9.根据权利要求1所述的图像投影系统，其中所述至少一个振荡器结构包括：
第一振荡器结构，被配置成以第一扫描频率围绕第一扫描轴线振荡，以在所述第一扫描方向上操纵所述像素光脉冲和所述IR光脉冲；以及
第二振荡器结构，被配置成以第二扫描频率围绕第二扫描轴线振荡，以在所述第二扫描方向上操纵所述像素光脉冲和所述IR光脉冲。
10.根据权利要求9所述的图像投影系统，其中所述第一扫描频率大于所述第二扫描频率。
11.根据权利要求9所述的图像投影系统，其中所述同轴扫描系统包括：
第一驱动器电路，被配置成根据固定的第一驱动波形来驱动所述第一振荡器结构；以及
第二驱动器电路，被配置成根据能调节的第二驱动波形来驱动所述第二振荡器结构。
12.根据权利要求11所述的图像投影系统，其中所述第一驱动波形是正弦波并且所述第二驱动波形是锯齿波。
13.根据权利要求11所述的图像投影系统，其中所述系统控制器被配置成基于所述中央凹区域的所述位置来调节所述第二驱动波形。
14.根据权利要求13所述的图像投影系统，其中所述系统控制器被配置成：当所述第二振荡器结构的偏转角度在与所述中央凹区域的所述位置相对应的角度范围内时，减小所述第二驱动波形的斜率；并且当所述第二振荡器结构的偏转角度在与所述中央凹区域的所述位置相对应的角度范围外时，增加所述第二驱动波形的斜率。
15.根据权利要求9所述的图像投影系统，其中所述系统控制器被配置成基于所述中央凹区域的所述位置实时动态地调节所述第二振荡器结构的旋转速度。
16.根据权利要求15所述的图像投影系统，其中所述系统控制器被配置成：调节所述第二振荡器结构的所述旋转速度，使得所述扫描图案的图案密度在所述扫描图案的与所述中央凹区域对应的第一区域中增加、并且在所述扫描图案的不与所述中央凹区域对应的至少第二区域中减小。
17.根据权利要求16所述的图像投影系统，其中所述系统控制器被配置成：在所述扫描图案的与所述中央凹区域对应的所述第一区域中，减小所述第二振荡器结构的所述旋转速度；并且在所述扫描图案的不与所述中央凹区域对应的至少第二区域中，增加所述第二振荡器结构的所述旋转速度。
18.一种基于视网膜中央凹跟踪投影图像的方法，所述方法包括：
沿着传输路径传输像素光脉冲，以将像素光脉冲投影到眼睛上，从而在所述眼睛上呈现投影图像；
沿着所述传输路径传输红外IR光脉冲，所述IR光脉冲被投影到所述眼睛上、并且从所述眼睛反射回作为接收路径上的反射IR光脉冲；
根据扫描图案在第一扫描方向和第二扫描方向上操纵所述像素光脉冲和所述IR光脉冲；
感测从所述接收路径接收的所述反射IR光脉冲；
基于所述反射IR光脉冲生成所述眼睛的视网膜图像；
处理所述视网膜图像以确定所述眼睛的中央凹区域的位置；以及
基于所述中央凹区域的所述位置来呈现所述投影图像，其中所述投影图像在所述中央凹区域中以较高分辨率呈现、并且在所述中央凹区域外以较低分辨率呈现。
19.根据权利要求18所述的方法，其中基于所述中央凹区域的所述位置来呈现所述投影图像包括：
对于投影到所述中央凹区域上的所述像素光脉冲的第一部分，减小脉冲宽度、并且增加脉冲速率或激光驱动电流带宽中的至少一项；以及
对于投影到所述中央凹区域外的所述像素光脉冲的至少第二部分，增加所述脉冲宽度、并且减小所述脉冲速率和所述激光驱动电流带宽中的至少一项。
20.根据权利要求18所述的方法，其中基于所述中央凹区域的所述位置来呈现所述投影图像包括：
对于投影到所述中央凹区域上的所述像素光脉冲的第一部分，增加所述像素光脉冲的强度；以及
对于投影到所述中央凹区域外的所述像素光脉冲的至少第二部分，降低所述像素光脉冲的强度。
21.根据权利要求18所述的方法，其中基于所述中央凹区域的所述位置来呈现所述投影图像包括：
在所述扫描图案的与所述中央凹区域对应的第一区域中增加所述扫描图案的图案密度；以及
在所述扫描图案的不与所述中央凹区域对应的至少第二区域中减小所述扫描图案的所述图案密度。
CN202111368640.4A 2020-12-21 2021-11-18 具有眼睛跟踪的基于mems振镜的扩展现实投影 Pending CN114647084A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/128,976 2020-12-21
US17/128,976 US11523095B2 (en) 2020-12-21 2020-12-21 Mems mirror-based extended reality projection with eye-tracking

Publications (1)

Publication Number Publication Date
CN114647084A true CN114647084A (zh) 2022-06-21

Family

ID=81847583

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111368640.4A Pending CN114647084A (zh) 2020-12-21 2021-11-18 具有眼睛跟踪的基于mems振镜的扩展现实投影

Country Status (3)

Country Link
US (1) US11523095B2 (zh)
CN (1) CN114647084A (zh)
DE (1) DE102021132465A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11928257B2 (en) * 2021-02-17 2024-03-12 Samsung Electronics Co., Ltd. Method and electronic device for tracking eye
KR20240009275A (ko) * 2022-07-13 2024-01-22 삼성전자주식회사 객체의 깊이 정보를 획득하는 전자 장치 및 그 동작 방법
US11796820B1 (en) * 2022-10-21 2023-10-24 Infineon Technologies Ag Binocular display light engine with single microelectromechanical system (MEMS) mirror and multiple light transmitters

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4620318A (en) * 1983-04-18 1986-10-28 Eye-D Development Ii Ltd. Fovea-centered eye fundus scanner
US20140232736A1 (en) * 2011-08-31 2014-08-21 Lemoptix Sa Device and method for projecting an image
CN108474939A (zh) * 2015-12-03 2018-08-31 埃韦视觉有限公司 图像投影系统
CN108780223A (zh) * 2016-03-11 2018-11-09 欧库勒斯虚拟现实有限责任公司 用于生成眼睛模型的角膜球跟踪
US10452138B1 (en) * 2017-01-30 2019-10-22 Facebook Technologies, Llc Scanning retinal imaging system for characterization of eye trackers
CN110447063A (zh) * 2017-03-23 2019-11-12 微软技术许可有限责任公司 激光扫描束凹形显示
CN110679147A (zh) * 2017-03-22 2020-01-10 奇跃公司 用于显示系统的基于深度的凹式渲染

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7415126B2 (en) * 1992-05-05 2008-08-19 Automotive Technologies International Inc. Occupant sensing system
US7663502B2 (en) * 1992-05-05 2010-02-16 Intelligent Technologies International, Inc. Asset system control arrangement and method
US7243945B2 (en) * 1992-05-05 2007-07-17 Automotive Technologies International, Inc. Weight measuring systems and methods for vehicles
US7164117B2 (en) * 1992-05-05 2007-01-16 Automotive Technologies International, Inc. Vehicular restraint system control system and method using multiple optical imagers
US8956396B1 (en) * 2005-10-24 2015-02-17 Lockheed Martin Corporation Eye-tracking visual prosthetic and method
US8945197B1 (en) * 2005-10-24 2015-02-03 Lockheed Martin Corporation Sight-restoring visual prosthetic and method using infrared nerve-stimulation light
DE102018209886B4 (de) * 2018-06-19 2020-02-27 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Einrichtung zur Projektion eines Laserstrahls zur Erzeugung eines Bildes auf der Netzhaut eines Auges und Brilleneinrichtung mit zwei derartigen Einrichtungen

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4620318A (en) * 1983-04-18 1986-10-28 Eye-D Development Ii Ltd. Fovea-centered eye fundus scanner
US20140232736A1 (en) * 2011-08-31 2014-08-21 Lemoptix Sa Device and method for projecting an image
CN108474939A (zh) * 2015-12-03 2018-08-31 埃韦视觉有限公司 图像投影系统
CN108780223A (zh) * 2016-03-11 2018-11-09 欧库勒斯虚拟现实有限责任公司 用于生成眼睛模型的角膜球跟踪
US10452138B1 (en) * 2017-01-30 2019-10-22 Facebook Technologies, Llc Scanning retinal imaging system for characterization of eye trackers
CN110679147A (zh) * 2017-03-22 2020-01-10 奇跃公司 用于显示系统的基于深度的凹式渲染
CN110447063A (zh) * 2017-03-23 2019-11-12 微软技术许可有限责任公司 激光扫描束凹形显示

Also Published As

Publication number Publication date
US20220201264A1 (en) 2022-06-23
US11523095B2 (en) 2022-12-06
DE102021132465A1 (de) 2022-06-23

Similar Documents

Publication Publication Date Title
US11523095B2 (en) Mems mirror-based extended reality projection with eye-tracking
KR102594058B1 (ko) 광 스캐닝 프로젝터와 함께 눈 움직임을 추적하기 위한 방법 및 시스템
US9936176B2 (en) Image protection device and adjustment method
KR101762525B1 (ko) 다수의 이미터들을 이용한 깊이 주사를 위한 장치 및 방법
AU2018227679B2 (en) MEMS scanning display device
EP2581034B1 (en) Eye-tracker illumination
JP2019525183A (ja) 解像度が調整可能な深度マッピング装置および方法
CN109565579B (zh) 利用扫描激光图像投影提供深度映射的设备和方法
JP5316346B2 (ja) 網膜走査型画像表示装置
US10114215B1 (en) Scanning laser devices with reduced exit pupil disparity
JP2011075957A (ja) 画像表示装置
CN114815468A (zh) 在增强现实显示器中利用激光束扫描的多平面投影
US11334153B2 (en) Optical device, retinal projection display, head-mounted display, and input device
US11828881B2 (en) Steered LIDAR system with arrayed receiver
CN112799080A (zh) 深度感测装置及方法
KR102336501B1 (ko) 안과용 장치
JP6569318B2 (ja) 光走査装置
US11025871B1 (en) Driving scanning projector display with pulses shorter than pixel duration
EP3724870B1 (en) Variable emission period for scanned-beam display
US7210784B2 (en) Image projecting device
KR20210031597A (ko) 헤드 마운트 디스플레이용 눈의 적응 거리 측정 장치 및 방법, 및 헤드 마운트 디스플레이
US20240077719A1 (en) Multi-beam laser beam scanner in a picture generation unit
KR20240022226A (ko) 카메라 장치
US20230043439A1 (en) 3d mapping in 2d scanning display
EP3104209B1 (en) Method and system for generating light pattern using polygons

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination