CN113661428A - Mems反射器的轨迹估计 - Google Patents

Mems反射器的轨迹估计 Download PDF

Info

Publication number
CN113661428A
CN113661428A CN202080025753.1A CN202080025753A CN113661428A CN 113661428 A CN113661428 A CN 113661428A CN 202080025753 A CN202080025753 A CN 202080025753A CN 113661428 A CN113661428 A CN 113661428A
Authority
CN
China
Prior art keywords
dual
mems reflector
reflector
tilt angle
resonant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080025753.1A
Other languages
English (en)
Inventor
齐夫·马格兹
丹尼尔·冈瑟·格雷夫
詹姆斯·劳道夫
塔哈·马苏德
乔纳森·罗伯特·彼得森
斯科特·查尔斯·麦克尔道尼
斯蒂芬·约翰·霍姆斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Technologies LLC
Original Assignee
Facebook Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Facebook Technologies LLC filed Critical Facebook Technologies LLC
Publication of CN113661428A publication Critical patent/CN113661428A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/10Scanning systems
    • G02B26/101Scanning systems with both horizontal and vertical deflecting means, e.g. raster or XY scanners
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3129Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] scanning a light beam on the display screen
    • H04N9/3135Driving therefor
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0816Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements
    • G02B26/0833Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements the reflecting element being a micromechanical device, e.g. a MEMS mirror, DMD
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0816Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements
    • G02B26/0833Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements the reflecting element being a micromechanical device, e.g. a MEMS mirror, DMD
    • G02B26/0841Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements the reflecting element being a micromechanical device, e.g. a MEMS mirror, DMD the reflecting element being moved or deformed by electrostatic means
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/10Scanning systems
    • G02B26/105Scanning systems with one or more pivoting mirrors or galvano-mirrors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00Computing arrangements based on specific mathematical models
    • G06N7/01Probabilistic graphical models, e.g. probabilistic networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3129Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] scanning a light beam on the display screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/315Modulator illumination systems
    • H04N9/3155Modulator illumination systems for controlling the light source
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Algebra (AREA)
  • Probability & Statistics with Applications (AREA)
  • Mechanical Optical Scanning Systems (AREA)
  • Mechanical Light Control Or Optical Switches (AREA)

Abstract

用于可倾斜的MEMS反射器的控制器被配置为使反射器围绕X轴或围绕X轴和Y轴振荡,并获得关于当前和过去的倾斜角的信息。控制器被配置为基于先前获得的关于可倾斜的MEMS反射器在不同的较早时刻的倾斜角的信息来评估可倾斜的MEMS反射器在稍后时刻的倾斜角。控制器还可以被配置为激励光源,该光源在稍后时刻向可倾斜的MEMS反射器提供光束,该光束的亮度和颜色对应于将在稍后时刻由可倾斜的MEMS反射器绘制的像素的亮度和颜色。统计模型可以与机器学习相结合,以准确预测可倾斜的MEMS反射器的未来的倾斜角。

Description

MEMS反射器的轨迹估计
相关申请的引用
本申请要求2019年3月29日提交的第62/826,368号美国申请和2019年5月9日提交的第16/407,983号美国申请的优先权。出于所有目的,第62/826,368号美国申请和第16/407,983号美国申请的内容通过引用以其整体并入本文。
技术领域
本公开涉及可佩戴头戴式耳机,并且尤其涉及用于可佩戴显示器或近眼显示器的部件和模块。
背景
头戴式显示器(HMD)、近眼显示器(NED)和其他可佩戴显示系统可以用于向用户呈现虚拟场景,或者用动态信息、数据或虚拟对象来增强真实场景。虚拟现实(VR)或增强现实(AR)场景可以是三维(3D)的,以增强体验并使虚拟对象与用户观察到的真实对象相匹配。可以实时跟踪用户的眼睛位置和凝视方向和/或取向,并且可以根据用户的头部取向和凝视方向动态地调整显示的场景,以提供在模拟或增强环境中的更好的沉浸体验。
扫描投影仪显示器提供角域(angular domain)中的图像。角域图像可以由眼睛直接观察,无需中间屏幕或显示面板。扫描投影仪显示器中没有屏幕或显示面板可以允许重量和尺寸的显著减小。扫描投影仪显示器通常需要紧凑、明亮且节能的光源和能够在显示器的视场上可控地操纵由光源生成的光束的扫描仪。
概述
根据本公开,提供了一种用于MEMS反射器的控制器。该控制器被配置为通过向MEMS反射器提供驱动信号,使MEMS反射器围绕至少一个轴(例如,X轴)振荡。对于其中MEMS反射器是可围绕X轴和Y轴倾斜的双谐振反射器的实施例,控制器可以被配置为通过向双谐振MEMS反射器提供驱动信号来使双谐振MEMS反射器围绕X轴和Y轴振荡,获得关于双谐振MEMS反射器在不同时刻的倾斜角的信息,并且基于获得的关于双谐振MEMS反射器在不同的较早时刻的倾斜角的信息来评估双谐振MEMS反射器的倾斜角。换句话说,控制器被配置为基于所获得的关于双谐振MEMS反射器在不同的较早时刻的倾斜角的信息来评估MEMS反射器的未来倾斜角。
在一些实施例中,控制器被配置为通过在不同的较早时刻获得同步信号来获得关于双谐振MEMS在不同的较早时刻的倾斜角的信息。同步信号指示双谐振MEMS反射器在不同的较早时刻的预定倾斜角。关于双谐振MEMS反射器在不同的较早时刻的倾斜角的信息可以例如通过以下方式来获得:确定双谐振MEMS反射器在不同的较早时刻的谐振振荡的相位,和/或测量在不同的较早时刻双谐振MEMS反射器围绕X轴或Y轴中的至少一个轴的倾斜角。可以基于当双谐振MEMS反射器具有预定倾斜角值时的较早时刻之间的时间差来评估双谐振MEMS反射器的倾斜角。
在一些实施例中,控制器被配置为基于所获得的关于双谐振MEMS反射器在不同的较早时刻的倾斜角的信息,确定将双谐振MEMS反射器的倾斜定义为时间的函数的模型的参数。该模型可以包括统计模型,该统计模型将双谐振MEMS反射器的倾斜角的概率分布定义为双谐振MEMS反射器在不同的较早时刻的倾斜角的函数。控制器可以包括神经网络,该神经网络被配置为分析获得的关于双谐振MEMS反射器在不同的较早时刻的倾斜角的信息,以确定统计模型的概率分布。
根据本公开,提供了一种扫描投影仪显示器,其包括用于提供光束的光源、光学地耦合到光源用于扫描光束从而提供角域中的图像的双谐振MEMS反射器、以及可操作地耦合到光源和双谐振MEMS反射器的控制器。控制器可以被配置为通过向双谐振MEMS反射器提供驱动信号来使双谐振MEMS反射器围绕X轴和Y轴振荡,获得关于双谐振MEMS反射器在不同时刻的倾斜角的信息,基于关于双谐振MEMS反射器在不同的较早时刻的倾斜角的信息确定图像的哪个像素对应于双谐振MEMS反射器的倾斜角,以及以对应于像素的亮度的功率水平操作光源。
在扫描投影仪显示器的一些实施例中,双谐振MEMS反射器包括反馈电路,该反馈电路耦合到控制器,并且被配置为当双谐振MEMS反射器的倾斜角达到预定值时,向控制器提供同步信号。控制器还可以被配置为基于所获得的关于双谐振MEMS反射器在不同的较早时刻的倾斜角的信息,确定将双谐振MEMS反射器的倾斜定义为时间的函数的模型的参数。
根据本公开,还提供了一种用于控制MEMS反射器的方法。该方法包括通过向MEMS反射器提供驱动信号来使MEMS反射器围绕至少一个轴振荡,获得关于MEMS反射器在不同时刻的倾斜角的信息,以及基于获得的关于MEMS反射器在不同的较早时刻的倾斜角的信息来评估MEMS反射器的倾斜角。获得关于MEMS反射器的倾斜角的信息以评估MEMS反射器的倾斜角可以包括在不同的较早时刻获得同步信号,该同步信号指示MEMS反射器在不同的较早时刻的预定倾斜角。
在某些实施例中,例如,在MEMS反射器是围绕X轴和Y轴可倾斜的双谐振MEMS反射器的情况下,控制器可以被配置为通过向双谐振MEMS反射器提供驱动信号来使双谐振MEMS反射器围绕X轴和Y轴振荡。对于这种和其他实施例,该方法还可以包括基于所获得的关于MEMS反射器在不同的较早时刻的倾斜角的信息,确定将MEMS反射器的倾斜定义为时间的函数的模型的参数。
定义双谐振MEMS反射器的倾斜的模型可以包括统计模型,该统计模型将双谐振MEMS反射器的倾斜角的概率分布定义为双谐振MEMS反射器在不同的较早时刻的倾斜角的函数。对于该实施例,该方法还可以包括使用神经网络来分析获得的关于双谐振MEMS反射器在不同的较早时刻的倾斜角的信息,以确定统计模型的概率分布。为此,神经网络可以被配置为基于在测试设置中执行的对双谐振MEMS反射器围绕X轴和Y轴的倾斜角的测量来确定统计模型的概率分布。
将双谐振MEMS反射器的倾斜定义为时间的函数的模型可以包括参数分析模型,该参数分析模型将双谐振MEMS反射器在稍后时刻的倾斜角定义为双谐振MEMS反射器在不同的较早时刻的倾斜角的函数。参数分析模型可以包括定义双谐振MEMS反射器围绕X轴和Y轴的振荡之间的交叉耦合(cross-coupling)的模型。该方法还可以包括使用神经网络来分析所获得的关于双谐振MEMS反射器在不同的较早时刻的倾斜角的信息,以确定定义双谐振MEMS反射器围绕X轴和Y轴的振荡之间的交叉耦合的模型的参数。
附图简述
现在将结合附图描述示例性实施例,其中:
图1是示出投影显示器的操作原理的投影显示器的示意图;
图2是图1的投影显示器跨角域中的图像的像素进行扫描的示意图;
图3是2D扫描微机电系统(microelectromechanical system,MEMS)反射器的平面图;
图4是图3的2D MEMS反射器的X倾斜角和Y倾斜角相对于时间的曲线图;
图5是图3的2D MEMS反射器的Y倾斜角相对于X倾斜角的对应图;
图6A是包括图3的2D MEMS反射器和作为光源的超发光LED(SLED)阵列的扫描投影仪显示器的示意图;
图6B是图6A的扫描投影仪显示器的示意性俯视图,其示出了由SLED阵列的各个发射器提供的视场之间的关系;
图7是用于显示图像的方法的流程图;
图8是用于外推双谐振MEMS反射器的角轨迹的方法的流程图,其示出了用于预测图3的2D MEMS反射器的未来倾斜角的各种模型之间的关系;
图9是包括本文公开的扫描投影仪显示器的近眼显示器的示意性俯视图;
图10A是本公开的头戴式显示器的等距视图;以及
图10B是包括图10A的头戴式耳机的虚拟现实系统的框图。
详细描述
虽然结合各种实施例和示例描述了本教导,但是意图并不是本教导被限制到这样的实施例。相反,如本领域技术人员将理解的,本教导包括各种替代物和等同物。本文中叙述本公开的原理、方面和实施例以及其特定示例的所有陈述旨在包括其结构和功能等同物。另外,意图是这样的等同物包括当前已知的等同物以及将来开发的等同物两者,即,所开发的执行相同功能的任何要素,而不考虑结构。
如在本文所使用的,除非明确规定,否则术语“第一”、“第二”等并不意欲暗示顺序次序,而是更确切地意欲将一个要素与另一个要素区分开。类似地,除非明确规定,否则方法步骤的顺序次序并不暗示它们执行的顺序次序。在图1、图6A和图6B中,相似的附图标记表示相似的元件。
可倾斜的MEMS反射器可用于提供光束围绕一个轴(例如,X轴)或两个轴(例如,X轴和Y轴)的快速扫描,所述两个轴可以彼此垂直,或可以彼此不垂直。双谐振MEMS反射器可用于通过MEMS反射器围绕X轴和Y轴的快速谐振振荡,在扫描投影仪显示器中提供光束的快速2D扫描。本文中,术语“双谐振”意味着MEMS反射器在X振荡和Y振荡两者的谐振处或其附近操作。双谐振操作可以允许在具有扫描投影仪显示器的高刷新率和高分辨率的同时降低功耗。
然而,双谐振操作本身并非没有挑战。例如,由于许多技术原因(包括谐振频率的热漂移和沿不同轴的振荡之间的振动耦合),双谐振MEMS反射器的瞬时倾斜角可能难以确切地预测。
根据本公开,允许可倾斜的MEMS反射器以相应的谐振频率围绕每个轴振荡。对于单轴可倾斜的MEMS,反射器可以围绕单轴以单个谐振频率振荡。允许双谐振MEMS反射器围绕两个轴(即在2D中)谐振地振荡,在X倾斜角和Y倾斜角空间中形成类似伪随机李萨如(Lissajous)图形的轨迹。根据MEMS反射器的当前2D倾斜角,通过设置固态光源(例如发光二极管或另一种合适的光源)的亮度来“绘制”显示器的视场。反馈和/或同步信号可以用于以足够的精度确定当前和/或未来的2D反射器取向。然后,可以利用物理/参数/统计模型和/或学习算法,以根据当前和过去的角度来确定未来的反射器角度,即,准确地确定MEMS双谐振振荡的频率、相位和/或幅度。
一般而言,MEM反射器角轨迹预测的确定性在不久的未来会更准确,而在更远的未来会不太准确。这可以通过连续更新预测以保持高准确度来补救。预测的反射器角度可用于补偿实际的反射器角度确定与在特定MEMS角度位置设置光源的亮度之间的时间滞后。时间滞后可能源自同步信号的延迟、控制器执行以下操作的处理时间:查找所确定的反射器角度与要显示的图像的哪个像素相对应、找到该帧的该像素处的颜色和/或亮度值以及然后将该信息发送到光源以适当调整所生成的光束的亮度和/或颜色。
通常,当MEMS轨迹是确定的时,时间滞后不是问题,因为控制器可以被配置为预先准备亮度/颜色值。然而,在双谐振MEMS反射器的情况下,倾斜角轨迹可能受到多种因素的影响,因此需要在存在这种时间滞后时对未来的MEMS角位置进行外推。轨迹预测方案适用于双谐振MEMS反射器的各种操作模式(包括但不限于固定频率驱动、两轴之间的固定频率比、对相应谐振位置的主动频率稳定以及上述模式的任意组合)。
参考图1,扫描投影仪显示器100包括固态光源102。固态光源102可以包括单模或多模光源(例如发光二极管(LED),包括超发光发光二极管(SLED)、侧面发射激光二极管、垂直腔面发射激光二极管(VCSEL)等)。在操作中,当由可操作地耦合到光源102的驱动器106供电时,固态光源102提供光束104。
扫描仪108(例如包括可倾斜(MEMS)反射器的微机电系统)光学耦合到固态光源102,以用于在一维或二维中(例如围绕X轴和/或垂直于X轴的Y轴)扫描光束104。X轴和Y轴位于MEMS反射器处于其正常位置(即无动力位置)时的平面内。还可以使用MEMS反射器的预倾斜。光瞳复制器110提供光场115,该光场115包括所扫描的光束104的多个横向移位的平行副本。
控制器112可以可操作地耦合到扫描仪108和驱动器106。控制器112可以被配置为向双谐振MEMS反射器提供驱动信号105,并向驱动器106提供控制信号107,以使给光源102供电与让扫描仪108进行扫描相协调。例如,控制器112可以使扫描仪108通过一系列方向“A”到“G”扫描光束104,同时使驱动器106根据显示的图像改变固态光源102的亮度,从而形成角域中的图像。可以提供反馈电路,以通过反馈信号109向控制器112提供关于当前MEMS反射器角位置的信息。反馈信号109可以包括例如对X和Y MEMS角位置的时间采样,或者在特定的预定MEMS反射器倾斜角处的同步信号。
光瞳复制器110在方向“A”到“G”上提供所扫描的光束104的多个横向移位的平行副本,如图所示。观察者的眼睛114接收光场115,并根据各个角度上的对应的复制光束,在眼睛的视网膜116处形成图像。光束副本在眼睛的视网膜116上的线性位置用字母“a”到“g”表示,并且对应于所扫描的光束104的方向“A”到“G”。以这种方式,眼睛114根据由光场115形成的角域中的图像,在眼睛的视网膜116上形成线性图像。
转到图2,控制器112可以被配置为操作驱动器106,以用于向固态光源102提供供电脉冲202。供电脉冲202的脉宽等于或小于时间间隔,在该时间间隔期间,投影仪显示器100的扫描仪108引导光束104通过对应于正在显示的图像的当前像素204的角度范围Δα。这个时间间隔在本文被称为像素时间间隔。脉冲可以具有任何形状,只要其持续时间低于像素时间间隔。包括当前显示的像素204在内的像素206在图2中以弧形配置示出,以说明正在生成的图像处于角域中。在角域中,每个光束角度对应于要向用户显示的图像的像素。供电脉冲202的能量可以根据在任何给定时刻显示的当前像素204(或者对于由它们自己的供电脉冲供电的多发射器光源来说,不止一个像素)来选择。
参考图3,二维(2D)MEMS扫描仪300包括由一对第一扭转铰链301支撑的可倾斜反射器310(例如反射镜),这些第一扭转铰链允许使可倾斜反射器310围绕X轴倾斜。第一扭转铰链301从可倾斜反射器310延伸到万向环320,该万向环320由一对第二扭转铰链302支撑,第二扭转铰链302从万向环320延伸到固定基座322,以用于使万向环320和可倾斜反射器310作为一个整体围绕Y轴倾斜。致动器可以设置在可倾斜反射器310和/或万向环320的下方,以用于提供用于致动可倾斜反射器310围绕X轴和Y轴倾斜的力。致动器可以是静电的、电磁的、压电的等。对于静电反射镜致动,梳状驱动器(comb drive)可以位于扭转铰链构件上。例如,在图3所示的实施例中,第一致动器351可以设置在反射器310的边缘下方,以使可倾斜反射器310围绕X轴倾斜。第二致动器352可以设置在万向环320下方,以用于使万向环320和可倾斜反射器310围绕Y轴倾斜。单轴MEMS扫描仪可以被类似地构造,但是只有一对扭转铰链(例如第一扭转铰链301)。
可以提供反馈电路354,以用于提供关于可倾斜反射器310的倾斜的X角度和/或Y角度的反馈信息。反馈电路354可以测量第一静电致动器351和可倾斜反射器310之间的电容以确定X倾斜,以及测量第二静电致动器352和万向环320之间的电容以确定Y倾斜。还可以专门为反馈电路354提供单独的电极。在一些实施例中,当可倾斜反射器310以某个预定的X倾斜角和/或Y倾斜角(包括零倾斜角)倾斜时,反馈电路354可以提供同步或触发脉冲。
同步信号可以在可倾斜反射器310的特定倾斜角处(例如当越过零倾斜角时)被生成。在一些实施例中,可以提供X倾斜角和Y倾斜角的完整时间轨迹。可以经由电压测量,和/或经由来自可倾斜反射器310的部分的射频(RF)反射以及使用例如混频器和低通滤波器的相位检测器,来测量电容。在一些实施例中,小磁体可以放置在可倾斜反射器310上,并且附近的例如固定到基座322的拾取线圈(pickup coil)可以用于拾取可倾斜反射器310的振荡。此外,在一些实施例中,光信号可以从可倾斜反射器310反射,并且光电检测器可以用于检测反射的光束。光电检测器可以具有空间分辨率,或者可以不具有空间分辨率。对于空间分辨率检测器,可以使用检测器阵列或象限检测器。
注意,2D MEMS扫描仪300只是扫描仪实现的一个示例。许多其他实现是可能的。作为非限制性示例,可以使用各种梳状结构来提供电极之间增加的静电吸引力。梳状和/或蜂巢状结构可以用于加固(stiffen)可倾斜反射器310。可倾斜反射器310可以包括镜面、多层电介质反射器等。可倾斜反射器310可以位于2D MEMS扫描仪300的中心,或者可以偏离中心(如果需要的话)。此外,2D MEMS扫描仪可以用经由光瞳中继器(pupil relay)光学地耦合的一对1D MEMS扫描仪来代替。本公开的教导也适用于1D MEMS扫描仪。对于1D MEMS扫描仪,可以简化可倾斜MEMS反射器的构造和控制。在经由光瞳中继器耦合并围绕非平行的轴振荡的一对1D MEMS扫描仪中,振荡彼此解耦,这简化了整体轨迹预测。
参考图4,2D MEMS扫描仪300的可倾斜反射器310的倾斜的X角度和Y角度被绘制为时间的函数。在双谐振模式下,可倾斜反射器310被驱动成围绕X轴和Y轴以接近它们的机械谐振的频率振荡,从而跨宽扫描范围提供光束104的快速且节能的扫描。当接近谐振时,可倾斜反射器310的X倾斜401和Y倾斜402显示出近似(near)正弦的时间依赖性。然而,近似正弦的振荡的相位可能随机变化,例如由于X轴谐振频率依赖于Y轴倾斜值,和/或反之亦然,这导致X振荡和Y振荡之间的耦合。此外,X振荡和Y振荡的谐振频率可能随时间和温度漂移。
可通过提供相应的同步脉冲411、412来确定X振荡和Y振荡的相位、频率和/或幅度,当相应的X倾斜角和/或Y倾斜角达到预定阈值403时,可以由反馈电路354生成同步脉冲411、412。对于X倾斜角和Y倾斜角,阈值可能不同。在一些实现中,多个阈值也是可能的。还可以考虑振荡的方向。例如,可以仅在X倾斜角和Y倾斜角随着时间增加并且达到阈值403时生成同步脉冲411和412。对于X倾斜401,角度在第一时刻421达到阈值403,然后在第二时刻431达到阈值403。对于Y倾斜402,角度在第一时刻422达到阈值403,然后在第二时刻432达到阈值403。
其他同步配置也是可能的,其中反射器倾斜角是最大角、零角度等。请注意,过零信号提供了不易受电子漂移影响的优点。如上面所解释的,反馈可以是电容性的、光学的等。还请注意,离散同步信号的替代方案是结合去噪和频率滤波电子器件来利用MEMS位置的全时间信号。根据具体的实现和要求,这可以提高可倾斜反射器310的角位置确定的准确度。
转到图5,绘制了可倾斜反射器310的Y倾斜相对于X倾斜的图。因为可倾斜反射器310的X倾斜和Y倾斜定义了扫描投影仪显示器100的有效视场502,所以Y倾斜相对于X倾斜的图上的点对应于由扫描投影仪显示器100显示的像素(也就是,图像的元素)。因此,轨迹500需要覆盖整个视场502。由于可倾斜反射器310的X振荡和Y振荡的频率/相位浮动,轨迹500可以具有多个转弯和扭曲,并且通常不同于传统的对称李萨如曲线,因为X振荡和Y振荡的相位随机地或伪随机地变化。最终,轨迹500将会覆盖要显示的图像的每个像素(即整个视场502)。整个视场502需要被足够快地覆盖,以便眼睛114(图1)将接收到的光能整合在整个视场502(图5)中,从而避免所显示图像的感知闪烁。
现在参考图6A并进一步参考图1至图5,扫描投影仪显示器600包括提供发散光束604D的多发射器光源602(例如SLED阵列)。准直器650光学地耦合到多发射器光源602,并且图3的2D MEMS扫描仪300光学地耦合到准直器650。控制器612可以可操作地耦合到多发射器光源602和2D MEMS扫描仪300。
准直器650可以包括透镜、具有聚焦能力的折叠路径光学元件、凹面反射器、衍射透镜等。准直器650光学地耦合到多发射器光源602,以用于准直发散光束604,以获得准直的光束604。2D MEMS扫描仪300的可倾斜反射器310光学地耦合到准直器650,以用于接收和扫描准直的光束604。
控制器612可以被配置为与操作2D MEMS扫描仪300相协调地向多发射器光源602提供控制信号,以提供角域中的图像。当由人眼114(图1)观察时,角域中的图像被眼睛的角膜和晶状体投射,从而成为眼睛的视网膜116(图1)上的空间域图像。控制器612(图6A)可以根据所获得的关于可倾斜反射器310的过去的倾斜角的信息(例如根据同步脉冲411、412到达控制器612的时刻,或者根据同步脉冲411、412之间的时间差)来评估可倾斜反射器310的当前倾斜角。在一些实现中,控制器612可以使用由同步脉冲411、412馈送的锁相电路来确定可倾斜反射器310的当前X倾斜角和Y倾斜角。
一旦可倾斜反射器310的当前取向被确定(例如在图5所示的位置504),控制器612(图6)可以查找图像(例如要显示的视频馈送的当前帧),以确定哪个像素或哪些像素对应于可倾斜反射器310的当前X倾斜角和Y倾斜角,并确定这些像素的亮度和/或颜色值。可以查找几个像素,因为多发射器光源602包括多个可单独激励的发射器,每个发射器“绘制”其自己的像素。控制器612然后可以提供控制信号,来以对应于正在被绘制的像素的所需亮度和颜色的功率水平操作多发射器光源。
在一些实施例中,控制器612可以分析可倾斜反射器310的振荡的统计模式,并且基于2D MEMS扫描仪300中的可倾斜反射器310的过去行为,来推导出可倾斜反射器310在不久的未来的取向的估计。当在接收同步脉冲411、412与确定当前反射器取向之间和/或在确定所需像素亮度/颜色与由多发射器光源602生成相应光束之间存在时间滞后时,这可能是需要的。可倾斜反射器310的倾斜轨迹的预测(例如图5的轨迹500)可以补偿那些时间滞后,并提供良好的图像同步。
扫描投影仪显示器600的操作在图6B中进一步示出。在该示例中,多发射器光源602包括提供三个光束(仅示出主光线)621(虚线)、622(实线)和623(短划线)的三个发射器。准直器650准直光束621、622和623。通过选择合适的几何形状(例如准直器650的距离和焦距),准直器650还可以使光束621、622和623以稍微不同的入射角撞击到反射器510的中心上,用于一起扫描所有三个光束621、622和623。由于光束621、622和623在可倾斜反射器310上的入射角不同,所以光束621、622和623各自的扫描区域631(虚线)、632(实线)和633(短划线)分别如图所示相互偏移。控制器612可以通过向多发射器光源602的三个发射器的驱动信号提供相应的延迟来考虑这些空间偏移。与单个发射器的情况相比,可以提供空间偏移与激励各个发射器的延迟相结合,从而有效地将公共扫描区域630中投影仪显示器600的空间分辨率提高三倍。空间偏移还可以通过同时绘制多个像素,对于反射器310的给定振荡频率,为扫描区域中的像素绘制提供更高的速率。
参考图7以及进一步参考图1至图6,方法700(图7)可用于控制可倾斜反射器(包括图1和图2的扫描仪108以及图3、图6A和图6B的2DMEMS扫描仪300的可倾斜反射器310)。方法700包括通过向MEMS反射器提供驱动信号来使MEMS反射器围绕一个或更多个轴振荡(702)。例如,方法700可以提供驱动信号以使双谐振MEMS反射器围绕X轴和Y轴振荡。获得(704)关于MEMS反射器在不同时刻的倾斜角的信息,以确定MEMS反射器的轨迹(即倾斜角相对于时间的关系)。然后,基于先前确定的轨迹,评估(706)MEMS反射器的未来倾斜角(即以一定程度的准确度进行预测)。本文中,术语“未来倾斜角”是指相对于获得关于MEMS反射器的倾斜角的信息时的不同先前时刻,在稍后时刻的倾斜角。
在方法700的一些实施例中,获得关于MEMS反射器的过去轨迹的信息包括在不同的较早时刻获得同步信号(例如图4的同步脉冲411、412),该同步信号指示在较早时刻MEMS反射器的预定倾斜角(图4)(例如第一时刻421和第二时刻431的X倾斜,和/或第一时刻422和第二时刻432的Y倾斜)。然后,可以基于先前确定的MEMS反射器的轨迹,针对X倾斜431和/或Y倾斜432来评估(图7;706)MEMS反射器的未来倾斜角。获得关于MEMS反射器的倾斜角的信息使得人们能够确定MEMS反射器的谐振或双谐振振荡(例如,图4中的MEMS X倾斜401和MEMS Y倾斜402)的相位、谐振频率和/或幅度。一旦相位、频率和幅度已知,则MEMS反射器的不久的未来的倾斜角可以以一定程度的概率进行评估,该概率通常随着时间的推移而减小。
在方法700的双谐振MEMS实施例中,Y倾斜信息不仅可以基于Y倾斜信息,而且可以基于X倾斜信息,以考虑双谐振MEMS反射器的X振荡和Y振荡之间的交叉耦合。可以为此目的构建纯分析模型(例如参数模型),该模型基于一组输入参数对两个轴之间的交叉耦合进行建模。参数模型还可以在双谐振反射器行为的统计模型中被考虑。该统计模型基于所确定的过去的X倾斜角和Y倾斜角,建立双谐振反射器的未来的X倾斜角和Y倾斜角的概率分布。统计分析/模型、针对物理模型的分析/参数模型、在测试设置中具有MEMS角度的独立测量的机器学习(例如,监督学习)或上述的任意组合可以用于处理关于在不同的过去时刻双谐振MEMS反射器的过去倾斜角(即过去轨迹)的信息。处理该过去轨迹信息以评估或预测在不同的未来时刻双谐振MEMS反射器的未来倾斜角(即双谐振MEMS反射器的未来轨迹)。
仍然参考图7,方法700还可以包括确定(708)一个或几个模型参数的原位(in-situ)时间演变,这可以改进对MEMS倾斜角的后续评估。这样的参数可以是例如MEMS处的材料应力或剪切力(shear)、温度、气压等。然后,可以通过将该信息与关于双谐振MEMS反射器在先前时刻的倾斜角的先前信息相结合,来获得对于当前MEMS频率/相位/幅度的高准确度值。这样的系统参数还可以用作针对两个轴之间交叉耦合的分析或统计模型的输入。
出于预测双谐振MEMS反射器的未来倾斜角的目的的不同模型的互操作性在图8中被示出。一种用于外推双谐振MEMS反射器的角轨迹的方法800包括接收(802)MEMS同步信号或关于双谐振MEMS反射器的倾斜角(角位置)的其他信息。该信息被馈送到统计模型804和/或双谐振MEMS反射器的分析/参数模型806中。MEMS的分析/参数模型806可以包括针对X振荡和Y振荡之间交叉耦合的模型807。关于双谐振MEMS反射器的倾斜角的信息还可以被馈送到神经网络/机器学习模块808,该神经网络/机器学习模块808可以被配置为分析先前获得的关于双谐振MEMS反射器在不同的较早时刻的倾斜角的信息,以确定统计模型804的概率分布。在一些实施例中,双谐振MEMS反射器的倾斜角在测试设置中被独立地测量(810),并且被馈送到神经网络/机器学习模块808,该神经网络/机器学习模块808可以被配置为基于在测试设置中执行的对双谐振MEMS反射器围绕X轴和Y轴的倾斜角的测量来确定统计模型804的概率分布。此外,系统参数的从头开始(ab-initio)和原位测量结果812可以被馈送到MEMS的分析/参数模型806中。所有经处理的信息可以促进对MEMS角轨迹进行更准确的外推814。
统计模型804可以累积关于双谐振MEMS反射器在不同时刻的过去倾斜角的统计信息,并建立双谐振MEMS反射器的振荡的相位/幅度/频率的漂移的统计趋势。如上面所指示的,这些趋势可以在扫描显示器的工厂校准阶段和/或在现场(即在扫描投影仪显示器的实际操作期间)确定。关于反射器倾斜趋势的统计信息的逐渐累积可以使得预测反射器倾斜角的准确度逐渐增加,或者至少可以跟踪由于老化而缓慢变化的反射器振荡参数。
统计模型804的示例包括针对振荡方向取过去特定时间段内相邻的同步脉冲之间的时间差的平均值,其本身可以是固定的,或者随着准确度的改变而在时间上缓慢变化。代替平均值,可以使用任何形式的线性或非线性插值。更复杂的方法可以基于振荡方向X和Y的统计分析。分析/参数模型806可以基于MEMS反射器振荡的物理建模、基于各种系统参数,这些系统参数可以例如在生产期间被预先确定或者在安装期间使用单独的测试设备进行现场测量。例如,分析/参数模型806可以基于定义双谐振MEMS反射器围绕X轴和Y轴的振荡之间的交叉耦合的模型。
在一些实施例中,分析/参数模型806可以与统计模型804相结合。分析/参数模型806可以提供在双谐振MEMS扫描仪的操作期间被统计地更新的参数的框架。此外,在一些实施例中,神经网络808可用于确定反射器围绕X轴和Y轴的振荡的规律性,例如确定定义双谐振MEMS反射器围绕X轴和Y轴的振荡之间的交叉耦合的模型的参数。
可以使用从对MEMS角轨迹的独立测量810获得的训练数据(例如通过监督学习)来训练神经网络模型808。可以例如通过将激光束照射在MEMS反射器上并捕获反射的激光束连同捕获同步信号的时序(timing)来执行独立测量810。一旦神经网络808已经被训练并且已经达到期望的准确度,则同步信号可以用于在未来外推MEMS倾斜角。
上述教导适用于2D MEMS扫描仪和1D MEMS扫描仪(例如单个1D MEMS扫描仪或经由光瞳中继器光学地耦合的一对1D MEMS扫描仪)。对于后一种情况,图7和图8所示的方法也适用。与2D可倾斜MEMS反射器的情况相比,光学地耦合的1D可倾斜MEMS反射器的机械振荡彼此解耦,这可以简化MEMS轨迹行为的扫描控制和学习。
参考图9,近眼显示器900包括具有一副眼镜的形状因子的框架901。对于每只眼睛,框架901支撑:光源子组件902;电子驱动器904,其可操作地耦合到光源子组件902以用于给光源子组件902供电,从而提供至少一个光束;准直器906,其光学地耦合到光源子组件902以用于准直光束;光学地耦合到准直器906的扫描仪908,例如上述双谐振可倾斜MEMS反射器;以及光学地耦合到扫描仪908的光瞳复制器910。光源子组件902可以包括支撑用于提供多个光束的单模或多模半导体光源(例如侧面发射激光二极管、垂直腔面发射激光二极管、SLED或发光二极管)阵列的基底。准直器906可以包括凹面镜、体透镜(bulk lens)、菲涅耳透镜、全息透镜等,并且可以与光源子组件902集成在一起。扫描仪908可以包括例如图3的2D MEMS扫描仪300。光瞳复制器910的功能是提供由扫描仪908在视窗(eyebox)912处重定向或扫描的光束的多个横向偏移副本,如上面参考图1所解释的。
控制器905可操作地耦合到扫描仪908和电子驱动器904。控制器905可以被配置用于确定双谐振可倾斜MEMS反射器的X倾斜角和Y倾斜角。然后,控制器905确定要显示的图像的哪个像素或哪些像素对应于所确定的X倾斜角和Y倾斜角。然后,控制器905确定这些像素的亮度和/或颜色,并相应地操作电子驱动器904,以用于向光源子组件902提供供电电脉冲,从而以对应于所确定的像素亮度和颜色的功率水平产生光脉冲。上述方法700和800可用于预测双谐振可倾斜MEMS反射器的不久的未来的轨迹,并使用由该预测提供的时间来抵消由于倾斜角测量处理时间、获得亮度和颜色值的查找时间、电子驱动器904的脉冲生成时间等造成的时间延迟。
本公开的实施例可以包括人工现实系统或结合人工现实系统来被实现。人工现实系统在呈现给用户之前以某种方式调整通过感官获得的关于外部世界的感觉信息(例如视觉信息、音频、触觉(体感)信息、加速度、平衡等)。作为非限制性示例,人工现实可以包括虚拟现实(VR)、增强现实(AR)、混合现实(MR)、混杂现实(hybrid reality)或其某种组合和/或衍生物。人工现实内容可以包括完全生成的内容或者与所捕获的(例如,真实世界)内容相结合的生成的内容。人工现实内容可以包括视频、音频、躯体或触觉反馈、或其某种组合。这些内容中的任何一个都可以在单个通道或多个通道中(例如在对观察者产生三维效果的立体视频中)呈现。此外,在一些实施例中,人工现实还可以与用于例如在人工现实中创建内容和/或以其他方式在人工现实中使用(例如,在人工现实中执行活动)的应用、产品、附件、服务或它们的某种组合相关联。可以在各种平台(包括可佩戴显示器(例如连接到主计算机系统的HMD)、独立的HMD、具有眼镜的形状因子的近眼显示器、移动设备或计算系统、或者能够向一个或更多个观察者提供人工现实内容的任何其他硬件平台)上实现提供人工现实内容的人工现实系统。
参考图10A,HMD 1000是为了更大程度地沉浸到AR/VR环境内而包围用户的面部的AR/VR可佩戴显示系统的例子。HMD 1000的功能是用计算机生成的图像来增强物理、真实世界环境的视图,和/或生成完全虚拟的3D图像。HMD 1000可以包括前主体1002和带1004。前主体1002被配置为以可靠和舒适的方式放置在用户的眼睛前面,以及带1004可以被拉伸以将前主体1002固定在用户的头上。显示系统1080可以布置在前主体1002中,用于向用户呈现AR/VR图像。例如,显示系统1080是图1的扫描投影仪显示器100和/或图6A和图6B的扫描投影仪显示器600的实施例。前主体1002的侧面1006可以是不透明的或透明的。
在一些实施例中,前主体1002包括定位器1008、用于跟踪HMD 1000的加速度的惯性测量单元(IMU)1010以及用于跟踪HMD 1000的位置的位置传感器1012。IMU 1010是基于从一个或更多个位置传感器1012接收的测量信号来生成指示HMD 1000的位置的数据的电子设备,位置传感器1012响应于HMD 1000的运动而生成一个或更多个测量信号。位置传感器1012的示例包括:一个或更多个加速度计、一个或更多个陀螺仪、一个或更多个磁力计、检测运动的另一种合适类型的传感器、用于IMU 1010的误差校正的一类传感器或者其某种组合。位置传感器1012可以位于IMU 1010的外部、IMU 1010的内部或者这两种位置的某种组合。
定位器1008由虚拟现实系统的外部成像设备跟踪,使得虚拟现实系统可以跟踪整个HMD 1000的定位和取向。可以将由IMU 1010和位置传感器1012产生的信息与通过跟踪定位器1008获得的位置和取向进行比较,以提高HMD 1000的位置和取向的跟踪准确性。当用户在3D空间中移动和转动时,准确的位置和取向对于向用户呈现适当的虚拟场景是重要的。
HMD 1000还可以包括深度相机组件(DCA)1011,其捕获描述围绕HMD 1000的部分或全部的局部区域的深度信息的数据。为此,DCA 1011可以包括激光雷达(LIDAR)或类似设备。可以将深度信息与来自IMU 1010的信息进行比较,以便更准确地确定HMD 1000在3D空间中的位置和取向。
HMD 1000还可以包括眼睛跟踪系统1014,用于实时地确定用户眼睛的取向和位置。所获得的眼睛的位置和取向还允许HMD 1000确定用户的凝视方向,并相应地调整由显示系统1080生成的图像。在一个实施例中,确定聚散度(vergence),即用户的眼睛凝视的会聚角度。根据视角和眼睛位置,所确定的凝视方向和聚散角(vergence angle)也可以用于视觉伪像的实时补偿。此外,所确定的聚散度和凝视角度可用于与用户交互、突出显示对象、将对象带到前景、创建附加对象或指示器等。还可以提供音频系统,该音频系统包括例如内置在前主体1002中的一组小型扬声器。
参考图10B,AR/VR系统1050可以包括本文公开的光源和投影仪显示器。AR/VR系统1050包括图10A的HMD 1000、外部控制台1090和输入/输出(I/O)接口1015,外部控制台1090存储各种AR/VR应用、设置和校准程序、3D视频等,输入/输出(I/O)接口1015用于操作控制台1090和/或与AR/VR环境交互。HMD 1000可以用物理电缆“拴(tether)”到控制台1090,或者经由诸如
Figure BDA0003284843600000171
Wi-Fi等的无线通信链路连接到控制台1090。可以有多个HMD 1000,每个HMD 1000具有相关联的I/O接口1015,其中每个HMD 1000和I/O接口1015与控制台1090通信。在替代配置中,AR/VR系统1050中可以包括不同的和/或附加的部件。此外,在一些实施例中,结合图10A和图10B中所示的一个或更多个部件描述的功能可以以与结合图10A和图10B描述的方式不同的方式在部件之间分配。例如,控制台1015的一些或全部功能可以由HMD 1000提供,反之亦然。HMD 1000可以设置有能够实现这样的功能的处理模块。
如上面参考图10A所述,HMD 1000可以包括用于跟踪眼睛位置和取向,确定凝视角度和会聚角度等的眼睛跟踪系统1014(图10B)、用于确定HMD 1000在3D空间中的位置和取向的IMU 1010、用于捕获外部环境的DCA 1011、用于独立确定HMD 1000的位置的位置传感器1012、以及用于向用户显示AR/VR内容的显示系统1080。显示系统1080还包括光学块1030,其功能是将电子显示器1025产生的图像传送给用户的眼睛。光学块可以包括各种透镜(例如折射透镜、菲涅耳透镜、衍射透镜、有源或无源Pancharatnam-Berry相位(PBP)透镜、液体透镜、液晶透镜等)、光瞳复制波导、光栅结构、涂层等。显示系统1080还可以包括变焦模块1035,该变焦模块1035可以是光学块1030的一部分。变焦模块1035的功能是调节光学块1030的焦点,以例如补偿视觉辐辏调节冲突(vergence-accommodation conflict)、校正特定用户的视觉缺陷、抵消光学块1030的像差等。
I/O接口1015是允许用户发送动作请求并从控制台1090接收响应的设备。动作请求是执行特定动作的请求。例如,动作请求可以是开始或结束图像或视频数据的捕获的指令,或者是在应用内执行特定动作的指令。I/O接口1015可以包括一个或更多个输入设备,例如键盘、鼠标、游戏控制器或用于接收动作请求并将动作请求传送到控制台1090的任何其他合适的设备。由I/O接口1015接收的动作请求被传送到控制台1090,控制台1090执行对应于动作请求的动作。在一些实施例中,I/O接口1015包括IMU,该IMU捕获指示相对于I/O接口1015的初始位置的I/O接口1015的估计位置的校准数据。在一些实施例中,I/O接口1015可以根据从控制台1090接收的指令来向用户提供触觉反馈。例如,可以在接收到动作请求时提供触觉反馈,或者控制台1090将指令传送到I/O接口1015,使得I/O接口1015在控制台1090执行动作时生成触觉反馈。
控制台1090可以向HMD 1000提供内容,以用于根据从IMU 1010、DCA 1011、眼睛跟踪系统1014和I/O接口1015中的一个或更多个接收的信息进行处理。在图10B所示的示例中,控制台1090包括应用储存器1055、跟踪模块1060和处理模块1065。控制台1090的一些实施例可以具有不同于结合图10B描述的模块或部件的模块或部件。类似地,下面进一步描述的功能可以以与结合图10A和图10B描述的方式不同的方式在控制台1090的部件之间分配。
应用储存器1055可以存储一个或更多个由控制台1090执行的应用。应用是一组指令,该组指令在由处理器执行时生成用于显现给用户的内容。由应用生成的内容可以响应于经由HMD 1000的移动或I/O接口1015而从用户接收的输入。应用的例子包括:游戏应用、演示和会议应用、视频回放应用或其他合适的应用。
跟踪模块1060可以使用一个或更多个校准参数来校准AR/VR系统1050,并且可以调整一个或更多个校准参数以减少HMD 1000或I/O接口1015的位置确定中的误差。由跟踪模块1060执行的校准还考虑了从HMD 1000中的IMU 1010和/或被包括在I/O接口1015中的IMU(如果有的话)接收的信息。另外,如果HMD 1000的跟踪丢失,则跟踪模块1060可以重新校准AR/VR系统1050的部分或全部。
跟踪模块1060可以跟踪HMD 1000或I/O接口1015的移动、IMU 1010或其某种组合。例如,跟踪模块1060可以基于来自HMD 1000的信息来确定HMD 1000的参考点在局部区域的映射中的位置。跟踪模块1060还可以分别地使用来自IMU 1010的指示HMD 1000的位置的数据或者使用来自被包括在I/O接口1015中的IMU的指示I/O接口1015的位置的数据,来确定HMD 1000的参考点或者I/O接口1015的参考点的位置。此外,在一些实施例中,跟踪模块1060可以使用来自IMU 1010的指示HMD 1000的位置的数据的部分以及来自DCA 1011的局部区域的表示来预测HMD 1000的未来位置。跟踪模块1060向处理模块1065提供HMD 1000或I/O接口1015的估计的或预测的未来位置。
处理模块1065可以基于从HMD 1000接收的信息生成围绕HMD 1000的部分或全部的区域(“局部区域”)的3D映射。在一些实施例中,处理模块1065基于从DCA 1011接收的与在计算深度时使用的技术相关的信息来确定用于局部区域的3D映射的深度信息。在各种实施例中,处理模块1065可以使用深度信息来更新局部区域的模型,并且部分地基于更新的模型来生成内容。
处理模块1065在AR/VR系统1050内执行应用,并从跟踪模块1060接收HMD 1000的位置信息、加速度信息、速度信息、所预测的未来位置或其某种组合。基于接收到的信息,处理模块1065确定要提供给HMD 1000用于向用户呈现的内容。例如,如果接收到的信息指示用户已经向左看,则处理模块1065为HMD 1000生成反映用户在虚拟环境中或在用附加内容增强局部区域的环境中的移动的内容。另外,处理模块1065响应于从I/O接口1015接收的动作请求来执行在控制台1090上执行的应用内的动作,并且向用户提供动作被执行的反馈。所提供的反馈可以是经由HMD 1000的视觉或听觉反馈或者经由I/O接口1015的触觉反馈。
在一些实施例中,基于从眼睛跟踪系统1014接收的眼睛跟踪信息(例如,用户眼睛的取向),处理模块1065确定提供给HMD 1000用于在电子显示器1025上呈现给用户的内容的分辨率。处理模块1065可以向HMD 1000提供内容,该内容在电子显示器1025上在用户凝视的中央凹区(foveal region)中具有最大像素分辨率。处理模块1065可以在电子显示器1025的其他区域中提供较低的像素分辨率,从而减少AR/VR系统1050的功耗并节省控制台1090的计算资源,而不会损害用户的视觉体验。在一些实施例中,处理模块1065可以进一步使用眼睛跟踪信息来调整对象在电子显示器1025上的显示位置,以防止视觉辐辏调节冲突和/或抵消光学失真和像差。
用于实现结合本文所公开的方面描述的各种说明性逻辑、逻辑块、模块和电路的硬件可以用被设计成执行本文所述功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他可编程逻辑器件、分立门(discrete gate)或晶体管逻辑、分立硬件部件或它们的任意组合来实现或执行。通用处理器可以是微处理器,但是替代地,处理器可以是任何传统的处理器、控制器、微控制器或状态机。处理器也可以被实现为计算设备的组合,例如,DSP和微处理器的组合、多个微处理器、与DSP内核结合的一个或更多个微处理器、或者任何其他这样的配置。替代地,一些步骤或方法可以由特定于给定功能的电路来执行。
本公开在范围上不受本文描述的特定实施例限制。实际上,除了在本文描述的那些实施例和修改之外,其他各种实施例和修改根据前面的描述和附图对于本领域中的普通技术人员将明显。因此,这样的其他实施例和修改被规定为落在本公开的范围内。此外,尽管在本文在特定实现的上下文中在特定环境中为了特定的目的描述了本公开,但是本领域中的普通技术人员将认识到它的有用性不限于此,以及本公开可以有益地在任意数量的环境中为了任意数量的目的而实现。因此,应该考虑如本文描述的本公开的全部广度和精神来解释所阐述的权利要求。

Claims (15)

1.一种用于双谐振MEMS反射器的控制器,所述控制器被配置用于:
通过向所述双谐振MEMS反射器提供驱动信号,使所述双谐振MEMS反射器围绕X轴和Y轴振荡;
获得关于所述双谐振MEMS反射器在不同时刻的倾斜角的信息;和
基于所获得的关于所述双谐振MEMS反射器在不同的较早时刻的所述倾斜角的信息,来评估所述双谐振MEMS反射器的倾斜角。
2.根据权利要求1所述的控制器,所述控制器被配置为通过获得在所述不同的较早时刻的同步信号来获得关于所述双谐振MEMS在所述不同的较早时刻的所述倾斜角的所述信息,所述同步信号指示所述双谐振MEMS反射器在所述不同的较早时刻的预定倾斜角。
3.根据权利要求1所述的控制器,所述控制器被配置为通过以下操作来获得关于所述双谐振MEMS反射器在所述不同的较早时刻的所述倾斜角的所述信息:
确定所述双谐振MEMS反射器在所述不同的较早时刻的谐振振荡的相位;和/或
测量在所述不同的较早时刻所述双谐振MEMS反射器围绕所述X轴或所述Y轴中的至少一个轴的倾斜角。
4.根据权利要求1所述的控制器,所述控制器被配置为基于当所述双谐振MEMS反射器具有预定倾斜角值时的所述不同的较早时刻之间的时间差来评估所述双谐振MEMS反射器的倾斜角。
5.根据权利要求1所述的控制器,所述控制器还被配置为基于所获得的关于所述双谐振MEMS反射器在所述不同的较早时刻的所述倾斜角的信息,确定模型的参数,所述模型将所述双谐振MEMS反射器的倾斜定义为时间的函数。
6.根据权利要求5所述的控制器,其中,所述模型包括统计模型,所述统计模型将所述双谐振MEMS反射器的倾斜角的概率分布定义为所述双谐振MEMS反射器在所述不同的较早时刻的所述倾斜角的函数;以及,可选地
所述控制器包括神经网络,所述神经网络被配置为分析所获得的关于所述双谐振MEMS反射器在所述不同的较早时刻的所述倾斜角的信息,以确定所述统计模型的所述概率分布。
7.一种扫描投影仪显示器,包括:
光源,所述光源用于提供光束;
双谐振MEMS反射器,所述双谐振MEMS反射器光学地耦合到所述光源以用于扫描所述光束,从而提供角域中的图像;和
控制器,所述控制器能够操作地耦合到所述光源和所述双谐振MEMS反射器,并且被配置用于:
通过向所述双谐振MEMS反射器提供驱动信号,使所述双谐振MEMS反射器围绕X轴和Y轴振荡;
获得关于所述双谐振MEMS反射器在不同时刻的倾斜角的信息;
基于关于所述双谐振MEMS反射器在不同的较早时刻的所述倾斜角的所述信息,确定所述图像的哪个像素对应于所述双谐振MEMS反射器的倾斜角;和
以对应于所述像素的亮度的功率水平操作所述光源。
8.根据权利要求7所述的扫描投影仪显示器,其中,所述双谐振MEMS反射器包括反馈电路,所述反馈电路耦合到所述控制器,并且被配置为当所述双谐振MEMS反射器的倾斜角达到预定值时,向所述控制器提供同步信号。
9.根据权利要求7所述的扫描投影仪显示器,其中,所述控制器还被配置为基于所获得的关于所述双谐振MEMS反射器在所述不同的较早时刻的所述倾斜角的信息,确定模型的参数,所述模型将所述双谐振MEMS反射器的倾斜定义为时间的函数。
10.一种用于控制MEMS反射器的方法,所述方法包括:
通过向所述MEMS反射器提供驱动信号,使所述MEMS反射器围绕至少一个轴振荡;
获得关于所述MEMS反射器在不同时刻的倾斜角的信息;和
基于所获得的关于所述MEMS反射器在不同的较早时刻的所述倾斜角的信息,来评估所述MEMS反射器的倾斜角。
11.根据权利要求10所述的方法,其中,获得关于所述MEMS反射器的所述倾斜角的所述信息以评估所述MEMS反射器的倾斜角包括获得在所述不同的较早时刻的同步信号,所述同步信号指示所述MEMS反射器在所述不同的较早时刻的预定倾斜角。
12.根据权利要求10所述的方法,其中,所述MEMS反射器是围绕X轴和Y轴能够倾斜的双谐振MEMS反射器,其中,所述控制器还被配置为通过向所述双谐振MEMS反射器提供驱动信号来使所述双谐振MEMS反射器围绕X轴和Y轴振荡;
该方法还包括基于所获得的关于所述双谐振MEMS反射器在所述不同的较早时刻的所述倾斜角的信息,确定模型的参数,所述模型将所述双谐振MEMS反射器的倾斜定义为时间的函数;以及可选地。
13.根据权利要求12所述的方法,其中,所述模型包括统计模型,所述统计模型将所述双谐振MEMS反射器的倾斜角的概率分布定义为所述双谐振MEMS反射器在所述不同的较早时刻的所述倾斜角的函数;以及,可选地
所述方法还包括使用神经网络来分析所获得的关于所述双谐振MEMS反射器在所述不同的较早时刻的所述倾斜角的信息,以确定所述统计模型的所述概率分布;以及,可选地进一步
其中,所述神经网络被配置为基于在测试设置中执行的对所述双谐振MEMS反射器围绕X轴和Y轴的倾斜角的测量来确定所述统计模型的所述概率分布。
14.根据权利要求12所述的方法,其中,所述模型包括参数分析模型,所述参数分析模型将所述双谐振MEMS反射器的倾斜角定义为所述双谐振MEMS反射器在所述不同的较早时刻的所述倾斜角的函数。
15.根据权利要求14所述的方法,其中,所述参数分析模型包括定义所述双谐振MEMS反射器围绕X轴和Y轴的振荡之间的交叉耦合的模型;以及可选地
所述方法还包括使用神经网络来分析所获得的关于所述双谐振MEMS反射器在所述不同的较早时刻的所述倾斜角的信息,以确定定义所述双谐振MEMS反射器围绕X轴和Y轴的振荡之间的交叉耦合的所述模型的参数。
CN202080025753.1A 2019-03-29 2020-03-23 Mems反射器的轨迹估计 Pending CN113661428A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962826368P 2019-03-29 2019-03-29
US62/826,368 2019-03-29
US16/407,983 2019-05-09
US16/407,983 US10939080B2 (en) 2019-03-29 2019-05-09 Trajectory estimation for a MEMS reflector
PCT/US2020/024273 WO2020205314A1 (en) 2019-03-29 2020-03-23 Trajectory estimation for a mems reflector

Publications (1)

Publication Number Publication Date
CN113661428A true CN113661428A (zh) 2021-11-16

Family

ID=72605311

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080025753.1A Pending CN113661428A (zh) 2019-03-29 2020-03-23 Mems反射器的轨迹估计

Country Status (4)

Country Link
US (1) US10939080B2 (zh)
EP (1) EP3948393A1 (zh)
CN (1) CN113661428A (zh)
WO (1) WO2020205314A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023151442A1 (en) * 2022-02-09 2023-08-17 First International Computer, Inc. Laser beam scanning system with phase calibration and compensation

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11368658B2 (en) * 2020-06-15 2022-06-21 Microsoft Technology Licensing, Llc Amplitude and biphase control of MEMS scanning device
JP2022184514A (ja) * 2021-06-01 2022-12-13 富士フイルム株式会社 光走査装置、光走査装置の駆動方法、及び画像描画システム
JP2022187717A (ja) * 2021-06-08 2022-12-20 富士フイルム株式会社 画像形成装置、及びその作動方法
JP2023000751A (ja) * 2021-06-18 2023-01-04 富士フイルム株式会社 光走査装置、光走査装置の駆動方法、及び画像描画システム
US20230228985A1 (en) * 2022-01-18 2023-07-20 Google Llc Mems mirror in series with resonant mems mirror to redistribute dense pixels
WO2023158656A1 (en) * 2022-02-15 2023-08-24 Meta Platforms Technologies, Llc Nonlinear scanning projector
DE102022134420A1 (de) 2022-12-21 2024-06-27 OQmented GmbH Vorrichtung zur Erzeugung und Darstellung eines Bildes auf einem Beobachtungsfeld unter Verwendung eines refraktiven Wellenleiters
DE102022134422A1 (de) 2022-12-21 2024-06-27 OQmented GmbH Optische vorrichtung, optisches system und tragbare brille
DE102022134415B3 (de) 2022-12-21 2024-06-06 OQmented GmbH Vorrichtung zur Erzeugung und Darstellung eines Bildes auf einem Beobachtungsfeld unter Verwendung eines Gitters zur Lichtbündelkollimation und Augmented-Reality-Brille enthaltend diese Vorrichtung

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1630831A (zh) * 2001-10-24 2005-06-22 英特尔公司 基于微机电系统的光交换结构的反馈控制系统
US20070159189A1 (en) * 2006-01-06 2007-07-12 Samsung Electronics Co., Ltd. Apparatus and method for evaluating driving characteristics of scanner
US20080001850A1 (en) * 2006-06-06 2008-01-03 Mark Champion Beam scanner with reduced phase error
CN101156098A (zh) * 2005-04-11 2008-04-02 卡佩拉光子学公司 具有基于mems的衰减或功率管理的优化的可重构光分插复用器结构
US20090244668A1 (en) * 2008-04-01 2009-10-01 Kabushiki Kaisha Topcon Method of driving mems mirror scanner, method of driving mems actuator scanner and method of controlling rotation angle of mems actuator
CN101636696A (zh) * 2007-02-06 2010-01-27 卡尔蔡司Smt股份公司 微光刻投射曝光设备的照明系统中多镜阵列的监测方法和设备
CN102027404A (zh) * 2008-05-16 2011-04-20 微视公司 感应共振梳齿驱动扫描仪
CN102053364A (zh) * 2009-11-06 2011-05-11 佳能株式会社 扫描光学设备和使用其的成像设备
CN102472892A (zh) * 2010-04-28 2012-05-23 松下电器产业株式会社 扫描型图像显示装置
US20120307211A1 (en) * 2009-12-14 2012-12-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Deflection device for a projection apparatus, projection apparatus for projecting an image and method for controlling a deflection apparatus for a projection apparatus
US20140184496A1 (en) * 2013-01-03 2014-07-03 Meta Company Extramissive spatial imaging digital eye glass apparatuses, methods and systems for virtual or augmediated vision, manipulation, creation, or interaction with objects, materials, or other entities
CN104395813A (zh) * 2013-06-28 2015-03-04 英特尔公司 Mems扫描反射镜光模式
US20150316762A1 (en) * 2014-04-30 2015-11-05 Trilite Technologies Gmbh Apparatus and Method for Driving and Measuring a MEMS Mirror System
EP2962984A1 (en) * 2014-07-03 2016-01-06 Ricoh Company, Ltd. Optical deflection apparatus, image forming apparatus, image display apparatus, moving body apparatus, and adjusting method of optical deflection apparatus
JP2017227754A (ja) * 2016-06-22 2017-12-28 株式会社デンソー 光走査装置
CN107993260A (zh) * 2017-12-14 2018-05-04 浙江工商大学 一种基于混合型卷积神经网络的光场图像深度估计方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5694237A (en) 1996-09-25 1997-12-02 University Of Washington Position detection of mechanical resonant scanner mirror
US6995357B2 (en) 2002-12-23 2006-02-07 Lexmark International, Inc. Device for determining position and movement of scanning laser beam
JP6908825B2 (ja) * 2017-02-14 2021-07-28 ミツミ電機株式会社 光走査装置及び光走査方法
JP7193308B2 (ja) * 2018-11-09 2022-12-20 株式会社キーエンス プロファイル測定装置

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1630831A (zh) * 2001-10-24 2005-06-22 英特尔公司 基于微机电系统的光交换结构的反馈控制系统
CN101156098A (zh) * 2005-04-11 2008-04-02 卡佩拉光子学公司 具有基于mems的衰减或功率管理的优化的可重构光分插复用器结构
US20070159189A1 (en) * 2006-01-06 2007-07-12 Samsung Electronics Co., Ltd. Apparatus and method for evaluating driving characteristics of scanner
US20080001850A1 (en) * 2006-06-06 2008-01-03 Mark Champion Beam scanner with reduced phase error
CN101636696A (zh) * 2007-02-06 2010-01-27 卡尔蔡司Smt股份公司 微光刻投射曝光设备的照明系统中多镜阵列的监测方法和设备
US20090244668A1 (en) * 2008-04-01 2009-10-01 Kabushiki Kaisha Topcon Method of driving mems mirror scanner, method of driving mems actuator scanner and method of controlling rotation angle of mems actuator
CN102027404A (zh) * 2008-05-16 2011-04-20 微视公司 感应共振梳齿驱动扫描仪
CN102053364A (zh) * 2009-11-06 2011-05-11 佳能株式会社 扫描光学设备和使用其的成像设备
US20120307211A1 (en) * 2009-12-14 2012-12-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Deflection device for a projection apparatus, projection apparatus for projecting an image and method for controlling a deflection apparatus for a projection apparatus
CN102472892A (zh) * 2010-04-28 2012-05-23 松下电器产业株式会社 扫描型图像显示装置
US20140184496A1 (en) * 2013-01-03 2014-07-03 Meta Company Extramissive spatial imaging digital eye glass apparatuses, methods and systems for virtual or augmediated vision, manipulation, creation, or interaction with objects, materials, or other entities
CN104395813A (zh) * 2013-06-28 2015-03-04 英特尔公司 Mems扫描反射镜光模式
US20150316762A1 (en) * 2014-04-30 2015-11-05 Trilite Technologies Gmbh Apparatus and Method for Driving and Measuring a MEMS Mirror System
EP2962984A1 (en) * 2014-07-03 2016-01-06 Ricoh Company, Ltd. Optical deflection apparatus, image forming apparatus, image display apparatus, moving body apparatus, and adjusting method of optical deflection apparatus
JP2017227754A (ja) * 2016-06-22 2017-12-28 株式会社デンソー 光走査装置
CN107993260A (zh) * 2017-12-14 2018-05-04 浙江工商大学 一种基于混合型卷积神经网络的光场图像深度估计方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023151442A1 (en) * 2022-02-09 2023-08-17 First International Computer, Inc. Laser beam scanning system with phase calibration and compensation

Also Published As

Publication number Publication date
WO2020205314A1 (en) 2020-10-08
US10939080B2 (en) 2021-03-02
EP3948393A1 (en) 2022-02-09
US20200314395A1 (en) 2020-10-01

Similar Documents

Publication Publication Date Title
US10939080B2 (en) Trajectory estimation for a MEMS reflector
JP6826174B2 (ja) 表示システムおよび方法
US11106276B2 (en) Focus adjusting headset
US11768377B2 (en) Systems and methods for display binocular deformation compensation
KR102270055B1 (ko) 음향-광학 제어 디바이스를 사용하는 광 프로젝터
KR102510644B1 (ko) 깊이 감지를 위해 프로그래밍가능한 회절 광학 요소를 갖는 카메라 어셈블리
US9674510B2 (en) Pulsed projection system for 3D video
KR20180091014A (ko) 초점 조정 가상 현실 헤드셋
US10914953B1 (en) Varifocal waveguide display using tunable lens
EP3762761A1 (en) Display apparatus and method of displaying using controllable scanning mirror
KR20190125409A (ko) Mems 스캐닝 디스플레이 디바이스
CN113940055A (zh) 具有视场移动控制的成像设备
CN110352375B (zh) Mems扫描显示设备
CN113646688A (zh) 具有多个光引擎的扫描投影仪显示器
KR20220120663A (ko) 스위칭 가능한 판카라남-베리 페이즈 그레이팅 스택
US10698218B1 (en) Display system with oscillating element
CN115053166A (zh) 折叠束的低倾角式束扫描仪
EP3987338A1 (en) Image painting with multi-emitter light source
US20230296879A1 (en) Active acoustic ripple cancellation for mems mirrors
EP4024856A1 (en) Head-up display device, display system, and display method
WO2023158656A1 (en) Nonlinear scanning projector
KR20210070799A (ko) 디스플레이 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: California, USA

Applicant after: Yuan Platform Technology Co.,Ltd.

Address before: California, USA

Applicant before: Facebook Technologies, LLC

WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20211116