CN107664847B - 三维虚拟和增强现实显示系统 - Google Patents

三维虚拟和增强现实显示系统 Download PDF

Info

Publication number
CN107664847B
CN107664847B CN201710904801.4A CN201710904801A CN107664847B CN 107664847 B CN107664847 B CN 107664847B CN 201710904801 A CN201710904801 A CN 201710904801A CN 107664847 B CN107664847 B CN 107664847B
Authority
CN
China
Prior art keywords
image
eye
projection device
selectively
selectively transparent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710904801.4A
Other languages
English (en)
Other versions
CN107664847A (zh
Inventor
J·G·麦克纳马拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of CN107664847A publication Critical patent/CN107664847A/zh
Application granted granted Critical
Publication of CN107664847B publication Critical patent/CN107664847B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/22Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type
    • G02B30/24Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type involving temporal multiplexing, e.g. using sequentially activated left and right shutters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/388Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
    • H04N13/39Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume the picture elements emitting light at places where a pair of light beams intersect in a transparent material
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/34Stereoscopes providing a stereoscopic pair of separated images corresponding to parallactically displaced views of the same object, e.g. 3D slide viewers
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/50Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels
    • G02B30/52Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels the 3D volume being constructed from a stack or sequence of 2D planes, e.g. depth sampling systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/18Diffraction gratings
    • G02B5/1876Diffractive Fresnel lenses; Zone plates; Kinoforms
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00Stereoscopic photography
    • G03B35/08Stereoscopic photography by simultaneous recording
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00Stereoscopic photography
    • G03B35/18Stereoscopic photography by simultaneous viewing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/322Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using varifocal lenses or mirrors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/388Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
    • H04N13/395Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume with depth sampling, i.e. the volume being constructed from a stack or sequence of 2D image planes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0132Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/18Diffraction gratings
    • G02B5/1828Diffraction gratings having means for producing variable diffraction

Abstract

本申请涉及三维虚拟和增强现实显示系统。在一个实施例中,提供了一种向观察者呈现三维图像的方法,包括:选择性地阻挡背景光进入观察者的眼睛;从选择性透明的投射装置投射图像;通过向所述图像应用调节处理来修改所述图像;以及向观察者的眼睛递送修改后的图像。

Description

三维虚拟和增强现实显示系统
本申请是分案申请,原申请的申请号为201280067730.2,申请日为2012年11月23日,发明名称为“三维虚拟和增强现实显示系统”。
技术领域
本发明涉及虚拟现实和增强现实成像和可视化系统。
背景技术
为了让3D显示产生真实的深度感觉、并且更具体地产生模拟的表面深度的感觉,合乎期望的是,对于所述显示的视野中的每一点生成与其虚拟深度相对应的调节反应(accommodative response)。如果对显示点的调节反应不与通过会聚的双目深度线索和立体视觉确定出的该点的虚拟深度相对应,则人眼可能会经历调节冲突,从而导致不稳定成像、有害的眼疲劳、头疼,并且在没有调节信息的情况下会导致表面深度几乎完全缺失。参考图1,通过用户所处的现实内的实际物体的用户视野(例如包括公园环境中的混凝土台座物体1120的景观项目)、以及被加入该视野中以产生“增强”现实视野的虚拟物体视野,来描绘增强现实情景8;在此,机器人雕像1110被虚拟地显示为站在该台座物体1120上,并且蜜蜂角色2被显示为飞翔在靠近用户头部的空中。优选地,增强现实系统是有3-D能力的,在这种情况下它向用户提供以下感觉:雕像1110站在台座1120上,并且蜜蜂角色2在靠近用户头部的位置飞翔。这种感觉可以通过利用向用户的眼睛和大脑提供的以下视觉调节线索而得到极大增强:虚拟物体2、1110具有不同的聚焦深度,并且针对机器人雕像1110的聚焦深度或焦点半径大约与台座1120相同。诸如图2中所示之类的传统的立体3-D模拟显示系统一般具有两个显示器74、76,这两个显示各自针对一只眼睛,具有固定的径向焦距10。如上所述,这种传统技术漏掉了由人眼和人脑用来检测和解释三维中的深度的许多有价值线索,包括与下述相关联的调节线索:眼睛在眼睛复合体内重新定位晶状体以便用眼睛达到不同的聚焦深度。存在着对调节精确的显示系统的需要,所述调节精确的显示系统考虑了人眼/人脑的图像处理复杂过程的调节方面。
发明内容
一个实施例涉及三维图像可视化系统,包括:选择性透明的投射装置,用于将图像从空间中相对于观察者眼睛的投射装置位置朝向观察者的眼睛投射,该投射装置能够在没有图像被投射时呈现基本透明的状态;遮挡掩模装置,其耦合到投射装置,并且被配置成以与投射装置投射的图像相关的遮挡图案,选择性地阻挡从处于投射装置的与观察者的眼睛相反的一侧的一个或多个位置朝向眼睛传播的光;以及波带片衍射图装置,其被置于观察者的眼睛和投射装置之间,并且被配置成使来自投射装置的光在其向眼睛传播时穿过具有可选择的几何结构的衍射图,并且以至少部分地基于衍射图的可选择的几何结构而模拟出的距离眼睛的焦距进入眼睛。系统还可以包括:控制器,其可操作地耦合到投射装置、遮挡掩模装置和波带片衍射图装置,并且被配置成协调以下操作:图像和相关联的遮挡图案的投射、以及以可选择的几何结构插入衍射图。控制器可以包括微处理器。投射装置可以包括:基本上平面的透明数字显示器,其基本上占据显示平面。显示平面可以被定向为与观察者的眼睛的视轴基本垂直。基本上平面的透明数字显示器可以包括液晶显示器。基本上平面的透明数字显示器可以包括有机发光二极管显示器。投射装置可以配置成将图像以准直形式朝向眼睛投射,使得对于观察者眼睛的聚焦深度是无穷大的聚焦深度。投射装置可以包括:高速迷你投射仪,其被耦合到衬底引导型延迟出射光瞳扩展器(substrate-guideddelay exit pupil expander)装置,该衬底引导型延迟出射光瞳扩展器装置被配置成在向观察者的眼睛递送图像之前扩展图像的尺寸。迷你投射仪可以安装成基本上垂直于观察者眼睛的视轴,并且其中衬底引导型延迟出射光瞳扩展器装置被配置成从迷你投射仪接收图像,并将图像递送到波带片衍射图装置,并以基本上与眼睛的视轴对准的方向以扩展后的尺寸将图像递送到观察者的眼睛。波带片衍射图装置和投射装置可以包括至少一个共有结构。波带片衍射图装置可以被集成到波导中,使得投射装置包括高速迷你投射仪,该高速迷你投射仪被耦合到波导并且配置成在图像去往观察者眼睛的途中在离开波导之前使图像穿过衍射图。迷你投射仪可以安装成基本上垂直于观察者眼睛的视轴,并且波导可以配置成从迷你投射仪接收图像,并以基本上与眼睛的视轴对准的方向以扩展后的尺寸将图像递送到观察者的眼睛。遮挡掩模装置可以包括显示器,该显示器被配置成取决于在显示器的多个部分中的每个部分遮挡或透过光的相关命令,在每个部分处遮挡或透过光。遮挡掩模装置可以包括一个或多个液晶显示器。波带片衍射图装置可以包括:高频二进制显示器,其被配置成取决于在显示器的多个部分中的每个部分遮挡或透过光的相关命令,在每个部分处遮挡或透过光。波带片衍射图装置可以具有大约500Hz和大约2,000Hz之间的刷新速率。波带片衍射图装置可以具有大约720Hz的刷新速率。控制器可以配置成以每秒大约30到大约60帧之间的速率来操作投射装置和遮挡掩模装置,并且操作波带片衍射图装置以便为投射装置和遮挡掩模装置的每个帧数字地显示多至约12个不同的衍射图。投射装置、遮挡掩模装置和波带片衍射图装置可以共同包括用于观察者的一只眼睛的成像模块,并且系统还可以包括用于观察者的另一只眼睛的第二成像模块。
在一个实施例中,提供了一种向观察者呈现三维图像的方法,包括:选择性地阻挡背景光进入观察者的眼睛;从选择性透明的投射装置投射图像;通过向所述图像应用调节处理来修改所述图像;以及向观察者的眼睛递送修改后的图像。
在一个实施例中,所述选择性地阻挡背景光包括:在选择性透明的遮挡掩模的至少一个部分上产生遮挡区域。
在一个实施例中,所述方法还包括:使所述选择性地阻挡背景光与所述从选择性透明的投射装置投射图像相关。
在一个实施例中,所述相关包括:选择性地控制所述遮挡区域以便在几何结构上与来自所述选择性透明的投射装置的所述图像对准。
在一个实施例中,所述方法还包括:在选择性透明的波带片衍射图装置的至少一个部分上显示可选择的衍射结构。
在一个实施例中,所述应用调节处理还包括:使来自所述选择性透明的投射装置的所述图像穿过所述可选择的衍射结构。
在一个实施例中,所述方法还包括:使所述从选择性透明的投射装置投射图像和以下步骤相关:在选择性透明的波带片衍射图装置的至少一个部分上显示可选择的衍射结构。
在一个实施例中,所述相关包括:控制所述选择性透明的波带片衍射图装置的至少一个部分上的所述可选择的衍射结构,以便在几何结构上与来自所述选择性透明的投射装置的所述图像对准。
在一个实施例中,向所述图像应用调节处理还包括:使用所述可选择的衍射结构修改来自所述选择性透明的投射装置的所述图像。
在一个实施例中,从选择性透明的投射装置投射图像还包括:将光朝向观察者的眼睛重定向。
在一个实施例中,将光朝向观察者的眼睛重定向还包括:以第一角度将光接受到波导中并以第二角度输出光。
在一个实施例中,向所述图像应用调节处理包括:以所选择的频率在选择性透明的波带片衍射图装置的至少一个部分上显示一系列可选择的衍射结构。
在一个实施例中,所选择的频率为720Hz。
在一个实施例中,选择性地阻挡背景光进入观察者的眼睛还包括:在遮挡掩模显示器上显示遮蔽图像,所述遮蔽图像在几何结构上与来自所述选择性透明的投射装置的所述图像相关。
在一个实施例中,所述方法还包括:从成像模块发射初始图像。
在一个实施例中,所述方法还包括:向所述选择性透明的投射装置传送来自所述成像模块的初始图像。
在一个实施例中,所述方法还包括:将来自所述成像模块的初始图像接收到所述选择性透明的投射装置中。
在一个实施例中,传送所述初始图像还包括:在初始图像轨迹上朝所述选择性透明的投射装置引导所述初始图像,所述初始图像轨迹与向观察者的眼睛传播的修改后图像的修改后图像轨迹基本上相反。
在一个实施例中,向观察者的眼睛递送修改后的图像包括:向观察者的眼睛递送眼睛调节线索。
附图说明
图1描绘具有特定虚拟现实对象以及人观察到的特定实际现实对象的增强现实情景的图解。
图2示出传统的立体视觉系统以模拟针对用户的三维成像。
图3A和3B示出调节精确的显示配置的若干方面。
图4A-4C示出曲率半径和焦点半径(focal radius)之间的关系。
图5-6C示出应用于所述配置的衍射光栅的若干方面。
图7A-7C示出三个不同的焦点机制(focal mechanism)。
图7D示出菲涅耳波带片。
图8A-8C示出衍射系统聚焦问题的各个方面。
图9示出具有嵌入的衍射光栅的波导的一个实施例。
图10示出具有嵌入的衍射光栅的波导的一个实施例,所述嵌入的衍射光栅被设计成允许一个模式逃逸并允许其他模式保持被捕获在波导中。
图11A-11B示出衍射成像模块实施例的若干方面。
图12A-12B示出衍射成像模块实施例的若干方面。
图13A-13B示出衍射成像模块实施例的若干方面。
具体实施方式
参考图3A和3B,其描绘AAD系统的各个方面。参考图3A,一个简单的图解示出:代替立体视觉(图2)中的两个传统显示,可以利用两个复杂图像来向每只眼睛提供在感知图像内分层的三维深度的感觉,所述两个复杂图像各自对应一只眼睛,针对每个图像的不同方面14具有不同的径向焦点深度12。
参考图3B,我们已经确定:典型的人眼能够基于径向距离解释大约12层深度(图3B中的层L1-L12—附图标记16)。大约0.25米的近场限制78是大约最近的焦点深度;大约3米的远场限制80意味着:比距离人眼约3米更远的任何条目接收无限的焦点。随着离眼睛越近,焦点的层变得越来越薄;换言之,眼睛能够感觉到相对靠近眼睛的非常小的焦距差别,并且这种效果随着对象离眼睛越远而消散,如图3B中所示。附图标记82示出:在无限的对象位置,焦点深度/屈光间隔值大约是1/3屈光度。另一个描述图3B的意义的方式:在用户眼睛和无限远之间有大约12个焦平面。可以利用这些焦平面以及所描绘的关系内的数据来定位供用户观察的增强现实情景内的虚拟元素,因为人眼不断地扫过四周来利用焦平面感觉深度。
参考图4A-4C,如果K(R)是用于等于1/R的曲率的动态参数,其中R是一个条目相对于一个表面的焦点半径,则随着增长的半径(R3,到R2,直到R1),你会具有减小的K(R)。由点产生的光场具有球形曲率,其是该点距离用户眼睛有多远的函数。这种关系也可以被用于ADD系统。
参考图5,其示出传统的衍射光栅22,其中光以角度(θ-20)穿过光栅间距18,通过使用下面的等式,所述角度与衍射级n、空间频率和等于1/d的K因子有关:d*sin(θ)=n*波长(或者可替换地,代入K因子,sin(θ)=n*波长*K)。图6A-6C示出:在衍射图22、24、26中随着间距18、28、30的减少,角度20、32、34变大。
参考图7A至图7C,其描绘3个不同的聚焦机制—通过透镜36折射,用曲面镜38反射,以及用菲涅耳波带片40衍射,其也如图7D的40中所示。
参考图8A,一个简化版本的衍射被示出以说明:N=-1模式可以对应于虚拟图像;N=+1模式可以对应于真实图像,而N=0模式可以对应于在无穷远聚焦的图像。这些图像对于人眼和人脑来说可能会是混乱的,并且如果如图8B中所示这些图像全部聚焦在轴上则是特别有问题的。参考图8C,离轴焦点配置可以被用来允许不想要的模式/图像被阻挡。例如,准直的(r=无穷远)图像可以通过N=0模式形成;发散的虚拟图像可以通过N=-1模式形成;并且收敛的图像可以通过N=+1模式形成。这些模式/图像的空间位置及其轨迹的差别允许过滤掉或者分离开从而防止前述与衍射成像相关联的问题,例如叠盖(overlaying)、重影和“多重曝光”的感觉效果。
参考图9,其示出具有嵌入的衍射光栅的波导;这样的波导例如可从诸如英国伦敦的BAE系统PLC之类的供应商获得,并且这样的波导可以被用来如图所示从图9的左边引入图像,使该图像穿过嵌入波导42中的衍射光栅44,并使作为结果而得到的图像以一角度穿出(在图9中,例如,穿过波导的侧面)。因此,重定向和衍射的双重使用可以用这样的元件来实现。实际上,离轴聚焦技术(例如参考图8C所述的那些)可以与例如图9中所示的衍射波导元件结合以产生例如图10中所示的配置,其中不仅完成了重定向和衍射,而且还完成了过滤,因为在所描绘的实施例中衍射波导的几何结构使得N=-1模式(即虚拟图像)被传递出波导并传递到用户的眼睛中,并且其他两种模式(N=0和N=+1)通过反射被捕获在波导内部。
参考图11A-13B,前述的概念由各种增强现实显示配置付诸实践。
参考图11A,AAD系统包括位于用户借以观察世界的每只眼睛4、6前方的成像模块46、48。图11B示出模块46的更大视图,模块46具有其关联的(经由所描绘的电子控制导线耦合;导线也可以是无线的)控制器66,该控制器66可以是微处理器、微控制器、现场可编程门阵列(FPGA)、专用集成电路(ASIC)等等。优选地,控制器被耦合到电源以及诸如无线互联网或蓝牙适配器之类的信息交换装置,以便允许外部世界和控制器66之间的信息交换。该系统可以配置成以一定的图像刷新速率(例如每秒30和60帧之间的速率)来操作。控制器可以配置成操作高刷新速率数字高分辨率波带片显示器52(例如铁流体、蓝相或bent-corr显示器)以便连续快速地显示与大约12个深度层中的每一层有关的不同波带片几何结构。例如,在期望每秒60帧的总体性能的实施例中,数字高分辨率波带片显示器52可以以12乘以该速率所得的速率或720Hz操作,以便能够向图3B中所示的12个深度层中的每一层提供模拟的调节。遮挡掩模(occluding mask)显示器54被配置成显示在几何结构上与在其之前在透明投射层56上显示的图像相对应的遮蔽图像(blacked out image)—被遮蔽掉从而防止来自阻挡掩模显示器另一侧的光渗透或者干扰投射层56中的期望的虚拟或增强图像的显示。因此,如图所示,在增强显示配置中,来自真实背景的光穿过遮挡掩模显示器54的非掩蔽部分,穿过透明投射层56的透明(即,不传播图像的一部分)部分,然后进入数字高分辨率波带片显示器52以用于调节处理;在投射层56处投射的图像在遮挡掩模显示器54处接收来自背景光的掩模遮挡,并且被向前投射到数字高分辨率波带片显示器52中以用于调节处理。这些或者针对用户的增强现实的关联感觉的结合非常接近“真实3D”。
图12A-12B描绘另一个实施例,在该实施例中,成像模块58和成像模块60中的每一者包括以大约垂直于眼睛的视轴的角度定向的高分辨率迷你投射仪;包括衬底引导型延迟出射光瞳扩展器装置70的波导放大来自小型迷你投射仪的图像并将其重定向到数字高分辨率波带片显示器52中;遮挡掩模显示器54提供类似的掩蔽功能以保护被投射图像的感觉不受背景照明的影响。
图13A-13B描绘另一个实施例,在该实施例中,在成像模块62和成像模块64中的每一者中,数字高分辨率波带片显示器52和衬底引导型延迟出射光瞳扩展器装置70被组合,使得波带片和投射层基本被容纳在同一集成模块72内,该集成模块72引入来自迷你投射仪68的小图像,将其重定向并放大,然后又将其衍射,以便传递到眼睛;遮挡掩模显示器54提供类似的掩蔽功能以保护被投射图像的感觉不受背景照明的影响。
在此描述了本发明的各种示例性实施例。以非限制性的意义对这些示例做出参考。提供这些示例来说明本发明的更宽广的可适用方面。在不脱离本发明的真实精神和范围的情况下,可以对所描述的本发明进行不同的改变并且可以替代以等效物。另外,可以做出许多修改以适应特定情况、材料、组合物、处理、针对对象的处理动作或步骤、本发明的精神或范围。此外,本领域技术人员应当理解,在此描述和示出的个体变型中的每一个具有离散的组件和特征,在不脱离本发明的范围和精神的情况下,这些组件和特征可以容易地从其他几个实施例中任意一个的特征中分离或者与之结合。所有这样的修改都意在处于与本公开相关联的权利要求的范围内。
本发明包括可使用所述装置执行的方法。该方法可以包括提供这样的合适装置的动作。这样的提供可以由终端用户执行。换言之,“提供”动作仅仅需要终端用户获取、访问、趋近、定位、设置、激活、上电或其他动作以提供所述方法中的必需装置。在此叙述的方法可以以所述事件的任何逻辑上可能的顺序来执行,也可以以事件的叙述顺序来执行。
在上文中,阐述了本发明的示例性方面以及与材料选择和制造有关的细节。至于本发明的其他细节,其可以结合上面参考的专利和公开来理解,或者可以是本领域技术人员熟知或理解的。对于用通常或逻辑上采用的附加动作表现的本发明的基于方法的各方面,上述内容同样适用。
另外,虽然已经参考可选地包含各种特征的若干示例来描述本发明,但是本发明不限于关于本发明的每个变型被描述或指示为预期到的那些示例。在不脱离本发明的真实精神和范围的情况下,可以对所述的发明做出各种改变,并且可以用(在此叙述或者为某种程度的简洁起见未包括在此的)等效物来替换。另外,在提供取值范围的情况下,应当理解该范围上下限之间的每个中间值以及该陈述的范围中的任何其他陈述的值或中间值应被包含在本发明之内。
还可以预期,所述发明变型的任何可选特征可以被独立地或者与此处所述的任意一个或多个特征结合地被阐述或要求保护。对单一项的提及包括存在多个相同的项的可能性。更具体地,在此处及其相关联的权利要求中使用的单数形式的“一个”、“所述”、“该”包括复数指代物,除非另行特别指出。换言之,冠词的使用允许表示上文的描述以及与本公开相关联的权利要求中的所述项目的“至少一个”。还应当指出,这样的权利要求可以被撰写为排除任何可选的元件。因此,本声明意在充当关于权利要求元素的陈述而言对如“单独地”、“仅仅”等等之类的排他术语的使用或“否定”限制的使用的在先基础。
在不使用这样的排他性术语的情况下,与本公开相关联的权利要求中的术语“包括”应当允许包括任何附加要素—无论是在这样的权利要求中枚举了给定数量的要素,还是特征的添加可以被视为转变了这样的权利要求中阐述的要素的特性。除了在此具体定义的之外,此处使用的所有技术和科学术语将被尽可能宽广地赋予一般理解的含义、并同时保持权利要求有效性。
本发明的宽度将不限于所提供的示例和/或所述说明书,而是只由与本公开相关联的权利要求语言的范围来限定。

Claims (15)

1.一种向观察者呈现三维图像的方法,包括:
选择性地阻挡背景光进入观察者的眼睛;
从选择性透明的投射装置投射图像;
通过向所述图像应用调节处理来修改所述图像;以及
向观察者的眼睛递送修改后的图像;
其中向所述图像应用调节处理包括:以所选择的频率在选择性透明的波带片衍射图装置的至少一个部分上显示一系列可选择的衍射结构,使得来自所述投射装置的光穿过具有所述一系列可选择的衍射结构的衍射图,以至少部分地基于所述一系列可选择的衍射结构而模拟出的距离眼睛的焦距进入观察者的眼睛。
2.如权利要求1所述的方法,其中所述选择性地阻挡背景光包括:在选择性透明的遮挡掩模的至少一个部分上产生遮挡区域。
3.如权利要求2所述的方法,还包括:使所述选择性地阻挡背景光与所述从选择性透明的投射装置投射图像相关。
4.如权利要求3所述的方法,其中使所述选择性地阻挡背景光与所述从选择性透明的投射装置投射图像相关包括:选择性地控制所述遮挡区域以便在几何结构上与来自所述选择性透明的投射装置的所述图像对准。
5.如权利要求3所述的方法,其中使所述选择性地阻挡背景光与所述从选择性透明的投射装置投射图像相关包括:控制所述选择性透明的波带片衍射图装置的至少一个部分上的所述可选择的衍射结构,以便在几何结构上与来自所述选择性透明的投射装置的所述图像对准。
6.如权利要求1所述的方法,其中向所述图像应用调节处理还包括:使用所述可选择的衍射结构修改来自所述选择性透明的投射装置的所述图像。
7.如权利要求1所述的方法,其中从选择性透明的投射装置投射图像还包括:将光朝向观察者的眼睛重定向。
8.如权利要求7所述的方法,其中将光朝向观察者的眼睛重定向还包括:以第一角度将光接受到波导中并以第二角度输出光。
9.如权利要求1所述的方法,其中所选择的频率为720Hz。
10.如权利要求1所述的方法,其中选择性地阻挡背景光进入观察者的眼睛还包括:在遮挡掩模显示器上显示遮蔽图像,所述遮蔽图像在几何结构上与来自所述选择性透明的投射装置的所述图像相关。
11.如权利要求1所述的方法,还包括:从成像模块发射初始图像。
12.如权利要求11所述的方法,还包括:向所述选择性透明的投射装置传送来自所述成像模块的初始图像。
13.如权利要求11所述的方法,还包括:将来自所述成像模块的初始图像接收到所述选择性透明的投射装置中。
14.如权利要求12所述的方法,其中传送来自所述成像模块的初始图像还包括:在初始图像轨迹上朝所述选择性透明的投射装置引导所述初始图像,所述初始图像轨迹与向观察者的眼睛传播的修改后图像的修改后图像轨迹相反。
15.如权利要求1所述的方法,其中向观察者的眼睛递送修改后的图像包括:向观察者的眼睛递送眼睛调节线索。
CN201710904801.4A 2011-11-23 2012-11-23 三维虚拟和增强现实显示系统 Active CN107664847B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161563403P 2011-11-23 2011-11-23
US61/563,403 2011-11-23
CN201280067730.2A CN104067316B (zh) 2011-11-23 2012-11-23 三维虚拟和增强现实显示系统

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201280067730.2A Division CN104067316B (zh) 2011-11-23 2012-11-23 三维虚拟和增强现实显示系统

Publications (2)

Publication Number Publication Date
CN107664847A CN107664847A (zh) 2018-02-06
CN107664847B true CN107664847B (zh) 2021-04-06

Family

ID=48426562

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201280067730.2A Active CN104067316B (zh) 2011-11-23 2012-11-23 三维虚拟和增强现实显示系统
CN201710904801.4A Active CN107664847B (zh) 2011-11-23 2012-11-23 三维虚拟和增强现实显示系统

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201280067730.2A Active CN104067316B (zh) 2011-11-23 2012-11-23 三维虚拟和增强现实显示系统

Country Status (11)

Country Link
US (8) US8950867B2 (zh)
EP (3) EP4036862A1 (zh)
JP (5) JP6250547B2 (zh)
KR (6) KR102116697B1 (zh)
CN (2) CN104067316B (zh)
AU (5) AU2012341069B2 (zh)
BR (1) BR112014012615A2 (zh)
CA (2) CA3024054C (zh)
IL (2) IL232746A (zh)
RU (1) RU2628164C2 (zh)
WO (1) WO2013077895A1 (zh)

Families Citing this family (225)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0522968D0 (en) 2005-11-11 2005-12-21 Popovich Milan M Holographic illumination device
GB0718706D0 (en) 2007-09-25 2007-11-07 Creative Physics Ltd Method and apparatus for reducing laser speckle
US9335604B2 (en) 2013-12-11 2016-05-10 Milan Momcilo Popovich Holographic waveguide display
US11726332B2 (en) 2009-04-27 2023-08-15 Digilens Inc. Diffractive projection apparatus
US11204540B2 (en) 2009-10-09 2021-12-21 Digilens Inc. Diffractive waveguide providing a retinal image
WO2012136970A1 (en) 2011-04-07 2012-10-11 Milan Momcilo Popovich Laser despeckler based on angular diversity
WO2016020630A2 (en) 2014-08-08 2016-02-11 Milan Momcilo Popovich Waveguide laser illuminator incorporating a despeckler
WO2013027004A1 (en) 2011-08-24 2013-02-28 Milan Momcilo Popovich Wearable data display
US10670876B2 (en) 2011-08-24 2020-06-02 Digilens Inc. Waveguide laser illuminator incorporating a despeckler
WO2013102759A2 (en) 2012-01-06 2013-07-11 Milan Momcilo Popovich Contact image sensor using switchable bragg gratings
EP2842003B1 (en) 2012-04-25 2019-02-27 Rockwell Collins, Inc. Holographic wide angle display
WO2013167864A1 (en) 2012-05-11 2013-11-14 Milan Momcilo Popovich Apparatus for eye tracking
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US9933684B2 (en) 2012-11-16 2018-04-03 Rockwell Collins, Inc. Transparent waveguide display providing upper and lower fields of view having a specific light output aperture configuration
US11504051B2 (en) 2013-01-25 2022-11-22 Wesley W. O. Krueger Systems and methods for observing eye and head information to measure ocular parameters and determine human health status
US11490809B2 (en) 2013-01-25 2022-11-08 Wesley W. O. Krueger Ocular parameter-based head impact measurement using a face shield
US10209517B2 (en) 2013-05-20 2019-02-19 Digilens, Inc. Holographic waveguide eye tracker
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9952042B2 (en) 2013-07-12 2018-04-24 Magic Leap, Inc. Method and system for identifying a user location
WO2015006784A2 (en) 2013-07-12 2015-01-15 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US9727772B2 (en) 2013-07-31 2017-08-08 Digilens, Inc. Method and apparatus for contact image sensing
US9633504B2 (en) 2013-11-22 2017-04-25 Michael J Kline System, method, and apparatus for purchasing, dispensing, or sampling of products
US9701530B2 (en) 2013-11-22 2017-07-11 Michael J. Kline System, method, and apparatus for purchasing, dispensing, or sampling of products
US9527716B2 (en) 2013-11-22 2016-12-27 Michael J. Kline System, method, and apparatus for purchasing, dispensing, or sampling of products
CN109445095B (zh) 2013-11-27 2021-11-23 奇跃公司 虚拟和增强现实系统与方法
US9857591B2 (en) 2014-05-30 2018-01-02 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
CN103676175A (zh) * 2013-12-26 2014-03-26 无锡锡飞光电科技有限公司 裸眼3d显示方法
AU2015210708B2 (en) * 2014-01-31 2020-01-02 Magic Leap, Inc. Multi-focal display system and method
EP4099274B1 (en) * 2014-01-31 2024-03-06 Magic Leap, Inc. Multi-focal display system and method
US10430985B2 (en) 2014-03-14 2019-10-01 Magic Leap, Inc. Augmented reality systems and methods utilizing reflections
US11138793B2 (en) 2014-03-14 2021-10-05 Magic Leap, Inc. Multi-depth plane display system with reduced switching between depth planes
WO2015161307A1 (en) * 2014-04-18 2015-10-22 Magic Leap, Inc. Systems and methods for augmented and virtual reality
NZ764952A (en) * 2014-05-30 2022-05-27 Magic Leap Inc Methods and system for creating focal planes in virtual and augmented reality
CN111856755B (zh) 2014-05-30 2022-07-19 奇跃公司 用于显示虚拟和增强现实的立体视觉的方法和系统
WO2016020632A1 (en) 2014-08-08 2016-02-11 Milan Momcilo Popovich Method for holographic mastering and replication
US10241330B2 (en) 2014-09-19 2019-03-26 Digilens, Inc. Method and apparatus for generating input images for holographic waveguide displays
EP3198192A1 (en) 2014-09-26 2017-08-02 Milan Momcilo Popovich Holographic waveguide opticaltracker
EP3968085A1 (en) 2014-09-29 2022-03-16 Magic Leap, Inc. Architectures and methods for outputting different wavelength light out of wave guides
IL289705B2 (en) * 2014-12-29 2023-10-01 Magic Leap Inc A light projector that uses an acousto-optical control device
US20180275402A1 (en) 2015-01-12 2018-09-27 Digilens, Inc. Holographic waveguide light field displays
EP3245444B1 (en) 2015-01-12 2021-09-08 DigiLens Inc. Environmentally isolated waveguide display
EP3248026B1 (en) 2015-01-20 2019-09-04 DigiLens Inc. Holographic waveguide lidar
US10657780B1 (en) 2015-01-29 2020-05-19 Transparensee Llc System, method, and apparatus for mixing, blending, dispensing, monitoring, and labeling products
US9632226B2 (en) 2015-02-12 2017-04-25 Digilens Inc. Waveguide grating device
US11468639B2 (en) 2015-02-20 2022-10-11 Microsoft Technology Licensing, Llc Selective occlusion system for augmented reality devices
US10180734B2 (en) 2015-03-05 2019-01-15 Magic Leap, Inc. Systems and methods for augmented reality
JP7136558B2 (ja) 2015-03-05 2022-09-13 マジック リープ, インコーポレイテッド 拡張現実のためのシステムおよび方法
US10838207B2 (en) 2015-03-05 2020-11-17 Magic Leap, Inc. Systems and methods for augmented reality
KR102630754B1 (ko) 2015-03-16 2024-01-26 매직 립, 인코포레이티드 증강 현실 펄스 옥시미트리
WO2016146963A1 (en) 2015-03-16 2016-09-22 Popovich, Milan, Momcilo Waveguide device incorporating a light pipe
US10404975B2 (en) 2015-03-20 2019-09-03 Tilt Five, Inc Retroreflective light field display
US10591756B2 (en) 2015-03-31 2020-03-17 Digilens Inc. Method and apparatus for contact image sensing
CN106293561B (zh) 2015-05-28 2020-02-28 北京智谷睿拓技术服务有限公司 显示控制方法和装置、显示设备
CN106303498B (zh) 2015-05-30 2018-10-16 北京智谷睿拓技术服务有限公司 视频显示控制方法和装置、显示设备
CN106303499B (zh) 2015-05-30 2018-10-16 北京智谷睿拓技术服务有限公司 视频显示控制方法和装置、显示设备
CN106303315B (zh) 2015-05-30 2019-08-16 北京智谷睿拓技术服务有限公司 视频显示控制方法和装置、显示设备
CA2989414A1 (en) 2015-06-15 2016-12-22 Magic Leap, Inc. Display system with optical elements for in-coupling multiplexed light streams
US10176642B2 (en) 2015-07-17 2019-01-08 Bao Tran Systems and methods for computer assisted operation
US10149958B1 (en) 2015-07-17 2018-12-11 Bao Tran Systems and methods for computer assisted operation
US10335572B1 (en) 2015-07-17 2019-07-02 Naveen Kumar Systems and methods for computer assisted operation
US10492981B1 (en) 2015-07-17 2019-12-03 Bao Tran Systems and methods for computer assisted operation
US10685488B1 (en) 2015-07-17 2020-06-16 Naveen Kumar Systems and methods for computer assisted operation
IL256838B2 (en) 2015-07-20 2023-10-01 Magic Leap Inc Tuning such as a fiber scanner with inward aiming angles in a virtual/augmented reality system
IL257505B2 (en) 2015-08-18 2024-01-01 Magic Leap Inc Virtual and augmented reality systems and methods
KR102591552B1 (ko) 2015-08-21 2023-10-18 매직 립, 인코포레이티드 눈 포즈 측정을 사용한 눈꺼풀 형상 추정
IL283014B (en) 2015-08-21 2022-07-01 Magic Leap Inc Assessment of eyelid shape
JP6887422B2 (ja) 2015-09-16 2021-06-16 マジック リープ, インコーポレイテッドMagic Leap,Inc. オーディオファイルの頭部姿勢ミキシング
CN108351527A (zh) 2015-09-23 2018-07-31 奇跃公司 采用离轴成像器的眼睛成像
US10690916B2 (en) 2015-10-05 2020-06-23 Digilens Inc. Apparatus for providing waveguide displays with two-dimensional pupil expansion
IL294587A (en) 2015-10-05 2022-09-01 Magic Leap Inc Microlens collimator for optical fiber scanning in a virtual/augmented reality system
EP4246215A3 (en) 2015-10-06 2023-12-27 Magic Leap, Inc. Virtual/augmented reality system having reverse angle diffraction grating
EP3362946B1 (en) 2015-10-16 2020-08-26 Magic Leap, Inc. Eye pose identification using eye features
WO2017070121A1 (en) 2015-10-20 2017-04-27 Magic Leap, Inc. Selecting virtual objects in a three-dimensional space
US9709807B2 (en) 2015-11-03 2017-07-18 Motorola Solutions, Inc. Out of focus notifications
EP4080194A1 (en) 2015-11-04 2022-10-26 Magic Leap, Inc. Light field display metrology
US11231544B2 (en) 2015-11-06 2022-01-25 Magic Leap, Inc. Metasurfaces for redirecting light and methods for fabricating
AU2016365422A1 (en) 2015-12-04 2018-06-28 Magic Leap, Inc. Relocalization systems and methods
CN108474960B (zh) 2016-01-07 2021-11-16 奇跃公司 显示系统
KR20180100645A (ko) * 2016-01-07 2018-09-11 매직 립, 인코포레이티드 동적 프레넬 프로젝터
EP3405829A4 (en) 2016-01-19 2019-09-18 Magic Leap, Inc. COLLECTION, SELECTION AND COMBINATION OF EYE IMAGES
CN108780228B (zh) 2016-01-19 2021-04-20 奇跃公司 利用映像的增强现实系统和方法
US10587848B2 (en) 2016-01-20 2020-03-10 Magic Leap, Inc. Polarizing maintaining optical fiber in virtual/augmented reality system
KR20180107193A (ko) 2016-01-29 2018-10-01 매직 립, 인코포레이티드 3차원 이미지용 디스플레이
EP3398007A1 (en) 2016-02-04 2018-11-07 DigiLens, Inc. Holographic waveguide optical tracker
CA3015077A1 (en) 2016-02-24 2017-08-31 Magic Leap, Inc. Low profile interconnect for light emitter
IL301720A (en) 2016-02-24 2023-05-01 Magic Leap Inc Polarizing beam splitter with low light leakage
CA3014821A1 (en) 2016-02-26 2017-08-31 Magic Leap, Inc. Light output system with reflector and lens for highly spatially uniform light output
CN109073821B (zh) 2016-02-26 2021-11-02 奇跃公司 具有用于多个光发射器的多个光管的显示系统
NZ757279A (en) 2016-03-01 2022-10-28 Magic Leap Inc Reflective switching device for inputting different wavelengths of light into waveguides
CN109074785B (zh) 2016-03-04 2022-05-10 奇跃公司 减少用电的显示系统以及用于减少显示系统的用电的方法
WO2017155826A1 (en) 2016-03-07 2017-09-14 Magic Leap, Inc. Blue light adjustment for biometri security
WO2017165231A1 (en) 2016-03-22 2017-09-28 Magic Leap, Inc. Head mounted display system configured to exchange biometric information
JP6895451B2 (ja) 2016-03-24 2021-06-30 ディジレンズ インコーポレイテッド 偏光選択ホログラフィー導波管デバイスを提供するための方法および装置
NZ746514A (en) 2016-03-25 2020-03-27 Magic Leap Inc Virtual and augmented reality systems and methods
KR102438052B1 (ko) 2016-03-31 2022-08-29 매직 립, 인코포레이티드 포즈들 및 멀티-dof 제어기들을 사용하는 3d 가상 객체들과 상호작용들
AU2017246901B2 (en) 2016-04-08 2022-06-02 Magic Leap, Inc. Augmented reality systems and methods with variable focus lens elements
JP6734933B2 (ja) 2016-04-11 2020-08-05 ディジレンズ インコーポレイテッド 構造化光投影のためのホログラフィック導波管装置
IL262279B2 (en) 2016-04-21 2023-04-01 Magic Leap Inc A visual aura around the field of vision
AU2017257549B2 (en) 2016-04-26 2021-09-09 Magic Leap, Inc. Electromagnetic tracking with augmented reality systems
US10046229B2 (en) 2016-05-02 2018-08-14 Bao Tran Smart device
KR20230159898A (ko) 2016-05-06 2023-11-22 매직 립, 인코포레이티드 광을 재지향시키기 위한 비대칭 격자들을 가진 메타표면들 및 제조를 위한 방법들
AU2017264695B2 (en) 2016-05-09 2022-03-31 Magic Leap, Inc. Augmented reality systems and methods for user health analysis
KR102641964B1 (ko) 2016-05-12 2024-02-27 매직 립, 인코포레이티드 이미징 도파관을 통해 분배된 광 조작
JP6880075B2 (ja) 2016-05-20 2021-06-02 マジック リープ, インコーポレイテッドMagic Leap,Inc. ユーザインターフェースメニューのコンテキスト認識
CA3025936A1 (en) 2016-06-03 2017-12-07 Magic Leap, Inc. Augmented reality identity verification
AU2017279495B2 (en) 2016-06-10 2022-06-30 Magic Leap, Inc. Integrating point source for texture projecting bulb
JP7385993B2 (ja) 2016-06-20 2023-11-24 マジック リープ, インコーポレイテッド 視覚的処理および知覚の疾患を含む神経学的疾患の評価および修正のための拡張現実ディスプレイシステム
IL280983B (en) 2016-06-30 2022-07-01 Magic Leap Inc Pose assessment in three-dimensional space
CN109661194B (zh) 2016-07-14 2022-02-25 奇跃公司 使用角膜曲率的虹膜边界估计
WO2018013200A1 (en) 2016-07-14 2018-01-18 Magic Leap, Inc. Deep neural network for iris identification
KR102412525B1 (ko) 2016-07-25 2022-06-23 매직 립, 인코포레이티드 광 필드 프로세서 시스템
EP4345831A3 (en) 2016-07-25 2024-04-24 Magic Leap, Inc. Imaging modification, display and visualization using augmented and virtual reality eyewear
CA3032282A1 (en) 2016-07-29 2018-02-01 Magic Leap, Inc. Secure exchange of cryptographically signed records
IL294134B2 (en) 2016-08-02 2023-10-01 Magic Leap Inc Virtual and augmented reality systems at a fixed distance and methods
US10627625B2 (en) * 2016-08-11 2020-04-21 Magic Leap, Inc. Automatic placement of a virtual object in a three-dimensional space
AU2017308914B2 (en) 2016-08-12 2021-12-09 Magic Leap, Inc. Word flow annotation
KR102217789B1 (ko) 2016-08-22 2021-02-19 매직 립, 인코포레이티드 나노그레이팅 방법 및 장치
AU2017317599B2 (en) 2016-08-22 2021-12-23 Magic Leap, Inc. Augmented reality display device with deep learning sensors
CN106131541A (zh) * 2016-08-26 2016-11-16 广州巧瞳科技有限公司 基于增强现实的智能显示装置及方法
KR102257181B1 (ko) 2016-09-13 2021-05-27 매직 립, 인코포레이티드 감각 안경류
CN109863435B (zh) 2016-09-21 2021-03-09 奇跃公司 用于具有出瞳扩展器的光学系统的系统和方法
CN109997174B (zh) 2016-09-22 2023-06-02 奇跃公司 可穿戴光谱检查系统
KR20240011881A (ko) 2016-09-26 2024-01-26 매직 립, 인코포레이티드 가상 현실 또는 증강 현실 디스플레이 시스템에서 자기 및 광학 센서들의 교정
IL265520B2 (en) 2016-09-28 2023-09-01 Magic Leap Inc Capturing a facial model using a wearable device
RU2016138608A (ru) 2016-09-29 2018-03-30 Мэджик Лип, Инк. Нейронная сеть для сегментации изображения глаза и оценки качества изображения
CN110073359B (zh) 2016-10-04 2023-04-04 奇跃公司 用于卷积神经网络的有效数据布局
KR102402467B1 (ko) 2016-10-05 2022-05-25 매직 립, 인코포레이티드 혼합 현실 교정을 위한 안구주위 테스트
EP3529653B1 (en) 2016-10-21 2024-01-24 Magic Leap, Inc. System and method for presenting image content on multiple depth planes by providing multiple intra-pupil parallax views
CN106657970A (zh) * 2016-10-25 2017-05-10 乐视控股(北京)有限公司 一种深度图成像装置
EP3538946B1 (en) 2016-11-11 2023-02-15 Magic Leap, Inc. Periocular and audio synthesis of a full face image
IL285121B2 (en) 2016-11-15 2023-04-01 Magic Leap Inc A deep learning system for discovering a cube
KR102595171B1 (ko) 2016-11-16 2023-10-26 매직 립, 인코포레이티드 웨어러블 컴포넌트들을 위한 열 관리 시스템들
US11067860B2 (en) 2016-11-18 2021-07-20 Magic Leap, Inc. Liquid crystal diffractive devices with nano-scale pattern and methods of manufacturing the same
KR102533671B1 (ko) 2016-11-18 2023-05-16 매직 립, 인코포레이티드 공간 가변적 액정 회절 격자들
AU2017363078B2 (en) 2016-11-18 2022-09-29 Magic Leap, Inc. Waveguide light multiplexer using crossed gratings
EP3542216A4 (en) 2016-11-18 2020-10-07 Magic Leap, Inc. MULTI-LAYER LIQUID CRYSTAL DIFFRACTION NETWORKS TO REDIRECT LIGHT FROM LARGE INCIDENCE ANGLE RANGES
WO2018102834A2 (en) 2016-12-02 2018-06-07 Digilens, Inc. Waveguide device with uniform output illumination
US10531220B2 (en) 2016-12-05 2020-01-07 Magic Leap, Inc. Distributed audio capturing techniques for virtual reality (VR), augmented reality (AR), and mixed reality (MR) systems
KR102531542B1 (ko) 2016-12-05 2023-05-10 매직 립, 인코포레이티드 혼합 현실 환경의 가상 사용자 입력 콘트롤들
KR102585679B1 (ko) 2016-12-08 2023-10-05 매직 립, 인코포레이티드 콜레스테릭 액정에 기초한 회절 디바이스들
US10922887B2 (en) 2016-12-13 2021-02-16 Magic Leap, Inc. 3D object rendering using detected features
EP3555700B1 (en) 2016-12-14 2023-09-13 Magic Leap, Inc. Patterning of liquid crystals using soft-imprint replication of surface alignment patterns
US10371896B2 (en) 2016-12-22 2019-08-06 Magic Leap, Inc. Color separation in planar waveguides using dichroic filters
US10746999B2 (en) 2016-12-28 2020-08-18 Magic Leap, Inc. Dual depth exit pupil expander
KR102553190B1 (ko) 2016-12-29 2023-07-07 매직 립, 인코포레이티드 외부 조건들에 기초한 웨어러블 디스플레이 디바이스의 자동 제어
JP7071374B2 (ja) 2017-01-05 2022-05-18 マジック リープ, インコーポレイテッド プラズマエッチングによる高屈折率ガラスのパターン化
WO2018129398A1 (en) 2017-01-05 2018-07-12 Digilens, Inc. Wearable heads up displays
EP3571535B1 (en) 2017-01-23 2023-07-19 Magic Leap, Inc. Eyepiece for virtual, augmented, or mixed reality systems
US10812936B2 (en) 2017-01-23 2020-10-20 Magic Leap, Inc. Localization determination for mixed reality systems
US10841724B1 (en) 2017-01-24 2020-11-17 Ha Tran Enhanced hearing system
JP7155129B2 (ja) 2017-01-27 2022-10-18 マジック リープ, インコーポレイテッド メタ表面のための反射防止コーティング
CA3051414A1 (en) 2017-01-27 2018-08-02 Magic Leap, Inc. Diffraction gratings formed by metasurfaces having differently oriented nanobeams
US11347054B2 (en) 2017-02-16 2022-05-31 Magic Leap, Inc. Systems and methods for augmented reality
CN110537122B (zh) 2017-02-23 2022-04-29 奇跃公司 基于偏振转换的可变焦虚拟图像设备
CA3053963A1 (en) 2017-03-14 2018-09-20 Magic Leap, Inc. Waveguides with light absorbing films and processes for forming the same
KR20210113443A (ko) 2017-03-17 2021-09-15 매직 립, 인코포레이티드 룸 레이아웃 추정 방법들 및 기술들
WO2018170409A1 (en) 2017-03-17 2018-09-20 Magic Leap, Inc. Mixed reality system with multi-source virtual content compositing and method of generating virtual content using same
JP7055815B2 (ja) 2017-03-17 2022-04-18 マジック リープ, インコーポレイテッド 仮想コンテンツをワーピングすることを伴う複合現実システムおよびそれを使用して仮想コンテンツを生成する方法
CN117873313A (zh) 2017-03-17 2024-04-12 奇跃公司 具有彩色虚拟内容扭曲的混合现实系统及使用该系统生成虚拟内容的方法
US10455153B2 (en) 2017-03-21 2019-10-22 Magic Leap, Inc. Depth sensing techniques for virtual, augmented, and mixed reality systems
WO2018175627A1 (en) 2017-03-21 2018-09-27 Magic Leap, Inc. Low-profile beam splitter
CN117075345A (zh) 2017-03-21 2023-11-17 奇跃公司 用于照射空间光调制器的方法、设备和系统
CN115097625A (zh) 2017-03-21 2022-09-23 奇跃公司 光学设备、头戴式显示器、成像系统和对对象成像的方法
AU2018239511A1 (en) 2017-03-22 2019-10-17 Magic Leap, Inc. Depth based foveated rendering for display systems
WO2018194987A1 (en) 2017-04-18 2018-10-25 Magic Leap, Inc. Waveguides having reflective layers formed by reflective flowable materials
CN113608617A (zh) 2017-04-19 2021-11-05 奇跃公司 可穿戴系统的多模式任务执行和文本编辑
US10388077B2 (en) * 2017-04-25 2019-08-20 Microsoft Technology Licensing, Llc Three-dimensional environment authoring and generation
EP4141623A1 (en) 2017-04-27 2023-03-01 Magic Leap, Inc. Augmented reality system comprising light-emitting user input device
US10412378B2 (en) 2017-05-08 2019-09-10 Microsoft Technology Licensing, Llc Resonating optical waveguide using multiple diffractive optical elements
US10222615B2 (en) 2017-05-26 2019-03-05 Microsoft Technology Licensing, Llc Optical waveguide with coherent light source
KR20240012612A (ko) 2017-05-30 2024-01-29 매직 립, 인코포레이티드 전자 디바이스를 위한 팬 조립체를 갖는 전력 공급기 조립체
CN110945405B (zh) 2017-05-31 2024-01-02 奇跃公司 眼睛跟踪校准技术
US10338400B2 (en) 2017-07-03 2019-07-02 Holovisions LLC Augmented reality eyewear with VAPE or wear technology
US10859834B2 (en) 2017-07-03 2020-12-08 Holovisions Space-efficient optical structures for wide field-of-view augmented reality (AR) eyewear
US10908680B1 (en) 2017-07-12 2021-02-02 Magic Leap, Inc. Pose estimation using electromagnetic tracking
CN110914790A (zh) 2017-07-26 2020-03-24 奇跃公司 采用用户界面设备的表示来训练神经网络
WO2019023489A1 (en) 2017-07-28 2019-01-31 Magic Leap, Inc. FAN ASSEMBLY FOR DISPLAYING IMAGE
US10521661B2 (en) 2017-09-01 2019-12-31 Magic Leap, Inc. Detailed eye shape model for robust biometric applications
IL272289B (en) 2017-09-20 2022-08-01 Magic Leap Inc A personal neural network for eye tracking
KR20200057727A (ko) 2017-09-21 2020-05-26 매직 립, 인코포레이티드 눈 및/또는 환경의 이미지들을 캡처하도록 구성된 도파관을 갖는 증강 현실 디스플레이
KR102481884B1 (ko) 2017-09-22 2022-12-28 삼성전자주식회사 가상 영상을 표시하는 방법 및 장치
CN107682686B (zh) * 2017-10-11 2019-03-12 京东方科技集团股份有限公司 一种虚拟现实显示装置、显示设备及显示方法
JP7399084B2 (ja) 2017-10-16 2023-12-15 ディジレンズ インコーポレイテッド ピクセル化されたディスプレイの画像分解能を倍増させるためのシステムおよび方法
AU2018354257A1 (en) 2017-10-26 2020-05-14 Magic Leap, Inc. Gradient normalization systems and methods for adaptive loss balancing in deep multitask networks
EP4293414A3 (en) 2017-12-15 2024-03-13 Magic Leap, Inc. Eyepieces for augmented reality display system
CN111566571B (zh) 2018-01-08 2022-05-13 迪吉伦斯公司 波导单元格中全息光栅高吞吐量记录的系统和方法
US10914950B2 (en) 2018-01-08 2021-02-09 Digilens Inc. Waveguide architectures and related methods of manufacturing
US10540941B2 (en) 2018-01-30 2020-01-21 Magic Leap, Inc. Eclipse cursor for mixed reality displays
US11567627B2 (en) 2018-01-30 2023-01-31 Magic Leap, Inc. Eclipse cursor for virtual content in mixed reality displays
CN108366250B (zh) * 2018-02-06 2020-03-17 深圳市鹰硕技术有限公司 影像显示系统、方法以及数字眼镜
KR20200116459A (ko) 2018-02-06 2020-10-12 매직 립, 인코포레이티드 증강 현실을 위한 시스템들 및 방법들
US10735649B2 (en) 2018-02-22 2020-08-04 Magic Leap, Inc. Virtual and augmented reality systems and methods using display system control information embedded in image data
KR102345492B1 (ko) 2018-03-07 2021-12-29 매직 립, 인코포레이티드 주변 디바이스들의 시각적 추적
US10690851B2 (en) 2018-03-16 2020-06-23 Digilens Inc. Holographic waveguides incorporating birefringence control and methods for their fabrication
EP3765943A4 (en) 2018-03-16 2021-12-22 Magic Leap, Inc. DEPTH-BASED FOVEA REPRESENTATION FOR DISPLAY SYSTEMS
WO2019183399A1 (en) 2018-03-21 2019-09-26 Magic Leap, Inc. Augmented reality system and method for spectroscopic analysis
WO2019236344A1 (en) 2018-06-07 2019-12-12 Magic Leap, Inc. Augmented reality scrollbar
USD875729S1 (en) 2018-06-27 2020-02-18 Magic Leap, Inc. Portion of an augmented reality headset
EP3824439A4 (en) * 2018-07-20 2021-08-25 Flex-N-gate Advanced Product Development, LLC 3D ANIMATED IMAGE MULTIPLIER
EP3824622A4 (en) 2018-07-20 2021-09-08 Flex-N-gate Advanced Product Development, LLC FLOATING IMAGE GENERATION
US10943521B2 (en) 2018-07-23 2021-03-09 Magic Leap, Inc. Intra-field sub code timing in field sequential displays
CN116483200A (zh) 2018-07-23 2023-07-25 奇跃公司 具有虚拟内容翘曲的混合现实系统和使用该系统生成虚拟内容的方法
CN116300091A (zh) 2018-07-23 2023-06-23 奇跃公司 用于使用位置向量解析半球模糊度的方法和系统
USD930614S1 (en) 2018-07-24 2021-09-14 Magic Leap, Inc. Totem controller having an illumination region
USD924204S1 (en) 2018-07-24 2021-07-06 Magic Leap, Inc. Totem controller having an illumination region
US11567336B2 (en) 2018-07-24 2023-01-31 Magic Leap, Inc. Display systems and methods for determining registration between display and eyes of user
USD918176S1 (en) 2018-07-24 2021-05-04 Magic Leap, Inc. Totem controller having an illumination region
WO2020023779A1 (en) 2018-07-25 2020-01-30 Digilens Inc. Systems and methods for fabricating a multilayer optical structure
US11914148B2 (en) 2018-09-07 2024-02-27 Adeia Semiconductor Inc. Stacked optical waveguides
US11103763B2 (en) 2018-09-11 2021-08-31 Real Shot Inc. Basketball shooting game using smart glasses
US11141645B2 (en) 2018-09-11 2021-10-12 Real Shot Inc. Athletic ball game using smart glasses
EP3871034A4 (en) 2018-10-26 2022-08-10 Magic Leap, Inc. ELECTROMAGNETIC AMBIENT DISTORTION CORRECTION FOR ELECTROMAGNETIC TRACKING
CN113302546A (zh) 2018-11-20 2021-08-24 奇跃公司 用于增强现实显示系统的目镜
JP2022520472A (ja) 2019-02-15 2022-03-30 ディジレンズ インコーポレイテッド 統合された格子を使用してホログラフィック導波管ディスプレイを提供するための方法および装置
US11287657B2 (en) 2019-02-28 2022-03-29 Magic Leap, Inc. Display system and method for providing variable accommodation cues using multiple intra-pupil parallax views formed by light emitter arrays
US20200292745A1 (en) 2019-03-12 2020-09-17 Digilens Inc. Holographic Waveguide Backlight and Related Methods of Manufacturing
USD962981S1 (en) 2019-05-29 2022-09-06 Magic Leap, Inc. Display screen or portion thereof with animated scrollbar graphical user interface
JP2022535460A (ja) 2019-06-07 2022-08-08 ディジレンズ インコーポレイテッド 透過格子および反射格子を組み込んだ導波路、ならびに関連する製造方法
EP3987343A4 (en) 2019-06-20 2023-07-19 Magic Leap, Inc. EYEWEARS FOR AUGMENTED REALITY DISPLAY SYSTEM
WO2020261279A1 (en) 2019-06-27 2020-12-30 Lumus Ltd. Apparatus and methods for eye tracking based on eye imaging via a light-guide optical element
JP2022543571A (ja) 2019-07-29 2022-10-13 ディジレンズ インコーポレイテッド 画素化されたディスプレイの画像解像度および視野を乗算するための方法および装置
US11442222B2 (en) 2019-08-29 2022-09-13 Digilens Inc. Evacuated gratings and methods of manufacturing
TW202323949A (zh) * 2021-09-30 2023-06-16 以色列商魯姆斯有限公司 用於控制有源遮擋子系統的裝置、方法和電腦可讀存儲裝置
KR20230103379A (ko) 2021-12-31 2023-07-07 삼성전자주식회사 Ar 처리 방법 및 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101029968A (zh) * 2007-04-06 2007-09-05 北京理工大学 可寻址光线屏蔽机制光学透视式头盔显示器
CN101750738A (zh) * 2008-12-19 2010-06-23 索尼株式会社 头戴式显示器

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2728994B2 (ja) 1991-07-30 1998-03-18 三菱電機株式会社 開閉機器の動作異常検出装置
JP2786352B2 (ja) * 1991-10-02 1998-08-13 シャープ株式会社 焦点可変光学装置
JPH0536327U (ja) * 1991-10-21 1993-05-18 三菱電機株式会社 撮像装置
JPH05328260A (ja) * 1992-05-26 1993-12-10 Olympus Optical Co Ltd 頭部装着式ディスプレイ装置
US5572343A (en) 1992-05-26 1996-11-05 Olympus Optical Co., Ltd. Visual display having see-through function and stacked liquid crystal shutters of opposite viewing angle directions
JP3630746B2 (ja) * 1994-12-05 2005-03-23 キヤノン株式会社 画像観察装置
EP1798592A3 (en) 1996-01-17 2007-09-19 Nippon Telegraph And Telephone Corporation Optical device and three-dimensional display device
JP3556389B2 (ja) * 1996-05-01 2004-08-18 日本電信電話株式会社 ヘッドマウントディスプレイ装置
ATE209364T1 (de) * 1996-03-15 2001-12-15 Retinal Display Cayman Ltd Verfahren und vorrichtung zur betrachtung eines bildes
GB9713658D0 (en) * 1997-06-28 1997-09-03 Travis Adrian R L View-sequential holographic display
US20040108971A1 (en) * 1998-04-09 2004-06-10 Digilens, Inc. Method of and apparatus for viewing an image
JP2000171750A (ja) * 1998-12-03 2000-06-23 Sony Corp ヘッドマウントディスプレイ、表示方法、および提供媒体
US6546438B1 (en) 1999-06-08 2003-04-08 Siemens Energy & Automation System for interfacing components
US6456438B1 (en) * 1999-08-12 2002-09-24 Honeywell Inc. Variable immersion vignetting display
GB0000589D0 (en) 2000-01-13 2000-03-01 Guiver Matthew Cutting guide
FI114945B (fi) * 2002-09-19 2005-01-31 Nokia Corp Sähköisesti säädettävä diffraktiivinen hilaelementti
WO2006090614A1 (ja) * 2005-02-22 2006-08-31 Nikon Corporation 回折光学素子
DE102005045174A1 (de) 2005-09-21 2007-03-22 Bayer Cropscience Ag Steigerung der Pathogenabwehr in Pflanzen
JPWO2007037089A1 (ja) * 2005-09-27 2009-04-02 コニカミノルタホールディングス株式会社 頭部装着型映像表示装置
JP4810949B2 (ja) * 2005-09-29 2011-11-09 ソニー株式会社 光学装置及び画像表示装置
US7702468B2 (en) 2006-05-03 2010-04-20 Population Diagnostics, Inc. Evaluating genetic disorders
US7936489B2 (en) * 2007-02-09 2011-05-03 GM Global Technology Operations LLC Holographic information display
DE102007023738A1 (de) * 2007-05-16 2009-01-08 Seereal Technologies S.A. Verfahren und Einrichtung zum Rekonstruieren einer dreidimensionalen Szene in einem holographischen Display
EP2153266B1 (en) * 2007-06-04 2020-03-11 Magic Leap, Inc. A diffractive beam expander and a virtual display based on a diffractive beam expander
BRPI0701380E2 (pt) 2007-06-29 2009-10-06 Valmor Da Cunha Gravio redutor mecánico de velocidade por correia
US8201777B2 (en) 2007-07-31 2012-06-19 B/E Aerospace, Inc. Aircraft door and method for using the same
RU2359297C1 (ru) * 2007-12-21 2009-06-20 Олег Леонидович Головков Виртуальный шлем
US20100011368A1 (en) 2008-07-09 2010-01-14 Hiroshi Arakawa Methods, systems and programs for partitioned storage resources and services in dynamically reorganized storage platforms
US20100011036A1 (en) 2008-07-09 2010-01-14 The Go Daddy Group, Inc. Document storage access on a per-approval basis
WO2010062479A1 (en) * 2008-11-02 2010-06-03 David Chaum System and apparatus for eyeglass appliance platform
WO2010067117A1 (en) * 2008-12-12 2010-06-17 Bae Systems Plc Improvements in or relating to waveguides
JP5316391B2 (ja) * 2009-08-31 2013-10-16 ソニー株式会社 画像表示装置及び頭部装着型ディスプレイ
JP5333067B2 (ja) * 2009-08-31 2013-11-06 ソニー株式会社 画像表示装置及び頭部装着型ディスプレイ
KR101099137B1 (ko) 2010-01-29 2011-12-27 주식회사 팬택 이동 통신 시스템에서 증강 현실 정보를 제공하기 위한 장치 및 방법
US20110213664A1 (en) 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
KR101479262B1 (ko) 2010-09-02 2015-01-12 주식회사 팬택 증강현실 정보 이용 권한 부여 방법 및 장치
KR101260576B1 (ko) 2010-10-13 2013-05-06 주식회사 팬택 Ar 서비스를 제공하기 위한 사용자 단말기 및 그 방법
KR101407670B1 (ko) 2011-09-15 2014-06-16 주식회사 팬택 증강현실 기반 모바일 단말과 서버 및 그 통신방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101029968A (zh) * 2007-04-06 2007-09-05 北京理工大学 可寻址光线屏蔽机制光学透视式头盔显示器
CN101750738A (zh) * 2008-12-19 2010-06-23 索尼株式会社 头戴式显示器
US20100157433A1 (en) * 2008-12-19 2010-06-24 Sony Corporation Head mounted display

Also Published As

Publication number Publication date
IL252284B (en) 2018-07-31
JP2018207542A (ja) 2018-12-27
JP6785277B2 (ja) 2020-11-18
AU2018203315A1 (en) 2018-05-31
AU2012341069B2 (en) 2018-04-05
KR102376368B1 (ko) 2022-03-17
AU2022202379B2 (en) 2023-08-17
JP6250547B2 (ja) 2017-12-20
AU2020257062A1 (en) 2020-11-19
CA3024054A1 (en) 2013-05-30
KR102513896B1 (ko) 2023-03-23
KR20220036997A (ko) 2022-03-23
US20190339539A1 (en) 2019-11-07
EP4036862A1 (en) 2022-08-03
US10191294B2 (en) 2019-01-29
CN107664847A (zh) 2018-02-06
KR102440195B1 (ko) 2022-09-02
CA2858208C (en) 2019-01-15
KR20220124294A (ko) 2022-09-13
AU2022202379A1 (en) 2022-05-05
RU2628164C2 (ru) 2017-08-15
US10444527B2 (en) 2019-10-15
AU2020257062B2 (en) 2022-02-03
US20230004018A1 (en) 2023-01-05
KR102116697B1 (ko) 2020-05-29
WO2013077895A1 (en) 2013-05-30
EP2783352A1 (en) 2014-10-01
JP2015501101A (ja) 2015-01-08
BR112014012615A2 (pt) 2017-06-13
EP3503035B1 (en) 2022-03-23
KR102227381B1 (ko) 2021-03-11
KR102095220B1 (ko) 2020-03-31
US11822102B2 (en) 2023-11-21
IL232746A0 (en) 2014-07-31
US10670881B2 (en) 2020-06-02
CA3024054C (en) 2020-12-29
US20130128230A1 (en) 2013-05-23
US11474371B2 (en) 2022-10-18
RU2014125226A (ru) 2015-12-27
KR20210029842A (ko) 2021-03-16
US8950867B2 (en) 2015-02-10
US20170023794A1 (en) 2017-01-26
US20190072775A1 (en) 2019-03-07
US20150124317A1 (en) 2015-05-07
JP2020181225A (ja) 2020-11-05
JP2018151674A (ja) 2018-09-27
JP6422518B2 (ja) 2018-11-14
IL232746A (en) 2017-06-29
JP6646712B2 (ja) 2020-02-14
AU2012341069A1 (en) 2014-06-12
KR20140101385A (ko) 2014-08-19
US20200233232A1 (en) 2020-07-23
EP3503035A1 (en) 2019-06-26
CA2858208A1 (en) 2013-05-30
AU2018203318A1 (en) 2018-05-31
KR20170122285A (ko) 2017-11-03
JP2017108444A (ja) 2017-06-15
AU2018203318B2 (en) 2020-03-12
NZ625509A (en) 2015-03-27
CN104067316B (zh) 2017-10-27
IL252284A0 (en) 2017-07-31
EP2783352A4 (en) 2015-07-22
CN104067316A (zh) 2014-09-24
US20240027785A1 (en) 2024-01-25
KR20200061416A (ko) 2020-06-02
EP2783352B1 (en) 2019-03-27
AU2018203315B2 (en) 2020-07-23

Similar Documents

Publication Publication Date Title
CN107664847B (zh) 三维虚拟和增强现实显示系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant