CN103885181B - 近眼视差屏障显示器 - Google Patents

近眼视差屏障显示器 Download PDF

Info

Publication number
CN103885181B
CN103885181B CN201310710734.4A CN201310710734A CN103885181B CN 103885181 B CN103885181 B CN 103885181B CN 201310710734 A CN201310710734 A CN 201310710734A CN 103885181 B CN103885181 B CN 103885181B
Authority
CN
China
Prior art keywords
display
slm
image
array
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310710734.4A
Other languages
English (en)
Other versions
CN103885181A (zh
Inventor
大卫·帕特里克·利布基
道格拉斯·兰曼
托马斯·F·福克斯
格里特·斯拉文博格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nvidia Corp
Original Assignee
Nvidia Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nvidia Corp filed Critical Nvidia Corp
Publication of CN103885181A publication Critical patent/CN103885181A/zh
Application granted granted Critical
Publication of CN103885181B publication Critical patent/CN103885181B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/339Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using spatial multiplexing
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/011Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

公开了近眼视差屏障显示器。在本发明的实施例中,一种装置可以包括显示器和计算机系统,显示器包括多个像素,并且计算机系统与显示器耦连并且可操作为指示显示器显示图像。装置可进一步包括SLM阵列,SLM阵列位于与显示器相邻的位置并且包括多个SLM,其中SLM阵列可操作为当显示器和SLM阵列位于观察者的近眼范围内时,通过更改显示器发出的光来产生光场以模拟对于观察者清晰的物体。

Description

近眼视差屏障显示器
技术领域
本发明涉及近眼视差屏障显示器。
背景技术
近眼显示器(NED)包括可将图像直接投射到观看者眼中的头戴式显示器(HMD)。这类显示器可以通过合成虚拟大幅面显示表面来克服由其他移动显示器形状系数所给予的有限的屏幕大小,或者可以用于虚拟或增强现实应用。
近眼显示器可以划分成两个大类:沉浸式显示器以及透视式显示器。前者可以采用在虚拟现实(VR)环境中以利用合成渲染的影像完全包含用户的视场。后者可以采用在增强现实(AR)应用中,在该处文本、其他合成注释或图像可以覆加在用户的物理环境的视图中。就显示技术而言,AR应用要求半透明显示器(例如通过光学或电光手段所达到的),使得可以同时利用近眼显示器观看物理世界。
由于人类的肉眼不能适应(注视)置于近距离内的物体的事实,所述近距离例如当用户戴眼镜时阅读式眼镜的透镜到用户眼睛之间的距离,所以已经证明难以构建近眼显示器。因此,NED系统已常规地要求复杂并且笨重的光学元件允许观看者舒服地适应否则将脱离注视的近眼显示器以及物理环境。
常规解决方案是将分束器(例如半涂银镜)直接置于观看者眼睛前面。这允许直视物理场景,即使以降低的亮度。另外,显示器(例如LCD面板)置于第二光线路径上。在分束器与显示器期间引入透镜具有合成位于物理环境内的半透明显示的作用。实际上,要求多个光学元件以针对这类解决方案最小化像差以及达到宽视场,这导致笨重并且昂贵的、已禁止广泛消费者采纳的眼镜。
用于VR应用的常规解决方案是将放大镜置于微型显示器前面。例如,单个透镜置于小LCD面板之上,使得观看者可以既不管近距离而适应或注视显示器又可以放大显示器,使得它似乎大得多并且在较远距离处。
发明内容
在本发明的实施例中,一种装置可以包括显示器和计算机系统,所述显示器包括多个像素,并且所述计算机系统与所述显示器耦连并且可操作为指示显示器显示图像。装置可进一步包括SLM(空间光调制器)阵列,其位于与所述显示器相邻的位置并且包括多个SLM,其中所述SLM阵列可操作为当所述显示器和所述SLM阵列位于观察者的近眼范围内时,通过更改由所述显示器发出的光来产生光场以模拟对于所述观察者而言为焦点对准的物体。
本发明的各实施例可以包括一种装置,所述装置包括可操作为产生图像的显示器。装置可进一步包括第一SLM阵列,其位于与所述显示器相邻的位置,其中所述第一SLM阵列与所述显示器一起可操作为,当所述显示器和所述第一SLM阵列位于观察者的近眼范围内时,产生模拟可为所述观察者辨认的3D物体的光场。
本发明的一些实施例可以包括一种方法,所述方法包括确定所要显示的预过滤的(pre-filtered)图像,其中预过滤的图像与目标图像相应。方法可进一步包括将预过滤的图像显示在显示器上以及在预过滤的图像通过毗邻显示器的SLM阵列之后产生近眼光场,其中近眼光场可操作为模拟与目标图像相应的光场。
下面的详细描述与附图一起将提供对本发明的性质和优势的更好理解。
附图说明
本发明的实施例以示例的方式并且不以限制的方式在附图中示出,并且其中同样的参考数字指代类似的元件。
图1是根据本发明的实施例的示例性计算机系统。
图2A示出了观察者的眼睛以及相应的最小适应距离。
图2B和2C描绘了观察者在不同观看距离处所感知的图像。
图3A示出了根据本发明的实施例的、起源于焦点平面的光束。
图3B示出了根据本发明的实施例的、近眼微透镜阵列显示器的侧视图。
图4示出了根据本发明的实施例的、是光场的一部分的光束。
图5示出了根据本发明的实施例的、近眼微透镜阵列显示器的经放大视图的侧视图。
图6A示出了根据本发明的实施例的、近眼视差屏障显示器的侧视图。
图6B示出了根据本发明的实施例的、近眼视差屏障显示器和微透镜阵列的侧视图。
图7示出了根据本发明的实施例的、近眼视差屏障显示器的经放大侧视图。
图8示出了根据本发明的实施例的、近眼多层SLM显示器的侧视图。
图9示出了根据本发明的实施例的、近眼多层SLM显示器的经放大侧视图。
图10描绘了根据本发明的实施例的、通过近眼视差屏障显示器的视图。
图11示出了根据本发明的实施例的、近眼光学反卷积显示器的侧视图。
图12A描绘了根据本发明的实施例的、卷积之前和之后的图像。
图12B描绘了根据本发明的实施例的、反卷积之前和之后的图像。
图12C描绘了根据本发明的实施例的、卷积之前和之后的经反卷积图像。
图13描绘了根据本发明的实施例的、显示近眼图像的示例性过程的流程图。
图14描绘了根据本发明的实施例的、显示近眼图像的示例性过程的流程图。
具体实施方式
现在将对本公开的各实施例进行详细参考,其示例在附图中示出。虽然结合这些实施例进行了描述,但是将理解的是,他们不意图将本公开限于这些实施例。相反,本公开旨在覆盖可以包括在如随附权利要求所定义的本公开的精神和范围内的替代、修改以及等同。此外,在下面的本公开的详细描述中,将阐述大量具体细节以提供对本公开的透彻理解。然而,将理解的是,本公开可以在没有这些具体细节的情况下得以实践。在其他实例中,未详细描述公知方法、过程、部件和电路以不不必要地使本公开的各方面难以理解。
下面的详细描述的一些部分依据对计算机存储器内的数据位的操作的过程、逻辑块、处理以及其他符号表示来呈现。这些描述和表示是数据处理领域技术人员最有效地将他们工作的实质传达给本领域其他技术人员所使用的工具。在本应用中,过程、逻辑块等等被设想是导致所期望结果的自相一致的步骤或指令序列。步骤是那些利用物理量的物理操纵的步骤。尽管不一定,但是这些量通常采取能够在计算机系统中被存储、转移、组合、比较以及否则操纵的电气或磁信号的形式。主要出于普通用法的原因,将这些信号指代为事务、位、值、元素、符号、字符、样本、像素等等已经证明有时是方便的。
然而,应该记住的是,所有这些以及类似术语将与适当物理量相关联并且仅是应用到这些物理量的方便的标签。除非特别声明否则从下面的讨论中显而易见,应该理解,贯穿本公开利用术语诸如“显示”、“生成”、“产生”、“计算”、“确定”、“辐射”、“发出”、“衰减”、“调制”、“卷积”、“反卷积”、“实施”等等的讨论是指计算机系统或类似电子计算设备或处理器(例如图1的系统110)的动作和过程(例如图13和14的流程图1300和1400)。计算机系统或类似电子计算设备操纵以及变换表示为计算机系统存储器、寄存器或其他这类信息存储、传输或显示设备内的物理(电子)量的数据。
本文所描述的实施例可以在驻留在某一形式的计算机可读存储介质上的计算机可执行指令的通用背景中进行讨论,所述计算机可执行指令诸如由一个或多个计算机或其他设备执行的程序模块。以示例的方式并且不进行限制,计算机可读存储介质可以包括非暂时性计算机可读存储介质以及通信介质;非暂时性计算机可读介质包括除暂时性传播信号的所有计算机可读介质。一般地,程序模块包括例程、程序、对象、组件、数据结构等,其实施特定任务或者实现特定抽象的数据类型。程序模块的功能性可以按照各实施例中所期望的进行组合或分布。
计算机存储介质包括以用于信息的存储的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质,所述信息诸如计算机可读指令、数据结构、程序模块或其他数据。计算机存储介质包括但不限于随机存取存储器(RAM)、只读存储器(ROM)、电可擦可编程ROM(EEPROM)、闪存或其他存储器技术、压缩光盘ROM(CD-ROM)、数字多用光盘(DVD)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁存储设备,或者可以用来存储所期望信息并可被访问以检索该信息的任何其他介质。
通信介质可以具体化计算机可执行指令、数据结构以及程序模块,并且包括任何信息传递介质。以示例的方式但不进行限制,通信介质包括有线(wired)介质诸如有线网络或直接有线的(direct-wired)连接,以及无线介质诸如听觉、射频(RF)、红外线以及其他无线介质。以上任何组合也可以包括在计算机可读介质的范围内。
图1是能够实现本公开的实施例的计算系统110的示例的框图。计算系统110宽广地表示能够执行计算机可读指令的任何单个或多处理器计算设备或系统。计算系统110的示例包括但不限于工作站、膝上型电脑、客户端终端、服务器、分布式计算系统、手持设备、穿戴式设备(例如头戴式或腰佩式设备)或任何其他计算系统或设备。在它最基本的配置中,计算系统110可以包括至少一个处理器114和系统存储器116。
处理器114一般表示能够处理数据或解析并且执行指令的任何类型或形式的处理单元。在某些实施例中,处理器114可以从软件应用或模块接收指令。这些指令可以使处理器114实施本文所描述和/或示出的示范性实施例中的一个或多个的功能。
系统存储器116一般表示能够存储数据和/或其他计算机可读指令的任何类型或形式的易失性或非易失性存储设备或介质。系统存储器116的示例包括但不限于RAM、ROM、闪存或任何其他合适的存储器设备。尽管未要求,但是在某些实施例中,计算系统110可以包括易失性存储单元(诸如例如系统存储器116)和非易失性存储设备(诸如例如主要存储设备132)二者。
计算系统110也可以包括除处理器114和系统存储器116之外的一个或多个部件或元件。例如,在图1的实施例中,计算系统110包括存储器控制器118、输入/输出(I/O)控制器120以及通信接口122,其中的每一个可以经由通信基础设施112进行互连。通信基础设施112一般表示能够促进计算设备的一个或多个部件之间的通信的任何类型或形式的基础设施。通信基础设施112的示例包括但不限于通信总线(诸如工业标准架构(ISA)、外围部件互连(PCI)、PCI Express(PCIe)、或类似总线)以及网络。
存储器控制器118一般表示能够处置存储器或数据或控制计算系统110的一个或多个部件之间的通信的任何类型或形式的设备。例如,存储器控制器118可经由通信基础设施112对处理器114、系统存储器116与I/O控制器120之间的通信进行控制。
I/O控制器120一般表示能够协调和/或控制计算设备的输入和输出功能的任何类型或形式的模块。例如,I/O控制器120可以控制或促进计算系统110的一个或多个元件之间的数据的转移,所述元件诸如处理器114、系统存储器116、通信接口122、显示适配器126、输入接口130以及存储接口134。
通信接口122宽广地表示能够促进示范性计算系统110和一个或多个附加设备之间的通信的任何类型或形式的通信设备或适配器。例如,通信接口122可以促进计算系统110和包括附加计算设备的专用网络或公共网络之间的通信。通信接口122的示例包括但不限于有线网络接口(诸如网络接口卡)、无线网络接口(诸如无线网络接口卡)、调制解调器以及任何其他合适的接口。在一个实施例中,通信接口122经由到网络诸如互联网的直接链路提供直接连接到远程服务器。通信接口122也可以通过任何其他合适的连接来提供这类连接。
通信接口122也可以表示配置为经由外部总线或通信信道促进计算系统110和一个或多个附加网络或存储设备之间的通信的主机适配器。主机适配器的示例包括但不限于小型计算机系统接口(SCSI)主机适配器、通用串行总线(USB)主机适配器、IEEE(电气与电子工程师协会)1394主机适配器、串行高级技术附件(SATA)以及外部SATA(eSATA)主机适配器、高级技术附件(ATA)以及并行ATA(PATA)主机适配器、光纤通道接口适配器、以太网适配器等等。通信接口122也可以允许计算系统110进行分布式或远程计算。例如,通信接口122可以从远程设备接收指令或者发送指令到远程设备用于执行。
如图1所示,计算系统110也可以包括经由显示适配器126耦连到通信基础设施112的至少一个显示设备124。显示设备124一般表示能够视觉上显示由显示适配器126所转发的信息的任何类型或形式的设备。类似地,显示适配器126一般表示配置为转发图形、文本以及其他数据用于显示设备124上的显示的任何类型或形式的设备。
如图1所示,计算系统110也可以包括经由输入接口130耦连到通信基础设施112的至少一个输入设备128。输入设备128一般表示能够将计算机或人类生成的输入提供到计算系统110的任何类型或形式的输入设备。输入设备128的示例包括但不限于键盘、指向设备、语音辨识设备、眼动跟踪调节系统、环境运动跟踪传感器、内部运动跟踪传感器、陀螺传感器、加速度传感器、电子罗盘传感器或任何其他输入设备。
如图1所示,计算系统110也可以包括主要存储设备132以及经由存储接口134耦连到通信基础设施112的备份存储设备133。存储设备132和133一般表示能够存储数据和/或其他计算机可读指令的任何类型或形式的存储设备或介质。例如,存储设备132和133可以磁盘驱动器(例如所谓的硬盘驱动器)、软盘驱动器、磁带驱动器、光盘驱动器、闪存驱动器等等。存储接口134一般表示用于在存储设备132和133以及计算系统110的其他部件之间转移数据的任何类型或形式的接口或设备。
在一个示例中,数据库140可以存储在主要存储设备132中。数据库140可以表示单个数据库或计算设备的部分或者它可以表示多个数据库或计算设备。例如,数据库140可以表示(存储在其上)计算系统110的一部分和/或图2(下文)中的示范性网络架构200的部分。可替代地,数据库140可以表示(存储在其上)能够由计算设备访问的一个或多个物理上分开的设备,所述计算设备诸如计算系统110和/或网络架构200的部分。
继续参考图1,存储设备132和133可配置为从可移动存储单元读和/或写到可移动存储单元,所述可移动存储单元配置为存储计算机软件、数据或其他计算机可读信息。适合的可移动存储单元的示例包括但不限于软盘、磁带、光盘、闪速存储器设备等等。存储设备132和133也可以包括其他类似结构或设备用于允许计算机软件、数据或其他计算机可读指令被加载到计算系统110中。例如,存储设备132和133可配置为读和写软件、数据或其他计算机可读信息。存储设备132和133也可以是计算系统110的一部分或者可以是通过其他接口系统被访问的分开的设备。
许多其他设备或子系统可以连接到计算系统110。相反,图1示出的所有部件和设备不需要存在以实践本文所描述的实施例。上文所提及的设备和子系统也可以以与图1示出的方式不同的方式进行互连。计算系统110也可以采用任何数目的软件、固件和/或硬件配置。例如,本文所公开的示范性实施例可以编码为计算机可读介质上的计算机程序(也被称为计算机软件、软件应用、计算机可读指令或计算机控制逻辑)。
包含计算机程序的计算机可读介质可以加载到计算系统110中。存储在计算机可读介质上的计算机程序的全部或一部分可以随后存储在系统存储器116和/或存储设备132和133的各部分中。当由处理器114所执行时,加载到计算系统110中的计算机程序可以使处理器114实施本文所描述和/或示出的示范性实施例的功能,和/或是用于实施本文所描述和/或示出的示范性实施例的功能的工具。附加地或可替代地,本文所描述和/或示出的示范性实施例可以以固件和/或硬件的方式实现。
例如,用于基于目标图像确定预过滤的图像的计算机程序可以存储在计算机可读介质上,并且随后存储在系统存储器116和/或存储设备132和133的各部分中。当由处理器114所执行时,计算机程序可使处理器114实施实行上文所讨论的预过滤的图像的确定所要求的功能,和/或是用于实施实行上文所讨论的预过滤的图像的确定所要求的功能的工具。
近眼显示器
本发明的实施例提供近眼显示器,所述近眼显示器包括可操作为直接置于观看者眼睛前面的半透明显示器的薄堆叠,与预处理算法一起用于评估所描绘的影像,而不需要附加的昂贵或笨重的光学元件来支持舒服的适应。
本发明的实施例虑及基于衰减的光场显示器,其可以允许轻量的近眼显示器。应该理解的是,其他实施例不限于仅基于衰减的光场显示器,而还有基于发光的光场显示器。使用近眼光场显示器,可通过合成与位于观察者的适应范围内的虚拟显示器相应的光场来达到舒服的观看。
本发明的实施例提供包括一个或多个邻近观看者眼睛放置的近眼显示器,在该处目标影像由用于眼的所估计点扩展功能所反卷积,而不是合成支持舒服的适应的光场。进一步地,本发明的实施例提供用于近眼显示器的附加方法,包括将光场显示器和光学反卷积组合,以及延伸到全息显示器的方法。
图2A示出了观察者的眼睛204以及相应的最小适应距离218。眼睛204包括将所观看物体注视到眼睛204的视网膜平面212的透镜208。眼睛204可能能够以从眼睛204以及透镜208的各距离来注视物体。例如,眼睛204可能能够注视位于比近平面216离眼睛204更远的物体,例如在超过近平面216的焦点平面214处。
因此,眼睛204可以具有定义眼睛204能够以其注视的物体的最小距离的最小适应距离218。换句话说,眼睛204可能能够注视位于离眼睛204小于最小适应距离218或者比近平面216更靠近眼睛204的距离处的物体。例如,如果物体表面位于离眼睛204小于最小适应距离218的距离处的近眼平面222处,那么物体表面将脱离观察者的注视。比近平面216离眼睛204更远的物体在适应范围之内,并且比近平面216更接近于眼睛204的物体在适应范围之外。比近平面216更接近眼睛204的物体在近眼范围中。
图2B和2C描绘了观察者的不同观看距离处的感知到的图像230和240。例如,图2B示出了当它位于图2A的眼睛204的焦点平面214处时观察者将感知到的视力检查表230。或者,视力检查表230可以位于不同的焦点平面处,只要视力检查表230在适应范围内。如可以理解的,视力检查表230是清晰对焦(in focus)、锐利和/或可辨认的。
可替代地,图2C示出了当它比图2A的焦点平面214更接近眼睛204时观察者将感知到的视力检查表240。换句话说,视力检查表230可以位于适应范围之外例如在近眼平面222处。如可以理解的,视力检查表240是失焦(out of focus)、模糊和/或不可辨认的。
近眼微透镜阵列显示器
常规显示器诸如液晶显示器(LCD)和有机发光二极管(OLED)可以设计为在所有方向上各向同性地(一致地)发出光。相反,光场显示器支持单独光束的控制。例如,光束的辐射可以调制为跨显示器的位置以及光束离开显示器的方向的函数。
图3A示出了根据本发明的实施例的、起源于焦点平面214的光束320。图3A包括相同眼睛204、透镜208、视网膜平面212、焦点平面214以及图2A的适应距离218。图3A还包括起源于位于焦点平面214处的物体表面的光束320。光束320的起源点、角、强度和颜色以及由观察者可观看的其他光束将焦点对准(清晰)物体的视图提供给观察者。
图3B示出了根据本发明的实施例的、近眼微透镜阵列显示器301的侧视图。图3B包括与图3A相同的元件,增加了显示器324以及微透镜阵列328。虽然图3A示出了显示器324和眼睛204之间的微透镜阵列328,但是实施例虑及微透镜阵列328和眼睛204之间的显示器324。
显示器324可以是但不限于LCD或OLED。微透镜阵列328可以是多个微透镜的合集。微透镜阵列328或每个单独微透镜可由多个表面所形成以最小化光学像差。显示器324可以提供图像,在该处图像各向同性地发出光束。然而,当光束到达微透镜328时,微透镜328可以允许某些光束折射向眼睛204或者通过眼睛204,同时折射其他光束远离眼睛204。
因此,微透镜328可以允许来自显示器324的选择像素的光反射向或者通过眼睛204,而其他光束通过而不是折射远离眼睛204。因此,微透镜328可以允许光束321通过,这模拟图3A的光束320。例如,光束321可以具有光束320的相同角、强度和颜色。重要的是,光束321不具有与光束320相同的起源点,因为它起源于显示器324并且非焦点平面214,而是来自眼睛204的角度,光束320等同于光束321。因此,不考虑光束321的起源点,当没有物体实际存在于焦点平面214处时,光束321所表示的物体似乎位于焦点平面214处。
应该理解的是,微透镜或微透镜阵列328完全可以是电光可切换的,使得微透镜328阵列可配置为透明或不透明的(例如表现为平玻璃板)。例如,微透镜阵列328可以由液晶或双折射镜片形成,偏振器将一起形成。因此,这类可切换微透镜可以是电子控制的,交替地来自可操作为将光场显示到类似于平玻璃板出现的不透明元件、可操作为允许观看周围环境的微透镜阵列。透明和不透明模式可以快速地在其之间交替、空间多路复用或组合的空间和时间调制。因此,类似于参考图6-10所讨论的那些,可以提供增强现实应用。进一步地,使用固定的微透镜阵列可以提供虚拟现实应用。
重要的是,显示器324位于眼睛204的适应范围之外。换句话说,显示器324位于小于最小适应访问218的处理处。然而,因为微透镜阵列328创建光场(如下文所讨论的),所述光场模仿或模拟由可以注视的最小适应距离218之外的物体所发出的光束,所以由显示器324所示出的图像可以是清晰的。
图4示出了根据本发明的实施例的、是光场的一部分的光束408。光场可以定义或描述表面404、多个叠加的表面或一般3D场景的外表。对于一般虚拟3D场景而言,可以撞击微透镜阵列328的(虚拟)束的集合必须由近眼显示器设备来重新创建。因此,表面404将与显示器的平面324相应,并且每个束408将与相交显示器的平面324的束320相应,这导致创建从近眼光场显示器所发出的束321。
更特别地,光场可以包括用于每个点的光束以及表面404上的光束辐射角的信息,其可以描述来自不同距离和角的表面404的外表。例如,对于表面404上的每个点以及对于光束的每个辐射角而言,诸如光束的强度和颜色的信息可以定义描述的表面404的外表的光场。用于每个点以及辐射角的这类信息构成光场。
在图4中,光束408可以辐射自可通过“x”和“y”坐标描述的表面404的起源点412。进一步地,光束408可以辐射到具有x(水平)、y(垂直)以及z(进入页面内或离开页面外的深度)分量。这类角可以通过角Φ和θ描述。因此,每个(x,y,Φ,θ)坐标可以描述光束,例如示出的光束408。每个(x,y,Φ,θ)坐标可以与一起形成光场的光束强度和颜色相应。对于视频应用而言,光场强度和颜色也可以随着时间(t)而变化。
一旦光场因表面404而公知,那么可以在没有实际表面404的情况下对观察者创建或模拟表面404的外表。模拟表面404的光束的起源点可以与来自表面404而不是观察者的角度的实际光束的实际起源点不同,表面404可似乎好像观察者实际上观看到它而存在。
返回到图3B,结合微透镜328的显示器324可以产生可模仿或模拟焦点平面214处的物体的光场。如上文所讨论的,从眼睛204的角度,光束321可以等同于图3A的光束320。因此,由显示器324模拟以位于观看平面214处的物体以及微透镜阵列328可能对于眼睛204是清晰的,因为模拟了用于真实物体的等同光场。进一步地,因为模拟了用于真实物体的等同光场,所以所模拟物体将好像是三维的。
在一些情况下,光场显示器分辨率的限制可能使所产生光束到仅接近复制的束。例如,参考图3A和3B,光束321可能具有稍不同于光束320的颜色、强度、位置或角。考虑到预过滤算法的质量、近眼光场显示器的能力以及人类视觉系统感知差异的能力,由近眼显示器所发出的束321的集合可能接近或完全复制虚拟物体的外表,诸如地点404。在外表接近的情况下,束可能不需要准确地被复制用于适当或令人满意的图像识别。
图5示出了根据本发明的实施例的、图3B的显示器324和微透镜阵列328的放大的侧视图。图5还包括图3B的观察者的眼睛204。
显示器324可以包括多个像素,例如像素512、522、524以及532。可以存在像素组,例如包括像素512的像素组510、包括像素522和524的像素组520以及包括像素532的像素组530。每个像素组可以与微透镜328的微透镜相应。例如,像素组510、520以及530可以分别位于与微透镜516、526以及536相邻的位置。
如上文所讨论的,像素可以在所有方向上各向同性地(一致地)发出光。然而,微透镜阵列328可以对齐由每个像素所发出的光以在一个方向或在窄范围的方向(例如出射波束可以以小角扩展或会聚/聚焦)上实质上反各向同性地(非一致地)行进。实际上,在一些情况下可以是令人满意的。例如,像素532可以在所有方向上发出光束,但是在光束到达微透镜536之后,可能使所有光束在一个方向上行进。如所示,由像素532所发出的光束在其已经通过微透镜536之后可以平行地向眼睛204行进。因此,显示器324和微透镜328可操作为使用光束创建光场以模拟物体的外表。
光束行进的方向可以取决于发光像素相对于微透镜的位置。例如,虽然由像素532所发出的束可以向右上方方向行进,但是由像素522所发出的束可以向右下方方向行进,因为像素522比像素532相对于他们的相应微透镜定位更高。因此,用于像素组中的每个像素的光束可能不一定向眼睛行进。例如,当眼睛204被如所示定位时,由像素524所发出的虚线的光束可不向眼睛204行进。
应该理解的是,显示器324可以包括像素行和像素列,使得进入页面内或离开页面外的像素可以生成可行进进入页面或离开页面的光束。因此,这类光在通过微透镜之后可被致使以在进入页面或离开页面的一个方向上行进。
还应该理解的是,显示器324可以显示仅当通过微透镜阵列328所观看时可辨认或清晰的图像。例如,如果由显示器324所产生的图像在没有微透镜阵列328的情况下被观看,那么它可能不等同于在微透镜328的帮助下由眼睛204所感知到的图像,即使以比近平面216更远的距离被观看。显示器324可以显示与所最终要投射的目标图像相应的预过滤的图像,其当在没有微透镜328的情况下被观看时是不可辨认的。当预过滤的图像利用微透镜阵列328被观看时,目标图像可被产生并且是可辨认的。计算机系统或图形处理系统可以生成与目标图像相应的预过滤的图像。
应该进一步注意的是,分开的微透镜阵列和/或显示器可以置于观看者的每个眼睛前面。因此,可以达到双眼观看。因此,双眼像差和会聚的深度知觉暗示可以完整地或接近地被模拟。每个光场也可以支持所要正确被模拟的适应(聚焦)的深度暗示。此外,通过使用近眼光场显示器对,双眼视差、会聚以及适应同时地以及完整地或接近地被模拟,产生延伸到显示器324之后的3D场景的“舒服的”感觉。
另外,因为合成的光场可以延伸超过透镜/瞳孔208,所以观看者可以移动左/右/上/下,转动他们的头,或者改变他们眼睛204之间的距离(例如由于不同用户),这维持了虚拟3D场景的错觉。本发明的实施例还支持被叫做运动视差的第四深度暗示。
进一步地,应该理解的是,微透镜阵列和/或显示器可以仅占据观察者的视图的一部分。
近眼视差屏障显示器
图6A示出了根据本发明的实施例的、近眼视差屏障显示器600的侧视图。图6A包括图2的具有透镜208的眼睛204、视网膜平面212、焦点平面214以及近平面216。图6A还包括显示器624以及空间光调制器(SLM)阵列626(或视差屏障或针孔阵列)。SLM可以吸收或衰减光束或光而不显著更改他们的方向。因此,SLM可以更改强度以及可能地更改光束的颜色,而不是它的方向。SLM可以包括印刷胶片、LCD、光阀或其他机构。
虽然显示器624和SLM阵列626在最小适应距离218内,但是他们可操作为产生光场以模拟来自眼睛204的适应范围内的清晰的物体。例如,光场621可由显示器624和SLM阵列626产生,其是模拟位于超过近平面216的物体的光场的一部分。
显示器624和SLM阵列626的区域可能可操作为在透明、半透明和/或不透明之间进行切换。因此,起源于超过显示器624和SLM阵列626(例如自周围的环境)的光束可仍到达眼204。例如,起源于可在10英尺远的物体的表面的光束622可能通过显示器624以及SLM阵列626到眼204。因此,观察者可能仍能够观看周围环境的至少一部分。
图6B示出了根据本发明的实施例的、近眼视差屏障显示器和微透镜阵列的侧视图。图6B包括与图3B类似的元件。图6A还包括可以布置在近平面216和显示器324之间的微透镜阵列328b。微透镜阵列328b可以例如压缩凹透镜而不是凸透镜。微透镜阵列328和328b的组合可以允许束622通过微透镜系统。除了包括光罩(mask)、棱镜或双折射材料的其他元件之外,微透镜328和328b可以包括多个微透镜。
图7示出了根据本发明的实施例的、近眼视差屏障显示器600的放大的侧视图。图7包括图6A的显示器624以及SLM阵列626。显示器624可以包括多个像素,例如像素722和725。SLM阵列626可以包括多个针孔,其可操作为允许、阻止或否则调制SLM阵列626的各点处的光的通过,所述各点例如像素730、735、740和745。视差屏障626可以利用任何空间光调制器实现。例如,视差屏障可以是LCD或OLED。
在一个或多个实施例中,显示器624可以包括光发射(light-emitting)元件(例如半透明OLED)的阵列,并且SLM阵列626可以包括光衰减(light-attenuating)元件(例如半透明LCD)。在这类实施例中,起源于周围环境的光束736、741和746可以不由显示器624和SLM阵列626修改。而是,可使用当显示器624和SLM阵列626操作时阻止束进入的附加的光快门来达到对这类光束的修改。
在一个或多个实施例中,显示器624和SLM阵列626二者是光衰减SLM。显示器624或SLM阵列626中的一个可以显示开缝/针孔阵列,而其他元件通过衰减通过层的、起源于周围环境的光束736、741和746来显示预过滤图像以合成光场。这将支持“低功率”情况,在该情况下通过看场景,束被阻止创建文本或图像,而不是从显示器624被发出,随后被SLM阵列626所阻止。
SLM阵列626可以允许某些光束通过而阻止其他光束。例如,像素730可以阻止由像素722所发出的光束723,而允许由像素722所发出的另一个光束724通过。因此,因为SLM阵列626使光在一个方向上反各向同性地行进,所以可以产生光场。可替代地,由像素722所发出的多个光束可以通过SLM阵列626。在常规视差屏障(开缝或针孔)中,仅单个方向可以通过,而在广义解决方案中,多个方向可以通过(甚至一些情况下的所有方向,这导致没有对由像素722所发出的光束的阻止或调制。进一步地,SLM阵列626可以以变化的程度部分地光衰减。例如,像素745可以部分地衰减由像素725所发出的光束726。
显示器624可以是半透明显示器(例如透明LCD或OLED)。因此,从眼睛204的角度起源于显示器624和SLM阵列626二者之后的光束可被允许通过显示器624。因此,即使当显示器624和SLM阵列624置于眼睛204前面时,眼睛204也可能能够观看周围的环境。
然而,SLM阵列626可以允许或阻止这类起源于周围环境的光束。例如,起源于周围环境的光束736可被像素735允许以通过到眼睛204,而起源于周围环境的光束741可被像素740阻止通过到眼睛204。光束736、741以及746也可以由显示器624来调制。因此,显示器624表现为类似于SLM阵列626、半透明光发射器或SLM阵列和发射器的组合的另一个SLM。
另外,SLM阵列626可以以变化的程度不同地衰减这类光。例如,像素745可以部分地衰减从眼睛204的角度起源于显示器624和SLM阵列626的光束746。
因此,因为来自周围环境的光束可以到达眼睛204,所以观看者可能能够总地观看环境,而显示器624和SLM阵列626可通过添加和/或移除光束来修改观看者可以看到什么。例如,光衰减元件(例如LCD)通过阻止光可以包括观察者视图中的黑文本,或者光发射元件(例如OLED)通过发出光可以包括观察者视图中的白文本。因此,显示器624和SLM阵列626可以提供增强现实体验。
例如,图10描绘了根据本发明的实施例的、通过近眼视差屏障显示器600的视图。视图包括在该示例中包括街道、建筑物、树等等的周围环境。近眼视差屏障显示器600可以通过包括例如具有指向咖啡馆方向的箭头1010的咖啡标示1005来修改视图。
在本发明的一个或多个实施例中,可以提供适应暗示。例如,如果箭头1010被代替地加标签并且指向房子1015,并且观看者眼睛注视在位于比房子1015更近距离的汽车1020上,那么箭头1010可被稍微模糊以接近房子1015的相同模糊量。因此,可以模拟自然人类适应/散焦效应。
应该理解的是,近眼视差屏障显示器600当操作为沉浸式显示器时可以提供虚拟现实体验,例如通过阻止来自周围环境的所有光以及通过显示器624和SLM阵列626提供影像。
在图6和7中,SLM阵列626在眼睛204和显示器624之间。然而,应该记住的是,本发明的实施例虑及将在眼睛204和SLM阵列626之间的显示器624。
应该理解的是,显示器624和/或SLM阵列626可以产生图像,所述图像仅当位于比近平面216更近时被观看时是可辨认或清晰的。例如,图像在适应范围内被观看时可能看起来模糊或脱焦。显示器624可以显示与所最终要投射的目标图像相应的预过滤的图像,其在没有SLM阵列626的情况下被观看时是不可辨认的。当利用SLM阵列626观看预过滤的图像时,目标图像可被产生并且是可辨认的。计算机系统和图形处理系统可以生成与目标图像相应的预过滤的图像。
另外,应该记住的是,图6和7示出了来自侧视图的近眼视差屏障显示器600并且近眼视差屏障显示器600可以是延伸进入页面或离开页面的三维物体。例如,近眼视差屏障显示器600可以跨阅读式眼镜水平地和垂直地延伸。应该进一步注意的是,分开的近眼视差屏障显示器可以置于观看者的每个眼睛前面。另外,应该理解的是,近眼视差屏障显示器600可以仅占据观察者的视图的一部分。
图8示出了根据本发明的实施例的、近眼多层SLM显示器800的侧视图。图8的近眼多层SLM显示器800可以与图6A的近眼视差屏障显示器600类似。然而,图8的近眼多层SLM显示器800包括多个SLM阵列826。通过使用多个SLM阵列,可以改进场的亮度、分辨率和/或深度。进一步地,通过使用比人类闪光融合阈值刷新更快的高速SLM,分辨率可以靠近本地显示器分辨率的分辨率。本发明的实施例提供如图6和7中的高速显示器的应用到双层SLMS、其他双层配置以及多层SLM。
图9示出了根据本发明的实施例的、近眼多层SLM显示器800的放大的侧视图。图9与图7类似,因为它包括眼睛204和显示器824。然而,图9还包括多个SLM阵列826,例如SLM阵列830、832以及834。在示出的实施例中,多个SLM阵列826包括三个SLM阵列。然而,本发明的实施例虑及任何数目的SLM阵列。
多个SLM阵列826虑及对被允许通过到眼睛204的光的经增加的控制。例如,因为每个附加的SLM阵列可能有助于进一步限定光束,所以多个SLM阵列826允许更多被限定的光场被提供到眼睛204。因此,可以改进影像的场的分辨率和/或深度。例如,光束905可被允许通过到眼睛204,而光束920可被SLM阵列832阻止,但是相反只要SLM阵列830位于光束920和眼睛204之间则已能够通过。应该理解的是,多个SLM阵列826中的像素可以部分地衰减光束,与图7的像素745类似。
进一步地,因为多个光束的路径可能重叠,所以这类束可以通过相同的SLM阵列的SLM元件,并且因此,更多光可被允许到达眼睛204。例如,光束905和910可以通过相同的SLM阵列832的SLM元件,以及光束905和915可以通过相同的SLM阵列834的SLM元件。
另外,分辨率或亮度可以通过以高速调制SLM阵列来增加。例如,如果人眼可能仅能够以60Hz检测图像,那么SLM阵列可以以更快十倍的600Hz进行调制。虽然光束在第一帧期间被阻止行进到眼睛204中,但是SLM阵列可以调制以允许相同光束通过,从而增加分辨率或亮度。
在图8和9中,多个SLM阵列826在眼睛204和显示器824之间。然而,应该记住的是,本发明的实施例虑及将在眼睛204和多个SLM阵列826之间的显示器824。
应该进一步注意的是,分开的SLM阵列和/或显示器可以置于观看者的每个眼睛前面。因此,可以达到双眼观看。因此,双眼像差和会聚的深度知觉暗示可以完整地或接近地被模拟。每个光场也可以支持所要正确被模拟的适应(聚焦)的深度暗示。此外,通过使用SLM阵列显示器对,双眼视差、会聚以及适应同时地以及完整地或接近地被模拟,产生延伸到显示器624或824之后的3D场景的“舒服的”感觉。
另外,因为合成的光场可以延伸超过透镜/瞳孔208,所以观看者可以移动左/右/上/下,转动他们的头,或者改变他们眼睛204之间的距离(例如由于不同用户),这维持了虚拟3D场景的错觉。本发明的实施例还支持被叫做运动视差的第四深度暗示。
进一步地,应该理解的是,SLM阵列和/或显示器可以仅占据观察者的视图的一部分。
近眼光学反卷积显示器
图11示出了根据本发明的实施例的、近眼光学反卷积显示器1100的侧视图。图11包括图2的具有透镜208的眼睛204、视网膜平面212、焦点平面214以及近平面216。图11还包括第一显示器1124以及可选地附加的显示器比如显示器1125。因此,如关于图2A所讨论的,由显示器1124所显示的图像将典型地对于眼睛204是失焦的。
然而,本发明的实施例使得显示器1124可产生当由眼睛204所感知时清楚并且清晰对焦的图像。以这类近距离被观看的表面以某种方式被模糊。本发明的实施例允许已被逆向地模糊的图像的显示,使得眼睛的自然模糊作用将抵消逆向模糊,产生清晰图像。
图12A描绘了根据本发明的实施例的、在卷积之前和之后的图像。图12A包括表面上的点1204。当点1204在眼睛的最小适应距离内被眼睛观看时,点1204对于观察者可能显现是模糊的。例如,所感知的模糊的图像可由圆盘1208来描绘。描述圆盘1208的函数s(x,y)可以是描述点1204的函数i(x,y)与第二函数h(x,y)的卷积运算的结果。第二函数可以是例如点扩展函数(PSF)。点扩展函数可以描述尝试观看眼睛的适应距离之外的平面的散焦眼睛的效果。
因此,由眼睛所引起的自然模糊效果可以通过卷积运算来描述。例如,下面的数学等式可以描述点1204和圆盘1208之间的关系:
i(x,y)*h(x,y)=s(x,y)
图12B描绘了根据本发明的实施例的、在反卷积之前和之后的图像。图12B包括与12A相同的点1204。为了抵消、撤销或抵制由眼睛所引起的模糊效果,可以产生反卷积的或预过滤的图像。例如,点1204的反卷积的点1212可通过对点1204实施反卷积运算来产生。反卷积运算的结果例如反卷积的点1212可以通过两个同心环来描绘。两个同心环可以具有不同的强度。
更特别地,如果由函数i(x,y)所描述的点1204与第二函数的反函数h-1(x,y)卷积,那么产生的描述反卷积的点1212的函数可以是第二函数的反函数可以是例如PSF的反函数。
因此,相对的或相反的由眼睛所引起的自然模糊效果可通过反卷积运算来描述。下面的数学等式可以描述点1204和反卷积的点1212之间的关系:
i ( x , y ) * h - 1 ( x , y ) = i ~ ( x , y )
反卷积运算可以在负值方面降低,其可由显示器或显示器的动态范围之外的值来合成。反卷积的图像可经滤波以将反卷积输出变换到在显示设备的动态范围内。
图12C描绘了根据本发明的实施例的、在卷积之前和之后的反卷积的图像。当对描述反卷积的图像的函数实施卷积运算时,产生的函数可以描述原始图像。例如,当由所描述的反卷积的点1212经历与第二函数h(x,y)的卷积运算时,结构可以是描述原始点1204的函数i(x,y)。第二函数可以是例如PSF。
下面的数学等式可以描述反卷积的点1212和点1204之间的关系:
i ~ ( x , y ) * h ( x , y ) = i ( x , y )
因此,因为眼睛的卷积效果可将点的反卷积的版本完全地或至少接近地类似于原始点1204进行转译,所以眼睛当在近眼范围(比眼睛的近平面更靠近眼睛)中观看点的反卷积的版本1212时,眼睛可以清晰地感知完整地或至少接近地类似于原始点1204。与没有所应用的反卷积或预过滤的常规显示器相比,该接近可具有减小的对比度或其他伪影,但是仍可以改进图像的清晰度或可辨认性。
应该理解的是,函数i(x,y)可以描述一起形成图像的表面上的多个点或像素。因此,反卷积函数可以与一起形成图像的反卷积的版本的多个点或像素相应。因此,当由反卷积的函数所描述的图像的反卷积的版本在近眼范围中被观看时,观察者可以感知到由函数i(x,y)所描述的原始图像。
返回图11,显示器1124可以显示反卷积的图像。因为显示器1124在近眼范围内,所以观察者可以感知到反卷积的图像的经卷积版本。如上文所讨论的,由卷积函数的反函数所反卷积的图像的卷积实质上将产生原始图像。因此,由于眼睛的模糊效果将被反卷积的图像的显示所抵制,所以观察者将感知到清晰的图像。因此,图像在近距离范围中是由观察者可辨认的。
应该理解的是,本发明的实施例允许除了反卷积的预过滤过程。例如,除反卷积之外的其他运算可以用来创建当在近眼距离处被观看时的预过滤的图像,在经历眼睛的卷积效果之后将可辨认图像提供给观察者。
应该理解的是,可以使用多个显示器。应该进一步理解的是,显示器1124和1125可以是半透明的。因此,眼睛204可能能够通过显示器1125观看由显示器1124所显示的图像。眼睛204可能还能够通过显示器1124和1125观看周围的环境。显示器的多个层还可以降低或消除伪影振铃(ringing)以及改进对比度。
还应该理解的是,光学反卷积显示器可以阻止来自周围环境的光以提供VR应用。例如,显示器可以阻止观察者视图的一部分,同时在另一个部分提供反卷积的图像。或者,例如,多层反卷积显示器中的第一显示器可以阻止光,而第二显示器提供反卷积的图像。
可替代地,这类显示器可以一般允许来自周围环境的光,并且仅阻止部分传入光和/或增强具有显示器产生的光的部分以提供AR应用。
还应该理解的是,显示器1124和1125可以显示仅当位于比近平面216更近时被观看时可辨认或清晰的图像。例如,当在适应范围中被观看时,图像可能似乎模糊或不清晰。显示器1124和1125可以显示与所最终要投射的目标图像相应的预过滤的图像,其当在适应范围内被观看时是不可辨认的。当预过滤的图像在适应范围内被观看时,目标图像可能是可辨认的。计算机系统或图形处理系统可以生成与目标图像相应的预过滤的图像。
附加的实施例
应该理解的是,本发明的实施例提供近眼光场显示器、近眼视差屏障显示器和/或近眼光学反卷积显示器的结合层。光场显示器和光学反卷积显示器可以呈现不同的性能权衡。光场显示器可以要求高分辨率底层显示器已达到锐利影像,但在其他方面保持图像对比度。相反,光学反卷积显示器可以保持图像分辨率,但降低对比度。
可以结合光场显示器和光学反卷积显示器以从每个显示器的性能获益以及支持分辨率和对比度之间的连续权衡。例如,本发明的实施例支持实施光场域中的光学反卷积,而不是独立地被应用到每个显示器层。
可以结合近眼光场显示器、近眼视差屏障显示器和/或近眼光学反卷积显示器,因为这类显示器可以实现半透明显示器。例如,这类显示器可以实现光衰减(例如LCD)或光发射(例如OLED)显示器。
应该理解的是,本发明的实施例虑及使用平铺在一起的多个显示器形成一个有效的显示器。例如,显示器324、显示器624、显示器824或显示器1124和1125可以包括多个子显示器。子显示器可以例如并排地平铺以合成形式显示器。不同于多个监视器工作站,显示器之间的任何间隙可以不引入伪影,因为预过滤的图像可经修改以显示在每个平铺片上以适应他们之间的间隙。
本发明的实施例提供虚拟显示(VR)和增强显示(AR)应用。例如,近眼光场显示器、近眼视差屏障显示器和/或近眼光学解卷积显示器可以阻止来自周围环境的光以提供VR应用。可替代地,这类显示器可以一般允许来自周围环境的光,并且仅阻止部分传入光和/或增强具有显示器产生的光的部分以提供AR应用。
在各实施例中,来自周围环境的光可以用作背光,显示器层衰减入射光场。在一些实施例中,至少一个显示器层可以包含光发射元件(例如OLED面板)。在本发明的实施例中,可以采用光衰减和光发射层的结合。应该理解的是,多于一个层可以发射光。例如,在图9中,除了显示器824之外,SLM阵列830、832和834也可以发射光。
在一个或多个实施例中,每个显示器层可以包括光衰减显示器或光发射显示器,或者这二者的结合(每个像素可以衰减和/或发射光束)。进一步的实施例可以包括多层设备,例如OLED和LCD、LCD和LCD或等等。
对于用于VR应用的近眼光场显示器而言,2D显示器可以利用视差屏障或微透镜阵列来覆盖以支持舒服的适应。此外,多个光发射层可以用来增加场的亮度、分辨率和深度。
本发明进一步的实施例可以包括全息显示元件。例如,随着分辨率的增加,节距(pitch)可以变得足够小,使得衍射效果可以得到解释。成像模型和优化方法可以用来解释衍射,包含以类似于光场显示器的方式使用用于近眼显示器的计算机生成的全息图。本发明的实施例提供将光学反卷积应用到全息系统,从而消除不相干显示器所观察的对比度损失。
本发明的实施例使用如上文所讨论的近眼显示器提供具有宽视场的轻量的“太阳镜式的(sunglasses-like)形状系数。这类显示器实际上可以以高容量和低成本来构建。这类显示器作为信息显示器可以具有可行的商业潜力,例如描绘了基本状态消息、时刻以及增强了直接感知到的物理世界。
本发明的实施例提供调节所产生图像以解释观察者眼睛的像差或缺陷。像差可以包括近视、远视、散光和/或老花眼。例如,近眼光场显示器、近眼视差显示器或近眼光学反卷积显示器可以产生图像以基于观察者的光学处方来抵消观察者的像差的效果。因此,观察者可能能够在没有矫正性眼镜比如眼镜或隐形眼镜的情况下清晰地观看图像。应该理解的是,本发明的实施例还可以利用可确定眼睛的缺陷的反馈系统的使用来自动地校准视力矫正调节。
本发明的实施例还可以基于来自可确定眼睛离显示器的距离和/或凝视的方向的眼动跟踪(eye-track)调节系统的信息来调节所提供的图像。因此,显示器可以针对不同的凝视方向、眼睛离显示器的距离和/或眼睛的像差来调节所显示的图像以优化图像的可辨认性。
本发明的实施例还基于来自一个或多个传感器的信息来调节所提供的图像。例如,实施例可以包括可包括照相机的环境运动跟踪部件。环境运动跟踪部件可以跟踪周围环境中的移动或变化(例如物体的移动或光的变化)。在进一步的示例中,可以跟踪用户身体的移动并且可以提供相关的信息。因此,本发明的实施例可基于用户的环境、用户的运动或用户的移动来调节所提供的图像。
在另一个示例中,本发明的实施例可以包括内部运动跟踪部件,所述内部运动跟踪部件可以包括陀螺传感器、加速度传感器、电子罗盘传感器等等。内部运动跟踪部件可以跟踪用户的移动并且提供与所跟踪的移动相关联的信息。因此,本发明的实施例可以基于运动来调节所提供的图像。在其他示例中,传感器可以确定并且提供用户的位置(例如GPS)、用户的头部定位或朝向、观看者头部定位和朝向的速度和加速度、环境湿度、环境温度、纬度等等。
与传感器确定相关的信息可以在相对参考系或绝对参考系中来表达。例如,GPS可以具有对地球的经度和纬度的绝对参考系。可替代地,惯性传感器当测量相对于初始状态(例如电话当前每秒移动2mm vs.电话在给定纬度/经度处)的速度和加速度时可以具有相对参考系。
近眼光场显示器、近眼视差屏障显示器和/或近眼光学反卷积显示器可以包括眼镜中。例如,这类显示器可以替换眼镜中的常规透镜。
图13描绘了根据本发明的实施例的、显示近眼图像的示例性过程的流程图1300。在框1302中,确定所要显示的预过滤的图像,其中预过滤的图像与目标图像相应。例如,计算机系统可以确定预过滤的图像,所述预过滤的图像当它自身在适应范围中被观看时可以是模糊的,而当通过滤光器(filter)或光场生成元件被观看时可以是清晰的。
在框1304中,预过滤的图像显示在显示器上。例如,在图3B、6和8中,预过滤的图像分别显示在显示器324、624和826上。
在框1306中,在预过滤的图像通过毗邻显示器的光场生成元件之后产生近眼光场,其中近眼光场可操作为模拟与目标图像相应的光场。例如,在图3A中,在预过滤的图像通过微透镜阵列328之后产生与目标图像相应的光场。类似地,在图6和8中,在预过滤的图像分别通过SLM阵列626和多个SLM阵列826之后产生与目标图像相应的光场。
图14描绘了根据本发明的实施例的、显示近眼图像的示例性过程的流程图1400。在框1402中,接收目标图像。例如,计算机系统可以接收来自图形处理系统的目标图像。
在框1404中,确定与目标图像相应的反卷积图像,其中当反卷积图像显示在观察者的近眼范围内时,观察者可以清晰地感知到目标图像。例如,在图12B中,确定目标图像的反卷积版本。如在图12C中,当目标图像的反卷积版本经历眼睛的卷积运算时,观察者清晰地感知到目标图像。
在框1406中,反卷积图像显示在显示器上。例如,在图11中,反卷积图像可以显示在显示器1124或1125上。
应该理解的是,虽然本发明的实施例已关于位于离眼睛不远的近平面内的各种显示器进行了讨论和示出,例如在图3B、6、8、11中,但是本发明的实施例还提供邻近眼睛的显示器。例如,显示器中的一个或多个层可能可操作为邻近眼睛,类似于隐形眼镜。因为这类显示器可以具有半球形外形,所以显示器可以解释外形的影响以提供锐利并且可辨认的图像到眼睛。
虽然前述公开使用具体框图、流程图和示例阐述了各实施例,但是每个框图组分、流程图步骤、操作和/或本文所描述和/或示出的组分可使用各种硬件、软件或固件(或其组合)配置单独和/或选择性地来实现。另外,包含在其他部件内的部件的任何公开应被视为示范性的,因为许多其他架构可以实现为达到相同功能性。
本文所描述和/或示出的步骤序列和工艺参数仅以示例的方式给出。例如,虽然本文所示出和/或描述的步骤可以以特定次序来示出和讨论,但是这些步骤不一定需要以所示出或讨论的次序来实施。本文所描述和/或示出的各示范性方法也可以省略本文所描述或示出的步骤中的一个或多个,或者包括除这些所公开步骤外的附加的步骤。
虽然本文已在全功能计算系统的环境中对各实施例进行了描述和/或示出,但是这些示范性实施例中的一个或多个可以以各种形式分布为程序产品,而不管用来实际实行分布的计算机可读介质的特定类型。本文所公开的实施例也可以使用实施某些任务的软件模块来实现。这些软件模块可以包括可存储在计算机可读存储介质或计算系统上的脚本、批处理或其他可执行文件。这些软件模块可将计算系统配置为实施本文所公开的示范性实施例中的一个或多个。本文所公开的软件模块中的一个或多个可以在云计算环境中实现。云计算环境可经由互联网提供各种服务和应用。这些基于云的服务(例如软件即服务、平台即服务、基础设施即服务等)可以通过网页浏览器或其他远程接口访问。本文所描述的各功能可以通过远程台式电脑环境或任何其他基于云的计算环境来提供。
出于说明的目的,已参照具体实施例对前述描述进行了描述。然而,以上示例性讨论不旨在是详尽的或将本发明限于所公开的确切形式。鉴于以上教导,许多修改和变化是可能的。为了最好地说明本发明的原理和其实际应用选择并且描述了实施例,从而使本领域其他技术人员最好地利用本发明和具有如可能适合于所构想的特定使用的各修改的各实施例。
因此描述了本发明的实施例。虽然已在特定实施例中描述了本公开,但是应该理解的是,本发明不应理解为受这类实施例所限制,而应理解为根据下面的权利要求书。

Claims (15)

1.一种近眼显示装置,包括:
显示器,其包括多个像素;
计算机系统,其与所述显示器耦连并且可操作为指示所述显示器显示图像;以及
SLM阵列,其位于与所述显示器相邻的位置并且包括多个SLM,其中所述SLM阵列可操作为当所述显示器和所述SLM阵列位于观察者的近眼范围内时,通过更改由所述显示器发出的光来产生光场以模拟对于所述观察者而言为焦点对准的物体,其中所述更改包括允许、阻止或调制所述SLM阵列的各点处的光的通过。
2.根据权利要求1所述的装置,其中所述多个SLM中的每个SLM可操作为调制由所述显示器所产生的光。
3.根据权利要求2所述的装置,其中所述显示器是半透明的,并且进一步地,其中所述多个SLM中的每个SLM可操作为调制穿过所述显示器的光。
4.根据权利要求1所述的装置,其中所述SLM阵列可操作为通过更改由所述显示器所产生的各向同性光来投射各向异性光。
5.根据权利要求1所述的装置,其中所述光场可操作为模拟3D物体,该3D物体位于超出所述观察者的所述近眼范围的位置。
6.根据权利要求1所述的装置,其中所述计算机系统可操作为确定抵消所述观察者的眼睛的像差的图像用于显示。
7.根据权利要求1所述的装置,进一步包括可操作为测量所述观察者的眼睛的像差的反馈系统;以及
其中所述计算机系统进一步可操作为基于所述测量确定抵消所述像差的图像用于显示。
8.根据权利要求7所述的装置,进一步包括可操作为提供与周围环境相关的信息的传感器;以及
其中所述计算机系统进一步可操作为基于所述信息确定抵消所述像差的图像用于显示。
9.根据权利要求1所述的装置,进一步包括可操作为跟踪眼睛的凝视的眼动跟踪调节系统,其中所述眼动跟踪调节系统可操作为将与眼睛的凝视相关的信息通信到所述计算机系统用于所述计算机系统基于所述信息确定图像用于显示。
10.根据权利要求1所述的装置,其中所述显示器包括彼此并排布置的多个子显示器。
11.一种近眼显示装置,包括:
显示器,其可操作为产生图像;以及
第一SLM阵列,其位于与所述显示器相邻的位置,其中所述第一SLM阵列与所述显示器一起可操作为,当所述显示器和所述第一SLM阵列位于观察者的近眼范围内时,所述第一SLM阵列允许、阻止或否则调制从所述显示器发出的光,以产生模拟可为所述观察者辨认的3D物体的光场。
12.根据权利要求11所述的装置,进一步包括位于与所述第一SLM阵列相邻的位置的至少一个附加的SLM阵列。
13.根据权利要求11所述的装置,其中所述第一SLM阵列可操作为在不同方向上显示由所述显示器所产生的图像的不同版本。
14.根据权利要求11所述的装置,其中所述图像在没有所述第一SLM阵列的情况下被观看时是失焦的,并且所述图像在通过所述第一SLM阵列被观看时是焦点对准的。
15.根据权利要求11所述的装置,其中所述显示器是半透明的。
CN201310710734.4A 2012-12-19 2013-12-19 近眼视差屏障显示器 Active CN103885181B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/720,831 2012-12-19
US13/720,831 US9494797B2 (en) 2012-07-02 2012-12-19 Near-eye parallax barrier displays

Publications (2)

Publication Number Publication Date
CN103885181A CN103885181A (zh) 2014-06-25
CN103885181B true CN103885181B (zh) 2017-01-04

Family

ID=50878920

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310710734.4A Active CN103885181B (zh) 2012-12-19 2013-12-19 近眼视差屏障显示器

Country Status (4)

Country Link
US (4) US9494797B2 (zh)
CN (1) CN103885181B (zh)
DE (1) DE102013114542B4 (zh)
TW (1) TWI516803B (zh)

Families Citing this family (84)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10156722B2 (en) 2010-12-24 2018-12-18 Magic Leap, Inc. Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
US9829715B2 (en) 2012-01-23 2017-11-28 Nvidia Corporation Eyewear device for transmitting signal and communication method thereof
US9494797B2 (en) 2012-07-02 2016-11-15 Nvidia Corporation Near-eye parallax barrier displays
USRE47984E1 (en) 2012-07-02 2020-05-12 Nvidia Corporation Near-eye optical deconvolution displays
US9841537B2 (en) 2012-07-02 2017-12-12 Nvidia Corporation Near-eye microlens array displays
US20150262424A1 (en) * 2013-01-31 2015-09-17 Google Inc. Depth and Focus Discrimination for a Head-mountable device using a Light-Field Display System
US9406253B2 (en) * 2013-03-14 2016-08-02 Broadcom Corporation Vision corrective display
US9519144B2 (en) 2013-05-17 2016-12-13 Nvidia Corporation System, method, and computer program product to produce images for a near-eye light field display having a defect
US9582922B2 (en) 2013-05-17 2017-02-28 Nvidia Corporation System, method, and computer program product to produce images for a near-eye light field display
US9880325B2 (en) 2013-08-14 2018-01-30 Nvidia Corporation Hybrid optics for near-eye displays
US9158115B1 (en) * 2013-09-16 2015-10-13 Amazon Technologies, Inc. Touch control for immersion in a tablet goggles accessory
US9857591B2 (en) * 2014-05-30 2018-01-02 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
US9594247B2 (en) 2013-12-19 2017-03-14 Nvidia Corporation System, method, and computer program product for a pinlight see-through near-eye display
CN110376743B (zh) 2014-01-31 2022-03-04 奇跃公司 多焦点显示系统和方法
KR102207799B1 (ko) 2014-01-31 2021-01-26 매직 립, 인코포레이티드 멀티-포컬 디스플레이 시스템 및 방법
AU2015266670B2 (en) 2014-05-30 2019-05-09 Magic Leap, Inc. Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
CN106537219B (zh) 2014-05-30 2021-03-16 奇跃公司 用于在虚拟和增强现实中产生焦平面的方法和系统
WO2016064773A1 (en) 2014-10-20 2016-04-28 Intel Corporation Near-eye display system
CN105717640B (zh) * 2014-12-05 2018-03-30 北京蚁视科技有限公司 基于微透镜阵列的近眼显示器
CN105739093B (zh) * 2014-12-08 2018-02-06 北京蚁视科技有限公司 透过式增强现实近眼显示器
WO2016094928A1 (en) * 2014-12-18 2016-06-23 Halgo Pty Limited Replicating effects of optical lenses
GB201500891D0 (en) * 2015-01-20 2015-03-04 The Technology Partnership Plc Dual display immersive screen technology
CA2923917A1 (en) * 2015-03-17 2016-09-17 Roel Vertegaal Flexible display for a mobile computing device
US9798894B2 (en) * 2015-07-02 2017-10-24 Xerox Corporation Secure computer display using inverse computational light field displays
EP3317712B1 (en) 2015-07-03 2020-04-29 Essilor International Methods and systems for augmented reality
US10274730B2 (en) 2015-08-03 2019-04-30 Facebook Technologies, Llc Display with an embedded eye tracker
US10459305B2 (en) 2015-08-03 2019-10-29 Facebook Technologies, Llc Time-domain adjustment of phase retardation in a liquid crystal grating for a color display
US10338451B2 (en) 2015-08-03 2019-07-02 Facebook Technologies, Llc Devices and methods for removing zeroth order leakage in beam steering devices
US10297180B2 (en) 2015-08-03 2019-05-21 Facebook Technologies, Llc Compensation of chromatic dispersion in a tunable beam steering device for improved display
US10552676B2 (en) 2015-08-03 2020-02-04 Facebook Technologies, Llc Methods and devices for eye tracking based on depth sensing
CN105137599B (zh) * 2015-08-10 2018-03-13 北京国承万通信息科技有限公司 头戴式显示器及其图像和透射率/反射率确定方法和装置
CN105208366A (zh) * 2015-09-16 2015-12-30 云南师范大学 一种用于近视患者立体视觉增强的方法
US10416454B2 (en) 2015-10-25 2019-09-17 Facebook Technologies, Llc Combination prism array for focusing light
US10247858B2 (en) 2015-10-25 2019-04-02 Facebook Technologies, Llc Liquid crystal half-wave plate lens
CN105929534A (zh) * 2015-10-26 2016-09-07 北京蚁视科技有限公司 一种屈光度自适应头戴式显示装置
US20170115489A1 (en) * 2015-10-26 2017-04-27 Xinda Hu Head mounted display device with multiple segment display and optics
CN106371577B (zh) * 2015-12-16 2019-02-19 北京智谷睿拓技术服务有限公司 近眼显示控制方法和装置
CN106371578B (zh) * 2015-12-16 2019-04-16 北京智谷睿拓技术服务有限公司 近眼显示控制方法和装置
US10203566B2 (en) 2015-12-21 2019-02-12 Facebook Technologies, Llc Enhanced spatial resolution using a segmented electrode array
TWI696847B (zh) 2016-01-28 2020-06-21 中強光電股份有限公司 頭戴式顯示裝置
WO2017177425A1 (zh) * 2016-04-14 2017-10-19 华为技术有限公司 一种虚拟现实设备中的图像处理方法和装置
US10522106B2 (en) * 2016-05-05 2019-12-31 Ostendo Technologies, Inc. Methods and apparatus for active transparency modulation
GB2550137A (en) * 2016-05-09 2017-11-15 Euro Electronics (Uk) Ltd Method and apparatus for tiles light field display
ITUA20163946A1 (it) * 2016-05-30 2017-11-30 Univ Pisa Visore indossabile per la realtà aumentata
CN105911747B (zh) * 2016-07-01 2019-03-12 京东方科技集团股份有限公司 一种显示面板和显示装置
CN108107572B (zh) 2016-11-25 2020-07-14 中强光电股份有限公司 近眼显示装置
WO2018127913A1 (en) * 2017-01-04 2018-07-12 Lumus Ltd. Optical system for near-eye displays
US11454815B2 (en) * 2017-06-01 2022-09-27 NewSight Reality, Inc. Transparent optical module using pixel patches and associated lenslets
US11119353B2 (en) 2017-06-01 2021-09-14 E-Vision Smart Optics, Inc. Switchable micro-lens array for augmented reality and mixed reality
US10634921B2 (en) * 2017-06-01 2020-04-28 NewSight Reality, Inc. See-through near eye optical display
US10921613B2 (en) * 2017-06-01 2021-02-16 NewSight Reality, Inc. Near eye display and related computer-implemented software and firmware
JP6924637B2 (ja) * 2017-07-05 2021-08-25 京セラ株式会社 3次元表示装置、3次元表示システム、移動体、および3次元表示方法
CN107261493B (zh) * 2017-07-17 2020-05-29 宋宇 Vr游戏复合弓系统
CN109471256A (zh) 2017-09-07 2019-03-15 中强光电股份有限公司 光学元件及显示装置
US10379266B2 (en) * 2017-09-15 2019-08-13 Sung-Yang Wu Near-eye display device
JP6944110B2 (ja) * 2017-09-28 2021-10-06 日本電信電話株式会社 表示装置及び表示方法
US10930709B2 (en) 2017-10-03 2021-02-23 Lockheed Martin Corporation Stacked transparent pixel structures for image sensors
US10510812B2 (en) 2017-11-09 2019-12-17 Lockheed Martin Corporation Display-integrated infrared emitter and sensor structures
US10690910B2 (en) 2018-02-07 2020-06-23 Lockheed Martin Corporation Plenoptic cellular vision correction
US10979699B2 (en) 2018-02-07 2021-04-13 Lockheed Martin Corporation Plenoptic cellular imaging system
US10652529B2 (en) 2018-02-07 2020-05-12 Lockheed Martin Corporation In-layer Signal processing
US10951883B2 (en) 2018-02-07 2021-03-16 Lockheed Martin Corporation Distributed multi-screen array for high density display
US11616941B2 (en) 2018-02-07 2023-03-28 Lockheed Martin Corporation Direct camera-to-display system
US10594951B2 (en) 2018-02-07 2020-03-17 Lockheed Martin Corporation Distributed multi-aperture camera array
US10838250B2 (en) 2018-02-07 2020-11-17 Lockheed Martin Corporation Display assemblies with electronically emulated transparency
US10678056B2 (en) * 2018-02-26 2020-06-09 Google Llc Augmented reality light field head-mounted displays
KR20200042582A (ko) 2018-10-15 2020-04-24 삼성디스플레이 주식회사 표시 장치 및 그의 제조 방법
US10636116B1 (en) * 2018-10-22 2020-04-28 Evolution Optiks Limited Light field display, adjusted pixel rendering method therefor, and vision correction system and method using same
US10866413B2 (en) 2018-12-03 2020-12-15 Lockheed Martin Corporation Eccentric incident luminance pupil tracking
KR20200084494A (ko) * 2019-01-02 2020-07-13 삼성디스플레이 주식회사 표시 장치, 헤드 마운트 표시 장치, 및 헤드 마운트용 표시 모듈 제조 방법
US10867538B1 (en) * 2019-03-05 2020-12-15 Facebook Technologies, Llc Systems and methods for transferring an image to an array of emissive sub pixels
US10698201B1 (en) 2019-04-02 2020-06-30 Lockheed Martin Corporation Plenoptic cellular axis redirection
US10955675B1 (en) * 2019-04-30 2021-03-23 Facebook Technologies, Llc Variable resolution display device with switchable window and see-through pancake lens assembly
US11586024B1 (en) 2019-08-05 2023-02-21 Meta Platforms Technologies, Llc Peripheral see-through pancake lens assembly and display device with same
US11579425B1 (en) 2019-08-05 2023-02-14 Meta Platforms Technologies, Llc Narrow-band peripheral see-through pancake lens assembly and display device with same
US11592608B2 (en) 2019-09-10 2023-02-28 Meta Platforms Technologies, Llc Switchable polarization retarder array for active zonal illumination of display
US11391948B2 (en) 2019-09-10 2022-07-19 Facebook Technologies, Llc Display illumination using a grating
US11726336B2 (en) 2019-09-10 2023-08-15 Meta Platforms Technologies, Llc Active zonal display illumination using a chopped lightguide
US11372247B2 (en) 2019-09-17 2022-06-28 Facebook Technologies, Llc Display device with diffusive display and see-through lens assembly
KR102097390B1 (ko) * 2019-10-10 2020-04-06 주식회사 메디씽큐 시선 검출 기반의 스마트 안경 표시 장치
US11360308B2 (en) 2020-01-22 2022-06-14 Facebook Technologies, Llc Optical assembly with holographic optics for folded optical path
CN113253454A (zh) * 2020-02-11 2021-08-13 京东方科技集团股份有限公司 头戴显示设备及其制作方法
WO2021222218A1 (en) * 2020-04-27 2021-11-04 NewSight Reality, Inc. See-through near eye display optical dithering
US11324400B2 (en) 2020-07-07 2022-05-10 Scintellite, Llc Apparatus and method for automated non-contact eye examination

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2510992A (en) 1991-03-08 1992-10-06 Durand Limited Viewing device
US6061179A (en) 1996-01-23 2000-05-09 Canon Kabushiki Kaisha Stereoscopic image display apparatus with two-/three-dimensional image display switching function
US6215593B1 (en) 1996-11-13 2001-04-10 Ian A. Bruce Portable wide-field optical system with microlenses and fiber-optic image transfer element
US6788274B2 (en) 2000-01-31 2004-09-07 National Institute Of Information And Communications Technology Apparatus and method for displaying stereoscopic images
AU2002227428A1 (en) 2000-12-13 2002-06-24 Zograph, Llc Resolution modulation in microlens image reproduction
US6816313B2 (en) 2000-12-21 2004-11-09 Canon Kabushiki Kaisha Display unit, display method, and display instrument employing the same
JP4067052B2 (ja) 2001-07-25 2008-03-26 キヤノン株式会社 表示装置
EP1485749A4 (en) 2002-03-13 2006-02-08 E Vision Llc ELECTRO-OPTICAL LENS WITH INTEGRATED COMPONENTS
JP3887276B2 (ja) * 2002-07-08 2007-02-28 株式会社東芝 立体画像再生装置
JP4442112B2 (ja) 2003-04-16 2010-03-31 ソニー株式会社 画像表示装置及び画像ぶれ防止方法
DE102005004303B4 (de) 2005-01-24 2007-09-06 Seereal Technologies Gmbh Bildanzeigeeinrichtung mit einer Abbildungsmatrix
US7261412B2 (en) 2005-06-30 2007-08-28 Visx, Incorporated Presbyopia correction through negative high-order spherical aberration
JP2007086500A (ja) 2005-09-22 2007-04-05 Sony Corp 表示装置
US7486341B2 (en) 2005-11-03 2009-02-03 University Of Central Florida Research Foundation, Inc. Head mounted display with eye accommodation having 3-D image producing system consisting of, for each eye, one single planar display screen, one single planar tunable focus LC micro-lens array, one single planar black mask and bias lens
KR100834415B1 (ko) 2006-04-12 2008-06-04 한국과학기술원 마이크로렌즈를 이용한 디스플레이 장치
DE102006049404A1 (de) * 2006-10-19 2008-04-30 Carl Zeiss Ag HMD-Vorrichtung
JP2008124885A (ja) 2006-11-14 2008-05-29 Sony Corp 撮像システム、撮像方法
EP2095171A4 (en) 2006-12-14 2009-12-30 Nokia Corp DISPLAY DEVICE HAVING TWO OPERATING MODES
JP5022964B2 (ja) 2008-03-28 2012-09-12 株式会社東芝 立体映像表示装置及び立体映像表示方法
DE102008020858B4 (de) 2008-04-25 2012-09-13 Carl Zeiss Ag Projektionssystem für ein optisches Anzeigegerät sowie Head-mounted Display mit einem solchen
GB2461294B (en) 2008-06-26 2011-04-06 Light Blue Optics Ltd Holographic image display systems
DE102008039987B4 (de) 2008-08-27 2021-12-02 tooz technologies GmbH Projektionssystem für ein Head-Up Display oder ein Head-Mounted Display sowie Head-Mounted Display mit einem solchen
DE102008042397A1 (de) 2008-09-26 2010-04-01 Robert Bosch Gmbh Navigationssystem mit kontaktanaloger Anzeige
US8654234B2 (en) * 2009-07-26 2014-02-18 Massachusetts Institute Of Technology Bi-directional screen
US8890771B2 (en) 2010-01-06 2014-11-18 Apple Inc. Transparent electronic device
US9759917B2 (en) * 2010-02-28 2017-09-12 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered AR eyepiece interface to external devices
US20110214082A1 (en) 2010-02-28 2011-09-01 Osterhout Group, Inc. Projection triggering through an external marker in an augmented reality eyepiece
CN103026367B (zh) 2010-06-11 2017-07-04 焦点再现 用于渲染显示以补偿观看者的视力损伤的系统和方法
FR2964818B1 (fr) 2010-09-14 2012-09-28 Thales Sa Systeme optronique a vision supra hemispherique
US8941559B2 (en) 2010-09-21 2015-01-27 Microsoft Corporation Opacity filter for display device
US9223137B2 (en) 2010-10-08 2015-12-29 Seiko Epson Corporation Virtual image display apparatus
US10036891B2 (en) * 2010-10-12 2018-07-31 DISH Technologies L.L.C. Variable transparency heads up displays
US20120092514A1 (en) 2010-10-19 2012-04-19 Canon Kabushiki Kaisha Image-capture device, a method of correcting images, and a non-transitory computer-readable storage medium
US9632315B2 (en) 2010-10-21 2017-04-25 Lockheed Martin Corporation Head-mounted display apparatus employing one or more fresnel lenses
US9406166B2 (en) 2010-11-08 2016-08-02 Seereal Technologies S.A. Display device, in particular a head-mounted display, based on temporal and spatial multiplexing of hologram tiles
US9213405B2 (en) 2010-12-16 2015-12-15 Microsoft Technology Licensing, Llc Comprehension and intent-based content for augmented reality displays
US20130021226A1 (en) * 2011-07-21 2013-01-24 Jonathan Arnold Bell Wearable display devices
US8970452B2 (en) * 2011-11-02 2015-03-03 Google Inc. Imaging method
US8643950B2 (en) 2012-03-15 2014-02-04 Blackberry Limited Lens-based image augmenting optical window with intermediate real image
US20130285885A1 (en) 2012-04-25 2013-10-31 Andreas G. Nowatzyk Head-mounted light-field display
US9494797B2 (en) 2012-07-02 2016-11-15 Nvidia Corporation Near-eye parallax barrier displays
US9557565B2 (en) 2012-07-02 2017-01-31 Nvidia Corporation Near-eye optical deconvolution displays
US9841537B2 (en) * 2012-07-02 2017-12-12 Nvidia Corporation Near-eye microlens array displays
US9250445B2 (en) 2012-08-08 2016-02-02 Carol Ann Tosaya Multiple-pixel-beam retinal displays
US10073201B2 (en) 2012-10-26 2018-09-11 Qualcomm Incorporated See through near-eye display
US9880325B2 (en) 2013-08-14 2018-01-30 Nvidia Corporation Hybrid optics for near-eye displays

Also Published As

Publication number Publication date
US10395432B2 (en) 2019-08-27
TWI516803B (zh) 2016-01-11
US20180190038A1 (en) 2018-07-05
DE102013114542A1 (de) 2014-06-26
USRE48876E1 (en) 2022-01-04
US10008043B2 (en) 2018-06-26
US9494797B2 (en) 2016-11-15
US20170061698A1 (en) 2017-03-02
DE102013114542B4 (de) 2021-07-22
CN103885181A (zh) 2014-06-25
US20140168034A1 (en) 2014-06-19
TW201435392A (zh) 2014-09-16

Similar Documents

Publication Publication Date Title
CN103885181B (zh) 近眼视差屏障显示器
CN103885582B (zh) 近眼微透镜阵列显示器
CN103885182A (zh) 近眼光学反卷积显示器
Itoh et al. Towards indistinguishable augmented reality: A survey on optical see-through head-mounted displays
US9710887B1 (en) Display apparatus and method of displaying using context display and projectors
EP3330772B1 (en) Display apparatus and method of displaying using projectors
CN105992965B (zh) 响应于焦点移位的立体显示
CN107438796B (zh) 头戴式显示装置、近眼显示装置和方法
Lee et al. Foveated retinal optimization for see-through near-eye multi-layer displays
US9191661B2 (en) Virtual image display device
CN106415364A (zh) 立体渲染至眼睛位置
Yoo et al. Volumetric head-mounted display with locally adaptive focal blocks
CN114746903B (zh) 虚拟、增强和混合现实系统和方法
EP3330773B1 (en) Display apparatus and method of displaying using context display and projectors
Wetzstein et al. State of the art in perceptual VR displays
US20140285484A1 (en) System of providing stereoscopic image to multiple users and method thereof
CN113875230B (zh) 混合模式三维显示方法
USRE47984E1 (en) Near-eye optical deconvolution displays
Maimone Computational see-through near-eye displays
Wetzstein Augmented and virtual reality
US20220317465A1 (en) Method for rendering data of three-dimensional image adapted to eye position and display system
CA3018465C (en) See-through based display method and system for simulators

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant