CN106464861A - 沉浸式紧凑显示眼镜 - Google Patents

沉浸式紧凑显示眼镜 Download PDF

Info

Publication number
CN106464861A
CN106464861A CN201480072278.8A CN201480072278A CN106464861A CN 106464861 A CN106464861 A CN 106464861A CN 201480072278 A CN201480072278 A CN 201480072278A CN 106464861 A CN106464861 A CN 106464861A
Authority
CN
China
Prior art keywords
display
lenticule
light
image
cluster
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480072278.8A
Other languages
English (en)
Other versions
CN106464861B (zh
Inventor
P·贝尼特斯
J·C·米纳诺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tese Rand Co Ltd
Original Assignee
Tese Rand Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tese Rand Co Ltd filed Critical Tese Rand Co Ltd
Publication of CN106464861A publication Critical patent/CN106464861A/zh
Application granted granted Critical
Publication of CN106464861B publication Critical patent/CN106464861B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0012Optical design, e.g. procedures, algorithms, optimisation routines
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00Simple or compound lenses
    • G02B3/0006Arrays
    • G02B3/0037Arrays characterized by the distribution or form of lenses
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/10Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images using integral imaging methods
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/383Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/398Synchronisation thereof; Control thereof
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0123Head-up displays characterised by optical features comprising devices increasing the field of view
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0127Head-up displays characterised by optical features comprising devices increasing the depth of field

Abstract

一种显示器产生对象像素的实际图像,具有微透镜的光学系统通过每个微透镜将来自显示器的光投影到假想眼球上的相应的瞳孔范围来从该实际图像产生图像像素的沉浸式虚拟图像,所述假想眼球在该眼球的中心处对着15度全角。对象像素在群集中,每个群集与从对象像素生成部分虚拟图像的微透镜相关联。部分虚拟图像组合形成沉浸式虚拟图像。瞳孔范围上的经由给定微透镜的成像光线来自相关联的群集。从给定群集落在瞳孔范围上的成像光线穿过相关联的微透镜。从沉浸式虚拟图像的一个图像像素朝向瞳孔范围退出给定微透镜的成像光线来自相关联的群集的单个对象像素。

Description

沉浸式紧凑显示眼镜
沉浸式紧凑显示眼镜 1
1. 引用的参考文献 2
2. 定义 4
3. 设计规则 6
4. 技术现状 7
5. 附图说明 16
6. 详细描述 20
6.1 介绍性例子 21
6.2 网 23
6.3 群集 27
6.4 轴对称光学设计 29
6.5 自由形式光学设计 34
6.6 替代的自由形式设计 39
6.6.1 具有大的微透镜的设计 40
6.6.2 具有较小的微透镜的设计 48
6.7 其他光学设计 54
6.8 opixel到ipixel映射 57
6.9 电子数字显示寻址 63
6.9.1 ipixel隔行扫描 64
6.9.2 经由网的并行寻址 65
6.9.3 匹配人类角度分辨率的并行寻址 66
6.9.4 混合解决方案 68
6.10 颜色的产生 70
6.11 跟踪 72
6.12 特定用户校正 74
6.13 安装 75
6.14 附录 76
6.14.1 附录A 76
6.14.2 附录B 81
权利要求 83
摘要 88
相关申请的交叉引用
本申请要求共同发明的并且转让的、2013年11月25日提交的美国临时专利申请No.61/908,335和2014年7月10日提交的No.62/022,878的权益,两篇都是关于“ImmersiveCompact Display Glasses”的。这两篇申请都整个地通过引用并入本文。
技术领域
本申请涉及视觉显示,尤其是涉及头戴式显示技术。
背景技术
1.引用的参考文献:
US 5,161,057 K.C.Johnson
US 5,822,021 Johnson等人
US 6,529,331 R.W.Massof
US 6,639,733等人
US 7,163,332 T.Shuimizu等人
US 7,460,985 Benítez等人
US 7,667,783 Q.I.Hong
US 2004/0108971 M.Popovich
US 2011/0304825 A1 M.Sieler等人
WO 2012/055824 M.S.Griffith
http://pabloartal.blogspot.com.es/2013/09/more-on-kappa-angle-of-human-eye.html(“Artal”)
G.Belay等人,Design of a multichannel,multiresolution smart imagingsystem,Appl.Opt.51,4810-4817(2012)
A.Brückner、J.Duparre、P.Dannberg、A.Brauer和C.Hoffmann,Ultra-compactvision system for automotive applications,在“Proc.4th EOS Topical Meeting onAdvanced Imaging Techniques,”(Jena,Germany,2009),pp.166–167中
A.Brückner等人,Thin wafer-level camera lenses inspired by insectcompound eyes,Opt.Exp.Vol.18,no.14(2010)
A.Brückner,“Microoptical Multi Aperture Imaging System”Ph.D.Thesisdissertation Friedrich Schiller University,Jena,Germany,2011,http://www.db-thueringen.de/servlets/DerivateServlet/Derivate-24992/br%C3%BCckner/dissertation_a_brueckner_Multi_Aperture_Imaging_Systems_2011_12_22.pdf(“Brückner 2011”)
http://dea.brunel.ac.uk/3dvivant/assets/documents/WP6%203DV IVANT%20D6.5.pdf
D.Cheng等人,Design of a wide-angle,lightweight head-mounted displayusing free-form optics tiling,Opt.Lett.36,2098-2100(2011)
D.Dumas等人,Curved focal plane detector array for wide field cameras,Applied Optics,Vol.51,No.22,1August 2012(“Dumas”)
J.Duparré和R.Novel Optics/Micro Optics for Miniature ImagingSystems,Proc.SPIE 6196,Photonics in Multimedia,619607(April 21,2006);doi:10.1117/12.662757(“Duparré”)
G.Forbes,Shape specification for axially symmetric optical surfaces,Optics Express,Vol.15,Issue 8,pp.5218-5226(2007)
G.Forbes,Characterizing the shape of freeform optics,Optics Express,Vol.20,Issue 3,pp.2483-2499,(2012)(“Forbes 2012”)
J.L.Kerr,Visual resolution in the periphery,Perception&Psychophysics,1971,Vol.9(3B)(“Kerr”)
Douglas Lanman、David Luebke,Near-Eye Light Field Displays,ACMSIGGRAPH 2013 Emerging Technologies,July 2013
J.E.Melzer,Overcoming the Field of View:Resolution Invariant in HeadMounted Displays,SPIE Vol.3362,1998
Donald C.O'Shea、Thomas J.Suleski、Alan D.Kathman、Dennis W.Prather,Diffractive Optics:Design,Fabrication,and Test,ISBN:978-0819451712(“O’Shea”);
V.Soifer,Computer design of diffractive optics,(Woodhead PublishingSeries in Electronic and Optical Materials)2012,ISBN:978-1845696351(“Soifer”).
D.J.Struik,Lectures on Classical Differential Geometry,Dover,2012
T.Tsujimura,OLED displays:Fundamentals and Applications,Wiley,2012
Hongen Tu,Yong Xu,A silicon-on-insulator complementary-metal-oxide-semiconductor compatible flexible electronics technology,Appl.Phys.Lett.101,052106(2012);http://dx.doi.org/10.1063/1.4739937(“Tu”)
G.D.Wasserman和E.Wolf,On the theory of aplanatic aspheric systems,Proc.Phys.Soc.B 62:2(1949)(“Wasserman”)
R.Winston、J.C.和P.Benítez,Nonimaging optics,New York:Elsevier-Academic Press,2005(“Winston”)
2.定义:
3.设计规则
4.技术现状
头戴式显示技术是迅速发展的领域。头戴式显示技术的一个方面提供全沉浸式视觉环境(其可以被描述为虚拟现实),使得在外部环境在视觉上被阻挡时用户仅观察到一个或多个显示器提供的图像。这些装置在诸如娱乐、游戏、军事、医药和工业的领域中有应用。
头戴式显示器通常包括一个或两个显示器、它们对应的光学系统以及头盔,光学系统将显示成像到虚拟屏幕中以使用户的眼睛可视,头盔视觉地阻挡外部环境并且提供对提及的组件的结构支撑。显示器还可以具有瞳孔跟踪器和/或头部跟踪器,以使得显示器提供的图像根据用户的移动而改变。
理想的头戴式显示器组合高分辨率、大视场、分布均匀的低重量以及具有小尺寸的结构。尽管一些技术成功地单个地实现了这些期望特征,但是目前没有已知技术已经能够将它们全都组合起来。这导致对于用户来说不完整的或者甚至不舒服的体验。问题可以包括低现实程度和眼疲劳(低分辨率或光学成像质量)、未能创建沉浸式环境(小视场)、或对用户的头部的过大压力(过大重量)。
用于在保持高分辨率的同时增大视场的一种方法是拼贴,即,每个眼睛使用按镶嵌图案布置的、但不在同一个平面中的多个显示器。该方法在以下参考文献中被提出:J.E.Melzer,“Overcoming the Field of View:Resolution Invariant in Head MountedDisplays”,SPIE Vol.3362,1998、或D.Cheng等人,"Design of a wide-angle,lightweight head-mounted display using free-form optics tiling,"Opt.Lett.36,2098-2100(2011)。专利US 6,529,331 B2也针对大约22mm的焦距提出了该解决方案。与该现有系统相反,在本文件公开的装置中,每个眼睛使用单个显示器。
WO 2012/055824公开了单个球面显示器和具有液体微透镜阵列的光学系统的使用,该液体微透镜阵列通过其焦距更小的每个微透镜允许有紧凑的设计。然而,该技术使用高f数的微透镜(他们在第24页第15行推荐f/15),这不允许眼瞳自由移动,因为不同微透镜之间的光学串扰的影响出现,因此造成了鬼影。在该专利申请中,该问题通过使用瞳孔跟踪器检测瞳孔的位置并且仅启动球面显示器的某些像素来解决,因此提高了装置的复杂度、成本和重量。
在US 2004/0108971中,也公开了可切换全息微透镜阵列以要么使用一个球面显示器、一个平板显示器、要么使用按多面体构造拼贴的五个平板显示器的组装件来生成紧凑的装置。在该专利申请中,讨论了对将显示的大量信息进行寻址的困难,但是提出的解决方案是(如WO 2012/055824中那样)基于使用眼睛跟踪器来实时地改变可切换微透镜和显示器上的信息,仅在眼睛正在凝视的地方(在US 2004/0108971中被称为感兴趣区域)呈现高分辨率,并且甚至校正几何失真。
美国专利7,667,783公开了具有平板或柱面显示器的可调谐液晶微透镜阵列。然而,在该较早的专利中,微透镜具有非常低的填充因子,这将必定造成对用户可见的伪像。另外,它使用黑色掩模来防止光学串扰,黑色掩模是本文件公开的装置不需要的元件。为了校正柱体边沿中的更多微透镜的成像质量,该专利公开了偏置透镜。偏置透镜被绘制为连续透镜(US 7,667,783的图2),该连续透镜将必定是不紧凑的,或者被绘制为附加微透镜阵列(US 7,667,783的图8),该附加微透镜阵列的示意图是错误的,因为为了生成指示的偏转,微透镜应是棱柱类型,而不是如这里所显示的那样。在两种情况下,都没有提及如何校正所述透镜的额外的光焦度、曲率场和散光。
微透镜阵列已经在虚拟机传感器中、在多孔径相机的领域中找到可观的应用。它们具有在使用小焦距的同时增大总体系统的视场的能力,这提供紧凑性。对于受昆虫眼睛启发的基于微透镜阵列的传感器有两种主要方法:(1)并置系统和(2)叠合(superposition)系统。叠合系统使用数个相邻的透镜来照射单个传感器区域,形成环境的单个实际图像。它因此与本申请没有什么关系。
存在几种子类型的并置多孔径相机系统,最著名的是每一个光学通道(即,每一个微透镜)仅使用一个像素的子类型,而在本公开中,每一个光学通道有许多个像素。该并置微透镜阵列系统的例子可以在A.Brückner,“Microoptical Multi Aperture ImagingSystem”Ph.D.Thesis dissertation Friedrich Schiller University,Jena,Germany,2011,第28页中找到。另一个例子在J.Duparré和R.“Novel Optics/Micro-Opticsfor Miniature Imaging Systems”,Proc.SPIE 6196,Photonics in Multimedia,619607(2006年4月21日);doi:10.1117/12.662757中找到,在该文献中,还公开了用于校正散光的单侧超环面微透镜。
第二种类型的并置多孔径相机系统使用光学拼接,其中,每个光学通道传送其在FOV中的相关部分,并且其中,相邻部分图像被以相邻部分图像之间的交集处的图像细节被保留的方式光学地拼接在一起。例子可以在Brückner 2011年第75页中的Optical ClusterEye中找到。在Brückner系统中,每个光学通道捕捉FOV的非重叠部分,并且使用四个微透镜与避免串扰的掩模。这与本文件公开的装置相反,在这些装置中,每个光学通道捕捉的FOV与其他FOV重叠,并且不需要掩模来避免串扰。
第三种类型的并置多孔径相机系统使用分段的电子拼接。在A.Brückner等人,“Thin wafer-level camera lenses inspired by insect compound eyes”,Opt.Exp.Vol.18,no.14(2010)中,使用利用多通道方法的系统,以使得在每个通道中,整个FOV只有一部分被记录,并且最终的图像通过借助于软件处理拼接所有的部分图像而创建(图1)。在具有电子拼接的多孔径相机中,微透镜的间距总是大于它们在传感器中的被照射扇区的间距以使其视场变宽并且最小化传感器面积。这暗示着,相机的输入瞳孔是虚拟的,位于传感器的后面,并且其位置和形状是不相关的,并且在设计时不被考虑。这与本公开相反,在本公开中,瞳孔范围是真实的,而不是虚拟的,并且其位置和形状是光学设计的规范。而且,瞳孔范围的定义允许我们在不使用屏蔽的情况下避免每对微透镜之间的光学串扰,而多孔径相机包括避免串扰的数个屏蔽。电子拼接也可以用于通过具有不同角度分辨率和视场的不同光学通道来提高视场的特定部分的分辨率,这使得可以节省资源并且具有若干个应用。最后这种方法的很好的例子可以在G.Belay等人,"Design of a multichannel,multi-resolution smart imaging system,"Appl.Opt.51,4810-4817(2012)中找到。
多孔径相机的另一种现有技术的方法在A.Brückner等人的同一个参考文献“Thinwafer-level camera lenses inspired by insect compound eyes”,Opt.Exp.Vol.18,no.14(2010),第24384页(还有在Brückner 2011年第38页中)被给出,其中,它被称为“增加的采样”。如图2中所呈现的,相邻的每对微透镜的部分图像被“编织”以使得对于较低的焦距能够实现更高的分辨率,并且通过像素扇区被聚焦到传感器中。Brückner所描述的编织完全消除了传感器到场映射中的冗余,也就是,在传感器中的像素(在本文中被称为opixel)和场中的像素(在本文中被称为ipixel)之间存在双射(即,点到点)映射。
相反,在本申请中所描述的实施例中,即使当分辨率在我们的隔行扫描实施例中被提高时,也总是存在冗余,也就是,我们在数字显示像素(opixel)和屏幕像素(ipixel)之间使用满射(即,多到一)映射。该冗余本质上用于无论眼瞳在其设计的瞳孔范围内位于何处都使屏幕上的所有像素可见,而在Brückner的系统中,既不需要这样的考虑,也不参考这样的考虑。
另外,在多孔径相机(诸如引用的参考文献中的那些)中,传感器的所有像素都被认为是同样相关的,并且微透镜的成像质量在每个扇区内部是均等的且均衡的,尤其是当编织被使用时。相反,本文件的光学设计的实施例是不平衡的以将它们的自由度优化为使其图像将被眼睛直接凝视的opixel更好地成像(这些opixel将聚焦于小凹上,在这种情况下,人类角度分辨率高得多),而与我们的外周视觉对应的图像质量放松。
最近,公司NVIDIA已经展出了近眼(NTE)光场显示原型【Douglas Lanman、DavidLuebke,"Near-Eye Light Field Displays"ACM SIGGRAPH 2013 EmergingTechnologies,2013年7月】。NVIDIA NTE光场显示器基本上由微透镜阵列和数字显示装置(加上附加的机械和电子组件)形成,在这种情况下,将被成像在视网膜上的图像被分解在小的群集图像中(每一个微透镜一个群集图像)。NVIDIA NTE光场显示器的微透镜是相同的(相同意味着任何微透镜都可以通过用简单的平移刚性移动复制原始的微透镜而获得),并且数字显示器是平板的。在本文件的实施例中,要么是相同的微透镜仅与菲涅耳(Fresnel)透镜一起使用,要么是如球面数字显示器中那样,微透镜在除了简单平移运动之外的一些别的方面不同,在这种情况下,需要至少一次旋转以通过复制原始的微透镜来产生微透镜。另外,NVIDIA NTE光场显示器中的opixel到ipixel映射(参见第6.6节)如其目的为解决适应性调节-会聚冲突的光场显示器中那样通过使用多个虚拟屏幕表面来进行。这意味着,opixel致力于以较低分辨率图像为代价来产生允许适应性调节的光场,或者换句话说,离眼睛不同距离处的ipixel将被产生,并且为了这个目的,所需的opixel多于虚拟屏幕表面的情况下的opixel。这在V.F.Pamplona等人,“Tailored Displays to Compensate forVisual Aberrations”,ACM Transactions on Graphics,Vol.31,No.4,Article 81,2012年7月中被进一步讨论,其中,公开了为了最小化所引起的模糊以提供适应性调节,推荐低于200微米的微透镜间距。在本文件的实施例中,opixel到ipixel映射是针对高分辨率用单个虚拟屏幕表面进行优化的,这不允许适应性调节,并且我们的微透镜的间距优选地在0.5至20mm范围内。
微透镜阵列的另一种使用是投影显示器。US 2011/0304825A1公开了投影显示器,在该透镜显示器中,每个微透镜将光投影到真实屏幕的整个区域中,并且图像通过所有投影的叠合而形成,不需要如多孔径成像相机中发生的那样设计瞳孔范围。相反,在本文中所公开的实施例中,每个微透镜仅投影与相邻视场重叠的视场的一小部分,并且虚拟屏幕上的图像通过拼接该图像的每个分段而创建,照射眼瞳将在其内移动的瞳孔范围。
最近,基于微透镜阵列的3D近复消色差监视器在3D Vivant项目(http://dea.brunel.ac.uk/3dvivant/assets/documents/WP6%20 3DVIVANT%20 D6.5.pdf)中被提出。在使用多孔径相机捕捉图像并且完全用平面强度分布表示图像之后,该系统使用显示器顶部的微透镜阵列来投影平面强度分布以创建3D近复消色差图像。该系统使用唯一一个显示LCD面板和柱面微透镜阵列来创建对用户的两个眼睛来说单向的3D近复消色差图像,不同于本文件的对每个眼睛使用旋转或自由形式透镜和一个显示器的实施例。这个较早的装置使用微透镜阵列和LCD显示投影来创建用户的眼睛和显示器之间的实际图像,这限制了系统的紧凑性,因为正常的眼睛不聚焦在比250mm更近的距离处。这与本文件的实施例相反,本文件的实施例创建不位于眼睛和显示器之间的、而是超出显示器的虚拟图像,允许非常紧凑的设计。该较早的装置还使用本文件的实施例不使用的针孔阵列。
另外,存在本公开的实施例中特有的并且可以提供相对于技术现状的显著改进的数个感兴趣的特征,这些特征包括:
在微透镜阵列中使用自由形式表面来为柱面或平板数字显示器提供非常宽的FOV上的高图像质量。
使用指定的瞳孔范围的、没有光学串扰的微透镜的设计允许自然的眼睛移动,在该移动中,微透镜的成像质量适应人类角度分辨率。
从2折至9折构造的大的自由形式微透镜的设计。
将数字显示器的opixel组织在无源opixel和有源opixel中以用于最小化适于瞳孔范围的功耗。
经由网的概念及其与对人类角度分辨率的适应性的组合来对数字显示器的opixel进行大规模并行寻址。
发明内容
一个实施例提供了一种显示装置,该显示装置包括:显示器,其用于产生包括多个对象像素的实际图像;以及包括多个微透镜的阵列的光学系统,其被布置为通过每个微透镜将来自显示器的光投影到相应的瞳孔范围来从实际图像产生沉浸式虚拟图像,沉浸式虚拟图像包括多个图像像素,其中,瞳孔范围包括直径为21至27mm的假想球体的表面上的区域,瞳孔范围包括在球体的中心处对着15度全角的圆。对象像素被分组为群集,每个群集与一微透镜相关联,以使得该微透镜从对象像素生成包括图像像素的部分虚拟图像,并且部分虚拟图像组合以形成所述沉浸式虚拟图像。基本上所有的通过给定微透镜落在所述瞳孔范围上的成像光线都来自于相关联的群集的像素,并且基本上所有的来自给定群集的对象像素的落在瞳孔范围上的这样的成像光线都穿过相关联的微透镜。基本上所有的朝向瞳孔范围退出给定微透镜并且虚拟地来自于沉浸式虚拟图像的任何一个图像像素的这样的成像光线都是从相关联的群集的单个对象像素产生的。
所述阵列可以被放置在离假想球体5和40mm之间(优选地10和20mm之间)的距离处,所述阵列对着从假想球体的最靠近的点起的立体角,该立体角包括具有40度(优选地50度)全角的椎体,其中,显示器在所述阵列的远离假想球体的一侧、离所述阵列不大于80mm(优选地不大于40mm)的距离处。
微透镜可以包括不能通过简单的平移刚性运动而被使得重合的至少两个微透镜。
被组合形成所述沉浸式虚拟图像的部分虚拟图像可以被隔行扫描。
朝向瞳孔范围定向的并且虚拟地来自于沉浸式虚拟图像的至少一个图像像素的光线可以从多个对象像素产生,其中每个对象像素属于不同的群集。朝向瞳孔范围定向的并且虚拟地来自于沉浸式虚拟图像的图像像素中的多于10%的光线然后可以从多个对象像素产生,其中每个对象像素属于不同的群集。产生朝向瞳孔范围的并且虚拟地来自于虚拟图像的任何一个图像像素的光线的对象像素然后可以被作为相应的网进行操作,其中,一个网的所有对象像素都被使得显示相同的信息,从而确保同一个图像被投影到整个瞳孔范围中。属于任何一个网的对象像素然后可以被串联地或并联地电连接在一起,或者显示器驱动器可以用要显示的相同信息对属于任何一个网的对象像素进行寻址。
微透镜中的至少一些可以是自由形式。
至少一个微透镜孔径可以围住2mm直径的圆。
在不响应于瞳孔跟踪进行调整的情况下,如从瞳孔范围内的所有位置所见的,虚拟图像可以是一致的。
显示器可以是与前述假想球体同心的球壳的一部分,微透镜阵列然后可以由全都位于与显示器同心的另一个球壳上的微透镜形成,并且微透镜可以是可叠合的,以使得它们的光学活动表面的重叠部分重合。可替代地,显示器可以是柱面壳,该柱体具有穿过假想球体的中心的轴,微透镜阵列可以由全都位于与显示器同轴的另一个柱面壳上的微透镜形成,并且微透镜的光学活动表面在垂直于柱体的轴的平面中可以具有可叠合的以使得光学活动表面的重叠部分重合的截面。在另一种替代方案中,显示器可以是平板的。
显示装置可以进一步包括底座,该底座的作用是使该装置相对于其一个眼睛在假想球体的位置处的正常人头部保持在基本上恒定的位置中。
可以存在:第二所述显示装置;底座,其使第一显示装置和第二显示装置相对于彼此定位以使得各自的假想球体的位置与人类的两个眼睛的相对位置匹配;以及显示器驱动器,其作用是使两个显示器显示对象,以使得两个虚拟图像当被其眼睛在各自的假想球体的位置处的人类观察者观看时组合形成单个图像。
底座的作用可以是使所述装置相对于其眼睛在两个假想球体的位置处的人头部保持在基本上恒定的位置中。
底座可以包括在用户的具有视力缺陷的眼睛的前面保持矫正透镜的底座特征。
第一显示装置和第二显示装置的显示器可以形成单个显示器。
显示装置可以被布置为生成部分虚拟图像,每个部分虚拟图像包含当眼睛在假想球体的位置处、其中其瞳孔在瞳孔范围内时,被眼睛投影到眼睛的1.5mm小凹上的部分,并且每个虚拟图像的这个部分可以具有比外周部分高的分辨率。
显示装置可以进一步包括以下中的一个或多个:声音生成装置、和/或相机和其作用是在显示器上再现相机捕捉的图像的显示器驱动器、或者两者之中任何一个或每个这两者以提供立体声音或视觉。
所述装置可以进一步包括头部跟踪装置和显示器驱动器,显示器驱动器用于在显示器上再现固定到物理地面的图像。
显示装置可以进一步包括调整从微透镜阵列到数字显示器的距离以补偿用户的视觉缺陷和/或瞳孔间距的系统。
另一个实施例提供了一种显示装置,该显示装置包括按一个或多个群集分组的发光元件的阵列,其中,至少一些群集的外周部分中的第一发光元件大于同一个群集的中心部分中的第二发光元件。
另一个实施例提供了一种显示装置,该显示装置包括按一个或多个群集分组的发光元件的阵列,其中,在至少一些群集中,该群集的外周部分中的第一发光元件连接以便按邻近元件组被激活,并且该群集的中心部分中的第二发光元件被布置为被单个地激活。
所述邻近元件组中的第一发光元件可以被连线在一起以便被公共电信号激活。
控制器可以被编程为操作发光元件,然后可以被编程为单个地激活第二发光元件并且将多组第一发光元件仅作为所述邻近元件组激活。
第一发光元件的平均面积与第二发光元件的平均面积的比率可以在1.5:1至10:1的范围内。
第一发光元件占据的面积与第二发光元件占据的面积的比率可以在1:2至2:1的范围内。
另一个实施例提供了一种显示装置,该显示装置包括:显示器,其可操作为产生包括多个对象像素的实际对象图像;以及显示器驱动器,其可操作为:接收表示视觉图像的数据,并且控制显示器产生对象图像,以使得显示器的邻近像素的群集再现视觉图像的重叠部分,显示视觉图像的同一个像素的不同群集的像素被链接到网中,并且显示器驱动器将每个网作为单个实体驱动。显示器装置可以与透镜阵列组合,该透镜阵列被布置为产生邻近像素的每个群集的虚拟图像,所以被对齐以使得虚拟图像重叠并且组合形成视觉图像的虚拟图像。
附图说明
5.从以下与以下附图结合呈现的对某些实施例的更具体的描述,以上及其他方面、特征和优点将是清楚的。在附图中:
图1是并置多孔径相机(现有技术)。
图2是编织多孔径相机的示意图(现有技术)。
图3是ipixel到opixel映射的示意图。
图4是本公开的柱面或球面实施例的光学构造的顶视图示意图。
图5a是本公开的具有隔行扫描的opixel的顶视图示意图。
图5b是本公开的具有隔行扫描的opixel的等距视图示意图。
图6a是本公开的顶视图示意图。
图6b是示出对外周角的相对群集和微透镜大小依赖性的曲线图。
图6c是正方形和六边形群集的细分。
图7是本公开的球面实施例的顶视图示意图。
图8是本公开的球面或柱面实施例上的微透镜阵列的单个透镜上的光线踪迹。
图9a和图9b是本公开的调制传递函数(MTF)截止频率对外周观看角度的曲线图。
图10是本公开的球面实施例的顶视图示意图,其中,虚拟屏幕的被凝视区域和虚拟屏幕的外部区域被突出。
图11是用于柱面显示器的剖切的自由形式微透镜阵列的透视图。
图12a、12b和12c分别是具有极面、矩形和六边形构造上的自由形式微透镜阵列的平板显示器的透视图。
图13是单行自由形式透镜的透视图。
图14是被定位为靠近虚拟屏幕的被凝视区域的边缘的示例自由形式透镜设计的透视侧视图。
图15是关于图14的设计透镜的MTF截止频率对外周角曲线的曲线图。
图16示出替代的基于大的微透镜的自由形式设计的4折构造的3D视图。
图17是图16中的4折构造的、但是围绕光轴旋转π/4的替代方案。
图18比较4折构造和2折构造,并且示出它们对数字显示器的不同纵横比的充分性。
图19示出2折设计可以如何用于扩大水平视场。
图20是替代的基于大的微透镜的自由形式设计的2折构造的3D视图。
图21说明2折设计和4折设计的2D截面中的设计过程。
图22分析2折设计和4折设计的光学串扰问题。
图23示出眼睛如何看向某一方向,光来自于数字显示器的不同点。这些点属于不同群集,但是属于同一个网。
图24a和24b(共称为图24)示出2折构造和4折构造的替代设计,其中,2D中的平滑的可区分的表面是S2,而不是S1(图24a),或者两者都不是(图24b)。
图25示出微透镜的表面之一的发展如何被进行。
图26说明表面的通过同时使用两个眼瞳的优化处理。
图27呈现3折(顶部)构造、7折(中间)构造和9折(底部)构造。
图28示出3折设计、7折设计和9折设计的2D截面。
图29呈现具有40个小微透镜的特定设计的3D视图。
图30示出具有小微透镜的设计的表面S1(左)和表面S2(右)的视图。
图31是图29中的设计的2D截面。
图32说明图29中所示的设计的三个内部微透镜的设计过程。
图33示出使用拼贴的轴对称非球面透镜的2折或4折设计的2D截面。
图34示出发射的光的展度如何由于大的外部微透镜的使用而增加。
图35在2D中说明用于小微透镜情况的不同群集的定义。
图36在3D中说明用于小微透镜情况的不同群集的定义。
图37作为图36的延续在3D中说明用于小微透镜情况的不同群集的定义。
图38是本公开的具有用于平板数字显示器的微透镜阵列和菲涅耳透镜的实施例的截面图。
图39是本公开的具有消色差双合透镜微透镜阵列和菲涅耳透镜的实施例的截面图。
图40是用于具有平整小面的柱面数字显示器的微透镜阵列和菲涅耳透镜的透视图。
图41a是具有按垂直于圆柱轴的行布置的菲涅耳圆锥小面和微透镜的、图38的实施例的透视图。
图41b是具有按垂直于圆柱轴的行布置的平整菲涅耳小面和微透镜的、图38的实施例的透视图。
图41c示出用于将菲涅耳透镜的小面的散光作为当眼睛静止向前时看到该小面的外周角的函数进行校正的曲率的值。
图42是凝视矢量指向图38的实施例的菲涅耳透镜的无源小面中的一个时的顶视图示意图。
图43是示出ipixel和opixel之间的映射的例子的曲线图。
图44是有源矩阵数字显示器的示意性框图。
图45是示出通过使用人眼分辨率的性质来降低数字显示器的分辨率的方法的示意图。
图46示出柱面微透镜阵列。
图47是具有用于双色群集的色域的CIE色度图。
图48是用于平板数字显示器的单个自由形式透镜的示意性透视图。
图49是用于柱面数字显示器的单个自由形式透镜的示意性透视图。
图50是用于平板数字显示器的单个自由形式透镜的示意性透视图。
图51是单个自由形式透镜的示意性截面,该截面示出折射表面的使得主要主光线实现消球差条件的主曲率。
图52示出作为外周角的函数的、单个微透镜的两个表面的计算的曲率。
图53在2D中说明每个微透镜的设计。
图54描述opixel和ipixel之间的映射γ(x)。
图55描述一个维度上的opixel和ipixel之间的完整映射H(x)。
图56描述两个维度上的opixel和ipixel之间的完整映射H,V(x,y)。
图57a和57b(共称为图57)示出使用具有侧件的一对眼镜底座的显示器的两个透视图(前和后)。
图58a和58b(共称为图58)示出使用具有弹性带条的护目镜底座的显示器的两个透视图(前和后)。
图59示出使用包含附加的处方眼镜的护目镜底座的显示器的后侧(仅示出了左侧)。
具体实施方式
6.将通过参照以下本文件的装置的实施例的详细描述和附图来获得本文件的装置的各种特征和优点的更好理解,附图陈列了利用本公开的特定原理的说明性实施例。尽管这些附图描绘了构想的方法和装置的实施例,但是它们不应被解释为排除对于主题领域的普通技术人员来说显而易见的替代或等同实施例。
所描述的实施例在虚拟现实投影装置的领域中,在该领域中,一般来说,两个固定或运动图像被投影到用户的眼睛上。这两个图像优选地是不同的,以提供深度的立体可视化。所描述的实施例旨在同时提供超宽视场、高分辨率、低重量以及小体积。宽视场与来自头部跟踪传感器的补偿头部移动的反馈组合可以使得可以呈现相对于地面固定的三维虚拟现实,这将提供更完整的沉浸式体验。
对于有效的沉浸式体验,超宽视场是独立于眼瞳相对于头部的方位提供的。该方法将瞳孔范围作为设计参数考虑,优选地被定义为由眼睛移动时产生的所有眼瞳区域的并集形成的眼球的区域。它于是很好地逼近球壳。如果考虑对于平均人类的所有的物理可达的瞳孔位置,则最大瞳孔范围的边界近似为在眼睛的旋转中心所对着的、相对于前面的方向来说角度水平半轴为60度、垂直半轴为45度的椭圆。然而,对于实际的沉浸式设计,15至30度范围的半轴的椭圆椎体可以被认为是足够的。
考虑由当凝视在瞳孔范围的边界处时的凝视矢量限定的直线族。该直线族形成椎体,该椎体与虚拟屏幕的交集是围住虚拟屏幕的在本说明书中被称为“虚拟屏幕的被凝视区域”的区域的线。(在一般情况下,该椎体不具有圆形基底,而是可以被近似为具有椭圆基底的椎体)。因此,该区域将被眼睛直接凝视。图像表面的在被凝视区域外部的区域在这里被称为“虚拟屏幕的外部区域”。
该系统的一个一般原理将宽角(沉浸式)图像投影到每个眼睛,该系统包括:
·显示器,其出射表面优选地与平面或柱体重合,并且该显示器由许多个物理像素构成,这些物理像素被称为按“群集”分组的“opixel”。
·具有不一定相同的许多个单位单元的微透镜阵列,每个单位单元被称为“微透镜”,并且被关联到单个群集,所以每个群集发送给其相关联的微透镜的光被该微透镜偏转以完全填充眼睛表面上的瞳孔范围;所述微透镜提供由优选地为球面、位于离眼睛一定距离处的虚拟屏幕上的ipixel构成的虚拟图像;所述虚拟图像由opixel到ipixel的映射限定,在该映射中,每一个opixel被关联到单个ipixel,但是每一个ipixel一般被关联到许多个opixel,这些opixel形成被关联到所述ipixel的“网”。
6.1介绍性例子
图3示出了仅具有四个群集304t、304b、305t和305b的简单例子,这四个群集形成由数字显示器307上的opixel创建的复合图像。所述opixel被微透镜阵列光学器件投影以在虚拟屏幕308(为了简单起见,其在这里被绘制为具有矩形轮廓的平面)上形成ipixel的图像。因此,每一个opixel属于单个群集(设计规则R4),并且任何两个群集的交集是空集,所有群集的并集是整个数字显示器(设计规则R2)。
每个群集在虚拟屏幕上显示图像的一部分。相邻的群集在相邻的区域中以一致的某个移位显示图像的部分。为了说明这为何是必要的,在该图的顶部添加了二维示意性绘图。它示出了限定opixel和ipixel之间的映射的边缘的相关光线。在该绘图中,具有ipixel的虚拟屏幕被放置在无限远处,所以光线300a、301a、302a和303a的方向指示虚拟屏幕上的ipixel位置。该绘图为了简单起见是二维的,但是投影图3中的左下的图像的实际装置是三维的,并且包含四个微透镜,两个在上面,两个在下面,不只是图3的顶部的示意图中被示为304和305的两个。二维方案用于说明opixel和ipixel之间的映射的水平坐标,类似的推理适用于垂直坐标。
虚拟屏幕的水平跨度从300a延伸到303a。图像的在左侧群集304t和304b中表示的部分由到达瞳孔范围306的边缘的边缘光线300a和302a给出,这些边缘光线限定虚拟屏幕308上的垂直线300a和302a。类似地,图像的在右侧群集305t和305b中表示的部分由限定虚拟屏幕308上的两条垂直线的边缘光线301a和303a给出。因此,虚拟屏幕308的在301a和302a之间的部分将在左侧群集和右侧群集中都被显示。具体地说,微透镜304将虚拟屏幕的边缘光线300a和302a映射到数字显示器307上的300b和302b上。类似地,微透镜305将边缘光线301a和303a映射到数字显示器307上的301b和303b上。该光学设计旨在保证群集不重叠(设计规则R2),这是当301b和302b重合时通过最大化地使用数字显示器来实现的。顶部群集304t、305t与底部群集304b、305b的类似对齐从图3是显而易见的。
因为关于群集的信息有部分是一致的,所以ipixel ip1通过四个opixel op11、op12、op13和op14的投影而形成。该组opixel被称为ipixel ip1的“网”。位于虚拟屏幕中心的ipixel(诸如ip1)的网均包含四个opixel。然而,靠近虚拟屏幕的边界的ipixel的网可以具有更少的opixel。例如,ipixel ip2的网仅包含两个opixel,op21和op22,ip3的网仅包含op31。
本公开的重要部分是网的设计,即,限定哪些opixel被点亮来创建某个ipixel。这将被定义为第6.8节中公开的opixel和ipixel之间的满射映射。
本公开的另一个重要的部分是群集的设计,即,限定第6.3节中公开的将对通过给定微透镜照射瞳孔范围做出贡献的opixel。图3不代表实际的群集设计,因为这样的设计包括最小化或至少减少将被管理的信息和功耗的无源opixel(其将表现为图3中的群集的拐角中的黑暗区域)的限定。
就实践而言,特定的光学设计应保证显示器的视觉质量在瞳孔范围内是可接受的,这暗示着杂散光(即,对图像没有贡献的光)的一小部分低于设计阈值。为了清晰起见,下面的描述将首先论述单色数字显示器,稍后将在第6.10节中详述彩色数字显示器的公开内容。
本申请中的实施例可以根据数字显示器的几何形状分类为三组:平板、柱面和球面。平板数字显示器最容易制造,但是光学系统的设计和制造更复杂。柱面数字显示器是中等的,因为它可以在柔性基板上被制造为平整的,过后被制造为弯曲的。其光学设计和制造具有中等难度。最后,尽管已经有如Dumas中那样的一些经验,球面数字显示器的制造比平板或柱面数字显示器难得多,但是其光学系统的设计是最简单的,并且制造也可能是最简单的。因此,球面情况的光学器件完全足以引入在柱面情况和平板情况中将被进一步开发的设计构思。
6.2网
图4示出了当头部面向照射左眼409的球面数字显示器的前面时通过眼睛中心的水平截面的顶视图。这将用于例示说明基本工作原理中的一些。所有的单个的微透镜的表面都是通过穿过眼睛中心(或靠近它的点)的轴周围的截面轮廓的旋转对称性而产生的,所以所有的表面都是基本上相同的(但是如第6.3节中所公开的,它们的轮廓不是基本上相同的),不同之处仅在于眼睛中心周围的刚性旋转。
确切地说,旋转对称的轴优选地应与凝视矢量,即,与连接眼瞳的中心和小凹的直线重合。这些直线通过眼睛的旋转中心的附近,但是不完全穿过它。在凝视矢量和瞳孔轴(与入射瞳孔的中心相交的垂直于角膜的线)之间形成的角度被称为角度kappa。“平均来说,角度kappa在时间方向上在水平位置上约为4度。然而,一些眼睛几乎在轴上,并且甚至具有负的(朝向鼻骨方向的)kappa角度,而在其他眼睛中,它在时间方向上可以高达8度。相同的可变性出现在垂直方向上,范围为高于至低于4度,但是平均来说,眼睛在垂直位置上是居中的(kappa角度在垂直位置上为零)”,Artal。除此之外,眼睛旋转不存在真实的中心,因为垂直移动和水平移动具有不同的旋转中心,分别在角膜后方12mm和15mm。在相对于瞳孔轴倾斜kappa角度的方向上,这可以近似为在角膜后方大致13mm处的点。我们将该点称为眼球的中心。有技能的读者将从本文中的描述理解如何改善设计以将这些直线不正好在一个点处汇合考虑在内。
角度HmaxIN和HmaxOUT限定了当凝视矢量指向前面时眼睛的水平视场(FOV)。在我们的优选实施例中,HmaxIN(朝向鼻子)小于HmaxOUT,所以组合的左眼视场和右眼视场覆盖2HmaxOUT的总弧长,并且在中心区域中在2HmaxIN的角度范围内重叠以用于双目观看,如人类视觉中自然发生的那样。HmaxIN在40-60度范围内,而HmaxOUT在60-90度范围内以提供高度沉浸式体验。类似的角度VmaxDOWN和VmaxUP限定垂直FOV(图4中未示出),优选地在范围VmaxUP=30-50度并且VmaxDOWN=35-55度内。因此,整个FOV将为2HmaxOUT×(VmaxUP+VmaxDOWN),这是水平120-180度,垂直65-105度。
通过设计,眼瞳被允许在瞳孔范围400内移动,并且它将被适应性调节以使位于将被称为虚拟屏幕的球体的表面上的图像聚焦。该虚拟图像的像素元素被称为“ipixel”。虚拟屏幕的半径被选为设计参数,通常从2米一直到无限远处(或者等同地,超出眼睛的超焦距)。作为例子,在图4中,该半径被设置为无穷大,所以每个ipixel将朝向眼睛发送平行光线。例如,位于向前的方向上的ipixel 403(在图4中,用该ipixel的方向上的直线表示)朝向瞳孔范围400发送平行光线。
在第一实施例中,诸如403的ipixel通过属于不同群集的多个opixel(诸如404a、405a、406a、407a和408a)的图像的叠合而创建。每个微透镜投影平行于方向403的平行光线以填充瞳孔范围400。因为瞳孔范围是三维空间中的表面,所以存在不同于404a至408a的其他opixel(在图4中的截面视图的外部),这些其他opixel也通过它们对应的微透镜填充三维空间中的瞳孔范围400对ipixel的形成做出贡献。被关联到ipixel 403的网是联合投影该ipixel的图像的一组opixel,包括404a、405a、406a、407a和408a。因此,每一个opixel属于单个网(设计规则R4)。任何两个网的交集是空集,并且所有网的并集是整个数字显示器(设计规则R3)。也存在属于数字显示器的无源的、从而不与任何网相关联的opixel,但是为了简单起见,它们并未在图4中被示出。
如果眼瞳直径大于微透镜大小,则对于瞳孔范围400内的任何眼瞳位置,ipixel到瞳孔印记将总是与至少两个微透镜相交。于是,眼睛在任何时间所见的图4中的ipixel 403将通过网的至少两个opixel的投影图像的叠合而形成。只有在眼瞳直径小于微透镜大小时,并且当眼瞳位于瞳孔范围400内、靠近来自一个微透镜的光线束的中心的位置404b至408b中时,ipixel 403才被看作opixel 404a至408a中的单个opixel分别通过相关微透镜的投影图像。然而,即使眼瞳小于微透镜,在中间位置中,ipixel 403也仍将通过网的至少两个opixel的投影图像上的叠合而形成。
在第二实施例中,分辨率得到改进,前提条件是微透镜大小d小于最小眼瞳直径D。这个第二实施例将被称为“隔行扫描的ipixel”。不同于常规的隔行扫描的视频,这里的隔行扫描的图像可以多于2个,并且不仅行、而且任何ipixel都可以被隔行扫描。这个ipixel隔行扫描类似于Brückner的“增加的采样”,但是光是反向的。然而,不同于Brückner的“增加的采样”,本实施例中的隔行扫描的图像均是由如下的ipixel形成的,这些ipixel中的一些包含它们的网中的多于一个的opixel。限定网的opixel到ipixel映射不同于刚才在图4中描述的映射。虽然在第一实施例中,如被示为创建图4中的ipixel 403的五个opixel那样,给定网的opixel所使用的微透镜是彼此相邻的,但是在这个第二实施例中,相邻的微透镜一般来说属于不同的隔行扫描的图像,因此,不同的网,每个被关联到虚拟屏幕中的相邻的ipixel,如图5a中的ipixel1和ipixel2。因此,虽然属于同一个网的微透镜之间的间距在第一实施例中与微透镜大小d一致,但是在这个第二实施例中,它大于d。如果属于同一个隔行扫描图像的微透镜之间的间距为kd,则ipixel角间距被除以同一个因子k。图5a和5b示出了柱面显示器构造的例子,在该柱面显示器构造中,在3D中属于同一个隔行扫描图像的微透镜之间的间距为21/2d,所以k=21/2。那么,504a、506a和508a属于ipixel1的网,而505a和507a属于ipixel2的网。ipixel1和ipixel2属于不同的隔行扫描图像。
这使得opixel分辨率可以比数字显示器502上的像素之间的物理间隔更精细。
所述设计的重要的方面是,无论眼瞳位于瞳孔范围内的任何地方,ipixel(虚拟屏幕上像素)都是可见的。这对相对于瞳孔直径D的微透镜大小d引入了约束。当微透镜均匀隔开时,k2等于隔行扫描图像的数量,因此,1/(k2-1)是给定的隔行扫描图像的微透镜区域相对于其余的隔行扫描图像的微透镜区域的比率。那么,瞳孔直径D必须远大于d(k2-1)1/2,以确保无论眼瞳位于瞳孔范围内的任何地方,它都可以接收每一个隔行扫描图像pixel的照射。不等式D>d(k2-1)1/2只是陈述了圆形ipixel到瞳孔印记必须至少与每一个网的一个微透镜相交。图5b的棋盘布置中的黑色微透镜和白色微透镜表示两个不同的隔行扫描图像的微透镜。在这种情况下,k等于21/2
当特定的微透镜布置是已知的时,可以进行对d/D的上界的更详细的计算。例如,当具有正方形微透镜阵列的网为类似的笛卡尔的构造、阵列间距是在水平或垂直方向上测量的并且k等于大于2的整数时,约束由以下公式大致给出:
前面的方程仅陈述了,圆形ipixel到瞳孔印记必须至少与每一个网的一个微透镜相交,并且它是当圆形瞳孔D正在接触同一个网的4个微透镜的拐角时获得的,这4个微透镜相隔间距kd。对于如六边形或极面阵列的其他细分,类似的计算在本领域的普通技能内。
ipixel的隔行扫描也可以在右眼图像和左眼图像之间进行(通过它们相关联的k=21/2),所以由于两个图像的相似性,感知的分辨率提高,并且它们的眼疲劳小。在如US 7,667,783和WO 2012/055824的现有技术中,没有提及网,特别是没有提及对ipixel进行隔行扫描以提高分辨率的可能性。
6.3群集
图6A中的阵列的微透镜是通过从初始微透镜围绕眼睛中心的角度移位而产生的。最佳的角度移位不是恒定的,并且对于表面S1和S2是不同的。在任何现有技术文档中都没有提及这样的最佳设计。最佳角度移位被定义为最大化瞳孔范围600的角度移位,当群集的边界被映射到该最大瞳孔范围的固定的边缘600a和600b时,实现该角度移位。图6A示出了来自604b群集的边缘的示例边缘光线601a和601b如何被朝向瞳孔范围600的边缘600a和600b发送的(借助于微透镜605b)。因为从微透镜阵列表面S2处的点起的瞳孔范围所对着的立体角从阵列的中心到边沿逐渐缩小,所以如图6B所示,群集大小也相应地从中心中的群集604a到边缘处的群集608缩小。在固定从微透镜到眼镜的距离、瞳孔范围和虚拟屏幕位置之后,限定群集边界的步骤是:
a)选择被关联到微透镜605a的中心群集604a的大小(其由点606a和606b界定)以及从眼睛的中心起中心微透镜605a所对着的角度大小Δ1(其由点607a和607b界定)。
b)计算提供该瞳孔范围的微透镜的焦距(如第6.4节中所描述的那样),并且考虑该焦距对于其余的微透镜都是相等的。
c)计算从数字显示器到使数字显示器成像在屏幕上的微透镜的距离(如第6.4节中所描述的那样)。
d)以从606b(这是群集604b的边缘)发射的、被点607b处的微透镜605b偏转的光线601a朝向瞳孔范围600a的边缘投影为条件,找到定位其焦距已经是已知的微透镜605b的轴(该轴穿过眼睛的中心)的角度610a。该分配将确保在群集604a和604b之间不存在无源间隙,这对于最大化opixel利用率是令人关注的。当群集之间的某个保护带是优选的时,仅考虑群集604b的边缘与群集604a的边缘相隔保护带宽度。
e)将微透镜角度大小Δ2设置为两倍的角度610a减去Δ1以限定微透镜605b的另一个边缘,然后计算微透镜605b轮廓上的边缘点607c。
f)从瞳孔范围600b的另一个边缘,向后追踪微透镜605b上的穿过点607c以与数字显示器相交的光线601b,从而找到限定群集604b的跨度的点606c。
g)重复从d)到f)的处理以相继地向外计算微透镜光轴的可变角间距(610b等)、对应的微透镜大小Δi以及群集边缘的位置,一直到最外面的群集608。
h)类似地向内重复从d)到f)的处理,一直到最里面的群集609。
注意到,瞳孔范围在以上说明的整个过程中保持不变,以便限定数字显示器上的群集。这意味着,图6A中的瞳孔范围的上界600a和下界600b的位置没有变化。可替代地,边缘600a和600b可以被选为对于微透镜中的一些或全部是不同的。具体地说,对于上面的微透镜,下边缘600b可以在更高的位置处(即,更靠近600a)。一种选择是选择可变点600b以使得连接眼睛和微透镜中心的光线将眼睛中心处的瞳孔范围所对着的角度一分为二。具有可变边缘点600a和600b的这个替代实施例使得对于给定视场可以增大对于中心微透镜的瞳孔范围。光学串扰将在超出在例子中被固定为恒定的角度的高外周角处出现。然而,这不是如此关键的。当眼睛向下转动时,在视场的上边缘处将存在串扰,但是当眼睛向下转动时,观看者有可能很少注意到视场的上边缘。因此,有效瞳孔范围在图像质量几乎不降低的情况下被扩大。
在前面的描述中,已经假定所有的微透镜都具有相同的焦距,这对于简化设计和制造是令人关注的。然而,在替代实施例中,给出了将微透镜的焦距描述为其索引位置的函数的函数,并且对群集定义应用对应的类似过程。优选地,该函数被选为中心微透镜的焦距大于外周的焦距。这对于提高虚拟屏幕中心处的ipixel的分辨率是令人关注的,因为凝视矢量在大部分时间都是针对中心的。类似地应用具有步骤a)到g)的过程,但是在步骤d)中认为焦距是微透镜索引位置的函数。
图6A中的表示为了清晰起见是纯粹的两维,但是如图6C所示,群集在三个维度中细分数字显示器。微透镜的多个三维细分是可能的(例如,笛卡尔、六边形、极面),不一定是规则的,这些细分伴随有数字显示器的类似细分,在该类似细分中,每个瓦片具有多边形边界,一般是不规则的并且具有曲线分段。因为瞳孔范围优选地是椭圆形的(其中圆形瞳孔范围是相关的特殊情况),所以从瞳孔范围轮廓向后追踪的通过每个微透镜的边缘光线将圆形群集限定为图6C中所示的区域611。数字显示器的不属于任何群集的其余的区域612总是不被点亮,也就是,它们的opixel被设置为无源。因此,不同的细分具有不同的有源opixel与无源opixel的比率。当微透镜相对于眼瞳大小较小时,该比率可以用内切圆与瓦片多边形的比率面积来近似。在笛卡尔正方形瓦片中,该比率为π/4=79%,而在六边形瓦片中,该比率为(π*31/2)/6=91%。因此,六边形细分更高效率地利用数字显示器面积,并且对相同的微透镜间距提供更高的瞳孔范围。
6.4轴对称光学设计
图7示出了用于球面数字显示器702的微透镜阵列701的2D截面的一部分。首先考虑中心微透镜704,其表面S2占据角度扇区2δ。数字显示器的部分705是被关联到该微透镜的群集,在这个例子中,该群集占据从眼睛中心起的同一个角度扇区2δ(可替代地,群集705可以被选为占据小于2δ的扇区以允许群集之间有保护带)。所述微透镜704将朝向眼睛投影群集705的虚拟图像,以使得微透镜704与眼睛的光学器件一起将在视网膜上形成该群集的实际图像。相邻的微透镜706和708仅通过微透镜704相对于眼睛中心O的刚性旋转而获得。它们各自的相关联的群集是与群集705相邻的707和709。
图7中的角度2β限定瞳孔范围。在该角度内,微透镜704不应对杂散光做出贡献,也就是说,从微透镜704的出射表面S2射到瞳孔范围的任何光线是由群集705中的opixel之一发射的。角度β可以被设置为设计参数。它确定被该微透镜照射的最大外周角θ0=α+β。该最大外周角在图7中被示出,还有极端光线700相对于微透镜704的主要主光线(即,连接眼睛中心和该微透镜的出射表面S2的中心的光线)的倾斜角度α。
旁轴方程可以给出图7中的不同参数之间的关系的第一估计。E是眼睛直径,通常约为26mm。参数L优选地被设置在18mm至35mm的范围内,取决于期望的适眼距(由L-E/2给出)和显示器702的大小(L越大,显示器越大,因此,其成本越大)。微透镜大小d优选地被设置在0.5至20mm范围内,因为衍射对于较小的大小将太高(这与例如现有技术WO 2012/055824第15行第24页的0.19mm的优选微透镜大小相反),并且较大的大小将导致不紧凑的系统。角度β可以被设置为其最小值β=θ0-α。因此,考虑到眼睛直径E是已知的,并且假定L、d和β由设计者偏好给出,那么两个未知量a和s通过对下面的两个方程的方程组进行求解而被找到(s也在图7中被示出)。
然后,从以下方程计算微透镜704的焦距f:
组合前面的方程,我们可以在f/d给定的情况下找到透镜的f数。在sin a≈tan a的近似中,所得的关于f数的表达式简化为:
为了允许有舒适的瞳孔范围,该设备中的微透镜导致与现有技术相比时是快的(即,其f数相当低)。作为数值例子,考虑E=26mm,L=29mm(所以适眼距为L-E/2=16mm),d=2mm,瞳孔范围β=15.1度。那么,f数为2.4(其余的参数为f=4.65mm,s=3.75mm,a=14.9度,θ0=30度)。这与例如现有技术WO 2012/055824(第15行第24页)的15.0的优选f数相反。
除了旁轴计算之外,用于球面显示器的微透镜的实际光学设计优选地在于用于最大化成像质量的双面非球面透镜。颜色校正对于最高分辨率将是希望的。双合和混合折射-衍射设计可以为了这个目的而被做出。在两种情况下,这里所公开的设计利用人类角度分辨率高度取决于外周角,外周角仅对于形成在小凹上的图像的部分是非常高的,参见Kerr。小凹区域对着对象空间中的大约5度的全角。因此,在图4中,opixel 404a的投影的图像质量不需要和opixel 406a的图像质量一样好,因为眼瞳位置404b处的外周角比位置406b处的外周角(近乎为零)大得多。
以相对较低的f数提供良好的轴上成像质量(根据这里的需要)的适当的设计方法的例子是如在Wasserman中描述的全消球差透镜。可替代地,可以使用SMS 2D设计方法(US6,639,733)。透镜的顶点位置需要被适当地选择以还提供足够的离轴分辨率,特别是在20度外周角处提供大约20弧分的分辨率,参见Kerr。我们的优选设计满足下面的关于顶点位置V1和V2(分别从表面S1和S2到数字显示器测量)的不等式:
(0.3<V1<0.5 AND 1.5<V2)OR(16f<9V2+4V1<20f AND 0.3f<V1<0.9f)
图8示出了消球差设计例子的出射表面S2 800a和入射表面S1 800b的截面轮廓,其中,f=4mm,V1=1.5mm,V2=6.5mm。线801和802指示被微透镜覆盖的角度扇区。光线803是从轴上opixel追踪的,在所述轴上opixel处,所需图像质量最高,光线804是从靠近群集的边缘的离轴opixel追踪的,在所述离轴opixel处,所需图像质量最低。为了最小化瞳孔范围内部的杂散光,优选的是,微透镜的孔径光阑与表面S2 800a的边缘重合,所以S2必须足够凸出以防止来自瞳孔范围内的表面S1 800b的边沿的任何晕影。因为表面S1 800b的边沿因此是无源的,并且具有方便设计的保护带的群集的边沿也是无源的,所以存在用于从数字显示器延伸到微透镜阵列的机械支撑结构的空间,该机械支撑结构接触两个边沿以给予机械支撑和附加的杂散光阻挡。
图9A中的实线曲线示出了作为当主光线照射眼球时主光线的外周角的函数的、对于具有白色(CIE坐标x=0.437,y=0.404,使用OLED显示器的典型的RGB频谱)的数字显示器上的点源的设计(其中,V1=0.5f,V2=1.75f,d=2mm,f=4.65mm)的图像质量。这样的质量被计算为虚拟屏幕上的切向角频率和矢状角频率(以每一度的圈数或cpd为单位)中的最小角频率,在该最小角频率上,调制传递函数(MTF)从最大值降至20%。为了比较,图9A的虚线示出了人类角度分辨率(被计算为1/(2p),其中,p是在Kerr中针对大于3度的外周角给出的角度分辨率),该角度分辨率对于比投影到虚拟屏幕的数字显示器的奈奎斯特频率小的外周角被截断。在这个例子中,考虑到了4微米的opixel间距并且没有隔行扫描的ipixel,所以投影ipixel间距为tan-1(0.04/4.65)=3弧分;因此图9A中所示的奈奎斯特频率为60/(2×3)=10cpd。
可以通过选择透镜顶点来改进小的外周角处的分辨率,尽管一般来说这引起高的外周角处的分辨率的降低。图9B示出了其中V1=0.45f并且V2=1.8f的另一个设计的性能,该设计足以与具有15cpd的奈奎斯特频率的显示器一起操作,即,在没有隔行扫描的ipixel的情况下达到2弧分ipixel间距分辨率,并且在k=2的情况下达到对它们进行隔行扫描的1弧分。
在图8和9中提及的设计一直到±55度外周角(即,110度全角)都以足够的质量执行。然而,该设计如果更好地适应瞳孔范围,则可以被进一步放松,因为被在图6中的群集构造中获得的每个微透镜照射的最大外周角的范围比±55度小得多。例如,在图7中,受到分析的中心微透镜的外周角范围为±θ0,该范围在这里给出的数值例子中为±30度,并且根据群集构造,微透镜离中心越远,微透镜照射的外周角的整个范围越小。此外,并非所有的微透镜都将与凝视矢量相交,因此它们中的一些将不在小的外周角的情况下起作用。
图10示出了在将被眼睛直接凝视的角度范围1001内的微透镜以及在将不被眼睛直接凝视的角度范围1004a和1004b内的微透镜。来自虚拟屏幕的被凝视区域的朝向眼睛的中心1007会聚的所有光线都是可以与凝视矢量对齐的光线(所以外周角为零),并且眼睛将使它们聚焦在小凹的中心上。另一方面,来自虚拟屏幕的外部区域的朝向瞳孔范围的边缘1008a和1008b会聚的光线具有非零外周角。
发射发送到眼睛的中心1007的光线的opixel(诸如1005)是如下这样的opixel,对于这些opixel,图像质量必须是最好的,但是在它们各自的外周角值对于人类角度分辨率足够好或者对于投影数字显示器的奈奎斯特频率刚刚够好(图9中的虚线曲线)。这些opixel将被称为“优选opixel”或popixel。popixel通过当眼瞳被定位为凝视矢量与从眼瞳的中心和ipixel的中心穿过的光线之间的角度在该微透镜的瞳孔范围内的所有可能的位置之中为最小值时向后追踪该光线而被找到。当ipixel属于虚拟屏幕的被凝视区域时,该角度为零,因此ipixel正被凝视;当ipixel属于虚拟屏幕的外部区域时,眼瞳将位于某个瞳孔范围的边缘处。因为在popixel和ipixel之间存在一对一的映射,所以popixel可以被取作被关联到ipixel的网的代表,该代表在描述opixel到ipixel映射的第6.6节中将是有用的。一个光线针对每个微透镜被突出。这是如下这样的光线,该光线在眼瞳被定位为凝视矢量和该光线之间的角度在微透镜的瞳孔范围内的所有可能的位置之中为最小值时朝向眼瞳的中心穿过该微透镜出射孔径的中心。该光线在本文中被称为微透镜的“主要主光线”。
虚拟屏幕的外部区域的微透镜1004a和1004b的光学设计隐含对以下步骤的修改:关于群集的第6.3节中的步骤e)以及图6的对于图10中的外部微透镜1004a和1004b的微透镜边缘限定步骤,因为微透镜的旋转中心优选地应为点1008(瞳孔范围上的最近的点),而不是1007(眼睛的中心)。该旋转将影响微透镜位置,并且数字显示器甚至可能在外周具有不同的曲率中心。然而,为了实用的目的,更简单的是,数字显示器具有恒定的曲率,特别是在柱面的情况下。在这种情况下,外部微透镜1004a和1004b应被不同于内部微透镜1001地设计为执行这样的校正。然而,因为微透镜1004a和1004b被设计为永不被凝视,所以对于它们的图像质量要求较低,因此曲率恒定的数字显示器在大多数情况下是可接受的。
透镜的轴对称非球面表面的轮廓可以用下面的标准方程来很好地拟合:
其中,a0是沿着光轴的顶点位置(从数字显示器起测量),k是圆锥常数,δ=1/R,R是尖端处的半径,g2 i+4是Forbes Q-con多项式Qi con的系数(Forbes,Shape specificationfor axially symmetric optical surfaces,Optics Express,Vol.15,Issue 8,pp.5218-5226(2007))。例如,用于图8中的透镜的这个拟合参数的特定值(全都以mm为单位,除了k无量纲、δ以mm-1为单位之外)在下表1中被给出。
表1
6.5自由形式光学设计
在其他优选实施例中,数字显示器是柱面或平板的,而不是球面的,所以可制造性得到改进。当数字显示器是平板的时,与远离数字显示器的中心的群集对应的微透镜由于在数字显示器的平面和沿着主要主光线与虚拟屏幕相切的平面之间不平行而具有非常难以实现的设计条件。类似的情况在柱面数字显示器的情况下对于轴端区域(如果柱体的轴是垂直的,上部区域和下部区域)中的微透镜找到。因此,如果微透镜刚好被制成与垂直于数字显示器的光轴轴对称,则它们的图像质量在中心以外将很差,主要受到严重散光以及透镜的焦平面(PoF)和与虚拟屏幕相切的平面之间的不重合的影响。表面S2上的超环面微透镜和S1上的用于校正散光的平板也已经在Duparré中被提出,但是它们不校正PoF和与虚拟屏幕相切的平面之间的不重合。我们接着公开校正两个像差的自由形式微透镜的设计(即,不具有旋转对称性)。
柱面数字显示器可以通过弯曲平板柔性显示器而被制造,平板柔性显示器是现在在市场上可购得的用于一些类型的OLED显示器和CMOS背板的东西,参见Tu。为了在工效学上贴合用户的面部形状,当头部面向前时,柱体方向将大致垂直定向,并且柱体轴将大致穿过眼球的中心。柱面显示器所需的光学器件形状对于具有沿着柱体的轴的相同位置的微透镜是相同的,在柱面显示器中,对称轴跨过眼睛旋转的中心。
图11示出了用于照射瞳孔范围1102的柱面数字显示器1100的自由形式微透镜阵列1101的剖面图。考虑该柱面构造,限定当凝视矢量指向前时眼睛的垂直FOV的角度VmaxDOWN和VmaxUP在这个例子中被设置为等于45度。光学设计仅对透镜的垂直列进行,其余部分是通过围绕柱体轴1105的旋转而产生的。这意味着,这些微透镜中的任何一个都是相同的,但是沿着θ移位,因此,这些微透镜的表面的方程可以被写为ρ=f(θ-mΔθm,z),其中,ρ(半径)、θ(方位角)和z(轴向位置)是柱面坐标,Δθm是沿着θ坐标的微透镜间距,m是整数。因此,图4中的与平面1103的水平截面基本上与图4中的对于球面显示器的水平截面重合,并且水平维度上的群集定义过程被如第6.3节和图6中那样类似地进行。
为了确定垂直维度上的群集的最佳跨度,使用与针对水平维度和球面显示器公开的过程类似的过程。唯一相关的不同之处在于,现在,作为到图11中的平面1103的距离的函数的一族自由形式微透镜设计必须在应用第6.3节中的过程之前被计算。然后,具有步骤a)到g)的过程被类似地应用,但是在步骤d)中单独考虑该族设计中的每个。
图12A示出了用于照射眼球1200上的瞳孔范围的平板数字显示器1202的自由形式微透镜阵列1201的透视图,在自由形式微透镜阵列1201中,微透镜按极面阵列构造布置。为了在工效学上贴合用户的面部,可能令人关注的是,数字显示器被倾斜为当眼睛向前看时其法线矢量不平行于凝视矢量,因此中心微透镜在该位置处将不与凝视矢量相交。图12B和12C示出了微透镜按矩形阵列1203和六边形阵列1204布置的类似设计的透视图。极面构造较每个环中的微透镜彼此相同的其他构造而言具有制造和测试优势。在六边形构造中,微透镜的边缘处的斜率最小,这可以减小容限和像差。矩形阵列1203对于数字显示器的电子寻址更加简单。然而,对于这三种构造,微透镜表面的设计与图11的针对柱面数字显示器的设计没有不同。只有微透镜和群集细分的定义不同。
替代实施例包括以这样的方式使用基本正方形阵列的可能性,即,这些正方形的对角线垂直地对齐(也就是,相对于图12B中所示的旋转45度),所以瞳孔范围可以被设计为长斜方形,这适于允许眼睛在左-右旋转和上-下旋转中最大化地移动,这在实践中是最常见的。
图13示出了单行自由形式透镜的一半的3D视图,这些自由形式透镜可以是例如图12A中的极面阵列中的从中心到对角线拐角的那些,或者图11的柱面构造中与平面1104相交的那些。角度1309(在这个例子中,为65度)被选为与沿着平板数字显示器的对角线的期望视场匹配,这是最好的。近似矩形1307围住对应的群集,但是为了绘图的清晰度,有源opixel和无源opixel未被标识。角度1308指示瞳孔范围半角,在这个例子中,瞳孔范围半角为20度。对于数个微透镜1301、1302、1304、1305、1306的主要主光线也被示出。微透镜必须执行使虚拟屏幕(如前所述,虚拟屏幕优选地是以眼睛中心为中心的球体)的一小部分成像在柱面或平板数字显示器的表面上的任务。
对于虚拟屏幕的被凝视区域的popixel及其相邻的opixel的成像质量必须足够高。如前面在图10中描述的,首先对于被眼睛直接凝视的主要主光线(比如,1302至1304)的邻域中的光线,其次对于在外周被观看的主要主光线(比如1305和1306),高质量是需要的。对于群集的其余的opixel,成像质量可以放松。其主要主光线是1304的微透镜可以是轴对称的,但是数字显示器与连接眼睛和微透镜中心的直线之间的角度越远离90度,对非旋转对称光学表面的需求越高。例如,在柱面数字显示器的情况下,当微透镜远离图11中的平面1103时,该需求上升。该自由形式设计可以通过以下方式来进行,即,首先找到初始设计,用自由形式多项式拟合它,并且进一步使用例如阻尼最小二乘法(DLS)算法来对它们进行优化。
用于找到良好的初始设计的一种方法在于,在对称平面和出射口处的正交平面中一阶放大率都是恒定的情况下计算生成像散校正的焦点的两个轴对称表面。该计算可以以广义阿贝正弦条件进行。该方法在第6.14.1节附录A中被公开。如所述附录中所描述的,这是从计算每个表面上的两个曲线开始进行的,两个曲线在一个点上正交地相交。然后,对于每个表面,轴对称表面和该每个表面的最佳拟合圆周逼近的曲线中的一个是通过沿着所述最佳拟合圆周旋转另一个曲线而产生的。在进一步的简化中,两个轮廓都可以用圆周逼近,因此,采取超环面逼近。这些设计甚至对于在没有进一步优化的情况下被使用也是特别令人关注的,因为它们具有围绕一个轴的旋转对称性,因此,比全自由形式设计更容易制造和测试。作为6.14.1附录A中所示的方法的替代方案,US 7,460,985中所公开的SMS 3D设计方法可以用于找到良好的初始设计。
图14示出了对于如下自由形式透镜的设计的透视图和侧视图,该自由形式透镜位于水平面(图11的1103)上方16.8度,因此靠近虚拟屏幕的被凝视区域的边缘。光线1418是该微透镜的主要主光线,其是在点1417处的opixel处产生的。图像质量对于靠近1417的opixel必须是最好的,并且可以在远离该点移动时放松。例如,来自靠近群集的顶部边缘的离轴opixel的光线1419所需的图像质量低得多。另外,为了避免瞳孔范围内的两个透镜表面之间的光学串扰,表面S2足够凸出以使得微透镜的孔径光阑与表面S2 1420b的边缘重合,也就是,防止来自瞳孔范围内的表面S1 1420a的边沿的任何晕影。因为表面S1 1420a的边沿因此是无源的,所以它是具有方便设计的保护带的群集的边沿,因此允许从数字显示器到微透镜阵列分配机械支撑结构,该机械支撑结构接触两个边沿以给予机械支撑和杂散光阻挡。
图15示出了关于图14中的自由形式透镜的、设计的MTF的模数达到最大值的20%的方向的外周角对角频率。连续单线对应于当眼球围绕图13中的轴1300旋转时的外周角,而连续双线对应于围绕垂直于图13中的1300和1302的轴的旋转。当眼瞳面对正被分析的微透镜时,图15的横坐标中的外周角为零,并且当被分析的方向分别就连续单线和连续双线来说在凝视矢量的上边、左边时,它是正的。对于连续单线,因为该微透镜在虚拟屏幕的被凝视区域的上边缘处,所以该曲线图中的最重要的方向是正方向,因为负方向对应于瞳孔范围外部的眼瞳位置。对于连续双线,由于透镜的平面对称性,曲线甚至具有对称性(所以θ和-θ的值是相等的)。虚线示出如图9中已经示出的、被截断到数字显示器奈奎斯特频率的眼睛分辨率。
三维中的任何自由形式表面可以用标准方程来很好地拟合:
其中,ρ、θ和z是柱面坐标;u由u=ρ/ρmax限定,所以0≤u≤1;c=1/R,R是曲率半径;Qm n(v)是v中的阶次n的Forbes Q多项式(Forbes 2012)。
该实施例中的所有自由形式透镜都至少具有由从微透镜到眼睛的、垂直于数字显示器的主要主光线限定的一个对称平面。不失一般性地,我们可以考虑该对称平面对应于θ=0度。那么,对于所有的n和m,系数bn m=0。作为例子,图13中的透镜的非空系数(全都以mm为单位,除了c以mm-1为单位之外)在下表2中被给出:
表2
6.6替代的自由形式设计
前面的章节已经示出了基于微透镜阵列的光学设计,其中,表面S1和S2的宏观轮廓遵循数字显示器几何形状。如果数字显示器是球面的,则微透镜阵列的宏观轮廓是球面的(图4);如果数字显示器是柱面的,则宏观轮廓是柱面的(图5);如果数字显示器是平板的,则宏观轮廓是平板的(图12)。该约束可以被免除以最大化瞳孔范围和视场。本章节中呈现的两个替代光学设计提出了微透镜阵列不被约束为遵循数字显示器几何形状的解决方案。对于这些特定的设计,不同微透镜的表面S1和S2是自由形式,如第6.5节中所呈现的设计中那样,并且数字显示器是平板的。
6.6.1具有大的微透镜的设计
在这个第一族替代自由形式设计中,整个透镜再次被划分为微透镜。与前面示出的设计的主要不同之处在于,微透镜的数量少很多,而它们的大小大很多。这将暗示着,焦距将大于更小的微透镜的焦距,所以装置将不太紧凑。在该章节中,将描述五个特定的设计:2折设计(即,由2个大的微透镜组成)、3折设计(3个大的微透镜)、4折设计(4个大的微透镜)、7折设计(7个大的微透镜)以及9折设计(9个大的微透镜)。
为了例示说明这个替代族设计,图16示出了四种可能性之一:4折设计。在这个特定的设计中,表面S1和S2均被划分为四个相同的扇区,结果得到由四个微透镜组成的透镜。因此,数字显示器被划分为四个群集,这四个群集的边缘用数字显示器1603上的虚线1601和1602表示。在图16中,只有透镜的表面S1被完全示出,因为表面S2面向眼球1604,所以它在该视图中被隐藏在透镜的背部部分中。这些扇区中的每个占据三维空间的四分之一。在该图的背部部分中,眼球1604被示出。
尽管图16中的例子示出了围绕系统中心轴对称放置的4个可叠合的微透镜,但是它们可以被设计为每个表示不同的(非可叠合的)设计,并且它们可以被放置在不对称的位置中。如果我们正在找寻HmaxIN、HmaxOUT、VmaxDOWN和VmaxUP的值(按照它们在第6.2节中那样被定义)不对称(即,HmaxIN≠HmaxOUT和/或VmaxDOWN≠VmaxUP)的解决方案,则这是令人关注的选择。这里的“可叠合的”意味着,微透镜的刚性运动(旋转和/或平移)可以使得它与另一个微透镜相同。例如,在图16的情况下,围绕包含两个对称平面的轴的90度刚性旋转可以将一个微透镜叠合在另一个微透镜中。
该4折构造也可以通过围绕包含两个对称平面的轴将整个透镜旋转π/4弧度来实现,所以相邻的微透镜之间的交集不再遵循水平方向和垂直方向,而是遵循对角线。这在图17中被用图形示出,在图17中,数字显示器被划分为由线1701和1702隔开的四个群集,遵循透镜的微透镜分离几何形状的构造。对于4折装置的这个替代构造如果与图16中所示的装置相比,可以提供优点。眼睛移动通常遵循水平方向或垂直方向(很少遵循对角线方向),所以可能优选的是,透镜的从中心起的水平或垂直的部分由于所存在的这些区域的对称性而对应于不同微透镜的中心部分(由图16中的线1605和1606指示)。
图16和图17中的优选的4折构造适合于纵横比接近于1:1的数字显示器。对于纵横比更接近于2:1(例如16:9)的数字显示器,图20示出了另一种提议的构造:2折设计。虽然如果需要的话具有1:1显示的4折可以对两个眼睛生成相等的水平视场和垂直视场,但是2折可以生成在水平维度上比在垂直维度上通常大25至30%的视场。
在图20的2折设计中,表面S1和S2均被划分为两个相同的扇区,结果得到由两个微透镜组成的透镜。如该图中点划线所示,数字显示器2001也被划分为两个群集。这两个部分中的每个占据三维空间的一半。这两个扇区可替代地可以被设计为不相同的,以例如提供不同的角度HmaxIN≠HmaxOUT
图18从前侧示出了四折透镜和两折透镜以及数字显示器的视图。透镜在图像的前面,数字显示器在后面,被用黑色条纹和白色条纹突出。左侧图示出了4折构造,而右侧图示出了2折构造。虚线指示不同微透镜之间的分隔。
可以使用2折构造来通过如图19的例子中所呈现的那样使用类似的水平视场和垂直视场来提供它们,在图19中,两个数字显示器(每个眼睛一个数字显示器)和两个透镜沿着垂直方向的长边放置。在该设计中,我们使用不配对的单目设计,在这些设计中,使用水平方向上的不对称视场(即,HmaxIN≠HmaxOUT),其中中心区域用于双目重叠。在图19中,考虑发散情况,并且垂直点线1901和1902针对每个数字显示器把被设计为将被投影的区域分隔为视场的场外部分(从0到HmaxOUT)和场内部分(0<FoV<HmaxIN)。以这种方式,关于对称情况,我们可以通过减小HmaxIN、因此数字显示器的重叠区域来提高HmaxOUT值。我们可以将2HmaxOUT的水平视场调整为等于垂直视场VmaxUP+VmaxDOWN
为了说明这两种特定设计(2折和4折)的过程,首先提供2D中的描述。图21示出了2D截面图(其对于两种设计都是相同的),其中,该截面是在由图16中的点线1605和1606以及图20中的2002指示的微透镜的对称平面上截取的。图21于是适用于两个装置,因为单个微透镜的光学设计在两种情况下是相同的。它们之间的不同之处在于微透镜在3D空间中的复制,导致4折或2折构造。
如图21的上半部分所示,对于遵循凝视矢量的光线(即,从眼球的中心2101追溯的光线)的任何给定方向,透镜使来自数字显示器上的特定opixel 2102的光线聚焦,遵循数字显示器中的opixel和虚拟屏幕中的ipixel之间的特定映射。当虚拟屏幕在无限远处时,该映射的逆采取x=F(θ)的形式,其中,x表示该2D截面中的opixel坐标,θ是相对于z轴2111的ipixel角度。选择函数x=F(θ)使得其对于小的θ值(即,虚拟屏幕上的被凝视区域中)的斜率F’(θ)大于其在大的theta值处(即,在虚拟屏幕的外部区域中)的斜率是特别令人关注的,因为该斜率与ipixel的大小成比例,并且它们在眼睛通常凝视的地方优选地较小。
对于图21中的光线2103的特定情况,该映射由opixel到z轴的距离2104和到达眼睛的出射光线的角度2105限定。因此,表面S1和S2的每个单个的点是针对遵循穿过各自的点的凝视矢量的光线设计的。除此之外,消像散条件也被施加。这个第二个条件暗示着,在角度2106趋向于零的极限,由来自某个opixel 2109的极端光线2107和2108限定的光线束的这种角度跨度2106与输出的平行捆束的宽度2110成比例,并且该比例常数为F’(θ)。如第6.14.2节附录B中详述的,通过将这两个条件应用于两个表面S1和S2,透镜被构建用于装置的整个视场。对于在图21中所示的截面中全长为48.4mm的显示器,图21的设计具有104度的FOV,其被测量为从z轴2111和眼球的相交点起透镜表面S2所对着的角度。
当设计这些透镜之一时,为了最好的结果,还必须保证在微透镜之间不会发生光学串扰。图22示出了与图23相同的2D截面,这对于说明4折设计和2折设计都是有效的。来自群集2203和2204的边缘的光线2201和2202分别照射在表面S1和S2的边界上,此后,照射在瞳孔范围的边缘(2205和2206)上,瞳孔范围由角度2207限定。该设计条件确保来自瞳孔范围区域内部的任何点的每一个光线将不会经历光学串扰。因此,我们的设计满足无光学串扰的条件。
当眼睛看向透镜的中心部分(即,微透镜的分隔区域)时,它从所有的群集接收光。从这个意义上来讲,图23绘制了凝视矢量平行于包含整个系统的两个对称平面的轴的特定情况。与前面的方向上的ipixel相关联的并且到达眼瞳的光线束2301是来自2折构造中的两个群集的两个不同光线束或者来自4折构造中的四个群集的四个不同光线束(其中两个束2302和2303在该二维截面中被表示)相加的结果。这些束2302和2303中的每个包含不同的opixel(分别地,2304和2305)的信息,但是如第6.2和6.3节中所说明的,所有的opixel都属于同一个网。
在图22中呈现的装置中,表面S2被设计为在使表面S1在2D中保持为连续的并且可区分的(但是可区分性在3D中无需保持)同时呈现可能的最小的扭结。该连续性和可区分性条件帮助减小色差,但是它不是必要的,在一些情况下,它可以被丢弃,例如以获得焦距更长的系统(对于相同的紧凑性)。如图24a所示,这些作用可以交换,并且可以开发如下的替代设计,在该设计中,表面S1在两个微透镜之间的交集处具有扭结,而表面S2仍然是连续的且可区分的。以相同的方式,两个表面可以同时是不可区分的,被诸如图24b中呈现的设计的替代设计所代替。
到目前为止,只详述了2D截面中的设计。为了获得如图16、17和20中所示的整个3D装置,在垂直方向上也开发设计。为了这个目的,我们从如附录B中所描述的那样计算的y的二阶逼近开始:
z(x,y)=c0(x)+c1(x)y2 (4)
为了获得如图16、17和20中所示的整个自由形式装置,使用更高阶次的多项式来描述图25中所表示的、用以下表达式具体描述的装置的表面S1和S2:
为了获得系数cij的界定值,规范项xmax和ymax已经被包括在幂的内部,其中,xmax指示由y=0处的外周上的点2501的坐标x限定的、整个表面的最大期望x值,而ymax指示由外周点2502的坐标y限定的最大y值。注意到,因为表面相对于平面y=0是对称的,所以只有y的偶数幂取非零值。N指示多项式的最大阶次。通过采用该多项式基础描述我们的表面,我们可以将对于j=0,…,N的系数c0,j识别为将限定x-z平面中的2D截面线的那些系数。
通过使用如附录B中所描述的那样计算的对于j=0,…,N的系数c0,j作为起始点并且对于其余系数使用零,执行找到方程(5)中的更好的系数表面S1和S2的优化处理。该优化可以用例如使用标准的阻尼最小二乘DLS算法的光线追踪软件来进行,并且优值函数是使用两个不同的眼瞳(参见图26)构建的:瞳孔2601被固定在眼球的前面的位置中,而瞳孔2602被置于眼球的中心。考虑两个眼瞳,因为两个位置对于确保整个瞳孔范围和宽泛的外周角范围上的足够好的图像质量形成都是重要的。反向光线追踪(图26中的作为例子的2603和2604)是从两个瞳孔朝向数字显示器进行的。作为优值函数,该优化处理使用由来自两个瞳孔的反向光线在数字显示器上产生的斑点大小(对于所表示的两个不同的光线扇面,2605和2606)的RMS加权求和。用于优值函数的权重是图15中所示的用于对应的外周角的眼睛分辨率的值。优化是从表面中心起、逐渐地增大场的数量和多项式阶次(即,N)来进行的。以这种方式,只有微透镜中的一个已经被设计,而对于4折设计,其余的微透镜是通过将它分别围绕轴旋转π/2、π和3π/2而产生的,对于2折设计,其余的微透镜是通过将它围绕轴旋转π而产生的。
微透镜的表面到方程(5)给出的表示的替代表示可以被利用:Forbes提出的自由形式Q多项式可以如第6.5节中已经描述的那样被使用。下表3示出了描述其中f=22mm、FOV=105度的特定微透镜设计的例子的Forbes系数(所有参数都是以mm为单位,除了c以mm-1为单位之外)。这些系数已经被优化。注意到,由于微透镜所呈现的对称性,系数bn m为空(θ=0对应于方程(5)中的x轴)。
表3
图27示出了3折(顶部)设计、7折(中间)设计和9折(底部)设计的3D视图。对于这些设计,数字显示器被放置在前面,并且分别被划分为3个、7个和9个群集(为了图像清晰起见,群集未被指示)。这三种设计中的中心微透镜可以是旋转对称的,而外部的微透镜将是自由形式。该中心微透镜是在大多数时间将被眼睛凝视的微透镜。9折设计的中心透镜的边界示出几分多边形的形状,而7折设计是圆形。这些仅仅是边界的确定的两个例子。它们当然是可交换的,并且其他可能的形状是可能的。在多边形中心情况下,表面边界是仅通过表面的交集获得的,这在制造微透镜阵列的模具将要被制成单个工件时是优选的,因为表面S2将不会示出微透镜之间的边界处的台阶。另一方面,在圆形中心微透镜的情况下,在微透镜之间存在小的台阶,但是足以使模具具有分别被机加工的并且被组装的多个部分。优选的7折构造和9折构造对于纵横比接近1:1的数字显示器是足够的。对于纵横比更接近2:1(例如16:9)的数字显示器,3折设计是优选的。该问题类似于以上针对4折构造和2折构造说明的问题。另外,点线2701、2702和2703指示被选为说明图28中所示的2D截面的轮廓。该图示出了与3折设计、7折设计和9折设计对应的2D截面,因为它们的2D设计是相同的。图28类似于图21,但是是针对3折构造、7折构造和9折构造,而不是2折和4折。在这种情况下,2D轮廓示出了3个群集2801、2802和2803。透镜内部的点线指示不同微透镜的虚拟分隔。
所有这些具有大的微透镜的设计都可以被近似为所有微透镜都是旋转对称的,这通常将导致性能不太好,但是更易于制造。例如,图33示出了用两个旋转对称的非球面透镜3301和3303制成的2折设计或4折设计的2D截面,非球面透镜3301和3303的各自的旋转对称轴是3302和3304,其优选地相对于对称线3300倾斜。这些旋转对称透镜3301和3303优选地将具有如下的曲率场,这些曲率场使得当反向光线被追踪时(即,在最小模糊圆被形成的情况下)它们的最佳焦点表面分别是如3305和3306的曲线,因此,至少虚拟屏幕的被凝视区域的部分的中心将具有足够的图像质量。在图27中的中心微透镜已经是旋转对称的3折设计、7折设计或9折设计的情况下,近似将发生在外部微透镜中,外部微透镜应被调整以使得从中心微透镜到外部微透镜的过渡中的图像质量是类似的,所以过渡将不会是过于明显的。
6.6.2具有较小的微透镜的设计
在对于该族设计的替代实施例中,微透镜的数量增加,而对于它们中的许多来说,它们的大小和焦距明显减小(所以我们将把它们简称为微透镜,而不是大的微透镜)。在该实施例中,这些微透镜被按同心环构造放置,其中,环的总数可以选择。
图29示出了与图21中的图像类似的图像,但是是关于在每个象限中具有数个微透镜的这种新的构造的,其中,图21在每个象限中仅具有一个大的微透镜。图29示出了4环设计,这是在该章节中将被分析的情况。它示出了从具有透镜2901的不同微透镜的表面S1侧(其余的表面S2被隐藏)来看的视图。数字显示器2902因此将被划分为与透镜中所包含的微透镜的总数相同数量的群集。
图30示出了两个表面S1(左)和S2(右)的前视图。两个表面都示出相同数量的微表面,因为它们成对地起作用:表面S1的一个微表面与其在表面S2中的对应的微表面一起起作用。在由4个同心环组成的这个特定的透镜中,从对于第一个内部环有4个微透镜开始,每个环包含比它内部的相邻的环多4个的微透镜。该构造特别适合于执行稍后在第6.9.1节中描述的阶次k=2的ipixel隔行扫描。然而,环的数量和对于每个环的微透镜的数量的不同组合对于该实施例来说是可能的。为了使制造更加简单,环内的所有的微透镜表面的光学设计都是相同的:它们是相同的光学设计的旋转的实例,并且它们被修整成不同的形状以配合针对该装置提出的同心构造。
图31示出了沿着每个单个的微透镜的对称平面截取的图30的透镜的概念性2D轮廓,其中,点线指示相邻的微透镜之间的虚拟界限。注意到,图31绘制了全都在一行中的每一个微透镜的2D轮廓,但是为了获得如图30所示的最后的透镜,微透镜被围绕系统的对称轴旋转,以便获得期望的同心环构造。从图30和31的比较将看出,为了通过旋转产生图30的透镜,图31中所示的2D微透镜必须实际上在径向方向上重叠,并且然后通过在3D形状中插入切割线而消除重叠。在该截面中,S1被设计为连续的且可区分的表面,因为这最小化微透镜之间的扭结,这帮助保护装置不受相邻微透镜之间的光学串扰的影响,但是该可区分性在3D中无需保持。图31呈现了8个不同的微透镜的轮廓,因为该轮廓覆盖了整个透镜(从一个极末端到另一个极末端),因此该轮廓相对于从眼睛中心起的垂直于显示器的线来说是对称的。
用于这些实施例的设计方法的描述包含相关的数个方面:首先,光学表面的设计过程;第二,微透镜大小的选择;第三,群集和微透镜边界的计算。下面的说明将涵盖它们全部。
微透镜的光学设计过程可以划分为两种不同的方法:用于小的微透镜的方法1以及用于大的微透镜(如外环中所包含的微透镜3107、3108)的方法2。如果微透镜的大小小于眼瞳大小,则微透镜在这里被认为是“小的”,否则被认为是“大的”。由于透镜的对称性,透镜的2D截面的下半部分是上半部分的镜像版本。如从以上陈述的内容推断的,来自图31中的3101至3106的微透镜是通过设计方法1产生的,而微透镜3107和3108是通过方法2产生的。
设计方法1本质上是第6.5节中描述的方法,并且在图32中被示出。对于每个微透镜,我们选择来自表观眼瞳3201的反向光线束,表观眼瞳3201被置于眼球的中心,并且朝向虚拟屏幕中的优选ipixel。这些光线束由针对图31中的用该方法设计的三个不同微透镜3101、3103、3105的3202、3203和3204表示(微透镜3102、3104和3106然后通过对称而产生)。这些光线束是准平行的,因为虚拟屏幕离眼睛位置非常远。微透镜使该光线束聚焦在数字显示器上的被选opixel上,遵循opixel和ipixel之间的预定义光线映射,以使得焦平面(POF)与显示平面重合。在图32中,与所绘制的三个光线束对应的opixel是3205、3206和3207。虽然表面S1被设计为是连续的且可区分的,然而表面S2被设计为连续的,在相邻的微透镜之间没有台阶(但是在不同微透镜之间的交集处不是可区分的)。
用于图32中的外部微透镜3208的设计方法2是与第6.6.1节中用于大的微透镜的方法相同的方法,如参照图21所说明的。
第二,关于微透镜大小的选择,在图31中所示的情况下,中心微透镜的孔径的大小已经被选为符合某个小值,而外部微透镜示出大得多的孔径。中心处的小的微透镜的目的是允许进行第6.9.1节中所描述的ipixel的隔行扫描,ipixel的隔行扫描在边缘处不是必要的。制作较大的外部微透镜的原因是增大装置的视场。这将不会是通过添加数个小的微透镜就同样地实现的,因为整个透镜轮廓将更靠近眼睛,使眼睛间隙减小。
图34示出了图31中的设计的2D截面,在该2D截面中,示出了从每个群集的一个opixel发射的并且被每个微透镜收集的光束的角度跨度。投影到垂直于其主要主光线的平面的微透镜i(其中,在图31中,在3103处i=0,在3107处i=3)的孔径大小d(i)对于内部微透镜(i=0至i=2)已经被选为等于2.25mm,对于外部微透镜(i=3)已经被选为等于10mm,并且它们全都具有大致相同的焦距f=10mm。因此,外部微透镜的f数小于内部微透镜的f数。
遵照Winston,我们可以估计不同参数之间的关系,以使得通过该设计中的微透镜由数字显示器发射的光的展度大致由以下表达式给出:
其中,f(i)是微透镜i的焦距,c(i)是群集i的长度,l是2D表示的数字显示器的长度,<d/f>表示d/f的加权平均值。
此外,进入眼睛的光的展度大致由以下表达式给出:
其中,PR是瞳孔范围3406的线性大小,FoV是视场3405。因为两个展度值必须相等,所以我们可以推断,外部微透镜的f数f/d越小,平均d/f值将越大,那么装置的视场将越大。
第三,关于群集和微透镜边界的计算,需要两个步骤:一个是,其在2D设计中的限定;然后,其在3D上的限定。
对于2D设计,限定类似于已经在图22中针对前面的具有大的微透镜的设计而说明的限定。图35示出了该装置还如何被设计以便避免光学串扰并且使斜率间断保持小。来自3501至3508的光线来自于数字显示器的不同群集3510、3511、3512、3513的极端。不同群集3510至3513被图35左侧的小的水平线隔开。这些极端光线3501和3508穿过微透镜3514、3515、3516、3517的边界,然后被引向由角度3509限定的瞳孔范围的边缘(对于所有微透镜都是相同的)。在下面的行中在图35的帮助下描述为了限定2D设计上的群集的上界和下界的过程。这里分析的四个群集在该图中用3510、3511、3512和3513指示:
1.来自瞳孔范围3518的上界的反向光线3501朝向微透镜3514的表面S2的下界行进,该下界被置于图34中的设计轴3408的对称轴上。
2.光线3501被表面S2折射,并且在微透镜3514内部平行于对称轴行进。
3.因为群集3510的下界必须被置于设计的对称轴上,那么在其较低点(其是光线3501照射的点)处的微透镜3514的表面S1必须平行于数字显示器的表面,以便将该光线发送到群集3510下边缘。
4.来自瞳孔范围3519的下界的光线3502朝向微透镜3514的表面S2的上界行进。
5.光线3502被表面S2折射,并且在微透镜3514内部行进。在被微透镜3514的表面S1折射之后,该光线照射在群集3510上、其上界处。
6.对于微透镜3515,来自瞳孔范围3518的上界的光线3503朝向微透镜3515的表面S2的下界行进。
7.表面S2上的折射的光线必须平行于在透镜内部行进的光线3502,以便确保没有光学串扰出现并且在数字显示器上的群集之间没有死亡空间。假定透镜表面中的尖点的半径是可忽略的,因为光线3502和3503可以被认为照射在同一个物理点上(尽管这两个点属于不同的微透镜)并且在透镜内部在同一个方向上行进(如图35所示),所以这些光线是重合的。因此,输出光线3503在表面S1上被折射之后也将与输出光线3502重合(因为表面S1是连续的且可区分的),并且将照射在数字显示器上的同一个点上(该点同时是群集3510的上界和群集3511的下界),确保不同的群集不重叠。
8.光线3504和3506必须满足与在步骤4和5中针对光线3502说明的那些条件类似的、但是是分别针对微透镜3515和3516以及针对群集3511和3512的条件。
9.光线3505和3507必须满足与在步骤6中针对光线3503说明的那些条件类似的、但是是分别针对微透镜3516和3517以及针对群集3512和3513的条件。
10.微透镜3517的表面S1和S2的上界被设计为使得反向光线3508照射在数字显示器的群集3513的上界上。
注意到,瞳孔范围在以上说明的整个过程中保持不变以限定数字显示器上的群集。这意味着瞳孔范围3509的上界3518和下界3519的位置不变。可替代地,边缘3518和3519可以被选为对于微透镜中的一些或全部是不同的。具体地说,瞳孔范围的下边缘3519可以在对于上面的微透镜较高的位置处(即,更靠近3518)。一种选择是选择可变点3519以使得连接眼睛的中心与微透镜表面S2的中心的光线将眼睛中心处的瞳孔范围所对着的角度一分为二。具有可变边缘点3518和3519的这个替代实施例使得对于给定视场可以对于中心微透镜增大瞳孔范围角度3509。光学串扰将在超出例子中的被固定为常数的角度的高外周角处出现。然而,这不是如此关键性的。当眼睛向下转动时,在视场的上边缘处将存在串扰,但是当眼睛向下转动时,观看者不太可能注意到视场的上边缘。因此,有效瞳孔范围在图像质量几乎没有抵消降低的情况下被扩大。
现在,3D中的群集和微透镜边界的限定如图36和图37中所示那样进行。为了简单起见,图36和37仅示出了数字显示器的四分之一、表面S1和S2的四分之一,并且仅示出了设计的三个内环的微透镜。表面S2上的微透镜边界通过根据图30中所指示的复制方案的透镜单元的交集而计算得到。为了限定表面S1上的边界并且对于数字显示器上的群集,进行反向光线追踪,从瞳孔范围3601投射光线。首先,如图36所示,这些光线被表面3602折射,并且照射在表面3603上,表面3602是被选微透镜的表面S2,表面3603是对应的微透镜的表面S1,这两个表面都被用条纹突出。如果在表面S1上存在射束印记的干扰,则2D设计的步骤中的对于最小斜率断续的条件必须被抛弃,并且在透镜内部重合的光线轨迹(光线3502和3503、3504和3505、3506和3507)将被拆分,使得它们在表面S1上的入射点处的相当大的分隔被调整以避免3D中的干扰。
图37示出了群集如何在数字显示器上被限定。如图36中那样,反向光线从眼睛行进,穿过S2表面3701和S1表面3702,最后照射在数字显示器3703上。以这种方式,被S2的有条纹的微透镜小面折射的光线也被S1表面3702的微透镜小面3704折射,最后照射在数字显示器3703的表面的有条纹部分所表示的群集上。类似的情况由三个其他的表面和群集(图37中的用点、正方形和线表示的那些以及它们对应的S2表面3705、3706和3707 S1小面)集合来呈现。如图37所示,3603使光线朝向数字显示器3703折射,限定与被分析的微透镜对应的群集。如果在数字显示器上存在射束印记的干扰,则2D设计的步骤中的对群集的边缘的重合的条件可以被抛弃。于是在它们之间可以存在将被调整以避免3D中的干扰的相当大的保护带。于是,不同群集的相交区域为空,所以数字显示器中的每一个opixel仅属于一个群集。
6.7其他光学设计
当数字显示器是平板的时,与远离显示器的中心的群集对应的微透镜具有非常难以实现的条件,因此要么它们不会适当地起作用,要么它们需要自由形式表面。类似的情况在柱面数字显示器的情况下对于朝向柱体的轴端(如果柱体的轴是垂直的,则为上部区域和下部区域)的微透镜被发现。对于这种情况的一种可能的解决方案是添加具有平面小面的菲涅耳透镜以使得对于每一个微透镜有小面。
现在参照示出了对于平板数字显示器(如图12a中所示的数字显示器)的设计的截面的图38,菲涅耳透镜3802优选地被定位在眼睛3800和微透镜阵列3804之间。这样,来自瞳孔范围3801的(反向)平行光线被朝向垂直于微透镜阵列偏转,但是仍然是平行的。这允许所有的微透镜都是相同的并且具有旋转对称性,或者至少更接近于相同的并且具有旋转对称性。在其更简单的版本中,微透镜阵列的靠近数字显示器的表面可以是平整的,并且表面S2的轮廓可以甚至是球面的,如果瞳孔范围不大(10-15度半角),则这提供足够的质量。菲涅耳透镜和微透镜阵列之间的分隔优选地尽可能地小(甚至物理接触)以最小化光学串扰,但是为了清晰起见,在图38至41中示出了它们之间的相当大的间隙。在图38中,每一个微透镜有一个小面。每个光学通道由菲涅耳透镜的一个小面、一个微透镜和数字显示器上的一个群集形成。每个小面的倾斜角度被设计为使得与微透镜的旋转对称轴重合的光线朝向眼球的中心偏转。可替代地,该条件可以被放松为使得每个菲涅耳小面的倾斜角度更小,因此更易于制造并且引起较小的色差。朝向眼球中心偏转的光线于是不与微透镜的旋转对称轴重合,而是形成角度3806。因为色差减小,所以这改进了菲涅耳小面的行为,但是因为微透镜必须与离光轴较远的光线一起起作用,所以这使微透镜的性能降低。目标是使图像分辨率保持高于人类角度分辨率。所有的微透镜3804都是相同的,并且菲涅耳小面3803可以围绕垂直于平板数字显示器并且穿过眼球的中心的直线布置成环。在这种情况下,同一个环的菲涅耳小面是相同的,但是围绕数字显示器的法线旋转。
注意,因为菲涅耳小面3803是平整的,所以如果RGB源是单色的,色差(由于对波长的折射率依赖性而导致)将仅引起失真(被称为横向颜色),但是不散焦。该色度失真可以通过彼此独立地映射R、G和B sub-opixel来避免。不过,源不是单色的,于是存在由于色差而导致的一些散焦效果。这个独立的RGB映射当然可以也用于任何其他的透镜设计。另外,微透镜上的色差可以使用微透镜来减小,这些微透镜的两个面都是非平整的,或者通过使用图39中所示的消色差双合透镜3906而更好。
减小色差的另一种替代(或补充)方式是使用衍射表面,而不是常规的连续的透镜表面。这可以适用于例如在K.C.Johnson的US 5,161,057中公开的、在O’Shea和Soifer中也有说明的菲涅耳小面。具有平整小面4003的这些菲涅耳透镜也可以用于如图40中所示的柱面数字显示器。在这种情况下,相同的微通道(菲涅耳小面4103加上微透镜4104)可以垂直于柱体轴按行布置(图41a)。
随着每一个群集的光学组件的数量增加,系统性能可以变得更好,并且单个组件制造可以变得更容易,但是整个系统一般来说更复杂,主要是由于需要使不同组件对齐而导致的。附加组件(诸如菲涅耳透镜)的使用的另一个重要的缺点是光学串扰可能增加。当来自数字显示器的点的光线通过多于一个的通道到达瞳孔范围时,这会发生。因为每个通道的光学器件仅仅是针对来自其对应的群集的光线设计的,于是光学串扰是不合需要的。为了减小同一行的菲涅耳小面4103a之间的光学串扰,平整小面4103a可以被如图41b中所示的具有连续的锥形小面4103b的菲涅耳透镜4102取代。该解决方案的缺点是,在菲涅耳小面4103b处折射的平面波不再是平面波,因此出现像散。通过将曲率引入到小面的子午截面,使得小面不再是椎体的表面的一部分,尽管仍然是旋转对称的,但是像散可以围绕主要主光线而被校正。因为这个弯曲的菲涅耳透镜引入了附加的折光力,所以相同的微透镜4104仍可以被使用,但是可能需要被定位在到显示器略微不同的距离处以校正附加折光力。
对于平板显示器,当菲涅耳小面按环布置时,类似的情况发生:当平整小面被连续的锥形小面取代时,同一个环的菲涅耳小面3803、3903之间的光学串扰减小。再次将曲率添加到子午截面给予了校正主要主光线周围的像散的必要自由度。图41c示出了用于平板显示器(诸如图38中的显示器)的菲涅耳透镜的每个小面的校正切向曲率的值,其是当眼睛向前静止时看到该小面的外周角的函数。
菲涅耳透镜中的每一个凹槽都具有有源的和无源的小面。菲涅耳透镜的无源小面的角度的设计旨在最小化在凝视矢量的邻域中的不期望的光的影响。被菲涅耳透镜的无源小面偏转的任何光线被认为是不期望的光。图42示出了其凝视矢量4201指向无源小面之一4208的瞳孔4202的某个位置。
给定的无源小面的设计的目的是,没有来自该无源小面的不期望的光通过小的外周角的值照射在瞳孔上(在任何给定位置处)。对于无源小面4208的任何倾斜,没有不期望的光照射在眼睛表面上的角度范围4203可以被找到。角度范围4203由瞳孔的两个位置界定:边缘点4204和4205,这些边缘点由如紧挨着指示的光线4209和4210限定。一个边界光线4209遵循透镜的折射介质内部的无源小面所平行的轨迹,并且表示在该无源小面上进行TIR的所有光线的极端情况。在该小面4211上进行TIR的所有其他可能的不期望的光线都照射在眼睛上、没有由边缘点4204和4205限定的不期望的光的区域之外。类似地,光线4210遵循在空气中(即,在透镜的折射介质的外部)的无源小面所平行的轨迹,并且示出了在该无源小面上折射的所有光线的极端情况。在该小面4212上折射的可能的不期望的光线中的其余的光线因此照射在眼睛上、由边缘点4204和4205限定的区域的外部,该区域保持没有不期望的光。
在菲涅耳透镜的更靠近眼睛的部分中,优选的无源小面倾斜角度被选为使得限制没有不期望的光的区域的光线4209和4210在两侧以相同的角度照射在眼睛表面上,即,角度4206等于角度4207。然而,在离眼睛某个距离处,当这样计算的结果得到的点4204到达瞳孔范围的边界时,优选的无源小面倾斜角度条件优选地变为使光线4209保持在瞳孔范围边界处。
存在另一个最后的实施例,在该实施例中,只有有小面的菲涅耳类型的透镜被使用(即,不存在附加的微透镜阵列),但是曲率被添加到平整小面以聚焦在显示器上。弯曲小面将仅仅是标准笛卡尔卵形线,该卵形线将使被关联到主要主光线的popixel聚焦到它对应的ipixel。小面的相对位置可以被选为例如使得主要主光线在垂直入射在表面S2上时被折射。该解决方案的成像质量仅对于相当小的瞳孔范围(10-15度半角)是可接受的,但是该解决方案具有如下优点,即,所有的透镜都在单个件中,并且更靠近眼睛的表面是平滑的,因此更易于清洁。
6.8opixel到ipixel映射
当使用头部跟踪时,必须考虑相对于ipixel的两个参考系。一个参考系Rground相对于地,在该参考系中,将被表示的场景优选被给予。第二个系Rhead将相对于头部。在该章节中,我们将仅论及用于ipixel的头部固定的参考系,而在第6.11节中,我们将考虑两者。
特别是当被用在完全沉浸式虚拟环境中时,场景的数字信息优选地应被定义在整个球体或者球体的很大的一部分中。因此,坐标系方向空间的离散化(像素化)应被使用。场景然后由对虚拟屏幕上的每个ipixel采取不同值的三个函数(R、G和B)限定。
考虑其原点在眼睛中心的参考系Rhead,其第一个轴指向左,第二个轴指向上,第三个轴指向前。作为例子,让我们考虑虚拟屏幕位于无限远处,所以(H,V)是ipixel的角坐标,这些角坐标分别被定义为H=arcsin(p)和V=arcsin(q)。ipixel方向的单位矢量于是为(p,q,(1-p2-q2)1/2),并且H和V分别是由ipixel方向与其法线矢量指向左和上的平面形成的角度。限定场景的三个函数因此是R(H,V)、G(H,V)和B(H,V)。考虑数字显示器上的opixel的空间坐标(x,y),我们在这个例子中假定数字显示器是可以是平板的或柱面弯曲的矩形数字显示器。
我们需要限定虚拟屏幕上的坐标(H,V)的ipixel和数字显示器上的坐标(x,y)的opixel之间的映射,所以当opixel被以函数R((x,y)、G(x,y)和B(x,y)点亮时,由虚拟屏幕上的R(H,V)、G(H,V)和B(H,V)给予的场景被重新创建。一般来说,不同的映射适用于每个函数R、G和B,所以横向色差可以被校正。这些映射通过实际设计上的光线追踪而计算得到(仅此一次),但是为了该说明的清晰性,呈现了简化的映射,该映射可以是所呈现的实施例中的一些中的良好近似。首先,考虑连续变量(x,y)和(H,V),稍后将讨论这些变量的离散化。
考虑所有微透镜都具有相同的焦距的情况,如图43中所呈现的,x和H之间的关系大致由线性分段组成,所有线性分段都具有相同的斜率1/f。在图43中,每个“锯齿”表示opixel的群集Ci,其中i∈{0,N-1}。例如,ipixel Ha被映射到opixel Xa1、Xa2、Xa3和Xa4中。给定其横坐标是x的opixel,它属于群集Ci,其中,i是大于Nx/A的第一整数(其中,A是数字显示器的x坐标长度)。这个opixel x被映射到具有由以下表达式给出的坐标H的ipixel:
H(x)=(x-xi)/f+Hi
其中,xi和Hi是群集Ci的齿形轮廓上的任何点的坐标。在这个线性例子中,简单的xi和Hi值由具有齿形轮廓分段的线4303的交集给出,即由以下表达式给出:
这里A’=HmaxIN+HmaxOUT,即,整个水平场。
逆映射x(H)是多值的。那么,对于H处的给定ipixel,我们必须首先找到哪些群集包含被关联到该给定ipixel的网的opixel。这是在图43中的辅助线4301和4302的帮助下进行的。这些群集Ci由imin<i<imax给出,其中,imin是大于Nxmin/A的第一整数,imax是大于(Nxmax/A)-1的第一整数,其中,xmin和xmax是线4300与线4301和4302之间的相交点的横坐标,它们由以下表达式给出:
xmin=g(H-HmaxOUT)+A
xmax=g(H+HmaxIN)
其中
然后,一旦群集Ci已经被找到,对于每个i,用x(H)=(H-Hi)f+xi找到opixel坐标,其中,xi和Hi由以上示出的表达式给出。类似的方程适用于y变量和V变量之间的映射,具体地说,V(y)=(y-yi)/f+Vi并且y(V)=(V-Vi)/f+yi
现在考虑两个维度上的离散情况。虚拟屏幕具有角度维度A’×B’(其中,B’=VmaxUP+VmaxDOWN)以及大小Δ’的a’×b’个ipixel(所以A’=Δ’a’并且B’=Δ’b’)。数字显示器具有空间维度A×B以及大小Δ的a×b个opixel(所以A’=Δ’a’并且B’=Δ’b’)。那么,每个opixel是索引k和l的矩阵的一部分,每个ipixel是索引k’和垂直索引l’的矩阵的一部分。
x=Δ·k k∈0,...,a-1
y=Δ·l l∈0,...,b-1
H=Δ′·k′-HmaxIN k′∈0,...,a′-1
V=Δ′·l′-VmaxDOWN l′∈0,...,b′-1
存在N×M个群集,其中,这里为了简单起见,N和M分别是a和b的因子。每个群集由水平维度上的a/N个opixel以及垂直维度上的b/M个opixel组成。通过将这些表达式代入到连续的表达式中,获得opixel(k,l)被映射到的ipixel(k’,l’)由以下表达式给出:
其中,由大于Nk/a和Ml/b的第一整数给出的i和j是opixel(k,l)所属的群集Cij的索引,并且
直接映射(即,从opixel(k,l)到ipixel(k’,l’))是找出opixel以寻址的最简单的方式:对于给定颜色,如R,对于每个opixel(k,l),你找到它对应的ipixel(k’,l’),然后将ipixel(k’,l’)的R值赋值给opixel(k,l)。注意到,k’和l’的计算一般来说将不会得到整数值。那么,赋值给opixel(k,l)的R值可以例如取自通过被四舍五入到最接近的整数的k’和l’给出的ipixel的R值。更好的近似通过使用与四个最靠近的ipixel处的R值一致的R的连续函数进行插值而获得(被关联到小于k’、l’的最大整数以及大于k’、l’的最小整数)。
注意,因为映射是满射的,所以从ipixel(k’,l’)处的R的相同值被读取多次(和该ipixel的网中的opixel的数量一样多)的意义上来讲,直接映射是低效的。逆映射提供继续进行的更高效的方式:对每个ipixel(k’,l’)读取R,找到它的网中的所有的opixel(k,l),并且同时对它们全部进行赋值。而且,通过数字显示器的软件实现寻址的这个指导方针可以被进一步如第6.9节中所讨论的那样进行优化。
如连续的情况下那样,为了计算逆离散映射,对于ipixel的给定的整数索引k’和l’,我们需要首先计算哪些群集Cij包含网的opixel。为了这个目的,我们可以对xmin和xmax(还有ymin和ymax)使用与连续的情况下使用的公式类似的公式,这些公式是由以下表达式给出的关于kmin和kmax(还有lmin和lymax)的公式:
kmin=gD(k′-a′)+a
kmax=gDk′
其中
或者等同地,
并且:
lmin=hD(l′-b′)+b
lmax=hDl′
其中
于是,对于每个群集Cij,从以下表达式找到k索引和l索引:
k=fD(k′-k′i)+ki
l=fD(l′-l′i)+li
其中,ki、k’i、li和l’i由以上示出的表达式给出。
再次,因为k和l的计算一般来说将不会得到整数值,所以赋值给ipixel(k’,l’)的R(或G或B)值可以例如取自通过被四舍五入到最接近的整数的k和l给出的opixel的R值。更好的近似通过对与四个最靠近的opixel处的R值一致的R使用连续函数进行插值而获得(被关联到小于k、l的最大整数以及大于k、l的最小整数)。
注意,在特定的光学设计(诸如本文中所公开的光线追踪被用于计算映射的光学设计)中,x-y和H-V变量之间的关系不是解耦的(也就是说,一般来说,H取决于x和y两者,V也取决于x和y两者),并且群集的边界一般也不是由x=常数和y=常数限定的。图55中示出了在图21中的2折设计的2D截面中获得的映射的例子。该映射因此将数字显示器的opixel分配在对称平面y=0处,并且将虚拟屏幕的ipixel分配在V=0处。
图56也示出了用于2折构造的映射的例子,但是在这种情况下,映射是在二维中、而不是仅在一维中表示的。该映射可以例如适用于2折透镜(诸如图20中的透镜)。映射算法是通过虚拟屏幕上的黑色矩形栅格(图56a)以及它在数字显示器上的对应图像(图56b)来表示的。数字显示器上的图像清晰地示出两个不同的一半(左和右),每个对应于构成透镜的两个微透镜中的一个。
描述用于2折构造的映射算法的方程可以用下面的方程来描述。
其中,如图56所指示的,H和V分别是虚拟屏幕上的水平角坐标和垂直角坐标,而x和y是数字显示器上的水平坐标和垂直坐标。N指示多项式的最大次数,Ai,j和Bi,j是多项式的项中的每个项的不同系数。当x>0(即,数字显示器的与右微透镜对应的区域)时,上面的方程是有效的,而对于x<0(即,与左微透镜对应的区域),方程如下:
系数Ai,j和Bi,j在设计之间变化,但是表4示出了它们对于图56中所示的映射例子的特定值:
表4
6.9电子数字显示器寻址
数字显示器可以是几种类型,例如,有机发光二极管(OLED)、透射液晶显示器(LCD)或硅上反射液晶显示器(LCOS)。在所有情况下,虚拟屏幕上的ipixel的足够高的分辨率连同超宽FOV暗示着大量信息。考虑球面数字显示器的情况的数值例子。遵照图4,如果HmaxIN=50度,HmaxOUT=50度,并且预期ipixel间距为3弧分,则水平ipixel的数量将是(75+50)×60/3=2,500。对于垂直截面,假定VmaxUP=VmaxDOWN=45度,那么垂直ipixel的数量将成比例2,500×(45+45)/(75+50)≈1,800。因此,要处理的信息的最少量约为(π/4)×2,500×1,800=3百5十万个ipixel,其中,(π/4)考虑到椭圆FOV的情况。这个最小值是保守的数字,因为该数字可以通过考虑到由于位于虚拟屏幕的外部区域处的外周ipixel永远都不会被直接凝视、因此这些外周ipixel的分辨率要求可以降低而减小。如图9A或B中所呈现的,当外周角增大时,人类角度分辨率降低。我们已经计算出对于20度半角的瞳孔范围在虚拟屏幕的外部区域中匹配人类分辨率将使3百5十万个opixel要求降至仅800,000个opixel。
然而,因为在该方法中数个opixel被用于创建每个ipixel,所以opixel的总数大于ipixel的总数。这通过使用微透镜结构来允许高度紧凑的光学器件,但是引入了对数字显示器进行寻址的艰难的挑战。以前面的微透镜表面S2到眼睛中心距离为L=29mm并且焦距为f=7.18mm的例子为例,将被投影在3弧分中的opixel大小将是7.18mm×tan(3弧分)=6,2微米。因为数字显示器将在大致(θmaxINmaxOUT)(L+f)=78,9mm的弧上展开,所以水平opixel的数量将是78.9/0.0062≈12,700个(因此,每一个网的opixel的数量为(12,700/2,500)2≈26个)。对于垂直截面,垂直opixel的数量将与角度FOV成比例,如12,700×(45+45)/(75+50)≈9,100个。因此,数字显示器将需要对大约(π/4)×9,100×12,700=9千万个opixel进行寻址,其中再次,(π/4)考虑到椭圆FOV。
在这个数值例子中,被选参数导致6.2微米opixel间距和9千万个opixel。该opixel间距接近于通过目前的硅上OLED技术可获得的opixel间距(如按照2013年的MicroOled通过使用OLED在CMOS晶圆上的技术生成的3.8微米正方形子像素),但是9千万个opixel超出了通过现有技术的目前状态可寻址的范围。对于f=4.65mm的焦距,opixel间距缩小到4微米,并且opixel的数量达到90*(7.18/4.65)2=2.15亿个。
接着公开解决数字显示器在高分辨率情况下的寻址问题的四个解决方案(参见下面的第6.9.1、6.9.2、6.9.3和6.9.4节)。为了清晰和简单起见,前面的计算假定在微透镜中没有显著的失真并且群集大小是大致恒定的。这在下面的例示说明构思的描述中也将被假定:通过使用所公开的光学设计中的任何一种设计的ipixel和opixel之间的实际映射,更精确的计算在本领域的普通技能内。
6.9.1 ipixel隔行扫描
在第6.2节中,介绍了提高分辨率的ipixel隔行扫描技术,在该技术中,相邻的微透镜属于不同的网,每个网被关联到相邻的ipixel。然而,隔行扫描也可以被用于减少所需的opixel的数量。例如,k=3的隔行扫描因子可以被应用,使ipixel间距保持为3弧分,以使opixel的数量在f=7.18mm的情况下从9千万个减少到90/(3×3)=1千万个。这仅略高于超高清(UHD)4K标准,所以目前在实践中也是可寻址的。
6.9.2经由网的并行寻址
第二个解决方案是通过在数字显示器中物理地(用硬件)连接网的opixel的电子驱动器而获得的。opixel的电子寻址然后由网、而不是单个的opixel来进行。因为只有网(或者等同地ipixel)需要在外部被寻址,所以对于f=7.18mm和f=4.65mm两种情况,这是仅3百5十万个不同的地址,这些地址少于在写入时可用的4K UHD的数量的一半。折减因子等于每一个网的opixel的数量,对于f=7.18mm,该数量为90/3.5=26个,对于f=4.65mm情况,该数量为215/3.5=61个。
为了理解网的硬件互连可以如何被以高效的方式进行,应给出关于数字显示器通常如何被寻址的简要说明。仅仅为了说明的清晰性,图44示出了有源矩阵数字显示器(仅呈现16个像素的数字显示器)的简单框图。它由像素阵列4404、选择线驱动器4400和数据线驱动器4403组成。对于诸如4405a的每个opixel,选择线4400a必须开启以允许该opixel显示数据线(在opixel 4405a的例子中,4403b)提供的信息。在该矩阵中,每个opixel行连接到选择线4400a或4400b,并且每个opixel列连接到数据线4403a或4403b。观察到在阵列4404的内部有4根选择线,这4根选择线在阵列4404的外部成对地并联连接,所以只有2根选择线(4400a或4400b)是独立的。第一行opixel 4405a、4405b等的选择线通过连接4406a而连接到第三行opixel 4405c、4405d等的选择线,第二行像素和第四行像素的选择线通过连接4406b。同样发生于数据线上。第一列像素和第三列像素中的像素通过连接4407a连接,同样通过使用连接4407b发生于第二数据线和第四数据线。阵列4404外部的这些连接(4406a、4406b、4407a、4407b)限定了网。由于这些连接,选择线(4400a或4400b)和数据线(4403a或4403b)不再对各个opixel进行寻址,而是对单个的ipixel进行寻址。该构思可以简单地扩展到任何数量的opixel、网和群集。
在每个周期中,选择线驱动器4400仅激活选择线n,并且只有行n的ipixel将获取数据线驱动器提供的信息。在下一个周期上,只有选择线n+1被激活,因此只有线n+1的ipixel获取信息。这继续进行,直到所有线的ipixel都已经显示了信息为止,然后新的帧被启动。如果数字显示器的opixel的数量非常大,则周期的时间段必须足够短以使得帧率对于目标的应用是可接受的。
图44呈现了具有网的数字显示器的简单框图。在一个实施例中,数字显示器可以具有多个opixel和多个网,多个网中的每个都具有多个opixel。网不一定具有相同数量的opixel。仅仅是为了说明的清晰性,该框图仅呈现了十六个opixel的矩阵与四个网,每个网有四个opixel。例如,opixel 4405a、4405b、4405c和4405d形成网。在该框图中,opixel被分组为四个群集(4401a、4401b、4401c、4401d),每个群集对应于一个微透镜。
在本公开的另一个方面,输入选择线和数据线(即,在外部连接的线)被物理地分配为使得不同的线被连接以在不同的群集进入阵列,与它们全都在同一个群集处被连接完全不同。该特征避免了数字显示器的小部分中的高密度的连接,降低了其制造复杂度。
在另一个实施例中,数字显示器中的每个网的opixel可以用硬件电互连以使得它们全都总是同时开启和关闭,即使它们未被如图12A中的微透镜极面布置中发生的那样构造成矩形矩阵。可替代地,软件解决方案在于,同时对同一个网中的选择线进行寻址并且将相同的平均信息放置在对应的数据线上。在任何情况下,它暗示独立的选择线和数据线的数量的减少。
6.9.3匹配人类角度分辨率的并行寻址
另一个技术解决方案可以用于减少数据显示器寻址问题。它包括通过使用靠近群集的边界所需的分辨率相对较低的事实来降低显示器的分辨率或者减少所需的选择线和数据线的数量。本描述将论及虚拟屏幕的被凝视区域,但是它可以简单地适用于虚拟屏幕的外部区域,在外部区域中,所需的人类角度分辨率甚至更低,因此,从虚拟屏幕的被凝视区域推导的折减因子是保守的。
如图9A中所呈现的,当外周角增大时,人类角度分辨率降低。这可以用于减少眼睛仅在高外周角处看到的数字显示器的区域中的opixel的数量。在所呈现的光学设计中,人类视觉的这个性质可以用于减少与每个微透镜对应的每个群集的像素的数量。
图45示出了眼睛4500与微透镜阵列4505、瞳孔的两个位置4501和4502以及数字显示器4506a的示意性侧视图。数字显示器也在前视图4506b中被呈现,以使得与中心微透镜4508对应的中心群集4507中的像素的密度是可见的。为了说明的清晰性,只考虑这个微透镜和群集,但是同样的构思可以适用于任何微透镜。图45示出了瞳孔范围的两个位置中的瞳孔。在中心瞳孔位置4501中,来自显示器的中心群集的光线垂直于瞳孔;在瞳孔位置4502中,来自中心群集4507的光线来自该群集的外周,并且以外周角θmax照射在眼睛中。
让我们调用图9A或9B中的虚线所描述的函数,即,人类角度分辨率F(θ)(以每一度的周期数为单位)。考虑显示器到微透镜的距离大致为f,每个单位长度的opixel中所需的分辨率由以下表达式给出:
其中,r是离群集的中心的距离,L是从眼睛的中心到微透镜的距离,E是眼球的直径。函数opd(r)提供在群集内的每个位置中满足眼睛分辨率所需的opixel的数量。
在群集的任何位置处满足人类角度分辨率所需的群集中的opixel的最小理论数量由以下表达式给出:
其中,xmax和ymax是矩形群集的水平半侧和垂直半侧,这两个半侧都可以用d/2逼近,其中,d是微透镜间距。
然而,在实践中,令人感兴趣的是,考虑到中心行(在x=0处)限定可寻址数据线(其是具有最高分辨率要求的行)并且中心列(y=0)限定可寻址选择线(其是具有最高分辨率要求的列)来计算群集中的opixel的数量。通过该策略,数字显示器寻址与如前所述的常规的矩阵方法兼容。这个实际数量被计算为:
呈现了两个数值例子。对于两种情况,L=29mm,d=2mm,E=26mm。在第一个数值例子(其与网寻址方法中使用的数值例子一致)中,f=7.18mm,并且该人类分辨率匹配解决方案对于Nparc和Ntheo分别得到opixel的数量的5.2和10.5倍的折减因子。实际的折减因子5.2必须与通过网寻址方法获得的因子26进行比较,暗示9千万个opixel在这种情况下减少到1千7百万个。对于f=4.65mm的情况,2.15亿个opixel减少到2千4百万个。
该解决方案简单地扩展到所有群集,并且折减因子是保守的,因为虚拟屏幕的不被眼睛凝视的外部区域允许大得多的折减。
表5
f(mm) Nmax Nprac/折减因子 Ntheo/折减因子
7.18 112,330 21,751/5.2 10,721/10.5
4.65 255,216 28,569/8.9 13593/18.8
该折减可以以三种方式实现:(1)通过使数字显示器在每个群集中的opixel的大小可变来实际上减少它们的数量;(2)使它们的大小相等,但是在电路上将它们物理地互连;以及(3)使它们相等,但是简单地同时地对对应的选择线和/或数据线进行寻址,并且将相同的平均信息放置在对应的线上。在任何情况下,独立的选择线和数据线的数量减少,因此有必要提供给显示器的数据量减少。
6.9.4混合解决方案
该混合解决方案是网寻址(第6.9.2节)和可变分辨率构思(笫6.9.3节)的组合。它考虑到每个网中的opixel可以具有不同的分辨率需求。如果Nop/web是网中的opixel的数量,d2是微透镜面积,则瞳孔范围到ipixel的投影面积将是Nop/webd2。我们隐含地假定微透镜面积与瞳孔范围面积相比很小,所以前面的表达式中的四舍五入的影响是可忽略的。假定该投影面积是圆形的,则其半径可以被估计为R=(Nop/webd2/π)1/2。大致位于离这样的圆的中心的相同距离处的微透镜将具有相同的对应的外周角,因此它们对应的opixel上的分辨率要求是类似的。因此,可以将原始网划分为半径更小的网,它们中的每个聚集大致位于到该圆的中心的恒定距离处的opixel。当然,我们通常将得到比解决方案6.9.2的网的半径更大的网。图46示出了微透镜阵列4600上对于某ipixel方向而言两个径向网4601和4602所对应的区域,该ipixel方向由瞳孔范围的从眼睛4629的挤出方向限定。在图46中,为了清晰起见,微透镜面积被示为与瞳孔范围面积是可比的。每个径向网的opixel的数量Nop/radweb可以通过在对数字显示器的中心区域用opixel的所需密度进行加权之后计算opixel的有效数量来进行估计,也就是说:
对于前面的眼球直径E=26mm并且微透镜边为d=2mm的例子,当f=7.18mm时,Nop/web=26,Nop/radweb=1.69,而当f=4.65mm时,Nop/web=61,Nop/radweb=1.95。折减因子由比率Nop/web/Nop/radweb给出,这对于f=7.18mm得到15,对于f=4.65mm得到31。因此,该因子优于实际的匹配人类角度分辨率的并行寻址(第6.9.3节),但是低于网寻址(第6.9.2节)。
下表6总结了所公开的解决对高分辨率大FOV装置进行寻址的问题的四种方式就具有参数d=2mm、HmaxIN=50度、HmaxOUT=75度、ipixel间距=3弧分、VmaxUP=VmaxDOWN=45度的例子的比较。
表6
应注意到,当使用较低分辨率和较低成本的有源矩阵数字显示器技术的数字显示器(诸如其opixel间距目前限于40微米的IPS-LCD或LTPS OLED)时,这个寻址问题不是如此关键性的。这暗示着在前面的数值例子中,opixel的总数将仅约为90,000,000×(6.2/45)2=1百7十万个,类似于目标的全HD技术,因此是可寻址的,所以网将完全用软件来管理。然而,因为焦距为7.18mm,所以ipixel间距将为19弧分。为了提高ipixel分辨率,可以使用以上公开的隔行扫描的ipixel的技术,在该技术中,相邻的微透镜属于不同的网,每个网被关联到相邻的ipixel。例如,如果k=3,也就是,微透镜之间的间距为3d,则前面的例子中的19弧分的角间距将减小到19/3≈6.3弧分,这被相信对于中等分辨率视频游戏市场是可接受的。
组合四种类型的解决方案在本领域的普通技能内,例如,网寻址可以被应用在虚拟屏幕的被凝视区域中,与匹配人类角度分辨率的并行寻址被应用于在虚拟屏幕的外部区域中相结合,这可以提供比单独两种技术中的任一种更高的折减因子。
6.10颜色的产生
为了简单起见,在到目前为止的大部分描述中,仅描述了单色解决方案。所有的构思(如网、群集等)都单独地应用于每个基本RGB颜色,所以例如R群集将不会重叠(设计规则R2),但是R群集和G群集的边缘可能重叠。为了扩展呈现给多色情况的技术解决方案,可以使用三个不同的实施例。
在一个实施例中,可以用使用子像素(即,一个opixel由三个子像素红、绿和蓝组成)的OLED显示器来产生颜色。在现实中,显示包括opixel红、绿和蓝的三个隔行扫描矩阵,并且每个子像素是彼此电独立的。每个opixel表现出组合红色、绿色和蓝色光的单一颜色,该颜色由于眼睛的有限分辨率和光学组成部分而模糊。
在被称为W-RGB的另一个实施例中,白色OLED或具有背光的LCD(其中所有的opixel都产生颜色白色)可以与空间上分隔的滤色器结合使用。可替代地,可以使用所谓的W-RGBW方法来产生颜色,在该方法中,除了原色RGB opixel之外,还添加了白色的第四opixel。白色发射通过对于红色、绿色和蓝色子像素有吸收的滤色器。不过,白色子像素未被吸收,因此系统的效率更高。因为大多数真实世界的颜色是接近白色的,所以该方法奏效。
前面的三个所描述的产生颜色的实施例也可以使用子像素渲染的技术。该技术在于使用相邻opixel的不同子像素来创建额外表观opixel,这提高了通常被称为伪分辨率的表观分辨率(T.Tsujimura,“OLED displays:Fundamentals and Applications”Wiley,2012)。
在另一个实施例中,通过使用白色OLED,液晶滤色器由软件/固件控制地使用,并且与OLED同步。滤色器顺序地改变,并且在每个时刻,滤色器通过一种颜色,红色、蓝色或绿色。颜色通过时间复用而被提供,即,切换速率快得足以使眼睛整合三种原色图像以形成图像。该技术例如被Johnson等人在US 5,822,021中描述,并且可以用于达到非常高的分辨率,因为opixel密度可以增大三倍。
在另一个实施例中,光学器件可以用于产生颜色。与微透镜相关联的每个群集可以是单色的,即,仅具有原色(RGB)中的一个的像素。相邻群集中的两个将具有其他原色,并且颜色产生是通过从多个微透镜通过眼瞳的光的空间整合来进行的,该光应小得足以防止颜色伪像。该实施例相当大地简化了制造工艺,因为仅使用了一个群集大小的滤色器。用于RBG opixel构图的较小单个像素使用掩模或者用于每个像素的滤色器(在W-RGB和W-RGBW情况下)不再是必需的。因此,群集颜色可以通过使用具有群集的间距的RBG构图或者针对W-RGB和W-RGBW情况具有群集的间距的滤色器来提供,或者通过使用在每个微透镜的表面上具有滤色器的白色数字显示器来提供。另外,因为不存在子像素,所以opixel的数量可以减少三分之一。
在另一个实施例中,每个群集可以是双色的,每个具有三个原色RGB在所有可能组合(RG、GB和RB)中的一对。优于传统的颜色构图的一个优点是,双色opixel可以被构图在具有一维掩模对齐的条纹中,一维掩模对齐比经典的RGB子像素布置所需的二维对齐更容易。类似于单色群集情况,颜色产生是通过从多个微透镜通过眼瞳的光的空间整合来进行的。然而,因为大多数真实世界的颜色接近于白色,所以在这个双色群集情况下,每个微透镜的颜色可以被产生得更接近于白色,并且颜色整合将最小化或者至少可以减少颜色伪像的出现。图47使用CIE色度图展示了原理。内部三角形的拐角处的点4703a、4703b和4703c分别对应于绿色(G)、红色(R)和蓝色(B)发射。沿着RGB三角形的边的颜色4700a、4700b、4700c、4701a、4701b和4701c均是通过RGB颜色之中的仅两个的组合产生的。可以通过仅两种RGB颜色产生的颜色由三角形的边(线4702a、4702b和4702c)限定。然而,通过执行三个点4700a、4700b和4700c或者4701a、4701b和4701c的空间整合,颜色4700和4701可以分别被产生,还有RGB三角形内的任何其他颜色也可以被产生。实现到将被表示的颜色的最小距离的颜色组合的选择将优选地在Lab颜色空间(http://en.wikipedia.org/wiki/Lab_color_space)中、而不是在CIE图中进行,因为在Lab颜色空间中,颜色距离的度量更易于限定。另外,因为在每个群集中只有2个子像素,所以opixel的数量可以减少2/3。
在另一个实施例中,可以使用具有顺序颜色与LED背光的快速透射LCD(例如,铁电类型)。在该方法中,R、G和B LED顺序地开启和关闭,并且LED同步地显示信息。相同的原理也可以适用于反射型数字显示器,诸如硅上LC(LCOS)或数字微镜器件(DMD),但是在这种情况下,LED薄型前光(诸如T.Shuimizu等人在US 7,163,332 B2中公开的那些)必须被用来点亮数字显示器。
6.11跟踪
多个跟踪系统与本公开组合是令人关注的。位置和方位跟踪被用在虚拟环境(VE)中,在VE中,需要实际物理对象(在我们的情况下,HMD)的方位和位置呈现固定到物理地面的VE。为了得到关于该对象的位置和方位的变化的信息,我们需要其位置的三个坐标(x、y、z)和三个角坐标(即,俯仰(海拔)、翻滚和偏航(方位角))。因此,最少需要六个自由度(DOF)来充分地描述对象在3-D中的位置和方位。头部跟踪器的响应时间对于避免所谓的晕屏的症状是重要的。
三种类型的传感器在跟踪器技术中常被用来计算三种角坐标。首先,磁性传感器被划分为两个组,测量整个磁场的那些和测量该场的矢量分量的那些。矢量分量是磁场的各个点。第二,加速度计通常是小型的微电子机械系统(MEMS),并且实际上是可能的基本上仅包括具有保证质量(也被称为抗震质量)的悬臂梁的最简单的MEMS器件。阻尼是由密封在装置中的残余气体造成的。只要Q因子不是太低,阻尼就不会导致灵敏度降低。第三,陀螺仪基于角动量守恒原理来测量方位矢量,参见例如http://en.wikipedia.org/wiki/Angular_momentum。
在三种类型的传感器之中,陀螺仪是最耗能量的。由于这个原因,已经开发了模仿9轴传感器的6轴解决方案(没有陀螺仪)(具有仿真陀螺仪的电子罗盘)。为了获得位置(x,y,z)和三个角坐标俯仰(海拔)、翻滚和偏航(方位角),可以使用光学跟踪系统,在该光学跟踪系统中,眼镜合并其发射被相机捕捉的一群红外发射器,并且图像被处理。可替代地,检测场景中的位于数个距离处的数个固定参考点(使得视差是可感知的)作为初始校准的微型相机可以被合并在眼镜上,并且被用于计算头部的位置和方位。
对于真实的沉浸式体验,视觉信息必须被补以声学信息。馈送耳机的音频信息可以是3D的,包括来自特定虚拟声源的声波的相位的计算、对平均人类而言每个耳朵的3D角度响应、以及通过头部跟踪的处理。在该选项中,每个局部化音频源不仅用其音频信号描述,而且还用该源在参考地面的空间中所做的轨迹来描述,使得可以在头部的任何位置计算用于每个耳朵的音频通道。
最后,可以有用的另一个跟踪元素在于使用眼睛跟踪器对瞳孔范围的动态适应。这允许增大要求特别高的设计(诸如图33的设计)的中心微透镜中的f数。如US 2004/008971的现有技术使用这样的眼睛跟踪器,但是它们的微型透镜阵列完全不同于这里论及的微透镜阵列。在我们的情况下,眼睛跟踪器将向控制电子系统馈送眼睛凝视方向,并且瞬时瞳孔范围将被计算(优选地,瞬时瞳孔范围的直径比实际瞳孔大20%,以允许眼睛跟踪器中的容限和延迟)。然后,群集边缘将被计算,并且信息被发送到数字显示器。如A.Canessa等人,“The Perspective Geometry of the Eye:Toward Image-Based Eye-tracking”,Chapter 1 in Human-Centric Machine Vision,ISBN 978-953-51-0563-3,2012中所描述的,可以被集成在我们的系统中的眼睛跟踪系统的例子是基于查看眼睛中的至少一个的微型相机,并且瞳孔和虹膜的投影椭圆形状的分析允许以足够的精度估计凝视矢量。
6.12特定用户校正
到目前为止公开的实施例考虑用户的每个眼睛将正在观看虚拟屏幕上的图像,虚拟屏幕可以是半径为R的球体。因为优选的可视化将是立体的,所以当3D对象被定位在与虚拟屏幕相同的距离处时,所表示的对象将被具有正常视力的用户完美地看到。当3D对象比虚拟屏幕更远离或更靠近用户时,眼睛将聚焦在对象深度处,因此略微的散焦将被感知到。这是3D立体声显示系统中常见的所谓的适应性调节-会聚问题。
受到视力缺陷影响的用户可以在本文件的实施例的前面佩戴他们的普通眼镜或隐性眼镜。然而,还可以为受到-D屈光度(D>0)的近视影响的用户设计进行校正的特定光学器件,仅使虚拟屏幕半径的倒数1/R增大1/D的量。类似地,对于患有+D屈光度(D>0)的远视的用户,可以使1/R减小1/D的量。
可替代地,近视或远视的逼近校正可以通过仅改变数字显示器到透镜的距离来使用针对正常视力用户设计的透镜而被实现。这样的距离可以通过微透镜上的光线追踪来计算以优化半径被缩小或扩大的对应的虚拟球体图像上的图像信息。在该光线追踪中,ipixel到opixel映射也应被计算。因此,对近视或远视的这个逼近校正将需要调整从数字显示器到透镜的距离并且用软件修改映射。
像散(以及像散和近视或远视的组合)的校正可以通过在设计中考虑与切向平面和矢状平面的切向焦点和矢状焦点以及方位相关联的两个虚拟图像球体来进行。可替代地,可以通过对用户眼睛使用标准模型并且进行通过它一直到视网膜的光线追踪来执行设计。
不同用户还可能具有不同的瞳孔间距。显然,底座可以被设计为允许针对每一个用户调整左透镜和右透镜与数字显示器机组之间的相对分隔。可替代地,光学设计可以针对如63.5mm的典型的瞳孔间距来进行,并且光线追踪可以被执行以计算与不同的瞳孔间距(通常在58至74mm的范围内)对应的opixel到ipixel映射,特别是群集边界。因此,瞳孔间距的这个逼近校正将需要用软件调整映射的修改。在一些如两折设计的特定实施例中,只有校正群集边界可以是可接受的校正。
6.13底座
图57a示出了用于本公开的实施例的底座的前视图。该底座类似于其侧件贴合在用户的耳朵上的常规眼睛的底座。它包含一对相机5701、一对麦克风5702,还有一对耳机5703。图57b示出了同一个实施例的后视图。微透镜阵列已经被从右侧移除以示出显示器5704。该微透镜阵列5706仅在左侧显示装置中被示出。头部跟踪系统5705被安置在底座的内部。图58示出了使用护目镜状的底座的实施例,该底座具有将底座固定到头部的弹性带条。它也包含一对相机5801、一对麦克风5802,还有一对耳机5803。图58b示出了同一个实施例的后视图。微透镜阵列已经被从右侧移除以示出显示器5804。该微透镜阵列5806仅在左侧显示装置中被示出。头部跟踪系统5805被分配在底座的内部。
美国多于60%的成年人佩戴眼镜。可以对显示装置的光学系统进行数种改造以适合使用如第6.12节中所讨论的处方眼镜的那些用户。图59示出了一种方法,在该方法中,处方眼镜5901(仅左侧被示出)被集成在显示装置底座中,在底座特征5902的帮助下被定位在眼镜和微透镜阵列5904之间。
前面对本文件设想的实施例的描述不是从限制的意义上来进行的,而是仅仅是出于例示说明整体原理的目的而做出的。与所描述的特定实施例有所变化是可能的。例如,尽管已经描述了特定实施例,但是技术人员将理解不同实施例的特征可以如何被组合。
在本说明的大部分中,为了简单起见,假定显示器是数字的,并且被数字电子图像处理装置驱动,但是这不是限制。还假定显示器由不同的物理元件(被称为“像素”)的阵列组成,每个物理元件能够生成所选强度的、优选地所选颜色的光,但是不能对像素的区域上的光进行空间调制,使得显示器的空间分辨率受像素宽度的限制。有技能的读者将理解本申请的原理可以被如何应用于其他类型的显示器,包括以后将开发的类型。
某些数值例子已经基于显示装置的像素的数量和大小以及在撰写时可供使用的驱动器硬件和软件的能力而被给出。预计更好的显示器和更好的驱动器在未来将变得可供使用,并且有技能的读者将理解当更好的显示器和更好的驱动器变得可供使用时如何将本文件的教导改造为利用它们。
本发明因此不受到以上所述的实施例、方法和例子的限制,而是包括本发明的范围和精神内的所有实施例和方法。因此,应参照所附权利要求,而不是前述说明书来指示本发明的整个范围。
6.14附录
6.14.1附录A
考虑图48中所示的情况,即,来自数字显示器4801的opixel 4800的光首先被折射表面S1 4802折射,其次被折射表面S2 4803折射,以被引向眼瞳4804。表面S1和S2之间的介质具有折射率n,而数字显示器和眼瞳之间的其余的介质具有折射率1。图49示出了对于柱面数字显示器4901的相同情况。
点4905和4906以及这些点处的表面法线使得来自opixel 4900的中心的光线在表面S1和S2处的折射之后到达眼球的中心。该光线被称为主要主光线。我们将要假定存在使得主要主光线的相邻光线满足消球差条件的一对表面S1和S2。
图50中说明了我们将要使用的消球差条件。考虑主要主光线5009的相邻光线5020,该光线也是从点5000发出的,并且与正交轴5021和5022形成角度α5023和β5024。这些轴包含在数字显示器平面5001中(在非平板数字显示器的情况下,这些轴限定在点5000处与数字显示器相切的平面)。当消球差条件被满足时,该相邻光线退出微透镜,该微透镜与主要主光线平行,并且使得其相对于垂直于出射轨迹的两个正交轴(5025和5026)的x、y坐标满足:
x=fx·(cos(α)-cos(αChief))
y=fy·(cos(β)-cos(βChief))
其中,αChief和βChief是主要主光线的角度α和β,fx、fy是两个常数。让我们还假定表面S1和S2(即,由这些表面限定的微透镜)具有对称平面,该对称平面是由主要主光线的轨迹限定的平面。在图48的例子中,为了使下面的说明容易,该平面与包含眼球的中心的水平面重合。在图49中,由于相同的原因,对称平面与也包含球体的中心的垂直平面重合。
我们将要在点4905和4906处对折射表面中的每个计算两个主曲率,以使得发自4900的主要主光线及其相邻光线在两次折射之后满足消球差条件。因为微透镜的对称平面,两个主曲率线中的一个是该表面和对称平面的交集。这些主曲率线是4810和4811(图48)。其他曲率线4812和4813垂直于第一曲率线。图48和图49中示出了4个曲率线(对于S1,2个,对于S2,2个)。
图51示出了跨微透镜的对称平面的系统的截面。为了简化以下方程的记号,让我们将A和B称为主要主光线与表面S1和S2的交集的点,即,图49的点4905和4906,并且让我们将图48的点4800和图49的点4900(这两个点是等同的)称为O1。考虑出自于图51的点5100(O1)的球面波前。这些光线在由两个表面S1和S2(其截面是5130和5131)形成的微透镜处被折射,被作为一组平行光线重定向到眼瞳。表面S1和S2之间的介质的折射率为n(例如,对于丙烯酸材料,n=1.492)。让我们建立两个坐标系,第一个由矢量x和z以及点O限定,第二个由矢量x1和z1以及点O1限定。其余的矢量y和y1垂直于图51中的绘图的平面。这两个系的坐标(x,y,z)和(x1,y1,z1)通过以下表达式关连:
其中,c是点O和O1之间的距离。使用变量p和q(p=cosα和q=cosβ)并且考虑到对称平面的消球差条件仍然为:
x=fx(p-p0)
y=fyq
其中,p0=cos(αChief)。图51示出了一般近邻5132和主光线5109。观察到,一般来说,不同于常规的消球差系统(参见例如G D Wassermann和E Wolf“On the Theory ofAplanatic Aspheric Systems”1949Proc.Phys.Soc.B 62 2.doi:10.1088/0370-1301/62/1/302),矢量x1(5121)和矢量x(5125)是不平行的。
点A和B处的表面法向矢量分别是n1和n2。在两次折射之后,该光线与轴z重合。注意,在这个例子中,αChief=π/2-γ。现在考虑其他光线,例如,穿过点P和Q的光线。从O1到(在两次折射之后)垂直于z的波前的光路l为:
l=r(p,q)+n|A-B|-z·B+const=r(p,q)+n|A-B|-z(p,q)+const (8)
其中,r(p,q)是从O1到A的矢量的长度,即,r(p,q)=|A-O1|,并且如前所述,p、q分别是关于从O1发出的光线x1、y1的方向余弦。A和B由坐标系xyz中的以下表达式给出:
B={fx(p-p0),fyq,z(p,q)} (9)
沿着对称平面中所包含的表面S1和S2的曲率线,我们有q=0。根据费马原理,任何两个点之间的光线轨迹必须使得光路长度是极值。因此,当两个点O1到B固定时,费马原理暗示,当这个导数在q=0处被挑出时,对于其他曲率线类似地,当这个导数在p=p0处被挑出时,曲率从这些表达式,我们得到:
其中,前面的方程中的偏导数对于q=0和p=p0被挑出。该方程表示点A处的折射。
类似地,第二次折射(在B处)由以下表达式给出:
其中再次,前面的方程中的偏导数对于q=0和p=p0被挑出。我们也可以从方程(9)计算:
Bp={fx,0,zp(p,0)}
通过使用最后4个方程,我们可以消除rp和zp,并且在一些微积分(求导项和重排项)之后,我们可以得到作为(r,z,p,po,fx,γ,n,c)的函数的关于Ap和Bp的两个表达式。例如,将方程(12)代入到方程(10)和(11)中,对rp和zp进行求解,并且使用结果来消除方程(12)的的rp和zp。这两个关于p的表达式的求导给出了作为(r,rp,z,zp,p,po,fx,γ,n,c)的函数的关于App和Bpp的表达式。这两个表达式(App和Bpp)可以对于值p=po被挑出。然后,一旦我们知道A0=A(po,0)并且B0=B(po,0),我们就可以计算Ap(po,0)、Bp(po,0)、rp(po,0)、zp(po,0)、App(po,0)和Bpp(po,0)。曲线的曲率可以被表达为(参见例如http://en.wikipedia.org/wiki/Curvature#Local_expressions):
对于我们的情况,点A0和B0处的表面S1和S2的主曲率线(包含在平面xz中的曲率线)的曲率κ1可以被计算为:
对于其余的曲率线,方程(12)的等同形式为:
Bq={0,fy,zq(p0,q)}
通过使用方程(15)与(10)和(11),我们可以消除rq和zq,并且在一些微积分(求导项和重排项)之后,我们可以得到作为(r,z,p,po,fx,γ,n,c)的函数的关于Aq和Bq的两个表达式。关于q的这两个表达式的求导给出了作为(r,rq,z,zq,p,po,fx,γ,n,c)的函数的关于Aqq和Bqq的表达式。然后,一旦我们知道A0=A(po,0)并且B0=B(po,0),我们就可以计算Aq(po,0)、Bq(po,0)、rq(po,0)、zq(po,0)、Aqq(po,0)和Bqq(po,0),最后曲率κA1和κB1
由光线p=p0和表面S1的交集限定的曲线、或者当这些光线跨过表面S2时由这些光线的轨迹的交集限定的曲线不一定是曲率线,但是它们在点A0和B0处与曲率线相切。然后,这些线的法向曲率(对于法向曲率的定义,参见例如D.J.Struik“Lectures onClassical Differential Geometry”Dover,2012)与曲率线的曲率一致。该法向曲率于是是表面的法线方向上的曲率矢量的矢量分量。如果分别是由表面S1和S2的法线与曲率矢量形成的角度,则点A0和B0处的其余的主曲率线的曲率κ2可以被计算为:
作为例子,图52示出了作为当眼睛向前看时看到每个微透镜的中心的外周角的函数的、对特定设计计算的曲率(以1/mm为单位)。这个例子中的对所有微透镜的设计的参数是f=4mm、微透镜材料PMMA、垂直于数字显示器的主要主光线的相交点处的表面S1和S2的法向矢量,这些点到数字显示器的距离分别为2和7mm。线5201和5202分别是表面S1的κA1和κA2曲率。线5203和5204分别是表面S2的κB1和κB2曲率。
6.14.2附录B
图53示出了跨过对称平面的一个大的微透镜5301的截面。类似于附录A中说明的情况,来自数字显示器的opixel 5302的光被表面S1和S2折射,并且被引向眼瞳。y=0处的透镜截面的轮廓被设计为非常小的抛物线分段5303的一阶连续并集(例如,图53中的微透镜由超过60个分段组成,但是不能被感知到,因为它们非常小,并且在它们之间不是不断续的)。每个分段已经通过使用附录A中说明的过程被设计。因为它们非常小,所以通过在附录A的方程(1)-(6)中推导的并且在图51中描述的两个透镜曲率的计算给出的二阶逼近完美地限定这些分段的整个形状。
现在考虑分段5303中的一个的设计。如6.14.1附录A中所说明的,一旦我们限定了opixel 5302的位置、主要主光线5304、主要主光线截断折射表面5305和5306的点、以及fx和fy的值(其可以被规定为沿着微透镜形状变化),我们就能够在相交点5305和5306的邻域中构建小分段5303。为了这个目的,计算点5305和5306处的折射表面中的每个的两个主曲率,以使得主要主光线5304及其靠近的平行光线5307在两次折射之后聚焦在点5302上,在这个逼近阶次中通过方程(8)至(15)来得以保证。除了这些条件之外,宏透镜的平滑度的条件也被施加。这意味着两个连续的分段(例如,5303和5308)在它们的并集处将具有相同的斜率。任何分段的大小由两个连续的主要主光线(例如,5304和5309,未按比例绘制)之间的角度扩展Δγ限定。图53示出了当角度Δγ为0.5°时的情况。
让我们建立x轴与数字显示器重合(轴y垂直于截面平面)的坐标系。还将角度γ定义为主要主光线(例如,5304)和光轴5310之间的角度。函数fx(x)(fx现在沿着透镜可变)的不同选择导致不同的设计以及opixel和ipixel之间的不同映射。因为每个分段是消球差透镜,所以在opixel(例如,5302)的邻域中满足fx=Δx/Δγ。在沿着透镜整合最后一个项之后,也得到映射x(γ)和γ(x)。通过适当地选择函数fx(x),可以实现不同的感兴趣的映射。对于图53中呈现的设计,对应的映射在图54中被给出。
除了对称平面y=0中的消像散透镜的2D形状之外,所述过程还提供透镜的另一个主曲率(在垂直于对称平面的方向上)的信息,该主曲率也是沿着透镜可变的。通过规定函数fy(x)(现在同样地fy一般来说沿着x可变)来使用在前面的章节中说明的相同过程,这些横向曲率被作为x的函数获得。因此,我们得到用以下类型的方程表达自由形式表面所需的所有信息:
z(x,y)=c0(x)+c1(x)y2 (17)
其中,c0(x)是图53中的每个轮廓的多项式拟合,c1(x)是横向曲率的1/2,并且这为第6.6.1节中所描述的自由形式表面优化生成了很好的起始点。
来自固定眼瞳5312的光线5311和光轴5310之间的角度用于将系统的视场限定为当光线5311照射显示器的边沿时的角度的两倍。期望的视场可以通过适当地选择函数fx(x)而获得。

Claims (36)

1.一种显示装置,包括:
显示器,所述显示器用于产生包括多个对象像素的实际图像;以及
光学系统,所述光学系统包括多个微透镜的阵列,被布置为通过每个微透镜将来自显示器的光投影到相应的瞳孔范围来从实际图像产生沉浸式虚拟图像,沉浸式虚拟图像包括多个图像像素,其中,所述微透镜包括不能通过简单的平移刚性运动而使得重合的至少两个微透镜;
其中,所述瞳孔范围包括直径为21至27mm的假想球体的表面上的区域,所述瞳孔范围包括在所述球体的中心处对着15度全角的圆;
其中,所述对象像素被分组为群集,每个群集与一微透镜相关联,以使得该微透镜从对象像素生成包括图像像素的部分虚拟图像,并且部分虚拟图像组合以形成所述沉浸式虚拟图像;
其中,通过给定微透镜落在所述瞳孔范围上的基本上所有的成像光线来自相关联的群集的像素,并且来自给定群集的对象像素的落在所述瞳孔范围上的基本上所有的所述成像光线穿过相关联的微透镜;
其中,朝向所述瞳孔范围退出给定微透镜并且虚拟地来自所述沉浸式虚拟图像的任何一个图像像素的基本上所有的所述成像光线从相关联的群集的单个对象像素产生。
2.根据权利要求1所述的显示装置,其中,所述阵列被放置在离所述假想球体5和40mm之间的距离处,所述阵列对着从所述假想球体的最靠近的点起包含具有40度全角的椎体的立体角,其中,所述显示器在所述阵列的远离所述假想球体的一侧、离所述阵列不大于80mm的距离处。
3.根据权利要求2所述的显示装置,其中,所述阵列被放置在离所述假想球体10和20mm之间的距离处,所述阵列对着从所述假想球体的最靠近的点起包含具有50度全角的椎体的立体角,其中,所述显示器在所述阵列的远离所述假想球体的一侧、离所述阵列不大于40mm的距离处。
4.根据权利要求1所述的显示装置,其中,被组合以形成所述沉浸式虚拟图像的部分虚拟图像被隔行扫描。
5.根据权利要求1所述的显示装置,其中,朝向所述瞳孔范围定向并且虚拟地来自所述沉浸式虚拟图像的至少一个图像像素的光线从多个对象像素产生,所述多个对象像素中的每个对象像素属于不同的群集。
6.根据权利要求5所述的显示装置,其中,朝向所述瞳孔范围定向并且虚拟地来自所述沉浸式虚拟图像的多于10%的图像像素的光线从多个对象像素产生,该多个对象像素中的每个对象像素属于不同的群集。
7.根据权利要求5所述的显示装置,其中,产生朝向所述瞳孔范围并且虚拟地来自虚拟图像的任何一个图像像素的光线的对象像素作为相应的网操作,其中,使得一个网的所有对象像素都显示相同信息,从而确保相同图像被投影到整个瞳孔范围中。
8.根据权利要求7所述的显示装置,其中,属于任何一个网的对象像素被串联地或并联地电连接在一起。
9.根据权利要求7所述的显示装置,还包括显示器驱动器,所述显示器驱动器用要显示的相同信息对属于任何一个网的对象像素进行寻址。
10.根据权利要求1所述的显示装置,其中,微透镜中的至少一些是自由形式。
11.根据权利要求1所述的显示装置,其中,至少一个微透镜孔径围住2mm直径的圆。
12.根据权利要求1所述的显示装置,其中,从所述瞳孔范围内的所有位置看到的虚拟图像是一致的,而不响应于瞳孔跟踪进行调整。
13.根据权利要求1所述的显示装置,其中,所述显示器是与所述假想球体同心的球壳的一部分,并且其中,微透镜阵列由全都位于与所述显示器同心的另一个球壳上的微透镜形成,其中,微透镜是可叠合的,以使得它们的光学活动表面的重叠部分重合。
14.根据权利要求1所述的显示装置,其中,所述显示器是柱面壳,该柱体具有穿过所述假想球体的中心的轴,其中,微透镜阵列由全都位于与所述显示器同轴的另一个柱面壳上的微透镜形成,并且其中,微透镜的光学活动表面在垂直于所述柱体的轴的平面中具有可叠合的以使得所述光学活动表面的重叠部分重合的截面。
15.根据权利要求1所述的显示装置,其中,所述显示器是平板的。
16.根据权利要求1所述的显示装置,还包括底座,所述底座用于将所述装置相对于一个眼睛在所述假想球体的位置处的正常人头部维持在基本上恒定的位置中。
17.根据权利要求1所述的显示装置,还包括:第二所述显示装置;底座,所述底座使第一显示装置和第二显示装置相对于彼此定位为使得相应的假想球体的位置与人类的两个眼睛的相对位置匹配;以及显示器驱动器,所述显示器驱动器用于使这两个显示器显示对象,以使得两个虚拟图像当被眼睛在相应的假想球体的位置处的人类观察者观看时组合以形成单个图像。
18.根据权利要求17所述的显示装置,其中,所述底座用于将所述装置相对于眼睛在两个假想球体的位置处的人头部维持在基本上恒定的位置中。
19.根据权利要求17所述的显示装置,其中,所述底座包括在用户的具有视力缺陷的眼睛前面保持矫正透镜的底座特征。
20.根据权利要求17所述的显示装置,其中,第一显示器和第二显示器形成单个显示器。
21.根据权利要求1所述的显示装置,被布置为生成部分虚拟图像,每个部分虚拟图像包含在眼睛的瞳孔处于所述瞳孔范围内的情况下所述眼睛在所述假想球体的位置处时、被所述眼睛投影到所述眼睛的1.5mm小凹上的部分,每个所述虚拟图像的所述部分具有比外周部分高的分辨率。
22.根据权利要求1所述的显示装置,还包括声音生成装置。
23.根据权利要求1所述的显示装置,还包括相机和显示器驱动器,所述显示器驱动器用于在所述显示器上再现所述相机捕捉的图像。
24.根据权利要求1所述的显示装置,还包括头部跟踪装置和显示器驱动器,所述显示器驱动器用于在所述显示器上再现固定到物理地面的图像。
25.根据权利要求1所述的显示装置,还包括调整从微透镜的阵列到数字显示器的距离以补偿用户的视觉缺陷或瞳孔间距的系统。
26.一种显示装置,所述显示装置包括按一个或多个群集分组的发光元件的阵列,其中,至少一些群集的外周部分中的第一发光元件大于相同群集的中心部分中的第二发光元件。
27.根据权利要求26所述的显示装置,其中,第一发光元件的平均面积与第二发光元件的平均面积的比率在1.5:1至10:1的范围内。
28.根据权利要求26所述的显示装置,其中,第一发光元件占据的面积与第二发光元件占据的面积的比率在1:2至2:1的范围内。
29.一种显示装置,所述显示装置包括按一个或多个群集分组的发光元件的阵列,其中,在至少一些群集中,所述群集的外周部分中的第一发光元件连接以便按邻近元件组被激活,并且所述群集的中心部分中的第二发光元件被布置为被单个地激活。
30.根据权利要求29所述的显示装置,其中,所述邻近元件组中的第一发光元件被连线在一起以便被公共电信号激活。
31.根据权利要求29所述的显示装置,还包括被编程为操作发光元件的控制器,其中,所述控制器被编程为单个地激活第二发光元件,并且将第一发光元件组仅作为所述邻近元件组激活。
32.根据权利要求31所述的显示装置,其中,第一发光元件的平均面积与第二发光元件的平均面积的比率在1.5:1至10:1的范围内。
33.根据权利要求29所述的显示装置,其中,第一发光元件占据的面积与第二发光元件占据的面积的比率在1:2至2:1的范围内。
34.一种显示装置,包括:
显示器,所述显示器用于产生包括多个对象像素的实际对象图像;以及
显示器驱动器,所述显示器驱动器用于接收表示视觉图像的数据,并且控制所述显示器产生对象图像,以使得:
所述显示器的邻近像素的群集再现视觉图像的重叠部分;以及
显示视觉图像的相同像素的不同群集的像素被链接到网中;以及
其中,所述显示器驱动器将每个网作为单个实体驱动。
35.根据权利要求34所述的显示装置,与被布置为产生邻近像素的每个群集的虚拟图像的透镜阵列组合,对齐以使得所述虚拟图像重叠并且组合以形成视觉图像的虚拟图像。
36.根据权利要求1至35中的任何两个或更多个所述的显示装置,除了权利要求8和9中的非两者、权利要求13至15中的不多于一个、以及权利要求30和31中的非两者。
CN201480072278.8A 2013-11-25 2014-11-24 沉浸式紧凑显示眼镜 Active CN106464861B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361908335P 2013-11-25 2013-11-25
US61/908,335 2013-11-25
US201462022878P 2014-07-10 2014-07-10
US62/022,878 2014-07-10
PCT/US2014/067149 WO2015077718A1 (en) 2013-11-25 2014-11-24 Immersive compact display glasses

Publications (2)

Publication Number Publication Date
CN106464861A true CN106464861A (zh) 2017-02-22
CN106464861B CN106464861B (zh) 2018-05-25

Family

ID=53180266

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480072278.8A Active CN106464861B (zh) 2013-11-25 2014-11-24 沉浸式紧凑显示眼镜

Country Status (7)

Country Link
US (1) US10432920B2 (zh)
EP (1) EP3075150B1 (zh)
JP (1) JP6539672B2 (zh)
KR (1) KR102349765B1 (zh)
CN (1) CN106464861B (zh)
DK (1) DK3075150T3 (zh)
WO (1) WO2015077718A1 (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108459405A (zh) * 2018-03-23 2018-08-28 广西民族大学 一种新型简易显微镜
CN108983488A (zh) * 2017-06-01 2018-12-11 台达电子工业股份有限公司 背光模块及显示设备
CN109302594A (zh) * 2017-07-24 2019-02-01 三星电子株式会社 包括眼睛跟踪器的投影显示装置
CN109507798A (zh) * 2017-09-15 2019-03-22 中强光电股份有限公司 近眼显示装置
CN109581678A (zh) * 2017-09-29 2019-04-05 中强光电股份有限公司 近眼光场显示装置及近眼显示装置
CN110431847A (zh) * 2017-03-24 2019-11-08 联发科技股份有限公司 在iso基础媒体文件格式推导虚拟现实投影、填充、感兴趣区域及视口相关轨迹并支持视口滚动信号之方法及装置
CN110651217A (zh) * 2017-10-31 2020-01-03 谷歌有限责任公司 具有减小的离轴光学像差的小透镜阵列的近眼显示器
CN110770628A (zh) * 2017-06-14 2020-02-07 李程 头戴式显示器及其显示屏、头戴支架和视频
CN110989166A (zh) * 2019-12-25 2020-04-10 歌尔股份有限公司 一种近眼显示设备的眼球追踪系统及近眼显示设备
CN111007667A (zh) * 2018-10-05 2020-04-14 宏达国际电子股份有限公司 头戴式显示器
CN111175990A (zh) * 2020-02-19 2020-05-19 京东方科技集团股份有限公司 光场显示系统
CN111684323A (zh) * 2018-01-26 2020-09-18 林巴克4Pi有限公司 用于虚拟现实和混合现实的交叉配置的紧凑型光学器件
CN112189161A (zh) * 2018-04-27 2021-01-05 林巴克4Pi有限公司 适应人视觉的光场显示器
CN112859347A (zh) * 2021-02-25 2021-05-28 京东方科技集团股份有限公司 近眼显示装置及可穿戴设备
US11415797B2 (en) * 2020-07-01 2022-08-16 Interface Technology (Chengdu) Co., Ltd. Eye tracking device and electronic device using same
CN115004079A (zh) * 2019-12-05 2022-09-02 特塞兰德有限责任公司 用于虚拟和混合现实的基于小透镜的超高分辨率光学器件
CN115774335A (zh) * 2022-11-11 2023-03-10 Oppo广东移动通信有限公司 虚拟图像显示设备
CN117146973A (zh) * 2023-11-01 2023-12-01 长春理工大学 一种消球差大面阵探测器、消球差方法及探测器制作方法

Families Citing this family (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9699433B2 (en) * 2013-01-24 2017-07-04 Yuchen Zhou Method and apparatus to produce re-focusable vision with detecting re-focusing event from human eye
CN110058414B (zh) * 2014-10-24 2021-10-12 埃马金公司 基于微显示器的沉浸式头戴视图器
WO2016160099A2 (en) 2015-01-21 2016-10-06 Tesseland Llc Display devices with reflectors
JP6582481B2 (ja) * 2015-03-25 2019-10-02 セイコーエプソン株式会社 虚像表示装置
CN106297611B (zh) 2015-06-05 2021-08-10 北京智谷睿拓技术服务有限公司 显示控制方法和装置
CN106297610B (zh) * 2015-06-05 2020-03-17 北京智谷睿拓技术服务有限公司 显示控制方法和装置
CN106291953B (zh) 2015-06-05 2019-01-08 北京智谷睿拓技术服务有限公司 显示控制方法和装置
US20170115489A1 (en) * 2015-10-26 2017-04-27 Xinda Hu Head mounted display device with multiple segment display and optics
CN106254804B (zh) * 2016-01-18 2019-03-29 北京智谷睿拓技术服务有限公司 光场显示控制方法和装置、光场显示设备
US20180072226A1 (en) * 2016-03-16 2018-03-15 Jesse Clement Bunch Extended perception system
WO2017180990A1 (en) * 2016-04-14 2017-10-19 The Research Foundation For The State University Of New York System and method for generating a progressive representation associated with surjectively mapped virtual and physical reality image data
US10663745B2 (en) 2016-06-09 2020-05-26 3M Innovative Properties Company Optical system
KR20180004707A (ko) * 2016-06-09 2018-01-12 쓰리엠 이노베이티브 프로퍼티즈 컴파니 광학 시스템
CN107544145B (zh) * 2016-06-28 2021-06-01 松下知识产权经营株式会社 头部佩戴型显示器装置
US11073701B2 (en) 2016-07-06 2021-07-27 Panasonic Intellectual Property Management Co., Ltd. Head-mounted display device
CN115064110A (zh) 2016-08-15 2022-09-16 苹果公司 具有可变分辨率的显示器
KR20180020695A (ko) * 2016-08-19 2018-02-28 한국전자통신연구원 헤드 마운티드 디스플레이 장치의 시야 확장 방법 및 이를 이용한 장치
US10690991B1 (en) 2016-09-02 2020-06-23 Apple Inc. Adjustable lens systems
CN109922707B (zh) * 2016-10-28 2022-12-06 依视路国际公司 用于确定显示装置的使用者的眼睛参数的方法
US10757400B2 (en) * 2016-11-10 2020-08-25 Manor Financial, Inc. Near eye wavefront emulating display
CN206301289U (zh) * 2016-11-29 2017-07-04 阿里巴巴集团控股有限公司 Vr终端设备
US10303211B2 (en) * 2017-02-01 2019-05-28 Facebook Technologies, Llc Two part cone display using flexible substrates
US10409080B2 (en) * 2017-02-01 2019-09-10 Facebook Technologies, Llc Spherical display using flexible substrates
TWI681210B (zh) * 2017-03-13 2020-01-01 宏達國際電子股份有限公司 頭戴式顯示裝置
KR102413218B1 (ko) 2017-03-22 2022-06-24 삼성디스플레이 주식회사 헤드 마운티드 디스플레이 장치
US11454815B2 (en) 2017-06-01 2022-09-27 NewSight Reality, Inc. Transparent optical module using pixel patches and associated lenslets
CN110809884B (zh) 2017-06-22 2021-09-24 林巴克4Pi有限公司 利用用于立体视图的时间多路复用的视觉显示器
CN107102446B (zh) * 2017-06-27 2019-07-09 京东方科技集团股份有限公司 一种三维立体显示面板、其显示方法及显示装置
US10859834B2 (en) 2017-07-03 2020-12-08 Holovisions Space-efficient optical structures for wide field-of-view augmented reality (AR) eyewear
US10338400B2 (en) 2017-07-03 2019-07-02 Holovisions LLC Augmented reality eyewear with VAPE or wear technology
US10948740B2 (en) * 2017-09-19 2021-03-16 Intel Corporation Head-mounted displays having curved lens arrays and generating elemental images for displaying
US11347052B2 (en) * 2017-10-23 2022-05-31 Sony Corporation Display control apparatus, head mounted display, and display control method
US11624934B2 (en) 2017-11-02 2023-04-11 Interdigital Madison Patent Holdings, Sas Method and system for aperture expansion in light field displays
JP2019128468A (ja) * 2018-01-25 2019-08-01 セイコーエプソン株式会社 表示装置、および電子機器
TWI664438B (zh) 2018-03-09 2019-07-01 Industrial Technology Research Institute 擴增實境裝置
CN110244459B (zh) * 2018-03-09 2021-10-08 财团法人工业技术研究院 增强现实装置
US10527863B2 (en) 2018-03-16 2020-01-07 Sharp Kabushiki Kaisha Compact head-mounted display system
CN110324601A (zh) * 2018-03-27 2019-10-11 京东方科技集团股份有限公司 渲染方法、计算机产品及显示装置
US10827165B2 (en) * 2018-05-30 2020-11-03 Intel Corporation Enhanced imaging for thin form factor head mounted displays and near light field displays
US10419738B1 (en) * 2018-06-14 2019-09-17 Telefonaktiebolaget Lm Ericsson (Publ) System and method for providing 360° immersive video based on gaze vector information
KR102591582B1 (ko) * 2018-06-22 2023-10-19 삼성전자주식회사 컨텐츠를 표시하는 방법 및 전자 장치
US20210302756A1 (en) * 2018-08-29 2021-09-30 Pcms Holdings, Inc. Optical method and system for light field displays based on mosaic periodic layer
KR20200034909A (ko) 2018-09-21 2020-04-01 삼성디스플레이 주식회사 표시 장치와 그의 제조 방법
US11308832B2 (en) * 2018-10-05 2022-04-19 Google Llc Head mounted display with mechanical scanning
CN111077670B (zh) * 2018-10-18 2022-02-18 中强光电股份有限公司 光传递模块以及头戴式显示装置
US10866412B2 (en) 2018-12-07 2020-12-15 Sharp Kabushiki Kaisha Compact head-mounted display system
US11619825B2 (en) 2019-04-10 2023-04-04 Electronics And Telecommunications Research Institute Method and apparatus for displaying binocular hologram image
CN111999889A (zh) * 2019-05-11 2020-11-27 京东方科技集团股份有限公司 曲面透镜和显示装置
JP2022540350A (ja) 2019-06-28 2022-09-15 ピーシーエムエス ホールディングス インコーポレイテッド 調整可能な液晶(lc)ディフューザに基づいたライトフィールド(lf)ディスプレイのための光学的方法およびシステム
US11281005B2 (en) 2019-08-08 2022-03-22 Sharp Kabushiki Kaisha Compact head-mounted display system with orthogonal panels
US11561391B2 (en) * 2020-07-31 2023-01-24 Immervision, Inc. Optical system with dynamic distortion using freeform elements
WO2022079575A1 (en) 2020-10-13 2022-04-21 Tesseland Llc Display device with dark ring illumination of lenslet arrays for vr and ar
WO2022115534A1 (en) * 2020-11-24 2022-06-02 NewSight Reality, Inc. Transparent optical module using pixel patches and associated lenslets
US11947134B2 (en) * 2021-01-22 2024-04-02 National Taiwan University Device of generating 3D light-field image
CN115494640A (zh) 2021-06-17 2022-12-20 中强光电股份有限公司 产生虚拟实境影像的光场近眼显示器及其方法
US11927757B1 (en) 2021-10-29 2024-03-12 Apple Inc. Electronic device display having distortion compensation
WO2023173195A1 (en) * 2022-03-16 2023-09-21 10644137 Canada Inc. Bijective illumination collection imaging apparatus and method thereof
TWI825629B (zh) * 2022-03-18 2023-12-11 友達光電股份有限公司 球面顯示裝置
US11935203B2 (en) * 2022-06-30 2024-03-19 Snap Inc. Rotational navigation system in augmented reality environment

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6215593B1 (en) * 1996-11-13 2001-04-10 Ian A. Bruce Portable wide-field optical system with microlenses and fiber-optic image transfer element
US20040108971A1 (en) * 1998-04-09 2004-06-10 Digilens, Inc. Method of and apparatus for viewing an image
JP2007086500A (ja) * 2005-09-22 2007-04-05 Sony Corp 表示装置
TW200921178A (en) * 2007-07-03 2009-05-16 Pixeloptics Inc Multifocal lens with a diffractive optical power region
US20100056274A1 (en) * 2008-08-28 2010-03-04 Nokia Corporation Visual cognition aware display and visual data transmission architecture
CN102004317A (zh) * 2009-08-31 2011-04-06 奥林巴斯株式会社 眼镜型图像显示装置
CN102193196A (zh) * 2010-03-16 2011-09-21 奥林巴斯株式会社 显示装置及单元、电子设备、便携设备及电话、摄像装置
WO2012055824A1 (en) * 2010-10-26 2012-05-03 Bae Systems Plc Display assembly, in particular a head-mounted display
WO2013027753A1 (ja) * 2011-08-23 2013-02-28 ブラザー工業株式会社 ヘッドマウントディスプレイ

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05108036A (ja) * 1991-10-18 1993-04-30 Sony Corp 表示装置
JPH0584930U (ja) * 1992-04-23 1993-11-16 神鋼電機株式会社 表示素子及びそれを用いた表示装置
AU1935397A (en) * 1996-03-15 1997-10-10 Retinal Display Cayman Limited Method of and apparatus for viewing an image
KR20000070909A (ko) * 1997-12-11 2000-11-25 요트.게.아. 롤페즈 영상 디스플레이 장치 및 이러한 장치를 포함하는 헤드가 장착된 디스플레이
US6900777B1 (en) * 2001-01-03 2005-05-31 Stryker Corporation Infrared audio/video interface for head-mounted display
JP4612835B2 (ja) * 2004-12-20 2011-01-12 キヤノン株式会社 画像表示装及び画像表示システム
JP4752309B2 (ja) * 2005-04-07 2011-08-17 ソニー株式会社 画像表示装置および方法
US20070001954A1 (en) * 2005-07-04 2007-01-04 Semiconductor Energy Laboratory Co., Ltd. Display device and driving method of display device
US8115788B2 (en) * 2006-05-31 2012-02-14 Semiconductor Energy Laboratory Co., Ltd. Display device, driving method of display device, and electronic appliance
JP5558094B2 (ja) * 2009-10-07 2014-07-23 オリンパス株式会社 表示方法、表示装置、光学ユニット、表示装置の製造方法、及び電子機器
JP5749444B2 (ja) * 2010-03-16 2015-07-15 オリンパス株式会社 表示装置、電子機器、携帯用電子機器、携帯電話、及び撮像装置
US20110254932A1 (en) * 2010-04-19 2011-10-20 Zoran Corporation 3d display using partial screen illumination and synchronized shutter glass
JP6099336B2 (ja) * 2011-09-14 2017-03-22 株式会社半導体エネルギー研究所 発光装置
JP5979507B2 (ja) * 2011-11-24 2016-08-24 パナソニックIpマネジメント株式会社 頭部装着型ディスプレイ装置
DE102012205164B4 (de) * 2012-03-29 2021-09-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Projektionsdisplay und Verfahren zur Projektion virtueller Bilder
CN107153270B (zh) * 2012-04-23 2019-11-22 北京蚁视昂维科技有限公司 小孔投射式近眼显示器
US9454007B1 (en) * 2012-05-07 2016-09-27 Lockheed Martin Corporation Free-space lens design and lenses therefrom

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6215593B1 (en) * 1996-11-13 2001-04-10 Ian A. Bruce Portable wide-field optical system with microlenses and fiber-optic image transfer element
US20040108971A1 (en) * 1998-04-09 2004-06-10 Digilens, Inc. Method of and apparatus for viewing an image
JP2007086500A (ja) * 2005-09-22 2007-04-05 Sony Corp 表示装置
TW200921178A (en) * 2007-07-03 2009-05-16 Pixeloptics Inc Multifocal lens with a diffractive optical power region
US20100056274A1 (en) * 2008-08-28 2010-03-04 Nokia Corporation Visual cognition aware display and visual data transmission architecture
CN102004317A (zh) * 2009-08-31 2011-04-06 奥林巴斯株式会社 眼镜型图像显示装置
CN102193196A (zh) * 2010-03-16 2011-09-21 奥林巴斯株式会社 显示装置及单元、电子设备、便携设备及电话、摄像装置
WO2012055824A1 (en) * 2010-10-26 2012-05-03 Bae Systems Plc Display assembly, in particular a head-mounted display
WO2013027753A1 (ja) * 2011-08-23 2013-02-28 ブラザー工業株式会社 ヘッドマウントディスプレイ

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110431847A (zh) * 2017-03-24 2019-11-08 联发科技股份有限公司 在iso基础媒体文件格式推导虚拟现实投影、填充、感兴趣区域及视口相关轨迹并支持视口滚动信号之方法及装置
CN108983488B (zh) * 2017-06-01 2021-04-20 台达电子工业股份有限公司 背光模块及显示设备
CN108983488A (zh) * 2017-06-01 2018-12-11 台达电子工业股份有限公司 背光模块及显示设备
CN110770628A (zh) * 2017-06-14 2020-02-07 李程 头戴式显示器及其显示屏、头戴支架和视频
CN109302594A (zh) * 2017-07-24 2019-02-01 三星电子株式会社 包括眼睛跟踪器的投影显示装置
CN109507798A (zh) * 2017-09-15 2019-03-22 中强光电股份有限公司 近眼显示装置
CN109581678A (zh) * 2017-09-29 2019-04-05 中强光电股份有限公司 近眼光场显示装置及近眼显示装置
CN110651217A (zh) * 2017-10-31 2020-01-03 谷歌有限责任公司 具有减小的离轴光学像差的小透镜阵列的近眼显示器
CN111684323B (zh) * 2018-01-26 2022-09-13 林巴克4Pi有限公司 用于虚拟现实和混合现实的交叉配置的紧凑型光学器件
CN111684323A (zh) * 2018-01-26 2020-09-18 林巴克4Pi有限公司 用于虚拟现实和混合现实的交叉配置的紧凑型光学器件
CN108459405A (zh) * 2018-03-23 2018-08-28 广西民族大学 一种新型简易显微镜
CN112189161A (zh) * 2018-04-27 2021-01-05 林巴克4Pi有限公司 适应人视觉的光场显示器
CN112189161B (zh) * 2018-04-27 2022-09-13 特塞兰德有限责任公司 适应人视觉的光场显示器
CN111007667A (zh) * 2018-10-05 2020-04-14 宏达国际电子股份有限公司 头戴式显示器
US11137526B2 (en) 2018-10-05 2021-10-05 Htc Corporation Head-mounted display
CN115004079A (zh) * 2019-12-05 2022-09-02 特塞兰德有限责任公司 用于虚拟和混合现实的基于小透镜的超高分辨率光学器件
CN110989166A (zh) * 2019-12-25 2020-04-10 歌尔股份有限公司 一种近眼显示设备的眼球追踪系统及近眼显示设备
US11782268B2 (en) 2019-12-25 2023-10-10 Goertek Inc. Eyeball tracking system for near eye display apparatus, and near eye display apparatus
CN111175990A (zh) * 2020-02-19 2020-05-19 京东方科技集团股份有限公司 光场显示系统
US11415797B2 (en) * 2020-07-01 2022-08-16 Interface Technology (Chengdu) Co., Ltd. Eye tracking device and electronic device using same
CN112859347A (zh) * 2021-02-25 2021-05-28 京东方科技集团股份有限公司 近眼显示装置及可穿戴设备
CN115774335A (zh) * 2022-11-11 2023-03-10 Oppo广东移动通信有限公司 虚拟图像显示设备
CN117146973A (zh) * 2023-11-01 2023-12-01 长春理工大学 一种消球差大面阵探测器、消球差方法及探测器制作方法
CN117146973B (zh) * 2023-11-01 2023-12-26 长春理工大学 一种消球差大面阵探测器、消球差方法及探测器制作方法

Also Published As

Publication number Publication date
JP2016541031A (ja) 2016-12-28
EP3075150B1 (en) 2022-06-15
WO2015077718A9 (en) 2016-06-16
WO2015077718A1 (en) 2015-05-28
CN106464861B (zh) 2018-05-25
US20170171533A1 (en) 2017-06-15
US10432920B2 (en) 2019-10-01
KR20160093039A (ko) 2016-08-05
KR102349765B1 (ko) 2022-01-12
DK3075150T3 (da) 2022-09-12
JP6539672B2 (ja) 2019-07-03
EP3075150A1 (en) 2016-10-05
EP3075150A4 (en) 2017-11-15

Similar Documents

Publication Publication Date Title
CN106464861B (zh) 沉浸式紧凑显示眼镜
US20230400693A1 (en) Augmented reality display comprising eyepiece having a transparent emissive display
US10663626B2 (en) Advanced refractive optics for immersive virtual reality
US11726325B2 (en) Near-eye optical imaging system, near-eye display device and head-mounted display device
CN106526730B (zh) 一种宽视角波导镜片及制作方法和头戴式三维显示装置
KR101916079B1 (ko) 하나 또는 그 이상의 프레넬 렌즈를 수반하는 헤드 장착 디스플레이 장치
CN106537220B (zh) 具有可变焦点和/或对象识别的可佩戴3d增强现实显示器
CN105717640B (zh) 基于微透镜阵列的近眼显示器
CN104204904B (zh) 紧凑式眼睛跟踪头戴式显示器
US6940645B2 (en) Monocentric autostereoscopic optical apparatus with a spherical gradient-index ball lens
KR100910393B1 (ko) 넓은 시야각을 갖는 실감 영상 디스플레이 장치
RU2642149C2 (ru) Составная линза и содержащая ее система отображения
IL268135B1 (en) Eyepiece for virtual, augmented or mixed reality systems
CN105934902A (zh) 虚拟和增强现实系统与方法
TW201805657A (zh) 影像顯示裝置及影像顯示方法
CN110187506A (zh) 光学显示系统和增强现实设备
CN110161712A (zh) 显示系统及头戴显示装置
JP2023004538A (ja) ヘッドマウントディスプレイ
KR20200009030A (ko) 니어-아이 포브 디스플레이

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant