CN114365027A - 显示具有景深的物体的系统与方法 - Google Patents

显示具有景深的物体的系统与方法 Download PDF

Info

Publication number
CN114365027A
CN114365027A CN202080037323.1A CN202080037323A CN114365027A CN 114365027 A CN114365027 A CN 114365027A CN 202080037323 A CN202080037323 A CN 202080037323A CN 114365027 A CN114365027 A CN 114365027A
Authority
CN
China
Prior art keywords
combiner
light signal
user
redirected
signal generator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080037323.1A
Other languages
English (en)
Inventor
赖俊颖
叶逢春
陈国轩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Haisi Zhicai Holding Co ltd
Original Assignee
Haisi Zhicai Holding Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Haisi Zhicai Holding Co ltd filed Critical Haisi Zhicai Holding Co ltd
Publication of CN114365027A publication Critical patent/CN114365027A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/08Volume rendering
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0132Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type

Abstract

一种物体显示系统包含右侧光信号产生器、左侧光信号产生器、右侧合并器、及左侧合并器。右侧光信号产生器产生物体的复数个右侧光信号。右侧合并器接收并重新导向复数个右侧光信号朝向使用者的一视网膜以显示物体的复数个右像素。左侧光信号产生器产生物体的复数个左侧光信号。左侧合并器接收并重新导向复数个左侧光信号朝向另一个该使用者的视网膜以显示物体的复数个左像素。使用者接收第一重新导向的右侧光信号及对应的第一重新导向的左侧光信号以第一景深显示该物体的第一虚拟双目像素,第一景深与第一重新导向的右侧光信号及对应的第一重新导向的左侧光信号之间的第一角度相关。

Description

显示具有景深的物体的系统与方法
相关申请
本申请要求于2019年11月6日提交的标题为“投射具有深度的双目3D图像的系统和方法(SYSTEM AND METHOD FOR PROJECTING BINOCULAR 3D IMAGES WITH DEPTHS)”的第62/931,228号临时申请、于2020年2月19日提交的标题为“带有内向和外向摄像头的头部可穿戴设备(HEAD WEARABLE DEVICE WITH INWARD AND OUTWARD CAMERA)”的第62/978,322号临时申请、于2020年6月19日提交标题为“眼动范围扩大的方法和系统(Methods andsystems for EYEBOX EXPANSION)”的第63/041,740号临时申请以及于2020年9月30日提交的标题为“投射具有多深度的虚拟图像的系统和方法(SYSTEMS AND METHODS FORPROJECTING VIRTUAL IMAGES WITH MULTIPLE DEPTHS)”的第63/085,172号临时申请,并通过引用将这些文献的全部内容纳入本文中。
技术领域
本案涉及显示具有景深的物体的系统与方法,尤其是,通过产生复数个右侧光信号与左侧光信号并重新导向复数个右侧光信号与左侧光信号至使用者的视网膜以显示具有景深的物体的系统与方法。
背景技术
在传统的虚拟实境(VR)与扩增实境(AR)系统中,其采用的立体技术(stereoscopic technology)为通过同时分别投射两个具有不同视角的视差影像到邻近使用者眼睛的左侧与右侧显示面板以产生三维虚拟影像。两个视差影像之间的视角差被大脑解读为影像的景深。而事实上,使用者的眼睛聚焦(凝视)于显示面板上;由于视差影像的关系,显示面板的景深与使用者看见的影像的景深不同。当景深感知的聚焦调节与眼睛会聚不一致时,视觉辐辏调节冲突(vergence-accommodation conflict/VAC)产生。VAC让使用者产生晕眩或头痛。再者,在混合实境(MR)中使用视差影像,使用者将无法同时聚焦在实物与虚拟影像上,因此产生对焦竞争(focal rivalry)。进一步的,通过视差影像技术显示虚拟影像的移动对于影像处理的硬体设备而言负担相当沉重。
发明内容
本案的目的在于提供一种在空间中显示具有景深的物体的系统与方法。由于物体的景深与使用者双眼凝视的位置相同,因此可避免视觉辐辏调节冲突(vergence-accommodation conflict/VAC)及对焦竞争(focal rivalry)。物体显示系统包含右侧光信号产生器、右侧合并器、左侧光信号产生器、及左侧合并器。右侧光信号产生器产生物体的复数个右侧光信号。右侧合并器接收并重新导向复数个右侧光信号朝向使用者的视网膜以显示物体的复数个右像素。左侧光信号产生器产生该物体的复数个左侧光信号。左侧合并器接收及重新导向该复数个左侧光信号朝向该使用者的另一视网膜以显示该物体的复数个左像素。此外,使用者感知第一重新导向的右侧光信号及对应的第一重新导向的左侧光信号,以第一景深产生该物体的第一虚拟双目像素,该第一景深与该第一重新导向的右侧光信号及对应的该第一重新导向的左侧光信号之间的第一角度相关。在一实施例中,该第一景深是由该第一重新导向的右侧光信号及对应的该第一重新导向的左侧光信号光径延伸之间的该第一角度来决定。
当物体被视为具有复数个景深时,对于物体第一虚拟双目像素而言,该使用者感知第二重新导向的右侧光信号及对应的第二重新导向的左侧光信号,以第二景深产生该物体的第二虚拟双目像素,该第二景深与该第二重新导向的右侧光信号及对应的该第二重新导向的左侧光信号之间的第二角度相关。
进一步而言,该第一重新导向的右侧光信号非为对应的该第一重新导向的左侧光信号的视差。本案中,右眼与左眼两者自相同视角接收物体的影像,而不是通过传统产生3D影像的右眼视角与左眼视角视差的方法。
在另一实施例中,第一重新导向的右侧光信号及对应的该第一重新导向的左侧光信号于该使用者两眼的视网膜上大致上具有相同的高度。
在另一实施例中,由该右侧光信号产生器产生的该复数个右侧光信号在进入该使用者的视网膜之前仅被反射一次,且由该左侧光信号产生器产生的该复数个左侧光信号在进入该使用者的视网膜之前仅被反射一次。
在一实施例,右侧合并器接收并重新导向复数个右侧光信号朝向使用者的右视网膜以显示物体的复数个右像素,左侧合并器接收并重新导向复数个左侧光信号朝向该使用者的左视网膜以显示物体的复数个左像素。在另一实施例中,右侧合并器接收并重新导向复数个左侧光信号朝向使用者的右视网膜以显示物体的复数个右像素,左侧合并器接收并重新导向复数个右侧光信号朝向该使用者的左视网膜以显示物体的复数个左像素。
在扩增实境(augmented reality/AR)或混合实境(mixed reality/MR)的应用上,右侧合并器与左侧合并器对环境光而言为透明。
另外在AR与MR的应用上,物体显示系统进一步包含使用者头部可穿戴的支撑结构。右侧光信号产生器、左侧光信号产生器、右侧合并器、及左侧合并器装载于支撑结构。在一实施例中,该使用者头部可穿戴的支撑结构为眼镜。在此状况下,支撑结构可为具有镜片或不具镜片的眼镜。镜片可为具有度数的镜片,用以矫正近视、远视…等。
在智慧型眼镜的实施例中,右侧光信号产生器可装载于镜框的右镜腿处而左侧光信号产生器可装载于镜框的左镜腿处。此外,右侧合并器可装载于右镜片而左侧合并器可装载于左镜片。装载方法有许多不同的实施方式。合并器可通过可拆卸式或非可拆卸式手段接合或整合至镜片。此外,合并器可与镜片一体成型,该镜片包含具度数的镜片。
本案通过视网膜扫描技术投射右侧光信号与左侧光信号至使用者的视网膜,不同于通常放置于相当接近使用者眼睛的近眼显示。
本案的其他特征或优势将在以下的叙述有更明确的说明,该领域具有通常知识者也可通过实施本案进一步了解本案。本案的目的及优势由本案说明书、权利范围以及图示中指出的构造及方法来表示。以下的描述均为示例性,目的在于解释权利的范围。
附图说明
图1为说明根据本发明的物体显示系统实施例示意图。
图2为说明根据本发明的虚拟双目像素与对应的右像素及左像素对之间关系示意图。
图3为说明根据本发明的自光信号产生器至合并器,抵达使用者视网膜的光径示意图。
图4为说明根据本发明的右侧光信号及左侧光信号形成的虚拟双目像素示意图。
图5说明根据本发明实施例的查找表。
图6为说明根据本发明由各个不同的虚拟双目像素显示物体示意图。
图7为说明根据本发明显示物体过程的流程图。
图8为说明根据本发明的光信号产生器相对于合并器的位置示意图。
图9为说明根据本发明实施例具有光学复制器的物体显示系统的示意图。
图10为说明根据本发明实施例的物体显示系统的示意图。
图11为说明根据本发明的整合合并器的示意图。
图12为说明根据本发明的装载于眼镜的物体显示系统示意图。
图13为说明根据本发明的屈光单元及合并器的示意图。
图14A-I为说明根据本发明显示移动物体的示意图。
具体实施方式
本文中所使用的词汇是用来描述本发明特定具体实施例中的细节,所有的词汇应以最大的范畴做合理解读。某些词汇将在以下特别强调;任何限制性用语将由具体实施例中定义。
本发明涉及在空间中显示具有景深的物体的系统与方法系统。由于物体的景深与使用者双眼凝视的位置相同,因此可避免视觉辐辏调节冲突(vergence-accommodationconflict/VAC)及对焦竞争(focal rivalry)。在此所述的实施例涉及一种或多种方法、系统、装置、及储存有处理器可执行的步骤的计算机可读取媒介以在空间中显示具有景深的物体。物体显示系统具有右侧光信号产生器、右侧合并器、左侧光信号产生器、及左侧合并器。右侧光信号产生器产生物体的复数个右侧光信号。右侧合并器接收并重新导向复数个右侧光信号朝向使用者的一视网膜显示物体的复数个右像素。左侧光信号产生器产生物体的复数个左侧光信号。左侧合并器接收并重新导向复数个左侧光信号朝向另一该使用者的视网膜以显示物体的复数个左像素。此外,使用者感知第一重新导向的右侧光信号及对应的第一重新导向的左侧光信号以第一景深显示该物体的第一虚拟双目像素,第一景深与第一重新导向的右侧光信号及对应的第一重新导向的左侧光信号之间的第一角度相关。在一实施例中,第一景深是由第一重新导向的右侧光信号及对应的第一重新导向的左侧光信号光径延伸之间的第一角度来决定。
使用者可以复数个景深感知物体的位置,除了物体的第一虚拟双目像素外,该使用者感知第二重新导向的右侧光信号及对应的第二重新导向的左侧光信号以第二景深显示物体的第二虚拟双目像素,第二景深与第二重新导向的右侧光信号及对应的第二重新导向的左侧光信号之间的第二角度相关。
进一步而言,第一重新导向的右侧光信号非为对应的第一重新导向的左侧光信号的视差。右眼与左眼自相同的视角接收物体的影像,而不是自右眼视角与左眼视角各接收传统上产生3D影像的视差。
在另一实施例中,第一重新导向的右侧光信号及对应的第一重新导向的左侧光信号于该使用者两眼的该视网膜上大致上具有相同的高度。
在另一实施例中,由右侧光信号产生器产生的复数个右侧光信号在进入该使用者的视网膜之前仅被反射一次,且由左侧光信号产生器产生的复数个左侧光信号在进入该使用者的视网膜之前仅被反射一次。
在一实施例中,右侧合并器接收并重新导向复数个右侧光信号朝向使用者的右视网膜以显示物体的复数个右像素,左侧合并器接收并重新导向复数个左侧光信号朝向该使用者的左视网膜以显示物体的复数个左像素。在另一实施例中,右侧合并器接收并重新导向复数个左侧光信号朝向使用者的右视网膜以显示物体的复数个右像素,而左侧合并器接收并重新导向复数个右侧光信号朝向该使用者的左视网膜以显示物体的复数个左像素。
在扩增实境(augmented reality/AR)或混合实境(mixed reality/MR)的应用中,右侧合并器及左侧合并器对环境光而言为透明的。
在AR及MR的应用中,物体显示系统进一步包含支撑结构,该支撑结构可穿戴于使用者的头部。右侧光信号产生器、左侧光信号产生器、右侧合并器、及左侧合并器装载于支撑结构上。在实施例中,本案的系统为头戴式装置(head wearable device),尤指眼镜。在此状况中,支撑结构可为具有或非具有眼镜镜片的镜框。镜片可为具度数的镜片,用以矫正近视或远视…等。
在智慧型眼镜的实施例中,右侧光信号产生器可装载于镜框的右镜腿处而左侧光信号产生器可装载于镜框的左镜腿处。此外,右侧合并器可装载于右镜片而左侧合并器可装载于左镜片。装载方法有许多不同的实施方式。合并器可通过可拆卸式或非可拆卸式手段贴合或整合至镜片。此外,合并器可与镜片一体成型,该镜片包含具度数的镜片。
如图1所示,物体显示系统包含右侧光信号产生器10用以产生复数个右侧光信号(例如RLS_1的12,RLS_1的14以及RLS_3的16),右侧合并器20用以接收并重新导向复数个右侧光信号朝向使用者的右视网膜54,左侧光信号产生器30用以产生复数个左侧光信号(例如LLS_1的32,LLS_2的34,以及LLS_3的36),以及左侧合并器40用以接收并重新导向复数个左侧光信号朝向使用者的左视网膜64。使用者具有右眼50,并包含右瞳孔52及右视网膜54,而左眼60包含左瞳孔62及左视网膜64。一般而言,取决于环境光的强度,人类瞳孔的直径介于2至8mm之间。在强光的环境下,成人正常瞳孔的直径大小于2至4mm之间变动,而在黑暗处,成人正常瞳孔的直径大小于4至8mm之间变动。复数个右侧光信号由右侧合并器20重新导向,通过右瞳孔52,最终由右视网膜54接收。右侧光信号RLS_1为使用者的右眼在特定水平面上能看到最右侧的光信号。右侧光信号RLS_2为使用者的右眼在特定水平面上能看到最左侧的光信号。在接收重新导向的右侧光信号时,使用者可在由重新导向的右侧光信号RLS_1及RLS_2的延伸所定义的区域A中看见物体的复数个右像素。区域A可被称为右眼50的视野(FOV)。相同的,复数个左侧光信号由左侧合并器40重新导向,通过左瞳孔62,最终由左视网膜64接收。左侧光信号LLS_1为使用者的左眼在特定水平面上能看到最右侧的光信号。左侧光信号LLS_2为使用者的左眼在特定水平面上能看到最左侧的光信号。在接收重新导向的左侧光信号时,使用者可在由重新导向的左侧光信号LLS_1及LLS_2的延伸所定义的区域B中看见物体的复数个左像素。区域B可被称为左眼60的视野(FOV)。当复数个右像素及左像素于区域C中显示(区域A及区域B重迭的区域),显示右像素的至少一个右侧光信号与对应的显示左像素的左侧光信号融像以在区域C中显示具有景深的虚拟双目像素。该景深与重新导向的右侧光信号及重新导向的左侧光信号的角度相关。该角度也被称为会聚角(convergent angle)。
如图1及2所示,在使用者前方的区域C中可见具有复数个景深的恐龙物件70虚拟影像。恐龙物件70的影像包含在第一景深D1显示的第一虚拟双目像素72以及在第二景深D2显示的第二虚拟双目像素74。第一重新导向的右侧光信号16’及对应的第一重新导向的左侧光信号26’之间的第一角度为θ1。第一景深D1与第一角度θ1相关。尤其,物体的第一虚拟双目像素的第一景深D1可由第一重新导向的右侧光信号与对应的第一重新导向的左侧光信号的光径延伸之间的第一角度θ1决定。借此,第一虚拟双目像素72的第一景深D1可由下列公式计算:
Figure GDA0003517008840000081
右瞳孔52与左瞳孔62之间的距离为瞳距(interpupillary distance/IPD)。相同的,第二重新导向的右侧光信号18与对应的第二重新导向的左侧光信号28之间的第二角度为θ2。第二景深D2D1与第二角度θ2相关。尤其,物体的第二虚拟双目像素的第二景深D2可由第二重新导向的右侧光信号与对应的第二重新导向的左侧光信号光径延伸之间的第二角度θ2决定。使用者感受到第二虚拟双目像素74比第一虚拟双目像素72更远离使用者(意即,具有较大的景深),第二角度θ2小于第一角度θ1。
更进一步的,虽然重新导向的RLG_2的右侧光信号16’及对应的重新导向的LLS_2的左侧光信号26’一起以第一景深D1显示第一虚拟双目像素72,RLG_2的重新导向的右侧光信号16’非为对应的LLS_2的重新导向的左侧光信号26’的视差。传统上,由于右眼以不同于左眼的视角观看物体,右眼接收的影像与左眼接收的影像之间的视差被用来让使用者感受具有景深的3D影像。然而,在本发明中,虚拟双目像素的右侧光信号与对应的左侧光信号显示相同视角的影像。因此,红、蓝、以及绿色(RBG)的光强度及/或右侧光信号与左侧光信号的亮度大致上相同。换句话说,右像素与对应的左像素大致上相同。然而,在另一实施例中,右侧光信号与左侧光信号的其中之一或两者可被调整以呈现其他3D效果例如阴影。一般而言,在本发明中,右眼与左眼两者自相同的视角接收物体的影像,而不是以传统产生3D影像的方式各自从右眼视角与左眼视角的视差。如同以上所述,复数个右侧光信号由右侧光信号产生器10产生,由右侧合并器20重新导向,并直接扫描至右视网膜以在右视网膜上形成右视网膜影像。同样的,复数个左侧光信号由左侧光信号产生器30产生,由左侧合并器40重新导向的,并直接扫描至左视网膜以在左视网膜上形成左视网膜影像。在一实施例,如图2所示,右视网膜影像80包含36个右像素(6x6矩阵)而左视网膜影像90也包含36个左像素(6x6矩阵)。在另一实施例中,右视网膜影像80包含921,600右像素(1280x720矩阵)而左视网膜影像90也包含921,600左像素(1280x720矩阵)。物体显示系统被配置以产生复数个右侧光信号与对应的复数个左侧光信号,其各自在右视网膜形成右视网膜影像及在左视网膜形成左视网膜影像。因此,由于影像融像的关系,使用者在区域C中可看到具有特定景深的虚拟双目物体。
如图2所示,来自右侧光信号产生器10的第一右侧光信号16被右侧合并器20接收并反射。第一重新导向的右侧光信号16',通过右瞳孔52,到达该使用者的右视网膜以显示右像素R34。来自左侧光信号产生器30的对应的左侧光信号26由左侧合并器40接收并反射。第一重新导向的光信号26',通过左瞳孔62,到达该使用者的左视网膜以显示左像素L33。由于影像融像,使用者可看见具有复数个景深的虚拟双目物体,该景深是由相同物体的复数个重新导向的右侧光信号与对应的复数个重新导向的左侧光信号之间的角度决定。重新导向的右侧光信号与对应的左侧光信号之间的角度由右像素与左像素相对水平距离决定。因此,虚拟双目像素的景深与形成虚拟双目像素的右像素与对应的左像素之间的相对水平距离成反比。换句话说,虚拟双目像素对使用者而言具有越深的景深,形成虚拟双目像素的右像素及左像素之间X轴相对水平距离则越小。举例而言,如图2所示,第二虚拟双目像素74对使用者而言相对于第一虚拟双目像素72具有较深的景深(意即,离使用者较远)。因此,视网膜上,第二右像素与第二左像素之间的水平距离小于第一右像素与第一左像素之间的水平距离。特别是,形成第二虚拟双目像素的第二右像素R41与第二左像素L51之间的水平距离为4-像素的长度。然而,形成第一虚拟双目像素的第一右像素R43与第一左像素L33之间的距离为6-像素的长度。
在如图3的实施例中,其说明从光信号产生器到视网膜的复数个右侧光信号及复数个左侧光信号的光径。右侧光产生器产生的复数个右侧光信号被投射至右侧合并器20以形成右侧合并器影像(RCI)82。这些复数个右侧光信号由右侧合并器20重新导向的并会聚成小的右瞳孔影像(RPI)84以通过右瞳孔52,最终抵达右视网膜54以形成右视网膜影像(RRI)86。RCI、RPI、以及RRI包含ixj个像素。每一个右侧光信号RLS(i,j)通过相同的对应的像素自RCI(i,j)到RPI(i,j)并抵达RRI(x,y)。举例来说,RLS(5,3)自RCI(5,3)到RPI(5,3)并抵达RRI(2,4)。相同的,左侧光产生器30产生的复数个左侧光信号被投射至左侧合并器40以形成左侧合并器影像(LCI)92。这些复数个左侧光信号由左侧合并器40重新导向的并会聚成小的左瞳孔影像(LPI)94以通过左瞳孔62,最终抵达左视网膜64以形成右视网膜影像(LRI)96。LCI、LPI、及LRI的每一个包含ixj个像素。每一个左侧光信号LLS(i,j)通过相同的对应的像素自LCI(i,j)到LPI(i,j)并抵达LRI(x,y)。举例来说,LLS(3,1)自LCI(3,1)到LPI(3,1)并抵达LRI(4,6)。像素(0,0)为每个影像最左上侧的像素。视网膜影像中的像素相对于合并器影像中对应的像素为左右相反,上下颠倒。取决于光信号产生器与合并器适当的相对位置与角度,每一个光信号各自都具有从光信号产生器到视网膜的光径。在右视网膜显示一个右像素的一个右侧光信号与对应的在左视网膜显示左像素的左侧光信号结合形成具有特定景深的虚拟双目像素。因此,在空间中的虚拟双目像素可由一对右像素及左像素或一对右侧合并器20像素及左侧合并器40像素表示。
使用者在区域C所见的虚拟物体包含复数个虚拟双目像素。为了精准描述在空间中的虚拟双目像素的位置,在空间中的每一个位置均以三维(3D)座标表示,例如XYZ座标。其他实施例中,也可运用不同的3D座标系统。因此,每个虚拟双目像素具有3D座标—水平方向、垂直方向、及景深方向。水平方向(或X轴方向)是沿着瞳间线(interpupillary line)的方向。垂直方向(或Y轴方向)是沿着颜面中线(facial mid line)并与水平方向呈垂直。景深方向(或Z轴方向)与额平面(frontal surface)正交,并与水平与垂直方向垂直。
图4表示右侧合并器影像中的像素,左侧合并器影像中的像素,以及虚拟双目像素之间的关系。如上所述,右侧合并器影像中的像素与右视网膜影像中的像素(右像素)有一对一的关系。左侧合并器影像中的像素与左视网膜影像中的像素(左像素)有一对一的关系。然而,视网膜影像中的像素与合并器影像中对应的像素为左右相反,上下颠倒。对包含36(6x6)右像素的右视网膜影像与包含36(6x6)左像素的左视网膜影像而言,假设光信号在使用者两眼的FOV中,在区域C中一共有216(6x6x6)虚拟双目像素(以点阵显示)。重新导向的右侧光信号光径延伸与影像中同一排的每个重新导向的左侧光信号的光径延伸相交。相同的,重新导向的左侧光信号光径延伸与影像中同一排的每个重新导向的右侧光信号的光径延伸相交。因此,在一层中有36(6x6)个虚拟双目像素,且在空间中共有6层。两相邻线之间通常具有小角度表示光径延伸相交并形成虚拟双目像素(虽然在图4中被显示为平行)。每个视网膜具有大致上相同高度的右像素与对应的左像素(意即,在同一排的右视网膜影像及左视网膜影像)最先相互融像。因此,在视网膜影像中同一排的右像素与左像素相互配对以形成虚拟双目像素。
如图5所示,利用查找表以方便找出每个虚拟双目像素右像素及左像素对。举例而言,216个虚拟双目像素,以数字标号1到216,由36(6x6)个右像素及36(6x6)个左像素构成。第1(1st)虚拟双目像素VBP(1)代表右像素RRI(1,1)与左像素LRI(1,1)对。第2(2nd)虚拟双目像素VBP(2)代表右像素RRI(2,1)与左像素LRI(1,1)对。第7(7th)虚拟双目像素VBP(7)代表右像素RRI(1,1)与左像素LRI(2,1)对。第37(37th)虚拟双目像素VBP(37)代表右像素RRI(1,2)与左像素LRI(1,2)对。第216(216th)虚拟双目像素VBP(216)代表右像素RRI(6,6)与左像素LRI(6,6)对。因此,为了在空间中显示物体的特定虚拟双目像素,必须先决定哪个右像素及左像素对可用来产生对应的右侧光信号与左侧光信号。此外,查找表上每个排的虚拟双目像素包含指引(pointer)指向储存VBP景深(z)与VBP位置(x,y)的记忆体位址。其他的资料,例如可储存VBP比例大小、重迭物体的数量、以及连续景深…等的资料。比例大小可为特定VBP与标准VBP的比较的相对大小资料。举例而言,当物体显示在使用者前方一公尺以标准VBP显示时,比例大小可设定为1。因此,在使用者前方90cm的特定VBP的比例大小可设为1.2。相同的,在使用者前方1.5m的特定VBP的比例大小可设为0.8。当物体自第一景深D1移动到第二景深D2时,比例大小可被用来判定显示物体的大小。物体重迭数为多个物体互相重迭的数目(物体完全或部分被隐藏于另一物体之后)。景深顺序提供各个重迭物体景深的顺序资料。举例而言,以3个物体相互重迭为例。在前方的第一物体的景深顺序可被设为1,而隐藏于第一物体后的第二物体的景深顺序可被设为2。当不同的物体移动时,物体重迭数与景深顺序可被用来判定哪一个物体或哪一个部分需要被显示。
如图6所示,具复数个景深的虚拟物体,例如一只恐龙,可通过投射预先设定的右像素及左像素到使用者的视网膜而在区域C中显示出。在一实施例,物体位置可通过参考位置来判定,而物体的视角通过旋转角度来判定。如图7所示,在步骤710,以参考位置来创造物体影像。在一实施例中,物体影像可由2D或3D模组产生。参考位置可位于物体的重心。步骤720中,判定参考位置的虚拟双目像素。通过参考位置的3D座标,设计者可以其数字直接判定,例如通过GUI软体,最接近虚拟双目像素,例如VBP(145)。在步骤730中,找出对应虚拟双目像素的一对右像素及左像素。设计者可通过查找表找出对应的右像素与左像素对。设计者也可预先决定的参考位置景深来计算会聚角度并找出对应的右像素与左像素,假设参考位置位于使用者双眼之间的前方。设计者可在XY平面移动参考位置到预先设定的X与Y座标并找出最终对应的右像素与左像素。在步骤740中,投射右侧光信号与对应的左侧光信号以分别显示右像素与对应的左像素以作为参考位置。当对应参考位置的虚拟双目像素的右像素与左像素对被确定后,整个虚拟物体可通过2D或3D模组资料显示。
查找表由以下步骤产生。第一步骤,基于使用者的IPD取得个人虚拟地图,该虚拟地图是在初始化及校正过程中由系统产生,其定义使用者可看见具有景深的物体的区域C的边界,使用者可看见具有景深的物体是由于右视网膜影像与左视网膜影像融像所造成。在第二步骤,计算Z轴方向的每个景深(Z-座标上的每个点)的会聚角度以在右视网膜影像与左视网膜影像分别找出右像素及左像素对无论X-座标与Y-座标位置。在第三步骤,沿着X轴方向移动右像素及左像素对以找出每个右像素及左像素对在特定景深的X-座标及Z-座标无论Y-座标位置。在第四步骤,沿着Y轴方向移动右像素及左像素对以判定每个右像素与左像素对的Y-座标。借此,在右视网膜影像与左视网膜影像的每个右像素及左像素对的3D座标系统(如XYZ)可被判定来产生查找表。此外,第三步骤与第四步骤可被交换。
在另一实施例中,设计者可决定形成虚拟物体的每个必要虚拟双目像素,然后通过查找表找出每个对应的右像素与左像素对。右侧光信号与左侧光信号可接着被产生。右视网膜影像与左视网膜影像具有相同视角。视差并未被使用来呈现3D影像。因此,可避免复杂及费时的计算机制图计算。右视网膜影像与左视网膜影像上物体的相对位置决定使用者所感受到的景深。
光信号产生器10与20在后续可被利用,发光二极体(“LED”,包含迷你与微型LED)、有机发光二极体(“OLED”)、或超发光二极体(super luminescent diode/“SLD”),液晶覆硅(LcoS)、液晶显示(“LCD”)、或上述的组合可被运用做为光源。在一实施例中,光信号产生器10及20为雷射光束扫描投影机(LBS投影机),其包含如红光雷射、绿光雷射、与蓝光雷射的光源,光色调节器(如双向色合并器与偏光合并器),及二维(2D)可调整反射器(如2D机电系统(“MEMS”)镜)。2D可调整反射器可由两个一维(1D)反射器(如两个1D MEMS镜)取代。LBS投影机依序产生及扫瞄光信号以形成具预先决定解析度的2D影像,例如每影格具有1280x720像素。因此,一次产生一个像素的一个光信号并朝向合并器20与40一次投射一个像素。为了让使用者可由单眼看见2D影像,LBS投影机必须在视觉暂留的时间内(例如1/18秒)依序产生每个像素的光信号,例如1280x720光信号。因此,每个光信号的停留时间约60.28奈秒。
在另一实施例中,光信号产生器10与30可为数位光处理投影机(“DLP投影机”),其可一次产生一个2D彩色影像。德州仪器(Texas Instrument)的DLP技术是可生产DLP投影机的多种技术中的其中一种。整个2D彩色影像影格,例如可包含1280x720像素,是同时朝向合并器20与40投射。
合并器20与40接收并重新导向光信号产生器10及20产生的复数个光信号。在一实施例中,合并器20与40反射复数个光信号让重新导向的光信号与入射光信号在合并器20与40的同一侧。在另一实施例中,合并器20与40折射复数个光信号让重新导向的光信号与入射光信号在合并器20与40的不同侧。当合并器20与40具折射器的功能时,反射比例可具有相当大的变动,例如20%-80%,其部分取决于光信号产生器的能力。该领域具有通常知识者可基于光信号产生器与合并器的特性决定适当的反射比例。除此之外,在一实施例,合并器20与40的光信号入射的相对面相对于环境光而言可为透明。基于不同的实施例,透明的程度可具有相当大的变动。在AR/MR的应用中,透明度较佳为50%,在其他实施例中75%则较佳。此外,为了重新导向光信号,合并器20与40可会聚复数个光信号以形成合并器影像使其可通过瞳孔并抵达使用者的视网膜。
合并器20与40可由玻璃或塑胶材质的镜面构成,并涂布有特定材料(例如金属)使其具部分透光或部分反射的特性。使用反射性合并器的优势在于不使用现有技术中导光板来导向光信号至使用者的眼睛,可以解决不佳的饶射效应,如复数个影子,颜色失真…等。合并器20与40可为全像合并器但不是较佳实施例因为饶射效应可造成复数个影子及RGB失真。在一些实施例,需要避免使用全像合并器。
在一实施例,合并器20与40具有椭球体表面。此外,光信号产生器与使用者的眼睛位于椭球体的焦点。如图8所示,右侧合并器20具有椭球体表面,右侧光信号产生器10位于右侧焦点且使用者右眼位于椭球体的左侧焦点。同样的,左侧合并器40具有椭球体表面,左侧光信号产生器30位于左侧焦点且使用者左眼位于椭球体的右侧焦点。基于椭球体的几何特性,自一焦点投射到椭球体表面的所有光束会被反射至另一个焦点。在这样的状况下,自光信号产生器投射到椭球体表面合并器的所有光束会被反射到使用者的眼睛。因此,在此实施例,FOV可被最大化,与椭球体表面相当。在另一实施例中,合并器10及20可具有平的表面并具有全像膜,其被配置以椭球体的方式来反射光。
物体显示系统可右准直器及左准直器以收敛复数个光信号的光束,例如导致移动的方向较与一方向对齐或让光束的空间剖面更小。右准直器可被设置于右侧光信号产生器与右侧合并器之间,而左准直器可被设置于左侧光信号产生器与左侧合并器之间。准直器可为曲面镜或镜片。
如图9所示,物体显示系统可进一步包含右光学复制器(光学复制器)及左光学复制器。光学复制器可设置在光信号产生器10与30及合并器20与40之间以复制入射光信号。因此,光学复制器可产生复数个入射光信号以扩大使用者眼箱(eye-box)。光学复制器可be光束分光镜、偏光分光镜、半镀银镜(half-silvered mirrors)、部分反射镜(partialreflective mirror)、双向色棱镜(dichroic mirrored prisms)、双向色、或介电质光学涂布层。光学复制器120可包含至少两个光学元件以复制入射光信号成为至少两个物件。每个光学元件可为镜片、反射器、部分反射镜、菱镜或上述的任何组合。
物体显示系统可进一步包含控制单元,其包含所有必要的电路以控制右侧光信号产生器与左侧光信号产生器。控制单元提供电子信号至光信号产生器以产生复数个光信号。在一实施例中,右侧光信号产生器与左侧光信号产生器的位置及角度可调整右侧光信号与左侧光信号入射角与右侧合并器与左侧合并器接收位置。这样的调整可由控制单元实现。控制单元可通过有线或无线机制与独立的影像信号提供者通讯。无线通讯包含4G与5G电信通讯、WiFi、蓝芽、近距离通讯(near field communication)、及网路。控制单元可包含处理器、记忆体、输入输出接口(I/O interface),以与影像信号提供者与使用者通讯。物体显示系统进一步包含电源。该电源可为电池及/或可无线充电的原件。
至少有两种安排光信号产生器至使用者的视网膜的光径的选项。上述的第一选项为右侧光信号产生器产生右侧光信号,且右侧光信号由右侧合并器重新导向到右视网膜;左侧光信号产生器产生左侧光信号,且左侧光信号由左侧合并器40重新导向到左视网膜。如图10所示,第二选项为右侧光信号产生器产生右侧光信号,右侧光信号由左侧合并器重新导向到左视网膜;而左侧光信号产生器产生左侧光信号,产生左侧光信号由右侧合并器20重新导向到右视网膜。
在另一实施例中,如图11所示,右侧合并器与左侧合并器可被整合成整合合并器并对右侧光信号与左侧光信号具有特定曲率。在这个实施例的大合并器中,右侧光信号产生器产生的右侧光信号被反射至左视网膜而左侧光信号产生器产生的左侧光信号被反射至右视网膜。通过延长合并器的宽度以产生相对较大的反射表面,双目融像的FOV与区域C大小可增加。
物体显示系统可包含使用者头部可穿戴的支撑结构以装载右侧光信号产生器、左侧光信号产生器、右侧合并器、及左侧合并器。右侧合并器与左侧合并器位于使用者视野内。因此,在此实施例,物体显示系统为头戴式装置(HWD)。尤其,如图12所示,物体显示系统可由眼镜装载,即智慧型眼镜。在此状况中,支撑结构可为具有镜片或不具镜片的眼镜镜框。镜片可为具有度数的镜片,用以矫正近视、远视…等。右侧光信号产生器可装载于镜框的右镜腿处而左侧光信号产生器可装载于镜框的左镜腿处。右侧合并器可装载于右镜片而左侧合并器可装载于左镜片。装载方法有许多不同的实施方式。合并器可通过可拆卸式或非可拆卸式手段贴合或整合至镜片。此外,合并器可与镜片一体成型,该镜片包含具度数的镜片。当支撑结构不包含镜片时,右侧合并器与左侧合并器可直接装载于镜架或镜框。
上述物体显示系统实施例的所有各种部件可被运用到HWD。因此,HWD,包含智慧型眼镜,可进一步装载其他物体显示系统部件,例如控制单元,右准直器及左准直器。右准直器可位于右侧光信号产生器与右侧合并器之间,左准直器或可位于左侧光信号产生器与左侧合并器之间。此外,合并器可由光束分光镜与会聚镜片取代。光束分光镜的功能在于反射光信号,会聚镜片的功能在于会聚光信号使其通过瞳孔并抵达使用者的视网膜。
当物体显示系统配置于智慧型眼镜时,智慧型眼镜镜片可同时具有屈光特性用以校正使用者的视力与合并器的功能。智慧型眼镜可具有度数的镜片以校正近视使用者或远视的使用者的视力。在这些状况下,智慧型眼镜每个镜片可包含屈光单元及合并器。屈光单元与合并器可以相通或不同的材质一体成型的制造。屈光单元与合并器可分别被制造成为两个元件并组装在一起。这两个元件可相互接合,也可拆卸,例如通过磁吸件,或可用永久性接合在一起。在上述的两个状况中,合并器被提供在镜片靠近使用者眼睛的一侧。如果镜片为一体成型,合并器形成镜片的内表面。如果镜片具有两个部件,合并器形成镜片的内表面。合并器同时允许环境穿透及反射光信号产生器产生的光信号到使用者的眼睛以在真实的环境中形成虚拟影像。合并器被设计具有适当的曲率以反射并会聚所有来自光信号产生器的光信号进入瞳孔至眼睛的视网膜。
在一些实施例,屈光单元的表面的曲率基于使用者的屈光度数来决定。如果镜片为一体成型,具屈光度数的曲率为镜片的外表面。如果镜片具有两个部分,屈光单元形成镜片的外部分。在此状况下,屈光度数的曲率可为屈光单元的内表面或外表面。为了让屈光单元与合并器更好的匹配,在一实施例,屈光单元可基于度数被分类为3组—超过+3.00(远视),-3.0-+3.0之间,以及小余-3.0(近视)。合并器可屈光单元的类别来设计。在另一实施例中,屈光单元可被分类成5组或10组,每个组具有更小的屈光度范围。如图13所示,屈光单元外表面用来提供具有屈光度数的曲率,屈光单元内表面可被设计成具有与合并器外表面相同的曲率。因此,屈光单元可与合并器更容易结合。举例而言,屈光单元内表面与合并器外表面可为相同的球体或椭圆体表面。在另一实施例,当屈光单元内表面的曲率具有度数时,合并器外表面可设计为具有相同或相似屈光单元内表面的曲率使两者易于结合。然而,当合并器外表面与屈光单元内表面不具有相同曲率时,合并器外表面与屈光单元内表面可通过力学机制如磁铁、黏合材料或接合构件相互结合。另外也可以运用中介材料组装屈光单元与合并器。或者,合并器可涂布在镜片的内表面。
除了空间影格中的静止虚拟物体外,物体显示系统可显示移动物体。当右侧光信号产生器10与左侧光信号产生器30可以高速度产生光信号,例如30、60或更高影格/秒,由于视觉暂留,使用者可在影像中看见物体平顺移动。以下将描述各种以显示虚拟物体移动的实施例。图14A-I分别说明物体移动的例1-9。在图中显示的右侧合并器影像82与左侧合并器影像92的物体并没有精确的反应对应的右侧光信号与左侧光信号显示的位置。此外,这些例子中将使用者的瞳孔间线的中间点作为XYZ座标系统的原点。更进一步的,RCI(10,10)与LCI(10,10)被设定为右侧合并器影像与左侧合并器影像的中间点。相同的,RRI(10,10)与LRI(10,10)被设定为右视网膜影像与左视网膜影像的中间点。(0,0)像素是每个影像最左上侧的像素。
图14A的例1说明虚拟物体在相同的景深平面上只在X轴方向移动(向右),从第一虚拟双目像素到第二虚拟双目像素。为达到此目的,右侧光信号与对应的左侧光信号在右侧合并器影像与左侧合并器影像的位置必须分别在X轴方向上以相同的距离(像素)向右移动。因此,右侧光信号与对应的左侧光信号各自在形成虚拟物体的右视网膜影像与左视网膜影像的位置在X轴方向上以相同的距离移向左侧。换句话说,来自光信号产生器的右侧光信号与对应的左侧光信号必须被投射在合并器影像上不同的X-座标位置。然而,由于虚拟物体的Y-座标与Z-座标(景深方向)维持不变,右侧光信号与对应的左侧光信号被投射合并器影像上相同的位置(Y-座标和Z-座标)。举例而言,当虚拟物体XYZ座标自(0,0,100)移动到(10,0,100),右侧合并器影像上的右侧光信号自RCI(10,10)移动到RCI(12,10),而左侧合并器影像上的左侧光信号自LCI(10,10)移动到LCI(12,10)。因此,右视网膜影像上的右侧光信号自RRI(10,10)移动到RRI(8,10),而左视网膜影像上的左侧光信号自LRI(10,10)移动到LRI(8,10)。
图14B的例2说明虚拟物体在相同的景深平面上只在Y轴方向移动(向下),从第一虚拟双目像素到第二虚拟双目像素。为达到此目的,右侧光信号与对应的左侧光信号在右侧合并器影像与左侧合并器影像的位置必须分别在Y轴方向上以相同的距离(像素)向下移动。因此,右侧光信号与对应的左侧光信号各自在形成虚拟物体的右视网膜影像与左视网膜影像的位置在Y轴方向上以相同的距离移向上。换句话说,来自光信号产生器的右侧光信号与对应的左侧光信号必须被投射在合并器影像上不同的Y-座标位置。然而,由于虚拟物体的X-座标与Z-座标(景深方向)维持不变,右侧光信号与对应的左侧光信号被投射合并器影像上相同的位置(X-座标和Z-座标)。举例而言,当虚拟物体XYZ座标自(0,0,100)移动到(0,-10,100),右侧合并器影像上的右侧光信号自RCI(10,10)移动到RCI(10,12),而左侧合并器影像上的左侧光信号自LCI(10,10)移动到LCI(10,12)。因此,右视网膜影像上的右侧光信号自RRI(10,10)移动到RRI(10,8),而左视网膜影像上的左侧光信号自LRI(10,10)移动到LRI(10,8)。
图13C的例3说明虚拟物体只在Z轴方向移动(朝向使用者),因此从原来的景深平面到新的景深平面。为达到此目的,基于右侧光信号与对应的左侧光信号光径延伸之间的会聚角度加大,右侧光信号与对应的左侧光信号在右侧合并器影像与左侧合并器影像的位置必须在X轴方向彼此靠近。因此,形成虚拟物体的右侧光信号与对应的左侧光信号在右视网膜影像与左视网膜影像的位置在X轴方向相互远离。总体而论,当虚拟物体移动接近使用者,合并器影像中右侧光信号与对应的左侧光信号位置之间的相对距离减小,而视网膜影像中右侧光信号与对应的左侧光信号位置之间的相对距离增加。换句话说,来自光信号产生器的右侧光信号与对应的左侧光信号必须投射在合并器影像上两个不同X-座标位置使两者彼此靠近。然而,由于虚拟物体Y-座标维持不变,右侧光信号与对应的左侧光信号被投射到合并器影像相同的Y-座标位置。举例而言,当虚拟物体XYZ座标自(0,0,100)移动到(0,0,50),右侧合并器影像上的右侧光信号自RCI(10,10)移动到RCI(5,10),而左侧合并器影像上的左侧光信号自LCI(10,10)移动到LCI(15,10)。因此,右视网膜影像上的右侧光信号自RRI(10,10)移动到RRI(15,10),而左视网膜影像上的左侧光信号自LRI(10,10)移动到LRI(5,10)。
然而,为了移动虚拟物体使其接近使用者,虚拟物体的X-座标并不在瞳孔间线中间(中间点)(在一实施例中,X-座标=0),右侧光信号与对应的左侧光信号在右侧合并器影像与左侧合并器影像的分别位置必须基于比例向彼此靠近。该比例是由右侧光信号在右侧合并器影像的位置与其左侧边界(靠近双眼的中间)之间的距离,与左侧光信号在左侧合并器影像的位置与其右侧边界之间的距离(靠近双眼的中间)相比。举例而言,假设右侧光信号在右侧合并器影像的位置为离左侧边界10像素(靠近双眼的中间),左侧光信号在左侧合并器影像的位置为离右侧边界5像素(靠近双眼的中间),右侧位置到中间的距离与左侧位置到中间的距离的比为2:1(10:5)。为了移动物体使其更靠进使用者,由于2:1比例的关系,如果右侧合并器影像上右侧位置与左侧合并器影像上左侧位置必须彼此靠近3像素的距离,右侧位置必须朝向左侧边界移动2像素,而左侧位置必须朝向右侧移动1像素。
图13D的例4说明虚拟物体在空间中相同的景深平面上在X轴方向(向右)与Y轴方向(向上)移动,从第一虚拟双目像素到第二虚拟双目像素。为达到此目的,右侧光信号与对应的左侧光信号在右侧合并器影像与左侧合并器影像的位置必须相对于原先的位置向右与向上移动。因此,右侧光信号与对应的左侧光信号各自在形成虚拟物体的右视网膜影像与左视网膜影像的位置相对于原先的位置向右与向上移动。换句话说,来自光信号产生器的右侧光信号与对应的左侧光信号必须被投射在右侧合并器影像与左侧合并器影像较右上侧的新位置,而右侧光信号与对应的左侧光信号光径延伸之间的会聚角度维持不变。举例而言,当虚拟物体XYZ座标自(0,0,100)移动到(10,10,100),右侧光信号在右侧合并器影像自RCI(10,10)移动到RCI(12,8),而左侧光信号在左侧合并器影像自LCI(10,10)移动到LCI(12,8)。因此,右侧光信号在右视网膜影像自RRI(10,10)移动到RRI(8,12),而左侧光信号在左视网膜影像自LRI(10,10)移动到LRI(8,12)。
图13E的例5说明虚拟物体在空间中在Y轴方向(向下)与Z轴方向(接近使用者)移动,因此自原先的景深平面移动到新的景深平面。为达到此目的,右侧光信号与对应的左侧光信号在右侧合并器影像与左侧合并器影像的位置必须在Y轴方向向下移动,并在X轴方向互相靠近移动,对应大会聚角。因此,右侧光信号与对应的左侧光信号各自在形成虚拟物体的右视网膜影像与左视网膜影像的位置必须在Y轴方向向上移动,并在X轴方向互相远离移动。换句话说,来自光信号产生器的右侧光信号与对应的左侧光信号必须投射在合并器影像不同Y-座标位置及两个不同X-座标位置(互相靠近)。举例而言,当虚拟物体XYZ座标自(0,0,100)移动到(0,-10,50),右侧光信号在右侧合并器影像自RCI(10,10)移动到RCI(5,12),而左侧光信号在左侧合并器影像自LCI(10,10)移动到LCI(15,12)。因此,右侧光信号在右视网膜影像自RRI(10,10)移动到RRI(15,8),而左侧光信号在左视网膜影像自LRI(10,10)移动到LRI(5,8)。
然而,由于虚拟物体X-座标维持不变而虚拟物体朝向使用者移动,右侧合并器影像与左侧合并器影像上右侧光信号与对应的左侧光信号的分别位置必须基于比例向彼此靠近。该比例是由右侧光信号在右侧合并器影像的位置与其左侧边界(靠近双眼的中间)之间的距离,与左侧光信号在左侧合并器影像的位置与其右侧边界之间的距离(靠近双眼的中间)相比。举例而言,(假设右侧光信号在右侧合并器影像的位置为离左侧边界10像素(靠近双眼的中间),左侧光信号在左侧合并器影像的位置为离右侧边界5像素(靠近双眼的中间),右侧位置到中间的距离与左侧位置到中间的距离的比为2:1(10:5)。为了移动物体使其更靠进使用者,由于2:1比例的关系,如果右侧合并器影像上右侧位置与左侧合并器影像上左侧位置必须彼此靠近3像素的距离,右侧位置必须朝向左侧边界移动2像素,而左侧位置必须朝向右侧移动1像素。
图14F的例6说明虚拟物体在空间中在X轴方向(向右)与Z轴方向(接近使用者)移动,因此自原先的景深平面移动到新的景深平面。为达到此目的,右侧光信号与对应的左侧光信号在右侧合并器影像与左侧合并器影像的位置必须在X轴方向向右移动,并在X轴方向互相靠近移动,对应大会聚角。因此,右侧光信号与对应的左侧光信号各自在形成虚拟物体的右视网膜影像与左视网膜影像的位置必须在X轴方向向左移动,并在X轴方向互相远离移动。换句话说,来自光信号产生器的右侧光信号与对应的左侧光信号必须投射在合并器影像不同X-座标位置及两个不同X-座标位置(向右并互相靠近)。由于虚拟物体Y-座标维持不变,右侧光信号与对应的左侧光信号被投射合并器影像相同的Y-座标位置。举例而言,当虚拟物体XYZ座标自(0,0,100)移动至(10,0,50),右侧合并器影像上的右侧光信号自RCI(10,10)移动至RCI(7,10),而左侧合并器影像上的左侧光信号自LCI(10,10)移动至LCI(17,10)。因此,右视网膜影像上的右侧光信号自RRI(10,10)移动至RRI(13,10)而左视网膜影像上的左侧光信号自LRI(10,10)移动至LRI(3,10)。
图14G的例7说明虚拟物体在空间中在X轴方向(向右),Y轴方向(向下),Z轴方向(接近使用者)移动,因此从原先的景深平面到新的景深平面。为达到此目的,右侧光信号与对应的左侧光信号在右侧合并器影像与左侧合并器影像的位置必须在X轴方向向右移动,在Y轴方向向下移动,在X轴方向互相靠近移动,对应大会聚角。因此,右侧光信号与对应的左侧光信号各自在形成虚拟物体的右视网膜影像与左视网膜影像的位置必须在X轴方向向左移动,在Y轴方向向上移动,在X轴方向互相远离移动。换句话说,来自光信号产生器的右侧光信号与对应的左侧光信号必须投射在合并器影像两个不同X-座标(向右并互相靠近)与不同Y-座标位置。举例而言,当虚拟物体XYZ座标自(0,0,100)移动至(10,-10,50),右侧合并器影像上的右侧光信号自RCI(10,10)移动至RCI(7,12),而左侧合并器影像上的左侧光信号自LCI(10,10)移动至LCI(17,12)。因此,右视网膜影像上的右侧光信号自RRI(10,10)移动至RRI(13,8),而左视网膜影像上的左侧光信号自LRI(10,10)移动至LRI(3,8)。
图14H所示的例8说明在Z轴方向移动虚拟物体的方法,该物体自景深1m移动到景深10m(远离使用者),因此在空间中自原先的景深平面至新的景深平面。当区域C的空间包含足够多数量的虚拟双目像素,虚拟物体可经由许多中间虚拟双目像素而平顺的移动。换句话说,当右视网膜影像与左视网膜影像包含足够多数量的右像素与左像素,使用者可在空间中看见大量的虚拟双目像素。在图14H中,以圆点代表的物体自景深1m的第一虚拟双目像素移动至景深10m的第二虚拟双目像素,中间经由不同的中间虚拟双目像素。首先,景深1m的第一虚拟双目像素的第一重新导向的右侧光信号与第一重新导向的左侧光信号光径延伸之间的会聚角度为3.4度。
Figure GDA0003517008840000221
如果IPD=60mm,θ=3.4度。
第二,景深10m的第二虚拟双目像素的第二重新导向的右侧光信号与第二重新导向的左侧光信号的光径延伸之间的会聚角度为0.34度。
Figure GDA0003517008840000222
如果IPD=60mm,θ=0.34度。
第三,计算中间虚拟双目像素。中间虚拟双目像素的数量可根据第一虚拟双目像素与第二虚拟双目像素会聚角的差异以及FOB每一度中X轴方向中像素的数量来计算。第一虚拟双目像素会聚角度(3.4度)与第二虚拟双目像素会聚角度(0.34度)之间的差异为3.06。FOB每一度中X轴方向中像素的数量为32,假设扫描的视网膜影像总宽度为1280像素,其视野(FOV)涵盖40度。因此,当虚拟物体自景深1m的第一虚拟双目像素移动到景深10m的第二虚拟双目像素,在此之间有大约98个(32x3.06)虚拟双目像素可用来显示此移动。该些98个虚拟双目像素可通过上述的查找表找到。第四,在本实施例中,可通过98个中间虚拟双目像素显示移动,如切分成98个小移动步骤。这些98个虚拟双目像素右侧光信号与对应的左侧光信号分别由右侧光信号产生器10与左侧光信号产生器30产生并投射到使用者的右视网膜及左视网膜。因此,使用者可看见虚拟物体经由98个中间位置平顺的自1m移动到10m。
图14I的例9说明在Z轴方向将虚拟物体自景深1m移动到景深20cm(更接近使用者)的方法,因此在空间中自原先的景深平面至新的景深平面。当区域C的空间包含足够多数量的虚拟双目像素,虚拟物体可经由许多中间虚拟双目像素而平顺的移动。换句话说,当右视网膜影像与左视网膜影像包含足够多数量的右像素与左像素,使用者可在空间中看见大量的虚拟双目像素。(在图14I中,以圆点代表的物体自景深1m的第一虚拟双目像素移动至景深20cm的第二虚拟双目像素,中间经由不同的中间虚拟双目像素。首先,景深1m的第一虚拟双目像素的第一重新导向的右侧光信号与第一重新导向的左侧光信号光径延伸之间的会聚角度为3.4度。)
Figure GDA0003517008840000231
如果IPD=60mm,θ=3.4度。
第二,景深20cm的第二虚拟双目像素的第二重新导向的右侧光信号与第二重新导向的左侧光信号的光径延伸之间的会聚角度为17度。
Figure GDA0003517008840000232
如果IPD=60mm,θ=17度。
第三,计算中间虚拟双目像素。中间虚拟双目像素的数量可根据第一虚拟双目像素与第二虚拟双目像素会聚角的差异以及FOB每一度中X轴方向中像素的数量来计算。第一虚拟双目像素会聚角度(3.4度)与第二虚拟双目像素会聚角度(17度)之间的差异为13.6。FOB每一度中X轴方向中像素的数量为32,假设扫描的视网膜影像总宽度为1280像素,其视野(FOV)涵盖40度。因此,当虚拟物体自景深1m的第一虚拟双目像素移动到景深20cm的第二虚拟双目像素,在此之间有大约435个(32x13.6)虚拟双目像素可用来显示此移动。该些435个虚拟双目像素可通过上述的查找表找到。第四,在本实施例中,可通过435个中间虚拟双目像素显示移动,如切分成435个小移动步骤。这些435个虚拟双目像素右侧光信号与对应的左侧光信号分别由右侧光信号产生器10与左侧光信号产生器30产生并投射到使用者的右视网膜及左视网膜。因此,使用者可看见虚拟物体经由435个中间位置平顺的自1m移动到20cm。
以上虽然阐述了本发明诸多技术特征及优势,但其公开的功能及细部结构均为示例性说明。在不背离本发明的精神下,本发明权利要求书的权利范畴最大解读方式涵盖基于本说明书的教示而改变本发明形状、大小、及部件的配置方式所得的改良。
以上的实施例提供给该领域具有通常知识者可使用本案。该实施例的各种改良变化对该领域具有通常知识者而言可为显而易见。在不涉及新的技术特征的前提下,在此描述的技术思想与标的物可被运用至其他实施例。本案的请求的权利范围不用来限制在此描述的实施例,且应该以最广的范畴解读。其他囊括在本案精神内的的实施例也可被包含在本案中。本案请求的权利范围也涵盖其他改良变化及均等物。

Claims (30)

1.一种显示具有景深的物体的系统,其特征在于,包含:
右侧光信号产生器,用以产生物体的复数个右侧光信号;
右侧合并器,接收及重新导向该复数个右侧光信号朝向使用者的视网膜以显示该物体的复数个右像素;
左侧光信号产生器,用以产生该物体的复数个左侧光信号;
左侧合并器,接收及重新导向该复数个左侧光信号朝向该使用者的另一视网膜以显示该物体的复数个左像素;以及
其中,该使用者感知第一重新导向的右侧光信号及对应的第一重新导向的左侧光信号以第一景深显示该物体的第一虚拟双目像素,该第一景深与该第一重新导向的右侧光信号及对应的该第一重新导向的左侧光信号之间的第一角度相关。
2.如权利要求1所述的系统,其特征在于,该第一景深是由该第一重新导向的右侧光信号及对应的该第一重新导向的左侧光信号光径延伸之间的该第一角度来决定。
3.如权利要求1所述的系统,其特征在于,该第一重新导向的右侧光信号及对应的该第一重新导向的左侧光信号于该使用者两眼的该视网膜上大致上具有相同的高度。
4.如权利要求1所述的系统,其特征在于,该第一重新导向的右侧光信号非为对应的该第一重新导向的左侧光信号的视差。
5.如权利要求1所述的系统,其特征在于,由该右侧光信号产生器产生的该复数个右侧光信号在进入该使用者的视网膜之前仅被反射一次,且由该左侧光信号产生器产生的该复数个左侧光信号在进入该使用者的视网膜之前仅被反射一次。
6.如权利要求1所述的系统,其特征在于,该右侧光信号产生器是右侧雷射光束扫描投影机(LBS投影机),且由该右侧LBS投影机产生的该复数个右侧光信号进入该使用者的视网膜之前仅由该右侧合并器反射一次,该左侧光信号产生器是左侧LBS投影机,且由该左侧LBS投影机产生的该复数个左侧光信号进入该使用者的视网膜之前仅由该左侧合并器反射一次。
7.如权利要求1所述的系统,其特征在于,该右侧合并器及该左侧合并器对环境光而言为透明。
8.如权利要求1所述的系统,其特征在于,该使用者感知第二重新导向的右侧光信号及对应的第二重新导向的左侧光信号以第二景深显示该物体的第二虚拟双目像素,该第二景深与该第二重新导向的右侧光信号及对应的该第二重新导向的左侧光信号之间的第二角度相关。
9.如权利要求1所述的系统,其特征在于,该右侧合并器接收并重新导向该复数个左侧光信号朝向该使用者的右视网膜以显示该物体的复数个右像素,而该左侧合并器接收并重新导向该复数个右侧光信号朝向该使用者的左视网膜以显示该物体的复数个左像素。
10.如权利要求1所述的系统,其特征在于,该右侧合并器及该左侧合并器为椭圆体型,该右侧光信号产生器配置于该右侧合并器的焦点位置,而该左侧光信号产生器配置于该左侧合并器的焦点位置。
11.如权利要求1所述的系统,其特征在于,该右侧光信号产生器的右投射角度可被调整以改变该复数个右侧光信号至该右侧合并器的入射角度,该左侧光信号产生器的左侧投射角度可被调整以改变该复数个左侧光信号至该左侧合并器的入射角度。
12.如权利要求1所述的系统,其特征在于,进一步包含:
支撑结构,该支撑结构可被穿戴于该使用者的头部;
其中,该右侧光信号产生器及该左侧光信号产生器装载于该支撑结构;以及
其中,该右侧合并器及该左侧合并器装载于该支撑结构并配置于该使用者的视野中。
13.如权利要求12所述的系统,其特征在于,该支撑结构是眼镜。
14.如权利要求13所述的系统,其特征在于,该眼镜的镜片具有度数并装载有该右侧合并器或该左侧合并器。
15.如权利要求13所述的系统,其特征在于,该眼镜的镜片具有度数且该镜片与该右侧合并器或该左侧合并器一体成型。
16.如权利要求13所述的系统,其特征在于,具有度数的该镜片及该右侧合并器或该左侧合并器可相互结合且可相互拆卸。
17.如权利要求12所述的系统,其特征在于,该右侧合并器及该左侧合并器一体成型成为整合合并器。
18.一种显示具有景深的物体的方法,其特征在于,包含:
自右侧光信号产生器产生该物体的复数个右侧光信号;
重新导向该复数个右侧光信号至使用者的视网膜;
自左侧光信号产生器产生该物体的复数个左侧光信号;
重新导向该复数个左侧光信号至该使用者的另一视网膜;
其中,该使用者感知第一重新导向的右侧光信号及对应的第一重新导向的左侧光信号以第一景深显示该物体的第一虚拟双目像素,该第一景深与该第一重新导向的右侧光信号及对应的该第一重新导向的左侧光信号之间的第一角度相关。
19.如权利要求18所述的方法,其特征在于,该第一景深是由该第一重新导向的右侧光信号及对应的该第一重新导向的左侧光信号光径延伸之间的该第一角度来决定。
20.如权利要求18所述的方法,其特征在于,该第一重新导向的右侧光信号及对应的该第一重新导向的左侧光信号于该使用者两眼的该视网膜上大致上具有相同的高度。
21.如权利要求18所述的方法,其特征在于,该第一重新导向的右侧光信号非为对应的该第一重新导向的左侧光信号的视差。
22.如权利要求18所述的方法,其特征在于,由该右侧光信号产生器产生的该复数个右侧光信号在进入该使用者的视网膜之前仅被反射一次,且由该左侧光信号产生器产生的该复数个左侧光信号在进入该使用者的视网膜之前仅被反射一次。
23.如权利要求18所述的方法,其特征在于,该右侧光信号产生器是右侧雷射光束扫描投影机(LBS投影机),且由该右侧LBS投影机产生的该复数个右侧光信号进入该使用者的视网膜之前仅由该右侧合并器反射一次,该左侧光信号产生器是左侧LBS投影机,且由该左侧LBS投影机产生的该复数个左侧光信号进入该使用者的视网膜之前仅由该左侧合并器反射一次。
24.如权利要求18所述的方法,其特征在于,该右侧合并器及该左侧合并器对环境光而言为透明。
25.如权利要求18所述的方法,其特征在于,该右侧合并器接收并重新导向该复数个左侧光信号朝向该使用者的右视网膜以显示该物体的复数个右像素,而该左侧合并器接收并重新导向该复数个右侧光信号朝向该使用者的左视网膜以显示该物体的复数个左像素。
26.如权利要求18所述的方法,其特征在于,该右侧合并器及该左侧合并器为椭圆体型,该右侧光信号产生器配置于该右侧合并器的焦点位置,而该左侧光信号产生器配置于该左侧合并器的焦点位置。
27.如权利要求18所述的方法,其特征在于,该右侧光信号产生器的右投射角度可被调整以改变该复数个右侧光信号至该右侧合并器的入射角度,该左侧光信号产生器的左侧投射角度可被调整以改变该复数个左侧光信号至该左侧合并器的入射角度。
28.如权利要求18所述的方法,其特征在于:
该右侧光信号产生器及该左侧光信号产生器装载于支撑结构,该支撑结构可被穿戴于该使用者的头部;以及
该右侧合并器及该左侧合并器装载于该支撑结构并配置于该使用者的视野中。
29.如权利要求28所述的方法,其特征在于,该支撑结构是眼镜,该眼镜的镜片具有度数并装载有该右侧合并器或该左侧合并器。
30.如权利要求28所述的方法,其特征在于,该右侧合并器及该左侧合并器一体成型成为整合合并器。
CN202080037323.1A 2019-11-06 2020-11-06 显示具有景深的物体的系统与方法 Pending CN114365027A (zh)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201962931228P 2019-11-06 2019-11-06
US62/931,228 2019-11-06
US202062978322P 2020-02-19 2020-02-19
US62/978,322 2020-02-19
US202063041740P 2020-06-19 2020-06-19
US63/041,740 2020-06-19
US202063085172P 2020-09-30 2020-09-30
US63/085,172 2020-09-30
PCT/US2020/059317 WO2021092314A1 (en) 2019-11-06 2020-11-06 System and method for displaying an object with depths

Publications (1)

Publication Number Publication Date
CN114365027A true CN114365027A (zh) 2022-04-15

Family

ID=75849299

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080037323.1A Pending CN114365027A (zh) 2019-11-06 2020-11-06 显示具有景深的物体的系统与方法

Country Status (6)

Country Link
US (1) US20220311992A1 (zh)
EP (1) EP4055437A4 (zh)
JP (1) JP2023500177A (zh)
KR (1) KR20220093041A (zh)
CN (1) CN114365027A (zh)
WO (1) WO2021092314A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022036302A1 (en) 2020-08-14 2022-02-17 Hes Ip Holdings, Llc Systems and methods for superimposing virtual image on real-time image
US11774759B2 (en) 2020-09-03 2023-10-03 Hes Ip Holdings, Llc Systems and methods for improving binocular vision
CN116420104A (zh) 2020-09-30 2023-07-11 海思智财控股有限公司 用于虚拟实境及扩增实境装置的虚拟影像显示系统
US20230314805A1 (en) * 2021-06-29 2023-10-05 Hes Ip Holdings, Llc Optic system for head wearable devices
JP2023067266A (ja) * 2021-10-29 2023-05-16 富士フイルム株式会社 光走査装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080117289A1 (en) * 2004-08-06 2008-05-22 Schowengerdt Brian T Variable Fixation Viewing Distance Scanned Light Displays
US20150169070A1 (en) * 2013-12-17 2015-06-18 Google Inc. Visual Display of Interactive, Gesture-Controlled, Three-Dimensional (3D) Models for Head-Mountable Displays (HMDs)
US20190187473A1 (en) * 2017-12-14 2019-06-20 Seiko Epson Corporation Head-mounted type display device and method of controlling head-mounted type display device
US20190320165A1 (en) * 2018-04-12 2019-10-17 Fat Shark Technology SEZC Single-panel head-mounted display

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120069133A (ko) * 2010-12-20 2012-06-28 엘지디스플레이 주식회사 입체영상 표시장치와 그 구동방법
US10757399B2 (en) * 2015-09-10 2020-08-25 Google Llc Stereo rendering system
KR102239686B1 (ko) * 2016-08-04 2021-04-13 돌비 레버러토리즈 라이쎈싱 코오포레이션 단일 깊이 추적 순응-수렴 솔루션
WO2018057660A2 (en) * 2016-09-20 2018-03-29 Apple Inc. Augmented reality system
US10685492B2 (en) * 2016-12-22 2020-06-16 Choi Enterprise, LLC Switchable virtual reality and augmented/mixed reality display device, and light field methods

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080117289A1 (en) * 2004-08-06 2008-05-22 Schowengerdt Brian T Variable Fixation Viewing Distance Scanned Light Displays
US20150169070A1 (en) * 2013-12-17 2015-06-18 Google Inc. Visual Display of Interactive, Gesture-Controlled, Three-Dimensional (3D) Models for Head-Mountable Displays (HMDs)
US20190187473A1 (en) * 2017-12-14 2019-06-20 Seiko Epson Corporation Head-mounted type display device and method of controlling head-mounted type display device
US20190320165A1 (en) * 2018-04-12 2019-10-17 Fat Shark Technology SEZC Single-panel head-mounted display

Also Published As

Publication number Publication date
US20220311992A1 (en) 2022-09-29
WO2021092314A1 (en) 2021-05-14
KR20220093041A (ko) 2022-07-05
EP4055437A4 (en) 2023-12-20
JP2023500177A (ja) 2023-01-05
EP4055437A1 (en) 2022-09-14

Similar Documents

Publication Publication Date Title
JP6821574B2 (ja) 全反射を有するディスプレイ装置
US10419731B2 (en) Virtual image generator
US10409082B2 (en) Adjustable focal plane optical system
KR102139268B1 (ko) 눈 투영 시스템
CN107111142B (zh) 具有弯曲的微透镜阵列的头戴式成像装置
CN114365027A (zh) 显示具有景深的物体的系统与方法
US20180284441A1 (en) Wide field head mounted display
CN115516366A (zh) 扩大可视空间的影像显示系统及其方法
EP2652542A1 (en) Collimating display with pixel lenses
US11695913B1 (en) Mixed reality system
JP3453086B2 (ja) 三次元表示方法およびヘッドマウントディスプレイ装置
CN116057450A (zh) 头戴式装置的光学系统
TWI802826B (zh) 顯示一個具有景深的物體的系統與方法
JP6832318B2 (ja) 目用投影システム
TWI832308B (zh) 頭戴式裝置之光學系統
US20230360567A1 (en) Virtual reality display system
WO2023219925A1 (en) Virtual reality display system
JP2005099425A (ja) 三次元表示装置
WO2020211942A1 (en) Optical system for a display device
KR20200067858A (ko) 투명 발광 디스플레이를 갖는 접안렌즈를 포함하는 증강 현실 디스플레이

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination