CN117706773A - 显示装置及显示系统 - Google Patents
显示装置及显示系统 Download PDFInfo
- Publication number
- CN117706773A CN117706773A CN202211084972.4A CN202211084972A CN117706773A CN 117706773 A CN117706773 A CN 117706773A CN 202211084972 A CN202211084972 A CN 202211084972A CN 117706773 A CN117706773 A CN 117706773A
- Authority
- CN
- China
- Prior art keywords
- area
- display screen
- display
- semi
- sensing unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000001508 eye Anatomy 0.000 claims abstract description 122
- 230000008447 perception Effects 0.000 claims abstract description 81
- 230000003287 optical effect Effects 0.000 claims abstract description 44
- 210000001747 pupil Anatomy 0.000 claims abstract description 23
- 230000000007 visual effect Effects 0.000 claims abstract description 12
- 239000012528 membrane Substances 0.000 claims description 30
- 238000012545 processing Methods 0.000 claims description 28
- 210000003128 head Anatomy 0.000 claims description 11
- 230000005540 biological transmission Effects 0.000 claims description 7
- 230000033001 locomotion Effects 0.000 claims description 6
- 230000004424 eye movement Effects 0.000 abstract description 17
- 238000005516 engineering process Methods 0.000 abstract description 9
- 238000003384 imaging method Methods 0.000 abstract description 6
- 210000000887 face Anatomy 0.000 abstract 1
- 238000000034 method Methods 0.000 description 22
- 230000008859 change Effects 0.000 description 14
- 230000014509 gene expression Effects 0.000 description 13
- 230000003993 interaction Effects 0.000 description 13
- 238000013461 design Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 12
- 230000010287 polarization Effects 0.000 description 11
- 230000000694 effects Effects 0.000 description 7
- 230000004379 myopia Effects 0.000 description 7
- 208000001491 myopia Diseases 0.000 description 7
- 239000002390 adhesive tape Substances 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 4
- 210000005252 bulbus oculi Anatomy 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 230000008451 emotion Effects 0.000 description 4
- 238000012634 optical imaging Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000001149 cognitive effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 230000003760 hair shine Effects 0.000 description 2
- 210000003205 muscle Anatomy 0.000 description 2
- 238000001028 reflection method Methods 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000016776 visual perception Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000002570 electrooculography Methods 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000004886 process control Methods 0.000 description 1
- 210000003786 sclera Anatomy 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Abstract
本申请涉及光学显示技术领域,尤其涉及一种显示装置及显示系统。显示装置包括:镜筒;显示屏,用于发射光线,显示屏安装于镜筒内;光学模块,安装于镜筒内,且光学模块设置于显示屏靠近人眼的一侧,用于放大显示屏显示的图像;感知单元,用于追踪人眼瞳孔位置及注视时间;人眼沿镜筒观看图像时的视场区域具有弱感知区,感知单元设置于镜筒内与弱感知区相对的区域。将感知单元放置在镜筒内与弱感知区对应的位置,充分利用了镜筒内部空间,将感知单元设置在弱感知区,可获得较好的成像角度,使感知单元对着人眼,提升眼动追踪的精度,使感知单元的布设更加合理。
Description
技术领域
本申请涉及光学显示技术领域,尤其涉及一种显示装置及显示系统。
背景技术
人眼被称为心灵的窗户,在人的自然交互中有着重要的意义,它能感知周围环境、表现人的注意力、传达个人的情感等。因此,眼动跟踪被广泛应用。眼动跟踪一般是指自动检测人眼瞳孔相对位置或估计视线方向的过程。眼动能描述瞳孔的动态变化,能直观地反映人的注视点和注视时间,对于描述人类视觉感知过程与特点、重现个体基本认知加工过程有重要意义,被广泛应用于人机交互感知、智能驾驶座舱、情感计算、意图分析等领域。
通常眼动跟踪有红外线法、视频记录法等等。红外线法是一种非侵入式的眼动跟踪方法,不会造成眼部不适且精度较高。视频记录法主要利用视频摄像机记录的眼球运动过程,通过计算机自动分析处理视频图像。摄像机可以采集人眼图像或者眼球反射的红外线图像,然后通过计算机自动处理图像数据,实现非侵入式的人眼瞳孔中心检测或者视线注视点估计。
现有的VR眼动跟踪系统,通常采用外置摄像头的方式进行眼动跟踪。采用外置的方式,通常是由于摄像头的位置摆放无法放入光学系统中,如放到光学系统中,会影响光学的成像效果,占用光学通路,会导致拍摄的红外图像存在畸变及清晰度差的问题,影响了摄像头的成像效果和跟踪精度。
发明内容
本申请提供了一种显示装置及显示系统,旨在根据人眼的视场特征,将弱感知区与感知单元的布设位置结合,使感知单元的布设更加合理,提升眼动追踪的精度。
本申请第一方面提供了一种显示装置,所述显示装置包括:
镜筒;
显示屏,用于发射光线,所述显示屏安装于所述镜筒内;
光学模块,所述光学模块安装于所述镜筒内,且所述光学模块设置于所述显示屏靠近人眼的一侧,用于放大所述显示屏显示的图像;
感知单元,用于追踪人眼瞳孔位置及注视时间;
其中,人眼沿所述镜筒观看图像时的视场区域具有弱感知区,所述感知单元设置于所述镜筒内与弱感知区相对的区域。
本申请中,基于人眼的视场特性,将感知单元放置在镜筒内与弱感知区对应的位置,充分利用了镜筒内部空间。由于镜筒内弱感知区对着人的眼睛,将感知单元设置在弱感知区,可获得较好的成像角度,提升眼动追踪的精度,使感知单元的布设更加合理。并且,在可实现近视调节的圆形镜筒中,该感知单元设置的位置可以兼容用户屈光度调节,提升用户体验。
在一种可能的设计中,沿所述镜筒的轴向,所述显示屏的投影面覆盖所述镜筒的横截面;
所述显示屏具有非显示区域,所述非显示区域为弱感知区,所述感知单元对应所述非显示区域设置;
所述感知单元设置于所述光学模块与所述显示屏之间。
本申请中,沿镜筒的轴向,显示屏完全覆盖镜筒的横截面,使显示屏完全覆盖弱感知区,将感知单元设置在显示屏上与弱感知区对应的位置,并将显示屏上与弱感知区对应的区域设置成非显示区域,使弱感知区的显示屏不进行显示,弱感知区的图像不进行渲染,以使用户感知不到感知单元的存在。并且通过将显示屏上对应弱感知区的区域设置为不显示图像的状态,使该区域不设置亮度,避免该区域亮度对用户形成视觉影响。
在一种可能的设计中,所述显示装置还包括处理模块,所述处理模块用于控制所述显示屏上与弱感知区对应的区域处于非显示状态;
或者,所述显示装置还包括遮挡件,所述遮挡件覆盖所述显示屏上与弱感知区对应的区域,以形成所述非显示区域。
本申请中,可通过处理模块将显示屏上与弱感知区对应的区域调成黑屏,以使该区域不显示图像,将感知单元设置在显示屏上非显示区域时,使用户感知不到感知单元的存在,并降低显示屏的功耗。
遮蔽件可以采用黑胶带,通过将黑胶带粘接在显示屏上与弱感知区对应的区域,使该区域不显示图像,将感知单元设置在显示屏上非显示区域时,使用户感知不到感知单元的存在。
在一种可能的设计中,沿所述镜筒的轴向,部分弱感知区位于所述显示屏的投影面以外;
所述感知单元与位于所述显示屏的投影面以外的部分弱感知区相对设置;
所述感知单元设置于所述光学模块与所述显示屏之间,或沿垂直于所述显示屏显示面的方向,所述感知单元设置于所述显示屏的一侧。
本申请中,可以通过改变显示屏的形状或旋转显示屏的方向,使显示屏未完全覆盖弱感知区,将感知单元设置在显示屏以外与弱感知区对应的位置。无需再通过处理模块将显示屏上与弱感知区对应的部分区域设置为黑屏,或采用遮蔽件将显示屏上与弱感知区对应的部分区域进行覆盖,减少操作步骤。
在一种可能的设计中,所述显示装置还包括发射单元,所述发射单元用于向人眼发射红外线,所述红外线能够经人眼反射至所述感知单元,以使所述感知单元追踪人眼瞳孔位置及注视时间。
本申请中,发射单元可以为LED灯,LED灯设置在镜筒内靠近人眼的一侧,通过LED灯照射人眼,感知单元拍摄人眼的图像,根据图像中的红外光斑进行眼睛瞳孔位置的跟踪,从而获得用于用户之间交流的眼部表情,以及获得可以用于眼动交互的眼动信息。
本申请第二方面提供了一种显示装置,所述显示装置包括:
镜筒;
显示屏,用于发射光线,所述显示屏安装于所述镜筒内;
光学模块,所述光学模块安装于所述镜筒内,且所述光学模块设置于所述显示屏靠近人眼的一侧,所述光学模块包括透镜组件以及设置于所述透镜组件的半反半透膜、相位延迟膜和偏振膜,所述光线经所述透镜组件、所述半反半透膜、所述相位延迟膜和所述偏振膜进行折射和反射来延长所述光线的传播路线;
感知单元,用于追踪人眼瞳孔位置及注视时间,所述感知单元设置于所述光学模块与所述显示屏之间;
其中,人眼沿所述镜筒观看图像时的视场区域具有弱感知区,所述感知单元设置于所述镜筒内与弱感知区相对的区域,且所述透镜组件对应弱感知区的区域未设置有所述半反半透膜和/或所述相位延迟膜。
本申请中,半反半透膜用于对光线进行反射和透射,相位延迟膜用于改变光线的偏振类型,偏振膜用于对不同偏振方向的光线进行反射和透射。显示屏发射的光线经透镜组件、半反半透膜、相位延迟膜和偏振膜进行折射和反射来延长光线的传播路线,实现减小光学模块与显示屏之间的距离,同时获得较大的放大倍数以及清晰的图像。基于人眼的视场特性,将感知单元设置在与弱感知区对应的位置,并且在透镜组件对应弱感知区的区域不进行贴半反半透膜和/或相位延迟膜操作,降低LED灯发出的红外光经人眼反射后在光电模块传输过程中的损耗,提升光通过率,以提升眼动跟踪模块的光强度,从而可以降低发射单元的亮度,实现降低显示装置功耗的效果。
在一种可能的设计中,沿所述镜筒的轴向,所述显示屏的投影面覆盖所述镜筒的横截面;
所述显示屏具有非显示区域,所述非显示区域为弱感知区,所述感知单元对应所述非显示区域设置;
所述感知单元设置于所述光学模块与所述显示屏之间。
本申请中,沿镜筒的轴向,显示屏完全覆盖镜筒的横截面,使显示屏完全覆盖弱感知区,将感知单元设置在显示屏上与弱感知区对应的位置,并将显示屏上与弱感知区对应的区域设置成非显示区域,使弱感知区的显示屏不进行显示,弱感知区的图像不进行渲染,以使用户感知不到感知单元的存在。并且通过将显示屏上对应弱感知区的区域设置为不显示图像的状态,使该区域不设置亮度,避免该区域亮度对用户形成视觉影响。
在一种可能的设计中,所述显示装置还包括处理模块,所述处理模块用于控制所述显示屏上与弱感知区对应的区域处于非显示状态;
或者,所述显示装置还包括遮挡件,所述遮挡件覆盖所述显示屏上与弱感知区对应的区域,以形成所述非显示区域。
本申请中,可通过处理模块将显示屏上与弱感知区对应的区域调成黑屏,以使该区域不显示图像,将感知单元设置在显示屏上非显示区域时,使用户感知不到感知单元的存在,并降低显示屏的功耗。
遮蔽件可以采用黑胶带,通过将黑胶带粘接在显示屏上与弱感知区对应的区域,使该区域不显示图像,将感知单元设置在显示屏上非显示区域时,使用户感知不到感知单元的存在。
在一种可能的设计中,沿所述镜筒的轴向,部分弱感知区位于所述显示屏的投影面以外;
所述感知单元与位于所述显示屏的投影面以外的部分弱感知区相对设置;
所述感知单元设置于所述光学模块与所述显示屏之间,或沿垂直于所述显示屏显示面的方向,所述感知单元设置于所述显示屏的一侧。本申请中,可以通过改变显示屏的形状或旋转显示屏的方向,使显示屏未完全覆盖弱感知区,将感知单元设置在显示屏以外与弱感知区对应的位置。无需再通过处理模块将显示屏上与弱感知区对应的部分区域设置为黑屏,或采用遮蔽件将显示屏上与弱感知区对应的部分区域进行覆盖,减少操作步骤。
在一种可能的设计中,沿所述显示屏发出光线的传播方向,所述透镜组件包括依次设置的第一镜片、第二镜片和第三镜片;
所述半反半透膜位于所述第一镜片靠近所述显示屏的一侧,且所述半反半透膜朝向所述显示屏的一侧为透射面,背向所述显示屏的一侧为反射面;
所述相位延迟膜位于所述半反半透膜与所述偏振膜之间。
本申请中,相位延迟膜与偏振膜设置于第三镜片,且偏振膜相比于相位延迟膜靠近人眼设置。其中,显示屏发射的光线为偏振光(若显示屏发射的光线为非偏振光,需要增加起片器改变光的偏振态),将显示屏发射的偏振光设定为圆偏振光或椭圆偏振光。显示屏发射光线,部分光线穿过带有半反半透膜的第一镜片,随后穿过第二镜片,达到带有相位延迟膜的第三镜片,光线穿过相位延迟膜后,光线偏振方向改变,由圆偏振光或椭圆偏振光转变为S线偏振光。S线偏振光经偏振膜反射,并第二次经过相位延迟膜,将S线偏振光改变回圆偏振光或椭圆偏振光,随后通过第二镜片到达带有半反半透膜的第一镜片,光被半反半透膜反射,经过第二镜片后到达带有相位延迟膜的第三镜片,并第三次经过相位延迟膜,将S线偏振光转变为P偏振光,P偏振光则透射偏振片,最终入射至用户眼睛。本实施例实现了光在光路中的多次折射,让显示屏发出的光线经过半反半透膜时,对期望的光进行反射或直通,加上相位延迟膜不断改变折返或通过的光的偏振态,实现了光在光路中的多次折返,等效于增加了光的路径长度,从而减少了光学模块与显示屏之间的距离,降低了显示装置的体积,实现显示装置轻薄化设计。
在一种可能的设计中,所述显示装置还包括发射单元,所述发射单元用于向人眼发射红外线,所述红外线能够经人眼反射至所述感知单元,以使所述感知单元追踪人眼瞳孔位置及注视时间。
本申请中,发射单元可以为LED灯,LED灯设置在镜筒内靠近人眼的一侧,通过LED灯照射人眼,感知单元拍摄人眼的图像,根据图像中的红外光斑进行眼睛瞳孔位置的跟踪,从而获得用于用户之间交流的眼部表情,以及获得可以用于眼动交互的眼动信息。
本申请第三方面提供了一种显示系统,所述显示系统包括:
显示装置,所述显示装置为上述所述的显示装置;
传感器,用于感知用户头部的运动;
摄像头,用于捕捉用户所在的外部环境;
音频单元,用户向用户提供音频;
存储介质,用于存储虚拟世界数据;
处理单元,所述处理单元电连接所述显示装置、所述传感器、所述摄像头、所述音频单元和所述存储介质。
本申请中,传感器用于感知用户头部的运动,摄像头用于捕捉用户所在的外部环境,音频单元用户向用户提供音频,存储介质用于存储虚拟世界数据,处理单元电连接显示装置、传感器、摄像头、音频单元和存储介质通过传感器感知用户头部的角度和加速度的变化,摄像头捕捉现实世界,由于头部变化也会导致拍摄到的图像产生变化,可以通过这种图像的变化,跟踪用户头部的位置变化,并将采集的图像信号传递至处理单元。用户通过人机交互设备可以从音频单元和存储介质中选取环境音频和虚拟世界的数据传递至处理单元,处理单元进行分析和处理,并将得到的图像信号传递至显示装置,将得到的音频信号传递至用户带的耳机。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性的,并不能限制本申请。
附图说明
图1为显示装置原理示意图;
图2为现有技术中显示装置在一种具体实施例的结构示意图;
图3为现有技术中显示装置在另一种具体实施例的结构示意图;
图4为本申请所提供显示系统的示意框图;
图5为本申请所提供显示装置在一种具体实施例的结构示意图;
图6为本申请所提供显示装置在一种具体实施例的剖视示意图;
图7为本申请所提供显示装置在另一种具体实施例的剖视示意图;
图8为本申请所提供采用折叠光路的光学模块示意图;
图9为本申请所提供显示装置在另一种具体实施例的结构示意图。
附图标记:
1′-显示装置、11′-显示屏、12′-镜片、13′-镜筒、14′-摄像头、15′-LED灯、16′-半反半透膜片;
1-显示装置、11-镜筒、111-弱感知区、12-显示屏、13-光学模块、131-透镜组件、131a-第一镜片、131b-第二镜片、131c-第三镜片、132-半反半透膜、133-相位延迟膜、134-偏振膜、14-感知单元、15-发射单元;
2-传感器、3-摄像头、4-音频单元、5-存储介质、6-处理单元、7-人机交互设备、8-耳机;
10-人眼、20-头部。
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
具体实施方式
为了更好的理解本申请的技术方案,下面结合附图对本申请实施例进行详细描述。
在一种具体实施例中,下面通过具体的实施例并结合附图对本申请做进一步的详细描述。
人眼被称为心灵的窗户,在人的自然交互中有着重要的意义,它能感知周围环境、表现人的注意力、传达个人的情感等。因此,眼动跟踪被广泛应用。眼动跟踪一般是指自动检测人眼瞳孔相对位置或估计视线方向的过程。眼动能描述瞳孔的动态变化,能直观地反映人的注视点和注视时间,对于描述人类视觉感知过程与特点、重现个体基本认知加工过程有重要意义,被广泛应用于人机交互感知、智能驾驶座舱、情感计算、意图分析等领域。
眼动跟踪的研究可以追溯到20世纪初,研究人员采用了接触式的眼动跟踪方法,通过在眼睛周围放置成对电极的眼电图分析,或者基于线圈嵌入式的巩膜搜索方法来获取并分析眼动信息;在20世纪50年代有了第1部记录基于飞行员瞳孔跟踪及视线分析的控制飞机操作应用系统的视频资料;在60年代头戴式眼动跟踪得到发展;在90年代视线估计方面开始使用计算机进行计算处理控制。近年来,随着计算机视觉、图形学、人工智能等新兴技术的发展以及应用需求的增加,非接触式的基于视频图像的眼动跟踪引起了学术界和工业界大量深入研究。
通常眼动跟踪有红外线法、视频记录法等等。红外线法需要在眼部附近安装红外光敏管,根据瞳孔、巩膜、角膜等不同光学界面反射的图像来测量眼动,常用方法包括瞳孔-角膜反射法、虹膜-角膜反射法等。这种测量方法目前已被广泛地研究和使用,许多学者提出了光线检测或瞳孔检测的算法提升测量准确率。红外线法是一种非侵入式的眼动跟踪方法,不会造成眼部不适且精度较高。视频记录法主要利用视频摄像机记录的眼球运动过程,通过计算机自动分析处理视频图像。摄像机可以采集人眼图像或者眼球反射的红外线图像,然后通过计算机自动处理图像数据,实现非侵入式的人眼瞳孔中心检测或者视线注视点估计。
随着计算机视觉、模式识别、图形学、人工智能等技术的快速发展,基于视频图像分析的非接触式眼动跟踪受到广泛关注,大量相关研究获得开展,取得了突破性进展及应用。
通常的显示装置1′如图1所示,为了让用户看到虚拟世界,需要在人眼前放置一块显示屏11′,并通过镜片12′将显示屏11′放大,覆盖人眼的视场区域。
由于近视用户的占比越来越大,很多产品在功能特性上,考虑兼顾近视用户的使用,增加了近视调节机构,让用户使用显示产品时,无需再佩戴自己的近视眼镜,提升了佩戴舒适感。如采用与传统相机手动调节焦距类似的方式,将光学成像系统设计为圆形镜筒13′,通过转动镜筒13′的方式,依靠内部螺纹去移动内部镜片12′,从而达到了近视调节的功能。这类设计的好处就在于圆形镜筒13′内外螺纹旋转可以移动距离且螺纹防止了微尘的进入。
在显示装置中,为了解决芯片渲染能力不足的问题,业界提出增加眼动跟踪获取用户的注视焦点区域,在渲染时仅对注视中心区做高分辨率渲染,非中心区降低分辨率,从而达到了降低芯片计算量和负载的效果。同时,为了获得更好的交互体验,眼动跟踪还可以将获取到的眼睛及其周围的表情肌信息,形成人的眼部表情,传递到远端的用户设备,从而可以实现用户之间的表情呈现。眼动信息还可以用于眼动交互,例如,当用户的视线停留在交互菜单、按钮、控件时,可自动形成点击菜单、按钮、控件的功能,提升了用户的交互效率。
如图2所示,现有的眼动跟踪系统,通常采用外置摄像头14′的方式进行眼动跟踪。这类跟踪系统通过眼睛外围的LED灯15′照射人眼,再通过红外摄像头14′拍摄人眼的图像,根据图像中的红外光斑来进行眼睛瞳孔位置跟踪。采用外置的方式,通常是由于摄像头14′的位置摆放无法放入光学系统中,如放到光学系统中,会影响光学的成像效果,占用光学通路。外置式眼动跟踪系统由于摄像头14′放在光学系统旁边,从而导致摄像头14′与眼睛瞳孔中心轴之间存在较大的角度偏差,会导致拍摄的红外图像存在畸变及清晰度差的问题,影响了摄像头14′的成像效果和跟踪精度。并且,外置式摄像头14′需要安装在光学系统以外,影响外观。
如图3所示,也有采用反射式眼动跟踪,这类跟踪系统在显示光学系统中加入了半反半透膜片16′,让红外光斑进入光学镜筒13′中,再通过半反半透膜片16′将进入光学镜筒13′的光反射到眼动跟踪摄像头14′。为了保证显示装置1′自身的光学成像,需要将显示屏11′发光正常透过镜片12′进入人眼。这类跟踪系统的一个好处是解决了摄像头14′拍摄角度以及摄像头14′布局问题,可以极大地提升跟踪的精度,同时摄像头14′不外露,外观更加有保证。但由于半反半透镜片12′的加入,导致显示装置1′光学成像时本身的光强度会降低,使得功耗更大。另外,摄像头14′的布局需要占用一部分光学路径,需要将摄像头14′埋入镜筒13′内壁,增加了镜筒13′的厚度。
如图4所示,为解决上述技术问题,本实施例提供了一种显示系统,显示系统包括显示装置1,该显示装置1可以为MR(mixed reality混合现实)/VR(Virtual Reality虚拟现实技术)设备。由于MR/VR设备的图像几乎覆盖了人的双眼,可以让用户进入一个全虚拟或虚拟融合的世界(拍摄现实世界的图像并与虚拟图像融合)。要模拟真实世界,就需要感知人的头部20姿态,通过头部20姿态不断调整图像去适配人眼10的位置变化,来模拟出一个虚拟世界。所以虚拟现实或混合现实系统,不仅要有显示装置1,还要有感知用户和感知世界的单元。为此,显示系统还包括传感器2、摄像头3、音频单元4、存储介质5和处理单元6。传感器2用于感知用户头部20的运动,摄像头3用于捕捉用户所在的外部环境,音频单元4用户向用户提供音频,存储介质5用于存储虚拟世界数据,处理单元6电连接显示装置1、传感器2、摄像头3、音频单元4和存储介质5。如图4所示,通过传感器2感知用户头部20的角度和加速度的变化,摄像头3捕捉现实世界,由于头部20变化也会导致拍摄到的图像产生变化,可以通过这种图像的变化,跟踪用户头部20的位置变化,并将采集的图像信号传递至处理单元6。用户通过人机交互设备7可以从音频单元4和存储介质5中选取环境音频和虚拟世界的数据传递至处理单元6,处理单元6进行分析和处理,并将得到的图像信号传递至显示装置1,将得到的音频信号传递至用户带的耳机8。
具体地,如图5至图7所示,显示装置1包括镜筒11、显示屏12、光学模块13和感知单元14。显示屏12、光学模块13和感知单元14均安装于镜筒11,光学模块13设置于显示屏12靠近人眼10的一侧。显示屏12用于发射光线,光学模块13用于放大显示屏12显示的图像,以使用户观看到放大的图像。感知单元14用于追踪人眼10瞳孔位置、注视区域、注视时间及眼部表情等信息。感知单元14通过获得用户眼睛及其周围的表情肌信息,形成人的眼部表情,传递到远端的用户设备,从而实现用户之间的表情呈现。感知单元14通过瞳孔位置、注视区域及注视时间获得眼动信息还可以用于眼动交互。如,当用户的视线停留在交互菜单、按钮、控件时,可自动形成点击菜单、按钮、控件的功能。由于人眼10靠近鼻侧和额头侧存在弱感知区,因此在人眼10沿镜筒11观看图像时的视场区域具有弱感知区,感知单元14设置于镜筒11内与弱感知区111相对的区域。
本实施例基于人眼10的视场特性,将感知单元14放置在镜筒11内与弱感知区111对应的位置,充分利用了镜筒11内部空间。将感知单元14设置在弱感知区111,使感知单元14对着人眼,可获得较好的成像角度,提升眼动追踪的精度,使感知单元14的布设更加合理。并且,在可实现近视调节的圆形镜筒11中,该感知单元14设置的位置可以兼容用户屈光度调节,提升用户体验。
其中,感知单元14可以为摄像机。光学模块13可以为至少一个凸透镜。
进一步地,如图5所示,显示装置1还包括发射单元15,发射单元15用于向人眼10发射红外线,红外线能够经人眼10反射至感知单元14,以使感知单元14追踪人眼10瞳孔位置、注视区域、注视时间、眼部表情等信息。该发射单元15可以为LED灯,LED灯设置在镜筒11内靠近人眼10的一侧,通过LED灯照射人眼10,感知单元14拍摄人眼10的图像,根据图像中的红外光斑进行眼睛瞳孔位置的跟踪,从而获得用于用户之间交流的眼部表情,以及获得可以用于眼动交互的眼动信息。
如图6所示,沿镜筒11的轴向,显示屏12的投影面覆盖镜筒11的横截面,显示屏12具有非显示区域,非显示区域为弱感知区111,感知单元14对应非显示区域设置。其中,感知单元14设置于光学模块13与显示屏12之间。本实施例中,沿镜筒11的轴向,显示屏12完全覆盖镜筒11的横截面,使显示屏12完全覆盖弱感知区111,将感知单元14设置在显示屏12上与弱感知区111对应的位置,并将显示屏12上与弱感知区111对应的区域设置成非显示区域,使弱感知区111的显示屏12不进行显示,弱感知区111的图像不进行渲染,以使用户感知不到感知单元14的存在。并且通过将显示屏12上对应弱感知区111的区域设置为不显示图像的状态,使该区域不设置亮度,避免该区域亮度对用户形成视觉影响。
其中,显示装置1还包括处理模块,处理模块用于控制显示屏12上与弱感知区111对应的区域处于非显示状态。本实施例中,可通过处理模块将显示屏12上与弱感知区111对应的区域调成黑屏,以使该区域不显示图像,将感知单元14设置在显示屏12上非显示区域时,使用户感知不到感知单元14的存在,并降低显示屏12的功耗。
或者,显示装置1还包括遮挡件,遮挡件覆盖显示屏12上与弱感知区111对应的区域以形成非显示状态。本实施例中,遮蔽件可以采用黑胶带,通过将黑胶带粘接在显示屏12上与弱感知区111对应的区域,使该区域不显示图像,将感知单元14设置在显示屏12上非显示区域时,使用户感知不到感知单元14的存在。
如图7所示,在一些实施例中,沿镜筒11的轴向,部分弱感知区111位于显示屏12的投影面以外,感知单元14与位于显示屏12的投影面以外的部分弱感知区111相对设置。其中,感知单元14可以设置于光学模块13与显示屏12之间,或沿垂直于显示屏12显示面的方向,感知单元14设置于显示屏12的一侧。因显示屏12的投影面未完全覆盖弱感知区111,感知单元14也可以与显示屏12对齐设置,设置于显示屏12的旁边,即镜筒11内显示屏12的投影面未覆盖的一侧。
本实施例中,可以通过改变显示屏12的形状或旋转显示屏12的方向,使显示屏12未完全覆盖弱感知区111,将感知单元14设置在显示屏12以外与弱感知区111对应的位置。无需再通过处理模块将显示屏12上与弱感知区111对应的部分区域设置为黑屏,或采用遮蔽件将显示屏12上与弱感知区111对应的部分区域进行覆盖,减少操作步骤。
由于显示装置1中,凸透镜(光学模块13)和显示屏12需要保证一定的距离,才能获得加大的放大倍数以及清晰的图像。如图8所示,在一些实施例中,光学模块13包括透镜组件131以及设置于透镜组件131的半反半透膜132、相位延迟膜133和偏振膜134。其中,半反半透膜132用于对光线进行反射和透射,相位延迟膜133用于改变光线的偏振类型,偏振膜134用于对不同偏振方向的光线进行反射和透射。显示屏12发射的光线经透镜组件131、半反半透膜132、相位延迟膜133和偏振膜134进行折射和反射来延长光线的传播路线,实现减小光学模块13与显示屏12之间的距离,同时获得较大的放大倍数以及清晰的图像。
具体地,如图8所示,沿显示屏12发出光线的传播方向,透镜组件131包括依次设置的第一镜片131a、第二镜片131b和第三镜片131c。半反半透膜132位于第一镜片131a靠近显示屏12的一侧,且半反半透膜132朝向显示屏12的一侧为透射面,背向显示屏12的一侧为反射面。相位延迟膜133设置于半反半透膜132与偏振膜134之间,如相位延迟膜133与偏振膜134设置于第三镜片131c,且偏振膜134相比于相位延迟膜133靠近人眼10设置。其中,显示屏12发射的光线为偏振光(若显示屏12发射的光线为非偏振光,需要增加起片器改变光的偏振态),本实施例可将显示屏12发射的偏振光设定为圆偏振光或椭圆偏振光。显示屏12发射光线,部分光线穿过带有半反半透膜132的第一镜片131a,随后穿过第二镜片131b,达到带有相位延迟膜133的第三镜片131c,光线穿过相位延迟膜133后,光线偏振方向改变,由圆偏振光或椭圆偏振光转变为S线偏振光。S线偏振光经偏振膜134反射,并第二次经过相位延迟膜133,将S线偏振光改变回圆偏振光或椭圆偏振光,随后通过第二镜片131b到达带有半反半透膜132的第一镜片131a,光被半反半透膜132反射,经过第二镜片131b后到达带有相位延迟膜133的第三镜片131c,并第三次经过相位延迟膜133,将S线偏振光转变为P偏振光,P偏振光则透射偏振膜134,最终入射至用户眼睛。本实施例实现了光在光路中的多次折射,让显示屏12发出的光线经过半反半透膜132时,对期望的光进行反射或直通,加上相位延迟膜133不断改变折返或通过的光的偏振态,实现了光在光路中的多次折返,等效于增加了光的路径长度,从而减少了光学模块13与显示屏12之间的距离,降低了显示装置1的体积,实现显示装置1轻薄化设计。
其中,相位延迟膜133也可以设置在第二镜片131b或设置在第一镜片131a远离显示屏12的一面。偏振膜134也可以设置在其他镜片,限定在两次反射之间即可。透镜组件均采用凸透镜,透镜组件131还可以包括第四镜片、第五镜片、第六镜片等。
由于光学模块13的半反半透膜132及相位延迟膜133会导致光效率的降低,也就是说,LED灯发射的红外光照到人眼10,再反射到镜筒11内时,由于半反半透膜132及相位延迟膜133的影响,会降低红外成像的亮度。为此,如图6和图7所示,在一些实施例中,透镜组件对应弱感知区111的区域不设置有半反半透膜132和/或相位延迟膜133。
本实施例中,基于人眼10的视场特性,将感知单元14设置在与弱感知区111对应的位置,并且在透镜组件对应弱感知区111的区域不进行贴半反半透膜132和/或相位延迟膜133操作,降低LED灯发出的红外光经人眼10反射后在光电模块传输过程中的损耗,提升光通过率,以提升眼动跟踪模块的光强度,从而可以降低发射单元15的亮度,实现降低显示装置1功耗的效果。
虚拟现实/混合现实就是虚拟和现实相互结合。虚拟现实技术(VR)是一种可以创建和体验虚拟世界的计算机仿真系统,它利用计算机生成一种模拟环境,使用户沉浸到该环境中。虚拟现实技术就是利用现实生活中的数据,通过计算机技术产生的电子信号,将其与各种输出设备结合使其转化为能够让人们感受到的现象,这些现象可以是现实中真真切切的物体,也可以是我们肉眼所看不到的物质,通过三维模型表现出来。因为这些现象不是我们直接所能看到的,而是通过计算机技术模拟出来的现实中的世界,故称为虚拟现实。
需要指出的是,本专利申请文件的一部分包含受著作权保护的内容。除了对专利局的专利文件或记录的专利文档内容制作副本以外,著作权人保留著作权。
Claims (12)
1.一种显示装置,其特征在于,所述显示装置包括:
镜筒;
显示屏,用于发射光线,所述显示屏安装于所述镜筒内;
光学模块,所述光学模块安装于所述镜筒内,且所述光学模块设置于所述显示屏靠近人眼的一侧,用于放大所述显示屏显示的图像;
感知单元,用于追踪人眼瞳孔位置及注视时间感知单元;
其中,人眼沿所述镜筒观看图像时的视场区域具有弱感知区,所述感知单元设置于所述镜筒内与弱感知区相对的区域。
2.根据权利要求1所述的显示装置,其特征在于,沿所述镜筒的轴向,所述显示屏的投影面覆盖所述镜筒的横截面;
所述显示屏具有非显示区域,所述非显示区域为弱感知区,所述感知单元对应所述非显示区域设置;
所述感知单元设置于所述光学模块与所述显示屏之间。
3.根据权利要求2所述的显示装置,其特征在于,所述显示装置还包括处理模块,所述处理模块用于控制所述显示屏上与弱感知区对应的区域处于非显示状态;
或者,所述显示装置还包括遮挡件,所述遮挡件覆盖所述显示屏上与弱感知区对应的区域,以形成所述非显示区域。
4.根据权利要求1所述的显示装置,其特征在于,沿所述镜筒的轴向,部分弱感知区位于所述显示屏的投影面以外;
所述感知单元与位于所述显示屏的投影面以外的部分弱感知区相对设置;
所述感知单元设置于所述光学模块与所述显示屏之间,或沿垂直于所述显示屏显示面的方向,所述感知单元设置于所述显示屏的一侧。
5.根据权利要求1所述的显示装置,其特征在于,所述显示装置还包括发射单元,所述发射单元用于向人眼发射红外线,所述红外线能够经人眼反射至所述感知单元,以使所述感知单元追踪人眼瞳孔位置及注视时间。
6.一种显示装置,其特征在于,所述显示装置包括:
镜筒;
显示屏,用于发射光线,所述显示屏安装于所述镜筒内;
光学模块,所述光学模块安装于所述镜筒内,且所述光学模块设置于所述显示屏靠近人眼的一侧,所述光学模块包括透镜组件以及设置于所述透镜组件的半反半透膜、相位延迟膜和偏振膜,所述光线经所述透镜组件、所述半反半透膜、所述相位延迟膜和所述偏振膜进行折射和反射来延长所述光线的传播路线;
感知单元,用于追踪人眼瞳孔位置及注视时间;
其中,人眼沿所述镜筒观看图像时的视场区域具有弱感知区,所述感知单元设置于所述镜筒内与弱感知区相对的区域,且所述透镜组件对应弱感知区的区域未设置有所述半反半透膜和/或所述相位延迟膜。
7.根据权利要求6所述的显示装置,其特征在于,沿所述镜筒的轴向,所述显示屏的投影面覆盖所述镜筒的横截面;
所述显示屏具有非显示区域,所述非显示区域为弱感知区,所述感知单元对应所述非显示区域设置;
所述感知单元设置于所述光学模块与所述显示屏之间。
8.根据权利要求7所述的显示装置,其特征在于,所述显示装置还包括处理模块,所述处理模块用于控制所述显示屏上与弱感知区对应的区域处于非显示状态;
或者,所述显示装置还包括遮挡件,所述遮挡件覆盖所述显示屏上与弱感知区对应的区域,以形成所述非显示区域。
9.根据权利要求6所述的显示装置,其特征在于,沿所述镜筒的轴向,部分弱感知区位于所述显示屏的投影面以外;
所述感知单元与位于所述显示屏的投影面以外的部分弱感知区相对设置;
所述感知单元设置于所述光学模块与所述显示屏之间,或沿垂直于所述显示屏显示面的方向,所述感知单元设置于所述显示屏的一侧。
10.根据权利要求6所述的显示装置,其特征在于,沿所述显示屏发出光线的传播方向,所述透镜组件包括依次设置的第一镜片、第二镜片和第三镜片;
所述半反半透膜位于所述第一镜片靠近所述显示屏的一侧,且所述半反半透膜朝向所述显示屏的一侧为透射面,背向所述显示屏的一侧为反射面;
所述相位延迟膜位于所述半反半透膜与所述偏振膜之间。
11.根据权利要求6所述的显示装置,其特征在于,所述显示装置还包括发射单元,所述发射单元用于向人眼发射红外线,所述红外线够经人眼反射至所述感知单元,以使所述感知单元追踪人眼通孔位置及注视时间。
12.一种显示系统,其特征在于,所述显示系统包括:
显示装置,所述显示装置为权利要求1~11任一项所述的显示装置;
传感器,用于感知用户头部的运动;
摄像头,用于捕捉用户所在的外部环境;
音频单元,用户向用户提供音频;
存储介质,用于存储虚拟世界数据;
处理单元,所述处理单元电连接所述显示装置、所述传感器、所述摄像头、所述音频单元和所述存储介质。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211084972.4A CN117706773A (zh) | 2022-09-06 | 2022-09-06 | 显示装置及显示系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211084972.4A CN117706773A (zh) | 2022-09-06 | 2022-09-06 | 显示装置及显示系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117706773A true CN117706773A (zh) | 2024-03-15 |
Family
ID=90161177
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211084972.4A Pending CN117706773A (zh) | 2022-09-06 | 2022-09-06 | 显示装置及显示系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117706773A (zh) |
-
2022
- 2022-09-06 CN CN202211084972.4A patent/CN117706773A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9727132B2 (en) | Multi-visor: managing applications in augmented reality environments | |
US20200387226A9 (en) | Systems and methods for monitoring a user's eye | |
WO2017173847A1 (zh) | 视频眼镜的眼球追踪模组 | |
CN106797423B (zh) | 视线检测装置 | |
EP2652543B1 (en) | Optimized focal area for augmented reality displays | |
CN103442629B (zh) | 通过设定数据速率确定双眼的至少一个参数的方法和光学测量装置 | |
US7533989B2 (en) | Sight-line detection method and device, and three-dimensional view-point measurement device | |
JP2023518421A (ja) | 網膜結像および追跡のためのシステムおよび方法 | |
CN204595327U (zh) | 头戴式显示装置 | |
CN109983755A (zh) | 基于眼睛跟踪自动聚焦的图像捕获系统、设备和方法 | |
CN104898276A (zh) | 头戴式显示装置 | |
CN116338962A (zh) | 用于头戴式计算的电源管理 | |
KR20180003629A (ko) | 착용 가능 헤드업 디스플레이들에 눈 추적 및 스캐닝 레이저 투사를 통합시키는 시스템들, 디바이스들 및 방법들 | |
WO2017185357A1 (zh) | 可穿戴设备及无人机系统 | |
CN204595329U (zh) | 头戴式显示装置 | |
CN109725416B (zh) | 眼球追踪光学系统、头戴式设备及成像方法 | |
US11762459B2 (en) | Video processing | |
JP2021515302A (ja) | 視線追跡方法および装置 | |
CN204595328U (zh) | 头戴式显示装置 | |
WO2016101861A1 (zh) | 头戴式显示装置 | |
KR20220046494A (ko) | 시선 방향을 결정하는 방법 및 시선 추적 센서 | |
CN117706773A (zh) | 显示装置及显示系统 | |
WO2023132966A1 (en) | Display systems with collection optics for disparity sensing detectors | |
JP2001108933A (ja) | ヘッドマウントディスプレイ装置 | |
US20240012244A1 (en) | OPTICAL ASSEMBLY WITH MICRO LIGHT EMITTING DIODE (LED) AS EYE-TRACKING NEAR INFRARED (nIR) ILLUMINATION SOURCE |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |