CN112578564B - 一种虚拟现实显示设备及显示方法 - Google Patents
一种虚拟现实显示设备及显示方法 Download PDFInfo
- Publication number
- CN112578564B CN112578564B CN202011472690.2A CN202011472690A CN112578564B CN 112578564 B CN112578564 B CN 112578564B CN 202011472690 A CN202011472690 A CN 202011472690A CN 112578564 B CN112578564 B CN 112578564B
- Authority
- CN
- China
- Prior art keywords
- display device
- display
- point position
- gazing
- current
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000009877 rendering Methods 0.000 claims abstract description 42
- 238000006073 displacement reaction Methods 0.000 claims abstract description 27
- 230000007246 mechanism Effects 0.000 claims abstract description 24
- 230000003287 optical effect Effects 0.000 claims abstract description 23
- 230000008569 process Effects 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 4
- 239000004065 semiconductor Substances 0.000 claims description 4
- 239000004973 liquid crystal related substance Substances 0.000 claims description 3
- 230000000694 effects Effects 0.000 description 15
- 238000005516 engineering process Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 10
- 239000011159 matrix material Substances 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000004424 eye movement Effects 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 238000005265 energy consumption Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000003997 social interaction Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
本申请实施例公开一种虚拟现实显示设备及显示方法。该虚拟现实显示设备的一具体实施方式包括:第一显示装置和小尺寸的第二显示装置;用于获取当前注视点位置,并渲染全视场区图像及根据当前注视点位置渲染注视区图像的渲染引擎;第一显示装置用于以第一分辨率及第一刷新率显示全视场区图像;第二显示装置用于以第二分辨率及第二刷新率显示注视区图像,其中,第二分辨率大于第一分辨率,第二刷新率大于第一刷新率;控制器用于获取当前注视点位置,并根据当前注视点位置控制位移机构带动第二显示装置位移,以使得注视区图像的中心与注视点位置一致;光学器件,用于使第一显示装置的显示光及第二显示装置的显示光进入人眼。
Description
技术领域
本申请涉及虚拟现实显示领域。更具体地,涉及一种虚拟现实显示设备及显示方法。
背景技术
虚拟现实显示设备(VR,Virtual Reality),即利用计算机技术模拟产生现实环境的三维虚拟世界,其在游戏、社交、影视、教育、医疗等领域的应用愈发广泛,各类VR采集设备、内容制作平台、VR交互技术、VR头盔和VR应用也不断涌现。随着虚拟现实显示设备的不断发展和应用,虚拟现实显示设备的高品质显示成为一个亟待解决的问题。
发明内容
本申请的目的在于提供一种虚拟现实显示设备及显示方法,以解决现有技术存在的问题中的至少一个。
为达到上述目的,本申请采用下述技术方案:
本申请第一方面提供了一种虚拟现实显示设备,包括第一显示装置、第二显示装置、渲染引擎、光学器件、控制器及位移机构,其中,所述第二显示装置的显示区尺寸小于所述第一显示装置的显示区尺寸;
所述渲染引擎,用于获取当前注视点位置,并渲染全视场区图像及根据当前注视点位置渲染注视区图像;
所述第一显示装置,用于以第一分辨率及第一刷新率显示全视场区图像;
所述第二显示装置,用于以第二分辨率及第二刷新率显示注视区图像,其中,所述第二分辨率大于所述第一分辨率,所述第二刷新率大于所述第一刷新率;
所述控制器,用于获取当前注视点位置,并根据当前注视点位置控制所述位移机构带动所述第二显示装置位移,以使得所述注视区图像的中心与所述注视点位置一致;
所述光学器件,用于使所述第一显示装置的显示光及所述第二显示装置的显示光进入人眼。
进一步的,所述控制器及渲染引擎,还分别用于判断所述当前注视点位置与上一次获取的注视点位置之间的距离值是否大于预设距离阈值:若否,则以上一次获取的注视点位置作为当前注视点位置。
进一步的,所述第二刷新率设置为所述第一刷新率的整倍数。
进一步的,所述第二显示装置的显示亮度设置为大于所述第一显示装置的显示亮度。
进一步的,所述光学器件包括位于所述第一显示装置的显示光出光光路及所述第二显示装置的显示光出光光路上的半透半反镜和位于所述半透半反镜出光光路上的聚焦透镜。
进一步的,所述位移机构为二维位移机构。
进一步的,所述渲染引擎,还用于分别对所述全视场区图像及所述注视区图像进行反畸变处理。
进一步的,所述第一显示装置为液晶显示装置,所述第二显示装置为有机发光半导体显示装置。
进一步的,该设备还包括用于检测得到人眼的注视点位置的视线追踪装置。
本申请第二方面提供了一种利用上述虚拟现实显示设备的显示方法,包括:
渲染引擎获取当前注视点位置,并渲染全视场区图像及根据所述当前注视点位置渲染注视区图像;
第一显示装置以第一分辨率及第一刷新率显示全视场区图像,且第二显示装置以第二分辨率及第二刷新率显示注视区图像,其中,光学器件使所述第一显示装置的显示光及所述第二显示装置的显示光进入人眼,控制器获取当前注视点位置,并根据所述当前注视点位置控制位移机构带动所述第二显示装置位移以使得所述注视区图像的中心与所述注视点位置一致。
本申请的有益效果如下:
本申请针对现有技术,提出一种虚拟现实显示设备及显示方法,通过第一显示装置以较低的分辨率及刷新率显示全视场区图像,通过第二显示装置以较高的分辨率及刷新率显示注视区图像,并利用控制器移动第二显示装置的位置使得注视区图像与注视点位置一致,通过光学器件使得全视场区图像的显示光和与注视区图像的显示光叠加进入人眼,从而实现仅对注视区图像进行高品质的动态显示,避免不必要的资源消耗,减轻显卡负担,有效提高虚拟现实显示设备的资源利用率,具有低功耗、高处理效率以及实时动态显示的特点,具有广泛应用前景。
附图说明
下面结合附图对本申请的具体实施方式作进一步详细的说明。
图1示出本申请的一个实施例提供的虚拟现实显示设备的系统架构图;
图2示出本申请的一个实施例提供的虚拟现实显示设备的结构示意图;
图3a-3c示出本申请的一个实施例提供的不同注视点位置对应的不同显示图像;
图4示出本申请的一个具体示例提供的根据注视点位置显示注视区图像的过程图;
图5示出本申请的一个具体示例提供的注视点位置上移时第二显示装置的位移图;
图6a-6c示出本申请的一个具体示例提供的不同视场角对应的不同注视区图像;
图7a-7b示出本申请的一个具体示例提供的反畸变处理前的正常图像和畸变图像。
具体实施方式
为了更清楚地说明本申请,下面结合实施例和附图对本申请做进一步的说明。附图中相似的部件以相同的附图标记进行表示。本领域技术人员应当理解,下面所具体描述的内容是说明性的而非限制性的,不应以此限制本申请的保护范围。
近年来出现了分辨率越来越高的VR设备,然而由于VR设备对高分辨率显示的特殊要求,现有的VR设备依然达不到理想的显示效果。屏幕质量、显卡品质(算力、能耗、体积、接口)、传输带宽、IC驱动等都是制约VR显示效果的重要因素。
当前,主流技术利用Smartview算法解决VR设备高品质显示的问题。VR设备的显示装置整体采用高清显示装置,该技术将人眼注视点位置所在范围的注视区图像以高清图像进行显示,以及将人眼全部视线范围内的全视场区图像以非高清图像进行显示,实现了注视点位置处注视区图像的高清显示。然而传统的SmartView技术带有明显缺陷,首先Smartview的屏幕生产工艺目前还远未成熟;其次Smartview技术中的非高清图像的显示依然是在高清显示装置上,造成严重的资源浪费;并且利用SmartView技术的VR设备大部分资源都会消耗在无效的渲染上。
为解决上述问题,发明人提出一种虚拟现实显示设备以及显示方法。
如图1所示,本申请第一个实施例提供一种虚拟现实显示设备,该显示设备包括:
包括第一显示装置10、第二显示装置20、渲染引擎30、光学器件40、控制器50及位移机构60,其中,所述第二显示装置20的显示区尺寸小于所述第一显示装置10的显示区尺寸;
所述渲染引擎30,用于获取当前注视点位置,并渲染全视场区图像及根据当前注视点位置渲染注视区图像;
所述第一显示装置10,用于以第一分辨率及第一刷新率显示全视场区图像;
所述第二显示装置20,用于以第二分辨率及第二刷新率显示注视区图像,其中,所述第二分辨率大于所述第一分辨率,所述第二刷新率大于所述第一刷新率;
所述控制器50,用于获取当前注视点位置,并根据当前注视点位置控制所述位移机构60带动所述第二显示装置20位移,以使得所述注视区图像的中心与所述注视点位置一致;
所述光学器件40,用于使所述第一显示装置10的显示光及所述第二显示装置20的显示光进入人眼。
本实施例通过第一显示装置以较低的分辨率及刷新率显示全视场区图像,通过第二显示装置以较高的分辨率及刷新率显示注视区图像,并利用控制器移动第二显示装置的位置使得注视区图像与注视点位置一致,通过光学器件使得全视场区图像的显示光和与注视区图像的显示光叠加进入人眼,从而实现仅对注视区图像进行高品质的动态显示,避免不必要的资源消耗,减轻显卡负担,有效提高虚拟现实显示设备的资源利用率,具有低功耗、高处理效率以及实时动态显示的特点,具有广泛应用前景。
在本实施例中,第二刷新率大于所述第一刷新率,尺寸较小的第一显示装置10的能够高效地动态刷新频率,及时显示于用户注视点位置一致的注视区图像,尺寸较大的第二显示装置20具有较低的动态刷新频率,通过第一显示装置10和第二显示装置20以不同的刷新率进行刷新,使得虚拟现实显示设备的高品质显示效果与资源占用达到最大化性能匹配,降低该设备的整体能耗,并有效降低该设备的显卡负担以及软硬件带宽,设备的整体资源利用率大幅提高。在一个可选的实施例中,所述第二刷新率设置为所述第一刷新率的整倍数。例如,第二显示装置20的刷新率为120Hz,第一显示装置10的刷新率为60Hz。
在本实施例中,第二显示装置20的第一分辨率大于第一显示装置10的分辨率,有效提高注视区图像的显示效果,使得人眼获取的与注视点位置一致的注视区图像分辨率较高,注视区图像更加清晰,提高用户体验。在一个具体示例中,第一显示装置10的尺寸为5.7英寸,整体分辨率为4320*4320,第二显示装置20的尺寸为0.71英寸,整体分辨率为1920*1080为例。由于第一显示装置10的显示尺寸远大于第二显示装置20的显示尺寸,因此,第一显示装置10的每英寸分辨率低于第二显示装置20的每英寸分辨率,也即,由第二显示装置20显示的注视区图像的显示分辨率更高,显示更清晰,用户的体验感得以提高。
考虑该虚拟现实显示设备的成本和加工工艺的问题,在一个实施例中,第一显示装置10为液晶显示装置(LCD),所述第二显示装置20为有机发光半导体显示装置(OLED),通过该设置,使得用于显示全视场区图像的第一显示装置的能耗降低,进一步降低渲染引擎生成全视场区图像的负载,并且,第二显示装置显示的注视区图像显示效果有效提高,实现提高虚拟现实显示设备显示效果的同时降低整体能耗,且降低成本以及降低加工工艺难度。
在一个具体示例中,在现有硬件条件下,本申请实施例的虚拟现实显示设备采用小尺寸超高分辨率高刷新率的第二显示装置以及大尺寸高分辨率低刷新率的第一显示装置,能够实现单眼8K和16K的超高清分辨率动态显示,其生产工艺成熟,且产品良率高。
值得说明的是,本申请实施例不限定第一显示装置和第二显示装置的具体类型,也即,本实施例的第一显示装置和第二显示装置均可为有机发光半导体显示装置,以第二显示装置的注视区图像的显示效果优于第一显示装置的全视场区图像的显示效果为设计准则,以实现高品质显示效果。
进一步的,在一个可选的实施例中,所述第二显示装置20的显示亮度设置为大于所述第一显示装置10的显示亮度。考虑到第二显示装置20显示的注视区图像为对应于人眼注视点区域处的图像,且该注视区图像层叠于第一显示装置10显示的全视场区图像上,因此,通过增加第二显示装置的显示亮度能够有效提高该注视区图像的显示效果,进一步提高用户体验。
在一个可选的实施例中,如图2所示,所述光学器件40包括位于所述第一显示装置10的显示光出光光路及所述第二显示装置20的显示光出光光路上的半透半反镜41和位于所述半透半反镜41出光光路上的聚焦透镜42。
本实施例中,光学器件40将注视区图像覆盖到全视场区图像的对应于注视点位置所在的区域处。在一个具体示例中,渲染引擎30生成全视场区图像,并由第一显示装置10显示在整个大尺寸屏幕上,该全视场区图像的显示光经第一出光光路直接透过半透半反镜41进入人眼。并且,渲染引擎30根据获取的注视点位置生成注视区图像并由第二显示装置20显示,注视区图像的显示光经第二出光光路至半透半反镜41被反射进入人眼,此时,人眼获取的图像为注视区图像和全视场区图像的叠加的如图3a所示的设备显示图像,且人眼注视点位置处注视区图像的分辨率更高,显示效果更好。
由于本申请实施例的人眼获取的最终显示图像为注视区图像覆盖在对应注视点位置处的全视场区图像上,即,注视区图像和全视场区图像为经物理叠加后进入人眼,因此,本申请实施例的虚拟现实显示设备无需再增加边界融合算法,既能够节省计算资源,又能够实现注视区图像的高品质动态显示。
在一个具体示例中,第一显示装置10的中心点、半透半反镜41焦点、聚焦透镜42焦点以及人眼处于同一水平直线上,以达到最好的显示效果。
当面对同一帧图像人眼的注视点位置进行改变时,即全视场区图像并未改变而人眼的注视点位置发生变化时。在一个具体示例中,如图3b所示,注视点位置由看向全视场区图像左侧转移至看向全视场区图像中心处。控制器50根据当前注视点位置通过位移机构60控制第二显示装置20进行移动,使得第二显示装置20显示的上一注视区图像的位置变化为当前注视点对应于全视场区图像的位置处。渲染引擎30利用视线追踪技术获取当前注视点位置,生成对应当前注视点位置的注视区图像,使得上一注视区图像的内容变化为当前注视区图像,从而实现注视区图像的显示内容以及显示位置随注视点位置变化而变化,实现注视区图像的动态地高性能的显示效果,进一步提高用户体验感。
在一个可选的实施例中,所述控制器50及渲染引擎30,还分别用于判断所述当前注视点位置与上一次获取的注视点位置之间的距离值是否大于预设距离阈值:若否,则以上一次获取的注视点位置作为当前注视点位置。
考虑到第二显示装置20的移动精度限制,本实施例通过设置预设距离阈值,与注视点位置变化后的注视点位置移动距离进行比较,当注视点位置移动距离在预设距离阈值内时,则说明当前注视区图像仍能满足用户需要,控制器50无需控制第二显示装置20进行位置变化,并且渲染引擎30也无需渲染生成新的注视区图像,根据刷新率进行刷新即可,第二显示装置20显示的注视区图像未改变。该设置一方面在降低了虚拟现实显示设备的能耗的同时,还能实现动态显示;另一方面,该设置还能避免虚拟现实显示设备使用过程中因用户眨眼等动作导致注视区图像不断变化的现象出现,从而提高用户体验感。
在一个具体示例中,如图4所示,用户由图3b所示的看向全视场区图像中心处变为如图3c所示的看向全视场区图像右侧区域。首先进行注视点坐标增量△P与预设距离阈值P关系的判断,在一个具体示例中,注视点坐标增量△P的计算公式为:
其中,Xcurrent为当前注视点水平方向的坐标,Ycurrent为当前注视点竖直方向的坐标,Xlast为前一注视点水平方向的坐标,Ylast为前一注视点竖直方向的坐标。
此时,注视点坐标增量△P大于预设距离阈值P,利用注视点坐标增量△P计算运动变换矩阵以获得第二显示装置20需移动的位置信息,控制器50通过二维位移机构60将第二显示装置20移动至当前的注视点位置,渲染引擎30根据当前的注视点位置渲染生成当前注视点对应的注视区图像,并通过第二显示装置20显示当前注视区图像,实现注视区图像随注视点位置变化的动态显示。
在一个具体示例中,以第一显示装置10的显示尺寸5.7英寸,第二显示装置20的显示尺寸为0.71英寸为例,预设距离阈值设定为每帧角度的变化量,预设距离阈值取值范围可为0~1.0度/帧。在一个具体示例中,预设距离阈值为0.1度/帧。
在一个具体示例中,预设距离阈值越小,该设备对注视点位置的变化越灵敏。当需要通过多个预设距离阈值实现多档灵敏度控制时,可通过以下计算公式实现:
Pi+1=f(Pi,ui)+wi;
其中,Pi为第i帧第二显示装置20的位置,ui为系统输入,wi为系统噪声。
在另一个具体示例中,如图5所示,当注视点位置沿Z方向向上移动时,控制器50根据获取的当前注视点位置控制第二显示装置20沿X方向靠近半透半反镜41一侧移动,此时,第一显示装置10显示的全视场区图像仍经过第一显示光路直接从半透半反镜41透射后进入人眼,第二显示装置20的第二显示光路随着第二显示装置20位置的移动,当前的第二显示光路较上一第二显示光路距离变短,当前第二显示光路经半透半反镜41的反射点高于上一第二显示光路的反射点,进一步的,当前注视区图像的显示光进入聚焦透镜42的折射点也高于上一注视区图像的折射点,因此,进入人眼的当前注视区图像随着注视点位置的向上移动而动态向上移动,实现注视区图像的位置动态显示。
在一个可选的实施例中,所述位移机构60为二维位移机构。由于用户与虚拟现实显示设备相对固定,控制器50获取的为人眼在水平以及竖直方向上的注视点移动变化,二维位移机构60本身沿图4所示的X方向和Y方向进行移动。
在一个具体示例中,该二维位移机构包括:沿X方向移动的第一移动部以及垂直设置在第一移动部上的第二移动部,第二移动部配置为沿Y方向移动。在一个具体示例中,第一移动部和第二移动部均包括导轨以及与导轨配合的滑块。因此,二维位移机构在实现带动第二显示装置20随注视点位置移动的同时,还具有成本低、加工工艺简单的特点。
考虑到当二维位移机构多次控制第二显示装置移动后易出现位移偏差,使得注视区图像的显示位置较正常状态下有所偏差,注视区图像和全视场区图像之间对齐精度出现较大误差。在一个具体示例中,本申请实施例通过预先设置初始位置以及设置复位件,在位移偏差达到偏差阈值时通过手动复位校准以消除累计位移偏差。
在一个可选的实施例中,该设备还包括用于检测得到人眼的注视点位置的视线追踪装置。
在一个具体示例中,该视线追踪装置包括:图像采集器、虹膜定位单元、虹膜特征提取单元以及眼动特征提取单元。图像采集器能够在人眼注视第一显示装置时采集多张人眼图像。虹膜定位单元在人眼图像中确定虹膜内边界和虹膜外边界;其中,虹膜内边界通过搜索人眼图像中包含光源像点的区域以及结合径向梯度检测法定位;虹膜外边界通过径向梯度检测法定位。虹膜特征提取单元在虹膜内边界和虹膜外边界范围内提取虹膜特征信息。眼动特征提取单元在眼部图像中确定双眼瞳孔中心位置和内眼角点位置坐标作为眼动数据,利用眼动数据代入注视点计算模型得到注视点位置。
在一个具体示例中,注视点位置可通过坐标表示。
在本实施例中,渲染引擎30利用视线追踪技术获取人眼的注视点位置,并根据获得的注视点位置进行注视区图像的渲染。在一个具体示例中,渲染引擎通过对应的SDK工具(Software Development Kit软件开发工具)得到渲染引擎内虚拟相机的六边界参数(左、右、上、下、近、远),由六边界参数计算出相机投影矩阵,相机投影矩阵M与六边界参数之间的关系为:
其中,left为左边界参数;right为右边界参数;top为上边界参数;bottom为下边界参数;far为远裁面参数;near为近裁面参数。
进一步的,得到投影矩阵M后直接作用于虚拟相机的相机投影矩阵参数,能够得到对应的视场角(FOV),根据不同的视场角,渲染引擎生成的注视区图像并不相同。
在一个具体示例中,如图6a-6c所示,当视场角分别为60°、30°以及10°时,注视区图像也发生变化,既实现了注视区图像画面内容的动态显示,又实现了注视区图像画面角度的动态变化,有效提高用户的体验感。
值得说明的是,由于申请实施例的注视区图像画面通过第二显示装置进行动态显示,第一显示装置显示的全视场区图像无需根据注视点位置变化进行动态显示,因此,渲染引擎渲染全视场区图像时无需计算视场角,进一步降低了渲染引擎的负载,提高了处理效率,有效提高了该虚拟现实显示设备的整体资源利用率。
考虑到光学器件40内存在聚焦透镜42,使得人眼接收的经聚焦透镜42呈现的注视区图像和全视场区图像发生变形,在一个可选的实施例中,渲染引擎30还用于分别对所述全视场区图像及所述注视区图像进行反畸变处理。在一个具体示例中,为使人眼接收的注视区图像和全视场区图像为图7a正常图像,渲染引擎30还利用SDK工具对全视场区图像及所述注视区图像进行反畸变处理,反畸变处理后输出的畸变图像为图7b所示。
本实施例通过渲染引擎30生成显示在分辨率较低的第一显示装置10上的全视场区图像,以及生成与注视点位置对应的显示在分辨率较高的第二显示装置20上的注视区图像,并利用控制器50移动第二显示装置20的位置使得注视区图像与注视点位置一致,通过光学器件40使得全视场区图像和与注视点一致的注视区图像进入人眼,从而实现人眼获取的与注视点区域对应的高品质的动态显示效果,有效提高虚拟现实显示设备的资源利用率,具有低功耗、高处理效率以及高显示效果的特点。
与上述实施例提供的虚拟现实显示设备相对应,本申请的另一个实施例提出一种利用上述虚拟现实显示设备的显示方法,包括:
渲染引擎30获取当前注视点位置,并渲染全视场区图像及根据所述当前注视点位置渲染注视区图像;
第一显示装置10以第一分辨率及第一刷新率显示全视场区图像,且第二显示装置20以第二分辨率及第二刷新率显示注视区图像,其中,光学器件40使所述第一显示装置10的显示光及所述第二显示装置20的显示光进入人眼,控制器50获取当前注视点位置,并根据所述当前注视点位置控制位移机构带动所述第二显示装置20位移以使得所述注视区图像的中心与所述注视点位置一致。
本实施例利用上述虚拟现实显示设备的显示方法,通过第一显示装置以较低的分辨率及刷新率显示全视场区图像,通过第二显示装置以较高的分辨率及刷新率显示注视区图像,并利用控制器移动第二显示装置的位置使得注视区图像与注视点位置一致,通过光学器件使得全视场区图像的显示光和与注视区图像的显示光叠加进入人眼,从而实现仅对注视区图像进行高品质的动态显示,避免不必要的资源消耗,减轻显卡负担,有效提高虚拟现实显示设备的资源利用率,具有低功耗、高处理效率以及实时动态显示的特点,具有广泛应用前景。
由于本申请实施例提供的显示方法与上述几种实施例提供的虚拟现实显示设备相对应,因此在前实施方式也适用于本实施例提供的虚拟现实显示设备,在本实施例中不再详细描述。
在本申请的描述中,需要说明的是,术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本申请和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本申请的限制。除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本申请中的具体含义。
还需要说明的是,在本申请的描述中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
显然,本申请的上述实施例仅仅是为清楚地说明本申请所作的举例,而并非是对本申请的实施方式的限定,对于本领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动,这里无法对所有的实施方式予以穷举,凡是属于本申请的技术方案所引伸出的显而易见的变化或变动仍处于本申请的保护范围之列。
Claims (9)
1.一种虚拟现实显示设备,其特征在于,包括第一显示装置、第二显示装置、渲染引擎、光学器件、控制器及位移机构,其中,所述第二显示装置的显示区尺寸小于所述第一显示装置的显示区尺寸;
所述渲染引擎,用于获取当前注视点位置,并渲染全视场区图像及根据当前注视点位置渲染注视区图像,所述全视场区图像不根据注视点位置变化进行动态显示,所述注视区图像根据注视点位置变进行动态显示;
所述第一显示装置,用于以第一分辨率及第一刷新率显示全视场区图像;
所述第二显示装置,用于以第二分辨率及第二刷新率显示注视区图像,其中,所述第二分辨率大于所述第一分辨率,所述第二刷新率大于所述第一刷新率;
所述控制器,用于获取当前注视点位置,并根据当前注视点位置控制所述位移机构带动所述第二显示装置位移,以使得所述注视区图像的中心与所述注视点位置一致;
所述光学器件,用于使所述第一显示装置的显示光及所述第二显示装置的显示光进入人眼;
所述控制器及渲染引擎,还分别用于判断所述当前注视点位置与上一次获取的注视点位置之间的距离值是否大于预设距离阈值:
所述当前注视点位置与上一次获取的注视点位置之间的距离值△P的计算公式为:
其中,Xcurrent为当前注视点水平方向的坐标,Ycurrent为当前注视点竖直方向的坐标,Xlast为前一注视点水平方向的坐标,Ylast为前一注视点竖直方向的坐标,
若否,则以上一次获取的注视点位置作为当前注视点位置,控制器不控制位移机构带动所述第二显示装置位移,并且渲染引擎不渲染生成新的注视区图像,所述第二显示装置根据第二刷新率进行刷新;
若是,则利用所述距离值获得所述第二显示装置移动的位置信息,所述控制器通过位移机构将第二显示装置移动至当前的注视点位置,渲染引擎根据当前的注视点位置渲染生成当前注视点对应的注视区图像,并通过第二显示装置显示当前注视区图像。
2.根据权利要求1所述的设备,其特征在于,所述第二刷新率设置为所述第一刷新率的整倍数。
3.根据权利要求1所述的设备,其特征在于,所述第二显示装置的显示亮度设置为大于所述第一显示装置的显示亮度。
4.根据权利要求1所述的设备,其特征在于,所述光学器件包括位于所述第一显示装置的显示光出光光路及所述第二显示装置的显示光出光光路上的半透半反镜和位于所述半透半反镜出光光路上的聚焦透镜。
5.根据权利要求4所述的设备,其特征在于,所述位移机构为二维位移机构。
6.根据权利要求4所述的设备,其特征在于,所述渲染引擎,还用于分别对所述全视场区图像及所述注视区图像进行反畸变处理。
7.根据权利要求1所述的设备,其特征在于,所述第一显示装置为液晶显示装置,所述第二显示装置为有机发光半导体显示装置。
8.根据权利要求1所述的设备,其特征在于,该设备还包括用于检测得到人眼的注视点位置的视线追踪装置。
9.一种利用如权利要求1-8中任一项所述的虚拟现实显示设备的显示方法,其特征在于,包括:
渲染引擎获取当前注视点位置,并渲染全视场区图像及根据所述当前注视点位置渲染注视区图像;
第一显示装置以第一分辨率及第一刷新率显示全视场区图像,且第二显示装置以第二分辨率及第二刷新率显示注视区图像,其中,光学器件使所述第一显示装置的显示光及所述第二显示装置的显示光进入人眼,控制器获取当前注视点位置,并根据所述当前注视点位置控制位移机构带动所述第二显示装置位移以使得所述注视区图像的中心与所述注视点位置一致。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011472690.2A CN112578564B (zh) | 2020-12-15 | 2020-12-15 | 一种虚拟现实显示设备及显示方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011472690.2A CN112578564B (zh) | 2020-12-15 | 2020-12-15 | 一种虚拟现实显示设备及显示方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112578564A CN112578564A (zh) | 2021-03-30 |
CN112578564B true CN112578564B (zh) | 2023-04-11 |
Family
ID=75136113
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011472690.2A Active CN112578564B (zh) | 2020-12-15 | 2020-12-15 | 一种虚拟现实显示设备及显示方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112578564B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114675418B (zh) * | 2021-05-08 | 2024-08-20 | 胡大文 | 超轻巧的穿戴显示装置和用于显示装置的方法 |
CN114019679A (zh) * | 2021-10-22 | 2022-02-08 | 小派科技(上海)有限责任公司 | 光学模组/系统、显示装置、头戴式显示设备和显示系统 |
CN113933998A (zh) * | 2021-10-22 | 2022-01-14 | 小派科技(上海)有限责任公司 | 光学模组/系统、显示装置、头戴式显示设备和显示系统 |
US11899215B1 (en) * | 2022-07-29 | 2024-02-13 | Htc Corporation | Head mounted display, display device and image display method thereof |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10054797B2 (en) * | 2015-02-12 | 2018-08-21 | Google Llc | Combining a high resolution narrow field display and a mid resolution wide field display |
CA3042554C (en) * | 2016-11-16 | 2023-07-18 | Magic Leap, Inc. | Multi-resolution display assembly for head-mounted display systems |
US9990037B1 (en) * | 2016-12-01 | 2018-06-05 | Varjo Technologies Oy | Display apparatus and method using portable electronic device |
CN107516335A (zh) * | 2017-08-14 | 2017-12-26 | 歌尔股份有限公司 | 虚拟现实的图形渲染方法和装置 |
US11328643B2 (en) * | 2018-05-15 | 2022-05-10 | Sony Semiconductor Solutions Corporation | Display unit |
CN108665521B (zh) * | 2018-05-16 | 2020-06-02 | 京东方科技集团股份有限公司 | 图像渲染方法、装置、系统、计算机可读存储介质及设备 |
CN108828779B (zh) * | 2018-08-28 | 2020-01-21 | 北京七鑫易维信息技术有限公司 | 一种头戴式显示设备 |
CN109727305B (zh) * | 2019-01-02 | 2024-01-12 | 京东方科技集团股份有限公司 | 虚拟现实系统画面处理方法、装置及存储介质 |
CN109637418B (zh) * | 2019-01-09 | 2022-08-30 | 京东方科技集团股份有限公司 | 一种显示面板及其驱动方法、显示装置 |
CN110162185A (zh) * | 2019-06-10 | 2019-08-23 | 京东方科技集团股份有限公司 | 一种智能显示方法及装置 |
-
2020
- 2020-12-15 CN CN202011472690.2A patent/CN112578564B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN112578564A (zh) | 2021-03-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112578564B (zh) | 一种虚拟现实显示设备及显示方法 | |
CN201307266Y (zh) | 双目视线跟踪装置 | |
Plopski et al. | Corneal-imaging calibration for optical see-through head-mounted displays | |
US20160274365A1 (en) | Systems, devices, and methods for wearable heads-up displays with heterogeneous display quality | |
JP2019527377A (ja) | 視線追跡に基づき自動合焦する画像捕捉システム、デバイス及び方法 | |
TWI486631B (zh) | 頭戴式顯示裝置及其控制方法 | |
CN102045577B (zh) | 用于三维立体显示的观察者跟踪系统及三维立体显示系统 | |
CN104410851B (zh) | 观察立体显示器的设备和控制主动快门透镜的方法 | |
US11435577B2 (en) | Foveated projection system to produce ocular resolution near-eye displays | |
US20160105665A1 (en) | Unassisted stereoscopic display device using directional backlight structure | |
WO2015062319A1 (zh) | 3d智能设备及其3d图像显示方法 | |
CN113918018A (zh) | 显示系统和方法 | |
Bohme et al. | Remote eye tracking: State of the art and directions for future development | |
Cho et al. | Long range eye gaze tracking system for a large screen | |
CN105739707A (zh) | 电子设备、脸部识别跟踪方法和三维显示方法 | |
CN109493305A (zh) | 一种人眼视线与前景图像叠加的方法及系统 | |
CN106095106A (zh) | 虚拟现实终端及其显示光心距的调整方法及装置 | |
CN104732191A (zh) | 利用交比不变性实现虚拟显示屏视线追踪的装置及其方法 | |
CN104865701A (zh) | 头戴式显示装置 | |
CN109741289A (zh) | 一种图像融合方法和vr设备 | |
WO2023005800A1 (zh) | 头戴设备的显示校准方法、装置、头戴设备及存储介质 | |
CN108985291A (zh) | 一种基于单摄像头的双眼追踪系统 | |
WO2023231674A9 (zh) | 液晶光栅的驱动方法及显示装置、其显示方法 | |
CN111651043A (zh) | 一种支持定制化多通道交互的增强现实系统 | |
CN107367838A (zh) | 一种基于光场成像的头戴式虚拟现实立体显示设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |