CN110347265A - 渲染图像的方法及装置 - Google Patents
渲染图像的方法及装置 Download PDFInfo
- Publication number
- CN110347265A CN110347265A CN201910661403.3A CN201910661403A CN110347265A CN 110347265 A CN110347265 A CN 110347265A CN 201910661403 A CN201910661403 A CN 201910661403A CN 110347265 A CN110347265 A CN 110347265A
- Authority
- CN
- China
- Prior art keywords
- current
- user
- image
- rendering
- current field
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Human Computer Interaction (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提供一种渲染图像的方法及装置,获取用户的当前眼睛位置信息后,根据当前眼睛位置信息计算得到用户的当前视场范围,然后以第一渲染质量对目标屏幕在当前视场范围外显示的图像进行渲染,且以第二渲染质量对目标屏幕在当前视场范围内显示的图像进行渲染;其中,第二渲染质量大于第一渲染质量,图像的渲染质量可以根据图像的分辨率,特效数量和模型精细程度中的任意一种或组合确定。基于上述方案,本发明能够根据用户的当前的视场范围调整目标屏幕显示的图像的渲染质量,仅对视场范围内的图像以较高的渲染质量渲染,而以较低的渲染质量渲染视场范围外的图像,从而避免浪费渲染资源。
Description
技术领域
本发明涉及图像处理技术领域,特别涉及一种渲染图像的方法及装置。
背景技术
图像渲染,是指处理器获取图像数据后,根据图像数据控制目标屏幕,使目标屏幕显示图像数据对应的图像的过程。图像渲染需要占用处理器的计算资源成为渲染资源,使用的渲染资源与渲染的屏幕面以及图像的渲染质量成正比。
用户的视场范围,是用户观看目标屏幕时,在用户的眼睛位置不变的情况下能够看到的目标屏幕的最大范围。
现有的图像渲染技术,一般是用一个较高的渲染质量对整个目标屏幕显示的图像进行渲染,以满足用户的观看要求,然而,若用户的视场范围只能覆盖屏幕的一部分区域,因此现有技术下视场范围外显示的图像也按较高的渲染质量渲染,造成渲染资源的浪费。
发明内容
基于上述现有技术的不足,本发明提出一种调整图像的渲染质量的方法及装置,以避免视场范围外的图像的渲染质量较高导致的渲染资源的浪费。
为解决上述问题,现提出的方案如下:
本发明第一方面公开一种渲染图像的方法,包括:
获取用户的当前眼睛位置信息;
根据所述当前眼睛位置信息,计算得到所述用户在目标屏幕的当前视场范围;
以第一渲染质量对所述目标屏幕在所述当前视场范围外显示的图像进行渲染,且以第二渲染质量对所述目标屏幕在所述当前视场范围内显示的图像进行渲染;其中,所述第一渲染质量小于所述第二渲染质量。
可选的,所述以第二渲染质量,对所述目标屏幕在所述当前视场范围内显示的图像进行渲染之前,还包括:
获取所述用户的当前视线信息;根据所述当前视线信息,计算所述用户的当前注视区域;
其中,所述以第二渲染质量,对所述目标屏幕在所述当前视场范围内显示的图像进行渲染,包括:
以所述第二渲染质量,对所述目标屏幕在第一子区域内显示的图像进行渲染,且以第三渲染质量,对所述目标屏幕在第二子区域内显示的图像进行渲染;其中,所述第二子区域是:所述当前注视区域和所述当前视场范围的交集区域;所述第一子区域是:所述当前视场范围内除所述第二子区域以外的区域,所述第三渲染质量大于所述第二渲染质量。
可选的,所述以第二渲染质量,对所述目标屏幕在所述当前视场范围内显示的图像进行渲染之前,还包括:
确定所述当前视场范围内的核心区域;其中,所述当前视场范围内的核心区域的边界与所述当前视场范围的边界之间的距离等于预设的阈值;
其中,所述以第二渲染质量,对所述目标屏幕在所述当前视场范围内显示的图像进行渲染,包括:
以所述第二渲染质量,对所述目标屏幕在第三子区域内显示的图像进行渲染,且以第四渲染质量,对所述目标屏幕在所述当前视场范围内的核心区域内显示的图像进行渲染;其中,所述第三子区域是:所述当前视场范围内除所述当前视场范围内的核心区域以外的区域,所述第四渲染质量大于所述第二渲染质量。
可选的,所述当前眼睛位置信息包括所述用户的当前出瞳距离;所述根据当前眼睛位置信息,计算得到所述用户的当前视场范围,包括:
根据所述当前出瞳距离,计算得到所述用户的当前视场范围。
可选的,所述获取用户的当前眼睛位置信息,包括:
根据用户的当前眼部图像,建立所述用户眼睛的3D模型;
基于所述用户眼睛的3D模型,计算得到所述用户的当前眼睛位置信息。
本发明第二方面公开一种渲染图像的装置,包括:
获取单元,用于获取用户的当前眼睛位置信息;
计算单元,用于根据所述当前眼睛位置信息,计算得到所述用户在目标屏幕的当前视场范围;渲染单元,用于以第一渲染质量,对所述目标屏幕在所述当前视场范围外显示的图像进行渲染,且以第二渲染质量,对所述目标屏幕在所述当前视场范围内显示的图像进行渲染;其中,所述第一渲染质量小于所述第二渲染质量。
可选的,所述获取单元还用于:获取所述用户的当前视线信息;所述计算单元还用于:根据所述当前视线信息,计算所述用户的当前注视区域;
所述渲染单元执行所述以第二渲染质量,对所述目标屏幕在所述当前视场范围内显示的图像进行渲染,用于:
以所述第二渲染质量,对所述目标屏幕在第一子区域内显示的图像进行渲染,且以第三渲染质量,对所述目标屏幕在第二子区域内显示的图像进行渲染;其中,所述第二子区域是:所述当前注视区域和所述当前视场范围的交集区域;所述第一子区域是:所述当前视场范围内除所述第二子区域以外的区域,所述第三渲染质量大于所述第二渲染质量。
可选的,所述计算单元还用于:确定所述当前视场范围内的核心区域;其中,所述当前视场范围内的核心区域的边界与所述当前视场范围的边界之间的距离等于预设的阈值;
所述渲染单元执行所述以第二渲染质量,对所述目标屏幕在所述当前视场范围内显示的图像进行渲染,用于:
以所述第二渲染质量,对所述目标屏幕在第三子区域内显示的图像进行渲染,且以第四渲染质量,对所述目标屏幕在所述当前视场范围内的核心区域内显示的图像进行渲染;其中,所述第三子区域是:所述当前视场范围内除所述当前视场范围内的核心区域以外的区域,所述第四渲染质量大于所述第二渲染质量。
可选的,所述当前眼睛位置信息包括所述用户的当前出瞳距离;其中,所述计算单元用于根据所述当前眼睛位置信息,计算得到所述用户的当前视场范围,包括:
用于根据所述当前出瞳距离,计算得到所述用户的当前视场范围。
可选的,所述获取单元包括:
建立单元,用于根据所述用户的当前眼部图像建立所述用户眼睛的3D模型;
位置计算单元,用于基于所述用户眼睛的3D模型计算得到所述用户的当前眼睛位置信息。
本发明提供一种渲染图像的方法及装置,获取用户的当前眼睛位置信息后,根据当前眼睛位置信息计算得到用户的当前视场范围,然后以第一渲染质量对目标屏幕在当前视场范围外显示的图像进行渲染,且以第二渲染质量对目标屏幕在当前视场范围内显示的图像进行渲染;其中,第二渲染质量大于第一渲染质量。基于上述方案,本发明能够根据用户的当前的视场范围调整目标屏幕显示的图像的渲染质量,仅对视场范围内的图像以较高的渲染质量渲染,而以较低的渲染质量渲染视场范围外的图像,从而避免浪费渲染资源。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种渲染图像的方法的流程示意图;
图2为本发明另一实施例提供的一种渲染图像的方法的流程示意图;
图3为本发明另一实施例提供的计算用户的注视点及注视区域的示意图;
图4为本发明另一实施例提供的当前视场范围以及当前注视区域的示意图;
图5为本发明另一实施例提供的一种渲染图像的方法的流程示意图;
图6为本发明另一实施例提供的当前视场范围及其核心区域的示意图;
图7为本发明另一实施例提供的一种渲染图像的装置的示意图;
图8为本发明另一实施例提供的一种渲染单元的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本申请任一实施例提供的方法,其关键在于根据用户的当前眼睛位置信息,计算出用户的当前视场范围,然后根据当前视场范围对用户目前观看的目标屏幕进行分区渲染,使目标屏幕在当前视场范围内显示的图像的渲染质量,高于目标屏幕在当前视场范围外显示的图像的渲染质量。其中,受控制的目标屏幕,可以是增强现实(AugmentedReality,AR)设备和虚拟现实(Virtual Reality,VR)设备自身的屏幕,也可以是用户通过上述设备观看的不属于该设备的屏幕。
进一步的,除了上述设备以外,对于任意一个屏幕,只要用户观看该屏幕时,用户的视场范围不足以覆盖整个屏幕,该屏幕就可以作为本申请任一实施例中的目标屏幕,从而应用本申请任一实施例提供的方法对该屏幕进行分区渲染。
本申请实施例提供了一种渲染图像的方法,请参考图1,该方法包括以下步骤:
S101、获取用户的当前眼睛位置信息。
步骤S101,也可以认为是实时获取用户的当前眼睛位置信息。
本申请实施例提供的方法既可以适用于具有眼球追踪功能的设备,也可以适用于不具有眼球追踪功能的设备。
适用于不具有眼球追踪功能的设备时,步骤S101提及的获取用户的当前眼睛位置信息,是指接收眼球追踪设备发送的当前眼睛位置信息。
适用于具有眼球追踪功能的设备的场合,该设备可以基于下述方法获取用户的当前眼睛位置信息。
采集用户的当前眼部图像,根据用户的当前眼部图像,建立用户的眼睛的3D模型,然后根据眼睛的3D模型计算得到用户的当前眼睛位置信息。
其中,用户的眼睛的3D模型,可以根据从用户的当前眼部图像中提取的多个特征建立,所述多个特征包括用户的当前瞳孔位置,当前瞳孔形状和当前瞳孔光斑位置等。
前述获取用户的当前眼睛位置信息的方法,可以认为是基于瞳孔角膜反射法的眼球追踪技术进行的方法。本领域技术人员应当理解,本实施例提供的方法,也可以适用于,基于其他技术获取用户的当前眼睛位置信息的设备,下面给出几种可用于获取用户的当前眼睛位置信息的技术作为参考。
一方面,上述获取用户的当前眼睛位置信息的设备,可以是微机电系统(Micro-Electro-Mechanical System,MEMS),MEMS中包括红外扫描反射镜、红外光源、红外接收器;另一方面,可以在用户的眼部区域设置电容传感器,利用眼球与电容传感器的电容极板之间的电容值来检测眼球运动,进而确定出用户的当前眼睛位置信息;再一方面,获取用户的当前眼睛位置信息的设备也可以是肌电流检测器,肌电流检测器与放置在用户的鼻梁、额头、耳朵和耳垂处的电极连接,利用电极采集这些部位的肌电流信号,通过检测的肌电流信号模式来检测眼球运动,进而确定出用户的当前眼睛位置信息。
可选的,具有眼球追踪功能的设备还可以利用自身的距离传感器获取用户的当前出瞳距离,将当前出瞳距离作为用户的当前眼睛位置信息或当前眼睛位置信息的一个组成部分。
步骤S101中提及的当前眼睛位置信息,可以包括用户的眼球的X坐标,Y坐标,Z坐标中的任意一种或组合。其中,上述坐标的坐标系可以是根据目标屏幕确定的,固定于所述目标屏幕上的坐标系。
需要说明的是,步骤S101获取的当前眼睛位置信息,包括用户的左眼的当前眼睛位置信息和/或用户的右眼的当前眼睛位置信息。
S102、根据当前眼睛位置信息,计算得到用户的当前视场范围。
其中,目标屏幕是用户当前观看的屏幕。
需要说明的是,在特定的眼睛位置下,用户能看到的目标屏幕的最大范围是用户的实际视场范围,而本申请实施例提供的方法中,根据用户的当前眼睛位置信息计算得到的当前视场范围,是一个理论视场范围。考虑到上述计算过程可能存在计算误差,一般会对根据当前眼睛位置信息直接计算得到的视场范围进行一定的扩展,将扩展后的视场范围作为当前视场范围,以确保最终输出的当前视场范围能够完全覆盖用户当前的实际视场范围。因此,计算得到的当前视场范围,是一个包括用户当前能看到的目标屏幕的最大范围(即实际视场范围)在内,且大于实际视场范围的区域。
用户的当前眼睛位置信息,可以包括用户的当前出瞳距离。在用户通过VR设备或AR设备的目镜观看目标屏幕时,步骤S102的具体实现过程可以是:根据当前眼睛位置信息中的当前出瞳距离计算得到用户的当前视场范围。
其中,当前出瞳距离是指用户的眼睛与目镜之间的距离;头戴式设备(包括上述VR设备和AR设备)包括与用户的左眼和右眼分别对应的左右两个目镜时,当前出瞳距离可以是左眼与左侧的目镜的距离,也可以是右眼与右侧的目镜的距离,还可以是前述两个距离的平均值。
若步骤S101中获取的是用户的单个眼睛的当前眼睛位置信息(左眼或右眼),则步骤S102可以根据这个眼睛的当前眼睛位置信息确定出一个当前视场范围;若步骤S101中获取的是用户的两个眼睛的当前眼睛位置信息(左眼和右眼),则步骤S102可以根据两个眼睛的位置信息分别计算两个当前视场范围,然后根据这两个当前视场范围确定一个整体视场范围,后续步骤根据这个整体视场范围进行。其中,整体视场范围可以是左眼和右眼的两个当前视场范围的并集,也可以是这两个当前视场范围的交集。
S103、以第一渲染质量对目标屏幕在当前视场范围外显示的图像进行渲染。
图像的渲染质量可以根据图像的分辨率,特效数量和模型精细程度中的任意一种或组合确定。
可选的,预设的第一渲染质量可以等于零,也就是不渲染当前视场范围外的图像。
S104、以第二渲染质量对目标屏幕在当前视场范围内显示的图像进行渲染。
其中,第二渲染质量大于第一渲染质量。
需要说明的是,步骤S103和步骤S104的目的在于使当前视场范围外的图像和当前视场范围内的图像的渲染质量不一致,且当前视场范围外的图像的渲染质量低于当前视场范围内的图像的渲染质量,两个步骤的执行顺序并不会对实现这一目的产生影响,除了上述执行顺序,也可以先渲染当前视场范围内的图像,再渲染当前视场范围外的图像,技术允许的情况下,也可以同时对当前视场范围内和当前视场范围外的图像进行渲染。
还需要说明的是,当前视场范围内的图像的渲染质量和当前视场范围外的图像的渲染质量应当是基于相同的标准确定的渲染质量。也就是说,如果第一渲染质量是根据当前视场范围外的图像的分辨率和特效数量确定的,那么当前视场范围内的图像的渲染质量也应当根据当前视场范围内的图像的分辨率和特效数量确定;若第一渲染质量是根据当前视场范围外的图像的分辨率和模型精细程度确定的,那么当前视场范围内的图像的渲染质量也应当根据当前视场范围内的图像的分辨率和模型精细程度确定。
本发明提供一种渲染图像的方法及装置,获取用户的当前眼睛位置信息后,根据当前眼睛位置信息计算得到用户的当前视场范围,然后以第一渲染质量渲染视场范围外的图像,并以第二渲染质量对目标屏幕在当前视场范围内显示的图像进行渲染,且第二渲染质量大于第一渲染质量,图像的渲染质量可以根据图像的分辨率,特效数量和模型精细程度中的任意一种或组合确定。基于上述方案,本发明能够根据用户的当前的视场范围调整目标屏幕显示的图像的渲染质量,仅对视场范围内的图像以较高的渲染质量渲染,而以较低的渲染质量渲染视场范围外的图像,从而避免浪费渲染资源。
结合上述实施例,本申请另一实施例还提供了一种图像渲染方法,用于根据用户的当前视线信息进一步控制图像的渲染质量,请参考图2,该方法包括以下步骤:
S201、获取用户的当前眼睛位置信息和当前视线信息。
当前眼睛位置信息的定义以及获取方式与前述实施例一致。
当前视线信息至少包括用户的眼球方向信息,与前述当前眼睛位置信息类似,步骤S201中获取的可以是用户的左眼和/或右眼的当前视线信息,其中,左眼的当前视线信息包括左眼的眼球方向信息,右眼的当前视线信息包括右眼的眼球方向信息。
眼睛的眼球方向信息,包括眼球相对于初始方向的水平转动角度和垂直转动角度。其中,眼球的初始方向就是人脸的朝向。根据眼球方向信息,可以计算出眼睛当前的视线方向。
获取当前视线信息的方法与获取眼睛的位置信息的方法类似,此处不再赘述。
S202、根据当前眼睛位置信息,计算得到用户的当前视场范围。
S203、根据当前视线信息计算得到用户的当前注视区域。
以图3为例,根据当前眼睛位置信息可以确定用户的眼睛当前的位置,如图所示,眼睛位置可以表示成目标屏幕所在平面外的一点,获取当前视线信息后,根据其中的眼球方向信息可以计算出眼睛当前的视线方向。根据确定出的视线方向,经过给定的点做一条直线,这条直线与目标屏幕的交点,就是用户当前注视点,以当前注视点为圆心的预设半径的圆形区域,就是用户当前注视区域。其中,实际注视区域的大小与用户的眼睛结构等因素有关,用户可以根据使用情况调节上述预设半径,使计算得到的当前注视区域与实际注视区域尽可能一致。
可选的,若步骤S201中分别获取了用户的左眼的当前视线信息和右眼的当前视线信息,则步骤S203中,可以分别计算出左眼的当前注视区域和右眼的当前注视区域,根据两个当前注视区域确定出一个整体注视区域,后续步骤则根据这个整体注视区域进行。整体注视区域可以是前述两个当前注视区域的并集,也可以是前述两个当前注视区域的交集。
S204、以第一渲染质量对目标屏幕在当前视场范围外显示的图像进行渲染。
S205、以第二渲染质量对目标屏幕在当前视场范围的第一子区域内显示的图像进行渲染。
S206、以预第三渲染质量对目标屏幕在当前视场范围的第二子区域内显示的图像进行渲染。
第二子区域,是指当前视场范围和当前注视区域的交集区域。
步骤S205中提及的当前视场范围的第一子区域,是指当前视场范围内的,除上述交集区域以外的区域。
当前视场范围及其第一子区域和第二子区域之间的关系可以参考图4,如图4所示的矩形框表示整个目标屏幕,其中面积较大的椭圆形区域相当于前述步骤S202中计算得到的当前视场范围,面积较小的圆形区域即为步骤S203中计算得到的当前注视区域。
图示的椭圆形区域与圆形区域的重叠区域,就相当于当前视场范围的第二子区域,目标屏幕在该区域内显示的图像以第三渲染质量进行渲染。椭圆形区域中除了与圆形区域的重叠区域以外的区域,就相当于当前视场范围的第一子区域,目标屏幕在该区域内显示的图像以第二渲染质量进行渲染。图示的矩形框内,除了椭圆形区域以外的其他区域,就是前述当前视场范围外的区域,目标屏幕在该区域显示的图像以第一渲染质量进行渲染。
需要说明的是,图4展示的只是当前注视区域恰好在当前视场范围的边界的情况,本申请实施例提供的方法实际应用时,随着人的眼球方向的变化,当前注视区域可以在当前视场范围的任意位置,既可以在当前视场范围的边界,只有一部分与当前视场范围重叠,也可以完全被包括在当前视场范围内。
其中,第二渲染质量大于第一渲染质量,第三渲染质量大于第二渲染质量,且第一渲染质量,第二渲染质量和第三渲染质量是根据相同的标准确定的渲染质量。
需要说明的是,步骤S204至步骤S206的执行顺序并不唯一,渲染上述各个区域的先后顺序并不影响本实施例的方法的实现。
当前注视区域与当前视场范围的交集确定出的区域,可以认为是目标屏幕上,用户当前关注度最高的区域,提高该区域内的渲染质量,使该区域内的图像的渲染质量高于当前视场范围内的第一子区域的图像的渲染质量,能够有效提高用户的观看体验,同时,该区域面积较小,提高该区域的图像的渲染质量不会明显增加占用的渲染资源。
本申请实施例提供的方法,通过实时获取用户的当前视线信息,根据当前视线信息计算出用户当前注视区域,对当前注视区域与当前视场范围的交集区域内的图像以较高的渲染质量进行渲染,使上述交集区域内的图像的渲染质量高于上述交集区域以外,且在当前视场范围以内的图像的渲染质量。基于上述方案,本申请实施例提供的方法能够在不占用过多的渲染资源的前提下,提高用户当前关注度最高的区域的图像的渲染质量,改善用户的观看体验。
本实施例根据用户的当前注视点确定出用户的当前注视区域,并进一步对当前注视区域和当前视场范围的交集确定出的区域已较高的渲染质量进行渲染。基于上述方案,即使用户的当前注视点位于当前视场范围的边缘,本实施例提供的方法也能有效的对当前视场范围内的图像进行分级渲染。
结合上述实施例,本申请另一实施例还提供了一种图像渲染方法,用于控制当前视场范围内不同区域的图像的渲染质量,请参考图5,该方法包括以下步骤:
S501、获取用户的当前眼睛位置信息。
S502、根据当前眼睛位置信息计算得到用户的当前视场范围。
S503、确定当前视场范围内的核心区域。
其中,当前视场范围内的核心区域,指代当前视场范围内的一个特定的区域,该区域的边界与视场范围的边界之间的距离等于上述预设的阈值。
例如,若步骤S502中计算得到的当前视场范围是一个圆形区域,那么当前视场范围内的核心区域就是这个当前视场范围的同心圆,且当前视场范围内的核心区域的半径与当前视场范围的半径之间的差值等于预设的阈值。
S504、以第一渲染质量对目标屏幕在当前视场范围外显示的图像进行渲染。
S505、以第二渲染质量对目标屏幕在当前视场范围的第三子区域内显示的图像进行渲染。
其中,当前视场范围的第三子区域,是指当前视场范围内,除当前视场范围内的核心区域以外的区域。
S506、以预设的第四渲染质量对目标屏幕在当前视场范围内的核心区域内显示的图像进行渲染。
当前视场范围内的核心区域以及当前视场范围的第三子区域之间的关系可以参考图6,如图6所示的面积较大的圆形区域即为矩形的目标屏幕上的当前视场范围,当前视场范围内侧的面积较小的圆形区域,相当于当前视场范围内的核心区域,两个圆形边界之间的环形区域,相当于当前视场范围的第三子区域。
第二渲染质量大于第一渲染质量,第四渲染质量大于第二渲染质量,且第一渲染质量,第二渲染质量和第四渲染质量根据同样的标准确定。
一般情况下,若用户在一段时间内保持当前的眼睛位置不变,这段时间内,用户的注视区域大多数时候都会落在当前视场范围内的核心区域内,因此,可以用较高的渲染质量对当前视场范围内的核心区域内的图像进行渲染,也能达到提高用户的观看体验的效果。
将上述本申请实施例提供的三个方法任意组合构成的新的实施例,也在本申请的保护范围内。
根据上述图像渲染方法,本申请另一实施例提供了一种图像渲染装置,请参考图7,本申请实施例提供的图像渲染装置包括以下结构:
获取单元701,用于获取用户的当前眼睛位置信息;
计算单元702,用于根据当前眼睛位置信息,计算得到用户的当前视场范围。
其中,用户的当前视场范围是包括用户当前实际能看到的目标屏幕的最大范围在内的理论视场范围,目标屏幕是所述用户当前观看的屏幕。
渲染单元703,用于以第一渲染质量对目标屏幕在当前视场范围外显示的图像进行渲染,并以第二渲染质量对目标屏幕在视场范围外显示的图像进行渲染。
上述第二渲染质量大于第一渲染质量。
其中,渲染质量根据图像的分辨率,特效数量和模型精细程度中的任意一种或组合确定,且当前视场范围内的图像的渲染质量和当前视场范围外的图像的渲染质量根据同一标准确定。
可选的,获取单元701可以包括以下结构,并基于下述结构获取用户的当前眼睛位置信息:
建立单元,用于根据用户的当前眼部图像建立用户的眼睛的3D模型;
位置计算单元,用于根据眼睛的3D模型计算得到用户的当前眼睛位置信息。
其中,建立单元根据用户的当前眼部图像建立用户的眼睛的3D模型的过程,可以是:
采集用户的当前眼部图像,然后提取采集到的当前眼部图像的特征,最后根据提取的特征建立用户的眼睛的3D模型;其中,当前眼部图像的特征可以包括用户的当前瞳孔位置,当前瞳孔形状和当前瞳孔光斑位置等。
可选的,获取单元701可以包括一个距离传感器。获取单元可以利用距离传感器获取用户的当前出瞳距离,将当前出瞳距离作为用户的当前眼睛位置信息或当前眼睛位置信息的一个组成部分。
可选的,获取单元701还可以直接接收眼球追踪设备向本实施例提供的装置发送的用户当前眼睛位置信息。
可选的,用户的当前眼睛位置信息可以包括用户的当前出瞳距离,在用户通过VR设备或AR设备的目镜观看目标屏幕时,计算单元702根据当前眼睛位置信息计算得到当前视场范围的过程可以是:
根据用户的当前眼睛位置信息中的当前出瞳距离计算得到用户的当前视场范围。
可选的,计算单元702还用于,根据预设的阈值计算当前视场范围内的核心区域,其中,当前视场范围内的核心区域是当前视场范围内的区域,且当前视场范围内的核心区域的边界与当前视场范围的边界之间的距离等于上述阈值。
可选的,计算单元702还用于,根据用户当前视线信息计算得到用户的当前注视区域。其中,用户当前视线信息可以由获取单元701获取。
可选的,请参考图8,渲染单元703可以包括:
第一子单元801,用于以第一渲染质量对目标屏幕在当前视场范围外显示的图像进行渲染。
第二子单元802,用于以第二渲染质量对目标屏幕在当前视场范围的特定区域内显示的图像进行渲染。
第三子单元803,用于以第三渲染质量对目标屏幕在当前视场范围的第二子区域内显示的图像进行渲染。
所述当前视场范围的第二子区域是当前视场范围与当前注视区域的交集区域。
第四子单元804,用于以第四渲染质量对目标屏幕在当前视场范围内的核心区域内显示的图像进行渲染。
当第二子单元802和第三子单元803共同用于对目标屏幕显示的图像进行渲染时,第二子单元用于渲染当前视场范围的第一子区域内的图像。第一子区域是当前视场范围内,除上述交集区域外的区域。
当第二子单元802和第四子单元804共同用于对目标屏幕显示的图像进行渲染时,第二子单元用于渲染当前视场范围的第三子区域内的图像。第三子区域是当前视场范围内,除上述当前视场范围内的核心区域外的区域。
当只有第一子单元801和第二子单元802用于对目标屏幕显示的图像进行渲染时,第二子单元用于以第二渲染质量对目标屏幕在整个当前视场范围内显示的图像进行渲染。
其中,第二渲染质量大于第一渲染质量,第三渲染质量和第四渲染质量均大于第二渲染质量,第三渲染质量和第四渲染质量之间的大小关系可以根据需要设定,此处不做限定。
第一渲染质量,第二渲染质量,第三渲染质量和第四渲染质量均根据同一标准确定。
本发明提供的渲染图像的装置,获取单元701获取用户的当前眼睛位置信息后,计算单元702根据当前眼睛位置信息计算得到当前的视场范围,然后渲染单元703以第一渲染质量渲染目标屏幕显示的当前视场范围外的图像,并以大于第一渲染质量的渲染质量对目标屏幕显示的当前视场范围内的图像进行渲染,图像的渲染质量可以根据图像的分辨率,特效数量和模型精细程度中的任意一种或组合确定。基于上述方案,本发明能够根据用户的当前的视场范围调整目标屏幕显示的图像的渲染质量,仅对视场范围内的图像以较高的渲染质量渲染,而以较低的渲染质量渲染视场范围外的图像,从而避免浪费渲染资源。
进一步的,本申请实施例提供的装置可以利用计算单元702计算出用户的当前注视区域,渲染单元703以第二渲染质量渲染当前视场范围的第一子区域内的图像,并以第三渲染质量渲染当前视场范围与当前注视区域的交集区域内的图像,当前视场范围的第一子区域是当前视场范围内除上述交集区域外的区域。还可以利用计算单元702计算出当前视场范围内的核心区域,渲染单元703以第二渲染质量渲染当前视场范围的第二子区域内的图像,并以第四渲染质量渲染当前视场范围内的核心区域内的图像,当前视场范围的第二子区域是当前视场范围内除上述当前视场范围内的核心区域以外的区域。基于上述两种方案,本申请实施例提供的装置能够在占用尽量少的渲染资源的基础上,有效提高用户的观看体验。
专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种渲染图像的方法,其特征在于,包括:
获取用户的当前眼睛位置信息;
根据所述当前眼睛位置信息,计算得到所述用户在目标屏幕的当前视场范围;
以第一渲染质量对所述目标屏幕在所述当前视场范围外显示的图像进行渲染,且以第二渲染质量对所述目标屏幕在所述当前视场范围内显示的图像进行渲染;其中,所述第一渲染质量小于所述第二渲染质量。
2.根据权利要求1所述的方法,其特征在于,所述以第二渲染质量对所述目标屏幕在所述当前视场范围内显示的图像进行渲染之前,还包括:
获取所述用户的当前视线信息;根据所述当前视线信息,计算所述用户的当前注视区域;
其中,所述以第二渲染质量,对所述目标屏幕在所述当前视场范围内显示的图像进行渲染,包括:
以所述第二渲染质量,对所述目标屏幕在第一子区域内显示的图像进行渲染,且以第三渲染质量,对所述目标屏幕在第二子区域内显示的图像进行渲染;其中,所述第二子区域是:所述当前注视区域和所述当前视场范围的交集区域;所述第一子区域是:所述当前视场范围内除所述第二子区域以外的区域,所述第三渲染质量大于所述第二渲染质量。
3.根据权利要求1所述的方法,其特征在于,还包括:
确定所述当前视场范围内的核心区域;其中,所述当前视场范围内的核心区域的边界与所述当前视场范围的边界之间的距离等于预设的阈值;
其中,所述以第二渲染质量,对所述目标屏幕在所述当前视场范围内显示的图像进行渲染,包括:
以所述第二渲染质量,对所述目标屏幕在第三子区域内显示的图像进行渲染,且以第四渲染质量对所述目标屏幕在所述当前视场范围内的核心区域内显示的图像进行渲染;其中,所述第三子区域是:所述当前视场范围内除所述当前视场范围内的核心区域以外的区域,所述第四渲染质量大于所述第二渲染质量。
4.根据权利要求1至3中任意一项所述的方法,其特征在于,所述当前眼睛位置信息包括所述用户的当前出瞳距离
所述根据当前眼睛位置信息,计算得到所述用户的当前视场范围,包括:
根据所述当前出瞳距离,计算得到所述用户的当前视场范围。
5.根据权利要求1至3中任意一项所述的方法,其特征在于,所述获取用户的当前眼睛位置信息,包括:
根据用户的当前眼部图像,建立所述用户眼睛的3D模型;
基于所述用户眼睛的3D模型,计算得到所述用户的当前眼睛位置信息。
6.一种渲染图像的装置,其特征在于,包括:
获取单元,用于获取用户的当前眼睛位置信息;
计算单元,用于根据所述当前眼睛位置信息,计算得到所述用户在目标屏幕的当前视场范围;
渲染单元,用于以第一渲染质量,对所述目标屏幕在所述当前视场范围外显示的图像进行渲染,且以第二渲染质量,对所述目标屏幕在所述当前视场范围内显示的图像进行渲染;其中,所述第一渲染质量小于所述第二渲染质量。
7.根据权利要求6所述的装置,其特征在于,所述获取单元还用于:获取所述用户的当前视线信息;
所述计算单元还用于:根据所述当前视线信息,计算所述用户的当前注视区域;
所述渲染单元执行所述以第二渲染质量,对所述目标屏幕在所述当前视场范围内显示的图像进行渲染,用于:
以所述第二渲染质量,对所述目标屏幕在第一子区域内显示的图像进行渲染,且以第三渲染质量,对所述目标屏幕在第二子区域内显示的图像进行渲染;其中,所述第二子区域是:所述当前注视区域和所述当前视场范围的交集区域;所述第一子区域是:所述当前视场范围内除所述第二子区域以外的区域,所述第三渲染质量大于所述第二渲染质量。
8.根据权利要求6所述的装置,其特征在于,所述计算单元还用于:确定所述当前视场范围内的核心区域;其中,所述当前视场范围内的核心区域的边界与所述当前视场范围的边界之间的距离等于预设的阈值;
所述渲染单元执行所述以第二渲染质量,对所述目标屏幕在所述当前视场范围内显示的图像进行渲染,用于:
以所述第二渲染质量,对所述目标屏幕在第三子区域内显示的图像进行渲染,且以第四渲染质量,对所述目标屏幕在所述当前视场范围内的核心区域内显示的图像进行渲染;其中,所述第三子区域是:所述当前视场范围内除所述当前视场范围内的核心区域以外的区域,所述第四渲染质量大于所述第二渲染质量。
9.根据权利要求6至8中任意一项所述的装置,其特征在于,所述当前眼睛位置信息包括所述用户的当前出瞳距离;其中,所述计算单元用于根据所述当前眼睛位置信息,计算得到所述用户的当前视场范围,包括:
用于根据所述当前出瞳距离,计算得到所述用户的当前视场范围。
10.根据权利要求6至8中任意一项所述的装置,其特征在于,所述获取单元包括:
建立单元,用于根据所述用户的当前眼部图像建立所述用户眼睛的3D模型;
位置计算单元,用于基于所述用户眼睛的3D模型计算得到所述用户的当前眼睛位置信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910661403.3A CN110347265A (zh) | 2019-07-22 | 2019-07-22 | 渲染图像的方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910661403.3A CN110347265A (zh) | 2019-07-22 | 2019-07-22 | 渲染图像的方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110347265A true CN110347265A (zh) | 2019-10-18 |
Family
ID=68179667
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910661403.3A Pending CN110347265A (zh) | 2019-07-22 | 2019-07-22 | 渲染图像的方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110347265A (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111190486A (zh) * | 2019-12-27 | 2020-05-22 | 季华实验室 | 一种基于眼睛控制的分区显示方法及装置 |
CN111556305A (zh) * | 2020-05-20 | 2020-08-18 | 京东方科技集团股份有限公司 | 图像处理方法、vr设备、终端、显示系统和计算机可读存储介质 |
CN113485546A (zh) * | 2021-06-29 | 2021-10-08 | 歌尔股份有限公司 | 可穿戴设备的控制方法、可穿戴设备及可读存储介质 |
GB2595872A (en) * | 2020-06-09 | 2021-12-15 | Sony Interactive Entertainment Inc | Gaze tracking apparatus and systems |
WO2022110903A1 (zh) * | 2020-11-25 | 2022-06-02 | 上海哔哩哔哩科技有限公司 | 全景视频渲染方法及系统 |
CN114612461A (zh) * | 2022-03-24 | 2022-06-10 | 数坤(北京)网络科技股份有限公司 | 图像处理方法、装置、存储介质及电子设备 |
WO2022194309A1 (zh) * | 2021-03-15 | 2022-09-22 | 上海交通大学 | 三维点云的传输方法、接收方法、传输装置、接收装置及存储介质 |
CN116755562A (zh) * | 2023-07-04 | 2023-09-15 | 深圳市仙瞬科技有限公司 | 一种避障方法、装置、介质及ar/vr设备 |
WO2023202216A1 (zh) * | 2022-04-19 | 2023-10-26 | 京东方科技集团股份有限公司 | 图像处理方法、装置及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106959759A (zh) * | 2017-03-31 | 2017-07-18 | 联想(北京)有限公司 | 一种数据处理方法及装置 |
US20180090052A1 (en) * | 2016-09-01 | 2018-03-29 | Innovega Inc. | Non-Uniform Resolution, Large Field-of-View Headworn Display |
CN109086726A (zh) * | 2018-08-10 | 2018-12-25 | 陈涛 | 一种基于ar智能眼镜的局部图像识别方法及系统 |
CN109791605A (zh) * | 2016-08-01 | 2019-05-21 | 脸谱科技有限责任公司 | 基于眼睛跟踪信息的图像区域中的自适应参数 |
CN109901290A (zh) * | 2019-04-24 | 2019-06-18 | 京东方科技集团股份有限公司 | 注视区域的确定方法、装置及可穿戴设备 |
-
2019
- 2019-07-22 CN CN201910661403.3A patent/CN110347265A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109791605A (zh) * | 2016-08-01 | 2019-05-21 | 脸谱科技有限责任公司 | 基于眼睛跟踪信息的图像区域中的自适应参数 |
US20180090052A1 (en) * | 2016-09-01 | 2018-03-29 | Innovega Inc. | Non-Uniform Resolution, Large Field-of-View Headworn Display |
CN106959759A (zh) * | 2017-03-31 | 2017-07-18 | 联想(北京)有限公司 | 一种数据处理方法及装置 |
CN109086726A (zh) * | 2018-08-10 | 2018-12-25 | 陈涛 | 一种基于ar智能眼镜的局部图像识别方法及系统 |
CN109901290A (zh) * | 2019-04-24 | 2019-06-18 | 京东方科技集团股份有限公司 | 注视区域的确定方法、装置及可穿戴设备 |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111190486A (zh) * | 2019-12-27 | 2020-05-22 | 季华实验室 | 一种基于眼睛控制的分区显示方法及装置 |
CN111556305A (zh) * | 2020-05-20 | 2020-08-18 | 京东方科技集团股份有限公司 | 图像处理方法、vr设备、终端、显示系统和计算机可读存储介质 |
CN111556305B (zh) * | 2020-05-20 | 2022-04-15 | 京东方科技集团股份有限公司 | 图像处理方法、vr设备、终端、显示系统和计算机可读存储介质 |
US11838494B2 (en) | 2020-05-20 | 2023-12-05 | Beijing Boe Optoelectronics Technology Co., Ltd. | Image processing method, VR device, terminal, display system, and non-transitory computer-readable storage medium |
GB2595872B (en) * | 2020-06-09 | 2023-09-20 | Sony Interactive Entertainment Inc | Gaze tracking apparatus and systems |
GB2595872A (en) * | 2020-06-09 | 2021-12-15 | Sony Interactive Entertainment Inc | Gaze tracking apparatus and systems |
WO2022110903A1 (zh) * | 2020-11-25 | 2022-06-02 | 上海哔哩哔哩科技有限公司 | 全景视频渲染方法及系统 |
WO2022194309A1 (zh) * | 2021-03-15 | 2022-09-22 | 上海交通大学 | 三维点云的传输方法、接收方法、传输装置、接收装置及存储介质 |
CN113485546A (zh) * | 2021-06-29 | 2021-10-08 | 歌尔股份有限公司 | 可穿戴设备的控制方法、可穿戴设备及可读存储介质 |
WO2023274103A1 (zh) * | 2021-06-29 | 2023-01-05 | 歌尔股份有限公司 | 可穿戴设备的控制方法、可穿戴设备及可读存储介质 |
CN114612461A (zh) * | 2022-03-24 | 2022-06-10 | 数坤(北京)网络科技股份有限公司 | 图像处理方法、装置、存储介质及电子设备 |
WO2023202216A1 (zh) * | 2022-04-19 | 2023-10-26 | 京东方科技集团股份有限公司 | 图像处理方法、装置及存储介质 |
CN116755562A (zh) * | 2023-07-04 | 2023-09-15 | 深圳市仙瞬科技有限公司 | 一种避障方法、装置、介质及ar/vr设备 |
CN116755562B (zh) * | 2023-07-04 | 2024-04-05 | 深圳市仙瞬科技有限公司 | 一种避障方法、装置、介质及ar/vr设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110347265A (zh) | 渲染图像的方法及装置 | |
US11836289B2 (en) | Use of eye tracking to adjust region-of-interest (ROI) for compressing images for transmission | |
US10739849B2 (en) | Selective peripheral vision filtering in a foveated rendering system | |
US10775886B2 (en) | Reducing rendering computation and power consumption by detecting saccades and blinks | |
CN104793741A (zh) | 带眼球跟踪虚拟现实成像系统和方法 | |
CN110378914A (zh) | 基于注视点信息的渲染方法及装置、系统、显示设备 | |
CN111556305B (zh) | 图像处理方法、vr设备、终端、显示系统和计算机可读存储介质 | |
CN106959759A (zh) | 一种数据处理方法及装置 | |
EP3745944B1 (en) | Image adjustment for an eye tracking system | |
CN108124150B (zh) | 虚拟现实头戴显示设备及通过其观察真实场景的方法 | |
CN105425399B (zh) | 一种根据人眼视觉特点的头戴设备用户界面呈现方法 | |
WO2021042504A1 (zh) | 一种基于虚拟现实技术的视网膜检测系统 | |
CN107422844A (zh) | 一种信息处理方法及电子设备 | |
CN110269586B (zh) | 用于捕获具有暗点的人的视野的设备和方法 | |
CN112099622B (zh) | 一种视线追踪方法及装置 | |
JP2010237884A (ja) | 表示制御装置、表示制御方法、表示制御プログラム | |
CN113960788B (zh) | 图像显示方法、装置、ar眼镜及存储介质 | |
CN107690067B (zh) | 头戴式显示设备帧率的检测方法及装置 | |
JPH1173273A (ja) | 肢体不自由者用入力装置 | |
JPH11282617A (ja) | 視線入力装置 | |
JP3328098B2 (ja) | 眼光学系のシミュレーション装置 | |
US20240197168A1 (en) | Visual Field Test in a VR Headset | |
CN114758404A (zh) | 人眼感兴趣区域定位系统 | |
CN112149453A (zh) | 眼球追踪的校准方法、装置及系统 | |
CN117289793A (zh) | 可佩戴系统的光学视线跟踪的系统和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |