CN109766011A - 一种图像渲染方法和装置 - Google Patents

一种图像渲染方法和装置 Download PDF

Info

Publication number
CN109766011A
CN109766011A CN201910041747.4A CN201910041747A CN109766011A CN 109766011 A CN109766011 A CN 109766011A CN 201910041747 A CN201910041747 A CN 201910041747A CN 109766011 A CN109766011 A CN 109766011A
Authority
CN
China
Prior art keywords
subregion
view
rendering
blinkpunkt
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910041747.4A
Other languages
English (en)
Inventor
黄通兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing 7Invensun Technology Co Ltd
Beijing Qixin Yiwei Information Technology Co Ltd
Original Assignee
Beijing Qixin Yiwei Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qixin Yiwei Information Technology Co Ltd filed Critical Beijing Qixin Yiwei Information Technology Co Ltd
Priority to CN201910041747.4A priority Critical patent/CN109766011A/zh
Publication of CN109766011A publication Critical patent/CN109766011A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

本发明涉及图像处理技术领域,具体而言,涉及一种图像渲染方法和装置。图像渲染方法包括:实时获取用户眼睛在看向显示屏幕时的注视点的视图投射点坐标;根据所述注视点的视图投射点坐标,按照预设的分区规则,从内到外将预备要显示的视图划分为至少两个分区,并确定每一个分区的面积;按照所述分区所对应的渲染分辨率,对所述分区的视图进行渲染;其中,所述分区的分辨率由内到外依次递减。该方法及装置使得眼睛关注(即中央凹视野)的区域内,图像的分辨率高,而眼睛没有关注(周边视野)的区域内,图像的分辨率低,在不影响用户感受,或者在提高用户感受的前提下,节省GPU资源,实现了对图像更加合理的渲染。

Description

一种图像渲染方法和装置
技术领域
本发明涉及图像处理技术领域,具体而言,涉及一种图像渲染方法和装置。
背景技术
目前的计算机技术中,图像在呈现的时候均是全屏幕全分辨率渲染,尤其是在一些需要实时更新画面的应用中,例如大型游戏、VR场景,图像刷新率要求高,图像渲染的清晰度越高,所耗费的GPU(Graphic Processing Unit,图形处理器)资源也成倍的增长。
例如在使用VR(Virtual Reality,虚拟现实)头显时,要保证用户不会出现眩晕状态,图像的刷新率就要达到90Hz以上,同时,画面还要达到至少8K乃至11K的分辨率。而目前市场上的VR设备的分辨率大多数都是2K,刷新率普遍可以达到90Hz至120Hz。而PC级VR头显对电脑显卡的需求已经接近目前技术所能够达到的顶级显卡,即使是这种显卡,应用在VR眼镜中的时候,VR眼镜所显示的画面看起来还是有比较明显的颗粒感,用户感受明显会受到影响。
因此,怎样能够在节省GPU资源的情况下,实现对图像更合理的渲染,以提高用户的感受成为目前亟待解决的问题。
发明内容
有鉴于此,本发明实施例的目的在于提供一种图像渲染方法和装置。能够在节省GPU资源的情况下,实现对图像更加合理的渲染,提高用户感受。
第一方面,本发明实施例提供了一种图像渲染方法,包括:
实时获取用户眼睛在看向显示屏幕时的注视点的视图投射点坐标;
根据所述注视点的视图投射点坐标,按照预设的分区规则,从内到外将预备要显示的视图划分为至少两个分区,并确定每一个分区的面积;
按照所述分区所对应的渲染分辨率,对所述分区的视图进行渲染;其中,所述分区的分辨率由内到外依次递减;
其中,至少两个所述分区在进行渲染时使用同一个预处理过程。
结合第一方面,本发明实施例提供了第一方面的第一种可能的实施方式,其中:所述实时获取用户眼睛在看向显示屏幕时的注视点的视图投射点坐标具体包括:
以毫秒级的时间间隔实时获取用户的眼部图像;
从所述眼部图像中提取眼部特征信息,并根据所述眼部特征信息、预先获得的校准数据,计算所述注视点的坐标;
根据实时获取的视图景深和所述注视点的坐标,将所述注视点投射到视图中的接触面,计算所述注视点的视图投射点坐标。
结合第一方面,本发明实施例提供了第一方面的第二种可能的实施方式,其中:所述根据所述注视点的视图投射点坐标,按照预设的分区规则,从内到外将预备要显示的视图划分为至少两个分区,并确定每一个分区的面积,具体包括:
以视图投射点为基准点,以接触面为平面,按照预设的分区规则,计算每个分区的渲染面积;
根据每个分区的所述渲染面积,从内到外将预备要显示的视图划分为至少两个分区。
结合第一方面,本发明实施例提供了第一方面的第三种可能的实施方式,其中:所述预设的分区规则包括:
将以取景器与视图投射点的连线为轴,预设角度的第一视角在所述接触面上投影所得区域作为第一分区;
将以取景器与视图投射点的连线为轴,预设角度的第二视角以及预设角度的第一视角之间在所述接触面上投影所得区域作为第二分区;
将视图的其它区域作为第三分区;
其中,所述第一分区在渲染时的分辨率高于或者等于第二分区,所述第二分区在渲染时的分辨率高于所述第三分区。
结合第一方面,本发明实施例提供了第一方面的第四种可能的实施方式,其中:所述按照所述分区所对应的渲染分辨率,对所述分区的视图进行渲染具体包括:
将所述视图从分区的位置切分开,并按照每一个分区所对应的分辨率,针对切分开的不同分区分别进行渲染;
或者,对视图整体进行低分辨率的渲染,并对位于内部的分区进行高分辨率的渲染。
第二方面,本发明实施例还提供一种图像渲染装置,包括:
视图投射点坐标获取单元,用于实时获取用户眼睛在看向显示屏幕时的注视点的视图投射点坐标;
分区单元,用于根据所述注视点的视图投射点坐标,按照预设的分区规则,从内到外将预备要显示的视图划分为至少两个分区,并确定每一个分区的面积;
渲染单元,用于按照所述分区所对应的渲染分辨率,对所述分区的视图进行渲染;其中,所述分区的分辨率由内到外依次递减;
其中,至少两个所述分区在进行渲染时使用同一个预处理过程。
结合第二方面,本发明实施例提供了第二方面的第一种可能的实施方式,其中:所述视图投射点坐标获取单元具体包括:
眼部图像获取模块,用于以毫秒级的时间间隔实时获取用户的眼部图像;
注视点坐标计算模块,从所述眼部图像中提取眼部特征信息,并根据所述眼部特征信息以及预先获得的校准数据,计算所述注视点的坐标;
视图投射点坐标计算模块,用于根据实时获取的视图景深和所述注视点的坐标,将所述注视点投射到视图中的接触面,计算注视点的视图投射点坐标。
结合第二方面,本发明实施例提供了第二方面的第二种可能的实施方式,其中:所述分区单元具体包括:
渲染面积计算模块,用于以视图投射点为基准点,以接触面为平面,按照预设的分区规则,计算每个分区的渲染面积;
分区模块,用于根据每个分区的所述渲染面积,从内到外将预备要显示的视图划分为至少两个分区。
结合第二方面,本发明实施例提供了第二方面的第三种可能的实施方式,其中:所述预设的分区规则包括:
将以取景器与视图投射点的连线为轴,预设角度的第一视角在所述接触面上投影所得区域作为第一分区;
将以取景器与视图投射点的连线为轴,预设角度的第二视角以及预设角度的第一视角之间在所述接触面上投影所得区域作为第二分区;
将视图的其它区域作为第三分区;
其中,所述第一分区在渲染时的分辨率高于或者等于第二分区,所述第二分区在渲染时的分辨率高于所述第三分区。
结合第二方面,本发明实施例提供了第二方面的第二种可能的实施方式,其中:
所述渲染单元具体包括:
视图切分模块,用于将所述视图从分区的位置切分开
分区渲染模块,用于按照每一个分区所对应的分辨率,针对切分开的不同分区分别进行渲染;
或者,
所述渲染单元包括:
低分辨率渲染模块,用于对视图整体进行低分辨率的渲染;
高分辨率渲染模块,用于对位于内部的分区进行高分辨率的渲染。
本发明实施例所提供的图像渲染方法和装置,在实时获取眼睛看向显示屏幕时的注视点的视图投射点坐标以后,根据注视点的视图投射点坐标以及预设的分区规则,对预备要显示的视图进行由内到外的分区,并确定每一个分区的面积;在分区后,对分区的视图进行渲染的时候,不同分区的渲染分辨率不一样,位于内部的分区的分辨率高于其他分区的分辨率,这就使得眼睛关注(即中央凹视野)的区域内,图像的分辨率高,而眼睛没有关注(周边视野)的区域内,图像的分辨率低,在不影响用户感受,或者在提高用户感受的前提下,节省GPU资源,实现了对图像更加合理的渲染。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本发明实施例所提供的一种图像渲染方法的流程图;
图2示出了本发明实施例所提供的图像渲染方法中,实时获取眼睛在看相显示屏幕时的注视点的坐标具体方法的流程图;
图3示出了本发明实施例所提供的图像渲染方法中,对视图进行分区的具体方法的流程图;
图4示出了本发明实施例所提供的图像渲染方法中,一种分区规则的示意图;
图5示出了本发明实施例所提供的一种图像渲染装置的结构示意图;
图6示出了本发明实施例所提供的图像渲染装置中,注视点坐标获取单元的具体结构示意图;
图7示出了本发明实施例所提供的图像渲染装置中,分区单元的具体结构示意图;
图8示出了本发明实施例所提供的图像渲染装置中,渲染单元的具体结构示意图;
图9示出了本发明实施例所提供的图像渲染装置中,另一种渲染单元的具体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
目前计算机技术中,图像在呈现的时候,采用的是全屏幕全分辨率渲染。在图像渲染的时候,分辨率越高,所耗费的GPU资源多,导致GPU资源无法满足用户需求。
基于此,本发明实施例提供一种图像渲染方法和装置,能够实现对图像分区域的不同分辨率的渲染,能够对图像进行更加合理的渲染,提高客户感受的同时,节省GPU资源。
本发明实施例所提供的图像渲染方法和装置,采用图像采集设备采集使用者眼睛图像,分析提取眼部图像中的眼部特征信息通过上述眼部特征与校准数据计算估计视线方向或者视线落点,进而根据视线落点对屏幕所显示的图像进行分区,针对不同的二分区进行不同分辨率的渲染,可以用在多种显示设备,例如计算机显示器、VR头显、VR眼镜中。
为便于对本发明实施例进行理解,首先对本发明实施例所公开的一种图像渲染方法进行详细介绍,参见图1所示,本发明实施例所提供的图像渲染方法包括:
S101:实时获取用户眼睛在看向显示屏幕时的注视点的视图投射点坐标。
在具体实现的时候,当使用者眼睛注视显示屏幕的时候,图像采集设备采集使用者眼睛图像,根据用户眼睛注视显示屏幕的校准数据,与从眼部图像中提取的眼部特征信息进行计算,获得用户眼睛在看向显示屏幕时的注视点的坐标。
上述校准数据是根据用户注视显示屏幕上的一组或多组特定的校准点位时的眼部特征信息与注视点位的坐标计算得出的用户个体特征数据。上述校准数据可以预先存储下来方便直接使用,或者可以在使用者眼睛注视显示屏幕的时候,先获取校准数据再使用。
其中,上述校准点位可以是显示屏的四个角及中心显示的五个使用者的注视点位,也可以是显示屏上的四个角、四条边的中心及显示屏的中心显示的九个注视点位,当然,上述校准点位还可以是显示屏上其它位置的注视点位,上述一组校准点位的个数及位置可以根据实际应用场景进行设置。
需要注意的是,当视图是平面显示的时候,注视点的坐标即为视图投射点的坐标;当视图是三维显示的时候,那么就要考虑视图景深对视图投射点坐标的影响。
参见图2所示,本发明实施例还提供一种当视图是三维显示的时候,实时获取眼睛在看向显示屏幕是的注视点的视图投射点坐标的具体方法,该方法具体包括:
S201:以毫秒级的时间间隔实时获取用户的眼部图像;
在具体实现的时候,由于在很多情况下,图像的刷新率要求都比较高,例如目前的VR设备的刷新率普遍要达到90HZ,即每秒要刷新90张图像,为了能够更好的对实现对图像的渲染,那么对图像处理的总的时间要比图像显示以及刷新的时间更短,因此需要以毫秒级实时获取用户的眼部图像。
用户眼部图像的获取可以使用专用的图像采集设备,也可以直接增加传感器模组以更好的获取眼部图形。
S202:从所述眼部图像中提取眼部特征信息,并根据所述眼部特征信息以及预先获得的校准数据,计算所述注视点的坐标。
本发明实施例仅提供一种计算注视点坐标的实例,需要注意的是,采用其他的方式同样可以计算出注视点的坐标,该实例采用瞳孔位置、瞳孔半径和普尔钦斑位置信息计算注视点的坐标。
由于用户在看向不同注视点位时,眼睛的视轴和光轴的夹角是不变的,因此,可以将视轴和光轴的夹角这一个数据作为上述用户的校准数据,将瞳孔位置、瞳孔半径和角膜反射所形成的普尔钦斑等作为提取的用户的眼部特征信息。根据校准数据和眼部特征信息可以实时获取眼睛在看向显示屏幕时的注视点的坐标。
在获取了瞳孔位置、瞳孔半径和普尔钦斑等等眼部特征信息之后,与视轴和光轴的夹角等校准数据计算,计算出注视点的坐标。
上述视轴和光轴的夹角等校准数据可以是已经预先存储下来的,如果没有预先存储校准数据,那么可以在使用者眼睛注视显示屏幕的时候,先获取校准数据再使用。
其中,校准数据的获取过程包括:按照时间先后顺序在显示屏上连续生成校准点位,每次显示一个校准点位,获取用户眼睛注视校准点位时的校准眼部图像,从采集的校准眼部图像中提取出用户的眼部特征信息,包括但不限于用户的瞳孔中心位置、瞳孔半径大小和普尔钦斑等信息。根据用户注视一组或多组校准点位时的眼部特征信息及校准点位信息进行计算,获得用户的视轴和光轴的夹角等校准数据,并将该用户的校准数据存储。
另外,需要注意的是,还可以使用其他的方法计算注视点的坐标。例如采用事先建立的眼动模型计算,或者使用其它眼部特征信息进行计算,而采用根据不同的注视点计算方法,获取的眼部特征及校准数据也不同,或者也可以不需校准而直接根据从眼部图像中提取的眼部特征信息计算注视点。
S203:根据实时获取的视图景深和所述注视点的坐标,将所述注视点投射到视图中的接触面,获取注视点的视图投射点坐标。
在具体实现的时候,眼睛看向视图中的物体的表面,将该表面平面化后,所形成的面即为接触面。一般地,如果景深为0,则认为显示屏幕所在的平面即为接触面,图像投射点即为注视点,视图投射点的坐标即为注视点的坐标;如果景深不为0,则认为注视点在图像场景中的落点即视图投射点所在的面为接触面。
而视图景深则是可以直接从相关显示数据中获得。视图景深是取景器到视图投射点的距离。其中,上述取景器是摄像机或虚拟摄像机,是向用户捕获和显示世界的设备,是以用户的视角呈现展示图像场景。通过自定义和操纵摄像机,可以使图像场景表现得真正独特。在场景中摄像机的数量不受限制,并且可以以任何顺序设定放置在屏幕上的任何地方,或在屏幕的某些部分。上述视图投射点是用户眼睛在看向显示屏幕时的注视点在图像场景中的落点。例如VR头显向用户显示的三维虚拟场景,视图景深数据能够从显卡中直接获取。
S102:根据所述注视点的视图投射点坐标,按照预设的分区规则,从内到外将预备要显示的视图划分为至少两个分区,并确定每一个分区的面积。
在具体实现的时候,当获取了注视点的坐标以及景深之后,要按照预设的分区规则对预备要显示的视图进行分区。
参见图3所示,本发明实施例还提供一种具体的分区方法,包括:
S301:以视图投射点为基准点,以接触面为平面,按照预设的分区规则,计算每个分区的渲染面积。
S302:根据每个分区的所述渲染面积,对视图进行分区。
在具体实现的时候,参见图4所示,预设的分区规则一般包括:从取景器出发,将以取景器与视图投射点的连线为轴11,预设角度的第一视角在接触面上投影所得区域作为第一分区12;
将以取景器与视图投射点的连线为轴11,预设角度的第二视角以及预设角度的第一视角之间在所述接触面上投影所得区域作为第二分区13;
将视图的其他区域作为第三分区14;
其中,所述第一分区在渲染时的分辨率高于或者等于第二分区,所述第二分区在渲染时的分辨率高于所述第三分区;
一般地,人的注视分为中央凹视野、副中央凹视野以及周边视野。中央凹视野只覆盖人类视觉的1°-2°(即眼睛视轴的1°-2°视角范围内),副中央凹区域只覆盖人类视觉的2°-5°,周边视野覆盖人类视觉的6°-160°。眼睛只有看中央凹视野区域是完全清晰的,周边视野实际是模糊的,而“注视点”实际就是中央凹视野区域那一部分,人类通过转动眼球调整自己的注视点,大多数情况主观上根本意识不到存在视觉模糊区域的存在。
因此,在本发明实施例中,可以将第一视角的预设角度设置为1°-2°,而将第二视角的预设角度设置为5°~6°。其中第一视角在接触面上的投影作为第一区域,而第二视角在接触面上的投影在去除第一分区后所剩下的部分作为第二分区,显示屏幕其他的部分作为第三分区。在真正实现的时候,可以将第一分区以及第二分区分别进行渲染,其中,第一分区的分辨率高于第二分区的分辨率;另外由于第一分区的面积通常是比较小的,为了使得眼睛在看向显示屏幕的时候,具有更好的视觉感受,可以将第一分区和第二分区作为同一个区域来看待,即在进行分区的时候,就将两个分区划分为同一个分区,第一区域在渲染时的分辨率和第二区域的分辨率是相同的;第三区域在渲染的时候可以进行较低分辨率的渲染。
另外,为了进一步的使得用户在看向视图的时候感受度更好,第一视角的预设角度以及第二视角的预设角度还可以根据实际的需要进行调整,例如,可以将第一视角的预设角度设置为2°-4°,而将第二视角的预设角度设置为4°-10°等,第一视角、第二视角的预设角度的设定,可以根据具体的GPU来进行,例如,如果GPU的处理能力较强,可以将第一视角的预设角度设置为比较大,而如果GPU的处理能力较弱,那么可以将第一视角的预设角度设置为较小。
一般地,为了方便进行计算,可以将接触面认为是一个垂直于取景器与视图投射点的连线的面。第一分区是一个以视图投射点为圆心的圆形。第二分区是一个以视图投射点为圆心的环。另外,为了控制分区的精度,还可以根据眼睛在横向位置和纵向位置的不同的视角,计算分区的面积,并将第一分区设置为一个椭圆形,第二分区是相应的椭圆环,或者根据视图投射点所落入的虚拟物体的形状,具体计算分区的面积,例如,当虚拟物体的形状为不规则的形状时,所形成的分区的形状也是不规则的形状。另外为了对视图进行分区,并计算渲染面积的方便,还可以直接将分区设置为规则或者不规则的多边形,具体的设置可以根据实际的需要进行,在此不做限定。
需要注意的是,针对同一种分区规则,当景深不为0的时候,根据不同的景深,最终所计算得到的分区的面积是不一样的,景深越大,则第一分区的面积越大,第三分区的面积越小;景深越小,则第一分区的面积越小,第三分区的面积越大。
例如,当某接触面的视图景深为d,渲染的视角为θ,第一分区是一个以视图投射点为圆心的圆形,欲求在该接触面上的渲染半径r,则:
那么第一分区的渲染半径r满足公式:
由圆面积公式S=π×r2,可得渲染面积为:
S=π×(d×tan(θ/2))2
例如,当某接触面的视图景深为d,横向渲染视角为α,纵向渲染视角为β,第一分区是一个以视图投射点为中心的椭圆形,欲求在该接触面上的横向渲染半长轴为a,纵向渲染半短轴为b,则:
tan(α/2)=a/d,tan(β/2)=b/d;
那么第一分区的横向渲染半长轴a满足公式:a=d×tan(α/2),
纵向渲染半短轴b满足公式:b=d×tan(β/2);
由椭圆面积公式S=π×a×b,可得渲染面积为:
S=π×d2×tan(α/2)×tan(β/2)。
S103:按照所述分区所对应的渲染分辨率,对所述分区的视图进行渲染;其中,所述分区的分辨率由内到外依次递减。
在具体实现的时候,在渲染的时候,有几种渲染方式:
1、将所述视图从分区的位置切分开,并按照每一个分区所对应的分辨率,针对切分开的不同分区分别进行渲染;
2、对视图整体进行低分辨率的渲染,并对位于内部的分区进行高分辨率的渲染。
以有两个分区(即第一分区和第二分区合并看作一个分区)为例,为了方便说明,将第一分区和第二分区合称为中间区,第三分区称为外围区:其一、将图像从分区的位置切分开,形成两张视图,属于中间区(或者第一分区以及第二分区的合并)的视图进行高分辨率的渲染,属于外围区(去除了第一分区)进行较低分辨率的渲染,在显示的时候,将中间区以及外围区合成一张视图进行显示。其二、将视图整体进行低分辨率的渲染(不管是中间区还是外围区),同时将中间区进行高分辨率的渲染,在显示的时候,将中间区叠加在整体视图上进行显示。
需要注意的是,至少两个所述分区在进行渲染的时候使用同一个预处理过程,即使用一个GPU对视图进行渲染处理,节省GPU资源以及成本。
本发明实施例所提供的图像渲染方法,在实时获取眼睛看向显示屏幕时的注视点的视图投射点坐标以后,根据注视点的视图投射点坐标以及预设的分区规则,对预备要显示的视图进行由内到外的分区,并确定每一个分区的面积;在分区后,对分区的视图进行渲染的时候,不同分区的渲染分辨率不一样,位于内部的分区的分辨率高于其他分区的分辨率,这就使得眼睛关注(即中央凹视野)的区域内,图像的分辨率高,而眼睛没有关注(周边视野)的区域内,图像的分辨率低,在不影响用户感受,或者在提高用户感受的前提下,节省GPU资源,实现了对图像更加合理的渲染。
需要注意的是,在本发明各个实施例中,由于用户眼睛在看向显示屏幕时的位置是实时变化的,因此在不等的时间采集到的注视点的坐标也是实时变化的,因此,分区会随着注视点坐标的位置变化而变化,最终渲染区域随注视点移动。
本发明又一实施例还提供一种图像渲染装置,参见图5所示,本发明实施例所提供的图像渲染装置包括:
视图投射点坐标获取单元,用于实时获取用户眼睛在看向显示屏幕时的注视点的视图投射点坐标;
分区单元,用于根据所述注视点的视图投射点坐标,按照预设的分区规则,从内到外将预备要显示的视图划分为至少两个分区,并确定每一个分区的面积;
渲染单元,用于按照所述分区所对应的渲染分辨率,对所述分区的视图进行渲染;其中,所述分区的分辨率由内到外依次递减;
其中,至少两个所述分区在进行渲染时使用同一个预处理过程。
本实施例中,视图投射点坐标获取单元、分区单元和渲染单元的具体功能和交互方式,可参见图1对应的实施例的记载,在此不再赘述。
本发明实施例所提供的图像渲染装置,在实时获取眼睛看向显示屏幕时的注视点的视图投射点坐标以后,根据注视点的视图投射点坐标以及预设的分区规则,对预备要显示的视图进行由内到外的分区,并确定每一个分区的面积;在分区后,对分区的视图进行渲染的时候,不同分区的渲染分辨率不一样,位于内部的分区的分辨率高于其他分区的分辨率,这就使得眼睛关注(即中央凹视野)的区域内,图像的分辨率高,而眼睛没有关注(周边视野)的区域内,图像的分辨率低,在不影响用户感受,或者在提高用户感受的前提下,节省GPU资源,实现了对图像更加合理的渲染。
参见图6所示,本发明实施例所提供的图像渲染装置中,所述视图投射点坐标获取单元具体包括:
眼部图像获取模块,用于以毫秒级的时间间隔实时获取用户的眼部图像;
注视点坐标计算模块,从所述眼部图像中提取眼部特征信息,并根据所述眼部特征信息以及预先获得的校准数据,计算所述注视点的坐标;
视图投射点坐标计算模块,用于根据实时获取的视图景深和所述注视点的坐标,将所述注视点投射到视图中的接触面,计算注视点的视图投射点坐标。
本实施例中,眼部图像获取模块、注视点坐标计算模块和视图投射点坐标计算模块的具体功能和交互方式,可参见图2对应的实施例的记载,在此不再赘述。
参见图7所示,在本发明实施例中,所述分区单元具体包括:
渲染面积计算模块,用于以视图投射点为基准点,以接触面为平面,按照预设的分区规则,计算每个分区的渲染面积;
分区模块,用于根据每个分区的所述渲染面积,从内到外将预备要显示的视图划分为至少两个分区。
本实施例中,视图投射点获取模块、渲染面积计算模块和分区模块的具体功能和交互方式,可参见图3和图4对应的实施例的记载,在此不再赘述。
其中,所述预设的分区规则包括:
将以取景器与视图投射点的连线为轴,预设角度的第一视角在所述接触面上投影所得区域作为第一分区;
将以取景器与视图投射点的连线为轴,预设角度的第二视角以及预设角度的第一视角之间在所述接触面上投影所得区域作为第二分区;
将视图的其它区域作为第三分区;
其中,所述第一分区在渲染时的分辨率高于或者等于第二分区,所述第二分区在渲染时的分辨率高于所述第三分区。
另外,参见图8和图9所示,在本发明实施例所提供的图像渲染装置中,所述渲染单元具体包括:
视图切分模块,用于将所述视图从分区的位置切分开
分区渲染模块,用于按照每一个分区所对应的分辨率,针对切分开的不同分区分别进行渲染;
或者,
所述渲染单元包括:
低分辨率渲染模块,用于对视图整体进行低分辨率的渲染;
高分辨率渲染模块,用于对位于内部的分区进行高分辨率的渲染。
本实施例中,视图切分模块、分区渲染模块的具体功能和交互方式,以及,低分辨率渲染模块和高分辨率渲染模块的具体功能和交互方式可参见图1中S103对应的记载,在此不再赘述。
本发明实施例所提供的图像渲染方法和装置的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行前面方法实施例中所述的方法,具体实现可参见方法实施例,在此不再赘述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种图像渲染方法,其特征在于,包括:
实时获取用户眼睛在看向显示屏幕时的注视点的视图投射点坐标;
根据所述注视点的视图投射点坐标,按照预设的分区规则,从内到外将预备要显示的视图划分为至少两个分区,并确定每一个分区的面积;
按照所述分区所对应的渲染分辨率,对所述分区的视图进行渲染;其中,所述分区的分辨率由内到外依次递减;
其中,至少两个所述分区在进行渲染时使用同一个预处理过程。
2.根据权利要求1所述的图像渲染方法,其特征在于,所述实时获取用户眼睛在看向显示屏幕时的注视点的视图投射点坐标具体包括:
以毫秒级的时间间隔实时获取用户的眼部图像;
从所述眼部图像中提取眼部特征信息,并根据所述眼部特征信息以及预先获得的校准数据,计算所述注视点的坐标;
根据实时获取的视图景深和所述注视点的坐标,将所述注视点投射到视图中的接触面,计算所述注视点的视图投射点坐标。
3.根据权利要求2所述的图像渲染方法,其特征在于,所述根据所述注视点的视图投射点坐标,按照预设的分区规则,从内到外将预备要显示的视图划分为至少两个分区,并确定每一个分区的面积,具体包括:
以视图投射点为基准点,以接触面为平面,按照预设的分区规则,计算每个分区的渲染面积;
根据每个分区的所述渲染面积,从内到外将预备要显示的视图划分为至少两个分区。
4.根据权利要求3所述的图像渲染方法,其特征在于,所述预设的分区规则包括:
将以取景器与视图投射点的连线为轴,预设角度的第一视角在所述接触面上投影所得区域作为第一分区;
将以取景器与视图投射点的连线为轴,预设角度的第二视角以及预设角度的第一视角之间在所述接触面上投影所得区域作为第二分区;
将视图的其它区域作为第三分区;
其中,所述第一分区在渲染时的分辨率高于或者等于第二分区,所述第二分区在渲染时的分辨率高于所述第三分区。
5.根据权利要求1-4任意一项所述的方法,其特征在于,所述按照所述分区所对应的渲染分辨率,对所述分区的视图进行渲染具体包括:
将所述视图从分区的位置切分开,并按照每一个分区所对应的分辨率,针对切分开的不同分区分别进行渲染;
或者,对视图整体进行低分辨率的渲染,并对位于内部的分区进行高分辨率的渲染。
6.一种图像渲染装置,其特征在于,包括:
视图投射点坐标获取单元,用于实时获取用户眼睛在看向显示屏幕时的注视点的视图投射点坐标;
分区单元,用于根据所述注视点的视图投射点坐标,按照预设的分区规则,从内到外将预备要显示的视图划分为至少两个分区,并确定每一个分区的面积;
渲染单元,用于按照所述分区所对应的渲染分辨率,对所述分区的视图进行渲染;其中,所述分区的分辨率由内到外依次递减;
其中,至少两个所述分区在进行渲染时使用同一个预处理过程。
7.根据权利要求6所述的图像渲染装置,其特征在于,所述视图投射点坐标获取单元具体包括:
眼部图像获取模块,用于以毫秒级的时间间隔实时获取用户的眼部图像;
注视点坐标计算模块,从所述眼部图像中提取眼部特征信息,并根据所述眼部特征信息以及预先获得的校准数据,计算所述注视点的坐标;
视图投射点坐标计算模块,用于根据实时获取的视图景深和所述注视点的坐标,将所述注视点投射到视图中的接触面,计算注视点的视图投射点坐标。
8.根据权利要求7所述的图像渲染装置,其特征在于,所述分区单元具体包括:
渲染面积计算模块,用于以视图投射点为基准点,以接触面为平面,按照预设的分区规则,计算每个分区的渲染面积;
分区模块,用于根据每个分区的所述渲染面积,从内到外将预备要显示的视图划分为至少两个分区。
9.根据权利要求8所述的图像渲染装置,其特征在于,所述预设的分区规则包括:
将以取景器与视图投射点的连线为轴,预设角度的第一视角在所述接触面上投影所得区域作为第一分区;
将以取景器与视图投射点的连线为轴,预设角度的第二视角以及预设角度的第一视角之间在所述接触面上投影所得区域作为第二分区;
将视图的其它区域作为第三分区;
其中,所述第一分区在渲染时的分辨率高于或者等于第二分区,所述第二分区在渲染时的分辨率高于所述第三分区。
10.根据权利要求6-9任意一项所述的装置,其特征在于,所述渲染单元具体包括:
视图切分模块,用于将所述视图从分区的位置切分开
分区渲染模块,用于按照每一个分区所对应的分辨率,针对切分开的不同分区分别进行渲染;
或者,
所述渲染单元包括:
低分辨率渲染模块,用于对视图整体进行低分辨率的渲染;
高分辨率渲染模块,用于对位于内部的分区进行高分辨率的渲染。
CN201910041747.4A 2019-01-16 2019-01-16 一种图像渲染方法和装置 Pending CN109766011A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910041747.4A CN109766011A (zh) 2019-01-16 2019-01-16 一种图像渲染方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910041747.4A CN109766011A (zh) 2019-01-16 2019-01-16 一种图像渲染方法和装置

Publications (1)

Publication Number Publication Date
CN109766011A true CN109766011A (zh) 2019-05-17

Family

ID=66452498

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910041747.4A Pending CN109766011A (zh) 2019-01-16 2019-01-16 一种图像渲染方法和装置

Country Status (1)

Country Link
CN (1) CN109766011A (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110378914A (zh) * 2019-07-22 2019-10-25 北京七鑫易维信息技术有限公司 基于注视点信息的渲染方法及装置、系统、显示设备
CN111131805A (zh) * 2019-12-31 2020-05-08 歌尔股份有限公司 图像处理方法、装置和可读存储介质
CN111190486A (zh) * 2019-12-27 2020-05-22 季华实验室 一种基于眼睛控制的分区显示方法及装置
CN111556305A (zh) * 2020-05-20 2020-08-18 京东方科技集团股份有限公司 图像处理方法、vr设备、终端、显示系统和计算机可读存储介质
CN112017110A (zh) * 2020-08-26 2020-12-01 广州拓想家科技有限公司 一种图像多面透视调节方法及系统
CN112367300A (zh) * 2020-10-19 2021-02-12 珠海格力电器股份有限公司 一种大型游戏应用的识别方法以及装置
CN112468796A (zh) * 2020-11-23 2021-03-09 平安科技(深圳)有限公司 注视点生成方法、系统及设备
CN113473210A (zh) * 2021-07-15 2021-10-01 北京京东方光电科技有限公司 显示方法、设备和存储介质
CN113485546A (zh) * 2021-06-29 2021-10-08 歌尔股份有限公司 可穿戴设备的控制方法、可穿戴设备及可读存储介质
WO2022007247A1 (zh) * 2020-07-10 2022-01-13 歌尔股份有限公司 头戴式设备及其渲染方法、存储介质
CN114339134A (zh) * 2022-03-15 2022-04-12 中瑞云软件(深圳)有限公司 基于互联网和vr技术的远程在线会议系统
CN114450942A (zh) * 2019-09-30 2022-05-06 京瓷株式会社 摄像机、平视显示器系统以及移动体
WO2022110903A1 (zh) * 2020-11-25 2022-06-02 上海哔哩哔哩科技有限公司 全景视频渲染方法及系统
CN114900731A (zh) * 2022-03-31 2022-08-12 咪咕文化科技有限公司 视频清晰度切换方法及装置
CN114972608A (zh) * 2022-07-29 2022-08-30 成都航空职业技术学院 一种渲染动漫人物的方法
CN115942049A (zh) * 2022-08-26 2023-04-07 北京博雅睿视科技有限公司 一种面向vr视频的视角切换方法、装置、设备及介质
WO2023202216A1 (zh) * 2022-04-19 2023-10-26 京东方科技集团股份有限公司 图像处理方法、装置及存储介质
CN117392298A (zh) * 2023-10-18 2024-01-12 亿海蓝(北京)数据技术股份公司 基于WebGIS平台的图像渲染方法、系统、存储介质和电子设备
CN117392298B (zh) * 2023-10-18 2024-05-14 亿海蓝(北京)数据技术股份公司 基于WebGIS平台的图像渲染方法、系统、存储介质和电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106570923A (zh) * 2016-09-27 2017-04-19 乐视控股(北京)有限公司 一种画面渲染方法及装置
CN107095120A (zh) * 2016-02-23 2017-08-29 美的集团股份有限公司 烹饪方法及装置
CN107516335A (zh) * 2017-08-14 2017-12-26 歌尔股份有限公司 虚拟现实的图形渲染方法和装置
CN108828779A (zh) * 2018-08-28 2018-11-16 北京七鑫易维信息技术有限公司 一种头戴式显示设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107095120A (zh) * 2016-02-23 2017-08-29 美的集团股份有限公司 烹饪方法及装置
CN106570923A (zh) * 2016-09-27 2017-04-19 乐视控股(北京)有限公司 一种画面渲染方法及装置
CN107516335A (zh) * 2017-08-14 2017-12-26 歌尔股份有限公司 虚拟现实的图形渲染方法和装置
CN108828779A (zh) * 2018-08-28 2018-11-16 北京七鑫易维信息技术有限公司 一种头戴式显示设备

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110378914A (zh) * 2019-07-22 2019-10-25 北京七鑫易维信息技术有限公司 基于注视点信息的渲染方法及装置、系统、显示设备
CN114450942A (zh) * 2019-09-30 2022-05-06 京瓷株式会社 摄像机、平视显示器系统以及移动体
CN111190486A (zh) * 2019-12-27 2020-05-22 季华实验室 一种基于眼睛控制的分区显示方法及装置
CN111131805A (zh) * 2019-12-31 2020-05-08 歌尔股份有限公司 图像处理方法、装置和可读存储介质
CN111556305A (zh) * 2020-05-20 2020-08-18 京东方科技集团股份有限公司 图像处理方法、vr设备、终端、显示系统和计算机可读存储介质
US11838494B2 (en) 2020-05-20 2023-12-05 Beijing Boe Optoelectronics Technology Co., Ltd. Image processing method, VR device, terminal, display system, and non-transitory computer-readable storage medium
CN111556305B (zh) * 2020-05-20 2022-04-15 京东方科技集团股份有限公司 图像处理方法、vr设备、终端、显示系统和计算机可读存储介质
WO2022007247A1 (zh) * 2020-07-10 2022-01-13 歌尔股份有限公司 头戴式设备及其渲染方法、存储介质
CN112017110A (zh) * 2020-08-26 2020-12-01 广州拓想家科技有限公司 一种图像多面透视调节方法及系统
CN112367300A (zh) * 2020-10-19 2021-02-12 珠海格力电器股份有限公司 一种大型游戏应用的识别方法以及装置
CN112468796A (zh) * 2020-11-23 2021-03-09 平安科技(深圳)有限公司 注视点生成方法、系统及设备
CN112468796B (zh) * 2020-11-23 2022-04-29 平安科技(深圳)有限公司 注视点生成方法、系统及设备
WO2021180241A1 (zh) * 2020-11-23 2021-09-16 平安科技(深圳)有限公司 注视点生成方法、系统及设备
WO2022110903A1 (zh) * 2020-11-25 2022-06-02 上海哔哩哔哩科技有限公司 全景视频渲染方法及系统
CN113485546A (zh) * 2021-06-29 2021-10-08 歌尔股份有限公司 可穿戴设备的控制方法、可穿戴设备及可读存储介质
WO2023274103A1 (zh) * 2021-06-29 2023-01-05 歌尔股份有限公司 可穿戴设备的控制方法、可穿戴设备及可读存储介质
CN113473210A (zh) * 2021-07-15 2021-10-01 北京京东方光电科技有限公司 显示方法、设备和存储介质
CN114339134A (zh) * 2022-03-15 2022-04-12 中瑞云软件(深圳)有限公司 基于互联网和vr技术的远程在线会议系统
CN114900731A (zh) * 2022-03-31 2022-08-12 咪咕文化科技有限公司 视频清晰度切换方法及装置
CN114900731B (zh) * 2022-03-31 2024-04-09 咪咕文化科技有限公司 视频清晰度切换方法及装置
WO2023202216A1 (zh) * 2022-04-19 2023-10-26 京东方科技集团股份有限公司 图像处理方法、装置及存储介质
CN114972608A (zh) * 2022-07-29 2022-08-30 成都航空职业技术学院 一种渲染动漫人物的方法
CN114972608B (zh) * 2022-07-29 2022-11-08 成都航空职业技术学院 一种渲染动漫人物的方法
CN115942049A (zh) * 2022-08-26 2023-04-07 北京博雅睿视科技有限公司 一种面向vr视频的视角切换方法、装置、设备及介质
CN117392298A (zh) * 2023-10-18 2024-01-12 亿海蓝(北京)数据技术股份公司 基于WebGIS平台的图像渲染方法、系统、存储介质和电子设备
CN117392298B (zh) * 2023-10-18 2024-05-14 亿海蓝(北京)数据技术股份公司 基于WebGIS平台的图像渲染方法、系统、存储介质和电子设备

Similar Documents

Publication Publication Date Title
CN109766011A (zh) 一种图像渲染方法和装置
Upenik et al. A simple method to obtain visual attention data in head mounted virtual reality
US11287884B2 (en) Eye tracking to adjust region-of-interest (ROI) for compressing images for transmission
US10775886B2 (en) Reducing rendering computation and power consumption by detecting saccades and blinks
US10739849B2 (en) Selective peripheral vision filtering in a foveated rendering system
US10720128B2 (en) Real-time user adaptive foveated rendering
CN106959759B (zh) 一种数据处理方法及装置
Berger et al. Simulating believable forward accelerations on a Stewart motion platform
CN110378914A (zh) 基于注视点信息的渲染方法及装置、系统、显示设备
WO2019062056A1 (zh) 一种智能投影方法、系统及智能终端
CN109491508B (zh) 一种确定注视对象的方法和装置
CN106598252A (zh) 一种图像显示调节方法、装置、存储介质及电子设备
EP3745944B1 (en) Image adjustment for an eye tracking system
CN107590859A (zh) 一种混合现实画面处理方法及服务设备
KR102656801B1 (ko) 가상 현실 컨텐츠에 대한 멀미 유발 요소 분석 방법 및 이를 위한 장치
CN111880654A (zh) 一种图像显示方法、装置、穿戴设备及存储介质
JP2023515205A (ja) 表示方法、装置、端末機器及びコンピュータプログラム
CN109087260A (zh) 一种图像处理方法及装置
CN104052981A (zh) 一种信息处理方法及电子设备
Fantoni et al. Misperception of rigidity from actively generated optic flow
KR100651104B1 (ko) 시선기반 컴퓨터 인터페이스 장치 및 방법
Ueoka et al. Study of wearable computer for subjective visual recording
CN110910482A (zh) 视频数据组织调度的方法、系统及可读存储介质
Christman Hemispheric asymmetries in categorical judgments of direction versus coordinate judgments of velocity of motion
CN115686219A (zh) 图像渲染方法、头戴显示设备和可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190517

RJ01 Rejection of invention patent application after publication