CN107203270A - Vr图像处理方法及装置 - Google Patents

Vr图像处理方法及装置 Download PDF

Info

Publication number
CN107203270A
CN107203270A CN201710418800.9A CN201710418800A CN107203270A CN 107203270 A CN107203270 A CN 107203270A CN 201710418800 A CN201710418800 A CN 201710418800A CN 107203270 A CN107203270 A CN 107203270A
Authority
CN
China
Prior art keywords
image
region
resolution
points
locations
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710418800.9A
Other languages
English (en)
Inventor
邱涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Techology Co Ltd
Original Assignee
Goertek Techology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Techology Co Ltd filed Critical Goertek Techology Co Ltd
Priority to CN201710418800.9A priority Critical patent/CN107203270A/zh
Publication of CN107203270A publication Critical patent/CN107203270A/zh
Priority to PCT/CN2017/117554 priority patent/WO2018223663A1/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1407General aspects irrespective of display type, e.g. determination of decimal point position, display with fixed or driving decimal point, suppression of non-significant zeros

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明提供一种VR图像处理方法及装置。其中,方法包括以下步骤:基于眼球追踪,识别用户在VR展示空间中的关注点位置;基于关注点位置,将VR展示空间划分为至少两个图像展示区域;动态调整至少两个图像展示区域中至少一个图像展示区域对应图像的分辨率,以使在关注点位置指定范围内的图像展示区域的图像的分辨率大于其他图像展示区域的图像的分辨率;其中,其他图像展示区域是指至少两个图像展示区域中,除在关注点位置指定范围内的图像展示区域之外的图像展示区域。本发明提供的方法可以降低VR设备的功耗。

Description

VR图像处理方法及装置
技术领域
本发明涉及虚拟现实技术领域,尤其涉及一种VR图像处理方法及装置。
背景技术
虚拟现实(Virtual Reality,VR)技术是一种可以创建和体验虚拟世界的计算机仿真系统,它利用计算机生成一种模拟环境,是一种多源信息融合的、交互式的三维动态视景和实体行为的系统仿真,使用户沉浸到该环境中。目前,出现了VR眼镜、VR一体机等带来三维视觉体验的VR设备。
在通过这些VR设备展示VR图像的过程中,开发人员为了追求三维动态视景,或者说VR图像的清晰度,往往要为VR图像设置较高的分辨率。这种方法使得VR设备的功耗过大,容易引起VR设备的待机时间短、发热严重、掉频、掉核等严重问题。
发明内容
本发明的多个方面提供一种VR图像处理方法及装置,用以降低VR设备的功耗。
本发明提供一种VR图像处理方法,包括:
基于眼球追踪,识别用户在VR展示空间中的关注点位置;
基于所述关注点位置,将所述VR展示空间划分为至少两个图像展示区域;
动态调整所述至少两个图像展示区域中至少一个图像展示区域对应图像的分辨率,以使在所述关注点位置指定范围内的图像展示区域的图像的分辨率大于其他图像展示区域的图像的分辨率;
其中,所述其他图像展示区域是指所述至少两个图像展示区域中,除在所述关注点位置指定范围内的图像展示区域之外的图像展示区域。
可选地,动态调整所述至少两个图像展示区域中至少一个图像展示区域对应图像的分辨率,以使在所述关注点位置指定范围内的图像展示区域的图像的分辨率大于其他图像展示区域的图像的分辨率,包括:
若所述VR展示空间需要展示的图像的默认分辨率小于第一分辨率阈值,则增大在所述关注点位置指定范围内的图像展示区域当前展示或即将展示的图像的分辨率;
若所述VR展示空间需要展示的图像的默认分辨率大于第二分辨率阈值,则减小在所述其他图像展示区域当前展示或即将展示的图像的分辨率;
其中,所述第二分辨率阈值大于所述第一分辨率阈值。
可选地,所述增大在所述关注点位置指定范围内的图像展示区域当前展示或即将展示的图像的分辨率,包括:
自所述在所述关注点位置指定范围内的图像展示区域的边缘指向所述关注点位置的方向,逐渐增大在所述关注点位置指定范围内的图像展示区域当前展示或即将展示的图像的分辨率。
可选地,所述在所述关注点位置指定范围内的图像展示区域包括:以所述关注点位置为中心的第一三维区域和第二三维区域,所述第二三维区域包括所述第一三维区域;
所述自所述在所述关注点位置指定范围内的图像展示区域的边缘指向所述关注点位置的方向,逐渐增大在所述关注点位置指定范围内的图像展示区域当前展示或即将展示的图像的分辨率,包括:
将所述第一三维区域之内的标签对象使用的资源文件替换为对应于第一分辨率的资源文件;
将所述第二三维区域和所述第一三维区域之间的标签对象使用的资源文件替换为对应于第二分辨率的资源文件;
其中,所述第一分辨率大于所述第二分辨率,所述第二分辨率大于所述第一分辨率阈值。
可选地,所述在所述关注点位置指定范围内的图像展示区域还包括:以所述关注点位置为中心的第三三维区域,所述第三三维区域包括所述第二三维区域;
所述自所述在所述关注点位置指定范围内的图像展示区域的边缘指向所述关注点位置的方向,逐渐增大在所述关注点位置指定范围内的图像展示区域当前展示或即将展示的图像的分辨率,还包括:
将所述第三三维区域和所述第二三维区域之间的标签对象使用的资源文件替换为对应于第三分辨率的资源文件;
其中,所述第二分辨率大于所述第三分辨率,所述第三分辨率大于所述第一分辨率阈值。
可选地,所述第一三维区域为以所述关注点位置为球心,以第一距离为半径的球体区域;
所述第二三维区域为以所述关注点位置为球心,以第二距离为半径的球体区域;
所述第三三维区域为以所述关注点位置为球心,以第三距离为半径的球体区域。
其中,所述第一距离小于所述第二距离,所述第二距离小于所述第三距离。
可选地,在所述基于眼球追踪,识别用户在VR展示空间中的关注点位置之前,所述方法还包括:
为所述VR展示空间中至少一个图像对象添加标签,以获得至少一个标签对象;
为所述至少一个标签对象分别生成对应于所述第一分辨率、所述第二分辨率和所述第三分辨率的资源文件。
可选地,所述方法还包括:
渲染对应于所述第一分辨率、所述第二分辨率和所述第三分辨率的资源文件,以输出动态调整分辨率后的当前展示或即将展示的图像。
可选地,在所述动态调整所述至少两个图像展示区域中至少一个图像展示区域对应图像的分辨率之后,所述方法还包括:
统计动态调整分辨率之后在所述关注点位置指定范围内的图像展示区域的图像对应的资源文件所包含的面片数量;
根据所述面片数量以及预设帧率,降低CPU和/或GPU的工作频率。
本发明还提供一种VR图像处理装置,包括:
识别模块,用于基于眼球追踪,识别用户在VR展示空间中的关注点位置;
划分模块,用于基于所述关注点位置,将所述VR展示空间划分为至少两个图像展示区域;
调整模块,用于动态调整所述至少两个图像展示区域中至少一个图像展示区域对应图像的分辨率,以使在所述关注点位置指定范围内的图像展示区域的图像的分辨率大于其他图像展示区域的图像的分辨率;
其中,所述其他图像展示区域是指所述至少两个图像展示区域中,除在所述关注点位置指定范围内的图像展示区域之外的图像展示区域。
可选地,所述调整模块包括:
增大单元,用于若所述VR展示空间需要展示的图像的默认分辨率小于第一分辨率阈值,则增大在所述关注点位置指定范围内的图像展示区域当前展示或即将展示的图像的分辨率;
减小单元,用于若所述VR展示空间需要展示的图像的默认分辨率大于第二分辨率阈值,则减小在所述其他图像展示区域当前展示或即将展示的图像的分辨率;
其中,所述第二分辨率阈值大于所述第一分辨率阈值。
可选地,所述增大单元具体用于:
自所述在所述关注点位置指定范围内的图像展示区域的边缘指向所述关注点位置的方向,逐渐增大在所述关注点位置指定范围内的图像展示区域当前展示或即将展示的图像的分辨率。
在本发明中,基于眼球追踪,识别用户在VR展示空间中的关注点位置,基于关注点位置,将VR展示空间划分为至少两个图像展示区域,通过动态调整至少两个图像展示区域中的至少一个图像展示区域对应图像的分辨率,以使在所述关注点位置指定范围内的图像展示区域的图像的分辨率大于其他图像展示区域的图像的分辨率,这样可以保证关注点位置附近的图像具有较高的分辨率,保证用户能够清晰的看到图像,同时,其他图像展示区域的图像只需具有较低的分辨率,可以减小VR图像的数据量,降低VR设备的功耗。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本发明的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1为本发明一实施例提供的VR图像处理方法的流程示意图;
图2a为本发明一实施例提供的第一三维区域和第二三维区域的剖面示意图;
图2b为本发明一实施例提供的第一三维区域、第二三维区域和第三三维区域的剖面示意图;
图3为本发明一实施例提供的VR图像处理装置的模块结构图;
图4为本发明一实施例提供的VR图像处理装置的模块结构图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明具体实施例及相应的附图对本发明技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
以下结合附图,详细说明本发明各实施例提供的技术方案。
图1为本发明一实施例提供的VR图像处理方法的流程示意图。如图1所示,该方法包括以下步骤:
S101:基于眼球追踪,识别用户在VR展示空间中的关注点位置。
S102:基于关注点位置,将VR展示空间划分为至少两个图像展示区域。
S103:动态调整至少两个图像展示区域中至少一个图像展示区域对应图像的分辨率,以使在关注点位置指定范围内的图像展示区域的图像的分辨率大于其他图像展示区域的图像的分辨率;其中,其他图像展示区域是指至少两个图像展示区域中,除在关注点位置指定范围内的图像展示区域之外的图像展示区域。
在VR设备的运行过程时,会向用户展示一VR展示空间,以在VR展示空间中展示图像。VR展示空间中可以正在展示图像,也可以没有任何图像。
当用户的双眼看到VR展示空间时,会聚焦到某一个位置点,即关注点位置。可选地,关注点位置可以是用户在VR展示空间当前展示的图像上的关注点位置。
其中,关注点位置可以通过眼球追踪技术识别。眼球追踪技术可以根据眼球和眼球周边的特征变化、虹膜角度变化、或者主动投射红外线等光束到虹膜来提取眼部特征,再根据眼部特征以及VR展示空间,确定用户在VR展示空间中的关注点位置。
由于人眼能够集中注意力关注的区域范围有限,可以基于关注点位置,将VR展示空间划分为至少两个图像展示区域。
可选地,可以以关注点位置为中心,将VR展示空间划分为至少两个图像展示区域,即至少两个图像展示区域中的每一个图像展示区域均以关注点位置为中心。
接着,确定在关注点位置指定范围内的图像展示区域和其他图像展示区域。其中,指定范围可以根据人眼可关注的范围确定。在一示例中,指定范围可以设为在关注点位置方圆0.5m米的范围,则可以将落在关注点位置方圆0.5m范围内的图像展示区域作为在关注点位置指定范围内的图像展示区域。
其他展示区域是指至少两个图像展示区域中,除在关注点位置指定范围内的图像展示区域之外的图像展示区域。
一般来说,在关注点位置指定范围内的图像展示区域就是人的双眼主要关注的区域,其他展示区域相对来说远离关注点位置,是次要关注的区域。基于此,可以动态调整至少两个图像展示区域中至少一个图像展示区域对应图像的分辨率,以使在关注点位置指定范围内的图像展示区域的图像的分辨率大于其他图像展示区域的图像的分辨率。
可选地,动态调整至少一个图像展示区域对应图像的分辨率包括增大或者减小至少一个图像展示区域对应图像的分辨率。
当然,有些图像展示区域的图像的分辨率可以不必调整,能够使关注点位置指定范围内的图像展示区域的图像的分辨率大于其他图像展示区域的图像的分辨率即可。具体而言,指定范围内的图像展示区域可以是被调整的区域,也可以不是被调整的区域;相应地,其它展示区域也可以是被调整的区域,也可以不是被调整的区域。
在本实施例中,基于眼球追踪,识别用户在VR展示空间中的关注点位置,基于关注点位置,将VR展示空间划分为至少两个图像展示区域,通过动态调整至少两个图像展示区域中的至少一个图像展示区域对应图像的分辨率,以使在关注点位置指定范围内的图像展示区域的图像的分辨率大于其他图像展示区域的图像的分辨率,这样可以保证关注点位置附近的图像具有较高的分辨率,保证用户能够清晰的看到图像,同时,其他图像展示区域的图像只需具有较低的分辨率,可以减小VR图像的数据量,降低VR设备的功耗。
进一步地,本实施例通过动态调整至少两个图像展示区域中的至少一个图像展示区域对应图像的分辨率,使得在关注点位置指定范围内的图像展示区域的图像的分辨率较高,在其他图像展示区域的图像的分辨率较低,相比于现有技术中整个图像的分辨率一致,本实施例更切近现实生活中人眼看到的画面,提高图像的真实感。
在一可选实施方式中,随着VR场景的变化,会生成一帧一帧的图像,进而可以按照图像的生成顺序将一帧帧图像在VR展示空间中依次展示出来,从而用户能够看到流畅的VR场景。本实施例中,VR展示空间需要展示的每一帧图像的分辨率可以均为默认分辨率。可选地,默认分辨率可为较低的分辨率,也可以为较高的分辨率。根据默认分辨率的不同,动态调节图像的分辨率的方式包括以下两种。
第一种方式:若VR展示空间需要展示的图像的默认分辨率小于第一分辨率阈值(即默认分辨率为较低的分辨率),则增大在关注点位置指定范围内的图像展示区域当前展示或即将展示的图像的分辨率。
具体而言,若VR展示空间需要展示的图像的默认分辨率小于第一分辨率阈值,意味着图像的分辨率较低,难以满足用户的基本视觉需求。那么,为使在关注点位置指定范围内的图像展示区域的图像的分辨率大于其他图像展示区域的图像的分辨率,可增大在关注点位置指定范围内的图像展示区域的图像的分辨率。
可选地,增大在关注点位置指定范围内的图像展示区域的图像的分辨率时,可以在图像展示区域当前展示的图像上进行调整,也可以在即将展示的图像上,即下一帧图像上,进行调整。
在一示例中,若VR展示空间需要展示的图像的默认分辨率为640*360,第一分辨率阈值为1280*720,则判定默认分辨率小于第一分辨率阈值,则增大在关注点位置指定范围内的图像展示区域当前展示或即将展示的图像的分辨率。
可选地,可增大在关注点位置指定范围内的图像展示区域的图像的分辨率,以使增大后的分辨率大于第一分辨率阈值。其中,第一分辨率阈值可以根据用户的视觉需求,灵活定制。
第二种方式:若VR展示空间需要展示的图像的默认分辨率大于第二分辨率阈值(即默认分辨率为较高的分辨率),则减小在其他图像展示区域当前展示或即将展示的图像的分辨率。
具体而言,若VR展示空间需要展示的图像的默认分辨率大于第二分辨率阈值,意味着图像的分辨率较高,能够给用户带来较佳的视觉体验。那么,为使在关注点位置指定范围内的图像展示区域的图像的分辨率大于其他图像展示区域的图像的分辨率,可减小其他图像展示区域的图像的分辨率。
在一示例中,若VR展示空间需要展示的图像的默认分辨率为1280*1440,第二分辨率阈值为1280*720,则判定默认分辨率大于第二分辨率阈值,则减小其他图像展示区域的图像的分辨率。
可选地,可减小其他图像展示区域的图像的分辨率,以使减小后的分辨率小于第二分辨率阈值。其中,第二分辨率阈值也可以根据用户的视觉需求,灵活定制。
在现实生活中,由于的人的视角是有限的,人眼能够分辨清楚关注点位置附近的物体;但是,距离关注点位置较远的物体,人眼就难以分辨清楚。
基于此,为了增强图像的真实感,对于上述实施例中的第一种方式来说,在增大在关注点位置指定范围内的图像展示区域当前展示或即将展示的图像的分辨率时,可以自在关注点位置指定范围内的图像展示区域的边缘指向关注点位置的方向,逐渐增大在关注点位置指定范围内的图像展示区域当前展示或即将展示的图像的分辨率。
首先,可以将在关注点位置指定范围内的图像展示区域划分为以关注点位置为中心的第一三维区域和第二三维区域。其中,第二三维区域包括第一三维区域。
可选地,以关注点位置为中心的第一三维区域或第二三维区域可以包括但不限于以关注点位置为中心的立方体区域、长方体区域、球体区域、圆柱体区域等。优选地,如图2a所示,第一三维区域为以关注点位置为球心,以第一距离为半径的球体区域;第二三维区域为以关注点位置为球心,以第二距离为半径的球体区域。其中,第一距离小于第二距离。
当然,除了将在关注点位置指定范围内的图像展示区域划分为第一三维区域和第二三维区域之外,还可以将在关注点位置指定范围内的图像展示区域划分为以关注点位置为中心的第一三维区域、第二三维区域和第三三维区域。其中,第二三维区域包括第一三维区域,第三三维区域包括第二三维区域。
优选地,如图2b所示,第一三维区域为以关注点位置为球心,以第一距离为半径的球体区域;第二三维区域为以关注点位置为球心,以第二距离为半径的球体区域;第三三维区域为以关注点位置为球心,以第三距离为半径的球体区域。其中,第一距离小于第二距离,第二距离小于第三距离。例如,第一距离为0.6m,第二距离为0.8m,第二距离为1m。
当然,还可以将在关注点位置指定范围内的图像展示区域划分为以关注点位置为中心的更多区域,开发人员可以根据用户的视觉体验灵活设置。
在将在关注点位置指定范围内的图像展示区域划分为至少两个区域后,可以自在关注点位置指定范围内的图像展示区域的边缘指向关注点位置的方向,逐渐增大在关注点位置指定范围内的图像展示区域当前展示或即将展示的图像的分辨率。
可选地,自在关注点位置指定范围内的图像展示区域的边缘指向关注点位置的方向,根据由小到大的分辨率增大系数,依次增大划分出的各个图像展示区域当前展示或即将展示的图像的分辨率。可选地,同一个图像展示区域当前展示或即将展示的图像的分辨率的增大系数相同。
在一示例中,可以将第三三维区域当前展示或即将展示的图像的分辨率增大系数设为2,将第二三维区域当前展示或即将展示的图像的分辨率增大系数设为3,将第一三维区域当前展示或即将展示的图像的分辨率增大系数设为4。
可选地,动态调整至少两个图像展示区域中至少一个图像展示区域对应图像的分辨率包括动态调整至少两个图像展示区域中至少一个图像展示区域对应图像对象的分辨率。基于此,对于上述实施例中的第一种方式来说,可选地,增大在关注点位置指定范围内的图像展示区域当前展示或即将展示的图像的分辨率包括增大在关注点位置指定范围内的图像展示区域当前展示或即将展示的图像对象的分辨率。
图像中可包括多个图像对象。例如,图像为草原图像时,图像对象可以包括花的图像、草的图像、石头的图像,天空的图像等。
其中,图像对象一般包括模型属性的图像对象和背景属性的图像对象。例如,花的图像属于模型属性的图像对象,天空的图像属于背景属性的图像对象。一般来说,用户比较关注的是图像中的模型属性的图像对象,而且人眼对不同分辨率的模型属性的图像对象较背景属性的图像对象要敏感。基于此,进一步可选地,增大图像的分辨率包括增大模型属性的图像对象的分辨率。
类似地,对于上述实施例中的第二种方式来说,减小其他图像展示区域的图像的分辨率包括减小其他图像展示区域的图像对象的分辨率。进一步可选地,减小其他图像展示区域的图像的分辨率包括减小其他图像展示区域的模型属性的图像对象的分辨率。
在图像初始生成的时候,图像对象的分辨率可为默认分辨率。对于上述实施例中的第一种方式来说,可以将在关注点位置指定范围内的图像展示区域内默认分辨率的图像对象替换为较大分辨率的图像对象。相反地,对于上述实施例中的第二种方式来说,可以将其他图像展示区域的默认分辨率的图像对象替换为较小分辨率的图像对象。进一步地,为了提高动态调整图像对象分辨率的速率,可以预先生成多种分辨率的图像对象。
可选地,在基于眼球追踪,识别用户在VR展示空间中的关注点位置之前,可以为VR展示空间中至少一个图像对象添加标签,以获得至少一个标签对象;接着,为至少一个标签对象分别生成对应于第一分辨率、第二分辨率和第三分辨率的资源文件。
其中,标签可以唯一标识图像对象,相当于图像对象的命名。在为图像对象添加标签后,可以获得携带标签的图像对象,即标签对象。针对每一个标签对象可以分别生成对应于第一分辨率的资源文件、对应于第二分辨率的资源文件和对应于第三分辨率的资源文件。可选地,对属于同一标签对象的对应于不同分辨率的资源文件还可以添加不同的标签,以区别资源文件对应分辨率的不同。
在一示例中,图像对象A添加标签x,对应于第一分辨率的资源文件的标签可为x.1,对应于第二分辨率的资源文件的标签可为x.2,对应于第三分辨率的资源文件的标签可为x.3。
其中,第一分辨率大于第二分辨率,第二分辨率大于第三分辨率。
可选地,资源文件包括合成对应分辨率的图像对象所需要的图像模型、图片等。图像模型的分辨率、图片的分辨率均与其所属的资源文件对应的分辨率相同。
例如,对应于1280*1440分辨率的资源文件,其包括的图像模型的分辨率为1280*1440,图片的分辨率为1280*1440。
在预先生成对应于多种分辨率的资源文件之后,可以直接将预先生成的资源文件替换当前展示或即将展示的图像对象所使用的资源文件。
可选地,对于上述实施例的第一种方式来说,自在关注点位置指定范围内的图像展示区域的边缘指向关注点位置的方向,逐渐增大在关注点位置指定范围内的图像展示区域当前展示或即将展示的图像的分辨时,可根据在关注点位置指定范围内的图像展示区域的划分方法不同,包括以下两种情况。
第一种情况:若在关注点位置指定范围内的图像展示区域被划分为第一三维区域和第二三维区域,则将第一三维区域之内的标签对象使用的资源文件替换为对应于第一分辨率的资源文件;将第二三维区域和第一三维区域之间的标签对象使用的资源文件替换为对应于第二分辨率的资源文件。其中,第二三维区域和第一三维区域之间的三维区域如图2a所示。
可选地,第一分辨率、第二分辨率均大于第一分辨率阈值,以使替换后的在关注点位置指定范围内的图像展示区域的图像的分辨率大于第一分辨率阈值。
第二种情况:若在关注点位置指定范围内的图像展示区域被划分为第一三维区域、第二三维区域和第三三维区域,可以将第一三维区域之内的标签对象使用的资源文件替换为对应于第一分辨率的资源文件;将第二三维区域和第一三维区域之间的标签对象使用的资源文件替换为对应于第二分辨率的资源文件;将第三三维区域和第二三维区域之间的标签对象使用的资源文件替换为对应于第三分辨率的资源文件。
其中,第二三维区域和第一三维区域之间的三维区域,以及第三三维区域和第二三维区域之间的三维区域,如图2b所示。
可选地,第一分辨率、第二分辨率和第三分辨率均大于第一分辨率阈值,以使替换后的在关注点位置指定范围内的图像展示区域的图像的分辨率大于第一分辨率阈值。
对于上述实施例的第二种方式来说,可以将其他图像展示区域之内的标签对象使用的资源文件替换为对应于第三分辨率的资源文件。
可选地,第三分辨率可小于第二分辨率阈值,以使替换后的其他图像展示区域的图像的分辨率小于第二分辨率阈值。
可选地,用户的视角在关注点位置指定范围内的图像展示区域时,一般其他图像展示区域的图像较模糊。基于此,可以在替换操作后,模糊化处理其他图像展示区域之内的资源文件,以进一步增强图像的真实感。可选地,可以使用着色器(Shader),模糊化处理其他图像展示区域之内的资源文件。
接着,渲染对应于第一分辨率、第二分辨率和第三分辨率的资源文件,以输出动态调整分辨率后的当前展示或即将展示的图像。如此,VR显示设备上可以显示调整分辨率后的当前展示或即将展示的图像。
若调整当前展示的图像的分辨率,则可以在渲染对应于第一分辨率、第二分辨率和第三分辨率的资源文件之后,重新输出动态调整分辨率后的当前展示的图像。若调整即将展示的图像的的分辨率,则可以在渲染对应于第一分辨率、第二分辨率和第三分辨率的资源文件之后,继续输出动态调整分辨率后的即将展示的图像,如下一帧图像。
在一可选实施方式中,在为至少一个标签对象分别生成对应于第一分辨率、第二分辨率和第三分辨率的资源文件时,可选地,可以使用面片工具生成对应于第一分辨率的资源文件、对应于第二分辨率的资源文件和对应于第三分辨率的资源文件。其中,生成对应于第一分辨率的资源文件所使用的面片数量大于生成对应于第二分辨率的资源文件所使用的面片数量,生成对应于第二分辨率的资源文件所使用的面片数量大于生成对应于第三分辨率的资源文件所使用的面片数量。
在一示例中,生成第一分辨率的桌子模型所使用的面片为500个,生成第二分辨率的桌子模型所使用的面片为400个,生成第三分辨率的桌子模型所使用的面片为300个。
可选地,面片的形状包括但不限于三角形、长方形、菱形等。优选地,面片的形状为三角形。
在一可选实施方式中,在动态调整至少两个图像展示区域中至少一个图像展示区域对应图像的分辨率之后,还包括:统计动态调整分辨率之后在关注点位置指定范围内的图像展示区域的图像包含的面片数量;进而,根据面片数量以及预设帧率,降低CPU和/或GPU的工作频率。
其中,在关注点位置指定范围内的图像展示区域的图像包含的面片数量为该图像对应的资源文件所使用的面片数量。
一方面,资源文件所使用的面片的数量越少,在渲染资源文件的时候所需的CPU和/或GPU的工作频率就越低。另一方面,CPU和/或GPU的工作频率也不可过低,应能够支持图像的帧率保持在预设帧率以上,以保证图像显示的连贯性。可选地,预设帧率应大于16fps。基于此,可以预先建立CPU和/或GPU的工作频率与面片数量以及预设帧率的对应关系。
由于在动态调整分辨率之后,在关注点位置指定范围内的图像展示区域的图像的分辨率较高,该图像对应的资源文件所使用的面片数量就越多。那么,可以统计动态调整分辨率之后关注点位置指定范围内的图像展示区域的图像对应的资源文件所使用的面片数量。当然,也可以统计整个图像对应的资源文件所使用的面片数量。
在动态调整分辨率之后,统计的面片数量相比于整个图像的分辨率较高时所使用的面片数量,有所减少。基于此,可以根据预先建立的CPU和/或GPU的工作频率与面片数量以及预设帧率的对应关系,降低CPU和/或GPU的工作频率。
降低CPU和/或GPU的工作频率之后,可以以降低工作频率后的CPU和/或GPU渲染对应于第一分辨率、第二分辨率和第三分辨率的资源文件,以输出动态调整分辨率后的图像。
可选地,在本次降低CPU和/或GPU的工作频率之后,若下一次动态调整分辨率之后在关注点位置指定范围内的图像展示区域的图像包含的面片数量较本次增多,可以升高CPU和/或GPU的工作频率,以降低渲染操作时的延迟时间。
本发明实施例还提供一种VR图像处理装置300,如图3所示,包括识别模块301、划分模块302和调整模块303。
识别模块301,用于基于眼球追踪,识别用户在VR展示空间中的关注点位置。
划分模块302,用于基于识别模块301识别的关注点位置,将VR展示空间划分为至少两个图像展示区域。
调整模块303,用于动态调整至少两个图像展示区域中至少一个图像展示区域对应图像的分辨率,以使在关注点位置指定范围内的图像展示区域的图像的分辨率大于其他图像展示区域的图像的分辨率;其中,其他图像展示区域是指所述至少两个图像展示区域中,除在关注点位置指定范围内的图像展示区域之外的图像展示区域。
在本实施例中,基于眼球追踪,识别用户在VR展示空间中的关注点位置,基于关注点位置,将VR展示空间划分为至少两个图像展示区域,通过动态调整至少两个图像展示区域中的至少一个图像展示区域对应图像的分辨率,以使在关注点位置指定范围内的图像展示区域的图像的分辨率大于其他图像展示区域的图像的分辨率,这样可以保证关注点位置附近的图像具有较高的分辨率,保证用户能够清晰的看到图像,同时,其他图像展示区域的图像只需具有较低的分辨率,可以减小VR图像的数据量,降低VR设备的功耗。
可选地,如图4所示,调整模块303包括增大单元3031和减小单元3032。
增大单元3031,用于若VR展示空间需要展示的图像的默认分辨率小于第一分辨率阈值,则增大在关注点位置指定范围内的图像展示区域当前展示或即将展示的图像的分辨率。
减小单元3032,用于若VR展示空间需要展示的图像的默认分辨率大于第二分辨率阈值,则减小在其他图像展示区域当前展示或即将展示的图像的分辨率。
其中,所述第二分辨率阈值大于所述第一分辨率阈值。
可选地,增大单元3031在增大在关注点位置指定范围内的图像展示区域当前展示或即将展示的图像的分辨率时,具体用于:自在关注点位置指定范围内的图像展示区域的边缘指向关注点位置的方向,逐渐增大在关注点位置指定范围内的图像展示区域当前展示或即将展示的图像的分辨率。
可选地,在关注点位置指定范围内的图像展示区域包括:以关注点位置为中心的第一三维区域和第二三维区域,第二三维区域包括第一三维区域。
增大单元3031在自在关注点位置指定范围内的图像展示区域的边缘指向关注点位置的方向,逐渐增大在关注点位置指定范围内的图像展示区域当前展示或即将展示的图像的分辨率时,具体还用于:将第一三维区域之内的标签对象使用的资源文件替换为对应于第一分辨率的资源文件;将第二三维区域和所述第一三维区域之间的标签对象使用的资源文件替换为对应于第二分辨率的资源文件;其中,所述第一分辨率大于所述第二分辨率,所述第二分辨率大于所述第一分辨率阈值。
可选地,在关注点位置指定范围内的图像展示区域还包括:以关注点位置为中心的第三三维区域,第三三维区域包括第二三维区域。
增大单元3031在自在关注点位置指定范围内的图像展示区域的边缘指向关注点位置的方向,逐渐增大在关注点位置指定范围内的图像展示区域当前展示或即将展示的图像的分辨率时,具体还用于:将三三维区域和第二三维区域之间的标签对象使用的资源文件替换为对应于第三分辨率的资源文件;其中,第二分辨率大于第三分辨率,第三分辨率大于第一分辨率阈值。
可选地,第一三维区域为以关注点位置为球心,以第一距离为半径的球体区域;第二三维区域为以关注点位置为球心,以第二距离为半径的球体区域;第三三维区域为以关注点位置为球心,以第三距离为半径的球体区域。
其中,第一距离小于第二距离,第二距离小于第三距离。
可选地,如图4所示,VR图像处理装置300还包括添加模块304和生成模块305。
添加模块304,用于为VR展示空间中至少一个图像对象添加标签,以获得至少一个标签对象。
生成模块305,用于为添加模块304获得的至少一个标签对象分别生成对应于第一分辨率、第二分辨率和第三分辨率的资源文件。
可选地,VR图像处理装置300还包括渲染模块306。
渲染模块306用于渲染对应于第一分辨率、第二分辨率和第三分辨率的资源文件,以输出动态调整分辨率后的当前展示或即将展示的图像。
可选地,如图4所示,VR图像处理装置300还包括统计模块307和调节模块308。
统计模块307,用于统计动态调整分辨率之后在关注点位置指定范围内的图像展示区域的图像对应的资源文件所包含的面片数量。
调节模块308,用于根据统计模块307统计的面片数量以及预设帧率,降低CPU和/或GPU的工作频率。
以上所述仅为本发明的实施例而已,并不用于限制本发明。对于本领域技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本发明的权利要求范围之内。

Claims (12)

1.一种VR图像处理方法,其特征在于,包括:
基于眼球追踪,识别用户在VR展示空间中的关注点位置;
基于所述关注点位置,将所述VR展示空间划分为至少两个图像展示区域;
动态调整所述至少两个图像展示区域中至少一个图像展示区域对应图像的分辨率,以使在所述关注点位置指定范围内的图像展示区域的图像的分辨率大于其他图像展示区域的图像的分辨率;
其中,所述其他图像展示区域是指所述至少两个图像展示区域中,除在所述关注点位置指定范围内的图像展示区域之外的图像展示区域。
2.根据权利要求1所述的方法,其特征在于,动态调整所述至少两个图像展示区域中至少一个图像展示区域对应图像的分辨率,以使在所述关注点位置指定范围内的图像展示区域的图像的分辨率大于其他图像展示区域的图像的分辨率,包括:
若所述VR展示空间需要展示的图像的默认分辨率小于第一分辨率阈值,则增大在所述关注点位置指定范围内的图像展示区域当前展示或即将展示的图像的分辨率;
若所述VR展示空间需要展示的图像的默认分辨率大于第二分辨率阈值,则减小在所述其他图像展示区域当前展示或即将展示的图像的分辨率;
其中,所述第二分辨率阈值大于所述第一分辨率阈值。
3.根据权利要求2所述的方法,其特征在于,所述增大在所述关注点位置指定范围内的图像展示区域当前展示或即将展示的图像的分辨率,包括:
自所述在所述关注点位置指定范围内的图像展示区域的边缘指向所述关注点位置的方向,逐渐增大在所述关注点位置指定范围内的图像展示区域当前展示或即将展示的图像的分辨率。
4.根据权利要求3所述的方法,其特征在于,所述在所述关注点位置指定范围内的图像展示区域包括:以所述关注点位置为中心的第一三维区域和第二三维区域,所述第二三维区域包括所述第一三维区域;
所述自所述在所述关注点位置指定范围内的图像展示区域的边缘指向所述关注点位置的方向,逐渐增大在所述关注点位置指定范围内的图像展示区域当前展示或即将展示的图像的分辨率,包括:
将所述第一三维区域之内的标签对象使用的资源文件替换为对应于第一分辨率的资源文件;
将所述第二三维区域和所述第一三维区域之间的标签对象使用的资源文件替换为对应于第二分辨率的资源文件;
其中,所述第一分辨率大于所述第二分辨率,所述第二分辨率大于所述第一分辨率阈值。
5.根据权利要求4所述的方法,其特征在于,所述在所述关注点位置指定范围内的图像展示区域还包括:以所述关注点位置为中心的第三三维区域,所述第三三维区域包括所述第二三维区域;
所述自所述在所述关注点位置指定范围内的图像展示区域的边缘指向所述关注点位置的方向,逐渐增大在所述关注点位置指定范围内的图像展示区域当前展示或即将展示的图像的分辨率,还包括:
将所述第三三维区域和所述第二三维区域之间的标签对象使用的资源文件替换为对应于第三分辨率的资源文件;
其中,所述第二分辨率大于所述第三分辨率,所述第三分辨率大于所述第一分辨率阈值。
6.根据权利要求5所述的方法,其特征在于,所述第一三维区域为以所述关注点位置为球心,以第一距离为半径的球体区域;
所述第二三维区域为以所述关注点位置为球心,以第二距离为半径的球体区域;
所述第三三维区域为以所述关注点位置为球心,以第三距离为半径的球体区域。
其中,所述第一距离小于所述第二距离,所述第二距离小于所述第三距离。
7.根据所述权利要求5所述的方法,其特征在于,在所述基于眼球追踪,识别用户在VR展示空间中的关注点位置之前,所述方法还包括:
为所述VR展示空间中至少一个图像对象添加标签,以获得至少一个标签对象;
为所述至少一个标签对象分别生成对应于所述第一分辨率、所述第二分辨率和所述第三分辨率的资源文件。
8.根据权利要求5所述的方法,其特征在于,还包括:
渲染对应于所述第一分辨率、所述第二分辨率和所述第三分辨率的资源文件,以输出动态调整分辨率后的当前展示或即将展示的图像。
9.根据权利要求1-8任一项所述的方法,其特征在于,在所述动态调整所述至少两个图像展示区域中至少一个图像展示区域对应图像的分辨率之后,所述方法还包括:
统计动态调整分辨率之后在所述关注点位置指定范围内的图像展示区域的图像对应的资源文件所包含的面片数量;
根据所述面片数量以及预设帧率,降低CPU和/或GPU的工作频率。
10.一种VR图像处理装置,其特征在于,包括:
识别模块,用于基于眼球追踪,识别用户在VR展示空间中的关注点位置;
划分模块,用于基于所述关注点位置,将所述VR展示空间划分为至少两个图像展示区域;
调整模块,用于动态调整所述至少两个图像展示区域中至少一个图像展示区域对应图像的分辨率,以使在所述关注点位置指定范围内的图像展示区域的图像的分辨率大于其他图像展示区域的图像的分辨率;
其中,所述其他图像展示区域是指所述至少两个图像展示区域中,除在所述关注点位置指定范围内的图像展示区域之外的图像展示区域。
11.根据权利要求10所述的装置,其特征在于,所述调整模块包括:
增大单元,用于若所述VR展示空间需要展示的图像的默认分辨率小于第一分辨率阈值,则增大在所述关注点位置指定范围内的图像展示区域当前展示或即将展示的图像的分辨率;
减小单元,用于若所述VR展示空间需要展示的图像的默认分辨率大于第二分辨率阈值,则减小在所述其他图像展示区域当前展示或即将展示的图像的分辨率;
其中,所述第二分辨率阈值大于所述第一分辨率阈值。
12.根据权利要求11所述的装置,其特征在于,所述增大单元具体用于:
自所述在所述关注点位置指定范围内的图像展示区域的边缘指向所述关注点位置的方向,逐渐增大在所述关注点位置指定范围内的图像展示区域当前展示或即将展示的图像的分辨率。
CN201710418800.9A 2017-06-06 2017-06-06 Vr图像处理方法及装置 Pending CN107203270A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710418800.9A CN107203270A (zh) 2017-06-06 2017-06-06 Vr图像处理方法及装置
PCT/CN2017/117554 WO2018223663A1 (zh) 2017-06-06 2017-12-20 Vr图像处理方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710418800.9A CN107203270A (zh) 2017-06-06 2017-06-06 Vr图像处理方法及装置

Publications (1)

Publication Number Publication Date
CN107203270A true CN107203270A (zh) 2017-09-26

Family

ID=59906777

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710418800.9A Pending CN107203270A (zh) 2017-06-06 2017-06-06 Vr图像处理方法及装置

Country Status (2)

Country Link
CN (1) CN107203270A (zh)
WO (1) WO2018223663A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107844177A (zh) * 2017-10-18 2018-03-27 歌尔科技有限公司 设备参数调整方法、装置及电子设备
CN107945100A (zh) * 2017-11-28 2018-04-20 歌尔科技有限公司 虚拟现实场景的展示方法、虚拟现实设备及系统
WO2018223663A1 (zh) * 2017-06-06 2018-12-13 歌尔科技有限公司 Vr图像处理方法、装置及设备
WO2020034669A1 (zh) * 2018-08-16 2020-02-20 北京七鑫易维信息技术有限公司 一种图像获取设备的控制方法及装置
WO2020038407A1 (zh) * 2018-08-21 2020-02-27 腾讯科技(深圳)有限公司 一种图像渲染方法、装置及图像处理设备、存储介质
CN110855972A (zh) * 2019-11-21 2020-02-28 Oppo广东移动通信有限公司 图像处理方法以及电子设备和存储介质
CN110910509A (zh) * 2019-11-21 2020-03-24 Oppo广东移动通信有限公司 图像处理方法以及电子设备和存储介质
CN112861852A (zh) * 2021-01-19 2021-05-28 北京金山云网络技术有限公司 样本数据筛选方法、装置、电子设备及存储介质
CN117148959A (zh) * 2023-02-27 2023-12-01 荣耀终端有限公司 眼动追踪的帧率调整方法及相关装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112822418B (zh) * 2020-12-31 2022-12-06 北京字节跳动网络技术有限公司 视频处理方法和装置、存储介质和电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102591016A (zh) * 2010-12-17 2012-07-18 微软公司 用于扩展现实显示的优化聚焦区
US20130024501A1 (en) * 2010-07-12 2013-01-24 Opus Medicus, Inc. Systems and methods for networked, in-context, high-resolution image viewing
CN103249352A (zh) * 2010-12-08 2013-08-14 索尼电脑娱乐公司 利用视线跟踪的自适应显示
CN103354997A (zh) * 2011-02-18 2013-10-16 索尼公司 图像处理设备和图像处理方法
CN104137050A (zh) * 2012-02-22 2014-11-05 西里克斯系统公司 具有分级更新的远程显示
CN106412563A (zh) * 2016-09-30 2017-02-15 珠海市魅族科技有限公司 一种图像显示方法以及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9791924B2 (en) * 2014-12-23 2017-10-17 Mediatek Inc. Eye tracking with mobile device in a head-mounted display
CN107203270A (zh) * 2017-06-06 2017-09-26 歌尔科技有限公司 Vr图像处理方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130024501A1 (en) * 2010-07-12 2013-01-24 Opus Medicus, Inc. Systems and methods for networked, in-context, high-resolution image viewing
CN103249352A (zh) * 2010-12-08 2013-08-14 索尼电脑娱乐公司 利用视线跟踪的自适应显示
CN102591016A (zh) * 2010-12-17 2012-07-18 微软公司 用于扩展现实显示的优化聚焦区
CN103354997A (zh) * 2011-02-18 2013-10-16 索尼公司 图像处理设备和图像处理方法
CN104137050A (zh) * 2012-02-22 2014-11-05 西里克斯系统公司 具有分级更新的远程显示
CN106412563A (zh) * 2016-09-30 2017-02-15 珠海市魅族科技有限公司 一种图像显示方法以及装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018223663A1 (zh) * 2017-06-06 2018-12-13 歌尔科技有限公司 Vr图像处理方法、装置及设备
CN107844177A (zh) * 2017-10-18 2018-03-27 歌尔科技有限公司 设备参数调整方法、装置及电子设备
CN107945100A (zh) * 2017-11-28 2018-04-20 歌尔科技有限公司 虚拟现实场景的展示方法、虚拟现实设备及系统
WO2020034669A1 (zh) * 2018-08-16 2020-02-20 北京七鑫易维信息技术有限公司 一种图像获取设备的控制方法及装置
US11853471B2 (en) 2018-08-16 2023-12-26 Beijing 7Invensun Technology Co., Ltd. Method and apparatus for controlling image acquisition device
WO2020038407A1 (zh) * 2018-08-21 2020-02-27 腾讯科技(深圳)有限公司 一种图像渲染方法、装置及图像处理设备、存储介质
US11295528B2 (en) 2018-08-21 2022-04-05 Tencent Technology (Shenzhen) Company Limited Image rendering method and apparatus, image processing device, and storage medium
CN110855972A (zh) * 2019-11-21 2020-02-28 Oppo广东移动通信有限公司 图像处理方法以及电子设备和存储介质
CN110910509A (zh) * 2019-11-21 2020-03-24 Oppo广东移动通信有限公司 图像处理方法以及电子设备和存储介质
CN110855972B (zh) * 2019-11-21 2021-07-27 Oppo广东移动通信有限公司 图像处理方法以及电子设备和存储介质
CN112861852A (zh) * 2021-01-19 2021-05-28 北京金山云网络技术有限公司 样本数据筛选方法、装置、电子设备及存储介质
CN117148959A (zh) * 2023-02-27 2023-12-01 荣耀终端有限公司 眼动追踪的帧率调整方法及相关装置

Also Published As

Publication number Publication date
WO2018223663A1 (zh) 2018-12-13

Similar Documents

Publication Publication Date Title
CN107203270A (zh) Vr图像处理方法及装置
US11714487B2 (en) Gaze and smooth pursuit based continuous foveal adjustment
US10739849B2 (en) Selective peripheral vision filtering in a foveated rendering system
US11619989B2 (en) Gaze and saccade based graphical manipulation
US20210183165A1 (en) Image processing method and apparatus, electronic device, and computer-readable storage medium
US9684946B2 (en) Image making
CN103927005B (zh) 显示控制方法及显示控制装置
CN110378914A (zh) 基于注视点信息的渲染方法及装置、系统、显示设备
US10895909B2 (en) Gaze and saccade based graphical manipulation
CN109741289B (zh) 一种图像融合方法和vr设备
CN108038816A (zh) 一种虚拟现实图像处理装置及方法
CN115220572A (zh) 视点渲染
CN109840491A (zh) 视频流播放方法、系统、计算机装置及可读存储介质
EP4009147A1 (en) Gaze and saccade based graphical manipulation
Ahn et al. Real-time adjustment of contrast saliency for improved information visibility in mobile augmented reality
CN114374882A (zh) 弹幕信息的处理方法、装置、终端及计算机可读存储介质
CN204964878U (zh) 一种可消除色差的头戴式显示装置
US6979084B2 (en) Method for evaluating binocular performance of spectacle lenses, method for displaying binocular performance, and apparatus therefore
US10839587B2 (en) Image processing methods and devices for moving a target object by using a target ripple
CN107230249A (zh) 阴影渲染方法和装置
CN104346046B (zh) 三维仿真翻页方法及系统
CN106548184A (zh) 一种调整光照平衡的方法和装置
CN105933690A (zh) 一种自适应调整3d画面内容大小的方法和装置
CN113450444B (zh) 生成光照贴图的方法、装置、存储介质及电子设备
CN109885172A (zh) 一种基于增强现实ar的对象互动展示方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170926

RJ01 Rejection of invention patent application after publication