CN111710050A - 一种用于虚拟现实设备的图像处理方法及装置 - Google Patents

一种用于虚拟现实设备的图像处理方法及装置 Download PDF

Info

Publication number
CN111710050A
CN111710050A CN202010593730.2A CN202010593730A CN111710050A CN 111710050 A CN111710050 A CN 111710050A CN 202010593730 A CN202010593730 A CN 202010593730A CN 111710050 A CN111710050 A CN 111710050A
Authority
CN
China
Prior art keywords
virtual reality
determining
user
image
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010593730.2A
Other languages
English (en)
Inventor
黄俊岚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202010593730.2A priority Critical patent/CN111710050A/zh
Publication of CN111710050A publication Critical patent/CN111710050A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • G06T15/205Image-based rendering

Abstract

本发明实施例公开了一种用于虚拟现实设备的图像处理方法及装置。该方法包括:确定用户当前聚焦在虚拟现实图像上的视线焦点,其中,所述虚拟现实图像基于虚拟现实设备中的显示设备显示;基于所述视线焦点,确定在所述显示设备中对应的目标处理区域;对显示在所述目标处理区域内的虚拟现实图像进行细粒度渲染处理。利用该处理方法,在用户基于虚拟现实设备观看虚拟虚拟现实图像时,能够跟踪用户的视线焦点,并基于视线焦点仅对设定用户视角范围内的显示区域进行精细渲染,由此减轻虚拟现实设备中图像处理器进行图像处理时的处理负担,降低图像处理器的处理功耗;此外,还可以降低虚拟现实设备中显示设备对于显示芯片的性能要求。

Description

一种用于虚拟现实设备的图像处理方法及装置
本分案申请的原案是发明专利申请。原案申请号是2016107160015,原案发明名称是一种用于虚拟现实设备的图像处理方法及装置,原案的申请日是2016年8月24日。
技术领域
本发明实施例涉及虚拟现实技术领域,尤其涉及一种用于虚拟现实设备的图像处理方法及装置。
背景技术
虚拟现实(Virtual Reality,VR)设备是与虚拟现实技术领域相关的硬件产品,VR技术是综合利用计算机图形系统和现实中各种接口设备,在计算机上生成可交互的沉浸式环境的技术。随着科技的不断发展,VR技术正在普及,现有的VR设备一般为头戴式设备,通过将VR设备戴在头上用户可以体验到身临其境的感觉。
一般的,对于VR设备而言,通常需要对VR设备中显示的虚拟现实图像进行精细的渲染,由此提高用户佩戴虚拟现实设备后具有更真实的体验效果。具体的,对虚拟现实图像的渲染主要靠VR设备中的图像处理器实现,在VR设备中,如果基于图像处理器对所显示的每一帧虚拟现实图像都进行精细的渲染,则会给图像处理器增加很重的负担,同时也相应增加了处理功耗,如何减轻图像处理器的处理负担及降低处理功耗已成为VR设备中亟待解决的问题。
发明内容
本发明实施例提供了一种用于虚拟现实设备的图像处理方法及装置,以减轻虚拟现实设备中图像处理器的处理负担,同时降低处理功耗。
一方面,本发明实施例提供了一种用于虚拟现实设备的图像处理方法,包括:
确定用户当前聚焦在虚拟现实图像上的视线焦点,其中,所述虚拟现实图像基于虚拟现实设备中的显示设备显示;
基于所述视线焦点,确定在所述显示设备中对应的目标处理区域;
对显示在所述目标处理区域内的虚拟现实图像进行细粒度渲染处理。
另一方面,本发明实施例提供了一种用于虚拟现实设备的图像处理装置,包括:
视线焦点确定模块,用于确定用户当前聚焦在虚拟现实图像上的视线焦点,其中,所述虚拟现实图像基于虚拟现实设备中的显示设备显示;
目标区域确定模块,用于基于所述视线焦点,确定在所述显示设备中对应的目标处理区域;
第一渲染处理模块,用于对显示在所述目标处理区域内的虚拟现实图像进行细粒度渲染处理。
本发明实施例中提供的一种用于虚拟现实设备的图像处理方法及装置。该处理方法首先确定用户当前聚焦在虚拟现实图像上的视线焦点;然后基于所确定的视线焦点确定在虚拟现实设备中对应的目标处理区域;最终对显示在目标处理区域内的虚拟现实图像。利用该处理方法,在用户基于虚拟现实设备观看虚拟虚拟现实图像时,能够跟踪用户的视线焦点,并基于视线焦点仅对设定用户视角范围内的显示区域进行精细渲染,由此减轻虚拟现实设备中图像处理器进行图像处理时的处理负担,降低图像处理器的处理功耗;此外,还可以降低虚拟现实设备中显示设备对于显示芯片的性能要求。
附图说明
图1为本发明实施例一提供的一种用于虚拟现实设备的图像处理方法的流程示意图;
图2为本发明实施例二提供的一种用于虚拟现实设备的图像处理方法的流程示意图;
图3为本发明实施例三提供的一种用于虚拟现实设备的图像处理方法的流程示意图;
图4为本发明实施例四提供的一种用于虚拟现实设备的图像处理装置的结构框图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种用于虚拟现实设备的图像处理方法的流程示意图,适用于对虚拟现实设备中的虚拟现实图像进行渲染处理的情况,该方法可以由用于虚拟现实设备的图像处理装置执行,其中该装置可由软件和/或硬件实现,作为虚拟现实设备的一部分集成在虚拟现实设备中。
如图1所示,本发明实施例一提供的一种用于虚拟现实设备的图像处理方法,包括如下操作:
、确定用户当前聚焦在虚拟现实图像上的视线焦点,其中,所述虚拟现实图像基于虚拟现实设备中的显示设备显示。
在本实施例中,所述视线焦点具体可理解为用户观看虚拟现实设备中显示设备上的虚拟现实图像时,眼光聚焦在所述虚拟现实图像上的具体位置。具体的,可以在用户佩戴虚拟现实设备后,通过追踪用户当前观看虚拟虚拟现实图像时的视线焦点来对虚拟现实图像进行渲染处理。
在本实施例中,所述虚拟现实设备包括:外壳、设置在外壳内的显示设备、相对显示设备更靠近人眼设置的光学成像设备、设置在外壳内壁不影响人眼视线的电池和处理器,以及缓冲框,此外,该虚拟现实设备还包括:红外线发射器和图像采集模块。具体的,所述显示设备包括对应左右眼设置的两个显示面板;光学成像设备包括对应左右眼设置的两个透镜;光学成像设备将显示设备上的内容投射到人眼中;所述电池用于向虚拟现实设备中的电学器件提供电源,所述处理器可以包括中央处理器和图像处理器两种,分别用于处理虚拟现实设备中的数据和图像;所述缓冲框可以与人脸外形接触,避免外界光线进入。
在本实施例中,可以基于所述红外线发射发射器发射红外光线;并基于所述图像采集模块采集人眼反射后的红外光线并形成眼部图像,之后基于所述处理器获取眼部图像中的数据信息来实现对用户当前视线焦点的跟踪确定。需要说明的是,所述虚拟现实设备中的显示设备包括了与用户左右眼相对应的显示面板,基于上述操作可以确定用户当前左右眼所对应视线角度,最终可以基于用户当前左右眼所对应视线角度确定出当前聚焦在虚拟现实图像上的视线焦点。
、基于所述视线焦点,确定在所述显示设备中对应的目标处理区域。
一般的,人单眼的水平视角最大可达156度,双眼的水平视角最大可达188度,人双眼重合视域为124度,其中,眼睛舒适视域为60度。所述眼睛舒适视域为60度具体可理解为只有在人眼视角为60度范围内的物体才能够被人看清楚,也只有此时人眼才能够聚焦,而人们对所述眼睛舒适视域范围之外的物体并不敏感。因此,本实施例在对虚拟现实图像进行渲染时,只需对与所述眼睛舒适视域相对的显示区域中的虚拟现实图像进行渲染即可达到增强用户体验真实性的效果。在本实施例中,所述目标处理区域具体可理解为正常情况下在显示设备上与用户眼睛的舒适视域角度值相对应的显示区域。
需要说明的是,在实际应用中,展现在用户眼前的只有一幅虚拟现实图像,而在所述虚拟现实设备中的显示设备却包括了两个显示面板,分别对应于用户左右眼的显示面板,因此,如果要确定所述显示设备中的目标处理区域,就需要在与用户双眼相对的显示面板上确定各自的目标处理区域。具体的,在各显示面板上确定的目标处理区域的过程可以概述为:首先基于视线焦点确定用户双眼视线落在对应显示面板上的聚焦点,然后基于各显示面板上的聚焦点确定各自的目标处理区域。
、对显示在所述目标处理区域内的虚拟现实图像进行细粒度渲染处理。
在本实施例中,可以认为所述目标处理区域内对应的虚拟现实图像为用户在舒适视域内可以清楚看到的图像,因此需要对所述目标处理区域内的虚拟现实图像进行精细的渲染处理。
可以理解的是,显示设备上播放的每帧虚拟现实图像都是由大量的单位图元组成的,对虚拟现实图像进行细粒度渲染处理,具体可理解为将虚拟现实图像中包括的单位图元一个个地渲染到显示设备上。在本实施例中,在确定所述目标处理区域后,仅需确定与所述目标处理区域内虚拟现实图像对应的单位图元,然后仅在所述目标处理区域内基于单位图元进行渲染处理,而在所述目标处理区域外不再基于单位图元进行渲染处理。
本发明实施例一提供的一种用于虚拟现实设备的图像处理方法,首先确定用户当前聚焦在虚拟现实图像上的视线焦点;然后基于所确定的视线焦点确定在虚拟现实设备中对应的目标处理区域;最终对显示在目标处理区域内的虚拟现实图像。利用该处理方法,在用户基于虚拟现实设备观看虚拟虚拟现实图像时,能够跟踪用户的视线焦点,并基于视线焦点仅对设定用户视角范围内的显示区域进行精细渲染,由此减轻虚拟现实设备中图像处理器进行图像处理时的处理负担,降低图像处理器的处理功耗;此外,还可以降低虚拟现实设备中显示设备对于显示芯片的性能要求。
实施例二
图2为本发明实施例二提供的一种用于虚拟现实设备的图像处理方法的流程示意图。本发明实施例以上实施例为基础进行优化,在本实施例中,将确定用户当前聚焦在虚拟现实图像上的视线焦点,具体优化为:在用户观看虚拟现实图像时,基于所述虚拟现实设备中的红外线发射器向用户眼球发射红外光线;基于所述虚拟现实设备中的图像采集模块采集经用户眼球反射后的红外光线,形成用户当前的眼部图像;基于所述眼部图像及预设的眼部参数信息确定用户双眼对应的视线角度;基于用户双眼对应的视线角度及用户当前的瞳距,确定用户当前聚焦于所述虚拟现实图像上的视线焦点。
进一步的,将基于所述视线焦点,确定在所述显示设备中对应的目标处理区域,具体优化为:将所述聚焦在虚拟现实图像上的视线焦点投影到对应于用户双眼的显示面板上形成相应的聚焦点;将所述聚焦点与相应眼球中心的连线确定为视线中心线;根据对应与用户双眼的视线中心线,分别在相应的显示面板上确定目标处理区域。
如图2所示,本发明实施例二提供的一种用于虚拟现实设备的图像处理方法,具体包括如下操作:
、在用户观看虚拟现实图像时,基于所述虚拟现实设备中的红外线发射器向用户眼球发射红外光线。
在本实施例中,在用户佩戴虚拟现实设备后,可以通过虚拟现实设备中的光学成像设备观看到显示设备上的虚拟现实图像,因此,在确定用户观看虚拟现实图像时,可以启动安装于缓冲框上的红外线发射器,然后基于红外线发射器向用户眼球发射红外光线。
在本实施例中,基于红外光线的特性可知,红外光线不会对用户眼睛造成伤害,同时也不会影响用户观看显示设备上的虚拟现实图像,且红外光线在暗环境下更容易成像,因此,可以通过红外线发射器向用户眼球发射的红外光线。
、基于所述虚拟现实设备中的图像采集模块采集经用户眼球反射后的红外光线,形成用户当前的眼部图像。
在本实施例中,所述图像采集模块可以看作一个感光器件,主要基于所吸收的光形成对应的图像,此外所述图像采集模块可优选的设置成一个具有捕捉红外光线功能的感光摄像头,以使所述图像采集模块仅能够采集红外光线,由此基于所吸收的红外光线形成用户的眼部图像。具体的,所述眼部图像具体可理解为包括用户双眼眼球信息的图像。
在本实施例中,所述红外线发射器和图像采集模块均安装于虚拟现实设备设备的缓冲框上,且根据所具有红外线发射器和图像采集模块的数量不同,在所述缓冲框上的安装位置就不相同,示例性的,假设虚拟现实设备中分别具有两个红外线发射器和图像采集模块,则可以在缓冲框的与用户每只眼睛对应的位置上安装一个红外线发射器并相应的对称安装一个图像采集模块,以用户左眼为例,可以在缓冲框的与用户左眼对应的上边框处安装一个红外线发射器,在与上边框对称的下边框处安装一个图像采集模块。
需要说明的是,本实施例中仅描述了红外线发射器及图像采集模块的一种安装方式,但对二者的安装并不局限于此种方式,只要所述红外线发射器向用户眼球发射的红外光线能精确地反射给图像采集模块形成用户眼部图像即可。
、基于所述眼部图像及预设的眼部参数信息确定用户双眼对应的视线角度。
在本实施例中,步骤S202中基于图像采集模块形成用户当前的眼部图像之后,需要将所述眼部图像发送给虚拟现实设备的处理器,通过所述处理器才能实现对用户当前视线焦点的确定。在本实施例中,在处理器获取所述眼部图像后,可以基于所述眼部图像中所包含的数据信息以及预先获得的眼部参数信息来确定用户当前的视线焦点信息。一般地,所述视线焦点信息无法用一个准确地具体值来描述,由于用户双眼分别对应一个显示面板,所以可以基于用户双眼眼球观看虚拟现实图像时分别形成的视线角度来表示。
、基于用户双眼对应的视线角度及用户当前的瞳距,确定用户当前聚焦于所述虚拟现实图像上的视线焦点。
在本实施例中,由于实际展现在用户眼前的仅有一幅虚拟现实图像,然而该幅图像实际由用户双眼分别通过观看各自的显示面板,所以用户双眼与各自对应显示面板的视线角度最终会在用户所观看的虚拟现实图像上聚焦成一个视线焦点。
具体的,在确定用户双眼对应的视线角度后,还可以获取基于用户当前眼部图像确定用户当前的瞳距,所述瞳距具体可指用户左眼眼球中心到右眼眼球中心的距离;之后基于双眼对应的视线角度及瞳距就可以确定用户当前聚焦于所述虚拟现实图像上的视线焦点。
、将所述聚焦在虚拟现实图像上的视线焦点投影到对应于用户双眼的显示面板上形成相应的聚焦点。
在本实施例中,用户左右眼所观看到的虚拟现实图像基于与之对应的显示面板实现,因此所述聚焦在虚拟现实图像上的视线焦点可以分别投影到与用户双眼相对应的显示面板上,并分别在各自的显示面板上形成相应的聚焦点。
、将所述聚焦点与相应眼球中心的连线确定为视线中心线。
示例性的,如果将与用户左眼相对应显示面板上的聚焦点记为A,同时将用户左眼眼球中心记为B,则点A和点B的连线AB就可以称作所述视线中心线。
、根据对应与用户双眼的视线中心线,分别在相应的显示面板上确定目标处理区域。
在本实施例中,可以通过所确定的视线中心线来确定用户眼睛舒适视域在相应显示面板上对应的目标处理区域。
进一步的,所述根据对应与用户双眼的视线中心线,分别在相应的显示面板上确定目标处理区域,具体包括:将包含所述视线中心线的任一平面记为水平面,在所述水平面上以眼球中心为顶点确定与所述视线中心线成设定角度值的两条射线;确定所述两条射线与相应显示面板相交后形成的线段,记所述线段为第一线段;将过所述视线中心线且与所述水平面垂直的平面记为垂直面,在所述垂直面上以眼球中心为顶点确定与所述视线中心线成设定角度值的两条新射线;确定所述两条新射线与相应显示面板相交后形成的线段,记所述线段为第二线段;基于所述第一线段和所述第二线段确定一个四边形,并将所述四边形对应的显示区域确定为相应显示面板的目标处理区域。
在本实施例中,所述设定角度值具体为所述用户眼睛舒适视域角度值的一半。示例性的,可以将所述用户眼睛舒适视域的角度范围优选为60度,则所述设定角度值为30度。
具体的,所确定的视线中心线可以属于任一个平面,首先可以确定经过所述视线中心线的一个平面,并记为水平面,然后可以在该水平面内以用户眼球中心为顶点确定出与所述视线中心线分别成30度角的两条射线,所确定的两条射线必定与相应的显示面板相交,由此可确定与显示面板相交后形成的两个点C和D;此外,还可以基于上述方法在显示面板上再确定两个点E和F,最终连接上述四个点便在所述显示面板上形成了四边形CDEF,所述四边形CDEF可作为所述目标处理区域。
需要说明的是,本实施例优选地选取两个垂直平面来确定显示面板上的目标处理区域,但并不局限于基于垂直的平面来确定,只要是由所述视线中心线形成的平面,并以设定角度值确定的射线与显示面板相交后能够得到线段,且线段端点的连线所组成的封闭区域即可作为所述目标处理区域。
、对显示在所述目标处理区域内的虚拟现实图像进行细粒度渲染处理。
示例性的,在确定出四边形CDEF之后,就可以对处于四边形CDEF中的虚拟现实图像进行细粒度渲染处理。
本发明实施例二提供的一种用于虚拟现实设备的图像处理方法,具体化了视线焦点的确定过程,同时还具体化了目标处理区域的确定过程。利用该处理方法,在用户基于虚拟现实设备观看虚拟虚拟现实图像时,能够跟踪用户的视线焦点,并基于视线焦点仅对设定用户视角范围内的显示区域进行精细渲染,由此减轻虚拟现实设备中图像处理器进行图像处理时的处理负担,降低图像处理器的处理功耗;此外,还可以降低虚拟现实设备中显示设备对于显示芯片的性能要求。
需要说明的是,本发明实施例二还给出了“根据对应与用户双眼的视线中心线,分别在相应的显示面板上确定目标处理区域”的另外一种实现方式,具体的,该种方式的实现步骤包括:将包含所述视线中心线的任一平面记为水平面,在所述水平面上以眼球中心为顶点确定与所述视线中心线成设定角度值的两条射线;确定所述两条射线与相应显示面板相交后形成的线段;以所述线段为直径在相应显示面板上确定一个圆形区域,并将所述圆形区域确定为相应显示面板的目标处理区域。
在本实施例中,对所述目标处理区域的确定也并不局限于本实施例描述的四边形或多边形,还可以是用户眼睛舒适视域所形成的视锥在所述显示面板上对应的圆形区域,且所形成圆形的直径可以通过上述的步骤确定。
实施例三
图3为本发明实施例三提供的一种用于虚拟现实设备的图像处理方法的流程示意图。本发明实施例三以上述实施例为基础进行优化,在本实施例,将对显示在所述目标处理区域内的虚拟现实图像进行细粒度渲染处理,具体化为:获取所述目标处理区域内的虚拟现实图像对应的图像数据;将所述目标处理区域基于单位图元进行划分,并确定所述每个单位图元的图元位置;根据所述每个单位图元的图元位置,从所述图像数据中获取所述每个单位图元的图元数据;对所述目标处理区域中每个单位图元的图元数据进行渲染。
进一步的,本发明实施例还优化包括了:对所述显示设备中目标处理区域外的显示区域进行粗粒度渲染处理。
如图3所示,本发明实施例三提供的一种用于虚拟现实设备的图像处理方法,具体包括如下操作:
、确定用户当前聚焦在虚拟现实图像上的视线焦点,其中,所述虚拟现实图像基于虚拟现实设备中的显示设备显示。
示例性的,可以在观看虚拟现实图像时分别确定用户双眼当前的视线角度,所述用户双眼当前的视线角度组成了用户当前的视线焦点信息。
、基于所述视线焦点,确定在所述显示设备中对应的目标处理区域。
示例性的,在确定用户双眼当前的视线角度后,就可以与用户双眼对应的显示面板上确定聚焦点,基于确定的聚焦点可以确定与用户双眼对应的视线中心线,并最终基于所述视线中心线以及设定角度值确定目标处理区域。
、获取所述目标处理区域内的虚拟现实图像对应的图像数据。
在本实施例中,步骤S303至步骤S306给出了细粒度渲染处理的实现过程。首先,需要获取处于所述目标处理区域内的虚拟现实图像所对应的图像数据。一般的,对显示面板上的图像进行图像渲染前,可以首先从缓存中获取所述目标处理区域内的虚拟现实图像对应的图像数据。
在本实施例中,所述图像数据可以通过一种或多种图元大小划分形成至少一个图元数据,所述图元数据包括图元的顶点坐标、法向量、颜色和深度值等。示例性的,本实施例优选的通过单位图元大小对图像数据进行划分,将该图像数据划分成由多个单位图元数据组成。
、将所述目标处理区域基于单位图元进行划分,并确定所述每个单位图元的图元位置。
在本实施例中,可以通过对目标处理区域进行划分来得到每个单位图元在目标处理区域中的具体位置。
、根据所述每个单位图元的图元位置,从所述图像数据中获取所述每个单位图元的图元数据。
在本实施例中,图像数据中由多个大小为单位图元的图元数据组成,所以可以从图像数据中获取到每个单位图元的图元位置对应的图元数据,则每个单位图元的图元位置对应的图元数据分别为每个单位图元的图元数据。
、对所述目标处理区域中每个单位图元的图元数据进行渲染。
对于目标处理区域中的每个单位图元,可以将所述单位图元的图元数据输出给渲染管线,渲染管线根据该单位图元的位置就可以将该单位图元的图元数据渲染到该单位图元的图元位置中,由此完成对所述目标处理区域中虚拟现实图像的细粒度渲染。
、对所述显示设备中目标处理区域外的显示区域进行粗粒度渲染处理。
在本实施例中,在确定所述目标处理区域并对该区域中的虚拟现实图像进行细粒度渲染处理之后,还需要对显示设备(与用户双眼对应的显示面板)中处于其他显示区域的虚拟现实图像也进行渲染,但在用户当前视线焦点对应的舒适视阈角度范围内,用户对处于其他显示区域的虚拟现实图像并不敏感,因此没必要对该显示区域的虚拟现实图像也基于单位图元进行渲染。具体的,对所述显示设备中目标处理区域外的显示区域进行粗粒度渲染处理可以概述为:在其他显示区域内基于多个单位图元组成一个待处理图元,然后获取所述待处理图元对应的图元位置以及图元数据,最终基于所述图元位置对所述图元数据进行渲染,由此实现对其他显示区域内虚拟现实图像的粗粒度渲染处理。
本发明实施例三提供的一种用于虚拟现实设备的图像处理方法,具体化了对目标处理区域内的虚拟现实图像进行细粒度渲染的过程,还优化增加了对目标处理区域外的显示区域进行粗粒度渲染的过程。利用该处理方法,能够仅对处于目标处理区域内的虚拟现实图像进行精细渲染,而对该区域外的其他显示区域进行模糊处理,由此减轻虚拟现实设备中图像处理器进行图像处理时的处理负担,降低图像处理器的处理功耗;此外,还可以降低虚拟现实设备中显示设备对于显示芯片的性能要求。
实施例四
图4为本发明实施例四提供的一种用于虚拟现实设备的图像处理装置的结构框图。该装置适用于对虚拟现实设备中的虚拟现实图像进行渲染处理的情况,其中该装置可由软件和/或硬件实现,作为虚拟现实设备的一部分集成在虚拟现实设备中。如图4所示,该装置包括:视线焦点确定模块41、目标区域确定模块42以及第一渲染处理模块43。
其中,视线焦点确定模块41,用于确定用户当前聚焦在虚拟现实图像上的视线焦点,其中,所述虚拟现实图像基于虚拟现实设备中的显示设备显示。
目标区域确定模块42,用于基于所述视线焦点,确定在所述显示设备中对应的目标处理区域。
第一渲染处理模块43,用于对显示在所述目标处理区域内的虚拟现实图像进行细粒度渲染处理。
在本实施例中,该装置首先通过视线焦点确定模块41确定用户当前聚焦在虚拟现实图像上的视线焦点;然后通过目标区域确定模块42基于所述视线焦点,确定在所述显示设备中对应的目标处理区域;最终通过第一渲染处理模块43对显示在所述目标处理区域内的虚拟现实图像进行细粒度渲染处理。
本发明实施例四提供了一种用于虚拟现实设备的图像处理装置,利用该处理装置,能够仅对处于目标处理区域内的虚拟现实图像进行精细渲染,而对该区域外的其他显示区域进行模糊处理,由此减轻虚拟现实设备中图像处理器进行图像处理时的处理负担,降低图像处理器的处理功耗;此外,还可以降低虚拟现实设备中显示设备对于显示芯片的性能要求。
进一步的,所述目标区域确定模块41,具体用于:
在用户观看虚拟现实图像时,基于所述虚拟现实设备中的红外线发射器向用户眼球发射红外光线;基于所述虚拟现实设备中的图像采集模块采集经用户眼球反射后的红外光线,形成用户当前的眼部图像;基于所述眼部图像及预设的眼部参数信息确定用户双眼对应的视线角度;基于用户双眼对应的视线角度及用户当前的瞳距,确定用户当前聚焦于所述虚拟现实图像上的视线焦点。
进一步的,所述目标区域确定模块42,包括:
聚焦点确定单元,用于将所述聚焦在虚拟现实图像上的视线焦点投影到对应于用户双眼的显示面板上形成相应的聚焦点;中心线确定单元,用于将所述聚焦点与相应眼球中心的连线确定为视线中心线;目标区域确定单元,用于根据对应于用户双眼的视线中心线,分别在相应的显示面板上确定目标处理区域。
在上实施例的基础上,所述目标区域确定单元,具体用于:
将包含所述视线中心线的任一平面记为水平面,在所述水平面上以眼球中心为顶点确定与所述视线中心线成设定角度值的两条射线;确定所述两条射线与相应显示面板相交后形成的线段,记所述线段为第一线段;将过所述视线中心线且与所述水平面垂直的平面记为垂直面,在所述垂直面上以眼球中心为顶点确定与所述视线中心线成设定角度值的两条新射线;确定所述两条新射线与相应显示面板相交后形成的线段,记所述线段为第二线段;基于所述第一线段和所述第二线段确定一个四边形,并将所述四边形对应的显示区域确定为相应显示面板的目标处理区域。
在上述实施例的基础上,所述目标区域确定单元,具体还可用于:
将包含所述视线中心线的任一平面记为水平面,在所述水平面上以眼球中心为顶点确定与所述视线中心线成设定角度值的两条射线;确定所述两条射线与相应显示面板相交后形成的线段;以所述线段为直径在相应显示面板上确定一个圆形区域,并将所述圆形区域确定为相应显示面板的目标处理区域。
进一步的,所述第一渲染处理模块,具体用于:
获取所述目标处理区域内的虚拟现实图像对应的图像数据;将所述目标处理区域基于单位图元进行划分,并确定所述每个单位图元的图元位置;根据所述每个单位图元的图元位置,从所述图像数据中获取所述每个单位图元的图元数据;对所述目标处理区域中每个单位图元的图元数据进行渲染。
进一步的,该处理装置,还优化包括了:
第二渲染处理模块,用于对所述显示设备中目标处理区域外的显示区域进行粗粒度渲染处理。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种用于虚拟现实设备的图像处理方法,其特征在于,包括:确定用户当前聚焦在虚拟现实图像上的视线焦点,其中,所述虚拟现实图像基于虚拟现实设备中的显示设备显示;
基于所述视线焦点,确定在所述显示设备中对应的目标处理区域;
对显示在所述目标处理区域内的虚拟现实图像进行细粒度渲染处理。
2.根据权利要求1所述的方法,其特征在于,所述确定用户当前聚焦在虚拟现实图像上的视线焦点,包括:在用户观看虚拟现实图像时,基于所述虚拟现实设备中的红外线发射器向用户眼球发射红外光线;
基于所述虚拟现实设备中的图像采集模块采集经用户眼球反射后的红外光线,形成用户当前的眼部图像;
基于所述眼部图像及预设的眼部参数信息确定用户双眼对应的视线角度;
基于用户双眼对应的视线角度及用户当前的瞳距,确定用户当前聚焦于所述虚拟现实图像上的视线焦点。
3.根据权利要求1所述的方法,其特征在于,所述基于所述视线焦点,确定在所述显示设备中对应的目标处理区域,包括:将所述聚焦在虚拟现实图像上的视线焦点投影到对应于用户双眼的显示面板上形成相应的聚焦点;
将所述聚焦点与相应眼球中心的连线确定为视线中心线;
根据对应与用户双眼的视线中心线,分别在相应的显示面板上确定目标处理区域。
4.根据权利要求3所述的方法,其特征在于,所述根据对应与用户双眼的视线中心线,分别在相应的显示面板上确定目标处理区域,具体包括:将包含所述视线中心线的任一平面记为水平面,在所述水平面上以眼球中心为顶点确定与所述视线中心线成设定角度值的两条射线;
确定所述两条射线与相应显示面板相交后形成的线段,记所述线段为第一线段;
将过所述视线中心线且与所述水平面垂直的平面记为垂直面,在所述垂直面上以眼球中心为顶点确定与所述视线中心线成设定角度值的两条新射线;
确定所述两条新射线与相应显示面板相交后形成的线段,记所述线段为第二线段;
基于所述第一线段和所述第二线段确定一个四边形,并将所述四边形对应的显示区域确定为相应显示面板的目标处理区域。
5.根据权利要求3所述的方法,其特征在于,所述根据对应与用户双眼的视线中心线,分别在相应的显示面板上确定目标处理区域,具体包括:将包含所述视线中心线的任一平面记为水平面,在所述水平面上以眼球中心为顶点确定与所述视线中心线成设定角度值的两条射线;
确定所述两条射线与相应显示面板相交后形成的线段;
以所述线段为直径在相应显示面板上确定一个圆形区域,并将所述圆形区域确定为相应显示面板的目标处理区域。
6.根据权利要求1-5任一所述的方法,其特征在于,所述对显示在所述目标处理区域内的虚拟现实图像进行细粒度渲染处理,包括:获取所述目标处理区域内的虚拟现实图像对应的图像数据;
将所述目标处理区域基于单位图元进行划分,并确定所述每个单位图元的图元位置;
根据所述每个单位图元的图元位置,从所述图像数据中获取所述每个单位图元的图元数据;
对所述目标处理区域中每个单位图元的图元数据进行渲染。
7.根据权利要求1-5任一所述的方法,还包括:对所述显示设备中目标处理区域外的显示区域进行粗粒度渲染处理。
8.一种用于虚拟现实设备的图像处理装置,其特征在于,包括:视线焦点确定模块,用于确定用户当前聚焦在虚拟现实图像上的视线焦点,其中,所述虚拟现实图像基于虚拟现实设备中的显示设备显示;
目标区域确定模块,用于基于所述视线焦点,确定在所述显示设备中对应的目标处理区域;
第一渲染处理模块,用于对显示在所述目标处理区域内的虚拟现实图像进行细粒度渲染处理。
9.根据权利要求1所述的装置,其特征在于,所述目标区域确定模块,具体用于:在用户观看虚拟现实图像时,基于所述虚拟现实设备中的红外线发射器向用户眼球发射红外光线;
基于所述虚拟现实设备中的图像采集模块采集经用户眼球反射后的红外光线,形成用户当前的眼部图像;
基于所述眼部图像及预设的眼部参数信息确定用户双眼对应的视线角度;
基于用户双眼对应的视线角度及用户当前的瞳距,确定用户当前聚焦于所述虚拟现实图像上的视线焦点。
10.根据权利要求1所述的装置,其特征在于,所述目标区域确定模块,包括:聚焦点确定单元,用于将所述聚焦在虚拟现实图像上的视线焦点投影到对应于用户双眼的显示面板上形成相应的聚焦点;
中心线确定单元,用于将所述聚焦点与相应眼球中心的连线确定为视线中心线;
目标区域确定单元,用于根据对应于用户双眼的视线中心线,分别在相应的显示面板上确定目标处理区域。
CN202010593730.2A 2016-08-24 2016-08-24 一种用于虚拟现实设备的图像处理方法及装置 Withdrawn CN111710050A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010593730.2A CN111710050A (zh) 2016-08-24 2016-08-24 一种用于虚拟现实设备的图像处理方法及装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010593730.2A CN111710050A (zh) 2016-08-24 2016-08-24 一种用于虚拟现实设备的图像处理方法及装置
CN201610716001.5A CN106327584B (zh) 2016-08-24 2016-08-24 一种用于虚拟现实设备的图像处理方法及装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201610716001.5A Division CN106327584B (zh) 2016-08-24 2016-08-24 一种用于虚拟现实设备的图像处理方法及装置

Publications (1)

Publication Number Publication Date
CN111710050A true CN111710050A (zh) 2020-09-25

Family

ID=57791499

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201610716001.5A Active CN106327584B (zh) 2016-08-24 2016-08-24 一种用于虚拟现实设备的图像处理方法及装置
CN202010593730.2A Withdrawn CN111710050A (zh) 2016-08-24 2016-08-24 一种用于虚拟现实设备的图像处理方法及装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201610716001.5A Active CN106327584B (zh) 2016-08-24 2016-08-24 一种用于虚拟现实设备的图像处理方法及装置

Country Status (1)

Country Link
CN (2) CN106327584B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106485790A (zh) * 2016-09-30 2017-03-08 珠海市魅族科技有限公司 一种画面显示的方法以及装置
CN110402415A (zh) * 2017-03-17 2019-11-01 奇跃公司 记录增强现实数据的技术
CN108881706B (zh) * 2017-05-16 2023-10-10 北京三星通信技术研究有限公司 控制多媒体设备工作的方法及装置
CN107516335A (zh) * 2017-08-14 2017-12-26 歌尔股份有限公司 虚拟现实的图形渲染方法和装置
CN108038816A (zh) * 2017-12-20 2018-05-15 浙江煮艺文化科技有限公司 一种虚拟现实图像处理装置及方法
CN109087260A (zh) * 2018-08-01 2018-12-25 北京七鑫易维信息技术有限公司 一种图像处理方法及装置
CN109448050B (zh) * 2018-11-21 2022-04-29 深圳市创梦天地科技有限公司 一种目标点的位置的确定方法及终端
CN109727316B (zh) * 2019-01-04 2024-02-02 京东方科技集团股份有限公司 虚拟现实图像的处理方法及其系统
CN110084879B (zh) * 2019-04-28 2023-06-27 网易(杭州)网络有限公司 虚拟场景中的对象处理方法、装置、介质及电子设备
CN111724398A (zh) * 2020-06-18 2020-09-29 五八有限公司 一种图像显示方法及装置
CN113262464A (zh) * 2021-04-21 2021-08-17 青岛小鸟看看科技有限公司 一种虚拟现实场景的动态改变方法、装置及电子设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110075257A1 (en) * 2009-09-14 2011-03-31 The Arizona Board Of Regents On Behalf Of The University Of Arizona 3-Dimensional electro-optical see-through displays
CN101877144B (zh) * 2009-11-27 2012-07-18 深圳职业技术学院 虚拟图书馆海量图书三维立体建模方法
CN105188516B (zh) * 2013-03-11 2017-12-22 奇跃公司 用于增强和虚拟现实的系统与方法
CN104679509B (zh) * 2015-02-06 2019-11-15 腾讯科技(深圳)有限公司 一种渲染图形的方法和装置

Also Published As

Publication number Publication date
CN106327584A (zh) 2017-01-11
CN106327584B (zh) 2020-08-07

Similar Documents

Publication Publication Date Title
CN106327584B (zh) 一种用于虚拟现实设备的图像处理方法及装置
CN110187855B (zh) 近眼显示设备的避免全息影像阻挡视线的智能调节方法
US9690099B2 (en) Optimized focal area for augmented reality displays
US20190331914A1 (en) Experience Sharing with Region-Of-Interest Selection
WO2017183346A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US20130007668A1 (en) Multi-visor: managing applications in head mounted displays
CN108139806A (zh) 相对于可穿戴设备跟踪穿戴者的眼睛
US20210080727A1 (en) Image display device using retinal scanning display unit and method thereof
US11487354B2 (en) Information processing apparatus, information processing method, and program
CN104898276A (zh) 头戴式显示装置
WO2020215960A1 (zh) 注视区域的确定方法、装置及可穿戴设备
EP3714318A1 (en) Position tracking system for head-mounted displays that includes sensor integrated circuits
CN110708533A (zh) 基于增强现实的视觉辅助方法及智能穿戴设备
US11533443B2 (en) Display eyewear with adjustable camera direction
US20210382316A1 (en) Gaze tracking apparatus and systems
KR20180109669A (ko) 가상 오브젝트의 처리가 가능한 스마트 안경
US20220035449A1 (en) Gaze tracking system and method
US11747897B2 (en) Data processing apparatus and method of using gaze data to generate images
US11270409B1 (en) Variable-granularity based image warping
CN114020150A (zh) 图像显示方法、装置、电子设备及介质
CN113960788A (zh) 图像显示方法、装置、ar眼镜及存储介质
EP4312105A1 (en) Head-mounted display and image displaying method
EP3961572A1 (en) Image rendering system and method
GB2616288A (en) Gaze tracking system and method
CN115914603A (zh) 图像渲染方法、头戴显示设备和可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20200925