CN109727316A - 虚拟现实图像的处理方法及其系统 - Google Patents

虚拟现实图像的处理方法及其系统 Download PDF

Info

Publication number
CN109727316A
CN109727316A CN201910006515.5A CN201910006515A CN109727316A CN 109727316 A CN109727316 A CN 109727316A CN 201910006515 A CN201910006515 A CN 201910006515A CN 109727316 A CN109727316 A CN 109727316A
Authority
CN
China
Prior art keywords
image
user
virtual reality
processing
main area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910006515.5A
Other languages
English (en)
Other versions
CN109727316B (zh
Inventor
邵继洋
毕育欣
孙剑
张�浩
訾峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd, Beijing BOE Optoelectronics Technology Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201910006515.5A priority Critical patent/CN109727316B/zh
Publication of CN109727316A publication Critical patent/CN109727316A/zh
Application granted granted Critical
Publication of CN109727316B publication Critical patent/CN109727316B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明提出一种虚拟现实图像的处理方法及其系统。其中,方法包括:在第一图像中截取用户的主观测区对应的图像作为第二图像,并将第一图像中的其他部分作为第三图像。对第二图像进行超分辨率画质处理,并将处理后的第二图像作为第四图像。根据第三图像和第四图像,获取虚拟现实图像。由此,本发明实施例实现了在图像处理过程中,只对用户的主观测区对应的图像进行超分辨率画质处理,节省了图像处理过程中系统资源的消耗。解决了现有技术中对待处理图像进行处理时,图像渲染工作量过大,从而导致系统资源消耗过大,图像处理效率太低,进而引起图像显示出现卡顿的技术问题。

Description

虚拟现实图像的处理方法及其系统
技术领域
本发明涉及虚拟现实技术领域,尤其涉及一种虚拟现实图像的图像处理方法及其系统。
背景技术
随着虚拟现实技术的不断发展,人们对虚拟现实设备提供图像的分辨率要求越来越高,对高分辨率图像进行处理需要较高的硬件配置,消耗极大的系统资源,需要改进虚拟现实图像的处理方法来降低图像处理过程中的系统资源消耗。
相关技术中,首先对视野可见场景进行低分辨率的渲染,再根据用户的注视点确定用户的关注区域,对用户的关注区域内的图像进行高分辨率的渲染,将两次渲染之后的图像进行融合,显示给用户。现有技术中对待处理图像进行处理时,图像渲染工作量过大,从而导致系统资源消耗过大,图像处理效率太低,进而引起图像显示出现卡顿。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此,本发明的第一个目的在于提出一种虚拟现实图像的处理方法,以实现只对用户的主观测区对应的图像进行超分辨率画质处理,进而节省图像处理过程中的系统资源消耗。
本发明的第二个目的在于提出一种虚拟现实图像的处理系统。
本发明的第三个目的在于提出一种非临时性计算机可读存储介质。
为达上述目的,本发明第一方面实施例提出了一种虚拟现实图像的处理方法,包括:在第一图像中截取用户的主观测区对应的图像作为第二图像,并将所述第一图像中的其他部分作为第三图像;对所述第二图像进行超分辨率画质处理,并将处理后的所述第二图像作为第四图像;根据所述第三图像和所述第四图像,获取虚拟现实图像。
和现有技术相比,本发明实施例在对待处理图像进行处理时,仅对用户的主观测区对应的图像进行超分辨率画质处理,节省了图像处理过程中的系统资源消耗。
另外,本发明实施例的虚拟现实图像的处理方法,还具有如下附加的技术特征:
可选地,在所述在第一图像中截取用户的主观测区对应的图像作为第二图像之前,还包括:获取所述用户的姿态信息;根据所述姿态信息获取所述第一图像;将所述第一图像进行存储,所述第一图像是所述用户的姿态信息对应的低分辨率场景图像。
可选地,在所述将所述第一图像进行存储之后,还包括:追踪所述用户的眼球位置,并根据所述眼球位置计算所述用户的注视点;根据所述用户的注视点确定所述用户的主观测区。
可选地,所述主观测区的形状包括:圆形、正方形、长方形、多边形中的一种。
可选地,所述对所述第二图像进行超分辨率画质处理,包括:使用插值算法对所述第二图像进行处理。
可选地,所述根据所述第三图像和所述第四图像,获取虚拟现实图像,包括:对所述第三图像进行像素级重建,以获取第五图像;对所述第四图像和所述第五图像进行整合,以获取虚拟现实图像。
本发明第二方面实施例提出了一种虚拟现实图像的处理系统,包括头戴式显示设备和主机,其中,所述主机,用于向所述头戴式显示设备传输第一图像;所述头戴式显示设备,用于在所述第一图像中截取用户的主观测区对应的图像作为第二图像,并将所述第一图像中的其他部分作为第三图像,以及对所述第二图像进行超分辨率画质处理,并将处理后的所述第二图像作为第四图像,并根据所述第三图像和所述第四图像,获取虚拟现实图像。
另外,本发明实施例的虚拟现实的处理系统,还具有如下附加的技术特征:
可选地,所述头戴式显示设备包括:图像提取单元,用于在第一图像中截取用户的主观测区对应的图像作为第二图像,并将所述第一图像中的其他部分作为第三图像;主观测区超分辨率处理单元,用于对所述第二图像进行超分辨率画质处理,并将处理后的所述第二图像作为第四图像;以及数据整合单元,用于根据所述第三图像和所述第四图像,获取虚拟现实图像。
可选地,所述头戴式显示设备还包括:姿态获取单元,用于获取用户的姿态信息,并将所述姿态信息传输给所述主机;所述主机根据所述姿态信息渲染所述第一图像,并向所述头戴式显示设备传输所述第一图像,所述第一图像是所述姿态信息对应的低分辨率场景图像;所述头戴式显示设备还包括:存储单元,用于获取所述第一图像,并将所述第一图像进行存储。
可选地,所述头戴式显示设备还包括:眼球追踪单元,用于追踪所述用户的眼球位置,并根据所述眼球位置计算所述用户的注视点;主观测区确定单元,用于根据所述用户的注视点确定所述用户的主观测区。
可选地,所述主观测区超分辨率处理单元,具体用于使用差值算法对所述第二图像进行处理。
可选地,所述数据整合单元,具体用于:对所述第三图像进行像素级重建,以获取第五图像;对所述第四图像和所述第五图像进行整合,以获取虚拟现实图像。
本发明第三方面实施例提出了一种非临时性计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如前述方法实施例所述的虚拟现实图像的处理方法。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
图1为本发明实施例所提供的一种虚拟现实图像的处理方法的流程示意图;
图2为本发明实施例所提供的另一种虚拟现实图像的处理方法的流程示意图;
图3为本发明实施例所提供的像素级重建和超分辨率画质处理的对比示意图;
图4为本发明实施例所提供的虚拟现实图像的处理方法的一个示例的流程示意图;
图5为本发明实施例所提供的虚拟现实图像的处理方法的一个示例的效果示意图;
图6为本发明实施例所提供的一种虚拟现实图像的处理系统的结构示意图;
图7为本发明实施例所提供的一种虚拟现实图像的处理系统的一种可能的实现方式的结构示意图;以及
图8为本发明实施例所提供的虚拟现实图像的处理系统的一个示例的结构示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的虚拟现实图像的处理方法及其系统。
基于上述现有技术的描述可以知道,相关技术中,首先对视野可见场景进行低分辨率的渲染,再根据用户的注视点确定用户的关注区域,对用户的关注区域内的图像进行高分辨率的渲染,将两次渲染之后的图像进行融合,显示给用户。因此现有技术中对待处理图像进行处理时,图像渲染工作量过大,从而导致系统资源消耗过大,图像处理效率太低,进而引起图像显示出现卡顿。
针对这一问题,本发明实施例提供了一种虚拟现实图像的处理方法。只对用户的主观测区对应的图像进行超分辨率画质处理,节省了图像处理过程中的系统资源消耗。
图1为本发明实施例所提供的一种虚拟现实图像的处理方法的流程示意图。应当理解,为了实现立体影像的技术效果,虚拟现实设备提供给人的左眼和右眼的图像是不同的,左右眼图像不同,但内容处理方式相同,即对左眼图像和右眼图像采用相同的虚拟现实图像处理方法进行处理,因此只需以左眼图像为例对处理方法的实现过程进行说明。
虚拟现实设备有两种类型。第一种是由主机和头戴式显示设备共同组成的一套虚拟现实设备,主机和头戴式显示设备之间通过有线/无线通信相连,主机可以是AP(Wireless Access Point,无线访问接入点)、PC(PersonalComputer,个人电脑)、云端服务器等用来存储和提供图像信息的设备。第二种是由头戴式显示设备单独形成一套虚拟现实设备。
本发明实施例所提供的虚拟现实图像的处理方法在两种类型的虚拟现实设备中都由头戴式显示设备实现,如图1所述,该方法包括以下步骤:
S101,在第一图像中截取用户的主观测区对应的图像作为第二图像,并将第一图像中的其他部分作为第三图像。
其中,第一图像是用户的姿态信息对应的低分辨率场景图像。
为了获取第一图像,一种可能的实现方式是,获取用户的姿态信息,根据姿态信息获取第一图像,将第一图像进行存储。
可以理解的是,根据姿态信息获取第一图像的具体方法根据虚拟现实设备的类型不同而不同。
在第一种虚拟现实设备中,头戴式显示设备获取用户的姿态信息后,将姿态信息发送给主机,主机根据姿态信息渲染用户的姿态信息对应的低分辨率场景图像作为第一图像,将第一图像发回给头戴式显示设备,头戴式显示设备将第一图像进行存储。
在第二种虚拟现实设备中,头戴式显示设备获取用户的姿态信息后,自行根据姿态信息渲染用户的姿态信息对应的低分辨率场景图像作为第一图像,并将第一图像进行存储。
需要特别说明的是,用户的主观测区的确定方式有多种。
一种可能的实现方式是,追踪用户的眼球位置,并根据眼球位置计算用户的注视点,根据用户的注视点确定用户的主观测区。用户的注视点是由虚拟现实设备的眼球追踪传感器追踪眼球位置后,通过计算得到的。再根据注视点确定用户的主观测区,比如,以注视点为圆心,预设数值为半径,得到的圆形就是用户的主观测区。类似的,还可以用注视点为中心,得到长方形、正方形、多边形作为用户的主观测区。
另一种可能的实现方式是,预先固定设置用户的主观测区的范围。无需追踪用户的眼球位置,将用户的眼球在所有位置时用户的注视区域进行覆盖,进而确定用户的主观测区的范围。相应的,主观测区的形状可以是圆形、长方形、正方形、多边形中的一种。
应当理解的是,人眼对不同区域的图像的成像清晰度是不同的。在用户的可见范围内,对眼球主要关注的图像区域十分敏感,成像清晰,而对其他图像区域的成像较为模糊。主观测区对应的第二图像是用户眼球主要关注的图像区域,而其他部分对应的第三图像是用户眼球并不关注的其他图像区域。另外,图像边缘区域,在使用透镜的情况下,会有一些形变,用户眼球对此区域的清晰度也不是非常敏感。
需要特别强调的是,在第一种虚拟现实设备中,主机根据姿态信息渲染用户的姿态信息对应的低分辨率场景图像作为第一图像,并将第一图像传输给头戴式显示设备。从而,减少了从主机到头戴式显示设备通信过程中的数据传输量,也减少了头戴式显示设备进行图像处理和图像存储的数据量。
在第二种虚拟现实设备中,头戴式显示设备单独完成第一图像的获取工作。从而,脱离了对主机的依赖,可以在各种环境下使用。
S102,对第二图像进行超分辨率画质处理,并将处理后的第二图像作为第四图像。
其中,超分辨率画质处理是将低分辨率的图像恢复成高分辨率的图像。
具体地,超分辨率画质处理对于图像处理系统资源的消耗很大,为了减少图像处理系统资源的消耗,一种可能的实现方式是,采用图像处理算法来实现超分辨率画质处理,比如:差值算法、重建算法、机器学习算法。
S103,根据第三图像和第四图像,获取虚拟现实图像。
可以理解的是,第三图像是除用户主观测区对应的图像以外的其他部分对应的图像,第四图像是用户主观测区对应的图像经过超分辨率画质处理之后获取的图像。因此根据第三图像和第四图像,可以获取完整的场景图像作为虚拟现实图像。
进一步地,考虑到头戴式显示设备的显示部分使用透镜会让虚拟现实图像产生畸变,对虚拟现实图像进行反畸变处理。
综上所述,本发明实施例所提供的一种虚拟现实图像的处理方法,在第一图像中截取用户的主观测区对应的图像作为第二图像,并将第一图像中的其他部分作为第三图像。对第二图像进行超分辨率画质处理,并将处理后的第二图像作为第四图像。根据第三图像和第四图像,获取虚拟现实图像。由此,实现了在图像处理过程中,只对用户的主观测区对应的图像进行超分辨率画质处理,节省了图像处理过程中系统资源的消耗。
为了让本发明实施例所提供的虚拟现实图像的处理方法生成的虚拟现实图像更加真实,本发明实施例还提出了另一种虚拟现实图像的处理方法,图2为本发明实施例所提供的另一种虚拟现实图像的处理方法的流程示意图,基于图1所示的方法流程,如图2所示,S103,根据第三图像和第四图像,获取虚拟现实图像,包括:
S201,对第三图像进行像素级重建,以获取第五图像。
S202,对第四图像和第五图像进行整合,以获取虚拟现实图像。
其中,像素级重建是对图像像素进行复制行、复制列、平均化处理等简单的相邻数据重建。
应当理解的是,S102中,对第二图像进行超分辨率画质处理,以获取第四图像,因此第四图像的分辨率高于第二图像。S201中,对第三图像进行像素级重建,以获取第五图像,因此第五图像的分辨率高于第三图像。相应地,获取的虚拟现实图像的分辨率也要高于第一图像。
一种优选的实现方式是,超分辨率画质处理与像素级重建对图像的处理使得图像像素进行相同倍数的放大,使得第四图像和第五图像完美契合。比如:第一图像是1000*500的图像,第二图像是300*200的图像,第三图像是第一图像除去第二图像以外的其他部分。对第二图像进行超分辨率画质处理后得到的第四图像是600*400的图像,对第二图像进行像素级重建将会获得600*400的图像X,那么对第三图像进行像素级重建后得到的第五图像就是2000*1000的第一图像除去图像X以外的其他部分。将第四图像和第五图像进行整合,第四图像刚好填补了图像X的位置,从而得到了虚拟现实图像。
需要特别说明的是,像素级重建不同于S102中的超分辨率画质处理。如图3所示,对于非主观测区对应的图像,采用像素级重建的方法,生成的高分辨率图像与低分辨率图像相比,只是对原有像素点的简单处理,如复制。对于主观测区对应的图像,采用超分辨率画质处理,具体通过图像处理算法生成新的像素点,不仅对像素点个数进行了增加,而且相邻像素点之间存在区别,不是对原有像素点的复制,提升了主观测区对应的图像的画质。
从而,使得图像之间更好地进行整合,虚拟现实图像更加真实。
为了更加清楚地说明本发明实施例的虚拟现实图像的处理方法,下面进行举例说明。
如图4所示,主机通过头戴式显示设备发送的信息获取当前姿态信息,渲染当前姿态对应的场景图像,生成低分辨率的场景图像。将生成的低分辨率的场景图像通过无线或者线缆传输发送给头戴式显示设备进行存储。
头戴式显示设备通过眼球跟踪传感器获取用户的眼球位置,进而计算出用户的注视点和主观测区。对主观测区对应的图像进行超分辨率处理,对分主观测区对应的图像进行像素级处理,将处理结果进行整合。最后进行反畸变处理,处理后的虚拟现实图像由显示单元显示给用户。本发明实施例所提供的虚拟现实图像的处理方法的技术效果如图5所示。
为了实现上述实施例,本发明实施例还提出了一种虚拟显示图像的处理系统,该系统属于前述的第一种虚拟现实设备。图6为本发明实施例所提供的一种虚拟现实图像的处理系统的结构示意图,如图6所示,该系统包括:主机310,头戴式显示设备320。
主机310,用于向头戴式显示设备320传输第一图像。
头戴式显示设备320,用于在第一图像中截取用户的主观测区对应的图像作为第二图像,并将第一图像中的其他部分作为第三图像。以及对第二图像进行超分辨率画质处理,并将处理后的第二图像作为第四图像。根据第三图像和第四图像,获取虚拟现实图像。
为了让头戴式显示设备320能够进行上述处理,一种可能的实现方式是,如图7所示,头戴式显示设备320包括:图像提取单元321,主观测区超分辨率处理单元322,数据整合单元323。
图像提取单元321,用于在第一图像中截取用户的主观测区对应的图像作为第二图像,并将第一图像中的其他部分作为第三图像。
主观测区超分辨率处理单元322,用于对第二图像进行超分辨率画质处理,并将处理后的第二图像作为第四图像。
数据整合单元323,用于根据第三图像和第四图像,获取虚拟现实图像。
进一步地,为了获取第一图像,一种可能的实现方式是,头戴式显示设备320还包括:姿态获取单元324,用于获取用户的姿态信息,并将姿态信息传输给主机310。
主机310根据姿态信息渲染第一图像,并向头戴式显示设备320传输第一图像,第一图像是姿态信息对应的低分辨率场景图像。
头戴式显示设备320还包括:存储单元325,用于获取第一图像,并将第一图像进行存储。
进一步地,为了确定用户的主观测区,头戴式实现设备320还包括:眼球追踪单元326,用于追踪用户的眼球位置,并根据眼球位置计算用户的注视点。主观测区确定单元327,用于根据用户的注视点确定用户的主观测区。其中,主观测区的形状包括:圆形、正方形、长方形、多边形中的一种。
进一步地,为了减少图像处理系统资源的消耗,一种可能的实现方式是,主观测区超分辨率处理单元322,具体用于使用差值算法对第二图像进行处理。
进一步地,为了让生成的虚拟现实图像更加真实,一种可能的实现方式是,数据整合单元323,具体用于:对第三图像进行像素级重建,以获取第五图像。对第四图像和第五图像进行整合,以获取虚拟现实图像。
需要说明的是,前述对虚拟现实图像的处理方法实施例的解释说明也适用于该实施例的虚拟现实图像的处理系统,此处不再赘述。
综上所述,本发明实施例所提供的一种虚拟现实图像的处理系统,在第一图像中截取用户的主观测区对应的图像作为第二图像,并将第一图像中的其他部分作为第三图像。对第二图像进行超分辨率画质处理,并将处理后的第二图像作为第四图像。根据第三图像和第四图像,获取虚拟现实图像。由此,实现了在图像处理过程中,只对用户的主观测区对应的图像进行超分辨率画质处理,节省了图像处理过程中系统资源的消耗。
为了更加清楚地说明本发明实施例所提供的虚拟现实图像的处理系统,下面进行举例说明。
如图8所示,虚拟现实图像的处理系统包括主机和头戴式显示设备,头戴式显示设备的姿态获取单元获取用户的姿态信息,通过无线/线缆将姿态信息传输给主机。主机根据姿态信息渲染低分辨率场景图像,将低分辨率场景图像按照头戴式显示设备所需的帧率传输给头戴式显示设备。
头戴式显示设备中的存储单元将主机传输的低分辨率场景图像进行存储,之后的虚拟现实图像的处理过程由头戴式显示设备内部的不同单元进行。
眼球追踪单元追踪用户的眼球位置,并计算用户的注视点,主观测区确定单元根据用户的注视点确定用户的主观测区。图像提取单元从存储单元存储的低分辨率场景图像中截取主观测区对应的图像,主观测区超分辨率处理单元对截取的主观测区对应的图像进行超分辨率处理。数据整合单元将低分辨率场景图像中的其他图像进行像素级重建,并将重建后的图像与超分辨率处理后的图像进行数据整合,得到虚拟现实图像。
为了防止显示单元的透镜对虚拟现实图像产生畸变,反畸变处理单元先对虚拟现实图像进行反畸变处理,然后由显示单元进行显示。
为了实现上述实施例,实施例还提出一种非临时性计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如前述方法实施例所述的虚拟现实图像的处理方法。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如,如果用硬件来实现和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (14)

1.一种虚拟现实图像的处理方法,其特征在于,包括:
在第一图像中截取用户的主观测区对应的图像作为第二图像,并将所述第一图像中的其他部分作为第三图像;
对所述第二图像进行超分辨率画质处理,并将处理后的所述第二图像作为第四图像;
根据所述第三图像和所述第四图像,获取虚拟现实图像。
2.如权利要求1所述的方法,其特征在于,在所述在所述第一图像中截取所述用户的主观测区对应的图像作为第二图像之前,还包括:
获取所述用户的姿态信息;
根据所述姿态信息获取所述第一图像,其中,所述第一图像是所述用户的姿态信息对应的低分辨率场景图像;
将所述第一图像进行存储。
3.如权利要求2所述的方法,其特征在于,在所述将所述第一图像进行存储之后,还包括:
追踪所述用户的眼球位置,并根据所述眼球位置计算所述用户的注视点;
根据所述用户的注视点确定所述用户的主观测区。
4.如权利要求3所述的方法,其特征在于,所述主观测区的形状包括:圆形、正方形、长方形、多边形中的一种。
5.如权利要求4所述的方法,其特征在于,所述对所述第二图像进行超分辨率画质处理,包括:
使用差值算法对所述第二图像进行处理。
6.如权利要求1-5中任一项所述的方法,其特征在于,所述根据所述第三图像和所述第四图像,获取虚拟现实图像,包括:
对所述第三图像进行像素级重建,以获取第五图像;
对所述第四图像和所述第五图像进行整合,以获取虚拟现实图像。
7.一种虚拟现实图像的处理系统,其特征在于,包括头戴式显示设备和主机,其中,
所述主机,用于向所述头戴式显示设备传输第一图像;
所述头戴式显示设备,用于在所述第一图像中截取用户的主观测区对应的图像作为第二图像,并将所述第一图像中的其他部分作为第三图像,以及对所述第二图像进行超分辨率画质处理,并将处理后的所述第二图像作为第四图像,根据所述第三图像和所述第四图像,获取虚拟现实图像。
8.如权利要求7所述的系统,其特征在于,所述头戴式显示设备包括:
图像提取单元,用于在第一图像中截取用户的主观测区对应的图像作为第二图像,并将所述第一图像中的其他部分作为第三图像;
主观测区超分辨率处理单元,用于对所述第二图像进行超分辨率画质处理,并将处理后的所述第二图像作为第四图像;以及
数据整合单元,用于根据所述第三图像和所述第四图像,获取虚拟现实图像。
9.如权利要求8所述的系统,其特征在于,所述头戴式显示设备还包括:
姿态获取单元,用于获取用户的姿态信息,并将所述姿态信息传输给所述主机;
所述主机根据所述姿态信息渲染所述第一图像,并向所述头戴式显示设备传输所述第一图像,所述第一图像是所述姿态信息对应的低分辨率场景图像;
所述头戴式显示设备还包括:
存储单元,用于获取所述第一图像,并将所述第一图像进行存储。
10.如权利要求9所述的系统,其特征在于,所述头戴式显示设备还包括:
眼球追踪单元,用于追踪所述用户的眼球位置,并根据所述眼球位置计算所述用户的注视点;
主观测区确定单元,用于根据所述用户的注视点确定所述用户的主观测区。
11.如权利要求10所述的系统,其特征在于,所述主观测区确定单元的所述主观测区的形状包括:圆形、正方形、长方形、多边形中的一种。
12.如权利要求11所述的系统,其特征在于,所述主观测区超分辨率处理单元,具体用于使用差值算法对所述第二图像进行处理。
13.如权利要求7-12中任一项所述的系统,其特征在于,所述数据整合单元,具体用于:
对所述第三图像进行像素级重建,以获取第五图像;
对所述第四图像和所述第五图像进行整合,以获取虚拟现实图像。
14.一种非临时性计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-6中任一所述的虚拟现实图像的处理方法。
CN201910006515.5A 2019-01-04 2019-01-04 虚拟现实图像的处理方法及其系统 Active CN109727316B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910006515.5A CN109727316B (zh) 2019-01-04 2019-01-04 虚拟现实图像的处理方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910006515.5A CN109727316B (zh) 2019-01-04 2019-01-04 虚拟现实图像的处理方法及其系统

Publications (2)

Publication Number Publication Date
CN109727316A true CN109727316A (zh) 2019-05-07
CN109727316B CN109727316B (zh) 2024-02-02

Family

ID=66299603

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910006515.5A Active CN109727316B (zh) 2019-01-04 2019-01-04 虚拟现实图像的处理方法及其系统

Country Status (1)

Country Link
CN (1) CN109727316B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111338591A (zh) * 2020-02-25 2020-06-26 京东方科技集团股份有限公司 一种虚拟现实显示设备及显示方法
CN113885822A (zh) * 2021-10-15 2022-01-04 Oppo广东移动通信有限公司 图像数据的处理方法、装置、电子设备以及存储介质
CN114556187A (zh) * 2019-10-28 2022-05-27 株式会社日立制作所 头部佩戴型显示装置和显示内容控制方法
WO2022133740A1 (zh) * 2020-12-22 2022-06-30 京东方科技集团股份有限公司 显示装置、显示装置驱动方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104376550A (zh) * 2014-12-01 2015-02-25 中南大学 基于含积分的平差模型的超分辨率图像重建方法
CN104767992A (zh) * 2015-04-13 2015-07-08 北京集创北方科技有限公司 头戴式显示系统及影像低频宽传输方法
CN106327584A (zh) * 2016-08-24 2017-01-11 上海与德通讯技术有限公司 一种用于虚拟现实设备的图像处理方法及装置
CN106412563A (zh) * 2016-09-30 2017-02-15 珠海市魅族科技有限公司 一种图像显示方法以及装置
CN107516335A (zh) * 2017-08-14 2017-12-26 歌尔股份有限公司 虚拟现实的图形渲染方法和装置
CN108665521A (zh) * 2018-05-16 2018-10-16 京东方科技集团股份有限公司 图像渲染方法、装置、系统、计算机可读存储介质及设备
CN108876716A (zh) * 2017-05-11 2018-11-23 Tcl集团股份有限公司 超分辨率重建方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104376550A (zh) * 2014-12-01 2015-02-25 中南大学 基于含积分的平差模型的超分辨率图像重建方法
CN104767992A (zh) * 2015-04-13 2015-07-08 北京集创北方科技有限公司 头戴式显示系统及影像低频宽传输方法
CN106327584A (zh) * 2016-08-24 2017-01-11 上海与德通讯技术有限公司 一种用于虚拟现实设备的图像处理方法及装置
CN106412563A (zh) * 2016-09-30 2017-02-15 珠海市魅族科技有限公司 一种图像显示方法以及装置
CN108876716A (zh) * 2017-05-11 2018-11-23 Tcl集团股份有限公司 超分辨率重建方法及装置
CN107516335A (zh) * 2017-08-14 2017-12-26 歌尔股份有限公司 虚拟现实的图形渲染方法和装置
CN108665521A (zh) * 2018-05-16 2018-10-16 京东方科技集团股份有限公司 图像渲染方法、装置、系统、计算机可读存储介质及设备

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114556187A (zh) * 2019-10-28 2022-05-27 株式会社日立制作所 头部佩戴型显示装置和显示内容控制方法
CN114556187B (zh) * 2019-10-28 2024-02-09 株式会社日立制作所 头部佩戴型显示装置和显示内容控制方法
CN111338591A (zh) * 2020-02-25 2020-06-26 京东方科技集团股份有限公司 一种虚拟现实显示设备及显示方法
WO2022133740A1 (zh) * 2020-12-22 2022-06-30 京东方科技集团股份有限公司 显示装置、显示装置驱动方法
US11961479B2 (en) 2020-12-22 2024-04-16 Beijing Boe Optoelectronics Technology Co., Ltd. Display device and method for driving the same
CN113885822A (zh) * 2021-10-15 2022-01-04 Oppo广东移动通信有限公司 图像数据的处理方法、装置、电子设备以及存储介质

Also Published As

Publication number Publication date
CN109727316B (zh) 2024-02-02

Similar Documents

Publication Publication Date Title
CN109727316A (zh) 虚拟现实图像的处理方法及其系统
KR102140389B1 (ko) 인간 시각 메커니즘에 적응화된 머리 장착형 디스플레이를 위한 시스템 및 방법
Weier et al. Foveated real‐time ray tracing for head‐mounted displays
US7925078B2 (en) Use of ray tracing for generating images for auto-stereo displays
JP4950293B2 (ja) 自動立体システム
CN107797664A (zh) 内容显示方法、装置及电子装置
CN109863533A (zh) 虚拟、增强和混合现实系统和方法
US20130127861A1 (en) Display apparatuses and methods for simulating an autostereoscopic display device
US6954223B2 (en) Stereoscopic image generating apparatus and game apparatus
CN110300990A (zh) 在正绘制的图像中进行抗混叠
CN105209960A (zh) 为近眼光场显示器生成图像的系统、方法和计算机程序产品
CN102918466A (zh) 用于在全息系统中编码包含透明物体的三维场景的方法和装置
KR102379670B1 (ko) 이전의 관점으로부터의 렌더링된 콘텐츠 및 비-렌더링된 콘텐츠를 사용하는 새로운 프레임의 생성
US20210192793A1 (en) Compression of dynamic unstructured point clouds
CN109660783A (zh) 虚拟现实视差校正
WO2007020600A2 (en) A stereoscopic display apparatus
JP2022543729A (ja) フォービエイテッドレンダリングのためのシステムおよび方法
CN102843564A (zh) 图像处理系统、装置以及方法
CN107509043A (zh) 图像处理方法及装置
CN110505395A (zh) 操作方法、头戴式装置及追踪系统
CN106412562A (zh) 三维场景中显示立体内容的方法及其系统
CN107087153A (zh) 3d图像生成方法、装置及vr设备
CN109741465A (zh) 图像处理方法及装置、显示装置
JPH09305156A (ja) 映像表示方法及び装置
Mantiuk Gaze-dependent screen space ambient occlusion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant