CN109461213A - 基于虚拟现实的图像处理方法、装置、设备和存储介质 - Google Patents

Abstract

本申请公开了一种基于虚拟现实的图像处理方法、装置、设备和存储介质。该方法包括：确定虚拟现实设备的视场角信息和反畸变信息；将所述原始图像划分为多个区域；根据所述虚拟现实设备的视场角信息和反畸变信息，确定每个区域的渲染分辨率；根据每个区域的渲染分辨率，对每个区域进行渲染，得到每个区域对应的渲染图像；将每个区域对应的渲染图像映射到所述屏幕进行显示。该技术方案在保证清晰度的情况下，减少像素浪费，减少延时，提高VR系统的效率。

Description

基于虚拟现实的图像处理方法、装置、设备和存储介质

技术领域

本公开一般涉及图像处理领域，尤其涉及一种基于虚拟现实的图像处理方法、装置、设备和存储介质。

背景技术

随着虚拟现实(Virtual Reality，VR)技术的迅猛发展，虚拟现实设备已经逐渐走进人们的日常生活，应用范围越来越广泛。

在VR领域对图像进行反畸变处理的过程中，图像被压缩，由于图像的中心到边缘的畸变系数不同，因此压缩的程度也不同，按照反畸变图中心的分辨率进行原始图像的获取，会造成原始图像像素的大量浪费，并且渲染的分辨率过高，还会导致渲染时间过长。

发明内容

鉴于现有技术中的上述缺陷或不足，期望提供一种在保证清晰度的情况下，减少像素浪费，减少延时，提高VR系统的效率的方案。

第一方面，本申请实施例提供了一种基于虚拟现实的图像处理方法，所述方法包括：

确定虚拟现实设备的视场角信息和反畸变信息；

将所述原始图像划分为多个区域；

根据所述虚拟现实设备的视场角信息和反畸变信息，确定每个区域的渲染分辨率；

根据每个区域的渲染分辨率，对每个区域进行渲染，得到每个区域对应的渲染图像；

将每个区域对应的渲染图像映射到所述屏幕进行显示。

第二方面，本申请实施例提供了一种基于虚拟现实的图像处理装置，包括：

信息确定单元，用于确定虚拟现实设备的视场角信息和反畸变信息；

区域划分单元，用于将原始图像划分为多个区域；

分辨率确定单元，用于根据所述虚拟现实设备的视场角信息和反畸变信息，确定每个区域的渲染分辨率；

渲染单元，用于根据每个区域的渲染分辨率，对每个区域进行渲染，得到每个区域对应的渲染图像；

显示单元，用于将每个区域对应的渲染图像进行纹理映射，并进行显示。

第三方面，本申请实施例提供了一种一种设备，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现如上所述的基于虚拟现实的图像处理方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序指令，当所述计算机程序指令被处理器执行时实现如上所述的基于虚拟现实的图像处理方法。

本申请实施例提供的基于虚拟现实的图像处理方法，通过将原始图像分为多个区域，根据VR设备的视场角信息和反畸变信息，确定每个区域的渲染分辨率，并利用每个区域的渲染分辨率对每个区域进行渲染，得到每个区域对应的渲染图像，并将每个区域对应的渲染图像映射到VR设备的屏幕区域进行显示。本技术方案中，不仅保证了最终图像的清晰度，并且整体减少了图像的渲染分辨率，提高了整体效率。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1示出了对原始图像进行反畸变处理得到反畸变图的过程示意图；

图2示出了本申请实施例提供的一种基于虚拟现实的图像处理方法的示例性流程图；

图3示出了视场角坐标与屏幕坐标之间的对应关系示意图；

图4和图5分别示出了视场角坐标和屏幕坐标的定义示意图；

图6示出了将原始图像均匀划分得到视场角坐标与屏幕坐标之间的对应关系的示意图；

图7示出了将原始图像中的区域再进行划分的示意图；

图8示出了本申请实施例提供的一种基于虚拟现实的图像处理装置的示例性结构框图；

图9示出了适于用来实现本申请实施例的终端设备或服务器的计算机系统的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

请参考图1，示出了对原始图像进行反畸变处理得到反畸变图的过程示意图。其中，在反畸变处理过程中，图像被压缩，由于图像的中心到边缘的畸变系数不同，因此压缩的程度也不同。但在获取单眼图像时，并没有区分边缘或者中心，若是按照反畸变图边缘的分辨率进行原始图像的获取，则反畸变后的图像会不清晰，而若按照反畸变图中心的分辨率进行原始图像的获取，虽然能够保证反畸变后的图像的清晰度，但是会造成原始图像像素的大量浪费，并且渲染的分辨率过高，还会导致渲染时间过长。

鉴于上述缺陷，本发明实施例提供了一种基于虚拟现实的图像处理方案，能够在保证清晰度的情况下，减少像素浪费，减少延时，提高VR系统的效率，同时该方案不仅可以应用在PC端的VR设备，还能应用在移动端的VR设备。

下面将参考附图并结合实施例来详细说明本申请。

本发明实施例提供了一种基于虚拟现实的图像处理方法，参见图2，示出了本申请实施例提供的一种基于虚拟现实的图像处理方法的示例性流程图。该方法包括：

步骤210，确定VR设备的视场角信息和反畸变信息。

本申请实施例中，可以通过VR设备的光学结构信息来确定VR设备的视场角信息和反畸变信息。

其中，反畸变信息可以包括：原始图像的图像坐标和VR设备屏幕的屏幕坐标之间的对应关系。

在光学仪器中，以光学仪器的镜头为顶点，以被测目标的物象可通过镜头的最大范围的两条边缘构成的夹角，称为视场角。视场角的大小决定了光学仪器的视野范围，视场角越大，视野就越大，光学倍率就越小。通俗地说，目标物体超过这个角就不会被收在镜头里。

在VR领域中，所谓的视场角，指的就是VR设备的透镜的视场角，也就是说，视场角就是VR设备透镜的一个参数，因此这一参数可以直接从VR设备的光学结构信息中获得。

获得VR设备的视场角信息之后，进一步根据该视场角信息和VR设备的透镜参数(也可以从光学结构信息中获得)，可以得到VR设备的反畸变信息，即原始图像的图像坐标和VR设备屏幕的屏幕坐标之间的对应关系。

当用户使用VR设备观看图像时，是基于VR设备的视场角信息进行渲染得到图像，因此本申请实施例中，原始图像的图像坐标也可以称为视场角坐标。如图3所示，示出了视场角坐标与屏幕坐标之间的对应关系示意图。其中，图3中左侧为视场角坐标，右侧为屏幕坐标。

如图4和图5所示，分别示出了视场角坐标和屏幕坐标的定义示意图。其中，参考图4，视场角坐标是位于以透镜中心为原点，用户佩戴头盔时用户的向右方向为x轴，用户的向左方向为y轴的坐标系中，图4中像点与观察点的连线与光轴之间的夹角θ即为视场角；参考图5，屏幕坐标是位于以透镜中心在屏幕上的投影点o为原点，屏幕向右为x轴，向上为y轴的坐标系中。

步骤220，将原始图像划分为多个区域。

本申请实施例中，可以按照图像中心到图像边缘不同的畸变系数，将原始图像划分为多个区域，比如划分后得到的每个区域对应的畸变系数不同。

也可以按照均匀划分原则，将原始图像划分为多个区域。比如将原始图像均匀划分成10*10或者32*32的网格。

步骤230，根据VR设备的视场角信息和反畸变信息，确定每个区域的渲染分辨率。

本申请实施例中，首先根据VR设备的视场角信息能够确定出每个区域的视场角信息；然后根据每个区域的视场角信息和上述反畸变信息，能够确定出每个区域在VR设备屏幕上对应的像素坐标；最后根据该像素坐标，确定出每个区域的渲染分辨率。

下面以将原始图像均匀划分为多个区域为例对上述实现过程进行详细说明。

如图6所示，为将原始图像均匀划分得到视场角坐标与屏幕坐标之间的对应关系的示意图。

首先，根据VR设备的视场角信息可以很容易得到每个区域的视场角信息。以其中一个区域为例，该区域的视场角信息确定之后，便能够得到该区域的四个顶点的视场角坐标，然后再基于上述反畸变信息，即视场角坐标和屏幕坐标之间的对应关系，能够将该区域的四个顶点的视场角坐标转换为该区域的四个顶点的屏幕坐标，再基于VR设备的光学结构信息，能够将该屏幕坐标转换为像素坐标，最后基于该像素坐标，确定出该区域的渲染分辨率。

参考图6，假设图6左上角区域四个顶点对应的视场角坐标分别为(flx,fty),(frx,fty),(frx,fdy),(flx,fdy)，可以根据此四点求解出此区域渲染对应的视场角信息上下左右四个值为(fty,fdy,flx,frx)。进一步的，根据反畸变信息和VR设备的光学结构信息，可以求得四个视场角坐标对应在屏幕上的像素坐标为(p1x,p1y),(p2x,p2y),(p3x,p3y),(p4x,p4y)，最后根据对应在屏幕上的像素坐标可以求得此区域对应的渲染分辨率。

具体的，可以根据下列公式计算：

Rx＝max(p1x,p2x,p3x,p4x)-min(p1x,p2x,p3x,p4x)；

Ry＝max(p1y,p2y,p3y,p4y)-min(p1y,p2y,p3y,p4y)。

其中，Rx和Ry此区域对应的渲染分辨率。

步骤240，根据每个区域的渲染分辨率，对每个区域进行渲染，得到每个区域对应的渲染图像。

其中，本申请实施例中的渲染过程与现有技术中的渲染过程的实现方式相同，在此不再赘述。

步骤250，将每个区域对应的渲染图像映射到VR设备屏幕进行显示。

本申请实施例中，得到每个区域对应的渲染图像之后，可以利用纹理映射的方式，将每个区域对应的渲染图像直接纹理映射在VR设备的屏幕区域内，并进行显示。

另外，还需要说明的是，如果原始图像划分为较多区域，则在反畸变处理时，可以将每个区域获得的图像直接纹理映射在对应的屏幕区域内。若原始图像划分的区域较少，为了获得更细密的反畸变效果，可以对每个区域再进行划分，然后基于上述处理过程对再进行划分的子区域计算渲染分辨率，并进行渲染和纹理映射。图7示出了将原始图像中的区域再进行划分的示意图。

本申请实施例提供的基于虚拟现实的图像处理方法，通过将原始图像分为多个区域，根据VR设备的视场角信息和反畸变信息，确定每个区域的渲染分辨率，并利用每个区域的渲染分辨率对每个区域进行渲染，得到每个区域对应的渲染图像，并将每个区域对应的渲染图像映射到VR设备的屏幕区域进行显示。本技术方案中，不仅保证了最终图像的清晰度，并且整体减少了图像的渲染分辨率，提高了整体效率。

应当注意，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，流程图中描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

进一步参考图8，其示出了本申请实施例提供的一种基于虚拟现实的图像处理装置的示例性结构框图。

该装置包括：

信息确定单元81，用于确定虚拟现实设备的视场角信息和反畸变信息；

区域划分单元82，用于将原始图像划分为多个区域；

分辨率确定单元83，用于根据所述虚拟现实设备的视场角信息和反畸变信息，确定每个区域的渲染分辨率；

渲染单元84，用于根据每个区域的渲染分辨率，对每个区域进行渲染，得到每个区域对应的渲染图像；

显示单元85，用于将每个区域对应的渲染图像进行纹理映射，并进行显示。

可选的，所述分辨率确定单元83，包括：

视场角信息确定模块831，用于根据所述虚拟现实设备的视场角信息，确定每个区域的视场角信息；

像素坐标确定模块832，用于根据每个区域的视场角信息和所述反畸变信息，确定每个区域在所述屏幕上对应的像素坐标；

分辨率确定模块833，用于根据所述像素坐标，确定每个区域的渲染分辨率。

可选的，所述像素坐标确定模块832，用于：

根据每个区域的视场角信息，确定每个区域四个顶点的图像坐标；

根据所述反畸变信息，将所述图像坐标转换为屏幕坐标；

根据所述虚拟现实设备的光学结构信息，将所述屏幕坐标转换为所述虚拟现实设备的屏幕对应的像素坐标。

可选的，所述分辨率确定模块833，用于：

按照如下公式确定：

Rx＝max(p1x,p2x,p3x,p4x)-min(p1x,p2x,p3x,p4x)；

Ry＝max(p1y,p2y,p3y,p4y)-min(p1y,p2y,p3y,p4y)；

其中，所述Rx和所述Ry为所述区域的渲染分辨率，(p1x，p1y)、(p2x，p2y)、(p3x，p3y)和(p4x，p4y)为所述像素坐标。

可选的，所述区域划分单元82，用于：

按照畸变系数，将原始图像划分为多个区域；或者

按照均匀划分原则，将原始图像划分为多个区域。

应当理解，上述装置中记载的诸单元或模块与参考图2描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作和特征同样适用于上述装置及其中包含的单元，在此不再赘述。上述装置中的相应单元可以与电子设备中的单元相互配合以实现本申请实施例的方案。

下面参考图9，其示出了适于用来实现本申请实施例的终端设备或服务器的计算机系统900的结构示意图。

如图9所示，计算机系统900包括中央处理单元(CPU)901，其可以根据存储在只读存储器(ROM)902中的程序或者从存储部分908加载到随机访问存储器(RAM)903中的程序而执行各种适当的动作和处理。在RAM 903中，还存储有系统900操作所需的各种程序和数据。CPU 901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。

以下部件连接至I/O接口905：包括键盘、鼠标等的输入部分906；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分907；包括硬盘等的存储部分908；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至I/O接口905。可拆卸介质911，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器910上，以便于从其上读出的计算机程序根据需要被安装入存储部分908。

特别地，根据本公开的实施例，上文参考图2描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，所述计算机程序包含用于执行图2的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分909从网络上被下载和安装，和/或从可拆卸介质911被安装。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，例如，可以描述为：一种处理器包括信息确定单元单元、区域划分单元、分辨率确定单元、渲染单元以及显示单元。其中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定，例如，信息确定单元单元还可以被描述为“用于确定虚拟现实设备的视场角信息和反畸变信息的单元”。

作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中所述装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本申请的公式输入方法。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (14)

1.一种基于虚拟现实的图像处理方法，其特征在于，所述方法包括：

确定虚拟现实设备的视场角信息和反畸变信息；

将所述原始图像划分为多个区域；

根据所述虚拟现实设备的视场角信息和反畸变信息，确定每个区域的渲染分辨率；

根据每个区域的渲染分辨率，对每个区域进行渲染，得到每个区域对应的渲染图像；

将每个区域对应的渲染图像映射到所述屏幕进行显示。

2.根据权利要求1所述的方法，其特征在于，所述反畸变信息包括：原始图像的图像坐标和所述虚拟现实设备的屏幕的屏幕坐标之间的对应关系。

3.根据权利要求1所述的方法，其特征在于，根据所述虚拟现实设备的视场角信息和反畸变信息，确定每个区域的渲染分辨率，包括：

根据所述虚拟现实设备的视场角信息，确定每个区域的视场角信息；

根据每个区域的视场角信息和所述反畸变信息，确定每个区域在所述屏幕上对应的像素坐标；

根据所述像素坐标，确定每个区域的渲染分辨率。

4.根据权利要求3所述的方法，其特征在于，根据每个区域的视场角信息和所述反畸变信息，确定每个区域在所述屏幕上对应的像素坐标，包括：

根据每个区域的视场角信息，确定每个区域四个顶点的图像坐标；

根据所述反畸变信息，将所述图像坐标转换为屏幕坐标；

根据所述虚拟现实设备的光学结构信息，将所述屏幕坐标转换为所述虚拟现实设备的屏幕对应的像素坐标。

5.根据权利要求3所述的方法，其特征在于，基于所述像素坐标，确定每个区域的渲染分辨率，包括：

按照如下公式确定：

Rx＝max(p1x,p2x,p3x,p4x)-min(p1x,p2x,p3x,p4x)；

Ry＝max(p1y,p2y,p3y,p4y)-min(p1y,p2y,p3y,p4y)；

其中，所述Rx和所述Ry为所述区域的渲染分辨率，(p1x，p1y)、(p2x，p2y)、(p3x，p3y)和(p4x，p4y)为所述像素坐标。

6.根据权利要求1所述的方法，其特征在于，将原始图像划分为多个区域，包括：

按照畸变系数，将原始图像划分为多个区域；或者

按照均匀划分原则，将原始图像划分为多个区域。

7.一种基于虚拟现实的图像处理装置，其特征在于，包括：

信息确定单元，用于确定虚拟现实设备的视场角信息和反畸变信息；

区域划分单元，用于将原始图像划分为多个区域；

分辨率确定单元，用于根据所述虚拟现实设备的视场角信息和反畸变信息，确定每个区域的渲染分辨率；

渲染单元，用于根据每个区域的渲染分辨率，对每个区域进行渲染，得到每个区域对应的渲染图像；

显示单元，用于将每个区域对应的渲染图像进行纹理映射，并进行显示。

8.根据权利要求6所述的装置，其特征在于，所述反畸变信息包括：原始图像的图像坐标和所述虚拟现实设备的屏幕的屏幕坐标之间的对应关系。

9.根据权利要求7所述的装置，其特征在于，所述分辨率确定单元，包括：

视场角信息确定模块，用于根据所述虚拟现实设备的视场角信息，确定每个区域的视场角信息；

像素坐标确定模块，用于根据每个区域的视场角信息和所述反畸变信息，确定每个区域在所述屏幕上对应的像素坐标；

分辨率确定模块，用于根据所述像素坐标，确定每个区域的渲染分辨率。

10.根据权利要求9所述的装置，其特征在于，所述像素坐标确定模块，用于：

根据每个区域的视场角信息，确定每个区域四个顶点的图像坐标；

根据所述反畸变信息，将所述图像坐标转换为屏幕坐标；

根据所述虚拟现实设备的光学结构信息，将所述屏幕坐标转换为所述虚拟现实设备的屏幕对应的像素坐标。

11.根据权利要求9所述的装置，其特征在于，所述分辨率确定模块，用于：

按照如下公式确定：

Rx＝max(p1x,p2x,p3x,p4x)-min(p1x,p2x,p3x,p4x)；

Ry＝max(p1y,p2y,p3y,p4y)-min(p1y,p2y,p3y,p4y)；

其中，所述Rx和所述Ry为所述区域的渲染分辨率，(p1x，p1y)、(p2x，p2y)、(p3x，p3y)和(p4x，p4y)为所述像素坐标。

12.根据权利要求7所述的装置，其特征在于，所述区域划分单元，用于：

按照畸变系数，将原始图像划分为多个区域；或者

按照均匀划分原则，将原始图像划分为多个区域。

13.一种设备，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现如权利要求1-6中任一项所述的方法。

14.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，当所述计算机程序指令被处理器执行时实现如权利要求1-6中任一项所述的方法。