CN110913199B - 一种vr图像传输方法 - Google Patents

Abstract

本申请提供一种VR图像传输方法，步骤为：VR计算机向VR头盔发送影片的第一平面图像后，VR计算机获取所述VR头盔的第一位置，所述VR计算机根据VR头盔的第一位置相对于VR头盔的参考位置的变化以及所述视锥区域的参考位置，得到VR头盔的佩戴者在第一平面图像上能够看到的第一可视区域的位置；记录第一可视区域在第一平面图像上的第一位置；将所述第一平面图像在其图像尺寸不变的条件下进行压缩，得到第一压缩图像；将第一可视区域内的图像以第一位置覆盖在第一压缩图像上，结合形成第一合成图像，向VR头盔输出该第一合成图像。本申请增加了VR图像的传输效率，提高了客户的观影体验。

Description

一种VR图像传输方法

技术领域

本申请涉及一种图像传输领域，尤其是指一种VR图像传输方法。

背景技术

在现有技术中对虚拟现实影片的图像传输，通常是通过将平面的图像转化为立体的图像，让观看者能够通过VR头盔看到立体三维的影片，但影片的图像一般为全景图像，像素可达到4K，在这种大容量图片数据的传输过程中，很可能发生影片的画面卡顿的现象，因此，我们需要一种既能让虚拟现实影片的观看者能够看清想要观看的区域，同时又能大幅度的降低图像传输的效率的方式。

发明内容

为解决上述问题，本申请提供一种一种VR图像传输方法，包括：

S1,VR计算机向VR头盔发送影片的第一平面图像后，VR计算机获取所述VR头盔的第一位置，所述VR计算机根据VR头盔的第一位置相对于VR头盔的参考位置的变化以及所述视锥区域的参考位置，得到VR头盔的佩戴者在第一平面图像上能够看到的第一可视区域的位置；

S2,记录第一可视区域在第一平面图像上的第一位置；

S3,将所述第一平面图像在其图像尺寸不变的条件下进行压缩，得到第一压缩图像；

S4,将第一可视区域内的图像以第一位置覆盖在第一压缩图像上，结合形成第一合成图像，向VR头盔输出该第一合成图像。

优选的，其中，在步骤S1中还包括：

S11,在VR计算机建立的虚拟空间中，将VR头盔以虚拟摄像头表示，在VR计算机虚拟空间中建立以虚拟摄像头为原点的三维坐标系；设置所述三维坐标系的参考坐标系A及参考坐标系A上的视锥区域；

S12，在虚拟空间中将第一平面图像转换成三维的第一球体图像，所述虚拟摄像头设置为所述球体图像的球心，当虚拟摄像头位置发生变化后，形成第一坐标系B；

具体计算方式为：以虚拟摄像头为原点建立三维坐标系，设置虚拟摄像机的视场角为VR头盔的水平视场角，设置为FOV；设虚拟空间中三维球体的参考坐标系A，在参考坐标系A上，所述视锥区域与球体具有V1、V2、V3、V4四个焦点，设置V2和V3之间的距离为视锥宽度d，V1和V2之间的距离为视锥高度h，已知球体半径为R₀；VR头盔的屏幕的高度和宽度的比例为f，即h/d＝f

则有

h＝d*f；

所述VR头盔的位置变化时，虚拟摄像头在三维坐标系内的位置也发生变化，形成第一坐标系B，所述第一坐标系绕参考坐标系的X-Y-Z轴旋转的欧拉角分别为R1°、R2°、R3°；

S13，根据参考坐标系A中的视锥区域以及参考坐标系A到第一坐标系B之间的欧拉角变化获得与参考坐标系A内的视锥区域对应的第一坐标系B上的视锥区域；

具体计算方式为：

设R1°＝α，R2°＝β，R3°＝γ

由参考坐标系旋转为第一坐标系使用的旋转矩阵为：

设置Vector(x_i,y_i,z_i)为三维坐标系原点O指向球面上视锥区域内的点V_i(x_i,y_i,z_i)的向量，

则有V_i(x_i,y_i,z_i)＝Vector(x_i,y_i,z_i)*Mxyz；

已知在参考坐标系A内，视锥区域与球面的四个交点分别为

则可得在第一坐标系内与参考坐标系的四个交点V₁、V₂、V₃、V₄对应的四

个点V₁'、V₂'、V₃'、V₄'为：

S14，将所述第一坐标系B上的视锥区域转换为第一平面图像上的第一可视区域。

优选的，在S12中，在参考坐标系A中，R1°＝0，R2°＝0，R3°＝0。

优选的，在步骤S12中，将第一平面图像转换成第一球体图像的方式为：使用UV贴图的方式将第一平面图像贴合在三维球体上，第一平面图像上设置网格，第一平面图像被网格分成若干方块，设置网格的形成的交点具有水平方向上的U值和竖直方向上的V值，第一平面图像贴合在三维球体上形成第一球体图像，第一平面图像上顶点的U、V值与第一球体图像上该顶点的三维坐标对应。

优选的，其中，平面图像的左上角的UV值为U＝0，V＝0，0；右下角的UV值为U＝1,V＝1，其中0＜U＜1，O＜V＜1。

优选的，其中步骤S14具体计算方法为：

假设球体在视锥区域平面上形成的圆的半径为R_i

则有：

U＝R1°/2π

V＝R2°/π。

优选的，其中，当R1°＝0时，x＝1,y＝0，对应的U＝0；R2°＝0时，z＝1，对应的V＝0；R2°＝180°时z＝-1,对应的V＝1。

通过上述方法，我们通过将非可视区域设置为较低像素，局部焦点设置为较高像素的方案，将影片中需要着重表达清楚的部分清晰化达到4K甚至8K的清晰度比如人物、动物等，而比如场景、建筑、花草等次级图像区域将清晰度降到2k甚至1k的水平,通过这样的方式，能够大大提高图像的像素值，使图像在传输过程中不会卡顿，提高了图像传输效率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域技术人员来讲，还可以根据这些附图获得其他的附图。

图1为VR头盔对应在虚拟空间三维坐标系中x、y、z轴的示意图。

图2为虚拟摄像头在三维坐标系中x、y、z轴的示意图。

图3为VR头盔在虚拟空间中能够看到的视锥区域的示意图。

图4为平面图像上的UV纹理坐标的示意图。

图5为实施例二中形成第二合成图片的示意图。

图6为实施例三中形成第三合成图片的示意图。

具体实施方式

下面结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

实施例一

为解决上述问题，本申请提供一种VR图像传输系统，包括VR计算机、VR头盔和定位传感器；所述VR计算机用于建立虚拟空间，所述VR计算机存储有VR头盔的参考位置和当VR头盔在参考位置时，佩戴头盔的人在虚拟空间内能够观看到的视锥区域的参考位置；所述定位传感器固定在VR头盔上，用于感应VR头盔的空间位置；所述VR计算机与定位传感器通讯连接，使所述VR计算机能够通过定位传感器获取所述VR头盔的位置的变化；所述VR计算机与VR头盔通讯连接；所述VR头盔设置有视场角，所述VR头盔的视场角为单眼通过头盔能够看到的最大范围的两条视线构成的夹角；所述视场角包括水平视场角和垂直视场角，其中，人的单眼通过头盔在与人站立的地面所在的平面平行的平面上能够看到的最大范围的两条视线构成的夹角设置为水平视场角；人的单眼通过头盔在与人的站立平面平行的平面上能够看到的最大范围的两条视线构成的夹角设置为垂直视场角。所述VR计算机存储有影片，所述影片由若干平面图像组成，通过所述VR头盔在虚拟空间中的位置和视场角，可以得到在虚拟空间中所述VR头盔在旋转后能够看到的区域。

本实施例中，所述VR头盔可以为手机VR盒子或外接式头盔。

为了让佩戴者看到的是立体图像，所述VR计算机向VR头盔的左眼和右眼的屏幕分别发送图像。

如图3所示，在VR计算机虚拟空间中，将VR头盔用虚拟摄像头表示，为使佩戴者从VR头盔观看到虚拟现实的三维立体影像，则在虚拟空间中的将影片图像设置为以虚拟摄像头为球心、半径为R₀的三维球体；所述VR头盔的视场角与虚拟摄像头相同，也就是佩戴者看到的影像相当于虚拟摄像头在球体上投射的影像。

影片的图像以平面图像的形式存储在VR计算机中，在构建三维球体时，使用UV贴图的方式将平面图像贴合在三维球体上，由此形成影片的三维球体图像。

UV贴图的过程中，平面图像上设置网格，平面图像被网格分成若干方块，网格的顶点具有水平方向上的U值和竖直方向上的V值，所述U、V值作为平面图像纹理坐标，平面图像贴合在三维球体上以后，平面图像上顶点的U、V值与平面图像贴合在三维球体上以后该顶点的三维坐标值对应。

UV纹理坐标如图4所示，平面图像的左上角U、V值是(0，0)；右下角U、V是(1，1)，其中0＜U＜1，O＜V＜1；

因此，在所述虚拟空间中，以虚拟摄像头为原点建立三维坐标系，所述三维坐标系的x，y，z轴在虚拟摄像机的方向和现实中VR头盔的方向分别如图1和图2所示；将佩戴者在佩戴VR头盔观看影片时看到的区域设置称为视锥区域，本实施例中根据图3可知，所述视锥区域为在所述三维坐标系中，所述虚拟摄像机向球体表面投射形成的区域，其中，虚拟摄像机的视场角即为VR头盔的水平视场角FOV。

其中，如图3所示，设虚拟空间中三维球体的参考坐标系{A}，在参考坐标系{A}上，所述视锥区域与球体具有V1、V2、V3、V4四个焦点，设置V2和V3之间的距离为视锥宽度d，V1和V2之间的距离为视锥高度h，已知球体半径为R₀；VR头盔的屏幕的高度和宽度的比例为f，也即是h/d＝f

则有

h＝d*f；

所述VR头盔发生转动后，虚拟摄像头也随之在三维坐标系内发生转动，形成第一坐标系{B}，所述第一坐标系{B}相对于参考坐标系的姿态为：第一坐标系{B}绕参考坐标系{A}旋转：假设开始两个坐标系重合，先将{B}绕{A}的X轴旋转R3°，然后绕{A}的Y轴旋转R2°，最后绕{A}的Z轴旋转R1°，就能旋转到当前姿态；

其中R1°,R2°,R3°为第一坐标系绕参考坐标系的X-Y-Z轴旋转的欧拉角，在这里R2°对应Pitch俯仰，R1°对应Yaw偏航，R3°对应Roll横滚；

在参考坐标系{A}中，R1°＝0，R2°＝0，R3°＝0；

第一坐标系相对于参考坐标系的旋转为：

R1°＝α，R2°＝β，R3°＝γ；

由参考坐标系旋转为第一坐标系使用的旋转矩阵为：

设置Vector(x_i,y_i,z_i)为三维坐标系原点O指向球面上视锥区域内的点V_i(x_i,y_i,z_i)的向量，

则有V_i(x_i,y_i,z_i)＝Vector(x_i,y_i,z_i)*Mxyz；

如图3所示，已知在参考坐标系内，视锥区域与球面的四个交点分别为

则可得在第一坐标系内与参考坐标系的V₁、V₂、V₃、V₄对应的点V₁'、V₂'、V₃'、V₄'为：

根据上述计算我们能够得到虚拟空间内球体上的视锥区域，而VR计算机中的影片的图像是以平面图像的形式存储的，因此需要获得所述视锥区域在平面图像中对应的位置；

将第一坐标系的视锥区域上的点i(x_i,y_i,z_i)换算成平面上的UV值，已知球体在视锥区域平面上形成的圆的半径为R_i则有：

U＝R1°/2π

V＝R2°/π。

根据上述公式，可知三维坐标系上相对于参考坐标系进行欧拉角改变后形成的坐标系与UV值之间能够进行快速换算，例如：

当R1°＝0时，x＝1,y＝0，对应的U＝0；

R2°＝0时，z＝1，对应的V＝0；

而R2°＝180°时z＝-1,对应的V＝1；

通过上述计算，得到所述视锥区域与球体表面四个交点V₁'、V₂'、V₃'、V₄'在第一平面图像上的UV值，得到在第一平面图像上的点UV₁、UV₂、UV₃、UV₄，通过点UV₁、UV₂、UV₃、UV₄确定所述视锥区域对应的第一平面图像上的视锥区域的范围，即视锥区域为由UV₁、UV₂、UV₃、UV₄作为四个顶点形成的四边形，但所述视锥区域一般为不规则的四边形，为了显示正常，将所述视锥区域扩大为四条边与影片的平面图像平行的矩形区域，将该矩形区域设置为第一可视区域，所述第一可视区域的四条边分别经过UV₁、UV₂、UV₃、UV₄。

记录第一可视区域在第一平面图像上的第一位置；

将所述第一平面图像在其图像尺寸不变的条件下进行压缩，得到第一压缩图像；

将第一可视区域内的图像以第一位置覆盖在第一压缩图像上，结合形成第一合成图像，向VR头盔输出该第一合成图像。

实施例二

由于上述实施例一中形成的图像，在第一可视区域内的清晰图像和压缩后产生的模糊图像之间可能会产生断层，因此为了使画面更加合理优化，我们可以采用一种方式：

如图5所示，设置包含第一可视区域2的第二可视区域3，记录第二可视区域3在第一平面图像上的第二位置，将所述第一平面图像1中第二可视区域3以外的区域设置为背景区域6；

将第一平面图像1在图像尺寸不变的条件下进行压缩，得到第一压缩图像；设所述第一平面图像为M像素，压缩后得到第一压缩图像像素为M/Q(Q＞1)；其中，Q为大于1的实数。

在第一可视区域2内部设置高清区域4，所述高清区域在第二可视区域3的中心，所述第一可视区域2包含所述高清区域4，设置高清区域所在第一平面图像上的位置为第三位置，在本实施例中，所述第一可视区域2为矩形，所述高清区域4为椭圆形，所述第二可视区域3为椭圆形，将第二可视区域3的边缘设置为第一边缘；将高清区域4的边缘设置为第二边缘，所述第一可视区域2的四条边与所述第二边缘相切；第一可视区域2的四个顶点位于所述第一边缘上。

将第一边缘和第二边缘之间的区域设置为边缘区域，设置边缘区域在第一平面图像上的位置为第四位置，将边缘区域由第一边缘向第二边缘均分成P个边缘过渡区域；则第n个边缘过渡区域内部图像的像素为：

在本实施例中，根据图5可以看出，从第一边缘到第二边缘的边缘区域被均分成3等分，设第一平面图像原像素为4K,第一压缩图像像素为1K，则阴影部分代表的第2个边缘过渡区域的内部图像的像素由上述公式计算出为2.5K；

将高清区域内的未经压缩的图像按照第三位置、边缘区域内经上述比例压缩后的图像按照第四位置，分别覆盖在第一压缩图像上，结合形成第二合成图像，向VR头盔输出该第二合成图像，使该第二合成图像显示在佩戴者眼前。

实施例三

根据实施例二中的设置，我们还可以在VR计算机上添加具有虚拟拍摄功能的模块，使VR计算机能够对影片内的图像进行拍摄，通过该设置我们可以得到渲染背景的另外一种方式：

根据实施例二能够看到，为使佩戴者最终看到的画面更合理，最终输出的合成图像中第一可视区域内的图像为清晰图像，第一可视区域以外的图像具有逐渐模糊的效果，因此可以对第一平面图像拍摄带有景深的图像的方式来实现这种效果，拍摄具有景深的图像时，镜头的焦点前后各有一个容许弥散圆，两个弥散圆之间的距离为景深，设置为m，其中，镜头焦点到近处容许弥散圆的的距离设置为前景深ΔL1，焦点到远处容许弥散圆的距离设置为后景深ΔL2，设置镜头焦距为f，镜头的拍摄光圈值为F，对焦距离为L，容许弥散圆直径为δ；

则有

如图6所示，在本实施例中，将设置在第一可视区域2内、与第一可视区域2的四条边相切的椭圆形区域作为拍摄时选择的景深区域，所述景深区域的边缘设置为景深边缘12，此时设置景深值为m，设置经过第一可视区域2四个顶点的椭圆形区域为第三可视区域，所述第三可视区域在第一平面图像上的位置为第五位置，第三可视区域的边缘设置为过渡边缘11，拍摄带有景深的图像时，设置景深为m，设置由景深边缘12向过渡边缘11，深度逐渐增加，由此可以得到景深区域内图像清晰，景深边缘12到过渡边缘11内的图像模糊度逐渐增加的图像。

本实施例中，当过渡边缘11的像素为J时,设置第二压缩图像的像素为J；

将第三可视区域以第五位置覆盖在第一平面图像上，形成第三合成图像，输出第三合成图像。

当J大于设置的阈值像素时，则可以调整焦距光圈等参数，在景深不变的情况下，使像素值减少。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (6)

1.一种VR图像传输方法，包括：

S1,VR计算机向VR头盔发送影片的第一平面图像后，VR计算机获取所述VR头盔的第一位置，所述VR计算机根据VR头盔的第一位置相对于VR头盔的参考位置的变化以及视锥区域的参考位置，得到VR头盔的佩戴者在第一平面图像上能够看到的第一可视区域的位置；

S2,记录第一可视区域在第一平面图像上的第一位置；

S3,将所述第一平面图像在其图像尺寸不变的条件下进行压缩，得到第一压缩图像；

S4,将第一可视区域内的图像以第一位置覆盖在第一压缩图像上，结合形成第一合成图像，向VR头盔输出该第一合成图像。

其中，在步骤S1中还包括：

S11,在VR计算机建立的虚拟空间中，将VR头盔以虚拟摄像头表示，在VR计算机虚拟空间中建立以虚拟摄像头为原点的三维坐标系；设置所述三维坐标系的参考坐标系A及参考坐标系A上的视锥区域；

S12，在虚拟空间中将第一平面图像转换成三维的第一球体图像，所述虚拟摄像头设置为所述球体图像的球心，当虚拟摄像头位置发生变化后，形成第一坐标系B；

具体计算方式为：以虚拟摄像头为原点建立三维坐标系，设置虚拟摄像机的视场角为VR头盔的水平视场角，设置为FOV；设虚拟空间中三维球体的参考坐标系A，在参考坐标系A上，所述视锥区域与球体具有V1、V2、V3、V4四个焦点，设置V2和V3之间的距离为视锥宽度d，V1和V2之间的距离为视锥高度h，已知球体半径为R₀；VR头盔的屏幕的高度和宽度的比例为f，即h/d＝f

则有

h＝d*f；

所述VR头盔的位置变化时，虚拟摄像头在三维坐标系内的位置也发生变化，形成第一坐标系B，所述第一坐标系绕参考坐标系的X-Y-Z轴旋转的欧拉角分别为R1°、R2°、R3°；

S13，根据参考坐标系A中的视锥区域以及参考坐标系A到第一坐标系B之间的欧拉角变化获得与参考坐标系A内的视锥区域对应的第一坐标系B上的视锥区域；

具体计算方式为：

设R1°＝α，R2°＝β，R3°＝γ

由参考坐标系旋转为第一坐标系使用的旋转矩阵为：

设置Vector(x_i,y_i,z_i)为三维坐标系原点O指向球面上视锥区域内的点V_i(x_i,y_i,z_i)的向量，

则有V_i(x_i,y_i,z_i)＝Vector(x_i,y_i,z_i)*Mxyz；

已知在参考坐标系A内，视锥区域与球面的四个交点分别为V₁(-d,R₀,h)、V₂(-d,R₀,-h)、V₃(d,R₀,-h)、V₄(d,R₀,h)；

则可得在第一坐标系内与参考坐标系的四个交点V₁、V₂、V₃、V₄对应的四个点V₁'、V₂'、V₃'、V₄'为：

V₁'＝Vector(-d,R,h)*Mxyz；

V₂'＝Vector(-d,R,-h)*Mxyz；

V₃'＝Vector(d,R,-h)*Mxyz；

V₄'＝Vector(d,R,h)*Mxyz；

S14，将所述第一坐标系B上的视锥区域转换为第一平面图像上的第一可视区域。

2.如权利要求1所述的VR图像传输方法，在S12中，在参考坐标系A中，R1°＝0，R2°＝0，R3°＝0。

3.如权利要求1所述的VR图像传输方法，在步骤S12中，将第一平面图像转换成第一球体图像的方式为：使用UV贴图的方式将第一平面图像贴合在三维球体上，第一平面图像上设置网格，第一平面图像被网格分成若干方块，设置网格的形成的交点具有水平方向上的U值和竖直方向上的V值，第一平面图像贴合在三维球体上形成第一球体图像，第一平面图像上顶点的U、V值与第一球体图像上该顶点的三维坐标对应。

4.如权利要求3所述的VR图像传输方法，其中，平面图像的左上角的UV值为U＝0，V＝0，0；右下角的UV值为U＝1,V＝1，其中0＜U＜1，O＜V＜1。

5.如权利要求1所述的VR图像传输方法，其中步骤S14具体计算方法为：

假设球体在视锥区域平面上形成的圆的半径为R_i

则有：

U＝R1°/2π

V＝R2°/π。

6.如权利要求5所述的VR图像传输方法，其中，

当R1°＝0时，x＝1,y＝0，对应的U＝0；R2°＝0时，z＝1，对应的V＝0；R2°＝180°时z＝-1,对应的V＝1。

Images