CN108924629B

CN108924629B - 一种vr图像处理方法

Info

Publication number: CN108924629B
Application number: CN201810989624.9A
Authority: CN
Inventors: 孟宪民; 李小波; 赵德贤
Original assignee: Hengxin Shambala Culture Co ltd
Current assignee: Hengxin Shambala Culture Co ltd
Priority date: 2018-08-28
Filing date: 2018-08-28
Publication date: 2021-01-05
Anticipated expiration: 2038-08-28
Also published as: CN108924629A

Abstract

本申请公开了一种VR图像处理方法，包括如下步骤：获取焦点区域；对高清的焦点区域与非高清的背景图像进行融合并存储；调用并显示融合后的图像。本申请到达了保证传输图像的高清部分与非高清部分衔接自然，有效的提升用户体验的舒适度的技术效果。

Description

一种VR图像处理方法

技术领域

本申请涉及VR图像传输技术领域，尤其涉及一种VR图像处理方法。

背景技术

当今对图像传输过程中对分辨率的要求越来越高，尤其是在VR图像传输领域，因为VR需要双目输出，所以在传输上就有双倍大小图像输出的需求。根据目前的可行性方案，如果发送端使用X264编码压缩然后在接收端使用h264解码可以实时传输压缩后的视频流数据，并能有效降低网络传输数据量。但是网路传输领域还是存在传输高清、特高清视频会导致延迟加重的情况和无法即时性观察的可能性，特别是这种4K或者8K的视频传输压力则更大，相对应的视频编码领域压缩率越高则清晰度就越低，无法满足又能即时传输又能让客户观看高清视频的可能性，也无法满足VR的双目输出全景高清图的需求，若将一帧图像部分高清传输，部分非高清传输，则高清部分与非高清部分又容易出现断层现象，从而影响用户体验的舒适度。

发明内容

本申请的目的在于提供一种VR图像处理方法，保证了传输图像的高清部分与非高清部分衔接自然，有效的提升了用户体验的舒适度。

为达到上述目的，本申请提供一种VR图像处理方法，包括如下步骤：获取焦点区域；对高清的焦点区域与非高清的背景图像进行融合并存储；调用并显示融合后的图像。

优选的，高清的焦点区域与非高清的背景图像通过局部均方差滤波进行融合。

优选的，高清的焦点区域与非高清的背景图像进行融合的方法为：将前景区域和背景区域设置为不同颜色；设置可视区域、非可视区域、第一边缘轮廓和第二边缘轮廓；对第一边缘轮廓和第二边缘轮廓向可视区域方向做边缘羽化；对背景区域和前景区域做图像替换，完成焦点区域与背景图像的融合。

优选的，获取焦点区域的方法为：播放视频；对当前观察区域进行定位，计算并获取焦点区域。

优选的，对当前观察区域进行定位，计算并获取焦点区域的方法为：确定基础角度(X0,Y0,Z0)；获取实时三轴欧拉角度(X1,Y1,Z1)；利用实时三轴欧拉角度(X1,Y1,Z1)和基础角度(X0,Y0,Z0)得出计算角度(X2,Y2,Z2)；根据中心点角度换算公式利用计算角度(X2,Y2,Z2)获取中心点的X坐标和Y坐标；利用中心点的X坐标和Y坐标计算焦点区域的大小，获取焦点区域。

优选的，中心点角度换算公式具体如下：中心点X坐标＝(1+计算角度X/180°)×(图像宽度/2)；中心点Y坐标＝(1+计算角度Y/90°)×(图像高度/2)；其中，计算角度X、计算角度Y为计算角度(X2,Y2,Z2)的X角度和Y角度，由实时三轴欧拉角度(X1,Y1,Z1)的X角度和Y角度分别减去基础角度(X0,Y0,Z0)的X角度和Y角度得出；图像宽度和图像高的为当前播放视频整帧图像的宽度和高度。

优选的，焦点区域范围计算公式为：左侧观察区域＝中心点X坐标-图像宽度×系数；右侧观察区域＝中心点X坐标+图像宽度×系数；上部观察区域＝中心点Y坐标-图像高度×系数；下部观察区域＝中心点Y坐标+图像高度×系数；其中，观察区域的系数由工作人员按照当前观察区域反复测试取值。

优选的，系数为0.1～0.4。

优选的，系数为0.2。

本申请实现的有益效果如下：

(1)保证了传输图像的高清部分与非高清部分衔接自然，有效的提升了用户体验的舒适度。

(2)能够达到降低网络传输数据量，避免传输延迟并且满足客户观看视频为高清视频的技术效果。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为VR图像处理方法一种实施例的流程图；

图2为获取焦点区域的方法的流程图；

图3为对工作人员当前观察区域进行定位的方法的流程图；

图4为高清的焦点区域与非高清的背景图像之间的融合的方法的流程图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供一种VR图像处理方法，包括如下步骤：

S110：获取焦点区域。

具体的，针对视频的每一帧图像，获取不同欧拉角度对应的焦点区域。

进一步的，对于每一帧图像，获取焦点区域的方法具体为：

S210：播放视频。

具体的，工作人员佩戴上VR设备，VR设备为VR头戴式显示设备，在VR模式下播放双目视频，获取某一帧图像。

S220：对当前观察区域进行定位，计算并获取焦点区域。

具体的，当前观察区域为工作人员当前的视线看到的区域。

进一步的，对工作人员当前观察区域进行定位的方法具体为：

S310：确定基础角度(X0,Y0,Z0)。

具体的，记录双目视频的第一帧图像的观察区域的三轴欧拉角作为基础角度(X0,Y0,Z0)。

优选的，第一帧图像显示的观察区域为全景图画面的正中间图像区域。

S320：获取实时三轴欧拉角度(X1,Y1,Z1)。

具体的，通过设备底层提供的接口实时获取工作人员带动VR设备运动后的实时三轴欧拉角度(X1,Y1,Z1)。

进一步的，实时三轴欧拉角(X1,Y1,Z1)范围为：X1角度：处于-180°～180°之间；Y1角度：处于-90°到90°之间；Z1角度：处于-180°到180°之间。

S330：利用实时三轴欧拉角度(X1,Y1,Z1)和基础角度(X0,Y0,Z0)得出计算角度(X2,Y2,Z2)。

具体的，通过当前VR设备的实时三轴欧拉角度(X1,Y1,Z1)减去基础角度(X0,Y0,Z0)得出计算角度(X2,Y2,Z2)。

S340：根据中心点角度换算公式利用计算角度(X2,Y2,Z2)获取中心点的X坐标和Y坐标。

进一步的，中心点角度换算公式具体如下：

中心点X坐标＝(1+计算角度X/180°)×(图像宽度/2)；

中心点Y坐标＝(1+计算角度Y/90°)×(图像高度/2)；

其中：计算角度X、计算角度Y为计算角度(X2,Y2,Z2)的X角度和Y角度，由实时三轴欧拉角度(X1,Y1,Z1)的X角度和Y角度分别减去基础角度(X0,Y0,Z0)的X角度和Y角度得出；图像宽度和图像高的为当前播放视频整帧图像的宽度和高度。

进一步的，工作人员的当前观察区域属于全景图大小范围。若当前观察区域存在超过这个范围的部分，计算机将自动取模得出属于该全景图大小范围的有效值，该有效值为修正超出全景图大小范围后的图像宽度或图像高度的值。若当前观察区域存在超过这个范围的部分，中心点角度换算公式和焦点区域范围计算公式中的图像宽度和图像高度也均使用修正后的有效值进行计算。例如：播放视频的全景图宽度是3840，而右侧观察区域得出的宽度值是4000，则右侧观察区域的宽度值的有效值为＝4000mod 3840＝160，其中mod为求余函数，即两个数值表达式作除法运算后的余数。

S350：根据中心点的X坐标和Y坐标计算焦点区域的大小，获取焦点区域。

进一步的，计算焦点区域的大小获取焦点区域的焦点区域范围计算公式如下：

左侧观察区域＝中心点X坐标-图像宽度×系数；

右侧观察区域＝中心点X坐标+图像宽度×系数；

上部观察区域＝中心点Y坐标-图像高度×系数；

下部观察区域＝中心点Y坐标+图像高度×系数；

其中，系数为0.1～0.4，由工作人员按照当前观察区域反复测试取值，本申请优选为0.2。

具体的，例如，播放视频的全景图像大小是3840x 1080，图像的宽度为3840；系数为0.2；当前播放的双目视频的基础角度(X0,Y0,Z0)为(0°、10°、0°)，当前VR设备观察的实时三轴欧拉角度(X1,Y1,Z1)为(-100°、20°、0°)，则计算角度(X2,Y2,Z2)为(-100°、10°、0°)，则焦点区域为：

中心点坐标X＝(1+(-100°)/180°)×(3840/2)＝853；

中心点坐标Y＝(1+(10°)/90°)×(1080/2)＝600；

左侧观察区域＝853–3840×0.2＝85；

右侧观察区域＝853+3840×0.2＝1621；

上部观察区域＝600–1080×0.2＝384；

下部观察区域＝600+1080×0.2＝816；

S120：对高清的焦点区域与非高清的背景图像进行融合并存储。

进一步的，作为一个实施例，高清的焦点区域与非高清的背景图像通过局部均方差滤波进行融合，并将融合后的图像存储到文件库，方便用户使用时进行调取。

具体的，假设一幅m×n的灰度图像(m为灰度图的长度，n为灰度图的宽度)，在宽(2n+1)、长(2m+1)的窗口内，其像素点(i,j)的局部均值m_ij可表示为：

其中，x_kl是像素点(k,l)的灰度值。

其像素点(i,j)的局部均方差v_ij可表示为：

加性去噪后的结果

为：

其中，k为等于i-n的像素值，i+n为一个像素值；x_ij为局部方差值；l为等于j-m的像素值；j+m为一个像素值；n+i为一个像素值；m+j为一个像素值；

其中：

σ为用户输入的参数。

方差Var(x)为：

具体的，局部方差比较小，图像中该局部区域属于灰度平坦区。当局部属于平坦区时，方差很小，趋近于0。该点滤波之后的像素就是该点的局部平均值。由于该局部各点像素的灰度值相差不大，其局部平均值也与各个像素的灰度值相差不大；当局部属于边缘区域时，方差较大，相对于用户输入的参数可以忽略不计，其图像去噪之后，就等于输入的图像灰度值。该方法能够保留边缘的同时进行去噪。

进一步的，作为另一个实施例，高清的焦点区域与非高清的背景图像之间的融合的方法为：

S410：将前景区域和背景区域设置为不同颜色。

具体的，背景区域为黑色，前景区域为白色，但不仅限于黑色和白色，还可以为其他颜色。

S420：设置可视区域、非可视区域、第一边缘轮廓和第二边缘轮廓。

具体的，可视区域设置于前景区域内，且可视区域的第一边缘轮廓小于前景区域的边缘轮廓，非可视区域的第二边缘轮廓设置于背景区域，且第二边缘轮廓大于前景区域的边缘轮廓，小于背景区域的边缘轮廓，可视区域的第一边缘轮廓与非可视区域的第二边缘轮廓围成的区域为可视区域。

S430：对第一边缘轮廓和第二边缘轮廓向可视区域方向做边缘羽化。

具体的，使用opencv中的cvSmooth(img1,img2,CV_BLUR,11,11)对第一边缘轮廓和第二边缘轮廓向可视区域方向做边缘羽化，完成前景区域与背景区域的融合，形成过渡部分，执行S440。

S440：对背景区域和前景区域做图像替换，完成焦点区域与背景图像的融合。

具体的，将背景区域替换为背景图像，将前景区域替换为焦点区域，并将过渡部分按像素比例分配给可视区域内的背景图像与焦点图像，完成焦点区域与背景图像的融合，并将融合后的图像存储到文件库，方便用户使用时进行调取。

S130：调用并显示融合后的图像。

具体的，用户使用VR设备播放处理好的双目视频时，VR头显显示的为从文件库中调用的融合后的图像。

本申请实现的有益效果如下：

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims

1.一种VR图像处理方法，其特征在于，包括如下步骤：

获取焦点区域；

对高清的焦点区域与非高清的背景图像进行融合并存储；

调用并显示融合后的图像；

其中，高清的焦点区域与非高清的背景图像进行融合的方法为：

将前景区域和背景区域设置为不同颜色；

设置可视区域、非可视区域、第一边缘轮廓和第二边缘轮廓；

对第一边缘轮廓和第二边缘轮廓向可视区域方向做边缘羽化；

对背景区域和前景区域做图像替换，完成焦点区域与背景图像的融合；

其中，可视区域设置于前景区域内，且可视区域的第一边缘轮廓小于前景区域的边缘轮廓，非可视区域的第二边缘轮廓设置于背景区域，且第二边缘轮廓大于前景区域的边缘轮廓，小于背景区域的边缘轮廓，可视区域的第一边缘轮廓与非可视区域的第二边缘轮廓围成的区域为可视区域。

2.根据权利要求1所述的VR图像处理方法，其特征在于，高清的焦点区域与非高清的背景图像通过局部均方差滤波进行融合。

3.根据权利要求2所述的VR图像处理方法，其特征在于，获取焦点区域的方法为：

播放视频；

对当前观察区域进行定位，计算并获取焦点区域。

4.根据权利要求3所述的VR图像处理方法，其特征在于，对当前观察区域进行定位，计算并获取焦点区域的方法为：

确定基础角度(X0,Y0,Z0)；

获取实时三轴欧拉角度(X1,Y1,Z1)；

利用实时三轴欧拉角度(X1,Y1,Z1)和基础角度(X0,Y0,Z0)得出计算角度(X2,Y2,Z2)；

根据中心点角度换算公式利用计算角度(X2,Y2,Z2)获取中心点的X坐标和Y坐标；

利用中心点的X坐标和Y坐标计算焦点区域的大小，获取焦点区域。

5.根据权利要求4所述的VR图像处理方法，其特征在于，中心点角度换算公式具体如下：

中心点X坐标＝(1+计算角度X/180°)×(图像宽度/2)；

中心点Y坐标＝(1+计算角度Y/90°)×(图像高度/2)；

其中，计算角度X、计算角度Y为计算角度(X2,Y2,Z2)的X角度和Y角度，由实时三轴欧拉角度(X1,Y1,Z1)的X角度和Y角度分别减去基础角度(X0,Y0,Z0)的X角度和Y角度得出；图像宽度和图像高的为当前播放视频整帧图像的宽度和高度。

6.根据权利要求4所述的VR图像处理方法，其特征在于，焦点区域范围计算公式为：

左侧观察区域＝中心点X坐标-图像宽度×系数；

右侧观察区域＝中心点X坐标+图像宽度×系数；

上部观察区域＝中心点Y坐标-图像高度×系数；

下部观察区域＝中心点Y坐标+图像高度×系数；

其中，观察区域的系数由工作人员按照当前观察区域反复测试取值。

7.根据权利要求6所述的VR图像处理方法，其特征在于，系数为0.1～0.4。

8.根据权利要求7所述的VR图像处理方法，其特征在于，系数为0.2。