CN116248895B - 虚拟现实全景漫游的视频云转码方法及系统 - Google Patents

Abstract

本申请公开一种虚拟现实全景漫游的视频云转码方法及系统，对待转码的全景视频码流进行解码，得到全景视频码流的色彩差分序列，根据色彩差分序列对当前图像帧进行动态变化预测，得到下一图像帧的预测宏块集合，根据所述预测宏块集合和下一图像帧的宏块集合，确定当前图像帧中各个宏块的动态变化残差值，根据每个宏块对应的动态变化残差值计算该宏块的变化引起的动态晕眩度，进而根据该宏块的动态晕眩度，调整该宏块的比特压缩率，根据各个宏块的比特压缩率对全景视频码流进行压缩编码，减少一部分容易引起观看者晕眩的宏块所占用的比特数，从而减少全景视频码流中引起观看者晕眩的部分全景视频冗余数据，提升了虚拟现实全景漫游用户的观看体验。

Description

虚拟现实全景漫游的视频云转码方法及系统

技术领域

本申请涉及视频转码技术领域，具体的说，本申请涉及一种虚拟现实全景漫游的视频云转码方法及系统。

背景技术

近年来虚拟现实（virtual-reality，VR）技术一直处于交叉技术领域的前沿地位，有相关报告显示，沉浸式的虚拟现实全景漫游技术将逐渐成为新兴的触觉5G互联网生态系统的技术基石，但虚拟现实全景漫游对播放的全景视频分辨率要求很高，往往是普通视频的数倍，若在用户本地终端设备上对全景视频进行转码时往往受限于网络带宽与本地终端设备中央处理器（central processing unit，CPU）的运算速度，在对全景视频码流解码时会出现播放卡顿等情况，影响用户使用体验，极大的制约了VR技术的发展。

现有技术中通过视频云转码技术可解决上述问题，视频云转码技术是指将视频通过视频云端服务器转换成适合本地终端设备播放的视频格式的云计算技术，本地终端设备的 CPU 处理能力有限，存储空间小，而利用视频云端服务器强大的运算能力可以实现各种格式的全景视频转码，在转码过程中可降低全景视频的冗余量，从而减少视频传输的网络带宽压力与本地终端设备的存储压力，但对于虚拟现实全景漫游由于其独特的沉浸式体验，在全景漫游的视频场景迅速变换时，人眼捕捉图像变化容易带来不同程度的晕眩感，会导致用户的观看体验不佳，而现有的视频云转码技术中，往往只减少了全景视频中的时间冗余数据和空间冗余数据，对引起观看者晕眩的部分全景视频冗余数据则较少关注，导致用户的观看体验不佳。

发明内容

本申请要解决的技术问题是提供一种虚拟现实全景漫游的视频云转码方法及系统，以在视频云端服务器对全景视频码流进行转码时，减少引起观看者晕眩的部分全景视频冗余数据，提升虚拟现实全景漫游用户的观看体验。

为解决所述技术问题，本申请采用如下技术方案：

第一方面，本申请提供一种虚拟现实全景漫游的视频云转码方法，该方法可包括如下步骤：

视频云端服务器接收待转码的全景视频码流，对所述全景视频码流进行解码，得到所述全景视频码流的色彩差分序列；

对所述全景视频码流的当前图像帧进行划分，获取所述当前图像帧的宏块集合；

根据所述色彩差分序列对当前图像帧进行动态变化预测，得到下一图像帧的预测宏块集合，根据所述预测宏块集合和下一图像帧的宏块集合，确定当前图像帧中各个宏块的动态变化残差值；

根据各个宏块的动态变化残差值，确定当前图像帧中各个宏块的动态晕眩度，并判断当前图像帧中各个宏块对应的动态晕眩度是否超过动态晕眩度阈值，对超过所述动态晕眩度阈值的宏块对应的比特压缩率进行调整；

根据所述全景视频码流中各个宏块对应的比特压缩率，对所述全景视频码流进行压缩编码，得到转码后的用户视频码流。

在一些实施例中，对所述全景视频码流进行解码，得到所述全景视频码流的色彩差分序列可包括：

根据全景视频码流格式，确定相应的视频解码器；

通过所述视频解码器，获取所述全景视频码流的YUV格式数据；

根据所述全景视频码流的YUV格式数据，确定全景视频码流的色彩差分序列。

在一些实施例中，根据所述全景视频码流的YUV格式数据，确定全景视频码流的色彩差分序列可包括：

根据所述YUV格式数据获取所述全景视频码流的图像首帧中各像素点色彩值以及所述全景视频码流的第二图像帧中各像素点的色彩值；

根据所述第二图像帧中各像素点的色彩值和所述图像首帧中与所述第二图像帧中各像素点对应的同位像素点的色彩值确定所述第二图像帧的色彩差分序列；

根据所述YUV格式数据，获取所述全景视频码流中第三图像帧中各像素点的色彩值；

根据第二图像帧中各像素点的色彩值和所述第三图像帧中与所述第二图像帧中各像素点对应的同位像素点的色彩值确定所述第三图像帧的色彩差分序列；

重复上述步骤，直到确定所述全景视频码流全部图像帧的色彩差分序列。

在一些实施例中，根据所述色彩差分序列对当前图像帧进行动态变化预测，得到下一图像帧的预测宏块集合可包括：

选定当前图像帧中第一宏块的第一像素点；

根据所述色彩差分序列，获得当前图像帧的前个图像帧中，对应所述第一像素点的同位像素点的色彩差分序列元素；

根据所述前个图像帧的同位像素点的色彩差分序列元素，确定所述第一像素点的预测色度信号和预测亮度信号；

对所述第一宏块中除所述第一像素点外的其余像素点采用相同方式进行动态变化预测，直到得到所述第一宏块中所有像素点的预测色度信号与预测亮度信号，根据所述第一宏块中所有像素点的预测色度信号与预测亮度信号得到所述第一宏块的预测宏块；

对所述当前图像帧中除所述第一宏块外的其余宏块进行相同步骤的动态变化预测，获得所述当前图像帧中所有宏块的预测宏块；

根据当前图像帧中所有宏块的预测宏块得到下一图像帧的预测宏块集合。

在一些实施例中，当前图像帧中第一宏块的第一像素点的预测色度信号和预测亮度信号可通过下述公式确定：

其中，若当前图像帧为第图像帧，所述第一像素点为第/>图像帧中第/>行第/>列像素点，/>为第一像素点的预测亮度信号，/>、/>均为第一像素点的预测色度信号，其分别是预测色调信号与预测饱和度信号，/>为第一像素点的亮度信号，、/>分别为第一像素点的色调信号与饱和度信号，/>为第/>图像帧中第/>行第/>列像素点的亮度信息差分信号，/>为第/>图像帧中第/>行第/>列像素点的色度信息差分信号，/>为第/>图像帧中第/>行第/>列像素点的色度信息差分信号，/>为预测深度，为预设的常数且为整数。

在一些实施例中，对所述全景视频码流进行压缩编码可包括：

根据宏块对应的比特压缩率，确定所述全景视频码流中各个宏块的像素深度；

根据各个宏块的像素深度对所述全景视频码流进行压缩，得到压缩视频码流；

对所述压缩视频码流进行余弦离散变换，获得所述全景视频码流的频域数据集合；

对所述频域数据集合进行量化，得到量化后的频域数据集合；

对所述量化后的频域数据集合进行熵编码。

在一些实施例中，所述熵编码的编码方式可为哈夫曼编码。

第二方面，本申请公开一种虚拟现实全景漫游的视频云转码系统，包括：

色彩差分序列确定模块，用于在视频云端服务器接收待转码的全景视频码流，对所述全景视频码流进行解码，得到所述全景视频码流的色彩差分序列；

宏块集合确定模块，用于对所述全景视频码流的当前图像帧进行划分，获取所述当前图像帧的宏块集合；

动态变化残差值确定模块，用于根据所述色彩差分序列对当前图像帧进行动态变化预测，得到下一图像帧的预测宏块集合，根据所述预测宏块集合和下一图像帧的宏块集合，确定当前图像帧中各个宏块的动态变化残差值；

比特压缩率确定模块，用于根据各个宏块的动态变化残差值，确定当前图像帧中各个宏块的动态晕眩度，并判断当前图像帧中各个宏块对应的动态晕眩度是否超过动态晕眩度阈值，对超过所述动态晕眩度阈值的宏块对应的比特压缩率进行调整；

用户视频码流确定模块，用于根据所述全景视频码流中各个宏块对应的比特压缩率，对所述全景视频码流进行压缩编码，得到转码后的用户视频码流。

第三方面，本申请公开一种计算机设备，所述计算机设备包括存储器和处理器；所述存储器存储有代码，所述处理器被配置为获取所述代码，并执行上述的虚拟现实全景漫游的视频云转码方法。

第四方面，本申请公开一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述虚拟现实全景漫游的视频云转码方法。

本申请公开的实施例提供的技术方案具有以下有益效果：

本申请通过视频云端服务器接收待转码的全景视频码流，对所述全景视频码流进行解码，得到所述全景视频码流的色彩差分序列，根据所述色彩差分序列对当前图像帧进行动态变化预测，得到下一图像帧的预测宏块集合，根据所述预测宏块集合与下一图像帧的宏块集合，确定当前帧图像中宏块的动态变化残差值，根据所述动态变化残差值，由预设的晕眩度算法得到当前图像帧中各个宏块的动态晕眩度，并根据所述动态晕眩度调整所述宏块对应的比特压缩率，根据所述全景视频码流中各个宏块对应的比特压缩率对所述全景视频码流进行压缩编码，得到转码后的用户视频码流。

本申请中通过对待转码的全景视频码流进行解码，得到所述全景视频码流的色彩差分序列，根据所述色彩差分序列对当前图像帧进行动态变化预测，得到下一图像帧的预测宏块集合，根据下一图像帧的预测宏块集合与实际的下一图像帧的宏块集合确定每个宏块对应的动态变化残差值，根据每个宏块对应的动态变化残差值计算该宏块的变化引起的观看者晕眩程度（即动态晕眩度），进而根据该宏块的动态晕眩度，调整该宏块的比特压缩率，根据各个宏块的比特压缩率对全景视频码流进行压缩编码，可减少一部分容易引起观看者晕眩的宏块所占用的比特数，从而减少了引起观看者晕眩的部分全景视频冗余数据，提升了虚拟现实全景漫游用户的观看体验。

附图说明

图1是根据本申请一些实施例所示的虚拟现实全景漫游的视频云转码方法的示例性流程图；

图2是根据本申请一些实施例所示的虚拟现实全景漫游的视频云转码系统的示例性硬件和/或软件的示意图；

图3是本申请施例提供的一种虚拟现实全景漫游的视频云转码方法的计算机设备的结构示意图。

具体实施方式

本申请核心在于通过对待转码的全景视频码流进行解码，得到所述全景视频码流的色彩差分序列，根据所述色彩差分序列对当前图像帧进行动态变化预测，得到下一图像帧的预测宏块集合，根据下一图像帧的预测宏块集合与实际的下一图像帧的宏块集合确定当前图像帧中每个宏块对应的动态变化残差值，根据每个宏块对应的动态变化残差值计算该宏块的变化引起的观看者晕眩程度（即动态晕眩度），进而根据该宏块的动态晕眩度，调整该宏块的比特压缩率，根据各个宏块的比特压缩率对全景视频码流进行压缩编码，可减少一部分容易引起观看者晕眩的宏块所占用的比特数，从而减少了引起观看者晕眩的部分全景视频冗余数据，提升了虚拟现实全景漫游用户的观看体验。

为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。

参考图1，该图是根据本申请一些实施例所示的虚拟现实全景漫游的视频云转码方法的示例性流程图，该虚拟现实全景漫游的视频云转码方法100主要包括如下步骤：

在步骤101，视频云端服务器接收待转码的全景视频码流，对所述全景视频码流进行解码，得到所述全景视频码流的色彩差分序列，具体实现时，全景视频码流可通过全景摄像机采集，这里不做具体限定。

在一些实施例中，对所述全景视频码流进行解码，获得所述全景视频码流的色彩差分序列可采用下述方式实现，即：

首先，根据全景视频码流格式，确定相应的视频解码器；例如，对于H.264格式的全景视频码流，选取H.264视频解码器；

其次，通过所述视频解码器，获取所述全景视频码流的YUV格式数据；

再次，根据所述全景视频码流的YUV格式数据，确定全景视频码流的色彩差分序列。

具体实现时，根据所述全景视频码流的YUV格式数据，确定全景视频码流的色彩差分序列可以采用下述优选的方式，即：

根据所述YUV格式数据获取所述全景视频码流的图像首帧中各像素点色彩值以及所述全景视频码流的第二图像帧中各像素点的色彩值；

根据第二图像帧中各像素点的色彩值和所述图像首帧中与所述第二图像帧中各像素点对应的同位像素点的色彩值确定所述第二图像帧的色彩差分序列；

根据所述YUV格式数据，获取所述全景视频码流中第三图像帧中各像素点的色彩值；

根据第二图像帧中各像素点的色彩值和所述第三图像帧中与所述第二图像帧中各像素点对应的同位像素点的色彩值确定所述第三图像帧的色彩差分序列；

重复上述步骤，直到得到所述全景视频码流全部图像帧的色彩差分序列。

需要说明，所述首帧为全景视频码流的全部图像帧中基于时间顺序的第一图像帧，具体实现时，首帧中每个像素点的色彩值可以由一个亮度信号与两个色度信号表示：

例如，在一些实施例中，以YUV444存储方式的YUV格式数据为例，首帧中第行第列像素点的色彩值可以表示为/>，其中/>为首帧中第/>行第/>列像素点的亮度信号，/>为分别首帧中第/>行第/>列像素点的色调信号与饱和度信号；具体实现时，所述亮度信号、色调信号、饱和度信号也可以用一个0到255的整数表示，由所述亮度信号、色调信号、饱和度信号可以唯一确定的表出对应像素点的色彩值。

需要说明，所述同位像素点，为不同图像帧中同一位置的像素点，例如，选定第二图像帧的第15行第16列的像素点，其在图像首帧对应的同位像素点即为所述图像首帧的第15行第16列的像素点；此外，所述图像首帧YUV格式数据即为所述图像首帧的色彩差分序列。

具体实现时，可以根据所述YUV格式数据，获取第图像帧中第/>行第/>列像素点的色彩值，此时，第/>图像帧中第/>行第/>列像素点的色彩差分序列元素可以表示为，其中/>为该像素点的亮度信息差分信号，/>为该像素点的色度信息差分信号。

需要说明的，所述亮度信息差分信号与所述色度信息差分信号，一定程度上可以代表该像素点的亮度瞬时变化信息，所述亮度信息差分信号与所述色度信息差分信号由下式确定：

其中，为第/>图像帧中第/>行/>列像素点的亮度信息差分信号，/>为第/>图像帧中第/>行第/>列像素点的色度信息差分信号，其中/>为第/>图像帧中第/>行第/>列像素点的亮度信号，/>分别为第/>图像帧中第/>行第/>列像素点的色调信号与饱和度信号，其中/>为第/>图像帧中第/>行第/>列像素点的亮度信号，/>分别为第/>图像帧中第/>行第/>列像素点的色调信号与饱和度信号，/>为标定的色调系数，/>为标定的饱和度系数；在一些实施例中，由于人眼对于视频中色度变化的敏感度远小于对亮度变化的敏感度，为便于计算，/>、/>可以取小于0.1的相同常数。

根据上式可以获取第图像帧中任一像素点的色彩差分序列元素，将所述第/>图像帧中所有像素点的色彩差分序列元素确定后按行优先排列方式进行排列，即可得到所述第/>图像帧的色彩差分序列，全景视频码流中的所有图像帧的色彩差分序列按照时间顺序排列可以得到所述全景视频码流的色彩差分序列。

另外，为便于数据的运算与存储，也可采用YUV420或是YUV422存储方式的YUV格式数据，例如，在YUV422存储方式中，每两个相邻的像素点的色度信息差分信号相等，这样，在一定程度上减轻了视频云端服务器的计算量。

在步骤102，对所述全景视频码流的当前图像帧进行划分，获取所述当前图像帧的宏块集合。

需要说明，在视频转码中，当前图像帧往往被分割成多个宏块，视频编码算法以宏块为单位，对逐个宏块进行编码，最终组织成连续的视频码流；在一些实施例中，所述宏块的划分方式可以是依据分辨率公约数大小的正四边形等比例划分，并且为了便于各个宏块的动态变化残差值确定，在不同的图像帧中宏块的划分方式是一致的，例如，每个分辨率为640 x 480的三十万像素的图像帧，可以分为48个大小相同的正四边形宏块，在具体实现时，也可以根据全景视频的转码需要采用不同的划分方法，这里不做限定。

在步骤103，根据所述色彩差分序列对当前图像帧进行动态变化预测，得到下一图像帧的预测宏块集合，根据所述预测宏块集合和下一图像帧的实际宏块集合，确定当前图像帧中各个宏块的动态变化残差值，需要说明的，所述下一图像帧，为所述当前图像帧基于时间顺序的下一图像帧。

在步骤104，根据各个宏块的动态变化残差值，确定当前图像帧中各个宏块的动态晕眩度，并判断当前图像帧中各个宏块对应的动态晕眩度是否超过动态晕眩度阈值，对超过所述动态晕眩度阈值的宏块对应的比特压缩率进行调整，具体实现时，动态晕眩度可由预设的晕眩度算法确定。

需要说明的，本申请中当前图像帧可以是所述全景视频码流中选择的任意一个图像帧，在一些实施例中，也可以按照图像帧的播放时间顺序，将所有图像帧依次作为当前图像帧完成上述当前图像帧上的操作或计算，直到获得全景视频码流中全部宏块的比特压缩率。

在步骤105，根据所述全景视频码流中各个宏块对应的比特压缩率，对所述全景视频码流进行压缩编码，得到转码后的用户视频码流。

在一些实施例中，根据所述色彩差分序列对当前图像帧进行动态变化预测，得到下一图像帧的预测宏块集合可采用下述方式实现，即：

首先，选定所述当前图像帧中第一宏块中第一像素点；所述第一宏块或第一像素点可以是按照行优先排列顺序的第一个宏块或第一个像素点，也可以是按照其他优先级顺序进行排列的第一个宏块或第一个像素点，这里不作限定；

其次，根据所述色彩差分序列，获得当前图像帧的前个图像帧中，对应所述第一像素点的同位像素点的色彩差分序列元素，需要说明的，所述同位像素点有/>个；

再次，根据所述前个图像帧的同位像素点的色彩差分序列元素，确定所述第一像素点的预测色度信号与预测亮度信号；

具体实现时，确定所述当前图像帧中第一宏块中第一像素点的预测色度信号和预测亮度信号的方式可以由下式表示，即：

其中，若当前图像帧为第图像帧，所述第一像素点为第/>图像帧中第/>行第/>列像素点，/>为第一像素点的预测亮度信号，/>、/>均为为第一像素点的预测色度信号，其分别是预测色调信号与预测饱和度信号，/>为第一像素点的亮度信号，、/>分别为第一像素点的色调信号与饱和度信号，/>为第/>图像帧中第/>行第/>列像素点（即第一像素点在第/>图像帧中的同位像素点）的亮度信息差分信号，/>为第/>图像帧中第/>行第/>列像素点的色度信息差分信号，/>为第/>图像帧中第/>行第/>列像素点的色度信息差分信号，/>为预测深度，为预设的常数且为整数，其反映了进行动态变化预测时，需要获取当前图像帧前序多次变化的程度。

采用上式计算，可以根据当前图像帧中的像素点前序P个图像帧对应像素点的多次变化预测该像素点下一帧的变化，从而在一定程度上模拟人脑基于观看的全景视频的前序变化产生的下一步全景视频的图像变化预测，进而可以根据下一图像帧的预测变化与实际的下一图像帧变化相对比获得动态变化残差值，从而由该动态变化残差值估计全景视频的变化与人脑的动态变化预测的偏离程度。

在一些实施例中，可以对第一宏块中除第一像素点外的其余像素点采用相同方式进行动态变化预测，直到得到所述第一宏块中所有像素点的预测色度信号和预测亮度信号，所述第一宏块中所有像素点的预测色度信号与预测亮度信号可确定所述第一宏块的预测宏块。

对所述当前图像帧中除所述第一宏块外的其余宏块进行相同步骤的动态变化预测，获得所述当前图像帧中所有宏块的预测宏块，根据当前图像帧中所有宏块的预测宏块得到下一图像帧的预测宏块集合，具体实现时，可以由所有宏块的预测宏块组成下一图像帧的预测宏块集合。

在一些实施例中，当前图像帧中宏块的动态变化残差值，可以根据下一图像帧的预测宏块集合与下一图像帧的实际宏块集合确定，需要说明的，全景视频码流中不同图像帧的宏块的划分方式是一致的。

例如，以当前图像帧为640 x 480的三十万像素的图像帧为例，可以分为48个大小相同的正四边形宏块，每个宏块中存在80 x 80的像素点。

所述动态变化残差值可以是一个三维向量，当前图像帧中例如左上角宏块的动态变化残差值中的向量元素可以由下式确定：

其中为亮度残差，/>为色调残差，/>为饱和率残差，/>为当前图像帧中第/>行第/>列像素点的预测亮度信号与下一图像帧中的同位像素点的亮度信号的差值，为当前图像帧中第/>行第/>列像素点的预测色调信号与下一图像帧中的同位像素点的色调信号的差值，/>为当前图像帧中第/>行第/>列像素点的预测饱和度信号与下一图像帧中的同位像素点的饱和度信号的差值。

采用同样方式可以计算当前图像帧中除左上角宏块外的其余宏块的动态变化残差值，从而得到当前图像帧中全部宏块对应的动态变化残差值。

需要说明，麻省理工学院的学者查尔斯·欧曼在1990年提出了一种假说来阐释晕动症的原因，即，眼睛与大脑期望间的冲突才是晕动症的根源，人体运动时，大脑会从预期的神经活动模式中减去实际的感觉输入，剩下的就是“感觉运动冲突信号”，这种感觉运动冲突信号会导致人在观测外界环境时产生眩晕感，现实生活中这种冲突信号并不高，也就是说大脑的预期和实际的感觉基本一致，但在虚拟现实全景漫游视频中，人眼观察到的图像常常和人脑预期的下一步图像不符，导致感觉运动冲突信号的增加，从而引起人体产生强烈眩晕感（即，3D晕动症），影响观看者体验。

而动态变化残差值反映了当前图像帧的宏块中全部像素点的动态变化预测量与实际的全部像素点色彩值下一步的变化量的偏离程度，因此可以在一定程度上模拟人体大脑的感觉运动冲突信号的大小，当动态残差值过大时，代表当前图像帧中的宏块的变化容易引起人体大脑感觉运动冲突信号增加，导致晕眩感的产生，因此，可以根据宏块的动态变化残差值，计算在全景视频播放时该宏块引起观看者的晕眩程度，即宏块的动态晕眩度，当宏块的动态晕眩度超过预设的晕眩度阈值时，说明该宏块在全景视频播放时容易引起观看者产生晕眩感，影响用户观看体验，因此，进一步可以根据所述动态晕眩度对所述动态晕眩度过高（即超过阈值）的宏块进行压缩编码，降低其占用的比特数，从而给全景视频用户带来更好的观看体验。

在一些实施例中，本申请的晕眩度算法可以由下式表示，即：

其中，为选定宏块的动态晕眩度，/>为该选定宏块的亮度残差，/>为该选定宏块的色调残差，/>为该选定宏块的饱和率残差，/>为该选定宏块尺寸大小，例如，该选定宏块存在50 x 40的像素点，宏块尺寸大小即为50 x 40。

需要说明，由于人眼对于色度信号的分辨度远小于对亮度信号的分辨度，故而亮度残差是引起晕眩感的主要原因，因此，由亮度残差、色调残差、饱和度残差计算宏块的眩晕度时所占的影响比例也不应相等，上式中亮度残差、色调残差、饱和度残差前的比例系数是根据人眼对黑白色彩的分辨度（亮度信号的分辨度）与最常见的红蓝信号的分辨度（色度信号的分辨度）的比值确定，在具体实施时，也可以根据人的主观观看感受，调整上式中亮度残差、色调残差、饱和度残差前的比例系数，这里不再赘述。

而根据上述的晕眩度算法，可以根据当前图像帧中各个宏块的动态变化残差值，确定各个宏块对应的动态晕眩度，进而当宏块对应的动态晕眩度大于预设的晕眩度阈值时，调整所述宏块的比特压缩率，即：

其中，为选定宏块的动态晕眩度，/>为预设的晕眩度阈值，/>为选定宏块的比特压缩率，/>为全景视频转码的原始比特压缩率，/>为调整后的比特压缩率，调整后的比特压缩率大于原始比特压缩率，在一些实施例中，原始比特压缩率根据用户需求标定，所述调整后的比特压缩率可以是原始比特压缩率的一定倍数，例如当选定宏块的动态晕眩度高于预设的晕眩度阈值时，将所述选定宏块的比特压缩率调整为原始比特压缩率的1.5倍。

需要说明，宏块的比特压缩率为该宏块在压缩编码后用户视频码流中所占用的比特数与压缩编码前的全景视频码流中所占用的比特数之比，当宏块的比特压缩率提高时，其在压缩编码后在用户视频中呈现的分辨率也将相应的变低，因此在全景视频播放的过程中该宏块的变化更不容易被人眼捕捉，从而可降低该宏块在全景视频播放时造成的晕眩感，提高虚拟现实漫游用户的观看体验。

在一些实施例中，对所述全景视频码流进行压缩编码可采用下述方式：

首先，根据所述宏块对应的比特压缩率，确定所述全景视频码流中各个宏块的像素深度，根据各个宏块的像素深度对全景视频码流进行压缩，得到压缩视频码流。

需要说明，像素深度是指宏块中存储单个像素所用的位数，可以用它来度量图像的分辨率，根据所述宏块对应的比特压缩率，可以确定宏块中的像素点需要丢失的存储位数，从而实现视频的压缩，例如，当比特压缩率为50%时，所述全景视频码流中存储单个像素所用的位数降低一半，具体实现时，可以采用多个像素点共同占据同一个色度或亮度信号达到压缩效果，也可以根据所述各个宏块的比特压缩率，采用现有的高效率视频编码（HighEfficiency Video Coding，HEVC）编码方式对所述全景视频进行压缩编码，这里不做限定。

其次，对所述压缩视频码流进行余弦离散变换，获得所述全景视频码流的频域数据集合。

需要说明，余弦离散变换过程中不会有像素数据的损失，它将压缩视频码流中基于时间域的图像数据转换成频域中代表不同频率分量的频域数据（也可称为系数），这样可以使压缩视频码流的大部分数据存储集中于频率域的一个小范围内，因此，采用余弦离散变换很多时候也可以减少压缩视频码流的图像数据占用的比特数。

再次，对所述频域数据集合进行量化，得到量化后的频域数据集合。

需要说明，量化过程是一种有损运算，是根据频域数据与标定的常数得到二者的商数，然后取数值上最接近该商数的整数代替原有的频域数据，从而将较为复杂的频域数据转换为一个或多个整数码，在用户对视频解码过程中可以根据该整数码对频域数据进行恢复；实际的压缩视频码流中的图像数据与量化后的图像数据比值也叫做量化噪声，量化噪声越大，所述量化后的频域数据集合占用的比特数越低；在一些实施例中，也可以根据所述压缩视频码流中的宏块对应的比特压缩率调整所述量化步骤中的量化噪声；

最后，对所述量化后的频域数据集合进行熵编码，最终得到转码后的用户视频码流。

需要说明的，根据信息论的原理，可以找到最佳数据压缩编码的方法，数据压缩的理论极限是信息熵，即把信息中排除了冗余后的平均信息量称为信息熵，如果要求编码过程中不丢失信息量，即要求保存信息熵，这种信息保持编码叫熵编码，是根据消息出现概率的分布特性而进行的，是无损数据压缩编码，现有技术中对熵编码存在一套完整的编码体系，具体实现时，所述熵编码的编码方式可以为哈夫曼编码，也可以是其他例如香农编码等熵编码方式，这里不做具体限定。

另外，本申请的另一方面，参考图2，该图是根据本申请一些实施例所示的虚拟现实全景漫游的视频云转码系统的示例性硬件和/或软件的示意图，该虚拟现实全景漫游的视频云转码系统200可包括：色彩差分序列确定模块201、宏块集合确定模块202、动态变化残差值确定模块203、比特压缩率确定模块204和用户视频码流确定模块205，分别说明如下：

色彩差分序列确定模块201，所述色彩差分序列确定模块201主要用于在视频云端服务器接收待转码的全景视频码流，对所述全景视频码流进行解码，得到所述全景视频码流的色彩差分序列；

宏块集合确定模块202，所述宏块集合确定模块202主要用于对所述全景视频码流的当前图像帧进行划分，获取所述当前图像帧的宏块集合；

动态变化残差值确定模块203，所述动态变化残差值确定模块203主要用于根据所述色彩差分序列对当前图像帧进行动态变化预测，得到下一图像帧的预测宏块集合，根据所述预测宏块集合与下一图像帧的宏块集合，确定当前图像帧中宏块的动态变化残差值；

比特压缩率确定模块204，所述比特压缩率确定模块204主要用于根据所述动态变化残差值，确定当前图像帧中各个宏块的动态晕眩度，并判断所述当前图像帧中各个宏块对应的动态晕眩度是否超过动态晕眩度阈值，对动态晕眩度超过所述动态晕眩度阈值的宏块对应的比特压缩率进行调整，具体实现时，动态晕眩度可由预设的晕眩度算法确定；

用户视频码流确定模块205，所述用户视频码流确定模块205主要用于根据所述全景视频码流中各个宏块对应的比特压缩率，对所述全景视频码流进行压缩编码，得到转码后的用户视频码流。

在一些实施例中，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的虚拟现实全景漫游的视频云转码方法。

另外，在一些实施例中，参考图3，图3是本申请施例提供的一种虚拟现实全景漫游的视频云转码方法的计算机设备的结构示意图。该计算机设备300包括至少一个处理器301、通信总线302、存储器303以及至少一个通信接口304。

处理器301可以是一个通用中央处理器(central processing unit，CPU)、特定应用集成电路(application-specific integrated circuit，ASIC)或一个或多个用于控制本申请中的虚拟现实全景漫游的视频云转码方法的执行。

通信总线302可包括一通路，在上述组件之间传送信息。

存储器303可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其它类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其它类型的动态存储设备，也可以是电可擦可编程只读存储器(electricallyerasable programmable read-only memory，EEPROM)、只读光盘(compact disc read-only Memory，CD-ROM)或其它光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘或者其它磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其它介质，但不限于此。存储器303可以是独立存在，通过通信总线302与处理器301相连接。存储器303也可以和处理器301集成在一起。

其中，存储器303用于存储执行本申请方案的程序代码，并由处理器301来控制执行。处理器301用于执行存储器303中存储的程序代码。程序代码中可以包括一个或多个软件模块。上述实施例对所述全景视频码流进行压缩编码可以通过处理器301以及存储器303中的程序代码中的一个或多个软件模块实现。

通信接口304，使用任何收发器一类的装置，用于与其它设备或通信网络通信，如以太网，无线接入网(radio access network，RAN)，无线局域网(wireless local areanetworks，WLAN)等。

在具体实现中，作为一种实施例，计算机设备可以包括多个处理器，这些处理器中的每一个可以是一个单核(single-CPU)处理器，也可以是一个多核(multi-CPU)处理器。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。

上述的计算机设备可以是一个通用计算机设备或者是一个专用计算机设备。在具体实现中，计算机设备可以是台式机、便携式电脑、网络服务器、掌上电脑 (personaldigital assistant，PDA)、移动手机、平板电脑、无线终端设备、通信设备或者嵌入式设备。本申请实施例不限定计算机设备的类型。

本申请通过视频云端服务器接收待转码的全景视频码流，对所述全景视频码流进行解码，得到所述全景视频码流的色彩差分序列；根据所述色彩差分序列对当前图像帧进行动态变化预测，得到下一图像帧的预测宏块集合，根据所述预测宏块集合与下一帧图像的宏块集合，确定当前图像帧中宏块的动态变化残差值；根据所述动态变化残差值，由预设的晕眩度算法得到当前图像帧中各个宏块的动态晕眩度，并根据所述动态晕眩度调整所述宏块对应的比特压缩率；根据所述全景视频码流中各个宏块对应的比特压缩率对所述全景视频码流进行压缩编码，得到转码后的用户视频码流。

本申请中对待转码的全景视频码流进行解码，得到所述全景视频码流的色彩差分序列，根据所述色彩差分序列对当前图像帧进行动态变化预测，得到下一图像帧的预测宏块集合，根据下一图像帧的预测宏块集合与实际的下一图像帧的宏块集合确定每个宏块对应的动态变化残差值，根据每个宏块对应的动态变化残差值计算该宏块的变化引起的观看者晕眩程度（即动态晕眩度），进而根据该宏块的动态晕眩度，调整该宏块的比特压缩率，根据各个宏块的比特压缩率对全景视频码流进行压缩编码，可减少一部分容易引起观看者晕眩的宏块所占用的比特数，从而减少了引起观看者晕眩的部分全景视频冗余数据，提升了虚拟现实全景漫游用户的观看体验。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (9)

1.一种虚拟现实全景漫游的视频云转码方法，其特征在于，包括如下步骤：

视频云端服务器接收待转码的全景视频码流，对所述全景视频码流进行解码，得到所述全景视频码流的色彩差分序列，所述色彩差分序列中的色彩差分序列元素包括亮度信息差分信号和色度信息差分信号；

对所述全景视频码流的当前图像帧进行划分，获取所述当前图像帧的宏块集合；

根据所述色彩差分序列对当前图像帧进行动态变化预测，得到下一图像帧的预测宏块集合，根据所述预测宏块集合和下一图像帧的宏块集合，确定当前图像帧中各个宏块的动态变化残差值；

根据各个宏块的动态变化残差值，确定当前图像帧中各个宏块的动态晕眩度，并判断当前图像帧中各个宏块对应的动态晕眩度是否超过动态晕眩度阈值，对超过所述动态晕眩度阈值的宏块对应的比特压缩率进行调整；

根据所述全景视频码流中各个宏块对应的比特压缩率，对所述全景视频码流进行压缩编码，得到转码后的用户视频码流;

其中，根据所述色彩差分序列对当前图像帧进行动态变化预测，得到下一图像帧的预测宏块集合具体包括：

选定当前图像帧中第一宏块的第一像素点；

根据所述色彩差分序列，获得当前图像帧的前个图像帧中，对应所述第一像素点的同位像素点的色彩差分序列元素；

根据所述前个图像帧的同位像素点的色彩差分序列元素，确定所述第一像素点的预测色度信号和预测亮度信号；

对所述第一宏块中除所述第一像素点外的其余像素点采用相同方式进行动态变化预测，直到得到所述第一宏块中所有像素点的预测色度信号与预测亮度信号，根据所述第一宏块中所有像素点的预测色度信号与预测亮度信号得到所述第一宏块的预测宏块；

对所述当前图像帧中除所述第一宏块外的其余宏块进行相同步骤的动态变化预测，获得所述当前图像帧中所有宏块的预测宏块；

根据当前图像帧中所有宏块的预测宏块得到下一图像帧的预测宏块集合。

2.如权利要求1所述的方法，其特征在于，对所述全景视频码流进行解码，得到所述全景视频码流的色彩差分序列包括：

根据全景视频码流格式，确定相应的视频解码器；

通过所述视频解码器，获取所述全景视频码流的YUV格式数据；

根据所述全景视频码流的YUV格式数据，确定全景视频码流的色彩差分序列。

3.如权利要求2所述的方法，其特征在于，根据所述全景视频码流的YUV格式数据，确定全景视频码流的色彩差分序列包括：

根据所述YUV格式数据获取所述全景视频码流的图像首帧中各像素点色彩值以及所述全景视频码流的第二图像帧中各像素点的色彩值；

根据所述第二图像帧中各像素点的色彩值和所述图像首帧中与所述第二图像帧中各像素点对应的同位像素点的色彩值确定所述第二图像帧的色彩差分序列；

根据所述YUV格式数据，获取所述全景视频码流中第三图像帧中各像素点的色彩值；

根据第二图像帧中各像素点的色彩值和所述第三图像帧中与所述第二图像帧中各像素点对应的同位像素点的色彩值确定所述第三图像帧的色彩差分序列；

重复上述步骤，直到确定所述全景视频码流全部图像帧的色彩差分序列。

4.如权利要求1所述的方法，其特征在于，第一像素点的预测色度信号和预测亮度信号通过下述公式确定：

其中，若当前图像帧为第/>图像帧，所述第一像素点为第/>图像帧中第/>行第/>列像素点，/>为第一像素点的预测亮度信号，/>、/>均为第一像素点的预测色度信号，其分别是预测色调信号与预测饱和度信号，/>为第一像素点的亮度信号，/>、/>分别为第一像素点的色调信号与饱和度信号，/>为第/>图像帧中第/>行第/>列像素点的亮度信息差分信号，为第/>图像帧中第/>行第/>列像素点的色度信息差分信号，/>为第/>图像帧中第/>行第/>列像素点的色度信息差分信号，/>为预测深度，为预设的常数且为整数。

5.如权利要求1所述的方法，其特征在于，对所述全景视频码流进行压缩编码包括：

根据宏块对应的比特压缩率，确定所述全景视频码流中各个宏块的像素深度；

根据各个宏块的像素深度对所述全景视频码流进行压缩，得到压缩视频码流；

对所述压缩视频码流进行余弦离散变换，获得所述全景视频码流的频域数据集合；

对所述频域数据集合进行量化，得到量化后的频域数据集合；

对所述量化后的频域数据集合进行熵编码。

6.如权利要求5所述的方法，其特征在于，所述熵编码的编码方式为哈夫曼编码。

7.一种虚拟现实全景漫游的视频云转码系统，其特征在于，包括：

色彩差分序列确定模块，用于在视频云端服务器接收待转码的全景视频码流，对所述全景视频码流进行解码，得到所述全景视频码流的色彩差分序列，所述色彩差分序列中的色彩差分序列元素包括亮度信息差分信号和色度信息差分信号；

宏块集合确定模块，用于对所述全景视频码流的当前图像帧进行划分，获取所述当前图像帧的宏块集合；

动态变化残差值确定模块，用于根据所述色彩差分序列对当前图像帧进行动态变化预测，得到下一图像帧的预测宏块集合，根据所述预测宏块集合和下一图像帧的宏块集合，确定当前图像帧中各个宏块的动态变化残差值，其中根据所述色彩差分序列对当前图像帧进行动态变化预测，得到下一图像帧的预测宏块集合具体包括：选定当前图像帧中第一宏块的第一像素点；根据所述色彩差分序列，获得当前图像帧的前个图像帧中，对应所述第一像素点的同位像素点的色彩差分序列元素；根据所述前/>个图像帧的同位像素点的色彩差分序列元素，确定所述第一像素点的预测色度信号和预测亮度信号；对所述第一宏块中除所述第一像素点外的其余像素点采用相同方式进行动态变化预测，直到得到所述第一宏块中所有像素点的预测色度信号与预测亮度信号，根据所述第一宏块中所有像素点的预测色度信号与预测亮度信号得到所述第一宏块的预测宏块；对所述当前图像帧中除所述第一宏块外的其余宏块进行相同步骤的动态变化预测，获得所述当前图像帧中所有宏块的预测宏块；根据当前图像帧中所有宏块的预测宏块得到下一图像帧的预测宏块集合；

比特压缩率确定模块，用于根据各个宏块的动态变化残差值，确定当前图像帧中各个宏块的动态晕眩度，并判断当前图像帧中各个宏块对应的动态晕眩度是否超过动态晕眩度阈值，对超过所述动态晕眩度阈值的宏块对应的比特压缩率进行调整；

用户视频码流确定模块，用于根据所述全景视频码流中各个宏块对应的比特压缩率，对所述全景视频码流进行压缩编码，得到转码后的用户视频码流。

8.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器；所述存储器存储有代码，所述处理器被配置为获取所述代码，并执行如权利要求1至6任一项所述虚拟现实全景漫游的视频云转码方法。

9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述虚拟现实全景漫游的视频云转码方法。