CN112367524A - 一种全景视频编码方法 - Google Patents

Abstract

本发明涉及一种全景视频编码方法，属于视频编码领域，包括以下步骤：S1：服务器将全景视频交给TI计算器计算，得出所述全景视频的TI值，将所述TI值数据传递给编码器；S2：编码器收到需要转码的全景视频TI值后，根据TI分类的转码策略，对所述全景视频进行转码；S3：转码结束后，将转码后的视频及其媒体描述文件，存储在服务器中。本方法通过计算全景视频TI值，并进行分类编码。较高TI值的全景视频，经编码后，比现有的编码方案，具有更高的用户体验质量(QoE)。

Description

一种全景视频编码方法

技术领域

本发明属于视频编码领域，涉及一种全景视频编码方法。

背景技术

全景视频因其具有水平方向360度和垂直方向180度可视角度的特点，被广泛的应用。然而，全景视频通常需要更多的数据来覆盖所有空间方向，在满足用户的观影需求的同时，其庞大的数据量也给网络带来了巨大的负担。

目前常用的编码方案包括分块编码和全幅编码。分块编码即仅对用户视点区域进行高质量编码压缩，而对非视点区域进行低质量编码压缩。这种编码方式需要对用户视点区域进行预测。而目前准确预测用户视点区域的时长还不是很长，准确度也随着预测时长有所下降。这可能导致用户观看时出现卡顿，或在视点内观看低质量视频。

而全幅编码，是将球形的全景视频，通过墨卡托投影展开的方式，映射为平面的视频后，再进行编码。目前墨卡托投影展开方式的压缩方案，仅通过同时降低分辨率和码率的方式进行压缩，并没有根据视频特性，使得用户在低码率下观看全景视频，一定是低分辨率的，这给用户带来极差的观影体验。

发明内容

有鉴于此，本发明的目的在于针对墨卡托投影展开的全景视频，提出一种基于时间感知信息的全景视频编码方法，根据视频内容不同TI值，采用不同编码方法将无损视频编码为不同码率及分辨率的受损视频。

为达到上述目的，本发明提供如下技术方案：

一种全景视频编码方法，包括以下步骤：

S1：服务器将全景视频交给TI计算器计算，得出所述全景视频的TI值，将所述TI值数据传递给编码器；

S2：编码器收到需要转码的全景视频TI值后，根据TI分类的转码策略，对所述全景视频进行转码；

S3：转码结束后，将转码后的视频及其媒体描述文件，存储在服务器中。

进一步，步骤S1中，所述TI计算器使用两帧差分法计算TI值，具体包括以下步骤：

S11：将视频每一帧图像转化为灰度图像；

S12：对相邻连续两帧进行差分运算，计算对应像素点差值：

M_n(i,j)＝F_n(i,j)-F_n-1(i,j) (1)

其中F_n(i,j)为时间上第n帧第i行和第j列的像素；

S13：计算第n帧帧差均值：

其中α为每行像素点个数，β为每列像素点个数；

S14：计算各帧像素的标准差，即视频第n帧的TI值：

S15：计算视频平均TI值：

其中N为视频帧的个数。

进一步，步骤S2中，所述编码器采用基于时间感知信息的全景视频编码策略，将视频内容按TI大小进行类别划分，根据不同类别采取不同编码策略，具体如下：

若一个视频仅包含低TI片段，则将其称之为低TI视频；若仅包含中TI片段，则将其称之为中TI视频；若仅包含高TI片段，则将其称之为高TI视频；

低TI、中TI与高TI视频编码时将保持参考视频分辨率不变，降低视频码率；其中250kbps、400kbps为低码率；900kbps、2000kbps为中码率；2800kbps、4500kbps、10000kbps为高码率；

若参考视频为低码率混合TI视频，则平均码率记为F_org；设高TI视频片段共x段，中TI视频片段共y段，低TI视频片段共z段；第i段高TI视频片段平均码率记为F_h,i，第j段中TI视频片段平均码率记为F_m,j，第k段低TI视频片段平均码率记为F_l,k；参考视频持续时间记为T_org，第i段高TI视频片段持续时间记为T_h,i，第j段中TI视频片段持续时间记为T_m,j，第k段低TI视频片段持续时间记为T_l,k；δ为放缩值若满足：

则编码为低码率时，高TI片段提升一个码率等级，低、中TI片段码率降低一个码率等级；若已经是最高或最低码率等级，则不提升或降低；若不满足，则混合TI视频片段编码策略同非混合TI视频。

本发明的有益效果在于：相较于现有的编码方法而言，该方法通过计算全景视频TI值，并进行分类编码。较高TI值的全景视频，经编码后，比现有的编码方案，具有更高的用户体验质量(QoE)。具体效益提升，在实施例1.2中有数据说明。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：

图1为两帧差分算法计算TI流程图；

图2为全景视频Bridge,Walk,Ride,Market各码率SSIM值；

图3为2D模式下全景视频(a)Bridge；(b)Walk；(c)Ride；(d)Market各码率MOS值；

图4为VR模式下全景视频(a)Bridge；(b)Walk；(c)Ride；(d)Market各码率MOS值；

图5为服务器端对全景视频编码的流程示意图；

图6为客户端从服务器端下载并播放全景视频的流程示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

本发明提出一种全景视频的编码方法，由TI计算器+编码器完成，该方法均在服务器端执行。

全景视频存放于服务器端。视频先经过TI计算器计算，得出该视频TI值。之后经过编码器，由编码器根据该视频TI值，决定该使用何种编码方式。

时间感知信息(Temporal perceptual Information,TI)是一种用于表示视频片段时间变化次数的标准，表征视频片段的时间变化量。图1显示了使用两帧差分法计算TI的流程。通过对视频相邻两帧进行差分运算，相邻两帧对应像素点相减得到差值，计算帧差的标准差，求视频TI。

计算视频的平均TI时，首先将视频每一帧图像转化为灰度图像。对相邻连续两帧进行差分运算，计算对应像素点差值。

M_n(i,j)＝F_n(i,j)-F_n-1(i,j) (1)

其中F_n(i,j)为时间上第n帧第i行和第j列的像素。

通过求第n帧帧差均值

其中α为每行像素点个数，β为每列像素点个数。

计算各帧像素的标准差，即视频第n帧的TI

计算视频平均TI

其中N为视频帧的个数。

编码器采用一种基于时间感知信息的全景视频编码策略，将视频内容按TI大小进行类别划分，根据不同类别采取不同编码策略。若一个视频仅包含低TI片段，则将其称之为低TI视频。中TI视频和高TI视频同理。低TI、中TI与高TI视频编码时将保持参考视频分辨率不变，降低视频码率。编码码率及对应等级如表1。若一个视频包含了高TI片段x段，中TI视频片段y段，低TI视频片段z段，则将其称之为混合TI视频。

表1编码码率与码率等级对应关系

若参考视频为低码率混合TI视频，则平均码率记为F_org。设高TI视频片段共x段，中TI视频片段共y段，低TI视频片段共z段。第i段高TI视频片段平均码率记为F_h,i，第j段中TI视频片段平均码率记为F_m,j，第k段低TI视频片段平均码率记为F_l,k。参考视频持续时间记为T_org，第i段高TI视频片段持续时间记为T_h,i，第j段中TI视频片段持续时间记为T_m,j，第k段低TI视频片段持续时间记为T_l,k。δ为放缩值。

若满足

则编码为低码率时，高TI片段提升一个码率等级，低、中TI片段码率降低一个码率等级。若已经是最高或最低码率等级，则不提升或降低。若不满足，则混合TI视频片段编码策略同非混合TI视频。

以下为本方法的主观质量评估方案。

主观实验通过播放不同码率的全景视频模拟了自适应流媒体传输系统为不同带宽用户在2D模式和VR模式下提供不同画质的全景视频。2D模式下，全景视频采用等角投影为2D视频显示在屏幕上。VR模式下，观察者佩戴头戴式显示器(Head Mounted Display，HMD)观看全景视频。VR模式下的实验设备为MOSKII G04A头戴式显示器与MX6移动手机。量化指标采用平均意见分(Mean Opinion Score，MOS)作为量化标准，将视频QoE量化为很好、好、一般、差、很差五个质量等级，其损害程度分别为无法察觉、能察觉，但不讨厌、轻微讨厌、讨厌、非常讨厌，用5至1对应其分值。量化标准如表2。

表2 MOS、QoE与损害程度量化标准

主观评价方法采用双激励损伤标度法(Stimulus Impairment Scale，DSIS)，观察者先观看无损视频，经过3秒短暂休息后观看该视频编码后的受损视频。视频观看结束后，要求观察者根据第一个视频来评价第二个。评价采用打分制，分值采用的是MOS中5个QoE等级作为当前受损视频的分数。为消除视频声音对视频质量评估过程产生影响，视频均没有音频输出。每对视频观看结束后，观察者口头报告受损视频片段分值，并进行记录。在VR模式下，还加入了是否有眩晕感这一指标。

共有20位非专家观察者(男性10位，女性10位)参加本次实验，年龄为22岁至50岁。所有受测者视力正常。实验结束后，统计所有受损视频MOS值。在2D模式下，要求受测者每观看15组序列休息5分钟，以确保良好的观影体验。在VR模式下，允许观察者自由转动，确保他们可以观看全景视频的所有区域。由于长时间佩戴HMD设备观看全景视频易产生眩晕感，因此VR模式下每观看5组序列进行休息。为保证观察者熟悉全景视频的特性，在测试开始前向他们提供相应的培训，并分别以2D模式和VR模式播放一段与实验无关的全景视频，以便他们熟悉。

实验数据使用Insta360 Air全景摄像机拍摄了4个具有不同TI特征的等角投影全景视频作为参考视频，并使用两帧差分算法计算TI。这些参考视频分辨率为3008x1504，码率约为13500kbps，帧率为30fps，持续时间为80秒。其TI特征如表3所示。

表3参考全景视频TI特征

Bridge、Street、Bike视频在所有场景中，TI等级始终不变，而Market混合了低TI场景和高TI场景。根据TI的大小和类型，将4个全景视频进行划分，并对所有视频分别采用TI-based编码策略和非TI-based编码策略进行编码，分别记为TI-based组、非TI-based组，其中非TI-based策略符合自适应流媒体视频服务码率自适应传输策略特点，具体对应关系如表4所示。不同码率视频分别代表视频服务商根据用户带宽情况所提供的不同码率的视频。

表4非TI-based编码策略中码率与分辨率的关系

通过实验获得了一些数据。图2显示了4个参考视频经TI-based编码后在不同码率下的客观质量评价分数。可以看出，在低码率下，更低TI的视频拥有更高的SSIM值，视频TI越高，分数越低。随着码率的提高，所有视频的视频质量有所改善，TI越高的视频改善幅度越大，而码率上升带来的画质提升逐渐减少，最终所有视频画质逐渐趋于无损。

图3显示了2D模式下各全景视频各码率的MOS值。可以看出，高码率的全景视频，经TI-based编码策略或非TI-based编码策略编码的视频，受测者无法察觉画面失真或可接受。经TI-based编码后的中码率视频，其主观质量明显优于非TI-based编码策略，TI越低效果越明显。低码率下，低TI、混合TI视频采用TI-based编码策略效果明显优于非TI-based编码策略。

图4显示了VR模式下各全景视频各码率的MOS值。可以看出，除TI-based为1分以及非TI-based为5分的情况，TI-based编码策略的主观平均分均优于非TI-based策略。拥有更低TI的视频，在相同码率下MOS值更高。

对比图3和图4可以看出，随着码率上升到一定程度，画质提升所带来的主观体验质量将不再提高，称该码率为画质阈值码率。因此当客户端当前播放码率高到一定程度时，尽管网络环境良好，依然不需要再提高码率。同样的，服务器端不需要编码过高码率的视频，以节省服务器资源。TI越高的视频，画质阈值码率也更高。

此外，在实验中发现，VR模式下，在观看MOS值小于3的采用非TI-based策略编码后的全景视频时，有25％的观察者在30秒内出现眩晕感，85％观察者在1分钟内出现眩晕感，而其余15％观察者自始至终没有出现眩晕感。而经TI-based策略编码的视频，在所有码率下，观察者均未出现眩晕感。本方法的服务器端对全景视频编码的流程如图5，客户端从服务器端下载并播放全景视频的流程如图6所示。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (3)

1.一种全景视频编码方法，其特征在于：包括以下步骤：

S1：服务器将全景视频交给TI计算器计算，得出所述全景视频的TI值，将所述TI值数据传递给编码器；

S2：编码器收到需要转码的全景视频TI值后，根据TI分类的转码策略，对所述全景视频进行转码；

S3：转码结束后，将转码后的视频及其媒体描述文件，存储在服务器中。

2.根据权利要求1所述的全景视频编码方法，其特征在于：步骤S1中，所述TI计算器使用两帧差分法计算TI值，具体包括以下步骤：

S11：将视频每一帧图像转化为灰度图像；

S12：对相邻连续两帧进行差分运算，计算对应像素点差值：

M_n(i,j)＝F_n(i,j)-F_n-1(i,j) (1)

其中F_n(i,j)为时间上第n帧第i行和第j列的像素；

S13：计算第n帧帧差均值：

其中α为每行像素点个数，β为每列像素点个数；

S14：计算各帧像素的标准差，即视频第n帧的TI值：

S15：计算视频平均TI值：

其中N为视频帧的个数。

3.根据权利要求2所述的全景视频编码方法，其特征在于：步骤S2中，所述编码器采用基于时间感知信息的全景视频编码策略，将视频内容按TI大小进行类别划分，根据不同类别采取不同编码策略，具体如下：

若一个视频仅包含低TI片段，则将其称之为低TI视频；若仅包含中TI片段，则将其称之为中TI视频；若仅包含高TI片段，则将其称之为高TI视频；

低TI、中TI与高TI视频编码时将保持参考视频分辨率不变，降低视频码率；其中250kbps、400kbps为低码率；900kbps、2000kbps为中码率；2800kbps、4500kbps、10000kbps为高码率；

若参考视频为低码率混合TI视频，则平均码率记为F_org；设高TI视频片段共x段，中TI视频片段共y段，低TI视频片段共z段；第i段高TI视频片段平均码率记为F_h,i，第j段中TI视频片段平均码率记为F_m,j，第k段低TI视频片段平均码率记为F_l,k；参考视频持续时间记为T_org，第i段高TI视频片段持续时间记为T_h,i，第j段中TI视频片段持续时间记为T_m,j，第k段低TI视频片段持续时间记为T_l,k；δ为放缩值若满足：

则编码为低码率时，高TI片段提升一个码率等级，低、中TI片段码率降低一个码率等级；若已经是最高或最低码率等级，则不提升或降低；若不满足，则混合TI视频片段编码策略同非混合TI视频。

Images