CN116723330B - 一种自适应球域失真传播链长度的全景视频编码方法 - Google Patents

Abstract

本发明属于全景视频编码技术领域，具体涉及一种自适应球域失真传播链长度的全景视频编码方法。本发明通过分析球面图像投影到正六面体过程中，出现图像拉伸形变，并使得编码性能降低，同时提出一种球面映射模型，该模型使得球面图像的主观质量评价与平面压缩编码的客观质量评价更加一致，从而提升编码性能。同时，通过分析低延时编码结构下的帧间参考关系并建立对应的球域失真传播链，将当前编码单元的失真影响因子用于调整编码参数，以达到优化编码的目标。由于不同类型图像的时域相关性不同，根据图像类型来自适应选择球域失真传播链长度。本发明能够极大提升编码率失真性能，同时显著降低编码时间。

Description

一种自适应球域失真传播链长度的全景视频编码方法

技术领域

本发明属于全景视频编码技术领域，具体涉及一种自适应球域失真传播链长度的全景视频编码方法。

背景技术

全景视频是一种使用相机阵列或3D摄像机进行全方位360度进行拍摄的视频，用户在观看视频的时候，可以随意调节视频上下左右方位进行观看，全景视频具有高帧率、高分辨率(至少4K)、宽视域的特征，存储和传输全景视频非常消耗资源。低延时层次编码结构采用循环GOP(GroupOfPictures)结构，一个GOP分为3层，每一层的编码帧采用相同的量化参数，每一帧有多个参考帧，分别为时域上的前一帧，以及已经编码的邻近3个关键帧。H.266/VVC中GOP大小增大至8,编码帧的播放顺序POC(PictureOrderCount)与编码顺序EOC(EncodingOrderCount)相同。

全景视频编码中，在帧间预测过程中，当前编码帧的编码质量受到参考帧质量的影响，也就是说参考帧的失真会影响后续编码帧的失真，从而球域失真在时域上进行传播。

全景视频图像需要投影到二维平面上后，再通过传统编码器进行编码。正六面体投影是当前最常用的投影方式之一，球面图像会投影到包围球体地六个面上。

H.266/VVC中的编码过程为：

1)编码单元划分

2)预测模式选择，假设各编码单元间相互独立

式中λ_i为第i个编码单元对应的拉格朗日乘子，P_i为编码参数(比如量化参数，编码模式等)，J_i为第i个编码单元的率失真代价，编码器通过最小率失真代价J_i来进行编码模式选择，这里的编码模式主要指帧内及帧间预测模式。

3)变换：预测残差进行哈达玛变化

3)量化：对变换后的残差进行量化，引入量化失真

Q_STEP＝2^(QP-4)/6

Q_STEP为量化步长，与量化参数的关系式为上式。

4)熵编码。

现有的基于360Lib的VTM编码器没有考虑全景视频投影失真带来的过采样问题，全景视频编码的主观质量评价在球面域，而客观质量评价却在平面域，这种主客观质量评价的脱节使得编码性能大打折扣。同时VTM编码器为了简化问题，没有考虑编码单元间的时域相关性，而且球面域的失真影响大小不仅跟编码参考帧结构有关，还与球面投影失真有关，所以率失真性能还有较大的提升空间。另一方面，现有时域依赖率失真优化技术，没有考虑图像类型与失真传播链长度间的关系，编码性能还要极大的提升空间。

发明内容

针对上述问题，本发明提供一种自适应球域失真传播链长度的全景视频编码方法。

本发明的技术方案为：

一种自适应球域失真传播链长度的全景视频编码方法，其特征在于，包括以下步骤：

S1、向编码器输入待编码序列；

S2、判断当前是否为第一帧，若是，则执行：

帧内编码

编码完当前帧，输入下一张图片重复S2；

否则，进入步骤S3；

S3、将当前编码帧划分为6个相同分辨率的区域，计算当前编码帧每个CTU像素均值和方差；

S4、按顺序编码CTU；

S5、确定当前CTU所在编码区域，并根据编码区域确定球面失真投影权重，判断当前帧数是否大于等于3，若是，则进入S6，否则进入S7；

S6、判断当前CTU的像素方差与前一CTU的像素方差差值是否大于10，若是，则进入S8，否则进入S9；

S7、编码器默认算法编码，并进入S12；

S8、建立球域失真传播链模型，并令时域失真传播链长度为1，计算拉格朗日乘子，并进入S11；

S9、判断当前帧数是否大于等于6，若是，则进入S10，否则进入S8；

S10、建立球域失真传播链模型，并令时域失真传播链长度为4，计算拉格朗日乘子；

S11、计算当前CTU的量化参数并编码CTU；

S12、判断是否是最后一个CTU，若是，则编码完当前帧，进入步骤S13，否则，回到步骤S4；

S13、获取当前帧保存的每个CTU的编码失真和运动补偿预测误差，计算当前帧内各个CTU的时域失真影响因子；

S14、判断是否是最后一帧，若是，则进入S13，否则输入下一张图片并回到S2；

S15、当前全景视频序列编码完成。

进一步的，S8和S10中采用的球域失真传播模型为：

其中p_i为第i个编码单元的编码参数，w_i为该单元对应的球面失真投影权重，ω_m为第m个编码单元对应的球面失真投影权重。β_t为该单元的失真对传播链上第t个编码单元失真的影响因子。

进一步的，S5中，第i个编码区域的球面失真权重计算方式为：

其中，S_sphere(i)为当前编码CTU所在的编码区域(图2a)对应的球面区域(图2b)面积，S_CMP(i)为当前编码CTU所在的编码区域面积，r为CTU的像素宽度。

所述时域相关性的计算方式为：

其中，失真传播链上第i个编码块的失真为D_i，该编码块的运动补偿预测误差N为失真时域传播链的长度。

进一步的，S8中，时域失真传播链长度为1，计算拉格朗日乘子的方式为：

其中λ为帧级拉格朗日乘子。

进一步的，S10中，时域失真传播链长度为4，计算拉格朗日乘子的方式为：

本发明的有益效果为：根据全景视频的球面图像在投影过程中在不同纬度区域发生不同程度的几何变形，通过插值填充导致像素冗余，进而破坏熵分布的问题，根据码率控制模型来调整编码参数，能极大的提升编码性能能够极大提升编码率失真性能，同时显著降低编码时间。

附图说明

图1是全景视频CMP投影。

图2是编码区域划分示意图。

图3是本发明的流程示意图。

具体实施方式

下面结合附图来对本发明进行详细描述。

编码器通过率失真优化(RDO)技术为输入视频选择一组最优的编码参数以及率失真代价最小的编码模式，其目标是在一定码率限制条件下尽可能降低编码失真或者在一定编码失真限定条件下尽可能减少编码比特。本发明所提出的编码方法具体实现方式如图3所示。

球面失真投影权重的计算方法是

其中，S_sphere(i)为当前编码CTU所在的编码区域(图2a)对应的球面区域(图2b)面积，S_CMP(i)为当前编码CTU所在的编码区域面积，r为CTU的像素宽度。这里是球面投影到正六面体的6个面(图1)，每个面划分为5个编码区域(图2))

对于第二帧及以后的编码帧图像，先将编码帧划分为6个相同分辨率的区域，计算当前编码帧每个CTU像素均值和方差：

其中，P、D分别表示均值和方差，P_i,j表示每一个像素点的像素值，分辨率为n*m。

建立球域失真传播模型：

其中p_i为第i个编码单元的编码参数，w_i为该单元对应的球面失真投影权重，ω_m为第m个编码单元对应的球面失真投影权重。β_t为该单元的失真对传播链上第t个编码单元失真的影响因子。

利用当前编码帧以及每个编码树单元的重建误差以及运动补偿预测误差来计算编码帧以及编码树单元的时域相关性大小

其中，失真传播链上第i个编码块的失真为D_i，该编码块的运动补偿预测误差N为失真时域传播链的长度。

下面使用实验结果说明本发明方案的有效性，全景视频码率控制算法集成到基于360lib的H.266/VVC参考软件VTM14.0中，编码器配置为LOW-DELAY，实验条件遵守国际编码标准组织JCT-VC建议的标准全景视频序列作为测试视频，包括8K、6K和4K三类中的全部14个视频序列，对比的指标有BD-Rate，及编码时间。其中当BD-Rate为负值时，代表相同重建质量下码率减少，技术具有增益，当BD-Rate为正值时，代表相同重建质量下码率增加，技术存在损失。此处分别以给定QP时VVC编码器的编码质量为对比的基准。

表1对比了本发明算法和基准的率失真性能对比，可以看出本发明平均BD-RATE节省6.3％左右。

表1与360lib vtm14.0基准率失真性能对比(BDBR％)

Claims (1)

1.一种自适应球域失真传播链长度的全景视频编码方法，其特征在于，包括以下步骤：

S1、向编码器输入待编码序列；

S2、判断当前是否为第一帧，若是，则执行：

帧内编码；

编码完当前帧，输入下一张图片重复S2；

否则，进入步骤S3；

S3、将当前编码帧划分为6个相同分辨率的区域，计算当前编码帧每个CTU像素均值和方差；

S4、按顺序编码CTU；

S5、确定当前CTU所在编码区域，并根据编码区域确定球面失真投影权重：

第i个编码区域的球面失真权重计算方式为：

其中，S_sphere(i)为当前编码CTU所在的编码区域对应的球面区域面积，S_CMP(i)为当前编码CTU所在的编码区域面积，r为CTU的像素宽度，编码区域与球面区域的对应关系是：球面投影到正六面的6个面，每个面划分为5个编码区域，其中每个编码区域的像素距离该编码区域所在面的中心的距离相等，并且编码区域i到该编码区域所在面的中心的距离随着i的增大而减小；

时域相关性的计算方式为：

其中，失真传播链上第i个编码块的失真为D_i，该编码块的运动补偿预测误差N为失真时域传播链的长度；

判断当前帧数是否大于等于3，若是，则进入S6，否则进入S7；

S6、判断当前CTU的像素方差与前一CTU的像素方差差值是否大于10，若是，则进入S8，否则进入S9；

S7、编码器默认算法编码，并进入S12；

S8、建立球域失真传播模型：

其中p_i为第i个编码单元的编码参数，ω_i为该单元对应的球面失真投影权重，ω_m为第m个编码单元对应的球面失真投影权重，β_t为该单元的失真对传播链上第t个编码单元失真的影响因子；

并令时域失真传播链长度为1，计算拉格朗日乘子，并进入S11；计算拉格朗日乘子的方式为：

其中λ为帧级拉格朗日乘子；

S9、判断当前帧数是否大于等于6，若是，则进入S10，否则进入S8；

S10、建立球域失真传播模型：

其中p_i为第i个编码单元的编码参数，ω_i为该单元对应的球面失真投影权重，ω_m为第m个编码单元对应的球面失真投影权重，β_t为该单元的失真对传播链上第t个编码单元失真的影响因子；

并令时域失真传播链长度为4，计算第i个编码单元对应的拉格朗日乘子λ_i：

S11、计算当前CTU的量化参数并编码CTU；

S12、判断是否是最后一个CTU，若是，则编码完当前帧，进入步骤S13，否则，回到步骤S4；

S13、获取当前帧保存的每个CTU的编码失真和运动补偿预测误差，计算当前帧内各个CTU的时域失真影响因子；

S14、判断是否是最后一帧，若是，则进入S13，否则输入下一张图片并回到S2；

S15、当前全景视频序列编码完成。