CN115022638A - 一种面向全景视频编码的率失真优化方法 - Google Patents

Abstract

本发明公开了一种面向全景视频编码的率失真优化方法，通过编码器对视频进行编码并控制视频编码的量化参数，所述方法包括编码单元级量化参数调整、CTU级拉格朗日乘子的校正以及基于编码树单元间时域依赖性的率失真优化方法。CU级QP调整主要是根据球域与二维平面的对应关系，计算出不同位置的CU对应的权重,根据权重调整对应的QP,对不同位置的CU带入相应的调整后的QP从而确定最佳编码单元划分方式；CTU级λ的校正指的是根据不同位置的CTU的权重得到对应的CTU级QP,然后根据相应的CTU级QP去调整λ。CTU级时域率失真优化算法是在时域上根据不同CTU之间的率失真依赖关系，计算出每个CTU的时域影响因子去微调CTU对应的拉格朗日乘子从而对率失真过程进行优化。

Description

一种面向全景视频编码的率失真优化方法

技术领域

本发明属于视频/图像编解码技术领域，尤其是涉及一种面向全景视频编码的率失真优化方法。

背景技术

目前现有的全景视频率失真优化算法包括以下步骤：

步骤1、根据球域与二维平面的对应关系，计算出二维平面上不同位置的编码树单元(CTU，coding tree unit)对应的权重。

步骤2、根据步骤1得到的权重调整CTU对应的量化参数(QP，Quantitativeparameter)。编码时对不同位置的CTU带入相应的QP从而确定最佳编码单元划分方式。由于ERP格式在两极部分有像素冗余，且观众的大部分关注点在赤道附近，所以CTU的位置越接近两极部分，则计算出来的QP越大，分配给两级区域的码率越少，从而达到码率节省的目标。

以下是QP的计算方法：

其中，

是不同维度对应的权重值，

是权重的均值，QP_old是每一帧对应的QP；

该方法使用的率失真优化算法的基本过程如下，在计算得到二维平面中不同位置的CTU的权重以后，得到对应的QP，没有计算CU级QP，也没有根据CTU级QP去调整相应的拉格朗日乘子(λ，lambda)；没有利用CTU之间的时域率失真依赖关系。

因此传统的方法需要计算每帧图像每个编码单元的rd-cost(率失真代价函数)，消耗较多编码时间。没有考虑立方体投影(CMP，CubeMap Projection)等其他投影格式的优化。

发明内容

针对上述问题，本发明提出一种面向全景视频编码的率失真优化方法。

为了便于理解，对本发明中采用的术语进行如下解释：

全景视频：全景视频是一种用3D摄像机进行全方位360°拍摄的视频，用户在观看视频的时候，可以随意调节视频上下左右进行观看。

率失真优化：率失真优化是一种提高视频压缩视频质量的方法。该名称是指针对视频编码所需的数据量(速率)优化失真量(视频质量损失)。编码器通过率失真优化(RDO)为输入视频选择一组最优的编码参数。

ERP(Equirectangular projection)：等距柱状投影是一种简单的投影方式，将经线映射为恒定间距的垂直线，将纬线映射为恒定间距的水平线。这种投影方式映射关系简单，但既不是等面积的也不是保角的，引入了相当大的失真。

S-PSNR(Spherical PSNR)：S-PSNR是360Lib采纳的一种360视频的客观质量评估标准，使用球面上一系列预先确定位置的点来对参考图像和测试图像进行采样，比较它们两两之间的差值，累加得到整幅图像的S-PSNR值。

WS-PSNR(Weighted to Spherically uniform PSNR)：WS-PSNR通过引入权重的方式对源视频与输出视频直接计算PSNR。不同的投影格式有不同的权重，常见的ERP和CMP格式的投影权重的计算公式如下所示：

本发明的技术方案为：

一种面向全景视频编码的率失真优化方法，包括以下步骤：

S1、向编码器输入固定量化参数以及待编码序列；

S2、根据输入的待编码序列尺寸计算不同位置的编码单元对应的权重值，具体为：

通过如下公式分别计算大小为64*64、32*32、16*16、8*8的编码单元的权重：

其中，

是每一行像素所对应的纬度，w是最终得到的权重；大小为64*64的编码单元的权重即是编码树单元CTU的权重；

S3、将S2计算得到的权重值w与初始拉格朗日乘子λ_old相乘得到新的拉格朗日乘子λ_new，根据量化参数QP与λ的对应关系，计算不同位置的编码单元所对应的新的QP_new，具体为：

设：λ_new＝λ_old*w

故：

所以有：

其中，QP_old是每一帧所对应的量化参数，QP_new是计算得出的新量化参数；大小为64*64的编码单元对应的量化参数即是编码树单元CTU的量化参数；

S4、对I帧编码时对不同位置的编码单元(CU，coding unit)带入步骤S3得到的QP_new从而确定最佳编码单元划分方式；对非I帧编码时，调用每一帧所对应的QP确定最佳编码单元划分方式；

S5、根据S3中得到的CTU的QP值计算每个CTU对应的λ(即CTU级λ)，进而实现率失真优化：

λ＝e^{(QP+0.49-13.7122)/4.2005}

S6、计算时域影响因子：

其中，D_cur，i是当前第i个编码块的失真，

是当前第i个编码块的运动补偿预测误差；k_i是第i个编码块的时域影响因子(编码块的大小为16x16)，k_i的范围介于0到1之间。

每个CTU的时域影响因子由下面式子得到：

式中Γ_i是待编码帧中第i个CTU的时域影响因子，L是第i个CTU中的16×16像素块个数；

S7、在步骤S5的基础上对得到的每个CTU级λ除以对应的时域影响因子，从而在时域依赖的角度对率失真过程进行优化。

本发明的有益效果为：本发明给出了一个既能提高编码器性能，同时又可以保证视频质量方法，而且算法中用到的权重参数可以提前根据视频尺寸计算出来，不占用编码时间，不增加算法复杂度和时间复杂度；同时本发明使用CU级QP提高编码效率，使用CTU级QP确定拉格朗日乘子lambda并使用CTU级时域影响因子对lambda微调来改进率失真优化过程。

附图说明

图1是本发明的流程示意图。

具体实施方式

下面结合仿真示例来简述本发明的有效性。

仿真实验

使用HM-16.14作为实验平台，参考的对象为HM-16.14中的定QP方法(QP＝22，27，32，37)，测试的序列为全景视频标准测试序列，编码方式为LDP，对比的指标有BD-Rate，S-PSNR，WS-PSNR。

其中当BD-Rate为负值时，代表相同重建质量下码率减少，技术具有增益，当BD-Rate为正值时，代表相同重建质量下码率增加，技术存在损失。此处对比的基准均为给定QP时HM编码器的编码质量。

表1给出了本方案在BD-rate上的表现。

表1 ERP格式下序列在S-PSNR、WS-PSNR上的码率节省

相较于基准编码器，在S-PSNR质量指标方面平均降低了4.15％，在WS-PSNR质量指标方面平均降低了4.14％，明显在保证视频质量的前提下节省了码率。

在率失真优化算法中，权重值的计算方法是Minhao Tang等人提出的，他们的工作是只根据CTU级的QP确定编码单元划分方式，本发明进行了细化和改进，不但重新计算了32*32，16*16,8*8编码单元的权重，根据权重确定I帧CU级量化参数QP从而确定编码单元划分方式，本发明的另一个创新点是根据CTU级的QP去推导CTU级的拉格朗日乘子lambda,从而实现了更精确地率失真优化过程。

T.Yang等人根据H.264的编码参考结构提出了信源失真时域影响模型估算编码块的传播因子，随后，Y.Gao等人把上述时域依赖率失真优化方法扩展到HEVC低延时编码结构中。本发明提出的CTU级时域依赖率失真优化中利用了上述方法估计CTU级时域影响因子。

使用CU级(经过试验把最小CU限定在32*32)QP去确定I帧编码单元的划分方式并且利用CTU级QP确定拉格朗日乘子lambda来进行率失真优化，用CTU级时域影响因子对lambda进行微调，这是本发明最主要的创新工作，也是编码性能能够提高的主要部分。需要注意的是该率失真优化算法可以应用在其他编码框架中。

Claims (1)

1.一种面向全景视频编码的率失真优化方法，其特征在于，包括以下步骤：

S1、向编码器输入固定量化参数以及待编码序列；

S2、根据输入的待编码序列尺寸计算不同位置的编码单元对应的权重值，具体为：

通过如下公式分别计算大小为64*64、32*32、16*16、8*8的编码单元的权重：

其中，

是每一行像素所对应的纬度,w是最终得到的权重，大小为64*64的编码单元的权重即是编码树单元CTU的权重；

S3、将S2计算得到的权重值w与初始拉格朗日乘子λ_old相乘得到新的λ_new，根据量化参数QP与λ的对应关系，计算不同位置的编码单元所对应的新的QP_new，具体为：

设：λ_new＝λ_old*w

故：

得到：

其中，QP_old是每一帧所对应的量化参数，QP_new是计算得出的新量化参数；大小为64*64的编码单元对应的量化参数即是编码树单元CTU的量化参数；

S4、对I帧编码时对不同位置的编码单元带入步骤S3得到的QP_new从而确定最佳编码单元划分方式；对非I帧编码时，调用每一帧所对应的QP确定最佳编码单元划分方式；

S5、根据S3中得到的编码树单元的QP值计算每个编码树单元对应的λ，进而实现率失真优化：

λ＝e^{(QP+0.49-13.7122)/4.2005}

S6、计算时域影响因子：

其中，D_cur,i是当前第i个编码块的失真,

是当前第i个编码块的运动补偿预测误差；k_i是第i个编码块的时域影响因子，编码块的大小为16x16，k_i的范围介于0到1之间；

每个CTU的时域影响因子由下面式子得到：

式中Γ_i是待编码帧中第i个CTU的时域影响因子，L是第i个CTU中的16×16像素块个数；

S7、在步骤S5的基础上对得到的每个CTU级λ除以对应的时域影响因子，从而在时域依赖的角度对率失真过程进行优化。

Images