CN107040782B - 基于拉格朗日方法的视频编码全局率失真优化方法 - Google Patents

Abstract

本发明涉及一种基于拉格朗日方法的视频编码全局率失真优化方法，本发明基于标准的视频编码标准，如AVS，H.264以及HEVC等。首先进行基于运动估计的预分析，分析出待编码图像的每一像素的编码失真对其以后编码图像的率失真的影响因子；随后利用该率失真传递因子，在编码时，计算出每个编码块单元的率失真传递因子，对基于拉格朗日优化方法中的率失真优化方法中的率失真代价值计算方案进行调整。基于调整后的率失真代价值进行视频编码参数的选择，以此提高率失真性能。该方法通过解耦编码单元率失真性能的相互依赖关系，通过一次简单的运动估计预分析和一次编码，可以达到接近全局优化的率失真性能。在节省编码复杂度同时，大大提高了编码率失真性能。

Description

基于拉格朗日方法的视频编码全局率失真优化方法

技术领域

本发明涉及一种视频编码通信技术，特别涉及一种基于拉格朗日方法的视频编码全局率失真优化方法。

背景技术

视频编码的率失真优化是针对编码失真和比特数之间的一种约束关系的优化，在满足该图像组编码比特数限制的情况下获取一组失真最小的编码参数集，即在目标比特数R_T的约束下实现失真的最小化：

其中N表示图像组的图像数，D_i和R_i表示第i幅图像的失真和比特数。

拉格朗日优化方法就是将这种约束问题转化为等价的无约束问题：

其中J和λ分别表示率失真代价和拉格朗日因子。

如果假设图像间的编码比特数和失真互不相关，如目前绝大多数视频编码器设计方案，如AVS、H.264以及HEVC视频编码器方案，那么总的率失真优化可以通过独立优化每一幅图像每一个编码单元的率失真来实现，即等效为

然而，在实际的视频编码中，广泛的应用了帧间预测编码技术，这种帧间预测技术使得前后图像编码单元的编码比特数和失真具有一定的相互依赖关系，如果简单忽略这种依赖关系，通过假设各个编码单元之间率失真性能是独立的，进行如(3)所示进行模式选择、编码块大小选择以及运动估计，达不到全局最优的率失真性能。因此为了提高编码性能以节省码率或者提高图像质量，在编码时必须考虑前后编码单元的率失真的依赖关系。

目前，有一些关于全局率失真优化的策略已经被提出。但是，那些策略的计算复杂度很高，需要进行多次编码，或者在编码第一个编码单元时就需要所有以后的编码单元信息，这些策略在实际中并不适用。典型的策略如：解决依赖性率失真优化的动态规划策略(K.Ramchandran and M.Vetterli,"Best wavelet packet bases in a rate-distortionsense",IEEE Trans.on Image Processing,vol.2,no.2,pp.160-175,Apr.1993)，需要编码的次数非常多，其复杂度是需要编码单元的指数次，很难在实际中应用。这类的算法并不适合于实时编码场合。

发明内容

本发明是针对传统视频编码的全局率失真优化存在的问题，提出了一种基于拉格朗日方法的视频编码全局率失真优化方法，基于拉格朗日优化方法，本发明通过修改率失真优化中的率失真代价计算公式，对有依赖关系的全局率失真优化进行解耦，实现单次编码就能获得较高的全局率失真性能。

本发明的技术方案为：一种基于拉格朗日方法的视频编码全局率失真优化方法，具体包括如下步骤：

1)选定编码标准，并明确一种帧结构，选帧结构为：直接按照后一帧图像参考前一帧图像的帧结构或者将帧结构与最后编码的帧结构保持一致，最后编码帧结构在H.264/AVC中的IPPP…或IBBPBBP…帧结构以及HEVC中的标准Low Delay和Hierarchical B帧结构中选择，根据帧结构把每一帧分为帧内预测I帧和帧间预测P/B帧；

对于I帧，把每一帧图像分成固定大小块，根据编码标准所允许的预测方式进行预测。获得每一个块的预测残差块，求预测残差块的SATD值，再除以块内像素个数，获得每个像素的预测残差SATD值，记为Satd_resi(x,y)，其中SATD表示哈达玛变换后系数的绝对值的和；

2)对于P/B帧，把每一帧图像分成固定大小块，对每个块进行运动估计，获得每个块的运动矢量；

3)按顺序对一个块采用其运动矢量做运动补偿，求出该块的预测残差块，进而求预测残差块的SATD值，SATD值除以块内像素个数，获得每个像素的预测残差SATD值，记为Satd_resi(x,y)，(x,y)为该像素的坐标；

继续采用运动矢量在被参考图像中找到被参考块位置，所求得的Satd_resi(x,y)值即为被参考块内每个被参考像素的被参考SATD值，被参考像素坐标为(x+Δx,y+Δy)，因此被参考像素的被参考SATD值即为Satd_refed(x+Δx,y+Δy)＝Satd_resi(x,y)；

4)对所有P/B帧的所有块进行步骤3)操作，可计算出所有被参考帧内所有像素的预测残差Satd_resi(x,y)值；

对所有P/B帧的所有块进行步骤3)操作还得到所有被参考像素的被参考次数，记为K(x,y)，以及每次被参考的SATD值，记为Satd_refed_k(x,y)，k代表第k次被参考；

Satd_refed_k(x,y)值和Satd_refed(x+Δx,y+Δy)之间通过运动矢量映射赋值，具体如下：令第k次来参考的像素坐标为(x_k,y_k)，运动矢量为MV_k＝(Δx_k,Δy_k)，赋值满足坐标关系：(x_k+Δx_k,y_k+Δy_k)＝(x,，y)因此赋值公式：Satd_refed_k(x,y)＝Satd_refed(x_k+Δx_k,y_k+Δy_k)；

以上4步为预分析，接下来进行视频编码，采用如下方法进行模式选择和运估计：

5)根据Satd_resi(x,y)，K(x,y)以及每次被参考的Satd_refed_k(x,y)，计算出将要编码块的率失真传递因子β，方法如下：

其中M为编码块内像素个数，m为块内像素的坐标索引号，K则为对应第m个像素总共被参考的次数，m_k为块内第m个像素被第k次参考的索引号，(x,y)为块内第m个像素的坐标；

6)在编码率失真优化的模式选择和运动估计环节，率失真代价值计算公式如下：

其中O^*为视频编码的优化编码参数集，δ_i(O_i)和r(O_i)分别表示由编码参数集O_i所产生的失真和码率，λ为拉格朗日因子，运动估计过程中的δ_i(O_i)为残差图像的绝对差和，而拉格朗日因子则是以上λ的开根号值。

本发明的有益效果在于：本发明基于拉格朗日方法的视频编码全局率失真优化方法，该方法通过解耦编码单元率失真性能的相互依赖关系，只需通过一次基于运动估计的预分析和一次编码，可以达到接近全局优化的率失真性能。在节省编码复杂度同时，大大提高了编码率失真性能。

具体实施方式

一种基于拉格朗日方法的视频编码全局率失真优化方法，具体包括如下步骤：

1)选定编码标准，并明确一种帧结构，选帧结构如：直接按照后一帧图像参考前一帧图像的帧结构或者将帧结构与最后编码的帧结构保持一致，最后编码帧结构可以如H.264/AVC中的IPPP…或IBBPBBP…帧结构以及HEVC中的标准Low Delay和Hierarchical B帧结构，根据帧结构把每一帧分为帧内预测I帧和帧间预测P/B帧。对于I帧，把每一帧图像分成固定大小块，根据编码标准所允许的预测方式进行预测。获得每一个块的预测残差块，求预测残差块的SATD值，再除以块内像素个数，获得每个像素的预测残差SATD值，记为Satd_resi(x,y)。其中SATD表示哈达玛变换后系数的绝对值的和。

2)对于P/B帧，把每一帧图像分成固定大小块，对每个块进行运动估计，获得每个块的运动矢量。

3)按顺序对一个块采用其运动矢量做运动补偿，求出该块的预测残差块，进而求预测残差块的SATD值，SATD值除以块内像素个数，获得每个像素的预测残差SATD值，记为Satd_resi(x,y)，(x,y)为该像素的坐标。继续采用运动矢量在被参考图像中找到被参考块位置，所求得的Satd_resi(x,y)值即为被参考块内每个被参考像素的被参考SATD值，被参考像素坐标为(x+Δx,y+Δy)，因此被参考像素的被参考SATD值即为Satd_refed(x+Δx,y+Δy)＝Satd_resi(x,y)。

4)对所有P/B帧的所有块进行3)操作，可计算出所有被参考帧内所有像素的预测残差Satd_resi(x,y)值。由于运动矢量MV的值自动确定并且一般视频编码标准允许多参考帧，因此每个像素可能被多次参考。对所有P/B帧的所有块进行3)操作还可以得到所有被参考像素的被参考次数，记为K(x,y)，以及每次被参考的SATD值，记为Satd_refed_k(x,y)，k代表第k次被参考。Satd_refed_k(x,y)值和Satd_refed(x+Δx,y+Δy)之间通过运动矢量映射赋值。具体如下：令第k次来参考的像素坐标为(x_k,y_k)，运动矢量为MV_k＝(Δx_k,Δy_k)，赋值满足坐标关系：(x_k+Δx_k,y_k+Δy_k)＝(x,y)。因此赋值公式：Satd_refed_k(x,y)＝Satd_refed(x_k+Δx_k,y_k+Δy_k)。

以上4步为预分析，接下来进行视频编码，本专利采用如下方法进行模式选择和运估计：

5)根据Satd_resi(x,y)，K(x,y)以及每次被参考的Satd_refed_k(x,y)，计算出将要编码块的率失真传递因子β，方法如下：

其中M为编码块内像素个数，m为块内像素的坐标索引号，K则为对应第m个像素总共被参考的次数，m_k为块内第m个像素被第k次参考的索引号，(x,y)为块内第m个像素的坐标。

6)在编码率失真优化的模式选择和运动估计环节，率失真代价值计算公式如下：

其中O^*为视频编码的优化编码参数集，δ_i(O_i)和r(O_i)分别表示由编码参数集O_i所产生的失真和码率，λ为拉格朗日因子，运动估计过程中的δ_i(O_i)为残差图像的绝对差和，而拉格朗日因子则是以上λ的开根号值。

基于调整后的率失真代价值进行视频编码参数的选择，以此提高率失真性能。该方法通过解耦编码单元率失真性能的相互依赖关系，通过一次简单的运动估计预分析和一次编码，可以达到接近全局优化的率失真性能。在节省编码复杂度同时，大大提高了编码率失真性能。

Claims (1)

1.一种基于拉格朗日方法的视频编码全局率失真优化方法，其特征在于，具体包括如下步骤：

1)选定编码标准，并明确一种帧结构，选帧结构为：直接按照后一帧图像参考前一帧图像的帧结构或者将帧结构与最后编码的帧结构保持一致，最后编码帧结构在H.264/AVC中的IPPP…或IBBPBBP…帧结构以及HEVC中的标准Low Delay和Hierarchical B帧结构中选择，根据帧结构把每一帧分为帧内预测I帧和帧间预测P/B帧；

对于I帧，把每一帧图像分成固定大小块，根据编码标准所允许的预测方式进行预测，获得每一个块的预测残差块，求预测残差块的SATD值，再除以块内像素个数，获得每个像素的预测残差SATD值，记为Satd_resi(x,y)，其中SATD表示哈达玛变换后系数的绝对值的和；

2)对于P/B帧，把每一帧图像分成固定大小块，对每个块进行运动估计，获得每个块的运动矢量；

3)按顺序对一个块采用其运动矢量做运动补偿，求出该块的预测残差块，进而求预测残差块的SATD值，SATD值除以块内像素个数，获得每个像素的预测残差SATD值，记为Satd_resi(x,y)，(x,y)为该像素的坐标；

继续采用运动矢量在被参考图像中找到被参考块位置，所求得的Satd_resi(x,y)值即为被参考块内每个被参考像素的被参考SATD值，被参考像素坐标为(x+Δx,y+Δy)，因此被参考像素的被参考SATD值即为Satd_refed(x+Δx,y+Δy)＝Satd_resi(x,y)；

4)对所有P/B帧的所有块进行步骤3)操作，可计算出所有被参考帧内所有像素的预测残差Satd_resi(x,y)值；

对所有P/B帧的所有块进行步骤3)操作还得到所有被参考像素的被参考次数，记为K(x,y)，以及每次被参考的SATD值，记为Satd_refed_k(x,y)，k代表第k次被参考；

Satd_refed_k(x,y)值和Satd_refed(x+Δx,y+Δy)之间通过运动矢量映射赋值，具体如下：令第k次来参考的像素坐标为(x_k,y_k)，运动矢量为MV_k＝(Δx_k,Δy_k)，赋值满足坐标关系：(x_k+Δx_k,y_k+Δy_k)＝(x,y)，因此赋值公式：Satd_refed_k(x,y)＝Satd_refed(x_k+Δx_k,y_k+Δy_k)；

以上4步为预分析，接下来进行视频编码，采用如下方法进行模式选择和运估计：

5)根据Satd_resi(x,y)，K(x,y)以及每次被参考的Satd_refed_k(x,y)，计算出将要编码块的率失真传递因子β，方法如下：

其中M为编码块内像素个数，m为块内像素的坐标索引号，K则为对应第m个像素总共被参考的次数，m_k为块内第m个像素被第k次参考的索引号，(x,y)为块内第m个像素的坐标；

6)在编码率失真优化的模式选择和运动估计环节，率失真代价值计算公式如下：

其中O^*为视频编码的优化编码参数集，δ_i(O_i)和r(O_i)分别表示由编码参数集O_i所产生的失真和码率，λ为拉格朗日因子，运动估计过程中的δ_i(O_i)为残差图像的绝对差和，而拉格朗日因子则是以上λ的开根号值。