CN102088608A - 一种基于部分重建的可伸缩视频编码质量优化方法 - Google Patents

Abstract

本发明公开了一种基于部分重建的可伸缩视频编码质量优化方法，包括：设定截断程度和层权重；对残差变换系数进行部分重建或熵编码；计算出基本层和增强层的宏块失真；选择确定基本层宏块的最佳模式；遍历基本层上编码帧内的所有宏块，得到基本层码流；选择确定增强层宏块的最佳模式；遍历增强层上编码帧内的所有宏块，得到增强层码流；计算并保存误差扩散失真和误差扩散敏感度。本发明通过在编码过程中有选择地截断残差变换系数，实现对不同目标码率下视频质量的联合优化，克服了传统的码流提取方法引起的视频质量下降问题，同时结合使用改进的码流提取算法进一步提高了视频的质量。

Description

一种基于部分重建的可伸缩视频编码质量优化方法

技术领域

本发明属于视频编码技术领域，具体涉及一种基于部分重建的可伸缩视频编码质量优化方法。

背景技术

随着网络技术和视频编码(压缩)技术的迅猛发展，人们对通过网络获取视频信息的需求日益旺盛，从可视电话、视频会议，到移动电视、高清电视广播等，几乎涵盖了日常生活和工作的各个方面。在面向网络的视频应用环境下，视频编码的目标不再局限于单纯地追求高压缩效率，而是转变为使视频流(码流)更好地适应异构的网络环境和多样的用户终端。网络的异构性体现在网络带宽、时延等方面的不同，终端的多样性体现在终端设备处理能力、显示能力等方面的差异，如何同时适应满足这些需求是视频编码面临的新挑战。

可伸缩视频编码(Scalable Video Coding，SVC)作为解决这一难题的有力工具受到了广泛关注，是视频编码领域的研究热点。可伸缩视频编码提供了具有帧率、分辨率和质量可伸缩的码流，视频服务器端或接收端可以根据网络带宽、终端设备的屏幕大小、处理能力等因素，灵活提取合适的码流，然后发送给解码端进行解码显示。码流由一个基本层(Base Layer)和多个增强层(Enhancement Layer)组成，基本层提供了最基本的视频质量，增强层从时间/空间分辨率或质量上对基本层进行改善。

在可伸缩视频编码应用中，码流通过简单的抽取(Extraction)操作，就可以提取出具有不同目标码率的子码流(Sub-Stream)。由于应用对象可能是不同处理能力的终端和不同带宽的网络，所以需要保证不同目标码率下都有很高的视频质量。通常采取的策略是：对码流进行基于率失真优化(Rate DistortionOptimization)的提取。现有的码流优化提取算法由于需要多次解码重建计算或率失真模型更新等操作，极大地增加了视频服务器或解码器的计算负荷，且缺乏灵活性。对于处理能力较低的视频服务器或终端设备，由于无法匹配高复杂度的码流提取优化算法，将会导致视频质量的降低。

发明内容

本发明提供了一种基于部分重建的可伸缩视频编码质量优化方法，通过在编码过程中有选择地截断变换系数，实现对不同目标码率下视频质量的联合优化，克服了传统的码流提取方法引起的视频质量下降问题。

一种基于部分重建的可伸缩视频编码质量优化方法，包括如下步骤：

(1)获取宏块位置信息，根据宏块位置信息从增强层参考帧上相同位置的宏块处获取误差扩散敏感度，并设定残差变换系数的截断程度和层权重。

(2)根据步骤(1)中的残差变换系数的截断程度，对增强层的残差变换系数进行截断，并对增强层截断剩余的残差变换系数进行部分重建，获取增强层基于部分重建的编码比特数；对基本层的残差变换系数进行熵编码，获取基本层的编码比特数。

(3)获取当前宏块的量化失真、当前宏块的系数截断失真和参考宏块的漂移失真，计算出基本层的宏块失真和增强层基于部分重建的宏块失真。

(4)获取步骤(1)中的层权重、步骤(2)中的增强层基于部分重建的编码比特数和基本层的编码比特数、步骤(3)中的基本层的宏块失真和增强层基于部分重建的宏块失真，计算基本层宏块的加权率失真代价，选择具有最小加权率失真代价的模式作为基本层宏块的最佳模式。

(5)根据步骤(1)至(4)，遍历基本层上编码帧内的所有宏块，并根据基本层宏块的最佳模式对原始宏块数据进行预测、变换、量化和熵编码，得到一帧基本层码流。

(6)获取步骤(3)中的增强层基于部分重建的宏块失真和步骤(2)中的增强层基于部分重建的编码比特数，计算增强层宏块基于部分重建的率失真代价，选择具有最小基于部分重建的率失真代价的模式作为增强层宏块的最佳模式。

(7)根据步骤(1)、(2)、(3)和(6)，遍历增强层上编码帧内的所有宏块，并根据增强层宏块的最佳模式对原始宏块数据进行预测、变换、量化和熵编码，得到一帧增强层码流。

优选的技术方案中，在步骤(7)结束后，获取步骤(3)中的当前宏块的量化失真、当前宏块的系数截断失真和参考宏块的漂移失真，计算并保存增强层上编码帧内的所有宏块的误差扩散失真和误差扩散敏感度，作为下一编码帧的参考值。

本发明通过在编码过程中有选择地截断残差变换系数，实现对不同目标码率下视频质量的联合优化，并结合使用改进的码流提取算法进一步提高了视频的质量。

附图说明

图1为本发明可伸缩视频编码质量优化方法的步骤流程示意图。

具体实施方式

为了更为具体地描述本发明，下面结合附图及具体实施方式对本发明的可伸缩视频编码质量优化方法进行详细说明。

如图1所示：一种基于部分重建的可伸缩视频编码质量优化方法，包括如下步骤：

(1)设定截断程度和层权重。

影响编码效果的参数包括残差变换系数的截断程度和层权值，具体为：

1.残差变换系数的截断程度：将增强层上4×4残差变换系数块中未截断(剩余)的残差变换系数的个数记为ρ，即残差变换系数的截断程度，那么ρ满足：ρ∈N(自然数)，且0≤ρ≤16。可知，当ρ＝16时，增强层码流全部保留；当ρ＝0时，增强层码流全部丢弃；当0＜ρ＜16时，增强层码流部分保留。

2.层权值：层权值ω指示了增强层编码在基本层编码中占的比重。

考虑编码效率和误差扩散之间的关系，以宏块为单位，根据增强层参考帧上对应宏块的误差扩散敏感度来自适应选择以上参数，具体为：

$\left\{\begin{array}{cc}\mathrm{\&omega;}(x,y)={\mathrm{\&omega;}}_h,\mathrm{\&rho;}(x,y)={\mathrm{\&rho;}}_l,\mathrm{if}& {\mathrm{\&xi;}}_{\mathrm{ref}}(x,y)>0.8\&times;{\stackrel{\&OverBar;}{\mathrm{\&xi;}}}_{\mathrm{ref}}\\ \mathrm{\&omega;}(x,y)={\mathrm{\&omega;}}_l,\mathrm{\&rho;}(x,y)={\mathrm{\&rho;}}_h,\mathrm{if}& {\mathrm{\&xi;}}_{\mathrm{ref}}(x,y)<0.3\&times;{\stackrel{\&OverBar;}{\mathrm{\&xi;}}}_{\mathrm{ref}}\\ \mathrm{\&omega;}(x,y)={\mathrm{\&omega;}}_m,\mathrm{\&rho;}(x,y)={\mathrm{\&rho;}}_m,& \mathrm{otherwise}\end{array}\right.---\left(1\right)$

式中：x、y分别是宏块在水平方向和竖直方向上的位置，ω是层权值，ρ是残差变换系数的截断程度，ξ_ref是增强层参考帧上对应宏块的误差扩散敏感度，

是增强层参考帧上所有宏块误差扩散敏感度的平均值，ω₁、ω_m、ω_h、ρ₁、ρ_m、ρ_h均是常量，且满足0≤ω₁＜ω_m＜ω_h≤1，0≤ρ₁＜ρ_m＜ρ_h≤16。对于第一个编码帧，参数ω和ρ分别设为0.5和8。

(2)对残差变换系数进行部分重建或熵编码。

在可伸缩视频编码应用中，基本层码流是保证完全接收的，增强层码流根据需要可以部分接收或丢弃，从而产生不同目标码率的子码流。当增强层码流全部接收时，对应于最高码率。为了联合优化不同目标码率下的视频质量，在编码的率失真计算过程中，需要考虑子码流对编码的影响。采用部分重建的方式，也就是在率失真计算过程中根据截断程度ρ对增强层的残差变换系数进行截断，并对截断剩余的残差变换系数进行量化、反量化、反变换、运动补偿等运算；对基本层的残差变换系数进行熵编码运算。部分重建过程只应用于率失真计算，不影响后续的重建环路，其能实现对增强层码流丢弃后进行处理的仿真。

同时在对增强层截断剩余的残差变换系数进行部分重建的过程，可获取增强层基于部分重建的编码比特数R_E；在对基本层的残差变换系数进行熵编码的过程，可获取基本层的编码比特数R_B。

(3)计算出基本层和增强层的宏块失真。

基本层上当前待编码宏块的失真即为宏块的量化失真；部分重建时，增强层上当前待编码宏块的失真可以分为三种：

1.量化失真，即当前宏块量化过程引起的失真。通常计算原始宏块和重建宏块的误差得到，如绝对平方和(SSE)、绝对差值和(SAD)等。

2.系数截断失真，即当前宏块由于残差变换系数截断引起的失真。通常计算截断残差变换系数得到的重建宏块与不截断残差变换系数得到的重建宏块之间的误差。

3.漂移失真，即参考宏块上误差扩散引起的失真。通过参考帧上的误差扩散失真图计算得到，具体算式为：

$D_{\mathrm{drift}\_\mathrm{ref}}(x,y)=\underset{k=1}{\overset{K}{\mathrm{\&Sigma;}}}{D}_{\mathrm{drift}\_\mathrm{ref}}(x,y,k)$

                                             (2)

$=\underset{k=1}{\overset{K}{\mathrm{\&Sigma;}}}\underset{l=1}{\overset{4}{\mathrm{\&Sigma;}}}{{\mathrm{\&mu;}}_l}^{*}{D}_{\mathrm{drift}\_\mathrm{prop}}(x_l,y_l,k_l)$

式中：x、y分别是宏块在水平方向和竖直方向上的位置，k是4×4系数块在宏块中的位置，K是宏块中4×4系数块的个数，l是参考系数块映射到误差扩散失真图上所形成的投影区域与其相邻块重叠部分的索引，x_l、y_l分别是第k个4×4系数块中第l个重叠部分在水平方向和竖直方向上的宏块位置，k_l是第k个4×4系数块中第l个重叠部分所处的块位置，μ_l是权值，由投影区域与相邻块的重叠部分的面积计算得到，D_{drift_ref}是参考宏块的漂移失真，D_{drift_prop}是参考帧上的误差扩散失真。

由以上分析可知，增强层基于部分重建的宏块失真计算公式为：

D_E，ρ(x，y，m_E)＝D_s(x，y，m_E)+D_{drift_ref}(x，y，m_E)+D_{drift_trunc}(x，y)  (3)

式中：x、y分别是宏块在水平方向和竖直方向上的位置，m_E是增强层宏块模式，D_{E， ρ}(x，y，m_E)是增强层上坐标为(x，y)的宏块在模式m_E下基于部分重建的宏块失真，D_s是当前宏块的量化失真，D_{drift_trunc}是当前宏块的系数截断失真，D_{drift_ref}是参考宏块的漂移失真。

对于帧内预测编码模式，其增强层基于部分重建的宏块失真计算可简化为：

D_E，ρ(x，y，m_E)＝D_s(x，y，m_E)+D_{drift_trunc}(x，y)       (4)

(4)选择确定基本层宏块的最佳模式。

在可伸缩视频编码中，由于层间预测编码工具的使用，使得增强层宏块的模式选择受到基本层宏块模式的约束，如增强层宏块的IntraBL模式只有当基本层宏块是Intra模式才可以选择。所以，在基本层编码时需要联合考虑其对增强层编码的影响。

因此，基本层宏块的加权率失真代价计算公式为：

J_B(x，y，m_B)＝(1-ω(x，y))*(D_B(x，y，m_B)+λ_B(x，y)*R_B(x，y，m_B)   (5)

+ω(x，y)*(D_E，ρ(x，y，m_E|m_B)+λ_E(x，y)*R_E，ρ(x，y，m_E|m_B))

式中：x、y分别是宏块在水平方向和竖直方向上的位置，ω是层权值，ρ是残差变换系数的截断程度，m_B是基本层宏块模式，D_B(x，y，m_B)是基本层上坐标为(x，y)的宏块在模式m_B下的宏块失真，R_B(x，y，m_B)是基本层上坐标为(x，y)的宏块在模式m_B下的编码比特个数，λ_B是基本层上拉格朗日乘子，m_E是增强层宏块模式，D_E，ρ(x，y，m_E|m_B)是增强层上坐标为(x，y)的宏块当基本层宏块是模式m_B并且其自身模式是m_E时基于部分重建的宏块失真，R_E，ρ(x，y，m_E|m_B)是增强层上坐标为(x，y)的宏块当基本层宏块是模式m_B并且其自身模式是m_E时基于部分重建的编码比特个数，λ_E是增强层上拉格朗日乘子，J_B(x，y，m_B)是基本层上坐标为(x，y)的宏块在模式m_B下的加权率失真代价。

根据基本层宏块的加权率失真代价，选择具有最小加权率失真代价的模式作为基本层宏块的最佳模式：

$m_B^{*}(x,y)=\arg \underset{m_B\&Element;{\mathrm{\&Omega;}}_B}{\min }{J}_B(x,y,m_B)---\left(6\right)$

式中：x、y分别是宏块在水平方向和竖直方向上的位置，m_B是基本层宏块模式，J_B(x，y，m_B)是坐标为(x，y)的基本层宏块在模式m_B下的加权率失真代价，Ω_B是基本层上的模式集合，包括Intra4×4、Intra16×16、Inter16×16、Inter16×8、Inter8×16、Inter8×8、Inter8×4、Inter4×8、Inter4×4、SKIP共10种模式，

是坐标为(x，y)的基本层宏块的最佳模式。

(5)遍历基本层上编码帧内的所有宏块，得到基本层码流。

使基本层上当前编码帧内的所有宏块都经历(1)至(4)的步骤，并根据基本层宏块的最佳模式对原始宏块数据进行预测、变换、量化和熵编码，得到一帧基本层码流。

(6)选择确定增强层宏块的最佳模式。

增强层宏块的基于部分重建的率失真代价计算公式为：

J_E，ρ(x，y，m_E)＝D_E，ρ(x，y，m_E)+λ_E×R_E，ρ(x，y，m_E)   (7)

式中：x、y分别是宏块在水平方向和竖直方向上的位置，ρ是残差变换系数的截断程度，m_E是增强层宏块模式，D_E，ρ(x，y，m_E)是增强层上坐标为(x，y)的宏块在模式m_E下基于部分重建的宏块失真，R_E，ρ(x，y，m_E)是增强层上坐标为(x，y)的宏块在模式m_E下基于部分重建的编码比特个数，λ_E是增强层上拉格朗日乘子，J_E(x，y，m_E)是增强层上坐标为(x，y)的宏块在模式m_E下的基于部分重建的率失真代价。

根据增强层宏块的基于部分重建的率失真代价，选择具有最小基于部分重建的率失真代价的模式作为增强层宏块的最佳模式：

$m_E^{*}(x,y)=\arg \underset{m_E\&Element;{\mathrm{\&Omega;}}_E}{\min }{J}_E(x,y,m_E)---\left(8\right)$

式中：x、y分别是宏块在水平方向和竖直方向上的位置，m_E是增强层宏块模式，J_E(x，y，m_E)是坐标为(x，y)的增强层宏块在模式m_E下的基于部分重建的率失真代价，Ω_E是增强层上的模式集合，包括Intra4×4、Intra16×16、IntraBL、Inter16×16、Inter16×8、Inter8×16、Inter8×8、Inter8×4、Inter4×8、Inter4×4、SKIP、BLKSIP共12种模式，是坐标为(x，y)的增强层宏块的最佳模式。

(7)遍历增强层上编码帧内的所有宏块，得到增强层码流。

使增强层上当前编码帧内的所有宏块都经历(1)、(2)、(3)和(6)的步骤，并根据增强层宏块的最佳模式对原始宏块数据进行预测、变换、量化和熵编码，得到一帧增强层码流。

(8)计算并保存误差扩散失真和误差扩散敏感度。

由于部分重建引起的失真会随着编码过程扩散至后续编码帧，以4×4系数块为单位，建立误差扩散失真图，4×4系数块的误差扩散失真计算公式为：

D_{drift_prop}(x，y，k)＝D_{drift_ref}(x，y，k)+D_{drift_trunc}(x，y，k)  (9)

式中：x、y分别是宏块在水平方向和竖直方向上的位置，k是4×4系数块在宏块中的位置，D_{drift_prop}(x，y，k)是坐标为(x，y)的宏块中第k个4×4系数块的误差扩散失真，D_{drift_ref}(x，y，k)是坐标为(x，y)的宏块中第k个4×4系数块所使用的参考系数块的漂移失真，D_{drift_trunc}(x，y，k)是坐标为(x，y)的宏块中第k个4×4系数块的系数截断失真。

误差扩散敏感度ξ定义为：

$\mathrm{\&xi;}(x,y)=\frac{D_{\mathrm{drift}\_\mathrm{prop}}(x,y)}{D_s(x,y)}---\left(10\right)$

式中：x、y分别是宏块在水平方向和竖直方向上的位置，D_s是当前宏块的量化失真，D_{drift_prop}是当前宏块的误差扩散失真。

在相同码率下，使用相同的码流提取算法，本发明重建视频的平均峰值信噪比(PSNR)相对于现有的码流优化方法重建视频的平均峰值信噪比，提高幅度可达0.5dB。

Claims (8)

1.一种基于部分重建的可伸缩视频编码质量优化方法，包括如下步骤：

(1)获取宏块位置信息，根据宏块位置信息从增强层参考帧上相同位置的宏块处获取误差扩散敏感度，并设定残差变换系数的截断程度和层权重；

(2)根据步骤(1)中的残差变换系数的截断程度，对增强层的残差变换系数进行截断，并对增强层截断剩余的残差变换系数进行部分重建，获取增强层基于部分重建的编码比特数；对基本层的残差变换系数进行熵编码，获取基本层的编码比特数；

(3)获取当前宏块的量化失真、当前宏块的系数截断失真和参考宏块的漂移失真，计算出基本层的宏块失真和增强层基于部分重建的宏块失真；

(4)获取步骤(1)中的层权重、步骤(2)中的增强层基于部分重建的编码比特数和基本层的编码比特数、步骤(3)中的基本层的宏块失真和增强层基于部分重建的宏块失真，计算基本层宏块的加权率失真代价，选择具有最小加权率失真代价的模式作为基本层宏块的最佳模式；

(5)根据步骤(1)至(4)，遍历基本层上编码帧内的所有宏块，并根据基本层宏块的最佳模式对原始宏块数据进行预测、变换、量化和熵编码，得到一帧基本层码流；

(6)获取步骤(3)中的增强层基于部分重建的宏块失真和步骤(2)中的增强层基于部分重建的编码比特数，计算增强层宏块基于部分重建的率失真代价，选择具有最小基于部分重建的率失真代价的模式作为增强层宏块的最佳模式；

(7)根据步骤(1)、(2)、(3)和(6)，遍历增强层上编码帧内的所有宏块，并根据增强层宏块的最佳模式对原始宏块数据进行预测、变换、量化和熵编码，得到一帧增强层码流。

2.根据权利要求1所述的基于部分重建的可伸缩视频编码质量优化方法，其特征在于：所述的步骤(2)中，对增强层截断剩余的残差变换系数进行部分重建是通过采用包括量化、反量化、反变换、运动补偿的运算方法来实现的。

3.根据权利要求1所述的基于部分重建的可伸缩视频编码质量优化方法，其特征在于：所述的步骤(3)中，当前宏块的量化失真是通过计算原始宏块和重建宏块的误差获取的。

4.根据权利要求1所述的基于部分重建的可伸缩视频编码质量优化方法，其特征在于：所述的步骤(3)中，当前宏块的系数截断失真是通过计算截断残差变换系数得到的重建宏块与不截断残差变换系数得到的重建宏块之间的误差获取的。

5.根据权利要求1所述的基于部分重建的可伸缩视频编码质量优化方法，其特征在于：所述的步骤(3)中，参考宏块的漂移失真是通过计算参考帧上的误差扩散失真获取的。

6.根据权利要求1所述的基于部分重建的可伸缩视频编码质量优化方法，其特征在于：所述的步骤(4)中，基本层宏块的加权率失真代价的计算公式为：

J_B(x，y，m_B)＝(1-ω(x，y))*(D_B(x，y，m_B)+λ_B(x，y)*R_B(x，y，m_B)  (5)

+ω(x，y)*(D_E，ρ(x，y，m_E|m_B)+λ_E(x，y)*R_E，ρ(x，y，m_E|m_B))

式中：x、y分别是宏块在水平方向和竖直方向上的位置，ω是层权值，ρ是残差变换系数的截断程度，m_B是基本层宏块模式，D_B(x，y，m_B)是基本层上坐标为(x，y)的宏块在模式m_B下的宏块失真，R_B(x，y，m_B)是基本层上坐标为(x，y)的宏块在模式m_B下的编码比特个数，λ_B是基本层上拉格朗日乘子，m_E是增强层宏块模式，D_E，ρ(x，y，m_E|m_B)是增强层上坐标为(x，y)的宏块当基本层宏块是模式m_B并且其自身模式是m_E时基于部分重建的宏块失真，R_E，ρ(x，y，m_E|m_B)是增强层上坐标为(x，y)的宏块当基本层宏块是模式m_B并且其自身模式是m_E时基于部分重建的编码比特个数，λ_E是增强层上拉格朗日乘子，J_B(x，y，m_B)是基本层上坐标为(x，y)的宏块在模式m_B下的加权率失真代价。

7.根据权利要求1所述的基于部分重建的可伸缩视频编码质量优化方法，其特征在于：所述的步骤(6)中，增强层宏块基于部分重建的率失真代价的计算公式为：

J_E，ρ(x，y，m_E)＝D_E，ρ(x，y，m_E)+λ_E×R_E，ρ(x，y，m_E)(7)

式中：x、y分别是宏块在水平方向和竖直方向上的位置，ρ是残差变换系数的截断程度，m_E是增强层宏块模式，D_E，ρ(x，y，m_E)是增强层上坐标为(x，y)的宏块在模式m_E下基于部分重建的宏块失真，R_E，ρ(x，y，m_E)是增强层上坐标为(x，y)的宏块在模式m_E下基于部分重建的编码比特个数，λ_E是增强层上拉格朗日乘子，J_E(x，y，m_E)是增强层上坐标为(x，y)的宏块在模式m_E下的基于部分重建的率失真代价。

8.根据权利要求1所述的基于部分重建的可伸缩视频编码质量优化方法，其特征在于：所述的步骤(7)结束后，获取步骤(3)中的当前宏块的量化失真、当前宏块的系数截断失真和参考宏块的漂移失真，计算并保存增强层上编码帧内的所有宏块的误差扩散失真和误差扩散敏感度，作为下一编码帧的参考值。

Images