CN101540908B - 视频编码处理方法和装置 - Google Patents

Abstract

本发明提供了一种视频编码处理方法，包括：在空域可伸缩视频编码中，根据待编层编码器的输入差分序列与参考层编码器的量化步长的关系，建立待编层编码器的编码失真模型；通过分析参考层编码器的码率和待编层编码器的码率的关系，建立待编层编码器的码率模型；根据待编层编码器的编码失真模型和码率模型，分配参考层编码器和待编层编码器的码率。本发明还提供了一种视频编码处理装置。本发明解决了现有技术无法对各层次的码率实现有效地分配，因而编码性能较差的问题，从而大幅度地提高了空域可伸缩编码的编码性能，使得编码效率最大化。

Description

视频编码处理方法和装置

技术领域

本发明涉及视频处理领域，具体而言，涉及一种视频编码处理方法和装置。

背景技术

作为新一代视频压缩编码标准H.264/AVC的扩展，可伸缩视频编码(Scalable Video Coding，SVC)技术已经于2007年7月正式标准化。H.264/SVC通过压缩原始视频内容，使得同时支持多种不同比特率和显示分辨率的有效重构，从而更好地适应于现有异构、时变的网络终端环境，使得编码压缩后的视频更加灵活地满足不同的视频通信网络和终端用户的应用需要。H.264/SVC提供了可伸缩编码的有效解决方案，通过一次编码产生高码率的总码流，可以根据用户需求和应用环境，利用部分层次码流的数据，得到各自时域、空域和信噪比的解码。目前，H.264/SVC支持了时域、空域和质量域三个维度上的可伸缩性，并且基本实现了对于解码器复杂性和编码效率的平衡设计，而其中基于视频尺寸(空域)的分层是该技术的基本结构。

在空域可伸缩性编码中，H.264/SVC遵循了传统的多层次编码的方法：首先将原始尺寸的视频序列分解(进行下采样)得到若干不同空间分辨率的子序列，其中每个分辨率都对应于一个空域编码层。由于低层是由高层通过下采样得到的，因此在相同的时域分辨率情况下，每一个高层帧都有与之相对应的低层帧，两者之间存在着显而易见的相关性，我们称之为层间冗余。显然，为了获得更高的压缩效率，有必要通过各种层间预测技术来消除层间冗余，这也是空域可伸缩性技术的关键所在。为了进一步提高可伸缩各层次间的编码效率，SVC最新引入了“层间预测”的概念。通过层间帧内预测、层间帧间运动预测和层间残差预测三种预测模式，充分挖掘了层次间的相关性。而在每个空域层内，则采用了层次化B帧(Hierarchical-B)的编码结构。高时域层上的图像帧依赖于低时域层上的图像帧作为参考帧进行预测，以实现层次化帧率的时域可伸缩性编码。

由于这种层次化的结构设计，在总码流目标码率相对固定的情况下，采用不同的分配方案对各层次的码率进行分配会导致不同的编码效率。同时由于各层次间的依赖性，使得在总码率一定的情况下，各层次的失真关系呈现此消彼长的特性。所以需要同时考虑各层次的编码效率和特性，以在有效地平衡各层次间的相关性的基础上，求取码率的优化分配方案。但是，现有的SVC技术还不支持任何视频层次间的码率分配机制，编码过程采用由底向上的顺序性方式，即从最底部的基本层(Base Layer，BL)开始，依次根据编码重建后的前驱视频层作为编码增强层(Enhancement layer，EL)的预测，每一层的目标码率都是分别先验设定的。这种顺序性分配的方法忽略了待编层与参考层之间编码的相关性，损失了一定的编码效率。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：现有的H.264/SVC码率分配方法采用由底向上的顺序性方式，无法对各层次的码率实现有效地分配，因而编码性能较差。

发明内容

本发明旨在提供一种视频编码处理方法和装置，能够解决现有技术无法对各层次的码率实现有效地分配，因而编码性能较差的问题。

在本发明的实施例中，提供了一种视频编码处理方法，包括：在空域可伸缩视频编码中，根据待编层编码器的输入差分序列与参考层编码器的量化步长的关系，建立待编层编码器的编码失真模型；通过分析参考层编码器的码率和待编层编码器的码率的关系，建立待编层编码器的码率模型；根据待编层编码器的编码失真模型和码率模型，分配参考层编码器和待编层编码器的码率；其中，在空域可伸缩视频编码中，根据待编层编码器的输入差分序列与参考层编码器的量化步长的关系，建立待编层编码器的编码失真模型具体包括：根据空域可伸缩视频编码的结构，获取待编层编码器的输入差分序列；对输入差分序列以图像帧为统计单位，分别对每一图像帧内的各宏块进行离散余弦变换；根据变换后系数的分布，建立变换后系数的概率密度分布函数与参考层编码器的量化步长的关系；根据概率密度分布函数与参考层编码器的量化步长的关系，建立待编层编码器的编码失真模型。

在本发明的实施例中，还提供了一种视频编码处理装置，包括：失真模型建立模块，用于在空域可伸缩视频编码中，根据待编层编码器的输入差分序列与参考层编码器的量化步长的关系，建立待编层编码器的编码失真模型；码率模型建立模块，用于通过分析参考层编码器的码率和待编层编码器的码率的关系，建立待编层编码器的码率模型；码率分配模块，用于根据待编层编码器的编码失真模型和码率模型，分配参考层编码器和待编层编码器的码率；其中，失真模型建立模块具体包括：获取单元，用于根据空域可伸缩视频编码的结构，获取待编层编码器的输入差分序列；变换单元，用于对输入差分序列以图像帧为统计单位，分别对每一图像帧内的各宏块进行离散余弦变换；关系建立单元，用于根据变换后系数的分布，建立变换后系数的概率密度分布函数与参考层编码器的量化步长的关系；编码失真模型建立单元，用于根据概率密度分布函数与参考层编码器的量化步长的关系，建立待编层编码器的编码失真模型。

因为通过对参考层编码器具有依赖关系的待编层编码器建立去相关的率失真模型，从而将码率分配问题转化为给定总码率的前提下使得各编码层编码失真总和最小的优化问题，最终求取各编码层的码率最优解，解决了现有技术无法对各层次的码率实现有效地分配，因而编码性能较差的问题，从而大幅度地提高了空域可伸缩编码的编码性能，使得编码效率最大化。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1示出了根据本发明实施例的视频编码处理方法的流程图；

图2示出了根据本发明实施例的视频编码处理装置的示意图；

图3示出了根据本发明优选实施例一的空域可伸缩视频编码器的基本框架图；

图4示出了根据本发明优选实施例一的用于分析增强层编码器输入差分序列的信号流图；

图5示出了根据本发明优选实施例一的增强层编码器输入差分序列经离散余弦变换后的变换后系数的概率密度分布函数图；

图6示出了根据本发明优选实施例一的用于拟合变换后系数分布的柯西分布函数的参数与基本层编码器的量化步长的关系图；

图7示出了根据本发明优选实施例一的基本层编码器和增强层编码器的码率关系图；

图8示出了根据本发明优选实施例一的增强层编码器的码率抽象模型图。

具体实施方式

为了解决现有技术中存在的无法对各层次的码率实现有效地分配，编码性能较差的问题，本发明提供了一种视频编码处理方法，在空域可伸缩视频编码中，首先根据待编层编码器的输入差分序列与参考层编码器的量化步长的关系，建立待编层编码器的编码失真模型；然后通过分析参考层编码器的码率和待编层编码器的码率的关系，建立待编层编码器的码率模型；最后根据待编层编码器的编码失真模型和码率模型，分配参考层编码器和待编层编码器的码率。本发明还提供了一种视频编码处理装置以实现上述视频编码处理方法。本发明由于在进行码率分配的过程中，充分考虑各层次编码器之间的相关关系，采用由高向低的顺序进行码率分配。通过对参考层编码器具有依赖关系的待编层编码器建立去相关的率失真模型，从而将码率分配问题转化为给定总码率的前提下使得各编码层编码失真总和最小的优化问题，最终求取各编码层的码率最优解，实现了空域可伸缩编码的码率优化分配，从而大幅度地提高了空域可伸缩编码的编码性能，使得编码效率最大化。

下面将参考附图并结合实施例，来详细说明本发明。

图1示出了根据本发明实施例的视频编码处理方法的流程图，包括：

步骤S10，在空域可伸缩视频编码中，根据待编层编码器的输入差分序列与参考层编码器的量化步长的关系，建立待编层编码器的编码失真模型；

步骤S20，通过分析参考层编码器的码率和待编层编码器的码率的关系，建立待编层编码器的码率模型；

步骤S30，根据待编层编码器的编码失真模型和码率模型，分配参考层编码器和待编层编码器的码率。

该实施例由于通过对参考层编码器具有依赖关系的待编层编码器建立去相关的率失真模型，从而将码率分配问题转化为给定总码率的前提下使得各编码层编码失真总和最小的优化问题，最终求取各编码层的码率最优解，从而得到各个编码层的码率优化分配方案。

该实施例充分考虑了可伸缩视频编码的层次编码结构带来的各层次间的相关关系，在进行码率分配时有效地利用了编码信息，从而大幅度地提高了空域可伸缩视频编码的编码性能，使得编码效率最大化。如，与现有技术相比，采用本实施例可以使得各编码层编码器的编码失真总和最小，各编码层编码器的总码率最低。

优选地，在上述的视频编码处理方法中，步骤S10具体包括：根据空域可伸缩视频编码的结构，获取待编层编码器的输入差分序列；对输入差分序列以图像帧为统计单位，分别对每一图像帧内的各宏块进行离散余弦变换；根据变换后系数的分布，建立变换后系数的概率密度分布函数与参考层编码器的量化步长的关系；根据概率密度分布函数与参考层编码器的量化步长的关系，建立待编层编码器的编码失真模型。

其中，变换后系数的分布满足零均值的柯西分布，变换后系数的概率密度分布函数与参考层编码器的量化步长的关系为：

其中，x为变换后系数，p(x)为变换后系数的概率密度分布函数，μ为概率密度分布函数参数，η和

为仿射模型的模型参数，Q₁为参考层编码器的量化步长；

待编层编码器的编码失真模型为：

$D_2(Q_1,Q_2)\≈(\mathrm{\ζ}{Q}_1+\mathrm{\υ})\·Q_2^{{\mathrm{\β}}_2},$

其中，ζ、υ和β₂为待编层编码器的编码失真模型参数，Q₁和Q₂分别为参考层编码器和待编层编码器的量化步长，D₂(Q₁，Q₂)为待编层编码器的编码失真值。

该优选实施例提供了建立待编层编码器的编码失真模型的具体实施方案。由于空域可伸缩视频编码的各层次的相关性，待编层编码器的编码失真不仅与自身的量化步长有关，还与参考层编码器的量化步长有关，因此，可以通过分析待编层编码器的输入差分序列(与参考层编码器的量化步长有关)的特性，采用本优选实施例的方案构建去相关的待编层编码器的编码失真模型。

优选地，在上述的视频编码处理方法中，待编层编码器的码率模型为：

$\left\{\begin{array}{c}{R}_2(Q_1,Q_2)=\left\{\begin{array}{cc}r\&CenterDot;R_1\left(Q_1\right)+(s-r)\&CenterDot;R_1\left(Q_2\right),& Q_1\&GreaterEqual;Q_2\\ s\&CenterDot;R_1\left(Q_2\right),& Q_1<Q_2\end{array}\right.\\ R_1\left(Q_1\right)=a\&CenterDot;{Q_1}^{-\mathrm{\&alpha;}}\\ R_1\left(Q_2\right)=a\&CenterDot;{Q_2}^{-\mathrm{\&alpha;}}\end{array}\right.,$

其中，R₁(Q₁)为当量化步长为Q₁时参考层编码器的码率，R₁(Q₂)为当量化步长为Q₂时参考层编码器的码率，R₂(Q₁，Q₂)为当参考层编码器的量化步长为Q₁、待编层编码器的量化步长为Q₂时待编层编码器的码率，待编层编码器的码率模型参数s和r分别表示当Q₁＝Q₂和Q₁＞Q₂时，待编层编码器和参考层编码器的码率呈线性关系的斜率值，a和α为参考层编码器的码率模型参数。

该优选实施例提供了建立待编层编码器的码率模型的具体实施方案。通过本优选实施例可以建立待编层编码器的码率与待编层编码器和参考层编码器的量化步长之间的关系。

优选地，在上述的视频编码处理方法中，步骤S30具体包括：根据待编层编码器的编码失真模型和码率模型，计算给定总码率条件下，参考层编码器和待编层编码器的量化步长的最优值；根据参考层编码器和待编层编码器的量化步长的最优值，分配参考层编码器和待编层编码器的码率。

其中，根据待编层编码器的编码失真模型和码率模型，计算给定总码率条件下，参考层编码器和待编层编码器的量化步长的最优值具体包括：根据待编层的编码失真模型和码率模型，建立给定总码率的条件下，参考层编码器和待编层编码器的编码失真总和最小的模型；采用拉格朗日乘数法计算编码失真总和最小的模型中，参考层编码器和待编层编码器的量化步长的最优值。

其中，给定总码率的条件下，参考层编码器和待编层编码器的编码失真总和最小的模型为：

$\left\{\begin{array}{c}{Q}^{*}=(Q_1^{*},Q_2^{*})=\underset{Q_1,Q_2\&Element;Q}{\arg \min }[D_1\left(Q_1\right)+D_2(Q_1,Q_2)]\\ R_1\left(Q_1\right)+R_2(Q_1,Q_2)\&le;R_{\mathrm{total}}\\ D_1\left(Q_1\right)=b\&CenterDot;{Q_1}^{{\mathrm{\&beta;}}_1}\\ R_1\left(Q_1\right)=a{{\&CenterDot;Q}_1}^{-\mathrm{\&alpha;}}\end{array}\right.,$

其中，Q₁和Q₂分别为参考层编码器和待编层编码器的量化步长，

为参考层编码器和待编层编码器的最优量化矢量，Q为量化步长的备选集合，D₁(Q₁)和D₂(Q₁，Q₂)分别为参考层编码器和待编层编码器的编码失真值，R₁(Q₁)和R₂(Q₁，Q₂)分别为参考层编码器和待编层编码器的码率，R_total，为总码率，b和β₁为参考层编码器的编码失真模型参数，a和α为参考层编码器的码率模型参数。

该优选实施例提供了根据待编层编码器的编码失真模型和码率模型，分配参考层编码器和待编层编码器的码率的具体实施方案。采用本优选实施例可以将码率优化分配问题转化为给定总码率的前提下，使得各编码层的编码失真总和最小的优化问题，从而实现码率的优化分配，使得总失真最小。

可选地，在上述的视频编码处理方法中，参考层编码器和待编层编码器分别为空域可伸缩视频编码的基本层编码器和增强层编码器。当采用两层的可伸缩视频编码时，可将基本层作为参考层，增强层作为待编层采用上述的优选实施例进行各视频层码率的优化分配。对于三层或以上的情况，通常采用递归的方式进行，将最高层作为待编层，其所有前驱视频层作为参考层，从而依次求解，最终实现各视频层的码率优化分配。

在本实施例的视频处理方法中使用了具有相关关系的视频层的率失真模型，它区别于以往传统视频编码中码率和失真都是量化参数的单变元函数。本实施例对于H.264/SVC中具有相关关系的视频层，其码率和失真特性都是由参考层和待编层等多个量化参数作为变元的函数关系，同时分别确定每一个参数对于失真和码率特性的具体影响，对多变元函数关系进行去相关操作，从而实现优化问题的求解。通过对具有相关性的可伸缩视频编码结构，将多变元的率失真函数关系转化为若干个单变元函数的线性组合，极大地降低了码率分配最优化问题求解的复杂性，并使用优化问题进行数值求解，最终得到该问题的最优解，从而使得编码效率最大化，进一步优化了可伸缩视频编码器的编码性能。

图2示出了根据本发明实施例的视频编码处理装置的示意图，包括：失真模型建立模块10，用于在空域可伸缩视频编码中，根据待编层编码器的输入差分序列与参考层编码器的量化步长的关系，建立待编层编码器的编码失真模型；码率模型建立模块20，用于通过分析参考层编码器的码率和待编层编码器的码率的关系，建立待编层编码器的码率模型；码率分配模块30，用于根据待编层编码器的编码失真模型和码率模型，分配参考层编码器和待编层编码器的码率。

该实施例由于通过对参考层编码器具有依赖关系的待编层编码器建立去相关的率失真模型，从而将码率分配问题转化为给定总码率的前提下使得各编码层编码失真总和最小的优化问题，最终求取各编码层的码率最优解，从而得到各个编码层的码率优化分配方案。

该实施例充分考虑了可伸缩视频编码的层次编码结构带来的各层次间的相关关系，在进行码率分配时有效地利用了编码信息，从而大幅度地提高了空域可伸缩编码的编码性能，使得编码效率最大化。如，与现有技术相比，采用本实施例可以使得各编码层编码器的编码失真总和最小，各编码层编码器的总码率最低。

优选地，在上述的视频编码处理装置中，失真模型建立模块10具体包括：获取单元，用于根据空域可伸缩视频编码的结构，获取待编层编码器的输入差分序列；变换单元，用于对输入差分序列以图像帧为统计单位，分别对每一图像帧内的各宏块进行离散余弦变换；关系建立单元，用于根据变换后系数的分布，建立变换后系数的概率密度分布函数与参考层编码器的量化步长的关系；编码失真模型建立单元，用于根据概率密度分布函数与参考层编码器的量化步长的关系，建立待编层编码器的编码失真模型。

其中，变换后系数的分布满足零均值的柯西分布，变换后系数的概率密度分布函数与参考层编码器的量化步长的关系为：

其中，x为变换后系数，p(x)为变换后系数的概率密度分布函数，μ为概率密度分布函数参数，η和

为仿射模型的模型参数，Q₁为参考层编码器的量化步长；

待编层编码器的编码失真模型为：

$D_2(Q_1,Q_2)\&ap;(\mathrm{\&zeta;}{Q}_1+\mathrm{\&upsi;})\&CenterDot;Q_2^{{\mathrm{\&beta;}}_2},$

其中，ζ、υ和β₂为待编层编码器的编码失真模型参数，Q₁和Q₂分别为参考层编码器和待编层编码器的量化步长，D₂(Q₁，Q₂)为待编层编码器的编码失真值。

该优选实施例提供了建立待编层编码器的编码失真模型的具体实施方案。由于空域可伸缩视频编码的各层次的相关性，待编层编码器的编码失真不仅与自身的量化步长有关，还与参考层编码器的量化步长有关，因此，可以通过分析待编层编码器的输入差分序列(与参考层编码器的量化步长有关)的特性，采用本优选实施例的方案构建去相关的待编层编码器的编码失真模型。

优选地，在上述的视频编码处理装置中，待编层编码器的码率模型为：

$\left\{\begin{array}{c}{R}_2(Q_1,Q_2)=\left\{\begin{array}{cc}r\&CenterDot;R_1\left(Q_1\right)+(s-r)\&CenterDot;R_1\left(Q_2\right),& Q_1\&GreaterEqual;Q_2\\ s\&CenterDot;R_1\left(Q_2\right),& Q_1<Q_2\end{array}\right.\\ R_1\left(Q_1\right)=a\&CenterDot;{Q_1}^{-\mathrm{\&alpha;}}\\ R_1\left(Q_2\right)=a\&CenterDot;{Q_2}^{-\mathrm{\&alpha;}}\end{array}\right.,$

其中，R₁(Q₁)为当量化步长为Q₁时参考层编码器的码率，R₁(Q₂)为当量化步长为Q₂时参考层编码器的码率，R₂(Q₁，Q₂)为当参考层编码器的量化步长为Q₁、待编层编码器的量化步长为Q₂时待编层编码器的码率，待编层编码器的码率模型参数s和r分别表示当Q₁＝Q₂和Q₁＞Q₂时，待编层编码器和参考层编码器的码率呈线性关系的斜率值，a和α为参考层编码器的码率模型参数。

该优选实施例提供了码率模型建立模块的具体实施方案。通过本优选实施例可以建立待编层编码器的码率与待编层编码器和参考层编码器的量化步长之间的关系。

优选地，在上述的视频编码处理装置中，码率分配模块30具体包括：计算单元，用于根据待编层编码器的编码失真模型和码率模型，计算给定总码率条件下，参考层编码器和待编层编码器的量化步长的最优值；分配单元，用于根据参考层编码器和待编层编码器的量化步长的最优值，分配参考层编码器和待编层编码器的码率。

其中，计算单元具体包括：第一单元，用于根据待编层的编码失真模型和码率模型，建立给定总码率的条件下，参考层编码器和待编层编码器的编码失真总和最小的模型；第二单元，用于采用拉格朗日乘数法计算编码失真总和最小的模型中，参考层编码器和待编层编码器的量化步长的最优值。

其中，给定总码率的条件下，参考层编码器和待编层编码器的编码失真总和最小的模型为：

$\left\{\begin{array}{c}{Q}^{*}=(Q_1^{*},Q_2^{*})=\underset{Q_1,Q_2\&Element;Q}{\arg \min }[D_1\left(Q_1\right)+D_2(Q_1,Q_2)]\\ R_1\left(Q_1\right)+R_2(Q_1,Q_2)\&le;R_{\mathrm{total}}\\ D_1\left(Q_1\right)=b\&CenterDot;{Q_1}^{{\mathrm{\&beta;}}_1}\\ R_1\left(Q_1\right)=a{{\&CenterDot;Q}_1}^{-\mathrm{\&alpha;}}\end{array}\right.,$

其中，Q₁和Q₂分别为参考层编码器和待编层编码器的量化步长，

为参考层编码器和待编层编码器的最优量化矢量，Q为量化步长的备选集合，D₁(Q₁)和D₂(Q₁，Q₂)分别为参考层编码器和待编层编码器的编码失真值，R₁(Q₁)和R₂(Q₁，Q₂)分别为参考层编码器和待编层编码器的码率，R_total为总码率，b和β₁为参考层编码器的编码失真模型参数，a和α为参考层编码器的码率模型参数。

该优选实施例提供了码率分配模块的具体实施方案。采用本优选实施例可以将码率优化分配问题转化为给定总码率的前提下，使得各编码层的编码失真总和最小的优化问题，从而实现码率的优化分配，使得总失真最小。

可选地，在上述的视频编码处理装置中，参考层编码器和待编层编码器分别为空域可伸缩视频编码的基本层编码器和增强层编码器。当采用两层的可伸缩视频编码时，可将基本层作为参考层，增强层作为待编层采用上述的优选实施例进行各视频层码率的优化分配。对于三层或以上的情况，通常采用递归的方式进行，将最高层作为待编层，其所有前驱视频层作为参考层，从而依次求解，最终实现各视频层的码率优化分配。

在本实施例的视频处理装置中使用了具有相关关系的视频层的率失真模型，它区别于以往传统视频编码中码率和失真都是量化参数的单变元函数。本实施例对于H.264/SVC中具有相关关系的视频层，其码率和失真特性都是由参考层和待编层等多个量化参数作为变元的函数关系，同时分别确定每一个参数对于失真和码率特性的具体影响，对多变元函数关系进行去相关操作，从而实现优化问题的求解。通过对具有相关性的可伸缩视频编码结构，将多变元的率失真函数关系转化为若干个单变元函数的线性组合，极大地降低了码率分配最优化问题求解的复杂性，并使用优化问题进行数值求解，最终得到该问题的最优解，从而使得编码效率最大化，进一步优化了可伸缩视频编码器的编码性能。

下面以一个给定目标总码率，两层空域可伸缩编码器为例，结合附图对上述实施例的视频编码处理方法和装置进行进一步地说明。

图3示出了根据本发明优选实施例一的空域可伸缩视频编码器的基本框架图。该空域可伸缩视频编码器中包括基本层编码器和增强层编码器。其输入视频是CIF(Common Intermediate Format，标准化图像格式，352×288像素)尺寸的视频序列，而输出的码流由两个不同分辨率尺寸的空域视频层组成。

原始视频序列经过下采样处理后，基本层编码器会首先获取到原始视频信号的低频分量为QCIF序列(Quarter CIF，176×144像素)作为输入。该低频信号经过量化步长为Q₁的量化编码后会产生相应的基本层视频流。而经上采样滤波器重建后的基本层码流将作为层间预测的信息来减少增强层编码器的输入序列编码中低频信号的数据冗余。因此，对于增强层编码器而言，实际编码的输入序列是一个差分序列，它包含了以下两个部分(如图4所示，以一个图像组为例)：(1)原始视频序列的高频分量；以及(2)由基本层编码器量化过程所引起的低频失真部分，其反映了基本层编码器与增强层编码器之间的编码相关性。对于固定的待编码序列(即原始视频序列)，设置不同的基本层量化步长Q₁，所产生的增强层编码器的输入差分序列也会随之变化。当基本层编码器的失真值远远小于高频分量值时，这种相关效应就可以被忽略。由于各层次间的相关性，为了准确表述增强层视频流产生的失真，除了需要研究与增强层编码器的量化步长Q₂的关系外，还需要表征增强层编码器的输入差分信号的特性，即与基本层编码器的量化步长Q₁的关系。

因为图像帧是基本的码率分配和编码单元，所以可以以每一幅图像帧为单位，分别对该帧内的各宏块进行离散余弦变换(DCT，Discrete Cosine Transform)，用变换后的系数的概率密度分布来描述增强层编码器的输入差分序列的特征。图5示出了根据本发明优选实施例一的增强层编码器输入差分序列经离散余弦变换后的变换后系数的概率密度分布函数图，图中示出了两幅对应于不同Q₁值的曲线拟合效果图。可以看出，一般拉普拉斯分布概率密度函数与零均值柯西分布概率密度函数对于实际数据都有较好的拟合效果。但是考虑到一般拉普拉斯分布函数含有2个参数，均衡考虑选取柯西分布概率函数来描述增强层编码器输入差分序列经离散余弦变换后的变换后系数的分布。即变换后系数的概率密度分布函数为：

$p\left(x\right)=\frac{1}{x}\frac{\mathrm{\&mu;}}{{\mathrm{\&mu;}}^2+x^2},x\&Element;R---\left(1\right)$

其中，x为变换后系数，p(x)为变换后系数的概率密度分布函数，μ为概率密度分布函数参数，η和

为仿射模型的模型参数，Q₁为基本层编码器的量化步长，参数μ控制拟合曲线的宽度以及原点峰值的高度。

由于基本层编码器的量化步长Q₁与增强层编码器的输入差分序列有关，而描述差分序列的变换后系数的分布满足上述公式(1)，故可知Q₁与公式(1)中唯一的参数μ有关。图6示出了根据本发明优选实施例一的用于拟合变换后系数分布的柯西分布函数的参数与基本层编码器的量化步长的关系图，该图进一步验证了参数μ和基本层编码器的量化步长Q₁之间的关系，可以看出对于不同的Q₁值(会产生不同的增强层编码器的输入差分序列)，两者的关系满足公式(2)：

其中，η和

为仿射模型的模型参数。

使用公式(1)和(2)描述增强层编码器的输入差分序列的特征，其输出视频的编码质量只与增强层编码器的量化步长Q₂有关。由于增强层编码器使用非均匀量化，其量化步长为Q₂，则增强层编码器的输出码流的失真值为：

$D_2\left(Q_2\right)=\underset{i=-\&infin;}{\overset{+\&infin;}{\mathrm{\&Sigma;}}}{\&Integral;}_{(i-\frac{1}{2})Q_2}^{(i+\frac{1}{2})Q_2}{|x-i{Q}_2|}^{2}p\left(x\right)\mathrm{dx}---\left(3\right)$

其中，x为变换后系数，p(x)为变换后系数的概率密度分布函数，Q₂为增强层编码器的量化步长，i为整数。

通常，取

作为公式(3)的无穷累加和的值的边界。将公式(1)和(2)代入公式(3)可将其简化为公式(4)：

$D_2\left(Q_2\right)=2\underset{i=1}{\overset{M}{\mathrm{\&Sigma;}}}[\frac{\mathrm{\&mu;}{Q}_2}{\mathrm{\&pi;}}-\frac{\mathrm{i\&mu;}{Q}_2}{\mathrm{\&pi;}}\ln \left(\frac{{\mathrm{\&mu;}}^2+{(i+\frac{1}{2})}^2{Q}_2^2}{{\mathrm{\&mu;}}^2+{(i-\frac{1}{2})}^2{Q}_2^2}\right)-\frac{{\mathrm{\&mu;}}^2-i^2{Q}_2^2}{\mathrm{\&pi;}}{\tan }^{-1}\left(\frac{\mathrm{\&mu;}{Q}_2}{{\mathrm{\&mu;}}^2+(i^2-\frac{1}{4})Q_2^2}\right)]$

$+[\frac{\mathrm{\&mu;}{Q}_2}{\mathrm{\&pi;}}-\frac{{2\mathrm{\&mu;}}^2}{\mathrm{\&pi;}}{\tan }^{-1}\left(\frac{Q_2}{2\mathrm{\&mu;}}\right)].---\left(4\right)$

其中，M为变换后系数的采样个数，i为整数。

进一步，可将公式(4)近似表示为：

$D_2\left(Q_2\right)\&ap;b\&CenterDot;Q_2^{{\mathrm{\&beta;}}_2}---\left(5\right)$

其中，b是只和柯西分布参数μ相关的模型参数，而β₂值在给定原始视频序列后基本保持不变。b可采用最小二乘的方法离线计算。表1示出了若干对的b和μ值，可以看出对于不同的测试序列(不同的Q₁值)，参数b和μ值成仿射关系。

表1

根据公式(2)和(5)、以及b和μ间的仿射关系，可以建立具有相关性的增强层编码器的编码失真模型为：

$D_2(Q_1,Q_2)\&ap;(\mathrm{\&zeta;}{Q}_1+\mathrm{\&upsi;})\&CenterDot;Q_2^{{\mathrm{\&beta;}}_2}---\left(6\right)$

其中，ζ、υ和β₂为增强层编码器的编码失真模型参数，Q₁和Q₂分别为基本层编码器和增强层编码器的量化步长，D₂(Q₁，Q₂)为增强层编码器的编码失真值。

通过分析基本层编码器的码率与增强层编码器的码率之间的函数关系，可以建立增强层编码器的码率模型，记作R₂(Q₁，Q₂)。图7示出了根据本发明优选实施例一的基本层编码器和增强层编码器的码率关系图，图中选取了两组具有代表性的公测视频序列football(“足球”序列)和mobile(“日历小车”序列)，用于描述增强层编码器的码率R₂(Q₁，Q₂)和基本层编码器的码率R₁(Q₁)之间的函数关系。可以看出，两者之间的关系呈现一组几乎平行不变的直线簇，即两个层次间的码率相关性比较弱。由此可以得到增强层编码器的码率模型为：

$R_2(Q_1,Q_2)=\left\{\begin{array}{cc}r\&CenterDot;R_1\left(Q_1\right)+(s-r)\&CenterDot;R_1\left(Q_2\right),& Q_1{\&GreaterEqual;Q}_2\\ s\&CenterDot;R_1\left(Q_2\right),& Q_1<Q_2\end{array}\right.---\left(7\right)$

其中，R₁(Q₁)为当量化步长为Q₁时基本层编码器的码率，R₁(Q₂)为当量化步长为Q₂时基本层编码器的码率，R₂(Q₁，Q₂)为当基本层编码器的量化步长为Q₁、增强层编码器的量化步长为Q₂时增强层编码器的码率，s和r为增强层编码器的码率模型参数，分别表示当Q₁＝Q₂和Q₁＞Q₂时，增强层编码器和基本层编码器的码率呈线性关系的斜率值，如图8所示。

在图7和图8中，QP为量化参数，其与量化步长Q的关系如表2所示：

表2

QP	0	1	2	3	4	5	6	7	8	9	10	11	12	…
															Q	0.625	0.6875	0.8125	0.875	1	1.125	1.25	1.375	1.625	1.75	2	2.25	2.5	…
QP	…	18	…	24	…	30	…	36	…	42	…	48	…	51
															Q		5		10		20		40		80		160		224

而对于SVC基本层编码器的率失真特性，可以采用H.264/AVC中经典的指数率失真关系模型：

R₁(Q₁)＝a·Q₁ ^-α和 $D_1\left(Q_1\right)=b\&CenterDot;{Q_1}^{{\mathrm{\&beta;}}_1}---\left(8\right)$

其中，Q₁为基本层编码器的量化步长，R₁(Q₁)为基本层编码器的码率，D₁(Q₁)为基本层编码器的编码失真值，a和α为基本层编码器的码率模型参数，b和β₁为基本层编码器的编码失真模型参数。

在计算得到各层次率失真模型后，空域可伸缩视频编码的码率优化分配问题即可以表示为：在给定目标码率R_total条件下，使得各编码层的失真总和最小，即：

$\left\{\begin{array}{c}{Q}^{*}=(Q_1^{*},Q_2^{*})=\underset{Q_1,Q_2\&Element;Q}{\arg \min }[D_1\left(Q_1\right)+D_2(Q_1,Q_2)]\\ R_1\left(Q_1\right)+R_2(Q_1,Q_2)\&le;R_{\mathrm{total}}\end{array}\right.---\left(9\right)$

其中，

是各相关层次选取的最优量化矢量，Q是量化步长的集合。

解决这类最优化问题，通常采用拉格朗日乘数法，将有约束的优化问题转化为无约束的优化问题进行求解，即

$\left\{\begin{array}{c}{Q}^{*}=\underset{Q_k\&Element;Q}{\arg \min }J(Q,\mathrm{\&lambda;})\\ J(Q,\mathrm{\&lambda;})=\underset{k=1}{\overset{2}{\mathrm{\&Sigma;}}}{D}_k(\&CenterDot;)+\mathrm{\&lambda;}\&CenterDot;(\underset{k=1}{\overset{2}{\mathrm{\&Sigma;}}}{R}_k(\&CenterDot;)-R_{\mathrm{total}})\end{array}\right.---\left(10\right)$

其中，λ是拉格朗日乘子。

将已求得的基本层编码器和增强层编码器的码率和失真模型代入公式(10)，得到拉格朗日代价函数为：

$J\left(Q^{*}\mathrm{\&lambda;}\right)\underset{Q_1,Q_2\&Element;Q^2}{\arg \min }J(Q,\mathrm{\&lambda;})=b\&CenterDot;Q_1^{{\mathrm{\&beta;}}_1}+(\mathrm{\&zeta;}{Q}_1+\mathrm{\&upsi;})\&CenterDot;Q_2^{{\mathrm{\&beta;}}_2}+\mathrm{\&lambda;}\&CenterDot;[(1+r)\&CenterDot;Q_0^{-\mathrm{\&alpha;}}+\mathrm{sa}\&CenterDot;Q_1^{-\mathrm{\&alpha;}}-R_{\mathrm{total}}]---\left(11\right)$

分别对Q₁、Q₂和λ求偏微分，联立方程组后求取Q₁和Q₂的最优值，由于量化步长决定了各视频层的编码失真以及码率，因而最终实现了对基本层编码器和增强层编码器的码率优化分配。

上述优选实施例一仅给出了对于两层空域可伸缩视频编码器的各视频层的码率优化分配方法，对于三层或以上的情况，通常采用递归的方式进行，如给定总码率R_total的条件下，对于三层的空域可伸缩视频编码器，其包括基本层编码器、增强层编码器1和增强层编码器2，可以先将基本层编码器和增强层编码器1看作一个整体：参考层编码器，先利用上述优选实施例一的方法求取参考层编码器和增强层编码器2的码率最优值，分别记为R₁和R₂，接下来，就可以将R₁作为基本层编码器和增强层编码器1的总码率继续按照优选实施例一的方法，从而最终实现三个视频层的码率最优分配。

从以上的描述中，可以看出，本发明上述的实施例实现了如下技术效果：因为采用由高到底的顺序对各层次编码器进行码率分配，通过对参考层编码器具有依赖关系的待编层编码器建立去相关的率失真模型，从而将码率分配问题转化为给定总码率的前提下使得各编码层编码失真总和最小的优化问题，最终求取各编码层的码率最优解，解决了现有技术无法对各层次的码率实现有效地分配，因而编码性能较差的问题，从而大幅度地提高了空域可伸缩编码的编码性能，使得编码效率最大化。本发明实现了基于H.264/SVC空域可伸缩视频编码的各层次间相关性基础上的码率优化分配方案。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (14)

1.一种视频编码处理方法，其特征在于，包括：

在空域可伸缩视频编码中，根据待编层编码器的输入差分序列与参考层编码器的量化步长的关系，建立所述待编层编码器的编码失真模型；

通过分析所述参考层编码器的码率和所述待编层编码器的码率的关系，建立所述待编层编码器的码率模型；

根据所述待编层编码器的编码失真模型和码率模型，分配所述参考层编码器和所述待编层编码器的码率；

其中，在空域可伸缩视频编码中，根据待编层编码器的输入差分序列与参考层编码器的量化步长的关系，建立所述待编层编码器的编码失真模型具体包括：

根据所述空域可伸缩视频编码的结构，获取所述待编层编码器的输入差分序列；

对所述输入差分序列以图像帧为统计单位，分别对每一图像帧内的各宏块进行离散余弦变换；

根据变换后系数的分布，建立所述变换后系数的概率密度分布函数与所述参考层编码器的量化步长的关系；

根据所述概率密度分布函数与所述参考层编码器的量化步长的关系，建立所述待编层编码器的编码失真模型。

2.根据权利要求1所述的视频编码处理方法，其特征在于，

所述变换后系数的分布满足零均值的柯西分布，所述变换后系数的概率密度分布函数与所述参考层编码器的量化步长的关系为：

其中，x为变换后系数，p(x)为变换后系数的概率密度分布函数，μ为概率密度分布函数参数，η和

为仿射模型的模型参数，Q₁为参考层编码器的量化步长；

所述待编层编码器的编码失真模型为：

$D_2(Q_1,Q_2)\&ap;(\mathrm{\&zeta;}{Q}_1+\mathrm{\&upsi;})\&CenterDot;Q_2^{{\mathrm{\&beta;}}_2},$

其中，ζ、υ和β₂为待编层编码器的编码失真模型参数，Q₁和Q₂分别为参考层编码器和待编层编码器的量化步长，D₂(Q₁，Q₂)为待编层编码器的编码失真值。

3.根据权利要求2所述的视频编码处理方法，其特征在于，所述待编层编码器的码率模型为：

$\left\{\begin{array}{c}{R}_2(Q_1,Q_2)=\left\{\begin{array}{cc}r\&CenterDot;R_1\left(Q_1\right)+(s-r)\&CenterDot;R_1\left(Q_2\right),& Q_1\&GreaterEqual;Q_2\\ s\&CenterDot;R_1\left(Q_2\right),& Q_1<Q_2\end{array}\right.\\ R_1\left(Q_1\right)=a\&CenterDot;{Q_1}^{-\mathrm{\&alpha;}}\\ R_1\left(Q_2\right)=a\&CenterDot;{Q_2}^{-\mathrm{\&alpha;}}\end{array}\right.,$

其中，R₁(Q₁)为当量化步长为Q₁时参考层编码器的码率，R₁(Q₂)为当量化步长为Q₂时参考层编码器的码率，R₂(Q₁，Q₂)为当参考层编码器的量化步长为Q₁、待编层编码器的量化步长为Q₂时待编层编码器的码率，待编层编码器的码率模型参数s和r分别表示当Q₁＝Q₂和Q₁＞Q₂时，待编层编码器和参考层编码器的码率呈线性关系的斜率值，a和α为参考层编码器的码率模型参数。

4.根据权利要求3所述的视频编码处理方法，其特征在于，根据所述待编层编码器的编码失真模型和码率模型，分配所述参考层编码器和所述待编层编码器的码率具体包括：

根据所述待编层编码器的编码失真模型和码率模型，计算给定总码率条件下，所述参考层编码器和所述待编层编码器的量化步长的最优值；

根据所述参考层编码器和所述待编层编码器的量化步长的最优值，分配所述参考层编码器和所述待编层编码器的码率。

5.根据权利要求4所述的视频编码处理方法，其特征在于，根据所述待编层编码器的编码失真模型和码率模型，计算给定总码率条件下，所述参考层编码器和所述待编层编码器的量化步长的最优值具体包括：

根据所述待编层的编码失真模型和码率模型，建立给定总码率的条件下，所述参考层编码器和所述待编层编码器的编码失真总和最小的模型；

采用拉格朗日乘数法计算所述编码失真总和最小的模型中，所述参考层编码器和所述待编层编码器的量化步长的最优值。

6.根据权利要求5所述的视频编码处理方法，其特征在于，给定总码率的条件下，所述参考层编码器和所述待编层编码器的编码失真总和最小的模型为：

$\left\{\begin{array}{c}{Q}^{*}=(Q_1^{*},Q_2^{*})=\underset{Q_1,Q_2\&Element;Q}{\arg \min }[D_1\left(Q_1\right)+D_2(Q_1,Q_2)]\\ R_1\left(Q_1\right)+R_2(Q_1,Q_2)\&le;R_{\mathrm{total}}\\ D_1\left(Q_1\right)=b\&CenterDot;{Q_1}^{{\mathrm{\&beta;}}_1}\\ R_1\left(Q_1\right)=a{{\&CenterDot;Q}_1}^{-\mathrm{\&alpha;}}\end{array}\right.,$

其中，Q₁和Q₂分别为参考层编码器和待编层编码器的量化步长，

为参考层编码器和待编层编码器的最优量化矢量，Q为量化步长的备选集合，D₁(Q₁)和D₂(Q₁，Q₂)分别为参考层编码器和待编层编码器的编码失真值，R₁(Q₁)和R₂(Q₁，Q₂)分别为参考层编码器和待编层编码器的码率，R_total为总码率，b和β₁为参考层编码器的编码失真模型参数，a和α为参考层编码器的码率模型参数。

7.根据权利要求1至6任一项所述的视频编码处理方法，其特征在于，所述参考层编码器和所述待编层编码器分别为空域可伸缩视频编码的基本层编码器和增强层编码器。

8.一种视频编码处理装置，其特征在于，包括：

失真模型建立模块，用于在空域可伸缩视频编码中，根据待编层编码器的输入差分序列与参考层编码器的量化步长的关系，建立所述待编层编码器的编码失真模型；

码率模型建立模块，用于通过分析所述参考层编码器的码率和所述待编层编码器的码率的关系，建立所述待编层编码器的码率模型；

码率分配模块，用于根据所述待编层编码器的编码失真模型和码率模型，分配所述参考层编码器和所述待编层编码器的码率；

其中，所述失真模型建立模块具体包括：

获取单元，用于根据所述空域可伸缩视频编码的结构，获取所述待编层编码器的输入差分序列；

变换单元，用于对所述输入差分序列以图像帧为统计单位，分别对每一图像帧内的各宏块进行离散余弦变换；

关系建立单元，用于根据变换后系数的分布，建立所述变换后系数的概率密度分布函数与所述参考层编码器的量化步长的关系；

编码失真模型建立单元，用于根据所述概率密度分布函数与所述参考层编码器的量化步长的关系，建立所述待编层编码器的编码失真模型。

9.根据权利要求8所述的视频编码处理装置，其特征在于，

所述变换后系数的分布满足零均值的柯西分布，所述变换后系数的概率密度分布函数与所述参考层编码器的量化步长的关系为：

其中，x为变换后系数，p(x)为变换后系数的概率密度分布函数，μ为概率密度分布函数参数，η和

为仿射模型的模型参数，Q₁为参考层编码器的量化步长；

所述待编层编码器的编码失真模型为：

$D_2(Q_1,Q_2)\&ap;(\mathrm{\&zeta;}{Q}_1+\mathrm{\&upsi;})\&CenterDot;Q_2^{{\mathrm{\&beta;}}_2},$

其中，ζ、υ和β₂为待编层编码器的编码失真模型参数，Q₁和Q₂分别为参考层编码器和待编层编码器的量化步长，D₂(Q₁，Q₂)为待编层编码器的编码失真值。

10.根据权利要求9所述的视频编码处理装置，其特征在于，所述待编层编码器的码率模型为：

$\left\{\begin{array}{c}{R}_2(Q_1,Q_2)=\left\{\begin{array}{cc}r\&CenterDot;R_1\left(Q_1\right)+(s-r)\&CenterDot;R_1\left(Q_2\right),& Q_1\&GreaterEqual;Q_2\\ s\&CenterDot;R_1\left(Q_2\right),& Q_1<Q_2\end{array}\right.\\ R_1\left(Q_1\right)=a\&CenterDot;{Q_1}^{-\mathrm{\&alpha;}}\\ R_1\left(Q_2\right)=a\&CenterDot;{Q_2}^{-\mathrm{\&alpha;}}\end{array}\right.,$

其中，R₁(Q₁)为当量化步长为Q₁时参考层编码器的码率，R₁(Q₂)为当量化步长为Q₂时参考层编码器的码率，R₂(Q₁，Q₂)为当参考层编码器的量化步长为Q₁、待编层编码器的量化步长为Q₂时待编层编码器的码率，待编层编码器的码率模型参数s和r分别表示当Q₁＝Q₂和Q₁＞Q₂时，待编层编码器和参考层编码器的码率呈线性关系的斜率值，a和α为参考层编码器的码率模型参数。

11.根据权利要求10所述的视频编码处理装置，其特征在于，所述码率分配模块具体包括：

计算单元，用于根据所述待编层编码器的编码失真模型和码率模型，计算给定总码率条件下，所述参考层编码器和所述待编层编码器的量化步长的最优值；

分配单元，用于根据所述参考层编码器和所述待编层编码器的量化步长的最优值，分配所述参考层编码器和所述待编层编码器的码率。

12.根据权利要求11所述的视频编码处理装置，其特征在于，所述计算单元具体包括：

第一单元，用于根据所述待编层的编码失真模型和码率模型，建立给定总码率的条件下，所述参考层编码器和所述待编层编码器的编码失真总和最小的模型；

第二单元，用于采用拉格朗日乘数法计算所述编码失真总和最小的模型中，所述参考层编码器和所述待编层编码器的量化步长的最优值。

13.根据权利要求12所述的视频编码处理装置，其特征在于，给定总码率的条件下，所述参考层编码器和所述待编层编码器的编码失真总和最小的模型为：

$\left\{\begin{array}{c}{Q}^{*}=(Q_1^{*},Q_2^{*})=\underset{Q_1,Q_2\&Element;Q}{\arg \min }[D_1\left(Q_1\right)+D_2(Q_1,Q_2)]\\ R_1\left(Q_1\right)+R_2(Q_1,Q_2)\&le;R_{\mathrm{total}}\\ D_1\left(Q_1\right)=b\&CenterDot;{Q_1}^{{\mathrm{\&beta;}}_1}\\ R_1\left(Q_1\right)=a{{\&CenterDot;Q}_1}^{-\mathrm{\&alpha;}}\end{array}\right.,$

其中，Q₁和Q₂分别为参考层编码器和待编层编码器的量化步长，

为参考层编码器和待编层编码器的最优量化矢量，Q为量化步长的备选集合，D₁(Q₁)和D₂(Q₁，Q₂)分别为参考层编码器和待编层编码器的编码失真值，R₁(Q₁)和R₂(Q₁，Q₂)分别为参考层编码器和待编层编码器的码率，R_total为总码率，b和β₁为参考层编码器的编码失真模型参数，a和α为参考层编码器的码率模型参数。

14.根据权利要求8至13任一项所述的视频编码处理装置，其特征在于，所述参考层编码器和所述待编层编码器分别为空域可伸缩视频编码的基本层编码器和增强层编码器。

Images