CN101562739B - 视频编码处理方法和装置 - Google Patents

Abstract

本发明提供了一种视频编码处理方法，包括：在空域-时域可伸缩视频编码中，分配各空域层的码率；在各空域层中，根据各时域层与其参考时域层的编码失真的关系，建立各时域层的编码失真模型；通过分析各时域层与参考时域层的码率的关系，建立各时域层的码率模型；根据相应的空域层的码率、以及各时域层的编码失真模型和码率模型，分配各时域层的码率。本发明还提供了一种视频编码处理装置。本发明实现了各编码层次间相关性基础上的码率优化分配，能够使得编码效率最大化，进一步优化了可伸缩编码的编码性能。

Description

视频编码处理方法和装置

技术领域

本发明涉及视频处理领域，具体而言，涉及一种视频编码处理方法和装置。

背景技术

作为新一代视频压缩编码标准H.264/AVC的扩展，可伸缩视频编码(Scalable Video Coding，SVC)技术已经于2007年7月正式标准化。目前，H.264/SVC支持了时域、空域和质量域三个维度上的可伸缩性，并且基本实现了对于解码器复杂性和编码效率的平衡设计，而其中基于视频尺寸(空域)的分层是该技术的基本结构。

在空域可伸缩性编码中，H.264/SVC遵循了传统的多层次编码的方法：首先将原始尺寸的视频序列分解(进行下采样)得到若干不同空间分辨率的子序列，其中每个分辨率都对应于一个空域编码层。由于低层是由高层通过下采样得到的，因此在相同的时域分辨率情况下，每一个高层帧都有与之相对应的低层帧，两者之间存在着显而易见的相关性，我们称之为层间冗余。而对应在每个空域层内，时域可伸缩性采用了层次化B帧(Hierarchical-B)的编码结构。高时域层上的图像帧依赖于低时域层上的图像帧作为参考帧进行预测，以实现层次化帧率的时域可伸缩性编码。

由于这种层次化的结构设计，在总码流目标码率相对固定的情况下，采用不同的分配方案对各层次的码率进行分配会导致不同的编码效率。现有的SVC技术还不支持任何视频层次间的码率分配机制，编码过程采用由底向上的顺序性方式，即从最底部的基本层(Base Layer，BL)开始，依次根据编码重建后的前驱视频层作为编码增强层(Enhancement layer，EL)的预测，每一层的目标码率都是分别先验设定的。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：现有的空域-时域可伸缩编码的码率分配方法，忽略了待编层与参考层之间编码的相关性，损失了一定的编码效率。

发明内容

本发明旨在提供一种视频编码处理方法和装置，能够解决现有技术忽略了待编层与参考层之间编码的相关性，损失了一定的编码效率的问题。

在本发明的实施例中，提供了一种视频编码处理方法，包括：根据空域待编层的输入差分序列与空域参考层的量化步长的关系，建立空域待编层的编码失真模型；通过分析空域参考层和空域待编层的码率的关系，建立空域待编层的码率模型；根据空域待编层的编码失真模型和码率模型，分配空域参考层和空域待编层的码率；在各空域层中，根据各时域层与其参考时域层的编码失真的关系，建立各时域层的编码失真模型；通过分析各时域层与参考时域层的码率的关系，建立各时域层的码率模型；根据相应的空域层的码率、以及各时域层的编码失真模型和码率模型，分配各时域层的码率。

在本发明的实施例中，还提供了一种视频编码处理装置，包括：空域分配模块，包括：空域失真模型建立单元、空域码率模型建立单元以及空域码率分配单元，其中，空域失真模型建立单元，用于根据空域待编层的输入差分序列与空域参考层的量化步长的关系，建立空域待编层的编码失真模型；空域码率模型建立单元，用于通过分析空域参考层和空域待编层的码率的关系，建立空域待编层的码率模型；空域码率分配单元，用于根据空域待编层的编码失真模型和码率模型，分配空域参考层和空域待编层的码率；时域失真模型建立模块，用于在各空域层中，根据各时域层与其参考时域层的编码失真的关系，建立各时域层的编码失真模型；时域码率模型建 立模块，用于通过分析各时域层与参考时域层的码率的关系，建立各时域层的码率模型；时域码率分配模块，用于根据相应的空域层的码率、以及各时域层的编码失真模型和码率模型，分配各时域层的码率。

在本发明中，由于充分考虑了可伸缩编码结构引起的各编码层间的相关关系，通过对具有依赖关系的编码层建立去相关的率失真模型，从而将码率分配问题转化为一个给定总码率的前提下使得各编码层的编码失真总和最小的优化问题进行计算求解，最终得到各编码层的码率优化分配方案，解决了现有技术忽略了待编层与参考层之间编码的相关性，损失了一定的编码效率的问题，实现了各编码层次间相关性基础上的码率优化分配，能够使得编码效率最大化，进一步优化了可伸缩编码的编码性能。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1示出了根据本发明实施例的视频编码处理方法的流程图；

图2示出了根据本发明实施例的视频编码处理装置的示意图；

图3示出了根据本发明优选实施例一的H.264/SVC中空域-时域可伸缩编码的码率优化分配的步骤示意图；

图4示出了根据本发明优选实施例一的空域可伸缩维度上的编码结构示意图；

图5A示出了Akiyo序列的示意图；

图5B示出了根据本发明优选实施例一的采用图5A所示的Akiyo序列时，空域增强层输入差分序列的复杂性C与空域基本层的量化步长Q₀的关系图；

图5C示出了City序列的示意图；

图5D示出了根据本发明优选实施例一的采用图5C所示的City序列时，空域增强层输入差分序列的复杂性C与空域基本层的量化步长Q₀的关系图；

图5E示出了Football序列的示意图；

图5F示出了根据本发明优选实施例一的采用图5E所示的Football序列时，空域增强层输入差分序列的复杂性C与空域基本层的量化步长Q₀的关系图；

图5G示出了Mobile序列的示意图；

图5H示出了根据本发明优选实施例一的采用图5G所示的Mobile序列时，空域增强层输入差分序列的复杂性C与空域基本层的量化步长Q₀的关系图；

图6示出了根据本发明优选实施例一的采用图5G所示的Mobile序列时，空域增强层的编码失真D^S ₁与输入差分序列的复杂性C和量化步长Q₁的函数关系图；

图7A示出了根据本发明优选实施例一的采用图5E所示的Football序列时，相邻两空域层间的失真关系图；

图7B示出了根据本发明优选实施例一的采用图5G所示的Mobile序列时，相邻两空域层间的失真关系图；

图8示出了根据本发明优选实施例一的空域相关性编码失真模型图；

图9A示出了根据本发明优选实施例一的采用图5E所示的Football序列时，相邻两空域层间的码率关系图；

图9B示出了根据本发明优选实施例一的采用图5G所示的Mobile序列时，相邻两空域层间的码率关系图；

图10示出了根据本发明优选实施例一的空域相关性码率模型图；

图11A示出了根据本发明优选实施例一的相邻两时域层TL-0和TL-1的编码失真关系图；

图11B示出了根据本发明优选实施例一的相邻两时域层TL-0和TL-2的编码失真关系图；

图12示出了根据本发明优选实施例一的时域相关性码率模型图；

图13A示出了Foreman序列的示意图；

图13B示出了根据本发明优选实施例一的采用图13A所示的Foreman序列时，相邻两时域层间的码率关系图；

图13C示出了根据本发明优选实施例一的采用图5E所示的Football序列时，相邻两时域层间的码率关系图。

具体实施方式

为了解决现有技术存在的忽略了待编层与参考层之间编码的相关性，损失了一定的编码效率的问题，本发明提供了一种视频编码处理方法：首先，在空域可伸缩维度上，按照由高到低的顺序并考虑参考层与待编层之间的相关关系，分配各空域层的码率；然后，在各空域层中，根据各时域层与其参考时域层的编码失真的关系，建立各时域层的编码失真模型；通过分析各时域层与参考时域层的码率的关系，建立各时域层的码率模型；根据相应的空域层的码率、以及各时域层的编码失真模型和码率模型，分配各时域层的码率。从而最终实现了空域-时域二维可伸缩编码的码率优化分配。本发明还提供了一种视频编码处理装置以实现上述的视频编码处理方法。本发明实现了各编码层次间相关性基础上的码率优化分配，能够使得编码效率最大化，进一步优化了可伸缩编码的编码性能。

下面将参考附图并结合实施例，来详细说明本发明。

图1示出了根据本发明实施例的视频编码处理方法的流程图，包括：

步骤S10，在空域-时域可伸缩视频编码中，分配各空域层的码率；

步骤S20，在各空域层中，根据各时域层与其参考时域层的编码失真的关系，建立各时域层的编码失真模型；

步骤S30，通过分析各时域层与参考时域层的码率的关系，建立各时域层的码率模型；

步骤S40，根据相应的空域层的码率、以及各时域层的编码失真模型和码率模型，分配各时域层的码率。

在该优选实施例中由于充分考虑了可伸缩编码结构引起的各编码层间的相关关系，通过对具有依赖关系的编码层建立去相关的率失真模型，从而将码率分配问题转化为一个给定总码率的前提下使得各编码层的编码失真总和最小的优化问题进行计算求解，最终得到各编码层的码率优化分配方案，解决了现有技术忽略了待编层与参考层之间编码的相关性，损失了一定的编码效率的问题，实现了各编码层次间相关性基础上的码率优化分配，能够使得编码效率最大化，进一步优化了可伸缩编码的编码性能。

在该优选实施例中，通过首先在空域可伸缩维度上优化分配各空域层的码率，然后再在时域可伸缩维度上优化分配对应各空域层中各时域层的码率，最终实现空域-时域二维可伸缩编码的码率优化分配。

优选地，在上述的视频编码处理方法中，步骤S10包括：根据空域待编层的输入差分序列与空域参考层的量化步长的关系，建立空域待编层的编码失真模型；通过分析空域参考层和空域待编层的码率的关系，建立空域待编层的码率模型；根据空域待编层的编码失真模型和码率模型，分配空域参考层和空域待编层的码率。

其中，根据空域待编层的输入差分序列与空域参考层的量化步长的关系，建立空域待编层的编码失真模型具体包括：

根据空域-时域可伸缩视频编码的结构，获取空域待编层的输入差分序列；

空域参考层的量化步长取不同值时，以图像组为统计单位根据下式分别计算输入差分序列的复杂性：

$\left\{\begin{array}{c}{C}_I=\underset{x=1}{\overset{W}{\mathrm{\Σ}}}\underset{y=1}{\overset{H}{\mathrm{\Σ}}}|f_i(x,y)-f_i^d(x,y)|\\ C_P=\underset{\∀f_i\∈P}{\mathrm{\Σ}}\underset{x=1}{\overset{W}{\mathrm{\Σ}}}\underset{y=1}{\overset{H}{\mathrm{\Σ}}}|f_i(x,y)-g_i(x,y)|\\ C_B=\underset{\∀f_i\∈B}{\mathrm{\Σ}}\underset{x=1}{\overset{W}{\mathrm{\Σ}}}\underset{y=1}{\overset{H}{\mathrm{\Σ}}}\min \left(\right|f_i(x,y)-g_i(x,y)|,|f_i(x,y)-h_i(x,y)\left|\right)\\ C=C_I+C_P+C_B\end{array}\right.,$

其中，C表示以图像组为统计单位的空域待编层的输入差分序列的复杂性，C_I、C_P和C_B分别表示I、P和B图像帧的复杂性，i表示当前计算复杂性的图像帧为第i帧，(x，y)表示第i帧中某一图像像素点的坐标，f_i(x，y)表示第i帧的像素灰度值，f_i ^d(x，y)表示第i帧中分别以4×4块均值为预测的预测帧的像素灰度值，g_i(x，y)表示第i帧的后向预测帧的像素灰度值，h_i(x，y)表示的第i帧的前向预测帧的像素灰度值，W和H分别表示图像帧的宽和高。

通过分析空域参考层的量化步长的不同值与计算的输入差分序列的复杂性的变化关系，建立输入差分序列的复杂性与空域参考层的量化步长的关系为：

C(Q₀)＝c·Q₀+θ，

其中，C(Q₀)表示以图像组为统计单位的空域待编层的输入差分序列的复杂性，Q₀表示空域参考层的量化步长，c和θ表示复杂性模型参数；

根据输入差分序列的复杂性与空域参考层的量化步长的关系，建立空域待编层的编码失真模型为：

$D_1^S(Q_0,Q_1)=\left\{\begin{array}{cc}p\·C\left(Q_0\right)+(m-p)\·C(Q_1/2)+n,& Q_0\≤Q_1/2\\ m\·C(Q_1/2)+n,& Q_0>Q_1/2\end{array}\right.,$

其中，D₁ ^S(Q₀，Q₁)表示当空域参考层的量化步长为Q₀、空域待编层的量化步长为Q₁时空域待编层的编码失真，p表示当Q₀＜Q₁/2时空域待编层的编码失真关系曲线的斜率值，C(Q₀)表示当空域参考层的量化步长为Q₀时空域待编层的输入差分序列的复杂性，m和n分别表示当Q₀＝Q₁/2时空域待编层的编码失真和空域待编层的输入差分序列的复杂性呈线性关系的斜率和截距值。

其中，空域待编层的码率模型为：

$\left\{\begin{array}{c}{R}_1^S(Q_0,Q_1)=\left\{\begin{array}{cc}r\&CenterDot;R_0^S\left(Q_0\right)+(s-r)\&CenterDot;R_0^S\left(Q_1\right),& Q_0\&GreaterEqual;Q_1\\ s\&CenterDot;R_0^S\left(Q_1\right),& Q_0<Q_1\end{array}\right.\\ R_0^S\left(Q_0\right)=a\&CenterDot;{Q_0}^{-\mathrm{\&alpha;}}\\ R_0^S\left(Q_1\right)=a\&CenterDot;{Q_1}^{-\mathrm{\&alpha;}}\end{array}\right.,$

其中，R₀ ^S(Q₀)和R₀ ^S(Q₁)分别表示当分别以量化步长Q₀和Q₁为变元时所计算的空域参考层的码率，R₁ ^S(Q₀，Q₁)表示当空域参考层的量化步长为Q₀、空域待编层的量化步长为Q₁时空域待编层的码率，空域待编层的码率模型参数s和r分别表示当Q₀＝Q₁和Q₀＞Q₁时，空域待编层和空域参考层的码率呈线性关系的斜率值，a和α为空域参考层的码率模型参数。

其中，根据空域待编层的编码失真模型和码率模型，分配空域参考层和空域待编层的码率具体包括：根据空域待编层的编码失真模型和码率模型，计算给定空域总码率条件下，空域参考层和空域待编层的量化步长的值；根据量化步长的值，分配空域参考层和空域待编层的码率。其中，根据空域待编层的编码失真模型和码率模 型，计算给定空域总码率条件下，空域参考层和空域待编层的量化步长的值具体包括：根据空域待编层的编码失真模型和码率模型，建立给定空域总码率条件下，空域参考层和空域待编层的编码失真总和最小的模型；采用拉格朗日乘数法计算空域参考层和空域待编层的编码失真总和最小的模型中，空域参考层和空域待编层的量化步长的值。其中，给定空域总码率条件下，空域参考层和空域待编层的编码失真总和最小的模型为：

$\left\{\begin{array}{c}{Q}^{*}=(Q_0^{*},Q_1^{*})=\underset{Q_0,Q_1\&Element;Q}{\arg \min }[D_0^S\left(Q_0\right)+S_1^S(Q_0,Q_1)]\\ R_0^S\left(Q_0\right)+R_1^S(Q_0,Q_1)\&le;R_{S-\mathrm{Total}}\\ D_0^S\left(Q_0\right)=b\&CenterDot;{Q_0}^{\mathrm{\&beta;}}\\ R_0^S\left(Q_0\right)=a\&CenterDot;{Q_0}^{-\mathrm{\&alpha;}}\end{array}\right.,$

其中，Q₀和Q₁分别表示空域参考层和空域待编层的量化步长，  $Q^{*}=(Q_0^{*},Q_1^{*})$ 表示空域参考层和空域待编层的最优量化矢量， 

表示空域量化步长的备选集合，D₀ ^S(Q₀)和D₁ ^S(Q₀，Q₁)分别表示空域参考层和空域待编层的编码失真值，R₀ ^S(Q₀)和R₁ ^S(Q₀，Q₁)分别表示空域参考层和空域待编层的码率，R_S-Total为空域总码率，b和β表示空域参考层的编码失真模型参数，a和α表示空域参考层的码率模型参数。

上述优选实施例提供了图1所示的实施例中的步骤S10的具体实施方案。通过对空域参考层具有依赖关系的空域待编层建立去相关的率失真模型，从而将空域可伸缩维度上的码率分配问题转化为一个给定空域总码率的前提下使得空域参考层和空域待编层的编码失真总和最小的优化问题进行计算求解，最终得到各空域层的码率优化分配方案，实现了在空域可伸缩维度上优化分配各空域层的码率。该优选实施例实际上是一个递归的过程，当空域可伸缩维度上空域层的层数大于两层时，上述步骤S10中所包括的三个步骤(即建立空域待编层的编码失真模型、建立空域待编层的码率模型、分配空域参考层和空域待编层的码率)实际上是一个循环。分配各空 域层的码率时，按照由高到低的顺序依次执行该循环过程即可。例如：当空域层为三层(即由高到低依次为空域增强层2、空域增强层1和空域基本层)、空域总码率为R_S-Total时，首先以空域增强层2作为空域待编层，空域增强层1和空域基本层整体作为空域参考层，利用上述步骤S10中的方法计算空域增强层2的码率为R₂ ^S、空域增强层1和空域基本层整体的码率为R₁ ^S，然后以空域增强层1作为空域待编层、空域基本层作为空域参考层、给定总码率为R₁ ^S，利用上述步骤S10中的方法计算空域增强层1的码率为R₁₂ ^S、空域基本层的码率为R₁₁ ^S，最终实现了这三个空域层的码率优化分配。

优选地，在上述的视频编码处理方法中，空域参考层和空域待编层分别为空域基本层和空域增强层。该优选实施例提供了空域-时域可伸缩编码中，空域层为两层的优选实施例。在该优选实施例中，可利用上述步骤10的方法实现空域基本层和空域增强层的码率的优化分配。

优选地，在图1所示的视频编码处理方法中，

各时域层的编码失真模型为：

$D_j^T(q_0,...,q_j)\&ap;\underset{k=0}{\overset{j}{\mathrm{\&Sigma;}}}{\mathrm{\&zeta;}}_{j,k}\&CenterDot;D_0^T\left(q_k\right),$ j＝0，...，N_T-1，

其中，N_T表示一空域层中时域层的层数，q_k表示时域层TL-k的量化步长，D_j ^T(q₀，…，q_j)表示当时域层TL-0，...，TL-j的量化步长分别为q₀，...，q_j时，时域层TL-j的编码失真值，D₀ ^T(q_k)表示以时域层TL-k的量化步长q_k为变元所计算的时域层TL-0的编码失真值，时域层编码失真模型参数ζ_j，k反映了参考时域层对时域层TL-j的编码失真的影响；

各时域层的码率模型为：

$\left\{\begin{array}{c}{R}_j^T(q_0,q_1,...,q_j)\&ap;R_j^T\left(q_j\right)\\ R_j^T\left(q_j\right)=a_j\&CenterDot;q_j^{-{\mathrm{\&alpha;}}_j}\end{array}\right.,$ j＝0，...，N_T-1，

其中，N_T表示一空域层中时域层的层数，q_j表示时域层TL-j的量化步长，R_j ^T(q₀，q₁，...，q_j)表示当时域层TL-0，...，TL-j的量化步长分别为q₀，...，q_j时时域层TL-j的码率，R_j ^T(q_j)表示时域层TL-j的码率仅与其自身的量化步长有关，a_j和α_j表示各时域层的码率模型参数。

优选地，在图1所示的视频编码处理方法中，步骤S40具体包括：根据各时域层的编码失真模型和码率模型，以相应的空域层的码率为时域总码率，计算给定时域总码率条件下，各时域层的量化步长的值；根据各时域层的量化步长的值，分配各时域层的码率。

其中，根据各时域层的编码失真模型和码率模型，以相应的空域层的码率为时域总码率，计算给定时域总码率条件下，各时域层的量化步长的值具体包括：根据各时域层的编码失真模型和码率模型，建立给定时域总码率条件下，各时域层的编码失真总和最小的模型；采用拉格朗日乘数法计算各时域层的编码失真总和最小的模型中，各时域层的量化步长的值。

其中，各时域层的编码失真总和最小的模型为：

$\left\{\begin{array}{c}{q}^{*}=\underset{q_j\&Element;Q^{N_T}}{\arg \min }\underset{j=0}{\overset{N_T-1}{\mathrm{\&Sigma;}}}{D}_j^T(q_0,...,q_j)=\underset{q_j\&Element;Q^{N_T}}{\arg \min }(\underset{j=0}{\overset{N_T-1}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_j\&CenterDot;b_0\&CenterDot;q_j^{{\mathrm{\&beta;}}_0})\\ \underset{j=0}{\overset{N_T-1}{\mathrm{\&Sigma;}}}{R}_j^T(q_0,...,q_j)\&le;R_{T-\mathrm{Total}}\end{array}\right.,$

其中，N_T表示一空域层中时域层的层数，q_j表示时域层TL-j的量化步长，q^*表示各时域层的最优量化矢量， 

表示时域量化步长的备 选集合，D_j ^T(q₀，...，q_j)和R_j ^T(q₀，...，q_j)分别表示当时域层TL-0，...，TL-j的量化步长分别为q₀，...，q_j时时域层TL-j的编码失真和码率，b₀和β₀表示时域层TL-0的编码失真模型参数，ω_j表示各时域层的编码失真总和模型参数，R_T-Total表示时域总码率。

上述优选实施例提供了在时域可伸缩维度上进行码率优化分配的具体实施方案。在计算得到各空域层的码率优化分配方案后，可以按照图1所示的实施例中的步骤S20、S30和S40对各时域层的码率进行优化分配。

上述优选实施例充分考虑了H.264/SVC编码设计中各编码层间的依赖性，使得在总码率一定的情况下，各编码层的失真关系呈现此消彼长的特性。在同时考虑各编码层的编码效率和失真特性的基础上，有效地平衡了各编码层间的相关性后，求取码率的优化分配方案。

上述优选实施例中使用到了具有相关关系的编码层率失真模型，它区别于以往传统视频编码中码率和失真都是量化步长的单变元函数。对于H.264/SVC中具有相关关系的编码层，其码率和失真特性都是由参考层和待编层等多个量化步长作为变元的函数关系。但是需要分别确定每一个参数对于失真和码率特性的具体影响，对多变元函数关系进行去相关操作，从而实现优化问题的求解。而对于具有相关性的可伸缩性编码结构，将多变元的率失真函数关系转化为若干个单变元函数的线性组合，将会极大地降低码率分配优化问题求解的复杂性。同时使用优化问题进行数值求解，可以得到码率分配的优化方案，从而使得编码效率的最大化，进一步优化了可伸缩的编码性能。

图2示出了根据本发明实施例的视频编码处理装置的示意图，包括：空域分配模块10，用于在空域-时域可伸缩视频编码中，分配各空域层的码率；时域失真模型建立模块20，用于在各空域层中，根据各时域层与其参考时域层的编码失真的关系，建立各时域层的编码失真模型；时域码率模型建立模块30，用于通过分析各时域层与参考时域层的码率的关系，建立各时域层的码率模型；时域码率分配模块40，用于根据相应的空域层的码率、以及各时域层的编码失真模型和码率模型，分配各时域层的码率。

在该优选实施例中由于充分考虑了可伸缩编码结构引起的各编码层间的相关关系，通过对具有依赖关系的编码层建立去相关的率失真模型，从而将码率分配问题转化为一个给定总码率的前提下使得各编码层的编码失真总和最小的优化问题进行计算求解，最终得到各编码层的码率优化分配方案，解决了现有技术忽略了待编层与参考层之间编码的相关性，损失了一定的编码效率的问题，实现了各编码层次间相关性基础上的码率优化分配，能够使得编码效率最大化，进一步优化了可伸缩编码的编码性能。

在该优选实施例中，通过首先通过空域分配模块10在空域可伸缩维度上优化分配各空域层的码率，然后再通过时域失真模型建立模块20、时域码率模型建立模块30和时域码率分配模块40在时域可伸缩维度上优化分配对应各空域层中各时域层的码率，最终实现空域-时域二维可伸缩编码的码率优化分配。

优选地，在上述的视频编码处理装置中，空域分配模块10包括：空域失真模型建立单元，用于根据空域待编层的输入差分序列与空域参考层的量化步长的关系，建立空域待编层的编码失真模型；空域码率模型建立单元，用于通过分析空域参考层和空域待编层的码率的关系，建立空域待编层的码率模型；空域码率分配单元， 用于根据空域待编层的编码失真模型和码率模型，分配空域参考层和空域待编层的码率。

其中，空域失真模型建立单元包括：

获取单元，用于根据空域-时域可伸缩视频编码的结构，获取空域待编层的输入差分序列；

复杂性计算单元，用于空域参考层的量化步长取不同值时，以图像组为统计单位根据下式分别计算输入差分序列的复杂性：

$\left\{\begin{array}{c}{C}_I=\underset{x=1}{\overset{W}{\mathrm{\&Sigma;}}}\underset{y=1}{\overset{H}{\mathrm{\&Sigma;}}}|f_i(x,y)-f_i^d(x,y)|\\ C_P=\underset{\&ForAll;f_i\&Element;P}{\mathrm{\&Sigma;}}\underset{x=1}{\overset{W}{\mathrm{\&Sigma;}}}\underset{y=1}{\overset{H}{\mathrm{\&Sigma;}}}|f_i(x,y)-g_i(x,y)|\\ C_B=\underset{\&ForAll;f_i\&Element;B}{\mathrm{\&Sigma;}}\underset{x=1}{\overset{W}{\mathrm{\&Sigma;}}}\underset{y=1}{\overset{H}{\mathrm{\&Sigma;}}}\min \left(\right|f_i(x,y)-g_i(x,y)|,|f_i(x,y)-h_i(x,y)\left|\right)\\ C=C_I+C_P+C_B\end{array}\right.,$

其中，C表示以图像组为统计单位的空域待编层的输入差分序列的复杂性，C_I、C_P和C_B分别表示I、P和B图像帧的复杂性，i表示当前计算复杂性的图像帧为第i帧，(x，y)表示第i帧中某一图像像素点的坐标，f_i(x，y)表示第i帧的像素灰度值，f_i ^d(x，y)表示第i帧中分别以4×4块均值为预测的预测帧的像素灰度值，g_i(x，y)表示第i帧的后向预测帧的像素灰度值，h_i(x，y)表示的第i帧的前向预测帧的像素灰度值，W和H分别表示图像帧的宽和高；

关系建立单元，用于通过分析空域参考层的量化步长的不同值与计算的输入差分序列的复杂性的变化关系，建立输入差分序列的复杂性与空域参考层的量化步长的关系为：

C(Q₀)＝c·Q₀+θ，

其中，C(Q₀)表示以图像组为统计单位的空域待编层的输入差分序列的复杂性，Q₀表示空域参考层的量化步长，c和θ表示复杂性模型参数；

模型建立单元，用于根据输入差分序列的复杂性与空域参考层的量化步长的关系，建立空域待编层的编码失真模型为：

$D_1^S(Q_0,Q_1)=\left\{\begin{array}{cc}p\&CenterDot;C\left(Q_0\right)+(m-p)\&CenterDot;C(Q_1/2)+n,& Q_0\&le;Q_1/2\\ m\&CenterDot;C(Q_1/2)+n,& Q_0>Q_1/2\end{array}\right.,$

其中，D₁ ^S(Q₀，Q₁)表示当空域参考层的量化步长为Q₀、空域待编层的量化步长为Q₁时空域待编层的编码失真，p表示表示当Q₀＜Q₁/2时空域待编层的编码失真关系曲线的斜率值，C(Q₀)表示当空域参考层的量化步长为Q₀时空域待编层的输入差分序列的复杂性，m和n分别表示当Q₀＝Q₁/2时空域待编层的编码失真和空域待编层的输入差分序列的复杂性呈线性关系的斜率和截距值。

其中，空域待编层的码率模型为：

$\left\{\begin{array}{c}{R}_1^S(Q_0,Q_1)=\left\{\begin{array}{cc}r\&CenterDot;R_0^S\left(Q_0\right)+(s-r)\&CenterDot;R_0^S\left(Q_1\right),& Q_0\&GreaterEqual;Q_1\\ s\&CenterDot;R_0^S\left(Q_1\right),& Q_0<Q_1\end{array}\right.\\ R_0^S\left(Q_0\right)=a\&CenterDot;{Q_0}^{-\mathrm{\&alpha;}}\\ R_0^S\left(Q_1\right)=a\&CenterDot;{Q_1}^{-\mathrm{\&alpha;}}\end{array}\right.,$

其中，R₀ ^S(Q₀)和R₀ ^S(Q₁)分别表示当分别以量化步长Q₀和Q₁为变元时所计算的空域参考层的码率，R₁ ^S(Q₀，Q₁)表示当空域参考层的量化步长为Q₀、空域待编层的量化步长为Q₁时空域待编层的码率，空域待编层的码率模型参数s和r分别表示当Q₀＝Q₁和Q₀＞Q₁时，空域待编层和 空域参考层的码率呈线性关系的斜率值，a和α为空域参考层的码率模型参数。

其中，空域码率分配单元包括：空域量化步长计算单元，用于根据空域待编层的编码失真模型和码率模型，计算给定空域总码率条件下，空域参考层和空域待编层的量化步长的值；空域分配单元，用于根据量化步长的值，分配空域参考层和空域待编层的码率。其中，空域量化步长计算单元包括：第一单元，用于根据空域待编层的编码失真模型和码率模型，建立给定空域总码率条件下，空域参考层和空域待编层的编码失真总和最小的模型；第二单元，用于采用拉格朗日乘数法计算空域参考层和空域待编层的编码失真总和最小的模型中，空域参考层和空域待编层的量化步长的值。其中，给定空域总码率条件下，空域参考层和空域待编层的编码失真总和最小的模型为：

$\left\{\begin{array}{c}{Q}^{*}=(Q_0^{*},Q_1^{*})=\underset{Q_0,Q_1\&Element;Q}{\arg \min }[D_0^S\left(Q_0\right)+S_1^S(Q_0,Q_1)]\\ R_0^S\left(Q_0\right)+R_1^S(Q_0,Q_1)\&le;R_{S-\mathrm{Total}}\\ D_0^S\left(Q_0\right)=b\&CenterDot;{Q_0}^{\mathrm{\&beta;}}\\ R_0^S\left(Q_0\right)=a\&CenterDot;{Q_0}^{-\mathrm{\&alpha;}}\end{array}\right.,$

其中，Q₀和Q₁分别表示空域参考层和空域待编层的量化步长，  $Q^{*}=(Q_0^{*},Q_1^{*})$ 表示空域参考层和空域待编层的最优量化矢量， 

表示空域量化步长的备选集合，D₀ ^S(Q₀)和D₁ ^S(Q₀，Q₁)分别表示空域参考层和空域待编层的编码失真值，R₀ ^S(Q₀)和R₁ ^S(Q₀，Q₁)分别表示空域参考层和空域待编层的码率，R_S-Total为空域总码率，b和β表示空域参考层的编码失真模型参数，a和α表示空域参考层的码率模型参数。

上述优选实施例提供了图2所示的实施例中的空域分配模块10的具体实施方案。通过对空域参考层具有依赖关系的空域待编层建立去相关的率失真模型，从而将空域可伸缩维度上的码率分配问 题转化为一个给定空域总码率的前提下使得空域参考层和空域待编层的编码失真总和最小的优化问题进行计算求解，最终得到各空域层的码率优化分配方案，实现了在空域可伸缩维度上优化分配各空域层的码率。

优选地，在上述的视频编码处理装置中，空域参考层和空域待编层分别为空域基本层和空域增强层。该优选实施例提供了空域-时域可伸缩编码中，空域层为两层的优选实施例。在该优选实施例中，可利用图2所示的实施例中的空域分配模块10实现空域基本层和空域增强层的码率的优化分配。

优选地，在图2所示的视频编码处理装置中，

各时域层的编码失真模型为：

$D_j^T(q_0,...,q_j)\&ap;\underset{k=0}{\overset{j}{\mathrm{\&Sigma;}}}{\mathrm{\&zeta;}}_{j,k}\&CenterDot;D_0^T\left(q_k\right),j=0,...,N_T-1,$

其中，N_T表示一空域层中时域层的层数，q_k表示时域层TL-k的量化步长，D^T _j(q₀，...，q_j)表示当时域层TL-0，...，TL-j的量化步长分别为q₀，...，q_j时，时域层TL-j的编码失真值，D^T ₀(q_k)表示以时域层TL-k的量化步长q_k为变元所计算的时域层TL-0的编码失真值，时域层编码失真模型参数ζ_j，k反映了参考时域层对时域层TL-j的编码失真的影响；

各时域层的码率模型为：

$\left\{\begin{array}{c}{R}_j^T(q_0,q_1,...,q_j)\&ap;R_j^T\left(q_j\right)\\ R_j^T\left(q_j\right)=a_j\&CenterDot;q_j^{-{\mathrm{\&alpha;}}_j}\end{array}\right.,$ j＝0，...，N_T-1，

其中，N_T表示一空域层中时域层的层数，q_j表示时域层TL-j的量化步长，R_j ^T(q₀，q₁，...，q_j)表示当时域层TL-0，...，TL-j的量化步长分别为q₀，...，q_j时时域层TL-j的码率，R_j ^T(q_j)表示时域层TL-j的码率仅与其自身的量化步长有关，a_j和α_j表示各时域层的码率模型参数。

优选地，在图2所示的视频编码处理装置中，时域码率分配模块40包括：时域量化步长计算单元，用于根据各时域层的编码失真模型和码率模型，以相应的空域层的码率为时域总码率，计算给定时域总码率条件下，各时域层的量化步长的值；时域分配单元，用于根据各时域层的量化步长的值，分配各时域层的码率。其中，时域量化步长计算单元包括：第三单元，用于根据各时域层的编码失真模型和码率模型，建立给定时域总码率条件下，各时域层的编码失真总和最小的模型；第四单元，用于采用拉格朗日乘数法计算各时域层的编码失真总和最小的模型中，各时域层的量化步长的值。其中，各时域层的编码失真总和最小的模型为：

$\left\{\begin{array}{c}{q}^{*}=\underset{q_j\&Element;Q^{N_T}}{\arg \min }\underset{j=0}{\overset{N_T-1}{\mathrm{\&Sigma;}}}{D}_j^T(q_0,...,q_j)=\underset{q_j\&Element;Q^{N_T}}{\arg \min }(\underset{j=0}{\overset{N_T-1}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_j\&CenterDot;b_0\&CenterDot;q_j^{{\mathrm{\&beta;}}_0})\\ \underset{j=0}{\overset{N_T-1}{\mathrm{\&Sigma;}}}{R}_j^T(q_0,...,q_j)\&le;R_{T-\mathrm{Total}}\end{array}\right.,$

其中，N_T表示一空域层中时域层的层数，q_j表示时域层TL-j的量化步长，q^*表示各时域层的最优量化矢量， 

表示时域量化步长的备选集合，D_j ^T(q₀，...，q_j)和R_j ^T(q₀，...，q_j)分别表示当时域层TL-0，...，TL-j的量化步长分别为q₀，...，q_j时时域层TL-j的编码失真和码率，b₀和β₀表示时域层TL-0的编码失真模型参数，ω_j表示各时域层的编码失真总和模型参数，R_T-Total表示时域总码率。

上述优选实施例提供了在时域可伸缩维度上进行码率优化分配的具体实施方案。在计算得到各空域层的码率优化分配方案后， 可以通过图2所示的实施例中的时域失真模型建立模块20、时域码率模型建立模块30和时域码率分配模块40对各时域层的码率进行优化分配。

上述优选实施例充分考虑了H.264/SVC编码设计中各编码层间的依赖性，使得在总码率一定的情况下，各编码层的失真关系呈现此消彼长的特性。在同时考虑各编码层的编码效率和失真特性的基础上，有效地平衡了各编码层间的相关性后，求取码率的优化分配方案。

空域-时域二维可伸缩编码的码率优化分配，从整体上可以分为以下两步来实现：

第1步，空域可伸缩维度上的码率优化分配：

设N_S为空域层的层数，Q_i为空域层SL-i的量化步长，R^S _i(Q₀，...，Q_i)和D^S _i(Q₀，...，Q_i)分别为基于图像组的空域层SL-i的码率模型和编码失真模型，该率失真模型与一组量化矢量(Q₀，...，Q_i)相关。对于一个待编码的图像组，在给定目标码率R_S-Total的情况下，各空域层的码率分配问题可以描述为：

$\left\{\begin{array}{c}{Q}^{*}=\underset{Q_i\&Element;Q}{\arg \min }\underset{i=0}{\overset{N_S-1}{\mathrm{\&Sigma;}}}{D}_i^S(Q_0,...,Q_i)\\ \underset{i=0}{\overset{N_S-1}{\mathrm{\&Sigma;}}}{R}_i^S(Q_0,...,Q_i)\&le;R_{S-\mathrm{Total}}\end{array}\right.---\left(1\right)$

其中， $Q^{*}=(Q_0^{*},...,Q_{N_S-1}^{*})$ 为各空域层的最优量化矢量， 是空域量化步长的备选集合。

在分析了各空域层之间的相关性的基础上，求取各空域层的码率模型R^S _i(Q₀，...，Q_i)和编码失真模型D^S _i(Q₀，...，Q_i)的数学表达式。解 决这类最优化问题，通常使用拉格朗日乘数法，通过引入拉格朗日乘子将有约束的优化问题转化为无约束的优化问题进行求解，即：

$\left\{\begin{array}{c}{Q}^{*}=\underset{Q_i\&Element;Q}{\arg \min }J(Q_i,\mathrm{\&lambda;})\\ J(Q_i,\mathrm{\&lambda;})=\underset{i=0}{\overset{N_S-1}{\mathrm{\&Sigma;}}}{D}_i^S(\&CenterDot;)+\mathrm{\&lambda;}\&CenterDot;(\underset{i=0}{\overset{N_S-1}{\mathrm{\&Sigma;}}}{R}_i^S(\&CenterDot;)-R_{S-\mathrm{Total}})\end{array}\right.---\left(2\right)$

其中，λ为拉格朗日乘子。

公式(2)的拉格朗日方程可以通过对Q_i求偏微分的方法来计算，使用基于梯度的方法求解偏微分方程组获得最优的数值解。从而最终实现了基于H.264/SVC各空域层间相关性基础上的码率优化分配。

第2步，时域可伸缩维度上的码率优化分配：

在计算得到各空域层优化分配的目标码率后，在相应分辨率大小的空域层内，考虑时域可伸缩性维度上码率的优化分配。

设N_T为时域层的层数，q_j为时域层TL-j的量化步长，R^T _j(q₀，...，q_j)和D^T _j(q₀，...，q_j)是基于图像组的时域层TL-j的码率和编码失真模型，该率失真函数关系是与一组量化矢量(q₀，...，q_j)相关。对于一个固定分辨率尺寸(即一个空域层内)的待编码图像组，该空域层的码率即为该空域层内所有时域层的总码率设为R_T-total，各时域层的码率分配问题亦可以描述为：

$\left\{\begin{array}{c}{q}^{*}=\underset{q_j\&Element;Q^{N_T}}{\arg \min }\underset{j=0}{\overset{N_T-1}{\mathrm{\&Sigma;}}}{D}_j^T(q_0,...,q_j)\\ \underset{j=0}{\overset{N_T-1}{\mathrm{\&Sigma;}}}{R}_j^T(q_0,...,q_j)\&le;R_{T-\mathrm{Total}}\end{array}\right.---\left(3\right)$

其中， $q^{*}=(q_0^{*},...,q_{N_T-1}^{*})$ 为各时域层的最优量化矢量， 

为时域量化步长的备选集合。

在分析了各时域层之间的相关性的基础上，求取各时域层的码率R^T _j(q₀，...，q_j)和编码失真模型D^T _j(q₀，...，q_j)的数学表达式。同理使用上述拉格朗日乘数法，最终实现对各时域层码率的优化分配。

下面以一个给定目标总码率R_S-Total，两层空域-四层时域可伸缩的码率分配问题为例，结合附图对本发明作进一步地描述。

图3示出了根据本发明优选实施例一的H.264/SVC中空域-时域可伸缩编码的码率优化分配的步骤示意图，从图中可以看出可以分为两个步骤：

第一步，空域可伸缩维度上的码率优化分配：

如图4所示，在空域可伸缩维度上，其输入视频是CIF(CommonIntermediate Format，352×288像素)尺寸的视频序列，而输出码流由两个不同分辨率尺寸的空域基本层(SL-0)码流和空域增强层(SL-1)码流组成。原始待编码视频序列经过下采样处理后，空域基本层会首先获取到原始视频信号的低频分量QCIF(Quarter CIF，176×144像素)作为输入。该低频信号经过量化步长为Q₀的量化编码后会产生相应的基本层视频流。而重建后的基本层将作为层间预测的信息来减少增强层输入序列编码中低频信号的数据冗余。因此对于空域增强层而言，其实际编码的输入序列是一个差分序列，它包含了以下两个部分：(1)原始视频序列的高频分量；以及(2)基本层量化过程所引起的低频失真部分。而第二部分反映了基本层与增强层之间编码的相关性。对于固定的待编码序列，设置不同的基本层量化步长Q₀，所产生的增强层输入差分序列会随之变化。当基本层的失真值远远小于高频分量值时，这种相关效应就可以被忽 略。为了精确刻画增强层视频流产生的失真，除了研究传统增强层量化步长Q₁与失真之间的关系外，还需要表征增强层的输入差分信号的特性。

通过定义增强层输入差分信号的复杂性特征，进而来研究基本层量化步长Q₀与增强层输入差分信号特征之间的关系。通过分别对不同内容特征的序列进行测试，以图像组为单位，计算其在不同基本层量化步长设置下增强层的输入差分序列的复杂性值。其中，关于差分序列的复杂性的计算方法，采用了分别对I、P、B图像帧计算其复杂性，公式分别如下：

$\left\{\begin{array}{c}{C}_I=\underset{x=1}{\overset{W}{\mathrm{\&Sigma;}}}\underset{y=1}{\overset{H}{\mathrm{\&Sigma;}}}|f_i(x,y)-f_i^d(x,y)|\\ C_P=\underset{\&ForAll;f_i\&Element;P}{\mathrm{\&Sigma;}}\underset{x=1}{\overset{W}{\mathrm{\&Sigma;}}}\underset{y=1}{\overset{H}{\mathrm{\&Sigma;}}}|f_i(x,y)-g_i(x,y)|\\ C_B=\underset{\&ForAll;f_i\&Element;B}{\mathrm{\&Sigma;}}\underset{x=1}{\overset{W}{\mathrm{\&Sigma;}}}\underset{y=1}{\overset{H}{\mathrm{\&Sigma;}}}\min \left(\right|f_i(x,y)-g_i(x,y)|,{|f}_i(x,y)-h_i(x,y)|)\end{array}\right.---\left(4\right)$

其中，C_I、C_P和C_B分别表示I、P和B图像帧的复杂性，i表示当前计算复杂性的图像帧为第i帧，(x，y)表示第i帧中某一图像像素点的坐标，f_i(x，y)表示第i帧的像素灰度值，f_i ^d(x，y)表示第i帧中分别以4×4块均值为预测的预测帧的像素灰度值，g_i(x，y)表示第i帧的后向预测帧的像素灰度值，h_i(x，y)表示的第i帧的前向预测帧的像素灰度值，W和H分别表示图像帧的宽和高。

因此，以图像组作为统计单位的空域增强层的输入差分序列的复杂性C可以表示为：

C＝C_I+C_P+C_B    (5)

大量实验数据表明，输入差分序列的复杂性值C和基本层量化步长Q₀间呈线形关系，如图5A至图5H所示。所以空域增强层的输入差分序列的复杂性与空域基本层的量化步长Q₀的关系可以表示为：

C(Q₀)＝c·Q₀+θ    (6)

其中，c和θ为复杂性模型参数。

在利用公式(6)描述了空域增强层的输入差分序列的信号特点后，增强层视频流的码率和编码失真特性只受其自身量化步长Q₁的影响。图6示出了增强层视频流的编码失真D^S ₁(Q₀，Q₁)可以表示为一个C(Q₀)和Q₁的三维函数关系图。进一步去除相关性，将这个三维关系图投影到D^S ₁-C的二维平面上，如图7A和图7B所示(测试序列分别采用Football序列和Mobile序列)。其中，QP为量化参数，其与量化步长Q相对应(如表1所示)，则QP₀与Q₀相对应，QP₁与Q₁相对应(下同)。

表1

QP	0	1	2	3	4	5	6	7	8	9	10	11	12	…
															Q(或  q)	0.625	0.6875	0.8125	0.875	1	1.125	1.25	1.375	1.625	1.75	2	2.25	2.5	…
QP	…	18	…	24	…	30	…	36	…	42	…	48	…	51
															Q(或  q)		5		10		20		40		80		160		224

经过大量实验数据分析，可以观察到增强层的输入差分序列的复杂性C(Q₀)与输出码流的编码失真D^S ₁(Q₀，Q₁)之间的关系具有以下特性：

(1)对于每个固定的Q₁值，当C(Q₀)值较小时，D^S ₁(Q₀，Q₁)和C(Q₀)之间呈线性关系；

(2)该线性关系的斜率值反映了空域层间的相关关系，它是Q₀和Q₁两个变元的函数；

(3)当经过QP₀≈QP₁-6点后，增强层的失真D^S ₁(Q₀，Q₁)趋于平直状态，即两层次间相关性非常小，当QP₀＝QP₁-6时，其对应的量化步长将减半，即Q₀＝Q₁/2。直观上讲，编码失真趋于不变是由于Q₁相比于Q₀值非常小时，增强层的编码失真仅与Q₁有关。

根据以上的三个特性，可以得出增强层的编码失真模型为：

$D_1^S(Q_0,Q_1)=\left\{\begin{array}{cc}p\&CenterDot;C\left(Q_0\right)+(m-p)\&CenterDot;C(Q_1/2)+n,& Q_0\&le;Q_1/2\\ m\&CenterDot;C(Q_1/2)+n,& Q_0>Q_1/2\end{array}\right.,---\left(7\right)$

其中，p为表示当Q₀＜Q₁/2时空域增强层的编码失真关系曲线的斜率值，m和n分别表示当Q₀＝Q₁/2时空域增强层的编码失真和空域增强层的输入差分序列的复杂性呈线性关系的斜率和截距值。如图8所示。

使用类似的方法，通过分析基本层码率与增强层码率之间的函数关系，来求取空域编码中增强层的码率模型，记作R^S ₁(Q₀，Q₁)。图9A和图9B分别选取了一组具有代表性的视频序列(Football序列和Mobile序列)，来描述空域增强层的码率R^S ₁(Q₀，Q₁)和空域基本层的码率R^S ₀(Q₀)之间的函数关系。可以看到两者之间的关系呈现一组几乎平行不变的直线簇，即两个层次间的码率相关性比较弱。由此可以得到空域增强层的码率模型为：

$R_1^S(Q_0,Q_1)=\left\{\begin{array}{cc}r\&CenterDot;R_0^S\left(Q_0\right)+(s-r)\&CenterDot;R_0^S\left(Q_1\right),& Q_0\&GreaterEqual;\&le;Q_1\\ s\&CenterDot;R_0^S\left(Q_1\right),& Q_0<Q_1\end{array}\right.---\left(8\right)$

其中，R₁ ^S(Q₀，Q₁)表示当空域基本层的量化步长为Q₀、空域增强层的量化步长为Q₁时空域增强层的码率，空域增强层的码率模型参数s和r分别表示当Q₀＝Q₁和Q₀＞Q₁时，空域增强层和空域基本层的码率呈线性关系的斜率值。如图10所示。

而对于H.264/SVC空域基本层的率失真特性，采用了H.264/AVC中传统的指数率失真关系模型：

R₀(Q₀)＝a·Q₀ ^-α和D₀(Q₀)＝b·Q₀ ^β    (9)

其中，Q₀是基本层的量化步长，a和α为基本层码率模型参数，b和β为基本层编码失真模型参数。将公式(7)、(8)、(9)分别代入公式(2)，可以得到拉格朗日代价函数为：

$J(Q^{*},\mathrm{\&lambda;})=\underset{Q_i\&Element;Q}{\arg \min }J(Q_i,\mathrm{\&lambda;})=b\&CenterDot;Q_0^{\mathrm{\&beta;}}+\mathrm{cp}\&CenterDot;Q_0+\frac{c}{2}\&CenterDot;(m-p)Q_1---\left(10\right)$

$+(\mathrm{m\&theta;}+n)+\mathrm{\&lambda;}\&CenterDot;[(1+r)a\&CenterDot;Q_0^{-\mathrm{\&alpha;}}+\mathrm{sa}\&CenterDot;Q_1^{-\mathrm{\&alpha;}}-R_{S-\mathrm{Total}}]$

分别对Q₀、Q₁和λ求取偏微分，联立方程组后，求取Q₀和Q₁的数值解，从而实现对空域基本层和空域增强层的码率优化分配。

第二步，时域可伸缩维度上的码率优化分配：

在得到空域基本层和空域增强层的码率分配方案后，进一步来确定各空域层上的各时域层的码率分配。时域可伸缩编码设计中层次化预测的结构决定了各个B帧的率失真特性强相关于其参考帧的率失真特性，因而在该结构下考虑具有相关性的率失真特性的分析尤为重要。图11A和图11B示出了图3所示的空域增强层中的待编码的时域层(如时域层TL-1和时域层TL-2)与参考层(如时域层TL-0)编码失真间的关系图，即分别为(D^T ₀(q₀)，D^T ₁(q₀，q₁))和(D^T ₀(q₀)，D^T ₂(q₀，q₁，q₂))。其中，QP为量化参数，其与量化步长q相 对应(如表1所示)。则QP₀与q₀相对应，QP₁与q₁相对应，QP₂与q₂相对应(下同)。

图11A示出了时域层TL-0与时域层TL-1的失真关系，其中包含两种类型的失真关系曲线，它们分别反映了两种q值设置对于两个变元的时域层TL-1的编码失真函数D^T ₁(q₀，q₁)的影响。其中，实对角线表示了当q₀和q₁值相同时，时域层TL-1的编码失真值。而对于每一虚线分支则分别是q₁值固定而q₀变化时，时域层TL-1的编码失真值。而对于时域层TL-2的编码失真，其失真函数是由q₀，q₁和q₂三个变元所控制的三个q值设置问题：

(1)q₀＝q₁＝q₂；

(2)固定q₂，而改变q₀和q₁，即q₀＝q₁≤q₂；

(3)固定q₁和q₂，而改变q₀，即q₀≤q₁≤q₂。

在图11B中，对角实线和从对角线起的虚线分支分别反映了上述第一个和第二个q值设置。第三个q值设置是由虚线起的点画线来表示的。通过观察上述三个q值设置，可以得到关于时域相关性编码失真的以下两个近似特性：

(1)时域相关性编码失真近似线性关系于非相关性编码失真；

(2)对于相同的q值设置的曲线，比例关系保持基本稳定不变。例如，对于上述第二个和第三个q值设置的分支曲线集合，时域层TL-2的编码失真值具有相同的比例关系，因而每个分支关系集合的斜率都是相同的。图3中的时域层TL-3与时域层TL-2类似。

图12示出了上述时域层TL-0、TL-1和TL-2的编码失真的建模过程。时域层的编码失真任意点可以指定为图中近似曲线上的轨迹点A、B和C。

(1)A： $D_2^T(q_2,q_2,q_2)=m_2\&CenterDot;D_0^T\left(q_2\right);$

(2)B： $D_2^T(q_1,q_1,q_2)=m_1\&CenterDot;D_0^T\left(q_1\right)+(m_2-m_1)\&CenterDot;D_0^T\left(q_2\right);$

(3)C： $D_2^T(q_0,q_1,q_2)=m_1\&CenterDot;D_0^T\left(q_0\right)+(m_1-m_0)\&CenterDot;D_0^T\left(q_1\right)+(m_2-m_1)\&CenterDot;D_0^T\left(q_2\right).$

从点C的数学表达式可以得到时域层TL-2的编码失真模型为：

$D_2^T(q_0,q_1,q_2)={\mathrm{\&zeta;}}_{\mathrm{2,0}}\&CenterDot;D_0^T\left(q_0\right)+{\mathrm{\&zeta;}}_{\mathrm{2,1}}\&CenterDot;D_0^T\left(q_1\right)+{\mathrm{\&zeta;}}_{\mathrm{2,2}}\&CenterDot;D_0^T\left(q_2\right)---\left(11\right)$

其中，ζ_2，0＝m₀，ζ_2，1＝m₁-m₀以及ζ_2，2＝m₂-m₁均为模型参数。

而时域层TL-2的编码失真模型，在给定j个斜率值m₀，...，m_j-1下可以被推广到时域层TL-j的编码失真模型。即假设对于时域层TL-2的编码失真模型具有相同的斜率，时域层TL-j的编码失真模型为：

$D_j^T(q_0,...,q_j)\&ap;{\mathrm{\&zeta;}}_{j,0}\&CenterDot;D_0^T\left(q_0\right)+...+{\mathrm{\&zeta;}}_{j,j}\&CenterDot;D_0^T\left(q_j\right)=\underset{k=0}{\overset{j}{\mathrm{\&Sigma;}}}{\mathrm{\&zeta;}}_{j,k}\&CenterDot;D_0^T\left(q_k\right)---\left(12\right)$

其中，q₀，…，q_j分别为时域层TL-0，...，TL-j的量化步长，ζ_j，k为时域层TL-j的编码失真模型参数，它反映了各个相关参考层的分布对时域层TL-j的编码失真的影响，ζ_j，0＝m₀，ζ_j，k＝m_k-m_k-1， $\&ForAll;k\&Element;1,...,j-1.$

综上，经过上述两步建模过程提出了各时域层的编码失真模型。将时域相关性的编码失真建模为非相关性的编码失真分别以几个参与层量化步长为变元的线性累加函数。

最后，累加所有时域层的编码失真构成图像组的编码失真模型，即各时域层的编码失真总和的模型为：

$D^T(q_0,...,q_{N_T-1})=D_0^T\left(q_0\right)+...+D_{N_T-1}^T(q_0,...,q_{N_T-1})$

$=D_0^T\left(q_0\right)+...+\underset{k=0}{\overset{N_T-1}{\mathrm{\&Sigma;}}}{\mathrm{\&zeta;}}_{N_T-1,k}\&CenterDot;D_0^T\left(q_k\right)---\left(13\right)$

$={\mathrm{\&omega;}}_0\&CenterDot;D_0\left(Q_0\right)+...+{\mathrm{\&omega;}}_{N_T-1}\&CenterDot;D_0\left(Q_{N_T-1}\right)$

其中ω_j为各时域层的编码失真总和的模型模型参数，ω_j可以通过累加ζ_j，k计算得到，即 ${\mathrm{\&omega;}}_j=\underset{k=j}{\overset{N_T-1}{\mathrm{\&Sigma;}}}{\mathrm{\&zeta;}}_{j,k},$ N_T为时域层的层数。

与时域层的编码失真关系相比，各时域层间的码率函数关系较为简单，固定时域层TL-1的量化参数，改变时域层TL-0的量化参数，观察时域层TL-1和TL-0的码率的变化关系如图13B和图13C所示(测试序列分别采用Foreman序列和Football序列)。可见，时域层TL-1与其参考时域层TL-0的码率的函数关系呈现为一组基本水平不变的直线簇。各时域层的码率主要与其自身的量化步长q_j有关，可以近似认为其码率独立于它的参考时域层。因而，各时域层的码率可以表示为其自身量化步长的函数，即

$R_j^T(q_0,q_1,...,q_j)\&ap;R_j^T\left(q_j\right)---\left(14\right)$

同样地，对于时域基本层仍然采用公式(9)所提出的指数模型，将得到的各时域层的码率和编码失真模型分别代入拉格朗日代价函数中，则可以表示为：

$J(q^{*},\mathrm{\&lambda;})=\underset{q_j\&Element;Q^{N_T}}{\arg \min }J(q_j,\mathrm{\&lambda;})$

$=\underset{q_j\&Element;Q^{N_T}}{\arg \min }(\underset{j=0}{\overset{N_T-1}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_j\&CenterDot;b_0\&CenterDot;q_j^{{\mathrm{\&beta;}}_0}+\mathrm{\&lambda;}\&CenterDot;(\underset{j=0}{\overset{N_T-1}{\mathrm{\&Sigma;}}}{a}_j\&CenterDot;q_j^{-a_j}-R_{T-\mathrm{Total}}))---\left(15\right)$

其中，q^*为各时域层的最优量化矢量， 为时域量化步长的备选集合，R_T-Total为相应空域层中各时域层的总码率。

同理对各q_j和λ分别求取偏微分方程，并联立方程组，求取各时域层的量化步长q_j的数值，最终实现各时域层的码率优化分配。

作为所提出的率失真模型的一个应用，上述优选实施例一重点解决了H.264/SVC中空域-时域二维可伸缩性编码的码率优化分配问题。将实现具有相关性的各层次码率优化分配问题设计为两阶段的最优化问题：首先，当总码流的目标码率给定时，为了获取各层次的最佳编码效果，编码器必须高效地分配码率给每个空域层；其次，对于每个空域层，已知第一步中计算出的相应分辨率分配的码率值作为该空域层内所有时域层的总码率，求取使得所有时域层的失真之和最小的码率分配方案。

上述优选实施例一的码率分配方法可以很容易地推广到一个更多层次的场景中。

从以上的描述中，可以看出，本发明上述的实施例实现了如下技术效果：

由于充分考虑了可伸缩编码结构引起的各编码层间的相关关系，通过对具有依赖关系的编码层建立去相关的率失真模型，从而将码率分配问题转化为一个给定总码率的前提下使得各编码层的编码失真总和最小的优化问题进行计算求解，最终得到各编码层的码率优化分配方案，解决了现有技术忽略了待编层与参考层之间编码的相关性，损失了一定的编码效率的问题，实现了各编码层次间相关性基础上的码率优化分配，能够使得编码效率最大化，进一步优化了可伸缩编码的编码性能。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (17)

1.一种视频编码处理方法，其特征在于，包括：

在空域-时域可伸缩视频编码中，分配各空域层的码率，包括：根据空域待编层的输入差分序列与空域参考层的量化步长的关系，建立所述空域待编层的编码失真模型；通过分析所述空域参考层和所述空域待编层的码率的关系，建立所述空域待编层的码率模型；根据所述空域待编层的编码失真模型和码率模型，分配所述空域参考层和所述空域待编层的码率；

在所述各空域层中，根据各时域层与其参考时域层的编码失真的关系，建立所述各时域层的编码失真模型；

通过分析所述各时域层与所述参考时域层的码率的关系，建立所述各时域层的码率模型；

根据相应的空域层的所述码率、以及所述各时域层的编码失真模型和码率模型，分配所述各时域层的码率。

2.根据权利要求1所述的视频编码处理方法，其特征在于，根据空域待编层的输入差分序列与空域参考层的量化步长的关系，建立所述空域待编层的编码失真模型具体包括：

根据所述空域-时域可伸缩视频编码的结构，获取所述空域待编层的输入差分序列；

所述空域参考层的量化步长取不同值时，以图像组为统计单位根据下式分别计算所述输入差分序列的复杂性：

$\left\{\begin{array}{c}{C}_I=\underset{x=1}{\overset{W}{\mathrm{\&Sigma;}}}\underset{y=1}{\overset{H}{\mathrm{\&Sigma;}}}|f_i(x,y)-f_i^d(x,y)|\\ C_P=\underset{\&ForAll;f_i\&Element;P}{\mathrm{\&Sigma;}}\underset{x=1}{\overset{W}{\mathrm{\&Sigma;}}}\underset{y=1}{\overset{H}{\mathrm{\&Sigma;}}}|f_i(x,y)-g_i(x,y)|\\ C_B=\underset{\&ForAll;f_i\&Element;B}{\mathrm{\&Sigma;}}\underset{x=1}{\overset{W}{\mathrm{\&Sigma;}}}\underset{y=1}{\overset{H}{\mathrm{\&Sigma;}}}\min \left(\right|f_i(x,y)-g_i(x,y)|,|f_i(x,y)-h_i(x,y)\left|\right)\\ C=C_I+C_P+C_B\end{array}\right.$

其中，C表示以图像组为统计单位的空域待编层的输入差分序列的复杂性，C_I、C_P和C_B分别表示I、P和B图像帧的复杂性，i表示当前计算复杂性的图像帧为第i帧，(x，y)表示第i帧中某一图像像素点的坐标，f_i(x，y)表示第i帧的像素灰度值，f_i ^d(x，y)表示第i帧中分别以4×4块均值为预测的预测帧的像素灰度值，g_i(x，y)表示第i帧的后向预测帧的像素灰度值，h_i(x，y)表示的第i帧的前向预测帧的像素灰度值，W和H分别表示图像帧的宽和高；

通过分析所述空域参考层的量化步长的所述不同值与计算的所述输入差分序列的复杂性的变化关系，建立所述输入差分序列的复杂性与所述空域参考层的量化步长的关系为：

C(Q₀)＝c·Q₀+θ，

其中，C(Q₀)表示以图像组为统计单位的空域待编层的输入差分序列的复杂性，Q₀表示空域参考层的量化步长，c和θ表示复杂性模型参数；

根据所述输入差分序列的复杂性与所述空域参考层的量化步长的关系，建立所述空域待编层的编码失真模型为：

$D_1^S(Q_0,Q_1)=\left\{\begin{array}{cc}p\&CenterDot;C\left(Q_0\right)+(m-p)\&CenterDot;C(Q_1/2)+n,& Q_0\&le;Q_1/2\\ m\&CenterDot;C(Q_1/2)+n,& Q_0>Q_1/2\end{array}\right.,$

其中，

(Q₀，Q₁)表示当空域参考层的量化步长为Q₀、空域待编层的量化步长为Q₁时空域待编层的编码失真，p表示当Q₀＜Q₁/2时空域待编层的编码失真关系曲线的斜率值，C(Q₀)表示当空域参考层的量化步长为Q₀时空域待编层的输入差分序列的复杂性，m和n分别表示当Q₀＝Q₁/2时空域待编层的编码失真和空域待编层的输入差分序列的复杂性呈线性关系的斜率和截距值。

3.根据权利要求2所述的视频编码处理方法，其特征在于，所述空域待编层的码率模型为：

$\left\{\begin{array}{c}{R}_1^S(Q_0,Q_1)=\left\{\begin{array}{cc}r\&CenterDot;R_0^S\left(Q_0\right)+(s-r)\&CenterDot;R_0^S\left(Q_1\right),& Q_0\&GreaterEqual;Q_1\\ s\&CenterDot;R_0^S\left(Q_1\right),& Q_0<Q_1\end{array}\right.\\ R_0^S\left(Q_0\right)=a\&CenterDot;{Q_0}^{-\mathrm{\&alpha;}}\\ R_0^S\left(Q_1\right)=a\&CenterDot;{Q_1}^{-\mathrm{\&alpha;}}\end{array}\right.$

其中，

和分别表示当分别以量化步长Q₀和Q₁为变元时所计算的空域参考层的码率，表示当空域参考层的量化步长为Q₀、空域待编层的量化步长为Q₁时空域待编层的码率，空域待编层的码率模型参数s和r分别表示当Q₀＝Q₁和Q₀＞Q₁时，空域待编层和空域参考层的码率呈线性关系的斜率值，a和α为空域参考层的码率模型参数。

4.根据权利要求3所述的视频编码处理方法，其特征在于，根据所述空域待编层的编码失真模型和码率模型，分配所述空域参考层和所述空域待编层的码率具体包括：

根据所述空域待编层的编码失真模型和码率模型，计算给定空域总码率条件下，所述空域参考层和所述空域待编层的量化步长的值；

根据所述量化步长的所述值，分配所述空域参考层和所述空域待编层的码率。

5.根据权利要求4所述的视频编码处理方法，其特征在于，根据所述空域待编层的编码失真模型和码率模型，计算给定空域总码率条件下，所述空域参考层和所述空域待编层的量化步长的值具体包括：

根据所述空域待编层的编码失真模型和码率模型，建立给定空域总码率条件下，所述空域参考层和所述空域待编层的编码失真总和最小的模型；

采用拉格朗日乘数法计算所述空域参考层和所述空域待编层的编码失真总和最小的模型中，所述空域参考层和所述空域待编层的量化步长的值。

6.根据权利要求5所述的视频编码处理方法，其特征在于，给定空域总码率条件下，所述空域参考层和所述空域待编层的编码失真总和最小的模型为：

$\left\{\begin{array}{c}{Q}^{*}=(Q_0^{*},Q_1^{*})=\underset{Q_0,Q_1\&Element;Q}{\arg \min }[D_0^S\left(Q_0\right)+D_1^S(Q_0,Q_1)]\\ R_0^S\left(Q_0\right)+R_1^S(Q_0,Q_1)\&le;R_{S-\mathrm{Total}}\\ D_0^S\left(Q_0\right)=b\&CenterDot;{Q_0}^{\mathrm{\&beta;}}\\ R_0^S\left(Q_0\right)=a\&CenterDot;{Q_0}^{-\mathrm{\&alpha;}}\end{array}\right.,$

其中，Q₀和Q₁分别表示空域参考层和空域待编层的量化步长，

表示空域参考层和空域待编层的最优量化矢量，Q表示空域量化步长的备选集合，

和

分别表示空域参考层和空域待编层的编码失真值，

和分别表示空域参考层和空域待编层的码率，R_S-Total为空域总码率，b和β表示空域参考层的编码失真模型参数，a和α表示空域参考层的码率模型参数。

7.根据权利要求2至6任一项所述的视频编码处理方法，其特征在于，所述空域参考层和所述空域待编层分别为空域基本层和空域增强层。

8.根据权利要求1所述的视频编码处理方法，其特征在于，所述各时域层的编码失真模型为：

$D_j^T(q_0,\&CenterDot;\&CenterDot;\&CenterDot;,q_j)\&ap;\underset{k=0}{\overset{j}{\mathrm{\&Sigma;}}}{\mathrm{\&zeta;}}_{j,k}\&CenterDot;D_0^T\left(q_k\right),j=0,...,N_T-1,$

其中，N_T表示一空域层中时域层的层数，q_k表示时域层TL-k的量化步长，

表示当时域层TL-0，...，TL-j的量化步长分别为q₀，...，q_j时，时域层TL-j的编码失真值，

表示以时域层TL-k的量化步长q_k为变元所计算的时域层TL-0的编码失真值，时域层编码失真模型参数ζ_j，k反映了参考时域层对时域层TL-j的编码失真的影响；

所述各时域层的码率模型为：

$\left\{\begin{array}{c}{R}_j^T(q_0,q_1,\&CenterDot;\&CenterDot;\&CenterDot;q_j)\&ap;R_j^T\left(q_j\right)\\ R_j^T\left(q_j\right)=a_j\&CenterDot;q_j^{-{\mathrm{\&alpha;}}_j}\end{array}\right.,j=0,...,N_T-1,$

其中，N_T表示一空域层中时域层的层数，q_j表示时域层TL-j的量化步长，

表示当时域层TL-0，...，TL-j的量化步长分别为q₀，...，q_j时时域层TL-j的码率，

表示时域层TL-j的码率仅与其自身的量化步长有关，a_j和α_j表示各时域层的码率模型参数。

9.根据权利要求8所述的视频编码处理方法，其特征在于，根据相应的空域层的所述码率、以及所述各时域层的编码失真模型和码率模型，分配所述各时域层的码率具体包括：

根据所述各时域层的编码失真模型和码率模型，以所述相应的空域层的所述码率为时域总码率，计算给定所述时域总码率条件下，所述各时域层的量化步长的值；

根据所述各时域层的量化步长的所述值，分配所述各时域层的码率。

10.根据权利要求9所述的视频编码处理方法，其特征在于，根据所述各时域层的编码失真模型和码率模型，以所述相应的空域层的所述码率为时域总码率，计算给定所述时域总码率条件下，所述各时域层的量化步长的值具体包括：

根据所述各时域层的编码失真模型和码率模型，建立给定所述时域总码率条件下，所述各时域层的编码失真总和最小的模型；

采用拉格朗日乘数法计算所述各时域层的编码失真总和最小的模型中，所述各时域层的量化步长的值。

11.根据权利要求10所述的视频编码处理方法，其特征在于，所述各时域层的编码失真总和最小的模型为：

$\left\{\begin{array}{c}{q}^{*}=\underset{q_j\&Element;Q^{N_T}}{\arg \min }\underset{j=0}{\overset{N_T-1}{\mathrm{\&Sigma;}}}{D}_j^T(q_0,\&CenterDot;\&CenterDot;\&CenterDot;,q_j)=\underset{q_j\&Element;Q^{N_T}}{\arg \min }(\underset{j=0}{\overset{N_T-1}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_j\&CenterDot;b_0\&CenterDot;q_j^{{\mathrm{\&beta;}}_0})\\ \underset{j=0}{\overset{N_T-1}{\mathrm{\&Sigma;}}}{R}_j^T(q_0,...,q_j)\&le;R_{T-\mathrm{total}}\end{array}\right.,$

其中，N_T表示一空域层中时域层的层数，q_j表示时域层TL-j的量化步长，q^*表示各时域层的最优量化矢量，

表示时域量化步长的备选集合，

和分别表示当时域层TL-0，...，TL-j的量化步长分别为q₀，...，q_j时时域层TL-j的编码失真和码率，b₀和β₀表示时域层TL-0的编码失真模型参数，ω_j表示各时域层的编码失真总和模型参数，R_T-Total表示时域总码率。

12.一种视频编码处理装置，其特征在于，包括：

空域分配模块，用于在空域-时域可伸缩视频编码中，分配各空域层的码率，包括：空域失真模型建立单元、空域码率模型建立单元以及空域码率分配单元，其中，

所述空域失真模型建立单元，用于根据空域待编层的输入差分序列与空域参考层的量化步长的关系，建立所述空域待编层的编码失真模型；

所述空域码率模型建立单元，用于通过分析所述空域参考层和所述空域待编层的码率的关系，建立所述空域待编层的码率模型；

所述空域码率分配单元，用于根据所述空域待编层的编码失真模型和码率模型，分配所述空域参考层和所述空域待编层的码率；

时域失真模型建立模块，用于在所述各空域层中，根据各时域层与其参考时域层的编码失真的关系，建立所述各时域层的编码失真模型；

时域码率模型建立模块，用于通过分析所述各时域层与所述参考时域层的码率的关系，建立所述各时域层的码率模型；

时域码率分配模块，用于根据相应的空域层的所述码率、以及所述各时域层的编码失真模型和码率模型，分配所述各时域层的码率。

13.根据权利要求12所述的视频编码处理装置，其特征在于，所述空域失真模型建立单元包括：

获取单元，用于根据所述空域-时域可伸缩视频编码的结构，获取所述空域待编层的输入差分序列；

复杂性计算单元，用于所述空域参考层的量化步长取不同值时，以图像组为统计单位根据下式分别计算所述输入差分序列的复杂性：

$\left\{\begin{array}{c}{C}_I=\underset{x=1}{\overset{W}{\mathrm{\&Sigma;}}}\underset{y=1}{\overset{H}{\mathrm{\&Sigma;}}}|f_i(x,y)-f_i^d(x,y)|\\ C_P=\underset{\&ForAll;f_i\&Element;P}{\mathrm{\&Sigma;}}\underset{x=1}{\overset{W}{\mathrm{\&Sigma;}}}\underset{y=1}{\overset{H}{\mathrm{\&Sigma;}}}|f_i(x,y)-g_i(x,y)|\\ C_B=\underset{\&ForAll;f_i\&Element;B}{\mathrm{\&Sigma;}}\underset{x=1}{\overset{W}{\mathrm{\&Sigma;}}}\underset{y=1}{\overset{H}{\mathrm{\&Sigma;}}}\min \left(\right|f_i(x,y)-g_i(x,y)|,|f_i(x,y)-h_i(x,y)\left|\right)\\ C=C_I+C_P+C_B\end{array}\right.,$

其中，C表示以图像组为统计单位的空域待编层的输入差分序列的复杂性，C_I、C_P和C_B分别表示I、P和B图像帧的复杂性，i表示当前计算复杂性的图像帧为第i帧，(x，y)表示第i帧中某一图像像素点的坐标，f_i(x，y)表示第i帧的像素灰度值，

表示第i帧中分别以4×4块均值为预测的预测帧的像素灰度值，g_i(x，y)表示第i帧的后向预测帧的像素灰度值，h_i(x，y)表示的第i帧的前向预测帧的像素灰度值，W和H分别表示图像帧的宽和高；

关系建立单元，用于通过分析所述空域参考层的量化步长的所述不同值与计算的所述输入差分序列的复杂性的变化关系，建立所述输入差分序列的复杂性与所述空域参考层的量化步长的关系为：

C(Q₀)＝c·Q₀+θ，

其中，C(Q₀)表示以图像组为统计单位的空域待编层的输入差分序列的复杂性，Q₀表示空域参考层的量化步长，c和θ表示复杂性模型参数；

模型建立单元，用于根据所述输入差分序列的复杂性与所述空域参考层的量化步长的关系，建立所述空域待编层的编码失真模型为：

$D_1^S(Q_0,Q_1)=\left\{\begin{array}{cc}p\&CenterDot;C\left(Q_0\right)+(m-p)\&CenterDot;C(Q_1/2)+n,& Q_0\&le;Q_1/2\\ m\&CenterDot;C(Q_1/2)+n,& Q_0>Q_1/2\end{array}\right.,$

其中，

表示当空域参考层的量化步长为Q₀、空域待编层的量化步长为Q₁时空域待编层的编码失真，p表示当Q₀＜Q₁/2时空域待编层的编码失真关系曲线的斜率值，C(Q₀)表示当空域参考层的量化步长为Q₀时空域待编层的输入差分序列的复杂性，m和n分别表示当Q₀＝Q₁/2时空域待编层的编码失真和空域待编层的输入差分序列的复杂性呈线性关系的斜率和截距值。

14.根据权利要求13所述的视频编码处理装置，其特征在于，所述空域码率分配单元包括：

空域量化步长计算单元，用于根据所述空域待编层的编码失真模型和码率模型，计算给定空域总码率条件下，所述空域参考层和所述空域待编层的量化步长的值；

空域分配单元，用于根据所述量化步长的所述值，分配所述空域参考层和所述空域待编层的码率。

15.根据权利要求14所述的视频编码处理装置，其特征在于，所述空域量化步长计算单元包括：

第一单元，用于根据所述空域待编层的编码失真模型和码率模型，建立给定空域总码率条件下，所述空域参考层和所述空域待编层的编码失真总和最小的模型；

第二单元，用于采用拉格朗日乘数法计算所述空域参考层和所述空域待编层的编码失真总和最小的模型中，所述空域参考层和所述空域待编层的量化步长的值。

16.根据权利要求12所述的视频编码处理装置，其特征在于，所述时域码率分配模块包括：

时域量化步长计算单元，用于根据所述各时域层的编码失真模型和码率模型，以所述相应的空域层的所述码率为时域总码率，计算给定所述时域总码率条件下，所述各时域层的量化步长的值；

时域分配单元，用于根据所述各时域层的量化步长的所述值，分配所述各时域层的码率。

17.根据权利要求16所述的视频编码处理装置，其特征在于，所述时域量化步长计算单元包括：

第三单元，用于根据所述各时域层的编码失真模型和码率模型，建立给定所述时域总码率条件下，所述各时域层的编码失真总和最小的模型；

第四单元，用于采用拉格朗日乘数法计算所述各时域层的编码失真总和最小的模型中，所述各时域层的量化步长的值。

Images