CN101562740A - 视频编码处理方法和装置 - Google Patents

Abstract

本发明提供了一种视频编码处理方法，包括：在空域－质量域可伸缩视频编码中，分配各空域层的码率；在各空域层中，通过分析质量域待编层和质量域参考层的编码失真的关系，建立质量域待编层的编码失真模型；通过分析质量域待编层和质量域参考层的码率的关系，建立质量域待编层的码率模型；根据相应的空域层的码率、质量域待编层的编码失真模型和码率模型，分配质量域参考层和质量域待编层的码率。本发明还提供了一种视频编码处理装置。本发明实现了各编码层次间相关性基础上的码率优化分配，能够使得编码效率最大化，进一步优化了可伸缩编码的编码性能。

Description

视频编码处理方法和装置

技术领域

本发明涉及视频处理领域，具体而言，涉及一种视频编码处理方法和装置。

背景技术

作为新一代视频压缩编码标准H.264/AVC的扩展，可伸缩视频编码(Scalable Video Coding，SVC)技术已经于2007年7月正式标准化。目前，H.264/SVC支持了时域、空域和质量域三个维度上的可伸缩性，并且基本实现了对于解码器复杂性和编码效率的平衡设计，而其中基于视频尺寸(空域)的分层是该技术的基本结构。

在空域可伸缩性编码中，H.264/SVC遵循了传统的多层次编码的方法：首先将原始尺寸的视频序列分解(进行下采样)得到若干不同空间分辨率的子序列，其中每个分辨率都对应于一个空域编码层。由于低层是由高层通过下采样得到的，因此在相同的时域分辨率情况下，每一个高层帧都有与之相对应的低层帧，两者之间存在着显而易见的相关性，我们称之为层间冗余。

质量域可伸缩性主要通过对变换系数的重复量化和位平面编码来实现信噪比(Signal to Noise Ratio，SNR)的可伸缩性，主要通过粗糙粒度可伸缩性(Coarse Grained Scalability，CGS)和中等粒度可伸缩性(Median Grained Scalability，MGS)等技术实现质量的可伸缩性。其基本思想为：将视频的每一帧都分为一个基本层码流和在基本层码流之上的增强层码流。基本层采用混合编码的方法，通常码率比较低，只能保证最基本的质量要求，确保解码端有足够的能力接收并解码基本层码流。增强层则通过嵌入式的方式对各增强层变换系数进行子位平面编码，以实现码流可以在任意点截断。

由于这种层次化的结构设计，在总码流目标码率相对固定的情况下，如何对各层次的码率进行分配，不同的分配方案将会导致不同的编码效率。现有的SVC技术还不支持任何视频层次间的码率分配机制，编码过程采用由底向上的顺序性方式，即从最底部的基本层(Base Layer，BL)开始，依次根据编码重建后的前驱视频层作为编码增强层(Enhancement layer，EL)的预测，每一层的目标码率都是分别先验设定的。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：现有的空域-质量域可伸缩视频编码的码率分配方法，忽略了待编层与参考层之间编码的相关性，损失了一定的编码效率。

发明内容

本发明旨在提供一种视频编码处理方法和装置，能够解决现有技术忽略了待编层与参考层之间编码的相关性，损失了一定的编码效率的问题。

在本发明的实施例中，提供了一种视频编码处理方法，包括：在空域-质量域可伸缩视频编码中，分配各空域层的码率；在各空域层中，通过分析质量域待编层和质量域参考层的编码失真的关系，建立质量域待编层的编码失真模型；通过分析质量域待编层和质量域参考层的码率的关系，建立质量域待编层的码率模型；根据相应的空域层的码率、质量域待编层的编码失真模型和码率模型，分配质量域参考层和质量域待编层的码率。

在本发明的实施例中，还提供了一种视频编码处理装置，包括：空域分配模块，用于在空域-质量域可伸缩视频编码中，分配各空域层的码率；质量域失真模型建立模块，用于在各空域层中，通过分析质量域待编层和质量域参考层的编码失真的关系，建立质量域待编层的编码失真模型；质量域码率模型建立模块，用于通过分析质量域待编层和质量域参考层的码率的关系，建立质量域待编层的码率模型；质量域码率分配模块，用于根据相应的空域层的码率、质量域待编层的编码失真模型和码率模型，分配质量域参考层和质量域待编层的码率。

在本发明中，由于充分考虑了可伸缩编码结构引起的各编码层间的相关关系，通过对具有依赖关系的编码层建立去相关的率失真模型，从而将码率分配问题转化为一个给定总码率的前提下使得各编码层的编码失真总和最小的优化问题进行计算求解，最终得到各编码层的码率优化分配方案，解决了现有技术忽略了待编层与参考层之间编码的相关性，损失了一定的编码效率的问题，实现了各编码层次间相关性基础上的码率优化分配，能够使得编码效率最大化，进一步优化了可伸缩编码的编码性能。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1示出了根据本发明实施例的视频编码处理方法的流程图；

图2示出了根据本发明实施例的视频编码处理装置的示意图；

图3示出了根据本发明优选实施例一的H.264/SVC中空域-质量域二维可伸缩编码的关系示意图；

图4示出了Foreman序列的示意图；

图5示出了Mobile序列的示意图；

图6示出了根据本发明优选实施例一的采用Foreman序列时，空域层SL-0与空域层SL-1的失真关系图；

图7示出了根据本发明优选实施例一的采用Mobile序列时，空域层SL-0与空域层SL-1的失真关系图；

图8示出了根据本发明优选实施例一的空域可伸缩维度上具有相关性的编码层的编码失真模型示意图；

图9示出了根据本发明优选实施例一的空域可伸缩维度上具有相关性的编码层的码率模型示意图；

图10示出了根据本发明优选实施例一的采用Foreman序列时，空域层SL-0与空域层SL-1的码率关系图；

图11示出了根据本发明优选实施例一的采用Mobile序列时，空域层SL-0与空域层SL-1的码率关系图；

图12示出了根据本发明优选实施例一的采用Foreman序列时，质量域层QL-0与质量域层QL-1的码率关系图；

图13示出了根据本发明优选实施例一的采用Mobile序列时，质量域层QL-0与质量域层QL-1的码率关系图；

图14示出了根据本发明优选实施例一的采用Foreman序列时，质量域层QL-0与质量域层QL-1的码率关系图；

图15示出了根据本发明优选实施例一的采用Mobile序列时，质量域层QL-0与质量域层QL-1的码率关系图；

图16示出了根据本发明优选实施例一的质量域可伸缩维度上具有相关性的编码层的率失真模型示意图。

具体实施方式

为了解决现有技术中存在忽略了待编层与参考层之间编码的相关性，损失了一定的编码效率的问题，本发明提供了一种视频编码处理方法：首先，在空域可伸缩维度上，按照由高到低的顺序并考虑参考层与待编层之间的相关关系，分配各空域层的码率；然后，在各空域层中，通过分析质量域待编层和质量域参考层的编码失真的关系，建立质量域待编层的编码失真模型；通过分析质量域待编层和质量域参考层的码率的关系，建立质量域待编层的码率模型；根据相应的空域层的码率、质量域待编层的编码失真模型和码率模型，分配质量域参考层和质量域待编层的码率。从而最终实现了空域-质量域二维可伸缩编码的码率优化分配。本发明还提供了一种视频编码处理装置以实现上述的视频编码处理方法。本发明实现了各编码层次间相关性基础上的码率优化分配，能够使得编码效率最大化，进一步优化了可伸缩编码的编码性能。

下面将参考附图并结合实施例，来详细说明本发明。

图1示出了根据本发明实施例的视频编码处理方法的流程图，包括：

步骤S10，在空域-质量域可伸缩视频编码中，分配各空域层的码率；

步骤S20，在各空域层中，通过分析质量域待编层和质量域参考层的编码失真的关系，建立质量域待编层的编码失真模型；

步骤S30，通过分析质量域待编层和质量域参考层的码率的关系，建立质量域待编层的码率模型；

步骤S40，根据相应的空域层的码率、质量域待编层的编码失真模型和码率模型，分配质量域参考层和质量域待编层的码率。

该优选实施例由于充分考虑了可伸缩编码结构引起的各编码层间的相关关系，通过对具有依赖关系的编码层建立去相关的率失真模型，从而将码率分配问题转化为一个给定总码率的前提下使得各编码层的编码失真总和最小的优化问题进行计算求解，最终得到各编码层的码率优化分配方案，解决了现有技术忽略了待编层与参考层之间编码的相关性，损失了一定的编码效率的问题，实现了各编码层次间相关性基础上的码率优化分配，能够使得编码效率最大化，进一步优化了可伸缩编码的编码性能。

在该优选实施例中，通过首先在空域可伸缩维度上优化分配各空域层的码率，然后再在质量域可伸缩维度上优化分配对应各空域层中各质量域层的码率，最终实现空域-质量域二维可伸缩编码的码率优化分配。

优选地，在上述的视频编码处理方法中，步骤S10具体包括：通过分析空域待编层和空域参考层的编码失真的关系，建立空域待编层的编码失真模型；通过分析空域待编层和空域参考层的码率的关系，建立空域待编层的码率模型；根据空域待编层的编码失真模型和码率模型，分配空域参考层和空域待编层的码率。

其中，空域待编层的编码失真模型为：

$\left\{\begin{array}{c}{D}_1^S(Q_0,Q_1)=\left\{\begin{array}{cc}{n}_1\·D_0^S\left(Q_0\right)+(n_0-n_1)\·D_0^S(Q_1/2),& Q_0\≤Q_1/2\\ n_0\·D_0^S(Q_1/2),& Q_0>Q_1/2\end{array}\right.\\ D_0^S\left(Q_0\right)=b\·{Q_0}^{\mathrm{\β}}\\ D_0^S(Q_1/2)=b\·{(Q_1/2)}^{\mathrm{\β}}\end{array}\right.,$

其中，Q₀和Q₁分别表示空域参考层和空域待编层的量化步长，D₀ ^S(Q₀)和D₀ ^S(Q₁/2)分别表示当分别以量化步长Q₀和Q₁/2为变元时空域参考层的编码失真值，D₁ ^S(Q₀，Q₁)表示当空域参考层的量化步长为Q₀、空域待编层的量化步长为Q₁时空域待编层的编码失真值，n₀和n₁为空域待编层的编码失真模型参数，n₀表示当Q₀＝Q₁/2时空域参考层和空域待编层之间的编码失真关系曲线的斜率值，n₁表示当Q₀＞Q₁/2时空域参考层和空域待编层之间的编码失真关系曲线的斜率值，b和β为参考层的编码失真模型参数。

空域待编层的码率模型为：

$\left\{\begin{array}{c}{R}_1^S(Q_0,Q_1)=\left\{\begin{array}{cc}{r}_1\·R_0^S\left(Q_0\right)+(r_0-r_1)\·R_0^S(Q_1/2),& Q_0>Q_1/2\\ r_0\·R_0^S(Q_1/2),& Q_0\≤Q_1/2\end{array}\right.\\ R_0^S\left(Q_0\right)=a\·{Q_0}^{-\mathrm{\α}}\\ R_0^S(Q_1/2)=a\·{(Q_1/2)}^{-\mathrm{\α}}\end{array}\right.,$

其中，Q₀和Q₁分别表示空域参考层和空域待编层的量化步长，R₀ ^S(Q₀)和R₀ ^S(Q₁/2)分别表示当分别以量化步长Q₀和Q₁/2为变元时空域参考层的码率，R₁ ^S(Q₀，Q₁)表示当空域参考层的量化步长为Q₀、空域待编层的量化步长为Q₁时空域待编层的码率，空域待编层的码率模型参数r₀和r₁分别表示当Q₀＝Q₁/2和Q₁固定时空域参考层和空域待编层的码率呈线性关系的斜率值，a和α为参考层的码率模型参数。

根据空域待编层的编码失真模型和码率模型，分配空域参考层和空域待编层的码率具体包括：根据空域待编层的编码失真模型和码率模型，计算给定空域总码率条件下，空域参考层和空域待编层的量化步长的值；根据量化步长的值，分配空域参考层和空域待编层的码率。

其中，根据空域待编层的编码失真模型和码率模型，计算给定空域总码率条件下，空域参考层和空域待编层的量化步长的值具体包括：根据空域待编层的编码失真模型和码率模型，建立给定空域总码率条件下，空域参考层和空域待编层的编码失真总和最小的模型；采用拉格朗日乘数法计算空域参考层和空域待编层的编码失真总和最小的模型中，空域参考层和空域待编层的量化步长的值。

给定空域总码率条件下，空域参考层和空域待编层的编码失真总和最小的模型为：

$\left\{\begin{array}{c}{Q}^{*}=(Q_0^{*},Q_1^{*})=\underset{Q_0,Q_1\∈Q}{\arg \min }[D_0^S\left(Q_0\right)+D_1^S(Q_0,Q_1)]\\ R_0^S\left(Q_0\right)+R_1^S(Q_0,Q_1)\≤R_{S-\mathrm{Total}}\end{array}\right.,$

其中，Q₀和Q₁分别表示空域参考层和空域待编层的量化步长，

$Q^{*}=(Q_0^{*},Q_1^{*})$ 表示空域参考层和空域待编层的最优量化矢量，Q表示空域量化步长的备选集合，D₀ ^S(Q₀)和D₁ ^S(Q₀，Q₁)分别表示空域参考层和空域待编层的编码失真值，R₀ ^S(Q₀)和R₁ ^S(Q₀，Q₁)分别表示空域参考层和空域待编层的码率，R_S-Total为空域总码率。

上述优选实施例提供了图1所示的实施例中的步骤S10的具体实施方案。通过对空域参考层具有依赖关系的空域待编层建立去相关的率失真模型，从而将空域可伸缩维度上的码率分配问题转化为一个给定空域总码率的前提下使得空域参考层和空域待编层的编码失真总和最小的优化问题进行计算求解，最终得到各空域层的码率优化分配方案，实现了在空域可伸缩维度上优化分配各空域层的码率。该优选实施例实际上是一个递归的过程，当空域可伸缩维度上空域层的层数大于两层时，上述步骤S10中所包括的三个步骤(即建立空域待编层的编码失真模型、建立空域待编层的码率模型、分配空域参考层和空域待编层的码率)实际上是一个循环。分配各空域层的码率时，按照由高到低的顺序依次执行该循环过程即可。例如：当空域层为三层(即由高到低依次为空域增强层2、空域增强层1和空域基本层)、空域总码率为R_S-Total时，首先以空域增强层2作为空域待编层，空域增强层1和空域基本层整体作为空域参考层，利用上述步骤S10中的方法计算空域增强层2的码率为R₂ ^S、空域增强层1和空域基本层整体的码率为R₁ ^S，然后以空域增强层1作为空域待编层、空域基本层作为空域参考层、给定总码率为R₁ ^S，利用上述步骤S10中的方法计算空域增强层1的码率为R₁₂ ^S、空域基本层的码率为R₁₁ ^S，最终实现了这三个空域层的码率优化分配。

优选地，在上述的视频编码处理方法中，空域参考层和空域待编层分别为空域基本层和空域增强层。在该优选实施例中，可利用上述步骤10的方法实现空域基本层和空域增强层的码率的优化分配。

优选地，在图1所示的视频编码处理方法中，

质量域待编层的编码失真模型为：

$\left\{\begin{array}{c}{D}_1^Q(q_0,q_1)=s_0\·D_0^Q\left(q_1\right)\\ D_0^Q\left(q_1\right)=b\·{q_1}^{\mathrm{\β}}\end{array}\right.,$

其中，q₀和q₁分别表示质量域参考层和质量域待编层的量化步长，D₁ ^Q(q₀，q₁)表示当质量域参考层的量化步长为q₀、质量域待编层的量化步长为q₁时质量域待编层的编码失真值，D₀ ^Q(q₁)表示当以量化步长q₁为变元时质量域参考层的编码失真值，质量域待编层的编码失真模型参数s₀表示当Q₀＝Q₁时质量域待编层和质量域参考层的编码失真关系曲线的斜率值，b和β为参考层的编码失真模型参数；

质量域待编层的码率模型为：

$\left\{\begin{array}{c}{R}_1^Q(q_0,q_1)=m_1\·R_0^Q\left(q_0\right)+(m_0-m_1)\·R_0^Q\left(q_1\right)\\ R_0^Q\left(q_0\right)=a\·{q_0}^{-\mathrm{\α}}\\ R_0^Q\left(q_1\right)=a\·{q_1}^{-\mathrm{\α}}\end{array}\right.,$

其中，q₀和q₁分别表示质量域参考层和质量域待编层的量化步长，R₁ ^Q(q₀，q₁)表示当质量域参考层的量化步长为q₀、质量域待编层的量化步长为q₁时质量域待编层的码率，R₀ ^Q(q₀)和R₀ ^Q(q₁)分别表示当分别以量化步长q₀和q₁为变元时质量域参考层的码率，质量域待编层的码率模型参数m₀和m₁分别表示当q₀＝q₁和q₁固定时质量域参考层和质量域待编层的码率呈线性关系的斜率值，a和α为参考层的码率模型参数。

优选地，在上述的视频编码处理方法中，步骤S40具体包括：根据质量域待编层的编码失真模型和码率模型，以相应的空域层的码率为质量域总码率，计算给定质量域总码率条件下，质量域参考层和质量域待编层的量化步长的值；根据质量域参考层和质量域待编层的量化步长的值，分配质量域参考层和质量域待编层的码率。

其中，根据质量域待编层的编码失真模型和码率模型，以相应的空域层的码率为质量域总码率，计算给定质量域总码率条件下，质量域参考层和质量域待编层的量化步长的值具体包括：根据质量域待编层的编码失真模型和码率模型，建立给定质量域总码率条件下，质量域参考层和质量域待编层的编码失真总和最小的模型；采用拉格朗日乘数法计算质量域参考层和质量域待编层的编码失真总和最小的模型中，质量域参考层和质量域待编层的量化步长的值。

质量域参考层和质量域待编层的编码失真总和最小的模型为：

$\left\{\begin{array}{c}{q}^{*}=(q_0^{*},q_1^{*})=\underset{q_0,q_1\∈Q}{\arg \min }[D_0^Q\left(q_0\right)+D_1^Q(q_0,q_1)]\\ R_0^Q\left(q_0\right)\≤{\mathrm{\ω}}_0\·R_{Q-\mathrm{Total}}\\ R_1^Q(q_0,q_1)\≤{\mathrm{\ω}}_1\·R_{Q-\mathrm{Total}}\end{array}\right.,$

其中，q₀和q₁分别表示质量域参考层和质量域待编层的量化步长， $q^{*}=(q_0^{*},q_1^{*})$ 表示质量域参考层和质量域待编层的最优量化矢量，Q表示质量域量化步长的备选集合，D₀ ^Q(q₀)和D₁ ^Q(q₀，q₁)分别表示质量域参考层和质量域待编层的编码失真值，R₀ ^Q(q₀)和R₁ ^Q(q₀，q₁)分别表示质量域参考层和质量域待编层的码率，R_Q-Total为质量域总码率，ω₀和ω₁为权重因子，且ω₀+ω₁＝1。

上述优选实施例提供了在质量域可伸缩维度上进行码率优化分配的具体实施方案。同空域可伸缩维度上的码率优化分配方案类似，上述图1所示的实施例中的步骤S20、S30和S40也是一个递归的过程，当质量域可伸缩维度上质量域层的层数大于两层时，上述步骤S20、S30和S40实际上是一个循环。分配各质量域层的码率时，按照由高到低的顺序依次执行该循环过程即可。其具体的码率分配方案与空域类似，此处不再赘述。

优选地，在上述的视频编码处理方法中，质量域参考层和质量域待编层分别为质量域基本层和质量域增强层。在该优选实施例中，可按照图1所示的实施例中的步骤S20、S30和S40进行质量域基本层和质量域增强层的码率优化分配。

上述优选实施例充分考虑了H.264/SVC编码设计中各编码层间的依赖性，使得在总码率一定的情况下，各编码层的失真关系呈现此消彼长的特性。在同时考虑各编码层的编码效率和失真特性的基础上，有效地平衡了各编码层间的相关性后，求取码率的优化分配方案。

上述优选实施例中使用到了具有相关关系的编码层率失真模型，它区别于以往传统视频编码中码率和失真都是量化步长的单变元函数。对于H.264/SVC中具有相关关系的编码层，其码率和失真特性都是由参考层和待编层等多个量化步长作为变元的函数关系。但是需要分别确定每一个参数对于失真和码率特性的具体影响，对多变元函数关系进行去相关操作，从而实现优化问题的求解。而对于具有相关性的可伸缩性编码结构，将多变元的率失真函数关系转化为若干个单变元函数的线性组合，将会极大地降低码率分配优化问题求解的复杂性。同时使用优化问题进行数值求解，可以得到码率分配的优化方案，从而使得编码效率的最大化，进一步优化了可伸缩的编码性能。

图2示出了根据本发明实施例的视频编码处理装置的示意图，该装置包括：空域分配模块10，用于在空域-质量域可伸缩视频编码中，分配各空域层的码率；质量域失真模型建立模块20，用于在各空域层中，通过分析质量域待编层和质量域参考层的编码失真的关系，建立质量域待编层的编码失真模型；质量域码率模型建立模块30，用于通过分析质量域待编层和质量域参考层的码率的关系，建立质量域待编层的码率模型；质量域码率分配模块40，用于根据相应的空域层的码率、质量域待编层的编码失真模型和码率模型，分配质量域参考层和质量域待编层的码率。

在该优选实施例中由于充分考虑了可伸缩编码结构引起的各编码层间的相关关系，通过对具有依赖关系的编码层建立去相关的率失真模型，从而将码率分配问题转化为一个给定总码率的前提下使得各编码层的编码失真总和最小的优化问题进行计算求解，最终得到各编码层的码率优化分配方案，解决了现有技术忽略了待编层与参考层之间编码的相关性，损失了一定的编码效率的问题，实现了各编码层次间相关性基础上的码率优化分配，能够使得编码效率最大化，进一步优化了可伸缩编码的编码性能。

优选地，在上述的视频编码处理装置中，空域分配模块10包括：空域失真模型建立单元，用于通过分析空域待编层和空域参考层的编码失真的关系，建立空域待编层的编码失真模型；空域码率模型建立单元，用于通过分析空域待编层和空域参考层的码率的关系，建立空域待编层的码率模型；空域码率分配单元，用于根据空域待编层的编码失真模型和码率模型，分配空域参考层和空域待编层的码率。

其中，空域待编层的编码失真模型为：

$\left\{\begin{array}{c}{D}_1^S(Q_0,Q_1)=\left\{\begin{array}{cc}{n}_1\·D_0^S\left(Q_0\right)+(n_0-n_1)\·D_0^S(Q_1/2),& Q_0\≤Q_1/2\\ n_0\·D_0^S(Q_1/2),& Q_0>Q_1/2\end{array}\right.\\ D_0^S\left(Q_0\right)=b\·{Q_0}^{\mathrm{\β}}\\ D_0^S(Q_1/2)=b\·{(Q_1/2)}^{\mathrm{\β}}\end{array}\right.,$

其中，Q₀和Q₁分别表示空域参考层和空域待编层的量化步长，D₀ ^S(Q₀)和D₀ ^S(Q₁/2)分别表示当分别以量化步长Q₀和Q₁/2为变元时空域参考层的编码失真值，D₁ ^S(Q₀，Q₁)表示当空域参考层的量化步长为Q₀、空域待编层的量化步长为Q₁时空域待编层的编码失真值，n₀和n₁为空域待编层的编码失真模型参数，n₀表示当Q₀＝Q₁/2时空域参考层和空域待编层之间的编码失真关系曲线的斜率值，n₁表示当Q₀＞Q₁/2时空域参考层和空域待编层之间的编码失真关系曲线的斜率值，b和β为参考层的编码失真模型参数；

空域待编层的码率模型为：

$\left\{\begin{array}{c}{R}_1^S(Q_0,Q_1)=\left\{\begin{array}{cc}{r}_1\·R_0^S\left(Q_0\right)+(r_0-r_1)\·R_0^S(Q_1/2),& Q_0>Q_1/2\\ r_0\·R_0^S(Q_1/2),& Q_0\≤Q_1/2\end{array}\right.\\ R_0^S\left(Q_0\right)=a\·{Q_0}^{-\mathrm{\α}}\\ R_0^S(Q_1/2)=a\·{(Q_1/2)}^{-\mathrm{\α}}\end{array}\right.,$

其中，Q₀和Q₁分别表示空域参考层和空域待编层的量化步长，R₀ ^S(Q₀)和R₀ ^S(Q₁/2)分别表示当分别以量化步长Q₀和Q₁/2为变元时空域参考层的码率，R₁ ^S(Q₀，Q₁)表示当空域参考层的量化步长为Q₀、空域待编层的量化步长为Q₁时空域待编层的码率，空域待编层的码率模型参数r₀和r₁分别表示当Q₀＝Q₁/2和Q₁固定时空域参考层和空域待编层的码率呈线性关系的斜率值，a和α为参考层的码率模型参数。

空域码率分配单元包括：空域量化步长计算单元，用于根据空域待编层的编码失真模型和码率模型，计算给定空域总码率条件下，空域参考层和空域待编层的量化步长的值；空域分配单元，用于根据量化步长的值，分配空域参考层和空域待编层的码率。

其中，空域量化步长计算单元包括：第一单元，用于根据空域待编层的编码失真模型和码率模型，建立给定空域总码率条件下，空域参考层和空域待编层的编码失真总和最小的模型；第二单元，用于采用拉格朗日乘数法计算空域参考层和空域待编层的编码失真总和最小的模型中，空域参考层和空域待编层的量化步长的值。

给定空域总码率条件下，空域参考层和空域待编层的编码失真总和最小的模型为：

$\left\{\begin{array}{c}{Q}^{*}=(Q_0^{*},Q_1^{*})=\underset{Q_0,Q_1\∈Q}{\arg \min }[D_0^S\left(Q_0\right)+D_1^S(Q_0,Q_1)]\\ R_0^S\left(Q_0\right)+R_1^S(Q_0,Q_1)\≤R_{S-\mathrm{Total}}\end{array}\right.,$

其中，Q₀和Q₁分别表示空域参考层和空域待编层的量化步长， $Q^{*}=(Q_0^{*},Q_1^{*})$ 表示空域参考层和空域待编层的最优量化矢量，Q表示空域量化步长的备选集合，D₀ ^S(Q₀)和D¹ _S(Q₀，Q₁)分别表示空域参考层和空域待编层的编码失真值，R₀ ^S(Q₀)和R₁ ^S(Q₀，Q₁)分别表示空域参考层和空域待编层的码率，R_S-Total为空域总码率。

上述优选实施例提供了图2所示的实施例中的空域分配模块10的具体实施方案。通过对空域参考层具有依赖关系的空域待编层建立去相关的率失真模型，从而将空域可伸缩维度上的码率分配问题转化为一个给定空域总码率的前提下使得空域参考层和空域待编层的编码失真总和最小的优化问题进行计算求解，最终得到各空域层的码率优化分配方案，实现了在空域可伸缩维度上优化分配各空域层的码率。

优选地，在上述的视频编码处理装置中，空域参考层和空域待编层分别为空域基本层和空域增强层。在该优选实施例中，可利用图2所示的实施例中的空域分配模块10实现空域基本层和空域增强层的码率的优化分配。

优选地，在图2所示的视频编码处理装置中，

质量域待编层的编码失真模型为：

$\left\{\begin{array}{c}{D}_1^Q(q_0,q_1)=s_0\·D_0^Q\left(q_1\right)\\ D_0^Q\left(q_1\right)=b\·{q_1}^{\mathrm{\β}}\end{array}\right.,$

其中，q₀和q₁分别表示质量域参考层和质量域待编层的量化步长，D₁ ^Q(q₀，q₁)表示当质量域参考层的量化步长为q₀、质量域待编层的量化步长为q₁时质量域待编层的编码失真值，D₀ ^Q(q₁)表示当以量化步长q₁为变元时质量域参考层的编码失真值，质量域待编层的编码失真模型参数s₀表示当Q₀＝Q₁时质量域待编层和质量域参考层的编码失真关系曲线的斜率值，b和β为参考层的编码失真模型参数；

质量域待编层的码率模型为：

$\left\{\begin{array}{c}{R}_1^Q(q_0,q_1)=m_1\·R_0^Q\left(q_0\right)+(m_0-m_1)\·R_0^Q\left(q_1\right)\\ R_0^Q\left(q_0\right)=a\·{q_0}^{-\mathrm{\α}}\\ R_0^Q\left(q_1\right)=a\·{q_1}^{-\mathrm{\α}}\end{array}\right.,$

其中，q₀和q₁分别表示质量域参考层和质量域待编层的量化步长，R₁ ^Q(q₀，q₁)表示当质量域参考层的量化步长为q₀、质量域待编层的量化步长为q₁时质量域待编层的码率，R₀ ^Q(q₀)和R₀ ^Q(q₁)分别表示当分别以量化步长q₀和q₁为变元时质量域参考层的码率，质量域待编层的码率模型参数m₀和m₁分别表示当q₀＝q₁和q₁固定时质量域参考层和质量域待编层的码率呈线性关系的斜率值，a和α为参考层的码率模型参数。

优选地，在图2所示的视频编码处理装置中，质量域码率分配模块40包括：质量域量化步长计算单元，用于根据质量域待编层的编码失真模型和码率模型，以相应的空域层的码率为质量域总码率，计算给定质量域总码率条件下，质量域参考层和质量域待编层的量化步长的值；质量域分配单元，用于根据质量域参考层和质量域待编层的量化步长的值，分配质量域参考层和质量域待编层的码率。

其中，质量域量化步长计算单元包括：第三单元，用于根据质量域待编层的编码失真模型和码率模型，建立给定质量域总码率条件下，质量域参考层和质量域待编层的编码失真总和最小的模型；第四单元，用于采用拉格朗日乘数法计算质量域参考层和质量域待编层的编码失真总和最小的模型中，质量域参考层和质量域待编层的量化步长的值。

质量域参考层和质量域待编层的编码失真总和最小的模型为：

$\left\{\begin{array}{c}{q}^{*}=(q_0^{*},q_1^{*})=\underset{q_0,q_1\∈Q}{\arg \min }[D_0^Q\left(q_0\right)+D_1^Q(q_0,q_1)]\\ R_0^Q\left(q_0\right)\≤{\mathrm{\ω}}_0\·R_{Q-\mathrm{Total}}\\ R_1^Q(q_0,q_1)\≤{\mathrm{\ω}}_1\·R_{Q-\mathrm{Total}}\end{array}\right.,$

其中，q₀和q₁分别表示质量域参考层和质量域待编层的量化步长， $q^{*}=(q_0^{*},q_1^{*})$ 表示质量域参考层和质量域待编层的最优量化矢量，Q表示质量域量化步长的备选集合，D₀ ^Q(q₀)和D₁ ^Q(q₀，q₁)分别表示质量域参考层和质量域待编层的编码失真值，R₀ ^Q(q₀)和R₁ ^Q(q₀，q₁)分别表示质量域参考层和质量域待编层的码率，R_Q-Total为质量域总码率，ω₀和ω₁为权重因子，且ω₀+ω₁＝1。

上述优选实施例提供了图2所示的实施例中的质量域失真模型建立模块20、质量域码率模型建立模块30和质量域码率分配模块40的具体实施方案。

优选地，在上述的视频编码处理装置中，质量域参考层和质量域待编层分别为质量域基本层和质量域增强层。在该优选实施例中可以利用图2所示的实施例中的质量域失真模型建立模块20、质量域码率模型建立模块30和质量域码率分配模块40实现质量域基本层和质量域增强层的码率优化分配。

上述优选实施例充分考虑了H.264/SVC编码设计中各编码层间的依赖性，使得在总码率一定的情况下，各编码层的失真关系呈现此消彼长的特性。在同时考虑各编码层的编码效率和失真特性的基础上，有效地平衡了各编码层间的相关性后，求取码率的优化分配方案。

空域-质量域二维可伸缩编码的码率优化分配，从整体上可以分为以下两步来实现：

第1步，空域可伸缩维度上的码率优化分配：

设N_S为空域层的层数，Q_i为空域层SL-i的量化步长，R_i ^S(Q₀，…，Q_i)和D_i ^S(Q₀，…，Q_i)分别为基于图像组的空域层SL-i的码率模型和编码失真模型，该率失真模型与一组量化矢量(Q₀，...，Q_i)相关。对于一个待编码的图像组，在给定目标码率R_S-Total的情况下，各空域层的码率分配问题可以描述为：

$\left\{\begin{array}{c}{Q}^{*}=\underset{Q_i\∈Q}{\arg \min }\underset{i=0}{\overset{N_S-1}{\mathrm{\Σ}}}{D}_i^S(Q_0,...,Q_i)\\ \underset{i=0}{\overset{N_S-1}{\mathrm{\Σ}}}{R}_i^S(Q_0,...,Q_i)\≤R_{S-\mathrm{Total}}\end{array}\right.---\left(1\right)$

其中，

是N_S×1向量，向量中的元素是各空域层编码单元的量化步长， $Q^{*}=(Q_0^{*},...,Q_{N_S-1}^{*})$ 为各空域层的最优量化矢量，Q是空域量化步长的备选集合。

在分析了各空域层之间的相关性的基础上，求取各空域层的码率模型R_i ^S(Q₀，…，Q_i)和编码失真模型D_i ^S(Q₀，…，Q_i)的数学表达式。解决这类最优化问题，通常使用拉格朗日乘数法，通过引入拉格朗日乘子将有约束的优化问题转化为无约束的优化问题进行求解，即：

$\left\{\begin{array}{c}{Q}^{*}=\underset{Q_i\∈Q}{\arg \min }J(Q_i,\mathrm{\λ})\\ J(Q_i,\mathrm{\λ})=\underset{i=0}{\overset{N_S-1}{\mathrm{\Σ}}}{D}_i^S(\·)+\mathrm{\λ}\·(\underset{i=0}{\overset{N_S-1}{\mathrm{\Σ}}}{R}_i^S(\·)-R_{S-\mathrm{Total}})\end{array}\right.---\left(2\right)$

其中，λ为拉格朗日乘子。

公式(2)的拉格朗日方程可以通过对Q_i求偏微分的方法来计算，使用基于梯度的方法求解偏微分方程组获得最优的数值解。从而最终实现了基于H.264/SVC各空域层间相关性基础上的码率优化分配。

第2步，质量域可伸缩维度上的码率优化分配：

在计算得到各空域层优化分配的目标码率后，在相应分辨率大小的空域层内，考虑质量域可伸缩性维度上各质量域层的码率的优化分配。

在空域层SL-j中，设N_Q为质量域层的层数，q_i，j为质量域层TL-i的量化步长，R_i，j ^Q(q_0，j，…，q_i，j)和D_i，j ^Q(q_0，j，…，q_i，j)是基于图像组的质量域层TL-i的码率和编码失真模型，该率失真函数关系是与一组量化矢量(q_0，j，…，q_i，j)相关。对于一个固定分辨率尺寸(即一个空域层内)的待编码图像组，该空域层的码率(在第1步中分配的码率)即为该空域层内所有质量域层的总码率，设空域层SL-j的码率为R_j(q_j)，各质量域层的码率分配问题亦可以描述为：

$\left\{\begin{array}{c}{q_j}^{*}=\underset{q_{i,j}\∈Q}{\arg \min }\underset{i=0}{\overset{N_Q-1}{\mathrm{\Σ}}}{D}_{i,j}^Q(q_{0,j},...,q_{i,j}),j=0,...,N_S-1\\ R_{i,j}^Q(q_{0,j},...,q_{i,j})\≤{\mathrm{\ω}}_i\·R_j\left(q_j\right),i=0,...,N_Q-1\end{array}\right.---\left(3\right)$

其中，q_j是N_Q×N_S矩阵，向量中的元素是各质量域层编码单元的量化步长，Q是质量域量化步长的备选集合，ω_i是权重因子，代表质量域层QL-i在总码率R_j(q_j)中所占的比例，且∑ω_i＝1。

在分析了各质量域层之间的相关性的基础上，求取各质量域层的码率模型R_i，j ^Q(q_0，j，…，q_i，j)和编码失真模型D_i，j ^Q(q_0，j，…，q_i，j)的数学表达式。同第1步类似，采用拉格朗日乘数法，通过引入拉格朗日代价函数，将公式(3)中的有约束最优化问题转化为一个等价的无约束最优化问题：

$J({q_j}^{*},{\mathrm{\Λ}}^{*})=\underset{q_{i,j}\∈Q}{\arg \min }J(q_{i,j},\mathrm{\Λ}),j=0,...,N_S-1$

$=\underset{i=0}{\overset{N_Q-1}{\mathrm{\Σ}}}{D}_{i,j}^Q(q_{0,j},...,q_{i,j})+\underset{i=0}{\overset{N_Q-1}{\mathrm{\Σ}}}{\mathrm{\λ}}_i\·(R_{i,j}^Q(q_{0,j},...,q_{i,j})-{\mathrm{\ω}}_i\·R_j\left(q_j\right))---\left(4\right)$

其中，λ_i是拉格朗日乘子。

分别代入各层次的率失真模型，并使用拉格朗日乘数法进行数值求解。通过对公式(4)中的q_i，j求偏微分的方法来计算，使用基于梯度的方法求解偏微分方程组获得最优的数值解。从而最终实现了基于H.264/SVC质量域各层次间相关性基础上码率的优化分配方案。

下面以一个给定目标总码率R_S-Total，两层空域-两层质量域可伸缩编码器的码率优化分配问题为例，结合附图对本发明作进一步地描述。

图3示出了根据本发明优选实施例一的H.264/SVC中空域-质量域二维可伸缩编码的关系示意图，x、y方向分别表征了沿质量域和空域维度的可伸缩性。在空域-质量域构成的编码关系平面中，各层编码单元之间的相关关系显著地影响了总的可伸缩码流的编码效率。由于这种层次间的相关关系，每一个编码单元(i，j)的码率和失真特性，可以用多变元函数R_i，j(q_0，0，...，q_i，j)和D_i，j(q_0，0，...，q_i，j)进行表示。其中q_i，j是一个编码单元在第i个质量域层(QL-i)和第j个空域层(SL-j)的量化步长。即第(i，j)编码单元的率失真特性受到前(i-1)层质量域编码层和前(j-1)层空域编码层的率失真特性的影响。问题的关键就在于：如何将具有相关性的编码层的率失真特性进行化简和去相关，从而实现将原有复杂的多变元率失真表达式进行合理地线性化分解，转化为多个单变元函数的线性关系和。

第一步，空域可伸缩维度上的码率优化分配

在空域可伸缩维度上，空域层由高到低包括空域增强层(SL-1)和空域基本层(SL-0)两层。空域编码层的失真特性关系，可以通过固定空域增强层的量化步长Q₁，在改变基本层量化步长Q₀的条件下，分析增强层的编码失真与基本层的编码失真之间的关系。空域增强层的编码失真模型可以表达为一个以Q₀和Q₁为变元的基本层的编码失真函数D₀的线性关系和。图6和图7分别示出了根据本发明优选实施例一的采用图4所示的Foreman序列和图5所示的Mobile序列作为测试序列时，空域增强层的编码失真D₁ ^S(Q₀，Q₁)与空域基本层的编码失真D₀ ^S(Q₀)之间的函数关系。其中，qp为量化参数，其与量化步长Q相对应(如表1所示)，则qp₀与Q₀相对应，qp₁与Q₁相对应(下同)。

表1

qp	0	1	2	3	4	5	6	7	8	9	10	11	12	...
															Q(或q)	0.625	0.6875	0.8125	0.875	1	1.125	1.25	1.375	1.625	1.75	2	2.25	2.5	...
qp	...	18	...	24	...	30	...	36	...	42	...	48	...	51
															Q(或q)		5		10		20		40		80		160		224

通过分析该函数关系可以得到以下结论：

(1)对于每个固定的Q₁值，当D₀ ^S(Q₀)较小时，D₁ ^S(Q₀，Q₁)和D₀ ^S(Q₀)之间存在一个线性区域；

(2)该线性区域内的斜率反映了相邻两层次之间的相关性。由于该线性簇的各分支线段基本保持平行，即斜率接近为一个常数，这里假设线性区域中所有分支的斜率都相同；

(3)在经过qp₀≈qp₁-6之后，失真D₁ ^S(Q₀，Q₁)变得平缓，几乎保持不变，即不再随Q₀的变化而变化。当qp₀-qp₁＝6时，相应的量化步长被减半，即Q₀＝Q₁/2。直观上，对拐点后的编码失真关系曲线趋于平缓的现象可以做如下解释：当Q₁相对于Q₀较小时，空域增强层SL-1的编码失真仅由其自身的量化步长Q₁有关。

根据上述分析可以得到空域增强层SL-1的编码失真模型为：

$D_1^S(Q_0,Q_1)=\left\{\begin{array}{cc}{n}_1\·D_0^S\left(Q_0\right)+(n_0-n_1)\·D_0^S(Q_1/2),& Q_0\≤Q_1/2\\ n_0\·D_0^S(Q_1/2),& Q_0>Q_1/2\end{array}\right.---\left(5\right)$

其中，n₀和n₁为空域增强层的编码失真模型参数，n₀是图6和图7中的虚线的斜率值，表示当qp₀-qp₁＝6即Q₀＝Q₁/2时SL-0和SL-1之间的编码失真关系，n₁是线性区域内各分支线段的斜率值，表示qp₀-qp₁＞6即Q₀＞Q₁/2时，SL-0和SL-1之间的失真关系，如图8所示。

通过对大量视频序列进行测试，重点分析了空域增强层的码率R₁ ^S(Q₀，Q₁)与空域基本层的码率R₀ ^S(Q₀)之间的函数关系。可以看到一组接近平滑不变的直线簇，如图10和图11所示，即相邻两层之间的码率相关性相对较低。因此，设计码率模型为：

$R_1^S(Q_0,Q_1)=\left\{\begin{array}{cc}{r}_1\·R_0^S\left(Q_0\right)+(r_0-r_1)\·R_0^S(Q_1/2),& Q_0>Q_1/2\\ r_0\·R_0^S(Q_1/2),& Q_0\≤Q_1/2\end{array}\right.---\left(6\right)$

其中，r₀和r₁分别表示Q₀＝Q₁/2和Q₁固定时空域增强层和空域基本层的码率呈线性关系的斜率值。图9抽象表示了该码率模型。

而对于基本层，使用传统基于图像帧的率失真模型，其码率和编码失真函数如下：

R₀(Q₀)＝a·Q₀ ^-α和D₀(Q₀)＝b·Q₀ ^β        (7)

其中，a和α为基本层的码率模型参数，b和β为基本层的编码失真模型参数。

将公式(5)、(6)和(7)代入公式(2)中，得到：

$J(Q_i,\mathrm{\λ})=(1+n_1)D_0^S\left(Q_0\right)+(n_0-n_1)D_0^S(Q_1/2)$

                                               (8)

$+\mathrm{\λ}\·(R_0^S\left(Q_0\right)+r_1\·R_0^S(Q_1/2)-R_{S-\mathrm{Total}})$

最后，最优化问题变为：

$J(Q_i,\mathrm{\λ})=(1+n_1)a\·Q_0^{-\mathrm{\α}}+(n_0-n_1)a\·{(Q_1/2)}^{-\mathrm{\α}}$

                                                   (9)

$+\mathrm{\λ}\·(b\·Q_0^{\mathrm{\β}}+r_1\·b\·{(Q_1/2)}^{\mathrm{\β}}-R_{S-\mathrm{Total}})$

对公式(9)中各Q_i和λ分别求取偏微分，并联立方程组，进行数值计算，最后求得空域码率分配的一组优化方案。

第二步，质量域可伸缩维度上的码率优化分配

与空域可伸缩维度上的码率优化分配方法类似，在第一步中计算得到了各空域层的码率优化分配方案后，在每个空域层内进行各质量域层的码率优化分配。每个空域层内由高到低包括质量域增强层(QL-1)和质量域基本层(QL-0)。图12和图13示出了根据本发明优选实施例一的质量域增强层的失真特性。在固定质量域增强层的量化步长q₁后，调整质量域基本层的量化步长q₀的设置，分析质量域增强层的编码失真与质量域基本层的编码失真的函数关系。可以观察到质量域基本层与增强层之间存在几乎不变的平行于x轴的线性关系。因此可以将QL-1的编码失真函数表示为：

$D_1^Q(q_0,q_1)=s_0\·D_0^Q\left(q_1\right)---\left(10\right)$

其中，质量域增强层的编码失真模型参数s₀表示qp₀＝qp₁即q₀＝q₁时失真关系的斜率值。这一简单关系也可以按照信号分解的原理来解释。既然增强层的量化步长必须比基本层的量化步长更精细，否则增强层相对于原始帧的失真就相对独立于基本层的量化步长选择。

质量域层的码率特性相比失真特性更为复杂，需要进一步的研究。图14和图15示出了根据本发明优选实施例一的QL-1的码率与QL-0的码率的函数关系，其中通过调整不同的量化参数设置来控制产生的码率。

通过分析该函数关系可以得到以下结论：

(1)质量域增强层的码率和质量域基本层的码率基本成线性比例；

(2)对于设置相同的增强层量化步长q₁，得到的关系直线具有同样的斜率，即每个q₁对应的关系直线都接近于互相平行。

图16示出了一个抽象模型，图中的实线表示了当QL-0的码率增高时，QL-1的码率随之降低。这是因为基本层的高码率减少了将要被编码到增强层的信息，使得当q₁固定时，增强层的码率降低了。

基于以上两个结论，将质量域增强层的码率模型设计为以参数q₀和q₁为评价依据的质量域基本层的码率函数的线性和。数学表达式为：

$R_1^Q(q_0,q_1)=m_1\·R_0^Q\left(q_0\right)+(m_0-m_1)\·R_0^Q\left(q_1\right)---\left(11\right)$

其中，参数m₀和m₁分别表示当q₀＝q₁和q₁固定时质量域增强层和质量域基本层的码率呈线性关系的斜率值。

将公式(10)、(11)和(7)代入公式(4)中，得到：

$J({q_j}^{*},{\mathrm{\Λ}}^{*})=D_{0,j}^Q\left(q_{0,j}\right)+s_{0,j}\·D_{0,j}^Q\left(q_{1,j}\right)$

                                                (12)

$+{\mathrm{\λ}}_0\·(R_{0,j}^Q\left(q_{0,j}\right)-{\mathrm{\ω}}_0\·R_j\left(q_j\right))+{\mathrm{\λ}}_1(R_{1,j}^Q\left(q_{1,j}\right)-{\mathrm{\ω}}_1\·R_j\left(q_j\right)),j=\mathrm{0,1}$

最后，最优化问题变为：

$J({q_j}^{*},{\mathrm{\Λ}}^{*})=a_{0,j}\·q_{0,j}^{-{\mathrm{\α}}_{0,j}}+s_{0,j}\·a_{0,j}\·q_{1,j}^{-{\mathrm{\α}}_{0,j}}$

$+{\mathrm{\λ}}_0\·(b_{0,j}\·q_{0,j}^{{\mathrm{\β}}_{0,j}}-{\mathrm{\ω}}_0\·R_j\left(q_j\right))+{\mathrm{\λ}}_1((1+m_{1,j})b_{0,j}\·q_{0,j}^{{\mathrm{\β}}_{0,j}}---\left(13\right)$

$+(m_{0,j}-m_{1,j})\·b_{0,j}\·q_{1,j}^{{\mathrm{\β}}_{0,j}}-{\mathrm{\ω}}_1\·R_j\left(q_1\right)),j=\mathrm{0,1}$

对公式(13)中的q_i，j求偏微分，联立方程组，并使用基于梯度的方法求解偏微分方程组，求得各空域层内的各质量域层的码率分配的优化方案。

作为所提出的率失真模型的一个应用，上述优选实施例一重点解决了H.264/SVC中空域-质量域二维可伸缩性编码的码率优化分配问题。将实现具有相关性的各层次码率优化分配问题设计为两阶段的最优化问题：首先，当总码流的目标码率给定时，为了获取各层次的最佳编码效果，编码器必须高效地分配码率给每个空域层；其次，对于每个空域层，已知第一步中计算出的相应分辨率分配的码率值，作为该空域层内所有质量域层的总码率，在给定各质量域层最大的分配比例的前提下，求取使得所有质量域层的失真之和最小的码率分配方案。

上述优选实施例一的码率分配方法可以很容易地推广到一个更多层次的场景中。

从以上的描述中，可以看出，本发明上述的实施例实现了如下技术效果：

由于充分考虑了可伸缩编码结构引起的各编码层间的相关关系，通过对具有依赖关系的编码层建立去相关的率失真模型，从而将码率分配问题转化为一个给定总码率的前提下使得各编码层的编码失真总和最小的优化问题进行计算求解，最终得到各编码层的码率优化分配方案，解决了现有技术忽略了待编层与参考层之间编码的相关性，损失了一定的编码效率的问题，实现了各编码层次间相关性基础上的码率优化分配，能够使得编码效率最大化，进一步优化了可伸缩编码的编码性能。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (18)

1.一种视频编码处理方法，其特征在于，包括：

在空域-质量域可伸缩视频编码中，分配各空域层的码率；

在所述各空域层中，通过分析质量域待编层和质量域参考层的编码失真的关系，建立所述质量域待编层的编码失真模型；

通过分析质量域待编层和质量域参考层的码率的关系，建立所述质量域待编层的码率模型；

根据相应的空域层的所述码率、所述质量域待编层的编码失真模型和码率模型，分配所述质量域参考层和所述质量域待编层的码率。

2.根据权利要求1所述的视频编码处理方法，其特征在于，在空域-质量域可伸缩视频编码中，分配各空域层的码率具体包括：

通过分析空域待编层和空域参考层的编码失真的关系，建立所述空域待编层的编码失真模型；

通过分析所述空域待编层和所述空域参考层的码率的关系，建立所述空域待编层的码率模型；

根据所述空域待编层的编码失真模型和码率模型，分配所述空域参考层和所述空域待编层的码率。

3.根据权利要求2所述的视频编码处理方法，其特征在于，

所述空域待编层的编码失真模型为：

$\left\{\begin{array}{c}{D}_1^S(Q_0,Q_1)=\left\{\begin{array}{c}{n}_1\·D_0^S\left(Q_0\right)+(n_0-n_1)\·D_0^S(Q_1/2),Q_0\≤Q_1/2\\ n_0\·D_0^S(Q_1/2),Q_0>Q_1/2\end{array}\right.\\ D_0^S\left(Q_0\right)=b\·{Q_0}^{\mathrm{\β}}\\ D_0^S(Q_1/2)=b\·{(Q_1/2)}^{\mathrm{\β}}\end{array}\right.,$

其中，Q₀和Q₁分别表示空域参考层和空域待编层的量化步长，D₀ ^S(Q₀)和D₀ ^S(Q₁/2)分别表示当分别以量化步长Q₀和Q₁/2为变元时空域参考层的编码失真值，D₁ ^S(Q₀，Q₁)表示当空域参考层的量化步长为Q₀、空域待编层的量化步长为Q₁时空域待编层的编码失真值，n₀和n₁为空域待编层的编码失真模型参数，n₀表示当Q₀＝Q₁/2时空域参考层和空域待编层之间的编码失真关系曲线的斜率值，n₁表示当Q₀＞Q₁/2时空域参考层和空域待编层之间的编码失真关系曲线的斜率值，b和β为参考层的编码失真模型参数；

所述空域待编层的码率模型为：

$\left\{\begin{array}{c}{R}_1^S(Q_0,Q_1)=\left\{\begin{array}{c}{r}_1\·R_0^S\left(Q_0\right)+(r_0-r_1)\·R_0^S(Q_1/2),Q_0\≤Q_1/2\\ r_0\·R_0^S(Q_1/2),Q_0>Q_1/2\end{array}\right.\\ R_0^S\left(Q_0\right)=a\·{Q_0}^{-\mathrm{\α}}\\ R_0^S(Q_1/2)=a\·{(Q_1/2)}^{-\mathrm{\α}}\end{array}\right.,$

其中，Q₀和Q₁分别表示空域参考层和空域待编层的量化步长，R₀ ^S(Q₀)和R₀ ^S(Q₁/2)分别表示当分别以量化步长Q₀和Q₁/2为变元时空域参考层的码率，R₁ ^S(Q₀，Q₁)表示当空域参考层的量化步长为Q₀、空域待编层的量化步长为Q₁时空域待编层的码率，空域待编层的码率模型参数r₀和r₁分别表示当Q₀＝Q₁/2和Q₁固定时空域参考层和空域待编层的码率呈线性关系的斜率值，a和α为参考层的码率模型参数。

4.根据权利要求3所述的视频编码处理方法，其特征在于，根据所述空域待编层的编码失真模型和码率模型，分配所述空域参考层和所述空域待编层的码率具体包括：

根据所述空域待编层的编码失真模型和码率模型，计算给定空域总码率条件下，所述空域参考层和所述空域待编层的量化步长的值；

根据所述量化步长的所述值，分配所述空域参考层和所述空域待编层的码率。

5.根据权利要求4所述的视频编码处理方法，其特征在于，根据所述空域待编层的编码失真模型和码率模型，计算给定空域总码率条件下，所述空域参考层和所述空域待编层的量化步长的值具体包括：

根据所述空域待编层的编码失真模型和码率模型，建立给定空域总码率条件下，所述空域参考层和所述空域待编层的编码失真总和最小的模型；

采用拉格朗日乘数法计算所述空域参考层和所述空域待编层的编码失真总和最小的模型中，所述空域参考层和所述空域待编层的量化步长的值。

6.根据权利要求5所述的视频编码处理方法，其特征在于，给定空域总码率条件下，所述空域参考层和所述空域待编层的编码失真总和最小的模型为：

$\left\{\begin{array}{c}{Q}^{*}=(Q_0^{*},Q_1^{*})=\underset{Q_0,Q_1\∈Q}{\arg \min }[D_0^S\left(Q_0\right)+D_1^S(Q_0,Q_1)]\\ R_0^S\left(Q_0\right)+R_1^S(Q_0,Q_1)\≤R_{S-\mathrm{Total}}\end{array}\right.,$

其中，Q₀和Q₁分别表示空域参考层和空域待编层的量化步长， $Q^{*}=(Q_0^{*},Q_1^{*})$ 表示空域参考层和空域待编层的最优量化矢量，Q表示空域量化步长的备选集合，D₀ ^S(Q₀)和D₁ ^S(Q₀，Q₁)分别表示空域参考层和空域待编层的编码失真值，R₀ ^S(Q₀)和R₁ ^S(Q₀，Q₁)分别表示空域参考层和空域待编层的码率，R_S-Total为空域总码率。

7.根据权利要求2至6任一项所述的视频编码处理方法，其特征在于，所述空域参考层和所述空域待编层分别为空域基本层和空域增强层。

8.根据权利要求1所述的视频编码处理方法，其特征在于，

所述质量域待编层的编码失真模型为：

$\left\{\begin{array}{c}{D}_1^Q(q_0,q_1)=s_0\·D_0^Q\left(q_1\right)\\ D_0^Q\left(q_1\right)=b\·{q_1}^{\mathrm{\β}}\end{array},\right.$

其中，q₀和q₁分别表示质量域参考层和质量域待编层的量化步长，D₁ ^Q(q₀，q₁)表示当质量域参考层的量化步长为q₀、质量域待编层的量化步长为q₁时质量域待编层的编码失真值，R₀ ^Q(q₁)表示当以量化步长q₁为变元时质量域参考层的编码失真值，质量域待编层的编码失真模型参数s₀表示当Q₀＝Q₁时质量域待编层和质量域参考层的编码失真关系曲线的斜率值，b和β为参考层的编码失真模型参数；

所述质量域待编层的码率模型为：

$\left\{\begin{array}{c}{R}_1^Q(q_0,q_1)=m_1\·R_0^Q\left(q_0\right)+(m_0-m_1)\·R_0^Q\left(q_1\right)\\ R_0^R\left(q_0\right)=a\·{q_0}^{-\mathrm{\α}}\\ R_0^Q\left(q_1\right)=a\·{q_1}^{-\mathrm{\α}}\end{array}\right.,$

其中，q₀和q₁分别表示质量域参考层和质量域待编层的量化步长，R₁ ^Q(q₀，q₁)表示当质量域参考层的量化步长为q₀、质量域待编层的量化步长为q₁时质量域待编层的码率，R₀ ^Q(q₀)和R₀ ^Q(q₁)分别表示当分别以量化步长q₀和q₁为变元时质量域参考层的码率，质量域待编层的码率模型参数m₀和m₁分别表示当q₀＝q₁和q₁固定时质量域参考层和质量域待编层的码率呈线性关系的斜率值，a和α为参考层的码率模型参数。

9.根据权利要求8所述的视频编码处理方法，其特征在于，根据相应的空域层的所述码率、所述质量域待编层的编码失真模型和码率模型，分配所述质量域参考层和所述质量域待编层的码率具体包括：

根据所述质量域待编层的编码失真模型和码率模型，以所述相应的空域层的所述码率为质量域总码率，计算给定所述质量域总码率条件下，所述质量域参考层和所述质量域待编层的量化步长的值；

根据所述质量域参考层和所述质量域待编层的量化步长的值，分配所述质量域参考层和所述质量域待编层的码率。

10.根据权利要求9所述的视频编码处理方法，其特征在于，根据所述质量域待编层的编码失真模型和码率模型，以所述相应的空域层的所述码率为质量域总码率，计算给定所述质量域总码率条件下，所述质量域参考层和所述质量域待编层的量化步长的值具体包括：

根据所述质量域待编层的编码失真模型和码率模型，建立给定所述质量域总码率条件下，所述质量域参考层和所述质量域待编层的编码失真总和最小的模型；

采用拉格朗日乘数法计算所述质量域参考层和所述质量域待编层的编码失真总和最小的模型中，所述质量域参考层和所述质量域待编层的量化步长的值。

11.根据权利要求10所述的视频编码处理方法，其特征在于，所述质量域参考层和所述质量域待编层的编码失真总和最小的模型为：

$\left\{\begin{array}{c}{q}^{*}=(q_0^{*},q_1^{*})=\underset{q_0,q_1\∈Q}{\arg \min }[D_0^Q\left(q_0\right)+D_1^Q(q_0,q_1)]\\ R_0^Q\left(q_0\right)\≤{\mathrm{\ω}}_0\·R_{Q-\mathrm{Total}}\\ R_1^Q(q_0,q_1)\≤{\mathrm{\ω}}_1\·R_{Q-\mathrm{Total}}\end{array}\right.,$

其中，q₀和q₁分别表示质量域参考层和质量域待编层的量化步长， $q^{*}=(q_0^{*},q_1^{*})$ 表示质量域参考层和质量域待编层的最优量化矢量，Q表示质量域量化步长的备选集合，D₀ ^Q(q₀)和D₁ ^Q(q₀，q₁)分别表示质量域参考层和质量域待编层的编码失真值，R₀ ^Q(q₀)和R₁ ^Q(q₀，q₁)分别表示质量域参考层和质量域待编层的码率，R_Q-Total为质量域总码率，ω₀和ω₁为权重因子，且ω₀+ω₁＝1。

12.根据权利要求8至11任一项所述的视频编码处理方法，其特征在于，所述质量域参考层和所述质量域待编层分别为质量域基本层和质量域增强层。

13.一种视频编码处理装置，其特征在于，包括：

空域分配模块，用于在空域-质量域可伸缩视频编码中，分配各空域层的码率；

质量域失真模型建立模块，用于在所述各空域层中，通过分析质量域待编层和质量域参考层的编码失真的关系，建立所述质量域待编层的编码失真模型；

质量域码率模型建立模块，用于通过分析质量域待编层和质量域参考层的码率的关系，建立所述质量域待编层的码率模型；

质量域码率分配模块，用于根据相应的空域层的所述码率、所述质量域待编层的编码失真模型和码率模型，分配所述质量域参考层和所述质量域待编层的码率。

14.根据权利要求13所述的视频编码处理装置，其特征在于，所述空域分配模块包括：

空域失真模型建立单元，用于通过分析空域待编层和空域参考层的编码失真的关系，建立所述空域待编层的编码失真模型；

空域码率模型建立单元，用于通过分析所述空域待编层和所述空域参考层的码率的关系，建立所述空域待编层的码率模型；

空域码率分配单元，用于根据所述空域待编层的编码失真模型和码率模型，分配所述空域参考层和所述空域待编层的码率。

15.根据权利要求14所述的视频编码处理装置，其特征在于，所述空域码率分配单元包括：

空域量化步长计算单元，用于根据所述空域待编层的编码失真模型和码率模型，计算给定空域总码率条件下，所述空域参考层和所述空域待编层的量化步长的值；

空域分配单元，用于根据所述量化步长的所述值，分配所述空域参考层和所述空域待编层的码率。

16.根据权利要求15所述的视频编码处理装置，其特征在于，所述空域量化步长计算单元包括：

第一单元，用于根据所述空域待编层的编码失真模型和码率模型，建立给定空域总码率条件下，所述空域参考层和所述空域待编层的编码失真总和最小的模型；

第二单元，用于采用拉格朗日乘数法计算所述空域参考层和所述空域待编层的编码失真总和最小的模型中，所述空域参考层和所述空域待编层的量化步长的值。

17.根据权利要求14所述的视频编码处理装置，其特征在于，所述质量域码率分配模块包括：

质量域量化步长计算单元，用于根据所述质量域待编层的编码失真模型和码率模型，以所述相应的空域层的所述码率为质量域总码率，计算给定所述质量域总码率条件下，所述质量域参考层和所述质量域待编层的量化步长的值；

质量域分配单元，用于根据所述质量域参考层和所述质量域待编层的量化步长的值，分配所述质量域参考层和所述质量域待编层的码率。

18.根据权利要求17所述的视频编码处理装置，其特征在于，所述质量域量化步长计算单元包括：

第三单元，用于根据所述质量域待编层的编码失真模型和码率模型，建立给定所述质量域总码率条件下，所述质量域参考层和所述质量域待编层的编码失真总和最小的模型；

第四单元，用于采用拉格朗日乘数法计算所述质量域参考层和所述质量域待编层的编码失真总和最小的模型中，所述质量域参考层和所述质量域待编层的量化步长的值。

Images