CN1846446B - 编码视频图像的方法和布置 - Google Patents

Abstract

如今的视频编码器需要在许多编码选项之间做出智能选择。利用拉格朗日编码控制能够有效地进行该选择。但是拉格朗日编码控制仅提供了给定特定拉格朗日参数的结果，对应于一些未知传输速率。另一方面，速率控制算法提供了给定比特率处的编码结果，但是不具有拉格朗日编码控制的优化性能。对用于混合视频编码的速率控制和拉格朗日优化的组合进行了研究。新方法提出将这两个已知方法合并为利用宏块模式判定和量化适配的视频编码控制。通过试验结果验证和分析了所提出的方法的速率失真性能。结果表明，对于大多数比特率，每一个图像产生恒定比特数的组合的速率控制和拉格朗日优化实现了与仅利用拉格朗日优化的恒定斜率的情况相似的速率性能。

Description

编码视频图像的方法和布置

技术领域

本发明涉及一种对视频图像进行编码的方法和布置(arrangement)。特别地，其涉及宏块层的操作控制，并且可用于编码视频序列。

背景技术

包括MPEG-2Visual[1]，H.263[2]，MPEG-4Visual[3]和H.264/AVC[4]的大多数基于块的混合视频编码标准的规范仅提供比特流语法和解码处理，以便允许互可操作性。使编码处理处于范围之外以允许灵活的实现。然而，源编码器的操作控制是视频压缩的关键问题。对于视频源的编码，必须确定各种编码参数，例如量化参数、宏块和块模式、运动矢量和量化变换系数。一方面，所选的值针对给定的解码器来确定所产生的比特流的速率失真效率。另一方面，这些参数还确定所需的传输速率和解码延迟。

在基于固定速率信道的实时视频通信中，操作编码控制的一般目的是获得最佳可能视频质量，同时保持传输速率和解码延迟上的给定条件。由于所涉及的较大参数空间，这并非是微不足道的问题。另外，需要操作编码控制具有较低的复杂度，从而其能够应用于实时应用。

针对速率失真最佳化编码的广泛接受的方法是拉格朗日比特分配技术。该方法的普及是由于其效率和简单性而产生的。给定了针对宏块的固定量化参数QP，通过使拉格朗日代价函数最小化来确定宏块模式以及相关的块模式和运动矢量：

D+λ(QP)·R，

其中利用拉格朗日乘子λ相对于速率项R对失真测量值D进行加权。拉格朗日乘子λ仅取决于给定宏块量化参数QP。该拉格朗日编码控制被作者[5，6，7，8]成功地应用于H.263，MPEG-4Visual和H.264/AVC。在所有情况下，当利用固定量化参数QP对视频源进行编码时，该改进的编码策略分别与先前的H.263，MPEG-4Visual和H.264/AVC的编码策略相比，提供了可见的性能增益。

在[9]提出了用于操作基于块的混合视频编码器的简单和有效宏块速率控制算法。给定针对图像的目标比特数和该图像内的所有宏块的预测差错信号，按照非常精确地命中目标比特数的方式来调整宏块量化参数QP，同时使图像的失真最小。

由于必须考虑以下相互依赖性，这两个编码控制策略(拉格朗日比特分配技术和基于宏块的速率控制算法)的组合并非直接了当的：

-对于速率控制，宏块量化参数QP的确定取决于残余信号，并因而取决于估计的运动矢量以及所选的宏块和块编码模式。

-对于拉格朗日优化，运动估计和宏块/块模式判定基于拉格朗日代价函数的最小化，其中利用拉格朗日乘子λ相对于速率项对失真测量值进行加权。由于拉格朗日乘子λ(QP)是量化参数QP的函数，残余信号还取决于量化参数。

另外，必须总是结合复杂度考虑来观察操作编码控制的性能，包括避免由于参数QP和λ的相互依赖性造成的如以上两项所表现出的多重编码。

因此，本发明所要解决的技术问题是提供一种对视频图像进行编码的方法和布置(arrangement)，以及一种适当的计算机程序和适当的存储介质，其提供了拉格朗日比特分配技术的速率失真效率以及速率控制属性。

发明内容

根据本发明，通过权利要求1、10、11和12的特征来解决该任务分配。

本发明按照以下的方式来解决该问题，其中执行图像的预分析，其中针对宏块的至少一部分，根据至少一个估计的参数来确定有助于编码处理的至少一个控制参数，在第二步骤中，利用基于在预分析步骤中所确定的控制参数计算出的编码参数来对图像进行编码。

一种编码视频图像的布置(arrangement)包括至少一个芯片和/或处理器，其中按照以下方式安装芯片和/或处理器，按照该方式，能够执行一种编码视频图像的方法，从而执行图像的预分析，其中针对宏块的至少一部分，根据至少一个估计的参数来确定有助于编码处理的至少一个控制参数，在第二步骤中，利用基于在预分析步骤中所确定的控制参数计算出的编码参数来对图像进行编码。

在一些情况下，有利地，通过计算机程序来执行用于编码视频图像的方法。在将所述程序存储到计算机存储器中之后，这样的计算机程序使计算机能够运行编码视频图像的方法，其中计算机程序包含程序代码，用于执行一种编码视频图像的方法，其中执行图像的预分析，其中针对宏块的至少一部分，根据至少一个估计的参数来确定有助于编码处理的至少一个控制参数，在第二步骤中，利用基于在预分析步骤中所确定的控制参数计算出的编码参数来对图像进行编码。

例如，在通信网络或用于数据传输的网络中，可以得到这样的计算机程序(收费或免费)，作为可下载的数据文件。可以通过一种将权利要求11所述的计算机程序从用于数据传输的诸如因特网的网络下载到与所述网络相连的数据处理单元的方法来获取可按照该方式得到的计算机程序。

为了执行视频图像的编码，有利地，使用了一种在其上存储了程序的计算机可读存储介质，在将所述程序存储到计算机存储器中之后，所述程序使计算机能够运行编码视频图像的方法，其中计算机程序包含程序代码，用于执行一种编码视频图像的方法，其中执行图像的预分析，其中针对宏块的至少一部分，根据至少一个估计的参数来确定有助于编码处理的至少一个控制参数，在第二步骤中，利用基于在预分析步骤中所确定的控制参数计算出的编码参数来对图像进行编码。

在本发明的优选实施例中，将表示原始宏块样本和其预测之间的差别的宏块的残余信号的能量测量值用作控制参数，所述控制参数是基于预分析步骤中的至少一个估计的参数而确定的。

在本发明的另一优选实施例中，根据以下公式来计算用作控制参数的残余信号的能量测量值，作为宏块内用于变换编码的亮度和色度块的残余信号的方差的平均值： ${{\mathrm{\σ}}_i}^2=\frac{1}{N_R\·N_P}\underset{i=1}{\overset{N_B}{\mathrm{\Σ}}}\underset{k=1}{\overset{N_P}{\mathrm{\Σ}}}{(d_{i,j}\left(k\right)-\stackrel{\‾}{d_{i,j}})}^2;$ 其中N_B和N_P分别是宏块内用于变换编码的块(亮度和色度)数和这样的块内的样本数；d_i，j是宏块i内的块j的残余信号；以及

表示d_i，j的平均值。

在本发明的另一优选实施例中，假定帧内编码图像中的宏块的预测信号由具有零值的样本构成，并因而残余信号对应于原始宏块样本，针对预测编码图像，利用在预分析步骤中所估计的一个或多个位移矢量和参考索引，通过运动补偿预测来估计用于确定控制参数的宏块的预测信号。

在本发明的另一优选实施例中，所述预分析步骤包括通过使以下拉格朗日代价函数最小化来估计位移矢量m和参考索引r：

$[\hat{m},\hat{r}]=\underset{m,r}{\arg \min }\{D_{\mathrm{DFD}}(m,r)+{\mathrm{\λ}}_{\mathrm{motion}}\·R_{\mathrm{MV}}(m,r)\},$

其中，

$D_{\mathrm{DFD}}(m,r)=\underset{(x,y)\∈B}{\mathrm{\Σ}}|s(x,y,t)-s^{\′}(x-m_x,y-m_y,t_r)|$

确定了失真项，s(…，t)和s’(…，t_r)分别表示原始图像和由参考索引r所给定的已解码参考图像的亮度样本的数组；R_MV(m，r)指定了传送位移矢量[m_x，m_y]^T的所有分量和参考索引r所需的比特数；B是针对其估计位移矢量和参考索引的宏块、宏块分区或子宏块分区的区域；以及λ_motion≥0是拉格朗日乘子。

在本发明的另一优选实施例中，根据以下公式来设置在预分析步骤中用于位移矢量估计的拉格朗日乘子λ_motion：

${\mathrm{\λ}}_{\mathrm{motion}}=\sqrt{0.85\·{\stackrel{\‾}{\mathrm{QP}}}^2},$ 针对H.263，MPEG-4，或者

${\mathrm{\λ}}_{\mathrm{motion}}=\sqrt{0.85\·2^((\stackrel{\‾}{\mathrm{QP}}-12)/3)},$ 针对H.264/AVC，

其中

表示相同图像类型的最后编码图像的平均量化参数。

在本发明的另一优选实施例中，针对覆盖16×16亮度样本的区域的整个宏块来进行预分析步骤中的位移矢量估计，并且所述参考索引r并非是估计的，而是按照参考已解码图像缓冲器中所存储的时间最近参考图像的方式而确定的。

利用本发明，能够执行对基于块的混合视频编解码器的操作编码控制，提供了速率失真优化编码器[5，6，7，8]的速率失真效率、以及适合于低延迟交互应用的精确速率控制。针对MPEG-4Visual和H.264/AVC的仿真结果显示：所提出的编码策略实现了与没有速率控制的速率失真优化编码器几乎相同的速率失真性能。

本发明涉及对宏块层的操作控制。假定给定的全局速率控制设置了针对图像的目标比特数，从而保持了传输速率和解码延迟的条件。宏块层的操作控制以尽可能精确地命中了该目标比特数同时使图像的失真最小的方式确定了量化参数、宏块和块模式、运动矢量和量化变换系数。

附图说明

提供了以下示例来进一步详细地描述本发明。这些示例用于说明而非限定本发明。

图1是针对Foreman序列(QCIF，每秒10个图像)，本发明所提出的编码策略(点)与没有速率控制的速率失真优化编码策略[8](实线)相比的速率失真性能；

图2是针对Tempete序列(CIF，每秒30个图像)，本发明所提出的编码策略(点)与没有速率控制的速率失真优化编码策略[8](实线)相比的速率失真性能；

图3是针对所提出的编码策略，与目标比特速率相比所获得的平均比特率。

具体实施方式

在以下部分中，通过利用针对视频图像的本发明编码处理的操作编码控制来描述本发明。所述操作编码控制组合了两个方法的优点，即，拉格朗日比特分配技术的速率失真效率、以及[9]的速率控制属性。

在[5]中，已经观察到：当用于H.263基线编码时，拉格朗日运动估计对速率失真性能具有非常小的影响。这是因为由分配给16×16块的运动矢量所占用的比特速率非常小，并且用于运动估计处理的对λ的不适当的选择的影响非常小。因此，在本发明的新编码策略中，仅利用16×16块，根据对残余信号的最初估计来进行宏块量化参数QP的确定。对此，采用相同图像类型的最后编码图像的平均量化参数

来设置拉格朗日参数λ。类似于[9]的方法，利用估计的预测差错信号和剩余比特预算来选择量化参数(并因而选择相应的拉格朗日参数λ)。根据这些参数，通过使相应拉格朗日代价函数最小化，来选择运动矢量以及宏块和块模式。

由于本发明的主题是涉及宏块层的操作控制的两种方法的适当组合，简要描述整个操作控制算法来避免对该概念的误解。主要贡献在于拉格朗日比特分配技术和速率控制方法之间的相互依赖性问题的简单的低代价解决方案。通过仅利用16×16块和单个的参考图像来引入低代价预分析/预估计步骤，解决了该问题。结果，必须对[9]中的速率控制方法的一些算法细节进行适配。

在以下部分1和2中，将描述宏块层的操作控制的整个算法。在部分3中给出了将所提出的算法的性能与仅利用拉格朗日优化的恒定斜率方法进行比较的试验结果。

1、宏块层操作控制的初始化

通过全局速率控制算法来设置针对图像的目标比特数R_total。将用于传送该图像的宏块层语法元素的比特预算R_B初始化为：

R_B＝R_total-R_header(1)

其中R_header表示编码图像和/或给定图像类型的片段报头信息所需的平均比特数。

对于预测编码图像，针对图像的所有宏块i执行针对16×16块和时间上最近参考图像的初始运动估计步骤。通过使拉格朗日代价函数最小化来获得相应的初始运动矢量

${\hat{m}}_i=\underset{m\∈M}{\arg \min }\{D_{\mathrm{DFD}}(i,m)+{\mathrm{\λ}}_{\mathrm{motion}}\·R_{\mathrm{MV}}(i,m)\}---\left(2\right)$

其中失真项给定为：

$D_{\mathrm{DFD}}(i,m)=\underset{(x,y)\∈B_i}{\mathrm{\Σ}}|s(x,y,t)-s^{\′}(x-m_x,y-m_y,\mathrm{\Δt})|.---\left(3\right)$

s(…，t)和s’(…，t-Δt)分别表示原始图像和解码参考图像的亮度信号。R_MV(i，m)指定了传送运动矢量[m_x，m_y]^T的所有分量所需的比特数，M是运动矢量搜索范围，而B_i表示第i宏块的区域。

对于该初始估计步骤，利用相同图像类型的最后编码图像的平均量化参数

来设置拉格朗日乘子λ_motion：

H.263，MPEG-4 ${\mathrm{\λ}}_{\mathrm{motion}}=\sqrt{0.85\·{\stackrel{\‾}{\mathrm{QP}}}^2}---\left(4\right)$

JVT/H.264: ${\mathrm{\λ}}_{\mathrm{motion}}=\sqrt{0.85\·2^((\stackrel{\‾}{\mathrm{QP}}-12)/3)}---\left(5\right)$

根据该初始估计或根据初始源数据(针对帧内图像)，根据本发明，针对每一个宏块来计算方差测量值σ_i ²：

${\mathrm{\σ}}_i^2=\frac{1}{N_B\·N_P}\underset{j=1}{\overset{N_B}{\mathrm{\Σ}}}\underset{k=1}{\overset{N_P}{\mathrm{\Σ}}}{(d_{i,j}\left(k\right)-\stackrel{\‾}{d_{i,j}})}^2.---\left(6\right)$

N_B和N_P分别是在宏块内用于变换编码的块数(亮度和色度)、以及在这样的块内的样本数。d_i，j表示宏块i内的块j的残余信号，其平均值由表示。对于帧内图像，该残余信号对应于原始宏块样本，对于预测编码图像，其表示预测差错信号。

根据方差测量，根据以下公式(参见[9])将加权因子α_i分配给每一个宏块i：

其中N是图像内的宏块数。将以下参数设置为其初始值[9]：

-剩余复杂度测量值： $S_1=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\α}}_i\·{\mathrm{\σ}}_i$

-剩余宏块：N₁＝N

-剩余比特预算：B₁＝R_B

-模型参数：K₁＝K_N(相同类型的最后图像)

C₁＝C_N(相同类型的最后图像)

j_K＝0

对于序列的第一图像，将模型参数K₁和C₁设置为一些预定值。

2、宏块层的操作控制

2.1.目标量化参数设置

根据以下公式(参见[9])来设置针对第i宏块的目标量化步骤尺寸Q_i ^*：

$Q_i^{*}=\left\{\begin{array}{c}\max (Q_{\min },\min (Q_{\max },\sqrt{\frac{K_i\·{\mathrm{\σ}}_i\·S_i}{{\mathrm{\α}}_i\·(B_i-N_i\·C_i)}})):B_i>N_i\·C_i\\ Q_{\max }:B_i\≤N_i\·C_i\end{array}\right.---\left(8\right)$

其中Q_min和Q_max是语法所支持的最小和最大量化步骤尺寸。

根据目标量化步骤尺寸，根据以下公式(参见[9])来设置目标量化参数QP_i ^*：

$Q{P}_i^{*}=\max (Q{P}_{i-1}-\mathrm{\ΔQ}{P}_{\max },\min (Q{P}_{i-1}+\mathrm{\ΔQ}{P}_{\max },f_Q\left(Q_i^{*}\right))),---\left(9\right)$

其中QP_i-1是最后宏块的量化参数，而ΔQP_max是最大容许量化变化(通过语法给定或用户定义)。函数f_Q(..)指定了量化步骤尺寸到量化参数上的映射；其取决于下层语法。

2.2.宏块运动估计和模式判决

基于所选的目标量化参数，根据[5]如下设置用于宏块i的运动估计和模式判定的拉格朗日乘子：

$H.263,\mathrm{MPEG}-4:{\left({\mathrm{\λ}}_{\mathrm{motion},i}\right)}^2={\mathrm{\λ}}_{\mathrm{mode},i}=0.85\·Q{P}_i^{{*}^2}---\left(10\right)$

H.264/AVC：(λ_motion，i)²＝λ_mode，i＝0.85·2^((QP^* _i-12)/3)(11)

对于所有运动补偿后的宏块/块模式，通过使拉格朗日函数最小化(参见(2))来获得相关运动矢量m_i和参考索引r_i(H.263附件U和H.264/AVC)：

$[m_i,r_i]=\underset{m\∈M,r\∈R}{\arg \min }\{D_{\mathrm{DFD}}(i,m,r)+{\mathrm{\λ}}_{\mathrm{motion},i}\·R_{\mathrm{MV}}(i,m,r)\}---\left(12\right)$

其中失真项给定为：

$D_{\mathrm{DFD}}(i,m,r)=\underset{(x,y)\∈B_i}{\mathrm{\Σ}}|s(x,y,t)-s^{\′}(x-m_x,y-m_y,t_r)|---\left(13\right)$

在此，R表示解码图像缓冲器中所存储的参考图像的集合，M指定了参考图像内的运动矢量搜索范围，t_r是由参考索引r所参考的参考图像的采样时间，s(…，t)和s’(…，t_r)分别表示原始图像和解码的参考图像的亮度信号；而R_MV(i，m，r)指定了传送运动矢量m＝[m_x，m_y]^T的所有分量、以及参考索引r所需的比特数。

针对给定宏块(块)的宏块(或块)模式的确定基本上遵循相同的方法。从给定的可能宏块/块模式S_mode的集合中，选择使以下拉格朗日代价函数最小的模式p_i：

$p_i=\underset{p\∈S_{\mathrm{mode}}}{\arg \min }\{D_{\mathrm{REC}}(i,p|Q{P}_i^{*})+{\mathrm{\λ}}_{\mathrm{mode}}\·R_{\mathrm{all}}(i,p|Q{P}_i^{*})\}.---\left(14\right)$

失真测量值表示原始宏块/块样本s和重构样本s’之间的平方差的和：

$D_{\mathrm{REC}}(i,p|Q{P}_i^{*})=\underset{(x,y)\∈B}{\mathrm{\Σ}}{(s(x,y)-s^{\′}(x,y|p,Q{P}_i^{*}))}^2,---\left(15\right)$

其中，B指定了相应的宏块/块样本的集合。R_all(i，p|QP_i ^*)是与选择模式p和量化参数QP_i ^*相关的比特数，其包括针对宏块报头的比特、运动矢量和参考索引、以及所有亮度和色度块的量化变换系数。

2.3.量化参数的最终设置

用于传送宏块语法元素的QP_i取决于所选的宏块模式和作为量化变换系数的其相关参数。如果语法允许针对所选宏块参数的量化变化，则选择量化参数QP_i＝QP_i ^*。否则，取来自最后宏块的量化参数：QP_i＝QP_i-1。

2.4.针对操作宏块层控制的模式更新

在完成宏块的编码之后，对操作编码控制的模型参数进行更新。在第一步骤中，根据本发明来计算所谓的宏块参数K_MB和C_MB：

$K_{\mathrm{MB}}=Q_i^{**}\·(R_{\mathrm{all},i}-R_{\mathrm{MV}}\left({\hat{m}}_i\right))/{\mathrm{\σ}}_i^2---\left(16\right)$

$C_{\mathrm{MB}}=R_{\mathrm{MV}}\left({\hat{m}}_i\right)---\left(17\right)$

其中，Q_i ^**表示与目标量化参数QP_i ^*相对应的量化步骤尺寸：

$Q_i^{**}=f_Q^{-1}\left(Q{P}_i^{*}\right).$

R_all是用于对包括所有语法元素的所考虑宏块进行编码的比特数，而

是与运动矢量

相关的比特数，已经在初始化步骤中对其进行了估计(部分1)。

根据以下公式(参见[9])来设置当前编码图像的平均模型参数K_F和C_F：

C_F＝C_F·(i-1)/i+C_MB/i  (18)

if(K_MB＞0andK_MB＜1000)

{

j_K＝j_K+1(19)

K_F＝K_F·(j_K-1)/j_K+K_MB/j_K(20)

}

根据这些参数，对用于编码以下宏块的模型参数进行更新，具体如下(参见[9])：

-剩余复杂度测量值：S_i+1＝S_i-α_i·σ_i

-剩余宏块：N_i+1＝N_i-1

-剩余比特预算：B_i+1＝B_i-R_all，i

-模型参数：K_i+1＝K_F·i/N+K₁·(N-i)/N  (21)

C_i+1＝C_F·i/N+C₁·(N-i)/N  (22)

3、试验结果

对于H.264/AVC视频编码标准，通过将其与仅利用拉格朗日优化的编码策略进行比较，演示了本发明的新编码策略的效率(针对整个序列的量化参数的固定值)。两种编码器仅使用序列开始处的一个帧内图像，将所有随后图像编码为预测编码P图像。在两种情况下，使用了5个参考图像。通过在[-32...32]×[-32...32]样本的范围上的对数整数像素搜索和随后的一半和四分之一像素提炼，进行运动估计。利用环境自适应二进制算术编码(CABAC)来进行熵编码。

对于本发明的新的编码策略，使用以下的简单的全局速率控制技术。给定要进行编码的图像数N、单位为千比特/秒的目标平均比特率R、以及单位为Hz的图像率F，通过以下公式来确定针对第一帧内图像i＝1的目标比特数B₁ ^*：

$B_1^{*}=\frac{6000\·N\·R}{F\·(N+5)}\·$

对于所有剩余P图像i＞1，将目标比特预算设置为：

$B_i^{*}=\frac{1}{N-i+1}(\frac{1000\·N\·R}{F}-\underset{k=1}{\overset{i-1}{\mathrm{\Σ}}}{B}_k)$

其中B_k表示由第k图像所实际占用的比特数。

在图1和2中，针对具有不同特性的两个测试序列，比较两个编码器的速率失真性能。这些曲线示出了亮度分量的平均PSNR相对于完整的比特流的平均测量比特速率的关系。可以看到，本发明的编码策略提供了与没有速率控制的速率失真优化编码器[8]几乎相同的速率失真效率，同时精确地命中了目标比特速率。将针对本发明所提出的编码器的获得的平均比特速率与目标比特速率一起显示在表1中。

参考文献

ITU-T and ISO/IEC JTC1，“Generic coding of movingpictures and associated audio information-Part 2：Video，”ITU-T Recommendation H.262-ISO/IEC 13818-2(MPEG-2)，Nov.1994.

ITU-T，“Video coding for low bitrate communication，”ITU-T Recommendation H.263；version 1，Nov.1995；version 2，Jan.1998.

ISO/IEC JTC1，“Coding of audio-visual objects-Part2：Visual，”ISO/IEC 14496-2(MPEG-4visual version 1)，Apr.1999；Amendment 1(version 2)，Feb.2000.

T.Wiegand，G.Sullivan，A.Luthra，“Draft ITU-TRecommendation and Final Draft International Standard of JointVideo Specification(ITU-T Rec.H.264|ISO/IEC 14496-10AVC)，”Joint Video Team(JVT)of ISO/IEC MPEG and ITU-T VCEG，JVT-G050rl，May 2003.

T.Wiegand，B.D.Andrews，“An Improved H.263 CoderUsing Rate-Distortion Optimization，”Doc.ITU-T/SG17/Q15-D-13，Apr.1998.

G.J.Sullivan，T.Wiegand，“Rate-DistortionOptimization for Video Compression，”in IEEE Signal ProcessingMagazine，vol.15，no.6，pp.74-90，Nov.1998.

H.Schwarz，T.Wiegand，“An Improved MPEG-4 CoderUsing Lagrangian Coder Control，”ITU-T/SG16/Q6/VCEG-M49，April 2001，Austin，Texas，USA.

H.Schwarz，T.Wiegand，“An Improved H.26L Coder UsingLagrangian Coder Control，”ITU-T/SG16/Q6/VCEG-D146，June 2001，Porto Seguro，Brasil.

J.Ribas-Corbera，S.Lei，“Rate Control in DCT VideoCoding for Low-Delay Communications，”in IEEE Transactions onCircuit and Systems for Video Technology，vol.9，no.1，Feb.1999.

Claims (7)

1.一种对视频图像中的宏块进行编码的方法，该方法包括步骤：

-针对视频图像，通过对相同图像类型的前一图像的宏块的量化参数进行平均，计算第一量化参数

-基于第一量化参数，计算初始拉格朗日参数(λ)，

-计算预测差错信号(σ_i ²)，其中，使用宏块中块的各自的残余信号和平均残余信号，

-基于预测差错信号，计算针对宏块的加权因子，

-基于加权因子、预测差错信号和剩余比特预算，计算目标量化步骤尺寸(Q_i ^*)和相应的目标量化参数(QP_i ^*)，

-基于目标量化参数(QP_i ^*)，计算优化拉格朗日参数(λ_motion)，

-使用优化拉格朗日参数(λ_motion)，基于拉格朗日函数，为宏块选择运动矢量和/或编码模式，

-使用所计算和所选择的参数，对宏块进行编码，以及

-为下一宏块计算剩余比特预算(B_i)。

2.根据权利要求1所述的方法，其中，基于目标量化参数(QP_i ^*)，计算优化拉格朗日参数(λ_motion)的步骤根据如下公式进行：

在H.263或MPEG-4编码的情况下：以及

在H.264/AVC    编码的情况下：(λ_motion，i)²λ_mode，i＝0.85·2^((QP^* _i-12)/3)，

其中，i是宏块索引，λ_motion是优化拉格朗日参数，λ_mode是优化拉格朗日参数λ_motion的平方，且QP_i ^*是目标量化参数。

3.根据权利要求1或2所述的方法，其中，使用优化拉格朗日参数(λ_motion)，基于拉格朗日函数，为宏块选择运动矢量的步骤根据如下公式进行：

$[m_i,r_i]=\underset{m\∈M,r\∈R}{\arg \min }\{D_{\mathrm{DFD}}(i,m,r)+{\mathrm{\λ}}_{\mathrm{motion},i}\·R_{\mathrm{MV}}(i,m,r)\},$

其中，i是宏块索引，m是运动矢量，M是运动矢量搜索范围，R表示所存储的参考图像的集合，且r是参考索引，

其中，失真项为 $D_{\mathrm{DFD}}(i,m,r)=\underset{(x,y)\∈B_i}{\mathrm{\Σ}}|s(x,y,t)-s^{\′}(x-m_x,y-m_y,t_r)|,$

s(…，t)和s’(…，t_r)分别表示原始图像和由参考索引r所给定的已解码参考图像的亮度样本的数组，

R_MV(m，r)指定了传送位移矢量[m_x，m_y]^T的所有分量和参考索引r所需的比特数，

B是针对其估计位移矢量和参考索引的宏块、宏块分区或子宏块分区的区域，以及

λ_motion是优化拉格朗日参数。

4.根据权利要求1或2所述的方法，其中，使用优化拉格朗日参数(λ_motion)，基于拉格朗日函数，为宏块选择编码模式的步骤根据如下公式进行：

$p_i=\underset{p\∈S_{\mathrm{mode}}}{\arg \min }\{D_{\mathrm{REC}}(i,p|{\mathrm{QP}}_i^{*})+{\mathrm{\λ}}_{\mathrm{mode}}\·R_{\mathrm{all}}(i,p|{\mathrm{QP}}_i^{*})\},$

其中，i是宏块索引，p_i是索引为i的宏块的编码模式，S_mode是可能宏块/块模式的给定集合，λ_mode是优化拉格朗日参数λ_motion的平方，失真测量D_REC表示原始宏块/块样本与重构样本之间的平方差之和，R_all是与选择模式p和量化参数QP_i ^*相关的比特数。

5.根据权利要求1或2所述的方法，其中，计算目标量化步骤尺寸(Q_i ^*)和相应的目标量化参数(QP_i ^*)的步骤根据如下公式进行：

$Q_i^{*}=\left\{\begin{array}{cc}\max (Q_{\min },\min (Q_{\max },\sqrt{\frac{K_i\·{\mathrm{\σ}}_i\·S_i}{{\mathrm{\α}}_i\·(B_i-N_i\·C_i)}}))& :B_i>N_i\·C_i\\ Q_{\max }& :B_i\≤N_i\·C_i\end{array}\right.$

其中，Q_min和Q_max分别是所支持的最小量化步骤尺寸和最大量化步骤尺寸，以及

${\mathrm{QP}}_i^{*}=\max ({\mathrm{QP}}_{i-1}-\mathrm{\Δ}{\mathrm{QP}}_{\max },\min ({\mathrm{QP}}_{i-1}+\mathrm{\Δ}{\mathrm{QP}}_{\max },f_Q\left({Q_i}^{*}\right))),$

其中，i是宏块索引，Q_i ^*是目标量化步骤尺寸，QP_i ^*是相应的目标量化参数，QP_i-1是前一宏块的量化参数，ΔQP_max是最大容许量化变化，B_i是当前剩余比特预算，N_i是当前剩余宏块的数目，K_i和C_i是当前模型参数，α_i是加权因子，S_i是当前剩余复杂度测量值，σ_i ²表示预测差错信号，且f_Q(..)是指定了量化步骤尺寸到量化参数上的映射的函数。

6.根据权利要求1或2所述的方法，其中，基于预测差错信号，计算针对宏块的加权因子的步骤根据如下公式进行：

其中，R_B是用于传送图像的宏块层语法元素的比特预算，且N是图像内宏块的数目，σ_i ²表示预测差错信号。

7.一种对视频图像中的宏块进行编码的系统，该系统包括：

-用于针对视频图像，通过对相同图像类型的前一图像的宏块的量化参数进行平均，计算第一量化参数的装置，

-用于基于第一量化参数，计算初始拉格朗日参数(λ)的装置，

-用于计算预测差错信号(σ_i ²)的装置，其中，使用宏块中块的各自的残余信号和平均残余信号，

-用于基于预测差错信号，计算针对宏块的加权因子的装置，

-用于基于加权因子、预测差错信号和剩余比特预算，计算目标量化步骤尺寸(Q_i ^*)和相应的目标量化参数(QP_i ^*)的装置，

-用于基于目标量化参数(QP_i ^*)，计算优化拉格朗日参数(λ_motion)的装置，

-用于使用优化拉格朗日参数(λ_motion)，基于拉格朗日函数，为宏块选择运动矢量和/或编码模式的装置，

-用于使用所计算和所选择的参数，对宏块进行编码的转置，以及

-用于为下一宏块计算剩余比特预算(B_i)的装置。

Images