CN101395923A - 用于在图像信号编码中为图像中的像素块组确定比特分配的方法及设备 - Google Patents

Abstract

优化比特分配是视频压缩领域的一个重要课题，用于提高编码效率，即最大程度利用可用数据速率。就人类视觉系统而言，人类通常对图像的某些部分比对该图像的其他部分更加关注。因此，应当针对不同关注度的图像区域(GOB_i)优化比特分配。本发明的失真驱动比特分配方案以与人类视觉系统一致的方式图像区域分配编码/解码误差失真，同时满足比特率的约束。本发明采用失真/比特率/ρ－量化参数柱状图分析。基于相应的表(

[QP_n]、

[QP_n]以及

[QP_n])，确定(PREALUTI、DISALL、RALL)针对不同关注区域的量化参数、比特率、失真以及非零系数的百分比之间的关系。其后，利用(RDBALL)ρ－域比特率控制来计算每个宏块组内的比特分配。

Description

用于在图像信号编码中为图像中的像素块组确定比特分配的方法及设备

技术领域

本发明涉及一种用于在图像信号编码中为像素块组确定比特分配的方法以及设备，通过采用所述方法以及设备，这些像素块组属于图像中的像素块的相应任意形状区域的不同关注重要性级别。

背景技术

优化比特分配是视频压缩中的一个重要问题，用于提高编码效率，即最大程度利用可用数据速率。以有限的比特率实现最佳感知质量是优化比特分配的目标。就人类视觉系统而言，人类通常对图像的某些部分比对该图像的其他部分更加关注。正如例如在L.Itti，Ch.Koch，E.Niebur，“A Modelof Saliency-Based Visual Attention for Rapid Scene Analysis”，IEEETransactions on Pattern Analysis and Machine Intelligence，第20卷，第11期，1998年11月中所描述的那样，“关注区域”，即图像中的感知敏感区域，往往引起人们更多的关注。因此，基于不同关注度图像区域的不同感知重要性的优化比特分配成为视频压缩技术中的研究课题。

例如，MPEG2和MPEG4中的宏块层比特率控制为当前帧中的所有宏块选择量化(以下称为变换)步长Q_step的值，以便用于这些宏块的比特的和接近于帧的目标比特率B。MPEG2和MPEG4支持31种不同的Q_step值。在MPEG4 AVC中，标准支持总共52个Q_step值，并且这些值以量化参数值QP作为索引。

Ch.W.Tang，Ch.H.Chen，Y.H.Yu，Ch.J.Tsai，“A novel visual distortionsensitivity analysis for video encoder bit allocation”，ICIP 2004，第5卷，2004年10月24-27日，第3225-3228页，提出了对于视觉失真敏感度(即人类视觉检测活动场景中的失真的能力)的描述，当比特分配方案极为简单时，可以用以下公式描述：

QP_N＝QP+(1-VDS_i，j/255)*Δq         (1)

其中，QP是由速率控制所分配的初始量化参数，Δ_q是用于限制QP的修改的参数，VDS_i，j是图像中的第(i，j)个宏块(标记为MB)的视觉失真敏感度值，QP_N是修正后的量化参数。该比特分配方案比较粗糙简单，并且没有考虑精确的比特率控制和失真分布控制。

在S.Sengupta，S.K.Gupta，J.M.Hannah的“Perceptually motivatedbit-allocation for H.264 encoded video sequences”，ICIP 2003中，将图像划分为前景和背景区域，然后在不保证背景质量的情况下为前景质量预先确定一个目标失真D_tar。背景质量随距前景的距离而改变。质量下降率由视觉敏感因子控制

S＝e^-d/a               (2)

其中a是控制背景质量下降率的常数，d是背景像素距最近的前景像素的距离。这一方案试图给出与人类视觉系统相一致的失真分布，然而其性能受所使用的模型精度的影响，并且无法解释如何获得D_tar以及如何在预定比特预算下根据给定等式保持质量下降。

为了解决具有比特预算约束的优化比特分配的问题，典型的比特分配算法基于采用Lagrangian乘子处理的率失真优化，可以利用与下列表达式类似的表达式将Lagrangian乘子处理的率失真优化描述为以小于R_T的约束率R来最小化总失真D的约束优化问题：

$\min J:J=D+\mathrm{\λ}\×R=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{D}_i+\mathrm{\λ}\×\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{R}_i---\left(3\right)$

其中D_i和R_i是每个单元i(MB或关注区域)的失真和比特率。

假设如上所述，每个MB的率和失真仅仅取决于对编码参数的选择，则可以简化等式(3)的优化，以便使每个MB的开销最小化：

minJ_i：J_i＝D_i+λ×R_i          (4)

已经提出使用基于在每个MB的编码模式判决中根据以下公式修改Lagrange乘子的优化比特分配方案：

λ′＝α×λ                   (5)

其中α是用于根据不同级别的感知重要性修改Lagrange乘子的缩放因子。

还提出了向不同关注区域的失真添加不同加权因子W_i，以执行优化比特分配：

$\min J:J=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{w}_i\×D_i+\mathrm{\λ}\×\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{R}_i---\left(6\right)$

由此，可以基于如同下式的ρ-域比特率控制模型推导出率和失真模型：

R_i＝Aρ_i+B

$D_i=384{\mathrm{\σ}}_i^2{e}^{-{\mathrm{\θ\ρ}}_i/384}---\left(7\right)$

可以将等式(7)代入等式(6)，以获得比特分配的优化解。

已知还可以使用如公式(8)所示的基于Gaussian分布的率失真模型来获得比特分配的最优结果：

$D_i={\mathrm{\σ}}_i^2\×e^{-{\mathrm{\γR}}_i}---\left(8\right)$

发明内容

然而，已知方法无法显著影响失真分布以使其与人类视觉系统特性更加一致。例如，根据不同关注区域对于人眼的不同重要程度，对不同关注区域使用不同的加权因子W_i，实际上无法相应地影响失真分布。此外，已知方法的精度(特别在MB级)不足以获得更好的性能。

此外，已知方法在保持失真分布与比特分配约束间的良好折中方面存在问题。

本发明所要解决的问题是为视频信号编码中的比特率控制提供改进的失真驱动比特分配。这个问题由权利要求1中所公开的方法解决。权利要求2公开了一种使用该方法的设备。

本发明的失真驱动比特分配方案以与人类视觉系统一致的方式给图像区域分配编码/解码误差失真，并满足比特率的约束。“失真驱动”意味着，比特分配在比特率约束下实现优化的编码/解码误差失真分布，其主要目标不在于最小化失真。本发明使图像内的失真分布与人类视觉特性相一致，从而以有限的比特率达到了更好的主观质量，或者使得在保持一致的主观质量的同时降低比特率。

本发明采用失真/比特率/ρ-量化参数柱状图分析。基于这种柱状图分析，确定量化参数、比特率、失真以及非零系数百分比间的关系。失真分配方案基于残差信号(模式判决和帧内或帧间预测之后，变换和量化之前)是Gaussian分布的假设。然后，利用rho-域(ρ-域)比特率控制来计算每个宏块组(GOB)内的比特分配。

原理上，本发明的方法适于在包括变换以及对变换系数块的量化的图像信号编码中为图像中的像素块组确定比特分配，所述图像被划分为像素块的规则网格，并且所述像素块组属于所述图像中的像素块的相应任意形状区域的不同关注重要性级别，以及其中，对每个像素块组的编码/解码失真进行控制，使其基本与该像素块组的关注重要性级别成正比，以及其中，给编码图像分配比特预算，并且所述量化受量化参数的控制，所述方法包括以下步骤：

- 针对当前图像，关于所述量化参数的候选，为每个像素块组建立估计失真、比特率、以及所述量化后的零幅度系数的数目的表、列表或者函数；

- 利用所述估计失真和比特率的表、列表或者函数，为所述像素块组中的每一个计算相应的失真分布，以及利用以下步骤的输出，修改所述失真分布，以达到所述比特预算；

- 基于所述估计失真和比特率的表格、列表或者函数，以及基于所述计算得到的失真分布，为所述像素块组中的每一个计算估计比特率；

- 利用所述估计比特率以及零幅度系数的数目的表、列表或者函数，为所述像素块组中的每一个执行ρ-域比特分配，以确定用于对像素块进行量化编码的所述量化参数中的相应参数。

原理上，本发明的设备适于在包括变换以及对变换系数块的量化的图像信号编码中为图像中的像素块组确定比特分配，所述图像被划分为像素块的规则网格，并且所述像素块组属于所述图像中的像素块的相应任意形状区域的不同关注重要性级别，以及其中，对每个像素块组的编码/解码失真进行控制，使其基本与该像素块组的关注重要性级别成正比，以及其中，给编码图像分配比特预算，并且所述量化受量化参数的控制，所述设备包括：

- 适于针对当前图像，关于所述量化参数的候选，为每个像素块组建立估计失真、比特率、以及所述量化后的零幅度系数的数目的表、列表或者函数的装置；

- 适于利用所述估计失真和比特率的表、列表或者函数，为所述像素块组中的每一个计算相应的失真分布，以及利用以下步骤的输出，修改所述失真分布，以达到所述的比特预算的装置；

- 适于基于所述估计失真和比特率的表、列表或者函数，以及基于所述计算得到的失真分布，为所述像素块组中的每一个计算估计比特率的装置；

- 适于利用所述估计比特率以及零幅度系数的数目的表、列表或者函数，为所述像素块组中的每一个执行ρ-域比特分配，以确定用于对像素块进行量化和编码的所述量化参数中的相应参数系数的装置。

各个从属权利要求公开了本发明的有益附加实施例。

附图说明

下面参考附图对本发明的示例性实施例进行说明，在附图中：

图1示出了示例关注度掩图；

图2示出了基于本发明的内容的失真驱动比特分配(CDBA)方案的流程图。

具体实施方式

如上所述，人类通常对图像的某些部分比图像中的其他部分更为关注。将受到更多关注的部分称为“关注区域”。在上述L.Itti等人的文章以及欧洲申请05300974.2中，从给定图像的视觉输入中提取一组灰度级特征图。这些特征包括：亮度、颜色、方向等等。然后在每个特征图中，提取出最显著的区域。最后，以单纯的自下而上的方式将所有的特征图合并为被认为是图像的关注信息的主“显著图”。由此，就可以获得每个图像的关注掩图，后者描述了该图像的相应区域的不同关注重要性级别。

图1示出了示例关注度掩图，后者将图像中的宏块划分为一组四个关注重要性级别M_i，i＝1...4。给白色块分配级别M₄，给阴影较浅的块分配级别M₃，给阴影较深的块分配级别M₂，并给具有对角阴影线的块分配级别M₁。较大的M_i值意味着，由于该区域是视觉重要性较低的区域，因而可以容忍更大的失真。例如，在N＝2的情况下，M₁＝1和M₂＝2意味着背景失真级别(级别2)可以是前景失真级别(级别1)的两倍。

这里并未说明如何计算级别集合以及对应的视觉重要性数值M_i。比特分配可以基于以下假设：获得了具有M_i，(i＝1...N)的关注度掩图，其中N是关注级别的数目。

从根本上说，可以按如下方式描述失真驱动比特分配问题：

按照关注度掩图，可以根据不同的关注或掩蔽值M_i将图像划分为N个GOB(宏块组)，每个GOB_i包含K_i个宏块(以下标识为MB)，且 $\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{K}_i=N_{\mathrm{MB}},$ 其中N_MB是一个图像中的MB的总数目。本发明的处理利用帧比特预算R_f，在以下两个约束条件下，根据相应的关注度掩图值M_i给GOB_i中的每个MB分配失真，其中可以根据任意帧级比特率控制推导出帧比特预算R_f：

$\stackrel{\‾}{D_i}=D_u\×M_i---\left(9\right)$

$\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\stackrel{\‾}{R_i}\≈R_f---\left(10\right)$

其中，

是分配给每个GOB_i的比特率，D_u是每个MB的恒定失真单位。等式(9)意味着，每个GOB_i的失真(基本上)与其关注度掩图的值成正比，因而失真分布将与人类感知相一致。等式(10)意味着，在这种情况下应满足总的帧或图像比特预算R_f。因此，本发明应提供基于视觉关注分析的失真驱动比特分配方案，并且结果失真以及比特率应满足等式(9)和等式(10)的要求。

在图2中，描绘了基于本发明内容的失真驱动比特分配(CDBA)方案的流程图。由于已经公开了许多关于构建关注区模型的研究论文，例如上面提到L.Itti等人的文章以及欧洲申请05300974.2，因此假设已经获得了关注度掩图，图像被划分为N个GOB，并且根据任意帧级或场级速率控制算法推导得到了帧比特预算R_f。然后，执行以下步骤，以计算失真驱动比特分配：

步骤1)预分析以及查找表初始化PREALUTI

对当前正在处理的图像，针对每个GOB_i，(i＝1...N)，基于柱状图分析算法，为每个GOB确定三个查找表或列表或函数

[QP_n]和ρGOB_i[QP_n]，其中QP_n是候选量化参数，

是估计失真(以每MB的平均失真为单位)，

是量化参数QP_n下每个GOB_i的比特率，以及ρGOB_i[QP_n]是使用量化参数QP_n的量化后，GOB_i的零幅度系数的数目。

步骤2)失真分配DISALL

步骤2.1)在恒定比特率下对失真分布进行估计ESTDDISTR

假设每个GOB_i包含K_i个MB，并且 $\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{K}_i=N_{\mathrm{MB}},$ 其中N_MB是一个图像中的MB的总数目，那么在恒定比特率(CBR)输出(即不考虑不同关注级别区域中不同的失真级别)的情况下，为每个GOB_i分配的比特率应为 $R_i=R_f\×\frac{K_i}{N_{\mathrm{MB}}}.$ 因此，可以通过查找表

和

推导出针对每个GOB_i的对应的初始失真值下面将该失真值作为含有约束比特预算的失真乘法值予以使用。

步骤2.2)计算失真单位CALLDU

基于残差信号幅度(即，变换后的预测误差信号)具有Gaussian分布以及相应的率失真模型(参见W.Lai，X.D.Gu，R.H.Wang，W.Y.Ma，H.J.Zhang，“A content-based bit allocation model for video streaming”，ICME′04，2004IEEE International Conference on Multimedia and Expo，第2卷，2004年6月27-30日，第1315-1318页)的假设，可以使用以下公式获得失真单位Du：

$D_u=e^{(\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\ln \stackrel{\stackrel{\‾}{\‾}}{D_i}-\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\ln M_i-\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\ln K_i)/N}---\left(11\right)$

步骤2.3)获得经修正的失真分配GREFDDIRTR

通过使用公式(9)： $\stackrel{\‾}{D_i}=D_u\×M_i$ 为GOB_i中的每个MB获得分配的失真

由于Gaussian分布假设的不精确性，可以基于来自步骤3)的反馈来进行细微的修改，以满足给定的比特预算。

由于每个量化参数下的失真或比特率应当是离散的，并且无法根据公式 $\stackrel{\‾}{D_i}=D_u\×M_i$ 实现精确的失真值，因此可以使用预分析步骤1)中产生的查找表，并调整使

成为该失真查找表中最接近于估计值D_u×M_i的值。关于来自步骤3)的反馈，如果步骤3)中的估计的比特率

大于或小于比特预算，则可以通过检查查找表中的相邻数值(接近于D_u×M_i)在步骤2)中进行某些修改，以满足给定的比特预算。

步骤3)比特率分配RALL

基于

和的表以及来自步骤2)的

可以直接获得针对每个GOB_i，i＝1...N的估计的比特率

此外，将估计结果反馈至步骤2.3)，以对分配比特率进行某些细微的修正，从而满足比特预算。

步骤4)每个GOB_i内部的ρ-域比特分配RDBALL

步骤4.1)量化参数确定QPDET

与Z.He和S.K.Mitra的＂A linear source model and a unified rate controlalgorithm for DCT video coding＂，IEEE Transactions on Circuits and Systemsfor Video Technology，第12卷，第11期，2002年11月，第970-982页中的ρ域速率控制模型类似，通过对GOB_i内的剩余MB进行量化所产生的零值的数目应当是：

$\mathrm{\ρ}=384*(K_i-N_i^c)-\frac{\stackrel{\‾}{R_i}-R_i^c}{\mathrm{\θ}}---\left(12\right)$

其中是当前图像中的GOB_i的编码MB的数目，

是用于对这

个MB进行编码的比特数目，K_i是GOB_i中的MB的总数目。

查找表ρGOB_i[QP_n]，确定量化参数QP。然后利用该QP值对当前MB进行量化，并对其进行编码。

步骤4.2)更新参数UPDPAR

根据已编码的MB，更新参数θ和ρGOB_i[QP_n]：

$\mathrm{\θ}=\frac{R_i^c}{384*N_i^c-{\mathrm{\ρ}}_i^c}---\left(13\right)$

其中，

是在这

个编码MB中的量化后的零系数的数目。其后，对下一个宏块进行编码。

下面将对步骤1)至4)进行另外的阐述：

步骤1)预分析和查找表初始化

基于由S.H.Hong，S.D.Kim提出的算法“Histogram-based rate-distortionestimation for MPEG-2 video”，IEE Proceedings Vision，Image SignalProcessing，第146卷，第4期，1999年8月，第198-205页，执行ISO/IEC14496-10AVC/H.264标准所采用的基于柱状图的率失真估计。基本假设为：均方误差(MSE)方面的失真与所采用的量化参数的平方成正比，以及现有视频编码标准中通常采用均匀量化。然后，可以根据D(QP_n)＝D(QP_n-1)+ΔD(QP_n-1，QP_n)，使用迭代算法来估计不同量化参数的失真，其中ΔD(QP_n-1，QP_n)是当量化参数从QP_n-1增大至QP_n时的失真增量。

其后，针对当前GOB(宏块组)，基于DCT系数大小以及相关QP来建立柱状图或列表Hist^1→0[QP_n]。该柱状图表示当使用QP_n时被量化为幅值“1”、而当使用后继量化参数QP_n+1时将被量化为幅值“0”的DCT系数的数目。

基于上述柱状图或列表Hist^1→0[QP_n]，对于H.264/AVC，易于通过以下公式建立每个量化参数下的非零系数的数目的查找表：

$\mathrm{NZC}\left[{\mathrm{QP}}_n\right]=N_{\mathrm{coeff}}-\underset{i=0}{\overset{n-1}{\mathrm{\Σ}}}{\mathrm{Hist}}^{1\→0}\left[{\mathrm{QP}}_i\right],0\≤n\≤51,$

其中，N_Coeff是每个单元(在本发明中为GOB)内的系数的总数目。

每个量化参数QP_n属于可以从例如H.264/AVC标准中的相应查找表中推导出的相应的量化步长QPS_n。

为了准确估计两个连续QP值之间的失真增量ΔD(QP_n-1，QP_n)，需要考虑三种情形：

情形1)QP_n处的量化系数不为零

情形2)QP_n-1处的量化系数不为零，但在QP_n处被量化为零；

情形3)QP_n-1处的量化系数为零。

对于情形1)，基于残差信号在量化级间隔内均匀分布的假设，可以利用下列公式来估计失真增量：

$\mathrm{UD}\left({\mathrm{QP}}_n\right)=\frac{1}{{\mathrm{QPS}}_n}{\∫}_{k*{\mathrm{QPS}}_n-{\mathrm{\δ}}_n}^{(k+1)*{\mathrm{QPS}}_n-{\mathrm{\δ}}_n}{(x-k*{\mathrm{QPS}}_n)}^2\mathrm{dx}=({\mathrm{QPS}}_n^2-3{\mathrm{\δ}}_n{\mathrm{QPS}}_n+{3\mathrm{\δ}}_n^2)/3$

${\mathrm{\ΔE}}_1\left({\mathrm{QP}}_n\right)=\{\mathrm{UD}\left({\mathrm{QP}}_n\right)-\mathrm{UD}\left({\mathrm{QP}}_{n-1}\right)\}\×\frac{\mathrm{NZC}\left[{\mathrm{QP}}_n\right]}{N_{\mathrm{Coeff}}}$

其中，UD(QP_n)是在假设均匀分布的情形1)中下由QP_n引入的失真，ΔE₁(QP_n)表示在情形1)中从QP_n-1到QP_n的失真增量。

对于情形2)，可以利用下列公式来估计失真增量：

${\mathrm{\ΔE}}_2\left({\mathrm{QP}}_n\right)=\{\frac{1}{({\mathrm{QPS}}_n-{\mathrm{\δ}}_n)-({\mathrm{QPS}}_{n-1}-{\mathrm{\δ}}_{n-1})}\×{\∫}_{{\mathrm{QPS}}_{n-1}-{\mathrm{\δ}}_{n-1}}^{{\mathrm{QPS}}_n-{\mathrm{\δ}}_n}{x}^2\mathrm{dx}-\mathrm{UD}\left({\mathrm{QP}}_{n-1}\right)\}\×\frac{{\mathrm{Hist}}^{1\→0\left[{\mathrm{QP}}_n\right]}}{N_{\mathrm{Coeff}}}$

$=\{{({\mathrm{QPS}}_n-{\mathrm{\δ}}_n)}^2+({\mathrm{QPS}}_n-{\mathrm{\δ}}_n)\·({\mathrm{QPS}}_{n-1}-{\mathrm{\δ}}_{n-1})+{\mathrm{QPS}}_{n-1}\·{\mathrm{\δ}}_{n-1}-2{\mathrm{\δ}}_{n-1}^2\}/3\×\frac{{\mathrm{Hist}}^{1\→0}\left[{\mathrm{QP}}_n\right]}{N_{\mathrm{Coeff}}}$

对于情形3)，不存在失真增量。

在H.264/AVC中，如果DC变换用于帧内16 x 16模式，则δ_n为

在其他帧内编码的情况下， ${\mathrm{\δ}}_n=\frac{{\mathrm{QPS}}_n}{3},$ 在帧间编码的情况下，使用

因此，最终的失真增量为

ΔD^e(QP_n-1，QP_n)＝ΔE₁(QP_n)+ΔE₂(QP_n)。

迭代失真估计方法的初始值为

$D^e\left({\mathrm{QP}}_0\right)=\mathrm{UD}\left({\mathrm{QP}}_0\right)\×\frac{\mathrm{NZC}\left[{\mathrm{QP}}_0\right]}{N_{\mathrm{Coeff}}}+\frac{1}{{\mathrm{QPS}}_0-{\mathrm{\δ}}_0}\×{\∫}_0^{{\mathrm{QPS}}_0-{\mathrm{\δ}}_0}{x}^2\mathrm{dx}\×\frac{N_{\mathrm{Coeff}}-\mathrm{NZC}\left[{\mathrm{QP}}_0\right]}{N_{\mathrm{Coeff}}}.$ 因此，可以建立QP-失真表

。

正如可以从上述Z.He和S.K.Mitra的文章中得知的那样，由于非零系数的数目与编码比特的数目成正比，因而线性模型非常适用。因此，基于建立的列表NZC，使用线性模型来估计比特率。

假设当非零系数的数目为零时编码比特的数目将会是零，那么在至少给出了线上的两点的情况下，可以确定相应的内插线。将一个参考点QP设置为QP_ref，然后根据不同的复杂度和精度需求，通过熵编码或通过经由频率分析对编码比特的实际数目R_bits进行估计(例如，根据Q.Chen，Y.He，“A Fast Bits Estimation Method for Rate-Distortion Optimisation inH.264/AVC”，Picture Coding Symposium，2004年12月15-17日，SanFrancisco，CA，USA)，来确定编码比特的实际数目R_bits。结合该线性模型以及查找表NZC[QP_n]，可以通过下列公式构建的QP-比特率表：

$\frac{R_{\mathrm{bist}}^e\left[{\mathrm{QP}}_n\right]}{\mathrm{NZC}\left[{\mathrm{QP}}_n\right]}=\frac{R_{\mathrm{bits}}}{\mathrm{NZC}\left[{\mathrm{QP}}_{\mathrm{ref}}\right]}$

然后，基于非零列表或表NZC[QP_n]，可以很容易地利用下列公式得到QP-ρ表ρGOB_i[QP_n]：

$\mathrm{\ρ}\left[{\mathrm{QP}}_n\right]=1-\frac{\mathrm{NZC}\left[{\mathrm{QP}}_n\right]}{N_{\mathrm{Coeff}}}$

步骤2)失真分配

基于残差信号的Gaussian分布的假设，已经在优化比特分配中使用了如等式(8)所示的简化的率失真模型。基于等式(8)和(10)，可以获得一个基本结论：

$\underset{i=1}{\overset{N}{\mathrm{\Π}}}{D}_i=\underset{i=1}{\overset{N}{\mathrm{\Π}}}{\mathrm{\σ}}_i^2\×e^{-\mathrm{\γ}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{R}_i}=\underset{i=1}{\overset{N}{\mathrm{\Π}}}{\mathrm{\σ}}_i^2\×e^{-\mathrm{\γ}{R}_f}---\left(14\right)$

因此，对于给定比特预算R_f，每个GOB的失真的乘法结果应保持不变。

正如在步骤2.1)中所描述的那样，在CBR的情况下，可以很容易地通过查找表

和

，然后基于等式(14)和(9)推导出每个GOB_i的

$\underset{i=1}{\overset{N}{\mathrm{\Π}}}\stackrel{\stackrel{\‾}{\‾}}{D_i}=\underset{i=1}{\overset{N}{\mathrm{\Π}}}{\mathrm{\σ}}_i^2\×e^{-\mathrm{\γ}{R}_f}=\underset{i=1}{\overset{N}{\mathrm{\Π}}}\stackrel{\‾}{D_i}={\left(D_u\right)}^N\×\underset{i=1}{\overset{N}{\mathrm{\Π}}}{M}_i---\left(15\right)$

利用 $D_T=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\log }_2\stackrel{\stackrel{\‾}{\‾}}{D_i},$ 可以根据等式(15)推导出等式(11)。

由于图像内的内容属性差异以及量化级别局限于一组有限离散数值，等式(8)并非始终是足够精确的，因此，需要基于来自步骤3)的反馈进行细微的修改，以满足比特预算。等式(11)的结果应始终是用于利用查找表来搜索优化失真分配的良好的起点。

步骤3)速率分配

将本步骤的结果反馈至步骤2.3)，以对比特分配加以修正。

步骤4)每个GOB_i内的比特分配

本步骤用于精确地满足比特预算约束。通常，如果在步骤3)中已经满足了比特预算，则可以直接对每个GOB使用从查找表中推导出的相应的量化参数。然而，如果实际编码中的量化参数以及编码模式不同于预分析过程中(例如H.264/AVC中)的量化参数以及编码模式，那么为了满足比特预算，仍需要更新了的精确的比特分配。因此，在每个GOB内使用ρ-域速率控制作为修正后的比特分配方案，以便以有限的比特预算来分配失真。

除了基于帧，对于隔行视频信号，还可以基于场的方式来实现本发明。

本发明还可以用于多通道速率控制视频编码以及容错(error resilience)视频编码。

Claims (9)

1.一种用于在图像信号编码中为图像中的像素块组(GOB_i)确定(RALL、RDBALL)比特分配的方法，所述图像信号编码包括变换以及对变换系数块的量化，所述图像被划分为像素块的规则网格，并且所述像素块组(GOB_i)属于所述图像中的像素块的相应任意形状区域的不同关注重要性级别(M_i)，以及其中，对每个像素块组的编码/解码失真进行控制，使其基本与所述像素块组的关注重要性级别成正比，以及其中，给编码图像分配比特预算(R_f)，并且所述量化受量化参数(QP)的控制，所述方法的特征在于以下步骤：

-针对当前图像，关于所述量化参数(QP)的候选，为每个像素块组(GOB_i)建立估计失真(

[QP_n])、比特率(

[QP_n])、以及所述量化后的零幅度系数的数目(

[QP_n])的表、列表或者函数；

-利用所述估计失真(

[QP_n])和比特率([QP_n])的表、列表或者函数，为所述像素块组(GOB_i)中的每一个计算相应的失真分布以及利用以下步骤的输出，修改所述失真分布以达到所述比特预算(R_f)；

-基于所述估计失真(

[QP_n])和比特率(

[QP_n])的表、列表或者函数，以及基于所述计算得到的失真分布

为所述像素块组(GOB_i)中的每一个计算估计比特率

-利用所述估计比特率

以及零幅度系数的数目([QP_n])的表、列表或者函数，为所述像素块组(GOB_i)中的每一个执行ρ-域比特分配，以确定用于对像素块进行量化和编码的所述量化参数(QP)中的相应参数。

2.一种用于在图像信号编码中为图像中的像素块组(GOB_i)确定(RALL、RDBALL)比特分配的设备，所述图像信号编码包括变换以及对变换系数块的量化，所述图像被划分为像素块的规则网格，并且所述像素块组(GOB_i)属于所述图像中的像素块的相应任意形状区域的不同关注重要性级别(Mi)，以及其中，对每个像素块组的编码/解码失真进行控制，使其基本与所述像素块组的关注重要性级别成正比，以及其中，给编码图像分配比特预算(R_f)，并且所述量化受量化参数(QP)的控制，所述装置包括：

-装置(PREALUTI)，适于针对当前图像，关于所述量化参数(QP)的候选，为每个像素块组(GOB_i)建立估计失真(DGOB_i[QP_n])、比特率([QP_n])、以及所述量化后的零幅度系数的数目(

[QP_n])的表、列表或者函数；

-装置(DISALL)，适于利用所述估计失真([QP_n])和比特率(

[QP_n])的表、列表或者函数，为所述像素块组(GOB_i)中的每一个计算相应的失真分布

以及利用以下步骤的输出，修改所述失真分布

以达到所述的比特预算(R_f)；

-装置(RALL)，适于基于所述估计失真(

[QP_n])和比特率(

[QP_n])的表、列表或者函数，以及基于所述计算得到的失真分布为所述像素块组(GOB_i)中的每一个计算估计比特率

-装置(RDBALL)，适于利用所述估计比特率以及零幅度系数的数目(

[QP_n])的表、列表或者函数，为所述像素块组(GOB_i)中的每一个执行ρ-域比特分配，以确定用于对像素块进行量化和编码的所述量化参数(QP)中的相应参数。

3.根据权利要求1所述的方法或根据权利要求2所述的设备，其中，所述像素块是宏块。

4.根据权利要求1或3所述的方法或者根据权利要求2或4所述的设备，其中，所述编码图像是ISO/IEC 14496-10AVC编码图像序列的一部分。

5.根据权利要求1、3和4中任意一项所述的方法或根据权利要求2至4中任意一项所述的设备，其中，所述量化参数(QP)是量化器的步长。

6.根据权利要求1和3至5中任意一项所述的方法或根据权利要求2至5中任意一项所述的装置，其中，为所述像素块组(GOB_i)中的每一个计算相应失真分布

的步骤或功能包括：

-在不考虑不同关注级别区域中不同的失真级别的情况下，为每一个像素块组(GOB_i)计算相应的初始失真值

-计算失真单位 $D_u=e^{(\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\ln \stackrel{\‾}{\stackrel{\‾}{D_i}}-\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\ln M_i-\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\ln K_i)/N},$ 其中M_i是相应像素块组(GOB_i)的关注重要性级别，K_i是相应像素块组(GOB_i)中的像素块的数目，N是关注级别的数目；

-通过 ${\stackrel{\‾}{D}}_i=D_u\×M_i,$ 根据所述D_u值为所述像素块组(GOB_i)中的每一个计算修正失真分布，由此在此执行对所述失真分布

的所述修改。

7.根据权利1和3至6中任意一项所述的方法或根据权利要求2至6中任意一项所述的设备，其中，对所述像素块组(GOB_i)中的每一个执行ρ-域分配的步骤或功能包括：

-计算 $\mathrm{\ρ}=384*(K_i-N_i^c)-\frac{\stackrel{\‾}{R_i}-R_i^c}{\mathrm{\θ}},$ 其中

是当前像素块组中的编码像素块的数目，

是用于对所述

个像素块进行编码的比特数目，K_i是当前像素块组中的像素块的总数目；

-根据所述量化后的零幅度系数的数目的所述表、列表或者函数(

[QP_n])，确定相应的量化参数(QP)；

-根据已编码的像素块，更新所述零幅度系数数目的表、列表或者函数，并通过 $\mathrm{\θ}=\frac{R_i^c}{384*N_i^c-{\mathrm{\ρ}}_i^c}$ 更新参数θ，其中

是所述个编码像素块中的量化后的零系数的数目。

8.一种利用根据权利要求1和3至7中任意一项所述的方法进行编码的数字视频信号。

9.一种包含或存储或者在其上记录了根据权利要求1和3至7中任意一项的方法进行了编码的数字视频信号的存储介质，例如光盘。