CN102685496B - 用于组合多层比特流中的层的方法和系统 - Google Patents

Abstract

本发明的实施例包括用于管理和组合多层比特流中的层的系统和方法。该方法包括：a)接收第一层量化变换系数的步骤；b)接收第二层量化变换系数的步骤；c)接收层组合指示符的步骤，所述层组合指示符是表示仅通过熵码的解码以及编码、和变换系数的缩放就能无退化地将所传送的序列重写为AVC比特流的标记；d)当所述标记表示允许的情况下，创建用于对所述第一层量化变换系数进行缩放以匹配所述第二层的特性的因子的步骤；以及e)当所述标记表示允许的情况下，将以所述因子对所述第一层量化变换系数进行缩放后得到的值与所述第二层量化变换系数组合，形成量化组合系数的步骤，所述缩放使用所述第一层的量化参数和所述第二层的量化参数来实施。

Description

用于组合多层比特流中的层的方法和系统

本申请是申请人“夏普株式会社”于2007年7月9日提出的申请号为PCT/JP2007/064040、发明名称为“用于组合多层比特流中的层的方法和系统”的PCT申请的分案申请。

技术领域

本发明的实施例包括用于多层比特流中的处理和过程管理的方法和系统。具体地，本发明涉及：1)用于组合多层比特流中的层的方法和系统；2)用于条件变换域的残差累加的方法和系统；3)用于残差层缩放的方法和系统；4)用于基于相邻块特性的图像处理控制的方法和系统；5)用于编码块图案信息的维护和使用的方法和系统；以及6)用于变换选择和管理的方法和系统。

背景技术

为了减小编码器输出的比特率，可缩放比特流可以包括层间预测的形式。示例性系统包括针对AVC|H.264视频编码标准的可缩放视频扩展中的层间预测。这些扩展通常被称作SVC和SVC系统，在T.Wiegand，G.Sullivan，J.Reichel，H.Schwarz and M.Wien，“Joint Draft9of SVCamendment(revision2)”，JVT-V201，Marrakech，Morocco，January13-19，2007中对此进行了描述。在SVC系统中，通过将运动和模式信息从所列举的较低层投影到所列举的较高层来实现层间预测。此外，将预测残差从所列举的较低层投影到所列举的较高层。然后，较高层的比特流可以包含附加的残差，以改进解码输出的质量。

发明内容

根据本发明的第一方面，提供了一种用于组合多层比特流中的层的方法，所述方法包括：a)对第一层量化变换系数进行反量化，从而创建第一层变换系数；b)对第一层变换系数进行缩放，以匹配第二层的特性，从而创建缩放后的第一层变换系数；c)对第二层量化变换系数进行反量化，从而创建第二层变换系数；d)将缩放后的第一层变换系数与第二层变换系数进行组合，以形成组合系数。

第一层可以是基础层。

对第一层量化变换系数进行反量化可以包括使用第一量化参数，对第二层量化变换系数进行反量化可以包括使用第二量化参数。

第一层和第二层可以具有不同的空间分辨率。

第二层可以是增强层。

所述方法还可以包括：对组合系数进行反变换，从而产生空间域残差值。

所述方法还可以包括：将空间域残差值与空间域预测值进行组合。

所述方法还可以包括：a)对第三层量化变换系数进行反量化，从而创建第三层变换系数；b)对组合系数进行缩放，以匹配第三层的特性，从而创建缩放后的组合系数；以及c)将缩放后的组合系数与第三层变换系数进行组合。

所述方法还可以包括：产生包括组合系数的组合比特流。

组合比特流还可以包括层内预测模式。

组合比特流还可以包括运动向量。

根据本发明的第二方面，提供了一种用于组合多层比特流中的层的系统，所述系统包括：a)第一反量化器，用于对第一层量化变换系数进行反量化，从而创建第一层变换系数；b)缩放器，用于对第一层变换系数进行缩放，以匹配第二层的特性，从而创建缩放后的第一层变换系数；c)第二反量化器，用于对第二层量化变换系数进行反量化，从而创建第二层变换系数；d)系数组合器，用于将缩放后的第一层变换系数与第二层变换系数进行组合，以形成组合系数。

所述系统还可以包括比特流产生器，用于产生包括组合系数的组合比特流。

所述系统还可以包括：反变换器，用于对组合系数进行反变换，从而产生空间域残差值；以及第二组合器，用于将空间域残差值与空间域预测值进行组合。

根据本发明的第三方面，提供了一种用于将符合SVC的比特流转换为符合AVC的数据的方法，所述方法包括：a)接收符合SVC的比特流，所述符合SVC的比特流包括预测数据、基础层残差数据和增强层残差数据；b)对基础层残差数据进行反量化，从而创建基础层变换系数；c)对增强层残差数据进行反量化，从而创建增强层变换系数；d)对基础层变换系数进行缩放，以匹配增强层的量化特性，从而创建缩放后的基础层变换系数；以及e)将缩放后的基础层变换系数与增强层变换系数进行组合，以形成组合系数。

所述方法还包括：将组合系数与预测数据进行组合，以形成符合AVC的比特流。

所述预测数据可以包括层内预测模式指示符。

所述预测数据可以包括运动向量。

所述方法还可以包括：对组合系数进行反变换，从而产生空间域残差值。

所述方法还可以包括：获得空间域预测值，并将空间域预测值与空间域残差值进行组合，以形成解码图像。

根据本发明的第四方面，提供了一种用于组合多层比特流中的层的方法，所述方法包括：a)接收第一层量化变换系数；b)对第一层量化变换系数进行缩放，以匹配第二层的特性，从而创建缩放后的第一层量化变换系数；c)接收第二层量化变换系数；d)将缩放后的第一层变换系数与第二层量化变换系数进行组合，以形成组合量化系数。

所述方法还包括：对组合量化系数进行反量化，以产生组合系数。

所述方法还包括：对组合系数进行反变换，从而产生空间域残差值。

所述方法还包括：将空间域残差值与空间域预测值进行组合。

所述方法还包括：产生包括组合量化系数的组合比特流。

根据本发明的第五方面，提供了一种对多层比特流中的层进行条件组合的方法，所述方法包括：a)接收第一层量化变换系数；b)接收第二层量化变换系数；c)接收层组合指示符；d)当层组合指示符指示变换域累加时，对第一层量化变换系数进行缩放，以匹配第二层的特性，从而创建缩放后的第一层量化变换系数；以及e)当层组合指示符指示变换域累加时，将缩放后的第一层变换系数与第二层量化变换系数进行组合，以形成组合量化系数。

所述层组合指示符可以从第二层比特流中的数据中导出。

所述方法还包括：当层组合指示符指示变换域累加时，禁用平滑的参考预测。

根据本发明的第六方面，提供了一种从多层比特流重构增强层的方法，所述方法包括：a)接收第一层层内预测模式；b)接收第二层比特流预测指示符，所述指示符指示了要使用第一层预测模式来预测第二层；c)基于第二层中的相邻块数据，使用第一层预测模式来构建第二层预测；以及d)将第二层预测与残差信息进行组合，从而创建重构的第二层。

根据本发明的第七方面，提供了一种用于组合多层比特流中的层的方法，所述方法包括：a)确定多层图像中的第一层的第一空间分辨率；b)确定多层图像中的第二层的第二空间分辨率；c)将第一空间分辨率与第二空间分辨率进行比较；d)当第一空间分辨率实质上等于第二空间分辨率时，执行步骤e)至f)；e)对第一层变换系数进行缩放，以匹配第二层的特性，从而创建缩放后的第一层变换系数；f)将缩放后的第一层变换系数与第二层变换系数进行组合，以形成组合系数；g)当第一空间分辨率实质上不等于第二空间分辨率时，执行步骤h)至k)；h)对第一层变换系数进行反变换，从而产生第一层空间域值；i)对第二层变换系数进行反变换，从而产生第二层空间域值；j)对第一层空间域值进行缩放，以匹配第二层的分辨率，从而产生缩放后的第一层空间域值；以及k)将缩放后的第一层空间域值与第二层空间域值进行组合，从而产生组合空间域残差值。

所述特性包括量化参数。

所述变换系数可以是解量化的变换系数。

所述变换系数可以是量化的变换系数，在反变换之前，可以对变换系数进行反量化。

所述缩放可以包括：a)确定第一层量化参数；b)确定第二层量化参数；以及c)基于第一层量化参数和第二层量化参数来对第一层变换系数进行缩放。

所述方法还可以包括：当第一空间分辨率实质上等于第二空间分辨率时，对组合系数进行反变换，从而产生空间域残差值。

所述方法还可以包括：当第一空间分辨率实质上等于第二空间分辨率时，将空间域残差值与空间域预测值进行组合。

所述方法还可以包括：当第一空间分辨率实质上不等于第二空间分辨率时，将组合空间域残差值与空间域预测值进行组合，从而创建组合空间域值。

所述方法还可以包括：当第一空间分辨率实质上等于第二空间分辨率时，产生包括组合系数的组合比特流。

当第一空间分辨率实质上等于第二空间分辨率时，所述组合比特流还可以包括层内预测模式。

当第一空间分辨率实质上等于第二空间分辨率时，所述组合比特流还可以包括运动向量。

所述方法还可以包括：当第一空间分辨率实质上不等于第二空间分辨率时，对组合空间域值进行变换，从而创建组合变换域系数。

所述方法还可以包括：当第一空间分辨率实质上不等于第二空间分辨率时，产生包括组合变换域系数的组合比特流。

当第一空间分辨率实质上不等于第二空间分辨率时，所述组合比特流还可以包括层内预测模式。

当第一空间分辨率实质上不等于第二空间分辨率时，所述组合比特流还可以包括运动向量。

根据本发明的第八方面，提供了一种用于组合多层比特流中的层的系统，所述系统包括：a)分辨率确定器，用于确定多层图像中的第一层的第一空间分辨率，并确定多层图像中的第二层的第二空间分辨率；b)比较器，用于将第一空间分辨率与第二空间分辨率进行比较；c)控制器，当第一空间分辨率实质上等于第二空间分辨率时，选择性地执行步骤d)至e)；d)系数缩放器，用于对第一层变换系数进行缩放，以匹配第二层的特性，从而创建缩放后的第一层变换系数；e)系数组合器，用于将缩放后的第一层变换系数与第二层变换系数进行组合，以形成组合系数；f)当第一空间分辨率实质上不等于第二空间分辨率时，所述控制器选择性地执行步骤g)至i)；g)反变换器，用于对第一层变换系数进行反变换，从而产生第一层空间域值，并对第二层变换系数进行反变换，从而产生第二层空间域值；h)空间域缩放器，用于对第一层空间域值进行缩放，以匹配第二层的分辨率，从而产生缩放后的第一层空间域值；以及i)空间域组合器，用于将缩放后的第一层空间域值与第二层空间域值进行组合，从而产生组合空间域残差值。

当第一空间分辨率实质上等于第二空间分辨率时，所述反变换器还对组合系数进行反变换，从而产生空间域残差值。

当第一空间分辨率实质上等于第二空间分辨率时，所述空间域组合器还将空间域残差值与空间域预测值进行组合。

当第一空间分辨率实质上不等于第二空间分辨率时，所述空间域组合器还将组合空间域残差值与空间域预测值进行组合，从而创建组合空间域值。

所述系统还可以包括比特流产生器，当第一空间分辨率实质上等于第二空间分辨率时，用于产生包括组合系数的组合比特流。

当第一空间分辨率实质上等于第二空间分辨率时，所述组合比特流还可以包括层内预测模式。

当第一空间分辨率实质上等于第二空间分辨率时，所述组合比特流还可以包括运动向量。

所述系统还可以包括变换器，当第一空间分辨率实质上不等于第二空间分辨率时，用于对组合空间域值进行变换，从而创建组合变换域系数。

所述系统还可以包括比特流产生器，当第一空间分辨率实质上不等于第二空间分辨率时，用于产生包括组合变换域系数的组合比特流。

当第一空间分辨率实质上不等于第二空间分辨率时，所述组合比特流还可以包括层内预测模式。

当第一空间分辨率实质上不等于第二空间分辨率时，所述组合比特流还可以包括运动向量。

根据本发明的第九方面，提供了一种用于组合多层比特流中的层的方法，所述方法包括：a)接收用于第一空间分辨率的第一层的解量化变换系数；b)接收用于第一空间分辨率的第二层的解量化变换系数；c)对第一层变换系数进行缩放，从而创建缩放后的第一层变换系数；d)将缩放后的第一层变换系数与第二层变换系数进行组合，从而创建组合变换系数；e)对组合变换系数进行反变换，从而创建组合残差空间域值；f)接收用于第二空间分辨率的第三层的解量化变换系数；g)将组合残差空间域值重新采样至第二空间分辨率，从而创建重新采样的组合空间域值；h)对第三层变换系数进行反变换，从而创建第三层空间域值；以及i)将重新采样的组合空间域值与第三层空间域值进行组合。

根据本发明的第十方面，提供了一种用于组合多层比特流中的层的方法，所述方法包括：a)接收用于第一空间分辨率的第一层的量化变换系数；b)接收用于第一空间分辨率的第二层的量化变换系数；c)对量化的第一层变换系数进行缩放，从而创建缩放后的量化的第一层变换系数；d)将缩放后的量化的第一层变换系数与第二层量化变换系数进行组合，从而创建组合量化变换系数；e)对组合量化变换系数进行反量化，从而创建组合变换系数；f)对组合变换系数进行反变换，从而创建组合残差空间域值；g)接收用于第二空间分辨率的第三层的量化变换系数；h)将组合残差空间域值重新采样至第二空间分辨率，从而创建重新采样的组合空间域值；i)对第三层量化变换系数进行反量化，从而创建第三层变换系数；j)对第三层变换系数进行反变换，从而创建第三层空间域值；以及k)将重新采样的组合空间域值与第三层空间域值进行组合。

根据本发明的第十一方面，提供了一种用于组合多层比特流中的层的方法，所述方法包括：a)接收用于第一空间分辨率的第一层的解量化变换系数；b)对解量化的第一层变换系数进行反变换，从而产生第一层空间域值；c)接收用于第二空间分辨率的第二层的解量化变换系数，所述第二空间分辨率高于所述第一空间分辨率；d)接收用于第二空间分辨率的第三层的解量化变换系数；e)将第一层空间域值上采样至第二空间分辨率，从而产生上采样的第一层空间域值；f)将第二层解量化变换系数与第三层解量化变换系数进行组合，从而创建组合变换系数；g)对组合变换系数进行反变换，从而创建第一组合残差空间域值；以及h)将上采样的第一层空间域值与第一组合残差空间域值进行组合。

根据本发明的第十二方面，提供了一种用于组合多层比特流中的层的方法，所述方法包括：a)接收用于第一空间分辨率的第一层的量化变换系数；b)接收用于第一空间分辨率的第二层的量化变换系数；c)接收用于第一空间分辨率的第三层的量化变换系数；d)对量化的第一层变换系数进行缩放，以匹配第二层的属性，从而创建缩放后的量化的第一层变换系数；e)将缩放后的量化的第一层变换系数与第二层量化变换系数进行组合，从而创建组合量化变换系数；f)对组合量化变换系数进行反量化，从而创建组合变换系数；g)对第三层量化变换系数进行反量化，从而创建第三层解量化变换系数；h)将组合变换系数与第三层解量化变换系数进行组合，从而创建第三层组合变换系数；以及i)对第三层组合变换系数进行反变换，从而创建组合空间域值。

根据本发明的第十三方面，提供了一种用于组合多层比特流中的层的方法，所述方法包括：i)确定多层图像中的第二层是否采用残差预测；ii)仅当第二层采用残差预测时执行以下步骤；iii)确定多层图像中的第一层的第一空间分辨率；iv)确定第二层的第二空间分辨率；v)将第一空间分辨率和第二空间分辨率进行比较；vi)当第一空间分辨率实质上等于第二空间分辨率时，执行步骤vii)至viii)；vii)对第一层变换系数进行缩放，以匹配第二层的特性，从而创建缩放后的第一层变换系数；viii)将缩放后的第一层变换系数与第二层变换系数进行组合，以形成组合系数；ix)当第一层空间分辨率实质上不等于第二层空间分辨率时，执行步骤x)至xiii)；x)对第一层变换系数进行反变换，从而产生第一层空间域值；xi)对第二层变换系数进行反变换，从而产生第二层空间域值；xii)对第一层空间域值进行缩放，以匹配第二层分辨率，从而产生缩放后的第一层空间域值；以及xiii)将缩放后的第一层空间域值与第二层空间域值进行组合，从而产生组合空间域值。

根据本发明的第十四方面，提供了一种用于对多层比特流中的变换系数进行缩放的方法，所述方法包括：基于多层比特流来确定第一层量化参数；基于多层比特流来确定第二层量化参数；以及基于第一层量化参数和第二层量化参数，对第一层变换系数进行缩放。

所述缩放可以根据下列关系来执行：

$T_{\mathrm{SecondLaye\; r}}=T_{\mathrm{FirstLayer}}\·2^{\frac{\mathrm{Qp}\_\mathrm{FirstLayer}-\mathrm{Qp}\_\mathrm{SecondLaye\; r}}{k}}$

其中，T_SecondLayer和T_FirstLayer分别表示第一层和第二层的变换系数；k是整数，Qp_FirstLayer和Qp_SecondLayer是分别用于第一层和第二层的量化参数。

k可以等于6。

所述缩放可以根据下列关系来执行：

Qp_Diff＝Qp_FirstLayer-Qp_SecondLaye r

T_{SecondLaye r}＝((T_FirstLayer＜＜QP_Diff//6)*ScaleMatri x[QP_Diff％6]+M/2)＞＞M

其中//表示整数除法，％表示模运算；M和ScaleMatrix是常量；T_SecondLayer和T_FirstLayer分别表示第一层和第二层的变换系数；k是整数Qp_FirstLayer和Qp_SecondLayer是分别用于第一层和第二层的量化参数。

当发现Qp_Diff小于0时，可以将Qp_Diff复位为0。

ScaleMatrix可以等于[512 573 642 719 806 902]，M可以等于512。

ScaleMatrix可以等于[8 9 10 11 13 14]，M可以等于8。

所述缩放可以根据下列关系来执行：

Qp_Diff＝Qp_FirstLayer-Qp_SecondLayer

T_SecondLayer＝((T_FirstLayer＜＜QP_Diff//6)*ScaleMatrix[QP_Diff％6+5]+M/2)＞＞M

其中//表示整数除法，％表示模运算；M和ScaleMatrix是常量；T_SecondLayer和T_FirstLayer分别表示第一层和第二层的变换系数；k是整数Qp_FirstLayer和Qp_SecondLayer是分别用于第一层和第二层的量化参数。

当发现Qp_Diff小于0时，可以将Qp_Diff复位为0。

ScaleMatrix可以等于[291 325 364 408 457 512 573 642 719 806902]，M可以等于512。

所述方法还可以包括：将缩放后的第一层变换系数与第二层变换系数进行组合，从而创建组合系数。

所述方法还可以包括：产生包括组合系数的组合比特流。

所述方法还可以包括：确定第一层依赖于变换系数的加权因子S_F和第二层依赖于变换系数的加权因子S_S，其中所述缩放根据以下关系来执行：

$T_{\mathrm{SecondLaye\; r}}=T_{\mathrm{FirstLayer}}\·2^{\frac{S_F\mathrm{Qp}\_\mathrm{FirstLayer}-S_S\mathrm{Qp}\_\mathrm{SecondLaye\; r}}{k}}$

其中，T_SecondLayer和T_FirstLayer分别表示第一层和第二层的变换系数；k是整数，Qp_FirstLayer和Qp_SecondLayer是分别用于第一层和第二层的量化参数。

所述方法还可以包括：确定第一层依赖于变换系数的加权因子S_F和第二层依赖于变换系数的加权因子S_S，其中所述缩放根据以下关系来执行：

Qp_Diff＝S_FQp_FirstLayer-S_SQp_SecondLaye r

T_{SecondLaye r}＝((T_FirstLayer＜＜QP_Diff//6)*ScaleMatri x[QP_Diff％6]+M/2)＞＞M

其中//表示整数除法，％表示模运算；M和ScaleMatrix是常量；T_SecondLayer和T_FirstLayer分别表示第一层和第二层的变换系数；k是整数，Qp_FirstLayer和Qp_SecondLayer是分别用于第一层和第二层的量化参数。

S_F和S_S可以在多层比特流中显式出现。

S_F和S_S可以从多层比特流中导出。

所述方法还可以包括：确定依赖于变换系数的乘性加权因子W1；确定依赖于变换系数的加性加权因子W2；其中所述缩放根据以下关系来执行：

Qp_Diff＝W1(Qp_FirstLayer-Qp_SecondLaye r)+W2

T_{SecondLaye r}＝((T_FirstLayer＜＜QP_Diff//6)*ScaleMatri x[QP_Diff％6]+M/2)＞＞M

其中//表示整数除法，％表示模运算；M和ScaleMatrix是常量；T_SecondLayer和T_FirstLayer分别表示第一层和第二层的变换系数；k是整数，Qp_FirstLayer和Qp_SecondLayer是分别用于第一层和第二层的量化参数。

W1和W2可以在多层比特流中显式出现。

W1和W2可以从多层比特流中导出。

所述方法还可以包括：对组合系数进行反量化，从而产生解量化的组合变换系数。

所述方法还可以包括：对解量化变换系数进行反变换，从而产生空间域残差值。

所述方法还可以包括：将空间域残差值与空间域预测值进行组合。

根据本方明的第十五方面，提供了一种用于缩放多层比特流中的变换系数的系统，所述系统包括：第一参数确定器，用于基于多层比特流来确定第一层量化参数；第二参数确定器，用于基于多层比特流来确定第二层量化参数；以及缩放器，用于基于第一层量化参数和第二层量化参数来对第一层变换系数进行缩放。

根据本发明的第十六方面，提供了一种用于控制熵编码过程的方法，所述方法包括：a)标识与目标宏块相邻的第一相邻宏块；b)标识与目标宏块相邻的第二相邻宏块；c)确定第一宏块指示符，所述第一宏块指示符指示第一相邻宏块是否是参考另一层来进行编码的；d)确定第二宏块指示符，所述第二宏块指示符指示第二相邻宏块是否是参考另一层来进行编码的；以及e)基于第一宏块指示符和第二宏块指示符来确定熵编码控制值。

所述方法还可以包括：利用熵编码控制值来对层内预测模式进行编码。

所述方法还可以包括：利用熵编码控制值来对层内预测模式进行解码。

所述方法还可以包括：利用熵编码控制值来对目标宏块进行编码。

所述方法还可以包括：利用熵编码控制值来对目标宏块进行解码。

所述目标宏块还可以是色度宏块。

当宏块是IntraBL类型时，可以确定该宏块是参考另一层来进行编码的。

所述熵编码控制值可以包括上下文。

所述上下文可以基于累加的宏块信息。

根据本发明的第十七方面，提供了一种用于控制熵编码过程的方法，所述方法包括：a)标识与目标宏块相邻的第一相邻宏块；b)标识与目标宏块相邻的第二相邻宏块；c)确定第一相邻宏块是否可用；d)确定第一相邻宏块是否是以层间预测模式来进行编码的；e)确定第一相邻宏块是否是在空间域中进行编码的；f)确定第一相邻宏块是否是采用DC预测模式来进行层内预测的；g)确定第一相邻宏块是否是参考另一层来进行编码的；h)当步骤c)至g)中的任一个为真时，将第一相邻块标记设置为1；i)确定第二相邻宏块是否可用；j)确定第二相邻宏块是否是以层间预测模式来进行编码的；k)确定第二相邻宏块是否是在空间域内进行编码的；l)确定第二相邻宏块是否是采用DC预测模式来进行层内预测的；m)确定第二相邻宏块是否是参考另一层来进行编码的；n)当步骤i)至m)中的任一个为真时，将第二相邻块标记值设置为1；以及o)将第一相邻块标记值与第二相邻块标记值相加，以产生熵编码控制值。

所述方法还可以包括：利用熵编码控制值来对目标宏块进行编码。

所述方法还可以包括：利用熵编码控制值来对目标宏块进行解码。

所述目标宏块可以是色度宏块。

当宏块是IntraBL类型时，可以确定该宏块是参考另一层来进行编码的。

当宏块是I_PCM类型时，可以确定该宏块是在空间域中进行编码的。

所述熵编码控制值还可以包括上下文。

所述上下文可以基于累加的宏块信息。

根据本发明的第十八方面，提供了一种预测模式确定方法，所述方法包括：a)标识与目标宏块相邻的第一相邻宏块；b)标识与目标宏块相邻的第二相邻宏块；以及c)当条件i)至vi)中的任一个为真时，将目标块估计预测模式设置为预定模式；i)第一相邻宏块可用；ii)第一相邻宏块是采用层间预测模式来进行编码的；iii)第一相邻宏块是参考另一层来进行编码的；iv)第二相邻宏块可用；v)第二相邻宏块是采用层间预测模式来进行编码的；vi)第二空间相邻宏块是参考另一层来进行编码的。

所述预定模式可以是DC预测模式。

所述方法还可以包括：基于目标块内容来确定目标块的实际预测模式。

所述方法还可以包括：将估计的预测模式与实际预测模式进行比较。

所述方法还可以包括：对消息进行编码，当实际预测模式和估计的预测模式相同时，所述消息指令解码器利用估计的预测模式来预测目标块。

所述方法还可以包括：对消息进行解码，当实际预测模式和估计的预测模式相同时，所述消息指令解码器利用估计的预测模式来预测目标块。

所述方法还可以包括：对消息进行解码，当实际预测模式和估计预测模式不相同时，所述消息指令解码器利用实际预测模式来预测目标块。

所述方法还可以包括：对消息进行编码，当实际预测模式和估计预测模式不相同时，所述消息指令解码器利用实际预测模式来预测目标块。

所述目标块的估计的预测模式可以是亮度预测模式。

根据本发明的第十九方面，提供了一种用于控制熵编码过程的系统，所述系统包括：a)第一标识器，用于标识与目标宏块相邻的第一相邻宏块；b)第二标识器，用于标识与目标宏块相邻的第二相邻宏块；c)第一指示符确定器，用于确定第一宏块指示符，所述第一宏块指示符指示第一相邻宏块是否是参考另一层来进行编码的；d)第二指示符确定器，用于确定第二宏块指示符，所述第二宏块指示符指示第二相邻宏块是否是参考另一层来进行编码的；以及e)值确定器，用于基于第一宏块指示符和第二宏块指示符来确定熵编码控制值。

根据本发明的第二十方面，提供了一种用于组合多层比特流中的层的方法，所述方法包括：a)接收包括编码的图像系数和编码的块模式(Cbp)信息的比特流，其中Cbp信息标识了比特流中包括变换系数的区域；b)对Cbp信息进行解码；c)利用Cbp信息来解析比特流，以标识包括变换系数的比特流区域；d)对比特流中的第一层变换系数进行缩放，以匹配比特流中的第二层的特性；e)将缩放后的第一层变换系数与第二层变换系数相加，以形成组合层中的组合系数；以及f)计算组合层的组合Cbp信息，其中组合Cbp信息标识了组合层中包括变换系数的区域。

仅当第二层中的系数是根据第一层来预测时，可以执行所述计算。

所述方法还可以包括：对组合系数进行反变换，从而创建空间域值。

所述方法还可以包括：基于组合Cbp信息，选择性地对空间域值的区域进行滤波。

第一层和第二层可以具有不同的空间分辨率。

第一层和第二层可以具有不同的比特深度。

第一层可以是基础层。

第二层可以是增强层。

计算组合Cbp信息可以包括测试组合系数。

计算组合Cbp信息可以包括计算第一层和第二层的二进制或OR。

计算组合Cbp信息可以包括扫描系数列表，以标识具有残差信息的区域。

根据本发明的第二十一方面，提供了一种用于组合多层比特流中的层的系统，所述系统包括：g)接收机，用于接收包括编码的图像系数和编码的块模式(Cbp)信息的比特流，其中Cbp信息标识了比特流中包括变换系数的区域；h)解码器，用于对Cbp信息进行解码；i)解析器，利用Cbp信息来解析比特流，以标识包括变换系数的比特流区域；j)缩放器，用于对比特流中的第一层变换系数进行缩放，以匹配比特流中的第二层的特性；k)加法器，用于将缩放后的第一层变换系数与第二层变换系数相加，以形成组合层中的组合系数；以及1)计算器，用于计算组合层的组合Cbp信息，其中组合Cbp信息标识了组合层中包括变换系数的区域。

仅当第二层中的系数是根据第一层来预测时，可以执行所述计算。

所述系统还可以包括：反变换器，用于对组合系数进行反变换，从而创建空间域值。

所述系统还可以包括：滤波器，用于基于组合Cbp信息，选择性地对空间域值的区域进行滤波。

第一层和第二层可以具有不同的空间分辨率。

第一层和第二层可以具有不同的比特深度。

第一层可以是基础层。

第二层可以是增强层。

计算组合Cbp信息可以包括测试组合系数。

计算组合Cbp信息可以包括计算第一层和第二层的二进制或OR。

计算组合Cbp信息可以包括扫描系数列表，以标识具有残差信息的区域。

根据本发明的第二十二方面，提供了一种在增强层中未指示变换尺寸时用于选择重建变换尺寸的方法，所述方法包括：a)确定较低层变换尺寸；b)确定较低层变换尺寸是否实质上与预定变换尺寸相似；c)当较低层变换尺寸实质上与预定变换尺寸相似时，选择预定变换尺寸的反变换作为重建变换；以及d)当较低层变换尺寸实质上与预定变换尺寸不相似时，选择缺省变换尺寸的反变换作为重建变换。

所述缺省变换尺寸可以用于解析比特流，而与对重建变换的选择无关。

所述方法还可以包括：使用重建变换对增强层系数进行反变换。

所述预定变换尺寸可以是8x8。

所述预定变换尺寸可以是16x16。

所述方法还可以包括：确定增强层的预测模式，以及仅当增强层预测模式指示所述增强层是根据较低层来预测时，执行步骤a)至d)。

所述方法还可以包括：提取针对缺省变换尺寸来格式化的多个增强层系数。

所述方法还可以包括：针对预定变换尺寸来对所提取的多个增强层系数进行重新格式化。

所述方法可以包括：提取针对缺省变换尺寸来格式化的多个量化的增强层系数。

所述方法还可以包括：针对预定变换尺寸来对所提取的多个增强层系数进行重新格式化，从而创建重新格式化的量化增强层系数。

所述方法还可以包括：i)对多个较低层量化变换系数进行反量化，从而创建较低层变换系数；ii)对较低层变换系数进行缩放，以匹配增强层的特性，从而创建缩放后的较低层变换系数；iii)对重新格式化的量化增强层系数进行反量化，从而创建增强层变换系数；以及iv)将缩放后的较低层变换系数与增强层变换系数进行组合，以形成组合系数。

所述方法还可以包括：产生包括组合系数的组合比特流。

所述组合比特流还可以包括层内预测模式。

所述组合比特流还可以包括运动向量。

所述方法还可以包括：利用重建变换对组合系数进行反变换，从而产生空间域残差值。

所述方法还可以包括：将空间域残差值与空间域预测值进行组合。

所诉方法还可以包括：i)对多个较低层量化变换系数进行缩放，以匹配增强层的特性，从而创建缩放后的较低层量化变换系数；以及ii)将缩放后的较低层量化变换系数与重新格式化的量化增强层系数进行组合，以形成组合量化系数。

所述方法还可以包括：对组合量化系数进行反量化，从而创建组合系数。

所述方法还可以包括：产生包括组合系数的组合比特流。

所述组合比特流还可以包括层内预测模式。

所述组合比特流还可以包括运动向量。

所述方法还可以包括：利用重建变换对组合系数进行反变换，从而产生空间域残差值。

所述方法还可以包括：将空间域残差值与空间域预测值进行组合。

根据本发明的第二十三方面，提供了一种在增强层中未指示变换尺寸时用于选择重建变换尺寸的系统，所述系统包括：a)尺寸确定器，用于确定较低层变换尺寸；b)确定器，用于确定较低层变换尺寸是否实质上与预定变换尺寸相似；c)第一选择器，当较低层变换尺寸实质上与预定变换尺寸相似时，选择预定变换尺寸的反变换作为重建变换尺寸；以及d)第二选择器，当较低层变换尺寸实质上与预定变换尺寸不相似时，选择缺省变换尺寸的反变换作为重建变换尺寸。

本发明的一些实施例包括用于多层比特流中的处理和过程管理的方法和系统。

结合附图，通过考虑以下对本发明的详细描述，将更容易理解本发明的上述和其他目的、特征和优点。

附图说明

图1A是示出了包括变换域系数的缩放的本发明的实施例的图；

图1B是示出了包括量化变换系数的累加和量化变换域的缩放的本发明的实施例的图；

图2A是示出了包括变换域系数的缩放和无重建的比特流重写的本发明的实施例的图；

图2B是示出了包括量化变换系数或索引的累加和无重建的比特流重写的本发明的实施例的图；

图3是示出了包括变换尺寸选择的本发明的实施例的图；

图4是示出了包括条件变换尺寸指示和选择的本发明的实施例的图；

图5是示出了包括基于量化参数的系数缩放的本发明的实施例的图；

图6是示出了包括基于相邻宏块数据对熵编码控制值的计算的本发明的实施例的图；

图7是示出了包括基于相邻宏块条件的组合对熵编码控制值的确定的本发明的实施例的图；

图8是示出了包括基于相邻宏块数据的估计的预测模式的确定和预测模式信号指示的本发明的实施例的图；

图9是示出了包括计算组合层编码的块模式的本发明的实施例的图；

图10是示出了包括基于层空间分辨率的选择性变换累加的本发明的实施例的图；

图11是示出了包括变换尺寸选择的本发明的实施例的框图；

图12是示出了包括基于量化参数的系数缩放的本发明的实施例的框图；

图13是示出了包括基于相邻宏块数据对熵编码控制值的计算的本发明的实施例的图；

图14是示出了包括组合层编码的块模式的计算的本发明的实施例的图；以及

图15是示出了包括基于层空间分辨率的选择性变换累加的本发明的实施例的框图。

具体实施方式

参照附图，将最好地理解本发明的实施例，其中贯穿附图，使用相似的参考标记来表示相似的部分。以上所列附图明确地结合为本详细描述的一部分。

容易理解，如在这里的附图中所示并总体描述的，可以使用多种不同配置来布置并设计本发明的组件。因此，以下对本发明的方法和系统的实施例的更详细描述不应限制本发明的范围，而仅作为本发明的当前优选的实施例的代表。

可以以硬件、固件和/或软件来实现本发明的实施例的元件。尽管这里所示的示例性实施例仅描述了这些形式中的一种，但是应当理解，本领域技术人员在本发明的范围内可以以这些形式中的任一种来实现这些元件。

本发明的一些实施例包括用于可缩放视频编码的残差累加的方法和系统。一些实施例包括用于对可缩放比特流进行解码的方法和系统。比特流可以通过编码器来产生，随后被存储或者发送至解码器。解码器可以解析比特流并将解析后的符号转换成解码图像的序列。

可缩放比特流可以包含原始图像序列的不同表示。在一个具体示例中，比特流中的第一层包含图像序列的低质量版本，比特流中的第二层包含图像序列的较高质量版本。在第二个具体示例中，比特流中的第一层包含图像序列的低分辨率版本，比特流中的第二层包含图像序列的较高分辨率的版本。对于本领域技术人员而言，更复杂的示例是显而易见的，这些更复杂的示例可以包括图像序列和/或比特流的多个表示，这些表示包含不同质量和分辨率的组合。

为了减小编码器输出的比特率，可缩放比特流可以包括层间预测的形式。示例性实施例可以包括针对AVC|H.264视频编码标准的可缩放视频扩展中的层间预测。这些扩展通常被称作SVC和SVC系统，在T.Wiegand，G.Sullivan，J.Reichel，H.Schwarz and M.Wien，“Joint Draft9ofSVC amendment(revision2)”，JVT-V201，Marrakech，Morocco，January13-19，2007中对此进行了描述。在SVC系统中，通过将运动和模式信息从所列举的较低层投影到所列举的较高层来实现层间预测。此外，将预测残差从所列举的较低层投影到所列举的较高层。然后，较高层的比特流可以包含附加的残差，以改进解码输出的质量。

ISO/IEC JTC1/SC29/WG11Information Technology-Coding ofAudio-Visual Objects-Part10：Advanced Video Coding，ISO/IEC14496-10，2005也结合在此作为参考。

ITU-T Recommendation H.264：“Advanced video coding for genericaudio visual services”，March2003也结合在此作为参考。

SVC至AVC的比特流重写

当前SVC系统需要代码转换来支持在除基础层以外的任何一层上的AVC设备。这限制了SVC的应用空间。本发明的实施例包括对粗颗粒可缩放层的语法和语义的改变，以实现SVC比特流至符合AVC的比特流的快速重写。在一些实施例中，网络设备可以在无偏移和无需重建序列的情况下，将SVC数据重写至AVC比特流中。在一些实施例中，这可以通过合并多个粗颗粒可缩放层来完成。

本发明的一些实施例包括SVC至AVC比特流的重写。这个过程可以包括将SVC比特流作为输入以及产生AVC比特流作为输出。这一点在概念上与代码转换相似。但是，一些实施例利用SVC的单环结构，并实现了SVC比特流到AVC语法元素上的直接映射。一些实施例可以在不引入偏移和不重建视频序列的情况下执行该功能。

实现SVC至AVC比特流的快速重写的实施例避免了需要承载由SVC端到端引入的额外开销。因此，当不再需要可缩放功能时，可以将其丢弃。这些实施例能够极大扩展SVC的应用空间。作为示例性实施例的非限制示例，考虑最终传送链路是速率受限的情况。这可能是至便携式设备的无线链路，或者可选地，是至高分辨率显示器的无线链路。在任一情况下，我们能够利用SVC的可缩放性特征来智能地适配发射机的速率。但是，由于接收设备不需要SVC功能，因此将SVC分量从比特流中移除是有利的。由于更少的比特用于开销而更多的比特可用于视觉数据，因此这提高了传送的视频的视觉质量。

作为比特流重写的第二非限制示例，考虑支持大量异构设备的系统。经由较慢传送链路连接的设备接收作为SVC比特流的一部分的AVC基础层。经由较快传送链路连接的设备接收AVC基础层外加附加的SVC增强层。为了查看这些增强数据，这些接收机必须能够对SVC序列进行解码和重建。对于具有大量这些设备的应用，这引入了用于部署SVC的大量成本。必须在每一个接收机中部署机顶盒(或其他解码硬件)。作为更经济的解决方案，可以采用在网络中从SVC至AVC的比特流重写过程，以将AVC数据传送至所有设备。这减少了SVC的部署成本。

作为比特流重写的第三个非限制示例，考虑利用SVC将内容存储到媒体服务器上以最终传送到客户端设备的应用。SVC格式是非常吸引人的，因为与在服务器上将多个AVC比特流归档相比，它需要较少的存储空间。但是，它也需要在服务器上进行代码转换操作，以支持AVC客户端或客户端的SVC能力。SVC至AVC的比特流重写的实现允许媒体服务器利用SVC来改进编码效率，而无需计算复杂度较高的代码转换和/或整个网络上的SVC能力。

作为比特流重写的第四个非限制示例，SVC至AVC比特流重写的过程简化了SVC解码器硬件的设计。目前，SVC解码器需要整个AVC解码和重建逻辑上的修改。使用SVC至AVC比特流重写的实现，将AVC和SVC之间的差别局部化至熵解码器和系数缩放操作。由于最后的重建环路和AVC重建过程相同，因此这简化了SVC解码过程的设计。此外，保证SVC重建步骤对每块仅包含一次预测操作和一次反变换操作。这与目前的SVC操作不同，目前的AVC操作需要多次反变换操作和针对层内预测的可变参考数据。

本发明的一些实施例包括对SVC粗颗粒可缩放性层的改变，以实现SVC比特流至AVC比特流的直接映射。这些改变包括修改的IntraBL模式和针对层间编码的增强层中的BLSkip块的变换的限制。在一些实施例中，这些改变可以通过基于序列和可选地基于图像条(slice)而发送的标记来实现。

层间编码块

一些实施例包括对层间编码块的改变。这些改变包括：

由基础层块推断出的块必须利用与基础层块相同的变换。例如，如果位于粗颗粒可缩放层中的块的base_mode_flag等于1，而且位于相同位置的基础层块利用4x4变换，则增强层块必须也利用4x4变换。

由基础层块推断出的并利用残差预测的块的重建应当发生在变换域中。目前，在空间域内重建基础层块，然后在增强层中传送残差。在这些实施例中，在解码器处对基础层块的变换系数进行缩放，由增强层中的信息进行细化，然后对其进行反变换。

当avc_rewrite标记为1时，smoothed_reference_flag应当为零。

层内编码块

层内编码块为SVC至AVC重写问题提供了额外的障碍。在CGS系统中，可以以IntraBL模式来编码增强层中的块。该模式信号指示了应对基础层中的层内编码块进行解码并用于预测。然后，可以在增强层中信号指示附加残差。在SVC至AVC重写系统中，由于重建的层内编码块不能被描述为其相邻块的空间预测加上信号指示的残差，因此这产生了困难。因此，必须将层内编码块从SVC代码转换为AVC。这需要增加计算复杂度；也引入了可能通过运动补偿传播的编码误差。

可以参考图1A来描述本发明的一些实施例。根据这些实施列的解码器或者重写器(系统)包括：第一反量化器5，缩放器6，第二反量化器11，第一加法器(系数组合器)7，反变换器10，以及第二加法器(第二组合器)9。在这些实施例中，在解码器或重写器处接收基础层残差(基础层量化变换系数)1，预测模式数据2和增强层残差(增强层量化变换系数)3。在解码器/重写器处也已知相邻块数据4。第一反量化器5可以对基础层残差数据3进行反量化，从而创建基础层变换系数，缩放器6可以对该变换系数进行缩放以匹配增强层的特性，从而创建缩放后的基础层变换系数。在一些实施例中，所匹配的特性可以包括量化参数特性。第二反量化器11也可以对增强层残差3进行反量化，并由第一加法器7将其加至缩放后的基础层残差系数(缩放后的基础层变换系数)，从而形成组合系数。然后，反变换器10对组合系数进行反变换来产生空间域强度值。在一些实施例中，当不需要增强层信息时可以将其忽略。层内预测8使用预测模式数据2和相邻模块数据4来确定预测块。然后，第二加法器9将预测块加至来自基础层和增强层的空间域强度值，从而产生解码块12。

可以参照图1B来描述本发明的一些实施例。在这些实施例中，在解码器或重写器处接收基础层残差1，预测模式2和增强层残差3。相邻块数据135也为解码器/重写器已知并可以用于预测134。在这些实施例中，可以对基础层量化变换系数1进行缩放130以匹配增强层的特性，从而创建缩放后的基础层变换系数。在一些实施例中，所匹配的特性可以包括量化参数特性。增强层量化变换系数3可以被加131至缩放后的基础层量化变换系数，以创建组合量化系数。可以对组合量化系数进行反量化132来产生解量化的组合系数，然后可以对解量化的组合系数进行反变换133来产生组合空间域值。然后，这些空间域值可以与预测数据进行组合136，以形成重建图像137。

可以参照图2A来描述本发明的一些实施例。在这些实施例中，对比特流进行重新编码而无需完整的图像重建。在这些实施例中，可以在解码器、代码转换器、编码器的解码部分或其他设备或模块接收基础层(BL)残差数据1。该设备或模块也可以接收增强层(EL)残差数据3。在这些实施例中，第一反量化器5可以对BL残差1进行反量化来产生BL变换系数。然后，缩放器6可以对这些BL变换系数进行缩放以匹配增强层的特性，从而创建缩放后的BL变换系数。在一些实施例中，该增强层的特性可以是量化参数、分辨率参数或者其他一些将基础层和增强层相关联的参数。第二反量化器11也可以对增强层数据3进行反量化，以产生增强层系数18。然后，系数组合器19可以将缩放后的BL系数16与缩放后的BL系数进行组合，以产生组合系数17。然后，可以使用比特流编码器(比特流产生器)13将这些组合系数重写至缩减的层或单层比特流。比特流编码器13也可以将预测数据2写入比特流中。比特流编码器13的功能还可以包括量化、熵编码和其他功能。

可以参照图2B来描述本发明的一些实施例。在这些实施例中，对比特流进行重新编码而无需完整的图像重建而且无需反量化。在这些实施例中，可以在解码器、代码转换器、编码器的解码部分或其它设备或模块接收基础层(BL)残差数据36。该设备或模块也可以接收增强层(EL)数据37。在这些实施例中，可以对BL信号36和增强层信号37进行熵解码来产生量化系数或者索引21和23。然后可以对BL量化索引进行缩放20以匹配增强层的特性，从而创建缩放后的BL索引。在一些实施例中，该增强层的特性可以是量化参数、分辨率参数或者其他一些将基础层和增强层相关联的参数。然后，可以将缩放后的BL索引26与EL索引23进行组合24以产生组合索引27。然后，可以使用比特流编码器25将这些组合系数重写至缩减的层或者单层比特流28。比特流编码器25也可以将预测数据35写入比特流中。比特流编码器25的功能也可以包括量化、熵编码和其他功能。

在这些实施例中，不需要完整重建基础层块。相反，将层内预测模式和残差数据均映射到增强层。然后，从增强层加上附加残差数据。最终重建了块。这个方法的优点在于，可以将增强块写入单层比特流而没有损耗也无需对基础层进行完整解码。

本发明的一些实施例包括CGS系统中的层之间的运动数据的传播而不使用残差预测标记。这些实施例包括修改的IntraBL方法，该方法将层内预测模式从基础层传播到增强层。然后，在增强层执行层内预测。

在这些实施例中，用于IntraBL块的变换类型必须与位于相同位置的基础层块一致。例如，如果基础层块采用8x8变换，则增强层块必须也采用8x8变换。

在一些实施例中，为了实现比特流的独立处理，还可以在增强层中传送8x8变换标记。

在一些示例性实施例中，由基础层中的16x16变换来编码的块也可以由增强层中的16x16变换来编码。但是，增强层块是采用4x4扫描模式和方法来传送的。这就是说，在这些实施例中，16x16块的DC和AC系数不是分开发送的。

可以参考图3和图11来描述本发明的一些实施例。根据这些实施例的系统包括：尺寸确定器201、确定器202、第一选择器203以及第二选择器204。在这些实施例中，可以从一层到另一层推断得到包括多层图像、层内预测模式和变换数据。在一些实施例中，第一层变换尺寸可以由尺寸确定器201(30)来确定。第一层可以是基础层或由其预测出另一层的层。在这些实施例中，建立了预定变换尺寸。然后，将第一层变换尺寸和预定(预定义)变换尺寸进行比较。这就是说，确定器202确定所述较低层变换尺寸是否与预定变换尺寸相同(实质上相似)。如果第一层变换尺寸和预定变换尺寸相同(31)，则第一选择器203选择(33)预定变换尺寸用于反变换操作。如果第一层变换尺寸和预定变换尺寸不相同(31)，则第二选择器204选择(32)缺省变换尺寸用于反变换操作。在一些实施例中，预定变换尺寸可以是8x8，缺省变换尺寸可以是4x4。

在一些实施例中，预定变换尺寸也可以与特定扫描模式和方法相关。在这些实施例中，第一层变换尺寸和预定变换尺寸之间的关系也可以触发特定编码方法和模式。例如，在一些实施例中，预定变换尺寸可以是16x16，预定的16x16尺寸和实际较低层尺寸的匹配可以指示要使用16x16，但是要使用4x4扫描模式和方法对数据进行编码，其中将AC和DC系数一起传送。

可以参照图4来描述本发明的一些实施例。在这些实施例中，对多层比特流进行解析40和处理，以确定基础层变换尺寸并产生BL系数值。也对比特流的增强层进行解析41，以确定是否存在变换指示符。如果比特流中存在增强层变换指示符42，则利用所指示的变换尺寸对EL系数进行反变换。如果在比特流中不存在增强层变换指示符42，则确定基础层变换尺寸是否为8x8 44。如果基础层变换尺寸是8x8，则利用8x8变换尺寸对增强层进行反变换46。如果基础层变换尺寸不是8x8，则利用缺省变换尺寸(如4x4)对增强层进行反变换45。

在本发明的一些实施例中，通过从IntraBL块中的基础层推断层内预测模式，可以从基础层直接拷贝层内预测模式。在一些可选实施例中，可以根据基础层模式来进行不同的编码。在一些实施例中，可以使用当前方法来信号指示AVC中的层内预测模式。但是，在这些实施例中，将预测的模式(或最可能的模式)设置为等于基础层模式。

在一些实施例中，可以从增强层比特流中省略8x8变换标记，可以根据基础层模式来推断变换。

在一些实施例中，在基础层和增加层中，均可以以相同方式信号指示16x16变换系数。可以从增强层中的附加标记来信号指示16x16变换的存在，或从基础层比特流推断出16x16变换的存在。

本发明的一些实施例包括用于IntraBL块的残差预测标记。这些实施例实现了基础层残差的自适应使用，以细化增强层层内预测块。

在本发明的一些实施例中，编码器可以禁用SVC比特流中不能被直接映射到AVC比特流的所有模式。这些实施例的信号指示可以在SVC比特流中完成。在一些示例性实施例中，这样的信号指示可以发生在序列首部、序列参数集合、画面参数集合，图像条首部或者其他地方。在一些实施例中，该信号指示可以发生在SEI消息中。在示例性实施例中，该信号指示可以发生在空间可缩放性SEI消息中。在一些实施例中，可以使用其他带外方法来进行该信号指示，在一些情况下，不需要规范性地改变为SVC解码操作。

在一些实施例中，当编码器信号指示该操作模式时，解码器可以假定编码器正在产生能够被转换成AVC的比特流。在一些示例性实施例中，在这种模式下操作时，编码器可以不利用IntraBL块模式或平滑参考工具。此外，在这些实施例中，编码器可以确保可以通过对基础层变换系数进行缩放然后加上所传送的残差来结合残差数据。这些实施例可能需要编码器在基础层和增强层中采用相同的变换方法。

用于CGS的SVC至AVC比特流重写：语法

F.7.3.2序列参数集合SVC扩展语法

F.7.3.4可缩放扩展中的图像条首部

F.7.3.6.3可缩放扩展语法中的残差

F.7.3.2序列参数集合SVC扩展语义

nal_unit_extension_flag等于0规定了：在序列参数集合中，下一个是用于规定simple_priority_id至(dependency_id，temporal_level，quality_level)的映射的参数。nal_unit_extension_flag等于1规定了：用于规定simple_priority_id至(dependency_id，temporal_level，quality_level)的映射的参数不存在。当nal_unit_extension_flag不存在时，应推断其等于1。参考当前序列参数集合，具有nal_unit_type等于20和21的所有NAL单元的NAL单元扩展语法元素extension_flag应等于nal_unit_extension_flag。

注释-当profile_idc不等于83时，参考当前序列参数集合，具有nal_unit_type等于20和21的所有NAL单元的语法元素extension_flag应等于1。

number_of_simple_priority_id_values_minus1加1规定了：用于simple_priority_id的值的数目，在序列参数集合中下一个参数规定了该simple_priority_id至(dependency_id，temporal_level，quality_level)的映射。number_of_simple_priority_id_values_minus1的值应在0至63的范围内(含0和63)。

priority_id、dependency_id_list[priority_id]、temporal_level_list[priority_id]、quality_level_list[priority_id]规定了如子条款F.7.4.1所规定的用于语法元素dependency_id、temporal_level和quality_level的推断过程。对于不存在dependency_list[priority_id]、temporal_level_list[priority_id]和quality_level_list[priority_id]的所有priority_id值，应推断dependency_list[priority_id]、temporal_level_list[priority_id]和quality_level_list[priority_id]等于0。

extended_spatial_scalability规定了与用于基础层上采样的几何参数相关的语法元素的存在。当extended_spatial_scalability等于0时，在比特流中不存在几何参数。当extended_spatial_scalability等于1时，在序列参数集合中存在几何参数。当extended_spatial_scalability等于2时，在slice_data_in_scalable_extension中存在几何参数。extended_spatial_scalability等于3的值保留。当extended_spatial_scalability不存在时，应推断其等于0。

scaled_base_left_offset规定了上采样的基础层画面的左上角像素与当前层画面的左上角像素之间的水平偏移，该偏移以两个亮度采样为单位。当scaled_base_left_offset不存在时，应推断其等于0。

变量ScaledBaseLeftOffset定义如下：

ScaledBaseLeftOffset＝2*scaled_base_left_offset(F-40)

变量ScaledBaseLeftOffsetC定义如下：

ScaledBaseLeftOffsetC＝

ScaledBaseLeftOffset/SubWidthC  (F-41)

scaled_base_top_offset规定了上采样的基础层画面的左上角像素与当前层画面的左上角像素之间的垂直偏移，该偏移以两个亮度采样为单位。当scaled_base_top_offset不存在时，应推断其等于0。

变量ScaledBaseTopOffset定义如下：

ScaledBaseTopOffset＝2*scaled_base_top_offset  (F-42)

变量ScaledBaseTopOffsetC定义如下：

ScaledBaseTopOffsetC＝

ScaledBaseTopOffset/SubHeightC  (F-43)

scaled_base_right_offset规定了上采样的基础层画面的右下角像素与当前层画面的右下角像素之间的水平偏移，该偏移以两个亮度采样为单位。当scaled_base_right_offset不存在时，应推断其等于0。

变量ScaledBaseRightOffset定义如下：

ScaledBaseRightOffset＝2*scaled_base_right_offset  (F-44)

变量ScaledBaseWidth定义如下：

ScaledBaseWidth＝PicWidthInMbs*16-

ScaledBaseLeftOffset-ScaledBaseRightOffset  (F-45)

变量ScaledBaseWidthC定义如下：

ScaledBaseWidthC＝ScaledBaseWidth/SubWidthC  (F-46)

scaled_base_bottom_offset规定了上采样的基础层画面的右下角像素与当前层画面的右下角像素之间的垂直偏移，该偏移以两个亮度采样为单位。当scaled_base_bottom_offset不存在时，应推断其等于0。

变量ScaledBaseBottomOffset定义如下

ScaledBaseBottomOffset＝2*scaled_base_bottom_offset  (F-47)

变量ScaledBaseHeight定义如下：

ScaledBaseHeight＝PicHeightInMbs*16-

ScaledBaseTopOffset-ScaledBaseBottomOffset  (F-48)

变量ScaledBaseHeightC定义如下：

ScaledBaseHeightC＝ScaledBaseHeight/SubHeightC  (F-49)

chroma_phase_x_plus1规定了色度分量的水平相移，该相移以当前层画面的水平方向上的四分之一采样间隔为单位。当chroma_phase_x_plus1不存在时，应推断其等于0。chroma_phase_x_plus1在0..1的范围内，2和3的值保留。

chroma_phase_y_plus1规定了色度分量的垂直相移，该相移以当前层画面的垂直方向上的四分之一采样间隔为单位。当chroma_phase_y_plus1不存在时，应推断其等于1。chroma_phase_y_plus1在0..2的范围内，3的值保留。注意：在相同的sequence_parameter_set中，vui_parameters中指定的色度类型应与色度相位参数chroma_phase_x_plus1和chroma_phase_y_plus1一致。

avc_rewrite_flag指定了：仅通过对熵码进行解码和编码并对变换系数进行缩放，可以无退化地将所传送的序列重写为AVC比特流。编码器采用了一种用于IntraBL块的可选方法，并对变换尺寸选择加以限制。

avc_adaptive_rewrite_flag指定了将在图像条首部中发送avc_rewrite_flag。

本发明的一些实施例包括将量化变换系数映射至“解量化”版本或可选量化域的缩放过程。在一些实施例中，当上述avc_rewrite_flag信号指示禁用这些过程时，则根据当前H.264/AVC视频编码标准中定义的过程对所有层中的解码的变换系数进行“解量化”。但是，当avc_rewrite_flag信号指示使用这些实施例时，则不在期望的增强层之前的层中对解码的量化变换系数或索引进行“解量化”。取而代之地，将量化系数或者索引从较低层(具体地，期望的增强层所依赖的层)映射到相邻较高层(具体地，在依赖性顺序上与显式依赖于上述较低层的增强层较接近的层)。

可以参考图5和图12来描述本发明的一些实施例。根据这些实施例的系统包括：第一参数确定器211、第二参数确定器212和缩放器213。在这些实施例中，映射处理可以操作如下。首先，第一参数确定器211确定(50)在较低层比特流中的量化参数(或Qp)值。然后，第二参数确定器212确定(51)在较高层中的量化参数(或Qp)值。然后，在缩放器213处，使用基于量化参数的因子来对较低层系数(第一层变换系数)进行缩放(52)。

在一些实施例中，可以计算较低层和较高层Qp值之间的差。在一些实施例中，可以按照如下过程对变换系数进行缩放：

$T_{\mathrm{HigherLayer}}\left[n\right]=T_{\mathrm{LowerLayer}}\left[n\right]\·2^{\frac{\mathrm{Qp}\_\mathrm{LowerLayer}-\mathrm{Qp}\_\mathrm{HigherLayer}}{6}}$

其中T_HigherLayer和T_LowerLayer分别表示较低层和较高层的变换系数；n是整数，Qp_LowerLayer和Qp_HigherLayer分别是较高层和较低层的量化参数。

可以采用许多方式来实现映射过程的计算以简化计算。例如，如下系统是等同的：

Qp_Diff＝Qp_LowerLayer-Qp_HigherLayer

T_HigherLayer[n]＝

((T_LowerLayer[n]＜＜QP_Diff//6)*ScaleMatrix[QP_Diff％6]+M/2)/M

其中，//表示整数除法，％表示模运算，M和ScaleMatrix是预定常量。

这些预定值的一个具体示例如下：

ScaleMatrix＝[512 573 642 719 806 902]

M＝512

但是，应当显而易见的是，也可以使用M和ScaleMatrix的其他值。

上述简化示例假定Qp_Diff的值总是大于0。相应地，在一些实施例中，可以在执行缩放操作之前检查Qp_Diff的值。当Qp_Diff的值小于0时，可以在更多处理之前将其值重新赋为0。在一些实施例中，可以假定Qp_LowerLayer将大于或等于Qp_HigherLayer。

在其他一些实施例中，可以实现如下系统：

Qp_Diff＝Qp_LowerLayer-Qp_HigherLayer

T_HigherLayer[n]＝

((T_LowerLayer[n]＜＜QP_Diff//6)*ScaleMatrix[QP_Diff％6+5]+M/2)＞＞M

在示例性实施例中，可以将预定值选择为：

ScaleMatrix＝

[291 325 364 408 457 512 573 642 719 806 902]

M＝512

在一些实施例中，在将变换系数从较低层映射至较高层之后，在利用上述过程的情况下，可以对系数进行细化。在细化之后，可以采用第二缩放操作。该缩放操作可以“解量化”变换系数。

虽然上述一些实施例仅描述了一个较低层和一个较高层，但是一些实施例可以包括多于2层。例如，示例性的三层情况可以按照如下来工作：首先，可以对最低层进行解码。然后，可以通过上述方法将变换系数映射到第二层。然后对映射的变换系数进行细化。接下来，利用上述方法将这些变换系数映射到第三层。然后对这些变换系数进行细化，通过如AVC/H.264视频编码标准定义的缩放操作来对所产生的系数进行“解量化”。

可以参照图6和图13来描述本发明的一些实施例。根据这些实施例的系统可以包括：第一标识器221、第二标识器222、第一指示符确定器223、第二指示符确定器224以及值确定器225。在这些实施例中，可以利用与相邻宏块相关的信息来通知目标块或宏块的编码或解码操作。在一些实施例中，第一标识器221标识第一相邻宏块(60)，第二标识器222标识第二相邻宏块(61)。然后，第一指示符确定器223确定第一相邻宏块指示符(62)，第二指示符确定器224确定第二相邻宏块指示符(63)。然后，基于相邻宏块指示符，值确定器225可以确定熵编码控制值(64)。

可以参照图7来描述本发明的一些实施例。在这些实施例中，标识第一相邻宏块71，并标识第二相邻宏块72。然后，可以检查第一相邻宏块的属性来确定第一宏块是否满足预定条件73。也可以检查第二相邻宏块来确定是否满足条件74。在一些实施例中，这些条件可以包括：宏块是否可用、宏块是否是以层间预测模式来编码的、宏块是否是在空间域内编码的、宏块是否是使用DC预测来进行层内预测的、以及宏块是否是参考另一时间一致的层来编码的。如果第一宏块满足任一条件75，则设置第一宏块标记来指示相符80。如果不满足任何条件，则设置该标记来指示不相符76。在一些实施例中，如果满足任一条件，则可以设置该标记为“0”80，如果不满足任何条件，则可以设置该标记为“1”76。对于第二相邻宏块，可以执行相同过程74、79，其中如果满足条件，则将标记设置为一个值81，如果不满足条件则将标记设置为另一个值78。当检查过两个相邻宏块并设置了相关标记时，可以将该标记相加83。然后，所产生的值可以用作熵编码控制值。

可以参照图8来描述本发明的一些实施例。在这些实施例中，标识第一相邻宏块90，并标识第二相邻宏块92。然后，可以检查第一相邻宏块的属性来确定该宏块是否满足预定条件92。在一些实施例中，这些条件可以包括：宏块是否可用、宏块是否是以层间预测模式来编码的以及宏块是否是参考另一层来编码的。如果任一宏块满足任一条件94，则将估计的预测模式设置为预定模式。在一些实施例中，该预定模式可以是DC预测模式。

在这些实施例中，也可以确定实际预测模式。实际预测模式可以基于图像内容。可以利用一些方法来确定产生最少误差或者减少的误差的预测模式。如果实际预测模式和估计的预测模式相同94，则可以对比特流进行编码来指示估计的预测模式的使用。在解码器侧，在对比特流进行解码时，可以执行同样的过程来选择估计的模式。当实际预测模式和估计的预测模式不相同时94，发送消息来指示实际模式及其选择95。估计的预测模式和实际预测模式的信号指示的细节在JVT AVC规范中可以找到，并结合在此作为参考。

本发明的一些实施例可以包括用于层内编码块中的亮度和色度信息的层内预测模式的编码。传统上，使用上下文自适应的方法来信号指示这些模式，并以依赖于空间相邻块的预测模式的方式来对这些模式进行编码。在本发明的一些实施例中，可以用到条件过程。在这些实施例中，如果相邻块没有采用层间预测，则可以通过这些相邻块来预测预测模式。可以按照如下方式之一来对待采用层间预测的块。在一些示例性实施例中，可以将该块视为如同具有最大可能预测模式。在H.264/AVC相关的实施例中，低于亮度预测的情况，这可以是DC预测模式(模式2)。

在一些可选实施例中，可以将该块视为如同层间编码块和预测区域的OUTSIDE。在一些实施例中，OUTSIDE对于用于JVT SVC项目组中的测试的软件具有特定上下文。该软件通常被称作JSVM。

在一些环境中，预测模式的编码和用于信号指示编码模式的上下文的选择可以是分离的过程。对于上述两个过程可以使用不同的预测方法。例如，可以利用用于所有层内编码块——包括采用层间预测的块——的实际预测模式来对预测模式进行编码。但是，这些相同的块可以利用其他规则，如上述任一规则，以导出用于对已编码值进行编码的上下文。例如，该上下文可以假定利用层间预测的层内块具有最大可能预测模式。这些实施例中的一些实现了与不同层相对应的比特流的独立处理。

本发明的一些实施例包括“编码块模式”信息(或Cbp)的维护，在JVT SVC标准中对此作了定义，并结合在此作为参考。所述信息定义了图像(或宏块)内包含残差信息的子区域。在一些情况下，对比特流进行解码是必要的，这是因为比特流解码器首先对Cbp进行解码，然后利用该信息对比特流的其余部分进行解析。(例如，Cbp可以定义可能存在的变换系数的数目。)在很多解码器中，也可以利用Cbp来重建解码帧。例如，如果Cbp表示残差信息，则解码器仅需要计算反变换。在一些实施例中，解析过程可以利用在比特流中传送的Cbp来提取变换系数。但是，由于子区域可以包含来自先前的层的残差信息，因此它可能不再能够用于重建过程。

相应地，本发明的实施例的解码器可以：(1)重建过程中不利用Cbp信息，或者(2)在解析比特流后重新计算Cbp。重新计算过程的示例包括：对所有系数列表进行扫描，以标识具有残差信息的子区域，或者可选地，通过计算所传送的Cbp和用于重建较低层数据的Cbp之间的二进制或运算来产生新的Cbp。在这种情况下，“较低层数据”表示在层间预测过重中所利用的层。

可以参照图9和图14来描述本发明的一些实施例。根据这些实施例的系统包括：接收机231、解码器232、解析器233、缩放器234、加法器235、计算器236。在这些实施例中，接收机231接收(100)包括Cbp信息和编码图像信息的比特流。解码器232可以对Cbp信息进行解码(101)并利用Cbp信息来确定比特流的哪些部分包括变换系数数据。然后，解析器233利用Cbp信息来对比特流进行解析(102)，以标识基础层和任何增强层中的量化索引或解量化的变换系数。然后，缩放器234可以对基础层或较低层的索引或系数进行缩放，以匹配增强层。然后，缩放后的索引或系数可以通过加法器与增强层相加或组合，以形成组合层(104)。然后，计算器236可以重新计算或者更新(105)Cbp信息，以反映原始基础层或较低层与新组合层之间的系数位置的变化。然后，新的组合Cbp信息可以用于组合层或所产生的重建图像的后续处理。在一些实施例中，组合Cbp信息可以用于AVC规范中定义的环形滤波器操作。

本发明的一些实施例包括用于处理实现8x8变换的标记的方法和系统。这些实施例可以与JVT SVC标准相关。在这些实施例中，当块是使用层间预测层内编码而不包含残差数据时，不需要传送该标记。在一些实施例中，当帧间预测利用小于特定尺寸(如8x8)的块时，不需要传送该标记。这些实施例可以拷贝在较低层中传送的变换标记，并在重建过程中采用该标记。

本发明的一些实施例包括用于处理实现8x8变换的标记的可选方法。在这些实施例中，当块不包含残差数据时，不需要传送该标记。如果这种情况发生在用于层间预测的较低层，则较高层在发送残差数据时能够选择实现8x8变换。这可以是标记的缺省值，该缺省值并不传送，但禁用了8x8变换。在一些实施例中，在特定情况下，解码器能够允许较低层和较高层采用不同变换。

一些本发明的实施例包括用于处理量化矩阵的方法和系统，本领域专业人员也称其为加权矩阵或缩放矩阵。这些矩阵可以改变“解量化”过程，并允许编码器和解码器应用依赖于频率(或依赖于变换系数)的量化。在这些实施例中，这些缩放矩阵的出现改变了上述映射过程中描述的缩放处理。在这些实施例中，映射过程可以描述为：

$T_{\mathrm{HigherLayer}}\left[n\right]=T_{\mathrm{LowerLayer}}\left[n\right]\·2^{\frac{S\_L\left[n\right]*\mathrm{Qp}\_\mathrm{LowerLayer}-S\_H\left[n\right]*\mathrm{Qp}\_\mathrm{HigherLayer}}{6}}$

其中T_HigherLayer和T_LowerLayer分别表示较高层和较低层的变换系数；n是整数，Qp_LowerLayer和Qp_HigherLayer分别是较高层和较低层的量化参数，S_L和S_H分别是较高层和较低层的缩放因子。

为了使用加权矩阵，一些实施例可以利用上述映射过程中所述算法的修改版本。参照上述讨论，可以定义：

Qp_Diff[n]＝S_L[n]*Qp_LowerLayer-S_H[n]*Qp_HigherLayer

T_HigherLayer[n]＝

((T_LowerLayer[n]＜＜QP_Diff[n]//6)*ScaleMatrix[QP_Diff[n]％6]+M/2)＞＞M

其中S_L[n]和S_H[n]可以显式存在，或可选地可以从比特流中导出。

在使用加权矩阵的可选实施例中，可以在比特流中发送另外的加权矩阵。所述另外的加权矩阵可以显式定义从较低层来预测层所需的频率加权。例如，加权矩阵可以采用为：

Qp_Diff[n]＝W1[n]*(Qp_LowerLayer-Qp_HigherLayer)+W2[n]

T_HigherLayer[n]＝

((T_LowerLayer[n]＜＜QP_Diff[n]//6)*ScaleMatrix[QP_Diff[n]％6]+M/2)＞＞M

其中W1和W2是比特流中包括的加权矩阵。在一些实施例中，可以不传送W1或W2中的任一。在这些实施例中，未传送的矩阵可以被假定为具有等于零的元素。

本发明的实施例包括用于修改、创建和/或应用可缩放视频编解码器的方法和系统。一些实施例允许对多层比特流至具有较少层的比特流的快速转换。一些实施例包括多层比特流至单层比特流的转换。一些示例性实施例包括SVC比特流至AVC比特流的转换。

本发明的实施例涉及残差预测。这些实施例可以包括在变换域和空间域操作的残差预测过程。在示例性实施例中，当比特流中的较高层参考比特流中的较低层而且这两层都包含相同的空间分辨率时，残差预测过程可以包括将残差变换系数从较低层映射到较高层。该映射过程可以在缩放后的变换系数或(未缩放的)变换系数级上操作。在一些实施例中，缩放后变换系数的残差预测过程可以规定为：

A.8.11.4.1用于缩放后的变换系数的残差累加过程

该过程的输入是：

变量fieldMb，规定宏块是场宏块还是帧宏块，

变量lumaTrafo，规定亮度变换类型，

缩放后的变换系数值sTCoeff的列表，具有256+2*MbWidthC*MbHeightC个元素；

该过程的输出包括：

缩放后的变换系数值sTCoeff的修改版本。

可以使用fieldMb、lumaTrafo和sTCoeff作为输入来调用如子条款G.8.11.3中规定的缩放后的变换系数的累进的细化过程，而sTCoeff的修改后的版本作为输出，其中在所结合的SVC标准中对G.8.11.3进行了定义。

相反，在一些实施例中，当增强层利用较低层来进行包含不同的空间分辨率的层间预测时，残差预测过程可以在空间域进行。在这些实施例中，在强度域中对来自所参考的层的残差进行重建，并将其插值入增强层分辨率。在一种可选情形中，将来自所参考的层的残差添加到从空间域中的所参考的层导出的预测。然后将该加法的结果插值入增强层。

可以参照图10和图15来描述本发明的一些实施例。根据这些实施例的系统包括：分辨率确定器241、比较器242、控制器243、系数缩放器244、系数组合器245、反变换器246以及空间域组合器247。在这些实施例中，可以检查当前层来确定其是否采用了残差预测(110)。如果没有采用残差预测，则不需要累加(111)。如果采用了残差预测(110)，则分辨率确定器241确定当前层和参考层的空间分辨率(112，113)。然后，比较器242将当前层的空间分辨率和参考层的空间分辨率进行比较(114)。当这些空间分辨率相同时，控制器243选择性地允许系数缩放器244和系数组合器245执行步骤116和117。这就是说，如果这些空间分辨率相同(114)，则系数缩放器244可以对参考层(从该参考层预测当前层)的系数或索引进行缩放(116)，系数组合器245将其与当前层的索引或系数进行组合(117)。当这些空间分辨率不相同时，控制器243选择性地允许反变换器246和空间域组合器247执行步骤115、118和120。这就是说，如果空间分辨率不相同(114)，则可以对当前层和参考层的索引进行解量化，对所产生系数进行反变换(115、118)。然后，组合器247将所产生的当前层和参考层中的空间域值进行组合(120)，以形成重建图像。

通过以上描述容易看到，残差预测的方法取决于所列举的较高层和所列举的被参考用于预测的较低层的分辨率。不幸的是，由于空间域中的残差信息的累加可能不等于变换域(通过随后的转换而转换至空间域)中的残差信息的累加，因此这成为问题。对与标准化解码过程的情况，这可能导致编码器和解码器之间的偏移和编码效率的损失。

当前的SVC系统通过执行仅在空间域执行残差预测来解决该问题。然而，本发明的一些实施例包括在两个域中均执行残差预测的解码过程。具体地，当使用残差预测而且增强层和被参考用于层间预测的层具有相同分辨率时，在变换域中累加残差。然而，当使用残差预测而且增强层和被参考用于层间预测的层具有不同分辨率时，在空间域中累加残差。

一种示例性解码过程描述如下：

尽管未在上述伪代码中显式描述，但是其他示例性实施例包括对所定义的解码过程的其他扩展。在一些实施例中，可以在可缩放比特流中的多个层上执行层间预测。当视频编码标准允许这样做时，在任何残差处理之前，可以调用函数GenerateIntraLayerPrediction。该函数的输出可以被添加至数组rYCC。此外，在一些实施例中，在上述伪代码中不调用GenerateIntraLayerPrediction。取而代之地，可以使用outYCC＝rYCC来代替行outYCC＝GeneateIntraLayerPrediction(layerID)+rYCC。

在本发明的一些实施例中，可以在未缩放的变换系数上进行残差累加处理。在这种情况下，可以在构建缩放后的变换系数之前执行层间预测过程。在由C.Andrew Segall发明的、2006年7月10日提出的美国临时专利申请No.60/806,930，题为“Methods and Systems for ImageScalability”中描述了一些实施例的方面。在由C.Andrew Segall发明的、2006年10月6日提出的美国临时专利申请No.60/828,618，题为“Systemsand Methods for Bit-Stream Rewriting for Coarse Grain Scalability”中描述了一些实施例的方面。

用于一种示例性过程的伪代码由以下给出：

本发明的一些实施例包括一种解码器，将可缩放比特流作为输入，并产生重建的图像序列。该可缩放比特流采用层间预测过程来将信息从比特流中的所列举的较低层投影到比特流中的所列举的较高层。

本发明的一些实施例包括一种解码过程，在变换域和空间域中均对残差信息进行累加。当这些层描述的图像序列具有相同分辨率时，在比特流中所列举的层之间，在变换域执行累加。

本发明的一些实施例包括一种解码过程，仅当处理的当前层具有与用于层间预测的层不同的空间分辨率时，将所累加的变换系数转换至空间域。将该变换系数转换至空间域并随后对其进行上采样(或插值)。然后将变换系数列表设置为等于0。

本发明的一些实施例包括一种解码过程，直到当前解码的层与用于层间预测的层之间的分辨率不同之前，在变换域中累加残差。然后将变换系数列表设置为0，对参考具有相同空间分辨率的层的层的后续处理在变换域中执行累加。

本发明的一些实施例包括一种解码过程，通过以下操作来产生输出比特流：执行层内预测；对缩放后的变换系数计算反量化；将反量化操作的输出添加至可能的非零残差信号；以及对该之前加法的结果与层内预测过程的输出进行求和。

本发明的一些实施例包括一种解码过程，也允许在未缩放的变换系数或变换系数级上执行层间预测。

本发明的一些实施例包括一种解码过程，也允许在比特流中未被重建用于输出的层内执行层内预测。将该层内预测的结果添加至累加的空间残差。

本发明的一些实施例包括一种解码过程，其中在残差预测过程中执行限幅(clipping)。

在上述说明书中所采用的术语和表达仅在其中用作描述术语而非限制术语，在使用这样的术语和表达时，无意排除所示和所述特征或其部分的等效物，应当认识到，本发明的范围仅由所附权利要求来限定和限制。

可以使用软件与以下所述的CPU一起来实现本发明的实施例的系统中的元件。

这就是说，所述系统可以包括如下构件：CPU(中央处理单元)，执行实现功能的控制程序的指令；ROM(只读存储器)，记录程序；RAM(随机存取存储器)，在其上执行程序；以及存储设备(记录介质)，如存储器，存储程序和各种数据。本发明的目的可以按照以下方式来实现：以计算机可读的方式在记录介质上记录系统的控制程序的程序代码(例如：可执行代码程序、中间代码程序和源程序)，所述控制程序是用于实现功能的软件，将该记录介质提供给系统，计算机(或CPU或MPU)从记录介质读出程序代码并执行程序。

这样的记录介质的示例包括：带，如磁带和盒式磁带；磁盘，如软盘和硬盘；盘，包括光盘，如CD-ROM/MO/MD/DVD/CD-R；卡，如IC卡(包括存储卡)；以及半导体存储器，如掩模ROM、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)或闪存ROM。

可选地，所述系统能够连接至通信网络，允许经由通信网络来提供程序代码。通信网络的非限制示例包括因特网、内部网、外部网、LAN、ISDN、VAN CATV网络、虚拟专用网、电话网、移动通信网和卫星通信网络。组成通信网络的传输介质的非限制示例是：有线介质(如IEEE1394、USB、电力线通信、有线TV线路、电话线路和ADSL线路)、红外光(如IrDA和遥控器)、电波(如/IEEE802.11、HDR、移动电话网、卫星连接和陆地数字广播网络)。也应注意，可以使用载波或以程序代码的电子传输而实现的数据信号序列来实现本发明。

Claims (3)

1.一种用于带条件地组合多层比特流中的多个层的方法，所述方法包括：

a)接收第一层量化变换系数的步骤；

b)接收第二层量化变换系数的步骤；

c)接收层组合指示符的步骤，所述层组合指示符是表示仅通过熵码的解码以及编码、和变换系数的缩放就能无退化地将所传送的序列重写为AVC比特流的标记；

d)对所述第一层量化变换系数进行缩放以匹配所述第二层的特性的步骤；以及

e)当所述标记表示允许的情况下，将对所述第一层量化变换系数进行所述缩放后得到的值与所述第二层量化变换系数组合，形成量化组合系数的步骤，

所述缩放使用第一层的量化参数和第二层的量化参数来实施。

2.根据权利要求1所述的方法，其中，

所述第一层的缩放是将所述第一层的量化参数与所述第二层的量化参数的差值除以6，并将其结果作为2的幂指数来计算的。

3.根据权利要求1所述的方法，其中，

所述第一层的缩放是根据以下的i)～v)的步骤来计算的：

i)计算所述第一层的量化参数与所述第二层的量化参数的差值；

ii)将所述差值除以6后左移第一层变换系数；

iii)对于上述ii)的结果乘上以将所述差值除以6得到的余数作为索引的缩放矩阵；

iv)在iii)的结果中加上将常数M除以2得到的结果；

v)将iv)的结果除以常数M。