CN106663209A - 用于非均匀映射图像/视频编码中不同尺寸的量化矩阵之间的量化矩阵系数的方法和装置 - Google Patents

Abstract

一种用于非均匀映射图像/视频编码中的不同尺寸的量化矩阵的量化矩阵系数的方法包括：获得第一量化矩阵以及确定将从所述第一量化矩阵形成的第二量化矩阵。所述第二量化矩阵是比所述第一量化矩阵大2的倍数。通过所述第一量化矩阵的非均匀映射来使用所述第一量化矩阵中的值填充所述第二量化矩阵。用于填充所述第二量化矩阵的非均匀映射包括：将所有或部分所述第一量化矩阵的值直接映射到所述第二量化矩阵的最左上部分；以及将所述第一量化矩阵的上采样值映射到所述第二量化矩阵的剩余部分。频率位置模板可应用到所述第一量化矩阵，以仅将所述频率位置模板内的那些值直接映射到所述第二量化矩阵的最左上部分。

Description

用于非均匀映射图像/视频编码中不同尺寸的量化矩阵之间 的量化矩阵系数的方法和装置

技术领域

本发明大体上涉及高效视频编码，尤其涉及一种用于非均匀映射图像/视频编码中不同尺寸的量化矩阵之间的量化矩阵系数的方法和装置。

背景技术

在高效视频编码(high efficiency video coding，HEVC)中，量化矩阵的尺寸可在8x8的基础上进行扩展。可使用较大尺寸的量化矩阵(如16x16和32x32)并将其存储为图片参数集(picture parameter set，PPS)和/或序列参数集(sequence parameter set，SPS)中的不同的8x8量化矩阵。例如，在编码器侧，较大的量化矩阵可下采样或二次采样为8x8矩阵。在解码器侧，可通过上采样方式从下采样的8x8矩阵重建成较大的量化矩阵。总体而言，下采样的8x8量化矩阵可保持16x16矩阵或32x32矩阵的所有下采样值，以减少存储的比特。不同的8x8矩阵中的下采样值可为16x16矩阵中的24x24临频分量的平均值或32x32矩阵中的4x4临频分量的平均值。

然而，较大变换块中的变换(例如，DCT)系数的统计特性可不同于较小块中的变换系数的统计特性。例如，32x32变换块中的零系数百分比可大于8x8变换块中的零系数百分比。因此，与8x8变换块相比，32x32变换块中的系数能量可能更集中于低频部分(对应变换块的左上区域)。如果32x32量化矩阵是从下采样的8x8量化矩阵重建的，则8x8矩阵中的权重值可通过简单的值复制映射到32x32量化矩阵，这会带来频带映射误差并造成主观质量损伤。

发明内容

根据上文所述，本领域技术人员应意识到，需要一种技术来降低高效视频编码中的频带映射误差。根据本发明，提供了一种用于非均匀映射图像/视频编码中的不同尺寸的量化矩阵的量化矩阵系数的方法和装置，所述方法和装置大幅降低或基本消除了与当前的高效视频编码技术有关的问题和弊端。

根据一实施例，提供了一种用于非均匀映射图像/视频编码中的不同尺寸的量化矩阵的量化矩阵系数的方法，所述方法包括：获得第一量化矩阵以及确定将从所述第一量化矩阵形成的第二量化矩阵。所述第二量化矩阵比所述第一量化矩阵大2的倍数。通过所述第一量化矩阵的非均匀映射来使用所述第一量化矩阵中的值填充所述第二量化矩阵。用于填充所述第二量化矩阵的非均匀映射包括：将所述第一量化矩阵的值直接映射到所述第二量化矩阵的最左上部分；以及将所述第一量化矩阵的上采样值映射到所述第二量化矩阵的剩余部分。所述第一量化矩阵的一部分可由一对偏移值定义，其中，由所述偏移值定义的所述第一量化矩阵的一部分中的值直接映射到所述第二量化矩阵的最左上部分，所述第一量化矩阵的上采样值映射到所述第二量化矩阵的剩余部分。频率位置模板可应用到所述第一量化矩阵，以仅将所述频率位置模板内的所述第一量化矩阵的那些值直接映射到所述第二量化矩阵的最左上部分。

本发明描述了许多优于传统高效视频编码技术的技术优势。例如，一个技术优势是从较小矩阵进行较大矩阵的非均匀重建。另一个技术优势是指定所述较小矩阵的某些部分用于所述较大矩阵的重建。又一技术优势是与传统技术相比具有响应时间收益。对本领域技术人员而言，通过下面的附图说明、具体实施方式和权利要求书，其它技术优势将是显而易见和容易识别的。

附图说明

为了更透彻地理解本发明及其优点，现参阅结合附图而描述的以下简要说明，相同参考标号表示相同部分，其中：

图1A至图1B示出了示例高效视频编码系统的部分；

图2示出了一个8x8变换矩阵块的三个典型频带分布模型；

图3示出了从8x8矩阵重建32x32矩阵的示例均匀映射方案；

图4示出了通过非均匀映射从8x8矩阵重建16x16矩阵的实施例；

图5示出了通过非均匀映射从8x8矩阵重建32x32矩阵的实施例；

图6示出了通过非均匀映射从两个8x8矩阵重建16x16矩阵的实施例；

图7示出了通过非均匀映射从两个8x8矩阵重建32x32矩阵的实施例；

图8示出了使用两个偏移值从8x8矩阵重建16x16矩阵的实施例；

图9示出了使用两个偏移值从8x8矩阵重建16x16矩阵的非均匀映射方案的示例过程；

图10示出了使用两个偏移值从8x8矩阵重建32x32矩阵的实施例；

图11示出了使用两个偏移值从8x8矩阵重建32x32矩阵的非均匀映射方案的示例过程；

图12示出了使用两个偏移值从8x8矩阵重建16x16矩阵的替代实施例；

图13示出了使用两个偏移值从8x8矩阵重建16x16矩阵的非均匀映射方案的替代实施例的示例过程；以及

图14示出了用于实施本文所公开特征的一项或多项实施例的装置。

具体实施方式

下文图1至图14论述的以及用于描述本专利文档中本发明的原理的各实施例仅出于说明目的，不应理解为以任意方式限制本发明的范围。本领域技术人员将理解，本发明的原理可在任何类型的设置合理的设备或系统中实现。一个图中显示和论述的特征可适当地在一个或多个其它图中实现。

在编码图片或视频帧中的像素块时，可采用帧间预测或帧内预测基于一个或多个预先编码的参考块生成预测块。预测块可以是原始块的估计版本。通过从预测块中减去原始块可产生残差块，反之亦然，这样可呈现预测残差或误差。由于呈现预测残差所需的数据量通常会少于呈现原始块所需的数据量，所以可对残差块进行编码以实现更高的压缩比。

然后，可将空间域中的残差块的残差值转换成频率域中的变换系数。这种转换可通过二维变换，如十分类似于离散余弦变换(discrete cosine transform，DCT)的变换来实现。在变换矩阵中，(如位于左上区域的)低指数变换系数可对应于大空间特征，而(如位于右下区域的)高指数变换系数可对应于小空间特征且具有相对较小的幅度。而且，包含量化系数的量化矩阵(quantization matrix，QM)可应用于变换矩阵，进而将所有变换系数量化成为量化的变换系数。由于量化，变换系数的尺度或幅度可减小。某些高指数变换系数可降至零，这样可跳过后续的扫描和编码步骤。

图1A至图1B示出了示例高效视频编码系统的部分。在图1A中，视频编码器100包括变换单元102、量化单元104和熵编码器106。尽管图1A中未显示，但应理解，本领域技术人员所知的预测单元、去量化单元、重建单元等其它单元也可出现在视频编码器100中。在操作中，视频编码器100可获得或获取源图片或视频帧，这样可包括多个视频块。为了满足清晰度要求，此处以一个源视频块的编码为例。要对视频块进行编码，可首先生成预测块作为视频块的预测。回想到可由预测模块通过帧间或帧内预测生成预测块。然后，可以计算源视频块与预测块之间的差值以生成残差块。残差块可通过变换单元102变换为变换系数。在变换期间，包括大特征和小特征的空间域中的残差像素值转变成包含高频带和低频带的频率域中的变换系数。然后，量化单元104可使用QM来量化变换系数，进而生成量化的变换系数。而且，量化的变换系数可通过熵编码器106进行编码，并最终作为比特流的一部分从视频编码器100传输。

在图1B中，视频解码器110包括逆向量化单元112和逆向变换单元114。尽管图1B中未显示，但应理解，本领域技术人员所知的熵解码器、预测处理单元、重建单元等其它单元也可出现在视频解码器110中。视频编码器100还可包括逆向量化单元112和逆向变换单元114，用于再生成残差块以在创建预测块时使用。在操作中，视频解码器110接收为生成量化变换系数而进行熵解码的视频比特流。逆量化单元112使用量化矩阵对量化变换系数进行去量化以获得变换系数。逆变换单元114根据变换系数生成残差块。然后视频解码器110根据残差块创建解码视频。

从视频编码器100可以看出，QM用作视频编码过程的一个组成部分。QM的配置可确定要保留或过滤的变换系数的信息量，因此QM可影响编码效率以及编码质量。事实上，不仅编码器需要QM，解码器也需要。具体地，为了正确解码图片，关于QM中的量化系数的信息可在编码器中进行编码，并从编码器传输到解码器。在视频编码技术和标准中，QM有时可以指缩放矩阵或加权矩阵。因此，本文中使用的术语“QM”可为通用术语，包括缩放矩阵、加权矩阵、量化矩阵和其它等价术语。

HEVC设计可采用四个块尺寸：4x4、8x8、16x16和32x32。并且，4x4、8x8、16x16和32x32块可能会有不同的QM，帧内预测和帧间预测可能会有不同的QM，以及YUV分量可能会有不同的QM。相应地，总共可存在24(即，4x2x3)个QM。尺寸大于8x8的QM通常是指较大尺寸的QM，如16x16和32x32QM(注意，较大和较小等术语均为相对术语，因此它们的对应尺寸会根据环境而变化)。

在AVS2设计中，块尺寸与HEVC设计的块尺寸类似，然而，在AVS2中，量化矩阵呈现为参数化方案。根据人类视觉系统(Human Vision System，HVS)的特征，变换系数块中的不同频率位置会对人眼带来不同的感知效应。一个位置中的频率分量对其在量化矩阵中的临近位置具有相似的感知特性。因此，变换块能够根据HVS划分为不同的频带。一个变换块中的频带代表不同的感知特性。相同频带中的变换系数具有相似的感知特性。根据频带的重要性，权重值可以划分到不同的频带中，目的是控制质量和块的率失真能力。因此，每个频带可以用一个参数表示。变换块的整个矩阵可以建模为若干个频带加权因数以及它们的分布。

图2示出了一个8x8变换矩阵块的三个典型频带分布模型。在图2中，每个频带对应一个加权因数，wq_param[i](i＝0…6)，每个频带分布模型以wq_model(wq_model＝0,1,2)表示。这三个典型分布还包括以i为索引的频带加权参数pl、pa、pb、pc、pd和ph。频带(pa至pd)对人眼具有高灵敏度的频率。为了整合频带分布模型和频带加权参数，可构建一个8x8频率加权矩阵。将矩阵存储为六个频带参数和一个wq_model索引。量化矩阵的比特损耗得以降低。还易于控制终端用户的编码的图片质量而不是更改量化矩阵中的每个频率分量。

基于频带分布模型(以wq_model表示)，频带加权参数的调节可以有效且容易地控制块的主观质量。wq_model和wq_param[i](i＝0…6)在比特流中进行编码以允许这些参数针对每个图片进行自适应更改。频带分布模型是指频率位置模板，表示加权参数在量化矩阵中的分布。由于量化矩阵的频率位置关系，缩放矩阵和变换系数矩阵是完全相同的，对于矩阵中的某个系数分布来说，它们在矩阵中具有相同的系数频率位置模板。均匀或非均匀映射是在频域中操作的。因此，在本发明中，所公开的方案以量化矩阵为例进行描述，以对量化矩阵应用非均匀映射。所公开的方案仍然适于对缩放矩阵、变换系数矩阵、频率位置模板以及频率加权量化模型采用非均匀映射。

由于32x32QM中的能量系数相较于8x8QM可能更集中于低频部分(对应矩阵的左上区域)，所以均匀映射会产生不必要的误差。例如，如果使用均匀映射从8x8QM重建32x32QM，则8x8QM中的频率位置(3,3)将映射到32x32QM中的(15,15)。8x8矩阵中的频率位置(3,3)可能属于中频区域。然而，由于32x32QM中的能量系数相较于8x8变换矩阵可能更集中于低频部分，所以32x32QM中的频率位置(15,15)可能属于高频区域而不是中频区域。这种映射会产生频率映射误差。

图3所示为示例均匀映射方案。16x16QM(左)是从8x8QM(右)重建的。8x8QM中的每一个频率位置对应16x16QM中的2x2频率区域。因此，均匀映射方案是将8x8QM中的每一个频率位置映射到16x16QM中的2x2频率区域，而且16x16QM的每个矩阵值在2x2频率区域内都相同。然而，这种简单的均匀映射无法正确地反应变换系数。对于16x16变换块来说，非零系数相较于8x8变换块中的非零系数可能更集中于矩阵的左上区域。例如，8x8QM中的频率位置(27)属于中频区域，由于该位置的变换系数在大多数应用中通常不为零，而16x16QM中的对应映射频率位置(27)可能属于高频区域，因而16x16QM中的该位置的变换系数可能为零系数。因此，简单的均匀映射通常会引起频率映射误差。

本文公开了改进QM编码和重建的装置、系统、方案和方法。在本发明中，描述了使用较小QM存储较大QM的量化系数的非均匀映射方案。使用较小QM作为输入矩阵，从较小QM重建较大QM。较大QM划分为若干部分，每个部分通过单独使用较小QM的全部或部分区域从较小尺寸的QM进行映射。例如，8x8量化矩阵的系数非均匀扩展到16x16或32x32量化矩阵。较大矩阵(16x16或32x32)仍然可以存储为8x8量化矩阵，且非均匀矩阵映射可以更好地反应较大变换块的系数能量特性，相较于均匀映射，这能够为重建后的较大矩阵的低频部分提供更好的保护。因此，重建后的较大矩阵在应用到较大变换块时能够实现更好的主观质量。

具体地，位于较大尺寸的QM的左上区域中的低频分量可使用较小QM的全部或部分低频分量，或使用较小QM的部分低频分量和中频分量。另一方面，位于其它区域的高频分量可使用较小QM的中频分量或高频分量。

所公开的方案相较于HEVC标准中的均匀上采样/下采样具有若干优势。由于较大尺寸的QM能够存储为小尺寸的QM，所以不需要额外的内存缓存和存储QM的容量，且不会增加硬件复杂度。能量系数可以正确反映在较大变换块中，为重建后的较大尺寸的矩阵的低频区域提供更好的保护。因此，频率映射误差得以减少。因此，重建后的较大矩阵在应用到较大变换块时能够实现更好的主观质量。

图4所示为较大矩阵(16x16矩阵)划分为四个区域的实施例，所述四个区域包括一个低频区域(区域0)和三个高频区域(区域1、区域2和区域3)。这四个区域分别从较小矩阵(8x8矩阵)进行映射。由于低频区域(区域0)更重要，所以区域0中的映射系数直接复用全部的8x8矩阵系数。其它三个高频区域(区域1、区域2和区域3)没有区域0那么重要，因此这些区域(区域1、区域2和区域3)中的映射系数与使用2x2二次采样从8x8矩阵生成的矩阵系数一样。

如图4所示，较大矩阵为16x16矩阵，较小矩阵为8x8矩阵。可以看出，16x16矩阵的所有系数都存储在8x8矩阵中。相较于HEVC中的方案，用于存储16x16矩阵的内存缓存没有增加，这是因为仅存储了8x8矩阵。相比均匀映射，更好地保护了16x16矩阵中的低频区域，而且很容易从8x8矩阵中提取16x16矩阵中的低频区域的系数。

图5所示为较大矩阵(32x32矩阵)划分为四个区域的实施例，所述四个区域包括一个低频区域(区域0)和三个高频区域(区域1、区域2和区域3)。再次使用8x8矩阵来填充较大32x32矩阵。只有32x32矩阵的左上区域直接复用8x8矩阵。32x32矩阵中的其它区域使用生成的矩阵系数，这些矩阵系数通过应用4x4二次采样从8x8矩阵确定，其中，在确定32x32矩阵中的其它区域时使用的8x8矩阵系数可能包括所有的8x8矩阵系数来确定32x32矩阵中的其它区域，或者仅使用8x8矩阵的右侧边界值或8x8矩阵的底部边界值来确定32x32矩阵中的其它区域，或仅使用8x8矩阵的右下角值来确定32x32矩阵中的其它区域。

图6所示为使用两个8x8矩阵重建较大16x16矩阵的实施例。在本实施例中，区域0从一个固定的8x8矩阵进行映射。该固定的8x8矩阵存储较大矩阵的重要低频分量。区域1、区域2和区域3可从采用2x2二次采样另一个8x8矩阵进行映射。该8x8矩阵存储较大矩阵的次要中频和高频分量。

图7所示为使用两个8x8矩阵重建较大32x32矩阵的实施例。在本实施例中，区域0的一部分从一个固定的8x8矩阵进行映射。该固定的8x8矩阵存储较大矩阵的重要低频分量。区域1、区域2和区域3可采用4x4二次采样从另一个8x8矩阵进行映射。该8x8矩阵存储较大矩阵的次要中频和高频分量。区域0的剩余部分中的系数可根据需要使用其中一个矩阵进行映射。

图8所示为定义了用于将16x16矩阵划分为多个区域的两个偏移值(OffsetX和OffsetY)的实施例。每个区域从8x8矩阵进行映射。OffsetX和OffsetY所包络的频率区域可以为方形区域或非方形区域。对于方形区域，OffsetX等于OffsetY。对于非方形区域，OffsetX不等于OffsetY。对于OffsetX和OffsetY所包络的区域，系数需要良好保护。该区域中的系数复用8x8矩阵的部分区域；而该区域以外的系数使用从8x8矩阵进行二次采样而生成的上采样矩阵系数。对于16x16矩阵的重建，二次采样为2x2二次采样。上采样值为从第一量化矩阵上采样的上采样块值，其中，上采样块值为2x2频率区域内的临近值。

图9所示为使用两个偏移值将8x8矩阵映射到16x16矩阵的非均匀映射方案的示例过程900。过程900开始于步骤902，在该步骤中，生成偏移值OffsetX和OffsetY。OffsetX和OffsetY均小于较小矩阵的最大尺寸。对于8x8矩阵，OffsetX和OffsetY均小于8。在步骤904中，确定16x16矩阵中的x、y坐标位置。在步骤906中，确定x坐标和y坐标是否小于各自的OffsetX和OffsetY值。如果x和y坐标都在偏移值范围内，那么，在步骤908中，直接从8x8矩阵的x、y坐标位置映射x、y坐标位置上的16x16矩阵。对于下一个x、y坐标位置，过程900返回到步骤904。如果x、y坐标之一或两者都在各自的OffsetX和OffsetY值之外，那么，在步骤910中，通过将x坐标和y坐标均向右移动一个位置来使用8x8矩阵中的坐标位置的值映射x、y坐标位置上的16x16矩阵。对于下一个x、y坐标位置，过程900返回到步骤904。

图10所示为定义了将32x32矩阵划分为多个区域的两个偏移值(OffsetX和OffsetY)的实施例。每个区域从8x8矩阵进行映射。OffsetX和OffsetY所包络的频率区域可以为方形区域或非方形区域。对于方形区域，OffsetX等于OffsetY。对于非方形区域，OffsetX不等于OffsetY。对于OffsetX和OffsetY所包络的区域，系数需要良好保护。该区域中的系数复用8x8矩阵的部分区域，而该区域以外的系数使用从8x8矩阵进行二次采样而生成的上采样矩阵系数。对于32x32矩阵的重建，二次采样为4x4二次采样。上采样值为从第一量化矩阵上采样的上采样块值，其中上采样块值为4x4频率区域内的临近值。

图11所示为使用两个偏移值将8x8矩阵映射到32x32矩阵的非均匀映射方案的示例过程1100。过程1100开始于步骤1102，在该步骤中，生成偏移值OffsetX和OffsetY。OffsetX和OffsetY均小于较小矩阵的最大尺寸。对于8x8矩阵，OffsetX和OffsetY均小于8。在步骤1104中，确定32x32矩阵中的x、y坐标位置。在步骤1106中，确定x坐标和y坐标是否小于各自的OffsetX和OffsetY值。如果x和y坐标都在偏移值范围内，那么，在步骤1108中，直接从8x8矩阵的x、y坐标位置映射x、y坐标位置上的32x32矩阵。对于下一个x、y坐标位置，过程1100返回到步骤1104。如果x、y坐标之一或两者都在各自的OffsetX和OffsetY值之外，那么，在步骤1110中，通过将x坐标和y坐标均向右移动两个位置来使用8x8矩阵中的坐标位置的值映射x、y坐标位置上的32x32矩阵。对于下一个x、y坐标位置，过程1100返回到步骤1104。

应注意，OffsetX和OffsetY在编码器和解码器中均可预定义为固定值，如6、8、12等。另外，如果允许在编码器中配置OffsetX和OffsetY以提供更灵活的非均匀映射，则OffsetX和OffsetY值可以在比特流中发送给解码器。

图12所是为定义了将16x16矩阵划分为多个区域的两个偏移值(OffsetX和OffsetY)的替代实施例。每个区域从8x8矩阵进行映射。然而，并不是OffsetX和OffsetY所包络的频率区域中的所有系数都从8x8矩阵直接映射。仅OffsetX和OffsetY所包络的频率区域中的部分系数从8x8矩阵直接映射。这部分系数的位置在频率位置模板矩阵中表示。位置在频率位置模板中表示的系数可从8x8矩阵直接映射。频率位置在频率位置模板矩阵的区域之外的系数可从上采样矩阵进行映射，这些系数是从8x8矩阵进行二次采样而生成的系数。对于16x16矩阵重建，执行2x2二次采样。对于32x32矩阵重建，执行4x4二次采样。

图13所示为使用两个偏移值将8x8矩阵映射到16x16矩阵的非均匀映射方案的示例过程1300。过程1300开始于步骤1302，在该步骤中，生成偏移值OffsetX和OffsetY以及频率位置模板矩阵。OffsetX和OffsetY均小于较小矩阵的最大尺寸。对于8x8矩阵，OffsetX和OffsetY均小于8。频率位置模板矩阵确定偏移值范围内的将从8x8矩阵直接映射的那些系数。在步骤1304中，确定16x16矩阵中的x、y坐标位置。在步骤1306中，确定x坐标和y坐标是否小于各自的OffsetX和OffsetY值。如果x、y坐标之一或两者都在各自的OffsetX和OffsetY值范围之外，那么，在步骤1310中，通过将x坐标和y坐标均向右移动一个位置来使用8x8矩阵中的坐标位置的值映射x、y坐标位置上的16x16矩阵。对于下一个x、y坐标位置，过程1300返回到步骤1304。如果x和y坐标均在偏移值范围内，那么，在步骤1308中，检查频率位置模板矩阵是否已选择此x、y坐标。如果频率位置模板矩阵未选择此x、y坐标，则在步骤1310中通过将x坐标和y坐标均向右移动一个位置来使用8x8矩阵中的坐标位置的值映射x、y坐标位置上的16x16矩阵。对于下一个x、y坐标位置，过程1300返回到步骤1304。如果在步骤1308中频率位置模板矩阵选择了此x、y坐标，则在步骤1312中从8x8矩阵的坐标位置直接映射x、y坐标位置上的16x16矩阵。对于下一个x、y坐标位置，过程1300返回到步骤1304。

频率位置条件可基于频率位置集，该频率位置集存储系数的频率位置，而不是基于频率位置模板矩阵。频率位置条件用于确定频率位置是否需要映射。频率位置集可以是以下项中的任一项：频率位置查找表、频率位置模板、频率加权模型、或确定需要特殊映射的频率位置的任何其它指示装置。

图14示出了适于实施本文所公开的分量的一项或多项实施例的计算机系统1400。上述实施例中公开的以及本发明中描述的至少某些特征、方法或视频编码器可在计算机系统中实现，计算机系统可为如具有足够处理能力、存储资源和处理所承载的必要工作负载的网络吞吐量能力的计算机系统或网络组件或节点。因此，计算机系统1400可在视频编码器100的变换单元102、量化单元104以及熵编码器106中实施。计算机系统1400包括与存储设备通信的处理器1402(可称为中央处理器或CPU)，处理器包括辅助存储器1404、只读存储器(read only memory，ROM)1406、随机存取存储器(random access memory，RAM)1408、输入/输出(input/output，I/O)设备1410以及网络连接设备1412。处理器1402可实现为一个或多个CPU芯片、核(如多核处理器)、现场可编程门阵列(field-programmable gatearrays，FPGA)、专用集成电路(application specific integrated circuits，ASIC)和/或数字信号处理器(digital signal processors，DSP)，和/或可为一个或多个ASIC的一部分。处理器1402可用于实施本文描述的用于简化深度建模的方法的实施例。

辅助存储器1404通常由一个或多个磁盘驱动器或磁带驱动器组成，用于数据的非易失性存储，以及在RAM 1408不足以存储所有工作数据时用作溢出数据存储设备。在选择用于执行的程序时，辅助存储器1404可用于存储加载到RAM 1408的此等程序。ROM 1406用于存储在程序执行期间读取的指令和可能的数据。ROM 1406为非易失性存储设备，相对于较大容量的辅助存储器1404来说通常具有较小存储容量。RAM 1408用于存储易失性数据，且可能用于存储指令。访问ROM 1406和RAM 1408的速度通常快于访问辅助存储器404的速度。

I/O设备1410可包括视频监控器、液晶显示器(liquid crystal display，LCD)、触屏显示器或用于显示视频的其它类型的视频显示器，还可包括用于捕捉视频的视频录像设备。视频显示器可具有1920x1080像素、1280x720像素、960x540像素或480x270像素的分辨率，或任何其它类型的适用分辨率。I/O设备1410还可包括一个或多个键盘、鼠标或跟踪球、或其它众所周知的输入设备。

网络连通性设备1412可用作计算机系统1400的输出和/或输入设备。网络连通性设备1412可采用如下形式：调制解调器、调制解调器组、以太网卡、通用串行总线(universal serial bus，USB)接口卡、串行接口、口令环卡、光纤分布式数据接口(fiberdistributed data interface，FDDI)卡、无线局域网(wireless local area network，WLAN)卡、码分多址(code division multiple access，CDMA)等无线电收发机卡、全球移动通讯系统(global system for mobile communications，GSM)、长期演进(long-termevolution，LTE)、微波存取全球互通(worldwide interoperability for microwaveaccess，WiMAX)和/或其它空口协议无线电收发器卡和其它众所周知的网络设备。这些网络连通性设备1412可使处理器1402与因特网和/或一个或多个内联网和/或一个或多个客户端设备进行通信。网络连通性设备1412可发送和/或接收本发明所述的视频编解码器的输出。如果计算机系统1400将待压缩或解压缩的视频存储在存储设备中，如辅助存储器1404中，则I/O设备1410和/或网络连通性设备1412为任选项。

应理解，通过将可执行指令编程和/或加载到计算机系统1400中，处理器1402、ROM1406和RAM 1408中的至少一个被改变，将计算机系统1400部分转换成为特定机器或装置，如本发明宣扬的拥有新颖功能的服务单元、落点或CPE。通过加载可执行软件至计算机所实现的功能可以通过众所周知的设计规则转换成硬件实施，这在电力工程和软件工程领域是很基础的。决定使用软件还是硬件来实施一个概念通常取决于对设计稳定性及待制造的单元的数量的考虑，而不是从软件领域转换至硬件领域时所涉及的任何问题。通常，仍然频繁改变的设计优先在软件中实施，因为重新编写硬件实施方式比重新编写软件设计更为昂贵。通常，稳定及大规模生产的设计更适于在ASIC等硬件中实施，因为运行硬件实施的大规模生产比软件实施更为便宜。通常，设计可以软件形式进行开发及测试且随后通过众所周知的设计规则转换为对软件的指令进行硬连线的专用集成电路中的等效硬件实现。在相同方式中，由新ASIC控制的机器为特定机器或装置，同样，已编程和/或加载有可执行指令的计算机可视为特定机器或装置。

总而言之，描述了一种使用较小矩阵存储较大矩阵的量化系数的非均匀映射方案。使用较小矩阵作为输入矩阵，从较小矩阵重建较大矩阵。较大矩阵划分为若干个部分，每个部分通过单独使用较小矩阵的全部或部分区域从较小尺寸的矩阵进行映射。较大矩阵可从任何较小矩阵或多个较小矩阵进行映射。定义了两个偏移值(OffsetX和OffsetY)以将较小矩阵划分为两个区域。每个区域从8x8矩阵进行映射。OffsetX和OffsetY所包络的频率区域可以为方形区域或非方形区域。对于OffsetX和OffsetY所包络的区域，该区域内的系数从较小矩阵直接映射到较大矩阵以进行更好保护。该区域之外的系数使用从较小矩阵进行二次采样而生成的上采样矩阵系数来映射到较大矩阵。并不是OffsetX和OffsetY所包络的频率区域中的所有系数都从较小矩阵直接映射。仅OffsetX和OffsetY所包络的频率区域中的部分系数可从8x8矩阵直接映射。这部分系数的位置以频率位置模板矩阵表示。位置在频率位置模板中表示的系数可从较小矩阵直接映射。频率位置在频率位置模板的区域之外的系数可从上采样矩阵进行映射，该上采样矩阵是从较小矩阵进行二次采样而生成的。频率位置条件基于存储矩阵系数的频率位置的频率位置集。频率位置条件用于确定频率位置是否需要直接映射。频率位置集可以是频率位置查找表、频率位置模板和频率加权模型中的任何一个。以较小量化矩阵为例来描述所公开的将非均匀映射应用到较大量化矩阵的方案。所公开的方案仍然适于对缩放矩阵、变换系数矩阵、频率位置模板以及频率加权量化模型采用非均匀映射。

在某些实施例中，一个或多个所述设备的部分或全部功能或流程由计算机可读程序代码构成的且内嵌于计算机可读介质中的计算机程序来实现或提供支持。术语“代码”包括任意类型的计算机代码，包括源代码、目标代码以及可执行代码。术语“计算机可读介质”包括任何类型的可以被计算机访问的非易失性介质，比如，只读存储器(ROM)、随机存取存储器(RAM)、硬盘驱动器、光盘(CD)、数字化视频光盘(DVD)或者任何其它类型的存储器。

为本专利文档中使用的特定术语和短语进行定义是有帮助的。术语“包括”和“包含”以及它们的派生词表示没有限制的包括。术语“或者”是包容性的，意为和/或。短语“与……关联”和“与其关联”以及其派生的短语意味着包括，被包括在内、与……互连、包含、被包含在内、连接到或与……连接、耦合到或与……耦合、可与……通信、与……配合、交织、并列、接近、被绑定到或与……绑定、具有、具有……属性，等等。

本发明公开至少一项实施例，且所属领域的普通技术人员对所述实施例和/或所述实施例的特征作出的变化、组合和/或修改均在本发明公开的范围内。因组合、合并和/或省略所述实施例的特征而得到的替代性实施例也在本发明的范围内。在明确说明数字范围或限制的情况下，此类表达范围或限制可以被理解成包括在明确说明的范围或限制内具有相同大小的迭代范围或限制(例如，从约为1到约为10包括2、3、4等；大于0.10包括0.11、0.12、0.13等)。例如，只要公开具有下限R_l和上限R_u的数字范围，则明确公开了此范围内的任何数字。具体而言，在所述范围内的以下数字是明确公开的：R＝R_l+k*(Ru–R_l)，其中k为从1％到100％范围内以1％递增的变量，即，k为1％、2％、3％、4％、5％……50％、51％、52％……95％、96％、97％、98％、99％或100％。此外，由上文所定义的两个数字R定义的任何数字范围也是明确公开的。除非另有说明，否则使用术语“约”是指随后数字的+/–10％。相对于权利要求的任一元素使用术语“选择性地”意味着所述元素是需要的，或者所述元素是不需要的，两种替代方案均在所述权利要求的范围内。使用如“包括”、“包含”和“具有”等较广术语应被理解为提供对如“由……组成”、“基本上由……组成”以及“大体上由……组成”等较窄术语的支持。因此，保护范围不受上文所陈述的说明限制，而是由所附权利要求书界定，所述范围包含所附权利要求书的标的物的所有等效物。每一和每条权利要求作为进一步揭示内容并入说明书中，且所附权利要求书是本发明的实施例。对所述揭示内容中的参考进行的论述并非承认其为现有技术，尤其是具有在本申请案的在先申请优先权日期之后的公开日期的任何参考。本发明中所引用的所有专利、专利申请案和公开案的揭示内容特此以引用的方式并入本文本中，其提供补充本发明的示例性、程序性或其它细节。

虽然本发明多个具体实施例，但应当理解，所公开的系统和方法也可通过其它多种具体形式体现，而不会脱离本发明的精神或范围。本发明的实例应被视为说明性而非限制性的，且本发明并不限于本文本所给出的细节。例如，各种元件或部件可以在另一系统中组合或合并，或者某些特征可以省略或不实施。

此外，在不脱离本发明的范围的情况下，各种实施例中描述和说明为离散或单独的技术、系统、子系统和方法可以与其它系统、模块、技术或方法进行组合或合并。展示或论述为彼此耦合或直接耦合或通信的其它项也可以采用电方式、机械方式或其它方式通过某一接口、设备或中间部件间接地耦合或通信。其它变化、替代和改变的示例容易由本领域的技术人员在不脱离本文精神和所公开的范围的情况下确定。

Claims (20)

1.一种用于非均匀映射图像/视频编码中不同尺寸的量化矩阵之间的量化矩阵系数的方法，其特征在于，所述方法包括：

获得第一量化矩阵；

确定将从所述第一量化矩阵形成的第二量化矩阵，所述第二量化矩阵比所述第一量化矩阵大2的倍数；以及

通过所述第一量化矩阵的非均匀映射来使用所述第一量化矩阵中的值填充所述第二量化矩阵。

2.根据权利要求1所述的方法，其特征在于，所述填充所述第二量化矩阵包括：

将所述第一量化矩阵的值直接映射到所述第二量化矩阵的最左上部分；以及

将所述第一量化矩阵的上采样值映射到所述第二量化矩阵的剩余部分。

3.根据权利要求2所述的方法，其特征在于，所述上采样值为从所述第一量化矩阵进行上采样的上采样块值，以及所述上采样块值为2x2频域内的临近值或4x4频域内的临近值。

4.根据权利要求2所述的方法，其特征在于，所述上采样值为所述第一量化矩阵的右下角值。

5.根据权利要求2所述的方法，其特征在于，所述上采样值为所述第一量化矩阵的右边界值或所述第一量化矩阵的底部边界值。

6.根据权利要求2所述的方法，其特征在于，通过将值映射到所述第二量化矩阵中来执行所述上采样，使所述第二量化矩阵的频率位置按因数值右移，其中所述因数值为1或2。

7.根据权利要求1所述的方法，其特征在于，所述第一量化矩阵为8x8矩阵，所述第二量化矩阵为16x16矩阵。

8.根据权利要求1所述的方法，其特征在于，所述第一量化矩阵为8x8矩阵，所述第二量化矩阵为32x32矩阵。

9.根据权利要求2所述的方法，其特征在于，所述填充所述第二量化矩阵包括：

将频率位置模板应用到所述第一量化矩阵；

在所述频率位置模板内将所述第一量化矩阵的值直接映射到所述第二量化矩阵的最左上部分；以及

将所述第一量化矩阵的所述上采样值映射到所述第二量化矩阵的剩余部分。

10.根据权利要求1所述的方法，其特征在于，包括：

获取第三量化矩阵，所述第三量化矩阵的尺寸与所述第一量化矩阵的尺寸相同；

其中，所述填充所述第二量化矩阵包括：

将所述第一量化矩阵的值直接映射到所述第二量化矩阵的最左上部分；以及

将所述第三量化矩阵的上采样值映射到所述第二量化矩阵的剩余部分。

11.根据权利要求10所述的方法，其特征在于，所述填充所述第二量化矩阵包括：

将频率位置模板应用到所述第一量化矩阵；以及

在所述频率位置模板内将所述第一量化矩阵的值直接映射到所述第二量化矩阵的最左上部分。

12.根据权利要求1所述的方法，其特征在于，所述填充所述第二量化矩阵包括：

确定由一对偏移值定义的所述第一量化矩阵的一部分；

将由所述偏移值定义的所述第一量化矩阵的所述一部分中的值直接映射到所述第二量化矩阵的最左上部分；以及

将所述第一量化矩阵的上采样值映射到所述第二量化矩阵的剩余部分。

13.根据权利要求12所述的方法，其特征在于，所述一对偏移值包括水平频率位置偏移值和垂直频率位置偏移值。

14.一种用于非均匀映射图像/视频编码中不同尺寸的量化矩阵之间的量化矩阵系数的装置，其特征在于，所述方法包括：

存储器，用于存储数据和指令代码；以及

处理器，在执行所述指令码时用于：

获得第一量化矩阵；

确定将从所述第一量化矩阵形成的第二量化矩阵，所述第二量化矩阵比所述第一量化矩阵大2的倍数；以及

通过所述第一量化矩阵的非均匀映射来使用所述第一量化矩阵中的值填充所述第二量化矩阵。

15.根据权利要求14所述的装置，其特征在于，所述处理器在填充所述第二量化矩阵时用于：

将所述第一量化矩阵的值直接映射到所述第二量化矩阵的最左上部分；以及

将所述第一量化矩阵的上采样值映射到所述第二量化矩阵的剩余部分。

16.根据权利要求14所述的装置，其特征在于，所述处理器在填充所述第二量化矩阵时用于：

将频率位置模板应用到所述第一量化矩阵；

在所述频率位置模板内将所述第一量化矩阵的值直接映射到所述第二量化矩阵的最左上部分；以及

将所述第一量化矩阵的上采样值映射到所述第二量化矩阵的剩余部分。

17.根据权利要求14所述的装置，其特征在于，所述处理器还用于：

获取第三量化矩阵，所述第三量化矩阵的尺寸与所述第一量化矩阵的尺寸相同；

其中，所述填充所述第二量化矩阵包括：

将所述第一量化矩阵的值直接映射到所述第二量化矩阵的最左上部分；以及

将所述第三量化矩阵的上采样值映射到所述第二量化矩阵的剩余部分。

18.根据权利要求17所述的装置，其特征在于，所述处理器在填充所述第二量化矩阵时用于：

将频率位置模板应用到所述第一量化矩阵；以及

在所述频率位置模板内将所述第一量化矩阵的值直接映射到所述第二量化矩阵的最左上部分。

19.根据权利要求14所述的装置，其特征在于，所述处理器在填充所述第二量化矩阵时用于：

确定由一对偏移值定义的所述第一量化矩阵的一部分；

将由所述偏移值定义的所述第一量化矩阵的所述一部分中的值直接映射到所述第二量化矩阵的最左上部分；以及

将所述第一量化矩阵的上采样值映射到所述第二量化矩阵的剩余部分。

20.根据权利要求19所述的方法，其特征在于，所述一对偏移值包括水平频率位置偏移值和垂直频率位置偏移值。