CN102428702A - 用于针对视频编码和解码的改进量化舍入偏移调节的方法和设备 - Google Patents

Abstract

提供了用于针对视频编码和解码的改进量化舍入偏移调节的方法和设备。一种设备包括视频编码器(100)，该视频编码器通过如下步骤来对输入编码单元进行编码：为输入编码单元确定与所述输入编码单元和参考编码单元之间的差相对应的残差，对所述残差应用变换来获得至少一个变换系数，以及通过选择特定量化阶梯大小和舍入偏移来对这至少一个变换系数进行量化。

Description

用于针对视频编码和解码的改进量化舍入偏移调节的方法和设备

相关申请的交叉引用

本申请要求2009年5月16日提交的美国临时申请第61/178,957号(律师案卷号PU090038)的权益，该申请被通过引用全部结合于此。

技术领域

本发明的原理一般地涉及视频编码和解码，并且更具体地，涉及用于针对视频编码和解码的改进量化舍入偏移(improved quantization roundingoffset)调节的方法和设备。

背景技术

许多视频应用在给定比特率的约束条件下力求尽可能高的感知质量。例如，在诸如视频电话系统之类的低比特率应用中，视频编码器可以通过消除在视觉上更为重要的关心区域处的强视觉伪影来提供更高的质量。另一方面，在高比特率应用中，在图片中的任何位置都期望视觉上无损的质量于是视频编码器还需要实现透明质量。在高比特率中获得透明视觉质量的一个挑战在于保留细节，特别是平滑区域处的细节，由于人类视觉系统的纹理遮罩特性，平滑区域处的细节的损失比不平滑区域处的细节更为明显。

增大比特率是提高质量最直接的方式之一。当比特率是给定的时，编码器操纵其比特分配模块来以可以获得最大视觉质量提高的方式使用可用的比特。在诸如DVD制作之类的非实时应用中，视频编码器可以辅助可用比特率(VBR)设计来产生在难弄的和容易的内容上随时间都保持恒定质量的视频。在这样的应用中，可用比特被适当地分布在不同的视频片段上以便获得恒定质量。相比较地，恒定比特率(CBR)系统向一个或多个图片的间隔指派相同数目的比特而不论它们的编码难度如何，并且产生随着视频内容变化的视觉质量。对于VBR编码系统和CBR编码系统二者，编码器根据图片内的感知模型来分配比特。人类感知的一个特点是纹理遮罩，其说明了为什么人眼对平滑区域中的质量损失比纹理区域中的质量损失更为敏感。该特性可被利用来增大被分配到平滑区域的比特数以获得高视觉质量。

视频编码器中的量化处理控制已编码比特的数目以及质量。通常通过调节量化参数来调节质量。为了说明目的，参考国际标准化组织/国际电工委员会(ISO/IEC)运动图像专家组-4(MPEG-4)第10部分高级视频编码(AVC)标准/国际电信联盟电信标准化部(ITU-T)H.264建议(以下称为“MPEG-4AVC标准”)作为基准示例来说明通过在MPEG-4标准上实施本发明的原理可以具有的量化处理和改进。然而，可以明白，本发明的原理不仅仅限于MPEG-4AVC标准，并且因此，在保持本发明的原理的精神的同时可以被应用于其它视频编码标准、建议及其扩展。

算术上，在编码器中，变换后的系数被量化如下：

其中W是变换后的系数并且被量化为量化电平Z。这里，q是量化阶梯(quantization step)大小，并且s是量化舍入偏移。函数

将值舍入为最接近的整数并且sgn(.)返回信号的符号。当量化矩阵被应用时，系数在编码器器处在量化处理之前首先被缩放。W被量化为0的范围称为死区(deadzone)。在该特定情况中，死区是Δ＝(1-s)×q×2。在解码器处，量化电平7被重构为信号W’。这称为逆量化并且被算术描述如下：

W′＝q·Z|        (2)

MPEG-4AVC标准中的语法允许q对于每个宏块(MB)是不同的。量化阶梯大小q的值是从用参数QP索引的值中选出的，是范围在0到51内的整数。逆量化中不涉及舍入偏移参数s，并且编码器可以灵活地将其设置为任意值。

现有MPEG-4AVC视频编码器假定量化舍入偏移是恒定的并且仅调节量化阶梯大小来调节比特数从而调节质量。

发明内容

本发明的原理解决现有技术的这些和其它缺点，本发明的原理针对用于针对视频编码和解码的改进量化舍入偏移调节的方法和设备。

根据本发明的原理的一个方面，提供了一种设备。该设备包括视频编码器，该视频编码器通过以下步骤对输入编码单元进行编码：为输入编码单元确定与输入编码单元和参考编码器单元之间的差相对应的残差，对残差应用变换来获得至少一个变换系数，以及通过选择特定的量化阶梯大小和舍入偏移来对这至少一个变换系数进行量化。

根据本发明的原理的另一个方面，提供了一种视频编码器中的用于对输入编码单元进行编码的方法。该方法包括：为输入编码单元确定与输入编码单元和参考编码器单元之间的差相对应的残差，对残差应用变换来获得至少一个变换系数，以及通过选择特定的量化阶梯大小和舍入偏移来对这至少一个变换系数进行量化。

根据本发明的原理的又一个方面，提供了一种设备。该设备包括视频解码器，该视频解码器通过如下步骤对编码单元进行解码：接收参考编码单元和与编码单元的原始版本和参考编码单元之间的已变换并已量化的残差相对应的至少一个已量化的系数，通过确定特定量化阶梯大小和舍入偏移来对这至少一个已量化的系数进行逆量化来获得至少一个逆量化后的系数，以及对这至少一个你量化后的系数应用逆变换来获得重构的残差。该视频解码器从包括这至少一个已量化系数的比特流接收描述所选择的舍入偏移的信息。

根据本发明的原理的又一方面，提供了视频解码器中的用于对编码单元进行解码的方法。该方法包括：接收参考编码单元和与编码单元的原始版本和参考编码单元之间的已变换并已量化的残差相对应的至少一个已量化的系数，通过确定特定量化阶梯大小和舍入偏移来对这至少一个已量化的系数进行逆量化来获得至少一个逆量化后的系数，以及对这至少一个你量化后的系数应用逆变换来获得重构的残差。该视频解码器从包括这至少一个已量化系数的比特流接收描述所选择的舍入偏移的信息。

本发明的原理的这些和其它方面、特征和优点将从以下对示例性实施例的详细描述中变得明显，该描述应结合附图阅读。

附图说明

根据以下示例性示图可以更好地理解本发明的原理，在附图中：

图1是示出根据本发明的原理的实施例的可以应用本发明的原理的示例性视频编码器的框图；

图2是示出根据本发明的原理的实施例的可以应用本发明的原理的示例性视频解码器的框图；

图3是示出根据现有技术的用于视频编码器中的提高感知质量的量化调节的方法的流程图；

图4是示出根据本发明的原理的实施例的用于提高感知质量的图片级上的舍入偏移调节的示例性方法的流程图；

图5是示出根据本发明的原理的实施例的用于提高感知质量的宏块级上的舍入偏移调节的示例性方法的流程图；

图6是示出根据本发明的原理的实施例的用于提高感知质量的宏块级上的舍入偏移调节的另一示例性方法的流程图；

图7是示出根据本发明的原理的用于确定舍入偏移的示例性方法的流程图；

图8是示出根据本发明的原理的实施例的其中舍入偏移已知并且不在比特流中被发送的用于对图片数据解码的示例性方法的流程图；

图9是示出根据本发明的原理的实施例的用于使用舍入偏移来在解码器处重构编码单元的示例性方法的流程图；

图10是示出根据本发明的原理的实施例的用于使用舍入偏移来在编码器处对输入编码进行编码的示例性方法的流程图；

图11是示出根据本发明的原理的实施例的用于选择舍入偏移的示例性方法的流程图；

图12是示出根据本发明的原理的实施例的用于应用舍入偏移的示例性方法的流程图；以及

图13是示出根据本发明的原理的实施例的用于使用舍入偏移在解码器处对编码单元进行解码的示例性方法的流程图。

具体实施方式

本发明的原理针对用于针对视频编码和解码的改进量化舍入偏移调节的方法和设备。

本描述图示出本发明的原理。因此将明白，本领域技术人员将能够构想到实施本发明的原理并被包括在本发明的原理的精神和范围内的各种布置，虽然这些布置未被在此清楚地描述或示出。

在此详述的所有示例和条件语言意图用于教育目的以辅助阅读者理解发明人增进现有技术所贡献的概念和原理，并且应被理解为不是对这样具体地详述的示例和条件的限制。

此外，在此详述本发明的原理、方面和实施例以及其具体的示例的所有声明意图包括其结构等同物和功能等同物。另外，意图这样的等同物既包括当前已知的等同物又包括将来开发的等同物，即，所开发的执行相同的功能的任意元件，而不论结构如何。

因此，例如，本领域技术人员将明白，在此展示的框图表示实施本发明的原理的说明性电路的示意图。同样地，将明白，任何流程图、流程示图、状态转移图、伪代码等都表示可在计算机可读介质中被充分表示并且被计算机或处理器这样执行的各种处理，而不论这样的计算机或处理器是否被清楚地示出。

图中所示出的各种元件的功能可以通过使用能够与适当的软件联合地执行软件的硬件以及专用硬件来提供。当功能是处理器提供的时，功能可以是由单个专用处理器、由单个共用处理器或由多个单独的处理器(其中的一些处理器可以被共用)提供的。此外，明确使用术语“处理器”或“控制器”不应被理解为是排他地指能够执行软件的硬件，并且暗含可以包括数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机存取存储器(“RAM”)和非易失性存储装置，而没有限制。

也可以包括传统的和/或惯用的其他硬件。同样，图中示出的任何开关仅仅是示意的。它们的功能可以通过程序逻辑的运行、通过专用逻辑、通过程序控制与专用逻辑的交互或甚至手动地被实施，从上下文可以更具体地理解：具体的技术是可由执行者选择的。

在权利要求书中，被表述为用于执行指定功能的装置的任何元素意图包括执行该功能的任何方式，例如包括a)执行该功能的电路元件的组合或b)包括与用于执行该软件来执行功能的适当电路组合的任意形式的软件(因此，包括固件、微代码等)。由这样的权利要求书限定的本发明的原理存在于如下事实中：由各种详述的装置提供的功能被以权利要求书需要的方式组合并拿到一起。因此认为能够提供那些功能的任何装置都等同于在此示出的那些装置。

说明书中对本发明的原理的“一个实施例”或“实施例”的提及以及其他变形是指：结合该实施例描述的特定特征、结构、特点等被包括在本发明的原理的至少一个实施例中。因此，在贯穿说明书的各个地方出现的短语“在一个实施例中”或“在实施例中”以及任何其它变形不一定都指同一实施例。

应当明白，例如在“A/B”、“A和/或B”和“A和B中的至少一者”的情况中使用如下“/”、“和/或”和“其中的至少一者”意图包括：仅选择第一列出选项(A)或仅选择第二列出选项(B)或选择这两个选项(A和B)。作为另一示例，在“A、B和/或C”和“A、B和C中的至少一者”的情况中，这样的短语意图包括：仅选择第一列出选项(A)，或仅选择第二列出选项(B)，或仅选择第三列出选项(C)，或仅选择第一和第二列出选项(A和B)，或仅选择第一和第三列出选项(A和C)，或仅选出第二和第三列出选项(B和C)，或选择所有三个选项(A和B和C)。本领域以及相关领域普通技术人员显见，这可以针对列出的许多项目被扩展。

此外，在此使用的单词“图片”和“图像”可被互换使用并且指代来自视频序列的静止图像或图片。如已经知道的，图片可以是帧或场。

另外，这里使用的短语“图片区域”(或简称“区域”)是指包含一个或多个块或任意大小的任意形状和/或由一个多个块或任意大小的任意形状以其它方式形成的图片的一部分。一个或多个块可以是指例如超级宏块、宏块、宏块分割区、子宏块分割区等。

此外，这里使用的短语“视频序列的一部分”是指一个或多个图片组(GOP)、被包括在一个或多个GOP中或独立于一个或多个GOP的一个或多个图片和/或一个或多个场景。

此外，这里使用的短语“输入编码单元”是指图片(例如帧或场)、图片区域和/或切片。

此外，这里使用的短语“默认舍入偏移”是指特定视频编码器和/或解码器通常使用的舍入偏移(即恒定舍入偏移)，诸如例如相对于这样的视频编码器和/或解码器进行操作所兼容的视频编码标准、建议、其扩展等所使用的舍入偏移。

另外，这里使用的单词“用信号通知”(signal)是指向相应解码器指示某事。例如，编码器可以用信号通知一组舍入偏移中的特定一个以便使解码器意识到在编码器侧使用哪个舍入偏移。以这种方式，可以在编码器侧和解码器侧使用相同的功能。因此，例如，编码器可以向解码器发送特定舍入偏移以使得解码器可以使用相同的特定舍入偏移，或者，如果解码器已经具有该特定舍入偏移以及其他舍入偏移，则使用信令(signaling)(而不使用传送)来仅仅让解码器可以知道并选择该特定舍入偏移。通过避免任何实际舍入偏移的传送，可以实现比特节省。应当明白，信令可以以各种方式完成。例如，一个或多个语法元素、标志等可被用来将信息用新号通知该相应解码器。

转到图1，本发明的原理可以适用的示例性视频编码器一般用标号100指示。编码器100包括帧排序缓冲器105。帧排序缓冲器105的第一输入可用作编码器100的输入。帧排序缓冲器105的输出以信号通信方式与组合器110的第一非反相输入连接。组合器110的输出以信号通信方式与变换器和量化器115的第一输入连接。变压器和量化器115的输出以信号通信方式与熵编码器120的第一输入和逆变换器和量化器135连接。熵编码器的输出以信号通信方式与组合器125的第一非反相输入连接。组合器125的输出以信号通信方式与输出缓冲器130的输入连接。输出缓冲器130的第一输出以信号通信方式与速率控制器175的输入连接。速率控制器175的输出以信号通信方式与变换器和量化器115的第二输入、图片类型和宏块(MB)类型决定模块170的输入和序列参数集(SPS)和图片参数集(PPS)插入器185的输入连接。图片类型和宏块类型决定模块170的第一输出以信号通信方式与帧排序缓冲器105的第二输入连接。图片类型和宏块类型决定模块170的第二输出以信号通信方式与组合器140的第一非反相输入、组合器110的第二非反相输入连接，并且与开关165的输出连接。开关165的输入以信号通信方式与运动补偿器/运动估计器155的第二输出和帧内预测模块160的输出中的任一者连接。组合器140的输出以信号通信方式与帧内预测模块160的输入和解块滤波器145的输入连接。解块滤波器145的输出以信号通信方式与参考图片缓冲器150的输入连接。参考图片缓冲器150的输出以信号通信方式与运动补偿器/运动估计器155的输入连接。运动补偿器/运动估计器155的第一输出以信号通信方式与熵编码器120的第二输入连接。SPS和PPS插入器185的输出以信号通信方式与组合器125的第二非反相输入连接。补充增强信息(SEI)插入器180的输出以信号通信方式与组合器125的第三非反相输入连接。SEI插入器180的输入可用作编码器100的输入，以用于接收元数据。输出缓冲器130的第二输出可用作编码器100的输出，以用于输出比特流。

转到图2，本发明的原理可以适用的示例性视频解码器一般用标号200表示。视频解码器200包括输入缓冲器210，输入缓冲器210的输出以信号通信方式与熵解码器245的第一输入连接。熵解码器245的第一输出以信号通信方式与逆变换器和逆量化器250的第一输入连接。逆变换器和逆量化器25的输出以信号通信方式与组合器225的第二非反相输入连接。组合器225的输出以信号通信方式与解块滤波器265的第二输入和帧内预测模块260的第一输入连接。解块滤波器265的第二输出以信号通信方式与参考图片缓冲器280的第一输入连接。参考图片缓冲器280的输出以信号通信方式与运动补偿器270的第二输入连接。

熵解码器245的第二输出以信号通信方式与运动补偿器270的第三输入和解块滤波器265的第一输入连接。熵解码器245的第三输出以信号通信方式与解码器控制器205的输入连接。解码器控制器205的第一输出以信号通信方式与熵解码器245连接。解码器控制器205的第二输出以信号通信方式与逆变换器和逆量化器25的第二输入连接。解码器控制器205的第三输出以信号通信方式与解块滤波器265的第三输入连接。解码器控制器205的第四输出以信号通信方式与帧内预测模块260的第二输入连接、与运动补偿器270的第一输入连接以及与参考图片缓冲器280的第二输入连接。

运动补偿器270的输出以信号通信方式与开关297的第一输入连接。帧内预测模块260的输出以信号通信方式与开关297的第二输入连接。开关297的输出还以信号通信方式与组合器225的第一非反相输入连接，以用于接收输入比特流。解块滤波器265的第一输出可用作视频解码器200的输出，以用于输出输出图片。

舍入偏移可以用在例如解码器200中以用于重构视频或用于后期处理。在此情形下，舍入偏移应当(例如由编码器100)嵌入在比特流中并传递给解码器200。在一个实施例中，可以为每个图片或者为一组图片设置一个舍入偏移。在另一实施例中，可以为每个宏块设置舍入偏移并且可以为每个宏块发送其实际的值或索引。

如以上注意到的，本发明的原理针对用于针对视频编码和解码的改进舍入偏移调节的方法和设备。

改进感知质量的一个重要方面是保留精细细节，诸如胶片颗粒和计算机生成的噪声。这对于其中精细细节的损失非常引人注目的平滑区域尤其重要。现有算法中的共同方法是在使用恒定量化舍入偏移的同时，以更精细的量化阶梯对平滑区域或包括平滑区域的这些视频片段进行编码。

从等式(1)可见，舍入偏移对小的系数具有显著的控制，因为其直接控制小的近零系数如何被量化。在给定量化阶梯大小q的情况下，当增大s时，更少的系数被量化为零，并且更多的比特被花在小系数上。当速率是给定的时，增大的s需要利用较粗的q运作来满足比特率约束。因此，增大舍入偏移可以以大系数的更多失真为代价来保留小系数。因为保留小系数在重构的视频中保留精细细节，包括但不限于胶片颗粒和计算机生成的噪声，因此，根据本发明的原理来调节舍入偏移值在为诸如期望透明视觉质量的蓝光DVD制作之类的一些应用获得高的感知质量方面非常有效。

在以下描述中，使用TM5(测试模型，第5版)来示出如何为图片内的平滑区域获得更高的质量。测试模型与MPEG视频工作草案一起演进。当然，本发明的原理不仅仅限于TM5并且可以在保持本发明的原理的精神的同时被与其它视频编码标准、建议和/或其扩展一起使用。

此外，在以下描述中，使用两遍(two-pass)编码器来示出更高的质量如何被指派到包括平滑区域的视频片段。当然，本发明的原理不限于两遍编码器，并且因此，在保持本发明的原理的精神的同时可以使用单遍编码器以及使用比两遍更多遍的编码器。

在TM5中，使用原始像素值来从4个亮度帧组织的子块(n＝1，...，4)和4个亮度场组织的子块(n＝5，...，8)计算MBj的空间活动性度量：

act_j＝1+min(vblk₁，vblk₂，…，vblk₈)(3)

其中，

${\mathrm{vblk}}_n=\frac{1}{64}\×\underset{k=1}{\overset{64}{\mathrm{\Σ}}}{(P_k^n-P_{{\mathrm{mean}}_n})}^2|---\left(4\right)$

并且

$P_{{\mathrm{mean}}_n}=\frac{1}{64}\×\underset{k=1}{\overset{64}{\mathrm{\Σ}}}{P}_k^n---\left(5\right)$

其中，是第n个8x8块，act_j则被正规化为如下：

${N\_\mathrm{act}}_j=\frac{2\×{\mathrm{act}}_j+\mathrm{avg}\_\mathrm{act}}{{\mathrm{act}}_j+2\×\mathrm{avg}\_\mathrm{act}}---\left(6\right)$

其中avg_act是前一已编码图片的act_j的平均值。在第一张图片中，avg_act被设置为400。mquant_j被如下获得：

mquant_j＝Q_j×N_act_j|(7)

其中，Q_j是参考量化参数。mquant_j的最终值被限幅在范围[1...31]中，并且被用于指示编码期间的量化阶梯大小。

因此，在TM5量化方案中，具有更小的方差的平滑宏块(MB)具有更小值的空间活动性度量act_j和Nact_j，以及用mquant_j索引的更精细的量化阶梯大小。对平滑宏块利用更精细的量化，可以被保留更多精细细节并且可以获得更高的感知质量。

在非实时的应用中，编码器可以分析整个视频并增大分配给包括精细细节的视频片段的比特数。一种现有技术方法提出两遍编码系统，其中第一遍恒定比特率(CBR)数据被处理来准备用于第二遍的控制参数，第二遍执行实际的可变比特率(VBR)压缩。具体而言，在第二遍中，第i个图片将目标比特数目b_2，j设置如下：

b_2，i＝kb_1，i(Q_1，i)^p    (8)

其中b_1，i和Q_1，i分别是来自第一遍的比特数目和量化阶梯大小参数，p是恒定的，并且

$k=\frac{B_{\mathrm{tot}}}{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{b}_{1,i}{\left(Q_{1,i}\right)}^p}|---\left(9\right)$

其中，B_tot是可用比特总数并且N是图片总数。

在该两遍编码系统中，具有较低压缩复杂度的场景(诸如具有平滑区域的场景)将以更小的更精细的量化阶梯大小和更高的峰值信噪比(PSNR)(这通常转换成更高的感知质量)被编码。

如前所述，现有方法调节量化阶梯大小以便实现高感知质量以便保留平滑区域处的精细细节。根据本发明的原理的至少一个实施例，将舍入偏移调整引入编码器来提高平滑区域中的感知质量。

根据至少一个实施例，描述了通过调节输入偏移来有效地提高感知质量的方法和设备。因此，目标是在重构视频中保留精细细节。其中精细细节的损失非常引人注目的平滑区域尤其重要。在优选实施例中，该方案足够灵活以使得编码器可以在场景级、图片级、宏块级等上选择舍入偏移。其也可以被集成到编码器中，其中量化阶梯大小被调节来提高感知质量。

用于提高感知质量的量化调节

转到图3，用于提高视频编码器中的感知质量的量化调节的方法一般用标号300指示。这样的方法中的唯一可调量化参数是量化阶梯大小。舍入偏移参数在整个编码处理期间是恒定的。方法300包括开始块305，其将控制传递到功能块310。功能块310(可选地在操作者的帮助下)执行编码设置并将控制传递到功能块315。对于功能块310，藉此执行的编码设置可以涉及目标比特率的设置以及对编码处理中所涉及的任意参数集的指定。功能块315分析输入视频内容，并将控制传递到循环限制块320。对于功能块315和CBR编码的情况，用于内容分析的任务可以包括基于当前图片的内容来对用于当前图片的目标比特数目进行微调。对于功能块315和VBR的情况，内容分析模块可以包括对整个视频进行实际编码以便获得编码复杂度并且自适应地将可用比特分配给该视频。循环限制块320使用图片变量j＝1，...，#，对输入视频内容中的每个图片开始循环(1)并将控制传递到功能块325。功能块325根据目标比特数目来计算参考量化阶梯大小q，并将控制传递到循环限制块330。循环限制块330使用图片j中的宏块(MB)的变量i＝＝1，...，#，对当前图片中的每个宏块开始循环(2)，并将控制传递给功能块335。功能块335基于MB i的内容和/或之前的编码结果来调节用于MB i的量化阶梯大小q，并将控制传递给功能块340。对于功能块335，例如，平滑MB将降低q来提高感知质量。在另一示例中，如果之前的MB使用比它们原本被指派的比特更多的比特，则当前MB将增大q以消耗比原本被指派的比特更少的比特。稍微列举几个，该计算是基于p域速率控制模块或TMN8速率模型的。功能块340以q对宏块i进行编码，并将控制传递到循环限制块350。循环限制块350结束循环(1)，并将控制传递到结束块399。

以这种方式，固定舍入偏移被应用于所有已编码图片并且仅量化阶梯大小被调节。例如，在许多MPEG-4AVC标准视频编码应用中，针对INTRA图片和INTER图片，舍入偏移被默认地分别设置为1/3.0和1/6.0。给定比特率约束，仅调节量化阶梯大小不能总是为视频片段提供可能的最高感知质量。并且，固定舍入偏移不总是符合不同的视频特点。

用于提高感知质量的舍入偏移调节

根据至少一个实施例，描述一种除了调节量化阶梯大小以外还调节舍入偏移来提高感知质量的方法和设备。该调节可以被应用于整个视频、视频的片段、图片中的区域等。

图4和图5示出在量化调节处理中除了量化阶梯大小以外还包括舍入偏移的具体实施例。依据分配了多少比特数目，图示出的实施例可以适用可变比特率(VBR)或恒定比特率(CBR)应用。其也可以是多遍编码器的一部分并为其它遍提供信息。可以应用本发明的原理的这些和各种其它应用和情景是本领域或相关领域的普通技术人员在保持本发明的原理的精神的同时容易想到的。

实施例1

图4图示出量化舍入偏移如何被自适应地选择来提高感知质量。在该方法中，编码器分析内容来自动决定舍入偏移。决定规则可以针对帧间(INTER)和帧内(INTRA)编码、不同变换、不同比特率等分别指定。该分析可以在需要被编码的整个视频上或者在该视频的一部分上进行以降低计算复杂度。当图4中示出的工作流被应用于整个视频时，所有图片将具有相同的舍入偏移，而当工作流被应用于场景时，场景中的所有图片共用相同的舍入偏移并该值根据场景不同而不同。虽然场景自适应解决方案需要更多的计算复杂度，但是其在获取高感知质量时更为灵活并且可以更好地适应内容。该工作流也可以被应用于一个单独的图片并且每个图片可以选择不同的舍入偏移。因为视频在一个场景中通常是固定的，所以利用不同的舍入偏移来对一个场景内的图片进行编码会造成场景内的视觉质量不一致。

转到图4，用于图片级上的舍入偏移调节以提高感知质量的示例性方法一般用标号400指示。方法400包括开始块405，其将控制传递给功能块410。功能块410可选地在操作者的帮助下执行编码设置，并将控制传递给功能块415。功能块415分析输入视频内容，并将控制传递给功能块420。功能块420自适应地选择舍入偏移s，并将控制传递给循环限制块425。循环限制块425使用图片变量j＝1，...，#，对输入视频内容中的每个图片开始循环(1)并将控制传递到功能块430。功能块430根据给定比特速率约束来为图片j计算参考量化阶梯大小q，并将控制传递给功能块435。功能块435使用图片j中的宏块(MB)变量j＝1，...，#，对当前图片中的每个宏块开始循环(2)并将控制传递到功能块440。功能块440基于MB i内容调节用于MB i的量化阶梯大小q，并将控制传递给功能块445。功能块445以q对宏块i进行编码，并将控制传递给循环限制块450。循环限制块450结束循环(2)，并将控制传递到循环限制块455。循环限制块455结束循环(1)，并将控制传递到结束块499。

在方法400中，输入偏移值逐图片地适应内容，并且一个图片中的所有MB使用相同的舍入偏移。方法400的一个优点在于其适应内容并且其易于整合。方法400的一个优点在于其不区分平滑区域和纹理区域并且向所有MB盲指派相同的舍入偏移。当比特率受到限制时，由于舍入偏移调节而花费在纹理区域中的额外比特使得图片以更大的量化阶梯大小编码并使得编码器无法获得更高质量。

实施例2

图5图示出图4中描述的方法的变形。在图5中提议的方法中，为每个MB决定舍入偏移。在一个实施例中，每个MB将选择两个预先定义的值中的一个。当然，在保持本发明的原理的精神的同时，本发明的原理的实施例不仅仅限于用于舍入偏移的两个预定定义的值，因此，可以使用两个值以外的值。在该实施例中，每个图片可以被分割成两类MB，即纹理MB和平滑MB。由于保持平滑区域中的精细细节更为重要，所有输入偏移将被指派给这些区域来保留更多小系数。相对比地，由于纹理遮罩效应，精细细节的损失在纹理区域中不那么明显，于是在不会为小系数花费过多比特的情况下，另一舍入偏移将被指派。

转到图5，用于宏块级上的舍入偏移调整以提高感知质量的示例性方法一般用标号500指示。方法500包括开始块505，其将控制传递到功能块510。功能块510可选地在操作者的帮助下执行编码设置，并将控制传递给功能块515。功能块515分析输入视频内容，将输入视频内容的宏块划分成不同种类，并将控制传递给循环限制块520。循环限制块520使用图片变量j＝1，...，#，对输入视频内容中的每个图片开始循环(1)并将控制传递到功能块525。功能块525根据给定比特率约束计算用于图片y的量化阶梯大小q，并将控制传递到功能块530。功能块530为每个宏块决定舍入偏移，并将控制传递到循环限制块535。循环限制块535使用图片j中的宏块(MB)的变量i＝＝1，...，#，对当前图片中的每个宏块开始循环(2)，并将控制传递给功能块540。功能块540基于MB i的内容调节用于MB i的量化阶梯大小q，并将控制传递给功能块545。功能块545以q和s对宏块i进行编码，并且将控制传递到循环限制块550。循环限制块550结束循环(2)，并将控制传递给循环限制块555。循环限制块555结束循环(1)，并将控制传递给结束块599。

在方法500中，输入偏移值适应MB级上的内容。这在其中精细细节在感知上重要的区域处提供高感知质量，并且防止编码器在其它区域中花费过多比特。然而，大多数现有速率控制算法不适应MB级舍入偏移调节，并且这在获取目标比特率时对速率控制算法提出挑战。

实施例3

图6图示出作为图5中描述的方法500的变形的方法600。在方法600中，通过考虑内容特征和可用比特二者来在编码处理期间确定每个宏块处的舍入偏移。例如，在实施例中，依赖于宏块的方差和被指派给当前宏块的比特数目，编码器基于映射函数来选其舍入偏移。

转到图6，用于宏块级上的舍入偏移调节以提高感知质量的另一示例性方法一般用标号600指示。方法600包括开始块605，其将控制传递给功能块610。功能块610可选地在操作者的帮助下执行编码设置，并将控制传递给功能块615。功能块615分析输入视频内容，并将控制传递到循环限制块625。循环限制块625使用图片变量j＝1，...，#，对输入视频内容中的每个图片开始循环(1)并将控制传递到功能块630。功能块630根据给定比特率约束来计算用于图片j的量化阶梯大小q，并将控制传递给循环限制块635。循环限制块635使用图片j中的宏块(MB)变量i＝＝1，...，#，对当前图片中的每个宏块开始循环(2)，并将控制传递给功能块640。功能块640基于MB i的内容来调节用于MB i的舍入偏移s和量化阶梯大小q，并将控制传递给功能块645。功能块645以q和s对宏块i进行编码，并将控制传递给循环限制块650。循环限制块650结束循环(2)，并将控制传递给循环限制块655。循环限制块655结束循环(1)，并将控制传递给结束块699。

与图5的方法500相比，方法600在宏块级上选择舍入偏移值方面提供了甚至更多的灵活性。与图5中的方法类似，方法600还在获取目标比特率时对速率控制算法提出挑战。

用于自适应地选择舍入偏移的方法

在图7中，通过示例图示出根据一个实施例如何确定舍入偏移。在该示例中，视频中的宏块被分类为纹理宏块或平滑宏块。关注用于平滑区域的舍入偏移调节。对于纹理宏块，默认舍入偏移可被用来最优化速率失真性能。当然，该示例涉及确定输入偏移的一种方式。因此，应当注意，本发明的原理不限于仅按照该示例来确定输入偏移，在保持本发明的原理的精神的同时，根据在此提供的本发明的原理的教导，本领域或相关领域的普通技术人员将容易构想到该方式和用于确定舍入偏移的各种其它方式。

转到图7，用于确定舍入偏移的示例性方法一般用标号700指示。方法700包括开始块705，其将控制传递给功能块720。功能块720读取图片，并将控制传递给功能块730。功能块730将MB分类成纹理宏块或平滑宏块，并将控制传递给功能块740。功能块740分析平滑宏块的特征，并将控制传递给功能块799。对于功能块740，在一个实施例中，像素域或变换域中的方差可以被用来分析作为精细细节的强度的特征。此外，对于功能块740，在另一实施例中，估计量化阶梯大小时零系数的数目可以被用来指示该强度。该特征随后被功能块750映射为舍入偏移。例如，如果宏块的方差小于阈值T₁，则宏块指派舍入偏移s₁，如果方差小于T₂并且大于T₁，则宏块指派舍入偏移s₂，否则，宏块指派舍入偏移s₃。在又一实施例中，函数或查找表可以被应用来将方差映射到舍入偏移值。

转到图8，其中舍入偏移已知并且不在比特流中被发送的用于对图片数据进行编码的方法一般用标号800指示。方法800包括开始块810，其将控制传递给功能块820。功能块820读取并解析比特流，并将控制传递到循环限制块830。循环限制块830使用图片变量i＝＝1，...，#，对输入视频内容中的每个图片开始循环，并将控制传递到功能块840。功能块840计算用于图片i的量化阶梯大小q_i，并将控制传递功能块850。功能块850以q_i重构图片i，并将控制传递给循环限制块860。循环限制块860结束该循环，并将控制传递给结束块899。

转到图9，用于使用舍入偏移在编码器处重构编码单元的示例性方法一般用标号900指示。方法900包括开始块910，其将控制传递给功能块920。功能块920读取和解析比特流，并将控制传递给循环限制块930。循环限制块930使用编码单元变量i＝＝1，...，#，对输入视频内容中的每个图片开始循环，并将控制传递到功能块940。功能块940解析或计算用于编码单元i的量化阶梯大小q_i和舍入偏移s_i，并将控制传递该功能块950。功能块950以q_i和s_i重构编码单元i，并将控制传递给循环限制块960。循环限制块960结束该循环，并将控制传递给结束块999。在方法900中，编码单元可以是图片、图片组、宏块或宏块群组。

转到图10，用于使用输入偏移在编码器处对输入编码单元进行编码的示例性方法一般用编号1000示出。应当明白，该方法为了图示和简要起见仅仅示出了编码处理的一部分并且并不意味着代表整个编码处理。方法1000包括开始块1005，其将控制传递给功能块1010。功能块1010为输入编码单元确定与输入编码单元和参考编码单元之间的差相对应的残差，并将控制传递到功能块1015。功能块1015对残差应用变换来获取至少一个变换系数，并将控制传递给功能块1020。功能块1020通过选择特定量化阶梯大小和舍入偏移并应用它们来量化这至少一个变换系数，并将控制传递给结束块1099。

转到图11，用于选择舍入偏移的示例性方法一般用标号1100指示。方法110意图示出根据本发明的原理的选择舍入偏移可以基于的基础中的一些。

方法1100包括开始块1105，其将控制传递给功能块1110。功能块1110(响应于以下中的至少一者：包括编码单元的整个视频序列、该序列的一部分、与编码单元有关的图片、图片中的区域、区域被分类为平滑还是纹理、使用的是帧内编码还是帧间编码、一个或多个变换类型、一个或多个比特率、像素域方差、变换域方差以及特定量化阶梯大小或另一量化阶梯大小时的零系数的数目)选择舍入偏移并将控制传递给结束块1199。

转到图12，用于应用舍入偏移的示例性方法一般用标号1200指示。方法1200意图示出根据本发明的原理的可以应用舍入偏移的项目中的一些。

方法1200包括开始块1205，其将控制传递给功能块1210。功能块1210应用舍入偏移(应用于以下中的至少一者：包括编码单元的整个视频序列、该序列的一部分、与编码单元有关的图片或图片中的区域)并将控制传递给结束块1299。

转到图13，用于使用舍入偏移在解码器处解码编码单元的示例性方法一般用标号1300示出。应当明白，该方法为了图示和简要起见仅仅示出了解码处理的一部分并且并不意图代表整个解码处理。方法1300包括开始块1305，其将控制传递给功能块1310。功能块1310接收描述选择舍入偏移的信息，并号接收与输入编码单元和参考编码单元之间的已变换并且已量化的差相对应的至少一个已量化的系数，并将控制传递给功能块1315。功能块1315通过选择特定量化阶梯大小和舍入偏移并应用它们来对这至少一个已量化的系数进行逆量化以获得至少一个逆量化后的系数，并将控制传递给功能块1320。功能块1320对这至少一个逆量化后的系数进行逆变换来获得重构的残差，并将控制传递给结束块1399。

现在将描述本发明的许多伴随的优点/特征中的一些，其中一些已经在以上被提及。例如，一个优点/特征在于具有视频编码器的设备，该编码器用于通过以下步骤来对输入编码单元进行编码：确定输入编码单元的与输入编码单元和参考编码单元之间的差相对应的参数，对该参数应用变换来获得至少一个变换系数，以及通过选择特定的量化阶梯大小和舍入偏移来对至少一个变换系数进行量化。

另一优点/特征在于如上所述的具有视频编码器的设备，其中，舍入偏移被选择以便应用于整个视频序列，该整个视频序列包括编码单元、该序列的一部分、与编码单元有关的图片或该图片中的区域。

又一优点/特征在于如上所述的具有视频编码器的设备，其中，舍入偏移被选择以便应用于整个视频序列，该整个视频序列包括编码单元、该序列的一部分、与编码单元有关的图片或该图片中的区域，其中，所述部分包括被包括在一个或多个图片组中或独立于一个或多个图片组的一个或多个场景或一个或多个图片，并且其中，所述区域包括一个或多个宏块。

此外，又一优点/特征在于如上所述的具有视频编码器的设备，其中，舍入偏移是响应于如下中的至少一者被选择的：像素域方差、变换域方差和特定量化阶梯大小或另一量化阶梯大小时的零系数的数目。

此外，又一优点/特征在于如上所述的具有视频编码器的设备，其中，舍入偏移是响应于如下中的至少一者被选择的：包括编码单元的整个视频序列、该视频序列的一部分、与该编码单元有关的图片、该图片中的区域以及区域是被分类为平滑还是纹理。

此外，又一优点/特征在于如上所述的具有视频编码器的设备，其中，舍入偏移是响应于以下中的至少一者被选择的：包括编码单元的包括编码单元的整个视频序列、该视频序列的一部分、与该编码单元有关的图片、该图片中的区域以及区域是被分类为平滑还是纹理；其中，所述区域包括一个或多个宏块，并且仅针对被分类为平滑的宏块选择和应用舍入偏移，并且对被分类为纹理的宏块应用编码器通常所使用的默认舍入偏移。

另外，又一优点/特征在于如上所述的具有视频编码器的设备，其中，所述区域包括一个或多个宏块，并且舍入偏移被选择并仅被应用于被分类为平滑的宏块而默认舍入偏移通常被应用于被分类为纹理的宏块；其中，舍入偏移是响应于以下中的至少一者被选择的：输入编码单元是使用帧内预测还是帧间预测被编码的，一个或多个变换类型以及用于对编码单元进行编码的一个或多个不同的比特率。

此外，本发明的原理的又一优点/特征在于如上所述的具有视频编码器的设备，其中，其中，该编码器将描述所选择的舍入偏移的信息嵌入到由编码器输出的比特流中。

有关领域的普通技术人员基于在此的教导可以容易地确定本发明的原理的这些和其它特征和优点。应当理解，本发明的原理的教导可以以硬件、软件、固件、专用处理器或它们的组合的各种形式实现。

更优选地，本发明的原理的教导被实现为硬件和软件的组合。此外。软件可以被实现为被有形地包含在程序存储单元上的应用程序。应用程序可以被上载到包括任何合适的体系架构的机器上并由其执行。优选地，该机器被实现在计算机平台上，该计算机平台具有诸如一个或多个中央处理单元(“CPU”)、随机存取存储器(“RAM”)和输入/输出(“I/O”)接口之类的硬件。计算机平台还可以包括操作系统和微指令代码。在此所描述的各种处理和功能可以或者是可由CPU执行的微指令代码的一部分或应用程序的一部分，或者是他们的任意组合。另外，各种其它外围单元可以被连接到计算机平台，例如另外的数据存储单元和打印单元。

还应当理解，附图中描绘的构成系统组件和方法中的一些优选以软件实现，系统组件和处理功能块之间的实际连接可以根据本发明的原理被编程的方式不同而不同。给定在此的教导，有关领域的普通技术人员将能够构想到本发明的原理的这些和类似的实施方式或配置。

虽然已经在此参考附图描述了说明性实施例，但是应当理解，本发明的原理不限于这些精确实施例，并且本领域技术人员在不便宜本发明的原理的范围和精神的情况下可以实行各种更改和修改。所有这样的更改和修改意图被包括在权利要求书中所阐述的本发明的原理的范围内。

Claims (21)

1.一种设备，包括：

视频编码器(100)，所述视频编码器通过如下步骤来对输入编码单元进行编码：为所述输入编码单元确定与所述输入编码单元和参考编码单元之间的差相对应的残差，对所述残差应用变换来获得至少一个变换系数，以及通过选择量化阶梯大小和舍入偏移来对所述至少一个变换系数进行量化。

2.如权利要求1所述的设备，其中，所述舍入偏移被选择以被应用于包括所述编码单元的整个视频序列、所述序列的一部分、与所述编码单元有关的图片或所述图片中的区域。

3.如权利要求2所述的设备，其中，所述部分包括被包括在一个或多个图片组中或独立于一个或多个图片组的一个或多个图片或一个或多个场景，并且其中，所述区域包括一个或多个宏块。

4.如权利要求3所述的设备，其中，不同的舍入偏移能够被应用于所述一个或多个场景、所述一个或多个图片和所述一个或多个宏块中的不同场景、图片或宏块。

5.如权利要求1所述的设备，其中，所述舍入偏移是响应于以下中的至少一者被选择的：像素域方差、变换域方差和特定的量化阶梯大小或另一量化阶梯大小时的零系数的数目。

6.如权利要求1所述的设备，其中，所述舍入偏移是响应于以下中的至少一者被选择的：包括所述编码单元的整个视频序列、所述视频序列的一部分、与所述编码单元有关的图片、所述图片中的区域以及所述区域被分类为平滑还是纹理。

7.如权利要求6所述的设备，其中，所述区域包括一个或多个宏块，并且仅针对被分类为平滑的宏块选择和应用舍入偏移，而对被分类为纹理的宏块应用所述编码器通常所使用的默认舍入偏移。

8.如权利要求7所述的设备，其中，所述舍入偏移是响应于以下中的至少一者被选择的：所述输入编码单元是使用帧内预测还是帧间预测被编码的，一个或多个变换类型，以及用于对所述编码单元进行编码的一个或多个不同比特率。

9.如权利要求1所述的设备，其中，所述编码器(100)将描述所选择的舍入偏移的信息嵌入在由所述编码器输出的比特流中。

10.一种视频编码器中用于对输入编码单元进行编码的方法，包括：

为所述输入编码单元确定(1010)与所述输入编码单元和参考编码单元之间的差相对应的残差；

对所述残差应用变换(1015)来获得至少一个变换系数；以及

通过选择量化阶梯大小和舍入偏移来对所述至少一个变换系数进行量化(1020)。

11.如权利要求10所述的方法，其中，所述舍入偏移被选择以被应用于包括所述编码单元的整个视频序列、所述序列的一部分、与所述编码单元有关的图片或所述图片中的区域(1210)。

12.如权利要求11所述的方法，其中，所述部分包括被包括在一个或多个图片组中或独立于一个或多个图片组的一个或多个图片或一个或多个场景，并且其中，所述区域包括一个或多个宏块。

13.如权利要求12所述的方法，其中，不同的舍入偏移能够被应用于所述一个或多个场景、所述一个或多个图片和所述一个或多个宏块中的不同场景、图片或宏块。

14.如权利要求10所述的方法，其中，所述舍入偏移是响应于以下中的至少一者被选择的：像素域方差、变换域方差和特定的量化阶梯大小或另一量化阶梯大小时的零系数的数目(1110)。

15.如权利要求10所述的方法，其中，所述舍入偏移是响应于以下中的至少一者被选择的：包括所述编码单元的整个视频序列、所述视频序列的一部分、与所述编码单元有关的图片、所述图片中的区域以及所述区域被分类为平滑还是纹理(1110)。

16.如权利要求15所述的方法，其中，所述区域包括一个或多个宏块，并且仅针对被分类为平滑的宏块选择和应用舍入偏移，而对被分类为纹理的宏块应用所述编码器通常所使用的默认舍入偏移。

17.如权利要求16所述的方法，其中，所述舍入偏移是响应于以下中的至少一者被选择的：所述输入编码单元是使用帧内预测还是帧间预测被编码的，一个或多个变换类型，以及用于对所述编码单元进行编码的一个或多个不同比特率(1110)。

18.如权利要求10所述的方法，还包括将描述所选择的舍入偏移的信息嵌入在由所述编码器输出的比特流中。

19.一种设备，包括：

视频解码器(200)，所述视频解码器用于通过如下步骤对编码单元进行解码：接收与所述编码单元的原始版本和参考编码单元之间的已变换并已量化的残差相对应的至少一个已量化的系数，通过选择量化阶梯大小和舍入偏移来对所述至少一个已量化的系数进行逆量化以获得至少一个逆量化后的系数，以及对所述至少一个逆量化后的系数应用逆变换来获得重构的残差，

其中，所述视频解码器从包括所述至少一个已量化的系数的比特流接收描述所选择的舍入偏移的信息。

20.一种视频解码器中的用于对编码单元进行解码的方法，包括：

接收(1310)与所述编码单元的原始版本和参考编码单元之间的已变换并已量化的残差相对应的至少一个已量化的系数；

通过选择量化阶梯大小和舍入偏移来对所述至少一个已量化的系数进行逆量化(1315)以获得至少一个逆量化后的系数；以及

对所述至少一个逆量化后的系数应用逆变换(1320)来获得重构的残差，

其中，所述视频解码器从包括所述至少一个已量化的系数的比特流接收描述所选择的舍入偏移的信息(1310)。

21.一种将视频信号数据编码在其上的计算机可读存储介质，包括：

输入编码单元，所述输入编码单元通过如下步骤被编码：为所述输入编码单元确定与所述输入编码单元和参考编码单元之间的差相对应的残差，对所述残差应用变换来获得至少一个变换系数，以及通过选择量化阶梯大小和舍入偏移来对所述至少一个变换系数进行量化。

Images