CN105359521A - 用于对高保真编码器中的低保真编码进行仿真的方法和设备 - Google Patents

Abstract

描述了对低保真模式的视频进行编码和解码的方法。比特流中存在编码单元级低保真标志，用于发信号通知是否针对特定编码单元启用低保真模式。如启用，则针对该编码单元，使用通过低保真模式偏移来调整的亮度量化参数来确定色度量化参数。如不启用，则针对该编码单元，使用未经低保真模式偏移调整的亮度量化参数来确定色度量化参数。然后，在对量化色度变换域系数的缩放中使用色度量化参数。还提出了亮度或其他视频分量的使用。

Description

用于对高保真编码器中的低保真编码进行仿真的方法和设备

技术领域

本公开总体上涉及数据压缩，具体涉及用于对高保真编码器中的低保真编码进行仿真的视频编码方法和设备。

背景技术

数据压缩发生在众多上下文中。在通信和计算机联网中非常普遍地使用数据压缩，以有效地存储、传输和再现信息。数据压缩在图像、音频和视频的编码方面找到了具体应用。由于每个视频帧所需的大量数据以及经常需要发生的编码和解码的速度，视频对数据压缩提出相当大的挑战。视频编码的当前最新技术是ITU-TH.265/HEVC视频编码标准。其定义了不同应用的多个不同配置文件(profile)，包括主配置文件、主静止图像配置文件等。

存在用于编码/解码图像和视频的多个标准，包括H.265，其使用基于块的编码过程。在这些过程中，将图像或帧分为通常为4x4或64x64的块(但是在一些情况下可以使用非正方形的块)，且将块频谱变换为量化和熵编码后的系数。在很多情况下，被变换的数据不是实际的像素数据，而是预测操作之后的残留数据。预测可以是帧内(即在帧/图像内的块到块)预测或帧间(即，帧之间)预测，也被称为运动预测。

当对残差数据进行频谱变换时，这些标准中的多个标准规定了使用离散余弦变换(DCT)或基于它的一些变体。然后使用量化器对所得DCT系数进行量化，以产生量化的变换域系数。然后，使用辅助信息(sideinformation)(例如运动向量及其他数据)对量化系数块进行熵编码和封装，以产生编码视频比特流。

在解码器处，对比特流进行熵解码以重构量化系数。然后，解码器进行逆量化并对重构的量化系数进行逆变换，以重构像素域残差。然后通过使用在编码器处使用的相同预测操作来重构像素数据。

像素数据一般被分为亮度分量和色度分量，并且每一个都使用相似的处理来编码(一般是两个色度分量)。由于颜色数据空间位置方面的人类感知限制，通常对色度进行子采样，使得对于每个色度分量，每两个或四个亮度采样仅发送一个色度采样。这对于自然场景视频效果很好，但对于计算机生成的内容(比如文本和图形)存在问题，这些内容需要锐利的色彩边缘清晰度以避免模糊和其他伪影。

在包含自然场景和计算机生成图形的混合内容的情形中，色度子采样对某些类型内容的不适用性带来更多问题。

发明内容

本公开描述了用于对视频进行编码和解码以选择性地对高保真编码器中的低保真编码进行仿真的方法和编码器/解码器。通过与视频分量相关联且与编码单元相关联的低保真标志发信号通知低保真编码。如果低保真标志被置位，则通过调整编码和/或解码中使用的量化参数，以低保真模式对该编码单元的视频分量进行编码或解码。

在第一方面中，本发明描述了一种使用视频解码器对编码视频比特流中的视频进行解码的方法，所述视频包括被分割为编码单元的图片。所述方法包括：针对编码单元之一，重构与所述编码单元相关联并且与视频分量相关联的低保真标志。所述方法还包括：如果低保真标志被置位，则基于低保真模式偏移确定视频分量的量化参数；如果低保真标志未被置位，则在不使用低保真模式偏移的情况下确定视频分量的量化系数；以及基于量化系数，对视频分量中针对所述编码单元的解码系数进行解量化，以产生解量化系数。

本公开还公开了一种使用视频编码器对视频进行编码以产生编码视频比特流的方法，所述视频包括被分割为编码单元的图片。所述方法包括：针对编码单元之一，对与所述编码单元相关联且与视频分量相关联的低保真标志进行编码，其中如果编码单元要以低保真模式被编码，则将低保真标志置位，并且如果编码单元不以低保真模式被编码，则不将低保真标志置位。然而，所述方法还包括：如果编码单元要以低保真模式被编码，则基于低保真模式偏移来确定视频分量的量化参数；如果编码单元不要以低保真模式被编码，则在不使用低保真模式偏移的情况下确定视频分量的量化参数；以及基于量化参数，对视频分量中针对所述编码单元的变换系数进行量化，以产生量化系数。

视频分量可以包括亮度分量、色度分量、alpha分量、红色分量、绿色分量以及蓝色分量中的至少一个。

在另一个方面中，本公开描述了被配置为实现这种编码和解码方法的编码器和解码器。

在又一方面中，本公开描述了存储计算机可执行程序指令的非瞬时计算机可读介质，当执行所述计算机可执行程序指令时，所述计算机可执行程序指令将处理器配置为执行所述编码和/或解码方法。

根据以下结合附图对示例的描述的论述，本领域普通技术人员将理解本公开的其他方面和特征。

附图说明

作为示例，参考示出了本公开的示例实施例的附图，在附图中：

图1以框图形式示出了用于对视频进行编码的编码器；

图2以框图形式示出了用于对视频进行解码的解码器；

图3以流程图的形式示出了用于对视频进行编码的示例过程；

图4以流程图形式示出了可以基于滤波后的预测对编码视频比特流进行解码的处理。

图5示出了编码器的示例实施例的简化框图；以及

图6示出了解码器的示例实施例的简化框图。

在不同附图中已使用类似的附图标记来表示类似的组件。

具体实施方式

在以下描述中，参考用于视频编码的H.264标准和/或开发中的H.265/HEVC标准，描述了一些示例实施例。本领域技术人员应该理解，本申请不限于H.264/AVC或H.265/HEVC，而是可适用于其他视频编码/解码标准，包括可能的将来的标准、多视图编码标准、可缩放视频编码标准、以及可重新配置视频编码标准。

在以下描述中，当提到视频或图像时，术语帧、图片、切片(slice)、分片(tile)和矩形切片组可以在某种程度上互换使用。本领域技术人员将认识到，在H.264标准的情形中，帧可以包含一个或多个切片。在H.265/HEVC中，术语“帧”可以用“图片”来代替。在一些情形中，一系列帧/图片可称为“序列”。在其他视频编码标准中可以使用其他术语。还将认识到，取决于适用的图像或视频编码标准的具体要求或用辞，某些编码/解码操作可以逐帧执行，而一些逐切片执行，一些逐图片执行，一些逐分片执行，还有一些逐矩形切片组执行。在任何特定实施例中，适用的图像或视频编码标准可以视情况确定下面描述的操作是针对帧和/或切片和/或图片和/或分片和/或矩形切片组来执行的。相应地，根据本公开，本领域普通技术人员将理解，本文描述的特定操作或过程以及对帧、切片、图片、分片、矩形切片组的特定参考对于给定实施例是否适用于帧、切片、图片、分片、矩形切片组、或者其中的一部分或全部。其还适用于编码树单元、编码单元、预测单元、变换单元等，这些将通过以下公开而变得清楚。

在一些情形中，以下示例专用于色度分量的编码和解码，即，两个色差分量Cb和Cr。本公开不限于一个或多个色度分量，还可适用于一个或多个其他视频分量。取决于视频数据的格式，示例视频分量可以包括亮度分量，一个或两个色度分量Cb和Cr，其他色差分量，alpha分量，红色分量，绿色分量，和/或蓝色分量。

现在参照图1，图1以框图形式示出了用于对视频进行编码的编码器10。还参照图2，图2示出了用于对视频进行解码的解码器50的框图。应当认识到，本文描述的编码器10和解码器50均可以在应用专用或通用计算设备(包含一个或多个处理单元和存储器)上实现。编码器10或解码器50执行的操作可以通过例如应用专用集成电路或通过通用处理器可执行的存储的程序指令来实现，这视情况而定。设备可以包括附加软件，附加软件包括例如用于控制基本设备功能的操作系统。通过以下描述，本领域普通技术人员将认识到其中可以实现编码器10或解码器50的设备和平台的范围。

编码器10接收视频源12并产生编码比特流14。解码器50接收编码比特流14并输出解码视频帧16。编码器10和解码器50可以被配置为符合多个视频压缩标准来操作。例如，编码器10和解码器50可以符合H.264/AVC。在其他实施例中，编码器10和解码器50可以符合其他视频压缩标准，包括H.264/AVC标准的演进，如H.264/HEVC。

编码器10包括空间预测器21、编码模式选择器20、运动预测器36、变换处理器22、量化器24和熵编码器26。本领域普通技术人员应当认识到，编码模式选择器20确定视频源的适合编码模式，例如主体帧/切片是I、P还是B类型，以及帧/切片内的特定编码单元(例如宏块、编码单元等)是帧内还是帧间编码，即，预测是来自运动预测器36(帧间编码)还是空间预测器21(帧内编码)。变换处理器22执行对空间域数据的变换。具体地，变换处理器22应用基于块的变换来将空间域数据转换为频谱分量。例如，在很多实施例中，使用离散余弦变换(DCT)。在一些实例中可以使用其他变换，例如离散正弦变换、小波变化等。可以对变换单元执行基于块的变换。变换单元可以和编码单元大小相同，或者可以将编码单元分为多个变换单元。在H.264标准中，例如，典型的16x16宏块(编码单元)包含16个4x4的变换单元，并对4x4的块执行DCT处理。变换单元(TU)可以具有其他大小。在一些情形中，TU可以是非正方形的，例如非正方形正交变换(NSQT)。

将基于块的变换应用于像素数据块得到变换域系数的集合。在该上下文中，“集合”是有序集合，在该集合中系数具有系数位置。在一些实例中，变换域系数的集合可被认为是系数的“块”或矩阵。在本文的描述中，短语“变换域系数的集合”或“变换域系数的块”可互换地使用，并且用于指示变换域系数的有序集合。

量化器24对变换域系数的集合进行量化。然后，熵编码器26对量化后的系数和相关联的信息进行编码。

在不参考其他帧/切片的情况下，对帧内编码的帧/切片(即，I型)进行编码。换言之，它们不使用时间预测。然而，帧内编码的帧依赖于通过如图1所示的空间预测器21进行的帧/切片内的空间预测。也就是说，当对特定块进行编码时，可以将该块中的数据和已经针对该帧/切片编码的块内的相邻像素的数据进行比较。通过使用预测操作，编码器10基于相邻像素的数据创建预测块或单元。存在各种预测模式或预测方向。在一些情形中，可以使用速率失真优化来选择模式/方向。预测操作中使用的相邻像素是先前已被编码和解码并存储在反馈环路内的线缓冲器35中的重构像素。块的实际像素数据和预测块之间的差是残差块，即，误差信号。对残差数据进行变换、量化和编码，以在比特流14中传输。

帧间编码的帧/块依赖于时间预测，即，使用来自其他帧/图片的重构数据对其进行预测。编码器10具有反馈环路，反馈环路包括：解量化器28、逆变换处理器30和解块处理器32。解块处理器32可以包括解块处理器和滤波处理器。这些元件反映了解码器50执行以再现帧/图像片的解码过程。使用帧存储器34来存储再现帧。通过这种方式，运动预测基于解码器50处的重构帧将是什么，而不基于原始的帧，由于编码/解码中所涉及的有损压缩，原始帧与重构帧可能不同。运动预测器36使用帧存储器34中存储的帧/切片作为源帧/图片，来与当前帧进行比较，以识别相似块。换句话说，实施运动向量搜索以识别另一个帧/图片内的块。该块是预测块或单元的源。预测块和原始块之间的差变为残差数据，然后对残差数据进行变换、量化和编码。

本领域普通技术人员将认识到用于实现视频编码器的细节和可能变化。

解码器50包括熵解码器52、解量化器54、逆变换处理器56和解块处理器60。解块处理器60可以包括解块处理器和滤波处理器。当帧/图片被解码以便空间补偿器57在帧内编码中使用时，线缓冲器59存储重构像素数据。帧缓冲器58存储完全重构和解块的帧以便运动补偿器62在应用运动补偿时使用。

熵解码器52接收并解码比特流14，以恢复量化系数。在熵解码处理期间还可以恢复辅助信息，包括编码模式信息，并且可以将其中的一些提供给反馈环路，以便在创建预测时使用。例如，熵解码器52可以恢复用于帧间编码块的运动向量和/或参考帧信息，或者用于帧内编码块的帧内编码模式方向信息。

然后，解量化器54对量化后的系数进行解量化，以产生变换域系数，然后，逆变换处理器56对变换域系数进行逆变换，以重建/重构残差像素域数据。空间补偿器57根据残差数据和使用空间预测创建的预测块来产生视频数据。根据来自相同帧的先前重构的像素数据，空间预测使用与编码器已使用的相同的预测模式/方向。基于先前解码的帧/图片和从比特流解码的运动向量，通过创建预测块来重构帧间编码块。然后，将重构残差数据添加到预测块中以产生重构像素数据。本文中，空间和运动补偿均可以称为“预测操作”。

然后，可以对重构帧/切片应用解块/滤波处理，如解块处理器60所示。在解块/滤波后，输出帧/切片作为解码视频帧16，例如以在显示设备上显示。将理解的是，视频回放机(如计算机、机顶盒、DVD或蓝光播放器和/或移动手持设备)可以在输出设备上显示之前在存储器中缓冲解码帧。

在H.265/HEVC和一些其他编码标准中，图片被分为不重叠的块集合。在H.265/HEVC中，例如，每个图片被分为64x64编码树块(CTB)(有时也称为“编码树单元”)。然后，使用四叉树结构分割进一步将每个CTB分为编码树节点，最终分为编码单元。需要注意的是，该结构中的“叶节点”(即，编码单元(CU))不必具有相同的大小。例如，CTB可以分为32x32的块，其中两个可以是CU(叶节点)并且其中两个还可以进一步分为16x16的块。其中一些可以是CU，并且一些还可以进一步分为8x8的块，等等。

虽然上述描述参考像素，但是将认识到，很多视频编码系统对每个像素都使用亮度数据(Y)和色度数据(U和V，或者Cb和Cr)。事实上，在数字视频系统中，将像素数据分为亮度和色度允许色度子采样的使用。因为人眼对自然视频场景中的色度细节不敏感，可以对色度数据进行子采样并以较低的分辨率发送，从而实现更大的压缩。在当前视频编码标准中，4∶4∶4的色度采样格式指示没有色度子采样，4∶4∶2指示因子为2的水平色度子采样，4∶2∶0指示因子为2的水平和垂直色度子采样。

因为人感知自然场景中颜色空间局部性的有限能力，所以在日常用途中使用4∶2∶0色度子采样的数字视频压缩。然而，数字视频更常规地用于对计算机生成的内容或者计算机生成的内容和自然场景的混合进行编码/解码。计算机生成的内容的特征是锐利的边缘、脉冲和高频。示例是文本或者计算机图形。需要高保真以避免该内容中亮度和色度分量的锐利边缘的模糊。需要注意的是，在本方面中“计算机生成”的内容不必然指代“计算机生成的图像”或“CGI”，其中，计算创建的内容旨在设计为混入或呈现为电影或电视节目中的自然场景。

当前编码的一个问题是，在低色度保真视频中，当对相同视频源进行编码时，4∶4∶4系统看起来无法实现4∶2∶0系统或者甚至4∶2∶2系统的相同速率失真性能。因为一部分视频需要更高保真，所以整个视频都以4∶4∶4格式来编码。原本就是4∶2∶0格式的一部分，例如自然场景图像或视频，被上采样为4∶4∶4并根据该格式来编码。当4∶2∶0格式视频被上采样并以4∶4∶4格式编码时，确实得到略好的色度保真，但是比特率提高了约10％。由于较小的感知提高(如有的话)，所以比特率方面的成本往往并不合适。

额外的比特率成本一部分是因为额外的色度系数，还有一部分是因为额外的开销。例如，在H.265/HEVC的4∶2∶0编码中，8x8变换单元将得到4x4色度变换块，该4x4色度变换块将不继承同一位置的8x8亮度变换块的任何分割。当色度被上采样并以4∶4∶4格式编码时，得到8x8色度变换块并且其获得同一位置的亮度变换块的分割(以及额外的首部开销和额外的帧内模式信令)。此外，当使用较大的色度变换块时，使用较小的量化步长来量化这些块中的系数，得到较多的用于编码的系数数据。由于HEVC量化操作的结构，相比较小变换块的情形，相同的量化参数针对较大的变换块得到较小的量化步长。换句话说，相比较小变换块的情形，利用较大的变换块，编码器被配置为保持较高精度(较大/较多的系数)。因此，上采样和以4∶4∶4格式编码得到附加的系数数据。

提交于2013年1月7日的与本申请相同申请人的美国专利申请(序列号no.13/735,782，)描述了具有混合保真要求的视频中的问题。在该申请中提出在使用预测块前对预测块进行滤波以移除较高的频率分量，从而产生残差数据。每个块的标志控制是否针对该块进行预测进行滤波。

在一个方面中，本公开提出修改在图片的低保真区中使用的量化和/或其他编码参数。一方面，在4∶4∶4格式编码处理中，对应于低保真区的块或块组可能对它们的量化参数进行调整，从而以仿真什么可能从4∶2∶0格式编码得到的方式来处理这些区。例如，针对色度分量，可以调整量化参数以对以下事实进行补偿：4∶4∶4中使用的变换块比进行子采样的4∶2∶0中使用的变换块更大。为如同在4∶2∶0中那样来处理这些块，编码器可以例如更积极地对块进行量化，或例如限制8x8块的分割。

具体地，下文提出了在色度分量进行编码中使用的许多示例；然而，在一些实施例中，所描述的处理和技术可适用于亮度分量或者亮度和色度分量。如上所述，本公开总体上适用于视频分量的编码和解码，其中视频分量(依据视频数据的格式)可以包括一个或多个亮度分量，Cb，Cr，其他色差分量，alpha分量，和/或RGB分量。

一般地，量化是指将具有范围值的信号映射到具有缩小的范围值的量化信号。这种范围缩小本质上是有损的，但是允许量化信号用更少的比特来表示。量化的一个示例是H.265/HEVC中的硬决策标量量化器，根据下式，其采用变换系数c并产生量化变换系数u：

在上述表达式中，q是作为给定量化参数QP的函数的量化步长，θ是取整(rounding)偏移。如果c小于0，则sign函数返回-1，否则返回+1。在一个示例中，q和QP之间的关系通过下式给出：

当在解码器处重构变换域系数时，重构系数可以确定为：

在该表达式中，scaleFactor是基于QP选择量化缩放值的函数。在很多实现中，bitDepth通常是8，表示分母中的该项为单位1并且分母由TransFormSize来有效确定。需要注意的是，如果TransFormSize增加，则量化变换系数u必须正比例地增加以补偿。换句话说，量化步长针对较大变换尺寸较小。

当对色度分量进行量化时，使用预先选择的偏移值(如存在)将亮度分量的QP转换为色度QP，以调整亮度QP。裁剪(clip)该调整后的亮度QP值，然后使用查找表将调整后的亮度QP值转换为色度QP值。在4∶4∶4格式编码的情形中，查找表中在调整后的亮度QP和色度QP之间的映射是1对1。在4∶2∶0格式编码的情形中，4∶2∶0查找表中对于许多较低QP值的映射是1对1，但是对于较大QP值发散(diverge)。

根据本公开的一个方面，基于通过低保真模式QP偏移针对编码单元选择性地进一步调整的亮度QP值获得色度QP值。低保真模式QP偏移的使用基于是否针对该编码单元发信号通知低保真模式。在一些实施例中，该信令可以基于针对该编码单元编码的标志。在一些情形中，可以基于CTB的结构层级中较高的置位标志的继承来推断该标志。

可以在比特流(例如，图像参数集(PPS)或序列参数集(SPS))中发信号通知低保真模式QP偏移的值，或者低保真模式QP偏移的值可以是预设值。预设值可以基于与4∶2∶0格式编码相关联的失真和与4∶4∶4格式编码相关联的失真的比较，下文将概要描述。

在变换块中，每个变化系数的量化导致的误差可以近似为：

e＝θq

在该表达式中，q是量化步长，θ是来自量化表达式的取整偏移。换句话说，如所预期的那样，该误差与量化步长直接相关。失真与误差的平方成正比。例如，失真可以表示为：

$D=\underset{-\frac{q}{2}}{\overset{\frac{q}{2}}{\∫}}\frac{1}{q}{x}^{2}dx=\frac{q^2}{12}$

换句话说，平均每个系数的失真与量化步长的平方成正比，其可以表示为：

$D=\frac{q^2}{k}$

在该表达式中k是某常数。例如，假设8x8的残差色度块，则针对该块中的64个系数，原本4∶2∶0中的失真通过下式给出：

$D_{4:2:0}=\frac{q_{4:2:0}^2}{k}\·64$

然而，假设4∶4∶4中的8x8的残差色度块，其使用常规空间内插滤波器通过上采样而得到。在该情形中，可以预期大部分信息将包含在变换块的左上方的4x4子块中。在该情形中，8x8块的总失真可以近似为：

$D_{4:4:4}=\frac{q_{4:4:4}^2}{k}\·16$

需要注意的是，从速率失真意义上说，对四个4x4块的编码大致等同于对一个8x8块的编码。然而，至少从概念来说，当原本4x4块色度块被上采样为4∶4∶4中的8x8色度块时，对8x8块的编码的速率失真成本大致等同于一个4x4块，而不是四个4x4块。为对此进行补偿并重新平衡与不同块尺寸相关联的速率失真成本，所提出的方案调整8x8块的量化。换句话说，在一个方面中，本公开提出提高(上采样的)4∶4∶4的量化以更好地仿真4∶2∶0编码的失真。因此，为求出失真改变，需要：

D_4∶2∶0＝D_4∶4∶4

$\frac{q_{4:2:0}^2}{k}\·64=\frac{q_{4:4:4}^2}{k}\·16$

$q_{4:4:4}=\sqrt{\mathrm{\α}}{q}_{4:2:0}$

这里，符号α＝64/16＝4。使用q和QP之间的关系，将上式转换为：

QP_4∶4∶4＝QP_4∶2∶0+6

需要注意的是，上述分析基于一定程度上理想的空间内插滤波器，因为其假设被上采样为8x8的所有信息将包含在块的左上角的4x4块中。实际上，上采样处理导致截止频率附近的混叠(aliasing)，并且取决于滤波器，可能导致信息主要包含在8x8变换块的左上角的5x5块内。在该情形中，α＝64/25＝3.2，从而低保真模式QP偏移大约为5，这意味着：

QP_4∶4∶4＝QP_4∶2∶0+5

可以对从4∶2∶2到4∶4∶4的转换执行相同的分析。在该情形中，使用上述分析α＝2，并且QP调整为+3。考虑混叠，则低保真模式QP偏移可接近于+2。

将要理解的是，可以针对具体的块尺寸(例如，8x8、16x16、32x32等)来确定/选择低保真模式QP偏移。

将要认识到，考虑混叠效应的程度将取决于所使用的上采样滤波器。

二进制标志的层级可以向解码器发信号通知在各粒度上是启用还是禁用低保真模式偏移。在SPS或PPS级，可以提供标志，以启用或禁用整个编码视频序列或者参考特定PPS的多个图片的特征的使用。PPS还可以提供高级选项，例如，在选择模式时要使用的QP偏移，除非存在预设QP偏移。

如果编码器确定应当对图片中的所有CU使用低保真模式，则PPS可以包含指示解码器针对图片中的每个CU都如同每个CU的标志被断定那样进行动作的标志，而不必导致发信号通知每个CU的标志的比特流成本。

针对图片中的每个CU，假设允许/启用该特征，可以提供单个上下文自适应算术编码标志，其控制该CU的低保真模式的使用。在一个实施例中，不发生标志的预测，但是在其他实施例中，可以根据空间相邻的标识进行预测或者使用一些基于内容的预测器。在跳过块的情形中，不发信号通知标志。在句法中定位标志，使得仅在合适时发信号通知标志，即，如果残差为0或者被跳过，则不发送标志，例外情况为：在帧内NxN分割的情形中，如果实施例包括当标志被置位时限制一个或多个视频分量的帧内预测分割的数量，则需要标志。在另一个实施例中，如果不发送色度残差，则不发送标志，而不是在不发送残差时避免发送标志。

如上所述，可以在编码器和解码器中预设低保真模式QP偏移。在另一个实施例中，可以将其明确地在PPS或SPS中发信号通知。在另一个实施例中，可以发信号通知两个偏移：每个色度分量一个偏移。在另一个实施例中，可以针对每个变换尺寸来发信号通知偏移(或偏移对)。在一些实例中，可以发信号通知偏移作为与预设低保真模式QP偏移的差异。

图3以流程图形式示出了使用低保真模式选项对视频进行编码的一个示例方法100。该示例专用于低保真模式中的色度分量的编码。如上所述，亮度分量也可以备选地或附加地以低保真模式编码。

在操作102，编码器最初启用低保真模式能力。这可以默认发生，或者通过包括低保真启用标志在比特流中发信号通知。该标志可置于SPS或PPS中或者比特流中其他某处，以指示启用低保真模式并且解码器应当期望并解码低保真标志。

在操作104中，针对当前编码单元(CU)，编码器确定是否以低保真模式对色度进行编码。该确定可以基于多个可能因素。通过非限制性说明，在一个示例中，该确定基于非零系数在变换块的左上象限中的集中度。在该示例中，变换块的低频区(例如，左上象限)中的非零系数的数量表示为X，该块其余部分中的非零系数的数量表示为Y。如果Y/(X+Y)小于某预定阈值(例如50-60％)，则认为该变换块是低保真的。一旦编码单元中的所有变换块都被确定为低保真时或者都不是低保真，则可以对该编码单元做出统一决策。在另一个示例中，X表示包含DC位置的变换单元中的最小矩形区的大小，并且Y表示块的其余部分的大小。在另一个示例中，可以使用系数等级之和来替代非零系数的数量。可以针对不同的编码单元大小来设置不同的阈值。需要注意的是，在该示例中的系数基于原始像素数据的变换而不基于残差数据的变换。

在另一个非限制性示例中，低保真确定可以基于相对失真测量和条件集。在该示例中，将编码单元同时以低保真模式和高保真模式编码，并确定总色度失真。高保真失真表示为D₀，并且低保真失真表示为D₁。使用例如上文概述的失真模型和适用的量化步长，计算用于低保真模式和高保真模式的变换系数的期望数量N₁和N₀。然后，将这些估计与从编码得到的变换系数的实际数量(可表示为N)进行比较。对于低保真模式(索引i＝1)和高保真模式(索引i＝0)，可以求出以下条件：

$\left|N-N_i\right|>\left|N_i-\frac{N}{4}\right|$

如果这两种情形中条件都为真，则可以将编码单元指定为低保真。否则，将其分类为高保真。在另一个实施例中，可以使用不同的决策规则来确定编码单元的分类，例如以下示例决策表：

条件i＝0	条件i＝1	决策
			假	假	高保真
假	真	低保真
			真	假	高保真
真	真	低保真

编码器将低保真标志106插入到当前CU的首部，除非可以推导出标志值。在一些情形中，取决于所使用的信令规则，可以基于相邻低保真标志(例如，在CU的右下方和/或到右下方对角线上的标志)或者基于例如CTB句法内编码结构中较高的一个或多个标志，推导低保真标志。如果可以推导出标志，则不在比特流中发送该标志；否则，将其插入到当前CU的首部中。在一个示例中，如果要对当前CU使用低保真模式，则将低保真标志置位为1，并且如果不要对当前CU使用低保真模式，则将其置位为0。

假设要将低保真标志用于当前CU(即，低保真标志值被置位为1)，则在操作108中，编码器使用低保真模式偏移，从亮度QP值中导出色度QP值。如上所述，在一些实施例中，低保真模式偏移可以是预设值，并且可以部分基于变换尺寸来选择。可以使用查找表、公式或其他这样的机制将亮度QP转换为色度QP。色度QP可以通过增加低保真模式偏移然后执行转换从亮度QP导出。需要注意的是，转换前对亮度QP的调整基于低保真模式被应用于当前CU的事实，如与当前CU相关联的低保真标志所指示。该调整不是适用于从亮度QP到色度QP的所有转换的全局偏移，而是选择性的并且基于低保真模式是否被应用于该特定CU。从亮度QP的低保真色度QP转换可以表示为：

QP_chroma＝[clip(QP_luma+QP_{global-offset}+QP_{low-fid-modeoffset})]_look-uptable

在上述表达式中，QP_luma是亮度QP，且QP_{global-offset}是使用查找表前调整QP时施加的固定偏移。在一些实例中，固定偏移可以内置在表自身内，但是在其他实例中，其可以在使用表前被施加。无论低保真模式是否被应用于当前CU，都将施加QP_{global-offset}。

在操作110中，编码器使用操作108中获得的色度QP对色度系数进行量化，以获得量化系数。然后，在操作112对这些量化系数进行熵编码。

在操作108中，如上所述，查找表、公式或其他这样的机制用于将调整后的亮度QP转换为色度QP。在一些实现中，编码器和解码器可以具有专用于不同编码格式(如4∶4∶4、4∶2∶2、和4∶2∶0)的QP转换查找表。在一些实施例中，由于这些示例中视频的编码一般是4∶4∶4格式，所以可以使用4∶4∶4格式查找表以获得色度QP。然而，在一些实施例中，编码器和解码器可以针对启用了低保真模式的编码单元使用4∶2∶0QP转换查找表。也就是说，如果针对编码单元置位低保真标志，则使用4∶2∶0查找表来替代将在其他情形中使用的4∶4∶4表以获得色度QP。

现在参考图4，图4以流程图形式示出了对具有色度低保真模式的编码视频数据进行解码的示例方法200。该方法200包括操作202，用于确定是否对视频的图片和/或序列启用色度低保真模式能力。在某种意义上，确定该启用可以是通过默认来启用，或者通过使用启用标志在比特流中明确地发信号通知。取决于实现，启用标志可以从SPS、PPS或者比特流中某处被解码。

在操作204中，解码器重构当前CU的低保真标志。在一些情形中，可以从比特流中(例如从与当前CU相关联的首部)通过对低保真标志进行解码，以将其重构。在一些实例中，在某种意义上，可以推导低保真标志以将其重构。在一些实施例中，如上文所述，可以根据相邻CU中的标志值或者基于编码层级中较高的置位标志来推导标志值。

在操作206，解码器确定重构的标志值是1还是0，即，是否应用低保真模式。如否，则在操作208中，通过使用查找表(或公式、或其他机制)将亮度QP转换为色度QP而不使用低保真模式偏移来调整亮度QP以确定色度QP。如果低保真标志被置位，则在操作210中，通过使用低保真模式偏移来调整亮度QP并将调整后的亮度QP转换为色度QP来确定色度QP。在任一情形中，如果编码方案提供全局QP偏移，则可以将该偏移应用于亮度QP。

然后，在操作212中，使用色度QP对解码后的量化色度系数进行解量化，以产生解量化色度系数。取决于实现，解量化操作可以使用上述其缩放公式中的QP值，或者可以先将QP值转换为量化步长，然后在解量化操作中使用该量化步长。

在操作214和216中，分别对解量化色度系数进行逆变换以产生重构色度残差，以及将重构色度残差和预测的色度采样组合以产生重构色度采样块。

在另一个方面中，由其自身或者结合QP调整，对4∶4∶4编码处理中的低保真模式的断定可以包括导致对4x4色度变换块信令的禁止，以便对4∶2∶0行为建模。也就是说，当针对编码单元断定低保真模式时，则不允许针对色度的4x4变换块。利用4∶2∶0编码，被分割为4x4亮度变换块的8x8亮度块一般将变为相应的被分割为2x2色度变换块的4x4色度块；然而，在H.265/HEVC中没有定义2x2块，所以H.265/HEVC阻止色度4x4变换树对在相应亮度块中所见到的进一步划分进行建模，并且在4x4时停止分割。当4∶2∶0内容被上采样并以4∶4∶4被编码时，在其他情形中将被编码为4x4变换块的色度内容被编码为8x8变换块。此外，允许在4∶2∶0时被阻止的划分在4∶4∶4时发生，这意味着将8x8色度块分割为4x4变换块，并且每个变换块都以所需的开销被编码。此外，在帧内编码的情形中，当8x8色度变换被分割为四个4x4色度变换块时，每个4x4变换块可具有其自身帧内模式方向信令，而不是一个8x8帧内模式方向。当以4∶2∶0对相应块进行编码时，对4x4块分割的禁止将阻止存在四个帧内模式(每个2x2块一个帧内模式)。为消除使用4∶4∶4编码时的这种额外开销，在本公开的该方面中，阻止将8x8低保真色度块进一步分割为四个4x4块，从而对4∶2∶0编码器的行为进行建模。

在一些实施例中，上述低保真模式操作可以结合申请日为2013年1月7日、序列号为13/735,782的美国专利申请中描述的预测滤波来实现。相同的CU级标志可用于启用/禁用这两个处理，或者可以使用单独标志。

在一个非限制性且不将本公开限制为H.265/HEVC或其变化的示例中，以下伪码句法示出了通过对当前草案第二版H.265/HEVC句法进行改变的本公开的一方面的一个实现。

可以将图片参数集的句法修改为包括以下元素：

在上述句法中，如果比特流中可以存在cu_lowfidelity_flag，则lowfidelity_enabled_flag为1。当比特流中不存在cu_lowfidelity_flag且可以推导其为1时，lowfidelity_forced_flag为1。lowfidelity_qp_cb_offset指定缩放色度Cb变换系数时所要施加的附加QP偏移。lowfidelity_qp_cr_offset指定缩放色度Cr变换系数时所要施加的附加QP偏移。

在用于对编码单元进行解码的上述示例句法中，如果要在色度变换系数的缩放处理期间施加附加色度QP偏移，则cu_lowfidelity_flag[x0][y0]为1。

当找到用于缩放色度变换系数的色度QP值时，可以应用以下示例规则：

1.如果lowfidelity_cu_flag[xCb][yCb]为1，则将loFiCbQpOffset设置为等于lowfidelity_qp_cb_offset，并将loFiCrQpOffset设置为等于lowfidelity_qp_cr_offset。

2.否则，将loFiCbQpOffset和loFiCrQpOffset都设置为0。

3.基于等于qPi_Cb和qPi_Cr的索引qPi，分别将变量qP_Cb和qP_Cr设置为等于Qp_C的值，并且根据下式导出qPi_Cb和qPi_Cr：

a.

qPi_Cb＝Clip3(-QpBdOffset_C，57，Qp_Y+pps_cb_qp_offset+

slice_cb_qp_offset+loFiCbQpOffset)

b.

qPi_Cr＝Clip3(-QpBdOffset_C，57，Qp_Y+pps_cr_qp_offset+

slice_cr_qp_offset+loFiCrQpOffset)

4.根据下式导出Cb和Cr分量的色度量化系数Qp′_Cb和Qp′_Cr：

a.Qp′_Cb＝qP_Cb+QpBdOffset_C

b.Qp′_Cr＝qP_Cr+QpBdOffset_C

现在参考图5，其示出了编码器900的示例实施例的简化框图。编码器900包括处理器902、存储器904、和编码应用906。编码应用906可以包括在存储器904中存储的、且包含用于将处理器902配置为执行诸如本文所述的操作之类的操作的指令在内的计算机程序或应用。例如，编码应用906可以根据本文描述的过程对比特流编码并输出编码的比特流。将理解：编码应用906可以存储在计算机可读介质上，例如压缩光盘、闪存设备、随机存取存储器、硬盘驱动器等。

现在还参考图6，其示出了解码器1000的示例实施例的简化框图。解码器1000包括处理器1002、存储器1004、以及解码应用1006。解码应用1006可以包括在存储器1004中存储的、且包含用于将处理器1002配置为执行诸如本文所述的操作之类的操作的指令在内的计算机程序或应用。将理解：解码应用1006可以存储在计算机可读介质上，例如压缩光盘、闪存设备、随机存取存储器、硬盘驱动器等。

将清楚的是，根据本申请的解码器和/或编码器可以在多种计算设备中实现，包括但不限于服务器、适当编程的通用计算机、音频/视频编码和回放设备、电视机顶盒、电视广播设备和移动设备。解码器或编码器可以通过软件来实现，该软件包含用于将处理器配置为执行本文所述功能的指令。软件指令可以存储在任何合适的非瞬时计算机可读存储器上，包括CD、RAM、ROM、闪存等。

将理解：本文所述的编码器和实现所述用于配置编码器的方法/过程的模块、例程、进程、线程、或其他软件组件可以使用标准计算机编程技术和语言来实现。本申请不限于特定处理器、计算机语言、计算机编程惯例、数据结构、其他这种实现细节。本领域技术人员将认识到：可以将所述过程实现为在易失性或非易失性存储器中存储的计算机可执行代码的一部分、专用集成芯片(ASIC)的一部分等等。

可以对所述实施例进行某种调整和修改。因此，上文讨论的实施例应被认识是说明性而非限制性的。

Claims (15)

1.一种使用视频解码器对编码视频比特流中的视频进行解码的方法，所述视频包括被分割为编码单元的图片，所述方法包括：

针对编码单元之一：

重构与所述编码单元相关联并且与视频分量相关联的低保真标志；

如果所述低保真标志被置位，则基于低保真模式偏移确定视频分量的量化参数；

如果低保真标志未被置位，则在不使用低保真模式偏移的情况下确定视频分量的量化参数；以及

基于所述量化参数，对视频分量中针对所述编码单元的解码系数进行解量化，以产生解量化系数。

2.根据权利要求1所述的方法，其中所述视频分量包括亮度分量、色度分量、alpha分量、红色分量、绿色分量以及蓝色分量中的至少一个。

3.根据权利要求1或2所述的方法，其中重构所述低保真标志包括：对来自比特流的所述低保真标志进行解码。

4.根据权利要求3所述的方法，其中对所述低保真标志进行解码包括：对来自与所述编码单元相关联的编码单元首部的所述低保真标志进行解码。

5.根据权利要求1至4中任一项所述的方法，其中所述低保真标志包括与色度分量相关联的色度低保真标志，并且如果所述色度低保真标志被置位，确定量化参数包括：基于亮度量化参数、预定色度QP偏移值以及低保真模式偏移，对查找表编索引以确定色度量化参数。

6.根据权利要求5所述的方法，其中比特流以高保真格式编码，并且对查找表编索引以确定色度量化参数包括：对色度量化参数的色度子采样格式查找表编索引。

7.根据权利要求6所述的方法，其中高保真格式是4∶4∶4和4∶2∶2之一，并且色度子采样格式是4∶2∶0。

8.根据权利要求1至7中任一项所述的方法，其中所述比特流以高保真格式编码，并且

如果所述低保真标志被置位，则确定量化参数包括：使用QP值和低保真模式偏移对低保真格式查找表编索引；以及

如果所述低保真格式未被置位，则确定量化参数包括：在使用QP值而不使用低保真模式偏移的情况下对高保真格式查找表编索引。

9.根据权利要求1至8中任一项所述的方法，还包括：

如果所述低保真标志被置位，则基于低保真专用最小值，确定用于对与所述编码单元的视频分量相关联的变换树进行解码的最小变换尺寸；

如果所述低保真标志未被置位，则在对与所述编码单元相关联的变换树进行解码中使用预定最小变换尺寸；以及

基于所述最小变换尺寸，从比特流中对视频分量中针对所述编码单元的变换树进行解码，以产生解码系数。

10.根据权利要求1至9中任一项所述的方法，还包括：

如果所述低保真标志被置位，则确定与所述编码单元的视频分量相关联的帧内预测模式的数量为1；

如果所述低保真标志未被置位，则基于对所述编码单元的分割，确定与所述编码单元的视频分量相关联的帧内预测模式的数量；以及

从比特流中对所述编码单元的视频分量的帧内预测模式的所确定数量进行解码。

11.一种对编码视频比特流进行解码以对视频解码器中的系数进行解量化的解码器，所述解码器包括：

处理器；

存储器；以及

存储在存储器中且包含指令的解码应用，所述指令用于配置处理器以执行权利要求1至10中任一项所述的方法。

12.一种使用视频编码器对视频进行编码以产生编码视频比特流的方法，所述视频包括被分割为编码单元的图片，所述方法包括：

针对编码单元之一：

对与所述编码单元相关联且与视频分量相关联的低保真标志进行编码，其中如果所述编码单元要以低保真模式编码，则将所述低保真标志置位，并且如果所述编码单元不要以低保真模式编码，则不将所述低保真标志置位；

如果所述编码单元要以低保真模式编码，则基于低保真模式偏移，确定视频分量的量化参数；

如果所述编码单元不要以低保真模式编码，则在不使用低保真模式偏移的情况下确定视频分量的量化参数；以及

基于所述量化参数，对视频分量中针对所述编码单元的变换系数进行量化，以产生量化系数。

13.根据权利要求12所述的方法，其中所述视频分量包括亮度分量、色度分量、alpha分量、红色分量、绿色分量以及蓝色分量中的至少一个。

14.一种用于对视频进行编码的编码器，所述视频包括被分割为编码单元的图片，所述编码器包括：

处理器；

存储器；以及

存储在存储器中且包含指令的编码应用，所述指令用于配置处理器以执行权利要求12或权利要求13所述的方法。

15.一种非瞬时处理器可读介质，所述介质存储处理器可执行指令，当所述指令被执行时，配置一个或多个处理器以执行权利要求1至10、12和13中任一项所述的方法。