CN108141598A - 用于视频编码和解码中的量化的方法和装置 - Google Patents

Abstract

因为人眼可能变得对视频中非常明亮的区域周围的暗区域较不敏感(称为眩光遮蔽)，所以我们可以在这样的暗区域中使用较粗略的量化。考虑在具有眩光遮蔽的块中人眼可以容忍的额外失真，可以计算块的量化比率。然后，可以使用量化比率对块的量化参数进行缩放，以形成经调整的量化参数。在一个实施例中，可以在解码器侧导出经调整的量化参数，并且因此不需要传输量化比率信息。具体地，我们可以基于预测块和去量化的DC系数来估计当前块的亮度，并且使用因果邻近块的亮度和当前块的所估计的亮度来估计经调整的量化参数。

Description

用于视频编码和解码中的量化的方法和装置

技术领域

本发明涉及用于视频编码和解码的方法和装置，并且更具体地涉及用于当编码和解码视频时基于眩光遮蔽效应调整量化参数的方法和装置。

背景技术

本部分旨在向读者介绍可能与下面描述和/或要求保护的本发明的各个方面有关的技术的各个方面。相信该讨论有助于向读者提供背景信息，以便于更好地理解本发明的各个方面。因此，应当理解，这些陈述要在该角度上来阅读，而不是作为对现有技术的承认。

HDR(高动态范围)视频通常表示比通过传统SDR(标准动态范围)视频可以实现的更大的亮度级别范围，其通常具有8或10位动态范围。为了压缩或表示HDR视频，如图1所示，一些现有方法首先执行正向转换(110)，其可以包括从HDR线性信号到非线性信号的转换、色彩空间转换、位深度减小/量化以及色度降转换。然后，可以使用支持8位和10位视频格式的视频编码器(120)(例如，HEVC(高效率视频编码)编码器)来压缩正向转换之后的信号。在解码器侧，使用视频解码器(130)(例如，HEVC解码器)将比特流解码，并且然后使用反向转换(140)将比特流转换为HDR视频信号，反向转换(140)可以包括色彩空间转换、位深度逆量化、色度升转换以及从非线性信号到HDR线性信号的转换。

SMPTE 2084定义传递函数，其考虑HVS(人类视觉系统)对亮度的敏感度，该函数将OETF(光电传递函数)曲线独立地应用于每个像素。正向转换模块(110)可以使用OETF曲线和位深度量化来将HDR视频变换为以较少位表示的视频信号(例如，根据SMPTE 2084的10或12位信号)，并且反向转换模块(140)可以使用对应于OETF曲线的逆OETF曲线(例如感知量化器(PQ)EOTF曲线)。

发明内容

提出了一种对视频进行编码的方法，包括：访问所述视频的图像的块；基于所述块的量化参数对所述块进行编码，所述量化参数是基于所述块的亮度和所述块的邻近块的亮度而确定的，其中所述块的所述亮度是使用所述块中的至少一个变换系数而确定的；以及响应于编码而生成比特流。

在一个实施例中，所述量化参数是基于所述块的所述邻近块的一个或更多个像素与所述块的一个或更多个像素之间的眩光遮蔽效应而确定的。在一个示例中，与眩光遮蔽效应有关的眩光因子可以如详细描述的等式(4)和(5)那样来计算。

在另一实施例中，该方法还包括：响应于所述眩光遮蔽效应来确定所述块的像素的JND(恰可辨差异)，其中所述量化参数是基于所确定的JND和所述块的所述亮度而确定的。例如，所述JND可以使用详细描述的等式(2)-(3)来确定。

在另一实施例中，所述块的所述亮度是使用所述块的DC变换系数和所述块的预测块而确定的。

在另一实施例中，所述块的AC变换系数的量化基于所确定的量化参数，并且所述DC变换系数的量化基于另一量化参数。

在另一实施例中，该方法还包括：基于所述块的所述亮度和所述块的邻近块的所述亮度来确定量化比率，其中所述量化参数是基于第二量化参数和所述量化比率而确定的。在一个示例中，所述量化比率可以如详细描述中的等式(7)-(9)中描述的那样来确定。

本实施例还提供了一种用于对视频进行编码的装置，包括存储器以及被配置为执行上述方法中的任一个的一个或更多个处理器。

本实施例还提供了一种非临时性计算机可读存储介质，具有存储在其上的根据上述方法中的任一个生成的比特流。

提出了一种从比特流解码视频的方法，包括：访问表示所述视频的所述比特流；基于所述视频的图像的块的量化参数对所述块进行解码，所述量化参数是基于所述块的亮度和所述块的邻近块的亮度而确定的，其中所述块的所述亮度是使用所述块中的至少一个变换系数而确定的；以及将所述视频输出到显示器、储存器和通信接口中的至少一个。

根据一个实施例，所述块的所述亮度是使用所述块的DC变换系数和所述块的预测块而确定的。

在另一实施例中，所述块的AC变换系数的去量化基于所确定的量化参数，并且所述DC变换系数的去量化基于另一量化参数。

在另一实施例中，该方法还包括基于所述块的所述亮度和所述块的邻近块的所述亮度来确定量化比率，其中所述量化参数是基于第二量化参数和所述量化比率而确定的。在一个示例中，所述量化比率可以如详细描述中的等式(7)-(9)中描述的那样来确定。

本实施例还提供了一种对比特流进行解码的装置，包括存储器以及被配置为执行上述方法中的任一个的一个或更多个处理器。

本实施例还提供了一种非临时性计算机可读存储介质，具有存储在其上的用于执行上述方法中的任一个的指令。

提出了一种比特流，其被格式化为包括：基于量化参数被编码的所述视频的图像的块，所述量化参数是基于所述块的亮度和所述块的邻近块的亮度而确定的，其中所述块的所述亮度是使用所述块中的至少一个变换系数而确定的。

附图说明

图1是图示出编码和解码HDR信号的示例性架构的框图。

图2A是图示出示例性HDR图像的图形示例，图2B是图示出示例性HDR图像中的眩光遮蔽效应的图形示例。

图3图示出根据本原理的实施例的用于使用眩光遮蔽效应来计算量化比率的示例性架构。

图4图示出根据本原理的实施例的用于考虑眩光遮蔽效应对HDR图像进行编码的示例性架构。

图5图示出根据本原理的实施例的用于考虑眩光遮蔽效应对HDR图像进行编码的另一示例性架构。

图6是图示出当前块的示例性因果区域的图形示例。

图7是图示出示例性HEVC编码器的图形示例。

图8图示出根据本原理的实施例的用于调整视频编码器中的量化参数的示例性方法。

图9是图示出示例性HEVC解码器的图形示例。

图10图示出根据本原理的实施例的用于调整视频解码器中的量化参数的示例性方法。

图11图示出描绘其中可以实现本原理的示例性实施例的各个方面的示例性系统的框图。

图12图示出描绘可以与一个或更多个实现方式一起使用的视频处理系统的示例的框图。

图13图示出描绘可以与一个或更多个实现方式一起使用的视频处理系统的另一示例的框图。

具体实施方式

本原理针对基于视频编码和解码的HVS特性的量化调整。应注意，可以在表示视频中的不同阶段使用量化。返回参考图1所示的示例，在正向转换中使用量化来减小位深度，并且也在视频编码器中使用量化来对变换系数进行量化。类似地，在反向转换中使用逆量化来增大位深度，并且在视频解码器中使用逆量化来对逆变换系数进行去量化。

因为人眼可能变得对视频中非常明亮的区域周围的暗区域较不敏感(称为眩光遮蔽或亮度遮蔽)，所以我们可以在这样的暗区域中使用较粗略的量化(即，保留较少细节或去除更多细节)。在一个实施例中，我们可以在正向转换中使用额外量化处理或调整正向转换内的位深度量化。在另一实施例中，我们调整在视频编码器和解码器中使用的量化参数。

眩光遮蔽在HDR视频中更常见，并且也可以在SDR视频中看到，例如，当通过具有强背光和高对比度的电视机来显示SDR或LDR(低动态范围)视频时。为了压缩SDR视频，可以使用类似于图1所示架构的架构，具有对正向转换和反向转换的修改。正向转换模块(110)可以包括从输入SDR线性信号到非线性信号的转换(例如使用如SMPTE BT709中描述的伽马传递函数)、色彩空间转换，位深度减小/量化以及色度降转换。将经解码信号转换为SDR视频信号的反向转换模块(140)可以包括色彩空间转换、位深度逆量化、色度升转换以及从非线性信号到SDR线性信号的转换(例如，使用逆伽马传递函数)。注意，在多数情况下，逆伽玛处理之前的信号可以发送到显示器。在下文中，我们可以讨论使用HDR信号的示例性实施例，但是本原理也可以应用于SDR信号。

图2A示出了示例性HDR图像，图2B示出了示例性HDR图像中的眩光遮蔽效应。在图2B中，黑色区域表示遮蔽为低(即，人眼对该区中的失真更敏感)的区，并且白色区域表示遮蔽为高的区。根据图2B，我们可以观察到，明亮的窗户引起暗部和附近区域上的强烈遮蔽，并且遮蔽效应随着到窗户的距离增大而衰减。

我们可以使用JND(Just Noticeable Difference，恰可辨差异)来测量眩光遮蔽效应。JND表示图像或视频中可以容忍的失真水平，这是因为它是人类观察者无法感知的。在关注于感觉和知觉的实验心理学(心理物理学)的分支中，JND是必须改变的量，以便差异至少一半时间为可辨、可检测。它也被称为差异阈限、差异阈值或最小可感知差异。JND是主观的，并且许多JND模型是可用的。在本申请的上下文中，定义两个不同的JND：JND_L和JND_G，如下面进一步详细描述的那样。更一般地，其他失真或质量度量(例如，考虑邻近信息的一个)可以用来代替JND测量。

JND_L

JND_L对应于一个像素的JND，而不考虑眩光遮蔽。JND_L仅取决于当前像素的亮度。实际上，JND_L描述亮度变化，其应存在于图像的当前像素处使得人眼能够注意到当前像素处的变化，而不考虑眩光遮蔽。

可以在实验上确定JND_L。例如，对于给定亮度L，我们可以找到表示人类观察者看到改变的亮度中的最小Δ(delta)的值dL。这些值通常作为L与dL之间的映射表给出。

在另一实施例中，可以根据HDR信号的PQ OETF曲线或者BT709中定义的OETF和SDR信号的目标峰值亮度来确定JND_L。OETF曲线旨在使用传递函数TF()将线性信号(L)映射成非线性信号(Y)：

TF(L)＝Y (1)

对于HDR信号，传递函数(例如，PQ曲线)可以被设计使得(即，线性信号L中的0.9*JND的步长小于或等于非线性信号Y的1的步长)。因此，我们可以如下从TF曲线推导JND_L：

JND_L(L)＝TF^-1(Y+1)-TF^-1(Y)＝TF^-1(TF(L)+1)-TF^-1(TF(L)) (2)

在本申请中，我们将其中安置线性信号(L)的空间称为线性空间，并且将其中安置非线性信号(Y)的空间称为感知空间。在线性空间中，像素的亮度值与物理亮度(例如，以尼特或坎德拉每平方米(cd/m2)表示)直接成比例。在感知空间中，目的是使像素的亮度相对于人类视觉系统是线性的，即，该空间中相同量的亮度差(dL)应被感知为对人眼的相同量的亮度差，而不管像素亮度L。感知空间在实验上被定义并且是主观的。如本领域技术人员已知的那样，若干感知空间是可用的。

JND_G

归因于明亮的邻近像素，考虑到眩光遮蔽，JND_G对应于一个像素的JND。在这种情况下，JND_G取决于当前像素的亮度和邻近像素的亮度。实际上，JND_G描述最小亮度变化，考虑到眩光遮蔽效应，最小亮度变化应存在于当前像素处使得人眼能够注意到当前像素处的亮度差。

可以在实验上确定JND_G，例如，给定亮度、明亮点和到当前像素的距离的情况下，可以获得映射表。然后，可以使用模型化来获得使映射最佳拟合的分析函数。

在另一实施例中，我们计算JND_L和考虑眩光遮蔽效应的眩光因子(Gf)。在数学上，基于从明亮区域到暗区域的遮蔽效应，JND_G的计算可以被描述为：

JND_G＝Gf*JND_L (3)

根据定义，Gf因子大于1(即，像素无法具有小于JND_L的JND_G)。Gf因子取决于当前像素的亮度、周围像素的亮度以及周围像素相对于当前像素的位置(距离)。

在下文中，亮度值在线性空间中表示(例如，以尼特或cd/m2表示)。如果视频输入在感知空间中表示(例如，在OETF函数之后)，则逆函数可以应用于像素的强度值，以便获得线性亮度值。

取决于用于考虑眩光遮蔽的HVS模型，眩光因子的模型化可能是复杂的。这里，我们基于在主观心理视觉测试期间获得的结果的模型化，引入易处理且简单的方式来使眩光因子模型化。特别地，可以如下计算受像素p₂影响的像素p₁(其中L(p₂)>L(p₁))的眩光因子：

Gf(p₁，p₂)＝max{1，[a₀+(L(p₂)-L(p₁))^a1]·[(L(p₂)-L(p₁))*a₂*d(p₁，p₂)+a₃]} (4)

其中L(p)是像素p的亮度，d(p1,p2)是像素p₁与p₂之间的欧式距离，并且[a₀...a₃]是在整个主观测试中凭经验确定的常数。当使用SMPTE 2084OETF时，[a₀...a₃]的典型的一组值可以是例如：[6.75，0.352，-3.74e-008，3.360e-005]。例如，当SMPTE BT709中定义的伽马传递函数用于SDR信号时，如果使用另一OETF，则可以适配这些值。

根据以上眩光因子模型，眩光因子随着距离而减小，这是因为a₂是负的，当像素p₂更亮时增大且当p₁更暗时增大，与眩光遮蔽效应的感知一致。

为了减少计算复杂度，可以简化像素的以上计算。例如，我们可以仅计算“暗”像素(即，具有低于阈值(通常为100尼特)的暗度的像素)的眩光因子，并且我们可以仅计算“明亮”像素(即，具有高于阈值(通常为1000尼特)的亮度的像素)的遮蔽的贡献。对于略过计算的那些像素，我们将Gf设置为1(即，JND_G＝JND_L)。

在上面，我们说明了如何计算输入图像的各个像素的眩光因子。我们将遮蔽视为附加现象(高达特定阈值)。因此，为了计算给定像素的总眩光因子，可以根据以下来加总所有其他像素的贡献：

其中p_i表示像素p的邻近者，M是经验阈值，高于该经验阈值则遮蔽饱和，在一个示例中，我们设置M＝20。当没有处理时间约束时，整个图像可以视为像素p的邻近者。为了减少计算，我们可以将较小的一组像素(例如，亮度高于阈值并且足够靠近的像素)视为像素p的邻近者，例如，根据等式(3)，我们可以推导明亮像素不再对Gf因子有贡献的距离的阈值，即当[a₀+(L(p₂)-L(p₁))^a1].[(L(p₂)-L(p₁))*a₂*d(p₁,p₂)+a₃]小于1时。

图3图示出根据本原理的实施例的用于基于眩光遮蔽效应来计算量化比率的示例性方法300。

方法300访问线性空间中的原始视频(例如，使用由SMPTE 2065-4：2013定义的OpenEXR文件格式)作为输入。例如，原始图像可以是以浮点表示的RGB线性格式，对于原色使用BT2020格式，具有4000尼特作为峰值亮度。根据原始图像，可以计算亮度值(L)以便考虑眩光遮蔽(310)。例如，输入RGB(线性空间，以尼特为单位的浮点值)图像I_rgb可以从RGBBT2020色彩空间到XYZ色彩空间转换为：

L＝0.262700R+0.677998G+0.059302B (6)

然后，对于各个像素，我们可以例如使用等式(3)来计算JND_G(320)。特别地，我们可以使用等式(2)来根据L计算JND_L，使用等式(4)和等式(5)来根据L计算眩光因子，并且然后使用等式(3)来根据JND_L和眩光因子来计算JND_G。当视频信号以其他格式表示时，可以例如使用SMPTE BT709中定义的色彩空间转换来适配色彩空间转换。

在已知用于在编码之前将输入视频变换到感知空间中的传递函数的情况下，可以如下针对像素计算量化比率(330)：

原先，OETF被设计使得线性空间中的JND的步长不小于感知空间中的1的步长。这里，我们计算当我们考虑眩光遮蔽效应时，在没有任何可辨差异的情况下我们可以对像素多进行多少量化。具体地，我们采用高于L值的JND_G(TF(L(p)+JND_G(p))和低于L值的JND_G(TF(L(p)–JND_G(p))。然后，我们使用TF将两个值传递到感知空间以获得TF(L(p)+JND_G(p))和TF(L(p)–JND_G(p))。感知空间中的两个值之间的差被平均以表示感知空间中可被容忍的失真。随后，我们考虑可以基于经平均的差来按比例增大量化。也就是说，经平均的差用作量化比率来调整正向转换中或者编码期间的量化参数。

计算量化比率的其他变型可以是：

Qr(P)=max{1，max[TF(L(p)+JDN_G(P))，TF(L(P)-JDN_G(P))]} (8)

或者

Qr(p)＝max{1，min[TF(L(p)+JND_G(p))，TF(L(p)-JND_G(p)))]) (9)

对于等于JND_L的JND_G，所得Qr应等于1，这是由于OETF函数被设计为低于JND_L。受眩光遮蔽影响的像素与大于1的眩光因子相关联，并且所得Qr也大于1。

图4图示出根据本原理的实施例的用于考虑眩光遮蔽效应对HDR图像进行编码的示例性方法400。在该实施例中，使用眩光遮蔽效应来调整量化步长大小。特别地，可以例如使用方法300来计算(450)各个像素的量化比率。输入HDR信号被转换为可以通过使用正向转换(410)的视频编码器接受的信号。在编码(420)期间，基于量化比率来调整量化步长大小。由于视频编码通常按块进行，因此我们使用针对各个像素计算的量化比率来进一步计算块的量化比率。这里，块的大小取决于我们如何应用量化比率。例如，块可以对应于H.264/AVC中的一个或更多个宏块或者HEVC中的一个或更多个变换单元(TU)。

在一个实施例中，可以使用块内的像素的量化比率的最大值函数来计算块的量化比率。也就是说，块中的像素的最大量化比率用作块的量化比率。这种方法可以以视觉质量为代价来改善压缩性能。

在另一实施例中，可以使用最小值函数来计算块的量化比率，这可以更好地保留块的视觉质量。在又一实施例中，量化比率的中值或平均值可以用作块的量化比率，这可以提供压缩效率与视觉质量之间的平衡。

假设对于给定块，编码器在不考虑眩光遮蔽的情况下选择的原始量化步长大小为Q₁，可以如下计算具有所提出的量化调整的量化步长大小：

Q₂＝min(Q_max，Qr*Q₁) (10)

其中Q_max是量化步长大小的上限。概念上，给定量化步长大小Q₂，变换系数T可被量化为：其中O是量化舍入偏移。也可以在量化期间使用其他量化参数，诸如量化矩阵。

取决于编解码器，可以进一步适配Q₂的值。不同的编解码器对可以针对块设置的量化步长大小具有不同的约束。例如，在VP9中，只有有限数量的不同量化步长大小(Qp)可用。在这种情况下，可以执行Qp聚类的额外处理。在HEVC中，替代地对ΔQp进行编码，从而限制Q₂的可能值。

应注意，量化可能不作为编码器内的单独步骤被独立执行。例如，量化可以与变换整合。此外，可能存在对量化参数值的其他约束，以便限制量化变化范围或者使用整数实现方式。因此，量化步长大小可以在用于量化之前被处理。而且，当量化参数将被编码时，可以在编码之前将它们映射到量化索引。为了易于标记，我们将与量化步长大小相对应的不同表示称为量化步长大小。

方法400中的量化比率调整也可以视为改善视频编码的预处理步骤。在解码侧，比特流被解码(430)并且然后通过反向转换(440)被转换为HDR信号。

图5图示出根据本原理的实施例的用于考虑眩光遮蔽效应对HDR图像进行编码的另一示例性方法500。在该实施例中，使用眩光遮蔽效应来调整不需要传输量化比率的量化步长大小，也就是说，可以在解码器上推导基于眩光遮蔽的量化比率。在编码器和解码器二者中执行量化调整，并且导出量化比率的处理在编码器和解码器处是相同的。

图6图示出当前块610的示例性因果区域(已被编码或解码的区域，并且像素可用)。该示例中的因果区域包括在当前块的左侧和上方的块。

由于在解码器侧只有因果区域中的重构像素是可用的，所以我们调整眩光因子的计算。因此，当确定像素或块的邻近者时，将只考虑因果区域。如之前所讨论的，此外，邻近者可以限于具有高于阈值的亮度的像素和距离内的像素。

返回参考图5，在使用正向转换(510)对输入HDR信号进行变换之后，视频编码器(520)使用基于眩光遮蔽的量化调整(550)对经转换的信号进行编码。在解码器侧，视频解码器(530)使用基于眩光遮蔽的量化调整(560)对比特流进行解码。然后，使用反向转换(540)将经解码的信号转换为输出HDR信号。

在下文中，我们使用HEVC编码器/解码器来说明在视频编码器和解码器中应用的量化调整。应注意，可以与其他视频压缩标准一起使用所提出的量化调整。

图7图示出其中可以应用本原理的示例性HEVC编码器700。编码器700的输入包括要编码的视频。在示例性编码器700中，当在帧内模式下对块进行编码时，其执行帧内预测(770)。在帧间模式下，块执行运动估计(760)和运动补偿(765)。编码器决定帧内模式或帧间模式中的哪一个用于对块进行编码(775)，并且通过从原始图像块中减去预测块来计算预测残差(705)。

预测残差被变换(710)和量化(720)。经量化的变换系数以及运动向量和其他语法元素被熵编码(730)，以生成比特流。编码器对经编码的块进行解码，以提供进一步预测的参考。经量化的变换系数被去量化(740)和逆变换(750)，以对预测残差进行解码。组合经解码的预测残差和预测块(755)，重构图像块。去块滤波器(780)和SAO(采样自适应偏移)滤波器(785)被应用于重构块。经滤波的图像被存储在参考存储器(790)。

图8图示出根据本原理的实施例的用于调整视频编码器中的量化参数的示例性方法800。方法800可以用于编码器700的量化模块(720)中。在该实施例中，我们假设在两个阶段量化DC系数和AC系数，其中在不考虑眩光遮蔽的情况下使用量化步长大小Qp＝Q₁来量化DC系数。Q₁可以通过速率控制算法来决定以满足比特率约束，并且可以随块且随图片而变化。然后，使用DC系数来估计亮度且估计当前块的眩光因子。随后，基于经调整的量化步长大小Q₂来量化AC系数。

方法800的输入包括原始块(B)和对应的预测块(P)。预测块可以来自例如帧内预测或运动补偿。当前块的残差可以形成(810)为：R＝B-P。残差块被变换(820)为T＝DCT(R)。

在不考虑眩光遮蔽的情况下使用量化步长大小Q₁来量化(830)DC系数：C(DC)＝D(DC,Q₁)，其中DC是DC系数，D(.)表示量化，并且C是量化变换系数。然后，经量化的变换系数被去量化(840)为：

其中是经重构的DC系数。然后，我们根据以下使用预测块(850)与经重构的DC系数的平均值来估计块的强度：

其中P(i)是来自预测块的每个像素的强度，N是块中的像素的数量，并且A是块的估计平均亮度。

所估计的亮度值A用作整个块的当前值，并且仅使用当前块的图像的因果部分来计算眩光因子。此时，可以使用来自因果部分的重构像素的亮度值。

因为可以使用线性空间中的亮度来计算眩光因子，所以可以使用逆OETF(860，L＝OETF-¹(A))将块的所估计的亮度和邻近因果块的亮度转换回线性空间。然后，可以基于当前块(L)和因果块({L_i})的所估计的亮度值来估计(870)量化比率(Qr)。具体地，块的眩光因子可以被计算为

Gf(B)＝min(M，Σ_BiN²*Gf(B，Bi)) (13)

其中{Bi}是邻近块，Gf(B,Bi)是块B与Bi之间的眩光因子。眩光因子计算类似于像素之间的眩光因子计算，但是使用块中心来计算块之间的距离，并且使用块的平均亮度而不是像素的亮度。

使用量化比率和量化步长Qp＝Qi，可以计算AC系数的量化步长大小Q2(875)为Q2＝Qr*Qi。随后，AC系数被量化(880)。量化步长Qp、经量化的DC系数(DCq)和AC系数(ACq)然后可以被熵编码(890)以被包括在比特流中。应注意，量化比率(Qr)不是在比特流中传输的，而是在解码器处导出的。

图9描绘了其中可以应用本原理的示例性HEVC视频解码器900的框图。解码器900的输入包括可以由视频编码器700生成的视频比特流。比特流首先被熵解码(945)，以获得变换系数、运动向量和其他经编码的信息。变换系数被去量化(950)和逆变换(955)，以对预测残差进行解码。组合经解码的预测残差和预测块(925)，重构图像块。可以从帧内预测(960)或运动补偿预测(970)获得预测块。去块滤波器(990)和SAO滤波器(995)被应用于重构块或重构图像。经滤波的图像被存储在参考存储器(980)。

图10图示出根据本原理的实施例的用于调整解码器中的量化参数的示例性方法1000。方法1000可以用于解码器900的去量化模块(950)中。类似于方法800，我们假设在两个阶段去量化DC系数和AC系数，其中使用从比特流推导的量化步长大小Qp＝Q₁来去量化DC系数。然后，使用DC系数来估计亮度并估计当前块的眩光因子。随后，基于经调整的量化步长大小Q₂来去量化AC系数。

预测块(P)可以来自例如帧内预测或运动补偿。可从熵解码器(1010)获得DC系数(DC_q)、AC系数(AC_q)和块的量化步长大小(Qp＝Q₁)。使用量化步长大小Q₁将DC系数去量化(1040)为：

其中是经重建的DC系数。然后，我们根据以下使用预测块(1050)与经解码的DC系数的平均值来估计块的强度：

其中P(i)是来自预测块的每个像素的强度，N是块中的像素的数量，并且A是块的估计平均亮度。

所估计的亮度值A用作整个块的当前值，并且仅使用当前块的图像的因果部分来计算眩光因子。此时，可以使用来自因果部分的经解码的像素的亮度值。

因为可以使用线性空间中的亮度来计算眩光因子，所以可以使用逆OETF(1060，L＝OETF^-1(A))将块的所估计的亮度和邻近因果块的亮度转换回线性空间。然后，可以基于当前块(L)和因果块({L_i})的所估计的亮度值来估计(1070)量化比率(Qr)。

使用量化比率和量化步长大小Qp＝Q₁，AC系数的量化步长大小Q₂可以计算(1075)为Q₂＝Qr*Q₁。随后，AC系数被去量化(1080)。然后，去量化的DC系数和AC系数可以被逆变换(1090)。应注意，量化比率(Qr)不是在比特流中接收的，而是在解码器处导出的。

注意，在编码器和解码器中执行的量化比率计算应该彼此对应。例如，在方法1000中执行的步骤1040-1075分别对应于在方法800中的步骤840-875。

由于可以在解码器侧上推导经适配的量化以避免传输自适应量化比率，所以本实施例可以改善视频编码效率。每个块的自适应量化还考虑遮蔽效应并且还可以改善视觉质量。

在上文中，我们讨论了可以通过考虑眩光遮蔽效应来调整量化步长大小。也可以根据本原理来调整其他量化参数，诸如量化舍入偏移和量化矩阵。例如，可以使用量化比率来对量化矩阵进行缩放，或者可以基于量化比率来对量化舍入偏移进行移位或缩放。

应注意，虽然在调整量化参数时讨论眩光遮蔽效应，但是本原理可以应用于其中块或区域的感知受周围区域或块影响的其他场景，例如但不限于，色彩感知或纹理感知。

由于眩光遮蔽在HDR视频中更明显，所以我们示出HDR视频背景下的示例。然而，当前显示器可能具有非常高的对比率，并且可能呈现与HDR视频类似的问题。因此，对于SDR视频也可以考虑眩光遮蔽效应，并且在对SDR视频进行编码和解码时可以应用本原理。具体地，如果由显示器引起眩光遮蔽(例如，由显示器的高对比率)，则在设计量化调整时我们可能还需要考虑显示特性。

图11图示出其中可以实现本原理的示例性实施例的各个方面的示例性系统的框图。系统1100可以体现为包括下面描述的各种组件的设备，并且被配置为执行上述处理。这样的设备的示例包括但不限于个人计算机、膝上型计算机、智能电话、平板计算机、数字多媒体机顶盒、数字电视接收器、个人视频记录系统、连接式家用电器和服务器。系统1100可以通信地耦合到其他类似系统，并且经由如图11所示且如本领域技术人员已知的通信信道通信地耦合到显示器，以实现上述示例性视频系统。

系统1100可以包括至少一个处理器1110，其被配置为执行加载在其中以实现如上所述的各种处理的指令。处理器1110可以包括嵌入式存储器，输入输出接口和本领域中已知的各种其他电路。系统1100还可以包括至少一个存储器1120(例如，易失性存储器设备，非易失性存储器设备)。系统1100可以另外包括储存设备1140，其可以包括非易失性存储器，包括但不限于EEPROM、ROM、PROM、RAM、DRAM、SRAM、闪存、磁盘驱动器和/或光盘驱动器。作为非限制性示例，储存设备1140可以包括内部储存设备、附接储存设备和/或网络可访问储存设备。系统1100还可以包括被配置为处理数据以提供经编码视频或经解码视频的编码器/解码器模块1130。

编码器/解码器模块1130表示可以被包括在设备中以执行编码和/或解码功能的模块。如已知的那样，设备可以包括编码和解码模块中的一个或两个。另外，编码器/解码器模块1130可以实现为系统1100的单独元件，或者可以并入处理器1110内作为硬件和软件的组合，如本领域技术人员已知的那样。

要加载到处理器1110上以执行上文描述的各种处理的程序代码可以存储在储存设备1140中并且随后加载到存储器1120上以供处理器1110执行。根据本原理的示例性实施例，处理器1110、存储器1120、储存设备1140和编码器/解码器模块1130中的一个或更多个可以在上文讨论的处理的执行期间存储各种项目中的一个或更多个，包括但不限于HDR视频、比特流、等式、公式、矩阵、变量、运算和运算逻辑。

系统1100还可以包括通信接口1150，其经由通信信道1160实现与其他设备的通信。通信接口1150可以包括但不限于被配置为传输和接收来自通信信道1160的数据的收发器。通信接口可以包括但不限于调制解调器或网卡，并且通信信道可以在有线和/或无线介质内实现。系统1100的各种组件可以使用各种合适的连接(包括但不限于内部总线、导线和印刷电路板)来连接或通信地耦合在一起。

可以通过由处理器1110实现的计算机软件或通过硬件或通过硬件和软件的组合来执行根据本原理的示例性实施例。作为非限制性示例，可以通过一个或更多个集成电路来实现根据本原理的示例性实施例。存储器1120可以是适合于技术环境的任何类型，并且可以使用任何适当的数据储存技术(诸如光存储器设备、磁存储器设备、基于半导体的存储器设备、固定存储器和可移除存储器，作为非限制性示例)来实现。处理器1110可以是适合于技术环境的任何类型，并且可以包括微处理器、通用计算机、专用计算机和基于多核架构的处理器中的一个或更多个，作为非限制性示例。

参考图12，示出了数据传输系统1200，上述特征和原理可以应用于该系统。数据传输系统1200可以是例如用于使用各种媒介(诸如卫星、线缆、电话线或地面广播)中的任一种传输信号的头端或传输系统。数据传输系统1200还可以用于提供用于储存的信号。可以在互联网或一些其他网络上提供传输。数据传输系统1200能够生成并传送例如视频内容和其他内容。

数据传输系统1200从处理器1201接收经处理的数据和其他信息。在一个实现方式中，处理器1201执行正向转换。处理器1201还可以向1200提供元数据，指示例如视频的格式。

数据传输系统或装置1200包括编码器1202和能够传输经编码的信号的传输器1204。编码器1202从处理器1201接收数据信息。编码器1202生成经编码的信号。

编码器1202可以包括子模块，其包括例如组装单元，用于将各条信息接收并组装成用于储存或传输的结构化格式。各条信息可以包括例如经编码或未编码的视频，以及经编码或未编码的元素。在一些实现方式中，编码器1202包括处理器1201并且因此执行处理器1201的操作。

传输器1204从编码器1202接收经编码的信号并且在一个或更多个输出信号中传输经编码的信号。传输器1204可以例如被适配为传输具有表示经编码的图片和/或与之有关的信息的一个或更多个比特流的程序信号。典型的传输器执行诸如例如以下中的一个或更多个的功能：提供误差校正编码、使信号中的数据交织、使信号中的能量随机化、以及使用调制器1206将信号调制到一个或更多个载波上。传输器1204可以包括天线(未示出)或与天线介接。此外，传输器1204的实现方式可以受限于调制器1206。

数据传输系统1200还通信地耦合到储存单元1208。在一个实现方式中，储存单元1208耦合到编码器1202，并且存储来自编码器1202的经编码的比特流。在另一实现方式中，储存单元1208耦合到传输器1204，并且存储来自传输器1204的比特流。来自传输器1204的比特流可以包括例如已经通过传输器1204进一步处理的一个或更多个经编码的比特流。在不同的实现方式中，储存单元1208是标准DVD、蓝光盘、硬盘驱动器或一些其他储存设备中的一个或更多个。

参考图13，示出了数据接收系统1300，上述特征和原理可以应用于该系统。数据接收系统1300可以被配置为接收各种媒介(诸如储存设备、卫星、线缆、电话线或地面广播)上的信号。可以在互联网或一些其他网络上接收信号。

数据接收系统1300可以是例如蜂窝电话、计算机、机顶盒、电视机或其他设备，其接收经编码的视频且提供例如用于显示(例如显示给用户)、用于处理或用于储存的经解码的视频信号。因此，数据接收系统1300可以将其输出提供给例如电视机的屏幕、计算机监视器、计算机(用于储存、处理或显示)、或者一些其他储存、处理或显示设备。

数据接收系统1300能够接收和处理数据信息。数据接收系统或装置1300包括接收器1302，用于接收经编码的信号，诸如例如在本申请的实现方式中描述的信号。接收器1302可以接收例如提供比特流的信号或者从图12的数据传输系统1200输出的信号。

接收器1302可以例如被适配为接收具有表示经编码的图片的多个比特流的程序信号。典型的接收器执行诸如例如以下中的一个或更多个的功能：接收经调制和编码的数据信号、使用解调器1304从一个或更多个载波解调数据信号、使信号中的能量去随机化、使信号中数据解交织、以及对信号进行误差校正解码。接收器1302可以包括天线(未示出)或与天线介接。接收器1302的实现方式可以受限于解调器1304。

数据接收系统1300包括解码器1306。接收器1302将接收到的信号提供给解码器1306。通过接收器1302提供给解码器1306的信号可以包括一个或更多个经编码的比特流。解码器1306输出经解码的信号，诸如例如包括视频信息的经解码的视频信号。

数据接收系统或装置1300还通信地耦合到储存单元1307。在一个实现方式中，储存单元1307耦合到接收器1302，并且接收器1302访问来自储存单元1307的比特流。在另一实现方式中，储存单元1307耦合到解码器1306，并且解码器1306访问来自储存单元1307的比特流。在不同的实现方式中，从储存单元1307访问的比特流包括一个或更多个经编码的比特流。在不同的实现方式中，储存单元1307是标准DVD、蓝光盘、硬盘驱动器或一些其他存储设备中的一个或更多个。

在一个实现方式中，将来自解码器1306的输出数据提供给处理器1308。在一个实现方式中，处理器1308是被配置用于执行后处理的处理器。在一些实现方式中，解码器1306包括处理器1308并且因此执行处理器1308的操作。在其他实现方式中，处理器1308是下游设备(诸如例如机顶盒或电视机)的一部分。

在此描述的实现方式可以例如以方法或处理、装置、软件程序、数据流或信号来实现。即使仅在单一形式的实现方式的背景下进行了讨论(例如，仅作为方法或设备进行了讨论)，但是所讨论的特征的实现方式也可以以其他形式(例如装置或程序)来实现。装置可以在例如适当的硬件、软件和固件中实现。方法例如可以在诸如例如处理器(其一般指代处理设备，包括例如计算机、微处理器、集成电路或可编程逻辑器件)之类的装置中实现。处理器还包括诸如例如计算机、蜂窝电话、便携/个人数字助理(“PDA”)之类的通信设备以及便于在最终用户之间进行信息通信的其他设备。

对本原理的“一个实施例”或“实施例”或“一个实现方式”或“实现方式”以及其其他变型的引用意指结合实施例描述的特定特征、结构、特性等包括在本原理的至少一个实施例中。因此，贯穿说明书出现在各处的短语“在一个实施例中”或“在实施例中”或“在一个实现方式中”或“在实现方式中”以及任何其他变型的出现，不一定全部指代相同的实施例。

另外，本申请或其权利要求可能涉及“确定”各条信息。确定信息可以包括例如估计信息、计算信息、预测信息或者从存储器取回信息中的一个或更多个。

此外，本申请或其权利要求可能涉及“访问”各条信息。访问信息可以包括例如接收信息、(例如，从存储器)取回信息、存储信息、处理信息、传输信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或者估计信息中的一个或更多个。

另外，本申请或其权利要求可能涉及“接收”各条信息。与“访问”一样，接收旨在是广义术语。接收信息可以包括例如访问信息、或者(例如，从存储器)取回信息中的一个或更多个。此外，在诸如例如存储信息、处理信息、传输信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息的操作期间，通常以一种方式或另一方式涉及“接收”。

如对于本领域技术人员将明显的那样，实现方式可以产生被格式化为携带例如可以被存储或传输的信息的各种信号。信息可以包括例如用于执行方法的指令或者由所描述的实现方式之一产生的数据。例如，信号可以被格式化为携带所描述的实施例的比特流。这样的信号例如可以被格式化为电磁波(例如使用频谱的射频部分)或者基带信号。格式化可以包括例如对数据流进行编码以及用经编码的数据流调制载波。信号携带的信息例如可以是模拟或数字信息。如已知的那样，可以在各种不同的有线或无线链路上传输信号。信号可以存储在处理器可读介质上。

Claims (15)

1.一种对视频进行编码的方法，包括：

访问所述视频的图像的块；

基于所述块的量化参数对所述块进行编码(880)，所述量化参数是基于所述块的亮度和所述块的邻近块的亮度而确定的，其中所述块的所述亮度基于所述块中的至少一个变换系数；以及

响应于编码而生成(890)比特流。

2.根据权利要求1所述的方法，其中所述量化参数是基于所述块的所述邻近块的一个或更多个像素与所述块的一个或更多个像素之间的眩光遮蔽效应而确定的。

3.根据权利要求2所述的方法，还包括：

响应于所述眩光遮蔽效应来确定所述块的像素的JND(恰可辨差异)，其中所述量化参数是基于所确定的JND和所述块的所述亮度而确定的。

4.根据权利要求1-3中任一项所述的方法，其中，所述块的所述亮度基于所述块的DC变换系数和所述块的预测块。

5.根据权利要求4所述的方法，其中所述块的AC变换系数的量化基于所述量化参数，并且其中所述DC变换系数的量化基于另一量化参数。

6.根据权利要求1-5中任一项所述的方法，还包括：

基于所述块的所述亮度和所述块的邻近块的所述亮度来确定(870)量化比率，其中所述量化参数是基于第二量化参数和所述量化比率而确定的。

7.一种用于对视频进行编码的装置，包括存储器以及被配置为执行根据权利要求1-6中任一项所述的方法的一个或更多个处理器。

8.一种从比特流解码视频的方法，包括：

访问(1010)表示所述视频的所述比特流；

基于量化参数对图像的块进行解码(1080)，所述量化参数是基于所述块的亮度和所述块的邻近块的亮度而确定的，其中所述块的所述亮度基于所述块中的至少一个变换系数；以及

将所述视频输出到显示器、储存器和通信接口中的至少一个。

9.根据权利要求8所述的方法，其中所述块的所述亮度基于所述块的DC变换系数和所述块的预测块。

10.根据权利要求9所述的方法，其中所述块的AC变换系数的去量化基于所述量化参数，并且其中所述DC变换系数的去量化基于另一量化参数。

11.根据权利要求8-10中任一项所述的方法，还包括：

基于所述块的所述亮度和所述块的邻近块的所述亮度来确定(1070)量化比率，其中所述量化参数是基于第二量化参数和所述量化比率而确定的。

12.一种对比特流进行解码的装置，包括存储器以及被配置为执行根据权利要求8-11中任一项所述的方法的一个或更多个处理器。

13.一种非临时性计算机可读存储介质，具有存储在其上的根据权利要求1-6中任一项生成的比特流。

14.一种非临时性计算机可读存储介质，具有存储在其上的用于执行根据权利要求1-6和8-11中任一项所述的方法的指令。

15.一种比特流，其被格式化为包括：

基于量化参数被编码的所述视频的图像的块，所述量化参数是基于所述块的亮度和所述块的邻近块的亮度而确定的，其中所述块的所述亮度基于所述块中的至少一个变换系数。