CN117751575A - 用于估计胶片颗粒参数的方法或装置 - Google Patents

Abstract

提出了至少一种用于在对视频进行编码或解码时高效地处理胶片颗粒的方法和装置。例如，该方法包括针对具有胶片颗粒的图像中的多个图像块估计胶片颗粒参数，其中这些胶片颗粒参数包括至少一个缩放因子。该估计还包括：获得多个胶片颗粒块，胶片颗粒块表示图像块中的胶片颗粒估计；获得多个经滤波块，经滤波块表示没有胶片颗粒的图像块；以及针对该图像中的该多个图像块确定至少一个缩放因子，其中该至少一个缩放因子适于基于该多个胶片颗粒块和该多个经滤波块的统计。

Description

用于估计胶片颗粒参数的方法或装置

技术领域

本实施方案中的至少一个实施方案通常涉及用于视频编码、视频分发和视频渲染中的胶片颗粒参数估计的方法或装置，并且更具体地涉及用于估计作为胶片颗粒参数化模型的一部分的胶片颗粒参数的方法或装置，以便将胶片颗粒的强度调整到局部图像强度，这些胶片颗粒参数例如是缩放因子(或如果估计了多于一个的缩放因子)。

背景技术

在视频制作中，胶片颗粒通常是所期望的特征，其可产生自然外观，并且有助于表达创造性意图。然而，胶片颗粒不能用现代视频压缩标准(诸如通用视频编码(VVC)，也称为ITU-T H.266和ISO/IEC 23090-3)很好地压缩。实际上，在各种滤波和有损压缩步骤中，胶片颗粒被抑制，而无法重建。然而，关于胶片颗粒的信息可作为元数据通过例如由通用补充增强信息(VSEI，也称为ITU-T建议H.274和ISO/IEC 23002-7)指定的SEI消息来传送。因此，通常在压缩之前对胶片颗粒进行建模和去除，并且借助于适当的元数据在解码器侧对胶片颗粒进行重新合成。此外，胶片颗粒还可用作掩蔽由压缩产生的编码伪影的工具。已经研究了用于胶片颗粒建模的不同方法。在VVC的情况下，为了恢复压缩视频中的胶片颗粒，可使用频率滤波解决方案对胶片颗粒进行参数化和重新合成。

现有方法和相关文献通常涵盖了位于视频分发链的解码器侧的胶片颗粒合成部分。在许多情况下，本领域技术人员提供手动选择的一组胶片颗粒参数。可调谐这些参数来模拟具体胶片颗粒图案、模拟不同的胶片颗粒强度等。

然而，分析胶片颗粒和估计胶片颗粒参数的自动方法是期望的特征，尤其是考虑到通过网络流式传输的大量新视频数据。自动分析将允许更广泛地使用胶片颗粒建模，并且其可提供更精确的模型参数(而不是依靠人类技能来评估胶片颗粒)。然而，在相关文献中很少研究和描述用于胶片颗粒分析和参数估计的自动方法。因此，在这种情况下，需要提供现有技术方法来为频率滤波模型估计胶片颗粒参数。

本发明提出了估计随后用于胶片颗粒合成的频率滤波模型的缩放参数的方法。该估计基于原始视频内容。通过使用以这种方式估计的缩放参数，例如在滤波和/或压缩之前，可以重新合成接近于来自原始视频内容的胶片颗粒外观的胶片颗粒外观。此外，可基于压缩引入的失真水平，例如基于量化参数(Qp)值，自动调谐经估计的缩放参数。

发明内容

通过本文所述的一般方面解决和处理现有技术的缺点和不足。

根据第一方面，提供了一种方法。该方法包括针对具有胶片颗粒的图像中的多个图像块估计胶片颗粒参数，其中这些胶片颗粒参数包括至少一个缩放因子。该估计还包括：获得多个胶片颗粒块，胶片颗粒块表示图像块中的胶片颗粒估计；获得多个经滤波块，经滤波块表示没有胶片颗粒的图像块；以及针对该图像中的该多个图像块确定至少一个缩放因子，其中该至少一个缩放因子适于基于该多个胶片颗粒块和该多个经滤波块的统计。

根据另一方面，提供了一种装置。该装置包括一个或多个处理器，其中该一个或多个处理器被配置为根据其变体中的任一个变体实施用于估计胶片颗粒参数的方法。根据另一方面，该装置包括用于获得多个胶片颗粒块的装置，胶片颗粒块表示图像块中的胶片颗粒估计；用于获得多个经滤波块的装置，经滤波块表示没有胶片颗粒的图像块；用于基于该多个胶片颗粒块和该多个经滤波块来确定统计的装置；以及针对该图像中的该多个图像块确定至少一个缩放因子，其中该至少一个缩放因子适于所确定的统计。

根据至少一个实施方案的另一个一般方面，提供了一种设备，该设备包括：根据解码实施方案中的任一实施方案的装置；以及以下项中的至少一者：(i)天线，该天线被配置为接收信号，该信号包括视频块；(ii)频带限制器，该频带限制器被配置为将所接收到的信号限制为包括该视频块的频带；或(iii)显示器，该显示器被配置为显示表示视频块的输出。

根据至少一个实施方案的另一个一般方面，提供了一种非暂态计算机可读介质，该非暂态计算机可读介质包括根据所描述的编码实施方案或变体中的任一者生成的数据内容。

根据至少一个实施方案的另一个一般方面，提供了一种信号，该信号包括根据所描述的编码实施方案或变体中的任一者生成的视频数据。

根据至少一个实施方案的另一个一般方面，比特流被格式化以包括根据所描述的编码实施方案或变体中的任一者生成的数据内容。

根据至少一个实施方案的另一个一般方面，提供了一种计算机程序产品，该计算机程序产品包括指令，当由计算机执行程序时，该指令使计算机执行所述编码/解码实施方案或变体中的任一个实施方案或变体。

通过将结合附图阅读的示例性实施方案的以下详细描述，一般方面的这些和其他方面、特征和优点将变得显而易见。

附图说明

在附图中，示出了若干实施方案的示例。

图1示出了在其中可实现实施方案的各个方面的视频编码/解码框架中的胶片颗粒使用的简化框图。

图2示出了在其中可实现实施方案的各个方面的用于在视频编码/解码框架中生成胶片颗粒图案块的方法的简化框图。

图3示出了视频编码/解码框架中胶片颗粒的分段常数缩放函数。

图4示出了根据至少一个实施方案的一般方面的用于估计胶片颗粒参数的方法的框图。

图5示出了根据至少一个实施方案的一般方面的视频编码/解码框架中的缩放因子推导的修改框图。

图6、图7、图8和图9示出了根据至少一个实施方案的一般方面的基于图像统计(没有胶片颗粒的图像块的平均值和胶片增益块的方差)的缩放因子的不同变体。

图10示出了根据至少一个实施方案的一般方面的用于估计胶片颗粒参数的方法。

图11示出了根据至少一个实施方案的一般方面的用于在视频编码/解码框架中估计胶片颗粒参数的方法。

图12示出了在其中可实现实施方案的各个方面的视频编码器的实施方案的框图。

图13示出了在其中可实现实施方案的各个方面的视频解码器的实施方案的框图。

图14示出了在其中可实现实施方案的各个方面的示例性装置的框图。

具体实施方式

应当理解，附图和描述已简化以说明与清楚理解本发明原理相关的元素，同时为了清楚起见，消除了在典型的编码和/或解码设备中发现的许多其他元素。应当理解，尽管在本文中可使用术语第一和第二来描述各种元件，但是这些元件不应受这些术语限制。这些术语仅用于将一个元件与另一元件区分开。

相对于对图像的编码/解码而描述了各种实施方案。这些实施方案可应用于对图像的一部分(诸如切片或图块，图块组或整个图像序列)进行编码/解码。

上文描述了各种方法，并且方法中的每一方法包括用于实现所描述的方法的一个或多个步骤或动作。除非正确操作方法需要特定顺序的步骤或动作，否则可修改或组合特定步骤和/或动作的顺序和/或用途。

至少一些实施方案涉及一种用于估计表示具有胶片颗粒的原始内容的胶片颗粒参数的方法，其中在胶片颗粒参数中，缩放因子或强度间隔适于具有胶片颗粒的原始内容的统计。用于估计胶片颗粒参数的方法例如在视频编码方案中实现。经估计的胶片颗粒参数然后可以用于合成胶片颗粒的方法，例如在视频解码方案中实现。

图1示出了视频编码/解码框架中胶片颗粒使用的简化框图。胶片颗粒是一种悦耳的噪声，可增强视频内容的自然外观。它是在摄影胶片的曝光和显影的物理过程中产生的。然而，数字传感器不经历此类过程，因此没有胶片颗粒。这会生成无噪声的数字视频，其完美、清晰且明显的边缘和单调的区域会损害观看者的主观体验。因此，对视频重新进行噪声处理可改善视觉体验，并且内容创作者通常会在分发内容之前进行此类处理。这一点尤其被电影业所接受，其中许多创作者转向将胶片颗粒添加到视频内容中的技术，以增加视频的质感和温暖感受，或者有时创造一种怀旧感觉。此外，胶片颗粒可用于掩蔽压缩伪影，即使它不存在于源视频中。

为了支持不断增长的向终端用户分发新内容的需求，压缩是一个不可避免的步骤，因为终端用户需要提高再现视频的分辨率和质量，从而产生大量要传输的数据。这对当今网络来说是一个巨大的负担。因此，需要说明的是，在传输之前，视频经历各种预处理步骤，其中不可避免地要进行视频压缩。然而，在各种滤波和有损压缩步骤中，胶片颗粒被抑制，而无法重建。缓解这一问题的一种方法是，使用较低的量化参数(Qp)来更好地保留胶片颗粒等精细细节。然而，这可显著提高比特率。另一种解决方案是，在压缩之前对胶片颗粒进行建模，稍后可在解码器侧对胶片颗粒进行重新合成。

因此，由于胶片颗粒被视为所期望的噪声，因此应当在压缩期间予以保留。这不是一项容易的任务，因为已知胶片颗粒在高频下(例如，在DCT域中)具有高电平，这通常被量化过程抑制。为了保持胶片颗粒的外观，同时提高编码效率，使用参数化模型对胶片颗粒进行重新合成。此外，在预处理步骤期间通过滤波去除胶片颗粒以及/或者通过压缩抑制胶片颗粒。因此，更高效的是，使用参数化胶片颗粒模型，预定义或即时估计其参数，通过各种预处理步骤以及/或者在压缩期间将胶片颗粒去除，并且在解压缩之后将其合成回视频内容中。以这种方式，通过适当的元数据(例如经由SEI消息)将胶片颗粒参数传输到用户侧(解码器)。

对胶片颗粒进行建模的最终益处是：

1)最终比特率可更低，因为不需要严格地在压缩之后保留胶片颗粒；

2)如果在压缩之前滤除胶片颗粒，则可提高最终比特率，因为其在时间上是不相关的，因此可改善预测；

3)重建数据的视觉质量更高，因为可像在原始内容中那样对胶片颗粒进行建模(即使压缩期间的低QP；值也会抑制胶片颗粒)；

4)即使不存在于原始内容中，胶片颗粒也可改善视觉质量并且可掩蔽压缩伪影。

通常，用于视频编码的胶片颗粒建模由两部分组成，一部分位于编码器侧，另一部分位于解码器侧。这两个部分是：1)编码器处的胶片颗粒分析和参数估计；以及2)根据所接收到的元数据在解码器侧的胶片颗粒合成。在Joan Llach的“胶片颗粒技术—H.264|MPEG-4AVC比特流规范(Film Grain Technology—Specifications for H.264|MPEG-4AVCBitstreams)”(也称为SMPTE-RDD5)中给出了胶片颗粒参数化和合成的可能模型中的一个模型。需要说明的是，该模型描述了将胶片颗粒添加到解码帧中的比特精确胶片颗粒模型(因此定义了胶片颗粒合成方法)。然而，可隐含地得出关于编码器/参数估计侧的结论。在图1中描绘了整个过程的简化框图。首先对输入视频应用预处理步骤100。其产生经滤波视频，然而可产生附加数据，例如边缘掩蔽。经滤波视频与输入(原始)视频一起经过胶片颗粒估计步骤101。该步骤生成胶片颗粒(FG)参数。步骤100和101是胶片颗粒分析模块的一部分。在步骤102中对视频进行编码，并且将FG参数插入胶片颗粒特性(FGC)SEI消息中。在步骤103中，解码器对比特流以及FGC SEI消息进行解码。这会生成解码视频，该解码视频可在步骤104中由FG合成过程进一步增强。需要说明的是，如果需要，可跳过步骤100和步骤101，并且使用一组固定的手动调谐参数代替。而且，可跳过步骤104，仅产生解码视频而不添加胶片颗粒。

本公开符合所呈现的模型，并且提供了与FG估计相关的方法。这里提出的方法可与视频编码标准一起使用/在视频编码标准内使用，并且其可产生与现代视频编码标准(例如，VVC)的SEI消息规范完全兼容的胶片颗粒缩放参数。然而，这里提出的方法不仅限于VVC，并且可与其他视频编码标准一起使用，并且还可用于除视频编码之外的应用中。此外，需要说明的是，SMPTE-RDD5仅表示用于胶片颗粒的频率滤波方法的可能具体实施之一。该方法也描述在各种美国专利中，诸如US 7738721、US 9098916、US 8023567或US 8472526。例如，US 9098916提供了若干具体实施变体的示意图。

然而，相关文献中并未提供频率滤波模型的缩放参数估计过程的具体实施。

为了理解胶片颗粒分析和参数估计的技术，基于频率滤波模型的胶片颗粒合成的简要概述将证明是有帮助的。

需要说明的是，VVC的FGC SEI规范仅提供将模型的参数传输到解码器侧的语法，但是既没有提供用于估计参数，也没有提供如何合成胶片颗粒的方法。SMPTE-RDD5中的工作提供了对合成部分的进一步了解(位于解码器侧)。尽管其是针对H.264标准定义的，但是对于VVC或HEVC不需要进行修改，因为这两者支持相同的元数据。只需稍加修改即可支持高于8位的位深度。

这里描述的模型基于频率/变换域中的滤波，包括随机噪声的滤波，以模拟胶片颗粒图案。使用该模型，通过使用定义低通滤波器的一对截止频率，在频域中对胶片颗粒图案进行建模。即使本公开描述了通过使用低通滤波来对胶片颗粒图案进行模拟，本领域技术人员也可推断，在一些实施方案中，可使用不同类型的滤波。例如，代替将要描述的由两个截止频率(水平高截止和垂直高截止)表示的低通滤波，可使用带通滤波。在这种情况下，使用四个不同的频率(垂直高截止频率、垂直低截止频率、水平高截止频率和水平低截止频率)来定义胶片颗粒图案。可得出以下结论，即可出于在频域中创建胶片颗粒图案的目的来使用其他类型的滤波。

为了合成所期望的胶片颗粒图案，必须设置或估计两个参数，例如，经由适当的SEI消息传送给合成部分(解码器)。这些参数表示水平高截止频率(记为Horizontal_Cutoff)和垂直高截止频率(记为Vertical_Cutoff)，该水平高截止频率和垂直高截止频率继而表征/定义胶片颗粒图案(胶片颗粒外观–形状、大小等)。因此，根据频率滤波模型使用不同的截止频率对来合成每个胶片颗粒图案。如果没有参数经由SEI消息传输，则在针对解码帧启用合成部分的情况下，可就默认参数达成一致。

可执行基于也被发送到解码器的缩放参数(例如，SEI消息中的参数)的附加缩放，以获得胶片颗粒的适当强度。在获得胶片颗粒参数之后，可根据所接收到的参数进行胶片颗粒的模拟。

图2示出了根据至少一个实施方案的一般方面的用于生成胶片颗粒图案块的方法的简化框图。首先在步骤200中定义遵循高斯分布的N×M伪随机数块。为了获得伪随机数块，可利用已经在文献中建立的任何高斯随机数生成器。伪随机数块可即时获得，或者其可提前定义并存储以供进一步使用，例如，在上述美国专利中描述的初始化步骤期间。然后如下模拟胶片颗粒图案。

利用归一化高斯分布N(0,1)生成的N×M个伪随机值的块b经历低通滤波，该低通滤波通过以下方式在频域中执行：

1.变换：B＝DCT(b)(步骤201)

2.频率滤波–低通：(步骤202)

3.逆变换：b'＝Inverse_DCT(B)(步骤203)

其中b’表示生成的胶片颗粒图案/块。需要说明的是，N和M可取任何值；然而，在实践中，示出N＝M，并且通常采用64×64的大小。以基于DCT的特定变换具体实施描述先前示例，但是可使用其他变换，例如快速傅里叶变换。而且，DCT的不同变体(包括标准化的VVC变换)可在该步骤处使用。此后，每个块b’表示用于将颗粒添加到解码帧的N×M胶片颗粒图案。不同的胶片颗粒图案(对于不同的截止对)可预先计算，从而创建可用胶片颗粒图案的数据库，或者其可在每个解码帧准备好进行处理时即时计算。

最后，可在获得b’之后应用附加操作，诸如SMPTE-RDD5中描述的缩放或解块。

在创建胶片颗粒图案(块b’)之后，可基于缩放因子(SF)执行到适当强度的缩放。其确定胶片颗粒将在最终图像处被感知的级别，并且通过这样做，确保胶片颗粒以正确的比例被模拟。缩放因子通常以与截止频率相同的方式(例如，经由胶片颗粒SEI消息)被传送到解码器(FG合成部分)。然后最终合成的胶片颗粒块是：

FG_block＝SF*b’

因此，胶片颗粒以块为基础被添加到图像中。例如，可使用从先前步骤中创建的FG_block(例如，大小为64×64)中随机选择的8×8(或16×16)块将胶片颗粒添加到图像。在一些情况下，伪随机数生成器用于定义从64×64块原点的偏移，以便确保位精确模拟。在8×8块的基础上向图像添加胶片颗粒而不是通过使用完整的FG_block(在本示例中为64×64，但不仅限于所述大小)来直接添加胶片颗粒的原因是为了确保胶片颗粒在添加到图像时的随机性(因为胶片颗粒是随机噪声，并且图像中的重复图案可导致主观视觉性能方面的较低质量)。

最后，可按光栅顺序或以任何其他方便的方式逐块处理输入图像。

在一些情况下，也可执行解块来平滑边缘。

在一个实施方案中，一组胶片颗粒参数(截止频率和缩放因子)被应用于完整的输入图像。在另一个实施方案中，对于图像的不同强度级别，可应用不同的胶片颗粒参数。不同的参数组(截止频率和缩放因子)也可用于不同的颜色分量。因此，在更一般的实施方案中，胶片颗粒取决于图像的局部强度，并且不同的分量可具有不同的颗粒参数。

例如，SMPTE-RDD5模型定义了强度间隔，并且每个间隔与一组胶片颗粒参数(Horizontal_Cutoff、Vertical_Cutoff和缩放因子)相关联。每个间隔由两个变量intensity_interval_lower_bound和intensity_interval_upper_bound定义。例外地，根据规范，间隔不能重叠，这意味着所有强度间隔都需要满足intensity_interval_upper_bound[I]<intensity_interval_lower_bound[I+1]，其中i是间隔的索引(间隔的上限需要小于下一个间隔的下限)。为了选择应该为胶片颗粒合成过程选择哪一组参数，可利用块平均值来找到当前处理的块的平均值所属的间隔(当前处理的块是添加胶片颗粒的块，并且是从正在处理的图像(通常是解码帧)中获取的)。基于块的平均值，可在胶片颗粒模拟期间应用对应于所述间隔的参数。然后，基于每个经处理的块的平均值，分别为该每个经处理的块选择胶片颗粒参数。下面提供了一个基于SMPTE-RDD5的示例。首先，下表提供了模型的语法。

表1：SMPTE-RDD5模型的语法

在提供的语法示例中，c是颜色分量索引。如果comp_model_present_flag[c]标志被设置为真，则胶片颗粒被添加到分量，否则在胶片颗粒合成中不处理颜色分量。此后，对于每个有效分量，有多个强度间隔num_intensity_intervals_minus1[c]和多个模型值num_model_values_minus1[c]。通常，有3个模型值(Horizontal_Cutoff、Vertical_Cutoff和缩放因子)，但在一些情况下，其可更少，在这种情况下，缺失的参数是隐含地得出的。然后，对于每个强度间隔，有下限intensity_interval_lower_bound[c][i]和上限intensity_interval_upper_bound[c][i](通常间隔不能重叠)。对于每个间隔，有三个参数(显式定义的或隐含地得出的)。最后，胶片颗粒的参数采用以下形式：

强度间隔#	下限	上限	Horizontal_Cutoff	Vertical_Cutoff	比例因子
						1	10	80	8	8	20
2	81	120	8	7	30
						3	121	190	10	10	40
4	191	240	10	10	20

表2：SMPTE-RDD5模型的胶片颗粒参数的一个示例

对于SMPTE-RDD5和先前示例，存在4个强度间隔。因此，根据SMPTE-RDD5，模型的比例因子表示为分段常数函数。

图3示出了在视频编码/解码框架中使用的分段常数缩放函数的示例，例如，如在SMPTE-RDD5中描述的。需要说明的是，缺失的间隔(例如，表2中的0到10)不具有相关联的参数。这意味着胶片颗粒不是针对那些强度级别模拟的。本原理不限于该示例性缩放函数，因为与本原理兼容的缩放函数不能全部列出，但是本领域技术人员可看到关于该主题的其他各种变体。

因此，对于每个颜色分量，胶片颗粒合成通常独立发生。

上文描述的方法完全支持并兼容VVC的用于胶片颗粒的SEI消息，以及先前的SEI消息，例如用于HEVC或用于H.264/AVC的SEI消息。而且，即使所呈现的方法是在视频编码和视频分发的上下文中描述的，其也不限于该特定场景，并且可出现其他应用。此外，即使这些方法可在VVC的情况下描述，诸如HEVC或H.264/ACV等其他标准也可利用所描述的方法。

在另一个实施方案中，使用一组固定的手动调谐参数(例如，在配置文件中提供)，在这种情况下，在编码器侧不使用胶片颗粒分析和参数估计过程。

然而，在变体实施方案中，使用胶片颗粒分析和参数估计过程。其创建指示输入视频中存在的胶片颗粒的信息。有利的是，在应用胶片颗粒分析和胶片颗粒参数估计的实施方案中实现了本原理。

图4示出了根据至少一个实施方案的一般方面的用于估计胶片颗粒参数的方法的框图400。在图4的实施方案中，如参考块100和101在图1中示出，从即时的真实数据中估计截止频率和缩放因子。在一般的胶片颗粒框架中，该方法400是可选的，因为胶片颗粒可从一组固定的参数合成，然而，如果想要复制原始的胶片颗粒外观，则期望精确地估计其参数，而不是使用先验定义的参数。

为了完成胶片颗粒分析任务，如图4所示，执行附加操作401、402。操作401、402例如是图1所示的预处理步骤100的一部分。根据特定变体，应用去噪，或更一般地应用滤波401，以从原始内容(输入图像)中去除胶片颗粒，从而产生经滤波图像。此类去噪或滤波可利用能够降低经处理的图像中的噪声的任何算法。在观察到的输入视频不具有胶片颗粒的情况下，去噪过程401被有利地跳过(并且在一些情况下，胶片颗粒参数估计400的整个过程被跳过)。在一些情况下，该方法使用压缩后的重建图像，而不是执行滤波(因为胶片颗粒将被压缩抑制)。然而，在这种情况下，由压缩产生的附加伪影可能干扰估计过程。

一旦具有胶片颗粒的输入图像和不具有胶片颗粒的经滤波图像均可用，用于估计胶片颗粒参数的过程就开始了。根据特定变体，仅在图像的平坦区域上执行估计。这意味着还可在预处理步骤100中执行附加预处理，例如边缘检测或复杂纹理区域402的检测，以获得掩蔽图像。以这种方式，获得了关于图像复杂性的信息，并且通常仅在图像的平坦和低复杂性部分(由掩蔽指示)上估计胶片颗粒参数。通过这样做，对胶片颗粒参数执行更精确的估计。尽管平坦和低纹理复杂性区域的检测是可选的，但是该检测极大地影响了胶片颗粒估计的性能。另一方面，获得此类边缘或纹理信息的算法是丰富的。本原理不限于可提供关于观察到的帧内的边缘或纹理的信息的任何具体算法。

此后，参数估计过程101继续确定原始输入和经滤波图像之间的差。通过这样做，从输入图像中提取胶片颗粒，并产生胶片颗粒图像403，也称为胶片颗粒估计。此后，选择N×M块用于进一步处理404。需要说明的是，以光栅顺序选择N×M块，但是其他具体实施仍是可能的。扫描N×M个块，直到没有分析完图像的所有可用块。在一些情况下，如果足够数量的N×M块已经被处理并且在估计过程中可用，则可提前终止扫描。

此外，注意，在这种情况下，胶片颗粒图案是通过减去给定位置处的原始和经滤波块而获得的N×M残差块，并且由于边缘和复杂纹理可能导致错误估计，因此该残差在平坦图像区域(由掩蔽402指示)处获得。

然而，在步骤404中，直接分析胶片颗粒图案(在404中选择的块)以估计缩放因子。下文根据各种实施方案描述了用于缩放因子估计的至少一个实施方案。在随后的步骤中，然后，将胶片颗粒图案输入到变换过程405(例如DCT)，以便接收一组变换系数。通过分析所获得的一组变换系数406，可以估计完全描述胶片颗粒图案的截止频率。这些截止频率经由SEI消息嵌入在比特流中，并且在解码器侧用于模拟胶片颗粒，如先前所述，例如如在SMPTE-RDD5中所指定的。尽管分析经变换的块以估计截止频率的过程超出了本原理的范围，但是块405和406是为了说明的目的而呈现的。对于每个颜色分量，胶片颗粒分析和参数估计(如同合成一样)通常独立发生。

因此，胶片颗粒分析和参数估计有利地向合成部分提供了关于胶片颗粒的信息，因此合成器可产生模拟解码器中原始胶片颗粒外观的胶片颗粒样本。这里公开了用于自动胶片颗粒分析和参数估计的新实施方案。经估计的参数至少包括缩放因子。

在下文中，提供了关于如何从真实数据，即从在初步步骤中收集的胶片颗粒FG块和经滤波块中确定缩放因子的不同实施方案。

图5示出了根据至少一个实施方案的一般方面的视频编码/解码框架中的缩放因子推导的修改框图500。在掩蔽创建步骤(501，对应于图4中的步骤402)之后，在步骤502中选择相关块(平坦)。在步骤503中导出经滤波块的信号均值和这些FG块中的每个块的方差(可针对每个颜色分量进行)。最后，在步骤504中，从所选择的相关块的均值和方差的分析中导出缩放因子。

在下文中，描述了用于导出至少一个块的均值和方差(步骤503)的变体实施方案和用于导出缩放因子(步骤504)的变体实施方案。

各种实施方案

为了估计一个或多个缩放因子，第一步骤将是计算进入胶片颗粒参数估计过程(例如，在步骤404中可用)的每个N×M(例如，64×64)块的指示特征。该第一步骤对应于步骤503。

因此，对于进入估计过程的每个块，可计算两个特征。第一特征是图像块的平均值。需要说明的是，平均值是在经滤波(或重建)帧内给定位置处的块上计算的。第二特征是胶片颗粒FG块的方差，并且其是在来自胶片颗粒图像的块上计算的(回想胶片颗粒图像是原始和经滤波/重建帧之间的差)。需要说明的是，平均值和方差取自两个不同的源(经滤波帧和胶片颗粒图像)，然而其必须在相同的位置(坐标)处获得。因此，具有图像内块的平均值和经估计的胶片颗粒的方差。这两个特征是用于估计缩放因子的主要特征。

图6示出了根据至少一个实施方案的一般方面的两个特征的表示，即没有胶片颗粒的图像块的平均值和胶片增益块的方差。图6中的示例针对10位输入数据给出。这些数据点然后被分析以计算输入图像的不同强度的胶片颗粒缩放因子。需要说明的是，即使本示例中使用的源数据是10位，相同的方法也可应用于其他位深度。因此，本申请中提出的方法决不限于10位输入数据。有利的是，胶片颗粒块的方差用作在解码器处合成的胶片颗粒块(在上述示例中为b’)的缩放因子(SF)，因为初始胶片颗粒块b’是通过使用归一化高斯随机分布获得的。

在以下实施方案中，假设在先前步骤中收集了足够的数据点。如果可用数据点的数量小于某个预定义级别，则可跳过参数估计过程(但不是必须的，因为这是具体实施决定)，并且可禁用胶片颗粒合成，或者通过使用默认参数来处理胶片颗粒合成。

在以下实施方案中，描述了用于导出缩放因子(步骤504)的变体。

图7示出了根据第一组实施方案的具有单个缩放因子和单个强度间隔的数据点的表示。根据第一组实施方案，确定单个缩放因子和/或单个强度间隔。

在一个实施方案中，步骤504得出单个缩放因子。计算所有可用数据点的平均方差：

其中N是从先前步骤获得的数据点的总数。在这种情况下，一个缩放因子用于覆盖完整的动态范围-所有可用的强度(例如，从0到2^B-1，其中B是位深度)。

在另一个实施方案中，完整的动态范围限于子集，然而仍仅使用一个(常数)缩放因子。可基于边缘点的位置(沿着x轴的边缘点)来计算子集。例如，在图6中，完整的动态范围可以从140(例如，对应于单个强度间隔intensity_interval_lower_bound的下限)限制到500(例如，对应于单个强度间隔intensity_interval_upper_bound的上限)。如果块的平均强度在该范围之外，则不对该块执行胶片颗粒合成。最终结果在图7中示出。有利的是，该实施方案与SMPTE-RDD5模型兼容，可将num_intensity_intervals_minus1设置为0(这意味着仅使用一个强度间隔)。需要说明的是，SMPTE-RDD5模型被用作所提出的方法的示例，然而无论如何不限于给定的模型。

图7示出了根据第二组实施方案的具有更多缩放因子和更多强度间隔的数据点的表示。根据第二组实施方案，针对多个图像块定义P个强度间隔，P是大于1的正整数，并且针对P个强度间隔中的每个当前强度间隔确定缩放因子。因此，定义了多于一个的强度间隔，并且在步骤504中导出了几个缩放因子。因此，num_intensity_intervals_minus1是非零的。每个间隔都是用其界限来定义的，intensity_interval_lower_bound和intensity_interval_upper_bound，间隔不能重叠。然后，每个强度间隔与一个常数缩放因子相关联。在任何情况下，缩放因子都是作为强度间隔的一部分的数据点的方差的平均值来计算的。需要说明的是，在这种情况下，缩放因子的给定表示等价于分段常数函数，例如如图3或图7所示。

在一个实施方案中，只有当间隔与预定义最小数量的数据点相关联时，才计算该间隔(或完整的动态范围)的缩放因子。如果没有达到最小数量的数据点，则缩放因子被认为是预定义的值，例如0。在另一种情况下，如果不存在可用的点来估计缩放因子，缩放因子可被设置为来自相邻间隔的第一个非零缩放因子，基本上重用先前计算的缩放因子。

在一个实施方案中，完整的动态范围被划分为预定义数量的强度间隔P。每个间隔具有均匀大小。因此，间隔的大小由给出，其中B是输入视频的位深度，或/>其中realRange是输入图像的实际范围(例如，对于10位视频，信号的实际范围通常是[64,960]，这通常称为“标准”或“有限”范围，而“全”范围对应于[0 1023])。通常P是2的幂。在这种情况下，每个间隔都与一个常数缩放因子相关联，该常数缩放因子表示落在该间隔内的数据点的平均方差。

图8示出了根据另一个实施方案，对于P＝8的更多缩放因子和更多强度间隔，数据点的表示和作为分段常数(也称为逐步)缩放函数的缩放因子的表示。在该示例中，没有数据点的间隔与等于0的缩放因子相关联。若干间隔可具有相同的缩放因子。

在另一个实施方案中，使用预定义数量P的强度间隔，但是间隔的大小可变。强度间隔的边界可预先手动设置。与每个强度间隔相关联的缩放因子如先前实施方案中那样计算。

在另一个实施方案中，导出在一个间隔内取固定数量的数据点的间隔。例如，间隔的数量被计算为P＝T/Q，其中T是参数估计阶段内的总点数，并且Q是一个间隔内的预定义数量的点。例如，P可以是非整数值，并且在这种情况下，最后一个间隔可具有比预定义数量Q更多的点，以更多的点结束。

在一个实施方案中，数据点用于拟合函数/曲线。在该实施方案中，步骤504由两个步骤组成：

-步骤504a：通过曲线拟合导出缩放函数

-步骤504b：通过简化函数(例如，分段常数函数)来近似缩放函数

对于步骤504a，使用曲线拟合–构建与数据点最佳拟合的曲线或数学函数的过程，如稍后在图9示出。该实施方案不限于曲线拟合算法的具体实施。这些算法通常被称为多项式回归或多项式插值。然而，在相关文献中可用的任何其他算法可在该步骤处使用，以将数据点拟合到函数/曲线。不一定局限于任何类型的回归或任何方式的估计方法。拟合的函数表示用于将胶片颗粒块缩放到适当强度的缩放函数。例如，所有点都可用四阶多项式函数来拟合。以这种方式，多项式函数的系数可作为元数据转移到解码器。基于所接收到的系数，编码器可在将胶片颗粒块添加到图像之前重新计算用于缩放该胶片颗粒块的缩放函数。需要说明的是，多项式次数可变化，这取决于所需的精度。多项式函数的系数可被量化或舍入以降低其编码成本。例如，考虑2次多项式函数的示例，该函数被写成f(x)＝a+b.x+c.x.x，其中a、b、c是该函数的系数。不用直接编码a、b、c，参数A、B、C可编码，其中A＝round(a)，B＝round(R*b)，C＝round(R*R*c)，其中函数round(y)给出变量y的最接近的整数值。例如，R是变量x的范围(例如，对于10位变量，R＝1024)。则f(x)可推导为round(A+B.x/R+C.x/R.x/R)。

在附加实施方案中，可应用找到两个变量(没有胶片颗粒的图像块的平均强度值和胶片颗粒块的方差)之间的关系的其他方法。

在另一个实施方案中，可将数据点拟合到函数/曲线，并且然后将曲线线性化为P段。在应用线性化之后，可获得断点，并基于断点继续找到强度间隔。然后计算每个间隔的缩放因子。断点被解释为强度间隔的边界。例如，可通过观察拟合的函数的一阶和二阶导数来自动获得断点。在断点被成功地分析和知道之后，强度间隔可被定义。然后如前所述计算缩放因子，对于每个强度间隔，缩放因子可被计算为落在给定间隔中的点的方差的平均值，最后以如前所述的分段常数函数(逐步函数)结束。

图9示出了根据另一个实施方案的数据点的表示和作为分段常数缩放函数的缩放因子的表示，使用曲线拟合和Lloyd Max量化器来量化拟合的曲线。在该实施方案中，拟合的函数/曲线可通过使用具有K个量化级别的任何均匀或非均匀量化器(量化方案)来量化，例如Lloyd Max量化器。可用的数据点用于训练量化器，产生分区和码本。码本被解释为胶片颗粒的缩放因子。基于所获得的量化器的量化可应用于通过拟合可用数据点而获得的拟合的函数，该拟合的函数给出了获得强度间隔和每个间隔的缩放因子的必要信息。在该方法中，强度间隔的最终数量可不同于量化级别的数量K。最终的缩放函数被表示为逐步函数(一个间隔内的常数缩放因子)，其中缩放因子用函数的量化级别来表示。使用4阶多项式的曲线拟合的示例在图9中表示。然后，通过使用Lloyd Max量化器对具有K＝4个量化级别的可用数据点进行训练来量化该曲线。需要说明的是，即使K＝4，强度间隔的数量也是7。需要说明的是，Lloyd Max量化器被用作示例，然而可使用任何其他均匀或非均匀量化方案。而且，找到均匀或非均匀量化方案的任何方法都可用作附加实施方案。

在先前描述的实施方案中，P和K是固定的并且预先已知，然而，间隔大小和缩放因子自动地适于数据。在一些实施方案中，也可自适应地选择强度间隔P或量化级别K的数量。例如，可定义拟合优度-可告诉我们P或K是否满足特定标准的函数，并且可逐渐改变它们(P或K)，以找到以最佳方式满足拟合标准的一个，同时找到最佳数量的强度间隔。拟合标准(拟合优度)可以是可导致给定一组约束的最佳P或K的任何标准。因此，先前描述的方法与优化算法结合使用，以试图找到满足某些约束的最小数量的强度间隔或量化级别。关于如何自动地优化P或K，不限于任何特定的方法。在该步骤处可出现不同的方法，以及可应用不同的拟合优度标准，例如，基于具体实施成本。

在另一个实施方案中，具有P段的分段回归可直接应用于可用一组的数据点，而不是执行拟合的函数/曲线的线性化。如以前，段(也称为强度间隔)由断点(曲线的转折点)分隔。可使用任何算法来获得线性段(以执行分段回归)，并且不限于任何特定的方法。在通过分段回归获得段和断点之后，分析类似于先前实施方案。例如，可通过观察分段函数的一阶和二阶导数来自动获得断点。断点用作间隔边界，并且缩放因子通过使用落入间隔内的数据点来计算。如以前，最终缩放函数表示为逐步函数(一个间隔内的常数缩放因子)。

在另一个实施方案中，所有可用的数据点都经受聚类或分类过程。来自现有技术的任何方法都可用于此目的。基于聚类/分类结果，每个点与一个簇/类别相关联。簇的边缘点(分配有相同标签的一组点)用于计算聚类边界–即表示间隔边界。可对结果应用附加后处理和优化，以便调整强度间隔边界，优化簇的最终数量等。需要说明的是，簇的最终数量通常将导致强度间隔的最终数量。例如，使用一个簇内的数据点来计算平均方差，并且所述值表示所述间隔的胶片颗粒缩放因子。如以前，最终缩放函数表示为逐步函数(一个间隔内的常数缩放因子–在这种情况下，在一个簇内)。可使用能够提供簇/分类结果的任何算法，例如k-均值、分层聚类、决策树、高斯混合模型或任何其他基于分区聚类的方法、神经网络和基于深度学习的模型等。在一些情况下，可对从初始聚类/分类步骤获得的结果进行后处理，以基于拟合优度另外地改进结果。优度标准可以是基于一组约束导致改进结果的任何标准，例如，优化间隔的数量等。

需要说明的是，先前技术中的一些技术需要预定义数量的簇–即预定义数量的强度区域。然而，可调用附加处理来分析第一步骤中提供的结果。以这种方式，可执行附加优化，以在给定一组约束并注意满足拟合优度标准的情况下，自适应地选择最终数量的簇。

通用实施方案

图10示出了根据至少一个实施方案的一般方面的用于估计胶片颗粒参数的方法。现在在图10上呈现涵盖上文描述的实施方案中的任一个实施方案的通用实施方案。有利的是，方法600对应于图1的步骤101，并且可在下文结合图12或图14描述的视频编码器的实施方案中的任一实施方案中实现。图5的方法500是该通用实施方案的特定实施方案。方法600针对具有胶片颗粒的图像中的多个图像块估计胶片颗粒参数。例如，胶片颗粒参数包括一个或多个缩放因子，但是胶片颗粒参数还可包括多个强度间隔、强度间隔的边界、截止频率，这些都是非限制性示例。在步骤601中，获得多个胶片颗粒块，胶片颗粒块表示图像块中的胶片颗粒估计。如先前所述，具有胶片颗粒的原始图像可被滤波，并且具有胶片颗粒的原始图像和经滤波图像之间的残差产生胶片颗粒图像。在步骤602中，获得多个经滤波块，经滤波块表示没有胶片颗粒的图像块。如先前所述，原始图像一旦被滤波，胶片颗粒就被去除了。根据另一个变体，编码后的重建图像被用作没有胶片颗粒的经滤波图像。然后，在603中，基于多个胶片颗粒块和多个经滤波块来确定统计。这些统计例如包括胶片颗粒块的方差。这些统计例如还可包括经滤波块的平均值，在经滤波块不可用的情况下，可使用具有胶片颗粒的重建图像或原始图像块来计算平均值或均值。然后，在步骤604中，基于统计针对图像中的多个图像块确定至少一个缩放因子。因此，缩放因子适于原始图像的统计，例如适于原始图像中胶片颗粒的级别，和/或其强度。在本文中，图像块、胶片颗粒块和经滤波块位于图像中的相同位置处，并且无差别地选择图像块意味着选择并置的胶片颗粒块或经滤波块。块是图像的一部分，在胶片颗粒、图像块、胶片颗粒块、经滤波块的上下文中或更一般地，块包括N×M个像素，其中M和N是正整数。

根据一个实施方案，获得图像的掩蔽信息，该掩蔽信息针对多个图像块中的每个块包括关于图像块是否平坦的指示。然后，可基于块是平坦的指示选择多个图像块的子集；并且基于所选择的图像块子集来确定缩放因子。有利的是，该实施方案从FG估计中去除了图像的高纹理区域，并提高了FG估计质量。在另一个可选的步骤中，测试所选择的图像块子集中的图像块的数量，并且仅当所选择的子集中要处理的图像块的数量高于某个级别时，才估计FG，否则，如先前所述，可以应用一些默认的或调零的FG缩放因子。

根据另一个实施方案，针对多个图像块确定单个缩放因子，并且该单个缩放因子是多个胶片颗粒块的方差的平均值。

根据另一个实施方案，进一步定义了强度间隔，并且针对多个图像块堆单个强度间隔确定单个缩放因子。因此，该方法确定图像块是否在单个强度间隔内。为此，测试在与图像块相同的位置处的经滤波块的平均值，并且在平均值高于第一值(较低强度间隔值)并且低于第二值(较高强度间隔值)的情况下；图像块属于强度间隔。上面给出了强度间隔的界限值的示例。然后，被设置为单个强度间隔内胶片颗粒块的方差的平均值的单个缩放因子，即相同位置处的图像块在单个强度间隔内。在变体中，还测试强度内的图像块的数量；仅在图像块的数量高于级别的情况下，才确定单个缩放因子；否则，如先前详述的，可以使用跳过机制或默认值。

根据又另一个实施方案，针对多个图像块定义P个强度间隔，P是大于1的正整数，并且基于属于当前强度间隔的图像块，针对P个强度间隔中的每个当前强度间隔确定缩放因子。因此，基于经滤波块的平均值(该平均值高于第一值，较低当前强度间隔值，并且低于第二值，较高当前强度间隔值)，图像块被确定为在当前强度间隔内；并且针对当前强度间隔的缩放因子是当前强度间隔内胶片颗粒块(即图像块)的方差的平均值。在变体中，P个强度间隔具有固定且均匀的大小，其中强度范围(是全强度范围还是有限的强度范围)。在另一个变体中，P个强度间隔具有可配置的可变大小。在又另一个变体中，P个强度间隔的大小被调整为针对P个强度间隔中的每个强度间隔具有相同数量的图像块。

根据另一个实施方案，缩放因子和强度间隔是表示分段常数缩放函数的值。因此，通过拟合是多个图像块的经滤波块的平均值的函数的胶片颗粒块的方差的曲线来导出缩放函数；确定近似缩放函数的分段常数函数，并且其中P个缩放因子和P个强度间隔是从分段常数函数(函数中的常数级别和边缘位置)导出的。

根据又另一个实施方案，通过拟合是多个图像块的经滤波块的平均值的函数的胶片颗粒块的方差的曲线来导出缩放函数。然后，用K个量化级别量化缩放函数，K是正整数，得到分区和码字；并且缩放因子和P个强度间隔是基于如以上所详述的码字和分区来确定的。有利的是，强度间隔的数量P和量化级别的数量K适于满足一些约束。

根据另一个实施方案，胶片颗粒参数还包括至少一个截止频率，并且针对P个强度间隔中的每个强度间隔确定截止频率。

在以下实施方案中，现在将描述与视频编码/解码框架中的胶片颗粒使用相关的其他变体。

图11示出了根据至少一个实施方案的一般方面的用于估计胶片颗粒参数的方法。这些变体与先前描述的实施方案中的任一实施方案兼容。因此，根据特定的变体，可获得附加后处理，以另外地调整强度间隔和缩放因子，例如图11处的步骤701。例如，其可包括最终缩放函数的平滑化、合并强度间隔等。

如果针对所有强度间隔，方差被估计为0，或如果使用了一个间隔，则估计为一个间隔，则认为在输入数据中没有发现胶片颗粒。在这种情况下，可使用一些默认参数，或可重用先前估计的参数(如果有的话)(如果仍想要在解码器侧合成胶片颗粒)，或可通过使用FGC SEI消息中的适当标志来禁用胶片颗粒合成。

此外，一旦获得完整动态范围的最终缩放方案/函数，就可执行缩放函数的附加调整(例如，在块701内)。在一个实施方案中，可基于QP、基于比特流中当前处理的帧的位置、基于帧的类型等来调整缩放函数。在另一个实施方案中，缩放函数可适于更好地掩蔽压缩伪影。缩放函数的适配可调用对经处理的帧的任何预分析和对图像内失真的分析。由于胶片颗粒可用作掩蔽压缩伪影的工具，所以可基于底层视频和压缩产生的失真水平来应用胶片颗粒参数的适配。以这种方式，在701内，可执行附加分析来调谐胶片颗粒参数，以更好地掩蔽视频中呈现的某些伪影。在另一个实施方案中，参数的适配可在解码器侧而不是编码器侧执行，例如，在视频被解码并且FG参数被接收之后。

针对所有颜色分量执行相同的分析。其可应用于任何位深度。

而且，可对视频序列的每个帧执行胶片颗粒分析和参数估计，并且每个帧可与包含胶片颗粒参数的一个FGC SEI消息相关联。在另一个实施方案中，胶片颗粒分析和参数估计执行得不太频繁，例如每GOP一次。在另一个实施方案中，可在某个时间间隔之后执行，例如，视频回放的每2秒一次。通常，何时以及多频繁地执行胶片颗粒分析和参数估计是具体实施选择。即使胶片颗粒分析和参数估计执行得不太频繁(不是在每帧上)，FGC SEI也可每帧插入一次。在这种情况下，胶片颗粒参数被重用，直到估计了新的参数。明显的是，可能出现许多面向具体实施的方法，但是使用本公开中描述的相同的基本原理。

甚至截止频率估计也不是本申请的焦点，这里描述的一些方法在这部分也是有用的。一旦强度间隔被计算并已知，通过使用先前描述的实施方案中的任一实施方案或其变体，可单独地估计每个间隔上的截止频率。这样，可针对特定的强度间隔估计多于一对的截止频率，而不是针对完整的动态范围估计一对截止频率。截止频率的估计可如现有技术中那样进行，例如如美国专利US 7738721中那样。

胶片颗粒在视频制作和视频传输中越来越受欢迎。当前的方法没有集中在胶片颗粒分析和参数估计部分，以再现胶片颗粒外观(形状和/或大小–因此是胶片颗粒图案)和胶片颗粒强度。因此，本申请中提出的方法(胶片颗粒参数的分析和估计)是非常有益的。如果能够提供此类方法，就可重新合成胶片颗粒的原始外观。例如，以这种方式，能够重新创建视频制作者的艺术内涵。此外，通过使用基于经估计的数据的更自适应的缩放因子，胶片颗粒可更自适应地调整到局部图像特性。而且，其可在整个视频序列中自适应地更新，而不是在整个视频中使用一组固定的缩放参数(因为视频特性，例如强度和照明条件，可在整个序列中改变)。例如，每I周期可执行一次参数估计，从而在参数调谐方面提供更大的灵活性。这是不可能手动完成的。而且，胶片颗粒用于掩蔽压缩伪影，并导致视觉质量提高。这样，可例如基于QP来调整首先估计的胶片颗粒强度，并且还可精调参数以更好地掩蔽压缩伪影。

另外的实施方案和信息

本申请描述了各个方面，包括工具、特征、实施方案、模型、方法等。具体描述了这些方面中的许多方面，并且至少示出个体特性，通常以可能听起来有限的方式描述。然而，这是为了描述清楚，并不限制这些方面的应用或范围。实际上，所有不同的方面可组合和互换以提供进一步的方面。此外，这些方面也可与先前提交中描述的方面组合和互换。

本申请中描述和设想的方面可以许多不同的形式实现。下文的图12、图13和图14提供了一些实施方案，但是设想了其他实施方案，并且图12、图13和图14的讨论不限制具体实施的广度。这些方面中的至少一个方面通常涉及视频编码和解码中的胶片颗粒，并且至少一个其他方面通常涉及传输生成或编码的比特流。这些和其他方面可实现为方法、装置、其上存储有用于根据所述方法中任一种对视频数据编码或解码的指令的计算机可读存储介质，和/或其上存储有根据所述方法中任一种生成的比特流的计算机可读存储介质。

在本申请中，术语“重建”和“解码”可以互换使用，术语“像素”和“样本”可以互换使用，术语“图像”、“图片”和“帧”可以互换使用。

本文描述了各种方法，并且每种方法包括用于实现方法的一个或多个步骤或动作。除非正确操作方法需要特定顺序的步骤或动作，否则可修改或组合特定步骤和/或动作的顺序和/或用途。此外，术语诸如“第一”、“第二”等可用于各种实施方案以修改元件、分量、步骤、操作等，诸如“第一解码”和“第二解码”。除非具体要求，否则使用此类术语并不暗示对修改操作的排序。因此，在这个示例中，第一解码不需要在第二解码之前执行，并且可例如在第二解码之前、期间或在重叠的时间段中发生。

本申请中所述的各种方法和其他方面可用于修改模块，例如，视频编码器1200和解码器1300的预编码处理模块(1201)或后处理解码模块(1385)，如图12和图13所示。此外，本发明方面不限于VVC或HEVC，并且可应用于例如其他标准和推荐(无论是预先存在的还是未来开发的)以及任何此类标准和推荐的扩展(包括VVC和HEVC)。除非另外指明或技术上排除在外，否则本申请中所述的方面可单独或组合使用。

在本申请中使用了各种数值，例如缩放因子的数量、强度间隔的数量。具体值是为了示例目的，并且所述方面不限于这些具体值。

图12示出了编码器1200。设想了这一编码器1200的变型，但是为了清楚起见，下文描述了编码器1200而不描述所有预期的变型。

在进行编码之前，视频序列可经过预编码处理1201，例如，将颜色变换应用于输入彩色图片(例如，从RGB 4:4:4到YCbCr 4:2:0的转换)，或执行输入图片分量的重新映射，以便获得对于压缩更有弹性的信号分布(例如，使用颜色分量中的一个颜色分量的直方图均衡化)。元数据可与预处理相关联并且附加到比特流。

在编码器1200中，由编码器元件对图片进行编码，如下所述。以例如CU为单位对要编码的图片进行分区1202和处理。例如，使用帧内模式或帧间模式对每个单元进行编码。当在帧内模式中对单元进行编码时，该编码器执行帧内预测1260。在帧间模式中，执行运动估计1275和运动补偿1270。编码器决定1205使用帧内模式或帧间模式中的哪一个模式对该单元进行编码，并且通过例如预测模式标志来指示帧内/帧间决定。例如，通过从原始图像块减去1210预测块来计算预测残差。

然后，对预测残差进行变换1225和量化1230。对量化的变换系数以及运动向量和其他语法元素进行熵编码1245以输出比特流。该编码器可跳过变换，并对未变换的残差信号直接应用量化。该编码器可绕过变换和量化两者，即，在不应用变换或量化过程的情况下直接对残差进行编码。

该编码器对编码块进行解码以提供进一步预测的参考。对量化的变换系数进行解量化1240和逆变换1250以对预测残差进行解码。将解码预测残差和预测块进行组合1255，来重建图像块。将环内滤波器1265应用于重建图片以执行例如解块/SAO(样本自适应偏移)滤波，从而减少编码伪影。将经滤波图像存储在参考图片缓冲器1280处。

图13示出了视频解码器1300的框图。在解码器1300中，由解码器元件对比特流进行解码，如下所述。视频解码器1300通常执行与如图12所述的编码道次互逆的解码道次。编码器1200通常还执行视频解码作为对视频数据进行编码的一部分。

具体地，解码器的输入包括视频比特流，该视频比特流可由视频编码器1200生成。首先，对比特流进行熵解码1330以获得变换系数、运动向量和其他经编码的信息。图片分区信息指示如何对图片进行分区。因此，解码器可根据解码图片分区信息来划分1335图片。对变换系数进行解量化1340和逆变换1350以对预测残差进行解码。将解码预测残差和预测块进行组合1355，来重建图像块。可从帧内预测1360或运动补偿预测(即，帧间预测)1375获得1370预测块。将环内滤波器765应用于重建图像。将经滤波图像存储在参考图片缓冲器1380处。

解码图片还可经过解码后处理1385，例如，逆颜色变换(例如，从YCbCr 4:2:0到RGB 4:4:4的转换)，或执行在预编码处理1201中执行的重新映射的逆过程的逆重新映射。解码后处理可使用在预编码处理中导出并且在比特流中有信号通知的元数据。

图14示出了在其中实现各个方面和实施方案的系统的示例的框图。系统1400可具体体现为包括下文所述的各个部件的设备，并且被配置为执行本文档中所述的方面中的一个或多个方面。此类设备的示例包括但不限于各种电子设备，诸如个人计算机、膝上型计算机、智能电话、平板电脑、数字多媒体机顶盒、数字电视机接收器、个人视频录制系统、连接的家用电器和服务器。系统1400的元件可单独地或组合地体现在单个集成电路(IC)、多个IC和/或分立的部件中。例如，在至少一个实施方案中，系统1400的处理和编码器/解码器元件跨多个IC和/或分立的部件分布。在各种实施方案中，系统1400经由例如通信总线或通过专用输入端口和/或输出端口通信地耦接到一个或多个其他系统或其他电子设备。在各种实施方案中，系统1400被配置为实现本文档中描述的方面中的一个或多个方面。

系统1400包括至少一个处理器1410，该至少一个处理器被配置为执行加载在其中的指令以用于实现例如本文档中所述的各个方面。处理器1410可包括嵌入式存储器、输入输出接口以及如在本领域中是已知的各种其他电路。系统1400包括至少一个存储器1420(例如，易失性存储器设备和/或非易失性存储器设备)。系统1400包括存储设备1440，该存储设备可包括非易失性存储器和/或易失性存储器，包括但不限于电可擦除可编程只读存储器(EEPROM)、只读存储器(ROM)、可编程只读存储器(PROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、磁盘驱动器和/或光盘驱动器。作为非限制性示例，存储设备1440可包括内部存储设备、附接的存储设备(包括可拆卸和不可拆卸的存储设备)和/或网络可访问的存储设备。

系统1400包括编码器/解码器模块1430，该编码器/解码器模块被配置为例如处理数据以提供编码的视频或解码视频，并且编码器/解码器模块1430可包括其自身的处理器和存储器。编码器/解码器模块1430表示可包括在设备中以执行编码和/或解码功能的一个或多个模块。众所周知，设备可包括编码模块和解码模块中的一者或两者。另外地，编码器/解码器模块1430可实现为系统1400的独立元件，或者可结合在处理器1410内作为本领域的技术人员已知的硬件和软件的组合。

待加载到处理器1410或编码器/解码器1430上以执行本文档中所述的各个方面的程序代码可存储在存储设备1440中，并且随后加载到存储器1420上以供处理器1410执行。根据各种实施方案，处理器1410、存储器1420、存储设备1440和编码器/解码器模块1430中的一者或多者可在本文档中所述的过程的执行期间存储各种项目中的一个或多个项目。此类存储项目可包括但不限于输入视频、解码的视频或部分解码的视频、比特流、矩阵、变量以及处理等式、公式、运算和运算逻辑的中间或最终结果。

在一些实施方案中，在处理器1410和/或编码器/解码器模块1430内部的存储器用于存储指令以及提供在编码或解码期间所需的用于处理的工作存储器。然而，在其他实施方案中，处理设备(例如，处理设备可以是处理器1410或编码器/解码器模块1430)外部的存储器用于这些功能中的一个或多个功能。外部存储器可以是存储器1420和/或存储设备1440，例如动态易失性存储器和/或非易失性闪存存储器。在若干实施方案中，外部非易失性闪存存储器用于存储例如电视机的操作系统。在至少一个实施方案中，快速外部动态易失性存储器诸如RAM用作视频编码和解码操作的工作存储器，诸如MPEG-2(MPEG是指运动图片专家组，MPEG-2也称为ISO/IEC 13818，并且13818-1也称为H.222，13818-2也称为H.262)、HEVC(HEVC是指高效视频编码，也称为H.265和MPEG-H部分2)或VVC(通用视频编码，由联合视频专家小组(JVET)开发的新标准)。

可通过如框1405中所指示的各种输入设备来提供对系统1400的元件的输入。此类输入设备包括但不限于：(i)射频(RF)部分，其接收例如由广播器通过空中传输的RF信号；(ii)分量(COMP)输入端子(或一组COMP输入端子)；(iii)通用串行总线(USB)输入端子；和/或(iv)高清晰度多媒体接口(HDMI)输入端子。图12中未示出的其他示例，包括复合视频。

在各种实施方案中，框1405的输入设备具有如在本领域中是已知的相关联的相应的输入处理元件。例如，RF部分可与适用于以下的元件相关联：(i)选择所需的频率(也称为选择信号，或将信号频带限制到一个频带)，(ii)下变频选择的信号，(iii)再次频带限制到更窄频带以选择(例如)在某些实施方案中可称为信道的信号频带，(iv)解调下变频和频带限制的信号，(v)执行纠错，以及(vi)解复用以选择所需的数据包流。各种实施方案的RF部分包括用于执行这些功能的一个或多个元件，例如频率选择器、信号选择器、频带限制器、信道选择器、滤波器、下变频器、解调器、纠错器和解复用器。RF部分可包括执行这些功能中的各种功能的调谐器，这些功能包括例如下变频接收信号至更低频率(例如，中频或近基带频率)或至基带。在一个机顶盒实施方案中，RF部分及其相关联的输入处理元件接收通过有线(例如，电缆)介质传输的RF信号，并且通过滤波、下变频和再次滤波至所需的频带来执行频率选择。各种实施方案重新布置上述(和其他)元件的顺序，移除这些元件中的一些元件，和/或添加执行类似或不同功能的其他元件。添加元件可包括在现有元件之间插入元件，例如，插入放大器和模数变换器。在各种实施方案中，RF部分包括天线。

另外地，USB和/或HDMI端子可包括用于跨USB和/或HDMI连接将系统1400连接到其他电子设备的相应的接口处理器。应当理解，输入处理的各个方面(例如，Reed-Solomon错误校正)可在必要时例如在独立的输入处理IC内或在处理器1410内实现。类似地，USB或HDMI接口处理方面可在必要时在独立的接口IC内或在处理器1410内实现。将经解调的、经纠错的和经解复用的流提供给各种处理元件，包括例如处理器1410以及编码器/解码器1430，该处理元件与存储器和存储元件结合操作以根据需要处理数据流以用于在输出设备上呈现。

可在集成外壳内提供系统1400的各种元件，在集成外壳内，使用合适的连接排布结构1415(例如，如在本领域中是已知的内部总线，包括IC间(I2C)总线、接线和印刷电路板)，各种元件可互连并且在其间传输数据。

系统1400包括通信接口1450，该通信接口允许经由通信信道1490与其他设备的通信。通信接口1450可包括但不限于收发器，该收发器被配置为通过通信信道1490传输和接收数据。通信接口1450可包括但不限于调制解调器或网卡，并且通信信道1490可例如在有线和/或无线介质内实现。

在各种实施方案中，使用无线网络诸如Wi-Fi网络例如IEEE 802.11(IEEE是指电气和电子工程师协会)将数据流式发射或以其他方式提供给系统1400。这些实施方案的Wi-Fi信号是通过适于Wi-Fi通信的通信信道1490和通信接口1450接收的。这些实施方案的通信信道1490通常连接到接入点或路由器，该接入点或路由器提供对外部网络(包括互联网)的访问，以允许流式传输应用和其他越过运营商的通信。其他实施方案使用机顶盒向系统1400提供流式传输的数据，该机顶盒通过输入块1405的HDMI连接来递送数据。还有其他实施方案使用输入块1405的RF连接向系统1400提供流式传输的数据。如上所述，各种实施方案以非流传输方式提供数据。另外地，各种实施方案使用除了Wi-Fi以外的无线网络，例如蜂窝网络或蓝牙网络。

系统1400可向各种输出设备(包括显示器1465、扬声器1475和其他外围设备1485)提供输出信号。各种实施方案的显示器1465包括例如触摸屏显示器、有机发光二极管(OLED)显示器、曲面显示器和/或可折叠显示器中的一个或多个显示器。显示器1465可用于电视、平板电脑、膝上型电脑、蜂窝电话(移动电话)或其他设备。显示器1465还可与其他部件集成(例如，如在智能电话中)，或可以是独立的显示器(例如，用于膝上型电脑的外部监视器)。在实施方案的各种示例中，其他外围设备1485包括独立数字视频光盘(或数字多功能光盘)(DVR，可表示这两个术语)、碟片播放器、立体声系统和/或照明系统中的一者或多者。各种实施方案使用一个或多个外围设备1485，该一个或多个外围设备基于系统1400的输出来提供功能。例如，碟片播放器执行播放系统1400的输出的功能。

在各种实施方案中，使用信令诸如AV.Link、消费电子控制(CEC)或允许带有或不带有用户干预的设备到设备控制的其他通信协议，在系统1400与显示器1465、扬声器1475或其他外围设备1485之间传送控制信号。可通过相应的接口1465、875和1485经由专用连接将输出设备通信地耦接到系统1400。另选地，可经由通信接口1450使用通信信道1490将输出设备连接到系统1400。在电子设备(诸如例如电视机)中，显示器1465和扬声器1475可与系统1400的其他部件集成在单个单元中。在各种实施方案中，显示器接口1465包括显示驱动器，诸如例如定时控制器(T Con)芯片。

例如，如果输入1405的RF部分是独立机顶盒的一部分，则显示器1465和扬声器1475可另选地相对于其他部件中的一个或多个部件而独立。在其中显示器1465和扬声器1475为外部部件的各种实施方案中，可经由专用输出连接(包括例如HDMI端口、USB端口或COMP输出)来提供输出信号。

该实施方案可由处理器1410实现的计算机软件，或由硬件，或由硬件和软件的组合来进行。作为非限制性示例，这些实施方案可由一个或多个集成电路实现。作为非限制性示例，存储器1420可为适于技术环境的任何类型，并且可使用任何适当的数据存储技术(诸如光存储器设备、磁存储器设备、基于半导体的存储器设备、固定存储器和可移动存储器)来实现。作为非限制性示例，处理器1410可以是适于技术环境的任何类型，并且可涵盖微处理器、通用计算机、专用计算机和基于多核架构的处理器中的一者或多者。

各种具体实施参与解码。如本申请中所用，“解码”可涵盖例如对所接收的编码序列执行的过程的全部或部分，以便产生适于显示的最终输出。在各种实施方案中，此类过程包括通常由解码器执行的一个或多个过程，例如熵解码、逆量化、逆变换和差分解码。在各种实施方案中，此类过程还包括或另选地包括由本申请中所述的各种具体实施的解码器执行的过程，例如包括逆变换。

作为进一步的示例，在一个实施方案中，“解码”仅是指熵解码，在另一个实施方案中，“解码”仅是指差分解码，并且在又另一个实施方案中，“解码”是指熵解码和差分解码的组合。短语“解码过程”旨在具体地指代操作的子集还是广义地指代更广泛的解码过程基于具体描述的上下文将是清楚的，并且被认为会被本领域的技术人员很好地理解。

各种具体实施参与编码。以与上面关于“解码”的讨论类似的方式，如在本申请中使用的“编码”可涵盖例如对输入视频序列执行以便产生编码比特流的全部或部分过程。在各种实施方案中，此类过程包括通常由编码器执行的一个或多个过程，例如，分区、差分编码、变换、量化和熵编码。在各种实施方案中，此类过程还包括或另选地包括由本申请中所述的各种具体实施的编码器执行的过程，例如将图像块变换到频域中。

作为进一步的示例，在一个实施方案中，“编码”仅是指熵编码，在另一个实施方案中，“编码”仅是指差分编码，并且在又一个实施方案中，“编码”是指差分编码和熵编码的组合。短语“编码过程”是具体地指代操作的子集还是广义地指代更广泛的编码过程基于具体描述的上下文将是清楚的，并且据信将被本领域的技术人员很好地理解。

注意，本文所使用的语法元素是描述性术语。因此，它们不排除使用其他语法元素名称。

当附图呈现为流程图时，应当理解，其还提供了对应装置的框图。类似地，当附图呈现为框图时，应当理解，其还提供了对应的方法/过程的流程图。

各种实施方案是指速率失真优化。具体地，在编码过程期间，通常考虑速率和失真之间的平衡或权衡，这常常考虑到计算复杂性的约束。速率失真优化通常表述为最小化速率失真函数，该速率失真函数是速率和失真的加权和。存在不同的方法解决速率失真优化问题。例如，这些方法可基于对所有编码选项(包括所有考虑的模式或编码参数值)的广泛测试，并且完整评估其编码成本以及重建信号在编码和解码之后的相关失真。更快的方法还可用于降低编码复杂性，特别是对基于预测或预测残差信号而不是重建的残差信号的近似失真的计算。也可使用这两种方法的混合，诸如通过针对可能的编码选项中的仅一些编码选项使用近似失真，而针对其他编码选项使用完全失真。其他方法仅评估可能的编码选项的子集。更一般地，许多方法采用各种技术中任一种来执行优化，但是优化不一定是对编码成本和相关失真两者的完整评估。

本文所述的具体实施和方面可在例如方法或过程、装置、软件程序、数据流或信号中实现。即使仅在单个形式的具体实施的上下文中讨论(例如，仅作为方法讨论)，讨论的特征的具体实施也可以其他形式(例如，装置或程序)实现。装置可在例如适当的硬件、软件和固件中实现。方法可在例如一般是指处理设备的处理器中实现，

该处理设备包括例如计算机、微处理器、集成电路或可编程逻辑设备。处理器还包括通信设备，诸如例如计算机、手机、便携式/个人数字助理(“PDA”)以及便于最终用户之间信息通信的其他设备。

提及“一个实施方案”或“实施方案”或“一个具体实施”或“具体实施”以及它们的其他变型，意味着结合实施方案描述的特定的特征、结构、特性等包括在至少一个实施方案中。因此，短语“在一个实施方案中”或“在实施方案中”或“在一个具体实施中”或“在具体实施中”的出现以及出现在本申请通篇的各个地方的任何其他变型不一定都是指相同的实施方案。

另外地，本申请可涉及“确定”各种信息。确定信息可包括例如估计信息、计算信息、预测信息或从存储器检索信息中的一者或多者。

此外，本申请可涉及“访问”各种信息。访问信息可包括例如接收信息、检索信息(例如，从存储器)、存储信息、移动信息、复制信息、计算信息、确定信息、预测信息或估计信息中的一者或多者。

另外地，本申请可涉及“接收”各种信息。与“访问”一样，接收旨在为广义的术语。接收信息可包括例如访问信息或检索信息(例如，从存储器)中的一者或多者。此外，在诸如例如存储信息、处理信息、传输信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息的操作期间，“接收”通常以一种方式或另一种方式参与。

应当理解，例如，在“A/B”、“A和/或B”以及“A和B中的至少一者”的情况下，使用以下“/”、“和/或”和“至少一种”中的任一种旨在涵盖仅选择第一列出的选项(A)，或仅选择第二列出的选项(B)，或选择两个选项(A和B)。作为进一步的示例，在“A、B和/或C”和“A、B和C中的至少一者”的情况下，此类短语旨在涵盖仅选择第一列出的选项(A)，或仅选择第二列出的选项(B)，或仅选择第三列出的选项(C)，或仅选择第一列出的选项和第二列出的选项(A和B)，或仅选择第一列出的选项和第三列出的选项(A和C)，或仅选择第二列出的选项和第三列出的选项(B和C)，或选择所有三个选项(A和B和C)。如对于本领域和相关领域的普通技术人员显而易见的是，这可扩展到所列出的尽可能多的项目。

而且，如本文所用，词语“发信号通知”是指(除了别的以外)向对应解码器指示某物。例如，在某些实施方案中，编码器对多个参数中的特定一个参数进行编码以进行变换。这样，在一个实施方案中，在编码器侧和解码器侧两者均使用相同的参数。因此，例如，编码器可将特定参数传输(显式发信号通知)到解码器，使得解码器可使用相同的特定参数。相反，如果解码器已具有特定参数以及其他参数，则可在不传输(隐式发信号通知)的情况下使用发信号通知，以简单允许解码器知道和选择特定参数。通过避免传输任何实际功能，在各种实施方案中实现了比特节省。应当理解，发信号通知可以各种方式实现。例如，在各种实施方案中，使用一个或多个语法元素、标志等将信息发信号通知至对应解码器。虽然前面涉及词语“signal(发信号通知)”的动词形式，但是词语“signal(信号)”在本文也可用作名词。

本公开已描述了例如可被传输或存储的各种信息，诸如例如语法。此信息能够以多种方式封装或布置，包括例如视频标准中常见的方式，诸如将信息放入SPS、PPS、NAL单元、标头(例如，NAL单元标头或切片标头)或SEI消息中。其他方式也是可用的，包括例如用于系统级或应用级标准的通用方式，诸如将信息放入以下各项：

·会话描述协议(SDP)，其为用于描述多媒体通信会话以用于会话通知和会话邀请的一种格式，例如，如在RFC中所述并与实时传输协议(RTP)传输结合使用。

·DASH媒体演示描述(MPD)描述符，例如，如在DASH中使用并通过HTTP传输，描述符与表示或表示的集合相关联，以向内容表示提供附加特性。

·RTP标头扩展，例如，如在RTP流式传输期间使用，和/或

·ISO基础媒体文件格式，例如，如在OMAF中使用并且使用box，该box是由唯一类型标识符和长度定义的面向对象的构建块，在某些规范中也称为“atom”。

对于本领域的普通技术人员将显而易见的是，具体实施可产生格式化为携带例如可存储或可传输的信息的各种信号。信息可包括例如用于执行方法的指令或由所述具体实施中的一个具体实施产生的数据。例如，可格式化信号以携带所述实施方案的比特流。可格式化此类信号例如为电磁波(例如，使用频谱的射频部分)或基带信号。格式化可包括例如对数据流编码并且用编码的数据流调制载体。信号携带的信息可以是例如模拟或数字信息。众所周知，信号可通过各种不同的有线或无线链路传输。信号可存储在处理器可读介质上。

我们描述了多个实施方案。这些实施方案的特征可在各种权利要求类别和类型中单独地或以任何组合提供。此外，实施方案可包括以下特征、设备或方面中的一者或多者，单独地或以任何组合，跨各种权利要求类别和类型：

·调整解码器和/或编码器中的胶片颗粒过程。

·导出胶片颗粒参数以应用于解码器中的胶片颗粒模拟过程和/或编码器中的胶片颗粒估计过程。

·发信号通知与待在解码器中应用的胶片颗粒过程相关的信息。

·从胶片颗粒信息中导出与待应用的胶片颗粒过程相关的信息，该导出在编码器中应用。

·在信令中插入使得解码器能够识别待使用的胶片颗粒过程的语法元素，诸如缩放因子、强度间隔等。

·基于这些语法元素选择待在解码器处应用的该至少一个缩放因子。

·包括所描述的语法元素中的一个或多个语法元素或其变型的比特流或信号。

·包括传递根据所述实施方案中任一个实施方案生成的信息的语法的比特流或信号。

·在信令中插入语法元素，该语法元素使得解码器能够以与编码器所使用的方式相对应的方式处理胶片颗粒。

·对包括所描述的语法元素中的一个或多个语法元素或其变型的比特流或信号进行创建和/或传输和/或接收和/或解码。

·根据所述实施方案中任一个实施方案所述的创建和/或传输和/或接收和/或解码。

·根据所述实施方案中任一个实施方案所述的方法、过程、装置、存储指令的介质、存储数据的介质或信号。

·根据所述实施方案中的任一实施方案执行胶片颗粒过程的电视、机顶盒、蜂窝电话、平板电脑或其他电子设备。

·根据所述实施方案中的任一实施方案执行胶片颗粒过程并且(例如，使用监视器、屏幕或其他类型的显示器)显示所得图像的电视、机顶盒、蜂窝电话、平板电脑或其他电子设备。

·选择(例如，使用调谐器)待接收信号(包括编码图像)的信道并且根据所述实施方案中的任一实施方案执行适于核心变换的胶片颗粒过程的电视、机顶盒、蜂窝电话、平板电脑或其他电子设备。

·通过无线电(例如，使用天线)接收信号(包括编码图像)并且根据所述实施方案中的任一实施方案执行适于核心变换的胶片颗粒过程的电视、机顶盒、蜂窝电话、平板电脑或其他电子设备。

Claims (20)

1.一种方法，所述方法包括针对具有胶片颗粒的图像中的多个图像块估计胶片颗粒参数(600)，其中所述胶片颗粒参数包括至少一个缩放因子，并且所述估计还包括：

获得(601)多个胶片颗粒块，胶片颗粒块表示图像块中的胶片颗粒估计；

获得(602)多个经滤波块，经滤波块表示没有胶片颗粒的图像块；以及

针对所述图像中的所述多个图像块确定(604)至少一个缩放因子，其中所述至少一个缩放因子适于基于所述多个胶片颗粒块和所述多个经滤波块的统计。

2.根据权利要求1所述的方法，其中图像块的所述统计包括所述经滤波块的平均值和所述胶片颗粒块的方差。

3.根据权利要求1所述的方法，其中图像块、胶片颗粒块和经滤波块包括N×M个像素，其中M和N是正整数。

4.根据权利要求1所述的方法，其中所述图像块、所述胶片颗粒块和所述经滤波块位于所述图像中的同一位置。

5.根据权利要求1所述的方法，所述方法还包括：

获得所述图像的掩蔽信息，所述掩蔽信息针对所述多个图像块中的每个块包括关于所述图像块是否平坦的指示；

基于所述块是平坦的指示选择所述多个图像块的子集；以及

针对所选择的图像块子集确定所述至少一个缩放因子。

6.根据权利要求5所述的方法，所述方法还包括：

确定所选择的图像块子集中的图像块的数量是否高于一水平；以及

响应于所述图像块的数量高于所述水平，针对所选择的图像块子集确定所述至少一个缩放因子。

7.根据权利要求2所述的方法，其中针对所述多个图像块确定单个缩放因子，并且其中所述单个缩放因子是所述多个胶片颗粒块的所述方差的平均值。

8.根据权利要求2所述的方法，其中针对所述多个图像块对单个强度间隔确定单个缩放因子，并且其中确定所述单个缩放因子包括：

基于所述图像块的经滤波块的所述平均值高于第一值(较低强度间隔值)并且低于第二值(较高强度间隔值)确定图像块是否在所述单个强度间隔内；以及

将所述单个缩放因子确定为所述单个强度间隔内的所述胶片颗粒块的所述方差的平均值。

9.根据权利要求8所述的方法，所述方法还包括：

确定所述单个强度间隔中的图像块的数量是否高于一水平；以及

响应于所述图像块的数量高于所述水平，确定所述单个缩放因子。

10.根据权利要求2所述的方法，其中针对所述多个图像块定义P个强度间隔，P是大于一的正整数，并且其中通过以下步骤针对所述P个强度间隔中的每个当前强度间隔确定缩放因子：

基于所述图像块的经滤波块的所述平均值高于第一值(较低当前强度间隔值)并且低于第二值(较高当前强度间隔值)确定图像块是否在所述P个强度间隔中的当前强度间隔内；以及

将针对所述当前强度间隔的所述缩放因子确定为所述当前强度间隔内的所述胶片颗粒块的所述方差的平均值。

11.根据权利要求10所述的方法，其中P个强度间隔具有固定/均匀的大小。

12.根据权利要求10所述的方法，其中P个强度间隔具有可配置的变量大小。

13.根据权利要求12所述的方法，其中所述P个强度间隔的大小被调整为针对所述P个强度间隔中的每个强度间隔具有相同数量的图像块。

14.根据权利要求2所述的方法，其中确定至少一个缩放因子包括：

通过拟合作为所述多个图像块的所述经滤波块的所述平均值的函数的所述胶片颗粒块的所述方差的曲线来导出缩放函数；以及

导出近似所述缩放函数的分段常数函数，其中所述至少一个缩放因子和P个强度间隔表示所述分段常数函数。

15.根据权利要求2所述的方法，其中确定至少一个缩放因子包括：

通过拟合作为所述多个图像块的所述经滤波块的所述平均值的函数的所述胶片颗粒块的所述方差的曲线来导出缩放函数；以及

用K个量化级别量化所述缩放函数，K是正整数，得到分区和码字；以及

基于所述码字和所述分区确定所述至少一个缩放因子和P个强度间隔。

16.根据权利要求15所述的方法，其中强度间隔的数量P和量化级别的数量K适于满足一些约束。

17.根据权利要求10、14、15中任一项所述的方法，其中所述胶片颗粒参数还包括所述P个强度间隔中的每个强度间隔上的至少一个截止频率。

18.根据权利要求1至17中任一项所述的方法，其中所述胶片颗粒参数还适于在所述图像的编码中使用的量化参数、所述图像在视频中的位置、用于所述图像的预测类型、压缩伪影中的一者。

19.一种装置，所述装置包括存储器和一个或多个处理器，其中所述一个或多个处理器被配置为执行根据权利要求1至18中任一项所述的方法。

20.一种计算机可读的非暂态程序存储设备，所述非暂态程序存储设备有形地体现能够由所述计算机执行以用于执行根据权利要求1至18中任一项所述的方法的指令的程序。