CN117099371A - 用于生成胶片颗粒参数的方法或装置、用于生成具有胶片颗粒图案的像素块的方法或装置 - Google Patents

Abstract

本发明提出了至少一种用于在对视频进行编码或解码时高效地处理胶片颗粒的方法和装置。例如，该方法包括：接收胶片颗粒信息，该胶片颗粒信息包括指定与图像块相关联的胶片颗粒的属性的至少一个参数；对随机值块应用变换；对经变换的块进行滤波，该滤波由所接收的胶片颗粒信息中的至少一个参数定义；对经滤波的变换块应用相应的逆变换，以生成具有用于该图像块的胶片颗粒图案的像素块。有利地，该变换是视频编码标准的核心变换，例如DCT‑II、DCT‑VIII和DST‑VII中的一者。

Description

用于生成胶片颗粒参数的方法或装置、用于生成具有胶片颗 粒图案的像素块的方法或装置

技术领域

本公开的实施方案中的至少一个实施方案整体涉及用于视频编码、视频分发和视频渲染中的胶片颗粒估计和胶片颗粒合成的方法或装置，并且更具体地涉及用于针对图像块生成具有胶片颗粒图案的像素块的方法或装置。

背景技术

在视频制作中，胶片颗粒通常是所期望的特征，其可产生自然外观，并且有助于表达创造性意图。然而，胶片颗粒不能用现代视频压缩标准(诸如通用视频编码(VVC)，也称为ITU-T H.266和ISO/IEC 23090-3)很好地压缩。实际上，在各种滤波和有损压缩步骤中，胶片颗粒被抑制，而无法重建。然而，关于胶片颗粒的信息可作为元数据通过例如由通用补充增强信息(VSEI，也称为ITU-T建议H.274和ISO/IEC 23002-7)指定的SEI消息来发送。因此，通常在压缩之前对胶片颗粒进行建模和去除，并且借助于适当的元数据在解码器侧对胶片颗粒进行重新合成。此外，胶片颗粒还可用作掩蔽由压缩产生的编码伪影的工具。已经研究了用于胶片颗粒建模的不同方法。在VVC的情况下，可使用频率滤波解决方案对胶片颗粒进行参数化和重新合成。

现有胶片颗粒建模方法在胶片颗粒建模的设计复杂性方面存在一定局限性。因此，需要改进现有技术。

发明内容

通过本文所述的一般方面解决和处理现有技术的缺点和不足。

根据第一方面，提供了一种方法。该方法包括：接收胶片颗粒信息，该胶片颗粒信息包括指定与图像块相关联的胶片颗粒的属性的至少一个参数；对随机值块应用变换；对经变换的随机值块进行滤波，该滤波由所接收的胶片颗粒信息中的至少一个参数定义；以及对经滤波的变换块应用相应的逆变换，以生成具有用于该图像块的胶片颗粒图案的像素块。有利地，该变换是标准化变换(例如，VVC核心变换)DCT-II、DCT-VIII、DST-VII中的一者。

根据另一方面，提供了第二方法。该方法包括：接收胶片颗粒块，该胶片颗粒块表示图像块中的胶片颗粒估计；对胶片颗粒块应用变换；以及根据经变换的胶片颗粒块生成指定与该图像块相关联的胶片颗粒的属性的至少一个参数。有利地，该变换是标准化变换(例如，VVC核心变换)DCT-II、DCT-VIII、DST-VII中的一者。

根据另一方面，提供了一种装置。该装置包括一个或多个处理器，其中该一个或多个处理器被配置为根据其变体中的任一个变体实施用于生成具有胶片颗粒图案的像素块的方法。根据另一方面，用于生成具有用于图像块的胶片颗粒图案的像素块的该装置包括：用于接收胶片颗粒信息的装置，该胶片颗粒信息包括指定与该图像块相关联的胶片颗粒的属性的至少一个参数；用于对随机值块应用变换的装置；用于对经变换的随机值块进行滤波的装置，该滤波由所接收的胶片颗粒信息中的至少一个参数定义；和用于对经滤波的变换块应用相应的逆变换以生成具有用于该图像块的胶片颗粒图案的像素块的装置。有利地，用于应用变换的装置实施标准化变换(例如，VVC核心变换)DCT-II、DCT-VIII、DST-VII中的一者。

根据另一方面，提供了另一种装置。该装置包括一个或多个处理器，其中该一个或多个处理器被配置为根据其变体中的任一个变体实施用于生成指定与图像块相关联的胶片颗粒的属性的至少一个参数的方法。根据另一方面，用于生成胶片颗粒参数的该装置包括用于以下各项的装置：接收胶片颗粒块，该胶片颗粒块表示该图像块中的胶片颗粒估计；对胶片颗粒块应用变换；以及根据经变换的胶片颗粒块生成指定与该图像块相关联的胶片颗粒的属性的至少一个参数。有利地，用于应用变换的装置实施标准化变换(例如，VVC核心变换)DCT-II、DCT-VIII、DST-VII中的一者。

根据至少一个实施方案的另一个一般方面，提供了一种设备，该设备包括：根据解码实施方案中的任一实施方案的装置；以及以下项中的至少一者：(i)天线，该天线被配置为接收信号，该信号包括视频块；(ii)频带限制器，该频带限制器被配置为将所接收到的信号限制为包括该视频块的频带；或(iii)显示器，该显示器被配置为显示表示视频块的输出。

根据至少一个实施方案的另一个一般方面，提供了一种非暂态计算机可读介质，该非暂态计算机可读介质包括根据所描述的编码实施方案或变体中的任一者生成的数据内容。

根据至少一个实施方案的另一个一般方面，提供了一种信号，该信号包括根据所描述的编码实施方案或变体中的任一者生成的视频数据。

根据至少一个实施方案的另一个一般方面，比特流被格式化以包括根据所描述的编码实施方案或变体中的任一者生成的数据内容。

根据至少一个实施方案的另一个一般方面，提供了一种计算机程序产品，该计算机程序产品包括指令，当由计算机执行程序时，该指令使计算机执行所述编码/解码实施方案或变体中的任一个实施方案或变体。

通过将结合附图阅读的示例性实施方案的以下详细描述，一般方面的这些和其他方面、特征和优点将变得显而易见。

附图说明

在附图中，示出了若干实施方案的示例。

图1示出了视频编码/解码框架中胶片颗粒使用的简化框图。

图2示出了根据至少一个实施方案的一般方面的用于生成胶片颗粒图案块的方法的简化框图。

图3示出了根据至少一个实施方案的一般方面的视频编码/解码框架中胶片颗粒使用的修改框图。

图4a示出了根据至少一个实施方案的一般方面的用于生成胶片颗粒图案块的方法的修改框图。

图4b示出了根据至少一个实施方案的一般方面的用于生成胶片颗粒参数的方法的修改框图。

图5示出了在解码器侧调整胶片颗粒参数的胶片颗粒的修改框图。

图6示出了在其中可实现实施方案的各个方面的视频编码器的实施方案的框图。

图7示出了在其中可实现实施方案的各个方面的视频解码器的实施方案的框图。

图8示出了在其中可实现实施方案的各个方面的示例性装置的框图。

具体实施方式

应当理解，附图和描述已简化以说明与清楚理解本发明原理相关的元素，同时为了清楚起见，消除了在典型的编码和/或解码设备中发现的许多其他元素。应当理解，尽管在本文中可使用术语第一和第二来描述各种元件，但是这些元件不应受这些术语限制。这些术语仅用于将一个元件与另一元件区分开。

相对于对图像的编码/解码而描述了各种实施方案。这些实施方案可应用于对图像的一部分(诸如切片或图块，图块组或整个图像序列)进行编码/解码。

上文描述了各种方法，并且方法中的每一方法包括用于实现所描述的方法的一个或多个步骤或动作。除非正确操作方法需要特定顺序的步骤或动作，否则可修改或组合特定步骤和/或动作的顺序和/或用途。

至少一些实施方案涉及用于生成具有胶片颗粒的像素块的方法，其中在该生成中使用的变换是DCT-II、DCT-VIII、DST-VII中的一者。用于生成具有胶片颗粒的像素块的方法例如在视频解码方案中实施。至少一些实施方案还涉及用于估计和生成胶片颗粒参数的方法，其中在该生成中使用的变换是DCT-II、DCT-VIII、DST-VII中的一者。用于生成胶片颗粒参数的方法例如在视频编码方案中实施。

图1示出了视频编码/解码框架中胶片颗粒使用的简化框图。胶片颗粒是一种悦耳的噪声，可增强视频内容的自然外观。它是在摄影胶片的曝光和显影的物理过程中产生的。然而，数字传感器不经历此类过程，因此没有胶片颗粒。这会产生无噪声的数字视频，其完美、清晰且明显的边缘和单调的区域会损害观看者的主观体验。因此，对视频重新进行噪声处理可改善视觉体验，并且内容创作者通常会在分发内容之前进行此类处理。这一点尤其被电影业所接受，其中许多创作者转向将胶片颗粒添加到视频内容中的技术，以增加视频的质感和温暖感受，或者有时创造一种怀旧感觉(例如，如果叙事需要，则描述先前的时代)。此外，胶片颗粒可用于掩蔽压缩伪影，即使它不存在于源视频中。

为了支持不断增长的向终端用户分发新内容的需求，压缩是一个不可避免的步骤，因为终端用户需要提高再现图像的分辨率和质量，从而产生大量要传输的数据。这对当今网络来说是一个巨大的负担。因此，需要说明的是，在传输之前，视频通常经历各种预处理步骤，其中不可避免地要进行视频压缩。然而，在各种滤波和有损压缩步骤中，胶片颗粒被抑制，而无法重建。缓解这一问题的一种方法是，使用较低的量化参数(Qp)来更好地保留胶片颗粒等精细细节。然而，这可显著提高比特率。另一种解决方案是，在压缩之前对胶片颗粒进行建模，稍后可在解码器侧对胶片颗粒进行重新合成。

因此，由于胶片颗粒被视为所期望的噪声，因此应当在编码期间予以保留。这不是一项容易的任务，因为已知胶片颗粒在高频下(例如，在DCT域中)具有高电平，这通常被量化过程抑制。为了保持胶片颗粒的外观，同时提高编码效率，使用参数化模型对胶片颗粒进行重新合成。此外，在预处理步骤期间通过滤波去除胶片颗粒或者/以及通过压缩抑制胶片颗粒。因此，更高效的是，使用参数化胶片颗粒模型，预定义或即时估计其参数，通过各种预处理步骤以及/或者在压缩期间将其去除，并且在解压缩之后将其合成回视频内容中。以这种方式，通过适当的元数据(例如经由SEI消息)将胶片颗粒参数传输到用户侧(解码器)。

对胶片颗粒进行建模的最终益处是：

1)最终比特率可以更低，因为不需要严格地在压缩之后保留胶片颗粒

2)如果在压缩之前滤除胶片颗粒，则可提高最终比特率，因为其在时间上是不相关的，因此可改善预测

3)重建数据的视觉质量更高，因为可以像在原始内容中那样对胶片颗粒进行建模(即使压缩期间的低Qp值也会抑制胶片颗粒)

4)即使不存在于原始内容中，胶片颗粒也可改善视觉质量并且可掩蔽压缩伪影

通常，用于视频编码的胶片颗粒建模和合成由两部分组成，一部分位于编码器侧，另一部分位于解码器侧。这两个部分是编码器处的噪声去除和参数化；以及根据所接收的元数据在解码器侧的噪声合成。在Joan Llach的“胶片颗粒技术—H.264|MPEG-4AVC比特流规范(Film Grain Technology—Specifications for H.264|MPEG-4AVC Bitstreams)”(也称为SMPTE-RDD5)中给出了胶片颗粒参数化和合成的可能模型中的一个模型。需要说明的是，该模型描述了将胶片颗粒添加到解码帧中的比特精确胶片颗粒模型(因此定义了胶片颗粒合成方法)。然而，可隐含地得出关于编码器/参数估计侧的结论。在图1中描绘了整个过程的简化框图。首先对输入视频应用预处理步骤100。经滤波的视频然后经过使用特定内部变换具体实施的胶片颗粒估计101。该步骤生成胶片颗粒(FG)参数。在步骤102中对视频进行编码，并且将FG参数插入FG SEI消息中。在步骤103中，解码器对比特流以及FG SEI消息进行解码。这会生成解码视频，该解码视频可在步骤104中由FG合成过程进一步增强。在FG估计和合成过程中使用的变换通常是特定的，并且不同于在编码和解码过程中使用的核心变换。需要说明的是，如果需要，可跳过步骤100和步骤101，并且使用一组固定的手动调谐参数代替。

本公开遵循所提出的模型，同时通过使用标准化核心变换来提高其计算效率。几种变换是现代视频编码标准(离散余弦变换(DCT)和离散正弦变换(DST)的变体)的一部分，并且因此可在所提出的解决方案中使用任何变换。出于此类目的使用标准化变换是有益的，因为这些标准化变换在设计上是高效的。此外，由于它们是广泛使用的视频压缩标准的一部分，因此提出了许多高效的软件和硬件具体实施，并且通常在标准消费者设备中实施。此外，需要说明的是，SMPTE-RDD5仅表示用于胶片颗粒的频率滤波方法的可能具体实施之一。然而，这些可能具体实施中的任一者均不集中于特定的DCT具体实施。

因此，该模型基于频率/变换域中的滤波。使用该模型，通过设置或即时估计定义低通滤波器的截止频率，在频域中对胶片颗粒图案进行建模。一些变体支持带通滤波，然而当前SEI设计不支持此类方法。需要说明的是，VVC的SEI规范仅提供用于传输模型的参数的语法，而不提供用于估计参数或如何合成胶片颗粒的方法。SMPTE-RDD5中的工作提供了对合成部分的进一步了解。尽管其是针对H.264标准定义的，但是对于VVC或HEVC不需要进行修改，因为这两者支持相同的元数据。只需稍加修改即可支持高于8位的位深度。

因此，为了模拟所期望的胶片颗粒图案，设置或估计两个参数，例如，经由适当的SEI消息发送到合成部分。这些参数表示水平高截止频率(记为Horizontal_Cutoff)和垂直高截止频率(记为Vertical_Cutoff)，该水平高截止频率和垂直高截止频率继而定义胶片颗粒图案。因此，根据频率滤波模型使用不同的截止频率对来合成每个胶片颗粒图案。如果没有参数经由SEI消息传输，则在针对解码帧启用合成部分的情况下，可就默认参数达成一致。

图2示出了根据至少一个实施方案的一般方面的用于生成胶片颗粒图案块的方法的简化框图。首先在步骤200中定义遵循高斯分布的N×M伪随机数块。为了获得伪随机数块，可利用已经在文献中建立的任何高斯随机数生成器。伪随机数块可即时获得，或者其可提前定义并存储以供进一步使用，例如在初始化步骤期间。然后如下模拟胶片颗粒图案。

利用归一化高斯分布N(0,1)生成的N×M个伪随机值的块b经历低通滤波，该低通滤波通过以下方式在频域中执行：

1.变换：B＝DCT(b)(步骤201)

2.频率滤波-低通：(步骤202)

3.逆变换：b'＝Inverse_DCT(B)(步骤203)

由此，b'表示胶片颗粒图像(或块)。需要说明的是，N和M可取任何值；然而，在实践中，示出N＝M，并且通常采用64×64的大小。以基于DCT的特定变换具体实施描述先前示例，但是可使用其他变换，例如快速傅里叶变换。此后，每个块b'表示用于将颗粒添加到解码帧的N×M胶片颗粒图像。不同的胶片颗粒图案(对于不同的截止对)可预先计算，从而创建可用胶片颗粒图案的数据库，或者可在每个解码帧准备好进行处理时即时计算。例如，SMPTE-RDD5指定了用于创建不同胶片颗粒图案的数据库的64×64整数逆变换。提出使用经变换的高斯伪随机数的LUT，经变换的高斯伪随机数在初始化步骤期间预先计算并存储以供进一步使用。最后，可在获得N×M胶片颗粒图像之后应用附加操作，诸如SMPTE-RDD5中描述的缩放、解块。这同样代表所有颜色分量。

在编码器侧，截止频率可根据实时数据即时估计(包括块100和块101)。这不是强制性步骤，然而，如果想要获得原始胶片颗粒外观，则与使用先验定义的默认参数相比，更希望精确地估计其参数。在这种情况下，首先执行去噪，并且基于原始帧和无噪声(经滤波)帧的差在帧的平坦区域上严格地估计颗粒参数。去噪/滤波可利用能够降低经处理的帧中的噪声的任何算法。可利用重建图像，而不是执行滤波。然而，在这种情况下，由压缩产生的附加伪影可能干扰估计过程。无论如何，可以这种方式获得胶片颗粒图案。例如，在这种情况下，胶片颗粒图案是减去原始帧和经滤波的帧所获得的N×M残差块，并且由于边缘和复杂纹理可能导致错误估计，因此该残差块在平坦图像区域处获得。然后，将胶片颗粒图案输入到变换过程(例如DCT)，以便接收一组变换系数。通过分析所获得的一组变换系数，可以估计完全描述胶片颗粒图案的截止频率。这些截止频率经由SEI消息嵌入在比特流中，并且在解码器侧用于模拟胶片颗粒，如先前所述，例如如在SMPTE-RDD5中所述。需要说明的是，为了估计截止频率，应对表示噪声图像(经滤波的帧与原始帧之间的差)的每个块进行变换。使用DCT的自定义整数近似的变换过程在预处理步骤期间在编码器侧引入附加计算，并且给编码器带来额外的计算负担。因此，需要尽可能地引入计算节省。当考虑解码器的具体实施和硬件设计时，这个问题甚至是至关重要的。

这个问题通过本文所述的一般方面来解决，这些一般方面涉及用于生成具有胶片颗粒图案的像素块的方法和设备，其中在该生成中使用的变换是DCT-II、DCT-VIII、DST-VII(也用作VVC核心变换)中的一者。此外，还公开了用于估计胶片颗粒以及在编码时生成胶片颗粒参数的对应方法，其中在该估计中使用的变换是DCT-II、DCT-VIII、DST-VII(即，VVC核心变换)中的一者。

有利地，需要说明的是，用作VVC核心变换的几种类型的DCT以及DST中的任一者适用于该算法。以这种方式，对于不同的截止频率，可以高效的方式获得并估计胶片颗粒图案。当涉及高效的具体实施时，已经存在许多提出的用于VVC核心变换的具体实施和硬件设计。通过对胶片颗粒使用标准化变换，已知许多兼容设备(或供应商)将使用完全相同的具体实施，并且可执行精确的胶片颗粒估计和合成，而不必担心以不同的方式进行操作。以这种方式，可确保不同设备之间的互操作性，如果胶片颗粒变成视频编码标准中的强制性部分，这可能尤其重要。

此外，通过使用已经在编码器/解码器中实施的核心变换，可免于实施其他变换(DCT)。同时，对这3个核心变换进行优化。其设计是高效的。它们已经被实施(作为编码器/解码器的一部分的软件和/或硬件)，而实施另一个(设计得不像这3个那么好)仅增加了复杂性。在需要以硬件设计的情况下尤为如此，这会产生额外的成本。

图3示出了根据至少一个实施方案的一般方面的视频编码/解码框架中胶片颗粒使用的修改框图。

本公开原理公开了在两侧使用标准化变换(胶片颗粒估计和合成)。根据一个实施方案，可在编码器侧使用标准化变换，以生成关于胶片颗粒(如果源视频中存在任何胶片颗粒)的信息，以及是否需要即时参数估计。根据另一个实施方案，使用一组固定的手动调谐参数，在这种情况下，在编码器侧不对胶片颗粒使用变换。图3的编码步骤102部分地表示例如在图6的示例性编码器中实现的编码器的模块或编码方法。然后，将包括指定要出现在块中的胶片颗粒的属性的至少一个参数的胶片颗粒信息作为元数据嵌入在比特流中。在解码器侧，对比特流和胶片颗粒信息进行解码，并根据所接收的元数据对胶片颗粒进行模拟。图3的解码步骤103部分地表示例如在图7的示例性解码器中实现的解码器的模块或解码方法。由于编码器和解码器已经利用标准化变换，因此它们在胶片颗粒环境中的具体实施是直接的。因此，在任何兼容编解码器上获得比特精确的变换系数。然后，在步骤301中对变换系数进行分析以获得胶片颗粒参数，或者在步骤304中进行滤波以获得胶片颗粒图像/图案。胶片颗粒估计步骤301和胶片颗粒合成步骤304分别是步骤101和步骤103的修改版本，其中用视频编解码器中指定的核心变换来代替内部变换。

图4a示出了根据至少一个实施方案的一般方面的用于生成胶片颗粒图案块的方法的修改框图。在图4a中未示出的预备步骤中，接收胶片颗粒信息，其中胶片颗粒信息包括指定要出现在块中的胶片颗粒的属性的至少一个参数。在解码器处，胶片颗粒信息包括接收和解码包含该至少一个参数的补充增强信息消息。然后，对随机值块应用变换(其为DCT-II、DCT-VII或DST-VII中的一者)，这会在频域中产生一组变换系数，也称为经变换的随机值块。根据一种非限制性变体，在步骤200中，生成从高斯随机数列表中选择的随机值块。根据非限制性变体，像素块的大小是N×M，其中N是范围[2-64]内的整数，并且M是范围[2-64]内的整数。根据非限制性变体，N或M是大于64的整数，并且块大小被缩放以适于核心变换大小。如前所述，为了获得伪随机数块，可利用已经在文献中建立的任何高斯随机数生成器。伪随机数块可即时获得，或者其可提前定义并存储以供进一步使用，例如在初始化步骤期间。然后，在步骤401中，对随机值块应用核心变换，其中核心变换是DCT-II、DCT-VIII、DST-VII中的一者。该变换在频域中产生一组变换系数。对于步骤200，可即时获得该组变换系数，或者可提前定义并存储该组变换系统以供进一步使用。然后，在202中使用低通滤波器对变换块的系数进行滤波。如前所述，根据所接收的胶片颗粒信息中的至少一个参数来定义滤波，该至少一个参数分别表示垂直边缘和水平边缘的截止频率。在步骤403中，对该块的一组经滤波的系数应用逆核心变换，以生成具有胶片颗粒图案的像素块。该逆核心变换是与在步骤401中使用的变换对应的逆变换，即DCT-II、DCT-VIII、DST-VII(即，标准化核心变换)中的一者。

当涉及所支持的变换具体实施时，VVC实施具有可变大小的几种类型的变换。这称为多重变换选择(MTS)工具，首先在VVC中引入。该工具支持：

●DCT-II，块大小为2×2至64×64，正方形和非正方形

●DCT-VIII，块大小为4×4至32×32，正方形和非正方形

●DST-VII，块大小为4×4至32×32，正方形和非正方形

需要说明的是，上述变换是原始浮点变换的整数近似，并且以支持硬件和软件中高效的具体实施的方式来设计。

因此，出于对胶片颗粒进行建模的目的而建立一组变换系数的过程可以不同的方式发生。上述变换和块大小(包括非正方形)的任何组合都是可能的。下文描述一些可能的实施方案，其中指示可能存在也基于可用变换和可用变换大小中的一者(或多者的组合)的使用的其他实施方案。

图4b示出了根据至少一个实施方案的一般方面的用于估计胶片颗粒参数并生成指定与要在解码器中使用的图像块相关联的胶片颗粒的属性的至少一个参数的方法的修改框图。在预备步骤404中，接收胶片颗粒块。在编码器处，接收胶片颗粒块是预处理步骤的结果。如前所述，为了获得胶片颗粒块，预处理步骤包括对原始帧进行滤波以及掩模推导。掩模用于指示帧的平坦区域。为了导出掩模，可使用现有技术中已知的能够检测复杂纹理和边缘的任何方法。当选择将在其上导出胶片颗粒参数的块时，掩模会排除那些非平坦区域。然后，将胶片颗粒块表示为取自掩模所指示的帧的平坦区域的N×M残差信号，并将其计算为原始/输入块与经滤波的块的差。此类块表示经受核心变换401的胶片颗粒估计。然后，对经变换的块进行分析(405)，然后计算至少一个胶片颗粒参数并将其发送到解码器侧。

下文描述通用胶片颗粒图案生成和估计方法的各种实施方案。

对于胶片颗粒，可利用所提出的标准化DCT变换或标准化DST变换中的一者。在VVC中，变换是最大可达64×64的DCT-II以及最大可达32×32的DCT-VIII和DST-VII。可利用不同的变换大小，然而，已经确定，正方形N×M变换(其中，N＝M)可提供最佳性能，尽管这并不是唯一的要求(在VVC中也支持非正方形变换，并且可代替正方形变换用于胶片颗粒建模)。N(和M)可以是上述支持大小中的任一者，然而，N,M＝64和N,M＝32可在复杂性与性能之间提供良好的折衷。

根据一个具体实施方案，针对亮度分量和色度分量使用相同的变换类型和相同的变换大小。

在一个变体实施方案中，将用于估计/生成亮度和色度的FG图案的块大小设置为64×64，并且使用在VVC规范中指定的DCT-II。

在另一个变体实施方案中，将用于估计/生成亮度和色度的FG图案的块大小设置为32×32，并且使用在VVC规范中指定的DCT-II。

在另一个变体实施方案中，针对亮度分量和色度分量使用在VVC规范中指定的DCT-II，并且变换大小小于32×32。

在另一个变体实施方案中，通过使用任何支持的块大小，可使用在VVC规范中指定的DCT-VIII或DST-VII而不是DCT-II来估计/生成亮度分量和色度分量的FG图案。例如，使用大小为32×32的DCT-VIII或DST-VII。

在另一个变体实施方案中，使用小于32×32的大小来估计/生成亮度分量和色度分量的FG图案，在这种情况下，实施方案可使用DCT-II、DCT-VIII或DST-VII。

在所有先前的变体实施方案中，变换类型和变换大小是预先已知的，并且不需要施加附加信令。针对亮度分量和色度分量两者使用相同的变换类型和变换大小。

根据另一个具体实施方案，针对亮度分量和色度分量使用相同的变换类型但不同的变换大小。

在另一个变体实施方案中，例如，当色度格式为4:2:0(但不严格限于此)时，将用于生成亮度的FG图案的块大小设置为64×64，并且将用于生成色度的FG图案的块大小设置为32×32，并且使用在VVC规范中指定的DCT-II。因此，针对亮度分量和色度分量使用不同的变换大小。以相同的方式，例如，针对亮度使用DST-VII和块大小32×32，并且针对色度使用16×16。在这里，与先前的实施方案一样，变换类型对于亮度和色度是相同的，但是大小是不同的。然而，块大小是预先设置的，并且不需要信令。因此，可以针对亮度分量和色度分量使用DCT-II以及不同变换大小的任何组合。对于其他变换类型(例如，DCT-VIII或DST-VII)同样如此，其中例如，针对亮度使用32×32块大小，并且针对色度使用16×16，或者针对亮度和色度使用大小的任何其他组合。

根据一个具体实施方案，针对亮度分量和色度分量使用不同的变换类型但相同的变换大小。

在一个变体实施方案中，用于生成FG图案的块大小是32×32。在这种情况下，可使用如在VVC中定义的DCT-II、DCT-VIII或DST-VII。在该变体中，变换类型对于亮度和色度是不同的。此外，在另一个变体中，大小小于32×32。在这种情况下，与先前一样，预先设置大小和变换，并且不需要进一步的信令。只是此时，变换类型对于亮度分量和色度分量是不同的。例如，针对FG亮度块使用DCT-II，而针对FG色度块使用DCT-VIII。使用不同变换的基本原理是，亮度和色度噪声信号可呈现非常不同的统计信息。

根据一个具体实施方案，针对亮度分量和色度分量使用不同的变换类型和不同的变换大小。

在一个变体实施方案中，变换大小和变换类型两者对于亮度分量和色度分量是不同的。然而，预先设置大小和类型，并且不需要信令。

根据一个具体实施方案，发信号通知或推断变换的类型和大小，而不是先验定义的类型和大小。

在先前实施方案的扩展中，不需要预先指定所使用的变换。相反，用于胶片颗粒估计的变换是从不同的变换中选择的(通过手动控制，或者通过内容分析)，并发信号通知以进行合成。在另一个变体中，发信号通知用于生成和估计胶片颗粒的变换大小。在另一个变体中，发信号通知变换大小和变换类型两者。该信令对于亮度分量和色度分量是相同的，或者对于亮度分量和色度分量是不同的(分离的)。根据一个示例性实施方案，胶片颗粒参数对于所有颜色分量是完全相同的，因此仅发信号通知一次。在这种情况下，附加元数据指示所提出的设计，例如表明一组参数被应用于所有颜色分量的标志。

在另一个变体中，仅针对亮度分量发信号通知变换大小和/或变换类型，并且针对色度隐式地导出变换类型和大小。例如，根据针对亮度分量发信号通知的一组参数，确定针对色度分量的该组参数。例如，针对色度和亮度使用相同的变换，其可仅根据针对亮度分量发信号通知的参数来导出，并且截止频率是亮度的截止频率的下采样版本。

在下表中提供了实施上述不同实施方案的语法示例。

在另一个实施方案中，针对亮度和色度推断变换类型和大小。例如，用于对当前帧进行编码/解码的最频繁变换进一步用于胶片颗粒目的。此外，还插入语法元素“transform_type_luma_inferred_flag”以指示是否推断亮度变换类型。如果未推断，则发信号通知亮度变换类型。

需要说明的是，可存在显式地或隐式地导出的参数的许多不同信令变体。这些变体不能全部在本公开中列出，但是本领域技术人员可以看到关于该主题的其他各种变体。

因此，在一个变体中，用于估计和/或生成FG图案的变换的类型由语法元素指示。相同的概念可适用于变换大小，或者甚至适用于非正方形块图案。信令可在序列级、I周期、GOP、每帧、每CTU或每CU上完成，这取决于具体要求和具体实施方式。可将语法元素插入在SEI消息中，也可将其插入在自适应参数集(APS)、序列参数集(SPS)和/或图像参数集(PPS)中。

本领域技术人员可得出以下结论，即将来可能有更大的变换大小和其他类型。随着视频编码标准不断演进，未来的标准可支持不同的(更大的)变换大小和更多样化的变换类型。在这种情况下，新的/附加的大小和类型可以与本公开中所描述的相同方式来应用以估计/生成胶片颗粒。

根据一个具体实施方案，调整水平和垂直变换类型和大小。

此外，VVC使得能够使用不同的水平和垂直变换类型以及矩形变换块。在一个实施方案中，使用不同的水平和垂直变换来生成FG块图案。在另一个实施方案中，使用不同的水平和垂直尺寸(变换大小)来生成FG块图案。在一个实施方案中，发信号通知水平和垂直变换类型。相似地，发信号通知FG图案块的推荐水平和垂直大小。

即使对于VVC规范所定义的大小大于32的色度分量和亮度块仅考虑DCT-II，也不妨碍出于估计以及合成胶片颗粒的目的而使用其他类型和大小。胶片颗粒可在预处理/后处理步骤中完成，并且该理念在于重新使用可用的变换具体实施(硬件或软件)，并且在这种情况下，视频编码标准在块大小和不同颜色分量的可用类型方面的限制不适用于胶片颗粒。

此外，所提出的方法是兼容的，并且可与任何色度子采样格式结合使用。

根据一个具体实施方案，将FG参数缩放到块大小。根据其他实施方案，执行胶片颗粒参数(例如，截止频率)的附加缩放。例如，如果要对64×64块使用参数，例如对64×64块估计参数，但是如果要使用它们来创建32×32胶片颗粒图案(通过使用32×32胶片颗粒块合成)，则缩减参数以匹配块要求。例如，在编码器侧在64×64块上估计参数，但是由于复杂性或具体实施原理，需要在解码器侧使用这些参数来创建32×32胶片颗粒图案。相似地，如果将参数设置/估计为在32×32块上使用，则执行参数的放大，但是在解码器侧在64×64块上使用。

图5示出了在解码器侧调整胶片颗粒参数的胶片颗粒的修改框图。在FG合成之前插入FG参数调整的新步骤(步骤305)。

根据一个具体实施方案，FG参数适于变换类型。此外，如果需要，在一个实施方案中，可通过在编码器侧使用一种变换类型来估计FG，并且通过使用不同类型的变换在解码器侧合成FG。例如，可通过使用DCT-II进行估计，并且可使用DCT-VIII变换类型来完成FG图案合成。在一个具体实施方案中，可进行一些附加调整以支持此类方法。一个示例可以是当在逆变换之前创建FG图案时对变换系数进行重采样，因为变换已更改。另一个示例可以是例如将偏移(正或负)添加到发信号通知的截止频率以补偿不同的变换类型。

根据一个具体实施方案，使用来自其他视频编码标准的核心变换。此外，在一个实施方案中，使用HEVC或H.264/AVC标准化变换，而不是VVC变换。在这种情况下，可根据标准规范施加在变换大小或变换类型方面的一些其他限制。

根据一个具体实施方案，使用不同于低通的滤波类型。

即使本公开描述了使用低通滤波来对胶片颗粒图案进行建模，本领域技术人员也可推断，在一些实施方案中，可使用不同的滤波。例如，可使用带通滤波，而不是如上所述的由两个截止频率表示的低通滤波。在这种情况下，使用四个不同的频率(垂直高截止频率、垂直低截止频率、水平高截止频率和水平低截止频率)来定义胶片颗粒图案。可得出以下结论，即可出于在频域中创建胶片颗粒图案的目的来使用其他滤波。

另外的实施方案和信息

本申请描述了各个方面，包括工具、特征、实施方案、模型、方法等。具体描述了这些方面中的许多方面，并且至少示出个体特性，通常以可能听起来有限的方式描述。然而，这是为了描述清楚，并不限制这些方面的应用或范围。实际上，所有不同的方面可组合和互换以提供进一步的方面。此外，这些方面也可与先前提交中描述的方面组合和互换。

本专利申请中描述和设想的方面可以许多不同的形式实现。下文的图6、图7和图8提供了一些实施方案，但是设想了其他实施方案，并且图6、图7和图8的讨论不限制具体实施的广度。这些方面中的至少一个方面通常涉及视频编码和解码，并且至少一个其他方面通常涉及发射生成或编码的比特流。这些和其他方面可实现为方法、装置、其上存储有用于根据所述方法中任一种对视频数据编码或解码的指令的计算机可读存储介质，和/或其上存储有根据所述方法中任一种生成的比特流的计算机可读存储介质。

在本申请中，术语“重建”和“解码”可以互换使用，术语“像素”和“样本”可以互换使用，术语“图像”、“图片”和“帧”可以互换使用。

本文描述了各种方法，并且每种方法包括用于实现方法的一个或多个步骤或动作。除非正确操作方法需要特定顺序的步骤或动作，否则可修改或组合特定步骤和/或动作的顺序和/或用途。此外，术语诸如“第一”、“第二”等可用于各种实施方案以修改元件、分量、步骤、操作等，诸如“第一解码”和“第二解码”。除非具体要求，否则使用此类术语并不暗示对修改操作的排序。因此，在这个示例中，第一解码不需要在第二解码之前执行，并且可例如在第二解码之前、期间或在重叠的时间段中发生。

本申请中所述的各种方法和其他方面可用于修改模块，例如，视频编码器600和解码器700的预编码处理模块(601)或后处理解码模块(785)，如图6和图7所示。此外，本发明方面不限于VVC或HEVC，并且可应用于例如其他标准和推荐(无论是预先存在的还是未来开发的)以及任何此类标准和推荐的扩展(包括VVC和HEVC)。除非另外指明或技术上排除在外，否则本申请中所述的方面可单独或组合使用。

在本申请中使用各种数值，例如，变换的数量、变换级别的数量、变换的索引。具体值是为了示例目的，并且所述方面不限于这些具体值。

图6示出了编码器600。设想了该编码器600的变型，但是为了清楚起见，下文描述了编码器600而不描述所有预期的变型。

在进行编码之前，视频序列可经过预编码处理601，例如，将颜色变换应用于输入彩色图片(例如，从RGB 4:4:4到YCbCr 4:2:0的转换)，或执行输入图片分量的重新映射，以便获得对于压缩更有弹性的信号分布(例如，使用颜色分量中的一个颜色分量的直方图均衡化)。元数据可与预处理相关联并且附加到比特流。

在编码器600中，由编码器元件对图片进行编码，如下所述。以例如CU为单位对要编码的图片进行分区602和处理。例如，使用帧内模式或帧间模式对每个单元进行编码。当在帧内模式中对单元进行编码时，该编码器执行帧内预测660。在帧间模式中，执行运动估计675和运动补偿670。编码器决定605使用帧内模式或帧间模式中的哪一个模式对该单元进行编码，并且通过例如预测模式标记来指示帧内/帧间决定。例如，通过从原始图像块减去610预测块来计算预测残差。

然后，对预测残差进行变换625和量化630。对量化的变换系数以及运动向量和其他语法元素进行熵编码645以输出比特流。该编码器可跳过变换，并对未变换的残差信号直接应用量化。该编码器可绕过变换和量化两者，即，在不应用变换或量化过程的情况下直接对残差进行编码。

该编码器对编码块进行解码以提供进一步预测的参考。对量化的变换系数进行解量化640和逆变换650以对预测残差进行解码。组合655经解码的预测残差和预测块，重建图像块。将环内滤波器665应用于重建的图片以执行例如解块/SAO(样本自适应偏移)滤波，从而减少编码伪影。将经滤波的图像存储在参考图片缓冲器680处。

图7示出了视频解码器700的框图。在解码器700中，由解码器元件对比特流进行解码，如下所述。视频解码器700通常执行与如图6所述的编码过程相反的解码过程。编码器600通常还执行视频解码作为对视频数据进行编码的一部分。

具体地，解码器的输入包括视频比特流，该视频比特流可由视频编码器600生成。首先，对比特流进行熵解码730以获得变换系数、运动向量和其他经编码的信息。图片分区信息指示如何对图片进行分区。因此，解码器可根据经解码的图片分区信息来划分735图片。对变换系数进行解量化740和逆变换750以对预测残差进行解码。组合755经解码的预测残差和预测块，重建图像块。可从帧内预测760或运动补偿预测(即，帧间预测)775获得770预测块。将环内滤波器765应用于重建的图像。将经滤波的图像存储在参考图片缓冲器780处。

经解码的图片可进一步经过解码后处理785，例如，逆颜色变换(例如，从YCbCr 4:2:0到RGB 4:4:4的转换)，或执行在预编码处理601中执行的重新映射的逆过程的逆重新映射。解码后处理可使用在预编码处理中导出并且在比特流中有信号通知的元数据。

图8示出了在其中实现各个方面和实施方案的系统的示例的框图。系统800可体现为包括下文所述的各个部件的设备，并且被配置为执行本文档中所述的方面中的一个或多个方面。此类设备的示例包括但不限于各种电子设备，诸如个人计算机、膝上型计算机、智能电话、平板电脑、数字多媒体机顶盒、数字电视机接收器、个人视频录制系统、连接的家用电器和服务器。系统800的元件可单独地或组合地体现在单个集成电路(IC)、多个IC和/或分立部件中。例如，在至少一个实施方案中，系统800的处理和编码器/解码器元件跨多个IC和/或分立部件分布。在各种实施方案中，系统800经由例如通信总线或通过专用输入和/或输出端口通信地耦接到一个或多个其他系统或其他电子设备。在各种实施方案中，系统800被配置为实现本文档中描述的方面中的一个或多个方面。

系统800包括至少一个处理器810，该至少一个处理器被配置为执行加载在其中的指令以用于实现例如本文档中所述的各个方面。处理器810可包括嵌入式存储器、输入输出接口以及如在本领域中已知的各种其他电路。系统800包括至少一个存储器820(例如，易失性存储器设备和/或非易失性存储器设备)。系统800包括存储设备840，该存储设备可包括非易失性存储器和/或易失性存储器，包括但不限于电可擦除可编程只读存储器(EEPROM)、只读存储器(ROM)、可编程只读存储器(PROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、磁盘驱动器和/或光盘驱动器。作为非限制性示例，存储设备840可包括内部存储设备、附接的存储设备(包括可拆卸和不可拆卸的存储设备)和/或网络可访问的存储设备。

系统800包括编码器/解码器模块830，该编码器/解码器模块被配置为例如处理数据以提供编码视频或解码视频，并且编码器/解码器模块830可包括其自身的处理器和存储器。编码器/解码器模块830表示可包括在设备中以执行编码和/或解码功能的一个或多个模块。众所周知，设备可包括编码模块和解码模块中的一者或两者。另外地，编码器/解码器模块830可实现为系统800的独立元件，或者可结合在处理器810内作为本领域的技术人员已知的硬件和软件的组合。

待加载到处理器810或编码器/解码器830上以执行本文档中所述的各个方面的程序代码可存储在存储设备840中，并且随后加载到存储器820上以供处理器810执行。根据各种实施方案，处理器810、存储器820、存储设备840和编码器/解码器模块830中的一者或多者可在本文档中所述的过程的执行期间存储各种项目中的一个或多个项目。此类存储项目可包括但不限于输入视频、解码视频或解码视频的部分、比特流、矩阵、变量以及处理等式、公式、运算和运算逻辑的中间或最终结果。

在一些实施方案中，在处理器810和/或编码器/解码器模块830内部的存储器用于存储指令以及提供在编码或解码期间所需的用于处理的工作存储器。然而，在其他实施方案中，处理设备(例如，处理设备可以是处理器810或编码器/解码器模块830)外部的存储器用于这些功能中的一个或多个功能。外部存储器可以是存储器820和/或存储设备840，例如动态易失性存储器和/或非易失性闪存存储器。在若干实施方案中，外部非易失性闪存存储器用于存储例如电视的操作系统。在至少一个实施方案中，快速外部动态易失性存储器诸如RAM用作视频编码和解码操作的工作存储器，诸如MPEG-2(MPEG是指运动图片专家组，MPEG-2也称为ISO/IEC 13818，并且13818-1也称为H.222，13818-2也称为H.262)、HEVC(HEVC是指高效视频编码，也称为H.265和MPEG-H部分2)或VVC(通用视频编码，由联合视频专家小组(JVET)开发的新标准)。

可通过如块805中所指示的各种输入设备来提供对系统800的元件的输入。此类输入设备包括但不限于：(i)射频(RF)部分，其接收例如由广播器通过空中传输的RF信号；(ii)分量(COMP)输入端子(或一组COMP输入端子)；(iii)通用串行总线(USB)输入端子；和/或(iv)高清晰度多媒体接口(HDMI)输入端子。图6中未示出的其他示例包括复合视频。

在各种实施方案中，块805的输入设备具有如本领域中已知的相关联的相应输入处理元件。例如，RF部分可与适用于以下的元件相关联：(i)选择所需的频率(也称为选择信号，或将信号频带限制到一个频带)，(ii)下变频选择的信号，(iii)再次频带限制到更窄频带以选择(例如)在某些实施方案中可称为信道的信号频带，(iv)解调下变频和频带限制的信号，(v)执行纠错，以及(vi)解复用以选择所需的数据包流。各种实施方案的RF部分包括用于执行这些功能的一个或多个元件，例如频率选择器、信号选择器、频带限制器、信道选择器、滤波器、下变频器、解调器、纠错器和解复用器。RF部分可包括执行这些功能中的各种功能的调谐器，这些功能包括例如下变频接收信号至更低频率(例如，中频或近基带频率)或至基带。在一个机顶盒实施方案中，RF部分及其相关联的输入处理元件接收通过有线(例如，电缆)介质传输的RF信号，并且通过滤波、下变频和再次滤波至所需的频带来执行频率选择。各种实施方案重新布置上述(和其他)元件的顺序，移除这些元件中的一些元件，和/或添加执行类似或不同功能的其他元件。添加元件可包括在现有元件之间插入元件，例如，插入放大器和模数变换器。在各种实施方案中，RF部分包括天线。

另外地，USB和/或HDMI端子可包括用于跨USB和/或HDMI连接将系统800连接到其他电子设备的相应接口处理器。应当理解，输入处理的各个方面(例如，Reed-Solomon错误校正)可在必要时例如在独立的输入处理IC内或在处理器810内实现。相似地，USB或HDMI接口处理的方面可在必要时在独立的接口IC内或在处理器810内实现。将经解调的、经纠错的和经解复用的流提供给各种处理元件，包括例如处理器810以及编码器/解码器830，该处理元件与存储器和存储元件结合操作以根据需要处理数据流以用于在输出设备上的呈现。

可在集成外壳内提供系统800的各种元件，在集成外壳内，使用合适的连接排布结构815(例如，如在本领域中已知的内部总线，包括IC间(I2C)总线、接线和印刷电路板)，各种元件可互连并且在其间传输数据。

系统800包括通信接口850，该通信接口允许经由通信信道890与其他设备的通信。通信接口850可包括但不限于收发器，该收发器被配置为通过通信信道890传输和接收数据。通信接口850可包括但不限于调制解调器或网卡，并且通信信道890可例如在有线和/或无线介质内实现。

在各种实施方案中，使用无线网络诸如Wi-Fi网络例如IEEE 802.11(IEEE是指电气和电子工程师协会)将数据流式传输或以其他方式提供给系统800。这些实施方案的Wi-Fi信号通过适于Wi-Fi通信的通信信道890和通信接口850来接收。这些实施方案的通信信道890通常连接到接入点或路由器，该接入点或路由器提供对外部网络(包括互联网)的访问，以用于允许流式传输应用和其他越过运营商的通信。其他实施方案使用机顶盒向系统800提供流式传输的数据，该机顶盒通过输入块805的HDMI连接来递送数据。还有其他实施方案使用输入块805的RF连接向系统800提供流式传输的数据。如上所述，各种实施方案以非流式的方式提供数据。另外，各种实施方案使用除了Wi-Fi以外的无线网络，例如蜂窝网络或蓝牙网络。

系统800可向各种输出设备(包括显示器865、扬声器875和其他外围设备885)提供输出信号。各种实施方案的显示器865包括例如触摸屏显示器、有机发光二极管(OLED)显示器、曲面显示器和/或可折叠显示器中的一者或多者。显示器865可用于电视、平板电脑、膝上型电脑、蜂窝电话(移动电话)或其他设备。显示器865还可与其他部件集成(例如，如在智能电话中)，或者可以是独立的显示器(例如，用于膝上型电脑的外部监视器)。在实施方案的各种示例中，其他外围设备885包括独立数字视频光盘(或数字多功能光盘)(DVR，可表示这两个术语)、碟片播放器、立体声系统和/或照明系统中的一者或多者。各种实施方案使用一个或多个外围设备885，该一个或多个外围设备基于系统800的输出来提供功能。例如，碟片播放器执行播放系统800的输出的功能。

在各种实施方案中，使用信令诸如AV.Link、消费电子控制(CEC)或允许带有或不带有用户干预的设备到设备控制的其他通信协议，在系统800与显示器865、扬声器875或其他外围设备885之间发送控制信号。可通过相应的接口865、875和885经由专用连接将输出设备通信地耦接到系统800。另选地，可经由通信接口850使用通信信道890将输出设备连接到系统800。在电子设备(诸如例如电视)中，显示器865和扬声器875可与系统800的其他部件集成在单个单元中。在各种实施方案中，显示器接口865包括显示驱动器，诸如例如定时控制器(T Con)芯片。

例如，如果输入805的RF部分是独立机顶盒的一部分，则显示器865和扬声器875可另选地相对于其他部件中的一个或多个部件而独立。在其中显示器865和扬声器875为外部部件的各种实施方案中，可经由专用输出连接(包括例如HDMI端口、USB端口或COMP输出)来提供输出信号。

该实施方案可由通过处理器810实现的计算机软件，或由硬件，或由硬件和软件的组合来进行。作为非限制性示例，这些实施方案可由一个或多个集成电路实现。作为非限制性示例，存储器820可以是适于技术环境的任何类型，并且可使用任何适当的数据存储技术(诸如光存储器设备、磁存储器设备、基于半导体的存储器设备、固定存储器和可移动存储器)来实现。作为非限制性示例，处理器810可以是适于技术环境的任何类型，并且可涵盖微处理器、通用计算机、专用计算机和基于多核架构的处理器中的一者或多者。

各种具体实施参与解码。如本申请中所用，“解码”可涵盖例如对所接收的编码序列执行的过程的全部或部分，以便产生适于显示的最终输出。在各种实施方案中，此类过程包括通常由解码器执行的一个或多个过程，例如熵解码、逆量化、逆变换和差分解码。在各种实施方案中，此类过程还包括或另选地包括由本申请中所述的各种具体实施的解码器执行的过程，例如包括逆变换。

作为进一步的示例，在实施方案中，“解码”仅是指熵解码，在另一个实施方案中，“解码”仅是指差分解码，并且在又一个实施方案中，“解码”是指熵解码和差分解码的组合。短语“解码过程”旨在具体地指代操作的子集还是广义地指代更广泛的解码过程基于具体描述的上下文将是清楚的，并且被认为会被本领域的技术人员很好地理解。

各种具体实施参与编码。以与上面关于“解码”的讨论类似的方式，如在本申请中使用的“编码”可涵盖例如对输入视频序列执行以便产生编码比特流的全部或部分过程。在各种实施方案中，此类过程包括通常由编码器执行的一个或多个过程，例如，分区、差分编码、变换、量化和熵编码。在各种实施方案中，此类过程还包括或另选地包括由本申请中所述的各种具体实施的编码器执行的过程，例如将图像块变换到频域中。

作为进一步的示例，在实施方案中，“编码”仅是指熵编码，在另一个实施方案中，“编码”仅是指差分编码，并且在又一个实施方案中，“编码”是指差分编码和熵编码的组合。短语“编码过程”是具体地指代操作的子集还是广义地指代更广泛的编码过程基于具体描述的上下文将是清楚的，并且据信将被本领域的技术人员很好地理解。

注意，本文所使用的语法元素是描述性术语。因此，它们不排除使用其他语法元素名称。

当附图呈现为流程图时，应当理解，其还提供了对应装置的框图。类似地，当附图呈现为框图时，应当理解，其还提供了对应的方法/过程的流程图。

各种实施方案是指速率失真优化。具体地，在编码过程期间，通常考虑速率和失真之间的平衡或权衡，这常常考虑到计算复杂性的约束。速率失真优化通常表述为最小化速率失真函数，该速率失真函数是速率和失真的加权和。存在不同的方法解决速率失真优化问题。例如，这些方法可基于对所有编码选项(包括所有考虑的模式或编码参数值)的广泛测试，并且完整评估其编码成本以及重建信号在编码和解码之后的相关失真。更快的方法还可用于降低编码复杂性，特别是对基于预测或预测残差信号而不是重建的残差信号的近似失真的计算。也可使用这两种方法的混合，诸如通过针对可能的编码选项中的仅一些编码选项使用近似失真，而针对其他编码选项使用完全失真。其他方法仅评估可能的编码选项的子集。更一般地，许多方法采用各种技术中任一种来执行优化，但是优化不一定是对编码成本和相关失真两者的完整评估。

本文所述的具体实施和方面可在例如方法或过程、装置、软件程序、数据流或信号中实现。即使仅在单个形式的具体实施的上下文中讨论(例如，仅作为方法讨论)，讨论的特征的具体实施也可以其他形式(例如，装置或程序)实现。装置可在例如适当的硬件、软件和固件中实现。方法可在例如一般是指处理设备的处理器中实现，

该处理设备包括例如计算机、微处理器、集成电路或可编程逻辑设备。处理器还包括通信设备，诸如例如计算机、手机、便携式/个人数字助理(“PDA”)以及便于最终用户之间信息通信的其他设备。

提及“一个实施方案”或“实施方案”或“一个具体实施”或“具体实施”以及它们的其他变型，意味着结合实施方案描述的特定的特征、结构、特性等包括在至少一个实施方案中。因此，短语“在一个实施方案中”或“在实施方案中”或“在一个具体实施中”或“在具体实施中”的出现以及出现在本申请通篇的各个地方的任何其他变型不一定都是指相同的实施方案。

另外，本申请可涉及“确定”各种信息。确定信息可包括例如估计信息、计算信息、预测信息或从存储器检索信息中的一者或多者。

此外，本申请可涉及“访问”各种信息。访问信息可包括例如接收信息、检索信息(例如，从存储器)、存储信息、移动信息、复制信息、计算信息、确定信息、预测信息或估计信息中的一者或多者。

另外，本申请可涉及“接收”各种信息。与“访问”一样，接收旨在为广义的术语。接收信息可包括例如访问信息或检索信息(例如，从存储器)中的一者或多者。此外，在诸如例如存储信息、处理信息、发射信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息的操作期间，“接收”通常以一种方式或另一种方式参与。

应当理解，例如，在“A/B”、“A和/或B”以及“A和B中的至少一者”的情况下，使用以下“/”、“和/或”和“至少一种”中的任一种旨在涵盖仅选择第一列出的选项(A)，或仅选择第二列出的选项(B)，或选择两个选项(A和B)。作为进一步的示例，在“A、B和/或C”和“A、B和C中的至少一者”的情况下，此类短语旨在涵盖仅选择第一列出的选项(A)，或仅选择第二列出的选项(B)，或仅选择第三列出的选项(C)，或仅选择第一列出的选项和第二列出的选项(A和B)，或仅选择第一列出的选项和第三列出的选项(A和C)，或仅选择第二列出的选项和第三列出的选项(B和C)，或选择所有三个选项(A和B和C)。如对于本领域和相关领域的普通技术人员显而易见的是，这可扩展到所列出的尽可能多的项目。

而且，如本文所用，词语“发信号通知”是指(除了别的以外)向对应解码器指示某物。例如，在某些实施方案中，编码器对多个参数中的特定一个参数进行编码以进行变换。这样，在一个实施方案中，在编码器侧和解码器侧两者均使用相同的参数。因此，例如，编码器可将特定参数发射(显式信令)到解码器，使得解码器可使用相同的特定参数。相反，如果解码器已具有特定参数以及其他，则可在不发射(隐式信令)的情况下使用信令，以简单允许解码器知道和选择特定参数。通过避免传输任何实际功能，在各种实施方案中实现了比特节省。应当理解，信令可以各种方式实现。例如，在各种实施方案中，使用一个或多个语法元素、标志等将信息发信号通知至对应解码器。虽然前面涉及词语“signal(发信号通知)”的动词形式，但是词语“signal(信号)”在本文也可用作名词。

本公开已描述了例如可被传输或存储的各种信息，诸如例如语法。此信息能够以多种方式封装或布置，包括例如视频标准中常见的方式，诸如将信息放入SPS、PPS、NAL单元、标头(例如，NAL单元标头或切片标头)或SEI消息中。其他方式也是可用的，包括例如用于系统级或应用级标准的通用方式，诸如将信息放入以下各项：

●会话描述协议(SDP)，其为用于描述多媒体通信会话以用于会话通知和会话邀请的一种格式，例如，如在RFC中所述并与实时传输协议(RTP)传输结合使用。

●DASH媒体演示描述(MPD)描述符，例如，如在DASH中使用并通过HTTP传输，描述符与表示或表示的集合相关联，以向内容表示提供附加特性。

●RTP标头扩展，例如，如在RTP流式传输期间使用，和/或

●ISO基础媒体文件格式，例如，如在OMAF中使用并且使用box，该box是由唯一类型标识符和长度定义的面向对象的构建块，在某些规范中也称为“atom”。

对于本领域的普通技术人员将显而易见的是，具体实施可产生格式化为携带例如可存储或可传输的信息的各种信号。信息可包括例如用于执行方法的指令或由所述具体实施中的一个具体实施产生的数据。例如，可格式化信号以携带所述实施方案的比特流。可格式化此类信号例如为电磁波(例如，使用频谱的射频部分)或基带信号。格式化可包括例如对数据流编码并且用编码的数据流调制载体。信号携带的信息可以是例如模拟或数字信息。已知的是，信号可通过各种不同的有线或无线链路发射。信号可存储在处理器可读介质上。

我们描述了多个实施方案。这些实施方案的特征可在各种权利要求类别和类型中单独地或以任何组合提供。此外，实施方案可包括以下特征、设备或方面中的一个或多个，单独地或以任何组合，跨各种权利要求类别和类型：

●调整解码器和/或编码器中的胶片颗粒过程。

●在核心变换中选择变换以应用于解码器中的胶片颗粒模拟过程和/或编码器中的胶片颗粒估计过程。

●发信号通知与待在解码器中应用的胶片颗粒过程相关的信息。

●从胶片颗粒信息中导出与待应用的胶片颗粒过程相关的信息，该导出在解码器和/或编码器中应用。

●在信令中插入使得解码器能够识别待使用的胶片颗粒过程的语法元素，诸如变换类型、变换大小等。

●基于这些语法元素选择待在解码器处应用的至少一个变换类型和变换大小过程。

●包括所描述的语法元素中的一个或多个语法元素或其变型的比特流或信号。

●包括传递根据所述实施方案中任一项生成的信息的语法的比特流或信号。

●在信令中插入语法元素，该语法元素使得解码器能够以与编码器所使用的方式相对应的方式处理胶片颗粒。

●对包括所描述的语法元素中的一个或多个语法元素或其变型的比特流或信号进行创建和/或传输和/或接收和/或解码。

●根据所述实施方案中任一项所述的创建和/或传输和/或接收和/或解码。

●根据所述实施方案中任一项所述的方法、过程、装置、存储指令

的介质、存储数据的介质或信号。

●根据所述实施方案中的任一实施方案执行适于核心变换的胶片颗

粒过程的电视、机顶盒、蜂窝电话、平板电脑或其他电子设备。

●根据所述实施方案中的任一实施方案执行适于核心变换的胶片颗

粒过程并且(例如，使用监视器、屏幕或其他类型的显示器)显示所得图像的电视、机顶盒、蜂窝电话、平板电脑或其他电子设备。

●选择(例如，使用调谐器)待接收信号(包括编码图像)的信道

并且根据所述实施方案中的任一实施方案执行适于核心变换的胶片颗粒过程的电视、机顶盒、蜂窝电话、平板电脑或其他电子设备。

●通过无线电(例如，使用天线)接收信号(包括编码图像)并且

根据所述实施方案中的任一实施方案执行适于核心变换的胶片颗粒过程的电视、机顶盒、蜂窝电话、平板电脑或其他电子设备。

Claims (21)

1.一种方法，所述方法包括：

接收胶片颗粒信息，所述胶片颗粒信息包括指定与图像块相关联的胶片颗粒的属性的至少一个参数；

对随机值块应用变换，变换是DCT-II、DCT-VII或DST-VII中的一者；

对经变换的随机值块进行滤波，所述滤波由所接收的胶片颗粒信息中的至少一个参数定义；以及

对经滤波的变换随机值块应用相应的逆变换，以生成具有用于所述图像块的胶片颗粒图案的像素块。

2.根据权利要求1所述的方法，其中所述变换是DCT-II，并且所述像素块的大小是N×M，其中N是范围[2-64]内的整数，并且M是范围[2-64]内的整数。

3.根据权利要求1所述的方法，其中所述变换是DCT-VIII、DST-VII中的一者，并且所述像素块的大小是N×M，其中N是范围[4-32]内的整数，并且M是范围[4-32]内的整数。

4.根据权利要求2至3中任一项所述的方法，其中N和M相等。

5.根据权利要求1至4中任一项所述的方法，其中所述变换是DCT-II、DCT-VIII、DST-VII的整数近似。

6.根据权利要求1至5中任一项所述的方法，其中接收所述胶片颗粒信息还包括：对包括所述至少一个参数的补充增强信息消息进行解码。

7.根据权利要求1至6中任一项所述的方法，其中针对所述图像块的亮度分量和色度分量使用相同的变换类型和相同的变换大小。

8.根据权利要求1至6中任一项所述的方法，其中针对所述图像块的亮度分量和色度分量使用相同的变换类型和不同的变换大小。

9.根据权利要求1至6中任一项所述的方法，其中针对所述图像块的亮度分量和色度分量使用不同的变换类型和相同的变换大小。

10.根据权利要求1至6中任一项所述的方法，其中针对所述图像块的亮度分量和色度分量使用不同的变换类型和不同的变换大小。

11.根据权利要求1至10中任一项所述的方法，其中所接收的胶片颗粒信息还包括以下各项中的至少一者：

用于所述图像块的亮度分量的变换类型的指示，

用于所述图像块的亮度分量的变换大小的指示，

用于所述图像块的色度分量的变换类型的指示，

用于所述图像块的色度分量的变换大小的指示，

用于所述图像块的亮度分量和色度分量的相同变换类型的指示，

用于所述图像块的亮度分量和色度分量的相同变换大小的指示，

关于是否推断所述亮度变换类型的指示。

12.根据权利要求11所述的方法，其中用于所述图像块的色度分量的变换类型和变换大小是从用于所述图像块的亮度分量的变换类型的所述指示和用于所述图像块的亮度分量的变换大小的所述指示导出的。

13.根据权利要求11所述的方法，其中水平变换类型和垂直变换类型用于所述图像块的亮度分量和色度分量，并且其中所述水平变换类型和所述水平变换类型是不同的。

14.根据权利要求1至13中任一项所述的方法，所述方法还包括：根据所述图像块的大小来缩放指定与所述图像块相关联的所述胶片颗粒的属性的至少一个参数。

15.根据权利要求1至14中任一项所述的方法，其中所述变换是标准化DCT-II、DCT-VIII、DST-VII中的一者。

16.一种方法，所述方法包括：

接收胶片颗粒块，所述胶片颗粒块表示图像块中的胶片颗粒估计；

对胶片颗粒块应用变换，其中变换是DCT-II、DCT-VIII、DST-VII中的一者；以及

根据经变换的胶片颗粒块生成指定与所述图像块相关联的胶片颗粒的属性的至少一个参数。

17.一种其上编码有视频数据的非暂态计算机可读存储介质，所述非暂态计算机可读存储介质包括胶片颗粒信息，所述胶片颗粒信息包括指定与图像块相关联的胶片颗粒的属性的至少一个参数，其中用于生成指定与所述图像块相关联的胶片颗粒的属性的所述至少一个参数的变换是DCT-II、DCT-VIII、DST-VII中的一者。

18.根据权利要求17所述的非暂态计算机可读存储介质，其中胶片颗粒信息还包括以下各项中的至少一者：

-用于所述图像块的亮度分量的变换类型的指示，

-用于所述图像块的亮度分量的变换大小的指示，

-用于所述图像块的色度分量的变换类型的指示，

-用于所述图像块的色度分量的变换大小的指示，

-用于所述图像块的亮度分量和色度分量的相同变换类型的指示，

-用于所述图像块的亮度分量和色度分量的相同变换大小的指示，

-关于是否推断所述亮度变换类型的指示。

19.根据权利要求17所述的非暂态计算机可读存储介质，其中胶片颗粒信息被编码为包括所述至少一个参数的补充增强信息消息。

20.一种装置，所述装置包括存储器和一个或多个处理器，其中所述一个或多个处理器被配置为执行根据权利要求1至16中任一项所述的方法。

21.一种计算机可读的非暂态程序存储设备，所述非暂态程序存储设备有形地体现能够由所述计算机执行以用于执行根据权利要求1至16中任一项所述的方法的指令的程序。