CN114430904A - 利用环内子图像级可控噪声生成进行的视频压缩 - Google Patents

Abstract

一种系统包括编码器，该编码器被配置为使用环内噪声生成过程来压缩视频数据，该环内噪声生成过程在该压缩环路中以子图像部分级的粒度诸如以块级别生成噪声。该编码器包括编码位流中的噪声模型和/或噪声模型输入参数信息。此外，一种系统包括解码器，该解码器被配置为接收此类位流，并且使用环内噪声生成过程来解压缩该视频，该环内噪声生成过程在该解压缩环路中以子图像部分级的粒度生成噪声。

Description

利用环内子图像级可控噪声生成进行的视频压缩

优先权

本申请要求2019年9月23日提交的美国临时专利申请号62/904,576的优先权和权益，该申请的全部内容以引用方式并入本文。

技术领域

本公开整体涉及使用在图像部分级可控的环内噪声生成来压缩和解压缩视频数据。

背景技术

包括但不限于个人计算机系统、台式计算机系统、膝上型电脑和笔记本电脑、平板电脑或平板设备、数字相机、数字视频录像机，以及移动电话或智能电话的各种设备可包括实施视频处理方法的软件和/或硬件。例如，设备可包括可根据一个或多个视频处理方法来接收和处理来自一个或多个源的数字视频输入并且输出经处理的视频信号，例如图片/帧或图片/帧的区域的装置(例如，集成电路(IC)，诸如片上系统(SOC)，或IC的子系统)。又如，可在设备上实施可根据一个或多个视频处理方法接收和处理来自一个或多个源的数字视频输入并输出经处理的视频帧的软件程序。

在一些视频处理方法中，为了执行处理，每个输入视频图片/帧被划分成像素块(例如，16×16像素块)的行和列。输入视频图片/帧的每个块可单独被处理，并且在处理完成时经处理的块被组合以形成输出视频帧。这可被称为块处理方法。

块处理方法可包括顺序地被施加到视频图片/帧中的每个块的多个处理步骤或操作。

发明内容

在一些实施方案中，用于编码视频图像数据的系统被配置为压缩视频的多个帧中包括的多个图像的像素值数据，其中作为压缩的一部分，系统在图像部分级粒度执行环内噪声估计和生成。所支持的多级粒度可包括宏块、编码树单元(CTU)、编码单元(CU)、预测单元(PU)、变换单元(TU)、噪声块或区域单元(可与多个宏块、CTU、CU、PU、TU等重叠)或编码技术可支持的其他块编码单元。在一些实施方案中，如本文所述的技术可以作为对现有视频编码标准的扩展添加(例如，在新的配置文件中)，或者可以包括在新的视频编码标准中，诸如MPEG VVC/H.266、AOM的AV2或其他此类编码标准或技术。

为了执行环内噪声估计和生成，该系统被配置为确定要为图像中的给定的一个图像的第一部分生成的第一噪声图案，确定要为图像中的相同的给定的一个图像的第二部分生成的第二噪声图案，以及经由包括在用于压缩像素值数据的压缩环路中的环内噪声生成器生成第一噪声图案和第二噪声图案，其中第一噪声图案和第二噪声图案不同。此外，该系统被配置为对多个图像的压缩像素值数据进行编码，其中用于压缩像素值数据的编码位流包括指示噪声模型或用于生成第一噪声图案和第二噪声图案的一个或多个噪声参数的数据。在一些实施方案中，给定图像的第一部分和第二部分可以对应于与多个块或CTU等重叠的块、CTU、CU、PU、噪声块或区域单元等。噪声图案可包括噪声样本的图案，这些噪声样本由噪声模型使用以生成噪声图案的一个或多个输入产生。以图像部分级粒度生成的噪声图案可以具有与针对生成的图像的部分(例如，块、区域等)相同的大小/形状。

在一些实施方案中，可以将第一噪声图案和第二(或附加的)噪声图案添加到在压缩环路中计算的残差值，这些残差值也被添加到预测像素值。在一些实施方案中，在调整的预测像素值(例如，基于残差调整的预测像素值)被包括在压缩环路中的一个或多个环内滤波器诸如去块滤波器、样本自适应偏移(SAO)滤波器、自适应环路滤波器(ALF)、双边滤波器或其他环内滤波器进一步滤波之前，噪声图案可以在块级与已经基于残差值调整的预测像素值组合。相反，在一些实施方案中，在已经由包括在压缩环路中的一个或多个环内滤波器，诸如去块滤波器、样本自适应偏移(SAO)滤波器、自适应环路滤波器(ALF)、双边滤波器或其他环内滤波器，滤波残差调整预测像素值之后可以在块级添加第一噪声图案和第二(或附加的)噪声图案。例如，可以将包括在噪声图案中的每个样本添加到块的每个对应的样本。可以针对多个颜色平面的每个颜色分量重复该过程。此外，在一些实施方案中，可以将噪声添加到一个或多个颜色分量而不添加到其他颜色分量。

在一些实施方案中，用于解码压缩视频数据的编码位流的系统被配置为以图像部分级粒度执行环内噪声估计和生成，作为解压缩压缩视频数据的一部分。例如，系统被配置为接收用于压缩图像或视频区域的编码位流，其中编码位流包括指示噪声模型或噪声参数的数据，该噪声模型或噪声参数用于为压缩图像或区域的解压缩版本的两个或更多个部分生成噪声。该系统被进一步配置为基于指示噪声模型或噪声参数的数据，经由环内噪声生成器生成用于部分中的第一部分的第一噪声图案和用于部分中的第二部分的第二噪声图案。此外，系统被配置为将第一噪声图案添加到对应于压缩图像的解压缩版本的第一部分的预测像素值，并且将第二噪声图案添加到对应于压缩图像的解压缩版本的第二部分的预测像素值。

在一些实施方案中，可以将第一噪声图案和第二(或附加的)噪声图案添加到在解压缩环路中计算的残差值，这些残差值也被添加到预测像素值。在一些实施方案中，在调整的预测像素值(例如，基于残差调整的预测像素值)被包括在解压缩环路中的一个或多个环内滤波器诸如去块滤波器、样本自适应偏移(SAO)滤波器、自适应环路滤波器(ALF)、双边滤波器或其他环内滤波器进一步滤波之前，噪声图案可以在块级别与已经基于残差值调整的预测像素值组合。相反，在一些实施方案中，在已经由包括在解压缩环路中的一个或多个环内滤波器，诸如去块滤波器、样本自适应偏移(SAO)滤波器、自适应环路滤波器(ALF)、双边滤波器或其他环内滤波器，滤波残差调整预测像素值之后可以在块级别添加第一噪声图案和第二(或附加的)噪声图案。

附图说明

图1示出了根据一些实施方案的编码器的示例性视频压缩环路。

图2示出了根据一些实施方案的包括环外帧级噪声生成的示例性视频编码器。

图3示出了根据一些实施方案的包括环外帧级噪声生成的示例性视频解码器。

图4示出了根据一些实施方案的包括以子图像部分粒度控制的环内噪声生成的示例性视频编码器。

图5示出了根据一些实施方案的包括以子图像部分粒度控制的环内噪声生成的示例性视频解码器。

图6示出了根据一些实施方案的包括以子图像部分粒度控制的环内噪声生成的示例性视频编码器，其中所生成的噪声被添加到环路滤波器的下游。

图7示出了根据一些实施方案的包括以子图像部分粒度控制的环内噪声生成的示例性视频解码器，其中所生成的噪声被添加到环路滤波器的下游。

图8示出了根据一些实施方案的示例性视频编码器，该示例性视频编码器包括以子图像部分粒度控制的环内噪声生成并且包括受控去噪。

图9示出了根据一些实施方案的示例性视频编码器，该示例性视频解码器包括以子图像部分粒度控制的环内噪声生成并且包括受控去噪。

图10示出了根据一些实施方案的示例性视频解码器，该示例性视频解码器包括以子图像部分粒度控制的环内噪声生成并且包括环路滤波器下游的受控去噪。

图11A至图11B示出了根据一些实施方案的在子图像部分级粒度具有环内噪声估计和生成的压缩过程。

图12示出了根据一些实施方案的划分为图像块的示例性图像帧。

图13示出了根据一些实施方案的示出与图像块重叠的噪声块或区域单元的示例性图像帧。

图14示出了根据一些实施方案的示例性受控去噪过程。

图15示出了根据一些实施方案的用于在解压缩过程中生成环内噪声图案的示例性过程。

图16示出了根据一些实施方案的可实现编码器或解码器的示例计算机系统。

本说明书包括参考“一个实施方案”或“实施方案”。出现短语“在一个实施方案中”或“在实施方案中”并不一定是指同一个实施方案。特定特征、结构或特性可以与本公开一致的任何合适的方式被组合。

“包括”，该术语是开放式的。如在所附权利要求书中所使用的，该术语不排除附加结构或步骤。考虑以下引用的权利要求：“一种包括一个或多个处理器单元...的装置”此类权利要求不排除该装置包括附加部件(例如，网络接口单元、图形电路等)。

“被配置为”，各种单元、电路或其他部件可被描述为或叙述为“被配置为”执行一项或多项任务。在此类上下文中，“被配置为”用于通过指示单元/电路/部件包括在操作期间执行这一项或多项任务的结构(例如，电路)来暗指该结构。如此，单元/电路/部件据称可被配置为即使在指定的单元/电路/部件当前不可操作(例如，未接通)时也执行该任务。与“被配置为”语言一起使用的单元/电路/部件包括硬件——例如电路、存储可执行以实现操作的程序指令的存储器等。引用单元/电路/部件“被配置为”执行一项或多项任务明确地旨在针对该单元/电路/部件不援引35U.S.C.§112(f)。此外，“被配置为”可包括由软件和/或固件(例如，FPGA或执行软件的通用处理器)操纵的通用结构(例如，通用电路)以能够执行待解决的一项或多项任务的方式操作。“被配置为”还可包括调整制造过程(例如，半导体制作设施)，以制造适用于实现或执行一项或多项任务的设备(例如，集成电路)。

“第一”“第二”等。如本文所用，这些术语充当它们所在之前的名词的标签，并且不暗指任何类型的排序(例如，空间的、时间的、逻辑的等)。例如，缓冲电路在本文中可被描述为执行“第一”值和“第二”值的写入操作。术语“第一”和“第二”未必暗指第一值必须在第二值之前被写入。

“基于”。如本文所用，该术语用于描述影响确定的一个或多个因素。该术语不排除影响确定的附加因素。即，确定可仅基于这些因素或至少部分地基于这些因素。考虑短语“基于B来确定A”。在这种情况下，B为影响A的确定的因素，此类短语不排除A的确定也可基于C。在其他实例中，可仅基于B来确定A。

具体实施方式

自然场景通常不包括噪声。然而，捕获自然场景的视频图像或静止图像可包括噪声。例如，在处理暗内容时，诸如在低光照条件下捕获自然场景的图像，图像中通常会与自然场景一起捕获噪声。例如，可以捕获热噪声或经由光传感器引入的噪声等。另外，根据用于捕获自然图像的介质，可以捕获其他类型的噪声，诸如胶片颗粒噪声。

由于各种原因，可能需要在图像已被压缩和解压缩之后保持或重新创建包括在捕获的图像中的噪声。例如，胶片颗粒噪声可以是视频的理想特征，以便复制旧电影、艺术意图等。然而，当前的视频压缩算法要么在压缩和解压缩过程中去除噪声，要么无法在图像或视频的解压缩版本中真实地再现噪声。

例如，一些视频压缩/解压缩系统可以全帧级粒度向解压缩图像添加噪声。这可以通过指定通常与序列的每一帧相关联的噪声模型来完成，例如，在编解码器诸如MPEG-4AVC/H.264或HEVC/HEVC中使用Film Grain SEI机制，并且使用该模型来生成待添加到当前帧的噪声。可以根据区域特征，例如待添加噪声的区域的亮度，进一步调制待添加的噪声的量和类型。然而，噪声模型不会改变，而噪声的量和类型通常在图像帧内变化，使得一个大小适合所有帧级的噪声模型无法真实地重新创建原始图像中包括的噪声。

在一些实施方案中，视频编码器或解码器可以包括以子图像部分级粒度选择噪声模型和/或模型参数的环内噪声估计器和/或环内噪声生成器，其中不同的噪声模型和/或参数可以应用于相同的图像帧内的图像的不同部分。为简单起见，本文中使用术语图像帧。然而，在一些实施方案中，可以对图片执行类似的处理，该图片可以包括隔行扫描的图像，诸如场和帧图片。在一些实施方案中，可以在环路滤波器诸如去块滤波器或样本自适应偏移(SAO)滤波器的上游或下游的压缩环路或解压缩环路中添加子图像级噪声。

此外，在一些实施方案中，可选的去噪滤波器可被包括在压缩或解压缩环路中以去除噪声。在一些实施方案中，从压缩环路中去除噪声可以通过从残差值中去除噪声并且因此减少对残差值进行编码或等效地以较高质量压缩这些残差值所需的位数来提高压缩效率。

在一些实施方案中，可以在压缩/解压缩回路中包括受控去噪滤波器以去除噪声以提高压缩效率。在一些实施方案中，可以控制受控去噪滤波器使得滤波器被调整以去除类似于在压缩或解压缩环路中的另一位置处添加的噪声的噪声。例如，指示用于生成环内噪声的所选择的噪声模型/噪声参数的信息诸如噪声参数也可以被提供给受控去噪滤波器以选择适当的滤波器来去除所生成的噪声。

示例性压缩环/编码器

例如，图1示出了接收输入视频数据130的压缩环路100。输入视频数据130的某些部分用于经由帧内预测模块和/或运动估计/补偿模块102来确定预测像素值。将预测值142与输入视频数据130中的原始像素值进行比较以确定残差值132(例如，预测像素值与输入视频数据130的像素值之间的差)。残差值132经由变换模块110和量化模块104进一步处理，并且作为压缩图像/视频数据136输出。变换/量化的残差值(例如，压缩图像/视频数据136)经由熵编码模块114进行熵编码，并且作为编码压缩的位流138输出。

压缩回路100还包括逆量化模块116和逆变换模块118。逆量化模块116和逆变换模块118重构残差值，使得它们与通过变换模块110和量化模块112之前的残差值132类似。例如，逆量化/逆变换模块撤消在变换模块110和量化模块112处应用的变换和量化。除了逆变换模块116的输出，可以包括由于残差值的变换和量化而引入的任何失真。逆变换模块116的输出与来自运动补偿/帧内预测模块102的预测像素值140组合以生成原始像素值的重构版本(例如，解压缩的像素值134)。解压缩的像素值134由环内滤波器进一步处理，诸如去块滤波器120和样本自适应偏移(SAO)滤波器122。包括已被解块滤波器120和SAO滤波器122滤波的解压缩像素值134的重构图像帧被存储在解码图像缓冲器124中。

解码图片缓冲器124中的图像可用作估计帧内模式压缩失真的输入。例如，帧内模式估计模块106可以利用还存储在解码图片缓冲器124中的来自当前图像的先前编码区域来估计与当前图像帧中的未压缩区域相比的失真。

如本文所用，帧内模式压缩是指使用基于相同的图像帧中的其他像素的值在图像帧内确定的预测值和残差值的压缩。例如，帧内模式压缩技术可以采用图像的像素值的子集并且明确地包括该子集。在一些实施方案中，子集可以是单个起始像素值或像素值集。此外，帧内预测技术使用这些起始像素值来预测相邻像素的像素值。此类过程可以是迭代的并且可以逐块进行，其中一次为一个块预测像素值。然后可以将这些预测的像素值与图像的实际像素值进行比较以确定残差值。然后可以对残差值进行编码以供解码器使用以校正使用相同或类似的预测过程生成的预测像素值。

相反，如本文所用，帧间预测是指利用图像帧之间的差异(诸如由于时间变化)来预测像素值的压缩技术。例如，运动估计和运动向量可以用在帧间预测方法中，以估计和指示图像帧之间图像的块或其他子单元的运动(例如，时间差)。这些运动向量然后可用于预测后续图像帧相对于参考图像帧的像素值，其中预测像素值补偿图像帧之间的运动。

运动补偿估计模块108可以使用解码图片缓冲器124中的图像来确定未压缩图像帧和重构图像帧之间的估计的运动和/或失真，其中使用帧间压缩技术诸如运动估计和补偿来对重建的图像帧进行压缩和解压缩。

由帧内模式估计模块106和运动补偿估计模块108确定的估计失真和/或压缩效率可以被提供给模式决策模块104，其中模式决策模块104选择是否使用帧内预测技术或帧间预测技术来压缩给定图像区域或甚至整个帧。

在一些实施方案中，设备，诸如具有屏幕和正在捕获正在被压缩的图像或视频的相机的移动设备，也可以显示视频图像。例如，可以进一步将存储在解码图片缓冲器124中的重构图像帧提供给显示器126以在显示器上渲染。

传统上，图像和视频编码方案对待压缩和编码的图像区域执行如上所述的预测(帧内预测或帧间预测)。例如，诸如大小为MxN的块区域。先前编码的样本，诸如相同图像中的其他块可用于帧内预测技术，而在不同时间的其他图像帧中的对应块可用于帧间预测技术。

在一些实施方案中，诸如经由变换模块110应用于残差值的变换可以包括逆离散余弦变换或其他合适的变换。

在一些实施方案中，环路滤波器，诸如去块滤波器120、SAO滤波器122和/或附加的环路滤波器可以应用于图像的一部分(例如，块)以及图像的相邻部分(例如，相邻块)。环路滤波器可以减少编码/压缩过程可能已经引入的可能的编码/压缩伪影。

编码的压缩位流138可以包括重构正在被压缩和编码的图像的部分(例如，块)所需的任何信息，诸如分区信息、所选择的预测模式的指示及其相关信息，例如，运动向量和参考索引、所使用的一个或多个变换的类型、量化参数，以及任何其余量化系数，等等。

在某种程度上，解码器遵循逆过程，首先对压缩位流执行熵解码以导出编码信息(分区、模式、运动向量/mv、量化系数等)，然后是预测过程。逆量化和变换步骤可以并行执行，然后将重构的残差添加到预测信息上。给定由底层编解码器支持和使用的适当的环内滤波机构，该重构的块然后可以被环内滤波。

尽管上述方法适用于大多数内容，但在某些情况下，这些方法可能无法很好地执行，这可导致编码性能不佳和严重的编码伪影。这是因为所描述的方法倾向于假设信号易于预测并且相对无噪声或平滑。然而，常见的图像和视频数据可包含噪声。通常，此类噪声也不是时间相关的，并且在帧与帧之间可能有很大差异。可存在与捕获和图像采集过程的不同分量相关的不同类型的噪声，包括但不限于高斯和散粒噪声、胶片颗粒、椒盐噪声，以及可能是早期压缩过程的产物的量化噪声。在内容创建过程中，噪声也可以被添加为“艺术”分量，或者可能减少在源中可能已经存在的伪影，诸如条带，或者可由于附加的处理步骤诸如位深度减少或压缩而被引入内容。图像中噪声信号的数量和特征可因区域而异，并且可取决于多个参数，包括强度、运动、颜色等。

一些系统尝试通过首先对实际源材料执行去噪步骤，然后压缩/编码去噪内容来处理图像或视频内容中的噪声。去除的噪声也在编码器中进行建模，然后在位流中发信号通知可以允许解码器合成类似噪声图案的某些参数。使用胶片颗粒建模补充增强信息(SEI)消息在AVC和HEVC两者中支持此类模型，而AV1也有类似的过程，用于在解码过程后对信号进行建模和添加噪声。然而，这些模型在编码环路之外添加噪声。此外，在这些方法中，它们的参数是全局的(即，以序列或帧级别)，并且无法在本地(例如，块)级别发信号通知任何控制参数。

在这些系统中，将例如具有不同噪声特性的两个图像组合成单个图像，例如蒙太奇，并且随后将它们编码为单个图像将暗示对对应于两个不同子图像的区域不可能考虑不同的噪声模型。噪声被设计成类似于整个图像中噪声的整体特征，并且无法局部调整。在具有不同程度噪声的图像中，这可导致噪声建模不准确，从而导致图像在去除噪声之前主观上可能与原始图像不相似。

利用环外噪声建模的示例性压缩过程

例如，图2示出了包括与压缩环路100类似的压缩环路的编码器200。然而，编码器200包括经由压缩环路100外部的噪声建模模块206的环外噪声生成。例如，输入视频数据130在进入压缩循环100之前经由降噪器202进行滤波。另外，在噪声估计器204处(环外)将滤波的视频数据与输入视频数据130进行比较以确定帧级噪声参数，诸如使用哪个噪声模型来对去除的噪声建模以及在所选择的模型中使用哪些参数。该信息被提供给熵编码单元114以被包括在编码位流138中。然而，如前所述，该帧级信息不允许子图像部分噪声生成控制，并且在帧已经被重构之后被添加到全帧，而不是在图像帧重构之前被添加到子图像部分。

在一些编码设备中，还包括显示器，诸如显示器126，噪声建模模块206可以生成包括帧级噪声图案的噪声帧，并且在提供重构图像帧用于在显示器126上渲染之前将帧级噪声图案添加到来自解码图片缓冲器124的重构图像帧。在一些实施方案中，噪声建模模块206还可以从解码图片缓冲器124接收(未示出)关于先前图像帧的信息作为噪声模型的输入。

利用环外噪声建模的示例性解压缩过程/解码器

图3示出了包括环外噪声建模的示例性解码器。熵解码模块302接收编码位流320并且熵解码编码位流。逆量化模块306和逆变换308处理解码的残差值322(这些解码的残差值可类似于在编码器处确定的已经诸如经由变换模块110和量化模块112被变换和量化的残差值)以生成去量化、去变换的残差值324。另外，信息328(例如，初始像素值、运动向量等)被提供给运动补偿帧内/预测模块316。信息328可以包括关于图像是经由帧内预测还是帧间预测压缩的指示。

如果经由帧内预测压缩，则信息328可以包括压缩图像的至少一个像素的至少一个或多个初始像素值。至少一个或多个像素值可以是用于经由帧内预测过程来预测其他像素的像素值的起始值。另选地，如果图像是经由帧间预测压缩的，则信息328可以包括运动向量(mvs)。运动补偿/帧内预测模块316可以生成预测像素值326，并且预测像素值326可以与去量化、去变换的残差值324组合以产生去压缩像素值330。解压缩的像素值330可以进一步由一个或多个环路滤波器滤波，诸如去块滤波器310和样本自适应偏移(SAO)滤波器312。滤波的解压缩像素值被重构为解压缩图像帧并且存储在解码图片缓冲器314中。在一些实施方案中，来自解码图片缓冲器314的解压缩图像帧可以被运动补偿/帧内预测模块316用来估计连续图像帧的块(或其他部分)之间的运动。

上述解压过程可以类似于本文所述的各种解码器。然而，图3还示出了环外噪声建模，其中指示用于生成帧级噪声图案的噪声模型/噪声参数的解码数据332被提供给噪声建模模块304，该噪声建模模块在解压缩环路300之外生成整个图像帧的噪声图案。在336处，图像帧级噪声在被提供以在显示器318上渲染之前被添加到来自解码图片缓冲器314的重构图像帧。

环路子图像部分级噪声建模

在一些实施方案中，与从原始源去除噪声并且在编码环路之外执行噪声建模的先前系统不同，具有环内噪声生成的压缩/解压缩过程使得能够在图像/视频编码环路内添加噪声。此类添加也可以在子图像部分级(在本文中也称为块级)完成和控制，例如，宏块、编码树单元(CTU)、编码单元、变换单元或可由编码技术支持的其他块编码单元。

具体地，可以在视频编码器以及因此视频解码器内部引入附加的编码块，该视频解码器具有建模和生成在图像块的重建期间被添加到信号上的“受控”噪声图案的目的。

例如，图4示出了压缩环路400，其类似于压缩环路100，不同之处在于压缩环路400包括可选的降噪器404、406、408和410以及环内噪声建模单元402。输入视频130在用于确定残差值132之前可选地在降噪器404处去噪。此外，残差值132可以在被变换和量化之前经由降噪器406被去噪。另外，来自解码图片缓冲器124的未压缩图像帧和解压缩图像帧可以在被运动估计模块108使用之前经由可选的降噪器408和410去噪。

然而，与图2中所示的在压缩环路100之外的噪声建模模块206相比，噪声建模模块402被包括作为压缩环路400的一部分，其中所生成的部分级噪声图案412与图像部分的逆量化、逆变换的残差值一起被添加到图像部分的预测像素值140。

又如，图5示出了解压缩环路500，该解压缩环路类似于解压缩环路300，不同之处在于解压缩环路500包括在解压缩环路内的噪声建模单元502，使得可以在子图像部分级粒度添加噪声。

与图4和图5中所示的压缩环路和解压缩环路不同，图2和图3中生成的噪声本质上是使用帧级参数生成的，并且添加到编码环路之外。相反，在图4所示的压缩回路400和图5所示的解压缩回路500中生成的噪声是针对每个块或系统可以支持的任何其他编码单元生成的，并且向其添加。在压缩回路400和解压缩回路500中，噪声的添加和特性完全由位流中发信号通知的参数控制，其中可以针对每个此类编码单元发信号通知信号。例如，可以类似于变换信息如何与每个编码单元相关联并且为每个编码单元提供的方式发信号通知噪声生成参数。

具体地，压缩环400和解压缩环500允许对每个编码单元添加“受控噪声”。可以发信号通知控制要添加的噪声的存在、类型和特性的各种参数。编码单元可以是现有单元，诸如CTU、预测单元、变换单元等，或者是可以通过类似于如何控制这些其他单元的高级语法元素来指定和控制的新定义的独立单元。例如，CTU，以与其被分割成变换单元的类似方式，也可以被分割成此类单元用于噪声添加。可以使用分级方式进行分割。例如，基于树的方法可用于分割例如四叉树、二叉树、三叉树等。此类树的最大深度可以通过更高级别的语法单元来控制，例如在序列参数集(SPS)、图片参数集(PPS)或切片标头处。此类单元也可以大于CTU并且跨越多个CTU，以确保更好地跨多个块混合噪声。此类单元可以被称为噪声部分单元。

例如，图12示出了包括多个块1204的图像1202的一部分，并且图13示出了噪声块或区域单元1302、1304、1306和1308，其中每个噪声块或区域单元与块1204中的多个块重叠。

本文所讨论的环内噪声生成过程可以应用于任何颜色域，例如YCbCr或RGB信号。此外，本文所讨论的环内噪声生成过程可以在单个平面上操作，例如仅亮度(Y)，或所有平面，而对所有平面的控制可以相同，也可以对每个颜色平面(例如，颜色空间的颜色分量)不同。例如，可以只在亮度分量上添加噪声，而在色度平面上不添加噪声，或者可以基于亮度分量对噪声进行建模，然后在添加任何噪声之前基于固定关系或基于亮度和色度值的关系对其他颜色平面进行缩放或适当调整(例如，重构亮度的数据通道与添加噪声前重构色度的数据通道；此类值可用于确定添加在色度平面中的噪声的缩放系数，例如基于这两个量的比率)。还可以对不同类型的内容应用不同的控制，例如，内容是标准还是高动态范围内容、视频还是全范围、具有标准/有限色域或广色域，内容是归类为天然内容还是合成内容，内容是常规内容还是点云投影内容(例如，在基于视频点云压缩(V-PCC)压缩技术的点云系统的上下文中)等。

对于每个噪声块或区域单元(例如，块、CTU等)，可以在位流中发信号通知以下各项：

·噪声的存在。如果不存在噪声，则无需发送附加的参数。这可以是标记，也可以是还示出待添加的噪声类型的参数(如下一个项目符号中所述)。

·如果存在噪声，则待添加的噪声类型，以及可能用于生成噪声类型的噪声模型。例如，待添加的噪声可以遵循高斯或拉普拉斯模型、广义高斯、均匀、伽马、柏林噪声等。所有这些噪声模型都可以与语法元素例如block_noise_model相关联。例如，如果该参数被设置为0，则不添加噪声。如果参数被设置为1，则将使用噪声的高斯模型，如果被设置为2，则将使用均匀噪声模型，依此类推。

·根据噪声模型，可发送附加参数。例如，对于高斯模型，可以发信号通知噪声的平均值及其标准偏差。对于遵循广义功率分布模型参数诸如alpha和beta参数的噪声模型，除平均值之外，还可以发信号通知其他内容。另一个模型可以利用变换域，例如基于离散余弦变换(DCT)的噪声生成过程，而另一个模型可以使用基于递归的模型。还可以使用适当定义的多项式/线性反馈移位寄存器(LSFR)来生成噪声。LFSR方法通常用于生成均匀分布和伪随机高斯分布噪声模型。对于此类多项式，可以发信号通知多项式的阶数和系数以及多项式所需的初始(种子值)。此类信息也可以跨相邻块共享。在这种情况下，也可以从其邻域预测滤波器参数以减少开销。例如，对于块，可以发信号通知要添加的噪声与添加到其相邻部分中的一者中的噪声相关，例如左侧或顶部的块。在这种情况下，可能不需要发信号通知附加的参数，或者可以根据其相邻部分的参数来“预测”针对当前块发信号通知的参数。也可以基于邻域使用最可能的噪声模型来进一步减少开销。噪声的位置顺序也可以发信号通知或预先确定。例如，光栅扫描或之字形扫描顺序可用于噪声的生成和添加。噪声块也可以被视为“噪声变换块”，类似于DCT或在其适当的指定域和“变换模型”(例如，LFSR模型)中生成噪声图案的其他变换块。解码器中可以使用相同的模型并且以相同的方式运行，例如编码器和解码器的噪声模型都包括在编码器的噪声建模模块和解码器的噪声建模模块中。

在一些实施方案中，待添加的噪声的值可以是不可知的并且独立于要被添加到的信号。在另选的实施方案中，噪声还可以取决于该块的特性。此类特性可包括其重建的整体数据通道或像素(例如，待添加的噪声由数据通道或当前分量值调制)，基于残差信号的特性(再次由每个残差像素的值调制；在这种情况下，如果残差为0，则可能期望使用“残差+固定偏移”值执行调制)，或运动(例如，低运动与高运动块可能需要添加不同的噪声。这可以通过控制位流中运动向量的噪声生成和加权来完成)。此外，可以为跳过、帧内和仿射模式块等添加不同的噪声。此类权重也可以根据正在处理的颜色平面进行调整(例如，对于亮度与色度分量，可以根据模式、运动、块的DC值等生成不同的噪声，或者可以仅基于亮度来确定此类噪声控制参数以降低复杂性。

待添加的噪声在编码器处基于源的特性确定。具体地，可以分析源并且确定信号中的噪声(如果有的话)，然后建模。编码器可尽全力重新创建接近其原始特征的噪声，但也可以仅接近它。可以使用多种方法来做到这一点，例如使用最小均方估计方法、维纳噪声估计等。

在一些实施方案中，编码器可以选择在执行该过程之前对内容进行去噪，因为它知道它可以重新合成噪声作为编码环路的一部分。该过程完全是可选的。去噪可直接发生在源上，例如在图像域中，或者在已执行任何预测后的残差域中。预测域中的此类去噪还可以去除通过预测过程引入的噪声(例如，由于噪声参考)。去噪也可以在两个域中以级联方式执行。此类步骤显然是非规范的，并且旨在减少将被变换和量化的残余信号的能量。任何去噪方法，包括维纳滤波、双边滤波、运动补偿时空滤波、基于小波或bandlet/edgelet/ridgelet滤波、高斯滤波等，或其他常用的滤波方法都可以用于此类处理。

可以经由可选的降噪器408和410应用附加的非规范去噪，如图4所示。例如，在运动估计过程中，可以将可选的去噪应用于源信号和存储在解码图片缓冲器124中的参考两者。这可以帮助运动估计确定场景中实际信号的最佳预测(例如，找到内容的“实际/真实”运动)而不是噪声，这通常是不相关的。任何去噪方法，包括维纳滤波、双边滤波、运动补偿时空滤波、基于小波或bandlet/edgelet/ridgelet滤波、高斯滤波，或其他常用的滤波方法都可以用于此类处理。在这种情况下，运动补偿和最终预测将使用未经过滤的数据。

可以在添加预测和重构(在逆量化和变换之后)残差值之后立即或同时添加噪声。例如，可以在逆变换118之后添加噪声图案，如图4所示。然而，这意味着任何后续处理步骤，诸如去块、样本自适应偏移滤波(SAO)、自适应环路滤波器(ALF)或编解码器可支持的任何其他环内滤波，将应用于作为预测、重构残差和重构噪声的组合的信号。这在某些架构下可能是可取的，在这种情况下，还可能需要基于向当前块以及其相邻部分添加噪声来控制此类滤波机构。在这种情况下，可以更改此类环路滤波机构的特性，以便a)考虑噪声，b)确保它们保留噪声特性，以及/或者c)确保噪声跨块分区适当混合。

例如，在现有的去块方案中，滤波强度通常基于像素和块边缘的相似性来确定。仅评估在这些情况下要过滤的行或列。由于添加了噪声，最好不要考虑单个列或行，而是以考虑多个列和行的方式执行去块强度的评估。有效地，可以在去块强度确定之前对要去块的位置进行“微妙的”和就地去噪。然后可以对此类去噪像素执行强度确定。需注意，此类去噪仅用于确定去块强度，并且去噪值不会进一步用于重建过程。可以对其他类型的滤波器进行类似的考虑，诸如SAO、ALF、环路双边滤波等。例如，在SAO的情况下，当前在HEVC中定义的带或边缘滤波的确定也考虑了用于分类过程的类似去噪方法。如果要使用SAO的其他模式，例如纹理模式、条带检测等，也可以进行类似的考虑。

在一些实施方案中，可以在添加或不添加噪声的情况下执行帧内预测。这可能已经在编码器和解码器处预先确定(无信令)，或者也可以在位流中发信号通知决策。信令可处于高级语法结构，例如，SPS、PPS或切片标头，也可以处于较低级别，例如，CTU或噪声块级。

在一些实施方案中，压缩环路/解压缩环路可以在其中在环路滤波器下游添加噪声的另选模式中起作用。例如，图6示出了编码器，其中噪声被添加到SAO滤波器122的下游。又如，图7示出了解码器，其中噪声建模模块702在解压缩环路中，并且噪声正在被添加到SAO滤波器312的下游。

在一些实施方案中，可能期望在环路滤波步骤之后添加噪声块。这可以避免对添加的噪声进行滤波，在某些情况下，这可导致其他类型的伪影。最终信号仍被添加到参考缓冲器中以供将来预测。然而，与之前可以在有或没有噪声模型的情况下进行帧内预测的情况不同，出于复杂性和存储目的，通常处于环内滤波器级的步骤免于帧内预测。因此，建议在这种情况下也将噪声块从任何帧内预测(包括相邻块方向预测和帧内块复制预测)阶段排除。然而，噪声仍然被考虑用于间隔/时间预测。

在某些情况下，添加的噪声可对帧间预测造成损害。这是因为系统不仅要补偿预测的不准确性，还要补偿不相关的噪声。去噪方法的使用，例如双边、高斯、维纳或其他滤波方案，可以是预测环路的一部分，并且从预测信号中去除噪声。此类去噪方法在编码器和解码器中都用此类信号发信号通知和控制。例如，图8示出了包括受控降噪模块804的编码器，并且图9示出了包括受控降噪模块904的解码器。图10还示出了解码器，该解码器包括从运动补偿和帧内预测模块316使用的重构图像中去除噪声的受控去噪模块1004。

在一些实施方案中，此类受控去噪方法的信令现在也可以基于添加的噪声的类型和特征。由于编码器和解码器都知道这些信息，因此可以根据这些特征相应地调整去噪，例如选择最合适的模式来去除噪声，而不需要根据噪声的特性来发信号通知对“未知”进行去噪所需的所有参数。例如，如果在特定参考上添加了某些特征的噪声(例如，平均值X的高斯噪声)，那么对于该参考，双边滤波器可能是优选的。对于具有不同噪声特征的不同参考，高斯或维纳滤波器可能是优选的。代替对滤波器进行隐式决策，还可以根据此类机构来选择最可能的滤波器模式，然后对待使用的最终滤波器的索引进行编码。那么这将有助于减少去噪处理滤波器的编码开销。

在一些实施方案中，环内噪声生成和添加可以与环外噪声生成和添加相结合，如图2和图3所示。这在可能需要在重构信号上添加噪声但避免在预测环路中出现噪声的情况下会有所帮助。有多种方法可以做到这一点，例如：

·在更高级别的结构上切换噪声图案，例如序列、图片、图块或切片。例如，噪声可能仅在环外，或仅在环路内。

·即使在块级也允许两种模式都存在，但每次只存在其中一种。在这种情况下，编码器和解码器需要维护已经添加了环内噪声以及稍后将添加环外噪声(例如，用于显示目的)的块图。

·允许存在两种类型的噪声，但也可以同时在块级进行控制。在这种情况下，环内噪声可试图解决某些类型的伪影，并且可能不需要具有相当大的能量来确保噪声不会对帧间预测产生太大影响。另一方面，环外噪声可能更为显著。在这种情况下，需要联合考虑环内和环外块的噪声模型。就环内噪声添加而言，环外噪声可以是“盲目的”，即不需要将元数据馈送到该块来添加噪声，因此降低了复杂性，然而对于一些系统，对于环外噪声加法器的调整和特性，也可能需要考虑环内噪声，例如被添加的位置以及具有什么特征。

·虽然编码模块基于像素比较运算，诸如绝对差之和(SAD)、绝对变换差之和(SATD)、平方误差之和(SSE)等可用于由提议的编码器使用的许多编码决策(如许多现有编码器所进行的那样)，优选地利用其他可能更加“噪声”不可知/稳健的匹配标准。使用经过修改的SSIM方法，该方法相比于信号的方差更突出均值，这可以证明在存在噪声的情况下作为匹配/决策标准更稳健，以及在基于拉格朗日参数的速率失真优化模型的上下文中突出显示DC值而不是较低(且更容易产生噪声的)AC系数的变换域标准，还可以根据失真模型以及当前编码的块的特性(运动、噪声、DC、无噪声方差等)适当调整λ参数。

·不同的决策规则可以适用于不同的颜色分量或不同的内容，例如SDR与HDR，这可以由编码器、应用程序或用户确定。例如，编码器可以对色度和亮度使用不同的失真标准。

生成环内噪声图案的示例性过程

图11A至图11B示出了根据一些实施方案的用于生成环内噪声图案的示例性过程。步骤1102是用于确定块级噪声作为环内压缩过程的一部分的步骤并且包括子步骤1104至1122。

在1104处，接收待压缩的第一图像或下一个图像。在1106处，选择第一部分(或下一个图像)的第一部分(例如，块、CTU、噪声块或区域单元等)来评估噪声。

在1106处，确定要为第一部分生成的第一噪声图案。可以选择第一噪声图案以近似图像的第一部分中的噪声。在1110处，使用噪声模型和/或在1108处确定的噪声参数生成第一噪声图案。

在1112处，选择第一(或下一个图像)的附加(或下一个附加)部分(例如，块、CTU、噪声块或区域单元等)来评估噪声。

在1114处，确定要为附加的(或下一个附加的)部分生成的噪声图案。可以选择噪声图案以近似图像的附加部分中的噪声。在1116处，使用噪声模型和/或在1114处确定的噪声参数生成噪声图案。

在1118处，确定是否存在待评估噪声的第一(或下一个图像)的附加部分(例如，块、CTU、噪声块或区域单元等)。如果是，则该过程在1112处继续，以压缩第一(或下一个)图像的下一个附加部分。如果对于当前正在评估的图像没有任何附加的部分要评估，则在1120处，确定是否存在附加的图像待评估。如果是这样，则该过程在1104处继续以评估下一个图像。

在1124处，为第一(或下一个图像)的当前部分(例如，块、CTU、噪声块或区域单元等)确定预测像素值。在1126处，将预测像素值与未压缩或原始像素值进行比较以确定残差值。

在1128处，在1108或1114处为正在评估的给定块确定的残差值和噪声模型和/或噪声参数被编码在编码位流中。需注意，可以逐块或逐区域地执行噪声生成和像素值预测以及残差确定。

示例性受控去噪过程

图14示出了根据一些实施方案的示例性受控去噪过程。

在1402处，基于如本文所述的各种输入参数来选择用于生成噪声图案的噪声模型。在1404处，作为所选择模型的输入的附加参数被提供为在1402处选择的模型的输入。在1406处，使用所选择的模型和所选择的输入参数为图像的第一(或下一部分)生成噪声图案。

另外，将所选择的模型和所选择的输入提供给受控去噪模块，并且在1412处，受控去噪模块基于在1402和1404处选择的噪声模型和输入参数来选择用于受控去噪的环内滤波器。在1414处，受控去噪模块针对在1406处生成噪声的图像部分执行去噪(例如，滤波)。

在1408处，确定是否存在待评估的图像的附加部分；如果存在，则该过程返回到1402。如果不存在，则过程继续评估下一个图像。

利用环内子图像部分级噪声生成的示例性解码过程

图15示出了根据一些实施方案的用于在解压缩过程中生成环内噪声图案的示例性过程。

在1502处，解码器接收用于视频的压缩图像的编码位流，其中该位流包括指示噪声模型和/或用于在编码器处生成环内噪声的噪声参数的数据。

在1504处，解码器对压缩位流进行解码。这可以包括解码熵编码的残差值和解码指示噪声模型和/或噪声参数的编码数据，该噪声模型和/或噪声参数用于生成在编码器处的压缩过程中在环内添加的噪声图案。

在1506处，解码器基于针对压缩位流中包括的相应部分(例如，块、CTU、噪声块或区域单元等)指示的噪声模型和噪声参数为正在被解压缩的图像的部分生成噪声图案。此外，在1510处，解码器预测该部分(例如，块、CTU、噪声块或区域单元等)的像素值，并且在1512处将残差值应用于预测值以生成图像部分的调整的像素值。

在1508处，将生成的噪声图案添加到图像部分的调整的像素值。在1516处，提供包括所生成的噪声图案的压缩图像部分的解压缩版本。解压缩图像部分可以与其他解压缩图像部分组合以重建压缩图像的解压缩版本。压缩图像的解压缩版本可以被添加到解压缩图片缓冲器并且可以用于运动估计和/或被提供用于在显示器处渲染，诸如在解压缩视频的一部分。

示例性计算机系统

图16示出了根据一些实施方案的示例计算机系统1600，该示例计算机系统可实现编码器或解码器或本文所述的部件中的任何其他部件(例如，上文参考图1至图15描述的部件中的任何部件)。计算机系统1600可被配置为执行上文所述的任意或全部实施方案。在不同的实施方案中，计算机系统1600可为各种类型的设备中的任一者，包括但不限于：个人计算机系统、台式计算机、膝上型电脑、笔记本电脑、平板电脑、一体电脑、平板电脑或上网本电脑、大型计算机系统、手持式计算机、工作站、网络计算机、相机、机顶盒、移动设备、消费者设备、视频游戏控制器、手持式视频游戏设备、应用服务器、存储设备、电视、视频记录设备、外围设备(诸如交换机、调制解调器、路由器)、或一般性的任何类型的计算或电子设备。

本文所述的编码器或解码器的各种实施方案可以在一个或多个计算机系统1600上执行，该计算机系统可以与各种其他设备交互。需注意，根据各种实施方案，上文相对于图1至图15描述的任何部件、动作或功能性可以实现于被配置为图16的计算机系统1600的一个或多个计算机上。在例示的实施方案中，计算机系统1600包括经由输入/输出(I/O)接口1630耦接到系统存储器1620的一个或多个处理器1610。计算机系统1600还包括耦接到I/O接口1630的网络接口1640，以及一个或多个输入/输出设备1650，诸如光标控制设备1660、键盘1670和一个或多个显示器1680。在一些情况下，可以想到实施方案可以利用计算机系统1600的单个实例来实现，而在其他实施方案中，多个此类系统或者构成计算机系统1600的多个节点可被配置为托管实施方案的不同部分或实例。例如，在一个实施方案中，一些元素可以经由计算机系统1600的与实现其他元素的那些节点不同的一个或多个节点来实现。

在各种实施方案中，计算机系统1600可以是包括一个处理器1610的单处理器系统、或者包括若干个处理器1610(例如两个、四个、八个或另一合适数量)的多处理器系统。处理器1610可以是能够执行指令的任何合适的处理器。例如，在各种实施方案中，处理器1610可以是实现多种指令集架构(ISA)(诸如x86、PowerPC、SPARC或MIPS ISA或任何其他合适的ISA)中的任一种的通用或嵌入式处理器。在多处理器系统中，处理器1610中的每一个处理器通常可以但并非必须实现相同的ISA。

系统存储器1620可被配置为存储点云压缩或点云解压缩程序指令1622和/或可由处理器1610访问的传感器数据。在各种实施方案中，系统存储器1620可使用任何合适的存储器技术来实现，诸如静态随机存取存储器(SRAM)、同步动态RAM(SDRAM)、非易失性/闪存型存储器或任何其他类型的存储器。在例示的实施方案中，程序指令1622可被配置为实现结合上述功能性中的任一种的图像传感器控制应用程序。在一些实施方案中，程序指令和/或数据可被接收、发送或存储在与系统存储器1620或计算机系统1600分开的不同类型的计算机可访问介质上或类似介质上。尽管将计算机系统1600描述为实施前面各图的功能框的功能性，但可以经由此类计算机系统实施本文描述的任何功能性。

在一个实施方案中，I/O接口1630可被配置为协调设备中的处理器1610、系统存储器1620和任何外围设备(包括网络接口1640或其他外围设备接口，诸如输入/输出设备1650)之间的I/O通信。在一些实施方案中，I/O接口1630可以执行任何必要的协议、定时或其他数据转换以将来自一个部件(例如，系统存储器1620)的数据信号转换为适于由另一部件(例如，处理器1610)使用的格式。在一些实施方案中，I/O接口1630可包括对例如通过各种类型的外围总线(诸如，外围部件互连(PCI)总线标准或通用串行总线(USB)标准的变型)附接的设备的支持。在一些实施方案中，I/O接口1630的功能例如可被划分到两个或更多个单独部件中，诸如北桥接件和南桥接件。此外，在一些实施方案中，I/O接口1630(诸如到系统存储器1620的接口)的一些或所有功能性可以被直接并入到处理器1610中。

网络接口1640可被配置为允许在计算机系统1600与附接到网络1685的其他设备(例如，承载器或代理设备)之间或者在计算机系统1600的节点之间交换数据。在各种实施方案中，网络1685可包括一种或多种网络，包括但不限于局域网(LAN)(例如，以太网或企业网)、广域网(WAN)(例如，互联网)、无线数据网、某种其他电子数据网络或它们的某种组合。在各种实施方案中，网络接口1640可支持经由有线或无线通用数据网络(诸如任何合适类型的以太网网络)的通信，例如；经由电信/电话网络(诸如模拟语音网络或数字光纤通信网络)的通信；经由存储区域网络(诸如光纤通道SAN)、或经由任何其他合适类型的网络和/或协议的通信。

在一些实施方案中，输入/输出设备1650可包括一个或多个显示终端、键盘、键区、触控板、扫描设备、语音或光学识别设备、或适于由一个或多个计算机系统1600输入或访问数据的任何其他设备。多个输入/输出设备1650可存在于计算机系统1600中，或者可分布在计算机系统1600的各个节点上。在一些实施方案中，类似的输入/输出设备可以与计算机系统1600分开，并且可通过有线或无线连接(诸如通过网络接口1640)与计算机系统1600的一个或多个节点进行交互。

如图16所示，存储器1620可包含程序指令1622，该程序指令可能可由处理器执行，以实现上文所述的任何元素或动作。在一个实施方案中，程序指令可执行上文所述的方法。在其他实施方案中，可包括不同的元件和数据。需注意，数据可包括上文所述的任何数据或信息。

本领域的技术人员应当理解，计算机系统1600仅仅是例示性的，而并非旨在限制实施方案的范围。具体地，计算机系统和设备可包括可执行所指出的功能的硬件或软件的任何组合，包括计算机、网络设备、互联网设备、个人数字助理、无线电话、寻呼机等等。计算机系统1600还可连接到未示出的其他设备，或者反之可作为独立的系统进行操作。此外，由所示出的部件所提供的功能在一些实施方案中可被组合在更少的部件中或者被分布在附加部件中。类似地，在一些实施方案中，所示出的部件中的一些部件的功能可不被提供，和/或其他附加功能可能是可用的。

本领域的技术人员还将认识到，虽然各种项目被示出为在被使用期间被存储在存储器中或存储装置上，但是为了存储器管理和数据完整性的目的，这些项目或其部分可在存储器和其他存储设备之间进行传输。另选地，在其他实施方案中，这些软件部件中的一些或全部软件部件可以在另一设备上的存储器中执行，并且经由计算机间通信来与例示的计算机系统进行通信。系统部件或数据结构中的一些或全部也可(例如作为指令或结构化数据)被存储在计算机可访问介质或便携式制品上以由合适的驱动器读取，其多种示例在上文中被描述。在一些实施方案中，存储在与计算机系统1600分开的计算机可访问介质上的指令可通过传输介质或信号(诸如通过通信介质诸如网络和/或无线链路而传送的电信号、电磁信号或数字信号)传输到计算机系统1600。各种实施方案还可包括在计算机可访问介质上接收、发送或存储根据以上描述所实现的指令和/或数据。一般来讲，计算机可访问介质可包括非暂态计算机可读存储介质或存储器介质，诸如磁介质或光学介质，例如盘或DVD/CD-ROM、易失性或非易失性介质，诸如RAM(例如SDRAM、DDR、RDRAM、SRAM等)、ROM等。在一些实施方案中，计算机可访问介质可包括传输介质或信号，诸如经由通信介质诸如网络和/或无线链路而传送的电气信号、电磁信号、或数字信号。

在不同的实施方案中，本文所述的方法可以在软件、硬件或它们的组合中实现。此外，可改变方法的框的次序，并且可对各种要素进行添加、重新排序、组合、省略、修改等。对于受益于本公开的本领域的技术人员，显然可做出各种修改和改变。本文所述的各种实施方案旨在为例示的而非限制性的。许多变型、修改、添加和改进是可能的。因此，可为在本文中被描述为单个示例的部件提供多个示例。各种部件、操作和数据存储库之间的界限在一定程度上是任意性的，并且在具体的示例性配置的上下文中示出了特定操作。预期了功能的其他分配，它们可落在所附权利要求的范围内。最后，被呈现为示例性配置中的分立部件的结构和功能可被实现为组合的结构或部件。这些和其他变型、修改、添加和改进可落入如以下权利要求书中所限定的实施方案的范围内。

Claims (35)

1.一种被配置为对视频图像数据进行编码的系统，所述系统包括：

一个或多个处理器；以及

存储程序指令的一个或多个存储器，所述程序指令当在所述一个或多个处理器上或遍及所述一个或多个处理器执行时，使得所述一个或多个处理器：

压缩视频的多个帧中包括的多个图像的像素值数据，其中为了压缩所述像素值数据，所述程序指令使所述一个或多个处理器：

确定要为所述图像中的给定的一个图像的第一部分生成的第一噪声图案；

确定要为所述图像中相同的给定的一个图像的第二部分生成的第二噪声图案；

经由包括在用于压缩所述像素值数据的压缩环路中的环内噪声生成器生成所述第一噪声图案和所述第二噪声图案，其中所述第一噪声图案和所述第二噪声图案不同；以及

对所述多个图像的所述压缩像素值数据进行编码，其中用于所述压缩像素值数据的编码位流包括指示噪声模型或用于生成所述第一噪声图案和所述第二噪声图案的一个或多个噪声参数的数据。

2.根据权利要求1所述的系统，其中所述给定图像的所述第一部分对应于所述给定图像的块，并且所述第二部分对应于所述给定图像的另一个块，

其中所述程序指令在所述一个或多个处理器上或遍及所述一个或多个处理器执行时，对所述压缩环路中的噪声生成实施环内块级控制。

3.根据权利要求1或2所述的系统，其中将所述第一噪声图案和所述第二噪声图案添加到用作环内预测压缩过程的一部分的预测残差。

4.根据权利要求1至3中任一项所述的系统，其中所述第一噪声图像和所述第二噪声图像被添加到所述压缩环路中使用的预测残差，用于所述给定图像和另一个图像帧之间的帧间预测，其中所述帧间预测至少部分地基于图像帧之间的估计的运动。

5.根据权利要求1至4中任一项所述的系统，其中在经由所述压缩环路的一个或多个环内滤波器过滤所述预测残差之前，将所述第一噪声图案和所述第二噪声图案添加到在所述压缩环路中使用的预测残差，作为环内帧间预测或帧内预测过程的一部分。

6.根据权利要求1至5中任一项所述的系统，其中在所述预测残差已经经由所述压缩环路的一个或多个环内滤波器过滤之后，将所述第一噪声图案和所述第二噪声图案添加到在所述压缩环路中使用的预测残差，作为帧间预测或帧内预测过程的一部分。

7.根据权利要求1至6中任一项所述的系统，其中所述程序指令在所述一个或多个处理器上或遍及所述一个或多个处理器执行时实施环内噪声生成控制，所述环内噪声生成控制使得能够基于是经由帧内预测处理还是帧间预测处理来预测图像的像素值来实现噪声生成控制。

8.根据权利要求1至7中任一项所述的系统，其中所述程序指令在所述一个或多个处理器上或遍及所述一个或多个处理器执行时：

根据第一噪声模型生成所述第一噪声图案，并且

根据第二噪声模型生成所述第二噪声图案，

其中所述第一噪声模型和所述第二噪声模型选自由所述系统支持的多个噪声模型。

9.根据权利要求8所述的系统，其中所述第一噪声模型和所述第二噪声模型至少部分地基于以下各项选自由所述系统支持的多个支持的噪声模型：

与所述给定图像的所述第一部分相关联的运动量；以及

与所述给定图像的所述第二部分相关联的运动量；

其中所述给定图像的所述第一部分和所述第二部分具有不同的相关联的运动量。

10.根据权利要求1至9中任一项所述的系统，其中所述给定图像的所述第一部分或所述第二部分与所述给定图像的两个或更多个预测块重叠，其中以图像块级别控制用于压缩所述给定图像的所述像素值数据的像素值的预测。

11.根据权利要求1至10中任一项所述的系统，其中所述程序指令在所述一个或多个处理器上或遍及所述一个或多个处理器执行时：

使用与所述给定图像的所述第一部分和所述给定图像的所述第二部分相关联的不同输入参数，根据相同的噪声模型生成所述第一噪声图案和所述第二噪声。

12.根据权利要求1至11中任一项所述的系统，其中所述程序指令当在所述一个或多个处理器上或遍及所述一个或多个处理器执行时使得所述一个或多个处理器：

预测包括在所述视频的所述多个帧中的所述多个图像的像素值；

基于实际像素值与预测像素值的比较来确定所述预测像素值的残差值；以及

基于所述预测像素值和所确定的残差值来确定作为所述压缩环路的一部分的解压缩像素值，

其中所述程序指令进一步使所述一个或多个处理器：

从预测像素值中过滤噪声，使得噪声滤波的预测像素值与残差值以及所述第一生成的噪声图案和所述第二生成的噪声图案一起用于为所述给定图像的解压缩版本生成解压缩的像素值，作为所述压缩环路的一部分，其中所述给定图像的所述解压缩版本在所述压缩环路中用于选择或控制待压缩的另一图像的预测模式。

13.根据权利要求1至12中任一项所述的系统，其中所述程序指令当在所述一个或多个处理器上或遍及所述一个或多个处理器执行时使得所述一个或多个处理器：

在运动估计过程中使用所述图像的所述解压缩版本以确定图像帧之间的估计的运动之前，从所述压缩环路中使用的图像的解压缩版本中过滤噪声。

14.根据权利要求1至13中任一项所述的系统，其中所述程序指令当在所述一个或多个处理器上或遍及所述一个或多个处理器执行时使得所述一个或多个处理器：

选择要用于从所述压缩环路中使用的预测像素值中过滤噪声的滤波器模型，其中所述滤波器模型是基于被选择为生成所述第一噪声图案和所述第二噪声图案的一个或多个噪声模型被选择的。

15.根据权利要求1至14中任一项所述的系统，其中所述程序指令当在所述一个或多个处理器上或遍及所述一个或多个处理器执行时使得所述一个或多个处理器：

在压缩所述图像中的相应图像的所述像素值之前，针对所述图像中的相应图像过滤所述图像中的相应图像的像素值以去除噪声。

16.根据权利要求1至15中任一项所述的系统，其中所述程序指令在所述一个或多个处理器上或遍及所述一个或多个处理器执行时：

将所述第一噪声图案应用于所述给定图像的颜色空间的第一颜色分量；以及

将所述第二噪声图案应用于所述给定图像的所述颜色空间的第二颜色分量，

使得所述第一噪声图案和所述第二噪声图案被应用于所述给定图像的不同颜色分量。

17.根据权利要求16所述的系统，其中所述第一颜色分量是YCbCr颜色空间的亮度颜色分量，并且所述第二颜色分量是YCbCr颜色空间的色度颜色分量。

18.根据权利要求16所述的系统，其中所述第一颜色分量是RGB颜色空间的红色、蓝色或绿色分量，并且所述第二颜色分量是所述RGB颜色空间的不同颜色分量。

19.一种被配置为对压缩的视频图像数据进行解码的系统，所述系统包括：

一个或多个处理器；以及

存储程序指令的一个或多个存储器，所述程序指令当在所述一个或多个处理器上或遍及所述一个或多个处理器执行时，使得所述一个或多个处理器：

接收用于视频的压缩图像的编码位流，其中所述编码位流包括指示噪声模型或噪声参数的数据，所述噪声模型或噪声参数用于为所述压缩图像的解压缩版本的两个或更多个部分生成噪声；

基于指示所述噪声模型或噪声参数的所述数据，经由环内噪声生成器生成所述部分中的第一部分的第一噪声图案和所述部分中的所述第二部分的第二噪声图案；

将所述第一噪声图案添加到对应于所述压缩图像的所述解压缩版本的所述第一部分的预测像素值；以及

将所述第二噪声图案添加到对应于所述压缩图像的所述解压缩版本的所述第二部分的预测像素值。

20.根据权利要求19所述的系统，其中所述第一噪声图案和所述第二噪声图案以图像块级别添加到所述预测像素值，其中不同的噪声图案值被添加到所述压缩图像的所述解压缩版本的不同块。

21.根据权利要求19或20所述的系统，其中所述第一噪声图案和所述第二噪声图案以噪声部分级别添加到所述预测像素值，其中所述压缩图像的所述解压缩版本的每个噪声部分与压缩图像的所述解压缩版本的两个或更多个块重叠，并且其中将不同噪声图案值添加到所述压缩图像的所述解压缩版本的所述噪声部分中的不同噪声部分中。

22.根据权利要求19至21中任一项所述的系统，其中在所述预测像素被解压缩过程的一个或多个环内滤波器滤波之前，将所述第一噪声图案和所述第二噪声图案添加到所述预测像素值。

23.根据权利要求19至22中任一项所述的系统，其中所述第一噪声图案和所述第二噪声图案被添加到已经基于包括在所述位流中的解码残余像素值调整的调整后的预测像素值，其中在添加所述第一噪声图案和所述第二噪声图案之前，已通过解压缩过程的一个或多个环内滤波器对调整的预测像素值进行滤波。

24.根据权利要求19至23中任一项所述的系统，其中所述程序指令当在所述一个或多个处理器上或遍及所述一个或多个处理器执行时使得所述一个或多个处理器：

预测所述图像的像素值；

从预测像素值中过滤噪声

将残差值应用于所述预测值以确定解压缩像素值，

其中将噪声滤波的预测值与残差像素值和所述第一生成的噪声图案和所述第二生成的噪声图案一起使用以生成所述压缩图像的所述解码版本。

25.根据权利要求19至24中任一项所述的系统，其中所述程序指令当在所述一个或多个处理器上或遍及所述一个或多个处理器执行时使得所述一个或多个处理器：

在运动估计过程中使用另一个压缩图像的所述解压缩版本以确定所述图像帧之间的估计的运动之前，从包括在所述视频的相邻帧中的另一个压缩图像的解压缩版本中过滤噪声，其中使用基于噪声模型选择的一个或多个滤波器从所述另一个压缩图像的所述解压缩版本中过滤噪声，所述噪声模型被选择为生成用于其他压缩图像的所述解压缩版本的第一噪声图案和第二噪声图案。

26.一种存储程序指令的非暂态计算机可读介质，所述程序指令在由所述一个或多个处理器执行时使得所述一个或多个处理器：

生成图像的编码位流，其中所述编码位流包括：

所述图像的压缩像素值数据，所述图像的压缩像素值数据是基于用于在压缩过程中预测的图像的块和所述相应块的两个或多个对应的噪声数据集而组织的，其中所述噪声数据指示用于为所述块生成两个或多个相应噪声图案的噪声模型或一个或多个噪声参数。

27.一种存储程序指令的非暂态计算机可读介质，所述程序指令在由所述一个或多个处理器执行时使得所述一个或多个处理器：

对图像的编码位流进行解码，其中所述编码位流包括：

所述图像的压缩像素值数据，所述图像的所述压缩像素值数据是基于在压缩过程中用于预测的图像的块和所述相应块的两个或多个对应的噪声数据集而组织的，其中所述噪声数据指示用于为所述块生成两个或多个相应噪声图案的噪声模型或一个或多个噪声参数。

28.一种移动设备，所述移动设备包括：

相机；

显示器；以及

根据权利要求1至18中任一项所述的系统。

29.一种移动设备，所述移动设备包括：

显示器；以及

根据权利要求19至25中任一项所述的系统。

30.一种方法，包括：

操作根据权利要求1至18中任一项所述的系统，以使用对噪声生成的环路-块级别控制来压缩视频图像。

31.一种方法，包括：

操作根据权利要求19至25中任一项所述的系统，以使用对噪声生成的环路-块级别控制来解压缩压缩的视频位流。

32.一种移动设备，所述移动设备包括：

相机；

显示器；以及

编码器，所述编码器被配置为生成根据权利要求26所述的编码位流。

33.一种移动设备，所述移动设备包括：

显示器；以及

解码器，所述解码器被配置为对根据权利要求27所述的编码位流进行解码。

34.一种方法，包括：

生成根据权利要求26所述的编码位流。

35.一种方法，包括：

对根据权利要求27所述的编码位流进行解码。

Images