CN117837139A - 对胶片颗粒噪声的有效编码 - Google Patents

Abstract

本发明的一个实施例阐述了一种用于对视频帧进行编码的技术。该技术包括：执行一个或多个操作以生成与视频序列相关联的多个去噪视频帧。该技术还包括：基于在多个去噪视频帧中包括的第一去噪帧和在多个去噪视频帧中包括的第二去噪帧确定第一组运动矢量，以及确定在第二去噪帧和与第二去噪帧相关联的预测帧之间的第一残差。该技术还包括：执行一个或多个操作，以基于第一组运动矢量、第一残差以及第一帧，生成与所述第二去噪帧相关联的被编码视频帧，该第一帧被包括在视频序列中并且对应于第一去噪帧。

Description

对胶片颗粒噪声的有效编码

相关申请交叉引用

本申请要求2021年8月23日提交的第17/409,580号美国专利申请的权益，该美国申请通过引用整体并入本文。

技术领域

本公开的实施例总体涉及视频编码，更具体地，涉及对胶片颗粒噪声的有效编码。

背景技术

胶片颗粒是随机光学效应，其最初可归因于在经处理的照相胶片上发现的金属银色的小颗粒或染料云的存在。在使用包括胶片颗粒的视频内容回放媒体标题期间，胶片颗粒看上去是缺陷，这提供一种独特的“电影”外观，该“电影”外观在美学上受到视频内容的许多制作者和观看者的重视。相比之下，在使用不包括胶片颗粒的视频内容回放媒体标题期间，缺乏胶片颗粒的“缺陷”通常看起来是人为的。然而，胶片颗粒是一种噪声，并且因为噪声不如其他视频内容可预测，所以对噪声进行编码是极低效的。为此，视频流服务提供商可以在编码之前从源视频内容中去除噪声，包括胶片颗粒。所得到的被编码的去噪视频内容然后可以被传输到各种客户端设备用于回放。当这些客户端设备接收并且解码被编码的视频内容时，所得到的用于回放媒体标题的被解码的视频内容不包括胶片颗粒，因此缺乏特征性的“电影”外观。

为了避免上述问题并且在回放媒体标题期间提供美学上令人愉悦的电影外观，一些视频流服务提供商或广播公司实现胶片颗粒建模应用，该应用使用各种胶片颗粒参数对源视频内容中的胶片颗粒进行建模。对于每个媒体标题，视频流服务提供商或广播公司将胶片颗粒参数连同被编码视频内容一起传输到客户端设备。每个客户端设备可以实现基于胶片颗粒参数合成胶片颗粒的重构应用。重构应用将合成的胶片颗粒与被解码的视频内容组合，以生成重构的视频内容，该重构的视频内容随后用于回放媒体标题。

然而，一个问题是，许多视频编解码器不支持对胶片颗粒噪声的建模或合成。相反，这些视频编解码器需要将在视频中出现的任何胶片颗粒噪声与底层视频内容一起编码。在标准视频编码过程期间，使用运动估计技术将当前帧与一个或多个参考帧进行比较，并且通过将经由运动估计技术产生的运动矢量应用于一个或多个先前帧来生成基于块的对当前帧的预测。表示预测误差的残差也作为当前帧和预测之间的差被计算出来。然后对该残差进行块变换和量化，以产生一组量化的变换系数，该组量化的变换系数被熵编码，并且与来自运动估计步骤的熵编码的运动矢量一起在编码流中被传输。在解码和回放来自编码流的视频期间，对编码流中的量化变换系数应用逆量化和逆块变换，以产生量化残差。然后将量化的残差添加到当前帧的预测中，以形成重构帧。该重构帧然后可以被输出用于显示和/或用作与同一视频中的其他帧相关联的预测或重构操作的参考。

经由上述过程对胶片颗粒噪声进行编码的一个缺点是，因为胶片颗粒噪声在连续视频帧中在时间上是不相关的，所以对胶片颗粒噪声进行编码通常增加了与运动补偿残差相关联的能量。能量的增加被反映在被编码视频中的更多数量的非零量化系数中，这导致与被编码视频相关联的位速率增加。替代地，可以在被编码视频中更大量量化更大的残差值，以避免位速率的增加。然而，大量量化的残差值通常导致胶片颗粒噪声的粗糙表示，这在重构和回放被编码视频时可能引起明显的视觉伪像。

如上所述，本领域所需要的是用于对视频帧中的胶片颗粒噪声进行编码的更有效的技术。

发明内容

本发明的一个实施例阐述了一种用于对视频帧进行编码的技术。该技术包括：执行一个或多个操作，以生成与视频序列相关联的多个去噪视频帧。该技术还包括：基于在多个去噪视频帧中包括的第一去噪帧和在多个去噪视频帧中包括的第二去噪帧确定第一组运动矢量，以及确定在第二去噪帧和与第二去噪帧相关联的预测帧之间的第一残差。该技术还包括：执行一个或多个操作，以基于第一组运动矢量、第一残差以及第一帧，生成与所述第二去噪帧相关联的被编码视频帧，该第一帧被包括在视频序列中并且对应于第一去噪帧。

所公开的技术相对于现有技术的一个技术优点在于，因为使用去噪帧计算残差和运动矢量信息，用所公开的技术，在基本上不增加被编码视频的位速率或文件大小的情况下，可以对视频中存在的胶片颗粒噪声进行编码。此外，因为被编码的位流包含(一个或多个)原始的、非去噪参考帧的表示，所以该技术允许对被解码的视频中的原始噪声进行真实再现。因此，与对胶片颗粒噪声连同底层视频内容一起进行编码的现有技术方法相比，用所公开的技术，在存储和流式传输被编码视频时消耗更少的计算和存储资源。所公开的技术的另一技术优点是，与在被编码视频中对残差值进行大量量化以避免位速率增加的现有技术方法相比，在重构和回放被编码视频时减少了视觉伪像。这些技术优点提供了优于现有技术方法的一个或多个技术进步。

附图说明

为了能够详细地理解各种实施例的上述记载的特征的方式，可以通过参考各种实施例来对以上简要概括的发明概念进行更具体的描述，这些实施例中的一些实施例在附图中被示出。然而，应当注意，附图仅说明本发明概念的典型实施例，并且因此不应视为以任何方式限制范围，并且存在其他等效实施例。

图1示出了被配置为实现各个实施例的一个或多个方面的计算机系统。

图2是根据各种实施例的图1的滤波引擎和编码引擎的更详细图示。

图3示出了根据各种实施例的由图1的滤波引擎和编码引擎执行的用于对视频进行编码的示例性技术。

图4阐述了根据各种实施例的用于对视频中存在的胶片颗粒噪声进行编码的方法步骤的流程图。

具体实施方式

在以下描述中，阐述了许多具体细节以提供对各种实施例的更透彻理解。然而，对于本领域的技术人员而言显而易见的是，可以在没有这些具体细节中的一个或多个细节的情况下实践这些发明概念。

胶片颗粒是指视频内容中的缺陷，该缺陷在相关联的媒体标题回放期间提供独特的“电影”外观。在相对老的电影中，胶片颗粒是随机光学效应，其可归因于在被处理的照相胶片上发现的金属银色的小颗粒或染料云的存在。在与数字视频制作链相关联的更近期的视频内容中，胶片颗粒可以被生成并且被添加到视频内容中，以避免在回放相关联的媒体标题期间出现人为的“平滑”外观。一般而言，可归因于视频内容中的胶片颗粒的电影外观在美学上受到许多视频内容的制作者和观看者的重视。

然而，胶片颗粒是一种噪声，并且因为噪声是不可预测的，所以对噪声进行编码本身是低效的。此外，对包括胶片颗粒的源视频内容进行编码可以部分地去除和扭曲胶片颗粒。为此，许多视频流服务提供商可以在对所得到的去噪视频内容(传输到各种客户端设备以用于回放)进行编码以用于回放之前，从源视频内容去除噪声，包括胶片颗粒。所得到的被编码的去噪视频内容然后可以被传输到各种客户端设备，以用于回放。当这些客户端设备接收并且解码被编码视频内容时，所得到的用于回放媒体标题的被解码的视频内容不包括胶片颗粒。

为了使这些客户端设备能够在回放媒体标题期间提供美学上令人愉悦的电影外观，一些视频流服务提供商实现胶片颗粒进行建模的应用。胶片颗粒进行建模的应用生成对源视频内容中的胶片颗粒进行建模的各种胶片颗粒参数。对于每个媒体标题，视频流服务提供商将胶片颗粒参数连同编码视频内容一起传输到客户端设备。每个客户端设备可以实现基于胶片颗粒参数来合成胶片颗粒的重构应用。重构应用将合成的胶片颗粒与被解码的视频内容组合以生成重构的视频内容，该重构的视频内容随后用于回放媒体标题。

然而，许多传统的视频编解码器不支持对胶片颗粒噪声的建模或重构。因此，利用这些传统视频编解码器的视频中的胶片颗粒噪声必须与底层视频内容一起编码，以便胶片颗粒在视频的随后的解码和回放期间出现。此外，胶片颗粒中空间和时间相关性的缺乏防止这些传统的视频编解码器对胶片颗粒进行有效编码，这可能导致被编码视频的位速率和/或文件大小的显著增加。相反，对被编码视频实施位速率约束可能导致重构视频中的粗糙的胶片颗粒表示和明显的伪像。

为了提高对视频中的胶片颗粒噪声进行编码的效率，将低通滤波器、线性滤波器(例如，有限冲激响应(FIR)滤波器、无限冲激响应(IIR)滤波器等)、非线性滤波器、内容自适应滤波器、时间滤波器、和/或另一类型的滤波器应用于视频的一些或全部帧，以产生帧的去噪版本。为了对当前帧(例如，P帧或B帧)进行编码作为来自一个或多个参考帧的预测(例如，当前帧之前的帧的重构和/或当前帧之后的帧的重构)，确定从每个参考帧的去噪版本到当前帧的去噪版本的运动矢量，并且残差被作为当前帧和当前帧的预测之间的差计算出来，当前帧的预测是通过将运动矢量应用于参考帧而生成的。

然后可以基于运动矢量、残差以及用于重构(一个或多个)参考帧的被编码帧来生成对当前帧的编码。例如，对当前帧的编码可以包括表示在去噪当前帧和每个去噪参考帧之间的残差的量化变换系数、在去噪当前帧和每个去噪参考帧之间的被编码运动矢量、以及对用于重构参考帧的被编码帧的参考。当解码当前帧时，当前帧从(一个或多个)有噪声的参考帧被预测，因此包括来自(一个或多个)有噪声的参考帧的胶片颗粒噪声。另一方面，残差中胶片颗粒噪声的缺乏防止与对运动补偿残差信号中的胶片颗粒噪声进行编码相关联的位速率的增加。

所公开的技术额外地在选择性的基础上对胶片颗粒噪声进行编码，以避免明显的伪像和/或降低视觉质量。首先，两个或多个帧之间的运动矢量0可能导致“脏窗口”效应，在“脏窗口”效应中，帧中的静止胶片颗粒噪声看起来像被叠加在帧中的视频内容上。为了避免这种脏窗口效应，可以将小的随机或伪随机偏移添加到在参考帧和当前帧之间的运动矢量0。替代地或附加地，当前帧的与零值运动矢量相关联的部分中的胶片颗粒噪声可以在残差中被编码，以跨帧捕获胶片颗粒噪声的运动。

第二，所公开的技术使用包括胶片颗粒噪声而不是对应的去噪帧(从该对应的去噪帧计算被编码视频中的运动矢量和/或残差)的重构帧来执行帧内预测。该方法对帧内预测块中的胶片颗粒噪声进行编码，同时避免了伪像和/或失真，这些伪像和/或失真可以通过对来自去噪帧中的相邻块中的块执行帧内预测，并且随后在帧的相应重构中从噪声块重建块而导致的。

替代地，当视频编解码器包括将先前被编码块复制到同一帧中的帧内预测块的块内复制(IBC)工具时，可以使用帧的去噪版本来计算在先前被编码块和帧内预测块之间的偏移和残差。在对被编码帧的随后的解码期间，在帧的重构中未被帧内预测的块包括来自原始有噪声的帧的胶片颗粒噪声和/或来自有噪声的参考帧的帧的重建。因此，当前帧的重构中的任何帧内预测块还包括从重构帧中的其他块复制的噪声。

所公开的技术相对于现有技术的一个技术优点在于，因为使用去噪帧计算残差和运动矢量信息，用所公开的技术，在基本上不增加被编码视频的位速率或文件大小的情况下，可以对视频中存在的胶片颗粒噪声进行编码。此外，因为被编码的位流包含(一个或多个)原始的、非去噪参考帧的表示，所以该技术允许对被解码的视频中的原始噪声进行真实再现。因此，与对胶片颗粒噪声连同底层视频内容一起进行编码的现有技术方法相比，用所公开的技术在存储和流式传输被编码视频时消耗更少的计算和存储资源。所公开的技术的另一技术优点是，与在被编码视频中对残差值进行大量量化以避免位速率增加的现有技术方法相比，在重构和回放被编码视频时减少了视觉伪像。这些技术优点提供了优于现有技术方法的一个或多个技术进步。

系统概览

图1是示出被配置为实现各种实施例的一个或多个方面的计算机系统100的框图。在一些实施例中，计算机系统100是在数据中心、集群或云计算环境中操作的机器或处理节点，该数据中心、集群或云计算环境通过网络提供可扩展计算资源(作为服务是可选地)。

如图所示，计算机系统100包括但不限于经由存储器桥105和通信路径113被耦合到并行处理子系统112的中央处理单元(CPU)102和系统存储器104。存储器桥105还经由通信路径106被耦合到输入/输出(I/O)桥107，并且I/O桥107又被耦合到交换机116。

I/O桥107被配置为接收来自可选输入设备108(例如，键盘或鼠标)的用户输入信息，并且经由通信路径106和存储器桥105将输入信息转发到CPU 102用于处理。在一些实施例中，计算机系统100可以是云计算环境中的服务器机器。在这样的实施例中，计算机系统100可以没有输入设备108。相反，计算机系统100可以通过接收以消息的形式的命令来接收等效的输入信息，这些消息通过网络传输并且经由网络适配器118接收。在一个实施例中，交换机116被配置为在I/O桥107和计算机系统100的其他组件(例如网络适配器118和各种内插式卡120和121)之间提供连接。

在一个实施例中，I/O桥107耦合到系统盘114，该系统盘114可以被配置为存储内容和应用以及数据以供CPU 102和并行处理子系统112使用。在一个实施例中，系统盘114为应用和数据提供非易失性存储，并且可以包括固定或可移动硬盘驱动器、闪存设备和光盘只读存储器(CD-ROM)、数字多功能盘-ROM(DVD-ROM)、蓝光、高清晰度DVD(HD-DVD)或其他磁、光或固态存储设备。在各种实施例中，其他组件(例如通用串行总线或其他端口连接、光盘驱动器、数字多功能光盘驱动器、胶片记录设备等)也可以被连接到I/O桥107。

在各种实施例中，存储器桥105可以是北桥芯片，而I/O桥107可以是南桥芯片。另外，可以使用任何技术上合适的协议(包括但不限于加速图形端口(AGP)、超传输或本领域已知的任何其他总线或点对点通信协议)来实现通信路径106和113以及计算机系统100内的其他通信路径。

在一些实施例中，并行处理子系统112包括图形子系统，该图形子系统将像素递送到可选的显示设备110，该显示设备110可以是任何传统的阴极射线管、液晶显示器、发光二极管显示器等。在这样的实施例中，并行处理子系统112包括为图形和视频处理优化的电路，包括例如，视频输出电路。如下面结合图2更详细地描述的，这样的电路可以被包括在并行处理子系统112内包括的一个或多个并行处理单元(PPU)(本文中也被称为并行处理器)中。在其他实施例中，并行处理子系统112包括为通用和/或计算处理而优化的电路。同样，这样的电路可以被包括在并行处理子系统112内包括的一个或多个PPU中，这些PPU被配置为执行这样的通用和/或计算操作。在其他实施例中，在并行处理子系统112中包括的一个或多个PPU可以被配置为执行图形处理、通用处理、和计算处理操作。系统存储器104包括被配置为管理并行处理子系统112内的一个或多个PPU的处理操作的至少一个设备驱动器。

并行处理子系统112可以与图1的一个或多个其他元件集成以形成单个系统。例如，并行处理子系统112可以与CPU 102和其他连接电路集成在单个芯片上以形成片上系统(SoC)。

在一个实施例中，CPU 102是计算机系统100的主处理器，控制和协调其他系统组件的操作。在一个实施例中，CPU 102发出控制PPU的操作的命令。在一些实施例中，通信路径113是PCI Express链路，如本领域中已知的，在PCI Express链路中专用通道被分配给每个PPU。也可以使用其他通信路径。PPU有利地实现高度并行的处理架构。可以向PPU提供任何量的本地并行处理存储器(PP存储器)。

应当理解，本文所示的系统是说明性的，并且变化和修改是可能的。首先，系统的功能可以被分布在分布式和/或云计算系统的多个节点上。其次，可以根据需要修改连接拓扑，包括桥的数量和布置、CPU 102的数量、以及并行处理子系统112的数量。例如，在一些实施例中，系统存储器104可以直接而不是通过存储器桥105被连接到CPU 102，并且其他设备将经由存储器桥105和CPU 102与系统存储器104通信。在另一示例中，并行处理子系统112可以被连接到I/O桥107或被直接连接到CPU 102，而不是被连接到存储器桥105。在第三示例中，I/O桥107和存储器桥105可以被集成到单个芯片中，而不是作为一个或多个分立器件存在。第三，图1所示的一个或多个组件可以不存在。例如，可以取消交换机116，并且网络适配器118和内插式卡120、121将直接连接到I/O桥107。

在一个或多个实施例中，计算机系统100被配置为执行驻留在系统存储器104中的滤波引擎122和编码引擎124。滤波引擎122和编码引擎124可以被存储在系统盘114和/或其他存储器中，并且在执行时被加载到系统存储器104中。

更具体地，滤波引擎122将一个或多个滤波器应用于视频内容以在视频内容中生成视频帧的去噪版本。视频帧的去噪版本缺少在原始视频内容中的一些或全部胶片颗粒噪声。编码引擎124然后使用参考帧和要从参考帧预测的当前帧的去噪版本来计算参考帧和当前帧之间的运动矢量和残差。编码引擎124还使用运动矢量、残差、以及原始(有噪声的)参考帧的重构来生成对当前帧的编码。如下面进一步详细描述的，这种用于对视频帧进行编码的技术通过将胶片颗粒从参考帧复制到当前帧来允许胶片颗粒出现在当前帧中。同时，当前帧中的胶片颗粒未在残差中被捕获，从而减少与对当前帧中的胶片颗粒噪声进行编码相关联的位速率或文件大小的增加。

对胶片颗粒噪声的有效编码

图2是根据各个实施例的由图1的滤波引擎122和编码引擎124提供的功能的更详细图示。如图2所示，滤波引擎122将滤波器210应用于视频206的帧212，以产生去噪视频208的对应帧214。例如，滤波引擎122可以将低通、非线性、内容自适应、时间和/或另一类型的滤波器210应用于帧212，以产生缺少在帧212中发现的一些或全部胶片颗粒噪声的对应帧214。可以可选地调整滤波引擎122的操作，以允许在滤波帧214中包括一定级别或类型的噪声，同时从滤波帧214去除其他噪声。

接下来，编码引擎124使用去噪视频208的帧214和视频206的对应帧212生成被编码视频226。例如，编码引擎124可以使用一个或多个视频编码格式和/或编解码器从帧212和/或帧214生成被编码视频226。被编码视频226然后可以被存储在服务器、计算设备、云存储、硬盘驱动器、固态驱动器、光学介质、和/或另一类型的存储介质上。被编码视频226也可以或替代地通过网络(例如，广域网(WAN)、局域网(LAN)、个域网(PAN)、WiFi网络、蜂窝网络、以太网、蓝牙网络、通用串行总线(USB)网络、卫星网络、互联网等)被传输或被流传输，用于在端点设备(例如，个人计算机、膝上型计算机、游戏控制台、智能电话、平板计算机、数字录像机、媒体流式设备等)上解码和/或回放。

在生成被编码视频226期间，编码引擎124对当前帧218(例如，P帧或B帧)进行编码作为来自参考帧216(例如，在当前帧218之前或之后的帧)的预测。在一些实施例中，编码引擎124获得参考帧216作为视频206中的关键帧的重构，当前帧218将从该关键帧被预测。编码引擎124还获得当前帧218作为在视频206内的关键帧之前或之后的帧。编码引擎124还获得来自滤波引擎122的去噪参考帧232作为参考帧216的去噪版本(例如，在滤波引擎122将滤波器210应用于参考帧216之后)。编码引擎124类似地获得来自滤波引擎122的去噪当前帧234作为当前帧218的去噪版本(例如，在滤波引擎122将滤波器210应用于当前帧218之后)。

在一个或多个实施例中，编码引擎124计算从去噪参考帧232到去噪当前帧234的运动矢量220和残差224。更具体地，编码引擎124使用运动估计技术计算从去噪参考帧232的块到去噪当前帧234中的位置的运动矢量220。编码引擎124然后将运动矢量220应用于去噪参考帧232以产生当前帧预测222，并且将残差224计算为当前帧预测222和去噪当前帧234之间的差。

编码引擎124然后使用运动矢量220、残差224和原始(有噪声的)参考帧216生成对被编码视频226内的当前帧218的编码。例如，在对当前帧218的编码中，编码引擎124可以包括可以用于重建去噪当前帧234和去噪参考帧232之间的残差224的量化变换系数、去噪参考帧232和去噪当前帧234之间的运动矢量220、以及对被编码视频226内的参考帧216的编码版本的参考。

编码引擎124另外包括从被编码视频226生成重构当前帧228(reconstructedcurrent frame 228)的功能。继续以上示例，编码引擎124可包括解码器路径，该解码器路径将被编码视频226中的量化变换系数转换成量化残差224、将运动矢量220应用于参考帧216的重构以产生重构当前帧228中的块、并且将残差224添加到重构当前帧228中的块。编码引擎124然后可以使用重构当前帧228作为新的参考帧216以进一步编码和/或重构对应的当前帧218(例如，被编码视频226中使用重构当前帧228预测的下一帧)。编码引擎124在编码和/或解码来自对应的参考帧216的给定当前帧218中的操作将在下面参考图3进一步详细描述。

因为重构当前帧228是从有噪声的参考帧216生成的，所以重构参考帧228包括从有噪声的参考帧216复制的胶片颗粒噪声。同时，编码引擎124通过从去噪参考帧232和去噪当前帧234生成残差224来避免与对运动补偿残差信号中的胶片颗粒噪声进行编码相关联的位速率的增加。

在一个或多个实施例中，编码引擎124从对应的重构当前帧228生成被编码视频226中的帧内预测230，该对应的重构当前帧228包括胶片颗粒噪声而不是对应的去噪当前帧234。例如，编码引擎124可以通过将帧内的块中的像素值的帧内预测230计算为有噪声的块中的像素值的外插(extrapolation)来执行对视频206中的给定帧的帧内编码，这些有噪声的块在重构当前帧228中的块的正上方、上方以及左侧、上方和右侧、和/或左侧。在这样做时，编码引擎124对帧内预测块中的胶片颗粒噪声进行编码，同时避免伪像和/或失真，这些伪像和/或失真由来自去噪当前帧234中的相邻块中的块的帧内预测以及随后重构来自重构当前帧228中的有噪声的块的块而引起的。

除了对包含胶片颗粒噪声的帧内(intra-frame)进行编码之外，编码引擎124还可以使用具有胶片颗粒的原始未滤波帧来选择性地对某些帧间预测帧或部分帧间预测帧进行编码。这些帧间预测帧或帧间预测帧的部分可以用作包含原始胶片颗粒的参考帧，这可以改善使用参考帧预测的附加帧的视觉质量。

替代地，当由编码引擎124使用以生成被编码视频226的视频编解码器包括将先前被编码块复制到给定当前帧218中的帧内预测块的块内复制(IBC)工具时，编码引擎124可以使用对应的去噪当前帧234来计算先前被编码块和帧内预测块之间的偏移(或运动矢量)和残差。在将编码视频226解码为重构当前帧228期间，重构当前帧228中的非帧内预测块包括来自原始当前帧218的胶片颗粒噪声和/或来自噪声参考帧216的当前帧218的重构。因此，重构当前帧228中的任何帧内预测块还包括从非帧内预测块和/或从重构帧内预测块复制的噪声。

本领域技术人员将理解，被编码视频226中的两个或更多个连续帧之间的零值运动矢量可能导致“脏窗口”效应，在“脏窗口”效应中，帧中的静止胶片颗粒噪声看起来像被叠加在帧中的视频内容上。当多个相邻块的运动矢量具有固定值时(例如，如果这些块使用值为(m，n)的同一运动矢量来跟踪对象的运动)，会发生类似的问题。为了避免这种脏窗口效应，编码引擎124可以将小的随机或伪随机偏移(例如，随机偏移240)添加到零值或固定值运动矢量220，并且随后基于更新的运动矢量220来计算残差224。替代地，编码引擎124可以保持零值或固定值运动矢量220，并且在残差224中对给定当前帧218的与零值或固定值运动矢量220相关联的部分中的胶片颗粒噪声进行编码，以跨帧捕获胶片颗粒噪声的运动。

在一些实施例中，编码引擎124基于速率失真优化(RDO)过程在被编码视频226中生成运动矢量220和残差224值。在RDO过程期间，编码引擎124使用下式计算块的成本：

成本＝失真+λ*位速率 (1)

在上述公式中，成本被计算为以下项之和：与对块进行编码相关联的失真、以及被编码块的位速率乘以参数λ的乘积。可以调整λ以在用于从参考帧216、当前帧218、去噪参考帧232、和/或去噪当前帧234生成被编码视频226的不同模式或技术之间进行平衡。在生成被编码视频226期间，编码引擎124使用等式1来评估与用于对视频206的帧和/或帧内的一个或多个块进行编码的不同技术相关联的成本。编码引擎124然后使用与最低成本相关联的技术对被编码视频226内的帧和/或(一个或多个)块进行编码。

首先，编码引擎124可以使用RDO来平衡被编码视频226中的块的帧间预测和帧内预测。例如，编码引擎124可以使用等式1来计算与帧间预测、帧内预测和/或使用IBC的帧内预测的块相关联的成本。编码引擎124然后选择与的最低成本相关联的编码技术以对被编码视频226中的块进行编码。为了实现被编码视频226中的块的帧间预测和帧内预测之间的一定的平衡，编码引擎124可以将乘法因数应用于给定编码技术的成本和/或在计算每种编码技术的成本中使用λ的不同值。

第二，编码引擎124可以使用RDO来在给定当前帧218的多帧帧间预测或单帧帧间预测之间进行选择。例如，编码引擎124可以使用等式1来计算与来自单个参考帧216(例如，紧接在当前帧218之前的帧)的当前帧218的帧间预测相关联的成本和来自多个参考帧(例如，紧接在当前帧218之前并且紧接在当前帧218之后的两个帧)的当前帧218的帧间预测的成本。当来自单个参考帧216的当前帧218的帧间预测与较低成本相关联时，编码引擎124使用参考帧216、对应的去噪参考帧232、当前帧218、以及对应的去噪当前帧234来生成对当前帧218的编码。当多帧预测与较低成本相关联时，编码引擎124使用两个参考帧、两个对应的去噪参考帧、当前帧218、以及对应的去噪当前帧234来生成对当前帧218的编码。

第三，编码引擎124可以使用RDO以在用于解决脏窗口效应的不同技术之间进行选择。例如，编码引擎124可以使用等式1来计算将随机偏移240添加到从去噪参考帧232到去噪当前帧234的零值或固定值运动矢量220的成本以及保持零值或固定值运动矢量并且对残差224中的胶片颗粒噪声进行编码的成本。编码引擎124然后可以选择与较低成本相关联的技术以对与脏窗口效应相关联的块进行编码。在另一示例中，编码引擎124可以调整等式1中λ的值以解决脏窗口效应。λ的较低值将增加块失真对成本的贡献，因此降低为相邻块计算零值或固定值运动矢量220的可能性。λ的较高值将增加位速率对成本的贡献，并在向零值或固定值运动矢量220添加随机偏移240和在保留零值或固定值运动矢量220后在残差124中编码胶片颗粒之间取得平衡。

本领域技术人员将了解，编码引擎124可以以其他方式使用和/或组合编码技术。例如，编码引擎124可以生成对当前帧218的编码，该当前帧218包括从在当前帧218之前和/或之后的多个参考帧中的块到当前帧218中的位置的运动矢量。在另一示例中，编码引擎124可以生成对当前帧218的编码，该当前帧218包括帧间预测和帧内预测230的加权和。在第三示例中，编码引擎124可以基于当前帧218中的胶片颗粒噪声和/或视频内容的一个或多个特性来选择用于预测当前帧218的上述技术中的一种或多种技术(例如，单向帧间预测、双向帧间预测、来自多个参考帧的帧间预测、帧内预测等)，以代替或补充使用RDO在这些技术之间或之中进行选择。

图3示出了根据各种实施例由图1的滤波引擎122和编码引擎124执行的用于对视频进行编码的示例性技术。如图3所示，参考帧216由“F’n-1+N”表示，当前帧218由“Fn+N”表示，去噪参考帧232由“F’n-1”表示，去噪当前帧234由“Fn”表示。因此，“N”表示参考帧216和当前帧218的噪声分量。该噪声分量从参考帧216和当前帧218中被滤波(例如，通过滤波引擎122)以分别产生去噪参考帧232和去噪当前帧234。

在对当前帧218编码期间，编码引擎124使用运动估计302计算去噪参考帧232和去噪当前帧234之间的运动矢量220。例如，编码引擎124可以使用块匹配、相位相关、像素递归、光流、和/或其他运动估计302技术生成表示从去噪参考帧232中的块到去噪当前帧234的运动估计的运动矢量220。当一个或多个运动矢量220是零值和/或对于一组相邻块具有固定值时，编码引擎124可选地将小的随机或伪随机偏移添加到每个零值和/或固定值运动矢量以避免与视频帧上的固定胶片颗粒噪声相关联的“脏窗”效应。

接下来，编码引擎124使用运动补偿304从去噪参考帧232和运动矢量220生成当前帧预测222(在图3中由“P”表示)。例如，编码引擎124可以通过对应的运动矢量220对去噪参考帧232中的块进行移位以产生当前帧预测222。

编码引擎124还计算残差224(在图3中由“Dn”表示)作为去噪当前帧234和当前帧预测222之间的差。例如，编码引擎124可以通过从去噪当前帧234中减去当前帧预测222来计算残差224。

在计算残差224之后，编码引擎124将离散余弦变换(DCT)306和量化308应用于残差224以产生表示残差224的一组量化变换系数。编码引擎124还对量化变换系数、运动矢量220和相关联的头部执行熵编码316，并且在被编码视频226中包括熵编码数据。例如，编码引擎124可以将量化变换系数、运动矢量220和被编码当前帧218中的块的头部转换成由熵编码方案(例如(但不限于)可变长度码(VLC)和/或算术编码)生成的一系列位。编码引擎124然后可以在被编码视频226的一个或多个文件中存储VLC和/或在表示被编码视频226的被编码流中传输VLC。

在被编码视频226中，编码引擎124还包括对参考帧216的编码以及对参考帧216是关键帧的指示，当前帧218将从参考帧216中被重构。因此，通过将运动矢量220和残差224应用于被编码的有噪声的视频帧的重构来解码当前帧218。

编码引擎124还包括解码器路径318，该解码器路径318从被编码视频226生成重构当前帧228(在图3中由“F’n+N”表示)。如图3所示，解码器路径对被编码视频226中的时间无序编码帧执行重新排序314，随后进行重新缩放310(即，逆量化)和逆DCT(IDCT)312以产生量化残差(在图3中由“D’n”表示)。解码器路径318还通过执行运动补偿304生成不同的当前帧预测222，该运动补偿304通过对应的运动矢量220对参考帧216中的块进行移位。解码器路径318然后将量化残差添加到当前帧预测222以形成重构当前帧228。如上所述，重构当前帧228然后可以用作新的参考帧216，从该新的参考帧216预测和编码对应的当前帧218。在重构当前帧228中的一些块也可以或替代地用于执行当前帧234中的其他块的帧内预测。这些帧内预测块然后可以用于更新对被编码视频226中的当前帧234的编码。

图4阐述了根据各种实施例的用于对视频中存在的胶片颗粒噪声进行编码的方法步骤的流程图。虽然结合图1至图3的系统描述了方法步骤，但是本领域技术人员将理解，被配置为以任何顺序执行这些方法步骤的任何系统都落入本公开的范围内。

如图所示，滤波引擎122生成402与视频序列相关联的第一去噪帧和第二去噪帧。更具体地，滤波引擎122将一个或多个滤波器应用于视频序列中的第一帧的重构(例如，根据第一帧的编码)以产生第一去噪帧。滤波引擎122还将(一个或多个)滤波器应用于与视频序列中的第一帧相邻的第二帧以产生第二去噪帧。

接下来，编码引擎124基于第一去噪帧和第二去噪帧确定404一组运动矢量。例如，编码引擎124可以使用一种或多种运动估计技术计算从第一去噪帧到第二去噪帧的运动矢量。

编码引擎124还基于第一去噪帧和该一组运动矢量生成406预测帧。例如，编码引擎124可以通过由对应的运动矢量对第一去噪帧中的块进行移位生成预测帧。

编码引擎124进一步确定408第二去噪帧和预测帧之间的残差。例如，编码引擎124可以将残差作为预测帧和第二去噪帧之间的差计算出来。

编码引擎124然后基于该一组运动矢量、残差以及第一帧，生成410与第二去噪帧相关联的被编码视频帧，该第一帧被包括在视频序列中并且对应于第一去噪帧。例如，编码引擎124可以将DCT和量化应用于残差，以产生一组量化变换系数。编码引擎124还可以对量化变换系数、运动矢量和相关联的头部执行熵编码，并且在被编码视频帧中包括熵编码数据。编码引擎124另外可以将对第一帧的编码的参考添加到被编码视频帧，以指示被编码视频帧将从对第一帧的编码被重构。

编码引擎124另外基于被编码帧生成412第二帧的重构。继续上述示例，编码引擎124可以将重新缩放和逆DCT应用于量化变换系数以生成量化残差。编码引擎124还可以解码被编码帧中的运动矢量，并且通过由对应的运动矢量对第一帧的重构中的块进行移位来生成新的预测帧。编码引擎124然后可以将量化残差添加到新的预测以形成第二帧的重构。

编码引擎124基于第二帧的重构执行414对视频序列中的一个或多个帧的附加编码和/或重构。例如，编码引擎124可以使用第二帧的重构作为参考帧，从该参考帧预测并且编码视频序列中的第三帧。在另一示例中，编码引擎124可以使用重构中的一些块来执行对第二帧中的其他块的帧内预测。然后可以使用这些帧内预测块来更新表示第二帧的被编码视频帧。

在操作404至414期间，编码引擎124使用RDO和/或一种或多种编码技术来生成一个或多个被编码帧。如上所述，编码引擎124可以使用多种技术来对被编码帧中的一个或多个块进行编码。这些技术包括(但不限于)：从一个或多个参考帧对要被编码的帧中的块执行帧间预测、从同一帧中的一个或多个块对帧中的块执行帧内预测、添加零值运动矢量或对于一组相邻块相同的运动矢量的随机偏移、和/或对与对应残差中的零值或固定值运动矢量相关联的块中的胶片颗粒噪声进行编码。编码引擎124可以基于与对应的被编码块相关联的失真和位速率来计算与每种技术和/或两种或多种技术的组合相关联的成本。最后，编码引擎124可以使用与最低成本相关联的技术和/或技术组合来对块进行编码。

总之，所公开的技术对视频中的胶片颗粒噪声执行有效编码。将低通滤波器、线性滤波器(例如，有限冲激响应(FIR)滤波器、无限冲激响应(IIR)滤波器等)、非线性滤波器、内容自适应滤波器、时间滤波器、和/或另一类型的滤波器应用于视频帧中的一些或全部帧以产生帧的去噪版本。当当前帧(例如，P帧或B帧)将被编码作为来自一个或多个参考帧的预测(例如，在当前帧之前和/或之后的一个或多个被编码帧的重构)时，确定从每个参考帧的去噪版本到当前帧的去噪版本的运动矢量，并且将残差作为当前帧的去噪版本和当前帧的预测(通过将运动矢量应用于参考帧的去噪版本而生成)之间的差计算出来。

然后可以基于运动矢量、残差和用于重构(一个或多个)参考帧的被编码帧来对当前帧进行编码。例如，对视频的编码可以包括对帧的编码，从该帧中重构当前帧的参考帧而不是参考帧的去噪版本。在对视频的编码中，对当前帧的编码可以包括可以用于重建当前帧和每个参考帧之间的残差的量化变换系数、当前帧和每个参考帧之间的运动矢量、以及对用于重构参考帧的被编码帧的参考。当解码当前帧时，当前帧从(一个或多个)参考帧被预测，因此包括来自(一个或多个)重构参考帧的胶片颗粒噪声。另一方面，用于重构当前帧的残差缺少胶片颗粒噪声，从而防止了与对运动补偿残差信号中的胶片颗粒噪声进行编码相关联的位速率的增加。

当在参考帧和当前帧之间计算零值运动矢量时，可能出现“脏窗口”效应，在“脏窗口”效应中，帧中的静止胶片颗粒噪声看起来像被叠加在帧中的视频内容上。为了避免这种脏窗口效应，可以将小的随机偏移添加到零值运动矢量。替代地或附加地，当前帧的与零值运动矢量相关联的部分中的胶片颗粒噪声可以在残差中被编码，以跨帧捕获胶片颗粒噪声的运动。

当帧的编码包括帧内一个或多个块的帧内预测时，所公开的技术使用包括胶片颗粒噪声而不是对应的去噪帧(从该对应的去噪帧中计算对帧的编码中的运动矢量和/或残差)的帧的重构来执行帧内预测。这种方法避免了从去噪帧中的邻近块对块进行帧内预测，随后从帧重构中的有噪声的块或有噪声的参考帧中重构块所可能造成的伪像和/或失真。

替代地，当视频编解码器包括将先前被编码块复制到同一帧中的帧内预测块的块内复制(IBC)工具时，可以使用帧的去噪版本来计算在先前被编码块和帧内预测块之间的偏移和残差。在被编码帧的随后的解码期间，帧的重构中的非帧内预测块包括：胶片颗粒噪声(来自对有噪声的帧进行编码)、和/或帧(来自有噪声的参考帧)的重构。因此，当前帧的重构中的任何帧内预测块还包括从非帧内预测块复制的胶片颗粒噪声。

所公开的技术相对于现有技术的一个技术优点在于，因为使用去噪帧计算残差和运动矢量信息，用所公开的技术，在基本上不增加被编码视频的位速率或文件大小的情况下，可以对视频中存在的胶片颗粒噪声进行编码。此外，因为被编码的位流包含(一个或多个)原始的、非去噪参考帧的表示，所以该技术允许对被解码的视频中的原始噪声进行真实再现。因此，与对胶片颗粒噪声连同底层视频内容一起进行编码的现有技术方法相比，用所公开的技术，在存储和流式传输被编码视频时消耗更少的计算和存储资源。所公开的技术的另一技术优点是，与在被编码视频中对残差值进行大量量化以避免位速率增加的现有技术方法相比，在重构和回放被编码视频时减少了视觉伪像。这些技术优点提供了优于现有技术方法的一个或多个技术进步。

1.在一些实施例中，一种用于对视频帧进行编码的计算机实现的方法包括：执行一个或多个操作以生成与视频序列相关联的多个去噪视频帧；基于在多个去噪视频帧中包括的第一去噪帧和在多个去噪视频帧中包括的第二去噪帧确定第一组运动矢量；确定在第二去噪帧和与第二去噪帧相关联的预测帧之间的第一残差；以及执行一个或多个操作，以基于第一组运动矢量、第一残差以及第一帧，生成与第二去噪帧相关联的被编码视频帧，第一帧被包括在视频序列中并且对应于第一去噪帧。

2.根据条款1的计算机实现的方法，还包括：基于第一组运动矢量、第一残差以及第一帧，生成与第二帧相关联的第一重构视频帧，第二帧被包括在视频序列中并且对应于第二去噪帧。

3.根据条款1或2的计算机实现的方法，还包括：基于第一重构视频帧、第二组运动矢量以及第二残差，生成与第三帧相关联的第二重构视频帧，第三帧被包括在视频序列中。

4.根据条款1至3中任一项的计算机实现的方法，其中，执行一个或多个操作以生成被编码视频帧包括：基于被包括在第一重构视频帧中的一个或多个相邻块，生成对被包括在被编码视频帧中的块的帧内预测。

5.根据条款1至4中任一项的计算机实现的方法，其中，执行一个或多个操作以生成被编码视频帧包括：基于与帧内预测相关联的第一成本和与块的帧间预测相关联的第二成本，生成对被包括在被编码视频帧中的块的帧内预测。

6.根据条款1至5中任一项的计算机实现的方法，其中，执行一个或多个操作以生成被编码视频帧包括：将随机或伪随机偏移添加到从第一去噪帧中包括的第一去噪块到第二去噪帧中包括的第二去噪块定义的零值运动矢量。

7.根据条款1至6中任一项的计算机实现的方法，其中，第一组运动矢量包括从第一去噪帧中包括的第一去噪块到第二去噪帧中包括的第二去噪块定义的零值运动矢量，并且还包括：执行一个或多个操作，以基于第一块和第二块之间的第二残差生成被编码视频帧，第一块对应于第一去噪块并且被包括在第一帧中，第二块对应于第二去噪块并且被包括在对应于第二去噪帧的第二帧中。

8.根据条款1至7中任一项的计算机实现的方法，还包括：基于第一去噪帧和第一组运动矢量生成预测帧。

9.根据条款1至8中任一项的计算机实现的方法，其中，执行一个或多个操作以生成多个去噪视频帧包括：将一个或多个滤波器应用于与第一帧相关联的第一重构帧，以生成第一去噪帧；以及将一个或多个滤波器应用于视频序列内与第一帧相邻的第二帧，以生成第二去噪帧。

10.根据条款1至9中任一项的计算机实现的方法，其中，一个或多个滤波器包括低通滤波器、有限冲激响应(FIR)滤波器、无限冲激响应(IIR)滤波器、非线性滤波器、内容自适应滤波器或时间滤波器中的至少一个。

11.在一些实施例中，一个或多个非暂态计算机可读介质，存储指令，指令在由一个或多个处理器执行时使一个或多个处理器执行以下步骤，步骤包括：执行一个或多个操作以生成与视频序列相关联的多个去噪视频帧；基于在多个去噪视频帧中包括的第一去噪帧和在多个去噪视频帧中包括的第二去噪帧确定第一组运动矢量；基于第一去噪帧和第一组运动矢量生成预测帧；确定在第二去噪帧和预测帧之间的第一残差；以及执行一个或多个操作，以基于第一组运动矢量、第一残差以及第一帧，生成与第二去噪帧相关联的被编码视频帧，第一帧被包括在视频序列中并且对应于第一去噪帧。

12.根据条款11的一个或多个非暂态计算机可读介质，其中，指令还使一个或多个处理器执行以下步骤：基于第一组运动矢量、第一残差以及第一帧，生成与第二帧相关联的第一重构视频帧，第二帧被包括在视频序列中并且对应于第二去噪帧。

13.根据条款11或12的一个或多个非暂态计算机可读介质，其中，指令还使一个或多个处理器执行以下步骤：基于被包括在第二去噪帧中的一个或多个相邻块，生成对被包括在被编码视频帧中的块的帧内预测。

14.根据条款11至13中任一项的一个或多个非暂态计算机可读介质，其中，执行一个或多个操作以生成被编码视频帧包括：基于与对块进行编码相关联的成本，选择用于对第二帧内的块进行编码的技术，第二帧被包括在视频序列中并且对应于第二去噪帧。

15.根据条款11至14中任一项的一个或多个非暂态计算机可读介质，其中，技术包括：将随机偏移添加到从第一去噪帧中包括的第一去噪块到与块相关联的第二去噪块定义的零值运动矢量。

16.根据条款11至15中任一项的一个或多个非暂态计算机可读介质，其中，技术包括：当从对应块到块定义零值运动矢量时，计算在块和被包括在第一帧中的对应块之间的第二残差。

17.根据条款11至16中任一项的一个或多个非暂态计算机可读介质，其中，技术包括：基于视频序列中的被包括在第一帧中的第一块和被包括在第三帧中的第二块，预测块。

18.根据条款11至17中任一项的一个或多个非暂态计算机可读介质，其中，执行一个或多个操作以生成被编码视频帧还包括：基于与块相关联的失真和与块相关联的位速率，计算成本。

19.根据条款11至18中任一项的一个或多个非暂态计算机可读介质，其中，第一帧包括参考帧，被编码视频帧包括对当前帧的编码，参考帧是视频序列中的关键帧的重构，当前帧被包括在视频序列中并且对应于第二去噪帧。

20.在一些实施例中，一种系统包括：存储指令的存储器；以及处理器，被耦合到存储器并且在执行指令时被配置为：执行一个或多个操作以生成与视频序列相关联的多个去噪视频帧；基于在多个去噪视频帧中包括的第一去噪帧和在多个去噪视频帧中包括的第二去噪帧，确定第一组运动矢量；确定第二去噪帧和预测帧之间的第一残差，预测帧基于第一组运动矢量和第二去噪帧生成；以及执行一个或多个操作，以基于第一组运动矢量、第一残差以及第一帧，生成与第二去噪帧相关联的被编码视频帧，第一帧被包括在视频序列中并且对应于第一去噪帧。

在任何权利要求中记载的任何权利要求要素和/或在本申请中描述的任何要素的任何和所有组合以任何方式落入本发明和保护的预期范围内。

出于说明的目的已经呈现了对各种实施例的描述，但是这些描述并不旨在穷举或限于所公开的实施例。对于本领域的普通技术人员来说，在不脱离所描述的实施例的范围和精神的情况下，许多修改和变更将是显而易见的。

本实施例的各方面可以被实现为系统、方法或计算机程序产品。相应地，本发明的各方面可以采取完全硬件实施例、完全软件实施例(包括固件、驻留软件、微代码等)或组合软件和硬件方面的实施例的形式，这些方面可以在本文中一般地全部被称为“模块”、“系统”、或“计算机”。另外，本公开中描述的任何硬件和/或软件技术、过程、功能、组件、引擎、模块或系统可以被实现为电路或一组电路。此外，本公开的各方面可以采取被体现在一个或多个计算机可读介质中的计算机程序产品的形式，这些计算机可读介质上包含计算机可读程序代码。

可以利用一个或多个计算机可读介质的任何组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。计算机可读存储介质可以是例如但不限于电子、磁、光、电磁、红外或半导体系统、装置或设备、或前述项的任何合适的组合。计算机可读存储介质的更具体的示例(非穷举列表)将包括以下各项：具有一条或多条线的电连接、便携式计算机软盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、光纤、便携式光盘只读存储器(CD-ROM)、光存储设备、磁存储设备、或前述项的任何合适的组合。在本文的上下文中，计算机可读存储介质可以是可以包含或存储程序以供指令执行系统、装置或设备使用或与之相关联的任何有形介质。

以上参考根据本公开的实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图，描述了本公开的各方面。应当理解，可以通过计算机程序指令来实现流程图和/或框图中的每个框、以及流程图和/或框图中的框的组合。这些计算机程序指令可以被提供到通用计算机、专用计算机或其他可编程数据处理装置的处理器以生产机器。当经由计算机或其他可编程数据处理装置的处理器执行这些指令时，这些指令能够实现在流程图和/或框图的一个或多个框中指定的功能/动作。这种处理器可以是但不限于通用处理器、专用处理器、应用专用处理器或现场可编程门阵列。

附图中的流程图和框图示出了根据本公开的各种实施例的系统、方法和计算机程序产品的可能实现方式的架构、功能和操作。在这点上，流程图或框图中的每个块都可以表示模块、片段或代码的一部分，其包含用于实现(一个或多个)特定逻辑功能的一条或多条可执行指令。还应当注意，在一些替代实现方式中，在块中提到的功能可以按照不同于在附图中提到的顺序出现。例如，取决于所涉及的功能，连续示出的两个块实际上可以基本上同时执行，或者块有时可以以相反的顺序执行。还应当注意，可以通过执行特定功能或动作的专用的基于硬件的系统来实现，或通过专用硬件和计算机指令的组合来实现，框图和/或流程图图示中的每个块以及框图和/或流程图图示中的块的组合。

虽然前述内容涉及本公开的实施例，但是在不脱离本公开的基本范围的情况下可以设计本公开的其他和进一步的实施例，并且本公开的范围由所附权利要求确定。

Claims (20)

1.一种用于对视频帧进行编码的计算机实现的方法，所述方法包括：

执行一个或多个操作以生成与视频序列相关联的多个去噪视频帧；

基于在所述多个去噪视频帧中包括的第一去噪帧和在所述多个去噪视频帧中包括的第二去噪帧确定第一组运动矢量；

确定在所述第二去噪帧和与所述第二去噪帧相关联的预测帧之间的第一残差；以及

执行一个或多个操作，以基于所述第一组运动矢量、所述第一残差以及第一帧，生成与所述第二去噪帧相关联的被编码视频帧，所述第一帧被包括在所述视频序列中并且对应于所述第一去噪帧。

2.根据权利要求1所述的计算机实现的方法，还包括：基于所述第一组运动矢量、所述第一残差以及所述第一帧，生成与第二帧相关联的第一重构视频帧，所述第二帧被包括在所述视频序列中并且对应于所述第二去噪帧。

3.根据权利要求2所述的计算机实现的方法，还包括：基于所述第一重构视频帧、第二组运动矢量以及第二残差，生成与第三帧相关联的第二重构视频帧，所述第三帧被包括在所述视频序列中。

4.根据权利要求2所述的计算机实现的方法，其中，执行所述一个或多个操作以生成所述被编码视频帧包括：基于被包括在所述第一重构视频帧中的一个或多个相邻块，生成对被包括在所述被编码视频帧中的块的帧内预测。

5.根据权利要求1所述的计算机实现的方法，其中，执行所述一个或多个操作以生成所述被编码视频帧包括：基于第一成本和第二成本，生成对被包括在所述被编码视频帧中的块的帧内预测，所述第一成本与所述帧内预测相关联，所述第二成本与所述块的帧间预测相关联。

6.根据权利要求1所述的计算机实现的方法，其中，执行所述一个或多个操作以生成所述被编码视频帧包括：将随机或伪随机偏移添加到从所述第一去噪帧中包括的第一去噪块到所述第二去噪帧中包括的第二去噪块定义的零值运动矢量。

7.根据权利要求1所述的计算机实现的方法，其中，所述第一组运动矢量包括从所述第一去噪帧中包括的第一去噪块到所述第二去噪帧中包括的第二去噪块定义的零值运动矢量，并且所述方法还包括：执行一个或多个操作，以基于第一块和第二块之间的第二残差生成所述被编码视频帧，所述第一块对应于所述第一去噪块并且被包括在所述第一帧中，所述第二块对应于所述第二去噪块并且被包括在对应于所述第二去噪帧的第二帧中。

8.根据权利要求1所述的计算机实现的方法，还包括：基于所述第一去噪帧和所述第一组运动矢量生成所述预测帧。

9.根据权利要求1所述的计算机实现的方法，其中，执行所述一个或多个操作以生成所述多个去噪视频帧包括：

将一个或多个滤波器应用于与所述第一帧相关联的第一重构帧，以生成所述第一去噪帧；以及

将所述一个或多个滤波器应用于所述视频序列内与所述第一帧相邻的第二帧，以生成所述第二去噪帧。

10.根据权利要求9所述的计算机实现的方法，其中，所述一个或多个滤波器包括低通滤波器、有限冲激响应(FIR)滤波器、无限冲激响应(IIR)滤波器、非线性滤波器、内容自适应滤波器或时间滤波器中的至少一个。

11.一个或多个非暂态计算机可读介质，存储指令，所述指令在由一个或多个处理器执行时，使所述一个或多个处理器执行以下步骤：

执行一个或多个操作以生成与视频序列相关联的多个去噪视频帧；

基于在所述多个去噪视频帧中包括的第一去噪帧和在所述多个去噪视频帧中包括的第二去噪帧确定第一组运动矢量；

基于所述第一去噪帧和所述第一组运动矢量生成预测帧；

确定在所述第二去噪帧和所述预测帧之间的第一残差；以及

执行一个或多个操作，以基于所述第一组运动矢量、所述第一残差以及第一帧，生成与所述第二去噪帧相关联的被编码视频帧，所述第一帧被包括在所述视频序列中并且对应于所述第一去噪帧。

12.根据权利要求11所述的一个或多个非暂态计算机可读介质，其中，所述指令还使所述一个或多个处理器执行以下步骤：基于所述第一组运动矢量、所述第一残差以及所述第一帧，生成与第二帧相关联的第一重构视频帧，所述第二帧被包括在所述视频序列中并且对应于所述第二去噪帧。

13.根据权利要求12所述的一个或多个非暂态计算机可读介质，其中，所述指令还使所述一个或多个处理器执行以下步骤：基于被包括在所述第二去噪帧中的一个或多个相邻块，生成对被包括在所述被编码视频帧中的块的帧内预测。

14.根据权利要求11所述的一个或多个非暂态计算机可读介质，其中，执行所述一个或多个操作以生成所述被编码视频帧包括：基于与对所述块进行编码相关联的成本，选择用于对第二帧内的块进行编码的技术，所述第二帧被包括在所述视频序列中并且对应于所述第二去噪帧。

15.根据权利要求14所述的一个或多个非暂态计算机可读介质，其中，所述技术包括：将随机偏移添加到从所述第一去噪帧中包括的第一去噪块到与所述块相关联的第二去噪块定义的零值运动矢量。

16.根据权利要求14所述的一个或多个非暂态计算机可读介质，其中，所述技术包括：当从对应块到所述块定义零值运动矢量时，计算在所述块和被包括在所述第一帧中的所述对应块之间的第二残差。

17.根据权利要求14所述的一个或多个非暂态计算机可读介质，其中，所述技术包括：基于所述视频序列中的被包括在所述第一帧中的第一块和被包括在第三帧中的第二块，预测所述块。

18.根据权利要求14所述的一个或多个非暂态计算机可读介质，其中，执行所述一个或多个操作以生成所述被编码视频帧还包括：基于与所述块相关联的失真和与所述块相关联的位速率，计算所述成本。

19.根据权利要求11所述的一个或多个非暂态计算机可读介质，其中，所述第一帧包括参考帧，所述被编码视频帧包括对当前帧的编码，所述参考帧是所述视频序列中的关键帧的重构，所述当前帧被包括在所述视频序列中并且对应于所述第二去噪帧。

20.一种系统，包括：

存储指令的存储器，以及

处理器，被耦合到所述存储器并且在执行所述指令时被配置为：

执行一个或多个操作以生成与视频序列相关联的多个去噪视频帧；

基于在所述多个去噪视频帧中包括的第一去噪帧和在所述多个去噪视频帧中包括的第二去噪帧，确定第一组运动矢量；

确定所述第二去噪帧和预测帧之间的第一残差，所述预测帧基于所述第一组运动矢量和所述第二去噪帧生成；以及

执行一个或多个操作，以基于所述第一组运动矢量、所述第一残差以及第一帧，生成与所述第二去噪帧相关联的被编码视频帧，所述第一帧被包括在所述视频序列中并且对应于所述第一去噪帧。