CN114915783A - 编码方法和装置 - Google Patents

Abstract

本申请提供了编码方法和装置。涉及基于人工智能(AI)的视频或图像压缩技术领域领域，具体涉及基于神经网络的视频压缩技术领域。该方法包括：获取当前图像的帧间预测图像，所述当前图像不是视频序列的首帧图像；将所述帧间预测图像输入预测细化网络得到增强的帧间预测图像；根据所述增强的帧间预测图像获取所述当前图像的重建图像。本申请能够提高编码效率。

Description

编码方法和装置

技术领域

本发明实施例涉及基于人工智能(artificial intelligence，AI)的视频或图像压缩技术领域，尤其涉及一种编码方法和装置。

背景技术

视频编码(视频编码和解码)广泛用于数字视频应用，例如广播数字电视、互联网和移动网络上的视频传输、视频聊天和视频会议等实时会话应用、DVD和蓝光光盘、视频内容采集和编辑系统以及可携式摄像机的安全应用。

近年来，将深度学习应用于图像或视频编解码领域逐渐成为一种趋势。常见的端到端视频编码技术通过设计整体可训练的网络，分别用于帧内预测、帧间预测、残差编码和码率控制等模块。其中，如何提高编码效率是关键技术。

发明内容

本申请提供一种编码方法和装置，能够提高编码效率。

第一方面，本申请提供一种编码方法，包括：获取当前图像的帧间预测图像，所述当前图像不是视频序列的首帧图像；将所述帧间预测图像输入预测细化网络得到增强的帧间预测图像；根据所述增强的帧间预测图像获取所述当前图像的重建图像。

预测细化网络(PR-Net)的输入为当前图像的帧间预测图像，PR-Net的输出为当前图像的增强的帧间预测图像。正是由于PR-Net可以实现更好性能的预测，因此当前图像的帧间预测图像经过PR-Net后得到的增强的帧间预测图像相较于原来的帧间预测图像，具备更好的性能，例如体现在图像中的边缘部分、纹理细节多的部分等。

在一种可能的实现方式中，所述获取当前图像的帧间预测图像，包括：获取上一帧图像的重建图像，所述上一帧图像的编码顺序仅早于所述当前图像；获取所述当前图像的量化压缩的运动矢量MV；将所述上一帧图像的重建图像和所述当前图像的量化压缩的MV输入运动补偿网络得到所述帧间预测图像。

在一种可能的实现方式中，所述根据所述增强的帧间预测图像获取所述当前图像的重建图像，包括：根据所述当前图像和所述增强的帧间预测图像获取中间重建图像；根据所述当前图像和所述中间重建图像获取重建残差图像；将所述重建残差图像输入精细化残差编码网络和精细化残差解码网络得到量化压缩的重建残差图像；根据所述量化压缩的重建残差图像和所述中间重建图像获取所述重建图像。

本申请形成了两级残差处理，一方面，在训练中对该两级残差网络不实施参数共享，以保证学习到的两个残差网络具有差异性，另一方面，两级残差处理构成了可伸缩残差，可以对重建图像进行精细化建模，使用全新的残差编码模块对重建图像的残差进行编码，进一步提升性能。

在一种可能的实现方式中，所述根据所述量化压缩的重建残差图像和所述中间重建图像获取所述重建图像，包括：根据所述量化压缩的重建残差图像和所述中间重建图像获取滤波前重建图像；将所述滤波前重建图像输入环路滤波网络得到所述重建图像。

环路滤波网络可以进一步提升重建图像的质量。

在一种可能的实现方式中，所述根据所述量化压缩的重建残差图像和所述中间重建图像获取所述重建图像，包括：根据所述量化压缩的重建残差图像和所述中间重建图像获取所述重建图像。

在一种可能的实现方式中，所述根据所述当前图像和所述增强的帧间预测图像获取中间重建图像，包括：对所述当前图像和所述增强的帧间预测图像中的对应位置的像素值求差得到残差图像；将所述残差图像输入残差编码网络和残差解码网络得到量化压缩的残差图像；对所述量化压缩的残差图像和所述增强的帧间预测图像中的对应位置的像素值求和得到所述中间重建图像。

在一种可能的实现方式中，所述根据所述当前图像和所述中间重建图像获取重建残差图像，包括：对所述当前图像和所述中间重建图像中的对应位置的像素值求差得到所述重建残差图像。

在一种可能的实现方式中，所述根据所述量化压缩的重建残差图像和所述中间重建图像获取滤波前重建图像，包括：对所述量化压缩的重建残差图像和所述中间重建图像中的对应位置的像素值求和得到所述滤波前重建图像。

在一种可能的实现方式中，所述根据所述量化压缩的重建残差图像和所述中间重建图像获取所述重建图像，包括：对所述量化压缩的重建残差图像和所述中间重建图像中的对应位置的像素值求和得到所述重建图像。

在一种可能的实现方式中，所述获取所述当前图像的量化压缩的运动矢量MV，包括：将所述上一帧图像的重建图像和所述当前图像输入运动估计网络得到所述当前图像的MV；将所述当前图像的MV输入MV编码网络和MV解码网络得到所述当前图像的量化压缩的MV。

本申请将当前图像的预测图像输入预测细化网络，得到增强的帧间预测图像，相较于原来的帧间预测图像，可以具备更好的预测性能。另外，通过两级残差处理，一方面，在训练中对该两级残差网络不实施参数共享，以保证学习到的两个残差网络具有差异性，另一方面，两级残差处理构成了可伸缩残差，可以对重建图像进行精细化建模，使用全新的残差编码模块对重建图像的残差进行编码，进一步提升性能。再加上环路滤波网络可以进一步提升重建图像的质量。

第二方面，本申请提供一种编码装置，包括：获取模块，用于获取当前图像的帧间预测图像，所述当前图像不是视频序列的首帧图像；预测模块，用于将所述帧间预测图像输入预测细化网络得到增强的帧间预测图像；重建模块，用于根据所述增强的帧间预测图像获取所述当前图像的重建图像。

在一种可能的实现方式中，所述获取模块，具体用于获取上一帧图像的重建图像，所述上一帧图像的编码顺序仅早于所述当前图像；获取所述当前图像的量化压缩的运动矢量MV；将所述上一帧图像的重建图像和所述当前图像的量化压缩的MV输入运动补偿网络得到所述帧间预测图像。

在一种可能的实现方式中，所述重建模块，具体用于根据所述当前图像和所述增强的帧间预测图像获取中间重建图像；根据所述当前图像和所述中间重建图像获取重建残差图像；将所述重建残差图像输入精细化残差编码网络和精细化残差解码网络得到量化压缩的重建残差图像；根据所述量化压缩的重建残差图像和所述中间重建图像获取所述重建图像。

在一种可能的实现方式中，所述重建模块，具体用于根据所述量化压缩的重建残差图像和所述中间重建图像获取滤波前重建图像；将所述滤波前重建图像输入环路滤波网络得到所述重建图像。

在一种可能的实现方式中，所述重建模块，具体用于根据所述量化压缩的重建残差图像和所述中间重建图像获取所述重建图像。

在一种可能的实现方式中，所述重建模块，具体用于对所述当前图像和所述增强的帧间预测图像中的对应位置的像素值求差得到残差图像；将所述残差图像输入残差编码网络和残差解码网络得到量化压缩的残差图像；对所述量化压缩的残差图像和所述增强的帧间预测图像中的对应位置的像素值求和得到所述中间重建图像。

在一种可能的实现方式中，所述重建模块，具体用于对所述当前图像和所述中间重建图像中的对应位置的像素值求差得到所述重建残差图像。

在一种可能的实现方式中，所述重建模块，具体用于对所述量化压缩的重建残差图像和所述中间重建图像中的对应位置的像素值求和得到所述滤波前重建图像。

在一种可能的实现方式中，所述重建模块，具体用于对所述量化压缩的重建残差图像和所述中间重建图像中的对应位置的像素值求和得到所述重建图像。

在一种可能的实现方式中，所述获取模块，具体用于将所述上一帧图像的重建图像和所述当前图像输入运动估计网络得到所述当前图像的MV；将所述当前图像的MV输入MV编码网络和MV解码网络得到所述当前图像的量化压缩的MV。

第三方面，本申请提供一种编码器，包括：一个或多个处理器；非瞬时性计算机可读存储介质，耦合到所述处理器并存储由所述处理器执行的程序，其中所述程序在由所述处理器执行时，使得所述编码器执行根据上述第一方面中任一项所述的方法。

第四方面，本申请提供一种计算机程序产品，其特征在于，包括程序代码，当其在计算机或处理器上执行时，用于执行根据上述第一方面中任一项所述的方法。

第五方面，本申请提供一种非瞬时性计算机可读存储介质，其特征在于，包括程序代码，当其由计算机设备执行时，用于执行根据上述第一方面中任一项所述的方法。

第六方面，本申请提供一种非瞬时性存储介质，其特征在于，包括根据上述第一方面中任一项所述的方法编码的比特流。

附图说明

图1为本申请实施例的译码系统10的示例性框图；

图2为本申请实施例的视频编码器20的示例性框图；

图3为本申请实施例的装置300的示例性框图；

图4a-图4e为本申请实施例的神经网络的示例性架构；

图5为本申请实施例的端对端视频编码架构的示例性的结构图；

图6为本申请实施例的编码方法的过程600的流程图；

图7为本申请实施例的PR-Net的示例性架构；

图8为本申请实施例的环路滤波网络的示例性架构；

图9为本申请实施例的编码装置900的示例性的结构图。

具体实施方式

本申请实施例提供一种基于AI的视频图像压缩技术，尤其是提供一种基于神经网络的端对端视频编码技术，以改进传统的混合视频编解码系统。

视频编码通常是指处理形成视频或视频序列的图像序列。在视频编码领域，术语“图像(picture)”、“帧(frame)”或“图片(image)”可以用作同义词。视频编码(或通常称为编码)包括视频编码和视频解码两部分。视频编码在源侧执行，通常包括处理(例如，压缩)原始视频图像以减少表示该视频图像所需的数据量(从而更高效存储和/或传输)。视频解码在目的地侧执行，通常包括相对于编码器作逆处理，以重建视频图像。实施例涉及的视频图像(或通常称为图像帧)的“编码”应理解为视频图像或视频序列的“编码”或“解码”。编码部分和解码部分也合称为编解码(编码和解码，CODEC)。

在有损视频编码情况下，通过量化等执行进一步压缩，来减少表示视频图像所需的数据量，而编码器侧和解码器侧无法完全重建视频图像，即重建图像的质量比原始视频图像的质量较差。

端对端视频编码技术通常在帧级别上进行编码。换句话说，编码器通常在帧级编码视频，例如，通过空间(帧内)预测和时间(帧间)预测来产生预测图像；从当前图像中减去预测图像，得到残差图像；在变换域中变换残差图像并量化残差图像，以减少待传输(压缩)的数据量，而解码器侧将相对于编码器的逆处理应用于编码或压缩的图像帧，以重建用于表示的当前图像帧。另外，编码器需要重复解码器的处理步骤，使得编码器和解码器生成相同的预测(例如，帧内预测和帧间预测)和/或重建图像，用于编码后续图像帧。

在以下译码系统10的实施例中，编码器20和解码器30根据图1至图3进行描述。

图1为本申请实施例的译码系统10的示例性框图，例如可以利用本申请技术的视频译码系统10(或简称为译码系统10)。视频译码系统10中的视频编码器20(或简称为编码器20)和视频解码器30(或简称为解码器30)代表可用于根据本申请中描述的各种示例执行各技术的设备等。

如图1所示，译码系统10包括源设备12，源设备12用于将编码图像等编码图像数据21提供给用于对编码图像数据21进行解码的目的设备14。

源设备12包括编码器20，另外即可选地，可包括图像源16、图像预处理器等预处理器(或预处理单元)18、通信接口(或通信单元)22。

图像源16可包括或可以为任意类型的用于捕获现实世界图像等的图像捕获设备，和/或任意类型的图像生成设备，例如用于生成计算机动画图像的计算机图形处理器或任意类型的用于获取和/或提供现实世界图像、计算机生成图像(例如，屏幕内容、虚拟现实(virtual reality，VR)图像和/或其任意组合(例如增强现实(augmented reality，AR)图像)的设备。所述图像源可以为存储上述图像中的任意图像的任意类型的内存或存储器。

为了区分预处理器(或预处理单元)18执行的处理，图像(或图像数据)17也可称为原始图像(或原始图像数据)17。

预处理器18用于接收(原始)图像数据17，并对图像数据17进行预处理，得到预处理图像(或预处理图像数据)19。例如，预处理器18执行的预处理可包括修剪、颜色格式转换(例如从RGB转换为YCbCr)、调色或去噪。可以理解的是，预处理单元18可以为可选组件。

视频编码器(或编码器)20用于接收预处理图像数据19并提供编码图像数据21(下面将根据图2等进一步描述)。

源设备12中的通信接口22可用于：接收编码图像数据21并通过通信信道13向目的设备14发送编码图像数据21(或其它任意处理后的版本)，以便存储或直接重建。

目的设备14包括解码器30，另外即可选地，可包括通信接口(或通信单元)28、后处理器(或后处理单元)32和显示设备34。

目的设备14中的通信接口28用于直接从源设备12或从存储设备等任意其它源设备接收编码图像数据21(或其它任意处理后的版本)，例如，存储设备为编码图像数据存储设备，并将编码图像数据21提供给解码器30。

通信接口22和通信接口28可用于通过源设备12与目的设备14之间的直连通信链路，例如直接有线或无线连接等，或者通过任意类型的网络，例如有线网络、无线网络或其任意组合、任意类型的私网和公网或其任意类型的组合，发送或接收编码图像数据(或编码数据)21。

例如，通信接口22可用于将编码图像数据21封装为报文等合适的格式，和/或使用任意类型的传输编码或处理来处理所述编码后的图像数据，以便在通信链路或通信网络上进行传输。

通信接口28与通信接口22对应，例如，可用于接收传输数据，并使用任意类型的对应传输解码或处理和/或解封装对传输数据进行处理，得到编码图像数据21。

通信接口22和通信接口28均可配置为如图1中从源设备12指向目的设备14的对应通信信道13的箭头所指示的单向通信接口，或双向通信接口，并且可用于发送和接收消息等，以建立连接，确认并交换与通信链路和/或例如编码后的图像数据传输等数据传输相关的任何其它信息，等等。

视频解码器(或解码器)30用于接收编码图像数据21并提供解码图像数据(或解码图像数据)31。

后处理器32用于对解码后的图像等解码图像数据31(也称为重建后的图像数据)进行后处理，得到后处理后的图像等后处理图像数据33。后处理单元32执行的后处理可以包括例如颜色格式转换(例如从YCbCr转换为RGB)、调色、修剪或重采样，或者用于产生供显示设备34等显示的解码图像数据31等任何其它处理。

显示设备34用于接收后处理图像数据33，以向用户或观看者等显示图像。显示设备34可以为或包括任意类型的用于表示重建后图像的显示器，例如，集成或外部显示屏或显示器。例如，显示屏可包括液晶显示器(liquid crystal display，LCD)、有机发光二极管(organic light emitting diode，OLED)显示器、等离子显示器、投影仪、微型LED显示器、硅基液晶显示器(liquid crystal on silicon，LCoS)、数字光处理器(digital lightprocessor，DLP)或任意类型的其它显示屏。

译码系统10还包括训练引擎25，训练引擎25用于训练一个或多个神经网络，该一个或多个神经网络可以用于实现编码器20或解码器30中的一个或多个功能模块的功能，例如，用于实现帧内预测的神经网络、用于实现帧间预测的神经网络、用于实现滤波处理的神经网络等等。

训练引擎25可以在云端训练得到目标模型，然后译码系统10从云端下载并使用该目标模型；或者，训练引擎25可以在云端训练得到目标模型并使用该目标模型，译码系统10从云端直接获取处理结果。例如，训练引擎25训练得到具备滤波功能的目标模型，译码系统10从云端下载该目标模型，然后编码器20中的环路滤波器220或解码器30中的环路滤波器320可以根据该目标模型对输入的重建图像进行滤波处理，得到滤波后的图像。又例如，训练引擎25训练得到具备滤波功能的目标模型，译码系统10无需从云端下载该目标模型，编码器20或解码器30将重建图像传输给云端，由云端通过目标模型对该重建图像进行滤波处理，得到滤波后的图像并传输给编码器20或解码器30。

尽管图1示出了源设备12和目的设备14作为独立的设备，但设备实施例也可以同时包括源设备12和目的设备14或同时包括源设备12和目的设备14的功能，即同时包括源设备12或对应功能和目的设备14或对应功能。在这些实施例中，源设备12或对应功能和目的设备14或对应功能可以使用相同硬件和/或软件或通过单独的硬件和/或软件或其任意组合来实现。

根据描述，图1所示的源设备12和/或目的设备14中的不同单元或功能的存在和(准确)划分可能根据实际设备和应用而有所不同，这对技术人员来说是显而易见的。

源设备12和目的设备14可包括各种设备中的任一种，包括任意类型的手持设备或固定设备，例如，笔记本电脑或膝上型电脑、手机、智能手机、平板或平板电脑、相机、台式计算机、机顶盒、电视机、显示设备、数字媒体播放器、视频游戏控制台、视频流设备(例如，内容业务服务器或内容分发服务器)、广播接收设备、广播发射设备，等等，并可以不使用或使用任意类型的操作系统。在一些情况下，源设备12和目的设备14可配备用于无线通信的组件。因此，源设备12和目的设备14可以是无线通信设备。

在一些情况下，图1所示的视频译码系统10仅仅是示例性的，本申请提供的技术可适用于视频编码设置(例如，视频编码或视频解码)，这些设置不一定包括编码设备与解码设备之间的任何数据通信。在其它示例中，数据从本地存储器中检索，通过网络发送，等等。视频编码设备可以对数据进行编码并将数据存储到存储器中，和/或视频解码设备可以从存储器中检索数据并对数据进行解码。在一些示例中，编码和解码由相互不通信而只是编码数据到存储器和/或从存储器中检索并解码数据的设备来执行。

应理解，本申请实施例中对于参考视频编码器20所描述的实例，视频解码器30可以用于执行相反过程。关于信令语法元素，视频解码器30可以用于接收并解析这种语法元素，相应地解码相关视频数据。在一些例子中，视频编码器20可以将语法元素熵编码成经编码视频比特流。在此类实例中，视频解码器30可以解析这种语法元素，并相应地解码相关视频数据。

编码器和编码方法

图2为本申请实施例的视频编码器20的示例性框图。在图2的示例中，视频编码器20包括输入端(或输入接口)201、残差计算单元204、变换处理单元206、量化单元208、反量化单元210、逆变换处理单元212、重建单元214、环路滤波器220、解码图像缓冲器(decodedpicture buffer，DPB)230、模式选择单元260、熵编码单元270和输出端(或输出接口)272。模式选择单元260可包括帧间预测单元244、帧内预测单元254和分割单元262。帧间预测单元244可包括运动估计单元和运动补偿单元(未示出)。图2所示的视频编码器20也可称为混合型视频编码器或基于混合型视频编解码器的视频编码器。

残差计算单元204、变换处理单元206、量化单元208和模式选择单元260组成编码器20的前向信号路径，而反量化单元210、逆变换处理单元212、重建单元214、缓冲器216、环路滤波器220、解码图像缓冲器(decoded picture buffer，DPB)230、帧间预测单元244和帧内预测单元254组成编码器的后向信号路径，其中编码器20的后向信号路径对应于解码器的信号路径。反量化单元210、逆变换处理单元212、重建单元214、环路滤波器220、解码图像缓冲器230、帧间预测单元244和帧内预测单元254还组成视频编码器20的“内置解码器”。

图像

编码器20可用于通过输入端201等接收图像(或图像数据)17，例如，形成视频或视频序列的图像序列中的图像。接收的图像或图像数据也可以是预处理后的图像(或预处理后的图像数据)19。为简单起见，以下描述使用图像17。图像17也可称为当前图像或待编码的图像。

(数字)图像可以视为具有强度值的像素点组成的二维阵列或矩阵。阵列中的像素点也可以称为像素(pixel或pel)(图像元素的简称)。阵列或图像在水平方向和垂直方向(或轴线)上的像素点数量决定了图像的大小和/或分辨率。为了表示颜色，通常采用三个颜色分量，即图像可以表示为或包括三个像素点阵列。在RBG格式或颜色空间中，图像包括对应的红色、绿色和蓝色像素点阵列。但是，在视频编码中，每个像素通常以亮度/色度格式或颜色空间表示，例如YCbCr，包括Y指示的亮度分量(有时也用L表示)以及Cb、Cr表示的两个色度分量。亮度(luma)分量Y表示亮度或灰度水平强度(例如，在灰度等级图像中两者相同)，而两个色度(chrominance，简写为chroma)分量Cb和Cr表示色度或颜色信息分量。相应地，YCbCr格式的图像包括亮度像素点值(Y)的亮度像素点阵列和色度值(Cb和Cr)的两个色度像素点阵列。RGB格式的图像可以转换或变换为YCbCr格式，反之亦然，该过程也称为颜色变换或转换。如果图像是黑白的，则该图像可以只包括亮度像素点阵列。相应地，图像可以为例如单色格式的亮度像素点阵列或4:2:0、4:2:2和4:4:4彩色格式的亮度像素点阵列和两个相应的色度像素点阵列。

在一个实施例中，图2所示的视频编码器20用于对图像17进行编码和预测。

残差计算

残差计算单元204用于通过如下方式根据图像17和预测图像265来计算残差图像205(后续详细介绍了预测图像265)：例如，逐个像素点(逐个像素)从图像17的像素点值中减去预测图像265的像素点值，得到像素域中的残差图像205。

变换

变换处理单元206用于对残差图像205的像素点值执行离散余弦变换(discretecosine transform，DCT)或离散正弦变换(discrete sine transform，DST)等，得到变换域中的变换系数207。变换系数207也可称为变换残差系数，表示变换域中的残差图像205。

变换处理单元206可用于应用DCT/DST的整数化近似。与正交DCT变换相比，这种整数化近似通常由某一因子按比例缩放。为了维持经过正变换和逆变换处理的残差块的范数，使用其它比例缩放因子作为变换过程的一部分。比例缩放因子通常是根据某些约束条件来选择的，例如比例缩放因子是用于移位运算的2的幂、变换系数的位深度、准确性与实施成本之间的权衡等。例如，在编码器20侧通过逆变换处理单元212为逆变换(以及在解码器30侧通过例如逆变换处理单元312为对应逆变换)指定具体的比例缩放因子，以及相应地，可以在编码器20侧通过变换处理单元206为正变换指定对应比例缩放因子。

在一个实施例中，视频编码器20(对应地，变换处理单元206)可用于输出一种或多种变换的类型等变换参数，例如，直接输出或由熵编码单元270进行编码或压缩后输出，例如使得视频解码器30可接收并使用变换参数进行解码。

量化

量化单元208用于通过例如标量量化或矢量量化对变换系数207进行量化，得到量化变换系数209。量化变换系数209也可称为量化残差系数209。

量化过程可减少与部分或全部变换系数207有关的位深度。例如，可在量化期间将n位变换系数向下舍入到m位变换系数，其中n大于m。可通过调整量化参数(quantizationparameter，QP)修改量化程度。例如，对于标量量化，可以应用不同程度的比例来实现较细或较粗的量化。较小量化步长对应较细量化，而较大量化步长对应较粗量化。可通过量化参数(quantization parameter，QP)指示合适的量化步长。例如，量化参数可以为合适的量化步长的预定义集合的索引。例如，较小的量化参数可对应精细量化(较小量化步长)，较大的量化参数可对应粗糙量化(较大量化步长)，反之亦然。量化可包括除以量化步长，而反量化单元210等执行的对应或逆解量化可包括乘以量化步长。一般而言，可以根据量化参数使用包含除法的等式的定点近似来计算量化步长。可以引入其它比例缩放因子来进行量化和解量化，以恢复可能由于在用于量化步长和量化参数的等式的定点近似中使用的比例而修改的残差块的范数。在一种示例性实现方式中，可以合并逆变换和解量化的比例。或者，可以使用自定义量化表并在比特流中等将其从编码器向解码器指示。量化是有损操作，其中量化步长越大，损耗越大。

在一个实施例中，视频编码器20(对应地，量化单元208)可用于输出量化参数(quantization parameter，QP)，例如，直接输出或由熵编码单元270进行编码或压缩后输出，例如使得视频解码器30可接收并使用量化参数进行解码。

反量化

反量化单元210用于对量化系数执行量化单元208的反量化，得到解量化系数211，例如，根据或使用与量化单元208相同的量化步长执行与量化单元208所执行的量化方案的反量化方案。解量化系数211也可称为解量化残差系数211，对应于变换系数207，但是由于量化造成损耗，反量化系数211通常与变换系数不完全相同。

逆变换

逆变换处理单元212用于执行变换处理单元206执行的变换的逆变换，例如，逆离散余弦变换(discrete cosine transform，DCT)或逆离散正弦变换(discrete sinetransform，DST)，以在像素域中得到重建残差图像213(或对应的解量化系数213)。重建残差图像213也可称为变换图像213。

重建

重建单元214(例如，求和器214)用于将变换图像213(即重建残差图像213)添加到预测图像265，以在像素域中得到重建图像215，例如，将重建残差图像213的像素点值和预测图像265的像素点值相加。

滤波

环路滤波器单元220(或简称“环路滤波器”220)用于对重建图像215进行滤波，得到滤波图像221，或通常用于对重建像素点进行滤波以得到滤波像素点值。例如，环路滤波器单元用于顺利进行像素转变或提高视频质量。环路滤波器单元220可包括一个或多个环路滤波器，例如去块滤波器、像素点自适应偏移(sample-adaptive offset，SAO)滤波器或一个或多个其它滤波器，例如自适应环路滤波器(adaptive loop filter，ALF)、噪声抑制滤波器(noise suppression filter，NSF)或任意组合。例如，环路滤波器单元220可以包括去块滤波器、SAO滤波器和ALF滤波器。滤波过程的顺序可以是去块滤波器、SAO滤波器和ALF滤波器。再例如，增加一个称为具有色度缩放的亮度映射(luma mapping with chromascaling，LMCS)(即自适应环内整形器)的过程。该过程在去块之前执行。再例如，去块滤波过程也可以应用于内部子块边缘，例如仿射子块边缘、ATMVP子块边缘、子块变换(sub-block transform，SBT)边缘和内子部分(intra sub-partition，ISP)边缘。尽管环路滤波器单元220在图2中示为环路滤波器，但在其它配置中，环路滤波器单元220可以实现为环后滤波器。滤波图像221也可称为滤波重建图像221。

在一个实施例中，视频编码器20(对应地，环路滤波器单元220)可用于输出环路滤波器参数(例如SAO滤波参数、ALF滤波参数或LMCS参数)，例如，直接输出或由熵编码单元270进行熵编码后输出，例如使得解码器30可接收并使用相同或不同的环路滤波器参数进行解码。

解码图像缓冲器

解码图像缓冲器(decoded picture buffer，DPB)230可以是存储参考图像数据以供视频编码器20在编码视频数据时使用的参考图像存储器。DPB 230可以由多种存储器设备中的任一种形成，例如动态随机存取存储器(dynamic random access memory，DRAM)，包括同步DRAM(synchronous DRAM，SDRAM)、磁阻RAM(magnetoresistive RAM，MRAM)、电阻RAM(resistive RAM，RRAM)或其它类型的存储设备。解码图像缓冲器230可用于存储一个或多个滤波图像221。解码图像缓冲器230还可用于存储同一当前图像或例如之前的重建图像等不同图像，例如之前重建和滤波的图像221，并可提供完整的之前重建图像，例如用于帧间预测。解码图像缓冲器230还可用于存储一个或多个未经滤波的重建图像215，或一般存储未经滤波的重建像素点，例如，未被环路滤波单元220滤波的重建图像215，或未进行任何其它处理的重建图像。

模式选择(分割和预测)

模式选择单元260包括帧间预测单元244和帧内预测单元254，用于从解码图像缓冲器230或其它缓冲器(例如，列缓冲器，图中未显示)接收或获得图像17和重建图像数据，例如，当前图像和/或一个或多个之前解码图像的滤波和/或未经滤波的重建图像。重建图像数据用作帧间预测或帧内预测等预测所需的参考图像数据，以得到预测图像265或预测值265。

模式选择单元260可用于为当前图像预测模式(包括不分割)和预测模式(例如帧内或帧间预测模式)确定，生成对应的预测图像265，以对残差图像205进行计算和对重建图像215进行重建。

在一个实施例中，模式选择单元260可用于选择预测模式，该预测模式提供最佳匹配或者说最小残差(最小残差是指传输或存储中更好的压缩)，或者提供最小信令开销(最小信令开销是指传输或存储中更好的压缩)，或者同时考虑或平衡以上两者。模式选择单元260可用于根据码率失真优化(rate distortion Optimization，RDO)确定预测模式，即选择提供最小码率失真优化的预测模式。本文“最佳”、“最低”、“最优”等术语不一定指总体上“最佳”、“最低”、“最优”的，但也可以指满足终止或选择标准的情况，例如，超过或低于阈值的值或其他限制可能导致“次优选择”，但会降低复杂度和处理时间。

下文将详细地描述由视频编码器20执行的预测处理(例如，由帧间预测单元244和帧内预测单元254执行)。

如上所述，视频编码器20用于从(预定的)预测模式集合中确定或选择最好或最优的预测模式。预测模式集合可包括例如帧内预测模式和/或帧间预测模式。

帧内预测

帧内预测模式集合可包括35种不同的帧内预测模式，例如，像DC(或均值)模式和平面模式的非方向性模式，或如HEVC定义的方向性模式，或者可包括67种不同的帧内预测模式，例如，像DC(或均值)模式和平面模式的非方向性模式，或如VVC中定义的方向性模式。例如，若干传统角度帧内预测模式自适应地替换为VVC中定义的非正方形块的广角帧内预测模式。又例如，为了避免DC预测的除法运算，仅使用较长边来计算非正方形块的平均值。并且，平面模式的帧内预测结果还可以使用位置决定的帧内预测组合(positiondependent intra prediction combination，PDPC)方法修改。

帧内预测单元254用于根据帧内预测模式集合中的帧内预测模式使用当前图像的相邻块的重建像素点来生成帧内预测图像265。

帧内预测单元254(或通常为模式选择单元260)还用于输出帧内预测参数(或通常为指示块的选定帧内预测模式的信息)以语法元素266的形式发送到熵编码单元270，以包含到编码图像数据21中，从而视频解码器30可执行操作，例如接收并使用用于解码的预测参数。

帧间预测

在可能的实现中，帧间预测模式集合取决于可用参考图像(即，例如前述存储在DBP230中的至少部分之前解码的图像)和其它帧间预测参数，例如当前图像的区域附近的搜索窗口区域，来搜索最佳匹配参考图像，和/或例如取决于是否执行半像素、四分之一像素和/或16分之一内插的像素内插。

帧间预测单元244可包括运动估计(motion estimation，ME)单元和运动补偿(motion compensation，MC)单元(两者在图2中未示出)。运动估计单元可用于接收或获取图像17和解码图像231，或至少一个或多个之前重建图像，例如，一个或多个之前解码图像231的重建图像，来进行运动估计。例如，视频序列可包括当前图像和之前的解码图像231，或换句话说，当前图像和之前的解码图像231可以为形成视频序列的图像序列的一部分或形成该图像序列。

例如，编码器20可用于从多个其它图像中的同一或不同图像中选择参考图像，并将参考图像(或参考图像索引)的位置(x、y坐标)与当前图像的位置之间的偏移(空间偏移)作为帧间预测参数提供给运动估计单元。该偏移也称为运动矢量(motion vector，MV)。

运动补偿单元用于获取，例如接收，帧间预测参数，并根据或使用该帧间预测参数执行帧间预测，得到帧间预测图像。由运动补偿单元执行的运动补偿可能包含根据通过运动估计确定的运动/块矢量来提取或生成预测图像，还可能包括对子像素精度执行内插。内插滤波可从已知像素的像素点中产生其它像素的像素点，从而潜在地增加可用于对图像进行编码的候选预测图像的数量。一旦接收到当前图像对应的运动矢量时，运动补偿单元可在其中一个参考图像列表中定位运动矢量指向的预测图像。

运动补偿单元还可以生成与图像相关的语法元素，以供视频解码器30在解码视频片的图像时使用。

熵编码

熵编码单元270用于将熵编码算法或方案(例如，可变长度编码(variable lengthcoding，VLC)方案、上下文自适应VLC方案(context adaptive VLC，CALVC)、算术编码方案、二值化算法、上下文自适应二进制算术编码(context adaptive binary arithmeticcoding，CABAC)、基于语法的上下文自适应二进制算术编码(syntax-based context-adaptive binary arithmetic coding，SBAC)、概率区间分割熵(probability intervalpartitioning entropy，PIPE)编码或其它熵编码方法或技术)应用于量化残差系数209、帧间预测参数、帧内预测参数、环路滤波器参数和/或其它语法元素，得到可以通过输出端272以编码比特流21等形式输出的编码图像数据21，使得视频解码器30等可以接收并使用用于解码的参数。可将编码比特流21传输到视频解码器30，或将其保存在存储器中稍后由视频解码器30传输或检索。

视频编码器20的其它结构变体可用于对视频流进行编码。例如，基于非变换的编码器20可以在没有变换处理单元206的情况下直接量化残差信号。在另一种实现方式中，编码器20可以具有组合成单个单元的量化单元208和反量化单元210。

需要说明的是，上述视频编码器20中包含的功能模块，例如，模式选择单元260、帧内预测单元254、帧间预测单元244、熵编码单元270、环路滤波器220等，其中一个或多个模块可以分别采用经训练引擎25训练的神经网络实现功能，而且这些神经网络的处理对象均是帧级别的。

应理解，在编码器20和解码器30中，可以对当前步骤的处理结果进一步处理，然后输出到下一步骤。例如，在插值滤波、运动矢量推导或环路滤波之后，可以对插值滤波、运动矢量推导或环路滤波的处理结果进行进一步的运算，例如裁剪(clip)或移位(shift)运算。

尽管上述实施例主要描述了视频编解码，但应注意的是，译码系统10、编码器20和解码器30的实施例以及本文描述的其它实施例也可以用于静止图像处理或编解码，即视频编解码中独立于任何先前或连续图像的单个图像的处理或编解码。一般情况下，如果图像处理仅限于单个图像17，帧间预测单元244(编码器)可能不可用。视频编码器20和视频解码器30的所有其它功能(也称为工具或技术)同样可用于静态图像处理，例如残差计算204、变换206、量化208、反量化210、(逆)变换212、帧内预测254和/或环路滤波220、熵编码270。

图3为本申请实施例的装置300的示例性框图。装置300可用作图1中的源设备12和目的设备14中的任一个或两个。

装置300中的处理器302可以是中央处理器。或者，处理器302可以是现有的或今后将研发出的能够操控或处理信息的任何其它类型设备或多个设备。虽然可以使用如图所示的处理器302等单个处理器来实施已公开的实现方式，但使用一个以上的处理器速度更快和效率更高。

在一种实现方式中，装置300中的存储器304可以是只读存储器(ROM)设备或随机存取存储器(RAM)设备。任何其它合适类型的存储设备都可以用作存储器304。存储器304可以包括处理器302通过总线312访问的代码和数据306。存储器304还可包括操作系统308和应用程序310，应用程序310包括允许处理器302执行本文所述方法的至少一个程序。例如，应用程序310可以包括应用1至N，还包括执行本文所述方法的视频译码应用。

装置300还可以包括一个或多个输出设备，例如显示器318。在一个示例中，显示器318可以是将显示器与可用于感测触摸输入的触敏元件组合的触敏显示器。显示器318可以通过总线312耦合到处理器302。

虽然装置300中的总线312在本文中描述为单个总线，但是总线312可以包括多个总线。此外，辅助储存器可以直接耦合到装置300的其它组件或通过网络访问，并且可以包括存储卡等单个集成单元或多个存储卡等多个单元。因此，装置300可以具有各种各样的配置。

由于本申请实施例涉及神经网络的应用，为了便于理解，下面先对本申请实施例所使用到的一些名词或术语进行解释说明，该名词或术语也作为发明内容的一部分。

(1)神经网络

神经网络(Neural Network，NN)是机器学习模型，神经网络可以是由神经单元组成的，神经单元可以是指以xs和截距1为输入的运算单元，该运算单元的输出可以为：

其中，s＝1、2、……n，n为大于1的自然数，Ws为xs的权重，b为神经单元的偏置。f为神经单元的激活函数(activation functions)，用于将非线性特性引入神经网络中，来将神经单元中的输入信号转换为输出信号。该激活函数的输出信号可以作为下一层卷积层的输入。激活函数可以是sigmoid函数。神经网络是将许多个上述单一的神经单元联结在一起形成的网络，即一个神经单元的输出可以是另一个神经单元的输入。每个神经单元的输入可以与前一层的局部接受域相连，来提取局部接受域的特征，局部接受域可以是由若干个神经单元组成的区域。

(2)深度神经网络

深度神经网络(deep neural network，DNN)，也称多层神经网络，可以理解为具有很多层隐含层的神经网络，这里的“很多”并没有特别的度量标准。从DNN按不同层的位置划分，DNN内部的神经网络可以分为三类：输入层，隐含层，输出层。一般来说第一层是输入层，最后一层是输出层，中间的层数都是隐含层。层与层之间是全连接的，也就是说，第i层的任意一个神经元一定与第i+1层的任意一个神经元相连。虽然DNN看起来很复杂，但是就每一层的工作来说，其实并不复杂，简单来说就是如下线性关系表达式：

其中，

是输入向量，

是输出向量，

是偏移向量，W是权重矩阵(也称系数)，α()是激活函数。每一层仅仅是对输入向量

经过如此简单的操作得到输出向量

由于DNN层数多，则系数W和偏移向量

的数量也就很多了。这些参数在DNN中的定义如下所述：以系数W为例：假设在一个三层的DNN中，第二层的第4个神经元到第三层的第2个神经元的线性系数定义为

上标3代表系数W所在的层数，而下标对应的是输出的第三层索引2和输入的第二层索引4。总结就是：第L-1层的第k个神经元到第L层的第j个神经元的系数定义为

需要注意的是，输入层是没有W参数的。在深度神经网络中，更多的隐含层让网络更能够刻画现实世界中的复杂情形。理论上而言，参数越多的模型复杂度越高，“容量”也就越大，也就意味着它能完成更复杂的学习任务。训练深度神经网络的也就是学习权重矩阵的过程，其最终目的是得到训练好的深度神经网络的所有层的权重矩阵(由很多层的向量W形成的权重矩阵)。

(3)卷积神经网络

卷积神经网络(convolutional neuron network，CNN)是一种带有卷积结构的深度神经网络，是一种深度学习(deep learning)架构，深度学习架构是指通过机器学习的算法，在不同的抽象层级上进行多个层次的学习。作为一种深度学习架构，CNN是一种前馈(feed-forward)人工神经网络，该前馈人工神经网络中的各个神经元可以对输入其中的图像作出响应。卷积神经网络包含了一个由卷积层和池化层构成的特征抽取器。该特征抽取器可以看作是滤波器，卷积过程可以看作是使用一个可训练的滤波器与一个输入的图像或者卷积特征平面(feature map)做卷积。

卷积层是指卷积神经网络中对输入信号进行卷积处理的神经元层。卷积层可以包括很多个卷积算子，卷积算子也称为核，其在图像处理中的作用相当于一个从输入图像矩阵中提取特定信息的过滤器，卷积算子本质上可以是一个权重矩阵，这个权重矩阵通常被预先定义，在对图像进行卷积操作的过程中，权重矩阵通常在输入图像上沿着水平方向一个像素接着一个像素(或两个像素接着两个像素……这取决于步长stride的取值)的进行处理，从而完成从图像中提取特定特征的工作。该权重矩阵的大小应该与图像的大小相关，需要注意的是，权重矩阵的纵深维度(depth dimension)和输入图像的纵深维度是相同的，在进行卷积运算的过程中，权重矩阵会延伸到输入图像的整个深度。因此，和一个单一的权重矩阵进行卷积会产生一个单一纵深维度的卷积化输出，但是大多数情况下不使用单一权重矩阵，而是应用多个尺寸(行×列)相同的权重矩阵，即多个同型矩阵。每个权重矩阵的输出被堆叠起来形成卷积图像的纵深维度，这里的维度可以理解为由上面所述的“多个”来决定。不同的权重矩阵可以用来提取图像中不同的特征，例如一个权重矩阵用来提取图像边缘信息，另一个权重矩阵用来提取图像的特定颜色，又一个权重矩阵用来对图像中不需要的噪点进行模糊化等。该多个权重矩阵尺寸(行×列)相同，经过该多个尺寸相同的权重矩阵提取后的特征图的尺寸也相同，再将提取到的多个尺寸相同的特征图合并形成卷积运算的输出。这些权重矩阵中的权重值在实际应用中需要经过大量的训练得到，通过训练得到的权重值形成的各个权重矩阵可以用来从输入图像中提取信息，从而使得卷积神经网络进行正确的预测。当卷积神经网络有多个卷积层的时候，初始的卷积层往往提取较多的一般特征，该一般特征也可以称之为低级别的特征；随着卷积神经网络深度的加深，越往后的卷积层提取到的特征越来越复杂，比如高级别的语义之类的特征，语义越高的特征越适用于待解决的问题。

由于常常需要减少训练参数的数量，因此卷积层之后常常需要周期性的引入池化层，可以是一层卷积层后面跟一层池化层，也可以是多层卷积层后面接一层或多层池化层。在图像处理过程中，池化层的唯一目的就是减少图像的空间大小。池化层可以包括平均池化算子和/或最大池化算子，以用于对输入图像进行采样得到较小尺寸的图像。平均池化算子可以在特定范围内对图像中的像素值进行计算产生平均值作为平均池化的结果。最大池化算子可以在特定范围内取该范围内值最大的像素作为最大池化的结果。另外，就像卷积层中用权重矩阵的大小应该与图像尺寸相关一样，池化层中的运算符也应该与图像的大小相关。通过池化层处理后输出的图像尺寸可以小于输入池化层的图像的尺寸，池化层输出的图像中每个像素点表示输入池化层的图像的对应子区域的平均值或最大值。

在经过卷积层/池化层的处理后，卷积神经网络还不足以输出所需要的输出信息。因为如前所述，卷积层/池化层只会提取特征，并减少输入图像带来的参数。然而为了生成最终的输出信息(所需要的类信息或其他相关信息)，卷积神经网络需要利用神经网络层来生成一个或者一组所需要的类的数量的输出。因此，在神经网络层中可以包括多层隐含层，该多层隐含层中所包含的参数可以根据具体的任务类型的相关训练数据进行预先训练得到，例如该任务类型可以包括图像识别，图像分类，图像超分辨率重建等等。

可选的，在神经网络层中的多层隐含层之后，还包括整个卷积神经网络的输出层，该输出层具有类似分类交叉熵的损失函数，具体用于计算预测误差，一旦整个卷积神经网络的前向传播完成，反向传播就会开始更新前面提到的各层的权重值以及偏差，以减少卷积神经网络的损失，及卷积神经网络通过输出层输出的结果和理想结果之间的误差。

(4)循环神经网络

循环神经网络(recurrent neural networks，RNN)是用来处理序列数据的。在传统的神经网络模型中，是从输入层到隐含层再到输出层，层与层之间是全连接的，而对于每一层层内之间的各个节点是无连接的。这种普通的神经网络虽然解决了很多难题，但是却仍然对很多问题却无能无力。例如，你要预测句子的下一个单词是什么，一般需要用到前面的单词，因为一个句子中前后单词并不是独立的。RNN之所以称为循环神经网路，即一个序列当前的输出与前面的输出也有关。具体的表现形式为网络会对前面的信息进行记忆并应用于当前输出的计算中，即隐含层本层之间的节点不再无连接而是有连接的，并且隐含层的输入不仅包括输入层的输出还包括上一时刻隐含层的输出。理论上，RNN能够对任何长度的序列数据进行处理。对于RNN的训练和对传统的CNN或DNN的训练一样。同样使用误差反向传播算法，不过有一点区别：即，如果将RNN进行网络展开，那么其中的参数，如W，是共享的；而如上举例上述的传统神经网络却不是这样。并且在使用梯度下降算法中，每一步的输出不仅依赖当前步的网络，还依赖前面若干步网络的状态。该学习算法称为基于时间的反向传播算法(Back propagation Through Time，BPTT)。

既然已经有了卷积神经网络，为什么还要循环神经网络？原因很简单，在卷积神经网络中，有一个前提假设是：元素之间是相互独立的，输入与输出也是独立的，比如猫和狗。但现实世界中，很多元素都是相互连接的，比如股票随时间的变化，再比如一个人说了：我喜欢旅游，其中最喜欢的地方是云南，以后有机会一定要去。这里填空，人类应该都知道是填“云南”。因为人类会根据上下文的内容进行推断，但如何让机器做到这一步？RNN就应运而生了。RNN旨在让机器像人一样拥有记忆的能力。因此，RNN的输出就需要依赖当前的输入信息和历史的记忆信息。

(5)损失函数

在训练深度神经网络的过程中，因为希望深度神经网络的输出尽可能的接近真正想要预测的值，所以可以通过比较当前网络的预测值和真正想要的目标值，再根据两者之间的差异情况来更新每一层神经网络的权重向量(当然，在第一次更新之前通常会有初始化的过程，即为深度神经网络中的各层预先配置参数)，比如，如果网络的预测值高了，就调整权重向量让它预测低一些，不断的调整，直到深度神经网络能够预测出真正想要的目标值或与真正想要的目标值非常接近的值。因此，就需要预先定义“如何比较预测值和目标值之间的差异”，这便是损失函数(loss function)或目标函数(objective function)，它们是用于衡量预测值和目标值的差异的重要方程。其中，以损失函数举例，损失函数的输出值(loss)越高表示差异越大，那么深度神经网络的训练就变成了尽可能缩小这个loss的过程。

(6)反向传播算法

卷积神经网络可以采用误差反向传播(back propagation，BP)算法在训练过程中修正初始的超分辨率模型中参数的大小，使得超分辨率模型的重建误差损失越来越小。具体地，前向传递输入信号直至输出会产生误差损失，通过反向传播误差损失信息来更新初始的超分辨率模型中参数，从而使误差损失收敛。反向传播算法是以误差损失为主导的反向传播运动，旨在得到最优的超分辨率模型的参数，例如权重矩阵。

(7)生成式对抗网络

生成式对抗网络(generative adversarial networks，GAN)是一种深度学习模型。该模型中至少包括两个模块：一个模块是生成模型(Generative Model)，另一个模块是判别模型(Discriminative Model)，通过这两个模块互相博弈学习，从而产生更好的输出。生成模型和判别模型都可以是神经网络，具体可以是深度神经网络，或者卷积神经网络。GAN的基本原理如下：以生成图片的GAN为例，假设有两个网络，G(Generator)和D(Discriminator)，其中G是一个生成图片的网络，它接收一个随机的噪声z，通过这个噪声生成图片，记做G(z)；D是一个判别网络，用于判别一张图片是不是“真实的”。它的输入参数是x，x代表一张图片，输出D(x)代表x为真实图片的概率，如果为1，就代表100％是真实的图片，如果为0，就代表不可能是真实的图片。在对该生成式对抗网络进行训练的过程中，生成网络G的目标就是尽可能生成真实的图片去欺骗判别网络D，而判别网络D的目标就是尽量把G生成的图片和真实的图片区分开来。这样，G和D就构成了一个动态的“博弈”过程，也即“生成式对抗网络”中的“对抗”。最后博弈的结果，在理想的状态下，G可以生成足以“以假乱真”的图片G(z)，而D难以判定G生成的图片究竟是不是真实的，即D(G(z))＝0.5。这样就得到了一个优异的生成模型G，它可以用来生成图片。

下面将结合图4a-图4e描述目标模型(亦称为神经网络)的结构。图4a-图4e为本申请实施例的神经网络的示例性架构。

如图4a所示，该神经网络按照处理的先后顺序，依次包括：3×3卷积层(3×3Conv)、激活层(Relu)、块处理层(Res-Block)、…、块处理层、3×3卷积层、激活层和3×3卷积层。输入神经网络的原始矩阵经过上述层处理后得到的矩阵，再与原始矩阵相加得到最终的输出矩阵。

如图4b所示，该神经网络按照处理的先后顺序，依次包括：两路3×3卷积层和激活层，一路块处理层、…、块处理层、3×3卷积层、激活层和3×3卷积层。第一矩阵经过一路3×3卷积层和激活层，第二矩阵经过另一路3×3卷积层和激活层，处理后的两个矩阵合并(contact)后再经过块处理层、…、块处理层、3×3卷积层、激活层和3×3卷积层处理后得到的矩阵，再与第一矩阵相加得到最终的输出矩阵。

如图4c所示，该神经网络按照处理的先后顺序，依次包括：两路3×3卷积层和激活层，一路块处理层、…、块处理层、3×3卷积层、激活层和3×3卷积层。第一矩阵和第二矩阵在输入神经网络之前，先做相乘，然后将第一矩阵经过一路3×3卷积层和激活层，将相乘后的矩阵经过另一路3×3卷积层和激活层，处理后的两个矩阵相加后再经过块处理层、…、块处理层、3×3卷积层、激活层和3×3卷积层处理后得到的矩阵，再与第一矩阵相加得到最终的输出矩阵。

如图4d所示，上述块处理层按照处理的先后顺序，依次包括：3×3卷积层、激活层和3×3卷积层，将输入矩阵经这三层处理后，再将处理后得到的矩阵和初始输入矩阵相加得到输出矩阵。如图4c所示，上述块处理层按照处理的先后顺序，依次包括：3×3卷积层、激活层、3×3卷积层和激活层，将输入矩阵经3×3卷积层、激活层和3×3卷积层处理后，再将处理后得到的矩阵和初始输入矩阵相加后再经过一个激活层得到输出矩阵。

需要说明的是，如图4a-图4e仅示出了神经网络的几种示例性的架构，其并不构成对神经网络架构的限定，该神经网络中包括的层数、层结构、相加、相乘或合并等处理，以及输入和/或输出的矩阵的数量、尺寸等均可以根据实际情况而定，本申请对此不做具体限定。另外，图像可以用矩阵的方式表示，矩阵中的元素(i,j)和图像中第i行第j列的像素点对应，元素(i,j)的值即为对应像素点的像素值，例如对应像素点的色度值、亮度值等。

图5为本申请实施例的端对端视频编码架构的示例性的结构图，如图5所示，

A、当前图像x_t为首帧图像时，输入至帧内编码(Intranet coding)模块，经帧内编码模块处理得到该图像的重建图像，并存入解码图像缓冲器(decoded picture buffer，DPB)。运动估计网络(motion estimation network，ME-Net)可以从DPB获取当前图像的重建图像以供后续图像编码使用。

B、当前图像x_t非首帧图像时，输入至ME-Net，另外上一帧图像的重建图像从DPB中提取也输入至ME-Net，ME-Net输出当前图像的运动矢量(motion vector，MV)v_t。当前图像的MVv_t依次经过MV编码网络(MV Encoder)(实现MV的维度变换，从一维向量转换为立体空间内的多维向量)(得到m_t)、熵编码模块(实现量化、变换和熵编码)(得到

)和MV解码网络(MV Decoder)(实现MV的维度变换，从立体空间内的多维向量转换为一维向量)，得到当前图像的量化压缩的MV

可选的，当前图像的量化压缩的MV

可以存入解码MV缓冲器(Decoded MV Buffer)，以供后续处理使用。

上一帧图像的重建图像

和当前图像的量化压缩的MV

输入至运动补偿网络(motion compensation network，MC-Net)，MC-Net输出当前图像的帧间预测图像

。当前图像的帧间预测图像

输入至预测细化网络(prediction refinement network，PR-Net)，PR-Net输出当前图像的增强的帧间预测图像

当前图像x_t输入至残差器1，另外，当前图像的增强的帧间预测图像

也输入至残差器1，残差器1输出残差图像r_t。残差图像r_t依次经过残差编码网络(Residual Encoder)(实现残差图像的维度变换)(得到y_t)、熵编码模块(实现量化、变换和熵编码)(得到

)和残差解码网络(Residual Decoder)(实现残差图像的维度变换)，得到当前图像的量化压缩的残差图像

当前图像的量化压缩的残差图像

输入至叠加器1，另外，当前图像的增强的帧间预测图像

也输入至叠加器1，叠加器1输出中间重建图像。

当前图像x_t输入至残差器2，另外，中间重建图像也输入至残差器2，残差器2输出重建残差图像r_t′。重建残差图像r_t′依次经过精细化残差编码网络(C2F ResidualEncoder)(实现重建残差图像的维度变换)(得到y_t′)、熵编码模块(实现量化、变换和熵编码)(得到

)和精细化残差解码网络(C2F Residual Decoder)(实现残差图像的维度变换)，得到当前图像的量化压缩的残差图像

当前图像的量化压缩的残差图像

输入至叠加器2，另外，中间重建图像也输入至叠加器2，叠加器2输出滤波前重建图像。

滤波前重建图像输入至环路滤波网络(Loop Filter)，环路滤波网络输出当前图像的重建图像。可选的，当前图像的重建图像可以存入DPB，以供后续图像编码使用。

上述架构中，预测细化网络(PR-Net)、精细化残差编码网络(C2F ResidualEncoder)、精细化残差解码网络(C2F Residual Decoder)和环路滤波网络(Loop Filter)是本申请在原有的端到端编码技术中增加的处理模块，在下文实施例中进行说明。

基于图5所示的架构，本申请提供了一种编码方法。

图6为本申请实施例的编码方法的过程600的流程图。过程600可由视频编码器20执行。过程600描述为一系列的步骤或操作，应当理解的是，过程600可以以各种顺序执行和/或同时发生，不限于图6所示的执行顺序。过程600可以包括：

步骤601、获取当前图像的帧间预测图像。

本申请的当前图像不是视频序列的首帧图像，即在编码当前图像之前，已经有至少一帧图像经过了图像编码，并且获得了该图像的重建图像。而针对视频序列的首帧图像可以采用帧内预测和编码的方式进行编码和重建，该过程可以参照相关技术，此处不再赘述。

在一种可能的实现方式中，编码器获取当前图像的帧间预测图像可以包括以下步骤：

(1)编码器从解码图像缓冲器(decoded picture buffer，DPB)获取上一帧图像的重建图像，该上一帧图像的编码顺序仅早于当前图像，即在视频序列中，按照编码的先后顺序，上一帧图像是早于当前图像编码的，且在上一帧图像和当前图像之间没有其他的图像。

(2)编码器将上一帧图像的重建图像和当前图像输入运动估计网络得到当前图像的运动矢量(motion vector，MV)，再将当前图像的MV输入MV编码网络和MV解码网络得到当前图像的量化压缩的MV。

运动估计网络(motion estimation network，ME-Net)可以是预先训练得到的。例如，ME-Net是一个多尺度的卷积神经网络，该多尺度包括五个空间分辨率尺度，例如，H×W，H/2×W/2，H/4×W/4，H/8×W/8，H/16×W/16，H表示图像的高度，W表示图像的宽度，每个尺度由五层卷积层构成，小尺度卷积层的输出为大尺度卷积层的输入。应当理解的，该ME-Net还可以采用其他架构，本申请对此不做具体限定。

ME-Net的输入为上一帧图像的重建图像和当前图像，ME-Net的输出为当前图像的MV，该MV可以是指上一帧图像的重建图像到当前图像的运动矢量。

MV编码网络和MV解码网络是成对的，在MV编码网络和MV解码网络之间包含熵编码处理。MV编码网络用于对输入的MV进行维度转换，以得到对应于该MV的立体空间内的MV，此时MV编码网络的输入为当前图像的MV，MV编码网络的输出为当前图像的MV的立体空间内的MV。编码器对立体空间内的MV进行熵编码得到经量化压缩的立体空间内的MV。MV解码网络用于对输入的立体空间内的MV进行维度转换，以得到对应于该立体空间内的MV的MV，此时MV解码网络的输入为经量化压缩的立体空间内的MV，MV解码网络的输出为当前图像的量化压缩的MV。

(3)将上一帧图像的重建图像和当前图像的量化压缩的MV输入运动补偿网络得到当前图像的帧间预测图像。

运动补偿网络(motion compensation network，MC-Net)可以是预先训练得到的。例如，基于双线性插值的原理，MC-Net可以使用双线性差值得到参考图像的不同像素精度的分像素(例如，1/2像素，1/4像素等)，然后根据MV的分像素精度获取插值后对应精度位置的像素值，此过程可以称作扭曲(wapring)。应当理解的，该MC-Net还可以基于其他技术实现，本申请对此不做具体限定。

步骤602、将帧间预测图像输入预测细化网络得到增强的帧间预测图像。

预测细化网络(prediction refinement network，PR-Net)可以是预先训练得到的。例如，PR-Net可以是一种基于注意力残差网络(residual attention network，RA-Net)的神经网络，PR-Net可以由N个(N的值可以自定义，例如N＝5)注意力残差模块(residualattention block，RAB)串联而成，在计算机视觉研究中，注意残差模块能够对输入图像的每一个像素生成二值化的注意力通道，并使用注意力通道在深度网络学习过程中动态调整预测图像的质量。图7为本申请实施例的PR-Net的示例性架构，如图7所示，PR-Net包括5个RAB，每个RAB可以由两个卷积层(k3c64s1)、一个注意力单元(Channel Attention)和一个卷积层(k3c64s1)顺序执行组成，RAB同时也包含了一个由输入到输出的残差连接。注意力单元(Channel Attention)可以包括一个池化层(Ave Pool)、一个卷积层(k1c4s1)、一个卷积层(k1c64s1)、神经元(Sigmoid)和一个卷积层(k3c64s1)。网络中的通道数例如为64。这种方法对于图像中的边缘部分、纹理细节多的部分可以实现较好性能的预测。应当理解的，该PRN还可以采用其他架构，本申请对此不做具体限定。

PR-Net的输入为当前图像的帧间预测图像，PR-Net的输出为当前图像的增强的帧间预测图像。正是由于PR-Net可以实现更好性能的预测，因此当前图像的帧间预测图像经过PR-Net后得到的增强的帧间预测图像相较于原来的帧间预测图像，具备更好的性能，例如体现在图像中的边缘部分、纹理细节多的部分等。

步骤603、根据增强的帧间预测图像获取当前图像的重建图像。

基于上述图4所示实施例的视频编码器的结构，编码器要获得当前图像的重建图像可以包括如下步骤：

(1)编码器根据当前图像和增强的帧间预测图像获取中间重建图像。

编码器可以对当前图像和增强的帧间预测图像中的对应位置的像素值求差得到残差图像。然后将残差图像输入残差编码网络和残差解码网络得到量化压缩的残差图像。与上述MV编码网络和MV解码网络的原理类似，残差编码网络和残差解码网络也是成对的，在残差编码网络和残差解码网络之间包含熵编码处理。此处不再赘述。编码器对量化压缩的残差图像和增强的帧间预测图像中的对应位置的像素值求和得到中间重建图像。

(2)根据当前图像和中间重建图像获取重建残差图像。

编码器可以对当前图像和中间重建图像中的对应位置的像素值求差得到重建残差图像。

(3)将重建残差图像输入精细化残差编码网络和精细化残差解码网络得到量化压缩的重建残差图像。

与上述MV编码网络和MV解码网络的原理类似，精细化残差编码网络和精细化残差解码网络也是成对的，在精细化残差编码网络和精细化残差解码网络之间包含熵编码处理。本申请通过步骤(3)和步骤(1)形成了两级残差处理，一方面，在训练中对该两级残差网络不实施参数共享，以保证学习到的两个残差网络具有差异性，另一方面，两级残差处理构成了可伸缩残差，可以对重建图像进行精细化建模，使用全新的残差编码模块对重建图像的残差进行编码，进一步提升性能。

(4)根据量化压缩的重建残差图像和中间重建图像获取重建图像。

编码器可以对量化压缩的重建残差图像和中间重建图像中的对应位置的像素值求和得到滤波前重建图像，再将滤波前重建图像输入环路滤波网络得到重建图像。

环路滤波网络(Loop Filter)可以是预先训练得到的。例如，图8为本申请实施例的环路滤波网络的示例性架构，如图8所示，环路滤波网络是一个具有9层卷积的全卷积网络，每三层卷积层为一组，每组中包括一个卷积层(k3c64s1)、一个卷积层(k3c64s1和k5c64s1)、一个合并层(Concat)。每一层的卷积核大小为3×3，通道数为64，同时还有一个从输入到输出直接相连的残差连接，输入层和输出层的通道数均为3。本申请中环路滤波网络可以直接对图像质量进行提升。

可选的，编码器也可以对量化压缩的重建残差图像和中间重建图像中的对应位置的像素值求和得到滤波前重建图像，该滤波前重建图像即为重建图像。

本申请将当前图像的预测图像输入预测细化网络，得到增强的帧间预测图像，相较于原来的帧间预测图像，可以具备更好的预测性能。另外，通过两级残差处理，一方面，在训练中对该两级残差网络不实施参数共享，以保证学习到的两个残差网络具有差异性，另一方面，两级残差处理构成了可伸缩残差，可以对重建图像进行精细化建模，使用全新的残差编码模块对重建图像的残差进行编码，进一步提升性能。再加上环路滤波网络可以进一步提升重建图像的质量。

图9为本申请实施例的编码装置900的示例性的结构图。该编码装置900包括：获取模块901、预测模块902和重建模块903，其中，

获取模块901，用于获取当前图像的帧间预测图像，所述当前图像不是视频序列的首帧图像；预测模块902，用于将所述帧间预测图像输入预测细化网络得到增强的帧间预测图像；重建模块903，用于根据所述增强的帧间预测图像获取所述当前图像的重建图像。

在一种可能的实现方式中，所述获取模块901，具体用于获取上一帧图像的重建图像，所述上一帧图像的编码顺序仅早于所述当前图像；获取所述当前图像的量化压缩的运动矢量MV；将所述上一帧图像的重建图像和所述当前图像的量化压缩的MV输入运动补偿网络得到所述帧间预测图像。

在一种可能的实现方式中，所述重建模块903，具体用于根据所述当前图像和所述增强的帧间预测图像获取中间重建图像；根据所述当前图像和所述中间重建图像获取重建残差图像；将所述重建残差图像输入精细化残差编码网络和精细化残差解码网络得到量化压缩的重建残差图像；根据所述量化压缩的重建残差图像和所述中间重建图像获取所述重建图像。

在一种可能的实现方式中，所述重建模块903，具体用于根据所述量化压缩的重建残差图像和所述中间重建图像获取滤波前重建图像；将所述滤波前重建图像输入环路滤波网络得到所述重建图像。

在一种可能的实现方式中，所述重建模块903，具体用于根据所述量化压缩的重建残差图像和所述中间重建图像获取所述重建图像。

在一种可能的实现方式中，所述重建模块903，具体用于对所述当前图像和所述增强的帧间预测图像中的对应位置的像素值求差得到残差图像；将所述残差图像输入残差编码网络和残差解码网络得到量化压缩的残差图像；对所述量化压缩的残差图像和所述增强的帧间预测图像中的对应位置的像素值求和得到所述中间重建图像。

在一种可能的实现方式中，所述重建模块903，具体用于对所述当前图像和所述中间重建图像中的对应位置的像素值求差得到所述重建残差图像。

在一种可能的实现方式中，所述重建模块903，具体用于对所述量化压缩的重建残差图像和所述中间重建图像中的对应位置的像素值求和得到所述滤波前重建图像。

在一种可能的实现方式中，所述重建模块903，具体用于对所述量化压缩的重建残差图像和所述中间重建图像中的对应位置的像素值求和得到所述重建图像。

在一种可能的实现方式中，所述获取模块901，具体用于将所述上一帧图像的重建图像和所述当前图像输入运动估计网络得到所述当前图像的MV；将所述当前图像的MV输入MV编码网络和MV解码网络得到所述当前图像的量化压缩的MV。

本实施例的装置，可以用于执行图6所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

在实现过程中，上述方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。处理器可以是通用处理器、数字信号处理器(digital signalprocessor,DSP)、特定应用集成电路(application-specific integrated circuit，ASIC)、现场可编程门阵列(field programmable gate array,FPGA)或其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。本申请实施例公开的方法的步骤可以直接体现为硬件编码处理器执行完成，或者用编码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

上述各实施例中提及的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-onlymemory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(dynamic RAM，DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double data rateSDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(directrambus RAM，DR RAM)。应注意，本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (24)

1.一种编码方法，其特征在于，包括：

获取当前图像的帧间预测图像，所述当前图像不是视频序列的首帧图像；

将所述帧间预测图像输入预测细化网络得到增强的帧间预测图像；

根据所述增强的帧间预测图像获取所述当前图像的重建图像。

2.根据权利要求1所述的方法，其特征在于，所述获取当前图像的帧间预测图像，包括：

获取上一帧图像的重建图像，所述上一帧图像的编码顺序仅早于所述当前图像；

获取所述当前图像的量化压缩的运动矢量MV；

将所述上一帧图像的重建图像和所述当前图像的量化压缩的MV输入运动补偿网络得到所述帧间预测图像。

3.根据权利要求1或2所述的方法，其特征在于，所述根据所述增强的帧间预测图像获取所述当前图像的重建图像，包括：

根据所述当前图像和所述增强的帧间预测图像获取中间重建图像；

根据所述当前图像和所述中间重建图像获取重建残差图像；

将所述重建残差图像输入精细化残差编码网络和精细化残差解码网络得到量化压缩的重建残差图像；

根据所述量化压缩的重建残差图像和所述中间重建图像获取所述重建图像。

4.根据权利要求3所述的方法，其特征在于，所述根据所述量化压缩的重建残差图像和所述中间重建图像获取所述重建图像，包括：

根据所述量化压缩的重建残差图像和所述中间重建图像获取滤波前重建图像；

将所述滤波前重建图像输入环路滤波网络得到所述重建图像。

5.根据权利要求3所述的方法，其特征在于，所述根据所述量化压缩的重建残差图像和所述中间重建图像获取所述重建图像，包括：

根据所述量化压缩的重建残差图像和所述中间重建图像获取所述重建图像。

6.根据权利要求3-5中任一项所述的方法，其特征在于，所述根据所述当前图像和所述增强的帧间预测图像获取中间重建图像，包括：

对所述当前图像和所述增强的帧间预测图像中的对应位置的像素值求差得到残差图像；

将所述残差图像输入残差编码网络和残差解码网络得到量化压缩的残差图像；

对所述量化压缩的残差图像和所述增强的帧间预测图像中的对应位置的像素值求和得到所述中间重建图像。

7.根据权利要求3-6中任一项所述的方法，其特征在于，所述根据所述当前图像和所述中间重建图像获取重建残差图像，包括：

对所述当前图像和所述中间重建图像中的对应位置的像素值求差得到所述重建残差图像。

8.根据权利要求4所述的方法，其特征在于，所述根据所述量化压缩的重建残差图像和所述中间重建图像获取滤波前重建图像，包括：

对所述量化压缩的重建残差图像和所述中间重建图像中的对应位置的像素值求和得到所述滤波前重建图像。

9.根据权利要求4所述的方法，其特征在于，所述根据所述量化压缩的重建残差图像和所述中间重建图像获取所述重建图像，包括：

对所述量化压缩的重建残差图像和所述中间重建图像中的对应位置的像素值求和得到所述重建图像。

10.根据权利要求2所述的方法，其特征在于，所述获取所述当前图像的量化压缩的运动矢量MV，包括：

将所述上一帧图像的重建图像和所述当前图像输入运动估计网络得到所述当前图像的MV；

将所述当前图像的MV输入MV编码网络和MV解码网络得到所述当前图像的量化压缩的MV。

11.一种编码装置，其特征在于，包括：

获取模块，用于获取当前图像的帧间预测图像，所述当前图像不是视频序列的首帧图像；

预测模块，用于将所述帧间预测图像输入预测细化网络得到增强的帧间预测图像；

重建模块，用于根据所述增强的帧间预测图像获取所述当前图像的重建图像。

12.根据权利要求11所述的装置，其特征在于，所述获取模块，具体用于获取上一帧图像的重建图像，所述上一帧图像的编码顺序仅早于所述当前图像；获取所述当前图像的量化压缩的运动矢量MV；将所述上一帧图像的重建图像和所述当前图像的量化压缩的MV输入运动补偿网络得到所述帧间预测图像。

13.根据权利要求11或12所述的装置，其特征在于，所述重建模块，具体用于根据所述当前图像和所述增强的帧间预测图像获取中间重建图像；根据所述当前图像和所述中间重建图像获取重建残差图像；将所述重建残差图像输入精细化残差编码网络和精细化残差解码网络得到量化压缩的重建残差图像；根据所述量化压缩的重建残差图像和所述中间重建图像获取所述重建图像。

14.根据权利要求13所述的装置，其特征在于，所述重建模块，具体用于根据所述量化压缩的重建残差图像和所述中间重建图像获取滤波前重建图像；将所述滤波前重建图像输入环路滤波网络得到所述重建图像。

15.根据权利要求13所述的装置，其特征在于，所述重建模块，具体用于根据所述量化压缩的重建残差图像和所述中间重建图像获取所述重建图像。

16.根据权利要求13-15中任一项所述的装置，其特征在于，所述重建模块，具体用于对所述当前图像和所述增强的帧间预测图像中的对应位置的像素值求差得到残差图像；将所述残差图像输入残差编码网络和残差解码网络得到量化压缩的残差图像；对所述量化压缩的残差图像和所述增强的帧间预测图像中的对应位置的像素值求和得到所述中间重建图像。

17.根据权利要求13-16中任一项所述的装置，其特征在于，所述重建模块，具体用于对所述当前图像和所述中间重建图像中的对应位置的像素值求差得到所述重建残差图像。

18.根据权利要求14所述的装置，其特征在于，所述重建模块，具体用于对所述量化压缩的重建残差图像和所述中间重建图像中的对应位置的像素值求和得到所述滤波前重建图像。

19.根据权利要求14所述的装置，其特征在于，所述重建模块，具体用于对所述量化压缩的重建残差图像和所述中间重建图像中的对应位置的像素值求和得到所述重建图像。

20.根据权利要求12所述的装置，其特征在于，所述获取模块，具体用于将所述上一帧图像的重建图像和所述当前图像输入运动估计网络得到所述当前图像的MV；将所述当前图像的MV输入MV编码网络和MV解码网络得到所述当前图像的量化压缩的MV。

21.一种编码器，其特征在于，包括：

一个或多个处理器；

非瞬时性计算机可读存储介质，耦合到所述处理器并存储由所述处理器执行的程序，其中所述程序在由所述处理器执行时，使得所述编码器执行根据权利要求1-10中任一项所述的方法。

22.一种计算机程序产品，其特征在于，包括程序代码，当其在计算机或处理器上执行时，用于执行根据权利要求1-10中任一项所述的方法。

23.一种非瞬时性计算机可读存储介质，其特征在于，包括程序代码，当其由计算机设备执行时，用于执行根据权利要求1-10中任一项所述的方法。

24.一种非瞬时性存储介质，其特征在于，包括根据权利要求1-10中任一项所述的方法编码的比特流。

Images