CN115776570A - 视频流编解码方法、装置、处理系统及电子设备 - Google Patents

Abstract

本申请提供一种视频流编码方法和装置、解码方法和装置、视频流处理系统、电子设备及计算可读存储介质；该方法将待压缩视频帧和至少一个第二视频帧输入至已训练的残差预测模型进行处理，预测得到待压缩视频帧的第一残差图像，并对第一残差图像进行编码处理，得到第一前景码流，最后根据第一前景码流和获取的待压缩视频帧的第一背景码流确定待压缩视频帧的压缩数据。该方法通过残差预测模型充分利用视频以前帧的信息预测待压缩数据的第一残差图像，从而可以降低压缩率，提高压缩质量。

Description

视频流编解码方法、装置、处理系统及电子设备

技术领域

本申请涉及视频图像处理领域，尤其涉及一种视频流编码方法和装置、解码方法和装置、视频流处理系统、电子设备及计算可读存储介质。

背景技术

视频图像传输过程中，对传输的实时性和可靠性的要求越来越高。而当前视频流处理方法中，一般传输的是光流编码和图像残差编码，由于光流的数据量较大，导致其传输的光流编码的数据量也较大，因此在实际使用时，视频传输无法达到理想的实时性和可靠性，经常出现延时过大、甚至网络拥塞的情况。

因此，当前视频编解码方法存在传输的数据量较大的技术问题，需要改进。

发明内容

本申请提供一种视频流编码方法和装置、解码方法和装置、视频流处理系统、电子设备及计算机可读存储介质，用于缓解当前视频流编解码方法存在传输的数据量较大的技术问题。

为了解决上述技术问题，本申请提供以下技术方案：

本申请提供一种视频流编码方法，包括：

获取待压缩视频帧和所述待压缩视频帧的第一背景码流；

将所述待压缩视频帧以及至少一个第二视频帧输入至已训练的残差预测模型进行处理，得到所述待压缩视频帧的第一残差图像，所述第二视频帧的播放时间早于所述待压缩视频帧；

对所述第一残差图像进行编码处理，得到所述待压缩视频的第一前景码流；

根据所述第一背景码流和所述第一前景码流，确定所述待压缩视频帧的压缩数据。

同时，本申请还提供一种视频流解码方法，包括：

获取第三视频帧的第三恢复图像和待解码视频帧的压缩数据，其中，所述待解码视频帧的压缩数据包括第二背景码流、第二前景码流以及第二残差码流，所述第三视频帧和所述待解码视频帧为时间上连续的视频帧，且所述第三视频帧的播放时间早于所述待解码视频帧；

解码所述第二背景码流，得到所述第三视频帧的第四姿态参数和待解码视频帧的第五姿态参数；

根据所述第三恢复图像的第二深度信息、所述第四姿态参数、所述第五姿态参数以及所述第三恢复图像，确定所述待解码视频帧的第二运动补偿图像；

解码所述第二前景码流，得到所述的待解码视频帧的第二残差图像；

根据所述第二运动补偿图像和所述第二残差图像，得到所述待解码视频帧。

相应的，本申请还提供一种视频流编码装置，包括：

第一获取模块，用于获取待压缩视频帧和所述待压缩视频帧的第一背景码流；

第一处理模块，用于将所述待压缩视频帧以及至少一个第二视频帧输入至已训练的残差预测模型进行处理，得到所述待压缩视频帧的第一残差图像，所述第二视频帧的播放时间早于所述待压缩视频帧；

第一编码模块，用于对所述第一残差图像进行编码处理，得到所述待压缩视频的第一前景码流；

第一确定模块，用于根据所述第一背景码流和所述第一前景码流，确定所述待压缩视频帧的压缩数据。

相应的，本申请还提供一种视频流解码装置，包括：

第二获取模块，用于获取第三视频帧的第三恢复图像和待解码视频帧的压缩数据，其中，所述待解码视频帧的压缩数据包括第二背景码流、第二前景码流以及第二残差码流，所述第三视频帧和所述待解码视频帧为时间上连续的视频帧，且所述第三视频帧的播放时间早于所述待解码视频帧；

第一解码模块，用于解码所述第二背景码流，得到所述第三视频帧的第四姿态参数和待解码视频帧的第五姿态参数；

第二确定模块，用于根据所述第三恢复图像的第二深度信息、所述第四姿态参数、所述第五姿态参数以及所述第三恢复图像，确定所述待解码视频帧的第二运动补偿图像；

第二解码模块，用于解码所述第二前景码流，得到所述的待解码视频帧的第二残差图像；

第一合并模块，用于根据所述第二运动补偿图像和所述第二残差图像，得到所述待解码视频帧。

此外，本申请还提供一种视频流处理系统，该视频流处理系统包括视频流编码端和视频流解码段，该系统包括：

所述视频流编码端用于获取待压缩视频帧和所述待压缩视频帧的第一背景码流；

所述视频流编码端用于将所述待压缩视频帧以及至少一个第二视频帧输入至已训练的残差预测模型进行处理，得到所述待压缩视频帧的第一残差图像，所述第二视频帧的播放时间早于所述待压缩视频帧；

所述视频流编码端用于对所述第一残差图像进行编码处理，得到所述待压缩视频的第一前景码流；

所述视频流编码端用于根据所述第一背景码流和所述第一前景码流，确定所述待压缩视频帧的压缩数据，然后将所述待压缩视频帧的压缩数据发送至所述视频流解码端；

所述视频流解码端接收所述待压缩视频帧的压缩数据，并将所述待压缩视频帧的压缩数据作为待解码视频帧的压缩数据；

所述视频流解码端用于获取第三视频帧的第三恢复图像和待解码视频帧的压缩数据，其中，所述待解码视频帧的压缩数据包括第二背景码流、第二前景码流以及第二残差码流，所述第三视频帧和所述待解码视频帧为时间上连续的视频帧，且所述第三视频帧的播放时间早于所述待解码视频帧；

所述视频流解码端用于解码所述第二背景码流，得到所述第三视频帧的第四姿态参数和待解码视频帧的第五姿态参数；

所述视频流解码端用于根据所述第三恢复图像的第二深度信息、所述第四姿态参数、所述第五姿态参数以及所述第三恢复图像，确定所述待解码视频帧的第二运动补偿图像；

所述视频流解码端用于解码所述第二前景码流，得到所述的待解码视频帧的第二残差图像；

所述视频流解码端用于根据所述第二运动补偿图像和所述第二残差图像，得到所述待解码视频帧。

此外，本申请提供一种电子设备，其包括处理器和存储器，存储器用于存储计算机程序，处理器用于运行所述存储器里的计算机程序，以执行上述方法中的步骤。

此外，本申请提供一种计算机可读存储介质，计算机可读存储介质存储有多条指令，指令适于处理器进行加载，以执行上述方法中的步骤。

有益效果：本申请提供了一种视频流编码和装置、解码方法和装置、视频流处理系统、电子设备及计算可读存储介质；该方法先获取待压缩视频帧和待压缩视频帧的第一背景码流，然后将待压缩视频帧以及至少一个第二视频帧输入至已训练的残差预测模型进行处理，得到待压缩视频帧的第一残差图像，其中，第二视频帧的播放时间早于待压缩视频帧，接着对第一残差图像进行编码处理，得到待压缩视频帧的第一前景码流，最后根据第一背景码流和第一前景码流确定待压缩视频帧的压缩数据。本申请提供的方法通过残差预测模型充分利用视频以前帧的信息预测待压缩数据的第一残差图像，从而可以降低压缩率，提高压缩质量；此外，第一背景码流由姿态参数确定，由于姿态参数的数据量相较于光流的数据量要小，因此通过姿态参数对视频图像进行编码，降低了数据的压缩率，减小了传输的数据量。

附图说明

下面结合附图，通过对本申请的具体实施方式详细描述，将使本申请的技术方案及其它有益效果显而易见。

图1是本申请实施例提供的视频流处理系统的场景示意图。

图2是本申请实施例提供的一种视频流编码方法的流程示意图。

图3是本申请实施例提供的另一种视频流解码方法的流程示意图。

图4是本申请实施例提供的一种视频流处理方法的框架图。

图5是本申请实施例提供的另一种视频流处理方法的框架图。

图6是本申请实施例提供的相机成像示意图。

图7是本申请实施例提供的一种视频流编码装置的结构示意图。

图8是本申请实施例提供的另一种视频流解码装置的结构示意图。

图9是本申请实施例提供的电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本申请中，待压缩视频帧是待压缩视频中每一帧的图像，而待压缩视频是一个运动的多帧图像的集合。

在本申请中，第二视频帧包括关键帧和预测帧，且其播放时间早于待压缩视频帧。其中关键帧指的是待压缩视频单元中能将这该帧画面完整保留的一帧图像，关键帧描述了图像背景和运动主体的详情，不需要参考其他帧而生成，在解码时仅用关键帧的数据就可以重构完整图像；预测帧表示的是待压缩视频单元中这一帧和前一帧的差别，也即差别帧，预测帧没有完整画面数据，只有与前一帧的画面差别的数据，解码时需要将本帧定义的差别和之前缓存的画面叠加，才能生成最终画面。由于视频一般是连续变化的，因此多帧之间的数据是有相关性的，在本申请中可以充分利用视频以前帧(即播放时间早于待压缩视频帧的视频帧)的信息估计这一帧(即待压缩视频帧)的图像。

在本申请中，残差图像指的是通过特定算法恢复出来的图像与实际图像之间的差别图像。

本申请提供一种视频流编码、解码方法、装置、电子设备及计算可读存储介质。

请参阅图1，图1为本发明提供的视频流处理系统的场景示意图，如图1所示，该视频流处理系统可以包括两个终端，终端之间通过各种网关组成的互联网等方式连接通信，该视频流处理系统包括视频流编码端101和视频流解码端102，其中：

视频流编码端101主要负责图像的采集和编码，将视频图像转换为适合于传输的格式。具体地，将输入的视音频信号源(包括HDMI、SDI、DVI、VGA、AV/S-Video及分量信号等)进行压缩采集并转换编码处理为机器可以识别的数字代码，一般为MPEG-2、MPEG-4、H.264、H.265等编码方式，编码压缩成文件或可实时网络传输的TS流数据，然后通过千兆或百兆以太网接口RJ45网络，输出传送给下一级设备远程接收端或视频服务器使用，接收端如果是个人计算机(PC机)就需要运行相应的解码软件进行解码播放，如果是显示设备就需要配视频解码设备进行解码播放。编码器一般也叫视频源的发送端，是集合采集、编码、压缩、传输为一体的设备。大都支持TS/HLS/FLV/RTSP/RTMP/UDP/RTP/单播/组播等多种网络传输协议，它是数字网络视音频直播系统的重要组成设备。其中，视频流编码端101可以是由视频编码器组成，也可以是由具有编码能力的计算机组成等。

视频流解码端102主要负责解码，是将编码数据解码为对应的图像。具体地，解码端是由将数字视音频数据流解码还原成模拟视音频信号输出的硬件设备，其可以是视频解码器，也可以是一台计算机，但需要有软件解码器，也叫做解码器插件，只有装了各种解码插件的电脑才能播放解码后的内容。其中，解码器也叫视频源的接收端，是集合接收、解码、解压缩、输出为一体的硬件设备。

在本申请中，通过视频流编码端101获取待压缩视频帧和待压缩视频帧的第一背景码流，然后将待压缩视频帧以及至少一个第二视频帧输入至已训练的残差预测模型进行处理，得到待压缩视频帧的第一残差图像，其中，第二视频帧的播放时间早于待压缩视频帧，接着通过视频流编码端101对第一残差图像进行编码处理，得到待压缩视频的第一前景码流，最后根据第一背景码流和第一前景码流确定待压缩视频帧的压缩数据，并将待压缩视频帧的压缩数据发送至视频流解码端102；视频流解码端102在接收到待压缩视频帧的压缩数据后，将所述待压缩视频帧的压缩数据作为待解码视频帧的压缩数据，然后通过视频流解码端102获取第三视频帧的第三恢复图像和待解码视频帧的压缩数据，其中，待解码视频帧的压缩数据包括第二背景码流、第二前景码流以及第二残差码流，第三视频帧和待解码视频帧为时间上连续的视频帧，且第三视频帧的播放时间早于待解码视频帧，随后通过视频流解码端102解码所述第二背景码流，得到第三视频帧的第四姿态参数和待解码视频帧的第五姿态参数，接着根据第三恢复图像的第二深度信息、第四姿态参数、第五姿态参数以及第三恢复图像，确定待解码视频帧的第二运动补偿图像，并解码第二前景码流，得到待解码视频帧的第二残差图像，最后通过视频流解码端102根据第二运动补偿图像和所第二残差图像，得到所述待解码视频帧。

在上述编解码过程中，通过压缩姿态参数，得到第一背景码流，与传统的视频流编码方法中直接压缩光流得到对应的压缩数据相比，采用姿态参数进行压缩编码降低了压缩率，保证了视频传输的质量，大大降低了传输的数据量。此外，在上述编解码过程中，通过残差预测模型充分利用视频以前帧的信息预测待压缩数据的第一残差图像，从而进一步降低了压缩率，提高了压缩质量。

需要说明的是，图1所示的系统的场景示意图仅仅是一个示例，本申请实施例描述的服务器、终端以及场景是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着系统的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。

综合上述视频流处理系统的场景，下面将对本申请中视频流编码方法进行详细的介绍，请参阅图2，图2为本申请提供的视频流编码方法的一种流程示意图，如图2所示，本申请提供的视频流编码方法在视频流编码端的体现至少包括以下步骤：

201：获取待压缩视频帧和待压缩视频帧的第一背景码流。

待压缩视频帧包括关键帧和预测帧，本申请主要以IPPP...IPPP...的方式进行视频压缩传输，其中，I帧即待压缩视频单元中的关键帧，P帧即待压缩视频单元中的预测帧。对于关键帧，由于关键帧能将该帧画面完整保留，因此对其压缩时不需要考虑其他帧，通常采用单帧压缩的方式对其进行压缩编码；而对于预测帧，往往需要利用前一帧的信息或者前几帧的信息进行压缩编码。本申请主要描述预测帧的压缩过程，因此在此不对关键帧的压缩进行详细的描述。

在一种实施例中，可以根据摄像头姿态对待压缩视频帧进行编码，从而得到待压缩视频帧的第一背景码流，其具体步骤包括：获取第一视频帧的第一恢复图像和待压缩视频帧，所述第一视频帧和所述待压缩视频帧为时间上连续的视频帧，且所述第一视频帧的播放时间早于所述待压缩视频帧，所述第一恢复图像为对所述第一视频帧的压缩数据进行解码后的图像；根据所述第一恢复图像的第一姿态参数和所述待压缩视频帧的第二姿态参数，确定所述待压缩视频帧的第一背景码流。其中，姿态参数为摄像头姿态参数，其包括六自由度(6DOF)和摄像头内参，关于姿态参数将会在下文进行更为详细的描述，在此不再赘述。

具体地，如图4中所示，图4为一种视频流编码方法的框架示意图，图4的视频编码器框架中的It代表I帧即关键帧，It+1代表P帧即首预测帧，It+2为非首预测帧。其中，在对首预测帧(It+1)作为待压缩视频帧进行压缩编码时，先获取第一视频帧(即关键帧It)的第一恢复图像，该第一恢复图像即对关键帧的压缩数据进行解码后得到的，然后对关键帧的恢复图像的第一姿态参数(摄像头姿态参数)和首预测帧的第二姿态参数(摄像头姿态参数)进行压缩编码，得到首预测帧的第一背景码流。

同理，It+2为非首预测帧，在将非首预测帧作为待压缩视频帧进行压缩编码时，先获取第一视频帧(非首预测帧，It+1)的第一恢复图像(It+1)，该第一恢复图像(It+1)即对非首预测帧It+1的压缩数据进行解码后得到的，然后对非首预测帧的恢复图像的第一姿态参数(摄像头姿态参数)和非首预测帧It+2的第二姿态参数(摄像头姿态参数)进行压缩编码，得到非首预测帧的第一背景码流。

在上述过程中，由于一般的视频图像包括刚性背景和前景对象，刚性背景指的是短时期内固定不变的图像，而前景对象短时期内处于运动状态；但是，实际的视频图像中，每一个像素一般均在随时间发生变化，产生这种现象的主要原因是摄像头的姿态发生变化，因此在本申请的压缩编码过程中，用摄像头姿态参数表示摄像头的变化(即视频图像中背景的变化)从而得到编码后的第一背景码流，从而减少了传输的数据量。

202：将待压缩视频帧以及至少一个第二视频帧输入至已训练的残差预测模型进行处理，得到待压缩视频帧的第一残差图像，第二视频帧的播放时间早于待压缩视频帧。

由于视频一般是连续变化的，因此多帧之间的数据是有相关性的，本申请采用的残差预测模型为序列型神经网络模型，也即RNN神经网络模型(例如CNN+ConvLSTM+…+ConvLSTM+CNN模型)。通过采用序列型神经网络模型可以利用长时间帧的内在信息(除相邻帧外，还可以是大于三帧以上的信息)，对残差光流或者残差图像进一步进行压缩，这样可以提高压缩质量，压缩率也会降低。例如，对于线性运动的画面，对应拍摄视频的摄像头也即一直在左右平移，此时的摄像头姿态参数、残差光流以及残差图像可能都不需要传输，可以根据物体的运动状态估计这一帧的图像。

在一种实施例中，通过残差预测模型预测待压缩视频帧的第一残差图像的步骤具体包括：根据所述第二视频帧、所述第二视频帧的第一深度信息、第三姿态参数以及所述待压缩视频帧的第二姿态参数，确定所述第二视频帧的第一运动补偿图像；根据所述第一运动补偿图像和所述待压缩视频帧，确定所述待压缩视频帧的第一残差图像。

其中，第二视频帧指的是播放时间早于待压缩视频帧的图像，也即除相邻帧外，还可以是播放时间早于三帧以上的视频帧，例如，若待压缩视频帧为It+1，则第二视频帧为It，若待压缩视频帧为It+2，则第二视频帧可以为It和It+1中的至少一个；第一深度信息即第二视频帧的图像深度信息，图像深度信息指的是像素深度中实际用于存储图像的灰度或色彩所需要的比特位数。假设图像的像素深度为16bit，但用于表示图像的灰度或者色彩的位数只有15位，则图像的图像深度为15；第一运动补偿图像即对视频帧图像进行恢复和补偿后得到的图像，通过图像恢复及补偿可以解决视频帧在时间上的数据冗余。

具体地，如图4的视频编码器框架所示，在对残差图像进行压缩编码之前要先确定待压缩视频帧的第一运动补偿图像，具体地，根据第二视频帧、第二视频帧的图像深度信息、第二视频帧的摄像头姿态参数(即第三姿态参数)以及待压缩视频帧的摄像头姿态参数(即第二姿态参数)进行图像的恢复及补偿，从而得到第二视频帧的第一运动补偿图像。

在一种实施例中，在如图4所示的视频编码器框架的基础上，加上残差光流网络，以得到新的视频编码器，从而使得图像恢复与补偿更为精确，其通过第二视频帧以及待压缩视频帧的相关信息进行图像恢复与补偿的步骤具体包括：根据所述第二视频帧的第一深度信息、第三姿态参数以及所述待压缩视频帧的第二姿态参数，确定第一变换刚性光流；将所述第一变换刚性光流输入至残差估计网络进行处理，得到第一残差光流；根据所述第一残差光流，确定所述第二视频帧的第一残差码流，并将所述第一残差码流作为待压缩视频帧的压缩数据；根据所述第一变换刚性光流和所述第一残差光流，得到所述待压缩视频帧的第一合并光流；根据所述第二视频帧对所述第一合并光流进行运动补偿，得到所述第二视频帧的第一运动补偿图像。

其中，变换刚性光流指的是短时期内固定不变的图像的光流，而光流是指空间运动物体在观察成像平面上的像素运动的瞬时速度，是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法；残差光流指的是图像中整体图像的光流与部分光流(在本申请中为第一变换刚性光流)的差。具体地，如图5的视频编码器框架所示，也可以先根据第二视频帧的图像深度信息(第一深度信息)、第二视频帧的摄像头姿态参数(第三姿态参数)以及待压缩视频帧的摄像头姿态参数(第二姿态参数)，确定第一变换刚性光流，然后根据残差估计网络和第一变换刚性光流确定第一残差光流，再根据第一残差光流确定第二视频帧的第一残差码流，并将第一残差码流作为待压缩视频帧的压缩数据，随后合并第一变换刚性光流和第一残差光流，得到待压缩视频帧的第一合并光流，最后第一合并光流进行图像恢复与补偿，得到第二视频帧的第一运动补偿图像。

在一种实施例中，第一变换刚性光流是由图像深度信息、摄像头姿态参数确定的，其具体步骤包括：获取所述第二视频帧的所有像素点；根据所述第二视频帧的第三姿态参数和所述待压缩视频帧的第二姿态参数，确定第一内参信息以及第一姿态信息；对所述第二视频帧进行深度估计，得到所述第二视频帧的第一深度信息；根据所述第二视频帧的像素点、所述第一内参信息、所述第一姿态信息以及所述第一深度信息，确定第一变换刚性光流。其中，第一内参信息即相机内参信息，为图像从物理成像平面到像素平面的转换关系，一般想通过相机坐标得到图像坐标，首先会将相机坐标归一化，经过了这个变换，我们就将相机坐标系的坐标(归一化)，投影到了成像平面上，但是投影到成像平面上之后，在成像平面上的图像的单位还依旧是长度单位，最后变成我们的像素图像以像素为单位，那么成像平面到像素平面还会有一层转换关系，这一层转换关系就是我们所说的相机内参；第一姿态信息为摄像头在六个自由度的位移信息，所述六个自由度包括前后、左右、上下、纵摇、横摇以及垂摇。如图6所示，为本申请提供的相机成像示意图，图中示出了物体成像平面和像素平面，其中，物理成像平面和像素平面处于同一个平面中。具体地，相机坐标系(如图6中的O-x-y-z坐标系)下所在的平面叫做物平面，物平面的点通过小孔成像后所投射的面为物理成像平面，物理成像平面的单位为长度单位(例如米、厘米、毫米等)，而将物理成像平面通过长度单位到像素单位的转换得到的平面即为像素平面，像素平面和物理成像平面相比平面的位置并没有改变，但是平面的性质变了，由长度单位变为了像素单位。

具体地，有了第二视频帧的像素点、第一内参信息、第一姿态信息以及第二视频帧的第一深度信息，就可以根据公式1计算出第一变换刚性光流：

在公式1中，D_t表示图像的深度信息，K表示相机内参信息，T_t→s表示摄像头在六个自由度的位移信息，p_t表示源图像像素点，f_t→s表示变化得到的光流。

203：对第一残差图像进行编码处理，得到待压缩视频的第一前景码流。

如图4和图5的视频编码器框架所示，第一残差图像是由第一运动补偿图像和待压缩视频帧相减得到的，对第一残差图像进行编码，即可得到待压缩视频帧的第一前景码流，也即待压缩视频帧的压缩数据。

其中，在对残差光流和残差图像进行压缩编码的过程中，传统的视频流编码方法往往只用到待压缩视频帧前一帧的信息，而本申请采用了残差预测模型，即序列型神经网络模型对其进行压缩编码，可以充分利用视频以前帧的信息，从而降低压缩率，提高压缩质量。

204：根据第一背景码流和所述第一前景码流，确定待压缩视频帧的压缩数据。

如图4所示，可以将待压缩视频帧的第一背景码流和第一前景码流作为待压缩视频帧的压缩数据进行传输。

可选地，如图5的视频编码器框架所示，根据第一残差光流确定的第一残差码流也可以作为待压缩视频帧的压缩数据进行传输。不同的是，将第一残差码流作为待压缩视频帧的压缩数据进行传输后，解码端在进行解码时对于图像的恢复会更为精确。

在本申请中，对视频流进行压缩编码，主要传输的是摄像头姿态和残差图像，可选地，还可以传输残差光流，与传统的视频流压缩编码不同，传统的视频流压缩编码主要传输光流和残差图像，由于摄像头姿态的数据量比光流的数据量小，因此通过压缩摄像头姿态得到对应的压缩数据并进行传输，使得传输的数据量减小。

请参阅图3，图3是本申请提供的视频流解码方法的另一种流程示意图，如图3所示，本申请提供的视频流解码方法在视频流解码端的体现至少包括以下步骤：

301：获取第三视频帧的第三恢复图像和待解码视频帧的压缩数据，其中，待解码视频帧的压缩数据包括第二背景码流、第二前景码流以及第二残差码流，第三视频帧和待解码视频帧为时间上连续的视频帧，且第三视频帧的播放时间早于待解码视频帧。

待解码视频帧包括关键帧和预测帧，本申请主要以IPPP...IPPP...的方式进行视频压缩传输，其中，I帧即待压缩视频单元中的关键帧，P帧即待压缩视频单元中的预测帧。本申请主要描述预测帧的解码过程，因此在此不对关键帧的解码进行详细的描述。

如图4或者图5所示的视频解码框架中，第三视频帧可以是关键帧也可以是预测帧，且第三视频帧的播放时间早于待解码视频帧的播放时间。当第三视频帧为关键帧It时，待解码视频帧即为与该关键帧相邻的预测帧It+1；当第三视频帧为预测帧It+1时，待解码视频帧即为与该预测帧It+1相邻的预测帧It+2，以此类推。

其中，第三视频帧的第三恢复图像即对该视频帧的压缩数据进行解码后的图像。待解码视频帧的压缩数据，即为视频流解码端接收到的待压缩视频帧的压缩数据，待压缩视频帧的压缩数据中的第一背景码流即为待解码视频帧的压缩数据中的第二背景码流，待压缩视频帧的压缩数据中的第一前景码流即为待解码视频帧的压缩数据中的第二前景码流，待压缩视频帧的压缩数据中的第一残差码流即为待解码视频帧的压缩数据中的第二残差码流。

需要说明的是，为了方便理解，下文中的第三视频帧统一表述为预测帧It+1，待解码视频帧统一表述为It+2。由于解码过程是编码的逆过程，因此第三视频帧即对应编码过程中的第一视频帧，第一视频帧也应该为It+1，待解码视频帧对应编码过程中的待压缩视频帧，待压缩视频帧也应该为It+2。

302：解码第二背景码流，得到第三视频帧的第四姿态参数和待解码视频帧的第五姿态参数。

由于待压缩视频帧(It+2)的第一背景码流是由第一视频帧(It+1)的第一恢复图像的第一姿态参数和待压缩视频帧(It+2)的第二姿态参数压缩编码得到的，因此对第一背景码流进行解码，对应得到第三视频帧(It+1，也即第一视频帧)的第四姿态参数和待解码视频帧(It+2)的第五姿态参数。需要说明的是，虽然都是同一视频帧的姿态参数，但第一姿态参数和第四姿态参数并不等同，因为第四姿态参数是由压缩数据解码得到的，在解码过程中存在一定的误差，同理，第二姿态参数和第五姿态参数也并不等同。其中，姿态参数为摄像头姿态参数，其包括六自由度(6DOF)和摄像头内参，关于姿态参数将会在下文进行更为详细的描述，在此不再赘述。

303：根据第三恢复图像的第二深度信息、第四姿态参数、第五姿态参数以及第三恢复图像，确定待解码视频帧的第二运动补偿图像。

在一种实施例中，对第一背景码流进行解码后，可以根据解码得到的姿态信息和图像深度信息对待解码视频帧进行图像恢复及补偿，其具体地步骤包括：解码所述第二残差码流，得到第二残差光流；根据所述第三恢复图像的第二深度信息、所述第四姿态参数以及所述第五姿态参数，确定第二变换刚性光流；根据所述第二变换刚性光流和所述第二残差光流，得到所述待解码视频帧的第二合并光流；根据所述第三恢复图像对所述第二合并光流进行运动补偿，得到所述待解码视频帧的第二运动补偿图像。其中，第二残差码流为视频流编码端发送至视频流解码端的压缩数据；第二运动补偿图像即对视频帧图像进行恢复和补偿后得到的图像，通过图像恢复及补偿可以解决视频帧在时间上的数据冗余。

如图5的视频解码框架所示，先通过第三视频帧(It+1，也即第一视频帧)的第三恢复图像的图像深度信息(第二深度信息)、第三视频帧的姿态参数(第四姿态参数)以及待解码视频帧的姿态从参数(第五姿态参数)确定第二变换刚性光流，其具体步骤将在后文进行描述，由于根据图像深度信息和摄像头姿态参数估计得到的第二变换刚性光流和实际的光流可能存在误差，所以要得到最终的光流，需要对视频流编码端发送至视频流解码端的第二残差码流(即视频流编码端中的第一残差码流)进行解码，得到第二残差光流，然后合并第二变换刚性光流和第二残差光流得到待解码视频帧(It+2)的第二合并光流，最后对第二合并光流进行图像恢复及补偿，从而可以得到待解码视频帧(It+2)的第二运动补偿图像。需要说明的是，由于对压缩数据进行解码过程中存在解码误差，因此解码得到的第二残差光流和视频流编码端的第一残差光流存在一定的误差，以至于待解码视频帧的第二运动补偿图像和视频流编码端的第一运动补偿图像也有一定的偏差。

在一种实施例中，计算第二变换刚性光流的步骤具体包括：获取所述第三恢复图像的所有像素点；根据所述第四姿态参数和所述第五姿态参数，确定第二内参信息以及第二姿态信息；对所述第三恢复图像进行深度估计，得到所述第三恢复图像的第二深度信息；根据所述第三恢复图像的像素点、所述第二内参信息、所述第二姿态信息以及所述第二深度信息，确定第二变换刚性光流。其中，第二内参信息即相机内参信息，为图像从物理成像平面到像素平面的转换关系；第二姿态信息为摄像头在六个自由度的位移信息，所述六个自由度包括前后、左右、上下、纵摇、横摇以及垂摇；第二深度信息即第二视频帧的图像深度信息，图像深度信息指的是像素深度中实际用于存储图像的灰度或色彩所需要的比特位数。

具体地，有了第三恢复图像的像素点、第二内参信息、第二姿态信息以及第三恢复图像的第二深度信息，就可以根据公式1计算出第二变换刚性光流：

在公式1中，D_t表示图像的深度信息，K表示相机内参信息，T_t→s表示摄像头在六个自由度的位移信息，p_t表示源图像像素点，f_t→s表示变化得到的光流。

304：解码第二前景码流，得到的待解码视频帧的第二残差图像。

在视频编码器侧，第一前景码流是对第一残差图像进行编码得到的，而将视频编码器中的第一前景码流发送至视频解码器侧，即为视频解码器侧的第二前景码流。如图4和图5的视频解码器框架所示，最终的待解码视频帧的第二残差图像是通过第二前景码流解码得到的。

305：根据第二运动补偿图像和第二残差图像，得到待解码视频帧。

在视频编码器侧，第一残差图像是由待压缩视频帧减去第一运动补偿图像得到的，而解码作为编码的逆过程，为了得到待解码视频帧，需要将第二运动补偿图像和第二残差图像进行合并。如图4和图5的视频解码器框架所示，最终的待解码视频帧是由第二运动补偿图像和第二残差图像相加得到的。

在本申请实施例中，对于线性运动的画面，可能会存在没有接收到视频流编码端传输的压缩数据为0的情况，在这种情况下，可以结合前几帧的解码图像，确定物体的线性运动状态，然后估计这一帧的解码图像。

基于上述实施例的内容，本申请实施例提供了一种视频流编码装置，该装置可以设置于视频流编码端101中。该视频流编码装置用于执行上述方法实施例中提供的视频流编码方法，具体地，请参阅图7，该装置包括：

第一获取模块701，用于获取待压缩视频帧和所述待压缩视频帧的第一背景码流；

第一处理模块702，用于将所述待压缩视频帧以及至少一个第二视频帧输入至已训练的残差预测模型进行处理，得到所述待压缩视频帧的第一残差图像，所述第二视频帧的播放时间早于所述待压缩视频帧；

第一编码模块703，用于对所述第一残差图像进行编码处理，得到所述待压缩视频的第一前景码流；

第一确定模块704，用于根据所述第一背景码流和所述第一前景码流，确定所述待压缩视频帧的压缩数据。

本申请实施例的视频流编码装置，可以用于执行前述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

区别于当前的技术，本申请提供的视频流编码装置，设置了第一处理模块、第一编码模块以及第一确定模块，通过第一处理模块预测待压缩视频帧的第一残差图像，通过编码模块得到第一前景码流，通过第一确定模块得到待压缩视频帧的压缩数据。在此过程中，通过残差预测模型预测第一残差图像，可以充分利用视频以前帧的信息，这样可以提高压缩质量，压缩率也会降低。

此外，在上述实施例所述的方法基础上，本申请实施例还提供了另一种视频流解码装置，该视频流处理解码设置于视频流解码端102中，用于执行上述方法实施例中提供的视频流解码方法。请参阅图8，该装置可以包括：

第二获取模块801，用于获取第三视频帧的第三恢复图像和待解码视频帧的压缩数据，其中，所述待解码视频帧的压缩数据包括第二背景码流、第二前景码流以及第二残差码流，所述第三视频帧和所述待解码视频帧为时间上连续的视频帧，且所述第三视频帧的播放时间早于所述待解码视频帧；

第一解码模块802，用于解码所述第二背景码流，得到所述第三视频帧的第四姿态参数和待解码视频帧的第五姿态参数；

第二确定模块803，用于根据所述第三恢复图像的第二深度信息、所述第四姿态参数、所述第五姿态参数以及所述第三恢复图像，确定所述待解码视频帧的第二运动补偿图像；

第二解码模块804，用于解码所述第二前景码流，得到所述的待解码视频帧的第二残差图像；

第一合并模块805，用于根据所述第二运动补偿图像和所述第二残差图像，得到所述待解码视频帧。

本申请实施例的视频流解码装置，可以用于执行前述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

相应的，本申请实施例提供一种电子设备，应用于应用终端。如图9所示，该电子设备可以包括有一个或者一个以上处理核心的处理器901、无线(WiFi，Wireless Fidelity)模块902、有一个或一个以上计算机可读存储介质的存储器903、音频电路904、显示单元905、输入单元906、电源907、以及射频(RF，Radio Frequency)电路908等部件。本领域技术人员可以理解，图9中示出的电子设备的结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。具体地，存储器903可用于存储软件程序以及模块，处理器901通过运行存储在存储器903的计算机程序以及模块，从而执行各种功能应用以及数据处理。存储器903可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序。尽管未示出，电子设备还可以包括摄像头、蓝牙模块等，在此不再赘述。具体在本实施例中，电子设备中的处理器901会按照相关的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器903中，并由处理器901来运行存储在存储器903中的应用程序，从而实现上述视频流编码方法或者视频流解码方法的功能。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于计算机可读存储介质中，并由处理器进行加载和执行。

为此，本申请实施例提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以实现上述视频流编码方法或者视频流解码方法的功能。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

以上对本申请实施例所提供的一种视频流编码方法和装置、视频流解码方法和装置、视频流处理系统、电子设备以及计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (16)

1.一种视频流编码方法，其特征在于，包括：

获取待压缩视频帧和所述待压缩视频帧的第一背景码流；

将所述待压缩视频帧以及至少一个第二视频帧输入至已训练的残差预测模型进行处理，得到所述待压缩视频帧的第一残差图像，所述第二视频帧的播放时间早于所述待压缩视频帧；

对所述第一残差图像进行编码处理，得到所述待压缩视频的第一前景码流；

根据所述第一背景码流和所述第一前景码流，确定所述待压缩视频帧的压缩数据。

2.根据权利要求1所述的视频流编码方法，其特征在于，所述获取待压缩视频帧和所述待压缩视频帧的第一背景码流的步骤包括：

获取第一视频帧的第一恢复图像和待压缩视频帧，所述第一视频帧和所述待压缩视频帧为时间上连续的视频帧，且所述第一视频帧的播放时间早于所述待压缩视频帧，所述第一恢复图像为对所述第一视频帧的压缩数据进行解码后的图像；

根据所述第一恢复图像的第一姿态参数和所述待压缩视频帧的第二姿态参数，确定所述待压缩视频帧的第一背景码流。

3.根据权利要求1所述的视频流编码方法，其特征在于，所述残差预测模型为序列型神经网络模型。

4.根据权利要求1所述的视频流编码方法，其特征在于，所述将所述待压缩视频帧以及至少一个第二视频帧输入至已训练的残差预测模型进行处理，得到所述待压缩视频帧的第一残差图像的步骤，包括：

根据所述第二视频帧、所述第二视频帧的第一深度信息、第三姿态参数以及所述待压缩视频帧的第二姿态参数，确定所述第二视频帧的第一运动补偿图像；

根据所述第一运动补偿图像和所述待压缩视频帧，确定所述待压缩视频帧的第一残差图像。

5.根据权利要求4所述的视频流编码方法，其特征在于，所述根据所述第二视频帧、所述第二视频帧的第一深度信息、第三姿态参数以及所述待压缩视频帧的第二姿态参数，确定所述第二视频帧的第一运动补偿图像的步骤，包括：

根据所述第二视频帧的第一深度信息、第三姿态参数以及所述待压缩视频帧的第二姿态参数，确定第一变换刚性光流；

将所述第一变换刚性光流输入至残差估计网络进行处理，得到第一残差光流；

根据所述第一残差光流，确定所述第二视频帧的第一残差码流，并将所述第一残差码流作为待压缩视频帧的压缩数据；

根据所述第一变换刚性光流和所述第一残差光流，得到所述待压缩视频帧的第一合并光流；

根据所述第二视频帧对所述第一合并光流进行运动补偿，得到所述第二视频帧的第一运动补偿图像。

6.根据权利要求5所述的视频流编码方法，其特征在于，所述根据所述第二视频帧的第一深度信息、第三姿态参数以及所述待压缩视频帧的第二姿态参数，确定第一变换刚性光流的步骤，包括：

获取所述第二视频帧的所有像素点；

根据所述第二视频帧的第三姿态参数和所述待压缩视频帧的第二姿态参数，确定第一内参信息以及第一姿态信息；

对所述第二视频帧进行深度估计，得到所述第二视频帧的第一深度信息；

根据所述第二视频帧的像素点、所述第一内参信息、所述第一姿态信息以及所述第一深度信息，确定第一变换刚性光流。

7.根据权利要求6所述的视频流编码方法，其特征在于，所述第一内参信息为图像从物理成像平面到像素平面的转换关系，所述第一姿态信息为摄像头在六个自由度的位移信息，所述六个自由度包括前后、左右、上下、纵摇、横摇以及垂摇。

8.一种视频流解码方法，其特征在于，包括：

获取第三视频帧的第三恢复图像和待解码视频帧的压缩数据，其中，所述待解码视频帧的压缩数据包括第二背景码流、第二前景码流以及第二残差码流，所述第三视频帧和所述待解码视频帧为时间上连续的视频帧，且所述第三视频帧的播放时间早于所述待解码视频帧；

解码所述第二背景码流，得到所述第三视频帧的第四姿态参数和待解码视频帧的第五姿态参数；

根据所述第三恢复图像的第二深度信息、所述第四姿态参数、所述第五姿态参数以及所述第三恢复图像，确定所述待解码视频帧的第二运动补偿图像；

解码所述第二前景码流，得到所述的待解码视频帧的第二残差图像；

根据所述第二运动补偿图像和所述第二残差图像，得到所述待解码视频帧。

9.根据权利要求8所述的视频流解码方法，其特征在于，所述根据所述第三恢复图像的第二深度信息、所述第四姿态参数、所述第五姿态参数以及所述第三恢复图像，确定所述待解码视频帧的第二运动补偿图像的步骤，包括：

解码所述第二残差码流，得到第二残差光流；

根据所述第三恢复图像的第二深度信息、所述第四姿态参数以及所述第五姿态参数，确定第二变换刚性光流；

根据所述第二变换刚性光流和所述第二残差光流，得到所述待解码视频帧的第二合并光流；

根据所述第三恢复图像对所述第二合并光流进行运动补偿，得到所述待解码视频帧的第二运动补偿图像。

10.根据权利要求9所述的视频流解码方法，其特征在于，所述根据所述第三恢复图像的第二深度信息、所述第四姿态参数以及所述第五姿态参数，确定第二变换刚性光流的步骤，包括：

获取所述第三恢复图像的所有像素点；

根据所述第四姿态参数和所述第五姿态参数，确定第二内参信息以及第二姿态信息；

对所述第三恢复图像进行深度估计，得到所述第三恢复图像的第二深度信息；

根据所述第三恢复图像的像素点、所述第二内参信息、所述第二姿态信息以及所述第二深度信息，确定第二变换刚性光流。

11.根据权利要求10所述的视频流解码方法，其特征在于，所述第二内参信息为图像从物理成像平面到像素平面的转换关系，所述第二姿态信息为摄像头在六个自由度的位移信息，所述六个自由度包括前后、左右、上下、纵摇、横摇以及垂摇。

12.一种视频流编码装置，其特征在于，包括

第一获取模块，用于获取待压缩视频帧和所述待压缩视频帧的第一背景码流；

第一处理模块，用于将所述待压缩视频帧以及至少一个第二视频帧输入至已训练的残差预测模型进行处理，得到所述待压缩视频帧的第一残差图像，所述第二视频帧的播放时间早于所述待压缩视频帧；

第一编码模块，用于对所述第一残差图像进行编码处理，得到所述待压缩视频的第一前景码流；

第一确定模块，用于根据所述第一背景码流和所述第一前景码流，确定所述待压缩视频帧的压缩数据。

13.一种视频流解码装置，其特征在于，包括：

第二获取模块，用于获取第三视频帧的第三恢复图像和待解码视频帧的压缩数据，其中，所述待解码视频帧的压缩数据包括第二背景码流、第二前景码流以及第二残差码流，所述第三视频帧和所述待解码视频帧为时间上连续的视频帧，且所述第三视频帧的播放时间早于所述待解码视频帧；

第一解码模块，用于解码所述第二背景码流，得到所述第三视频帧的第四姿态参数和待解码视频帧的第五姿态参数；

第二确定模块，用于根据所述第三恢复图像的第二深度信息、所述第四姿态参数、所述第五姿态参数以及所述第三恢复图像，确定所述待解码视频帧的第二运动补偿图像；

第二解码模块，用于解码所述第二前景码流，得到所述的待解码视频帧的第二残差图像；

第一合并模块，用于根据所述第二运动补偿图像和所述第二残差图像，得到所述待解码视频帧。

14.一种视频流处理系统，其特征在于，所述视频流处理系统包括视频流编码端和视频流解码端，所述视频流处理系统包括：

所述视频流编码端用于获取待压缩视频帧和所述待压缩视频帧的第一背景码流；

所述视频流编码端用于将所述待压缩视频帧以及至少一个第二视频帧输入至已训练的残差预测模型进行处理，得到所述待压缩视频帧的第一残差图像，所述第二视频帧的播放时间早于所述待压缩视频帧；

所述视频流编码端用于对所述第一残差图像进行编码处理，得到所述待压缩视频的第一前景码流；

所述视频流编码端用于根据所述第一背景码流和所述第一前景码流，确定所述待压缩视频帧的压缩数据，然后将所述待压缩视频帧的压缩数据发送至所述视频流解码端；

所述视频流解码端接收所述待压缩视频帧的压缩数据，并将所述待压缩视频帧的压缩数据作为待解码视频帧的压缩数据；

所述视频流解码端用于获取第三视频帧的第三恢复图像和待解码视频帧的压缩数据，其中，所述待解码视频帧的压缩数据包括第二背景码流、第二前景码流以及第二残差码流，所述第三视频帧和所述待解码视频帧为时间上连续的视频帧，且所述第三视频帧的播放时间早于所述待解码视频帧；

所述视频流解码端用于解码所述第二背景码流，得到所述第三视频帧的第四姿态参数和待解码视频帧的第五姿态参数；

所述视频流解码端用于根据所述第三恢复图像的第二深度信息、所述第四姿态参数、所述第五姿态参数以及所述第三恢复图像，确定所述待解码视频帧的第二运动补偿图像；

所述视频流解码端用于解码所述第二前景码流，得到所述的待解码视频帧的第二残差图像；

所述视频流解码端用于根据所述第二运动补偿图像和所述第二残差图像，得到所述待解码视频帧。

15.一种电子设备，其特征在于，包括处理器和存储器，所述存储器用于存储计算机程序，所述处理器用于运行所述存储器里的计算机程序，以执行权利要求1至7任一项所述的视频流编码方法中的步骤，或者执行权利要求8至11任一项所述的视频流解码方法中的步骤。

16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至7任一项所述的视频流编码方法中的步骤，或者执行权利要求8至11任一项所述的视频流解码方法中的步骤。

Images