CN113132729B - 一种基于多参考帧的环路滤波方法及电子装置 - Google Patents

Abstract

本发明公开了一种基于多参考帧的环路滤波方法及电子装置，其步骤包括：将原始帧送入视频编码器进行编码得到当前帧，并获取所述当前帧的第一参考帧与第二参考帧；计算所述当前帧、所述第一参考帧以及所述第二参考帧两两间的光流集合；将所述当前帧、所述第一参考帧、所述第二参考帧以及所述光流集合送入一深度卷积循环神经网络，得到滤波重建帧。本发明利用空域信息之外，额外使用了时域信息，提出了联合学习机制，提升了参考帧的质量，在不显著提升网络参数量的基础上，获得了更好的编码性能。

Description

一种基于多参考帧的环路滤波方法及电子装置

技术领域

本发明属于视频编码领域，主要涉及一种基于多参考帧的环路滤波方法及电子装置。

背景技术

在数字视频的使用传播过程中，有损视频压缩是一项不可或缺的关键技术。有损视频压缩通过对视频进行编码端的编码压缩以及解码端的解码恢复，极大地降低了数字视频在存储和传输过程中的开销，使得数字视频在日常生活得以被普遍使用。但是有损视频压缩技术在编码段不可避免地要损失信息，这也造成了解码视频质量的下降。

造成视频质量下降的原因主要有两点：第一，最新的视频编码技术往往把每一帧划分为大小不同的块，基于块来压缩与编码。这样就会导致块与块的边界处像素值会有突变，也就是块效应。第二，在量化过程中，高频信息被消除，导致振铃效应。例如中国专利108134932公开了一种基于卷积神经网络的视频编解码环路内滤波器及其实现方法，其先训练一卷积神经网络得到预训练模型，然后在视频编解码环路内对每一个重建帧划分为若干子图，将各子图输入预训练模型，输出一张与输入图像大小相同的图像，根据输出图像质量，有选择地使用输出图像替换原图像。

为了恢复视频质量，视频编码器往往会在反变换后，进行环路滤波，以提高视频质量。其中，去块效应模块对块与块的边界的像素值进行调整，缓解块效应；样点自适应补偿模块为视频帧补充高频信息，缓解振铃效应。

受启发于深度神经网络技术在图像处理问题中的成功应用，一些方法在环路滤波中引入了深度神经网络，并获得了一定的性能提升。而利用时域信息的神经网络方法一般利用光流等信息进行由参考帧到当前帧的单向对齐。光流是帧与帧之间像素级运动的估计，可以利用光流获得两帧间的运动信息。但是现有技术往往仅仅利用单帧的空域信息，却忽略了视频的时域上冗余，忽略了对参考帧的质量提升，从而限制了当前帧的恢复。参考帧的选择上，以往技术往往只选择时域上的临近帧，以保证内容上更为接近。但是编码器往往无法保证时域上的临近帧为高质量帧，因此本发明额外引入了时域上最接近的质量峰值帧。

发明内容

为了解决上述问题，本发明公开了一种基于多参考帧的环路滤波方法及电子装置，基于当前帧以及两个参考帧，并使用一个深度卷积循环神经网络，获取更佳的编码性能。

一种基于多参考帧的环路滤波方法，其步骤包括：

1)将原始帧送入视频编码器进行编码得到当前帧，并设定时域上与所述当前帧最接近的重建帧为第一参考帧以及最接近的高质量重建帧为第二参考帧；

2)获取所述当前帧、所述第一参考帧以及所述第二参考帧两两间的光流集合；

3)将所述当前帧、所述第一参考帧、所述第二参考帧以及所述光流集合送入一深度卷积循环神经网络，得到滤波重建帧。

进一步地，通过一预训练的光流估计神经网络，获取所述光流集合。

进一步地，所述深度卷积循环神经网络为一渐进反思循环神经网络，其训练步骤包括：

1)将若干样本视频片段送入视频编码器中进行编码，得到若干样本当前帧，并获取各所述样本当前帧对应的样本第一参考帧与样本第二参考帧；

2)获取各所述样本当前帧与相应的所述样本第一参考帧和所述样本第二参考帧两两间的样本光流集合；

3)使用迭代法，将所述样本当前帧与相应的所述样本第一参考帧、所述样本第二参考帧以及所述样本光流集合，送入所述渐进反思循环神经网络进行前向计算，并将获取的滤波后帧与未编码帧的均方差收敛反向传播到神经网络各层，以更新各层权值，直到所述渐进反思循环神经网络的均方差收敛。

进一步地，所述前向计算的步骤包括：

1)分别提取任一样本当前帧及相应的样本第一参考帧与样本第二参考帧的第一浅层特征图、第二浅层特征图以及第三浅层特征图；

2)使用利用联合学习方法将所述第一浅层特征图、所述第二浅层特征图以及所述第三浅层特征图双向对齐，并将得到的第一变形特征图、第二变形特征图以及第三变形特征图送入连续渐进反思块中进行深层特征提取与更新，获取第一更新特征图、第二更新特征图以及第三更新特征图；

3)将所述第一更新特征图作为样本当前帧的第一浅层特征图、所述第二更新特征图作为样本第一参考帧的第二浅层特征图以及样本第二参考帧的第三浅层特征图；

4)重复步骤2)和步骤3)，直到设定时间步长最大值；

5)对达到设定时间步长最大值的第一最大特征图、第二最大特征图以及第三最大特征图，使用卷积层进行重建恢复，得到所述滤波后帧。

进一步地，使用两个卷积层组成的浅层特征提取网络中提取所述第一浅层特征图、所述第二浅层特征图以及所述第三浅层特征图。

进一步地，所述联合学习方法的步骤包括：

1)利用样本第一参考帧到样本当前帧的第一样本光流、样本第二参考帧到样本当前帧的第二样本光流，分别将第二浅层特征图与第三浅层特征图变形对齐到样本当前帧，且与第一浅层特征图通道连接，得到第一变形特征图；

2)利用样本当前帧到第一参考帧的第三样本光流、样本第二参考帧到样本第一参考帧的第四样本光流，分别将第一浅层特征图和第三特征图变形对齐到样本第一参考帧，且与第二浅层特征图通道连接，得到第二变形特征图；

3)利用样本当前帧到样本第二参考帧的第五光流、样本第一参考帧到样本第二参考帧的第六光流，分别将第一浅层特征图和第二特征图变形对齐到样本第二参考帧，且与第三浅层特征图通道连接，得到第三变形特征图。

进一步地，进行所述重建恢复时，使用全局残差连接加速收敛。

进一步地，，将前向传播输出的所述滤波重建帧进行样点自适应补偿。

一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序执行上述方法。

一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述方法。

与现有技术相比，本发明具有以下特点：

1)本发明在利用空域信息之外，额外使用了时域信息，并且提出了联合学习机制；

2)本发明通过联合学习机制，进行双向对齐，同时提升参考帧的质量；

3)通过使用一个卷积循环神经网络，参考帧与当前帧每过一个时间步长进行一次信息交换以及状态更新，在不显著提升网络参数量的基础上，获得了更好的编码性能。

附图说明

图1为渐进反思循环神经网络展开后的示意图。

图2为联合学习机制示意图。

具体实施方式

下面结合附图和具体较佳实施方式对本发明作进一步详细的说明。

本发明提出的网络的输入为三帧：当前帧与两个参考帧。参考帧由时域上最接近的重建帧(记为参考帧一)以及时域上最接近的高质量重建帧(记为参考帧二)组成。

本发明深度卷积循环神经网络利用渐进反思循环神经网络(中国专利申请CN2019104508082)的渐进反思块实现，可拆分为三个部分：浅层特征提取、循环模块以及对当前帧特征图重建。

接下来结合附图1，描述本发明方法的主要步骤：

步骤1：收集一批视频片段，将视频送入视频编码器中进行编码，其本身则被视作网络输出的目标被保存。

步骤2：利用预训练好的光流估计神经网络(SpyNet，A.Ranjan and M.J.Black,“Optical flow estimation using a spatial pyramid network,”in Proc.IEEE Int’lConf.Computer Vision and Pattern Recognition,2017)，计算当前帧、参考帧一、参考帧二两两间的光流。

步骤3：将当前帧以及参考帧一、参考帧二作为输入，送入渐进反思循环神经网络中，进行前向计算。具体过程如步骤3.1-步骤3.3所示。

步骤3.1：将当前帧、参考帧一、参考帧二送入由两个卷积层组成的浅层特征提取网络中进行各帧的浅层特征图提取。

步骤3.2：利用循环模块对特征图进行更新。具体过程如步骤3.2.1-3.2.3所示。

步骤3.2.1：利用联合学习机制对三帧对应的浅层特征图进行双向对齐，请参考图2，其步骤包括：

利用参考帧一到当前帧的光流、参考帧二到当前帧的光流，将参考帧一和参考帧二对应的特征图变形对齐到当前帧，并将当前帧的特征图以及变形后的特征图进行通道连接；

利用当前帧到参考帧一的光流、参考帧二到参考帧一的光流，将当前帧和参考帧二对应的特征图变形对齐到参考帧一，并将参考帧一的特征图以及变形后的特征图进行通道连接；

利用当前帧到参考帧二的光流、参考帧一到参考帧二的光流，将当前帧和参考帧一对应的特征图变形对齐到参考帧二，并将参考帧二的特征图以及变形后的特征图进行通道连接。

步骤3.2.2：将当前帧、参考帧一、参考帧二经过联合学习机制得到的特征图送入连续渐进反思块中进行非线性变换，提取深层特征并变换，并将得到各自更新后的特征图并将其再次送入循环模块中进行下一次特征图更新。

步骤3.2.3：重复步骤3.2.1-步骤3.2.2直到预设的时间步长最大值。

步骤3.3：对当前帧的特征图利用卷积层进行重建恢复，并使用全局残差连接加速收敛，得到滤波后的帧。与未编码的帧进行均方差的计算。

步骤4：把计算的均方差反向传播到神经网络各层，以更新各层权值，在下次迭代中使得结果更接近目标效果，直到神经网络的均方差收敛。

在获取训练完毕的网络模型后，将模型运用到编码器的环路滤波模块中，介于去块效应模块与样点自适应补偿模块之间。重建帧经过去块效应模块后，与参考帧一起被送入网络进行前向传播，输出帧再被送入样点自适应补偿模块，从而生成最终的重建帧。

下面以一实施例具体阐述本发明。

本实例将重点详细阐述该技术方法中神经网络的训练过程。设定已经构建了所需的卷积神经网络模型，并且有N个视频序列{S₁，S₂，...，S_N}作为训练数据，其中每一个序列由M帧组成。

一、训练过程：

步骤1：将{S₁，S₂，...，S_N}中的每一个序列送入编码器中，将经过去块效应模块的帧保存下来，重新组成视频序列，记为{S′₁，S′₂，...，S′_N}。

步骤2：依据编码顺序取每个视频序列中的待滤波帧{S′_1，i，S′_2，i，…，S′_N，i}，以及其对应参考帧，分别为时域上最接近的帧

以及时域上最接近的高质量帧

其中G(i)＝i-(i mod 4)。

步骤3：计算当前帧与两个参考帧之间两两光流，记为flow。

步骤4：将当前帧与两个参考帧送入渐进反思循环神经网络。提取浅层特征后，送入循环模块，利用联合学习机制在光流辅助下进行双向对齐，并再送入连续渐进反思块进行特征的提取与变换，得到更新后的特征图。将更新后的特征图再次送入循环模块直到时间步长最大值。最终利用卷积层对当前帧的特征图进行重建，从而得到输出

计算输出与{S_1，i，S_2，i，...，S_N，i}的均方差。

步骤5：获得误差值后，对网络进行误差值的反向传播，以训练网络更新模型权值。

步骤6：重复步骤1-步骤6直到神经网络收敛。

二、编码过程：

在训练完神经网络后。在编码器实际测试中，让重建帧先经过去块效应模块，并获取其参考帧，将其送入渐进反思循环神经网络，得到滤波后的帧。再将滤波后的帧送入样点自适应补偿模块中，得到最后的重建帧。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，图片的地理位置信息也无需限制在exif信息之中可以是一个附加地理位置信息的图片，均包括在本发明的专利保护范围内。

Claims (7)

1.一种基于多参考帧的环路滤波方法，其步骤包括：

1）将原始帧送入视频编码器进行编码得到当前帧，并设定时域上与所述当前帧最接近的重建帧为第一参考帧以及最接近的高质量重建帧为第二参考帧；

2）获取所述当前帧、所述第一参考帧以及所述第二参考帧两两间的光流集合；

3）将所述当前帧、所述第一参考帧、所述第二参考帧以及所述光流集合送入一渐进反思循环神经网络，得到滤波重建帧；其中，所述渐进反思循环神经网络的训练步骤包括：

3.1）将若干样本视频片段送入视频编码器中进行编码，得到若干样本当前帧，并获取各所述样本当前帧对应的样本第一参考帧与样本第二参考帧；

3.2）获取各所述样本当前帧与相应的所述样本第一参考帧和所述样本第二参考帧两两间的样本光流集合；

3.3）使用迭代法，将所述样本当前帧与相应的所述样本第一参考帧、所述样本第二参考帧以及所述样本光流集合，送入所述渐进反思循环神经网络进行前向计算，并将获取的滤波后帧与未编码帧的均方差收敛反向传播到神经网络各层，以更新各层权值，直到所述渐进反思循环神经网络的均方差收敛；其中，所述将所述样本当前帧与相应的所述样本第一参考帧、所述样本第二参考帧以及所述样本光流集合，送入所述渐进反思循环神经网络进行前向计算，包括：

3.31）提取任一样本当前帧及相应的样本第一参考帧与样本第二参考帧的第一浅层特征图、第二浅层特征图以及第三浅层特征图；

3.32）利用样本第一参考帧到样本当前帧的第一样本光流、样本第二参考帧到样本当前帧的第二样本光流，分别将第二浅层特征图与第三浅层特征图变形对齐到样本当前帧，且与第一浅层特征图通道连接，得到第一变形特征图；

3.33）利用样本当前帧到第一参考帧的第三样本光流、样本第二参考帧到样本第一参考帧的第四样本光流，分别将第一浅层特征图和第三特征图变形对齐到样本第一参考帧，且与第二浅层特征图通道连接，得到第二变形特征图；

3.34）利用样本当前帧到样本第二参考帧的第五光流、样本第一参考帧到样本第二参考帧的第六光流，分别将第一浅层特征图和第二特征图变形对齐到样本第二参考帧，且与第三浅层特征图通道连接，得到第三变形特征图；

3.35）将得到的第一变形特征图、第二变形特征图以及第三变形特征图送入连续渐进反思块中进行深层特征提取与更新，获取第一更新特征图、第二更新特征图以及第三更新特征图；

3.36）将所述第一更新特征图作为样本当前帧的第一浅层特征图、所述第二更新特征图作为样本第一参考帧的第二浅层特征图以及样本第二参考帧的第三浅层特征图；

3.37）重复步骤3.32）-步骤3.36），直到设定时间步长最大值；

3.38）对达到设定时间步长最大值的第一最大特征图、第二最大特征图以及第三最大特征图，使用卷积层进行重建恢复，得到所述滤波后帧。

2.根据权利要求1所述的基于多参考帧的环路滤波方法，其特征在于，通过一预训练的光流估计神经网络，获取所述光流集合。

3.根据权利要求1所述的基于多参考帧的环路滤波方法，其特征在于，使用两个卷积层组成的浅层特征提取网络中提取所述第一浅层特征图、所述第二浅层特征图以及所述第三浅层特征图。

4.根据权利要求1所述的基于多参考帧的环路滤波方法，其特征在于，进行重建恢复时，使用全局残差连接加速收敛。

5.根据权利要求1所述的基于多参考帧的环路滤波方法，其特征在于，将前向传播输出的所述滤波重建帧进行样点自适应补偿。

6.一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序执行权利要求1-5中任一方法。

7.一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1-5中任一方法。

Images