CN108289224A - 一种视频帧预测方法、装置及自动补偿神经网络 - Google Patents

Abstract

本发明公开了一种视频帧预测方法、装置及自动补偿神经网络。所述方法包括：步骤1：确定用于对当前编码块进行编码或对当前解码块进行解码的预测块集合，所述预测块集合包括至少两个预测块；步骤2：基于所述预测块集合和经训练的自动补偿神经网络来获取当前编码块或解码块的补偿块。能够降低视频帧预测的误差，提高压缩率。

Description

一种视频帧预测方法、装置及自动补偿神经网络

技术领域

本发明涉及图像处理领域。更具体地，本发明涉及一种视频帧预测方法、装置及自动补偿神经网络。

背景技术

目前主流的视频压缩方法都会采用帧间预测降低视频帧之间的时域相关性。但是因为视频场景中运动物体广泛存在，简单的相邻帧对应像素之间的预测精度并不高。为了更加有效地刻画运动物体上对应位置的相关性，主流的视频压缩方法采用了基于块的运动估计与运动补偿的方法来寻找运动物体相邻帧之间的对应位置，同时补偿因为运动造成的预测误差。为了减少邻近帧之间随机噪声对于预测精度的影响、减少视频压缩算法对于亮度渐变情况下的预测误差，双向预测对多个预测块进行求平均(加权计算)来进一步提升预测的质量。

但是预测残差并不能够简单地描述为随机噪声，因为块级别的平移运动估计不能够描述变形旋转等不均匀运动，使得预测残差往往会与纹理结构高度相关。在双向预测中，帧间预测的误差具有更加明显的结构性，同时两个预测块的存在能够提供更多的不规则运动的信息。发掘并利用双向预测中误差的结构相关性，具有改进视频压缩算法的可能。

近年来兴起的深度学习方法为刻画复杂的非线性过程提供了可能。深度学习在大量样本的支持下，使用梯度下降方法与反向传播方法不断地提取特征，学习输入输出之间的连续变化关系。已有的实验表明，深度学习在计算机视觉等相关领域取得了显著的进展。

因此，可以结合深度学习提出至少能够用于视频的帧间编码的新的技术方案。

发明内容

本发明的目的是通过以下技术方案实现的。

根据本发明的视频帧预测方法，包括：

步骤1：确定用于对当前编码块进行编码或对当前解码块进行解码的预测块集合，所述预测块集合包括至少两个预测块；

步骤2：基于所述预测块集合和经训练的自动补偿神经网络来获取当前编码块或解码块的补偿块。

根据本发明的视频帧预测方法，在步骤1之前还包括：

步骤1’：基于利用标准的HEVC视频编码器所获得的多个预测块集合和与所述多个预测块集合一一对应的多个编码块或解码块进行训练，得到所述经训练的自动补偿神经网络。

根据本发明的视频帧预测方法，所述编码块、所述解码块、所述预测块分别是编码树单元中的编码块、解码块、预测块。

根据本发明的视频帧预测装置，包括：

预测块集合确定模块，用于确定用于对当前编码块进行编码或对当前解码块进行解码的预测块集合，所述预测块集合包括至少两个预测块；

经训练的自动补偿神经网络模块，用于基于所述预测块集合来获取当前编码块或解码块的补偿块。

根据本发明的视频帧预测装置，还包括：

未经训练的自动补偿神经网络模块，用于基于利用标准的HEVC视频编码器所获得的多个预测块集合和与所述多个预测块集合一一对应的多个编码块或解码块进行训练，得到所述经训练的自动补偿神经网络模块。

根据本发明的视频帧预测装置，所述编码块、所述解码块、所述预测块分别是编码树单元中的编码块、解码块、预测块。

根据本发明的一种自动补偿神经网络，包括：

依次连接的第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第六卷积层，

其中，所述第一卷积层用于接收预测块集合的数据，所述预测块集合包括至少两个预测块，所述第六卷积层用于输出当前编码块或解码块的补偿块的数据。

根据本发明的另一种自动补偿神经网络，包括：

依次连接的第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第六卷积层和求和层、以及与所述求和层连接的平均计算层，

其中，所述第一卷积层和所述平均计算层用于接收预测块集合的数据，所述第六卷积层用于输出当前编码块或解码块的残差块的数据，所述平均计算层用于输出经过平均后的预测块数据，所述求和层用于对所述残差块的数据和所述经过平均后的预测块数据进行求和运算、以得到当前编码块或解码块的补偿块的数据。

本发明的优点在于：能够降低视频帧预测的误差，提高压缩率。

附图说明

通过阅读下文具体实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出具体实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了现有技术和根据本发明实施方式的视频帧预测方法的简要示意图。

图2示出了根据本发明实施方式的视频帧预测方法的示意流程图。

图3示出了根据本发明实施方式的视频帧预测装置的示意框图。

图4示出了根据本发明实施方式的第一种自动补偿神经网络的示意结构图。

图5示出了根据本发明实施方式的第二种自动补偿神经网络的示意结构图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

图1示出了现有技术和根据本发明实施方式的视频帧预测方法的简要示意图。

如图1所示，现有技术采用两个帧间预测块的加权平均(图1中均为1/2)来获取当前编码块或解码块的补偿块。

本发明所提出的方法则可以利用经过训练样本进行训练后的神经网络(图1中的CNN)，基于两个帧间预测块来直接获取当前编码块或解码块的补偿块。

图2示出了根据本发明实施方式的视频帧预测方法200的示意流程图。

如图2所示，视频帧预测方法200包括以下步骤：

步骤S202：确定用于对当前编码块进行编码或对当前解码块进行解码的预测块集合，所述预测块集合包括至少两个预测块。

例如，在编码端，所述预测块集合可以是使用标准的HEVC的编解码器中支持的运动估计算法得到的两个帧间预测块，也可以是自定义的多于两个的帧间预测块或者多个帧内预测块。在解码端，所述预测块集合通过解码码流中的运动参数得到。

步骤S204：基于所述预测块集合和经训练的自动补偿神经网络来获取当前编码块或解码块的补偿块。

例如，所述经训练的自动补偿神经网络(例如，具体网络结构可以参照附图4)能够发掘(当前编码块或解码块)双向预测过程中的预测误差与纹理结构之间的相关性，并利用这样的相关性降低双向预测的误差。

如背景技术部分所述，传统的方法通过对应点之间的线性组合(即，求平均)的方式得到最终运动补偿的结果，然而，这样的结果会出现很严重的结构性预测误差。本发明提出的视频帧预测方法200直接将原始的线性组合的过程替换为所训练的深度学习网络融合过程，从而对输入的两个预测块进行非线性与非局部的融合，提升预测的质量。

更具体地，在编/解码的过程中，每一个编/解码单元会被递归划分为不同大小的预测单元，不同大小的预测单元会进行实际的运动估计。在双向预测的过程中，得到的前向预测块与后向预测块会通过所训练的深度融合网络(基于预测残差)得到最终运动补偿的结果。

可选地，如图2的虚线框所示，在步骤S202之前，视频帧预测方法200还包括以下步骤：

步骤S202’：基于利用标准的HEVC视频编码器所获得的多个预测块集合和与所述多个预测块集合一一对应的多个待编码块进行训练，得到所述经训练的自动补偿神经网络。

例如，可以通过大量样本的训练提取(多个预测块)相关的纹理特征，通过反向传播与梯度下降算法优化相关的目标函数降低预测的误差，ori_i表示第i个原始图像块的像素值，pred_i表示第i个原始图像块的预测块的像素值。

例如，需要准备训练数据用于相关深度学习网络(即，上述自动补偿神经网络)的训练。准备训练数据的时候，为了克服视频序列中纹理结构多样性不足的问题，使用上下采样的方式扩充训练数据纹理的多样性。在视频编解码器中，提取最优的预测块的纹理结构与待编码的当前块纹理结构进行学习。将所得到的预测块与当前块的像素值归一到[0,1]区间内，并通过标准的反向传播方法进行迭代求解。

可选地，也可以将网络的目标输出直接设定为预测残差，而不是上面的编码块。此时，因为网络需要学习纹理结构与预测残差之间的相关关系，所提出的网络结构(即，上述自动补偿神经网络)避免了传统的残差计算步骤，将训练目标直接转化为预测残差。

等到上述自动补偿神经网络的结果收敛之后，可以将结果收敛后的自动补偿神经网络的系数(具体网络参数可以参照附图4)作为步骤S204中所使用的经训练的自动补偿神经网络的系数。

其中，在上述自动补偿神经网络的训练和上述经训练的自动补偿神经网络正常使用过程中，例如，在进行双向预测的过程中，每一个编码单元会通过递归划分的方式得到预测单元。每一个预测单元通过比较当前块的纹理结构与参考列表中已编码帧的纹理信息之间的相似性，从前向参考列表与后向参考列表中各自得到一个预测块。

更具体地，上述训练过程(即，步骤S202’)包括以下步骤：

第一步：将训练的YUV序列进行上下采样，得到3840×2160，1920×1080，832×480，416×240这些不同分辨率的序列，将这些序列作为提取训练数据的视频序列集。

第二步：使用标准的HEVC的编解码器对这些视频序列进行压缩工作，在进行压缩的过程中，导出最优的双向预测块与当前块的信息作为训练网络的数据集。

第三步：使用深度学习框架Caffe训练相关的网络结构，直到训练的误差不再发生变化。

可选地，所述编码块、所述解码块、所述预测块分别是编码树单元中的编码块、解码块、预测块(即，采用了多尺度生成方式)。

例如，所述编码树单元可以是HEVC标准中所定义的编码树单元。

图3示出了根据本发明实施方式的视频帧预测装置300的示意框图。

如图3所示，视频帧预测装置300包括：预测块集合确定模块302和经训练的自动补偿神经网络模块304。

预测块集合确定模块302用于，确定用于对当前编码块进行编码或对当前解码块进行解码的预测块集合，所述预测块集合包括至少两个预测块。

经训练的自动补偿神经网络模块304用于，基于所述预测块集合来获取当前编码块或解码块的补偿块。

可选地，如图3的虚线框所示，视频帧预测装置300还可以包括未经训练的自动补偿神经网络模块304’。

未经训练的自动补偿神经网络模块304’用于，基于利用标准的HEVC视频编码器所获得的多个预测块集合和与所述多个预测块集合一一对应的多个待编码块进行训练，得到所述经训练的自动补偿神经网络模块。

可选地，所述编码块、所述解码块、所述预测块分别是编码树单元中的编码块、解码块、预测块(即，采用了多尺度生成方式)。

图4示出了根据本发明实施方式的第一种自动补偿神经网络的示意结构图。

如图4所示，第一种自动补偿神经网络包括：(从左到右)依次连接的第一卷积层(图4中的Conv1)、第二卷积层(图4中的Conv2)、第三卷积层(图4中的Conv3)、第四卷积层(图4中的Conv4)、第五卷积层(图4中的Conv5)、第六卷积层(图4中的Conv6)。

其中，所述第一卷积层用于接收预测块集合的数据，所述预测块集合包括至少两个预测块(在图4中最右侧仅仅示例性地示出了2个预测块的情况，每个预测块的大小为2N×2N)。所述第六卷积层用于输出当前编码块或解码块的补偿块的数据(图4中最右侧大小为2N×2N的输出块)。

该第一种自动补偿神经网络直接输出当前编码块或解码块的补偿块的数据。此时，对现有技术的编解码器的改动最小。而且，因为网络对纹理结构进行了学习，所以能够使补偿块的数据更接近原始图像块的数据(即，使预测残差更小)。

图5示出了根据本发明实施方式的第二种自动补偿神经网络的示意结构图。

如图5所示，第二种自动补偿神经网络包括：(从左到右)依次连接的第一卷积层(图5中的Conv1)、第二卷积层(图5中的Conv2)、第三卷积层(图5中的Conv3)、第四卷积层(图5中的Conv4)、第五卷积层(图5中的Conv5)、第六卷积层(图5中的Conv6)和求和层(在图5中用加号表示)、以及与所述求和层连接的平均计算层(即，图5中最下方的“Average SkipConnection”层)。

其中，所述第一卷积层和所述平均计算层用于接收预测块集合的数据，所述预测块集合包括至少两个预测块(在图5中最右侧仅仅示例性地示出了2个预测块的情况，每个预测块的大小为2N×2N)。所述第六卷积层用于输出当前编码块或解码块的残差块的数据(图5中加号左侧大小为2N×2N的Residual块)。所述平均计算层用于输出经过平均后的预测块数据(图5中加号右侧大小为2N×2N的Average块)。所述求和层用于对所述残差块的数据和所述经过平均后的预测块数据进行求和运算、以得到当前编码块或解码块的补偿块的数据(图5中最右侧的大小为2N×2N的Output块)。

与图4所示的第一种自动补偿神经网络不同，在该第二种自动补偿神经网络中，其第六卷积层的输出为预测残差，因此，需要在训练时将网络的目标输出直接设定为预测残差。此时，第二种自动补偿神经网络还能够替换现有技术的传统残差计算步骤，将训练目标直接转化为预测残差。

另外，因为，1)在现有HEVC标准中，两个预测块的平均是对当前块的很好近似；2)网络仅需要学习当前编码块与HEVC中预测块平均值之间的残差，减少了神经网络的学习内容。所以，第二种自动补偿神经网络的训练要比第一种自动补偿神经网络的训练更加简单。

尽管在图4和图5中的各卷积层分别采用了步长为1、大小为3×3的64个不同的卷积核，但是本领域技术人员可以考虑其他不同的参数。

为了使本领域技术人员更好地理解本发明的技术效果，下面给出了表1。

表1：RA模式下的统测结果

从表1可以看出，相比于现有的HEVC视频编码方法中所采用的帧间双向预测方法，根据本发明的视频帧预测方法200对各类图像序列中的大多数图像序列压缩率都提高了(即，比特速率降低了)。

综上所述，根据本发明的上述技术方案，提供了一种基于深度卷积神经网络的视频双向预测增强算法，能够对双向预测中的多个预测块进行非线性与非局部的融合，从而降低预测块纹理结构与预测残差之间的相关性，提升预测的质量。

根据本发明的上述技术方案，能够使用深度学习网络提取双向预测中预测块纹理结构与预测残差之间的相关性，并利用这样的相关性降低双向预测误差。

根据本发明的上述技术方案，能够支持深度卷积网络的训练数据的多尺度生成方式。

根据本发明的上述技术方案，能够在网络中应用平均残差链接来建模纹理结构与预测残差之间的关系。

综上所述，根据本发明的上述技术方案，至少能够使用深度学习技术来增强双向预测的性能(即，降低了率失真)。在大量样本的训练下，深度网络学习预测块的纹理结构与相应的预测残差之间的相关性，并对这样的误差进行非线性与非局部的补偿，从而提升了预测的准确性、提高了压缩算法的性能(即，提高了压缩率)。在网络结构方面，引入平均残差连接(即，图5所示的上述神经网络)来更加准确地刻画预测块纹理结构与预测残差之间的相关关系。

根据本发明的上述技术方案，充分利用了深度学习强大的学习能力、表示能力与泛化能力，通过学习双向预测过程中多个双向预测块的纹理结构与真实的待编码块之间的对应关系，发掘预测块的纹理结构与残差之间的相对关系来降低双向预测中的结构性残差。

根据本发明的上述技术方案，能够应用于新一代视频编码标准，因为引入了基于学习的非线性、非局部的融合过程，上述技术方案能够有效地降低编码块中的预测误差，提升预测的准确性。

实验结果表明上述技术方案能够有效地应用于主流的视频编解码标准，能够显著地提升预测的质量，可以有效地应用于实际的视频编解码框架中去。

以上所述，仅为本发明示例性的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (8)

1.一种视频帧预测方法，其特征在于，包括：

步骤1：确定用于对当前编码块进行编码或对当前解码块进行解码的预测块集合，所述预测块集合包括至少两个预测块；

步骤2：基于所述预测块集合和经训练的自动补偿神经网络来获取当前编码块或解码块的补偿块。

2.根据权利要求1所述的视频帧预测方法，其特征在于，在步骤1之前还包括：

步骤1’：基于利用标准的HEVC视频编码器所获得的多个预测块集合和与所述多个预测块集合一一对应的多个待编码块进行训练，得到所述经训练的自动补偿神经网络。

3.根据权利要求1或2所述的视频帧预测方法，其特征在于，所述编码块、所述解码块、所述预测块分别是编码树单元中的编码块、解码块、预测块。

4.一种视频帧预测装置，其特征在于，包括：

预测块集合确定模块，用于确定用于对当前编码块进行编码或对当前解码块进行解码的预测块集合，所述预测块集合包括至少两个预测块；

经训练的自动补偿神经网络模块，用于基于所述预测块集合来获取当前编码块或解码块的补偿块。

5.根据权利要求4所述的视频帧预测装置，其特征在于，还包括：

未经训练的自动补偿神经网络模块，用于基于利用标准的HEVC视频编码器所获得的多个预测块集合和与所述多个预测块集合一一对应的多个编码块或解码块进行训练，得到所述经训练的自动补偿神经网络模块。

6.根据权利要求4或5所述的视频帧预测装置，其特征在于，所述编码块、所述解码块、所述预测块分别是编码树单元中的编码块、解码块、预测块。

7.一种自动补偿神经网络，其特征在于，包括：

依次连接的第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第六卷积层，

其中，所述第一卷积层用于接收预测块集合的数据，所述预测块集合包括至少两个预测块，所述第六卷积层用于输出当前编码块或解码块的补偿块的数据。

8.一种自动补偿神经网络，其特征在于，包括：

依次连接的第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第六卷积层和求和层、以及与所述求和层连接的平均计算层，

其中，所述第一卷积层和所述平均计算层用于接收预测块集合的数据，所述第六卷积层用于输出当前编码块或解码块的残差块的数据，所述平均计算层用于输出经过平均后的预测块数据，所述求和层用于对所述残差块的数据和所述经过平均后的预测块数据进行求和运算、以得到当前编码块或解码块的补偿块的数据。