CN109379550B - 基于卷积神经网络的视频帧率上变换方法及系统 - Google Patents

Abstract

本发明提供了一种基于卷积神经网络的视频帧率上变换方法及系统，该方法包括：接收发送端传输的初始视频；将所述初始视频划分为包含连续两帧图像的多组图像块；将所述图像块中的连续两帧图像作为目标卷积神经网络的输入，合成所述连续两帧图像对应的中间帧图像；其中，所述目标卷积神经网络是通过预设的训练数据集训练得到的，所述目标卷积神经网络包括：编码器、解码器以及光流预测层；将所述中间帧图像插入所述图像块内，得到视频帧率上变换后的目标视频。从而可以完成从前后两帧到中间帧的映射，提高原有视频的帧率，更好地完成了视频帧率的上变换。

Description

基于卷积神经网络的视频帧率上变换方法及系统

技术领域

本发明涉及视频处理技术领域，具体地，涉及基于卷积神经网络的视频帧率上变换方法及系统。

背景技术

随着电视广播、互联网和电影产业的快速发展，视频已经成为了人们不可或缺的娱乐消遣方式之一。与此同时，在满足视频内容需求的前提下，人们对于视频质量的追求也在不断提高。视频帧率、码率和分辨率是衡量视频质量的重要标准。视频的帧率代表每秒显示的帧数，直接影响视频画面的流畅程度。视频帧率越高则画面流畅度越好，越没有跳动感。另外，由于网络视频的传输受到网络环境的影响。在低带宽的视频传输中，视频往往受到一定程度的压缩和帧率降采样，从而以更低的码率传输。因此在接收端，需要在原始视频的两帧之间插入一帧或多帧，从而提高视频的帧率。这也使得视频帧率上变换技术应运而生，成为了视频处理技术中的热点课题之一。

在传统方法中，视频帧率的上变换一般分为两步，首先利用运动估计得到运动矢量，然后通过运动补偿插值得到中间一帧。近年来，深度学习被广泛应用于计算机视觉领域。在高维度方面，例如图像分类、动作识别和行为检测等方面，深度学习算法展现了强大的功能。而在低维度方面，例如图像和视频超分辨率，也因为使用深度学习算法而得到很大的提升。

但是，生成中间帧的质量很大程度受到运动矢量精确度的影响，采用深度学习算法得到的生成帧存在过度平滑、细节缺失等问题。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于卷积神经网络的视频帧率上变换方法及系统。

第一方面，本发明实施例提供一种基于卷积神经网络的视频帧率上变换方法，包括：

接收发送端传输的初始视频；

将所述初始视频划分为包含连续两帧图像的多组图像块；

将所述图像块中的连续两帧图像作为目标卷积神经网络的输入，合成所述连续两帧图像对应的中间帧图像；其中，所述目标卷积神经网络是通过预设的训练数据集训练得到的，所述目标卷积神经网络包括：编码器、解码器以及光流预测层；

将所述中间帧图像插入所述图像块内，得到视频帧率上变换后的目标视频。

可选地，在接收发送端传输的初始视频之前，还包括：

构建初始卷积神经网络；

构建训练数据集和验证数据集；

通过所述训练数据集训练所述初始卷积神经网络，得到训练后的卷积神经网络；

通过所述验证数据集对所述训练后的卷积神经网络进行验证，若验证通过，则得到所述目标卷积神经网络。

可选地，所述构建训练数据集和验证数据集，包括：

获取样本视频，所述样本视频为保留原始帧率的视频；

对所述样本视频进行剪切，得到多组包含连续三帧图像的图像块，将所述图像块中的连续三帧图像分别记为：前帧图像、中间帧图像、后帧图像；

将所述前帧图像、中间帧图像、后帧图像作为训练数据集和验证数据集。

可选地，通过所述训练数据集训练所述初始卷积神经网络，得到训练后的卷积神经网络，包括：

以所述训练数据集中图像块的前帧图像、后帧图像作为所述初始卷积神经网络的输入，以所述图像块中的中间帧图像为目标输出；

通过构建一维像素特征和高维感知特征综合的目标损失函数来优化所述初始卷积神经网络；并通过所述训练数据集对所述初始卷积神经网络进行迭代训练，得到训练后的卷积神经网络。

可选地，对所述样本视频进行剪切，得到多组包含连续三帧图像的图像块，包括：

通过FFmpeg从1080p的样本视频中随机抽出多组连续三帧图像；

将所述连续三帧图像分别切割成256×256分辨率的图像块。

可选地，所述目标损失函数为如下的极小值优化问题：

其中：R表示合成的中间帧图像、I表示真实的中间帧图像，

表示卷积神经网络的一维像素特征损失函数，

表示高维感知特征损失函数；λ是超参数，用于控制一维像素特征损失函数和高维感知特征损失函数的比重。

可选地，一维像素特征损失函数的计算公式如下：

其中：||||₁表示1范数，即为绝对值之和。

可选地，高维感知特征损失函数的计算公式如下：

其中：

表示2范数，vgg()表示从训练后的卷积神经网络中提取出高维感知特征。

可选地，所述初始卷积神经网络还包括：线性插值层；其中：

所述编码器包含：6个卷积块×3个卷积层，一共18个卷积层，且在除最后一层以外的每个卷积块后面插入一个池化层；

所述解码器包含：4个循环卷积块×3个卷积层，一共12个卷积层，且在每个卷积块前面插入一个双线性的升采样层，以及一个光流预测层；所述编码器和所述解码器之间采用跳跃式连接，所述编码器的第i个卷积块的最后一个卷积层和所述解码器的第n-i个升采样层连接，n为6，i∈[2,5]；

所述光流预测层，用于预测当前分辨率的光流，形成逐步细化结构；

所述线性插值层，用于根据解码器、编码器以及连续两帧图像预测得到的光流进行三线性插值，合成对应的中间帧图像。

第二方面，本发明实施例提供一种基于卷积神经网络的视频帧率上变换系统，包括：处理器和存储器，其特征在于，所述存储器中存储有程序指令，所述处理器用于调取所述程序指令以执行第一方面中任一项所述的基于卷积神经网络的视频帧率上变换方法。

与现有技术相比，本发明具有如下的有益效果：

本发明提供的基于卷积神经网络的视频帧率上变换方法及系统，将传统方法的运动估计和线性插值合为一步，形成了端到端的视频前后两帧到中间帧的映射，提高了视频帧率。在可选方案中，本发明在卷积神经网络中加入了逐步细化结构的光流预测层，从而显著提高了光流预测的准确性。在可选方案中本发明通过在目标损失函数中增添了高维感知特征的损失函数，提高了映射结果的视觉效果。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1是本发明一实施例提供的基于卷积神经网络的视频帧率上变换方法的流程图；

图2是本发明一实施例中卷积神经网络的网络结构框图；

图3是本发明一实施例中的图像生成结果与现有方法的效果对比示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

如图1所示，本发明提供的基于卷积神经网络的视频帧率上变换方法可以包括如下步骤：

S1：读取原始高帧率视频，剪切为多组连续三帧的图像块，其中前后两帧作为输入，中间帧作为标签，组成有监督的数据集，用于步骤S3中的训练和步骤S4中的验证；

S2：以卷积神经网络为基础，建立端到端的编解码器和线性插值模型，其中解码器中包含逐步细化结构，得到卷积神经网络经过步骤S3的训练即可完成前后两帧到中间帧的映射操作，在步骤S4中验证结果；

S3：建立由一维像素特征和高维感知特征综合的目标损失函数，采用步骤S1中建立的训练数据集，不断训练和优化得到可以实现前后两帧到中间帧映射的卷积神经网络模型；

S4：将步骤S1中建立的用于验证的数据集输入至经步骤S1～步骤S3建立的卷积神经模型，生成高帧率的视频，并对输出结果进行评价。

其中，步骤S1、步骤S3建立数据集和卷积神经网络，步骤S3通过设定的目标损失函数训练得到能完成前后两帧到中间帧的卷积神经网络模型，步骤S4对训练得到的卷积神经网络模型进行评估。下面介绍前后两帧到中间帧映射的卷积神经网络模型的建立过程。

以下通过具体实施例对上述各个步骤中涉及的详细技术操作进行说明，应当理解的是，以下仅仅是本发明部分实施例。

高帧率和低帧率视频对应的数据集的建立：

建立数据集时，将已有的高帧率视频，剪切为多组连续三帧的图像块，其中前后两帧作为输入，中间帧作为标签，组成有监督的一一对应的数据集用于训练和验证。

在本发明部分实施例中，选用现有高质量的1080p分辨率的视频，然后通过FFmpeg工具箱将以上选用视频剪切为单帧1920×1080的图像，并按照连续三帧的方式切割成256×256分辨率的图像块，其中，前后两帧作为数据集的输入，中间帧作为数据集的标签，由此得到了监督学习数据集中的图像对。

将得到的连续三帧图像块线性归一化到[0,1]之间，为了网络训练中方便使用，图像载入时使用向量一一对应的储存在h5文件中。所得到的数据集中，训练数据集由100000组图像构成，验证数据集由1000组图像构成。

卷积神经网络的建立：

卷积神经网络由编解码器和线性插值层两部分组成，将前后两帧图像输入编解码器，得到前后两帧的光流信息(包含光流值和权重值)，然后把前后两帧和光流信息输入线性插值层得到中间帧图像输出。

设计编解码器时，其主要目的是提取前后两帧的光流信息。因此本发明实施例中的编解码器，其中输入的前后两帧图像通过连续的卷积层不断地提取特征，这之中卷积层的卷积核大小不变，其通道数不断增加，并且在中间增加average-pooling层，使得每个通道的尺寸逐渐缩小，从而达到特征提取的操作，这对应于编解码器的编码过程。

随后，使用得到的深层特征通过双线性升采样层增大特征图的尺寸，并通过卷积层不断地提取出前后两帧的光流信息，包含三通道，前两个通道为光流值的x和y方向值，最后一个通道为前后两帧的权重值。特别地，在解码器中，在每一个升采样层前增加了逐步细化结构，用于预测当前分辨率下的光流信息，然后再将此光流信息连接到原网络中，不断细化地得到最终的光流信息，提高预测的准确度。另外，在编解码器对应的卷积层之间添加了跳跃式连接，为解码器提供了更低层的图像信息来预测光流信息。最后，将前后两帧图像和预测得到的光流信息输入到线性插值层中，通过三线性插值得到中间帧。

本发明可选实施例中，编解码器各卷积层的卷积核的大小都是3×3，stride为2，每层卷积操作后都有ReLU作为激活函数，光流预测层除外。编码器包含6个卷积块，每个卷积块包含三个通道数相同的卷积层，其通道数分别为32、64、128、256、512、512，每个卷积块后含有一个stride为2的average-pooling层，最后一个卷积块除外；类似的，解码器包含4个卷积块，每个卷积块包含三个通道数相同的卷积层，其通道数分别为512、256、128、64，在每个卷积块前含有一个双线性升采样层，而在升采样层前包含一个光流预测层，具体为一层通道数为3的卷积层和双线性升采样层，用于预测当前分辨率的光流信息；另外，编解码器的输入层通道数为3，输出层通道数为3。

上述的网络结构如图2所示，其中图例中Conv表示卷积层(包含ReLU激活层)，Avg-pooling表示平均池化层，Upsampling表示双线性升采样层，Trilinear interpolation表示三线性插值层，k为卷积核大小，n表示通道数，s表示stride大小，x表示升采样倍数，虚线表示前向传播，实线表示concat连接。

设定目标函数并训练网络，得到能完成前后两帧到中间帧映射的卷积神经网络模型。具体地，设R、I分别表示真实中间帧和合成中间帧，则卷积神经网络的目标损失函数是一个极小值最优化问题：

其中，

表示卷积神经网络的一维像素特征损失函数，

表示高维感知特征损失函数，λ是超参数，用于控制两种损失函数的比重。在本发明实例中，

可以被写为：

||R-I||₁ (2)

其中||||₁表示1范数，即为绝对值之和，是一种像素级别的计算方法。

可以表示为：

其中

表示2范数，vgg()代表从预训练好的VGG-19网络的第4个池化层前的ReLU层提取出高维感知特征。

的提出用于解决图像细节缺失、过于平滑的问题。

本发明实例中，在考虑到图像具有的一维像素特征的同时，还考虑到了高维感知特征。其中，一维特征对应于图像的像素值，而高维特征对应于从图像中提取出的感知特征。

通过损失函数的设定，在以上描述的卷积神经网络训练完成后，得到能完成视频帧率上变换的网络模型。

实施条件与结果评估：

在本发明部分实施例中，代码实现由Python完成，框架使用PyTorch。训练过程中，选取的每次迭代的批次大小为16，优化方法选择Adam，其参数β₁设置为0.9，β₂设置为0.999，其学习率设置为10^-4。目标函数中的参数设置，λ设置为10^-3。

对于客观评价指标，选用PSNR和SSIM对合成的中间帧进行客观评价，其中，PSNR反映的是合成中间帧和真实中间帧之间像素级的差异程度，而SSIM用于评价评价合成中间帧的结构相关性，两个指标均为值越大表示图像质量越好。

表1本发明实施例与现有方法的效果对比

表1中给出了本发明实施例得出的结果与现有方法的结果评价指标对比，其中DSME是非学习方法，是基于运动补偿的传统视频帧率上变换方法；FlowNet2和DVF均为基于学习的方法，其代码实现来源于作者。从结果来看，本发明实施例的结果在两种评价指标中都具有最高的分值，可以认为本发明提出的方法相对于现有方法在中间帧合成图像的质量上有所提升，结果实例可以参照图3。

从图3可以看出本发明的结果更加清晰，细节更加丰富，尤其是在运动速度较快的区域，能合成出和真实中间帧更加相近的图像。

本发明还提供一种基于卷积神经网络的视频帧率上变换系统的实施例，包括：处理器和存储器，所述存储器中存储有程序指令，所述处理器用于调取所述程序指令以执行图1、图2所述的基于卷积神经网络的视频帧率上变换的方法。

本发明所述方法和系统改善了现有方法的运动估计不准确、合成帧细节缺失等问题，并考虑到图像的一维像素特性和高维感知特征，更好的实现了对视频中间帧的合成。

需要说明的是，本发明提供的所述基于卷积神经网络的视频帧率上变换方法中的步骤，可以利用所述基于卷积神经网络的视频帧率上变换系统中对应的模块、装置、单元等予以实现，本领域技术人员可以参照所述系统的技术方案实现所述方法的步骤流程，即，所述系统中的实施例可理解为实现所述方法的优选例，在此不予赘述。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (8)

1.一种基于卷积神经网络的视频帧率上变换方法，其特征在于，包括：

接收发送端传输的初始视频；

将所述初始视频划分为包含连续两帧图像的多组图像块；

将所述图像块中的连续两帧图像作为目标卷积神经网络的输入，合成所述连续两帧图像对应的中间帧图像；其中，所述目标卷积神经网络是通过预设的训练数据集训练得到的，所述目标卷积神经网络包括：编码器、解码器以及光流预测层；

将所述中间帧图像插入连续两帧图像之间，得到视频帧率上变换后的目标视频；

在接收发送端传输的初始视频之前，还包括：

构建初始卷积神经网络；

构建训练数据集和验证数据集；

通过所述训练数据集训练所述初始卷积神经网络，得到训练后的卷积神经网络；

通过所述验证数据集对所述训练后的卷积神经网络进行验证，若验证通过，则得到所述目标卷积神经网络；

所述初始卷积神经网络还包括：线性插值层；其中：

所述编码器包含6个卷积块，每个卷积块包含三个通道数相同的卷积层，其通道数依次为32、64、128、256、512、512，且在除最后一层以外的每个卷积块后面插入一个池化层；

所述解码器包含4个卷积块，每个卷积块包含三个通道数相同的卷积层，其通道数依次为512、256、128、64，且在每个卷积块前面插入一个双线性的升采样层，以及一个光流预测层；所述编码器和所述解码器之间采用跳跃式连接，所述编码器的第i个卷积块的最后一个卷积层和所述解码器的第n-i个升采样层连接，n为6，i∈[2,5]；

所述光流预测层，用于预测当前分辨率的光流，形成逐步细化结构；

所述线性插值层，用于根据解码器、编码器以及连续两帧图像预测得到的光流进行三线性插值，合成对应的中间帧图像。

2.根据权利要求1所述的基于卷积神经网络的视频帧率上变换方法，其特征在于，所述构建训练数据集和验证数据集，包括：

获取样本视频，所述样本视频为保留原始帧率的视频；

对所述样本视频进行剪切，得到多组包含连续三帧图像的图像块，将所述图像块中的连续三帧图像分别记为：前帧图像、中间帧图像、后帧图像；

将所述前帧图像、后帧图像作为训练数据集，将所述中间帧图像作为验证数据集。

3.根据权利要求2所述的基于卷积神经网络的视频帧率上变换方法，其特征在于，通过所述训练数据集训练所述初始卷积神经网络，得到训练后的卷积神经网络，包括：

以所述训练数据集中图像块的前帧图像、后帧图像作为所述初始卷积神经网络的输入，以所述图像块中的中间帧图像为目标输出；

通过构建一维像素特征和高维感知特征综合的目标损失函数来优化所述初始卷积神经网络；并通过所述训练数据集对所述初始卷积神经网络进行迭代训练，得到训练后的卷积神经网络。

4.根据权利要求2所述的基于卷积神经网络的视频帧率上变换方法，其特征在于，对所述样本视频进行剪切，得到多组包含连续三帧图像的图像块，包括：

通过FFmpeg从1080p的样本视频中随机抽出多组连续三帧图像；

将所述连续三帧图像分别切割成256×256分辨率的图像块。

5.根据权利要求3所述的基于卷积神经网络的视频帧率上变换方法，其特征在于，所述目标损失函数为如下的极小值优化问题：

其中：R表示合成的中间帧图像、I表示真实的中间帧图像，

表示卷积神经网络的一维像素特征损失函数，

表示高维感知特征损失函数；λ是超参数，用于控制一维像素特征损失函数和高维感知特征损失函数的比重。

6.根据权利要求5所述的基于卷积神经网络的视频帧率上变换方法，其特征在于，一维像素特征损失函数的计算公式如下：

其中：|| ||₁表示1范数，即为绝对值之和。

7.根据权利要求5所述的基于卷积神经网络的视频帧率上变换方法，其特征在于，高维感知特征损失函数的计算公式如下：

其中：

表示2范数，vgg()表示从训练后的卷积神经网络中提取出高维感知特征。

8.一种基于卷积神经网络的视频帧率上变换系统，其特征在于，包括：处理器和存储器，其特征在于，所述存储器中存储有程序指令，所述处理器用于调取所述程序指令以执行权利要求1-7中任一项所述的基于卷积神经网络的视频帧率上变换方法。

Images