CN108989731B - 一种提高视频空间分辨率的方法 - Google Patents

Abstract

本发明属于视频编辑技术领域，具体为一种提高视频空间分辨率的方法。本发明步骤包括：局部帧及局部特征的提取：将多帧相邻视频帧输入到局部网络NET_L中，利用帧间的局部信息学习出局部重构帧SR_t ^Local及该帧的特征F_t ^Local；重构当前帧：将学到的局部帧和相邻的前一帧SR_t‑1重构后的视频帧输入到内容网络NET_C中，重构当前帧。本发明不仅充分利用多个相邻低分辨率视频帧之间的关联性，还结合前一帧超分重构后的视频帧来恢复当前视频帧的高频内容。实验结果表明，本方法可较好地保持重构视频的时间连贯性，恢复出丰富的视频细节纹理，提升视频的清晰度视觉质量，同时还达到实时处理的速度，具有较高的应用价值。

Description

一种提高视频空间分辨率的方法

技术领域

本发明属于视频编辑技术领域，具体涉及一种视频超分方法，更具体地涉及提高视频空间分辨率的方法。

背景技术

传统的视频超分技术基本是作为传统的图像超分技术的研究分支。它是一门具有较高科学研究价值及较为广泛应用领域的现代视频处理技术。

视频分辨率是视频质量的重要指标,分辨率越高,细节越精细,质量越佳，视频提供的信息越丰富。因此HR视频在各个领域有着重要的应用价值及研究前景。但由于视频在采集、存储、传输过程中的限制或干扰，导致其存在不同程度的质量退化。通常获取HR视频最直接的方法是使用HR相机，但由于成本问题，实际情况下许多应用并没有条件使用HR相机。而视频超分技术采用基于信号处理的方法提高视频分辨率，是一种有效提高视频分辨率、改善视频性能的途径，并且该方法成本低，因此对高效高质量的视频超分技术的研究显得更加重要。

视频超分不是简单的扩大视频尺寸，它产生了新的包含更有价值信息的视频。目前，这类视频超分技术在生物医学、航空研究、军事应用、视频监控、视频格式转换、视频增强和复原(如老旧电影的翻制)、显微成像、虚拟现实等领域都表现出巨大的应用潜力。

本发明方法涉及视频超分技术，是在已有的低分辨率视频的基础上通过利用视频每帧内的局部信息及相邻帧间的关联信息，重构出内容更丰富、细节更清晰的视频帧，生成分辨率更高的视频序列。视频超分技术的主要思想是采用一定的算法，从LR的视频序列重构出HR视频序列，从而使获得的视频明显减少模糊、噪声等瑕疵而具有更丰富的高频细节及纹理信息而表现出更好的视觉质量，这类视频超分技术是计算机视频处理领域的一个基本问题。

视频超分可以通过基于插值的算法、基于实例方法和基于神经网络的方法来实现。早期的超分方法是基于插值的，如双三次插值和兰索斯重采样，由于超分是一种不适定问题，每个像素从低分辨率视频到高分辨率视频的映射上有许多解，并且这类方法仅使用低分辨率视频的信息，因此很难模拟真实视频的视觉复杂性，对于纹理复杂、平滑着色的视频，插值法很可能生成不真实的效果。不能很好地重构出高分辨率视频。

因此超分需要很强的先验来约束解空间，最近大多数较好的方法多采用基于实例的策略来学习强大的先验知识。该方法通过找到多个LR碎片与HR碎片间的对应关系，为每个LR碎片在LR视频帧中找到与该碎片最相似的几个碎片，并计算出使重构代价最小的权值参数，最后使用多个LR片和权值参数来生成高分辨率片形成高分辨率视频。该方法的不足是会损失视频中的高频内容，此外由于存在重叠片的计算会导致计算量的增大。

近年来，随着CNN在计算机视觉领域的应用，出现了许多基于CNN的图像超分方法。这些方法实现了这一技术突破性的发展，其中以SRCNN^[1]及VDSR^[3]方法最具代表性。通过对视频每一帧采用这些方法可以简单地将图像超分扩展到视频超分领域。

C.Dong等人在2015年提出来基于卷积神经网络的图像超分方法(SRCNN)，通过学习LR和HR图像间的映射关系来重建HR图像。映射表现为一个CNN，将低分辨率图像作为输入，将高分辨率图像作为输出。该方法利用了神经网络的优越性，将图像超分问题建模为神经网络结构，通过优化目标函数训练合适的神经网络得到简单有效的增强图像分辨率的模型。

神经网络容易对大量训练集数据学习得到，此外一旦训练好超分的模型后，对高分辨率图像的重构就是简单的前馈过程，因此计算复杂度也得到大幅度降低。C.Dong等人又对SRCNN方法进行了改进，提出了FSRCNN^[2]方法，改进了神经网络的结构实现更快的超分效果。Kim J等人2016年通过加深神经网络结构在图像分辨率上取得了更好的效果，同时利用残差学习提高网络效率加快网络的训练速度。

在以上基于CNN的图像超分技术的基础之上，Kappeler A在2016年等人提出了基于CNN的视频超分技术VSRnet^[4]，该技术不仅对视频每一帧使用图像超分方法进行重构，还结合了视频相邻帧间相关性，利用了更多的信息来重构视频，得到更好的视频超分效果。但这种方法需要对输入的视频进行上采样预处理，增加了超分过程的计算复杂度，CaballeroJ等人2016年又提出了一种新的视频超分网络结构VESPCN^[5]，将视频上采样的预处理操作融入神经网络的结构，加快了视频超分的过程。随着神经网络在超分领域实现的越来越好的效果，更多的学者通过继续改进神经网络的结构、对视频相邻间信息的融合方式，在超分结果的质量及速度方面不断得到突破。传统视频超分方法仅利用低分辨率视频中的信息，对视频每一帧进行超分。

然而传统的视频超分方法仅利用了低分辨率视频的信息来重构视频帧，其效果往往局限于低分辨率视频中的信息，不足以提供丰富的信息来恢复出真实的高分辨率视频中的纹理细节等较为复杂的内容。此外传统的视频超分方法为了利用相邻帧之间的相关性，常常要采用光流法对相邻帧的运动信息进行估计并补偿，这极大程度上增加了视频超分的时间复杂度。

发明内容

为了改进现有技术得到更好的超分效果，本发明的目的在于提供一种提高视频空间分辨率的方法，以提升低分辨率视频的质量，达到实时超分效果。

本发明提供的提高视频空间分辨率的方法，具体步骤如下：

(1)局部帧及局部特征的提取

将当前帧(LR_t)与其前后相邻的帧级联起来(LR_t-1，LR_t+1)输入到局部网络NET_L中，利用帧间的局部信息学习出局部重构帧SR_t ^Local及该帧的特征F_t ^Local：

其中，W_L为局部网络中的参数，F_t ^Local表示局部网络在当前时间t生成的特征，SR_t ^Local表示局部网络在当前时间t得到的超分后的帧；

(2)重构当前帧

将步骤(1)学到的局部帧SR_t ^Local、局部帧的特征F_t ^Local、相邻的前一重构后的视频帧SR_t-1及前一帧的内容特征F_t-1输入到内容网络NET_C中，重构当前帧SR_t并生成当前帧的内容特征F_t：

其中，W_c为内容网络中的参数。

本发明步骤(1)中，局部网络NET_L对视频每一帧利用该帧及其前后相邻2帧的信息，初步恢复出每一帧中的内容；局部网络NET_L由5个卷积层、8个残差块以及1个去卷积层构成；局部网络的具体结构及学习流程为：

首先，将相邻的3帧视频(LR_t-1，LR_t，LR_t+1)级联起来一同输入到局部网络NET_L中，依次经过1个大小为3*3的卷积层、8个残差块，得到中间特征f_t；其中，残差块采用论文[6]中的结构，由两个卷积层及一个跳跃连接构成；

f_t＝Res₈(Res₈(...Res₈(Conv(LR_t-1，LR_t，LR_t+1))...)) (3)

然后，将中间特征分两路处理，分别得到局部网络的两个输出，局部超分帧SR_t ^Local和局部特征F_t ^Local，具体步骤为：为得到局部超分帧SR_t ^Local，将中间特征经过一个大小为3*3的卷积层及一个大小为8*8的去卷积层得到局部超分帧的残差图，再将该残差图与双三次插值上采样后的当前帧相加，得到局部超分帧SR_t ^Local；其中去卷积层采用步幅为4，来实现视频帧的空间分辨率的放大；

为得到局部特征F_t ^Local，将中间特征通过两个大小为3*3的卷积层估计出当前帧的局部特征F_t ^Local，

本发明步骤(2)中，内容网络NET_C基于步骤(1)输出的局部超分帧SR_t ^Local和局部特征F_t ^Local，再结合前一帧的重构结果SR_t-1及其内容特征F_t-1来重构当前帧SR_t及当前帧的内容特征F_t；内容网络NET_C包括5个卷积层、4个残差块以及2个空间到深度的变换，其中残差块采用论文[6]中的结构；具体学习流程为：

首先，将局部网络输出的局部超分帧SR_t ^Local和前一帧的重构结果SR_t-1输入内容网络中，分别经过两个空间到深度的变换得到其对应特征；将生成的两个特征级联起来，经过一个大小为3*3的卷积层和两个残差块，生成中间特征f₁；

然后，将f₁与局部网络生成的局部特征F_t ^Local及前一帧的内容特征F_t-1级联起来，经过一个卷积层和两个残差块生成特征f₂；

最后，将f₂再分两路处理，分别生成当前重构后的帧SR_t及当前帧的内容特征F_t；具体步骤为：首先为生成重构后的当前帧SR_t，将上一步的输出经过一个3*3的卷积层和一个大小为8*8步幅为4的去卷积层生成重构的当前帧的残差图，将该残差图与双三次插值上采样得到的当前帧相加，得到当前帧的重构结果SR_t；

SR_t＝deconv(Conv(f₂))+Bicubic(LR_t) (8)

将上一步的输出经过两个3*3的卷积层生成当前帧的内容特征F_t；

F_t＝Conv(Conv(f₂)) (9)

其中，内容网络生成重构结果SR_t及内容特征F_t将作为额外信息输入到下一帧的内容网络中，指导下一帧的超分过程。

本发明方法不仅利用局部网络从低分辨率的输入视频中估计每一帧内的细节信息得到初步的超分后的视频帧，还使用内容网络将相邻前一超分后的视频帧与局部网络提取的特征及重构的视频帧来增强当前视频帧的效果，有效提升了重构视频的质量。本发明主要针对效果及速度两方面对现有的视频超分方法进行改进，端到端地实现了视频超分过程及高质量的视频重构效果。实验结果表明，本方法可较好地保持重构视频的时间连贯性，恢复出丰富的视频细节纹理，提升视频的清晰度视觉质量，同时还达到实时处理的速度，具有较高的应用价值。

附图说明

图1为本发明的流程图。

图2为局部网络的结构图。

图3为内容网络的结构图。

图4利用本方法对视频超分的效果对比图。

具体实施方式

对于一个低分辨率视频序列，采用图1所介绍的方法。

对第i帧视频LR_i的超分，具体方法是：

(1)首先，将当前帧LR_i与其前后各n帧图像(LR_i-n:i+n)一同输入到局部网络中。

具体过程如图2所示，首先将输入的2n+1帧视频经过1个卷积层、8个残差块，得到中间特征；其中残差块采用论文[6]中的结构，由两个卷积层及一个跳跃连接组成；局部网络中采用的卷积层大小为3*3，步幅为1；去卷积层的大小为8*8，步幅为4；

将残差块输出的中间特征分两路处理，其中一路经过一个卷积层及一个去卷积层初步得到当前帧的局部帧SR_t ^Local，另一路则将中间特征通过两个卷积层来估计当前帧的局部特征F_t ^Local；

(2)其次，如图3所示，将上一步学到的局部帧SR_t ^Local及相邻的前一重构帧SR_t-1分别经过两个空间到深度的变换得到其对应特征；将生成的两个特征级联起来，经过一个大小为3*3的卷积层和两个残差块，生成中间特征；再将其与局部网络生成的局部特征F_t ^Local及前一帧的内容特征F_t-1级联起来，经过一个卷积层和两个残差块；

(3)最后将上一步的输出再分两路处理，分别生成当前重构后的帧SR_t及当前帧的内容特征F_t：首先为生成重构后的当前帧SR_t，将上一步的输出经过一个3*3的卷积层和一个大小为8*8步幅为4的去卷积层生成重构的当前帧的残差图，将该残差图与Bicubic上采样得到的当前帧相加，得到当前帧的重构结果SR_t；将上一步的输出经过两个3*3的卷积层生成当前帧的内容特征F_t；其中内容网络生成重构结果SR_t及内容特征F_t将作为额外信息输入到下一帧的内容网络中，指导下一帧的超分过程。

图4为本方法的一个实验例子。如该图所示，(a)图是输入的低分辨率视频，(b)是使用本发明方法重构出来的高分辨率图像，(c)是真实的高分辨率图像。可以看出，本发明方法可以有效地恢复出原始高分辨率视频中的纹理及边缘等细节信息，生成具有较高视觉质量的高分辨率视频。

参考文献：

[1]C.Dong,C.C.Loy,K.He,and X.Tang.Image super-resolution using deepconvolutional networks.IEEE Transactions on Pattern Analysis and MachineIntelligence(TPAMI),38(2):295–307,2015.(SRCNN)

[2]C.Dong,C.C.Loy,and X.Tang.Accelerating the super-resolutionconvolutional neural network.In European Conference on Computer Vision(ECCV),pages 391–407.Springer International Publishing,2016.(FSRCNN)

[3]Kim J,Lee J K,Lee K M.Accurate Image Super-Resolution Using VeryDeep Convolutional Networks[C]//IEEE Conference on Computer Vision andPattern Recognition.IEEE Computer Society,2016:1646-1654.(VDSR)

[4]Kappeler A,Yoo S,Dai Q,et al.Video Super-Resolution WithConvolutional Neural Networks[J].IEEE Transactions on Computational Imaging,2016,2(2):109-122.(VSRnet)

[5]Caballero J,Ledig C,Aitken A,et al.Real-Time Video Super-Resolution with Spatio-Temporal Networks and Motion Compensation[J].2016.(VESPCN)

[6]Lim,B.；Son,S.；Kim,H.；Nah,S.；and Lee,K.M.2017.Enhanced deepresidual networks for single image superresolution.In IEEE Conference onComputer Vision and Pattern Recognition Workshops(CVPR’2017),1132–1140.。

Claims (1)

1.一种提高视频分辨率的方法，其特征在于，具体步骤如下：

(1)局部帧及局部特征的提取

将多个相邻的视频帧(LR_t-1，LR_t，LR_t+1)输入到局部网络NET_L中，利用帧间的局部信息学习出局部重构帧SR_t ^Local及该帧的局部特征F_t ^Local：

其中，W_L为局部网络中的参数，局部特征F_t ^Local表示局部网络在当前时间t生成的特征，局部重构帧SR_t ^Local表示局部网络在当前时间t得到的超分后的帧；

(2)重构当前帧

将步骤(1)学到的局部重构帧SR_t ^Local及该帧的局部特征F_t ^Local和相邻的前一重构后的视频帧SR_t-1及前一帧的内容特征F_t-1输入到内容网络NET_C中，重构当前帧SR_t并生成当前帧的内容特征F_t：

其中，W_c为内容网络中的参数；

步骤(1)中，局部网络NET_L对视频每一帧利用该帧及其前后相邻2帧的信息，初步恢复出每一帧中的内容；局部网络NET_L由4个卷积层、8个残差块以及1个去卷积层构成；具体流程为：

首先，将相邻的3帧视频(LR_t-1，LR_t，LR_t+1)级联起来一同输入到局部网络NET_L中，依次经过1个大小为3*3的卷积层、8个残差块，得到中间特征f_t；其中，残差块由两个卷积层及一个跳跃连接构成；

f_t＝Re s₈(Re s₈(...Re s₈(Conv(LR_t-1，LR_t，LR_t+1))...))

然后，将中间特征f_t分两路处理，分别得到局部网络的两个输出，局部重构帧SR_t ^Local和局部特征F_t ^Local，具体步骤为：为得到局部重构帧SR_t ^Local，将中间特征经过一个大小为3*3的卷积层及一个大小为8*8的去卷积层得到局部超分帧的残差图，再将该残差图与双三次插值上采样后的当前帧相加，得到局部重构帧SR_t ^Local；其中去卷积层采用步幅为4，来实现视频帧的空间分辨率的放大；

为得到局部特征F_t ^Local，将中间特征通过两个大小为3*3的卷积层估计出当前帧的局部特征F_t ^Local；

步骤(2)中，内容网络NET_C基于步骤(1)输出的局部重构帧SR_t ^Local和局部特征F_t ^Local，再结合前一帧的重构结果SR_t-1及其内容特征F_t-1来重构当前帧SR_t及当前帧的内容特征F_t；内容网络NET_C包括5个卷积层、4个残差块以及2个空间到深度的变换，其中残差块由两个卷积层及一个跳跃连接构成；具体学习流程为：

首先，将局部网络输出的局部重构帧SR_t ^Local和前一帧的重构结果SR_t-1输入内容网络中，分别经过两个空间到深度的变换得到其对应特征；将生成的两个特征级联起来，经过一个大小为3*3的卷积层和两个残差块，生成中间特征f1；

然后，将其与局部网络生成的局部特征F_t ^Local及前一帧的内容特征F_t-1级联起来，经过一个卷积层和两个残差块，生成特征f2；

最后，将上一步的输出再分两路处理，分别生成当前重构后的帧SR_t及当前帧的内容特征F_t；具体步骤为：首先为生成重构后的当前帧SR_t，将上一步的输出经过一个3*3的卷积层和一个大小为8*8步幅为4的去卷积层生成重构的当前帧的残差图，将该残差图与双三次插值上采样得到的当前帧相加，得到当前帧的重构结果SR_t；

SR_t＝deconv(Conv(f₂))+Bicubic(LR_t)

将上一步的输出经过两个3*3的卷积层生成当前帧的内容特征F_t；其中内容网络生成重构结果SR_t及内容特征F_t将作为额外信息输入到下一帧的内容网络中，指导下一帧的超分过程；

F_t＝Conv(Conv(f₂))。

Images