CN113947531B - 一种迭代协作的视频超分辨率重构方法及系统 - Google Patents

Abstract

本发明属于计算机视觉领域，具体涉及一种迭代协作的视频超分辨率重构方法及系统，该方法包括：输入低分辨率视频帧序列，提取其特征图；将提取的特征图分别输入对齐网络和分频重构网络，得到时间特征图和空间特征图；利用时空残差融合模块将时间特征图和空间特征图进行融合，得到时空特征图；将得到的时空特征图再次输入到对齐网络和分频重构网络中，将对齐网络与分频重构网络输出的结果输入时空残差模块进行融合；迭代数次直到得到无冗余的时空特征图；将低分辨率视频序列进行上采样后与无冗余的时空特征图相加得到高分辨率图；本发明引入迭代协作网络、分频重构网络和时空残差融合，达到了减小了对齐误差和提升视频超分辨率重构性能的目的。

Description

一种迭代协作的视频超分辨率重构方法及系统

技术领域

本发明属于计算机视觉领域，具体涉及一种迭代协作的视频超分辨率重构方法及系统。

背景技术

根据视频帧是否对齐，现有的视频超分辨重建技术方法可分为两大类：非对齐方法和对齐方法。第一种非对齐方法是将低分辨率视频帧直接送入卷积神经网络，在空间上进行特征提取、融合和重构，使网络自己来利用帧内的时间信息，例如，VSRResNet、FCVSR和3DSRnet。虽然这种方法使用简单的操作完成了视频超分辨率任务，但是非对齐方法不能充分利用帧内的相关性，这限制了视频超分辨重建技术的性能。为了缓解这个问题，第二种对齐方法在进行融合和重构之前先将相邻帧与目标帧对齐。但是，由于现有的方法都是在低分辨率中进行帧对齐，从而引起了对齐误差，如果没有处理好这样的对齐误差，它就会在融合模块和重构模块中放大，最终影响视频超分重构的性能；在早期是通过计算目标帧与相邻帧之间的光流来进行对齐操作，其中的光流估计严重影响着视频重建的质量，而光流估计本身也是个具有挑战性的任务。随后，TDAN首次使用了可变形卷积来处理时间对齐的问题，但是这种方法也会产生对齐误差，从而影响后面的融合、重构模块，最终影响视频超分辨率技术的性能。

发明内容

为解决上述问题，本发明提供了一种迭代协作的视频超分辨率重构方法，本发明通过在对齐网络和重构网络中进行多任务的迭代协作，将重构后的特征图输入到对齐网络中，对齐后的特征图输入到重构网络中，以此来得到时空特征图。通过这样的网络缓解了对齐误差的问题，最终提升了视频超分辨的性能。该方法包括以下步骤：

S1、输入低分辨率视频帧序列，提取其特征图；

S2、将提取的特征图同时输入到对齐网络，得到时间特征图；

S3、将提取的特征图同时输入到重构网络，得到空间特征图；

S4、预置迭代最大次数为N，令迭代次数为i，i＝1，利用时空残差融合模块将得到的时间特征图和空间特征图进行融合，得到第i时空特征图；

S5、将第i时空特征图和低分辨率视频帧特征图输入到对齐网络和分频重构网络中，将对齐网络与分频重构网络输出的结果输入时空残差模块进行融合，得到第i+1时空特征图，判断迭代次数i是否小于N-1；若是，则进入步骤S6，否则迭代结束，输出得到的时空特征图，进入步骤S8；

S6、令i＝i+1，将第i时空特征图和第i-1时空特征图输入对齐网络和分频重构网络，将对齐网络与分频重构网络输出的结果输入时空残差模块进行融合；

S7、得到时空残差模块的输出结果，即第i+1时空特征图，判断迭代次数i是否小于N-1，若是，则返回步骤S6，否则迭代结束，输出得到的时空特征图，进入步骤S8；

S8、将得到的时空特征图送入残差块，残差模块获取的特征图先后进行两次精炼操作，每次精炼操作先将特征图进行卷积并在卷积后进行上采样，将将进行精炼操作后的特征图与上采样后的低分辨率视频帧相加得到高分辨率图。

进一步的，输入低分辨率视频帧序列中提取多帧特征图，每一帧特征图都是目标帧，若共有T帧，当第t帧为目标帧时，t≤T，视频帧序列中提取的其他帧特征图为第t帧的相邻帧。

进一步的，对齐网络采用基于可变形卷积的PCD校准模块实现目标帧与相邻帧的对齐操作，对齐网络利用相邻帧的信息(相邻帧的信息也可以叫做时间信息)来恢复目标帧，以此使目标帧获得更多的细节信息。

进一步的，将提取的目标帧与其相邻帧输入到分频重构网络，得到空间特征图包括：

S31、分频重构网络包括高频分支H-Branch和低频分支L-Branch，将特征图分别输入到高频分支与低频分支；

S32、在高频分支中采用5×5卷积得到高频结构信息，将得到的高频结构信息输入激活函数得到输出结果，将激活函数输出结果送入高频残差块，得到第一高频特征；

S33、在低频分支中采用3×3卷积得到低频结构信息；将得到的低频结构信息输入激活函数得到输出结果，将激活函数输出结果送入低频残差块，得到第一低频特征；

S34、将高频分支中的第一高频特征与低频分支中的第一低频特征交叉融合后，分别送入高频残差块HFRB和低频残差块LFRB，得到第二高频特征与第二低频特征；

S35、将第二高频特征与第二低频特征再次交叉融合后，分别送入高频残差块和低频残差块，得到第三高频特征和第三低频特征；

S36、在高频分支和低频分支中均采用不同尺寸扩展的跳跃连接，将两个分支中跳跃连接的结果、第三高频特征和第三低频特征进行1x1卷积，得到最终的空间特征图。

重构网络只需要利用视频帧内的信息(视频帧内的信息也可以称作空间信息)来恢复目标帧，其目的也是为了使目标帧获得更多的细节信息。

进一步的，高频分支与低频分支均采用扩展的跳跃连接：

y＝λx+F(x)

其中，x为残差块的输入，y为残差块的输出，F为加权神经网络层，λ为调制标量，λ是固定的常数。

进一步的，利用时空残差融合模块将得到的时间特征图和空间特征图进行融合，得到时空特征图包括：

计算时间特征图与低分辨率视频帧特征图，即目标帧的差，然后输入到第一残差块中；

计算空间特征图与目标帧的差，然后输入到第二残差块中；

将两个独立残差块输出的结构进行融合，并进行3×3卷积，得到卷积后的特征图；

将目标帧与卷积后的特征图融合得到时空特征图。

时空残差融合模块通过与输入的视频帧序列相减，得到原本视频帧序列没有的信息，然后将无冗余的时间特征图和无冗余的空间特征图相加，最后再加上视频帧序列，那么就达到了没有冗余的融合时间信息和空间信息的作用。

一种迭代协作的视频超分辨率重构系统，包括分频重构网络、对齐网络和时空残差融合模块，特征提取模块，判断模块：

特征提取模块，用于提取输入低分辨率视频帧序列的特征；

对齐网络，用于根据特征提取模块获取的特征得到时间特征图；

分频重构网络，用于根据特征提取模块获取的特征得到空间特征图；

时空残差融合模块，用于对时间特征图与空间特征图进行融合，得到时空特征图；

判断模块，判断迭代次数是否达到最大值，若没达到则将时空特征图分别输入对齐网络和分频重构网络提取时间特征图和空间特征图。

本发明的有益效果：

本发明引入新颖的迭代协作网络框架，以往的方法仅仅在低分辨率图像中执行对齐操作，会导致对齐误差进而性能低下。与以往的方法不同，本发明将对齐网络与分频重构网络的输出结果输入到时空残差融合模块中进行融合，将融合的结果再次输入到对齐网络和分频重构网络，迭代多次，这样可以在更高分辨率的特征图中进行对齐，和在对齐后的特征图中进行重构，从而减小了对齐误差，提升了视频超分辨率重构的性能。

本发明考虑到恢复高频信息和低频信息的困难不同提出了分频重构网络，分频重构网络由高频分支与低频分支组成，两分支分别学习高频信息和低频信息，并互相交换信息促进彼此的学习，以达到更有效的学习空间信息的目的，从而提升了视频分辨率。

融合也是视频超分辨率方法中的一个重要操作，本发明采用时空残差融合网络，以残差的方式高效融合对齐网络与分频重构网络的输出结果，解决了以往融合操作过程中产生冗余的问题，提升了视频超分性能。

附图说明

图1为本发明整体框架示意图；

图2为本发明的分频重构网络结构图；

图3为本发明时空残差融合模块结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

一种迭代协作的视频超分辨率重构方法，如图1所示，迭代协作的视频超分辨率重构方法引入迭代协作网络Iterative Collaboration，迭代协作网络包括分频重构网络FSRN、对齐网络Inter-frame Alignment和时空残差融合Spatial-time Residual Fusion三个模块，该方法包括：

S1、输入低分辨率视频，经过卷积Conv和残差块Res(×10)提取其特征图；

输入视频中提取多帧特征图，每一帧特征图都是目标帧，若共有T帧，当第t帧为目标帧时，t≤T，视频帧序列中提取的其他帧特征图为第t帧的相邻帧。

S2、将提取的特征图输入到对齐网络，得到时间特征图Φ；

对齐网络采用基于可变形卷积的PCD校准模块实现目标帧与相邻帧的对齐操作。

S3、将提取的特征图输入到分频重构网络，得到空间特征图Ψ；

具体地，将提取的特征图输入到分频重构网络，得到空间特征图，如图2所示，包括：

S31、分频重构网络包括高频分支H-branch和低频分支L-branch，将特征图分别输入到高频分支与低频分支；

S32、在高频分支中采用5×5卷积得到高频结构信息，将得到的高频结构信息输入激活函数ReLU得到输出结果，将激活函数输出结果送入高频残差块HFRB，得到高频特征；

S33、在低频分支中采用3×3卷积得到低频结构信息；将得到的低频结构信息输入激活函数ReLU得到输出结果，将激活函数输出结果送入低频残差块LFRB，得到低频特征；

S34、将高频分支中的高频特征与低频分支中的低频特征交叉融合后，分别送入高频残差块和低频残差块，得到融合后的高频特征与融合后的低频特征；

S35、将融合后的高频特征与融合后的低频特征再次交叉融合后，分别送入高频残差块和低频残差块，得到进一步融合后的高频特征和进一步融合后的低频特征；

S36、在高频分支和低频分支中采用不同尺寸的扩展的跳跃连接，将两个分支中跳跃连接的结果、进一步融合后的高频特征和进一步融合后的低频特征进行1×1卷积，得到最终的空间特征图。

具体地，高频分支与低频分支均采用残差块，也可理解为扩展的跳跃连接：

y＝λx+F(x)

其中，x为残差块的输入，y为残差块的输出，F为加权神经网络层，λ为调制标量，λ是固定的常数。

具体地，如图2所示，高频残差块HFRB中采用5×5卷积和激活函数Relu，低频残差块LFRB中采用3×3卷积和激活函数Relu。

S4、预置迭代最大次数为N，令迭代次数为i，i＝1，利用时空残差融合模块将得到的时间特征图Φ和空间特征图Ψ进行融合，得到第i时空特征图；

具体地，如图3所示，时空残差模块包括：

计算时间特征图Φ与目标帧I^LR的差，然后输入到残差块中；

计算空间特征图Ψ与目标帧I^LR的差，然后输入到另一个独立的残差块中；

将两个独立残差块输出的结构进行融合，并进行3×3卷积，得到卷积后的特征图；

将目标帧与卷积后的特征图融合得到时空特征图M。

S5、将得到的时空特征图与低分辨率视频帧特征图I^LR(M_n-1)再次输入到对齐网络和分频重构网络中，将对齐网络与分频重构网络输出的结果输入时空残差模块进行融合，得到第i+1时空特征图，判断迭代次数i是否小于N-1；若是，则进入步骤S6，否则迭代结束，输出得到的时空特征图，进入步骤S8；

S6、令i＝i+1，将第i时空特征图和第i-1时空特征图输入对齐网络和分频重构网络，将对齐网络与分频重构网络输出的结果输入时空残差模块进行融合；

S7、得到时空残差模块的输出结果，即第i+1时空特征图，判断迭代次数i是否小于N-1，若是，则返回步骤S6，否则迭代结束，输出得到的时空特征图，进入步骤S8；

S8、如图1所示，将得到的时空特征图M_n送入残差块Res(×10)，并将输出结果进行卷积Conv和上采样Shuffle(2×)后得到更精炼的特征图，将更精炼的特征图与上采样后的低分辨率视频帧相加得到高分辨率图。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (8)

1.一种迭代协作的视频超分辨率重构方法，其特征在于，迭代协作的视频超分辨率重构方法引入迭代协作网络，迭代协作网络包括分频重构网络、对齐网络和时空残差融合三个模块，该方法包括：

S1、输入低分辨率视频帧序列，提取其特征图；

S2、将提取的特征图输入到对齐网络，得到时间特征图；

S3、将提取的特征图输入到分频重构网络，得到空间特征图包括：

S21、分频重构网络包括高频分支和低频分支，将特征图分别输入到高频分支与低频分支；

S22、在高频分支中采用5×5卷积得到高频结构信息，将得到的高频结构信息输入激活函数得到输出结果，将激活函数输出结果送入高频残差块，得到第一高频特征；

S23、在低频分支中采用3×3卷积得到低频结构信息；将得到的低频结构信息输入激活函数得到输出结果，将激活函数输出结果送入低频残差块，得到第一低频特征；

S24、将高频分支中的第一高频特征与低频分支中的第一低频特征交叉融合后，分别送入高频残差块和低频残差块，得到第二高频特征与第二低频特征；

S25、将第二高频特征与第二低频特征再次交叉融合后，分别送入高频残差块和低频残差块，得到第三高频特征和第三低频特征；

S26、在高频分支和低频分支中采用扩展的跳跃连接，将两个分支中跳跃连接的结果、第三高频特征和第三低频特征进行1×1卷积，得到最终的空间特征图；

S4、预置迭代最大次数为N，令迭代次数为i，i＝1，利用时空残差融合模块将得到的时间特征图和空间特征图进行融合，得到第i时空特征图；

利用时空残差融合模块将得到的时间特征图和空间特征图进行融合，得到时空特征图包括：

计算时间特征图与低分辨率视频帧特征图的差，然后输入到第一残差块中；

计算空间特征图与低分辨率视频帧特征图的差，然后输入到第二残差块中；

将两个独立残差块输出的结构进行融合，并进行3×3卷积，得到卷积后的特征图；

将目标帧与卷积后的特征图融合得到时空特征图；

S5、将第i时空特征图和低分辨率视频帧特征图输入到对齐网络和分频重构网络中，将对齐网络与分频重构网络输出的结果输入时空残差模块进行融合，得到第i+1时空特征图，判断迭代次数i是否小于N-1；若是，则进入步骤S6，否则迭代结束，输出得到的时空特征图，进入步骤S8；

S6、令i＝i+1，将第i时空特征图和第i-1时空特征图输入对齐网络和分频重构网络，将对齐网络与分频重构网络输出的结果输入时空残差模块进行融合；

S7、得到时空残差模块的输出结果，即第i+1时空特征图，判断迭代次数i是否小于N-1，若是，则返回步骤S6，否则迭代结束，输出得到的时空特征图，进入步骤S8；

S8、将得到的时空特征图送入残差块，残差模块获取的特征图先后进行两次精炼操作，每次精炼操作先将特征图进行卷积并在卷积后进行上采样，将进行精炼操作后的特征图与上采样后的低分辨率视频帧相加得到高分辨率图。

2.根据权利要求1所述的一种迭代协作的视频超分辨率重构方法，其特征在于，输入低分辨率视频帧序列中提取多帧特征图，每一帧特征图都是目标帧，若共有T帧，当第t帧为目标帧时，t≤T，视频帧序列中提取的其他帧特征图为第t帧的相邻帧。

3.根据权利要求1或2所述的一种迭代协作的视频超分辨率重构方法，其特征在于，对齐网络采用基于可变形卷积的PCD校准模块实现目标帧与相邻帧的对齐操作。

4.根据权利要求1所述的一种迭代协作的视频超分辨率重构方法，其特征在于，高频分支与低频分支均采用扩展的跳跃连接：

y＝λx+F(x)

其中，x为残差块的输入，y为残差块的输出，F为加权神经网络层，λ为调制标量，λ是固定的常数。

5.一种实现权利要求1-4任一所述方法的迭代协作的视频超分辨率重构系统，其特征在于，包括分频重构网络、对齐网络和时空残差融合模块，特征提取模块，判断模块：

特征提取模块，用于提取输入低分辨率视频帧序列的特征；

对齐网络，用于根据特征提取模块获取的特征得到时间特征图；

分频重构网络，用于根据特征提取模块获取的特征得到空间特征图；

时空残差融合模块，用于对时间特征图与空间特征图进行融合，得到时空特征图；

判断模块，判断迭代次数是否达到最大值，若没达到则将时空特征图与上次迭代得到的时空特征图一起到输入对齐网络和分频重构网络提取时间特征图和空间特征图。

6.根据权利要求5所述的一种迭代协作的视频超分辨率重构系统，其特征在于，特征提取模块中，输入低分辨率视频帧序列中的每一帧都是目标帧，若共有T帧，当第t帧为目标帧时，t≤T，视频帧序列中的其他帧为第t帧的相邻帧。

7.根据权利要求5所述的一种迭代协作的视频超分辨率重构系统，其特征在于，分频重构网络根据特征提取模块获取的特征得到空间特征图，包括：

S31、分频重构网络包括高频分支和低频分支，将特征提取模块获取的特征分别输入到高频分支与低频分支；

S32、在高频分支中采用5×5卷积得到高频结构信息，将得到的高频结构信息输入激活函数得到输出结果，将激活函数输出结果送入高频残差块，得到第一高频特征；

S33、在低频分支中采用3×3卷积得到低频结构信息；将得到的低频结构信息输入激活函数得到输出结果，将激活函数输出结果送入低频残差块，得到第一低频特征；

S34、将高频分支中的第一高频特征与低频分支中的第一低频特征交叉融合后，分别送入高频残差块和低频残差块，得到第二高频特征与第二低频特征；

S35、将第二高频特征与第二低频特征再次交叉融合后，分别送入高频残差块和低频残差块，得到第三高频特征和第三低频特征；

S36、在高频分支和低频分支中采用扩展的跳跃连接，将两个分支中跳跃连接的结果、第三高频特征和第三低频特征进行1×1卷积，得到最终的空间特征图。

8.根据权利要求5所述的一种迭代协作的视频超分辨率重构系统，其特征在于，利用时空残差融合模块将得到的时间特征图和空间特征图进行融合，得到时空特征图包括：

计算时间特征图与特征提取模块获取的特征图的差，然后输入到独立的第一残差块中；

计算空间特征图与特征提取模块获取的特征图的差，然后输入到另一个独立的第二残差块中；

将两个独立残差块输出的结构进行融合，并进行3×3卷积，得到卷积后的特征图；

将目标帧与卷积后的特征图融合得到时空特征图。