CN112070667A - 一种多尺度特征融合的视频超分辨率重建的方法 - Google Patents

Abstract

本发明公开了一种多尺度特征融合的视频超分辨率重建的方法，步骤包括：步骤1、采集超分辨率重建网络的训练样本；步骤2、重建低分辨率视频帧之间的光流；步骤3、进行运动补偿；步骤4、进行非局部均值处理；步骤5、超分辨率重建；步骤6、返回步骤2至步骤5，迭代训练，直到达到预置的训练次数，得到训练好的网络模型；步骤7、用训练好的模型进行视频的超分辨率重建，将步骤1到步骤6训练好的网络模型，输入低分辨率视频帧序列

能够获得放大K倍的超分辨率重建视频帧序列

其中的起始帧IV₁ ^L和终止帧

采用插值方法放大K倍，即成。本发明的方法重建出来的视频帧序列的细节保持效果有明显的提高。

Description

一种多尺度特征融合的视频超分辨率重建的方法

技术领域

本发明属于视频超分辨率重建技术领域，涉及一种多尺度特征融合的视 频超分辨率重建的方法。

背景技术

视频超分辨率重建是指将连续的低分辨率视频帧序列，采用某种算法重 建为相对应的高分辨率视频帧序列，即得到像素密度更高、细节更加逼真、 保真度更高的高分辨率视频帧序列。高分辨率的视频帧可以保持事物更多的 细节信息，而这些细节信息在实际应用中恰巧具有重要的现实意义。

但是，现有技术由于理论及算法设计的局限，在视频超分辨率重建过程 中，仍然难以克服细节保持效果提高不明显的技术难题。

发明内容

本发明的目的是提供一种多尺度特征融合的视频超分辨率重建的方法， 解决了现有技术在视频超分辨率重建过程中，存在细节保持效果提高不明显 的问题。

本发明采用的技术方案是，一种多尺度特征融合的视频超分辨率重建的 方法，按照以下步骤实施：

步骤1、采集超分辨率重建网络的训练样本；

步骤2、重建低分辨率视频帧之间的光流；

步骤3、进行运动补偿；

步骤4、进行非局部均值处理；

步骤5、超分辨率重建；

步骤6、返回步骤2至步骤5，迭代训练，直到达到预置的训练次数， 得到训练好的网络模型；

步骤7、用训练好的模型进行视频的超分辨率重建，

将步骤1到步骤6训练好的网络模型，输入低分辨率视频帧序列

能够获得放大K倍的超分辨率重建视频帧序列

其中的起始帧IV₁ ^L和终止帧

采用插值方法放大K倍， 即成。

本发明的有益效果是，在超分辨率重建网络模型中，将光流网络得到的 特征图，先经过Non_Local操作，计算特征图中所有点的相关性，从而让网 络结构近乎有全局的感受野，为后面的层带去更加丰富的细节信息；然后再 将其输出送入到重建网络中，重建部分对不同尺度的卷积特征进行了融合， 同时采用密集残差连接的方式来进行特征的复用。采用本发明方法重建出来 的视频帧序列的细节保持效果有明显的提高，在标准测试集Vid4上的测试 结果为PSNR＝26.19db，SSIM＝0.781。

附图说明

图1是本发明方法中的光流重建网络OFRNet的结构流程图；

图2是本发明方法中的Non_Local模块的结构流程图；

图3是本发明方法中的重建网络SRNet的结构流程图；

图4是本发明方法中的多尺度特征融合模块MSFFB的结构流程图；

图5是本发明方法中的RDB Block的结构流程图；

图6是本发明方法的整体结构流程图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明的多尺度特征融合的视频超分辨率重建的方法，按照以下步骤具 体实施：

步骤1、采集超分辨率重建网络的训练样本，

1.1)建立训练数据集，

由于深度学习训练需要大量的训练样本，因此本步骤选择公开发表的 CVDL数据集作为训练样本，该CVDL数据集中的高分辨率视频，设为

(即N段视频，每个视频长度为T帧)，将这 些视频帧图像序列作为高分辨率标注样本；设超分辨率重建的结果是将视频 帧放大K倍，则将这些高分辨率视频帧图像进行K倍降采样，得到的

作为训练样本视频帧；

1.2)对训练数据进行预处理，

为了减少训练过程中的显存消耗，在训练阶段将步骤1.1)降采样得到 的低分辨率视频帧

随机裁剪成一个patch的大小， (优选patch＝32)，即每个帧图像随机裁剪成patch×patch大小的子块；同 时，在对应的高分辨率视频帧中裁取相对应的位置上大小为 K·patch×K·patch的子块，作为低分辨率视频帧的标签；

为了提高模型的泛化能力，还可以通过旋转、镜像等方式对训练数据进 行增强，设获得的训练样本为N段视频，每个视频长度为T帧，记作

步骤2、重建低分辨率视频帧之间的光流，

如图1，本步骤所采用的光流重建网络基于OFRNet网络模型(该OFRNet 网络模型可在公开发表的论文及专业书籍中检索到)，该OFRNet网络模型 借鉴传统光流算法中由粗到细的原理，总共分为3层，实现对低分辨率视频 帧之间光流的K倍放大重建，具体过程是，

2.1)假设OFRNet网络模型的输入为t时刻和t+1时刻的第i个视频的大 小为patch×patch低分辨率视频帧

和

(其 中，视频

起始帧t＝1，即

和终止帧t＝T，即

不参与重建，仅仅参 与其它帧的重建计算，因此，输入时是

计算时就为 i＝1,2,...,N，t＝2,3,...,T-1)；经过网络的第一层level1时，先利用全局平 均池化对视频帧

和

进行2倍降采样，生成大小为0.5·patch×0.5·patch 的特征图

和

2.2)将特征图

和

按通道拼接后，送入(2·K²)@3×3×2的卷积核 进行卷积之后，获得大小为0.5·patch×0.5·patch×(2·K²)的特征图F_i,t ^LD；

2.3)将特征图F_i,t ^LD经过两个RDB Block后，得到大小为 0.5·patch×0.5·patch×(2·K²)特征图Fb1_i,t ^LD和Fb2_i,t ^LD；

2.4)将特征图Fb1_i,t ^LD和Fb2_i,t ^LD，按通道拼接后送入2@3×3×(4·K²)的 卷积核进行卷积之后，得到光流网络第一层的输出，即

和

之间的大小 为0.5·patch×0.5·patch×2的光流

2.5)对步骤2.4)得到的第一层输出的光流

进行2倍上采样，得 到大小为patch×patch×2的光流特征

2.6)利用光流特征

对

进行运动补偿，(即warp)，得到大 小为patch×patch的

2.7)将

按通道拼接后作为第二层level2的输入，第 二层的操作同第一层，见步骤2.1)至步骤2.4)，再将得到的输出与步骤2.5) 得到的第一层输出的光流特征

相加，实现第一次的两个尺度信息的融 合，作为大小为patch×patch×2的输出

2.8)利用输出

对

进行运动补偿，(称为warp)，得到

2.9)将

按通道拼接后作为第三层level3的输入，第 三层的操作同第二层，见步骤2.7)至步骤2.8)，再将得到的输出经过K倍 放大的亚像素卷积之后，与

上采样K倍得到的结果相加，得到大小为 K·patch×K·patch高分辨率的光流

步骤3、进行运动补偿，

3.1)计算光流序列图，

将步骤2得到的大小为K·patch×K·patch高分辨率的光流

通过空 间到深度映射(该深度映射space-to-depth在相关公开发表的学术论文中可 检索到)，得到K²个大小为patch×patch的光流图序列

3.2)利用光流图序列

分别对视频帧

进行运动补偿，(即 warp)，将得到的结果按通道拼接，得到大小为patch×patch×K²特征图

3.3)同理，对由步骤2.9)得到的t-1和t时刻的光流

进行与步 骤3.1)和步骤3.2)同样地操作，得到大小为patch×patch×K²特征图

步骤4、进行非局部均值处理，

4.1)将步骤3.2)和3.3)得到的大小为patch×patch×K²特征图

和

与视频帧

按通道拼接，得到大小为 patch×patch×(2·K²+3)的特征图

4.2)参照图2，将

设为非局部均值处理模块Non_Local的输入，设 M＝[(2·K²+3)/2]_取整，经过M@1×1×(2·K²+3)的卷积核θ、

和g进行卷积运 算后，将每个通道的patch×patch大小的矩阵，按行排成列向量，则列向量 的维数是patch²，(即patch×patch＝patch²)，分别得到大小为patch²×M的 特征矩阵

4.3)计算步骤4.2)得到的特征矩阵

的乘积：

得到的乘积

是大小为patch²×patch²的矩阵；

4.4)对乘积

进行softmax处理(softmax处理是现有技术)，得到当 前位置像素与其他位置像素的归一化相关性，记为P_i,t，计算式如下：

4.5)计算步骤4.4)得到的矩阵P_i,t与步骤4.2)得到的特征矩阵

的乘 积：

得到的特征矩阵PW_i,t大小为patch²×M；

4.6)将特征矩阵PW_i,t按照每行patch个元素重新排成矩阵，得到 patch×patch×M大小的特征矩阵V_i,t，经过(2·K²+3)@1×1×M的卷积核卷积 运算之后，得到patch×patch×(2·K²+3)的特征矩阵Ma_i,t；

4.7)将特征矩阵Ma_i,t与前述输入的特征矩阵

求和：

得到No_Local模块输出的特征图Z_i,t；

步骤5、超分辨率重建，

5.1)设置超分辨率网络结构，

对步骤4.7)得到的输出大小为patch×patch×(2·K²+3)特征图Z_i,t，先经过(4·K²)@3×3×(2·K²+3)的卷积核进行卷积运算，得到大小为 patch×patch×(4·K²)的特征图F_i,t；

5.2)设置多尺度特征融合结构的SRNet网络的RDB模块，

参照图3，设SRNet网络(该SRNet网络的模型结构可在公开发表的论 文及专业书籍中检索到)主要是由5个RDB Block组成的，为了使得最终重 建出来的视频帧保持更多的细节信息，本步骤提出了一种多尺度的特征融合 模块MSFFB来构成图3所示SRNet的RDB模块，具体结构如图4所示；

5.2.1)将特征图F_i,t，分别经过(2·K²)@3×3×(4·K²)和(2·K²)@5×5×(4·K²)的卷积，再将所得到的特征图通过ReLU非线性变换，得到大小为 patch×patch×(2·K²)的特征矩阵T1_i,t和Q1_i,t，其计算式分别如下：

T1_i,t＝f(w⁽¹⁾ _3×3*F_i,t+b₁) (5)

Q1_i,t＝f(w⁽¹⁾ _5×5*F_i,t+b₂) (6)

其中，f表示ReLU激活函数，参数w⁽¹⁾ _3×3、w⁽¹⁾ _5×5、b₁和b₂由网络训练 得到；

5.2.2)将特征矩阵T1_i,t和Q1_i,t按通道进行拼接，拼接后的结果记为特征 矩阵K1_i,t；

5.2.3)将拼接后的特征矩阵K1_i,t，依次经过(4·K²)@3×3×(4·K²)和 (4·K²)@5×5×(4·K²)的卷积，分别得到大小为patch×patch×(4·K²)的特征矩阵T2_i,t和Q2_i,t，计算式分别如下：

T2_i,t＝f(w⁽²⁾ _3×3*K1_i,t+b₃) (7)

Q2_i,t＝f(w⁽²⁾ _5×5*T2_i,t+b₄) (8)

其中，f表示ReLU激活函数，参数w⁽²⁾ _3×3、w⁽²⁾ _5×5、b₃和b₄由网络训练 得到；

5.2.4)将特征矩阵Q2_i,t送入(2·K²)@1×1×(4·K²)的卷积中进行降维，通 道数变为原来的一半，得到该模块的输出大小为patch×patch×(2·K²)的特征 A_i,t；

5.2.5)采用如图5所示的信号连接方式，将MSFFB模块的输出进行共 享和复用，得到第一个RDB Block的输出，大小为patch×patch×(4·K²)的特 征矩阵

将

作为下一个RDB Block的输入，依次类推，得到每个RDB Block的输出

的大小均为patch×patch×(4·K²)；

5.3)输出超分辨率放大视频帧，

将步骤5.1)得到的特征图F_i,t和步骤5.2)得到的每个RDB Block的输 出

按通道进行拼接，得到大小为patch×patch×(6·4·K²) 的特征图W_i,t；再将特征图W_i,t送入K²@1×1×(6·4·K²)的卷积中进行降维；最 后通过亚像素卷积进行K倍放大，得到重建后的大小为K·patch×K·patch视频 帧SR_i,t，此操作使得整个网络能够捕获更多的特征信息，重建出来的视频帧 能够保持更多的细节信息；

步骤6、返回步骤2至步骤5，迭代训练，直到达到预置的训练次数， 得到训练好的网络模型；

该预置的训练次数为经验值，优选为30万代至50万代之间；

步骤7、用训练好的模型进行视频的超分辨率重建，

参照图6，将步骤1到步骤6训练好的网络模型，输入低分辨率视频帧 序列

能够获得放大K倍的超分辨率重建视频帧序列

其中的起始帧IV₁ ^L和终止帧

采用插值方法(插值方法 是现有技术，可在相关文献及教材中检索到)放大K倍，即成。

Claims (6)

1.一种多尺度特征融合的视频超分辨率重建的方法，其特征在于，按照以下步骤实施：

步骤1、采集超分辨率重建网络的训练样本；

步骤2、重建低分辨率视频帧之间的光流；

步骤3、进行运动补偿；

步骤4、进行非局部均值处理；

步骤5、超分辨率重建；

步骤6、返回步骤2至步骤5，迭代训练，直到达到预置的训练次数，得到训练好的网络模型；

步骤7、用训练好的模型进行视频的超分辨率重建，

将步骤1到步骤6训练好的网络模型，输入低分辨率视频帧序列

能够获得放大K倍的超分辨率重建视频帧序列

其中的起始帧IV₁ ^L和终止帧

采用插值方法放大K倍，即成。

2.根据权利要求1所述的多尺度特征融合的视频超分辨率重建的方法，其特征在于：所述的步骤1中，具体过程是，

1.1)建立训练数据集，

本步骤选择公开发表的CVDL数据集作为训练样本，该CVDL数据集中的高分辨率视频，设为

将这些视频帧图像序列作为高分辨率标注样本；设超分辨率重建的结果是将视频帧放大K倍，则将这些高分辨率视频帧图像进行K倍降采样，得到的

作为训练样本视频帧；

1.2)对训练数据进行预处理，

在训练阶段将步骤1.1)降采样得到的低分辨率视频帧

随机裁剪成一个patch的大小，即每个帧图像随机裁剪成patch×patch大小的子块；同时，在对应的高分辨率视频帧中裁取相对应的位置上大小为K·patch×K·patch的子块，作为低分辨率视频帧的标签；

通过旋转、镜像方式对训练数据进行增强，设获得的训练样本为N段视频，每个视频长度为T帧，记作

3.根据权利要求2所述的多尺度特征融合的视频超分辨率重建的方法，其特征在于：所述的步骤2中，具体过程是，

2.1)假设OFRNet网络模型的输入为t时刻和t+1时刻的第i个视频的大小为patch×patch低分辨率视频帧

和

经过网络的第一层level1时，先利用全局平均池化对视频帧

和

进行2倍降采样，生成大小为0.5·patch×0.5·patch的特征图

和

2.2)将特征图

和

按通道拼接后，送入(2·K²)@3×3×2的卷积核进行卷积之后，获得大小为0.5·patch×0.5·patch×(2·K²)的特征图F_i,t ^LD；

2.3)将特征图F_i,t ^LD经过两个RDB Block后，得到大小为0.5·patch×0.5·patch×(2·K²)特征图Fb1_i,t ^LD和Fb2_i,t ^LD；

2.4)将特征图Fb1_i,t ^LD和Fb2_i,t ^LD，按通道拼接后送入2@3×3×(4·K²)的卷积核进行卷积之后，得到光流网络第一层的输出，即

和

之间的大小为0.5·patch×0.5·patch×2的光流

2.5)对步骤2.4)得到的第一层输出的光流

进行2倍上采样，得到大小为patch×patch×2的光流特征

2.6)利用光流特征

对

进行运动补偿，得到大小为patch×patch的

2.7)将

按通道拼接后作为第二层level2的输入，第二层的操作同第一层，见步骤2.1)至步骤2.4)，再将得到的输出与步骤2.5)得到的第一层输出的光流特征

相加，实现第一次的两个尺度信息的融合，作为大小为patch×patch×2的输出

2.8)利用输出

对

进行运动补偿，得到

2.9)将

按通道拼接后作为第三层level3的输入，第三层的操作同第二层，见步骤2.7)至步骤2.8)，再将得到的输出经过K倍放大的亚像素卷积之后，与

上采样K倍得到的结果相加，得到大小为K·patch×K·patch高分辨率的光流

4.根据权利要求3所述的多尺度特征融合的视频超分辨率重建的方法，其特征在于：所述的步骤3中，具体过程是，

3.1)计算光流序列图，

将步骤2得到的大小为K·patch×K·patch高分辨率的光流

通过空间到深度映射，得到K²个大小为patch×patch的光流图序列

3.2)利用光流图序列

分别对视频帧

进行运动补偿，将得到的结果按通道拼接，得到大小为patch×patch×K²特征图

3.3)同理，对由步骤2.9)得到的t-1和t时刻的光流

进行与步骤3.1)和步骤3.2)同样地操作，得到大小为patch×patch×K²特征图

5.根据权利要求4所述的多尺度特征融合的视频超分辨率重建的方法，其特征在于：所述的步骤4中，具体过程是，

4.1)将步骤3.2)和3.3)得到的大小为patch×patch×K²特征图

和

与视频帧

按通道拼接，得到大小为patch×patch×(2·K²+3)的特征图

4.2)将

设为非局部均值处理模块Non_Local的输入，设M＝[(2·K²+3)/2]_取整，经过M@1×1×(2·K²+3)的卷积核θ、

和g进行卷积运算后，将每个通道的patch×patch大小的矩阵，按行排成列向量，则列向量的维数是patch²，分别得到大小为patch²×M的特征矩阵

4.3)计算步骤4.2)得到的特征矩阵

的乘积：

得到的乘积

是大小为patch²×patch²的矩阵；

4.4)对乘积

进行softmax处理，得到当前位置像素与其他位置像素的归一化相关性，记为P_i,t，计算式如下：

4.5)计算步骤4.4)得到的矩阵P_i,t与步骤4.2)得到的特征矩阵

的乘积：

得到的特征矩阵PW_i,t大小为patch²×M；

4.6)将特征矩阵PW_i,t按照每行patch个元素重新排成矩阵，得到patch×patch×M大小的特征矩阵V_i,t，经过(2·K²+3)@1×1×M的卷积核卷积运算之后，得到patch×patch×(2·K²+3)的特征矩阵Ma_i,t；

4.7)将特征矩阵Ma_i,t与前述输入的特征矩阵

求和：

得到No_Local模块输出的特征图Z_i,t。

6.根据权利要求5所述的多尺度特征融合的视频超分辨率重建的方法，其特征在于：所述的步骤5中，具体过程是，

5.1)设置超分辨率网络结构，

对步骤4.7)得到的输出大小为patch×patch×(2·K²+3)特征图Z_i,t，先经过(4·K²)@3×3×(2·K²+3)的卷积核进行卷积运算，得到大小为patch×patch×(4·K²)的特征图F_i,t；

5.2)设置多尺度特征融合结构的SRNet网络的RDB模块，

设SRNet网络由5个RDB Block组成的，本步骤提出了一种多尺度的特征融合模块MSFFB来构成SRNet的RDB模块；

5.2.1)将特征图F_i,t，分别经过(2·K²)@3×3×(4·K²)和(2·K²)@5×5×(4·K²)的卷积，再将所得到的特征图通过ReLU非线性变换，得到大小为patch×patch×(2·K²)的特征矩阵T1_i,t和Q1_i,t，其计算式分别如下：

T1_i,t＝f(w⁽¹⁾ _3×3*F_i,t+b₁) (5)

Q1_i,t＝f(w⁽¹⁾ _5×5*F_i,t+b₂) (6)

其中，f表示ReLU激活函数，参数w⁽¹⁾ _3×3、w⁽¹⁾ _5×5、b₁和b₂由网络训练得到；

5.2.2)将特征矩阵T1_i,t和Q1_i,t按通道进行拼接，拼接后的结果记为特征矩阵K1_i,t；

5.2.3)将拼接后的特征矩阵K1_i,t，依次经过(4·K²)@3×3×(4·K²)和(4·K²)@5×5×(4·K²)的卷积，分别得到大小为patch×patch×(4·K²)的特征矩阵T2_i,t和Q2_i,t，计算式分别如下：

T2_i,t＝f(w⁽²⁾ _3×3*K1_i,t+b₃) (7)

Q2_i,t＝f(w⁽²⁾ _5×5*T2_i,t+b₄) (8)

其中，f表示ReLU激活函数，参数w⁽²⁾ _3×3、w⁽²⁾ _5×5、b₃和b₄由网络训练得到；

5.2.4)将特征矩阵Q2_i,t送入(2·K²)@1×1×(4·K²)的卷积中进行降维，通道数变为原来的一半，得到该模块的输出大小为patch×patch×(2·K²)的特征A_i,t；

5.2.5)将MSFFB模块的输出进行共享和复用，得到第一个RDB Block的输出，大小为patch×patch×(4·K²)的特征矩阵

将

作为下一个RDB Block的输入，依次类推，得到每个RDB Block的输出

的大小均为patch×patch×(4·K²)；

5.3)输出超分辨率放大视频帧，

将步骤5.1)得到的特征图F_i,t和步骤5.2)得到的每个RDB Block的输出

按通道进行拼接，得到大小为patch×patch×(6·4·K²)的特征图W_i,t；再将特征图W_i,t送入K²@1×1×(6·4·K²)的卷积中进行降维；最后通过亚像素卷积进行K倍放大，得到重建后的大小为K·patch×K·patch视频帧SR_i,t。

Images