CN113409190A - 一种基于多帧分组与反馈网络的视频超分辨率方法 - Google Patents
一种基于多帧分组与反馈网络的视频超分辨率方法 Download PDFInfo
- Publication number
- CN113409190A CN113409190A CN202110528164.1A CN202110528164A CN113409190A CN 113409190 A CN113409190 A CN 113409190A CN 202110528164 A CN202110528164 A CN 202110528164A CN 113409190 A CN113409190 A CN 113409190A
- Authority
- CN
- China
- Prior art keywords
- resolution
- video
- super
- frame
- sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000012549 training Methods 0.000 claims abstract description 33
- 230000004927 fusion Effects 0.000 claims abstract description 17
- 238000005070 sampling Methods 0.000 claims abstract description 11
- 238000000605 extraction Methods 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 9
- 238000010586 diagram Methods 0.000 abstract description 4
- 230000014759 maintenance of location Effects 0.000 abstract 1
- 230000006870 function Effects 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 230000008713 feedback mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Television Systems (AREA)
Abstract
本发明公开了一种基于多帧分组与反馈网络的视频超分辨率方法，包括：构建初始超分辨率网络模型，获取训练视频数据集；确定需超分的目标帧，对其进行上采样，获得初步超分视频帧；将训练视频数据包含的视频帧序列分组；提取分组的视频帧序列的特征图，并对其进行对齐、融合操作，获得LR特征图；对LR特征图进行逐步反馈超分，获得超分特征图序列；对超分特征图序列进行重建，获得重建超分残差信息序列，并与初步超分视频帧相加，获得目标帧的最终超分视频帧序列；设置损失函数，对初始超分辨率网络模型进行训练，获得训练好的超分辨率网络模型；本发明提高了视频超分辨率效果，重建出的视频帧细节保持效果明显提高。
Description
技术领域
本发明涉及视频处理的技术领域，更具体地，涉及一种基于多帧分组与反馈网络的视频超分辨率方法。
背景技术
视频超分辨率方法是从低分辨率视频中生成高分辨率视频的方法，作为一种典型的计算机视觉问题，几十年来得到了广泛的研究。近些年，大量高清显示设备的涌现以及超高清分辨率的出现，进一步推动了视频超分辨率的发展。与此同时，它在卫星图像、视频监控、医学成像、军事科技也有很广泛的应用前景，已成为计算机视觉领域的热点研究问题之一。
视频超分辨率任务和单帧超分辨率相比增加了时序信息。按照利用时序信息的不同方式，基于深度学习的视频超分辨率技术可以大致分为基于多帧级联的方法、基于3D卷积的方法和基于循环结构的方法。基于多帧级联的方法可以看作是单帧超分辨率换成多帧输入。这种方法如果想要利用好时序信息都离不开相邻帧对齐，而相邻帧对齐方式又可以分为光流法对齐和可变形卷积对齐。Wang等人提出的EDVR网络就是属于这类方法中的可变形卷积对齐，EDVR通过多尺度的变形卷积将相临帧的特征和当前帧对齐，后续再进行特征融合。RBPN网络是属于这类方法中的光流法对齐，RBPN通过把SISR和MISR的思想结合起来利用相邻帧的信息，光流法常常因为在对齐环节就引入了过多的噪声而影响最后的重建结果精度。基于多帧级联的方法虽然利用了多帧特征，但只是把特征级联到了一起，无法表示帧间的运动信息。基于3D卷积的方法是利用3D卷积本身可以学习时间信息的特点来处理视频中的时序信息，Caballero等人首先提出3D卷积可以看作缓慢的帧间信息融合过程。Huang等人通过使用3D卷积结合RNN的思想提出BRCN这个模型，但他们的工作使用的网络仍然很浅层，能学习到的信息非常有限。因此Li等人提出的FSTRN，采用了带跳跃连接的深层3D卷积网络，在网络中使用了可分离的3D卷积来减小3D卷积的计算量。循环神经网络擅长处理序列结构，因此基于循环结构的方法通过RNN，LSTM等进行多帧超分辨率。这种方法中最早提出的是双向RNN，它的网络容量较小，也没有后续的帧间对齐步骤。Guo等人通过采用运动补偿模块和卷积LSTM层改进了双向RNN。视频超分辨率(VSR)的最新进展展现了深度学习的力量，可以实现更好的重建性能。然而，现有的基于深度学习的视频SR方法基本上都是融合输入的多帧时序信息，再经过一次重建后得到最终的结果。存在的方法中尚未充分利用人类视觉系统中常见的反馈机制，对多帧视频进行分组反馈超分。
2020年4月7日公开的中国专利CN110969577A提供的一种基于深度双重注意力网络的视频超分辨率重建方法，通过加载级联的运动补偿网络模型和重建网络模型，充分利用时空信息特征来实现精确的视频超分辨率重建；其中的运动补偿网络模型能够由粗糙到细致地逐步学习光流表示合成相邻帧的多尺度运动信息；在重建网络模型中利用双重注意力机制，并形成一个残差注意力单元，专注中间信息特征。该方法基于多帧级联，利用光流法进行相邻帧对齐，引入了过多的噪声而影响最后的重建结果精度，并且基于多帧级联的方法只是把特征级联到了一起，无法表示帧间的运动信息，视频超分辨率效果不好。
发明内容
本发明为克服上述现有技术视频超分辨率效果差的缺陷，提供一种基于多帧分组与反馈网络的视频超分辨率方法，将人类视觉系统的反馈机制运用到视频超分辨率技术中，具有强大的高层表征能力，提高了视频超分辨率效果。
为解决上述技术问题，本发明的技术方案如下：
本发明提供一种基于多帧分组与反馈网络的视频超分辨率方法，包括以下步骤：
S1：获取视频数据，对视频数据进行预处理，获得训练视频数据，组成训练视频数据集；
S2：确定需超分的目标帧，对该目标帧进行上采样，获得初步超分视频帧；
S3：将每条训练视频数据包含的视频帧序列在时间轴上分组；
S4：将分组的视频帧序列输入构建的初始超分辨率网络模型，提取每组视频帧序列的特征图，对每组视频帧序列的特征图进行对齐、融合操作，获得每组视频帧序列的LR特征图；
S5：对每组视频帧序列的LR特征图进行逐步反馈超分，获得目标帧的超分特征图序列；
S6：对目标帧的超分特征图序列进行重建，获得目标帧的重建超分残差信息序列，并与S2中目标帧的初步超分视频帧相加，获得目标帧的最终超分视频帧序列；
S7：设置损失函数，对初始超分辨率网络模型进行训练，获得训练好的超分辨率网络模型；
S8：利用训练好的超分辨率网络模型对待超分视频进行超分辨率重建。
优选地，所述对视频数据进行预处理包括：
S1.1：对所有视频数据在相同的位置截取高分辨率视频帧；
S1.2：对高分辨率视频帧进行下采样，得到低分辨率视频帧；
S1.3：将所有低分辨率视频帧进行归一化处理；
S1.4：将归一化处理后的低分辨率视频帧进行随机的数据增强操作，所述数据增强操作包括翻转操作和镜像操作。
优选地，所述步骤S1.2中，采用高斯模糊下采样方法对高分辨率视频帧进行下采样。
优选地，所述步骤S2中，采用双三次插值上采样方法对训练视频数据的目标帧进行上采样操作，获得初步超分视频帧。
优选地，所述步骤S3中，将每条训练视频数据包含的视频帧序列在时间轴上分为n组，获得n个视频帧序列的子集，并且每个子集都包含目标帧。
优选地，所述初始超分辨率网络模型包括可变形卷积对齐模块和融合模块；
所述可变形卷积对齐模块具体为现有的EDVR模型前端的PCD特征对齐模块，包括多尺度特征提取单元和特征对齐单元；
将分组获得的n个视频帧序列的子集输入多尺度特征提取单元，每帧视频获得n种size的特征图，将每种size的特征图输入特征对齐单元进行可变形卷积对齐操作，获得每组视频帧序列的对齐特征图；
所述融合模块具体为现有的EDVR网络模型的TSA融合模块；
将每组视频帧序列的对齐特征图由小到大逐步向上融合，获得每组视频帧序列的LR特征图(Fg1、Fg2、…、Fgn)，其中，n表示视频帧序列的分组的组数，Fgn表示第n个视频帧序列子集的LR特征图。
优选地，所述初始超分辨率网络模还包括反馈模块；
将每组视频帧序列的LR特征图(Fg1、Fg2、…、Fgn)输入反馈模块，按分组顺序进行n次迭代，每次迭代进行逐步反馈超分的输入为该次迭代对应的视频帧序列子集的LR特征图和上次迭代输出的目标帧的超分特征图，输出每次迭代的目标帧的超分特征图，即：
F(out，n)＝fFB(F(out，n-1)，Fgn)
其中，F(out，n)表示第n次迭代输出的目标帧的超分特征图，fFB(*)表示反馈超分操作，F(out，n-1)表示第n-1次迭代输出的目标帧的超分特征图；第一次迭代时，F(out，n-1)＝Fgn，即F(out，0)＝Fg1；
将每次迭代的目标帧的超分特征图组成目标帧的超分特征图序列(F(out，1)、F(out，2)、…、F(out，n))。
优选地，所述初始超分辨率网络模还包括重建超分模块；
将目标帧的超分特征图序列(F(out，1)、F(out，2)、…、F(out，n))输入重建超分模块进行重建，获得目标帧的重建超分残差信息序列(I(Res，1)、I(Res，2)、…、I(Res，n))，即：
I(Res，n)＝fRB(F(out，n))
其中，I(Res，n)表示第n次迭代的视频帧序列子集的目标帧的重建超分残差信息，fRB(*)表示重建操作；
目标帧的重建超分残差信息与目标帧的初步超分视频帧相加，获得目标帧的最终超分视频帧，即：
I(SR，n)＝I(Res，n)+fUP(It)
其中，I(SR，n)表示第n次迭代的视频帧序列子集的目标帧的最终超分视频帧，fUP(It)表示目标帧的初步超分视频帧，It表示目标帧；
将目标帧的最终超分视频帧组成目标帧的最终超分视频帧序列(I(SR，1)、I(SR，2)、…、I(SR，n))。
优选地，所述损失函数为L1范数损失函数：
其中，Wn表示I(SR，n)在损失函数中所占的比列，I(HR，t)表示目标帧的ground truth；
重复步骤S3-S6，利用训练视频数据集中的训练视频数据，对初始超分辨率网络模型进行迭代训练。
优选地，所述视频数据从现有的高分辨率数据集Vimeo-90k中获取。
与现有技术相比，本发明技术方案的有益效果是：
本发明首先将预处理后的训练视频数据的需超分的目标帧进行上采样，获得初步超分视频帧，再将训练视频数据包含的视频帧序列在时间轴上分组；将分组的视频帧序列输入初始超分辨率网络模型进行特征图提取、特征图对齐、对齐特征图融合的操作，获得每组视频帧序列的LR特征图；之后对每组视频帧序列的LR特征图进行逐步反馈超分操作，获得具有强大的高层表征能力目标帧的超分特征图序列；最后将目标帧的超分特征图序列进行重建，获得目标帧的重建超分残差信息序列，并与目标帧的初步超分视频帧相加，获得目标帧的最终超分视频帧序列。通过设置损失函数，对初始超分辨率网络模型进行训练，获得训练好的超分辨率网络模型，利用训练好的超分辨率网络模型对待超分视频进行超分辨率重建；本发明提高了视频超分辨率效果，重建出来的视频帧的细节保持效果明显提高。
附图说明
图1为实施例所述的一种基于多帧分组与反馈网络的视频超分辨率方法的流程图；
图2为实施例所述的一种基于多帧分组与反馈网络的视频超分辨率方法的数据流向图；
图3为实施例所述的反馈模块内的数据流向图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例
本实施例提供一种基于多帧分组与反馈网络的视频超分辨率方法，如图1所示，包括以下步骤：
S1：获取视频数据，对视频数据进行预处理，获得训练视频数据，组成训练视频数据集；
在本实施例中，选取现有公开的高分辨率数据集Vimeo-90k数据集中的视频作为视频数据，对视频数据进行预处理：
S1.1：在视频数据相同位置截取长为256、宽为256的高分辨率视频帧；
S1.2：采用高斯模糊下采样方法高分辨率视频帧进行下采样，使其缩小4倍，得到长为64、宽为64的低分辨率视频帧；
S1.3：将所有低分辨率视频帧进行归一化处理；
S1.4：将归一化处理后的低分辨率视频帧进行随机的数据增强操作，所述数据增强操作包括翻转操作和镜像操作。
S2：确定需超分的目标帧，对该目标帧进行上采样，获得初步超分视频帧；
在本实施例中，训练视频数据为7帧，选择中间帧作为需超分的目标帧，对目标帧进行双三次插值上采样操作，获得初步超分视频帧。
S3：将每条训练视频数据包含的视频帧序列在时间轴上分组；
如图2所示，将需超分的目标帧记为It，7帧训练视频数据分别记为It-3、It-2、It-1、It、It+1、It+2、It+3；本实施例中，将视频帧序列分为3组，第一分组(It-3、It、It+3)，第二分组(It-2、It、It+2)，第三分组(It-1、It、It+1)，每组都是视频帧序列的子集，并且每组都包含目标帧。
S4：将分组的视频帧序列输入构建的初始超分辨率网络模型，提取每组视频帧序列的特征图，对每组视频帧序列的特征图进行对齐、融合操作，获得每组视频帧序列的LR特征图；
本实施例中，初始超分辨率网络模型包括可变形卷积对齐模块、融合模块、反馈模块和重建超分模块；将分组的视频帧序列输入初始超分辨率网络模型的可变形卷积对齐模块中，可变形卷积对齐模块具体为现有的EDVR模型前端的PCD特征对齐模块，包括多尺度特征提取单元和特征对齐单元，多尺度特征提取单元由5个基础残差模块组成；
将分组获得的3个视频帧序列的子集输入多尺度特征提取单元，每帧视频获得从大到小的3种size的特征图；
将每种size的特征图输入特征对齐单元进行可变形卷积对齐操作，获得每组视频帧序列的对齐特征图；
将每组视频帧序列的对齐特征图输入融合模块进行融合操作，融合模块具体为现有的EDVR网络模型的TSA融合模块；
将每组视频帧序列的对齐特征图由小到大逐步向上融合，获得每组视频帧序列的LR特征图(Fg1、Fg2、Fg3)，每一组的channel＝64；其中，Fg1、Fg2、Fg3分别表示第1个、第二个、第三个视频帧序列子集的LR特征图。
S5：对每组视频帧序列的LR特征图进行逐步反馈超分，获得目标帧的超分特征图序列；
如图3所示，本实施例中，将3组LR特征图(Fg1、Fg2、Fg3)迭代输入反馈模块中，进行3次迭代，每次迭代进行逐步反馈超分的输入为该次迭代对应的视频帧序列子集的LR特征图和上次迭代输出的目标帧的超分特征图：
第1次迭代，n＝1：
F(out，1)＝fFB(F(out，0)，Fg1)
其中，F(out，1)表示第1次迭代输出的目标帧的超分特征图，fFB(*)表示反馈超分操作；第1次迭代时，F(out，0)＝Fg1；
第2次迭代，n＝2：
F(out，2)＝fFB(F(out，1)，Fg2)
其中，F(out，2)表示第2次迭代输出的目标帧的超分特征图；
第3次迭代，n＝3：
F(out，3)＝fFB(F(out，2)，Fg3)
其中，F(out，3)表示第3次迭代输出的目标帧的超分特征图；
将3次迭代的目标帧的超分特征图组成目标帧的超分特征图序列(F(out，1)、F(out，2)、F(out，3))。
S6：对目标帧的超分特征图序列进行重建，获得目标帧的重建超分残差信息序列，并与S2中目标帧的初步超分视频帧相加，获得目标帧的最终超分视频帧序列；
本实施例中，将超分特征图序列(F(out，1)、F(out，2)、F(out，3))输入重建超分模块进行重建：
I(Res，1)＝fRB(F(out，1))
I(Res，2)＝fRB(F(out，2))
I(Res，3)＝fRB(F(out，3))
其中，I(Res，1)、I(Res，2)、I(Res，3)分别为第1次、第2次、第3次迭代的视频帧序列子集的目标帧的重建超分残差信息，组成目标帧的重建超分残差信息序列(I(Res，1)、I(Res，2)、I(Res，3))；
将目标帧的重建超分残差信息序列与目标帧的初步超分视频帧相加：
I(SR，1)＝I(Res，1)+fUP(It)
I(SR，2)＝I(Res，2)+fUP(It)
I(SR，3)＝I(Res，3)+fUP(It)
其中，I(SR，1)、I(SR，2)、I(SR，3)分别为第1次、第2次、第3次迭代的视频帧序列子集的目标帧的最终超分视频帧，fUP(It)表示目标帧的初步超分视频帧；
将目标帧的最终超分视频帧组成目标帧的最终超分视频帧序列(I(SR，1)、I(SR，2)、I(SR，3))。
S7：设置损失函数，对初始超分辨率网络模型进行训练，获得训练好的超分辨率网络模型；
本实施例中，所述损失函数为L1范数损失函数：
其中，Wn表示I(SR，n)在损失函数中所占的比列，n＝1，2，3；I(HR，t)表示目标帧的ground truth。本实施例中，W1、W2、W3取值都为1；
重复步骤S3-S6，利用训练视频数据集中的训练视频数据，对初始超分辨率网络模型进行迭代训练；
本实施例中，将前两次迭代的视频帧序列子集的目标帧的最终超分视频帧I(SR，1)、I(SR，2)用于损失函数的计算，最后一次迭代的视频帧序列子集的目标帧的最终超分视频帧I(SR，3)作为目标帧It的超分结果。
S8：利用训练好的超分辨率网络模型对待超分视频进行超分辨率重建。
采用本实施例提供的方法对待超分视频进行超分辨率重建，可以大幅提高视频超分辨率效果，重建出来的视频帧的细节保持效果优秀，为卫星图像、视频监控、医学成像和军事的技术领域提供有力支持。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (10)
1.一种基于多帧分组与反馈网络的视频超分辨率方法，其特征在于，包括以下步骤：
S1：获取视频数据，对视频数据进行预处理，获得训练视频数据，组成训练视频数据集；
S2：确定需超分的目标帧，对该目标帧进行上采样，获得初步超分视频帧；
S3：将每条训练视频数据包含的视频帧序列在时间轴上分组；
S4：将分组的视频帧序列输入构建的初始超分辨率网络模型，提取每组视频帧序列的特征图，对每组视频帧序列的特征图进行对齐、融合操作，获得每组视频帧序列的LR特征图；
S5：对每组视频帧序列的LR特征图进行逐步反馈超分，获得目标帧的超分特征图序列；
S6：对目标帧的超分特征图序列进行重建，获得目标帧的重建超分残差信息序列，并与S2中目标帧的初步超分视频帧相加，获得目标帧的最终超分视频帧序列；
S7：设置损失函数，对初始超分辨率网络模型进行训练，获得训练好的超分辨率网络模型；
S8：利用训练好的超分辨率网络模型对待超分视频进行超分辨率重建。
2.根据权利要求1所述的基于多帧分组与反馈网络的视频超分辨率方法，其特征在于，所述对视频数据进行预处理包括：
S1.1：对所有视频数据在相同的位置截取高分辨率视频帧；
S1.2：对高分辨率视频帧进行下采样，得到低分辨率视频帧；
S1.3：将所有低分辨率视频帧进行归一化处理；
S1.4：将归一化处理后的低分辨率视频帧进行随机的数据增强操作，所述数据增强操作包括翻转操作和镜像操作。
3.根据权利要求2所述的基于多帧分组与反馈网络的视频超分辨率方法，其特征在于，所述步骤S1.2中，采用高斯模糊下采样方法对高分辨率视频帧进行下采样。
4.根据权利要求1所述的基于多帧分组与反馈网络的视频超分辨率方法，其特征在于，所述步骤S2中，采用双三次插值上采样方法对训练视频数据的目标帧进行上采样操作，获得初步超分视频帧。
5.根据权利要求1所述的基于多帧分组与反馈网络的视频超分辨率方法，其特征在于，所述步骤S3中，将每条训练视频数据包含的视频帧序列在时间轴上分为n组，获得n个视频帧序列的子集，并且每个子集都包含目标帧。
6.根据权利要求5所述的基于多帧分组与反馈网络的视频超分辨率方法，其特征在于，所述初始超分辨率网络模型包括可变形卷积对齐模块和融合模块；
所述可变形卷积对齐模块具体为现有的EDVR模型前端的PCD特征对齐模块，包括多尺度特征提取单元和特征对齐单元；
将分组获得的n个视频帧序列的子集输入多尺度特征提取单元，每帧视频获得n种size的特征图，将每种size的特征图输入特征对齐单元进行可变形卷积对齐操作，获得每组视频帧序列的对齐特征图；
所述融合模块具体为现有的EDVR网络模型的TSA融合模块；
将每组视频帧序列的对齐特征图由小到大逐步向上融合，获得每组视频帧序列的LR特征图(Fg1、Fg2、…、Fgn)，其中，n表示视频帧序列的分组的组数，Fgn表示第n个视频帧序列子集的LR特征图。
7.根据权利要求6所述的基于多帧分组与反馈网络的视频超分辨率方法，其特征在于，所述初始超分辨率网络模还包括反馈模块；
将每组视频帧序列的LR特征图(Fg1、Fg2、…、Fgn)输入反馈模块，按分组顺序进行n次迭代，每次迭代进行逐步反馈超分的输入为该次迭代对应的视频帧序列子集的LR特征图和上次迭代输出的目标帧的超分特征图，输出每次迭代的目标帧的超分特征图，即：
F(out，n)＝fFB(F(out，n-1)，Fgn)
其中，F(out，n)表示第n次迭代输出的目标帧的超分特征图，fFB(*)表示反馈超分操作，F(out，n-1)表示第n-1次迭代输出的目标帧的超分特征图；第一次迭代时，F(out，n-1)＝Fgn，即F(out，0)＝Fg1；
将每次迭代的目标帧的超分特征图组成目标帧的超分特征图序列(F(out，1)、F(out，2)、…、F(out，n))。
8.根据权利要求7所述的基于多帧分组与反馈网络的视频超分辨率方法，其特征在于，所述初始超分辨率网络模还包括重建超分模块；
将目标帧的超分特征图序列(F(out，1)、F(out，2)、…、F(out，n))输入重建超分模块进行重建，获得目标帧的重建超分残差信息序列(I(Res，1)、I(Res，2)、…、I(Res，n))，即：
I(Res，n)＝fRB(F(out，n))
其中，I(Res，n)表示第n次迭代的视频帧序列子集的目标帧的重建超分残差信息，fRB(*)表示重建操作；
目标帧的重建超分残差信息与目标帧的初步超分视频帧相加，获得目标帧的最终超分视频帧，即：
I(SR，n)＝I(Res，n)+fUP(It)
其中，I(SR，n)表示第n次迭代的视频帧序列子集的目标帧的最终超分视频帧，FUP(It)表示目标帧的初步超分视频帧，It表示目标帧；
将目标帧的最终超分视频帧组成目标帧的最终超分视频帧序列(I(SR，1)、I(SR，2)、…、I(SR，n))。
9.根据权利要求9所述的基于多帧分组与反馈网络的视频超分辨率方法，其特征在于，所述损失函数为L1范数损失函数：
其中，Wn表示I(SR，n)在损失函数中所占的比列，I(HR，t)表示目标帧的ground truth；
重复步骤S3-S6，利用训练视频数据集中的训练视频数据，对初始超分辨率网络模型进行迭代训练。
10.根据权利要求l所述的基于多帧分组与反馈网络的视频超分辨率方法，其特征在于，所述视频数据从现有的高分辨率数据集Vimeo-90k中获取。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110528164.1A CN113409190B (zh) | 2021-05-14 | 2021-05-14 | 一种基于多帧分组与反馈网络的视频超分辨率方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110528164.1A CN113409190B (zh) | 2021-05-14 | 2021-05-14 | 一种基于多帧分组与反馈网络的视频超分辨率方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113409190A true CN113409190A (zh) | 2021-09-17 |
| CN113409190B CN113409190B (zh) | 2022-05-20 |
Family
ID=77678445
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110528164.1A Active CN113409190B (zh) | 2021-05-14 | 2021-05-14 | 一种基于多帧分组与反馈网络的视频超分辨率方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113409190B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113902621A (zh) * | 2021-10-29 | 2022-01-07 | 北京达佳互联信息技术有限公司 | 视频超分辨方法和装置 |
| CN113947531A (zh) * | 2021-10-29 | 2022-01-18 | 重庆邮电大学 | 一种迭代协作的视频超分辨率重构方法及系统 |
| CN114418845A (zh) * | 2021-12-28 | 2022-04-29 | 北京欧珀通信有限公司 | 图像分辨率提升方法及装置、存储介质及电子设备 |
| CN114692765A (zh) * | 2022-03-31 | 2022-07-01 | 武汉大学 | 视频时空超分模型构建方法、装置、设备及可读存储介质 |
| CN115797178A (zh) * | 2022-12-06 | 2023-03-14 | 广东博华超高清创新中心有限公司 | 一种基于3d卷积的视频超分辨率的方法 |
| CN116051380A (zh) * | 2023-01-13 | 2023-05-02 | 深圳大学 | 一种视频超分辨率处理方法及电子设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104778659A (zh) * | 2015-04-15 | 2015-07-15 | 杭州电子科技大学 | 基于深度学习的单帧图像超分辨率重建方法 |
| CN106600536A (zh) * | 2016-12-14 | 2017-04-26 | 同观科技（深圳）有限公司 | 一种视频图像超分辨率重建方法及装置 |
| US20170316548A1 (en) * | 2015-09-06 | 2017-11-02 | Boe Technology Group Co., Ltd. | Super-Resolution Method and System, Server, User Device and Method Therefor |
| CN108805808A (zh) * | 2018-04-04 | 2018-11-13 | 东南大学 | 一种利用卷积神经网络提高视频分辨率的方法 |
| CN110458756A (zh) * | 2019-06-25 | 2019-11-15 | 中南大学 | 基于深度学习的模糊视频超分辨率方法及系统 |
| CN111260560A (zh) * | 2020-02-18 | 2020-06-09 | 中山大学 | 一种融合注意力机制的多帧视频超分辨率方法 |
-
2021
- 2021-05-14 CN CN202110528164.1A patent/CN113409190B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104778659A (zh) * | 2015-04-15 | 2015-07-15 | 杭州电子科技大学 | 基于深度学习的单帧图像超分辨率重建方法 |
| US20170316548A1 (en) * | 2015-09-06 | 2017-11-02 | Boe Technology Group Co., Ltd. | Super-Resolution Method and System, Server, User Device and Method Therefor |
| CN106600536A (zh) * | 2016-12-14 | 2017-04-26 | 同观科技（深圳）有限公司 | 一种视频图像超分辨率重建方法及装置 |
| CN108805808A (zh) * | 2018-04-04 | 2018-11-13 | 东南大学 | 一种利用卷积神经网络提高视频分辨率的方法 |
| CN110458756A (zh) * | 2019-06-25 | 2019-11-15 | 中南大学 | 基于深度学习的模糊视频超分辨率方法及系统 |
| CN111260560A (zh) * | 2020-02-18 | 2020-06-09 | 中山大学 | 一种融合注意力机制的多帧视频超分辨率方法 |
Non-Patent Citations (1)
| Title |
|---|
| 卞鹏程 等: "基于注意力融合网络的视频超分辨率重建", 《计算机应用》 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113902621A (zh) * | 2021-10-29 | 2022-01-07 | 北京达佳互联信息技术有限公司 | 视频超分辨方法和装置 |
| CN113947531A (zh) * | 2021-10-29 | 2022-01-18 | 重庆邮电大学 | 一种迭代协作的视频超分辨率重构方法及系统 |
| CN113947531B (zh) * | 2021-10-29 | 2024-04-26 | 重庆邮电大学 | 一种迭代协作的视频超分辨率重构方法及系统 |
| CN114418845A (zh) * | 2021-12-28 | 2022-04-29 | 北京欧珀通信有限公司 | 图像分辨率提升方法及装置、存储介质及电子设备 |
| CN114692765A (zh) * | 2022-03-31 | 2022-07-01 | 武汉大学 | 视频时空超分模型构建方法、装置、设备及可读存储介质 |
| CN115797178A (zh) * | 2022-12-06 | 2023-03-14 | 广东博华超高清创新中心有限公司 | 一种基于3d卷积的视频超分辨率的方法 |
| CN115797178B (zh) * | 2022-12-06 | 2024-10-18 | 广东博华超高清创新中心有限公司 | 一种基于3d卷积的视频超分辨率的方法 |
| CN116051380A (zh) * | 2023-01-13 | 2023-05-02 | 深圳大学 | 一种视频超分辨率处理方法及电子设备 |
| CN116051380B (zh) * | 2023-01-13 | 2023-08-22 | 深圳大学 | 一种视频超分辨率处理方法及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113409190B (zh) | 2022-05-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113409190B (zh) | 一种基于多帧分组与反馈网络的视频超分辨率方法 | |
| CN111311490B (zh) | 基于多帧融合光流的视频超分辨率重建方法 | |
| CN111179167B (zh) | 一种基于多阶段注意力增强网络的图像超分辨方法 | |
| CN110544205B (zh) | 基于可见光与红外交叉输入的图像超分辨率重建方法 | |
| CN115222601A (zh) | 基于残差混合注意力网络的图像超分辨率重建模型及方法 | |
| CN111652804B (zh) | 基于膨胀卷积金字塔与瓶颈网络的超分辨率重建方法 | |
| CN110889895A (zh) | 一种融合单帧重建网络的人脸视频超分辨率重建方法 | |
| CN109949223B (zh) | 基于反卷积稠密连接的图像超分辨率重构方法 | |
| CN113610707B (zh) | 一种基于时间注意力与循环反馈网络的视频超分辨率方法 | |
| CN112699844A (zh) | 一种基于多尺度残差层级密连接网络的图像超分辨率方法 | |
| Gunasekaran | Ultra sharp: Study of single image super resolution using residual dense network | |
| CN114372918B (zh) | 基于像素级注意力机制的超分辨率图像重构方法及系统 | |
| CN113379606B (zh) | 一种基于预训练生成模型的人脸超分辨方法 | |
| CN112365403A (zh) | 一种基于深度学习和相邻帧的视频超分辨率恢复方法 | |
| CN111402138A (zh) | 一种基于多尺度特征提取融合的监督卷积神经网络的图像超分辨率重建方法 | |
| CN111709882A (zh) | 基于亚像素卷积与特征分割的超分辨率融合的计算方法 | |
| CN116486074A (zh) | 一种基于局部和全局上下文信息编码的医学图像分割方法 | |
| CN111353938A (zh) | 一种基于网络反馈的图像超分辨率学习方法 | |
| CN114418850A (zh) | 一种融合图卷积的有参考图像超分辨率重构方法 | |
| CN114332625A (zh) | 基于神经网络的遥感图像彩色化和超分辨率方法及系统 | |
| CN113487481B (zh) | 基于信息构建和多密集残差块的循环视频超分辨率方法 | |
| CN117934286B (zh) | 一种轻量级图像超分辨率方法、装置及其电子设备 | |
| CN116091315A (zh) | 一种基于渐进训练和人脸语义分割的人脸超分辨率重建方法 | |
| CN112330572B (zh) | 一种基于密集型网络的生成式对抗神经网络及失真图像复原方法 | |
| CN116485642A (zh) | 基于transformer尺度流估计的视频超分辨成像重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |