CN113163138B - 基于双向循环网络的高分辨率视频复原系统及方法 - Google Patents

基于双向循环网络的高分辨率视频复原系统及方法 Download PDF

Info

Publication number
CN113163138B
CN113163138B CN202110551488.7A CN202110551488A CN113163138B CN 113163138 B CN113163138 B CN 113163138B CN 202110551488 A CN202110551488 A CN 202110551488A CN 113163138 B CN113163138 B CN 113163138B
Authority
CN
China
Prior art keywords
frame
reverse
input
image
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110551488.7A
Other languages
English (en)
Other versions
CN113163138A (zh
Inventor
胡剑凌
高立杭
马青静
曹洪龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou University
Original Assignee
Suzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou University filed Critical Suzhou University
Priority to CN202110551488.7A priority Critical patent/CN113163138B/zh
Publication of CN113163138A publication Critical patent/CN113163138A/zh
Application granted granted Critical
Publication of CN113163138B publication Critical patent/CN113163138B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268—Signal distribution or switching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于双向循环网络的高分辨率视频复原系统及方法，包括：正向循环模块包括多个依次设置的正向处理单元，正向处理单元与视频帧的一一对应设置，当前正向处理单元根据前一级正向处理单元的输出、上一时刻视频帧和当前视频帧，将当前视频帧转化为低频部分；反向循环模块包括多个依次设置的反向处理单元，反向处理单元与视频帧的一一对应设置，当前反向处理单元根据前一级反向处理单元的输出、下一时刻的视频帧和当前视频帧，将当前视频帧转化为高频部分；融合单元将低频部分与高频部分融合，获得高分辨率的视频帧。其针对各类场景下低分辨率视频序列，能够适应不同长度的视频，具有很好的鲁棒性。

Description

基于双向循环网络的高分辨率视频复原系统及方法
技术领域
本发明涉及视频处理技术领域，尤其是指一种基于双向循环网络的高分辨率视频复原系统及方法。
背景技术
在现代生活中，高分辨率视频的需求非常普遍，在安防监视、医学成像、目标检测和人脸识别等众多领域都需要高分辨率图像或视频的支持。高分辨率视频复原技术通过低分辨率图像作为输入，在不需要其他信息的情况下生成对应的高分辨率图像，同时具有较好的主客观评价。如传统方法中的插值算法，它能够通过插值运算有效地提高图片的分辨率，但其主客观评价较差。
发明内容
为此，本发明所要解决的技术问题在于克服现有技术中传统方法中的插值算法，能够通过插值运算有效地提高图片的分辨率，但其主客观评价较差的技术缺陷。
为解决上述技术问题，本发明提供了一种基于双向循环网络的高分辨率视频复原系统，包括：
正向循环模块，所述正向循环模块包括多个依次设置的正向处理单元，所述正向处理单元与视频帧的一一对应设置，当前所述正向处理单元根据前一级正向处理单元的输出、上一时刻视频帧和当前视频帧，将当前视频帧转化为低频部分；
反向循环模块，所述反向循环模块包括多个依次设置的反向处理单元，所述反向处理单元与视频帧的一一对应设置，当前所述反向处理单元根据前一级反向处理单元的输出、下一时刻的视频帧和当前视频帧，将当前视频帧转化为高频部分；
融合单元，所述融合单元具有多个，所述融合单元与正向处理单元和反向处理单元对应设置，所述融合单元将所述低频部分与高频部分融合，获得高分辨率的视频帧。
作为优选的，所述正向处理单元将视频的预设图像帧转化为低频部分，包括以下步骤：
利用卷积层对Xf进行浅层特征提取，获得浅层特征，其中，
Figure BDA0003075645540000021
Figure BDA0003075645540000022
Figure BDA0003075645540000023
为第t帧参考帧；
将浅层特征进行通道拆分，获得重置信号r和更新信号u两部分；
将重置信号r与
Figure BDA0003075645540000024
进行点乘，并与
Figure BDA0003075645540000025
级联得到新的中层特征
Figure BDA0003075645540000026
中层特征通过残差网络进行特征细化，获得细化后的特征h't-1；
将细化后的特征h't-1与u组合进行特征更新，获得输出分量
Figure BDA0003075645540000027
和隐藏分量
Figure BDA0003075645540000028
其中，
Figure BDA0003075645540000029
和
Figure BDA00030756455400000210
将作为输入进入下一个时刻的循环，
Figure BDA00030756455400000211
作为第一输出分量，参与最终t时刻视频帧的复原过程。
作为优选的，所述残差网络包括多个残差块。
作为优选的，所述将细化后的特征h't-1与u组合进行特征更新，获得输出分量
Figure BDA00030756455400000212
和隐藏分量
Figure BDA00030756455400000213
包括：
计算uF，
Figure BDA00030756455400000214
通过卷积层和激活层对uF进行处理，获得隐藏分量
Figure BDA0003075645540000031
通过卷积层对uF进行处理，获得输出分量
Figure BDA0003075645540000032
作为优选的，所述融合单元包括三个通道数为3的残差块。
本发明公开了一种基于双向循环网络的高分辨率视频复原方法，基于上述的高分辨率视频复原系统，包括以下步骤：
S1、进入正向循环模块，令帧数t＝1，初始化隐藏状态
Figure BDA0003075645540000033
和输出状态
Figure BDA0003075645540000034
采用第1帧的图像输入模拟第0帧的图像输入；
S2、每一个正向循环单元采用第t-1帧的图像、第t帧的图像、
Figure BDA0003075645540000035
和
Figure BDA0003075645540000036
作为输入，以级联的方式组合，获得正向输入特征Xf；采用卷积层对正向输入特征Xf进行浅层特征提取，得到对应的浅层特征Ffin；
S3、采用正向循环单元对浅层特征Ffin进行深层特征细化和错误信息删除，得到下一个时间的隐藏状态
Figure BDA0003075645540000037
和输出状态
Figure BDA0003075645540000038
令t＝t+1,判断t<k是否成立，若成立，则重复步骤S2，若不成立，则进入步骤S5，并初始化隐藏状态
Figure BDA0003075645540000039
和输出状态
Figure BDA00030756455400000310
采用第k帧的图像输入模拟第k+1帧的图像输入，其中，k为视频序列的总帧数；
S4、每一个反向循环单元采用第t帧的图像、第t+1帧的图像、
Figure BDA00030756455400000311
和
Figure BDA00030756455400000312
作为输入，以级联的方式组合，获得反向输入特征Xb，采用卷积层对反向输入特征Xb进行浅层特征提取，得到对应的浅层特征Fbin；
S5、采用反向循环单元对浅层特征Fbin进行深层特征细化和错误信息删除，得到下一个时间的隐藏状态
Figure BDA00030756455400000313
和输出状态
Figure BDA00030756455400000314
令t＝t-1,判断t>0是否成立，若成立，则重复S4，若不成立，则进入S6；
S6、融合正向循环的结果和反向循环的结果，复原获得高分辨率的视频序列。
作为优选的，所述S6具体包括：
融合
Figure BDA0003075645540000041
和
Figure BDA0003075645540000042
复原获得高分辨率的视频序列。
本发明公开了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法的步骤。
本发明公开了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。
本发明公开了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述的方法。
本发明的上述技术方案相比现有技术具有以下优点：
1、基于神经网络的高分辨率视频复原算法在主客观评价中都明显优于传统算法，基于连续帧的算法能够充分地利用图像序列的时空信息，其效果优于单帧输入的算法，能够很好地应用在很多领域，帮助提高图像质量。
2、本发明针对各类场景下低分辨率视频序列，能够适应不同长度的视频，具有很好的鲁棒性。
3、本发明作为一个端到端的生成网络，在使用过程中，能够非常方便地将低分辨率视频作为网络输入，直接得到对应的高分辨率视频。
附图说明
图1为本发明中基于双向循环网络的高分辨率视频复原方法的流程图；
图2为双向循环网络结构图；
图3为t时刻的正向循环单元和反向循环单元示意图；
图4为残差网络示意图；
图5为特征更新示意图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
参照图1-图5所示，本发明公开了一种基于双向循环网络的高分辨率视频复原系统，包括正向循环模块、反向循环模块和融合单元。
所述正向循环模块包括多个依次设置的正向处理单元，所述正向处理单元与视频帧的一一对应设置，当前所述正向处理单元根据前一级正向处理单元的输出、上一时刻视频帧和当前视频帧，将当前视频帧转化为低频部分。
所述反向循环模块包括多个依次设置的反向处理单元，所述反向处理单元与视频帧的一一对应设置，当前所述反向处理单元根据前一级反向处理单元的输出、下一时刻的视频帧和当前视频帧，将当前视频帧转化为高频部分。
所述融合单元具有多个，所述融合单元与正向处理单元和反向处理单元对应设置，所述融合单元将所述低频部分与高频部分融合，获得高分辨率的视频帧。所述融合单元包括三个通道数为3的残差块。
其中，所述正向处理单元将视频的预设图像帧转化为低频部分，包括以下步骤：
利用卷积层对Xf进行浅层特征提取，获得浅层特征，其中，
Figure BDA0003075645540000051
Figure BDA0003075645540000052
Figure BDA0003075645540000053
为第t帧参考帧。
将浅层特征进行通道拆分，获得重置信号r和更新信号u两部分。
将重置信号r与
Figure BDA0003075645540000061
进行点乘，并与
Figure BDA0003075645540000062
级联得到新的中层特征
Figure BDA0003075645540000063
中层特征通过残差网络进行特征细化，获得细化后的特征h't-1。其中，所述残差网络包括多个残差块。
将细化后的特征h't-1与u组合进行特征更新，获得输出分量
Figure BDA0003075645540000064
和隐藏分量
Figure BDA0003075645540000065
其中，
Figure BDA0003075645540000066
和
Figure BDA0003075645540000067
将作为输入进入下一个时刻的循环，
Figure BDA0003075645540000068
作为第一输出分量，参与最终t时刻视频帧的复原过程。
其中，所述将细化后的特征h't-1与u组合进行特征更新，获得输出分量
Figure BDA0003075645540000069
和隐藏分量
Figure BDA00030756455400000610
包括：
计算uF，
Figure BDA00030756455400000611
通过卷积层和激活层对uF进行处理，获得隐藏分量
Figure BDA00030756455400000612
通过卷积层对uF进行处理，获得输出分量
Figure BDA00030756455400000613
本发明公开了一种基于双向循环网络的高分辨率视频复原方法，基于上述的高分辨率视频复原系统，包括以下步骤：
S1、进入正向循环模块，令帧数t＝1，初始化隐藏状态
Figure BDA00030756455400000614
和输出状态
Figure BDA00030756455400000615
采用第1帧的图像输入模拟第0帧的图像输入；
S2、每一个正向循环单元采用第t-1帧的图像、第t帧的图像、
Figure BDA00030756455400000616
和
Figure BDA00030756455400000617
作为输入，以级联的方式组合，获得正向输入特征Xf；采用卷积层对正向输入特征Xf进行浅层特征提取，得到对应的浅层特征Ffin；
S3、采用正向循环单元对浅层特征Ffin进行深层特征细化和错误信息删除，得到下一个时间的隐藏状态
Figure BDA00030756455400000618
和输出状态
Figure BDA00030756455400000619
令t＝t+1,判断t<k是否成立，若成立，则重复步骤S2，若不成立，则进入步骤S5，并初始化隐藏状态
Figure BDA0003075645540000071
和输出状态
Figure BDA0003075645540000072
采用第k帧的图像输入模拟第k+1帧的图像输入，其中，k为视频序列的总帧数；
S4、每一个反向循环单元采用第t帧的图像、第t+1帧的图像、
Figure BDA0003075645540000073
和
Figure BDA0003075645540000074
作为输入，以级联的方式组合，获得反向输入特征Xb，采用卷积层对反向输入特征Xb进行浅层特征提取，得到对应的浅层特征Fbin；
S5、采用反向循环单元对浅层特征Fbin进行深层特征细化和错误信息删除，得到下一个时间的隐藏状态
Figure BDA0003075645540000075
和输出状态
Figure BDA0003075645540000076
令t＝t-1,判断t>0是否成立，若成立，则重复S4，若不成立，则进入S6；
S6、融合正向循环的结果和反向循环的结果，复原获得高分辨率的视频序列。具体的，融合
Figure BDA0003075645540000077
和
Figure BDA0003075645540000078
复原获得高分辨率的视频序列。
本发明公开了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法的步骤。
本发明公开了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。
本发明公开了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述的方法。
下面，结合具体实施例，对本发明的技术方案做进一步说明。
在本发明中，假设低分辨率视频序列为
Figure BDA0003075645540000079
我们的目标是恢复其对应的高分辨率序列
Figure BDA00030756455400000710
其中s是上采样系数。本方法采用连续的n+1帧作为输入，充分利用输入的时空信息，得到对应的连续n+1帧输出。假设
Figure BDA0003075645540000081
为第t帧参考帧，具体网络结构如图2所示：
在图2中，本发明的算法结构主要包含正向循环和反向循环两个部分，分别由正向单元和反向单元组成，正向循环得到图像的低频部分，反向循环得到图片的高频部分，最后利用聚合单元将这两部分进行组合。为了示例性说明，在图2中仅展示了第t-2帧至t+1帧的传播部分。正向单元和反向单元采用了相同的结构，以产生t时刻的输出为例，如图3所示：
在图3中，展示了生成t时刻的高分辨率视频帧
Figure BDA0003075645540000082
的算法结构，其中[]表示按通道维度级联，↓表示特征下采样。算法的正向过程和反向过程是相同的，以正向为例，首先采用几层卷积层，对输入Xf进行浅层特征提取，得到浅层特征Ffin，特征提取能够不仅可以进行初步的特征拟合，同时还可以对网络的大小进行调整，能够控制网络参数量的大小。接着进行通道拆分，将浅层特征Ffin拆分成为r和u两部分，用于后续的算法处理。其中r与
Figure BDA0003075645540000083
进行点乘，并与
Figure BDA0003075645540000084
级联得到新的中层特征，中层特征中包含利用了视频帧复用的方法，再次利用了视频帧
Figure BDA0003075645540000085
和
Figure BDA0003075645540000086
这样可以确保当前需要使用的两帧信息不会因为初步特征提取被消除。
残差网络由多个残差块组成，占用空间小，运算速度快，并且很适合特征传播。残差块结构如图4所示：
中层特征通过残差网络进行特征细化，将得到的细化后的特征h't-1和u组合进行特征更新，特征更新模块如图5所示，其中公式Ud为：
Figure BDA0003075645540000087
uF是得到更新后的深层特征，通过该式，我们可以达到一个门控的效果，这个“门”能够删除错误的信息流。错误信息流中尝尝包含一些图像伪影，如果不进行更新消除，那么这些伪影会随着循环网络的传播继续传递，导致整个生成的视频序列都包含伪影，严重破坏生成视频的质量。通过两个单独的卷积层，利用uF得到输出
Figure BDA0003075645540000091
及
Figure BDA0003075645540000092
其中，
Figure BDA0003075645540000093
将作为输入进入下一个时刻的循环，
Figure BDA0003075645540000094
除了作为输入进入下一个时刻的循环外，还将作为第一输出分量，参与最终t时刻视频帧的复原过程。
正向循环得到第一输出分量
Figure BDA0003075645540000095
对应的反向循环得到第二输出分量
Figure BDA0003075645540000096
本方法通过一个融合模块将这两部分进行组合，融合模块由三个通道数为3的残差块组成，在图像最终恢复阶段能够保持细节的呈现，并对高频部分和低频部分的内容进行微调，以获得更精细的图像细节。并且该模块消耗的资源很少，不会给网络带来额外的负担。
本发明针对各类场景下低分辨率视频序列，能够适应不同长度的视频，具有很好的鲁棒性。作为一个端到端的生成网络，在使用过程中，能够非常方便地将低分辨率视频作为网络输入，直接得到对应的高分辨率视频。在网络的训练过程中，采用低分辨率视频和对应的高分辨率视频为视频对，通过像素级的均方差形成损失函数，网络的目标是降低以该损失为主体的损失值，从而更新网络参数，得到更好的结果。网络采用优化器Adam，初始学习率设为0.0001。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，上述实施例仅仅是为清楚地说明所作的举例，并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (8)

1.一种基于双向循环网络的高分辨率视频复原系统，其特征在于，包括：
正向循环模块，所述正向循环模块包括多个依次设置的正向处理单元，所述正向处理单元与视频帧一一对应设置，当前所述正向处理单元根据前一级正向处理单元的输出、上一时刻视频帧和当前视频帧，将当前视频帧转化为低频部分；
反向循环模块，所述反向循环模块包括多个依次设置的反向处理单元，所述反向处理单元与视频帧一一对应设置，当前所述反向处理单元根据前一级反向处理单元的输出、下一时刻的视频帧和当前视频帧，将当前视频帧转化为高频部分；
融合单元，所述融合单元具有多个，所述融合单元与正向处理单元和反向处理单元对应设置，所述融合单元将所述低频部分与高频部分融合，获得高分辨率的视频帧；
其中，所述正向处理单元将视频的预设图像帧转化为低频部分，包括以下步骤：
利用卷积层对Xf进行浅层特征提取，获得浅层特征，其中，
Figure FDA0003809057330000011
Figure FDA0003809057330000012
Figure FDA0003809057330000013
为第t帧参考帧，Xf表示正向输入特征，
Figure FDA0003809057330000014
表示t-1时刻前向传播时的隐藏状态，
Figure FDA0003809057330000015
表示t-1时刻前向传播时的输出状态，↓表示特征下采样；
将浅层特征进行通道拆分，获得重置信号r和更新信号u两部分；
将重置信号r与
Figure FDA0003809057330000016
进行点乘，并与
Figure FDA0003809057330000017
Figure FDA0003809057330000018
级联得到新的中层特征
Figure FDA0003809057330000019
中层特征通过残差网络进行特征细化，获得细化后的特征h't-1；
将细化后的特征h't-1与u组合进行特征更新，获得输出分量
Figure FDA0003809057330000021
和隐藏分量
Figure FDA0003809057330000022
其中，
Figure FDA0003809057330000023
和
Figure FDA0003809057330000024
将作为输入进入下一个时刻的循环，
Figure FDA0003809057330000025
作为第一输出分量，参与最终t时刻视频帧的复原过程；
其中，所述将细化后的特征h't-1与u组合进行特征更新，获得输出分量
Figure FDA0003809057330000026
和隐藏分量
Figure FDA0003809057330000027
包括：
计算uF，
Figure FDA0003809057330000028
通过卷积层和激活层对uF进行处理，获得隐藏分量
Figure FDA0003809057330000029
通过卷积层对uF进行处理，获得输出分量
Figure DEST_PATH_FDA00030756455300000210
2.根据权利要求1所述的基于双向循环网络的高分辨率视频复原系统，其特征在于，所述残差网络包括多个残差块。
3.根据权利要求1所述的基于双向循环网络的高分辨率视频复原系统，其特征在于，所述融合单元包括三个通道数为3的残差块。
4.一种基于双向循环网络的高分辨率视频复原方法，基于权利要求1-3任一项所述的高分辨率视频复原系统，其特征在于，包括以下步骤：
S1、进入正向循环模块，令帧数t＝1，初始化隐藏状态
Figure FDA00038090573300000211
和输出状态
Figure FDA00038090573300000212
采用第1帧的图像输入模拟第0帧的图像输入；
S2、每一个正向循环单元采用第t-1帧的图像、第t帧图像、
Figure FDA00038090573300000213
和
Figure FDA00038090573300000214
作为输入，获得正向输入特征Xf；采用卷积层对正向输入特征Xf进行浅层特征提取，得到对应的浅层特征Ffin；
S3、采用正向循环单元对浅层特征Ffin进行深层特征细化和错误信息删除，得到下一个时间的隐藏状态
Figure FDA0003809057330000031
和输出状态
Figure FDA0003809057330000032
令t＝t+1,判断t<k是否成立，若成立，则重复步骤S2，若不成立，则进入步骤S5，并初始化隐藏状态
Figure FDA0003809057330000033
和输出状态
Figure FDA0003809057330000034
采用第k帧的图像输入模拟第k+1帧的图像输入，其中，k为视频序列的总帧数；
S4、每一个反向循环单元采用第t帧的图像、第t+1帧图像、
Figure FDA0003809057330000035
和
Figure FDA0003809057330000036
作为输入，以级联的方式组合，获得反向输入特征Xb，采用卷积层对反向输入特征Xb进行浅层特征提取，得到对应的浅层特征Fbin；
S5、采用反向循环单元对浅层特征Fbin进行深层特征细化和错误信息删除，得到下一个时间的隐藏状态
Figure FDA0003809057330000037
和输出状态
Figure FDA0003809057330000038
令t＝t-1,判断t>0是否成立，若成立，则重复S4，若不成立，则进入S6；
S6、融合正向循环的结果和反向循环的结果，复原获得高分辨率的视频序列。
5.根据权利要求4所述的基于双向循环网络的高分辨率视频复原方法，其特征在于，所述S6具体包括：
融合
Figure FDA0003809057330000039
和
Figure FDA00038090573300000310
复原获得高分辨率的视频序列。
6.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求4或5所述方法的步骤。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求4或5所述方法的步骤。
8.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求4或5任一项所述的方法。
CN202110551488.7A 2021-05-20 2021-05-20 基于双向循环网络的高分辨率视频复原系统及方法 Active CN113163138B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110551488.7A CN113163138B (zh) 2021-05-20 2021-05-20 基于双向循环网络的高分辨率视频复原系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110551488.7A CN113163138B (zh) 2021-05-20 2021-05-20 基于双向循环网络的高分辨率视频复原系统及方法

Publications (2)

Publication Number Publication Date
CN113163138A CN113163138A (zh) 2021-07-23
CN113163138B true CN113163138B (zh) 2023-01-17

Family

ID=76876756

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110551488.7A Active CN113163138B (zh) 2021-05-20 2021-05-20 基于双向循环网络的高分辨率视频复原系统及方法

Country Status (1)

Country Link
CN (1) CN113163138B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103325103A (zh) * 2013-03-07 2013-09-25 上海交通大学 高分辨率图像复原方法及系统
CN111598810A (zh) * 2020-05-19 2020-08-28 中国科学院微小卫星创新研究院 旋转光学卫星影像退化信息感知与复原方法及系统
CN111861961A (zh) * 2020-07-25 2020-10-30 安徽理工大学 单幅图像超分辨率的多尺度残差融合模型及其复原方法
CN112669234A (zh) * 2020-12-28 2021-04-16 苏州大学 基于神经网络的高分辨率图像复原方法及系统
CN112700392A (zh) * 2020-12-01 2021-04-23 华南理工大学 一种视频超分辨率处理方法、设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103325103A (zh) * 2013-03-07 2013-09-25 上海交通大学 高分辨率图像复原方法及系统
CN111598810A (zh) * 2020-05-19 2020-08-28 中国科学院微小卫星创新研究院 旋转光学卫星影像退化信息感知与复原方法及系统
CN111861961A (zh) * 2020-07-25 2020-10-30 安徽理工大学 单幅图像超分辨率的多尺度残差融合模型及其复原方法
CN112700392A (zh) * 2020-12-01 2021-04-23 华南理工大学 一种视频超分辨率处理方法、设备及存储介质
CN112669234A (zh) * 2020-12-28 2021-04-16 苏州大学 基于神经网络的高分辨率图像复原方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于注意力机制神经网络的超分辨率重建算法研究;白富瑞;《中国优秀硕士学位论文全文数据库 信息科技辑》;20210515;正文第4章 *

Also Published As

Publication number Publication date
CN113163138A (zh) 2021-07-23

Similar Documents

Publication Publication Date Title
Shen et al. Blurry video frame interpolation
CN110120011B (zh) 一种基于卷积神经网络和混合分辨率的视频超分辨方法
WO2021208122A1 (zh) 基于深度学习的视频盲去噪方法及装置
WO2022267641A1 (zh) 一种基于循环生成对抗网络的图像去雾方法及系统
CN109636803B (zh) 用于分割图像的方法和使用该方法的装置
CN112348766B (zh) 一种用于监控视频增强的渐进式特征流深度融合网络
Wang et al. Event-driven video frame synthesis
US11727541B2 (en) Video super resolution method
CN111901532B (zh) 基于循环神经网络迭代策略的视频稳定方法
CN111031315B (zh) 基于注意力机制和时间依赖性的压缩视频质量增强方法
CN114463218B (zh) 一种基于事件数据驱动的视频去模糊方法
CN109949234B (zh) 基于深度网络的视频复原模型训练方法及视频复原方法
CN113487564B (zh) 用于用户原创视频的双流时序自适应选择视频质量评价方法
Niu et al. Blind motion deblurring super-resolution: When dynamic spatio-temporal learning meets static image understanding
CN113850718A (zh) 一种基于帧间特征对齐的视频同步时空超分方法
WO2022164680A1 (en) Simultaneously correcting image degradations of multiple types in an image of a face
CN113163138B (zh) 基于双向循环网络的高分辨率视频复原系统及方法
CN116883265A (zh) 一种基于增强特征融合机制的图像去模糊方法
Ling et al. Compressed video sensing network based on alignment prediction and residual reconstruction
CN114584675B (zh) 一种自适应视频增强方法和装置
CN116668738A (zh) 一种视频时空超分辨率重构方法、装置及存储介质
CN116309215A (zh) 一种基于双解码器的图像融合方法
CN116012272A (zh) 一种基于重建流场的压缩视频质量增强方法
WO2022141660A1 (zh) 基于神经网络的高分辨率图像复原方法及系统
CN112954395B (zh) 一种可插入任意帧率的视频插帧方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant