CN112016456B - 基于自适应反向投影深度学习的视频超分辨率方法及系统 - Google Patents

基于自适应反向投影深度学习的视频超分辨率方法及系统 Download PDF

Info

Publication number
CN112016456B
CN112016456B CN202010880004.9A CN202010880004A CN112016456B CN 112016456 B CN112016456 B CN 112016456B CN 202010880004 A CN202010880004 A CN 202010880004A CN 112016456 B CN112016456 B CN 112016456B
Authority
CN
China
Prior art keywords
frame
feature
motion compensation
video
processed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010880004.9A
Other languages
English (en)
Other versions
CN112016456A (zh
Inventor
潘金山
李倩
唐金辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202010880004.9A priority Critical patent/CN112016456B/zh
Publication of CN112016456A publication Critical patent/CN112016456A/zh
Application granted granted Critical
Publication of CN112016456B publication Critical patent/CN112016456B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明涉及一种基于自适应反向投影深度学习的视频超分辨率方法及系统，包括：根据待处理视频帧序列块确定运动补偿邻帧特征；采用多幅图像神经网络得放大运动补偿邻帧特征集合；采用第二卷积层得参考帧特征；采用深度反向投影网络得放大参考帧特征；将放大参考帧特征与邻帧的放大运动补偿邻帧特征作差，对差值特征提取得差值特征；根据参考帧特征确定标准化注意力参数；差值特征点乘标准化注意力参数加上放大参考帧特征得隐藏特征；将隐藏特征保存于列表中；将缩小隐藏特征更新为参考帧特征，重复上述步骤，直到确定每个邻帧的隐藏特征；将列表中的隐藏特征拼接，采用第三卷积层得超分辨率图像。通过本发明上述方法能有效提升视频图像的重建结果。

Description

基于自适应反向投影深度学习的视频超分辨率方法及系统
技术领域
本发明涉及视频处理技术领域，特别是涉及一种基于自适应反向投影深度学习的视频超分辨率方法及系统。
背景技术
近年来，随着高清显示设备的普及，低分辨率视频无法满足现有的高清显示设备的需求，视频超分辨技术作为一种低成本获得高清视频的技术，受到了很多关注。视频超分辨率的目标是用低分辨率图像或视频帧序列恢复出图像中丢失的细节，从而获得高分辨率图像或视频帧。
现有的反向投影方法在反馈过程中没有判别性，不能有效地区分有用的和无用的特征信息，从而影响了视频重建结果。
发明内容
本发明的目的是提供一种基于自适应反向投影深度学习的视频超分辨率方法及系统，在视觉注意力模型的约束下，反向投影的反馈过程中能够有效地提取有用的特征信息，从而有效地提升视频图像的重建结果。
为实现上述目的，本发明提供了如下方案：
一种基于自适应反向投影深度学习的视频超分辨率方法，包括：
获取待处理视频帧序列块；所述待处理视频帧序列块为多个；所述待处理视频帧序列块中包括一个参考帧和多个邻帧；
根据所述待处理视频帧序列块，采用光流估计方法和第一卷积层确定所述待处理视频帧序列块中每个邻帧的运动补偿邻帧特征，得到运动补偿邻帧特征集合；
采用多幅图像神经网络对所述运动补偿邻帧特征集合中每个邻帧的运动补偿邻帧特征进行放大，得到放大运动补偿邻帧特征集合；所述放大运动补偿邻帧特征集合中包括每个邻帧的放大运动补偿邻帧特征；
采用第二卷积层对所述参考帧进行特征提取，得到参考帧特征；
采用深度反向投影网络对所述参考帧特征进行放大，得到放大参考帧特征；
将所述放大参考帧特征与所述放大运动补偿邻帧特征集合中的一个邻帧的放大运动补偿邻帧特征作差，并采用残差神经网络对差值进行特征提取，得到差值特征；
根据所述参考帧特征，采用所述多幅图像神经网络确定注意力参数；
采用sigmoid函数对所述注意力参数进行标准化，得到标准化注意力参数；
所述差值特征点乘所述标准化注意力参数，然后再加上所述放大参考帧特征，得到隐藏特征；
将所述隐藏特征保存于列表中，并将所述隐藏特征采用解码器进行缩小，得到缩小隐藏特征，并将所述缩小隐藏特征更新为参考帧特征，返回步骤“采用深度反向投影网络对所述参考帧特征进行放大，得到放大参考帧特征”，直到确定所述放大运动补偿邻帧特征集合中每个邻帧的放大运动补偿邻帧特征与所述放大参考帧特征差值对应的隐藏特征；
将所述列表中的隐藏特征进行拼接，并采用第三卷积层对拼接后的特征进行特征提取，得到超分辨率图像。
可选的，所述获取待处理视频帧序列块，之前还包括：
获取待处理视频帧序列；
将所述待处理视频帧序列按照时间顺序划分为多个视频帧序列块，得到待处理视频帧序列块；每个所述视频帧序列块中的视频帧个数相同。
可选的，所述根据所述待处理视频帧序列块，采用光流估计方法和第一卷积层确定所述待处理视频帧序列块中每个邻帧的运动补偿邻帧特征，得到运动补偿邻帧特征集合，具体包括：
采用光流估计方法估计所述待处理视频帧序列块中每个邻帧与参考帧间的光流图，得到光流图集合；所述光流图集合中包括多个光流图，所述光流图的个数和所述邻帧的个数相同；
根据所述待处理视频帧序列块和所述光流图集合，采用第一卷积层对每个所述邻帧进行运动补充，得到运动补偿邻帧特征集合。
一种基于自适应反向投影深度学习的视频超分辨率系统，包括：
待处理视频帧序列块获取模块，用于获取待处理视频帧序列块；所述待处理视频帧序列块为多个；所述待处理视频帧序列块中包括一个参考帧和多个邻帧；
运动补偿邻帧特征确定模块，用于根据所述待处理视频帧序列块，采用光流估计方法和第一卷积层确定所述待处理视频帧序列块中每个邻帧的运动补偿邻帧特征，得到运动补偿邻帧特征集合；
运动补偿邻帧特征放大模块，用于采用多幅图像神经网络对所述运动补偿邻帧特征集合中每个邻帧的运动补偿邻帧特征进行放大，得到放大运动补偿邻帧特征集合；所述放大运动补偿邻帧特征集合中包括每个邻帧的放大运动补偿邻帧特征；
参考帧特征提取模块，用于采用第二卷积层对所述参考帧进行特征提取，得到参考帧特征；
参考帧特征放大模块，用于采用深度反向投影网络对所述参考帧特征进行放大，得到放大参考帧特征；
差值特征提取模块，用于将所述放大参考帧特征与所述放大运动补偿邻帧特征集合中的一个邻帧的放大运动补偿邻帧特征作差，并采用残差神经网络对差值进行特征提取，得到差值特征；
注意力参数确定模块，用于根据所述参考帧特征，采用所述多幅图像神经网络确定注意力参数；
标准化模块，用于采用sigmoid函数对所述注意力参数进行标准化，得到标准化注意力参数；
隐藏特征获得模块，用于所述差值特征点乘所述标准化注意力参数，然后再加上所述放大参考帧特征，得到隐藏特征；
更新模块，用于将所述隐藏特征保存于列表中，并将所述隐藏特征采用解码器进行缩小，得到缩小隐藏特征，并将所述缩小隐藏特征更新为参考帧特征，返回所述参考帧特征放大模块，直到确定所述放大运动补偿邻帧特征集合中每个邻帧的放大运动补偿邻帧特征与所述放大参考帧特征差值对应的隐藏特征；
超分辨率图像获得模块，用于将所述列表中的隐藏特征进行拼接，并采用第三卷积层对拼接后的特征进行特征提取，得到超分辨率图像。
可选的，所述基于自适应反向投影深度学习的视频超分辨率系统还包括：
待处理视频帧序列获取模块，用于获取待处理视频帧序列；
视频帧序列块划分模块，用于将所述待处理视频帧序列按照时间顺序划分为多个视频帧序列块，得到待处理视频帧序列块；每个所述视频帧序列块中的视频帧个数相同。
可选的，所述运动补偿邻帧特征确定模块具体包括：
光流图估计单元，用于采用光流估计方法估计所述待处理视频帧序列块中每个邻帧与参考帧间的光流图，得到光流图集合；所述光流图集合中包括多个光流图，所述光流图的个数和所述邻帧的个数相同；
运动补偿邻帧特征确定单元，用于根据所述待处理视频帧序列块和所述光流图集合，采用第一卷积层对每个所述邻帧进行运动补充，得到运动补偿邻帧特征集合。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明提供了一种基于自适应反向投影深度学习的视频超分辨率方法及系统，根据参考帧特征采用多幅图像神经网络确定注意力参数，并对注意力参数进行标准化，将差值特征点乘标准化注意力参数再加上放大参考帧特征，得到隐藏特征；将隐藏特征保存于列表中；并将隐藏特征采用解码器进行缩小，得到缩小隐藏特征，将缩小隐藏特征更新为参考帧特征，直到确定每个邻帧的运动补偿邻帧特征与放大参考帧特征差值对应的隐藏特征；最后将列表中的隐藏特征进行拼接，并采用第三卷积层对拼接后的特征进行特征提取，得到超分辨率图像。在注意力参数的约束下，反向投影的反馈过程中能够有效地提取有用的特征信息，从而有效地提升视频图像的重建结果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例所提供的一种基于自适应反向投影深度学习的视频超分辨率方法的流程图；
图2为本发明实施例所提供的一种基于自适应反向投影深度学习的视频超分辨率系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种基于自适应反向投影深度学习的视频超分辨率方法及系统，在视觉注意力模型的约束下，反向投影的反馈过程中能够有效地提取有用的特征信息，从而有效地提升视频图像的重建结果。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明实施例所提供的一种基于自适应反向投影深度学习的视频超分辨率方法的流程图，如图1所示，本发明一种基于自适应反向投影深度学习的视频超分辨率方法包括：
S101之前包括：
获取待处理视频帧序列。本发明实施例中下载了REDS(REalistic and DynamicScenes dataset)，它是包含270个文件夹的数据集，文件夹按顺序进行编号000-269，每个文件夹里有100帧图像并按顺序进行编号。将REDS数据集去除000，011，015和020文件夹用于训练集，包括26600张高分辨率图像和对应的低分辨率图像，每5帧低分辨率图像重建1帧高分辨率图像。将000，011，015和020文件夹组成REDS4数据集作为测试，包括400张高分辨率图像和对应的低分辨率图像，每5帧低分辨率图像重建1帧高分辨率图像。
将所述待处理视频帧序列按照时间顺序划分为多个视频帧序列块，得到待处理视频帧序列块；每个所述视频帧序列块中的视频帧个数相同。本发明实施例中一个视频帧序列块中包括5帧视频帧，5帧中的中间帧为参考帧，前2帧和后2帧为邻帧，例如若五帧的视频帧的序号为1、2、3、4、5，那么第3帧为参考帧，1、2、4、5为对应的邻帧。
S101，获取待处理视频帧序列块；所述待处理视频帧序列块为多个；所述待处理视频帧序列块中包括一个参考帧和多个邻帧。
S102，根据所述待处理视频帧序列块，采用光流估计方法和第一卷积层确定所述待处理视频帧序列块中每个邻帧的运动补偿邻帧特征，得到运动补偿邻帧特征集合。S102具体包括：
步骤201，采用光流估计方法估计所述待处理视频帧序列块中每个邻帧与参考帧间的光流图，得到光流图集合；所述光流图集合中包括多个光流图，所述光流图的个数和所述邻帧的个数相同。
步骤202，根据所述待处理视频帧序列块和所述光流图集合，采用第一卷积层对每个所述邻帧进行运动补充，得到运动补偿邻帧特征集合。
采用光流估计方法获取参考帧与每个邻帧间的运动估计即光流图，利用一个卷积层即第一卷积层得到运动补偿后的视频帧特征。输入的待处理视频帧序列块中包括5帧低分辨率图像序列，可以表示为{I1,I2,I3,I4,I5}，I3为参考帧，{I1,I2,I4,I5}为邻帧，每帧邻帧可以表示为Ik,k＝1,2,4,5，每帧运动补偿后的视频帧特征可以表示为Mk,k＝1,2,4,5，得到运动补偿邻帧特征集合为{M1,M2,M4,M5}。具体的，计算第1帧到第3帧，第2帧到第3帧，第4帧到第3帧，第5帧到第3帧的光流，进行四次循环，第一次循环输入为第1帧，第3帧(参考帧)，第1帧和第3帧之间的光流，将它们三个在通道维度上堆叠起来，得到8通道的特征图，再经过一层卷积得到融合特征图即运动补偿邻帧特征M1；第二次循环输入为第2帧，第3帧(参考帧)，第2帧和第3帧之间的光流，将它们三个在通道维度上堆叠起来，得到8通道的特征图，再经过一层卷积得到融合特征图即运动补偿邻帧特征M2。依次类推。循环结束得到对应每帧邻帧的四张融合特征图即得到运动补偿邻帧特征集合。
S103，采用多幅图像神经网络对所述运动补偿邻帧特征集合中每个邻帧的运动补偿邻帧特征进行放大，得到放大运动补偿邻帧特征集合；所述放大运动补偿邻帧特征集合中包括每个邻帧的放大运动补偿邻帧特征。
具体的，将对应的运动补偿邻帧特征Mk通过多幅图像神经网络Netmisr得到放大的运动补偿特征
Figure BDA0002653824630000061
多幅图像神经网络中包括五个残差块和一个反卷积层，即
Figure BDA0002653824630000062
S104，采用第二卷积层对所述参考帧进行特征提取，得到参考帧特征L3。
S105，采用深度反向投影网络对所述参考帧特征进行放大，得到放大参考帧特征。
具体的，将参考帧特征L3通过深度反向投影网络(DBPN网络)得到放大的参考帧特征
Figure BDA0002653824630000071
即
Figure BDA0002653824630000072
S106，将所述放大参考帧特征与所述放大运动补偿邻帧特征集合中的一个邻帧的放大运动补偿邻帧特征作差，并采用残差神经网络对差值进行特征提取，得到差值特征ek。
具体的，将放大的参考帧特征
Figure BDA0002653824630000073
与放大运动补偿邻帧特征
Figure BDA0002653824630000074
作差，然后通过残差神经网络Netres提取差的特征ek，采用残差神经网络中包括五个残差块和一个卷积层即
Figure BDA0002653824630000075
S107，根据所述参考帧特征，采用所述多幅图像神经网络确定注意力参数，所述多幅图像神经网络中包括五个残差块和一个反卷积层即γ＝Netmisr(L3；θmisr)。
S108，采用sigmoid函数对所述注意力参数进行标准化，得到标准化注意力参数，即
Figure BDA0002653824630000076
其中γ′为标准化注意力参数。
S109，所述差值特征点乘所述标准化注意力参数，然后再加上所述放大参考帧特征，得到隐藏特征Hk，即
Figure BDA0002653824630000077
S110，将所述隐藏特征保存于列表H中，并将所述隐藏特征采用解码器进行缩小，得到缩小隐藏特征Lk，并将所述缩小隐藏特征更新为参考帧特征，返回S105，直到确定所述放大运动补偿邻帧特征集合中每个邻帧的放大运动补偿邻帧特征与所述放大参考帧特征差值对应的隐藏特征。具体的，本发明实施例中放大运动补偿邻帧特征集合中包括4个邻帧的放大运动补偿邻帧特征，分别为
Figure BDA0002653824630000078
和
Figure BDA0002653824630000079
采用S105-S109对第1邻帧的放大运动补偿邻帧特征H1 m进行处理，得到第1邻帧对应的隐藏特征H1，采用S110对隐藏特征H1进行处理，得到第1邻帧对应的缩小隐藏特征L1，将缩小隐藏特征L1更新为参考帧特征即L3＝L1。然后基于更新后的参考特征，采用S105-S109对第2邻帧的放大运动补偿邻帧特征
Figure BDA00026538246300000710
进行处理，得到第2邻帧对应的隐藏特征H2，采用S110对隐藏特征H2进行处理，得到第2邻帧对应的缩小隐藏特征L2，将缩小隐藏特征L2更新为参考帧特征即L3＝L2。循环上述方法直到得到隐藏特征H4和隐藏特征H5。其中，所述解码器中包括五个残差块和一个卷积层，即Lk＝NetD(Hk；θD)。
S111，将所述列表H中的隐藏特征进行拼接，并采用第三卷积层对拼接后的特征进行特征提取，得到超分辨率图像。
本发明还提供了一种基于自适应反向投影深度学习的视频超分辨率系统，如图2所示，视频超分辨率系统包括：
待处理视频帧序列块获取模块1，用于获取待处理视频帧序列块；所述待处理视频帧序列块为多个；所述待处理视频帧序列块中包括一个参考帧和多个邻帧。
运动补偿邻帧特征确定模块2，用于根据所述待处理视频帧序列块，采用光流估计方法和第一卷积层确定所述待处理视频帧序列块中每个邻帧的运动补偿邻帧特征，得到运动补偿邻帧特征集合。
运动补偿邻帧特征放大模块3，用于采用多幅图像神经网络对所述运动补偿邻帧特征集合中的每个邻帧的运动补偿邻帧特征进行放大，得到放大运动补偿邻帧特征集合；所述放大运动补偿邻帧特征集合中包括每个邻帧的放大运动补偿邻帧特征。
参考帧特征提取模块4，用于采用第二卷积层对所述参考帧进行特征提取，得到参考帧特征。
参考帧特征放大模块5，用于采用深度反向投影网络对所述参考帧特征进行放大，得到放大参考帧特征。
差值特征提取模块6，用于将所述放大参考帧特征与所述放大运动补偿邻帧特征集合中的一个邻帧的放大运动补偿邻帧特征作差，并采用残差神经网络对差值进行特征提取，得到差值特征。
注意力参数确定模块7，用于根据所述参考帧特征，采用所述多幅图像神经网络确定注意力参数。
标准化模块8，用于采用sigmoid函数对所述注意力参数进行标准化，得到标准化注意力参数。
隐藏特征获得模块9，用于所述差值特征点乘所述标准化注意力参数，然后再加上所述放大参考帧特征，得到隐藏特征。
更新模块10，用于将所述隐藏特征保存于列表中，并将所述隐藏特征采用解码器进行缩小，得到缩小隐藏特征，将所述缩小隐藏特征更新为参考帧特征，返回所述参考帧特征放大模块，直到确定所述放大运动补偿邻帧特征集合中每个邻帧的放大运动补偿邻帧特征与所述放大参考帧特征差值对应的隐藏特征。
超分辨率图像获得模块11，用于将所述列表中的隐藏特征进行拼接，并采用第三卷积层对拼接后的特征进行特征提取，得到超分辨率图像。
优选的，所述基于自适应反向投影深度学习的视频超分辨率系统还包括：
待处理视频帧序列获取模块，用于获取待处理视频帧序列。
视频帧序列块划分模块，用于将所述待处理视频帧序列按照时间顺序划分为多个视频帧序列块，得到待处理视频帧序列块；每个所述视频帧序列块中的视频帧个数相同。
优选的，所述运动补偿邻帧特征确定模块2具体包括：
光流图估计单元，用于采用光流估计方法估计所述待处理视频帧序列块中每个邻帧与参考帧间的光流图，得到光流图集合；所述光流图集合中包括多个光流图，所述光流图的个数和所述邻帧的个数相同。
运动补偿邻帧特征确定单元，用于根据所述待处理视频帧序列块和所述光流图集合，采用第一卷积层对每个所述邻帧进行运动补充，得到运动补偿邻帧特征集合。
本发明中引入标准化注意力参数γ′使得在反馈过程中能够判别性地选择对视频重建有用的特征。参考帧和邻帧联合引导训练多幅图像神经网络Netmisr，让此模块通过反向传播自身学到低分辨率图像中没有的细节并将图像放大。参考帧特征L3通过多幅图像神经网络Netmisr放大后，再通过sigmoid函数得到标准化注意力参数γ′，并将γ′和邻帧补充给参考帧的额外信息，即差值特征ek进行像素级的一对一点乘。因为这个额外信息ek不一定全是有用的特征信息，也有无用的对重建有负面影响的特征信息，需要对额外信息进行判断。通过反向传播网络会自适应的调整γ′的值。在γ′的约束下，反向投影的反馈过程中能够有效地提取有用的特征信息，从而有效地提升视频图像的重建结果。本发明在视觉注意力模型的约束下，反向投影的反馈过程中能够有效地提取有用的特征信息，从而有效地提升视频图像的重建结果。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种基于自适应反向投影深度学习的视频超分辨率方法，其特征在于，包括：
获取待处理视频帧序列块；所述待处理视频帧序列块为多个；所述待处理视频帧序列块中包括一个参考帧和多个邻帧；
根据所述待处理视频帧序列块，采用光流估计方法和第一卷积层确定所述待处理视频帧序列块中每个邻帧的运动补偿邻帧特征，得到运动补偿邻帧特征集合；
采用多幅图像神经网络对所述运动补偿邻帧特征集合中每个邻帧的运动补偿邻帧特征进行放大，得到放大运动补偿邻帧特征集合；所述放大运动补偿邻帧特征集合中包括每个邻帧的放大运动补偿邻帧特征；
采用第二卷积层对所述参考帧进行特征提取，得到参考帧特征；
采用深度反向投影网络对所述参考帧特征进行放大，得到放大参考帧特征；
将所述放大参考帧特征与所述放大运动补偿邻帧特征集合中的一个邻帧的放大运动补偿邻帧特征作差，并采用残差神经网络对差值进行特征提取，得到差值特征；
根据所述参考帧特征，采用所述多幅图像神经网络确定注意力参数；
采用sigmoid函数对所述注意力参数进行标准化，得到标准化注意力参数；
所述差值特征点乘所述标准化注意力参数，然后再加上所述放大参考帧特征，得到隐藏特征；
将所述隐藏特征保存于列表中，并将所述隐藏特征采用解码器进行缩小，得到缩小隐藏特征，将所述缩小隐藏特征更新为参考帧特征，返回步骤“采用深度反向投影网络对所述参考帧特征进行放大，得到放大参考帧特征”，直到确定所述放大运动补偿邻帧特征集合中每个邻帧的放大运动补偿邻帧特征与所述放大参考帧特征差值对应的隐藏特征；
将所述列表中的隐藏特征进行拼接，并采用第三卷积层对拼接后的特征进行特征提取，得到超分辨率图像。
2.根据权利要求1所述的基于自适应反向投影深度学习的视频超分辨率方法，其特征在于，所述获取待处理视频帧序列块，之前还包括：
获取待处理视频帧序列；
将所述待处理视频帧序列按照时间顺序划分为多个视频帧序列块，得到待处理视频帧序列块；每个所述视频帧序列块中的视频帧个数相同。
3.根据权利要求1所述的基于自适应反向投影深度学习的视频超分辨率方法，其特征在于，所述根据所述待处理视频帧序列块，采用光流估计方法和第一卷积层确定所述待处理视频帧序列块中每个邻帧的运动补偿邻帧特征，得到运动补偿邻帧特征集合，具体包括：
采用光流估计方法估计所述待处理视频帧序列块中每个邻帧与参考帧间的光流图，得到光流图集合；所述光流图集合中包括多个光流图，所述光流图的个数和所述邻帧的个数相同；
根据所述待处理视频帧序列块和所述光流图集合，采用第一卷积层对每个所述邻帧进行运动补充，得到运动补偿邻帧特征集合。
4.一种基于自适应反向投影深度学习的视频超分辨率系统，其特征在于，包括：
待处理视频帧序列块获取模块，用于获取待处理视频帧序列块；所述待处理视频帧序列块为多个；所述待处理视频帧序列块中包括一个参考帧和多个邻帧；
运动补偿邻帧特征确定模块，用于根据所述待处理视频帧序列块，采用光流估计方法和第一卷积层确定所述待处理视频帧序列块中每个邻帧的运动补偿邻帧特征，得到运动补偿邻帧特征集合；
运动补偿邻帧特征放大模块，用于采用多幅图像神经网络对所述运动补偿邻帧特征集合中每个邻帧的运动补偿邻帧特征进行放大，得到放大运动补偿邻帧特征集合；所述放大运动补偿邻帧特征集合中包括每个邻帧的放大运动补偿邻帧特征；
参考帧特征提取模块，用于采用第二卷积层对所述参考帧进行特征提取，得到参考帧特征；
参考帧特征放大模块，用于采用深度反向投影网络对所述参考帧特征进行放大，得到放大参考帧特征；
差值特征提取模块，用于将所述放大参考帧特征与所述放大运动补偿邻帧特征集合中的一个邻帧的放大运动补偿邻帧特征作差，并采用残差神经网络对差值进行特征提取，得到差值特征；
注意力参数确定模块，用于根据所述参考帧特征，采用所述多幅图像神经网络确定注意力参数；
标准化模块，用于采用sigmoid函数对所述注意力参数进行标准化，得到标准化注意力参数；
隐藏特征获得模块，用于所述差值特征点乘所述标准化注意力参数，然后再加上所述放大参考帧特征，得到隐藏特征；
更新模块，用于将所述隐藏特征保存于列表中，并将所述隐藏特征采用解码器进行缩小，得到缩小隐藏特征，并将所述缩小隐藏特征更新为参考帧特征，返回所述参考帧特征放大模块，直到确定所述放大运动补偿邻帧特征集合中每个邻帧的放大运动补偿邻帧特征与所述放大参考帧特征差值对应的隐藏特征；
超分辨率图像获得模块，用于将所述列表中的隐藏特征进行拼接，并采用第三卷积层对拼接后的特征进行特征提取，得到超分辨率图像。
5.根据权利要求4所述的基于自适应反向投影深度学习的视频超分辨率系统，其特征在于，所述基于自适应反向投影深度学习的视频超分辨率系统还包括：
待处理视频帧序列获取模块，用于获取待处理视频帧序列；
视频帧序列块划分模块，用于将所述待处理视频帧序列按照时间顺序划分为多个视频帧序列块，得到待处理视频帧序列块；每个所述视频帧序列块中的视频帧个数相同。
6.根据权利要求4所述的基于自适应反向投影深度学习的视频超分辨率系统，其特征在于，所述运动补偿邻帧特征确定模块具体包括：
光流图估计单元，用于采用光流估计方法估计所述待处理视频帧序列块中每个邻帧与参考帧间的光流图，得到光流图集合；所述光流图集合中包括多个光流图，所述光流图的个数和所述邻帧的个数相同；
运动补偿邻帧特征确定单元，用于根据所述待处理视频帧序列块和所述光流图集合，采用第一卷积层对每个所述邻帧进行运动补充，得到运动补偿邻帧特征集合。
CN202010880004.9A 2020-08-27 2020-08-27 基于自适应反向投影深度学习的视频超分辨率方法及系统 Active CN112016456B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010880004.9A CN112016456B (zh) 2020-08-27 2020-08-27 基于自适应反向投影深度学习的视频超分辨率方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010880004.9A CN112016456B (zh) 2020-08-27 2020-08-27 基于自适应反向投影深度学习的视频超分辨率方法及系统

Publications (2)

Publication Number Publication Date
CN112016456A CN112016456A (zh) 2020-12-01
CN112016456B true CN112016456B (zh) 2021-06-22

Family

ID=73502846

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010880004.9A Active CN112016456B (zh) 2020-08-27 2020-08-27 基于自适应反向投影深度学习的视频超分辨率方法及系统

Country Status (1)

Country Link
CN (1) CN112016456B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112565819B (zh) * 2020-12-24 2023-04-07 新奥特（北京）视频技术有限公司 一种视频数据处理的方法及装置、电子设备、存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107155096A (zh) * 2017-04-19 2017-09-12 清华大学 一种基于半误差反向投影的超分辨率重建方法及装置
CN107221013A (zh) * 2017-05-16 2017-09-29 山东财经大学 一种基于变分光流估计肺部4d‑ct图像超分辨率处理方法
CN109727195A (zh) * 2018-12-25 2019-05-07 成都元点智库科技有限公司 一种图像超分辨率重构方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10366480B2 (en) * 2016-07-01 2019-07-30 Analytical Mechanics Associates, Inc. Super-resolution systems and methods

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107155096A (zh) * 2017-04-19 2017-09-12 清华大学 一种基于半误差反向投影的超分辨率重建方法及装置
CN107221013A (zh) * 2017-05-16 2017-09-29 山东财经大学 一种基于变分光流估计肺部4d‑ct图像超分辨率处理方法
CN109727195A (zh) * 2018-12-25 2019-05-07 成都元点智库科技有限公司 一种图像超分辨率重构方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Deep Blind Video Super-resolution;Jinshan Pan et al.;《Computer Vision and Pattern Recognition》;20200310;1-10 *
Recurrent Back-Projection Network for Video Super-Resolution;Muhammad Haris et al.;《2019 IEEECVF Conference on Computer Vision and Pattern Recognition (CVPR)》;20200109;3892-3901 *
Towards efficient motion-blurred public security video super-resolution based on back-projection networks;Kehua Guo et al.;《Journal of Network and Computer Applications》;20200507;1-12 *
基于多尺度反向投影的图像超分辨率重建算法;熊亚辉;《计算机工程》;20200731;251-259 *
基于深度学习的图像超分辨率重构算法研究;吴科永;《中国优秀硕士学位论文全文数据库 信息科技辑》;20190215;I138-1577 *

Also Published As

Publication number Publication date
CN112016456A (zh) 2020-12-01

Similar Documents

Publication Publication Date Title
CN111898701B (zh) 模型训练、帧图像生成、插帧方法、装置、设备及介质
Yan et al. Attention-guided network for ghost-free high dynamic range imaging
CN111062872B (zh) 一种基于边缘检测的图像超分辨率重建方法及系统
CN113240580B (zh) 一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法
CN109671023B (zh) 一种人脸图像超分辨率二次重建方法
US10929720B2 (en) Image processing method, image processing apparatus, and computer storage medium
US11216914B2 (en) Video blind denoising method based on deep learning, computer equipment and storage medium
CN111028177B (zh) 一种基于边缘的深度学习图像去运动模糊方法
CN108122197B (zh) 一种基于深度学习的图像超分辨率重建方法
CN110008817B (zh) 模型训练、图像处理方法、装置、电子设备及计算机可读存储介质
CN111260560B (zh) 一种融合注意力机制的多帧视频超分辨率方法
CN111754446A (zh) 一种基于生成对抗网络的图像融合方法、系统及存储介质
CN109727195B (zh) 一种图像超分辨率重构方法
CN110189260B (zh) 一种基于多尺度并行门控神经网络的图像降噪方法
CN112435191B (zh) 一种基于多个神经网络结构融合的低照度图像增强方法
CN112422870B (zh) 一种基于知识蒸馏的深度学习视频插帧方法
Guan et al. Srdgan: learning the noise prior for super resolution with dual generative adversarial networks
CN112200732B (zh) 一种清晰特征融合的视频去模糊方法
Zhang et al. Deep motion blur removal using noisy/blurry image pairs
CN116862773A (zh) 一种应用于复杂场景下的视频超分辨率重建方法
CN112016456B (zh) 基于自适应反向投影深度学习的视频超分辨率方法及系统
CN114926336A (zh) 视频超分辨率重建方法、装置、计算机设备及存储介质
US11783454B2 (en) Saliency map generation method and image processing system using the same
CN116883265A (zh) 一种基于增强特征融合机制的图像去模糊方法
CN116208812A (zh) 一种基于立体事件和强度相机的视频插帧方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant