CN114494023A - 一种基于运动补偿与稀疏增强的视频超分辨率实现方法 - Google Patents

一种基于运动补偿与稀疏增强的视频超分辨率实现方法 Download PDF

Info

Publication number
CN114494023A
CN114494023A CN202210353089.4A CN202210353089A CN114494023A CN 114494023 A CN114494023 A CN 114494023A CN 202210353089 A CN202210353089 A CN 202210353089A CN 114494023 A CN114494023 A CN 114494023A
Authority
CN
China
Prior art keywords
conv
resolution
optical flow
motion compensation
video super
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210353089.4A
Other languages
English (en)
Other versions
CN114494023B (zh
Inventor
朱树元
朱强
张浩彧
刘光辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202210353089.4A priority Critical patent/CN114494023B/zh
Publication of CN114494023A publication Critical patent/CN114494023A/zh
Application granted granted Critical
Publication of CN114494023B publication Critical patent/CN114494023B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Television Systems (AREA)

Abstract

本发明属于视频超分辨率和视频质量增强领域，具体提供一种基于运动补偿与稀疏增强的视频超分辨率实现方法，用以有效提升视频超分辨率的质量。本发明在双向传播机制下构建光流指导的运动补偿与空域稀疏增强的卷积神经网络，实现视频超分辨率信息的高效重建；首先，利用光流指导可变形卷积获得更加准确的前向和反向运动补偿信息；其次，结合前向和反向的时序特征，进行空域的稀疏增强处理提高空域的细节信息；最后，将前向和反向时序信息和空域稀疏信息融合，进而提升视频重建的质量。综上所述，本发明在双向传播机制下，引入光流指导运动补偿与空域稀疏增强，能够显著提升视频时序信息的获取与空域细节的增强，从而提升视频超分辨率的质量。

Description

一种基于运动补偿与稀疏增强的视频超分辨率实现方法
技术领域
本发明属于视频超分与质量增强领域，具体提供一种基于运动补偿与稀疏增强的视频超分辨率实现方法。
背景技术
多媒体信息需求的不断增长带来了多媒体技术的迅速发展，数字图像是多媒体信息的主要载体，其原始数据量巨大，需要占用较大的存储空间和传输带宽；为了节约有限的存储和传输资源，通常需要对视频进行压缩；压缩率越高，所节约的存储和传输资源就越多，不过带来的压缩失真就越大。因此，为了呈现出清晰，细节丰富的高质量视频在终端设备上的实现，需要利用视频超分辨率等质量增强的技术来提升传输视频的清晰度，达到更好视觉呈现效果。
视频超分辨率是指利用视频中一帧或多帧低分辨率图像的信息，将其构建出更高分辨率视频的技术；超分辨率恢复有着广泛应用，如医疗图像分析、视频监控、生物特征识别和安全性等领域。视频超分辨率除了提升视频质量外，还有助于提升其他计算机视觉任务的效果；因此，对提升超分辨率技术的研究具有非常重要的实际意义和应用价值。
发明内容
本发明的目的在于提供一种基于运动补偿与稀疏增强的视频超分辨率实现方法，用以有效提升低分辨率视频的质量。为实现该目的，本发明采用的技术方案如下：
一种基于运动补偿与稀疏增强的视频超分辨率实现方法，其特征在于，包括以下步骤：
步骤1. 数据预处理；
将输入视频抽取成连续图像序列V={I1 , I2 , I3 , … , IT-1 , IT}，沿时间维度将相邻三个图像序列帧划分为一个子序列、依次得到子序列Vsub2={I1 , I2 , I3}、Vsub3={I2 , I3 , I4}、… 、Vsubt={It-1 , It , It+1}、… 、VsubT-1={IT-2 , IT-1，IT}，其中， t=2、3、...、T，T为输入视频的图像序列帧总数；
步骤2. 将子序列Vsubt依次输入至预训练视频超分辨率网络，由视频超分辨率网络输出对应的视频超分辨率帧Yt。
进一步的，所述视频超分辨率网络包括：双向光流提取模块、双向光流指导运动补偿模块、空域稀疏增强模块及上采样模块；其中，
所述双向光流提取模块由前向光流提取模块与反向光流提取模块构成，所述前向光流提取模块与反向光流提取模块采用相同网络结构，包括：2个特征提取单元、K个迭代单元，其中，第1个迭代单元的输入为U1in1与U1in2，第1个迭代单元的输出为U1out，第k个迭代单元采用相同网络结构，第k个迭代单元的输入为Ukin1、Ukin2与Ukin3，第k个迭代单元的输出为Ukout，k=2,3,... ,K；所述子序列Vsubt中图像序列帧It-1与图像序列帧It作为前向光流提取模块的输入，图像序列帧It-1与图像序列帧It分别经过特征提取单元后得到特征Ht-1与特征Ht，特征Ht作为U1in1，特征Ht-1作为U1in2，特征Ht-1与特征Ht进行Correlation运算后为Ukin3，U(k-1)out作为Ukin2，特征Ht作为Ukin1，第K个迭代单元输出前向光流Ff t；所述子序列Vsubt中图像序列帧It+1与图像序列帧It作为反向光流提取模块的输入，反向光流提取模块输出反向光流Fb t；
所述双向光流指导运动补偿模块由前向光流指导运动补偿模块与反向光流指导运动补偿模块构成，前向光流指导运动补偿模块与反向光流指导运动补偿模块采用相同网络结构，具体为：所述子序列Vsubt中图像序列帧It、前向光流Ff t与前向时序特征Hf t-1作为前向光流指导运动补偿模块的输入，前向光流Ff t与前向时序特征Hf t-1进行对齐操作后、与图像序列帧It进行特征拼接得到H*t，H*t依次经过3个第一类卷积单元与CONV 3×3×54后得到H**t，H**t与图像序列帧It进行特征拼接后依次经过4个第一类卷积单元与CONV 3×3×27+ Sigmoid后得到HM t，H**t与前向光流Ff t进行对应位置元素相加得到HO t，HM t、HO t与前向时序特征Hf t-1输入至Modulated DCN，Modulated DCN输出前向时序特征Hf t；所述子序列Vsubt中图像序列帧It、反向光流Fb t与反向时序特征Hb t-1作为反向光流指导运动补偿模块的输入，反向光流指导运动补偿模块输出反向时序特征Hb t；
所述空域稀疏增强模块的网络结构为：所述子序列Vsubt中图像序列帧It、前向时序特征Hf t与反向时序特征Hb t作为空域稀疏增强模块的输入，前向时序特征Hf t与反向时序特征Hb t分别经过CONV 3×3×256+ CONV 1×1×256后得到H*f t与H*b t，前向时序特征Hf t与反向时序特征Hb t输入稀疏模板生成器分别得到H**f t与H**b t，H**f t与H**b t、图像序列帧It进行特征拼接得到HC t， HC t与H*f t、H*b t、图像序列帧It进行特征拼接得到H*C t；H*C t依次经过4个第二类卷积单元与CONV 3×3×64后得到时空增强特征Et；
所述上采样模块对时空增强特征Et进行上采样操作得到上采样后的增强高分辨率帧Rt，图像序列帧It进行Bicubic的插值操作得到的高分辨率帧Bt，将增强高分辨率帧Rt与高分辨率帧Bt进行相加得到视频超分辨率帧Yt。
更进一步的，所述特征提取单元的网络结构为：CONV 7×7×64+ RES×64+ RES×64+ RES×128+ RES×128+ RES×192+ RES×192+CONV 3×3×256。
更进一步的，所述第1个迭代单元的网络结构为：U1in1与U1in2分别经过arange+meshgrid+stack+Repeat后得到U1*in1与U1*in2，U1*in1与U1*in2作对应位置元素相减得到U1out。
更进一步的，所述第k个迭代单元的网络结构为：Ukin1经过CONV 7×7×128+ CONV3×3×64+ CONV 3×3×64得到Uk*in1，Ukin2与Ukin3分别经过CONV 1×1×256+ CONV 3×3×128+ CONV 3×3×128得到Uk*in2与Uk*in3，Uk*in2与Uk*in3进行特征拼接得到UkC， Uk*in1与UkC经过CONV 3×3×128后得到Uk*C，Uk*C经过CONV GRU 1×5后得到UkG，UkG与Uk*C经过CONV GRU 5×1后得到Uk*G，Uk*G经过CONV 3×3×256+ CONV 3×3×256+ CONV 1×1×2后得到Ukout。
更进一步的，所述第一类卷积单元的网络结构为：CONV 3×3×64+LeakuReLU0.1。
更进一步的，所述第二类卷积单元的网络结构为：输入经过CONV 3×3×256+CONV 3×3×256+ CONV 3×3×256+ CONV 3×3×256+ CONV 3×3×256后、再与输入做Concatenate操作得到输出。
更进一步的，所述视频超分辨率网络的预训练过程为：设置训练参数与损失函数，采用Adam优化器基于训练集对视频超分辨率网络进行训练，所述损失函数为：
Figure 565153DEST_PATH_IMAGE001
其中，
Figure 508838DEST_PATH_IMAGE002
表示损失函数，
Figure 67995DEST_PATH_IMAGE003
表示视频超分辨率网络的输出，
Figure 46316DEST_PATH_IMAGE004
表示标签，
Figure 563885DEST_PATH_IMAGE005
表示
Figure 260445DEST_PATH_IMAGE004
的第i行、第j列的像素值，
Figure 623293DEST_PATH_IMAGE006
表示
Figure 456120DEST_PATH_IMAGE003
的第i行、第j列的像素值，N、M分别表示图像的高、宽，
Figure 881941DEST_PATH_IMAGE007
，
Figure 65798DEST_PATH_IMAGE008
，
Figure 701178DEST_PATH_IMAGE009
表示稀疏模板生成器。
与现有技术相比，本发明是有益效果在于：
本发明提出了一种基于运动补偿与稀疏增强的视频超分辨率实现方法，通过构建在双向传播机制下光流指导的运动补偿与空域稀疏的融合增强构建卷积神经网络，实现低分辨率视频的高效重建；在本发明中，双向的传播机制能够有效的发掘更准确的视频时序信息，时序信息的获取来自于双向的传播从而避免了因目标物的遮挡所造成的一些时序信息的缺失；在空域稀疏增强模块中，利用双向的时序特征获取了有效的双向空域稀疏信息，由于稀疏信息通常体现了图像的边缘、轮廓细节，因而空域稀疏信息的引入对特征细节的增强具有显著的效果；同时，前向和反向的时序特征包含有不同的特征信息成分，将空域的稀疏信息与时序信息进行有效融合，能够有效增强重建后视频帧的质量。综上所述，本发明在双向传播机制下设计光流指导的运动补偿，能够显著提升视频时序有效信息的获取，并且引入稀疏模板对视频帧的空域信息进行增强，进而有效提升视频超分辨率重建质量。
附图说明
图1为本发明中视频超分辨率网络的网络结构示意图。
图2为图1中所示视频超分辨率网络的光流提取模块的网络结构示意图。
图3为图2中所示光流提取模块的特征提取单元的网络结构示意图。
图4为图2中所示光流提取模块的第1个迭代单元的网络结构示意图。
图5为图2中所示光流提取模块的第k个迭代单元的网络结构示意图，其中，k=2,3,4,5。
图6为图1中所示视频超分辨率网络的光流指导运动补偿模块的网络结构示意图。
图7为图6中所示光流指导运动补偿模块的第一类卷积单元的网络结构示意图。
图8为图1中所示视频超分辨率网络的空域稀疏增强模块的网络结构示意图。
图9为图8中所示空域稀疏增强模块的第二类卷积单元的网络结构示意图。
图10为本发明实施例中经典Bicubic插值方法的视觉结果图。
图11为本发明实施例中MMCNN（基于单向传播的光流补偿的视频超分方法）的视觉结果图。
图12为本发明实施例中DDAN（基于单向传播的光流补偿的视频超分方法）的视觉结果图。
图13为本发明实施例中基于运动补偿与稀疏增强的视频超分辨率实现方法的视觉结果图。
具体实施方式
下面将结合附图对本发明得实施例中的技术方案进行清楚、完整的描述。
本实施例提供一种基于运动补偿与稀疏增强的视频超分辨率实现方法，具体包括以下步骤：
步骤1. 数据预处理；
将输入视频抽取成连续图像序列V={I1 , I2 , I3 , … , IT-1 , IT}，沿时间维度将相邻三个图像序列帧划分为一个子序列、依次得到子序列Vsub2={I1 , I2 , I3}、Vsub3={I2 , I3 , I4}、… 、Vsubt={It-1 , It , It+1}、… 、VsubT-1={IT-2 , IT-1，IT}，其中，T为输入视频的图像序列帧总数，t=2,3,...,T；
步骤2. 将子序列Vsubt依次输入至预训练视频超分辨率网络，由视频超分辨率网络输出对应的视频超分辨率帧Yt。
上述视频超分辨率网络主要包括：双向光流提取模块、双向光流指导运动补偿模块、空域稀疏增强模块、上采样模块，整个视频超分辨率网络中，“CONV 7×7×64”表示卷积核大小为7×7、输出通道为64的卷积层，“RES×64”表示通道数为64的残差块，“CONV GRU 5×1”表示卷积核大小为5×1的门控循环单元，“LeakuReLU 0.1”表示α为0.1的非线性激活函数，“Concatenate”表示特征拼接，“Correlation”表示特征的相关运算：
Figure 654091DEST_PATH_IMAGE010
、其中、
Figure 247883DEST_PATH_IMAGE011
、
Figure 919036DEST_PATH_IMAGE012
，“arange”表示依据输入的特征创建特征维度的等间距采样点，“meshgrid”表示依据特征采样点构建栅格化特征，“stack”表示对通道维度上对生成的特征进行堆叠，“Repeat”表示扩展特征数据为光流满足的格式，“Sigmoid”表示激活函数，“⊕”表示特征对应位置元素相加运算，“
Figure 889266DEST_PATH_IMAGE013
”表示特征对应位置元素相减运算；更为具体的讲：
所述双向光流提取模块由前向光流提取模块与反向光流提取模块构成，所述前向光流提取模块与反向光流提取模块采用相同网络结构，具体如图2所示，包括：两个特征提取单元、五个迭代单元，其中，第1个迭代单元的输入为U1in1与U1in2，第1个迭代单元的输出为U1out，第k个迭代单元采用相同网络结构，第k个迭代单元的输入为Ukin1、Ukin2与Ukin3，第k个迭代单元的输出为Ukout，k=2,3,4,5；
所述子序列Vsubt中图像序列帧It-1与图像序列帧It作为前向光流提取模块的输入，图像序列帧It-1与图像序列帧It分别经过特征提取单元后得到特征Ht-1与特征Ht，特征Ht作为U1in1，特征Ht-1作为U1in2，特征Ht-1与特征Ht进行 Correlation运算后作为Ukin3，U(k-1)out作为Ukin2，特征Ht作为Ukin1，第5个迭代单元输出前向光流Ff t；
同理，所述子序列Vsubt中图像序列帧It+1与图像序列帧It作为反向光流提取模块的输入，图像序列帧It+1与图像序列帧It分别经过特征提取单元后得到特征Ht+1与特征Ht；特征Ht作为U1in1，特征Ht+1作为U1in2，特征Ht+1与特征Ht进行 Correlation的运算后作为Ukin3，U(k-1)out作为Ukin2，特征Ht作为Ukin1，第5个迭代单元输出反向光流Fb t；
进一步的，所述特征提取单元的网络结构如图3所示，具体为：CONV 7×7×64+RES×64+ RES×64+ RES×128+ RES×128+ RES×192+ RES×192+CONV 3×3×256；
进一步的，所述第1个迭代单元的网络结构如图4所示，U1in1与U1in2分别经过arange+meshgrid+stack+Repeat后得到U1*in1与U1*in2，U1*in1与U1*in2作特征对应位置元素相减得到U1out；
进一步的，所述第k个迭代单元的网络结构如图5所示，Ukin1经过CONV 7×7×128+CONV 3×3×64+ CONV 3×3×64得到Uk*in1，Ukin2与Ukin3分别经过CONV 1×1×256+ CONV3×3×128+ CONV 3×3×128得到Uk*in2与Uk*in3，Uk*in2与Uk*in3进行特征拼接得到UkC，Uk*in1与UkC经过CONV 3×3×128后得到Uk*C，Uk*C经过CONV GRU 1×5后得到UkG，UkG与Uk*C经过CONV GRU 5×1后得到Uk*G，Uk*G经过CONV 3×3×256+ CONV 3×3×256+ CONV 1×1×2后得到Ukout；
所述双向光流指导运动补偿模块由前向光流指导运动补偿模块与反向光流指导运动补偿模块构成，前向光流指导运动补偿模块与反向光流指导运动补偿模块采用相同网络结构，具体如图6所示；
所述子序列Vsubt中图像序列帧It、前向光流Ff t与前向时序特征Hf t-1作为前向光流指导运动补偿模块的输入，前向光流Ff t与前向时序特征Hf t-1进行对齐操作后、与图像序列帧It进行特征拼接得到H*t，H*t依次经过3个第一类卷积单元与CONV 3×3×54后得到H**t，H**t与图像序列帧It进行特征拼接后依次经过4个第一类卷积单元与CONV 3×3×27+Sigmoid后得到HM t，H**t与前向光流Ff t进行特征对应位置元素相加（⊕）运算得到HO t，HM t、HO t与前向时序特征Hf t-1输入至Modulated DCN（调制可变形卷积），Modulated DCN输出前向时序特征Hf t；
同理，所述子序列Vsubt中图像序列帧It、反向光流Fb t与反向时序特征Hb t-1作为反向光流指导运动补偿模块的输入，前向光流Fb t与前向时序特征Hb t-1进行对齐操作后、与图像序列帧It进行特征拼接得到H*t，H*t依次经过3个第一类卷积单元与CONV 3×3×54后得到H**t，H**t与图像序列帧It进行特征拼接后依次经过4个第一类卷积单元与CONV 3×3×27+Sigmoid后得到HM t，H**t与前向光流Fb t进行特征对应位置元素相加运算得到HO t，HM t、HO t与前向时序特征Hb t-1输入至Modulated DCN（调制可变形卷积），Modulated DCN输出反向时序特征Hb t；
进一步的，所述第一类卷积单元如图7所示，具体为：CONV 3×3×64+LeakuReLU0.1；
所述空域稀疏增强模块的网络结构如图8所示，所述子序列Vsubt中图像序列帧It、前向时序特征Hf t与反向时序特征Hb t作为空域稀疏增强模块的输入，前向时序特征Hf t与反向时序特征Hb t分别经过CONV 3×3×256+ CONV 1×1×256后得到H*f t与H*b t，前向时序特征Hf t与反向时序特征Hb t输入稀疏模板生成器分别得到H**f t与H**b t，H**f t与H**b t、图像序列帧It进行特征拼接得到HC t， HC t与H*f t、H*b t、图像序列帧It进行特征拼接得到H*C t；H*C t依次经过4个第二类卷积单元与CONV 3×3×64后得到时空增强特征Et；
进一步的，所述第二类卷积单元如图9所示，具体为：输入经过CONV 3×3×256+CONV 3×3×256+ CONV 3×3×256+ CONV 3×3×256+ CONV 3×3×256后、再与输入做Concatenate运算后得到输出；
进一步的，所述稀疏模板生成器表示为：
Figure 696685DEST_PATH_IMAGE014
其中，c、x、y为特征的维度索引，
Figure 726958DEST_PATH_IMAGE015
为输入特征，
Figure 619828DEST_PATH_IMAGE016
为Gumbel噪声特征、其服从Gumbel(0,1)分布，exp为指数运算，
Figure 865520DEST_PATH_IMAGE017
为调节系数、
Figure 589762DEST_PATH_IMAGE018
。
所述上采样模块的输入为时空增强特征Et，上采样模块利用pixel shuffle卷积层对时空增强特征Et进行上采样操作得到上采样后的增强高分辨率帧Rt；最后，对图像序列帧It进行Bicubic的插值操作得到的高分辨率帧Bt，将增强高分辨率帧Rt与高分辨率帧Bt进行相加得到视频超分辨率帧Yt。
上述视频超分辨率网络的预训练过程为：采用MM522数据集中的低分RGB高清视频执行步骤1的数据预处理，将一个子序列作为输入、该子序列对应的原始高分变率视频帧作为标签，形成训练样本，进而构建得到训练集；设置训练参数与损失函数，采用Adam优化器对视频超分辨率网络进行训练，所述训练参数为：学习率为0.0002、批尺寸为4、迭代次数为60000，所述损失函数为：
Figure 525357DEST_PATH_IMAGE001
其中，
Figure 639944DEST_PATH_IMAGE002
表示损失函数，
Figure 420818DEST_PATH_IMAGE003
表示视频超分辨率网络的输出，
Figure 937250DEST_PATH_IMAGE004
表示标签，
Figure 43746DEST_PATH_IMAGE005
表示
Figure 645629DEST_PATH_IMAGE004
的第i行、第j列的像素值，
Figure 230194DEST_PATH_IMAGE006
表示
Figure 866712DEST_PATH_IMAGE003
的第i行、第j列的像素值，N、M分别表示图像的高、宽，
Figure 878530DEST_PATH_IMAGE007
，
Figure 702129DEST_PATH_IMAGE008
，
Figure 90385DEST_PATH_IMAGE009
表示稀疏模板生成器。
基于上述技术方案，本实施例在Vid4视频超分公开测试集上进行×2和×4的超分辨率测试，分别包含Calendar（分辨率为720×576、41张）、City（分辨率为704×576、34张）、Foliage（分辨率为720×480、49张）和Walk（分辨率为720×480、47张）四个序列；与三种方法进行了对比：1）图像的经典Bicubic插值方法，2）MMCNN（一种基于单向传播的光流补偿的视频超分方法），3）DDAN(一种基于单向传播的光流补偿的视频超分方法）。Vid4数据集的Calendar序列在×4超分辨率的测试结果依次如图10~图13所示，由图可知，本实施例中双向传播的光流指导运动补偿与空域稀疏增强的方法能够恢复出更加清晰的图像轮廓等细节信息，同时有效减少恢复视频帧中伪影的存在；本发明均优于现有的基于单方向传播光流补偿的方法，并且明显优于Bicubic的经典的插值方法。本发明在Vid4数据集上对三个方法在×2和×4测试了PSNR和SSIM的结果，如表1所示；相比于Bicubic，本发明在×2和×4的分辨率下分别有了5.27dB和2.85dB的提升；相比于单向传播的光流补偿的视频超分方法DDAN，本发明分别有0.05dB和0.16dB的提升；由此可见，本发明中基于运动补偿与稀疏增强的视频超分辨率实现方法能够有效恢复图像的细节信息，达到更优的视频超分辨率效果。
表1
Figure 318760DEST_PATH_IMAGE019
综上所述，本发明所提出的基于运动补偿与稀疏增强的视频超分辨率实现方法具有出色的表现，在Vid4图像集中，相较于Bicubic，在×4的超分辨率下，可将低分辨率视频的PSNR提高2.85dB。
以上所述，仅为本发明的具体实施方式，本说明书中所公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以任何方式组合。

Claims (8)

1.一种基于运动补偿与稀疏增强的视频超分辨率实现方法，其特征在于，包括以下步骤：
步骤1. 数据预处理；
将输入视频抽取成连续图像序列V={I1 , I2 , I3 , … , IT-1 , IT}，沿时间维度将相邻三个图像序列帧划分为一个子序列、依次得到子序列Vsub2={I1 , I2 , I3}、Vsub3={I2 ,I3 , I4}、… 、Vsubt={It-1 , It , It+1}、… 、VsubT-1={IT-2 , IT-1，IT}，其中， t=2、3、...、T，T为输入视频的图像序列帧总数；
步骤2. 将子序列Vsubt依次输入至预训练视频超分辨率网络，由视频超分辨率网络输出对应的视频超分辨率帧Yt。
2.按权利要求1所述基于运动补偿与稀疏增强的视频超分辨率实现方法，其特征在于，所述视频超分辨率网络包括：双向光流提取模块、双向光流指导运动补偿模块、空域稀疏增强模块及上采样模块；其中，
所述双向光流提取模块由前向光流提取模块与反向光流提取模块构成，所述前向光流提取模块与反向光流提取模块采用相同网络结构，包括：2个特征提取单元、K个迭代单元，其中，第1个迭代单元的输入为U1in1与U1in2，第1个迭代单元的输出为U1out，第k个迭代单元采用相同网络结构，第k个迭代单元的输入为Ukin1、Ukin2与Ukin3，第k个迭代单元的输出为Ukout，k=2,3,... ,K；所述子序列Vsubt中图像序列帧It-1与图像序列帧It作为前向光流提取模块的输入，图像序列帧It-1与图像序列帧It分别经过特征提取单元后得到特征Ht-1与特征Ht，特征Ht作为U1in1，特征Ht-1作为U1in2，特征Ht-1与特征Ht进行 Correlation运算后作为Ukin3，U(k-1)out作为Ukin2，特征Ht作为Ukin1，第K个迭代单元输出前向光流Ff t；所述子序列Vsubt中图像序列帧It+1与图像序列帧It作为反向光流提取模块的输入，反向光流提取模块输出反向光流Fb t；
所述双向光流指导运动补偿模块由前向光流指导运动补偿模块与反向光流指导运动补偿模块构成，前向光流指导运动补偿模块与反向光流指导运动补偿模块采用相同网络结构，具体为：所述子序列Vsubt中图像序列帧It、前向光流Ff t与前向时序特征Hf t-1作为前向光流指导运动补偿模块的输入，前向光流Ff t与前向时序特征Hf t-1进行对齐操作后、与图像序列帧It进行特征拼接得到H*t，H*t依次经过3个第一类卷积单元与CONV 3×3×54后得到H**t，H**t与图像序列帧It进行特征拼接后依次经过4个第一类卷积单元与CONV 3×3×27+Sigmoid后得到HM t，H**t与前向光流Ff t进行对应位置元素相加得到HO t，HM t、HO t与前向时序特征Hf t-1输入至Modulated DCN，Modulated DCN输出前向时序特征Hf t；所述子序列Vsubt中图像序列帧It、反向光流Fb t与反向时序特征Hb t-1作为反向光流指导运动补偿模块的输入，反向光流指导运动补偿模块输出反向时序特征Hb t；
所述空域稀疏增强模块的网络结构为：所述子序列Vsubt中图像序列帧It、前向时序特征Hf t与反向时序特征Hb t作为空域稀疏增强模块的输入，前向时序特征Hf t与反向时序特征Hb t分别经过CONV 3×3×256+ CONV 1×1×256后得到H*f t与H*b t，前向时序特征Hf t与反向时序特征Hb t输入稀疏模板生成器分别得到H**f t与H**b t，H**f t与H**b t、图像序列帧It进行特征拼接得到HC t， HC t与H*f t、H*b t、图像序列帧It进行特征拼接得到H*C t；H*C t依次经过4个第二类卷积单元与CONV 3×3×64后得到时空增强特征Et；
所述上采样模块对时空增强特征Et进行上采样操作得到上采样后的增强高分辨率帧Rt，图像序列帧It进行Bicubic的插值操作得到的高分辨率帧Bt，将增强高分辨率帧Rt与高分辨率帧Bt进行相加得到视频超分辨率帧Yt。
3.按权利要求2所述基于运动补偿与稀疏增强的视频超分辨率实现方法，其特征在于，所述特征提取单元的网络结构为：CONV 7×7×64+ RES×64+ RES×64+ RES×128+ RES×128+ RES×192+ RES×192+CONV 3×3×256。
4.按权利要求2所述基于运动补偿与稀疏增强的视频超分辨率实现方法，其特征在于，所述第1个迭代单元的网络结构为：U1in1与U1in2分别经过arange+meshgrid+stack+Repeat后得到U1*in1与U1*in2，U1*in1与U1*in2作对应位置元素相减得到U1out。
5.按权利要求2所述基于运动补偿与稀疏增强的视频超分辨率实现方法，其特征在于，所述第k个迭代单元的网络结构为：Ukin1经过CONV 7×7×128+ CONV 3×3×64+ CONV 3×3×64得到Uk*in1，Ukin2与Ukin3分别经过CONV 1×1×256+ CONV 3×3×128+ CONV 3×3×128得到Uk*in2与Uk*in3，Uk*in2与Uk*in3进行特征拼接得到UkC， Uk*in1与UkC经过CONV 3×3×128后得到Uk*C，Uk*C经过CONV GRU 1×5后得到UkG，UkG与Uk*C经过CONV GRU 5×1后得到Uk*G，Uk*G经过CONV 3×3×256+ CONV 3×3×256+ CONV 1×1×2后得到Ukout。
6.按权利要求2所述基于运动补偿与稀疏增强的视频超分辨率实现方法，其特征在于，所述第一类卷积单元的网络结构为：CONV 3×3×64+LeakuReLU 0.1。
7.按权利要求2所述基于运动补偿与稀疏增强的视频超分辨率实现方法，其特征在于，所述第二类卷积单元的网络结构为：输入经过CONV 3×3×256+ CONV 3×3×256+ CONV 3×3×256+ CONV 3×3×256+ CONV 3×3×256后、再与输入作Concatenate操作得到输出。
8.按权利要求2所述基于运动补偿与稀疏增强的视频超分辨率实现方法，其特征在于，所述视频超分辨率网络的预训练过程为：设置训练参数与损失函数，采用Adam优化器基于训练集对视频超分辨率网络进行训练，所述损失函数为：
Figure 853740DEST_PATH_IMAGE001
其中，
Figure 532983DEST_PATH_IMAGE002
表示损失函数，
Figure 416626DEST_PATH_IMAGE003
表示视频超分辨率网络的输出，
Figure 890332DEST_PATH_IMAGE004
表示标签，
Figure 125005DEST_PATH_IMAGE005
表示
Figure 76780DEST_PATH_IMAGE004
的第i行、第j列的像素值，
Figure 346087DEST_PATH_IMAGE006
表示
Figure 725116DEST_PATH_IMAGE003
的第i行、第j列的像素值，N、M分别表示图像的高、宽，
Figure 447084DEST_PATH_IMAGE007
，
Figure 468130DEST_PATH_IMAGE008
，
Figure 326365DEST_PATH_IMAGE009
表示稀疏模板生成器。
CN202210353089.4A 2022-04-06 2022-04-06 一种基于运动补偿与稀疏增强的视频超分辨率实现方法 Active CN114494023B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210353089.4A CN114494023B (zh) 2022-04-06 2022-04-06 一种基于运动补偿与稀疏增强的视频超分辨率实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210353089.4A CN114494023B (zh) 2022-04-06 2022-04-06 一种基于运动补偿与稀疏增强的视频超分辨率实现方法

Publications (2)

Publication Number Publication Date
CN114494023A true CN114494023A (zh) 2022-05-13
CN114494023B CN114494023B (zh) 2022-07-29

Family

ID=81489008

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210353089.4A Active CN114494023B (zh) 2022-04-06 2022-04-06 一种基于运动补偿与稀疏增强的视频超分辨率实现方法

Country Status (1)

Country Link
CN (1) CN114494023B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115861078A (zh) * 2023-02-22 2023-03-28 成都索贝数码科技股份有限公司 基于双向时空递归传播神经网络的视频增强方法及系统
CN116051380A (zh) * 2023-01-13 2023-05-02 深圳大学 一种视频超分辨率处理方法及电子设备
CN118485737A (zh) * 2024-07-16 2024-08-13 南昌睿度医疗科技有限公司 一种高层间分辨率mri序列的重建方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107274347A (zh) * 2017-07-11 2017-10-20 福建帝视信息科技有限公司 一种基于深度残差网络的视频超分辨率重建方法
CN109685842A (zh) * 2018-12-14 2019-04-26 电子科技大学 一种基于多尺度网络的稀疏深度稠密化方法
CN110969577A (zh) * 2019-11-29 2020-04-07 北京交通大学 一种基于深度双重注意力网络的视频超分辨率重建方法
CN111583112A (zh) * 2020-04-29 2020-08-25 华南理工大学 视频超分辨率的方法、系统、装置和存储介质
CN112070665A (zh) * 2020-08-03 2020-12-11 武汉大学 生成对抗式视频超分辨率重建及重建图像真伪性鉴别方法
CN112488922A (zh) * 2020-12-08 2021-03-12 亿景智联(北京)科技有限公司 一种基于光流插值的超分辨率处理方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107274347A (zh) * 2017-07-11 2017-10-20 福建帝视信息科技有限公司 一种基于深度残差网络的视频超分辨率重建方法
CN109685842A (zh) * 2018-12-14 2019-04-26 电子科技大学 一种基于多尺度网络的稀疏深度稠密化方法
CN110969577A (zh) * 2019-11-29 2020-04-07 北京交通大学 一种基于深度双重注意力网络的视频超分辨率重建方法
CN111583112A (zh) * 2020-04-29 2020-08-25 华南理工大学 视频超分辨率的方法、系统、装置和存储介质
CN112070665A (zh) * 2020-08-03 2020-12-11 武汉大学 生成对抗式视频超分辨率重建及重建图像真伪性鉴别方法
CN112488922A (zh) * 2020-12-08 2021-03-12 亿景智联(北京)科技有限公司 一种基于光流插值的超分辨率处理方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SHUAICHENG LIU .ETC: "CodingFlow:enable video coding for video stabilization", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 *
段岳等: "基于USPR的软件无线电系统实验研究", 《实验技术与管理》 *
金子毅: "基于深度学习的视频超分辨率重建", 《中国优秀硕士论文全文数据库（信息科技辑）》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116051380A (zh) * 2023-01-13 2023-05-02 深圳大学 一种视频超分辨率处理方法及电子设备
CN116051380B (zh) * 2023-01-13 2023-08-22 深圳大学 一种视频超分辨率处理方法及电子设备
CN115861078A (zh) * 2023-02-22 2023-03-28 成都索贝数码科技股份有限公司 基于双向时空递归传播神经网络的视频增强方法及系统
CN115861078B (zh) * 2023-02-22 2023-05-12 成都索贝数码科技股份有限公司 基于双向时空递归传播神经网络的视频增强方法及系统
CN118485737A (zh) * 2024-07-16 2024-08-13 南昌睿度医疗科技有限公司 一种高层间分辨率mri序列的重建方法及装置

Also Published As

Publication number Publication date
CN114494023B (zh) 2022-07-29

Similar Documents

Publication Publication Date Title
CN114494023B (zh) 一种基于运动补偿与稀疏增强的视频超分辨率实现方法
CN109903228B (zh) 一种基于卷积神经网络的图像超分辨率重建方法
CN106910161B (zh) 一种基于深度卷积神经网络的单幅图像超分辨率重建方法
CN109741256B (zh) 基于稀疏表示和深度学习的图像超分辨率重建方法
CN110119780B (zh) 基于生成对抗网络的高光谱图像超分辨重建方法
CN113139898B (zh) 基于频域分析和深度学习的光场图像超分辨率重建方法
CN112435191B (zh) 一种基于多个神经网络结构融合的低照度图像增强方法
CN108492249B (zh) 基于小卷积递归神经网络的单帧超分辨重建方法
CN113516601A (zh) 基于深度卷积神经网络与压缩感知的图像恢复技术
CN113379606B (zh) 一种基于预训练生成模型的人脸超分辨方法
CN112102163A (zh) 基于多尺度运动补偿框架和递归学习的连续多帧图像超分辨率重建方法
CN114494015B (zh) 基于盲超分辨率网络的图像重建方法
CN114331831A (zh) 一种轻量化的单张图像超分辨率重建方法
CN109118428B (zh) 一种基于特征增强的图像超分辨率重建方法
CN117557476A (zh) 一种基于fctft的图像重建方法及其系统
CN114596378A (zh) 一种稀疏角ct伪影去除的方法
CN118052707A (zh) 基于Transformer的局部与全局交互融合的轻量级超分辨率重建方法
CN117408924A (zh) 一种基于多重语义特征融合网络的低光照图像增强方法
Yin et al. A deep network based on wavelet transform for image compressed sensing
Amaranageswarao et al. Residual learning based densely connected deep dilated network for joint deblocking and super resolution
CN111275620B (zh) 一种基于Stacking集成学习的图像超分辨方法
CN117455770A (zh) 基于逐层上下文信息聚合网络的轻量级图像超分辨率方法
CN116485651A (zh) 一种图像超分辨率重建方法
CN114663306A (zh) 基于金字塔多层级信息融合视频比特深度增强方法及装置
CN113077385A (zh) 基于对抗生成网络和边缘增强的视频超分辨率方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant