CN112712537B - 视频时空超分辨率实现方法及装置 - Google Patents

视频时空超分辨率实现方法及装置 Download PDF

Info

Publication number
CN112712537B
CN112712537B CN202011522745.6A CN202011522745A CN112712537B CN 112712537 B CN112712537 B CN 112712537B CN 202011522745 A CN202011522745 A CN 202011522745A CN 112712537 B CN112712537 B CN 112712537B
Authority
CN
China
Prior art keywords
video
optical flow
resolution
super
video frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN202011522745.6A
Other languages
English (en)
Other versions
CN112712537A (zh
Inventor
王妙辉
郑彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202011522745.6A priority Critical patent/CN112712537B/zh
Publication of CN112712537A publication Critical patent/CN112712537A/zh
Application granted granted Critical
Publication of CN112712537B publication Critical patent/CN112712537B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种视频时空超分辨率实现方法及装置，所述方法包括，对视频的视频帧进行边缘增强，得到边缘增强的视频帧；将多个边缘增强的相邻视频帧两两输入光流估计模块，得到双向光流；将双向光流进行计算得到估计光流，将其与双向光流共同输入到双向预测模块得到预测光流；将预测光流和相应的视频帧经计算得到用于时域超分辨率的中间帧，并将中间帧插入到视频中相应的位置；将中间帧和相应的视频帧通过循环超分辨率网络对视频帧进行空域上的超分辨率处理，得到多个重建帧。循环执行上述步骤直至完成对整个视频的时空超分辨率。本发明的有益效果在于：能够有效地对视频进行时空联合超分辨率，提升视频的视觉质量。

Description

视频时空超分辨率实现方法及装置
技术领域
本发明涉及一种视频时空超分辨率实现方法及装置，尤其是指一种视频时空超分辨率实现方法及装置。
背景技术
视频超分辨率的目的是提高视频的分辨率。相比于通过提升采集视频图像的硬件设备来提高视频分辨率，采用视频超分辨率技术的成本更低。通常视频超分辨率技术通过具有高相关性的多个相邻帧来重建高质量帧。如何利用相邻帧的有用信息，是视频超分辨率技术的关键。
视频超分辨率技术通常分为空域超分辨率和时域超分辨率两种类型，空域超分辨率用于提升视频帧的清晰度，时域超分辨率则用于提升视频的帧率。在实际应用中，视频的清晰度和帧率都严重影响着用户对视频的感观体验，而视频时空超分辨率技术可以从清晰度和帧率两方面提升视频的视觉质量，因而具有更高的应用价值和研究价值。
在现有的视频时空超分辨率方法中，通常将整个任务分为空域超分辨率和时域超分辨率两个独立的子任务。然而，它们之间具有很强的相关性，这样的方法无法充分利用它们的相关性来提升超分辨率性能。
发明内容
本发明所要解决的技术问题是：提供一种视频时空超分辨率实现方法及装置，旨在提升视频的视觉质量。
为了解决上述技术问题，本发明采用的技术方案为：一种视频时空超分辨率实现方法，包括以下步骤，
S10、对视频的视频帧进行边缘增强，得到边缘增强的视频帧；
S20、将多个边缘增强的相邻视频帧两两输入光流估计模块，得到双向光流；计算公式为：
Figure BDA0002849164540000021
其中，ft→t+1和ft→t-1为双向光流；
Figure BDA0002849164540000022
和
Figure BDA0002849164540000023
为边缘增强的相邻视频帧；FE为光流估计模块；
S30、将双向光流进行计算得到估计光流，将其与双向光流共同输入到双向预测模块得到预测光流；计算公式为：
Figure BDA0002849164540000024
其中，
Figure BDA0002849164540000025
为估计光流；ft→t+1和ft→t-1为双向光流；0＜Δt＜1；
Figure BDA0002849164540000026
其中，
Figure BDA0002849164540000027
为预测光流；ft→t+1和ft→t-1为双向光流；
Figure BDA0002849164540000028
为估计光流；BP为双向预测模块；
S40、将预测光流和相应的视频帧经计算得到用于时域超分辨率的中间帧，并将中间帧插入到视频中相应的位置；计算公式为：
Figure BDA0002849164540000029
其中，
Figure BDA00028491645400000210
为中间帧；It为用于参考的相邻视频帧；
S50、将中间帧和相应的视频帧输入到循环超分辨率网络RSRNet中，对视频帧进行空域上的超分辨率处理，得到多个重建帧；
S60、循环执行步骤S10-S50，直至完成对整个视频的时空超分辨率。
进一步的，步骤S10具体包括，
S11、从视频中提取出视频帧，利用滑动窗口对窗口内的像素点进行计算，得到视频帧中每个像素点的梯度变化系数；
S12、根据每个像素点的梯度变化系数，对应计算出每个像素点的边缘增强系数；
S13、以每个像素点为中心，利用滑动窗口计算计算出每个像素点的低频成分，将每个像素点的低频成分与对应的边缘增强系数对视频帧进行图像增强，得到边缘增强的视频帧。
进一步的，步骤S11中，梯度变化系数的计算公式为：
Figure BDA00028491645400000211
其中，Ct表示梯度变化系数，Gx和Gy分别代表用于在水平方向和垂直方向上检测梯度的滤波器，H×W为视频帧大小，n×n为滑动窗口大小，α＝0.05。
进一步的，步骤S12中，边缘增强系数的计算公式为：
Figure BDA0002849164540000031
其中，Mt表示增强系数，Ct表示梯度变化系数，mean(·)表示取平均值，norm(·)表示归一化。
进一步的，步骤S13中，对视频帧进行增强采用的公式为：
Figure BDA0002849164540000032
其中，
Figure BDA0002849164540000033
表示增强后的视频帧，It表示原始的视频帧，Mt表示边缘增强系数，n×n表示滑动窗口的大小，μ＝1。
本发明还提供了一种视频时空超分辨率实现装置，包括，
边缘增强模块，用于对视频的视频帧进行边缘增强，得到边缘增强的视频帧；
双向光流计算模块，用于将多个边缘增强的相邻视频帧两两输入光流估计模块，得到双向光流；计算公式为：
Figure BDA0002849164540000034
其中，ft→t+1和ft→t-1为双向光流；
Figure BDA0002849164540000035
和
Figure BDA0002849164540000036
为边缘增强的相邻视频帧；FE为光流估计模块；
预测光流计算模块，用于将双向光流进行计算得到估计光流，将其与双向光流共同输入到双向预测模块得到预测光流；
计算公式为：
Figure BDA0002849164540000037
其中，
Figure BDA0002849164540000038
为估计光流；ft→t+1和ft→t-1为双向光流；0＜Δt＜1；
Figure BDA0002849164540000041
其中，
Figure BDA0002849164540000042
为预测光流；ft→t+1和ft→t-1为双向光流；
Figure BDA0002849164540000043
为估计光流；BP为双向预测模块；
中间帧计算模块，用于将预测光流和相应的视频帧经计算得到用于时域超分辨率的中间帧，并将中间帧插入到视频中相应的位置；计算公式为：
Figure BDA0002849164540000044
其中，
Figure BDA0002849164540000045
为中间帧；It为用于参考的相邻视频帧；
重建帧处理模块，用于将中间帧和相应的视频帧输入到循环超分辨率网络RSRNet中，对视频帧进行空域上的超分辨率处理，得到多个重建帧；
循环执行模块，用于循环执行上述操作，直至完成对整个视频的时空超分辨率。
进一步的，所述边缘增强模块具体包括，
梯度变化系数计算单元，用于从视频中提取出视频帧，利用滑动窗口对窗口内的像素点进行计算，得到视频帧中每个像素点的梯度变化系数；
边缘增强系数计算单元，用于根据每个像素点的梯度变化系数，对应计算出每个像素点的边缘增强系数；
视频帧边缘增强单元，用于以每个像素点为中心，利用滑动窗口计算计算出每个像素点的低频成分，将每个像素点的低频成分与对应的边缘增强系数对视频帧进行图像增强，得到边缘增强的视频帧。
进一步的，所述梯度变化系数计算单元中，梯度变化系数的计算公式为：
Figure BDA0002849164540000046
其中，Ct(i，j)为梯度变化系数，Gx和Gy分别代表用于在水平方向和垂直方向上检测梯度的滤波器，H×W为视频帧大小，n×n为滑动窗口大小，α＝0.05。
进一步的，所述边缘增强系数计算单元中，边缘增强系数的计算公式为：
Figure BDA0002849164540000047
其中，Mt表示增强系数，Ct表示梯度变化系数，mean(·)表示取平均值，norm(·)表示归一化。
进一步的，所述视频帧边缘增强单元中，对视频帧进行增强采用的公式为：
Figure BDA0002849164540000051
其中，
Figure BDA0002849164540000052
表示增强后的视频帧，It表示原始的视频帧，Mt表示边缘增强系数，n×n表示滑动窗口的大小，μ＝1。
本发明的有益效果在于：对视频的视频帧进行边缘增强，以促进光流估计，提升超分辨率性能。在视频时空超分辨率的过程中，通过双向光流预测网络来有效地获取精确光流，能够提升中间帧的质量。其次，设计了一种递归式的超分辨率网络，能够利用多个低分辨率帧重建高分辨率帧，在减少网络参数的同时有效提升视频帧的分辨率。因此，本发明能够有效地对视频进行时空联合超分辨率，提升视频的视觉质量。
附图说明
下面结合附图详述本发明的具体结构。
图1为本发明实施例的视频时空超分辨率实现方法流程图；
图2为本发明实施例的视频时空超分辨率实现装置框图；
图3为本发明实施例的双向光流预测网络结构图；
图4为本发明实施例的循环超分辨率网络RSRNet结构图；
图5为本发明具体实施例的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如图1所示，本发明第一实施例为：一种视频时空超分辨率实现方法，包括以下步骤，
步骤S10、对视频的视频帧进行边缘增强，得到边缘增强的视频帧；
进一步的，步骤S10具体包括，
S11、从视频中提取出视频帧，利用滑动窗口对窗口内的像素点进行计算，得到视频帧中每个像素点的梯度变化系数；
S12、根据每个像素点的梯度变化系数，对应计算出每个像素点的边缘增强系数；
S13、以每个像素点为中心，利用滑动窗口计算计算出每个像素点的低频成分，将每个像素点的低频成分与对应的边缘增强系数对视频帧进行图像增强，得到边缘增强的视频帧。
进一步的，步骤S11中，梯度变化系数的计算公式为：
Figure BDA0002849164540000061
其中，Ct(i，j)为梯度变化系数，Gx和Gy分别代表用于在水平方向和垂直方向上检测梯度的滤波器，H×W为视频帧大小，n×n为滑动窗口大小，α＝0.05。
进一步的，步骤S12中，边缘增强系数的计算公式为：
Figure BDA0002849164540000071
其中，Mt表示增强系数，Ct表示梯度变化系数，mean(·)表示取平均值，norm(·)表示归一化。
进一步的，步骤S13中，对视频帧进行增强采用的公式为：
Figure BDA0002849164540000072
其中，
Figure BDA0002849164540000073
表示增强后的视频帧，It表示原始的视频帧，Mt表示边缘增强系数，n×n表示滑动窗口的大小，μ＝1。
步骤S20、将多个边缘增强的相邻视频帧两两输入光流估计模块，得到双向光流；
步骤S30、将双向光流进行计算得到估计光流，将其与双向光流共同输入到双向预测模块得到预测光流；
步骤S40、将预测光流和相应的视频帧经计算得到用于时域超分辨率的中间帧，并将中间帧插入到视频中相应的位置；
具体的，步骤S20-S30的具体处理过程为：
每次处理时需要用到三个低分辨率的连续帧It-1，It，It+1，最终目标是生成高分辨率帧
Figure BDA0002849164540000074
其中0＜Δt＜1，一般取Δt＝0.5。首先对视频进行时域上的超分辨率。本发明提出了一种双向光流预测网络来获取精确光流，该网络由光流估计模块和双向预测模块组成，能够有效提升中间帧的质量。首先将经第一步得到的视频增强帧
Figure BDA0002849164540000075
和
Figure BDA0002849164540000076
分别输入到光流估计模块中，得到双向光流ft→t+1和ft→t-1。然后用ft→t+1和ft→t-1计算得到估计光流
Figure BDA0002849164540000077
随后将ft→t+1，ft→t-1，
Figure BDA0002849164540000078
共同输入到双向预测模块中，得到预测光流
Figure BDA0002849164540000079
预测光流
Figure BDA00028491645400000710
和It经过计算可以得到中间帧
Figure BDA0002849164540000081
由于利用双向光流进行预测，得到的预测光流更加精确，重建的中间帧质量更高。具体的计算公式为：
Figure BDA0002849164540000082
Figure BDA0002849164540000083
Figure BDA0002849164540000084
Figure BDA0002849164540000085
如图3为双向光流预测网络结构图。其中Conv表示卷积层，其参数c表示滤波器数目，k表示卷积核大小，s表示卷积步长，n代表零填充的数目。Dilated Conv表示膨胀卷积层，其参数r表示膨胀率，其余参数与上述卷积层相同。Maxpool表示最大池化层，其参数表示过滤器大小。Downsample表示下采样操作，Upsample表示上采样操作，Concat表示拼接合并操作，Flow estimation表示计算预测光流的操作，FE表示光流估计模块，BP表示双向预测模块。
步骤S50、将中间帧和相应的视频帧通过循环超分辨率网络RSRNet对视频帧进行空域上的超分辨率处理，得到多个重建帧。
步骤S60、循环执行上述步骤S10-S50直至完成对整个视频的时空超分辨率。
步骤S50的具体处理过程为：设计了一种循环超分辨率网络RSRNet，能够利用多个低分辨率帧重建高分辨率帧，且循环式的结构能有效减少网络参数，循环次数为m次，一般取m＝4。分别将视频帧It-1、It、
Figure BDA0002849164540000086
和It、
Figure BDA0002849164540000087
It+1输入到超分辨率网络RSRNet中，即可得到相应的高分辨率重建帧
Figure BDA0002849164540000088
循环执行上述步骤直至完成对整个视频的时空超分辨率。具体的计算公式为：
Figure BDA0002849164540000089
如图4为循环超分辨率网络结构图。其中Conv表示卷积层，其参数c表示滤波器数目，k表示卷积核大小，s表示卷积步长，n代表零填充的数目。DeformConv表示形变卷积层，其参数与上述卷积层相同。PixelShuffle表示用于上采样的网络层，其参数表示上采样倍数。Upsample表示上采样操作，Concat表示拼接合并操作，m recurrences表示循环m次，一般取m＝4。
上述步骤S10-S50为视频的具体时空超分辨率过程。可以选取合适的视频序列作为数据集，对整个网络框架进行端到端地训练。本发明利用优化算法训练网络模型，它基于训练数据迭代地更新神经网络的权重。在训练网络的过程中，先设置较大的学习率作为初始学习率，随后每进行一定次数的迭代后学习率衰减。训练网络直至损失函数值收敛，最终得到视频超分辨率网络模型。
视频超分辨率网络模型的训练过程如下：
输入数据集，对视频序列进行数据增强，初始化整个网络框架的权重。网络的输入值是经退化处理后的低分辨率低帧率视频序列，标签值是未做处理的视频序列。
数据集分批次地输入到网络中，经其超分辨率重建得到相应的输出，根据输出值与标签值计算损失函数，再通过反向传播更新网络框架中的权重。
迭代更新网络框架的权重，直至损失函数值收敛，网络训练完成。需要对视频进行超分辨率时，将视频输入到训练好的网络框架中即可得到高分辨率高帧率的视频。每次超分辨率倍数为2，可以通过重复输入网络实现2n倍超分辨率。
本实施例中，对视频的视频帧进行边缘增强，以促进光流估计，提升超分辨率性能。在视频时空超分辨率的过程中，通过双向光流预测网络来有效地获取精确光流，能够提升中间帧的质量。其次，设计了一种递归式的超分辨率网络，能够利用多个低分辨率帧重建高分辨率帧，在减少网络参数的同时有效提升视频帧的分辨率。因此，本发明能够有效地对视频进行时空联合超分辨率，提升视频的视觉质量。
如图2所示，本发明的第二实施例为：一种视频时空超分辨率实现装置，包括，
边缘增强模块10，用于对视频的视频帧进行边缘增强，得到边缘增强的视频帧；
双向光流计算模块20，用于将多个边缘增强的相邻视频帧两两输入光流估计模块，得到双向光流；计算公式为：
Figure BDA0002849164540000091
其中，ft→t+1和ft→t-1为双向光流；
Figure BDA0002849164540000092
和
Figure BDA0002849164540000093
为边缘增强的相邻视频帧；FE为光流估计模块；
预测光流计算模块30，用于将双向光流进行计算得到估计光流，将其与双向光流共同输入到双向预测模块得到预测光流；
计算公式为：
Figure BDA0002849164540000101
其中，
Figure BDA0002849164540000102
为估计光流；ft→t+1和ft→t-1为双向光流；0＜Δt＜1；
Figure BDA0002849164540000103
其中，
Figure BDA0002849164540000104
为预测光流；ft→t+1和ft→t-1为双向光流；
Figure BDA0002849164540000105
为估计光流；BP为双向预测模块；
中间帧计算模块40，用于将预测光流和相应的视频帧经计算得到用于时域超分辨率的中间帧，并将中间帧插入到视频中相应的位置；计算公式为：
Figure BDA0002849164540000106
其中，
Figure BDA0002849164540000107
为中间帧；It为用于参考的相邻视频帧；
重建帧处理模块50，用于将中间帧和相应的视频帧输入到循环超分辨率网络RSRNet中，对视频帧进行空域上的超分辨率处理，得到多个重建帧；
循环执行模块60，用于循环执行上述操作，直至完成对整个视频的时空超分辨率。
进一步的，所述边缘增强模块10具体包括，
梯度变化系数计算单元，用于从视频中提取出视频帧，利用滑动窗口对窗口内的像素点进行计算，得到视频帧中每个像素点的梯度变化系数；
边缘增强系数计算单元，用于根据每个像素点的梯度变化系数，对应计算出每个像素点的边缘增强系数；
视频帧边缘增强单元，用于以每个像素点为中心，利用滑动窗口计算计算出每个像素点的低频成分，将每个像素点的低频成分与对应的边缘增强系数对视频帧进行图像增强，得到边缘增强的视频帧。
进一步的，所述梯度变化系数计算单元中，梯度变化系数的计算公式为：
Figure BDA0002849164540000108
其中，Ct(i，j)为梯度变化系数，Gx和Gy分别代表用于在水平方向和垂直方向上检测梯度的滤波器，H×W为视频帧大小，n×n为滑动窗口大小，α＝0.05。
进一步的，所述边缘增强系数计算单元中，边缘增强系数的计算公式为：
Figure BDA0002849164540000111
其中，Mt表示增强系数，Ct表示梯度变化系数，mean(·)表示取平均值，norm(·)表示归一化。
进一步的，所述视频帧边缘增强单元中，对视频帧进行增强采用的公式为：
Figure BDA0002849164540000112
其中，
Figure BDA0002849164540000113
表示增强后的视频帧，It表示原始的视频帧，Mt表示边缘增强系数，n×n表示滑动窗口的大小，μ＝1。
需要说明的是，所属领域的技术人员可以清楚地了解到，上述视频时空超分辨率实现装置和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。
上述视频时空超分辨率实现装置可以实现为一种计算机程序的形式，该计算机程序可以在如图5所示的计算机设备上运行。
请参阅图5，图5是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备500可以是终端，也可以是服务器，其中，终端可以是智能手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等具有通信功能的电子设备。服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
参阅图5，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。
该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032包括程序指令，该程序指令被执行时，可使得处理器502执行一种视频时空超分辨率实现方法。
该处理器502用于提供计算和控制能力，以支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行一种视频时空超分辨率实现方法。
该网络接口505用于与其它设备进行网络通信。本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现上述视频时空超分辨率实现方法。
应当理解，在本申请实施例中，处理器502可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。
因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序，其中计算机程序包括程序指令。该程序指令被处理器执行时使处理器执行上述视频时空超分辨率实现方法。
所述存储介质可以是U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种视频时空超分辨率实现方法，其特征在于：包括以下步骤，
S10、对视频的视频帧进行边缘增强，得到边缘增强的视频帧；
S20、将多个边缘增强的相邻视频帧两两输入光流估计模块，得到双向光流；计算公式为：
Figure FDA0003701337140000011
其中，ft→t+1和ft→t-1为双向光流；
Figure FDA0003701337140000012
和
Figure FDA0003701337140000013
为边缘增强的相邻视频帧；FE为光流估计模块；
S30、将双向光流进行计算得到估计光流，将其与双向光流共同输入到双向预测模块得到预测光流；计算公式为：
Figure FDA0003701337140000014
其中，
Figure FDA0003701337140000015
为估计光流；ft→t+1和ft→t-1为双向光流；0<Δt<1；
Figure FDA0003701337140000016
其中，
Figure FDA0003701337140000017
为预测光流；ft→t+1和ft→t-1为双向光流；
Figure FDA0003701337140000018
为估计光流；BP为双向预测模块；
S40、将预测光流和相应的视频帧经计算得到用于时域超分辨率的中间帧，并将中间帧插入到视频中相应的位置；计算公式为：
Figure FDA0003701337140000019
其中，
Figure FDA00037013371400000110
为中间帧；It为用于参考的相邻视频帧；
S50、将中间帧和相应的视频帧输入到循环超分辨率网络RSRNet中，对视频帧进行空域上的超分辨率处理，得到多个重建帧；
S60、循环执行步骤S10-S50，直至完成对整个视频的时空超分辨率。
2.如权利要求1所述的视频时空超分辨率实现方法，其特征在于：步骤S10具体包括，
S11、从视频中提取出视频帧，利用滑动窗口对窗口内的像素点进行计算，得到视频帧中每个像素点的梯度变化系数；
S12、根据每个像素点的梯度变化系数，对应计算出每个像素点的边缘增强系数；
S13、以每个像素点为中心，利用滑动窗口计算出每个像素点的低频成分，将每个像素点的低频成分与对应的边缘增强系数对视频帧进行图像增强，得到边缘增强的视频帧。
3.如权利要求2所述的视频时空超分辨率实现方法，其特征在于：步骤S11中，梯度变化系数的计算公式为：
Figure FDA0003701337140000021
其中，Ct表示梯度变化系数，Gx和Gy分别代表用于在水平方向和垂直方向上检测梯度的滤波器，H×W为视频帧大小，n×n为滑动窗口大小，α＝0.05，I(i，j)表示t时刻视频帧中位于位置(i，j)上的图像像素值；I(q，p)表示t时刻视频帧中位于位置(q，p)上的图像像素值。
4.如权利要求3所述的视频时空超分辨率实现方法，其特征在于：步骤S12中，边缘增强系数的计算公式为：
Figure FDA0003701337140000022
其中，Mt表示增强系数，Ct表示梯度变化系数，mean(·)表示取平均值，norm(·)表示归一化。
5.如权利要求4所述的视频时空超分辨率实现方法，其特征在于：步骤S13中，对视频帧进行增强采用的公式为：
Figure FDA0003701337140000023
其中，
Figure FDA0003701337140000024
表示增强后的视频帧，It表示原始的视频帧，Mt表示边缘增强系数，n×n表示滑动窗口的大小，μ＝1。
6.一种视频时空超分辨率实现装置，其特征在于：包括，
边缘增强模块，用于对视频的视频帧进行边缘增强，得到边缘增强的视频帧；
双向光流计算模块，用于将多个边缘增强的相邻视频帧两两输入光流估计模块，得到双向光流；计算公式为：
Figure FDA0003701337140000031
其中，ft→t+1和ft→t-1为双向光流；
Figure FDA0003701337140000032
和
Figure FDA0003701337140000033
为边缘增强的相邻视频帧；FE为光流估计模块；
预测光流计算模块，用于将双向光流进行计算得到估计光流，将其与双向光流共同输入到双向预测模块得到预测光流；
计算公式为：
Figure FDA0003701337140000034
其中，
Figure FDA0003701337140000035
为估计光流；ft→t+1和ft→t-1为双向光流；0＜Δt＜1，一般取Δt＝0.5；
Figure FDA0003701337140000036
其中，
Figure FDA0003701337140000037
为预测光流；ft→t+1和ft→t-1为双向光流；
Figure FDA0003701337140000038
为估计光流；BP为双向预测模块；
中间帧计算模块，用于将预测光流和相应的视频帧经计算得到用于时域超分辨率的中间帧，并将中间帧插入到视频中相应的位置；计算公式为：
Figure FDA0003701337140000039
其中，
Figure FDA00037013371400000310
为中间帧；It为用于参考的相邻视频帧；
重建帧处理模块，用于将中间帧和相应的视频帧输入到循环超分辨率网络RSRNet中，对视频帧进行空域上的超分辨率处理，得到多个重建帧；
循环执行模块，用于循环执行上述操作，直至完成对整个视频的时空超分辨率。
7.如权利要求6所述的视频时空超分辨率实现装置，其特征在于：所述边缘增强模块具体包括，
梯度变化系数计算单元，用于从视频中提取出视频帧，利用滑动窗口对窗口内的像素点进行计算，得到视频帧中每个像素点的梯度变化系数；
边缘增强系数计算单元，用于根据每个像素点的梯度变化系数，对应计算出每个像素点的边缘增强系数；
视频帧边缘增强单元，用于以每个像素点为中心，利用滑动窗口计算出每个像素点的低频成分，将每个像素点的低频成分与对应的边缘增强系数对视频帧进行图像增强，得到边缘增强的视频帧。
8.如权利要求7所述的视频时空超分辨率实现装置，其特征在于：所述梯度变化系数计算单元中，梯度变化系数的计算公式为：
Figure FDA0003701337140000041
其中，Ct(i，j)为梯度变化系数，Gx和Gy分别代表用于在水平方向和垂直方向上检测梯度的滤波器，H×W为视频帧大小，n×n为滑动窗口大小，α＝0.05，I(i，j)表示t时刻视频帧中位于位置(i，j)上的图像像素值；I(q，p)表示t时刻视频帧中位于位置(q，p)上的图像像素值。
9.如权利要求8所述的视频时空超分辨率实现装置，其特征在于：所述边缘增强系数计算单元中，边缘增强系数的计算公式为：
Figure FDA0003701337140000042
其中，Mt表示增强系数，Ct表示梯度变化系数，mean(·)表示取平均值，norm(·)表示归一化。
10.如权利要求9所述的视频时空超分辨率实现装置，其特征在于：所述视频帧边缘增强单元中，对视频帧进行增强采用的公式为：
Figure FDA0003701337140000043
其中，
Figure FDA0003701337140000044
表示增强后的视频帧，It表示原始的视频帧，Mt表示边缘增强系数，n×n表示滑动窗口的大小，μ＝1。
CN202011522745.6A 2020-12-21 2020-12-21 视频时空超分辨率实现方法及装置 Expired - Fee Related CN112712537B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011522745.6A CN112712537B (zh) 2020-12-21 2020-12-21 视频时空超分辨率实现方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011522745.6A CN112712537B (zh) 2020-12-21 2020-12-21 视频时空超分辨率实现方法及装置

Publications (2)

Publication Number Publication Date
CN112712537A CN112712537A (zh) 2021-04-27
CN112712537B true CN112712537B (zh) 2022-10-18

Family

ID=75544945

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011522745.6A Expired - Fee Related CN112712537B (zh) 2020-12-21 2020-12-21 视频时空超分辨率实现方法及装置

Country Status (1)

Country Link
CN (1) CN112712537B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115706810A (zh) * 2021-08-16 2023-02-17 北京字跳网络技术有限公司 视频帧调整方法、装置、电子设备和存储介质
CN114422852A (zh) * 2021-12-16 2022-04-29 阿里巴巴（中国）有限公司 视频播放方法、存储介质、处理器和系统
CN115861078B (zh) * 2023-02-22 2023-05-12 成都索贝数码科技股份有限公司 基于双向时空递归传播神经网络的视频增强方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109819321A (zh) * 2019-03-13 2019-05-28 中国科学技术大学 一种视频超分辨率增强方法
CN110634105A (zh) * 2019-09-24 2019-12-31 南京工程学院 一种光流法和深度网络结合的视频高时空分辨率信号处理方法
CN111311490A (zh) * 2020-01-20 2020-06-19 陕西师范大学 基于多帧融合光流的视频超分辨率重建方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10783611B2 (en) * 2018-01-02 2020-09-22 Google Llc Frame-recurrent video super-resolution
CN112070665B (zh) * 2020-08-03 2023-08-18 武汉大学 生成对抗式视频超分辨率重建及重建图像真伪性鉴别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109819321A (zh) * 2019-03-13 2019-05-28 中国科学技术大学 一种视频超分辨率增强方法
CN110634105A (zh) * 2019-09-24 2019-12-31 南京工程学院 一种光流法和深度网络结合的视频高时空分辨率信号处理方法
CN111311490A (zh) * 2020-01-20 2020-06-19 陕西师范大学 基于多帧融合光流的视频超分辨率重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
An Efficient Frame-Content Based Intra Frame Rate Control for High Efficiency Video Coding;Miaohui Wang 等;《IEEE SIGNAL PROCESSING LETTERS》;20150730;第22卷(第7期);第896-900页 *
Light Field Super-Resolution Using Edge-Preserved Graph-Based Regularization;Vahid Khorasani Ghassab 等;《IEEE TRANSACTIONS ON MULTIMEDIA》;20200630;第22卷(第6期);第1447-1457页 *

Also Published As

Publication number Publication date
CN112712537A (zh) 2021-04-27

Similar Documents

Publication Publication Date Title
CN112712537B (zh) 视频时空超分辨率实现方法及装置
Huang et al. Robust single-image super-resolution based on adaptive edge-preserving smoothing regularization
CN112767251B (zh) 基于多尺度细节特征融合神经网络的图像超分辨率方法
Yang et al. Single-image super-resolution reconstruction via learned geometric dictionaries and clustered sparse coding
Zhang et al. An edge-guided image interpolation algorithm via directional filtering and data fusion
Kim et al. Curvature interpolation method for image zooming
CN102194216B (zh) 图像处理设备和图像处理方法
CN110210524B (zh) 一种图像增强模型的训练方法、图像增强方法及装置
KR20130001213A (ko) 입력 이미지로부터 증가된 픽셀 해상도의 출력 이미지를 생성하는 방법 및 시스템
EP4172927A1 (en) Image super-resolution reconstructing
Zeng et al. A robust variational approach to super-resolution with nonlocal TV regularisation term
CN112529776A (zh) 图像处理模型的训练方法、图像处理方法及装置
Muhammad et al. Multi-scale Xception based depthwise separable convolution for single image super-resolution
Lu et al. A novel 3D medical image super-resolution method based on densely connected network
Mikaeli et al. Single-image super-resolution via patch-based and group-based local smoothness modeling
CN112637604B (zh) 低时延视频压缩方法及装置
CN114494022A (zh) 模型训练方法、超分辨率重建方法、装置、设备及介质
Chen et al. Bayesian video super-resolution with heavy-tailed prior models
CN110136061B (zh) 一种基于深度卷积预测与插值的分辨率提升方法及系统
CN114445273A (zh) 磁共振图像处理方法、计算机设备及存储介质
CN112241938A (zh) 基于光滑塔克分解与高阶张量汉克化的图像修复方法
Fredj et al. Fast oriented anisotropic diffusion filter
CN113256528B (zh) 基于多尺度级联深度残差网络的低照度视频增强方法
CN117011130A (zh) 图像超分辨率的方法、装置、设备、介质及程序产品
CN113875228B (zh) 视频插帧方法及装置、计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20221018