CN114529456A - 一种视频的超分辨率处理方法、装置、设备及介质 - Google Patents

一种视频的超分辨率处理方法、装置、设备及介质 Download PDF

Info

Publication number
CN114529456A
CN114529456A CN202210155171.6A CN202210155171A CN114529456A CN 114529456 A CN114529456 A CN 114529456A CN 202210155171 A CN202210155171 A CN 202210155171A CN 114529456 A CN114529456 A CN 114529456A
Authority
CN
China
Prior art keywords
video frame
resolution video
super
resolution
low
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210155171.6A
Other languages
English (en)
Other versions
CN114529456B (zh
Inventor
骆剑平
谭芮淇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202210155171.6A priority Critical patent/CN114529456B/zh
Publication of CN114529456A publication Critical patent/CN114529456A/zh
Application granted granted Critical
Publication of CN114529456B publication Critical patent/CN114529456B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)
  • Television Systems (AREA)

Abstract

本发明实施例公开了一种视频的超分辨率处理方法、装置、设备及介质。该方法包括获取待处理视频，并提取待处理视频中每个低分辨视频帧的融合了每个低分辨视频帧的全局和局部特征的融合特征；根据各低分辨视频帧的融合特征，在多个维度上进行特征增强处理，得到与超分辨视频帧对应的维度增强特征；根据各所述维度增强特征，重建得到各超分辨视频帧，以形成与待处理视频对应的超分辨率视频。本发明实施例的技术方案提供一种视频超分辨处理的新方法，实现重建出更优视频帧的效果。

Description

一种视频的超分辨率处理方法、装置、设备及介质
技术领域
本发明实施例涉及计算机技术，尤其涉及一种视频的超分辨率处理方法、装置、设备及介质。
背景技术
在实际生产生活中，通常由于相机等成像设备上的硬件设备自身工艺如传感器尺寸等方面的限制，实际上通过这些传感器获得的图像往往不能满足在不同应用环境中的要求，另外在图像的传输过程中也可能会导致图像的降质。所以往往要经过超分辨率技术处理来获得高分辨率的图像。
在视频超分辨率技术中，帧之间的时间依赖性扮演着很重要的角色，现在主流的视频超分辨率技术可以分为两种，一种是通过光流进行运动补偿，就是在重建前先采用从低分辨率视频序列中预测得到低分辨率光流的方式来进行运动补偿，从而实现视频帧之间的配准。一种是通过采用非显式的手段对邻帧和目标帧进行自适应对准或自适应融合。
发明人在实现本发明的过程中，发现现有技术主要存在如下缺陷：基于光流对齐的算法的性能很大程度上依赖于运动估计和补偿的准确性，不正确的运动估计调整和补偿会降低超分效果，甚至导致超分辨率重建生成的视频序列图像中出现伪影。而另一种基于可变形卷积进行对齐算法则很难训练，训练的不稳定常常导致补偿溢出，从而影响性能。而3D卷积本身计算量大，且学习的只是局部的信息，难以充分捕获视频帧序列的全局信息。循环神经网络着重利用的是时间维度上的长距离信息，一旦减少输入帧数，重建效果会大幅下降。
发明内容
本发明实施例提供了一种视频的超分辨率处理方法、装置、设备及介质，提供一种视频超分辨处理的新方法，实现重建出更优视频帧的效果。
第一方面，本发明实施例提供了一种视频的超分辨率处理方法，该方法包括：
获取待处理视频，并提取所述待处理视频中每个低分辨视频帧的融合特征，其中，所述融合特征中融合了每个低分辨视频帧的全局和局部特征；
根据各低分辨视频帧的融合特征，在多个维度上进行特征增强处理，得到与超分辨视频帧对应的维度增强特征；
其中，多个维度包括：时间维度、空间维度和图像通道维度，所述超分辨视频帧的帧数量小于所述低分辨视频帧的帧数量；
根据各所述维度增强特征，重建得到各所述超分辨视频帧，以形成与所述待处理视频对应的超分辨率视频。
第二方面，本发明实施例还提供了一种视频的超分辨率处理装置，该装置包括：
融合特征提取模块，用于获取待处理视频，并提取所述待处理视频中每个低分辨视频帧的融合特征，其中，所述融合特征中融合了每个低分辨视频帧的全局和局部特征；
维度增强特征获取模块，用于根据各低分辨视频帧的融合特征，在多个维度上进行特征增强处理，得到与超分辨视频帧对应的维度增强特征；
其中，多个维度包括：时间维度、空间维度和图像通道维度，所述超分辨视频帧的帧数量小于所述低分辨视频帧的帧数量；
超分辨率视频形成模块，用于根据各所述维度增强特征，重建得到各所述超分辨视频帧，以形成与所述待处理视频对应的超分辨率视频。
第三方面，本发明实施例还提供了一种电子设备，该电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任意实施例所述的一种视频的超分辨率处理方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现如本发明任意实施例所述的一种视频的超分辨率处理方法。
本发明实施例通过获取待处理视频，并提取待处理视频中每个低分辨视频帧的融合了每个低分辨视频帧的全局和局部特征的融合特征；根据各低分辨视频帧的融合特征，在多个维度上进行特征增强处理，得到与超分辨视频帧对应的维度增强特征；根据各所述维度增强特征，重建得到各超分辨视频帧，以形成与待处理视频对应的超分辨率视频的技术手段，解决现有技术中视频的超分辨率处理依靠时间维度上的长距离信息提升效果导致重建效果受输入帧数限制、光流估计不准确、可变形卷积难以训练以及计算量太大的问题，提供一种视频超分辨处理的新方法，实现重建出更优视频帧的效果。
附图说明
图1为本发明实施例一提供的一种视频的超分辨率处理方法的流程图；
图2为本发明实施例二提供的另一种视频的超分辨率处理方法的流程图；
图3为本发明实施例三提供的一种视频的超分辨率处理装置结构示意图；
图4为本发明实施例四提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种视频的超分辨率处理方法的流程图，本实施例可适用于对低分辨率视频进行超分辨率处理的情况，该方法可以由视频的超分辨率处理装置来执行，该装置可以通过软件和/或硬件的方式实现，并集成在服务器中。参考图1，该方法具体包括如下步骤：
S110、获取待处理视频，并提取所述待处理视频中每个低分辨视频帧的融合特征，其中，所述融合特征中融合了每个低分辨视频帧的全局和局部特征。
其中，待处理视频可以是指分辨率低的视频文件。低分辨视频帧可以是待处理视频中包含的分辨率低的视频帧，待处理视频帧中可以包含多个低分辨视频帧。融合特征可以是从每个低分辨视频帧中提取的融合全局和局部特征的特征。
在本实施例中，可以从待处理视频中获取全部低分辨视频帧，进而可以从每个低分辨视频帧中分别提取出同时包含了对应低分辨视频帧的全局和局部特征的融合特征。
S120、根据各低分辨视频帧的融合特征，在多个维度上进行特征增强处理，得到与超分辨视频帧对应的维度增强特征。
其中，超分辨视频帧可以是指对各低分辨视频帧进行超分辨率处理后得到的视频帧。维度增强特征可以是指对各低分辨视频帧的融合特征在多个维度上进行特征增强后的特征。其中，多个维度可以包括：时间维度、空间维度和图像通道维度，超分辨视频帧的帧数量小于低分辨视频帧的帧数量。
在本实施例中，将各低分辨视频帧的融合特征，进一步在时间维度、空间维度和图像通道维度上进行特征增强处理，从而得到维度增强特征。
在本实施例的一个可选实施方式中，根据各低分辨视频帧的融合特征，在多个维度上进行特征增强处理，得到与超分辨视频帧对应的维度增强特征，可以包括：
根据相邻的至少一个各低分辨视频帧的之间的相似性，将各所述融合特征在时间维度上进行加权融合，得到与各超分辨视频帧分别对应的时间增强特征；将各所述超分辨视频帧的时间增强特征进行池化和双线性插值处理，得到与各超分辨视频帧分别对应的空间增强特征；根据各所述超分辨视频帧在每个图像通道中的通道权重，将各所述超分辨视频帧的空间增强特征在不同图像通道的通道值进行加权融合，得到与每个超分辨视频帧对应的维度增强特征。
其中，时间增强特征可以是指对各低分辨视频帧的融合特征增强了时间维度上更有用的特征后得到的特征。空间增强特征可以是指对时间增强特征增强了空间维度上更有用的特征后得到的特征。维度增强特征可以是指对空间维度增强特征增强图像通道维度上更有用的特征后得到的特征。
在本实施例中，可以计算相邻的低分辨视频帧之间的相似度作为每个视频帧在时间维度上的权重值，从而对各低分辨视频帧的融合特征在时间维度上加权融合，得到各时间增强特征。进而对各时间增强特征进行池化和双线性插值处理，得到各空间增强特征。进而对各空间增强特征在每个图像通道上进行加权融合，最终得到增强了多个维度特征的维度增强特征。
可选的，根据相邻的至少一个各低分辨视频帧的融合特征之间的相似性，将各所述融合特征在时间维度上进行加权融合，得到与各超分辨视频帧分别对应的时间增强特征，可以包括：
根据每个低分辨视频帧与相邻的至少一个低分辨视频帧的融合特征之间的相似性，计算与每个低分辨视频帧分别对应的融合权重；按照预设的分组数量，将各所述低分辨视频帧划分为多个视频帧分组；一个视频帧分组对应一个超分辨视频帧；将每个视频帧分组中的各低分辨视频帧的融合特征，按照匹配的融合权重进行加权融合，得到与每个超分辨视频帧分别对应的时间增强特征。
其中，融合权重可以是指各低分辨视频帧的融合特征在时间维度上的权重值，示例性的，可以通过相邻帧相乘的方式并经过sigmoid激活函数计算出相似度作为每一帧时间维度上的融合权重。预设的分组数量可以是指待处理视频的全部低分辨视频帧在进行时间维度上的特征增强时，对全部低分辨视频帧进行分组划分的数量。
具体的，可以将每个低分辨视频帧与相邻的至少一个低分辨视频帧的融合特征之间的相似性，计算出每个低分辨视频帧的融合特征在时间维度上的权重；进而可以将多个低分辨视频帧的融合特征在时间维度上按照预设的分组数量划分为多个视频帧分组，将每个视频帧分组中各低分辨视频帧的融合特征，结合匹配的融合权重进行加权融合，并可以将每个视频帧分组在时间维度上压缩为1，将每个视频帧分组的多个视频帧在时间上整合为一帧，最终得到与每个视频帧分组对应的各时间增强特征。
可选的，根据各所述超分辨视频帧在每个图像通道中的通道权重，将各所述超分辨视频帧的空间增强特征在不同图像通道的通道值进行加权融合，得到与每个超分辨视频帧对应的维度增强特征，可以包括：
将各所述超分辨视频帧的空间增强特征在每个图像通道中进行全局平均池化和缩放处理，计算所述空间增强特征在每个图像通道中的通道权重；将各所述超分辨视频帧的空间增强特征在不同图像通道的通道值，按照匹配的通道权重进行加权融合，得到与每个超分辨视频帧对应的维度增强特征。
其中，通道权重可以是指各时间增强特征在图像通道维度上的权重值。
具体的，可以对各空间增强特征在每个图像通道上进行全局平均池化，进一步进行缩放处理，得到空间增强特征在不同图像通道的通道权重，例如，可以通过一个包含ReLU激活函数的两层卷积的瓶颈结构对图像通道维度进行放缩。从而将各空间增强特征在不同图像通道的通道值，按照匹配的通道权重进行加权融合，得到与每个超分辨视频帧对应的维度增强特征。
S130、根据各所述维度增强特征，重建得到各所述超分辨视频帧，以形成与所述待处理视频对应的超分辨率视频。
可选的，还可以对待处理视频中每个低分辨视频帧进行双三次插值处理，得到与每个低分辨视频帧对应的各初步超分视频帧。
在本实施例的一个可选实施方式中，根据各所述维度增强特征，重建得到各所述超分辨视频帧，以形成与所述待处理视频对应的超分辨率视频，可以包括：
对各所述维度增强特征进行像素重排，得到各重排视频帧，并对各重排视频帧进行细化处理，得到各细化视频帧；将各细化视频帧与各初步超分视频帧进行相加，重建得到各所述超分辨视频帧，以形成与所述待处理视频对应的超分辨率视频。
示例性的，对各所述维度增强特征进行像素重排，可以使大小为H×W×r2c的特征图排列成大小为rH×rW×c的超分辨率图像，r为采样倍数，c为通道数。进而将各超分辨率图像经过一个浅层u-net结构进行细化，将细化结果与各初步超分视频帧进行相加得到最终的输出结果，即重建后的超分辨视频帧。
本发明实施例的技术方案，通过获取待处理视频，并提取待处理视频中每个低分辨视频帧的融合了每个低分辨视频帧的全局和局部特征的融合特征；根据各低分辨视频帧的融合特征，在多个维度上进行特征增强处理，得到与超分辨视频帧对应的维度增强特征；根据各所述维度增强特征，重建得到各超分辨视频帧，以形成与待处理视频对应的超分辨率视频的技术手段，解决现有技术中视频的超分辨率处理依靠时间维度上的长距离信息提升效果导致重建效果受输入帧数限制、光流估计不准确、可变形卷积难以训练以及计算量太大的问题，提供一种视频超分辨处理的新方法，实现重建出更优视频帧的效果。
实施例二
图2为本发明实施例二提供的另一种视频的超分辨率处理方法的流程图。本实施例在上述各实施例的基础上，优选是将提取所述待处理视频中每个低分辨视频帧的融合特征进一步细化。参考图2，该方法具体包括如下步骤：
S210、获取待处理视频，在所述待处理视频中获取当前处理低分辨视频帧，并将所述当前处理低分辨视频帧输入至预先训练的时空编码器中；所述时空编码器基于自注意力机制训练得到。
S220、通过所述时空编码器，获取与所述当前处理低分辨视频帧对应的查询Q向量、相关性K向量以及被查询信息V向量。
S230、通过所述时空编码器，将所述Q向量、K向量和V向量分别划分为全局特征块序列，并使用K向量以及V向量，对所述全局特征块序列进行特征提取，形成与所述当前处理低分辨视频帧对应的全局特征。
在本实施例的一个可选实施方式中，通过所述时空编码器，将所述Q向量、K向量和V向量分别划分为全局特征块序列，并使用K向量以及V向量，对所述全局特征块序列进行特征提取，形成与所述当前处理低分辨视频帧对应的全局特征，可以包括：
根据与Q向量和K向量分别对应的全局特征块序列，计算两两对应特征块之间的相似度；根据各所述相似度和与V向量对应的全局特征块序列，对所述全局特征块序列进行特征提取，形成与所述当前处理低分辨视频帧对应的全局特征。
示例性的，可以将低分辨视频帧对应的Q向量、K向量和V向量分别划分成全局的特征块序列Q＝[Q1,Q2,...,Qn]，K＝[K1,K2,...,Kn]和V＝[V1,V2,...,Vn]。通过
Figure BDA0003512187230000091
计算出Q向量和K向量分别对应的全局特征块序列中两两对应特征块的相似度，其中，C和p分别是特征块的通道数和大小，并对于每一特征块选出序列中前k个相似度最大的特征块，将除这k个以外其他的相似度Aij置零，通过这k个相似度与相应特征块的V之间的加权求和得到融合了序列全局信息的全局特征
Figure BDA0003512187230000101
这样设置的好处在于，可以结合了视频帧空间上任一位置上的信息，能够有效捕捉一些非局部相似信息以及大幅度的运动位移。
S240、通过所述时空编码器，将所述全局特征划分为细粒度的局部特征块序列，并使用K向量以及V向量，对所述局部特征块序列进行特征提取，形成与所述当前处理低分辨视频帧对应的所述融合特征。
其中，局部特征块序列可以是对全局特征块序列进一步细化得到的特征块的集合。
可选的，将所述全局特征对应的Q向量、K向量和V向量分别划分为细粒度的局部特征块序列，通过计算Q向量和K向量分别对应的局部特征块序列中两两对应特征块之间的相似度，结合V向量相应的局部特征块序列，进行加权处理，得到融合特征。
这样设置的好处在于，可以在提取全局特征的基础上进一步融合局部特征，充分利用视频帧的信息。
S250、根据各低分辨视频帧的融合特征，在多个维度上进行特征增强处理，得到与超分辨视频帧对应的维度增强特征。
S260、根据各所述维度增强特征，重建得到各所述超分辨视频帧，以形成与所述待处理视频对应的超分辨率视频。
本发明实施例的技术方案，通过获取待处理视频，并提取待处理视频中每个低分辨视频帧的融合了每个低分辨视频帧的全局和局部特征的融合特征；根据各低分辨视频帧的融合特征，在多个维度上进行特征增强处理，得到与超分辨视频帧对应的维度增强特征；根据各所述维度增强特征，重建得到各超分辨视频帧，以形成与待处理视频对应的超分辨率视频的技术手段，解决现有技术中视频的超分辨率处理依靠时间维度上的长距离信息提升效果导致重建效果受输入帧数限制、光流估计不准确、可变形卷积难以训练以及计算量太大的问题，提供一种视频超分辨处理的新方法，实现重建出更优视频帧的效果。
实施例三
图3为本发明实施例三提供的一种视频的超分辨率处理装置结构示意图，该装置可以执行上述各实施例中涉及到的视频的超分辨率处理方法。参考图3，该装置包括：融合特征提取模块310、维度增强特征获取模块320和超分辨率视频形成模块330。其中：
融合特征提取模块310，用于获取待处理视频，并提取所述待处理视频中每个低分辨视频帧的融合特征，其中，所述融合特征中融合了每个低分辨视频帧的全局和局部特征；
维度增强特征获取模块320，用于根据各低分辨视频帧的融合特征，在多个维度上进行特征增强处理，得到与超分辨视频帧对应的维度增强特征；
其中，多个维度包括：时间维度、空间维度和图像通道维度，所述超分辨视频帧的帧数量小于所述低分辨视频帧的帧数量；
超分辨率视频形成模块330，用于根据各所述维度增强特征，重建得到各所述超分辨视频帧，以形成与所述待处理视频对应的超分辨率视频。
本发明实施例的技术方案，通过获取待处理视频，并提取待处理视频中每个低分辨视频帧的融合了每个低分辨视频帧的全局和局部特征的融合特征；根据各低分辨视频帧的融合特征，在多个维度上进行特征增强处理，得到与超分辨视频帧对应的维度增强特征；根据各所述维度增强特征，重建得到各超分辨视频帧，以形成与待处理视频对应的超分辨率视频的技术手段，解决现有技术中视频的超分辨率处理依靠时间维度上的长距离信息提升效果导致重建效果受输入帧数限制、光流估计不准确、可变形卷积难以训练以及计算量太大的问题，提供一种视频超分辨处理的新方法，实现重建出更优视频帧的效果。
上述装置中，可选的是，融合特征提取模块，可以包括：
低分辨视频帧输入单元，用于在所述待处理视频中获取当前处理低分辨视频帧，并将所述当前处理低分辨视频帧输入至预先训练的时空编码器中；所述时空编码器基于自注意力机制训练得到；
向量获取单元，用于通过所述时空编码器，获取与所述当前处理低分辨视频帧对应的查询Q向量、相关性K向量以及被查询信息V向量；
全局特征形成单元，用于通过所述时空编码器，将所述Q向量、K向量和V向量分别划分为全局特征块序列，并使用K向量以及V向量，对所述全局特征块序列进行特征提取，形成与所述当前处理低分辨视频帧对应的全局特征；
融合特征形成单元，用于通过所述时空编码器，将所述全局特征划分为细粒度的局部特征块序列，并使用K向量以及V向量，对所述局部特征块序列进行特征提取，形成与所述当前处理低分辨视频帧对应的所述融合特征。
上述装置中，可选的是，全局特征形成单元，可以具体用于：
根据与Q向量和K向量分别对应的全局特征块序列，计算两两对应特征块之间的相似度；
根据各所述相似度和与V向量对应的全局特征块序列，对所述全局特征块序列进行特征提取，形成与所述当前处理低分辨视频帧对应的全局特征。
上述装置中，可选的是，维度增强特征获取模块320，可以包括：
时间增强特征获取单元，用于根据相邻的至少一个各低分辨视频帧的之间的相似性，将各所述融合特征在时间维度上进行加权融合，得到与各超分辨视频帧分别对应的时间增强特征；
空间增强特征获取单元，用于将各所述超分辨视频帧的时间增强特征进行池化和双线性插值处理，得到与各超分辨视频帧分别对应的空间增强特征；
维度增强特征获取单元，用于根据各所述超分辨视频帧在每个图像通道中的通道权重，将各所述超分辨视频帧的空间增强特征在不同图像通道的通道值进行加权融合，得到与每个超分辨视频帧对应的维度增强特征。
上述装置中，可选的是，时间增强特征获取单元，可以具体用于：
根据每个低分辨视频帧与相邻的至少一个低分辨视频帧的融合特征之间的相似性，计算与每个低分辨视频帧分别对应的融合权重；
按照预设的分组数量，将各所述低分辨视频帧划分为多个视频帧分组；一个视频帧分组对应一个超分辨视频帧；
将每个视频帧分组中的各低分辨视频帧的融合特征，按照匹配的融合权重进行加权融合，得到与每个超分辨视频帧分别对应的时间增强特征。
上述装置中，可选的是，维度增强特征获取单元，可以具体用于：
将各所述超分辨视频帧的空间增强特征在每个图像通道中进行全局平局池化和缩放处理，计算所述空间增强特征在每个图像通道中的通道权重；
将各所述超分辨视频帧的空间增强特征在不同图像通道的通道值，按照匹配的通道权重进行加权融合，得到与每个超分辨视频帧对应的维度增强特征。
上述装置中，可选的是，还包括，初步超分视频帧获取模块，用于对所述待处理视频中每个低分辨视频帧进行双三次插值处理，得到与每个低分辨视频帧对应的各初步超分视频帧；
超分辨率视频形成模块330，可以具体用于：
对各所述维度增强特征进行像素重排，得到各重排视频帧，并对各重排视频帧进行细化处理，得到各细化视频帧；
将各细化视频帧与各初步超分视频帧进行相加，重建得到各所述超分辨视频帧，以形成与所述待处理视频对应的超分辨率视频。
本发明实施例所提供的视频的超分辨率处理装置可执行本发明任意实施例所提供的视频的超分辨率处理方法，具备执行方法相应的功能模块和有益效果。
实施例四
图4为本发明实施例四提供的一种电子设备的结构示意图，如图4所示，该设备包括处理器410、存储装置420、输入装置430和输出装置440；设备中处理器410的数量可以是一个或多个，图4中以一个处理器410为例；设备中的处理器410、存储装置420、输入装置430和输出装置440可以通过总线或其他方式连接，图4中以通过总线连接为例。
存储装置420作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的视频的超分辨率处理方法对应的程序指令/模块(例如，视频的超分辨率处理装置中的融合特征提取模块310、维度增强特征获取模块320和超分辨率视频形成模块330)。处理器410通过运行存储在存储装置420中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的视频的超分辨率处理方法，该方法包括：
获取待处理视频，并提取所述待处理视频中每个低分辨视频帧的融合特征，其中，所述融合特征中融合了每个低分辨视频帧的全局和局部特征；
根据各低分辨视频帧的融合特征，在多个维度上进行特征增强处理，得到与超分辨视频帧对应的维度增强特征；
其中，多个维度包括：时间维度、空间维度和图像通道维度，所述超分辨视频帧的帧数量小于所述低分辨视频帧的帧数量；
根据各所述维度增强特征，重建得到各所述超分辨视频帧，以形成与所述待处理视频对应的超分辨率视频。
存储装置420可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储装置420可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置420可进一步包括相对于处理器410远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置430可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置440可包括显示屏等显示设备。
实施例五
本发明实施例五还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在由处理器执行时用于执行一种视频的超分辨率处理方法，该方法包括：
获取待处理视频，并提取所述待处理视频中每个低分辨视频帧的融合特征，其中，所述融合特征中融合了每个低分辨视频帧的全局和局部特征；
根据各低分辨视频帧的融合特征，在多个维度上进行特征增强处理，得到与超分辨视频帧对应的维度增强特征；
其中，多个维度包括：时间维度、空间维度和图像通道维度，所述超分辨视频帧的帧数量小于所述低分辨视频帧的帧数量；
根据各所述维度增强特征，重建得到各所述超分辨视频帧，以形成与所述待处理视频对应的超分辨率视频。
当然，本发明实施例所提供的一种计算机可读存储介质，其上存储有计算机程序，该计算机程序不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的视频的超分辨率处理方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述视频的超分辨率处理装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种视频的超分辨率处理方法，其特征在于，包括：
获取待处理视频，并提取所述待处理视频中每个低分辨视频帧的融合特征，其中，所述融合特征中融合了每个低分辨视频帧的全局和局部特征；
根据各低分辨视频帧的融合特征，在多个维度上进行特征增强处理，得到与超分辨视频帧对应的维度增强特征；
其中，多个维度包括：时间维度、空间维度和图像通道维度，所述超分辨视频帧的帧数量小于所述低分辨视频帧的帧数量；
根据各所述维度增强特征，重建得到各所述超分辨视频帧，以形成与所述待处理视频对应的超分辨率视频。
2.根据权利要求1所述的方法，其特征在于，提取所述待处理视频中每个低分辨视频帧的融合特征，包括：
在所述待处理视频中获取当前处理低分辨视频帧，并将所述当前处理低分辨视频帧输入至预先训练的时空编码器中；所述时空编码器基于自注意力机制训练得到；
通过所述时空编码器，获取与所述当前处理低分辨视频帧对应的查询Q向量、相关性K向量以及被查询信息V向量；
通过所述时空编码器，将所述Q向量、K向量和V向量分别划分为全局特征块序列，并使用K向量以及V向量，对所述全局特征块序列进行特征提取，形成与所述当前处理低分辨视频帧对应的全局特征；
通过所述时空编码器，将所述全局特征划分为细粒度的局部特征块序列，并使用K向量以及V向量，对所述局部特征块序列进行特征提取，形成与所述当前处理低分辨视频帧对应的所述融合特征。
3.根据权利要求2所述的方法，其特征在于，通过所述时空编码器，将所述Q向量、K向量和V向量分别划分为全局特征块序列，并使用K向量以及V向量，对所述全局特征块序列进行特征提取，形成与所述当前处理低分辨视频帧对应的全局特征，包括：
根据与Q向量和K向量分别对应的全局特征块序列，计算两两对应特征块之间的相似度；
根据各所述相似度和与V向量对应的全局特征块序列，对所述全局特征块序列进行特征提取，形成与所述当前处理低分辨视频帧对应的全局特征。
4.根据权利要求1所述的方法，其特征在于，根据各低分辨视频帧的融合特征，在多个维度上进行特征增强处理，得到与超分辨视频帧对应的维度增强特征，包括：
根据相邻的至少一个各低分辨视频帧的之间的相似性，将各所述融合特征在时间维度上进行加权融合，得到与各超分辨视频帧分别对应的时间增强特征；
将各所述超分辨视频帧的时间增强特征进行池化和双线性插值处理，得到与各超分辨视频帧分别对应的空间增强特征；
根据各所述超分辨视频帧在每个图像通道中的通道权重，将各所述超分辨视频帧的空间增强特征在不同图像通道的通道值进行加权融合，得到与每个超分辨视频帧对应的维度增强特征。
5.根据权利要求4所述的方法，其特征在于，根据相邻的至少一个各低分辨视频帧的融合特征之间的相似性，将各所述融合特征在时间维度上进行加权融合，得到与各超分辨视频帧分别对应的时间增强特征，包括：
根据每个低分辨视频帧与相邻的至少一个低分辨视频帧的融合特征之间的相似性，计算与每个低分辨视频帧分别对应的融合权重；
按照预设的分组数量，将各所述低分辨视频帧划分为多个视频帧分组；一个视频帧分组对应一个超分辨视频帧；
将每个视频帧分组中的各低分辨视频帧的融合特征，按照匹配的融合权重进行加权融合，得到与每个超分辨视频帧分别对应的时间增强特征。
6.根据权利要求4所述的方法，其特征在于，根据各所述超分辨视频帧在每个图像通道中的通道权重，将各所述超分辨视频帧的空间增强特征在不同图像通道的通道值进行加权融合，得到与每个超分辨视频帧对应的维度增强特征，包括：
将各所述超分辨视频帧的空间增强特征在每个图像通道中进行全局平均池化和缩放处理，计算所述空间增强特征在每个图像通道中的通道权重；
将各所述超分辨视频帧的空间增强特征在不同图像通道的通道值，按照匹配的通道权重进行加权融合，得到与每个超分辨视频帧对应的维度增强特征。
7.根据权利要求1-6任一项所述的方法，其特征在于，对所述待处理视频中每个低分辨视频帧进行双三次插值处理，得到与每个低分辨视频帧对应的各初步超分视频帧；
根据各所述维度增强特征，重建得到各所述超分辨视频帧，以形成与所述待处理视频对应的超分辨率视频，包括：
对各所述维度增强特征进行像素重排，得到各重排视频帧，并对各重排视频帧进行细化处理，得到各细化视频帧；
将各细化视频帧与各初步超分视频帧进行相加，重建得到各所述超分辨视频帧，以形成与所述待处理视频对应的超分辨率视频。
8.一种视频的超分辨率处理装置，其特征在于，包括：
融合特征提取模块，用于获取待处理视频，并提取所述待处理视频中每个低分辨视频帧的融合特征，其中，所述融合特征中融合了每个低分辨视频帧的全局和局部特征；
维度增强特征获取模块，用于根据各低分辨视频帧的融合特征，在多个维度上进行特征增强处理，得到与超分辨视频帧对应的维度增强特征；
其中，多个维度包括：时间维度、空间维度和图像通道维度，所述超分辨视频帧的帧数量小于所述低分辨视频帧的帧数量；
超分辨率视频形成模块，用于根据各所述维度增强特征，重建得到各所述超分辨视频帧，以形成与所述待处理视频对应的超分辨率视频。
9.一种电子设备，其特征在于，所述电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的一种视频的超分辨率处理方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的一种视频的超分辨率处理方法。
CN202210155171.6A 2022-02-21 2022-02-21 一种视频的超分辨率处理方法、装置、设备及介质 Active CN114529456B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210155171.6A CN114529456B (zh) 2022-02-21 2022-02-21 一种视频的超分辨率处理方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210155171.6A CN114529456B (zh) 2022-02-21 2022-02-21 一种视频的超分辨率处理方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN114529456A true CN114529456A (zh) 2022-05-24
CN114529456B CN114529456B (zh) 2022-10-21

Family

ID=81624466

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210155171.6A Active CN114529456B (zh) 2022-02-21 2022-02-21 一种视频的超分辨率处理方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN114529456B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115994857A (zh) * 2023-01-09 2023-04-21 深圳大学 一种视频超分辨率方法、装置、设备及存储介质
CN116012230A (zh) * 2023-01-17 2023-04-25 深圳大学 一种时空视频超分辨率方法、装置、设备及存储介质
CN116452741A (zh) * 2023-04-20 2023-07-18 北京百度网讯科技有限公司 对象重建方法、对象重建模型的训练方法、装置及设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140177706A1 (en) * 2012-12-21 2014-06-26 Samsung Electronics Co., Ltd Method and system for providing super-resolution of quantized images and video
CN111192200A (zh) * 2020-01-02 2020-05-22 南京邮电大学 基于融合注意力机制残差网络的图像超分辨率重建方法
US10701394B1 (en) * 2016-11-10 2020-06-30 Twitter, Inc. Real-time video super-resolution with spatio-temporal networks and motion compensation
CN111524068A (zh) * 2020-04-14 2020-08-11 长安大学 一种基于深度学习的变长输入超分辨率视频重建方法
CN112700392A (zh) * 2020-12-01 2021-04-23 华南理工大学 一种视频超分辨率处理方法、设备及存储介质
CN112950471A (zh) * 2021-02-26 2021-06-11 杭州朗和科技有限公司 视频超分处理方法、装置、超分辨率重建模型、介质
CN113742556A (zh) * 2021-11-03 2021-12-03 南京理工大学 一种基于全局和局部对齐的多模态特征对齐方法
CN113850718A (zh) * 2021-06-01 2021-12-28 天翼智慧家庭科技有限公司 一种基于帧间特征对齐的视频同步时空超分方法
CN113947531A (zh) * 2021-10-29 2022-01-18 重庆邮电大学 一种迭代协作的视频超分辨率重构方法及系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140177706A1 (en) * 2012-12-21 2014-06-26 Samsung Electronics Co., Ltd Method and system for providing super-resolution of quantized images and video
US10701394B1 (en) * 2016-11-10 2020-06-30 Twitter, Inc. Real-time video super-resolution with spatio-temporal networks and motion compensation
CN111192200A (zh) * 2020-01-02 2020-05-22 南京邮电大学 基于融合注意力机制残差网络的图像超分辨率重建方法
CN111524068A (zh) * 2020-04-14 2020-08-11 长安大学 一种基于深度学习的变长输入超分辨率视频重建方法
CN112700392A (zh) * 2020-12-01 2021-04-23 华南理工大学 一种视频超分辨率处理方法、设备及存储介质
CN112950471A (zh) * 2021-02-26 2021-06-11 杭州朗和科技有限公司 视频超分处理方法、装置、超分辨率重建模型、介质
CN113850718A (zh) * 2021-06-01 2021-12-28 天翼智慧家庭科技有限公司 一种基于帧间特征对齐的视频同步时空超分方法
CN113947531A (zh) * 2021-10-29 2022-01-18 重庆邮电大学 一种迭代协作的视频超分辨率重构方法及系统
CN113742556A (zh) * 2021-11-03 2021-12-03 南京理工大学 一种基于全局和局部对齐的多模态特征对齐方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MINYAN ZHENG 等: "Video Super-Resolution Based on Spatial-Temporal Transformer", 《2021 IEEE 7TH INTERNATIONAL CONFERENCE ON CLOUD COMPUTING AND INTELLIGENT SYSTEMS (CCIS)》 *
刘颖 等: "多注意力域的稠密连接人脸超分算法", 《计算机工程与应用》 *
姚鲁: "基于多注意力特征融合的视像超分辨率算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115994857A (zh) * 2023-01-09 2023-04-21 深圳大学 一种视频超分辨率方法、装置、设备及存储介质
CN115994857B (zh) * 2023-01-09 2023-10-13 深圳大学 一种视频超分辨率方法、装置、设备及存储介质
CN116012230A (zh) * 2023-01-17 2023-04-25 深圳大学 一种时空视频超分辨率方法、装置、设备及存储介质
CN116012230B (zh) * 2023-01-17 2023-09-29 深圳大学 一种时空视频超分辨率方法、装置、设备及存储介质
CN116452741A (zh) * 2023-04-20 2023-07-18 北京百度网讯科技有限公司 对象重建方法、对象重建模型的训练方法、装置及设备
CN116452741B (zh) * 2023-04-20 2024-03-01 北京百度网讯科技有限公司 对象重建方法、对象重建模型的训练方法、装置及设备

Also Published As

Publication number Publication date
CN114529456B (zh) 2022-10-21

Similar Documents

Publication Publication Date Title
Zhang et al. Deep image deblurring: A survey
CN114529456B (zh) 一种视频的超分辨率处理方法、装置、设备及介质
CN110324664B (zh) 一种基于神经网络的视频补帧方法及其模型的训练方法
Liu et al. Robust video super-resolution with learned temporal dynamics
CN111629262B (zh) 视频图像处理方法和装置、电子设备及存储介质
CN111028150B (zh) 一种快速时空残差注意力视频超分辨率重建方法
CN110136062B (zh) 一种联合语义分割的超分辨率重建方法
US20220222776A1 (en) Multi-Stage Multi-Reference Bootstrapping for Video Super-Resolution
CN109993712B (zh) 图像处理模型的训练方法、图像处理方法及相关设备
WO2022166245A1 (zh) 一种视频帧的超分辨率重构方法
CN111784578A (zh) 图像处理、模型训练方法及装置、设备、存储介质
WO2022022288A1 (zh) 一种图像处理方法以及装置
Islam et al. Super-resolution enhancement technique for low resolution video
CN110263699B (zh) 视频图像处理方法、装置、设备及存储介质
CN111932480A (zh) 去模糊视频恢复方法、装置、终端设备以及存储介质
Zhao et al. Comprehensive and delicate: An efficient transformer for image restoration
CN113643333A (zh) 图像配准方法、装置、电子设备和计算机可读存储介质
JP6275719B2 (ja) ビデオシーケンスの画像の色をサンプル化する方法および色クラスタリングへの適用
CN113222855A (zh) 一种图像恢复方法、装置和设备
CN110689509B (zh) 基于循环多列3d卷积网络的视频超分辨率重建方法
Yang et al. SRDN: A unified super-resolution and motion deblurring network for space image restoration
CN113096032A (zh) 一种基于图像区域划分的非均匀一致模糊去除方法
Gopan et al. Video super resolution with generative adversarial network
CN117768774A (zh) 图像处理器、图像处理方法、拍摄装置和电子设备
CN116895037A (zh) 基于边缘信息和多尺度交叉融合网络的帧插入方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant