CN113034380B - 基于改进可变形卷积校正的视频时空超分辨率方法和装置 - Google Patents
基于改进可变形卷积校正的视频时空超分辨率方法和装置 Download PDFInfo
- Publication number
- CN113034380B CN113034380B CN202110178143.1A CN202110178143A CN113034380B CN 113034380 B CN113034380 B CN 113034380B CN 202110178143 A CN202110178143 A CN 202110178143A CN 113034380 B CN113034380 B CN 113034380B
- Authority
- CN
- China
- Prior art keywords
- resolution
- convolution
- frame
- correction
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012937 correction Methods 0.000 title claims abstract description 86
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000003287 optical effect Effects 0.000 claims abstract description 25
- 238000000605 extraction Methods 0.000 claims abstract description 18
- 238000005457 optimization Methods 0.000 claims abstract description 7
- 238000012545 processing Methods 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims description 17
- 230000004927 fusion Effects 0.000 claims description 14
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 230000015654 memory Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 238000009966 trimming Methods 0.000 claims description 2
- 239000000758 substrate Substances 0.000 claims 2
- 230000000694 effects Effects 0.000 abstract description 6
- 230000033001 locomotion Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 3
- 238000007792 addition Methods 0.000 description 2
- 230000007787 long-term memory Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000000137 annealing Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于改进可变形卷积校正的视频时空超分辨率方法和装置，包括：构建包含特征提取模块、帧间校正模块以及图像重建模块的视频时空超分辨率网络；对视频时空超分辨率进行网络参数优化后备用；应用时，利用特征提取模块从输入低分率的相邻视频帧提取特征图，利用帧间校正模块依据相邻视频帧对应的特征图在进行校正处理合成中间帧特征图，利用及图像重建模块对输入的中间帧特征图和相邻视频帧对应的特征图进行帧间与帧内特征的提取，重建输出高分辨率高帧率的图像序列。通过改进可变形卷积的模式、引入显式光流估计、注意力网络等技巧，使得帧间校正网络更好地胜任视频时空超分辨率任务，大大提升了复原效果。
Description
技术领域
本发明涉及计算机科学图像处理领域，尤其涉及一种基于改进可变形卷积校正的视频时空超分辨率方法和装置。
背景技术
视频时空超分辨率是视频与超分辨率与视频帧插值两大视频处理领域基础问题的结合。近年来深度学习网络的快速发展为视频超分辨率与视频帧插值算法提供了一种高效的解决方案，如公布号为CN109102462A的专利申请公开的一种基于深度学习的视频超分辨率重建方法，再如公布号为CN104463793A的专利申请公开的一种基于稀疏表达与极坐标下的向量连分式插值的视频超分辨率重建方法及其系统。但是传统卷积网络较少有对一阶段同时完成视频时空超分辨率的方法进行研究。
在时空超分辨率问题中，中间帧缺少参考，且相邻输入帧为低分辨率时，对中间帧的运动估计相比尤为困难。尽管已有一些较新的研究尝试引入可变形卷积等方法改进帧间运动补偿效果，但是现有深度学习网络往往仍无法较好地同时对中间帧的位置与细节信息进行复原。传统的光流方法以预设比例建模中间帧与输入帧和两相邻输入帧的运动关系，缺乏自适应性。而近期兴起的基于可变形卷积的运动校正方法对运动较大的视频补偿效果较差，难以指代真实运动情况，存在泛化性能不足的问题。
发明内容
鉴于上述，本发明的目的是提供一种基于改进可变形卷积校正的视频时空超分辨率方法和装置。该方法和装置通过改进可变形卷积的模式、引入显式光流估计、注意力网络等技巧，使得帧间校正网络更好地胜任视频时空超分辨率任务，大大提升了复原效果。
为实现上述发明目的，本发明提供以下技术方案：
第一方面，一种基于改进可变形卷积校正的视频时空超分辨率方法，包括以下步骤：
构建包含特征提取模块、帧间校正模块以及图像重建模块的视频时空超分辨率网络，其中，帧间校正模块包括若干个不同空间尺度的改进可变形卷积校正分支和融合单元，每个改进可变形卷积校正分支用于根据相邻视频帧计算的光流估计和偏移参数经可变性卷积得到分支中间帧特征图，融合单元用于融合所有分支中间帧特征图，得到最终的中间帧特征图；
对视频时空超分辨率进行网络参数优化后备用；
应用时，利用特征提取模块从输入低分率的相邻视频帧提取特征图，利用帧间校正模块依据相邻视频帧对应的特征图在进行校正处理合成中间帧特征图，利用及图像重建模块对输入的中间帧特征图和相邻视频帧对应的特征图进行帧间与帧内特征的提取，重建输出高分辨率高帧率的图像序列。
优选地，所述特征提取模块包括至少1个卷积层和若干个残差块 (residualblock)，用于提取低分辨率视频帧的多通道特征图，其中，其中残差块按照残差学习策略设计，为特征提取模块堆叠网络深度的主要单元，包括卷积层、线性整流函数(ReLU)和点加操作。
优选地，每个改进可变形卷积校正分支对应唯一的空间尺度，包括改进可变形卷积校正单元和偏移参数计算单元，其中，偏移参数计算单元用于根据相邻视频帧的特征图和光流信息经过多次卷积操作获得可变性卷积偏移参数，改进可变形卷积校正单元用于根据相邻视频帧计算光流信息后，根据光流信息确定可变性卷积偏移的基底后，根据可变性卷积偏移参数和对应的基底，经过可变性卷积获得与空间尺度对应的分支中间帧特征图。
优选地，所述偏移参数计算单元包括3个卷积层，相邻视频帧的特征图拼接后输入至第一卷积层获得第一卷积结果，第一卷积结果与相邻改进可变形卷积校正分支的偏移参数计算单元计算的可变性卷积偏移参数拼接后输入至第二卷积层获得第二卷积结果，第二卷积结果与相邻视频帧间的光流信息拼接后输入至第三卷积，经卷积操作获得当前分支的可变性卷积偏移。
优选地，所述融合单元复用相邻视频帧间的光流信息，该光流信息经过多次不同尺度的卷积操作后，生成与每个可变形卷积校正分支对应，且与对应可变形卷积校正分支的空间尺度相同的注意力图，每个可变形卷积校正分支的分支中间帧特征图与注意力图点乘后获得点乘结果，所有分支的点乘结果维度拼接后经过卷积层下采样后输出与输入视频帧特征图空间尺度相同的中间帧特征图。
优选地，所述图像重建模块包括可变形长短时记忆网络和若干个残差块，其中，可变形长短时记忆网络用于根据输入的相邻视频帧的特征图和中间帧特征图输出各帧的高层特征图，各帧的高层特征图分贝输入权重共享的残差块组中，输出与高层特征图对应的高分辨率高帧率的图像，组成图像序列。
优选地，对视频时空超分辨率进行网络参数优化前，构建训练样本，具体过程为：
将高分辨率高帧率视频序列切边，保证空间分辨率为目标缩放倍数的整数倍；若序列帧数为偶数，则丢弃最后一帧；预处理后的高分辨率高帧率视频序列作为网络训练目标；
按目标缩放倍数下采样生成低分辨率高帧率视频序列；选取其中奇数帧的低分辨率图像作为网络输入，对应的真实高分辨率图像为监督数据，选取其中偶数帧的低分辨率图像用于合成中间帧的监督数据。
优选地，对视频时空超分辨率进行网络参数优化时，损失函数包括两部分，第一部分是奇数帧的低分辨率图像对应的生成高分辨率图像与真实高分辨率图像之间的损失，第二部分是偶数帧的低分辨率图像的特征图与帧间校正模块生成的中间帧特征图之间的损失。
第二方面，一种基于改进可变形卷积校正的视频时空超分辨率装置，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，其特征在于，所述计算机处理器执行所述计算机程序时实现上述基于改进可变形卷积校正的视频时空超分辨率方法。
与现有技术相比，本发明实施例提供的基于改进可变形卷积校正的视频时空超分辨率方法和装置具有的有益效果至少包括：
(1)通过在可变形卷积校正中引入显式光流估计信息，增强帧间校正模块对帧间运动的预测能力，使得网络可以对存在较剧烈的运动的视频也能取得较好的运动补偿效果。同时保留了可变形卷积自由度高的特点，对帧间的非匀速运动能够进行更准确的复原。这一特性提高了网络对中间帧空间位置预测的准确性，从而在时空超分辨率过程中取得更接近真实的结果。
(2)为帧间校正模块引入了基于视频实际运动强度融合的多尺度校正结构，不同的空间尺度提供了适应不同粒度目标与不同幅度运动的运动校正能力，基于显式运动估计的注意力机制令各个分支基于局部运动强度进行自适应的融合，使得校正结果更准确。
(3)通过在训练中引入中间帧特征，对校正模块进行显式监督，降低了神经网络的学习难度，有效保证了训练的收敛性，并提升了帧间校正模块的运动补偿能力。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。
图1是本发明实施例提供的利用视频时空超分辨率网络进行视频时空超分辨率方法的流程图；
图2是本发明实施例提供的改进可变形卷积校正分支的结构示意图；
图3是本发明实施例提供的融合单元的结构示意图；
图4是本发明实施例提供的引入中间帧特征图监督的训练过程图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。
图1是本发明实施例提供的利用视频时空超分辨率网络进行视频时空超分辨率方法的流程图。如图1所示，实施例提供的利用视频时空超分辨率网络进行视频时空超分辨率方法包括以下流程：
准备训练数据集。原始训练图像取自Vimeo。选取一个原始高分辨率帧序列，生成选定缩放倍数的低分辨率帧序列，并将其中单数帧取出，得到低分辨率低帧率帧序列，与原始高分辨率帧序列构成了一对训练样本。通过裁剪图像块的方法大大增加训练样本数量。
搭建基于改进可变形卷积校正的视频时空超分辨率网络。如图1所示，视频时空超分辨率网络包括特征提取模块、帧间校正模块以及图像重建模块，其中，特征提取模块包括至少1个卷积层和若干个残差块，用于提取低分辨率视频帧的多通道特征图，帧间校正模块包括若干个不同空间尺度的改进可变形卷积校正分支和融合单元，每个改进可变形卷积校正分支用于根据相邻视频帧计算的光流估计和偏移参数经可变性卷积得到分支中间帧特征图，融合单元用于融合所有分支中间帧特征图，得到最终的中间帧特征图，图像重建模块可变形长短时记忆网络和若干个残差块，用于生成高分辨率图像。
输入低分辨率视频帧序列经由特征提取模块得到特征图，并将该特征图送入帧间校正模块。帧间校正模块经过多尺度的下采样产生不同空间尺度的特征图序列。将相邻帧多尺度特征图分别输入对应的金字塔式的改进可变形卷积校正单元中，得到多尺度的中间帧特征图。融合单元输入帧间光流信息进入一层卷积层中，得到对应金字塔多尺度的注意力图。之后多尺度的中间帧特征图输入融合单元，合成输出的中间帧特征图。输出的各中间帧特征图与原本帧特征图一并输入图像重建模块中。图像重建模块通过可变形长短时记忆网络利用输入序列帧间信息进行复原。之后特征图序列输入一系列残差块中，利用特征图帧内信息进行进一步复原。最终图像重建模块输出对应输入的高分辨率高帧率的RGB图像序列。由于帧间校正模块中的改进可变形卷积校正分支与融合单元结构相对复杂，在图2与图3中予以细节展示。
如图2所示，改进可变形卷积单元对应唯一的空间尺度，包括改进可变形卷积校正单元和偏移参数计算单元，其中，偏移参数计算单元用于根据相邻视频帧的特征图和光流信息经过多次卷积操作获得可变性卷积偏移参数。具体地，偏移参数计算单元包括3个卷积层，相邻视频帧的特征图拼接后输入至第一卷积层获得第一卷积结果，第一卷积结果与相邻改进可变形卷积校正分支的偏移参数计算单元计算的可变性卷积偏移参数拼接后输入至第二卷积层获得第二卷积结果，第二卷积结果与相邻视频帧间的光流信息拼接后输入至第三卷积，经卷积操作获得当前分支的可变性卷积偏移。
改进可变形卷积校正单元用于根据相邻视频帧计算光流信息后，根据光流信息确定可变性卷积偏移的基底后，根据可变性卷积偏移参数和对应的基底，经过可变性卷积获得与空间尺度对应的分支中间帧特征图。
图4中所示，融合单元复用相邻视频帧间的光流信息，该光流信息的绝对值经过多次不同尺度的卷积操作后，生成与每个可变形卷积校正分支对应，且与对应可变形卷积校正分支的空间尺度相同的注意力图，每个可变形卷积校正分支的分支中间帧特征图与注意力图点乘后获得点乘结果，所有分支的点乘结果维度拼接后经过卷积层下采样后输出与输入视频帧特征图空间尺度相同的中间帧特征图。
实施例提供的基于改进可变形卷积校正的视频时空超分辨率网络可进行端到端的训练。训练时选定的损失函数为L1误差损失函数，即根据奇数帧的低分辨率图像对应的生成高分辨率图像与真实高分辨率图像构建L1误差损失函数。特别地，本发明在训练阶段引入了低分辨率的偶数帧作为中间帧，通过和主网络共享权重的特征提取模块提取偶数帧的特征，通过平滑L1误差损失函数对帧间校正模块输出的中间帧特征作为监督，如图4所示。为了提高训练效率和防止训练过拟合，采用的优化器是Adam 优化器，初始学习率设置为0.0004，采用余弦退火重启方案，以40000次迭代为一个周期。训练时采用的mini-batch尺寸大小为64。
将训练好的模型参数保存下来，即可供后续视频时空超分辨率使用。
应用时，利用特征提取模块从输入低分率的相邻视频帧提取特征图，利用帧间校正模块依据相邻视频帧对应的特征图在进行校正处理合成中间帧特征图，利用及图像重建模块对输入的中间帧特征图和相邻视频帧对应的特征图进行帧间与帧内特征的提取，重建输出高分辨率高帧率的图像序列。
实施例还提供了一种基于改进可变形卷积校正的视频时空超分辨率装置，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，所述计算机处理器执行所述计算机程序时实现上述基于改进可变形卷积校正的视频时空超分辨率方法。
实际应用中，计算机存储器可以为在近端的易失性存储器，如RAM，还可以是非易失性存储器，如ROM，FLASH，软盘，机械硬盘等，还可以是远端的存储云。计算机处理器可以为中央处理器(CPU)、微处理器 (MPU)、数字信号处理器(DSP)、或现场可编程门阵列(FPGA)，即可以通过这些处理器实现基于改进可变形卷积校正的视频时空超分辨率方法步骤。
经过本发明提供的基于改进可变形卷积校正的视频时空超分辨率方法处理得到的结果和现有方法相比，具有比较好的PSNR指标结果，且主观运动补偿效果更好。
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种基于改进可变形卷积校正的视频时空超分辨率方法，其特征在于，包括以下步骤：
构建包含特征提取模块、帧间校正模块以及图像重建模块的视频时空超分辨率网络，其中，帧间校正模块包括若干个不同空间尺度的改进可变形卷积校正分支和融合单元，每个改进可变形卷积校正分支用于根据相邻视频帧计算的光流估计和偏移参数经可变性卷积得到分支中间帧特征图，融合单元用于融合所有分支中间帧特征图，得到最终的中间帧特征图；
对视频时空超分辨率进行网络参数优化后备用；
应用时，利用特征提取模块从输入低分率的相邻视频帧提取特征图，利用帧间校正模块依据相邻视频帧对应的特征图在进行校正处理合成中间帧特征图，利用图像重建模块对输入的中间帧特征图和相邻视频帧对应的特征图进行帧间与帧内特征的提取，重建输出高分辨率高帧率的图像序列。
2.如权利要求1所述的基于改进可变形卷积校正的视频时空超分辨率方法，其特征在于，所述特征提取模块包括至少1个卷积层和若干个残差块，用于提取低分辨率视频帧的多通道特征图，其中，残差块包括卷积层、线性整流函数和点加操作。
3.如权利要求1所述的基于改进可变形卷积校正的视频时空超分辨率方法，其特征在于，每个改进可变形卷积校正分支对应唯一的空间尺度，包括改进可变形卷积校正单元和偏移参数计算单元，其中，偏移参数计算单元用于根据相邻视频帧的特征图和光流信息经过多次卷积操作获得可变性卷积偏移参数，改进可变形卷积校正单元用于根据相邻视频帧计算光流信息后，根据光流信息确定可变性卷积偏移的基底后，根据可变性卷积偏移参数和对应的基底，经过可变性卷积获得与空间尺度对应的分支中间帧特征图。
4.如权利要求3所述的基于改进可变形卷积校正的视频时空超分辨率方法，其特征在于，所述偏移参数计算单元包括3个卷积层，相邻视频帧的特征图拼接后输入至第一卷积层获得第一卷积结果，第一卷积结果与相邻改进可变形卷积校正分支的偏移参数计算单元计算的可变性卷积偏移参数拼接后输入至第二卷积层获得第二卷积结果，第二卷积结果与相邻视频帧间的光流信息拼接后输入至第三卷积，经卷积操作获得当前分支的可变性卷积偏移。
5.如权利要求1所述的基于改进可变形卷积校正的视频时空超分辨率方法，其特征在于，所述融合单元复用相邻视频帧间的光流信息，该光流信息经过多次不同尺度的卷积操作后，生成与每个可变形卷积校正分支对应，且与对应可变形卷积校正分支的空间尺度相同的注意力图，每个可变形卷积校正分支的分支中间帧特征图与注意力图点乘后获得点乘结果，所有分支的点乘结果维度拼接后经过卷积层下采样后输出与输入视频帧特征图空间尺度相同的中间帧特征图。
6.如权利要求1所述的基于改进可变形卷积校正的视频时空超分辨率方法，其特征在于，所述图像重建模块包括可变形长短时记忆网络和若干个残差块，其中，可变形长短时记忆网络用于根据输入的相邻视频帧的特征图和中间帧特征图输出各帧的高层特征图，各帧的高层特征图分贝输入权重共享的残差块组中，输出与高层特征图对应的高分辨率高帧率的图像，组成图像序列。
7.如权利要求1所述的基于改进可变形卷积校正的视频时空超分辨率方法，其特征在于，对视频时空超分辨率进行网络参数优化前，构建训练样本，具体过程为：
将高分辨率高帧率视频序列切边，保证空间分辨率为目标缩放倍数的整数倍；若序列帧数为偶数，则丢弃最后一帧；预处理后的高分辨率高帧率视频序列作为网络训练目标；
按目标缩放倍数下采样生成低分辨率高帧率视频序列；选取其中奇数帧的低分辨率图像作为网络输入，对应的真实高分辨率图像为监督数据，选取其中偶数帧的低分辨率图像用于合成中间帧的监督数据。
8.如权利要求1所述的基于改进可变形卷积校正的视频时空超分辨率方法，其特征在于，对视频时空超分辨率进行网络参数优化时，损失函数包括两部分，第一部分是奇数帧的低分辨率图像对应的生成高分辨率图像与真实高分辨率图像之间的损失，第二部分是偶数的低分辨率图像的特征图与帧间校正模块生成的中间帧特征图之间的损失。
9.一种基于改进可变形卷积校正的视频时空超分辨率装置，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，其特征在于，所述计算机处理器执行所述计算机程序时实现权利要求1～8任一项所述的基于改进可变形卷积校正的视频时空超分辨率方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110178143.1A CN113034380B (zh) | 2021-02-09 | 2021-02-09 | 基于改进可变形卷积校正的视频时空超分辨率方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110178143.1A CN113034380B (zh) | 2021-02-09 | 2021-02-09 | 基于改进可变形卷积校正的视频时空超分辨率方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113034380A CN113034380A (zh) | 2021-06-25 |
| CN113034380B true CN113034380B (zh) | 2022-06-10 |
Family
ID=76460864
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110178143.1A Active CN113034380B (zh) | 2021-02-09 | 2021-02-09 | 基于改进可变形卷积校正的视频时空超分辨率方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113034380B (zh) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113610031A (zh) * | 2021-08-14 | 2021-11-05 | 北京达佳互联信息技术有限公司 | 视频处理方法和视频处理装置 |
| CN113658045A (zh) * | 2021-08-14 | 2021-11-16 | 北京达佳互联信息技术有限公司 | 视频处理方法及装置 |
| CN113554156B (zh) * | 2021-09-22 | 2022-01-11 | 中国海洋大学 | 基于注意力机制与可变形卷积的多任务图像处理方法 |
| CN113837136B (zh) * | 2021-09-29 | 2022-12-23 | 深圳市慧鲤科技有限公司 | 视频插帧方法及装置、电子设备和存储介质 |
| CN113887459B (zh) * | 2021-10-12 | 2022-03-25 | 中国矿业大学(北京) | 一种基于改进Unet++的露天矿区采场变化区域检测方法 |
| CN114119364A (zh) * | 2021-11-05 | 2022-03-01 | 大量科技（涟水）有限公司 | 一种用于芯片质检时运动模糊视频的超分辨率重建方法 |
| CN114422852A (zh) * | 2021-12-16 | 2022-04-29 | 阿里巴巴（中国）有限公司 | 视频播放方法、存储介质、处理器和系统 |
| CN114092339B (zh) * | 2022-01-24 | 2022-05-20 | 南京理工大学 | 基于跨帧自注意力变换网络的时空视频超分辨率重建方法 |
| CN114598833B (zh) * | 2022-03-25 | 2023-02-10 | 西安电子科技大学 | 基于时空联合注意力的视频插帧方法 |
| CN115002379B (zh) * | 2022-04-25 | 2023-09-26 | 武汉大学 | 视频插帧方法、训练方法、装置、电子设备和存储介质 |
| CN114547017B (zh) * | 2022-04-27 | 2022-08-05 | 南京信息工程大学 | 一种基于深度学习的气象大数据融合方法 |
| CN115334271B (zh) * | 2022-08-10 | 2024-05-07 | 平安科技（深圳）有限公司 | 高帧率视频生成方法、装置、电子设备及存储介质 |
| CN115484410B (zh) * | 2022-09-15 | 2023-11-24 | 天津大学 | 基于深度学习的事件相机视频重建方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3319039A1 (en) * | 2016-11-07 | 2018-05-09 | UMBO CV Inc. | A method and system for providing high resolution image through super-resolution reconstruction |
| CN109118431A (zh) * | 2018-09-05 | 2019-01-01 | 武汉大学 | 一种基于多记忆及混合损失的视频超分辨率重建方法 |
| CN110191299A (zh) * | 2019-04-15 | 2019-08-30 | 浙江大学 | 一种基于卷积神经网络的多重帧插值方法 |
| CN111062867A (zh) * | 2019-11-21 | 2020-04-24 | 浙江大华技术股份有限公司 | 一种视频超分辨率重建方法 |
| CN111311490A (zh) * | 2020-01-20 | 2020-06-19 | 陕西师范大学 | 基于多帧融合光流的视频超分辨率重建方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11521044B2 (en) * | 2018-05-17 | 2022-12-06 | International Business Machines Corporation | Action detection by exploiting motion in receptive fields |
-
2021
- 2021-02-09 CN CN202110178143.1A patent/CN113034380B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3319039A1 (en) * | 2016-11-07 | 2018-05-09 | UMBO CV Inc. | A method and system for providing high resolution image through super-resolution reconstruction |
| CN109118431A (zh) * | 2018-09-05 | 2019-01-01 | 武汉大学 | 一种基于多记忆及混合损失的视频超分辨率重建方法 |
| CN110191299A (zh) * | 2019-04-15 | 2019-08-30 | 浙江大学 | 一种基于卷积神经网络的多重帧插值方法 |
| CN111062867A (zh) * | 2019-11-21 | 2020-04-24 | 浙江大华技术股份有限公司 | 一种视频超分辨率重建方法 |
| CN111311490A (zh) * | 2020-01-20 | 2020-06-19 | 陕西师范大学 | 基于多帧融合光流的视频超分辨率重建方法 |
Non-Patent Citations (1)
| Title |
|---|
| 双层可变形卷积网络的超分辨率图像重建;黄陶冶等;《计算机应用》;20191230;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113034380A (zh) | 2021-06-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113034380B (zh) | 基于改进可变形卷积校正的视频时空超分辨率方法和装置 | |
| CN109271933B (zh) | 基于视频流进行三维人体姿态估计的方法 | |
| CN110363716B (zh) | 一种基于条件生成对抗网络复合降质图像高质量重建方法 | |
| CN109068174B (zh) | 基于循环卷积神经网络的视频帧率上变换方法及系统 | |
| WO2021093393A1 (zh) | 基于深度神经网络的视频压缩感知与重构方法和装置 | |
| CN109636721B (zh) | 基于对抗学习和注意力机制的视频超分辨率方法 | |
| CN114339409B (zh) | 视频处理方法、装置、计算机设备及存储介质 | |
| Park et al. | Robust video frame interpolation with exceptional motion map | |
| CN113177470B (zh) | 行人轨迹预测方法、装置、设备及存储介质 | |
| KR20210092286A (ko) | 이미지 복원 방법 및 장치, 전자 기기, 저장 매체 | |
| CN115002379B (zh) | 视频插帧方法、训练方法、装置、电子设备和存储介质 | |
| CN109949217A (zh) | 基于残差学习和隐式运动补偿的视频超分辨率重建方法 | |
| WO2020001046A1 (zh) | 一种基于自适应层次化运动建模的视频预测方法 | |
| CN113436224B (zh) | 一种基于显式构图规则建模的智能图像裁剪方法及装置 | |
| CN114842400A (zh) | 基于残差块和特征金字塔的视频帧生成方法及系统 | |
| Suzuki et al. | Residual learning of video frame interpolation using convolutional LSTM | |
| CN113850721A (zh) | 单幅图像超分辨率重建方法、装置、设备及可读存储介质 | |
| CN114339030A (zh) | 一种基于自适应可分离卷积的网络直播视频稳像方法 | |
| CN114663307B (zh) | 基于不确定性网络的集成图像去噪系统 | |
| CN116958192A (zh) | 一种基于扩散模型的事件相机图像重建方法 | |
| US20220327663A1 (en) | Video Super-Resolution using Deep Neural Networks | |
| CN114885144B (zh) | 基于数据融合的高帧率3d视频生成方法及装置 | |
| CN116227582A (zh) | 掩码自编码器的知识蒸馏方法、装置、设备及存储介质 | |
| CN115035223A (zh) | 一种图像处理方法、装置、设备及介质 | |
| CN115272082A (zh) | 模型训练、视频质量提升方法、装置和计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |