CN110634105A - 一种光流法和深度网络结合的视频高时空分辨率信号处理方法 - Google Patents

一种光流法和深度网络结合的视频高时空分辨率信号处理方法 Download PDF

Info

Publication number
CN110634105A
CN110634105A CN201910906175.1A CN201910906175A CN110634105A CN 110634105 A CN110634105 A CN 110634105A CN 201910906175 A CN201910906175 A CN 201910906175A CN 110634105 A CN110634105 A CN 110634105A
Authority
CN
China
Prior art keywords
frame
video
network
resolution
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910906175.1A
Other languages
English (en)
Other versions
CN110634105B (zh
Inventor
徐梦溪
杜心宇
吴晓彬
李屹
项鹏
朱广锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Institute of Technology
Original Assignee
Nanjing Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Institute of Technology filed Critical Nanjing Institute of Technology
Priority to CN202310618236.0A priority Critical patent/CN116664400A/zh
Priority to CN201910906175.1A priority patent/CN110634105B/zh
Publication of CN110634105A publication Critical patent/CN110634105A/zh
Application granted granted Critical
Publication of CN110634105B publication Critical patent/CN110634105B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Television Systems (AREA)

Abstract

一种光流法和深度网络结合的视频高时空分辨率信号处理方法，采用基于信号与信息处理算法的方式恢复和重构出高空间和高时间分辨视频序列，即一种视频超分辨率重建方法。其步骤为：将视频按顺序取其帧序列；从视频的第3帧开始，每一帧都与其前后两帧做光流法运动估计；将产生的4副运动估计图像与中间帧合成为5副图像的高维图像块；构建OF深度卷积超分辨率网络，浅层网络提取图像信息，最后一层亚像素卷积层进行重建超分辨率图像；将高维图像块送入深度卷积网络进行训练；最终将降质后或者分辨率较低的视频帧送入网络进行重建。本发明实现重建质量好、重建速度快，相比传统视频超分辨率模型重构效果好，能够进行视频实时重建。

Description

一种光流法和深度网络结合的视频高时空分辨率信号处理 方法
技术领域
本发明设计属于图像处理和深度学习应用领域，具体涉及一种光流法和深度网络结合的视频高时空分辨率信号处理方法。
背景技术
视频在摄制、传输与保存的过程中往往会产生高频信号缺失的分辨率降低问题，视频超分辨率重建的低分辨率视频帧直接获得高分辨率图像，快速高效，是一种有效的视频信号处理方法。视频超分辨率重建可以应用于监控、摄录像以及高清视频及电视转播等方向。
当前较为主流的超分辨率重建方法有插值法、重建法和学习法。基于插值的方法原理简单，计算量不大。基于重建的方法逆向利用图像的降质模型，该方法的核心思想是建模，在低分辨率与高分辨率之间形成对应的数学模型。基于学习的超分辨率重建算法更加深入的学习到了高低分辨率图像间的对应关系，这类算法通过特征提取，学习图像特征，超分辨率重构这三个阶段重建超分辨率图像。
深度学其端到端的模型特征让深度学习能够有效的应用到超分辨率重构中来。SRCNN(Super-resolution Reconstruction Neural Networks)网络将深度学习应用于超分辨率重建，提升了超分辨率重建质量，但是结构简单，重建质量和速度都很一般。ESPCN(Efficient Sub-Pixel Convolutional Neural Network)引入亚像素卷积层思想，设计了三层网络结构，极大的提升了重建效率，虽然可以直接应用于视频重建，但是网络结构过于简单，并没有考虑视频的帧间相关性与运动信息。
发明内容
本发明的目的是针对视频高频信号缺失、分辨率损失的问题对视频进行超分辨率重建，提升视频重建质量，实时重建高帧率与高清晰度视频。因此提出一种光流法和深度网络结合的视频高时空分辨率信号处理方法。
一种光流法和深度网络结合的视频高时空分辨率信号处理方法，包括以下步骤：
步骤1，将视频文件按顺序提取其帧序列；
步骤2，从视频的第3帧开始，每一帧都与其前后两帧做光流法运动估计；将产生的4副运动估计图像与中间帧合成为5幅图像的高维图像块；
步骤3，构建OF深度卷积超分辨率网络，浅层网络提取图像信息，最后一层亚像素卷积层进行重建超分辨率图像；
步骤4，将高维图像块送入深度卷积网络进行训练；
步骤5，将降质后或者分辨率较低的视频帧送入网络进行超分辨率图像重建。
进一步地，步骤2中所述的高维图像块构建方法为：
步骤2-1，选取视频帧序列连续的5张视频帧，我们标记该帧为第n帧，则前两帧分别为n-2、n-1帧，后两帧为n+1，n+2帧；
步骤2-2，在输入神经网络之前对这五张图像进行运动估计，以中心帧第n帧作为基准帧，对其余4帧使用光流法进行运动估计，生成四张运动估计图像；
步骤2-3，将4幅运动估计后的帧图像与基准帧组合为5张图像的高维图像块。
进一步地，步骤2-1中所取的基准帧需要在视频帧序列的第3到第n-2帧范围内，以保证前后共4幅运动估计图像的生成。
进一步地，步骤3中构建的深度卷积超分辨率网络模型为4层结构，分为三层卷积层和一层亚像素卷积层，输入图像为15通道的高维图像块。第一层卷积使用5×5的卷积核共64个，卷积后输出64通道的特征图像；第二层使用3×3的卷积核共32个，对上一层的64通道特征图卷积，输出图像为32通道；第三层使用3×3的卷积核共3×r2个，卷积输出3×r2特征图像。
进一步地，步骤3中所述进行视频超分辨率重建的深度卷积网络的构建方法为：
步骤3-1，由于产生了5幅图像的高维图像块，输入的高维图像维度为H*W*5*C；
步骤3-2，浅层网络使用卷积操作提取图像特征信息；
步骤3-3，倒数第二层浅层网络形成H*W*C*r2的图像特征块；
步骤3-4，最后一层网络亚像素卷积层从H*W*C*r2的图像特征块中重建高分辨率图像。
进一步地，所述亚像素卷积层的具体实现方法是使用大小为ks的卷积核WS进行步长为
Figure BDA0002213329880000031
的卷积可以激活WS的不同部位，在像素之间的权重不需要计算，被激活的“像素”取决于他们的位置，最多有
Figure BDA0002213329880000032
的权重被激活；当卷积核在逐步扫过整个特征图像空间时，依据不同亚像素的位置周期性的激活，实现这种周期性方法通过mod(x,r)和mod(y,r)，x和y是和高分辨率空间相对应的输出像素；
通过公式表示上述过程：
ISR＝fL(ILR)＝PS(WL*fL-1(ILR)+bL)
上式中ISR为重构的超分辨率图像，ILR是最后一层输出的低分辨率图像块，PS是周期性激活函数，WL是低分辨率图像的宽度，bL为神经网络的偏置。
使用均方误差作为网络迭代的依据，公式如下：
Figure BDA0002213329880000041
上式中，
Figure BDA0002213329880000042
为迭代中的误差，r为缩放因子，H和W分别指图像的高和宽，ILR和IHR分别为输入的低分辨率图像和原始高分辨率图像。
进一步地，步骤4中训练步骤为：
步骤4-1，使用Python语言，微软的开源深度学习框架TensorFlow框架，batch-size为32，epoch为100，子图像大小为17*17，学习率为0.001；
步骤4-2，对网络进行训练，选取Xiph基金会构建的的视频训练数据集Xiph的部分视频序列，其中包含10个视频序列共2695张图像帧；将训练数据集的高分辨率图像与以该图为基准帧的高维图像块分别作为标签和输入数据送入网络进行训练。
本发明的有益效果在于：
(1)考虑视频帧之间地的信号关联性，向视频超分辨率重建网络中引入视频地帧间运动估计，能够有效地提升视频帧的重建质量，降低重建视频帧模糊效应。
(2)网络结构引入亚像素卷积层，无需在重建低分辨率视频帧前进行插值放大，能够有效提高重建效率，达到一定的实时视频重建效果。
附图说明
图1是本发明的处理方法框架示意图。
具体实施方式
下面结合说明书附图对本发明的技术方案做进一步的详细说明。
一种光流法和深度网络结合的视频高时空分辨率信号处理方法，包括以下步骤：
步骤1，将视频文件按顺序提取其帧序列。
步骤2，从视频的第3帧开始，每一帧都与其前后两帧做光流法运动估计；将产生的4副运动估计图像与中间帧合成为5幅图像的高维图像块。
步骤2中所述的高维图像块构建方法为：
步骤2-1，选取视频帧序列连续的5张视频帧，我们标记该帧为第n帧，则前两帧分别为n-2、n-1帧，后两帧为n+1，n+2帧。
步骤2-2，在输入神经网络之前对这五张图像进行运动估计，以中心帧第n帧作为基准帧，对其余4帧使用光流法进行运动估计，生成四张运动估计图像。
步骤2-3，将4幅运动估计后的帧图像与基准帧组合为5张图像的高维图像块。
步骤2-1中所取的基准帧需要在视频帧序列的第3到第n-2帧范围内，以保证前后共4幅运动估计图像的生成。
步骤3，构建OF深度卷积超分辨率网络，浅层网络提取图像信息，最后一层亚像素卷积层进行重建超分辨率图像。
步骤3中构建的深度卷积超分辨率网络模型为4层结构，分为三层卷积层和一层亚像素卷积层，输入图像为15通道的高维图像块。第一层卷积使用5×5的卷积核共64个，卷积后输出64通道的特征图像；第二层使用3×3的卷积核共32个，对上一层的64通道特征图卷积，输出图像为32通道；第三层使用3×3的卷积核共3×r2个，卷积输出3×r2特征图像。
步骤3中所述进行视频超分辨率重建的深度卷积网络的构建方法为：
步骤3-1，由于产生了5幅图像的高维图像块，输入的高维图像维度为H*W*5*C。
步骤3-2，浅层网络使用卷积操作提取图像特征信息。
步骤3-3，倒数第二层浅层网络形成H*W*C*r2的图像特征块。
步骤3-4，最后一层网络亚像素卷积层从H*W*C*r2的图像特征块中重建高分辨率图像。
所述亚像素卷积层的具体实现方法是使用大小为ks的卷积核Ws进行步长为
Figure BDA0002213329880000071
的卷积可以激活Ws的不同部位，在像素之间的权重不需要计算，被激活的“像素”取决于他们的位置，最多有
Figure BDA0002213329880000072
的权重被激活；当卷积核在逐步扫过整个特征图像空间时，依据不同亚像素的位置周期性的激活，实现这种周期性方法通过mod(x,r)和mod(y,r)，x和y是和高分辨率空间相对应的输出像素。
通过公式表示上述过程：
ISR＝fL(ILR)＝PS(WL*fL-1(ILR)+bL)
上式中ISR为重构的超分辨率图像，ILR是最后一层输出的低分辨率图像块，PS是周期性激活函数，WL是低分辨率图像的宽度，bL为神经网络的偏置。
使用均方误差作为网络迭代的依据，公式如下：
Figure BDA0002213329880000073
上式中，
Figure BDA0002213329880000074
为迭代中的误差，r为缩放因子，H和W分别指输入图像的高和宽，ILR和IHR分别为输入的低分辨率图像和原始高分辨率图像。
步骤4，将高维图像块送入深度卷积网络进行训练。
步骤4中训练步骤为：
步骤4-1，使用Python语言，微软的开源深度学习框架TensorFlow框架，batch-size为32，epoch为100，子图像大小为17*17，学习率为0.001。
步骤4-2，对网络进行训练，选取Xiph基金会构建的的视频训练数据集Xiph的部分视频序列，其中包含10个视频序列共2695张图像帧；将训练数据集的高分辨率图像与以该图为基准帧的高维图像块分别作为标签和输入数据送入网络进行训练。
步骤5，将降质后或者分辨率较低的视频帧送入网络进行超分辨率图像重建。
以上所述仅为本发明的较佳实施方式，本发明的保护范围并不以上述实施方式为限，但凡本领域普通技术人员根据本发明所揭示内容所作的等效修饰或变化，皆应纳入权利要求书中记载的保护范围内。

Claims (7)

1.一种光流法和深度网络结合的视频高时空分辨率信号处理方法，其特征在于：包括以下步骤：
步骤1，将视频文件按顺序提取其帧序列；
步骤2，从视频的第3帧开始，每一帧都与其前后两帧做光流法运动估计；将产生的4副运动估计图像与中间帧合成为5幅图像的高维图像块；
步骤3，构建OF深度卷积超分辨率网络，浅层网络提取图像信息，最后一层亚像素卷积层进行重建超分辨率图像；
步骤4，将高维图像块送入深度卷积网络进行训练；
步骤5，将降质后或者分辨率较低的视频帧送入网络进行超分辨率图像重建。
2.根据权利要求1所述的一种光流法和深度网络结合的视频高时空分辨率信号处理方法，其特征在于：步骤2中所述的高维图像块构建方法为：
步骤2-1，选取视频帧序列连续的5张视频帧，我们标记该帧为第n帧，则前两帧分别为n-2、n-1帧，后两帧为n+1，n+2帧；
步骤2-2，在输入神经网络之前对这五张图像进行运动估计，以中心帧第n帧作为基准帧，对其余4帧使用光流法进行运动估计，生成四张运动估计图像；
步骤2-3，将4幅运动估计后的帧图像与基准帧组合为5张图像的高维图像块。
3.根据权利要求2所述的一种光流法和深度网络结合的视频高时空分辨率信号处理方法，其特征在于：步骤2-1中所取的基准帧需要在视频帧序列的第3到第n-2帧范围内，以保证前后共4幅运动估计图像的生成。
4.根据权利要求1所述的一种光流法和深度网络结合的视频高时空分辨率信号处理方法，其特征在于：步骤3中构建的深度卷积超分辨率网络模型为4层结构，分为三层卷积层和一层亚像素卷积层，输入图像为15通道的高维图像块。第一层卷积使用5×5的卷积核共64个，卷积后输出64通道的特征图像；第二层使用3×3的卷积核共32个，对上一层的64通道特征图卷积，输出图像为32通道；第三层使用3×3的卷积核共3×r2个，卷积输出3×r2特征图像。
5.根据权利要求1所述的一种光流法和深度网络结合的视频高时空分辨率信号处理方法，其特征在于：步骤3中所述进行视频超分辨率重建的深度卷积网络的构建方法为：
步骤3-1，由于产生了5幅图像的高维图像块，输入的高维图像维度为H*W*5*C；
步骤3-2，浅层网络使用卷积操作提取图像特征信息；
步骤3-3，倒数第二层浅层网络形成H*W*C*r2的图像特征块；
步骤3-4，最后一层网络亚像素卷积层从H*W*C*r2的图像特征块中重建高分辨率图像。
6.根据权利要求5所述的一种光流法和深度网络结合的视频高时空分辨率信号处理方法，其特征在于：所述亚像素卷积层的具体实现方法是使用大小为ks的卷积核Ws进行步长为
Figure FDA0002213329870000021
的卷积可以激活Ws的不同部位，在像素之间的权重不需要计算，被激活的像素取决于他们的位置，最多有
Figure FDA0002213329870000031
的权重被激活；当卷积核在逐步扫过整个特征图像空间时，依据不同亚像素的位置周期性的激活，实现这种周期性方法通过mod(x，r)和mod(y，r)，x和y是和高分辨率空间相对应的输出像素；
通过公式表示上述过程：
ISR＝fL(ILR)＝PS(WL*fL-1(ILR)+bL)
上式中，ISR为重构的超分辨率图像，ILR是最后一层输出的低分辨率图像块，PS是周期性激活函数，WL是低分辨率图像的宽度，bL为神经网络的偏置；
使用均方误差作为网络迭代的依据，公式如下：
上式中，l(W1∶L，b1∶L)为迭代中的误差，r为缩放因子，H和W分别指图像的高和宽，ILR和IHR分别为输入的低分辨率图像和原始高分辨率图像。
7.根据权利要求1所述的一种光流法和深度网络结合的视频高时空分辨率信号处理方法，其特征在于：步骤4中训练步骤为：
步骤4-1，使用Python语言，微软的开源深度学习框架TensorFlow框架，batch-size为32，epoch为100，子图像大小为17*17，学习率为0.001；
步骤4-2，对网络进行训练，选取Xiph基金会构建的的视频训练数据集Xiph的部分视频序列，其中包含10个视频序列共2695张图像帧；将训练数据集的高分辨率图像与以该图为基准帧的高维图像块分别作为标签和输入数据送入网络进行训练。
CN201910906175.1A 2019-09-24 2019-09-24 一种光流法和深度网络结合的视频高时空分辨率信号处理方法 Active CN110634105B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202310618236.0A CN116664400A (zh) 2019-09-24 2019-09-24 视频高时空分辨率信号处理方法
CN201910906175.1A CN110634105B (zh) 2019-09-24 2019-09-24 一种光流法和深度网络结合的视频高时空分辨率信号处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910906175.1A CN110634105B (zh) 2019-09-24 2019-09-24 一种光流法和深度网络结合的视频高时空分辨率信号处理方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202310618236.0A Division CN116664400A (zh) 2019-09-24 2019-09-24 视频高时空分辨率信号处理方法

Publications (2)

Publication Number Publication Date
CN110634105A true CN110634105A (zh) 2019-12-31
CN110634105B CN110634105B (zh) 2023-06-20

Family

ID=68974142

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910906175.1A Active CN110634105B (zh) 2019-09-24 2019-09-24 一种光流法和深度网络结合的视频高时空分辨率信号处理方法
CN202310618236.0A Pending CN116664400A (zh) 2019-09-24 2019-09-24 视频高时空分辨率信号处理方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202310618236.0A Pending CN116664400A (zh) 2019-09-24 2019-09-24 视频高时空分辨率信号处理方法

Country Status (1)

Country Link
CN (2) CN110634105B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111277837A (zh) * 2020-01-21 2020-06-12 济南浪潮高新科技投资发展有限公司 一种应用于视频压缩技术的运动补偿方法
CN111402130A (zh) * 2020-02-21 2020-07-10 华为技术有限公司 数据处理方法和数据处理装置
CN111696035A (zh) * 2020-05-21 2020-09-22 电子科技大学 一种基于光流运动估计算法的多帧图像超分辨率重建方法
CN111833245A (zh) * 2020-05-19 2020-10-27 南京邮电大学 一种基于多场景视频补帧算法的超分辨率重建方法
CN111932453A (zh) * 2020-07-20 2020-11-13 合肥富煌君达高科信息技术有限公司 高分辨率图像生成方法及集成该方法的高速相机
CN112184549A (zh) * 2020-09-14 2021-01-05 阿坝师范学院 基于时空变换技术的超分辨图像重建方法
CN112669234A (zh) * 2020-12-28 2021-04-16 苏州大学 基于神经网络的高分辨率图像复原方法及系统
CN112712537A (zh) * 2020-12-21 2021-04-27 深圳大学 视频时空超分辨率实现方法及装置
CN112734644A (zh) * 2021-01-19 2021-04-30 安徽工业大学 一种多个注意力结合光流的视频超分辨模型及方法
CN113066014A (zh) * 2021-05-19 2021-07-02 云南电网有限责任公司电力科学研究院 一种图像超分辨方法及装置
CN116051380A (zh) * 2023-01-13 2023-05-02 深圳大学 一种视频超分辨率处理方法及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105931189A (zh) * 2016-05-10 2016-09-07 浙江大学 一种基于改进超分辨率参数化模型的视频超分辨率方法及装置
CN107274347A (zh) * 2017-07-11 2017-10-20 福建帝视信息科技有限公司 一种基于深度残差网络的视频超分辨率重建方法
CN107480772A (zh) * 2017-08-08 2017-12-15 浙江大学 一种基于深度学习的车牌超分辨率处理方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105931189A (zh) * 2016-05-10 2016-09-07 浙江大学 一种基于改进超分辨率参数化模型的视频超分辨率方法及装置
CN107274347A (zh) * 2017-07-11 2017-10-20 福建帝视信息科技有限公司 一种基于深度残差网络的视频超分辨率重建方法
CN107480772A (zh) * 2017-08-08 2017-12-15 浙江大学 一种基于深度学习的车牌超分辨率处理方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨克伟: "基于光流法的迭代反投影超分辨率重构算法", 《现代计算机(专业版)》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111277837A (zh) * 2020-01-21 2020-06-12 济南浪潮高新科技投资发展有限公司 一种应用于视频压缩技术的运动补偿方法
CN111402130A (zh) * 2020-02-21 2020-07-10 华为技术有限公司 数据处理方法和数据处理装置
CN111833245A (zh) * 2020-05-19 2020-10-27 南京邮电大学 一种基于多场景视频补帧算法的超分辨率重建方法
CN111833245B (zh) * 2020-05-19 2022-11-08 南京邮电大学 一种基于多场景视频补帧算法的超分辨率重建方法
CN111696035A (zh) * 2020-05-21 2020-09-22 电子科技大学 一种基于光流运动估计算法的多帧图像超分辨率重建方法
CN111932453A (zh) * 2020-07-20 2020-11-13 合肥富煌君达高科信息技术有限公司 高分辨率图像生成方法及集成该方法的高速相机
CN112184549A (zh) * 2020-09-14 2021-01-05 阿坝师范学院 基于时空变换技术的超分辨图像重建方法
CN112712537B (zh) * 2020-12-21 2022-10-18 深圳大学 视频时空超分辨率实现方法及装置
CN112712537A (zh) * 2020-12-21 2021-04-27 深圳大学 视频时空超分辨率实现方法及装置
CN112669234A (zh) * 2020-12-28 2021-04-16 苏州大学 基于神经网络的高分辨率图像复原方法及系统
CN112734644A (zh) * 2021-01-19 2021-04-30 安徽工业大学 一种多个注意力结合光流的视频超分辨模型及方法
CN113066014B (zh) * 2021-05-19 2022-09-02 云南电网有限责任公司电力科学研究院 一种图像超分辨方法及装置
CN113066014A (zh) * 2021-05-19 2021-07-02 云南电网有限责任公司电力科学研究院 一种图像超分辨方法及装置
CN116051380A (zh) * 2023-01-13 2023-05-02 深圳大学 一种视频超分辨率处理方法及电子设备
CN116051380B (zh) * 2023-01-13 2023-08-22 深圳大学 一种视频超分辨率处理方法及电子设备

Also Published As

Publication number Publication date
CN110634105B (zh) 2023-06-20
CN116664400A (zh) 2023-08-29

Similar Documents

Publication Publication Date Title
CN110634105A (zh) 一种光流法和深度网络结合的视频高时空分辨率信号处理方法
CN111311490B (zh) 基于多帧融合光流的视频超分辨率重建方法
CN111161150B (zh) 一种基于多尺度注意级联网络的图像超分辨率重建方法
CN109118431B (zh) 一种基于多记忆及混合损失的视频超分辨率重建方法
CN109087243B (zh) 一种基于深度卷积生成对抗网络的视频超分辨率生成方法
CN111028150B (zh) 一种快速时空残差注意力视频超分辨率重建方法
CN106683067B (zh) 一种基于残差子图像的深度学习超分辨率重建方法
CN110889895B (zh) 一种融合单帧重建网络的人脸视频超分辨率重建方法
CN111932461A (zh) 一种基于卷积神经网络的自学习图像超分辨率重建方法及系统
CN108259994A (zh) 一种提高视频空间分辨率的方法
CN113222825B (zh) 基于可见光图像训练的红外图像超分辨率重构方法及应用
KR20190059157A (ko) 영상 화질 개선방법 및 그 장치
CN115393191A (zh) 一种轻量级遥感图像超分辨率重建方法、装置及设备
CN106600533B (zh) 单图像超分辨率重建方法
CN113469884A (zh) 基于数据仿真的视频超分辨方法、系统、设备及存储介质
CN114757828A (zh) 基于Transformer的视频时空超分辨率方法
CN112884650A (zh) 一种基于自适应纹理蒸馏的图像混合超分辨率方法
CN115496663A (zh) 基于d3d卷积组内融合网络的视频超分辨率重建方法
KR102242343B1 (ko) 고해상도 동영상 프레임 율 고속 변환 방법 및 장치
CN115953294A (zh) 一种基于浅层通道分离与聚合的单图像超分辨率重建方法
CN110047038B (zh) 一种基于层级递进网络的单图像超分辨重建方法
CN112396554A (zh) 一种基于生成对抗网络的图像超分辨率算法
TW202409963A (zh) 生成高分辨率圖像的方法、裝置及計算機可讀介質
CN116895037A (zh) 基于边缘信息和多尺度交叉融合网络的帧插入方法及系统
CN109087247B (zh) 一种对立体图像进行超分的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant