CN110120011B - 一种基于卷积神经网络和混合分辨率的视频超分辨方法 - Google Patents

一种基于卷积神经网络和混合分辨率的视频超分辨方法 Download PDF

Info

Publication number
CN110120011B
CN110120011B CN201910373987.4A CN201910373987A CN110120011B CN 110120011 B CN110120011 B CN 110120011B CN 201910373987 A CN201910373987 A CN 201910373987A CN 110120011 B CN110120011 B CN 110120011B
Authority
CN
China
Prior art keywords
resolution
degradation
network
super
resolution image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201910373987.4A
Other languages
English (en)
Other versions
CN110120011A (zh
Inventor
傅志中
敬琳萍
徐莉娟
李晓峰
徐进
刘洪盛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201910373987.4A priority Critical patent/CN110120011B/zh
Publication of CN110120011A publication Critical patent/CN110120011A/zh
Application granted granted Critical
Publication of CN110120011B publication Critical patent/CN110120011B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于计算机视觉技术领域，具体提供一种基于卷积神经网络和混合分辨率的视频超分辨方法；首先，在视频序列中周期保留部分帧作为高分辨率帧数据，而其他帧则经过退化处理作为低分辨率图像帧，二者结合组成混合分辨视频；然后，基于卷积神经网络训练退化网络提取退化因子的特征信息，并用训练好的模型得到低分辨率图像帧的退化特征图；再然后，将低分辨率图像帧和与其相关的高分辨率帧、退化特征图作为输入数据，基于卷积神经网络训练得到超分辨网络模型，得到输出的高分辨率视频。本发明将卷积神经网络和混合分辨率模型相结合，能够有针对性地分析图像纹理细节和退化因子，从而提高了超分辨的准确性。

Description

一种基于卷积神经网络和混合分辨率的视频超分辨方法
技术领域
本发明属于计算机视觉技术领域，具体涉及一种基于卷积神经网络和混合分辨率的视频超分辨方法。
背景技术
随着多媒体技术的不断发展，在线直播、高分辨率电视等视频应用逐渐成为人们生活娱乐的主流媒体；然而视频系统往往会受到种种客观条件限制，包括精度不足的视频采集设备、有限的网络带宽以及处理能力不够的终端等，这都使得视频系统难以提供充足的高分辨率视频源。
为了解决以上问题，可以在视频系统中借力于超分辨技术，使得客观条件有限的视频应用也能够提供高质量的视频呈现。视频超分辨技术是对于给定的低分辨率视频序列，经过相关的图像处理算法，增加其图像帧的像素密度和恢复其在成像过程中丢失的细节信息，从而得到其对应的高分辨率视频。超分辨技术一方面克服了成像硬件系统的局限，另外一方面以较小的成像成本来得到高分辨率的图像画质，因此能够广泛运用到医学图像研究、安防监控处理以及视频编解码等各类成像设备和成像系统中。
目前，已经有不少的视频超分辨方法被提出，但是由于视频图像帧的特质以及视频场景的多元性，其超分辨结果还不能令人完全满意。现有的视频超分辨方法一般利用相邻帧之间冗余信息来互补融合，恢复得到图像帧缺失的高频信息；然而不管是当前图像帧还是相邻帧，它们都是低分辨率图像，同样缺少包含纹理细节的高频信息，导致这一部分信息可能在整个超分辨过程中都难以恢复；同时，现有的视频超分辨方法一般采用连续的5幅低分辨率帧作为网络输入，每一帧都重复多次输入，增加了恢复整个视频序列的总体计算冗余；另外，在实际应用中，图像帧的退化方法复杂多样，目前的视频超分辨方法多只考虑双三次下采样这一种退化方法，一旦视频涉及的退化方法还包括其他退化因子，这些超分辨方法的结果就会降低。
发明内容
本发明的目的在于克服现有技术存在的不足，提供一种基于卷积神经网络和混合分辨率的视频超分辨方法，用以提高视频超分辨方法的性能。
为实现上述目的，本发明采用的技术方案如下：
一种基于卷积神经网络和混合分辨率的视频超分辨方法，包括以下步骤：
步骤1、构建输入数据：收集互联网视频序列组成数据集，对于数据集中每一段视频序列周期性选择部分图像帧保留原始分辨率、作为输入的高分辨率图像帧，剩余图像帧分别进行各向同性高斯模糊、双三次下采样和高斯白噪声加扰过程成为输入的低分辨率图像帧，并将高分辨率图像帧和低分辨率图像帧按照视频流顺序重新结合，组成混合分辨率视频序列；其中，每个低分辨率图像帧与其最邻近的高分辨率图像帧相对应，作为一组输入；
步骤2、构建退化网络模型：采用多个大小不同卷积核实现多尺度卷积层、作为网络第一层，经过维度级联后依次连接网络第二层、第三层和第四层，且网络第二层、第三层和第四层采用密集连接；
步骤3、训练退化网络模型：从数据集的所有图像帧中抽取图像作为训练数据，并对训练数据首先经过双三次下采样得到低分辨率图像，然后再由已知参数大小为K×K的高斯模糊核作模糊处理；最后加上已知噪声水平的高斯白噪声，得到退化图像，并且将退化图像作为模型训练的输入数据；
输入大小为W×H的退化图像；对已知参数的模糊核向量进行PCA降维，再将降维后模糊核向量加上噪声向量后进行矩阵拉伸得到大小为W×H×(K+1)的退化特征图，并且将其作为模型训练的“标签”；退化损失函数表示为：
Figure BDA0002051012340000021
其中，N为批处理样本的样本个数，
Figure BDA0002051012340000022
是输入的退化图像i，
Figure BDA0002051012340000023
是
Figure BDA0002051012340000024
的退化网络模型的输出结果，Mi是退化图像i的退化特征图，θ是网络的参数；
采用基于小型批处理(Mini-batch)的ADMA优化方法训练退化网络模型，训练阶段收敛后得到退化网络模型；
步骤4、构建超分辨网络模型：先利用卷积层分别对一组低分辨率图像帧和高分辨率图像帧进行特征提取，利用1×1的卷积核对退化特征图进行维度压缩；然后利用维度级联和卷积层得到低分辨率图像帧、高分辨率图像帧以及退化特征图的融合特征；接下来利用三个局部残差模块继续学习特征，并在融合特征和残差模块输出之间进行跳跃连接；最后，用卷积层调整输出维度得到最终的高分辨率图像帧；
步骤5、训练超分辨网络模型：
采用超分辨损失函数表示为：
Figure BDA0002051012340000031
其中，N为批处理样本的样本个数，
Figure BDA0002051012340000032
和Xi分别是输入的低分辨率图像和原始高分辨率图像，
Figure BDA0002051012340000033
是
Figure BDA0002051012340000034
的超分辨网络模型的输出结果，Mi是退化网络得到的退化特征图，δ是网络的参数；
采用基于小型批处理(Mini-batch)的ADMA优化方法训练卷积神经网络模型，训练阶段收敛后得到超分辨网络模型。
本发明的有益效果在于：
本发明提供一种基于卷积神经网络和混合分辨率的视频超分辨方法，
(1)结合卷积神经网络与视频图像帧的特点，发明了一种基于混合分辨率模型的视频超分辨方法，其网络模型的输入是当前低分辨率帧和与其相关的高分辨率帧；混合分辨率模型利用高分辨率帧提供高频信息的先验知识，提升网络模型对边缘细节的恢复能力；同时还引入残差学习，实现不同层次特征的跳跃连接，增加网络模型的非线性映射能力。
(2)现有的超分辨方法大多只考虑了双三次下采样这一种退化方式，一旦退化方法更加复杂，其超分辨质量则有所下降；对于这个问题，本发明基于卷积神经网络得到包含退化方式特征的退化特征图，提供退化方式的先验知识，提升对于复杂退化视频的处理能力。
综上，本发明将卷积神经网络和混合分辨率模型进行结合，首先利用卷积神经网络提取低分辨率图像帧的退化特征，提供了退化方式的先验信息；然后混合分辨率模型利用高分辨率帧学习边缘纹理的准确特征，提供了高频细节的先验信息，从而提升了视频超分辨方法的性能。
附图说明
图1是本发明中混合分辨率模型的结构图。
图2是本发明中退化网络的结构图。
图3是本发明中超分辨网络的结构图。
图4是本发明中高分辨率帧。
图5是本发明中经过退化处理的低分辨率图像帧。
图6是本发明中超分辨图像帧图像。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步详细的说明。
本实施例提供一种基于卷积神经网络和混合分辨率模型的视频超分辨方法，具体步骤如下：
步骤1、数据预处理阶段：收集互联网视频序列组成数据集，数据集中包含体育运动、自然风景、动物迁徙，建筑移动等多种不同场景；本实施例中，数据集中部分视频序列是完全没有压缩的视频，其分辨率为3840×2160，对这部分超高分辨率的视频进行4倍的下采样，将其分辨率转换为940×540；而其他视频的分辨率在1080×720左右；
步骤2、数据集划分：所有的数据集中视频序列经过随机采样；本实施例中，选择70个场景作为训练数据集，其中，64个场景用于网络模型的训练，6个用于网络模型的验证；
步骤3、构建网络的输入数据：对于每一段视频序列周期性选择一部分帧，这部分帧不经过任何退化处理，保留其原始的分辨率并作为输入的高分辨率图像帧，如图4所示；其他剩余帧进行各向同性高斯模糊、双三次下采样和高斯白噪声加扰过程成为低分辨率图像帧，如图5所示；高分辨率图像帧和低分辨率图像帧两种不同分辨率的图像帧再按照视频流顺序重新结合，组成混合分辨率视频序列；如图1所示；
步骤4、构建退化网络模型：基于卷积神经网络提取低分辨率视频的退化特征，构建退化网络模型，得到表示模糊和噪声特征信息的多维退化特征图；在网络的第一层连接中，采用尺度分别为3×3、5×5、7×7的卷积核实现多尺度卷积层，提取不同尺度的图像内容；另外，网络的第二层、第三层和第四层采用密集连接，将第一层提取的退化特征贯通在整个网络模型的学习过程中；如图2所示；
步骤5、训练退化网络模型：从数据集的所有图像帧中随机抽取100幅图像作为训练数据，并且经过90°、180°、270°旋转操作，扩大训练数据集规模；首先经过双三次下采样得到低分辨率图像；然后经过大小为15×15，宽度分别为0.2、1.3、2.6的各向同性的高斯模糊核作模糊处理；最后加上噪声水平分别为0、15、50的高斯白噪声，得到9种不同退化程度的退化图像，并且将其作为模型训练的输入数据；
输入大小为W×H的退化图像，对已知参数的模糊核向量进行PCA降维，再将降维后模糊核向量加上噪声向量后进行矩阵拉伸，得到大小为W×H×16的退化特征图，并且将其作为模型训练的“标签”；训练的损失函数为图像退化特征图与网络输出向量之间的均方差，采用基于小型批处理(Mini-batch)的ADMA优化方法训练退化网络模型，训练阶段收敛后保存训练后的模型；退化损失函数表示为：
Figure BDA0002051012340000051
其中，N为批处理样本的样本个数，
Figure BDA0002051012340000052
是输入的退化图像i，
Figure BDA0002051012340000053
是
Figure BDA0002051012340000054
的退化网络模型的输出结果，Mi是退化图像i的退化特征图，θ是网络的参数；
步骤6、搭建超分辨网络模型：将低分辨率图像帧经过步骤5的退化网络模型得到估计的退化特征图，然后将低分辨率帧和与其相关的高分辨率帧、退化特征图输入网络；利用卷积神经网络实现特征学习以及非线性映射，构建超分辨网络模型；
在超分辨网络中，先利用卷积层分别对低分辨率图像帧和与其相关的高分辨率图像帧进行特征提取，利用1×1的卷积核对退化特征图进行维度压缩；然后利用维度级联和卷积层得到低分辨率图像帧、高分辨率图像帧以及退化特征图的融合特征；接下来利用三个局部残差模块继续学习特征，每一个残差模块中包括一系列的卷积层和激活函数，将模块中最后一个卷积层的输出加上模块的输入共同作为残差模块的输出；在融合数据和残差模块输出之间进行跳跃连接，进一步从融合数据中提取更加复杂的特征和更加丰富的非线性映射；最后，用卷积层调整输出维度得到最终的高分辨率图像帧；另外，对于每一个卷积层，后面都接有一个ReLU函数作为激活函数；如图3所示；
步骤7、训练超分辨网络模型：将不同类型的低分辨率图像帧和与其相关的高分辨率帧两幅图像作为输入数据，然后利用退化网络和超分辨网络来得到输出；在训练过程中，采用步骤输入图像帧的原始图像与网络模型的输出之间的均方差作为超分辨损失函数；采用基于小型批处理(Mini-batch)的ADMA优化方法训练卷积神经网络模型，训练阶段收敛后保存训练后的模型，超分辨损失函数表示为：
Figure BDA0002051012340000055
其中，N为批处理样本的样本个数，
Figure BDA0002051012340000056
和Xi分别是输入的低分辨率图像和原始高分辨率图像，
Figure BDA0002051012340000057
是
Figure BDA0002051012340000058
的超分辨网络模型的输出结果，Mi是退化网络得到的退化特征图，δ是网络的参数。
如图6所示为采用本发明提供是本发明基于卷积神经网络和混合分辨率模型的视频超分辨方法得到的超分辨图像帧图像。
以上所述，仅为本发明的具体实施方式，本说明书中所公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以任何方式组合。

Claims (1)

1.一种基于卷积神经网络和混合分辨率的视频超分辨方法，包括以下步骤：
步骤1、构建输入数据：收集互联网视频序列组成数据集，对于数据集中每一段视频序列选择部分图像帧保留原始分辨率、作为输入的高分辨率图像帧，剩余图像帧分别进行各向同性高斯模糊、双三次下采样和高斯白噪声加扰过程成为输入的低分辨率图像帧，并将高分辨率图像帧和低分辨率图像帧按照视频流顺序重新结合，组成混合分辨率视频序列；其中，每个低分辨率图像帧与其最邻近的高分辨率图像帧相对应，作为一组输入；
步骤2、构建退化网络模型：采用多个大小不同卷积核实现多尺度卷积层、作为网络第一层，经过维度级联后依次连接网络第二层、第三层和第四层，且网络第二层、第三层和第四层采用密集连接；
步骤3、训练退化网络模型：从数据集的所有图像帧中抽取图像作为训练数据，并对训练数据首先经过双三次下采样得到低分辨率图像，然后再由已知参数大小为K×K的高斯模糊核作模糊处理；最后加上已知噪声水平的高斯白噪声，得到退化图像，并且将退化图像作为模型训练的输入数据；
输入大小为W×H的退化图像；对已知参数的模糊核向量进行PCA降维，再将降维后模糊核向量加上噪声向量后进行矩阵拉伸得到大小为W×H×(K+1)的退化特征图，并且将其作为模型训练的“标签”；退化损失函数表示为：
Figure FDA0002051012330000011
其中，N为批处理样本的样本个数，
Figure FDA0002051012330000012
是输入的退化图像i，
Figure FDA0002051012330000013
是
Figure FDA0002051012330000014
的退化网络模型的输出结果，Mi是退化图像i的退化特征图，θ是网络的参数；
采用基于小型批处理的ADMA优化方法训练退化网络模型，训练阶段收敛后得到退化网络模型；
步骤4、构建超分辨网络模型：先利用卷积层分别对一组低分辨率图像帧和高分辨率图像帧进行特征提取，利用1×1的卷积核对退化特征图进行维度压缩；然后利用维度级联和卷积层得到低分辨率图像帧、高分辨率图像帧以及退化特征图的融合特征；接下来利用三个局部残差模块继续学习特征，并在融合特征和残差模块输出之间进行跳跃连接；最后，用卷积层调整输出维度得到最终的高分辨率图像帧；
步骤5、训练超分辨网络模型：
采用超分辨损失函数表示为：
Figure FDA0002051012330000021
其中，N为批处理样本的样本个数，
Figure FDA0002051012330000022
和Xi分别是输入的低分辨率图像和原始高分辨率图像，
Figure FDA0002051012330000023
是
Figure FDA0002051012330000024
的超分辨网络模型的输出结果，Mi是退化网络得到的退化特征图，δ是网络的参数；
采用基于小型批处理的ADMA优化方法训练卷积神经网络模型，训练阶段收敛后得到超分辨网络模型。
CN201910373987.4A 2019-05-07 2019-05-07 一种基于卷积神经网络和混合分辨率的视频超分辨方法 Expired - Fee Related CN110120011B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910373987.4A CN110120011B (zh) 2019-05-07 2019-05-07 一种基于卷积神经网络和混合分辨率的视频超分辨方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910373987.4A CN110120011B (zh) 2019-05-07 2019-05-07 一种基于卷积神经网络和混合分辨率的视频超分辨方法

Publications (2)

Publication Number Publication Date
CN110120011A CN110120011A (zh) 2019-08-13
CN110120011B true CN110120011B (zh) 2022-05-31

Family

ID=67521774

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910373987.4A Expired - Fee Related CN110120011B (zh) 2019-05-07 2019-05-07 一种基于卷积神经网络和混合分辨率的视频超分辨方法

Country Status (1)

Country Link
CN (1) CN110120011B (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112468830A (zh) * 2019-09-09 2021-03-09 阿里巴巴集团控股有限公司 视频图像处理方法、装置及电子设备
CN112529776B (zh) * 2019-09-19 2023-04-07 中移(苏州)软件技术有限公司 图像处理模型的训练方法、图像处理方法及装置
CN110852944B (zh) * 2019-10-12 2023-11-21 天津大学 基于深度学习的多帧自适应融合的视频超分辨方法
CN110895790B (zh) * 2019-10-12 2024-03-22 天津大学 基于后验降质信息估计的场景图像超分辨方法
CN111127325B (zh) * 2019-12-31 2020-11-24 珠海大横琴科技发展有限公司 基于循环神经网络的卫星视频超分辨率重建方法及系统
CN111402130B (zh) * 2020-02-21 2023-07-18 华为技术有限公司 数据处理方法和数据处理装置
CN111583112A (zh) * 2020-04-29 2020-08-25 华南理工大学 视频超分辨率的方法、系统、装置和存储介质
CN111667442B (zh) * 2020-05-21 2022-04-01 武汉大学 一种基于事件相机的高质量高帧率图像重建方法
CN113747099B (zh) * 2020-05-29 2022-12-06 华为技术有限公司 视频传输方法和设备
WO2021253186A1 (zh) * 2020-06-15 2021-12-23 深圳市大疆创新科技有限公司 信息处理方法、装置和成像系统
CN111881920B (zh) * 2020-07-16 2024-04-09 深圳力维智联技术有限公司 一种大分辨率图像的网络适配方法及神经网络训练装置
CN112084908B (zh) * 2020-08-28 2024-07-16 广州汽车集团股份有限公司 一种图像处理方法及其系统、存储介质
CN112270646B (zh) * 2020-11-05 2023-06-09 浙江传媒学院 基于残差密集跳跃网络的超分辨增强方法
CN112419151B (zh) * 2020-11-19 2023-07-21 北京有竹居网络技术有限公司 图像退化处理方法、装置、存储介质及电子设备
CN112966723B (zh) * 2021-02-08 2022-05-03 北京百度网讯科技有限公司 视频数据增广方法、装置、电子设备及可读存储介质
CN113139904B (zh) * 2021-04-29 2022-05-27 厦门大学 一种图像盲超分辨率方法及系统
CN113222855B (zh) * 2021-05-28 2023-07-11 北京有竹居网络技术有限公司 一种图像恢复方法、装置和设备
CN113592719B (zh) * 2021-08-14 2023-11-28 北京达佳互联信息技术有限公司 视频超分辨模型的训练方法、视频处理方法及相应设备
CN113724136B (zh) * 2021-09-06 2024-09-06 腾讯音乐娱乐科技（深圳）有限公司 一种视频修复方法、设备及介质
CN114898126B (zh) * 2022-01-24 2023-09-01 南京富岛油气智控科技有限公司 一种提升采油机复合工况故障诊断精度方法
CN116563122A (zh) * 2022-01-27 2023-08-08 安翰科技(武汉)股份有限公司 图像处理方法、数据集采集方法和图像处理装置
CN114663285B (zh) * 2022-04-01 2023-06-09 哈尔滨工业大学 基于卷积神经网络的老电影超分辨系统
CN115139556B (zh) * 2022-08-18 2023-12-22 四川中科兴业高新材料有限公司 基于智能学习的pps或pass高性能薄膜的制备方法
CN116503258B (zh) * 2023-06-20 2023-11-03 中国科学院生物物理研究所 超分辨计算成像方法、装置、电子设备及存储介质
CN118446900A (zh) * 2024-07-08 2024-08-06 无锡学院 一种针对交通标志的图像超分辨率训练数据生成方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108335264A (zh) * 2018-01-30 2018-07-27 武汉大学 一种基于混合分辨率稀疏字典学习的图像超分辨率方法
CN109035146A (zh) * 2018-08-09 2018-12-18 复旦大学 一种基于深度学习的低质量图像超分方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108335264A (zh) * 2018-01-30 2018-07-27 武汉大学 一种基于混合分辨率稀疏字典学习的图像超分辨率方法
CN109035146A (zh) * 2018-08-09 2018-12-18 复旦大学 一种基于深度学习的低质量图像超分方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Frequency domain based super-resolution method for mixed-resolution multi-view images;Zhizhong Fu等;《Journal of Systems Engineering and Electronics》;20161215(第06期);第1303-1313页 *
Modified non-local means for super-resolution of hybrid videos;Yawei Li.et al.;《Computer Vision and Image Understanding》;20171206;64-77页 *
超分辨率重建算法综述;李欣等;《电视技术》;20160917(第09期);第1-7页 *
面向交通监控视频的图像异常检测及关键信息重建方法研究;林新宇;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;20180715;C034-421 *

Also Published As

Publication number Publication date
CN110120011A (zh) 2019-08-13

Similar Documents

Publication Publication Date Title
CN110120011B (zh) 一种基于卷积神经网络和混合分辨率的视频超分辨方法
CN110969577B (zh) 一种基于深度双重注意力网络的视频超分辨率重建方法
CN110782399B (zh) 一种基于多任务cnn的图像去模糊方法
WO2020015167A1 (zh) 一种基于融合网络的图像超分辨率及去非均匀模糊方法
CN109903228B (zh) 一种基于卷积神经网络的图像超分辨率重建方法
CN106683067B (zh) 一种基于残差子图像的深度学习超分辨率重建方法
CN110136062B (zh) 一种联合语义分割的超分辨率重建方法
CN111028150A (zh) 一种快速时空残差注意力视频超分辨率重建方法
CN114494050A (zh) 一种基于事件相机的自监督视频去模糊和图像插帧方法
CN113129212B (zh) 图像超分辨率重建方法、装置、终端设备及存储介质
CN112164011A (zh) 基于自适应残差与递归交叉注意力的运动图像去模糊方法
CN112699844A (zh) 一种基于多尺度残差层级密连接网络的图像超分辨率方法
CN111652804A (zh) 基于膨胀卷积金字塔与瓶颈网络的超分辨率重建方法
CN113902647B (zh) 一种基于双闭环网络的图像去模糊方法
Niu et al. Blind motion deblurring super-resolution: When dynamic spatio-temporal learning meets static image understanding
CN115358932A (zh) 一种多尺度特征融合的人脸超分辨率重构方法及系统
CN113888426B (zh) 一种基于深度可分离残差网络的电力监控视频去模糊方法
CN109615576B (zh) 基于级联回归基学习的单帧图像超分辨重建方法
CN112669234A (zh) 基于神经网络的高分辨率图像复原方法及系统
Krishnan et al. SwiftSRGAN-Rethinking super-resolution for efficient and real-time inference
CN112598604A (zh) 一种盲脸复原方法及系统
CN117333398A (zh) 一种基于自监督的多尺度图像去噪方法及装置
CN116977208A (zh) 双分支融合的低照度图像增强方法
CN115526779A (zh) 一种基于动态注意力机制的红外图像超分辨率重建方法
Shen et al. RSHAN: Image super-resolution network based on residual separation hybrid attention module

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220531