CN110458756A - 基于深度学习的模糊视频超分辨率方法及系统 - Google Patents
基于深度学习的模糊视频超分辨率方法及系统 Download PDFInfo
- Publication number
- CN110458756A CN110458756A CN201910554229.2A CN201910554229A CN110458756A CN 110458756 A CN110458756 A CN 110458756A CN 201910554229 A CN201910554229 A CN 201910554229A CN 110458756 A CN110458756 A CN 110458756A
- Authority
- CN
- China
- Prior art keywords
- resolution
- video
- super
- motion blur
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000013135 deep learning Methods 0.000 title claims abstract description 19
- 230000033001 locomotion Effects 0.000 claims abstract description 61
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 230000003321 amplification Effects 0.000 claims description 3
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 claims description 2
- 238000003745 diagnosis Methods 0.000 abstract description 4
- 201000010099 disease Diseases 0.000 abstract description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 abstract description 3
- 238000013507 mapping Methods 0.000 abstract description 3
- 230000003902 lesion Effects 0.000 abstract 1
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006757 chemical reactions by type Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习的模糊视频超分辨率方法，在单帧深度反投影超分辨率模型的基础上，设计了多帧模糊视频超分辨率模型，提升了模糊视频超分辨率重建质量并且支持高倍数(×8)重建。针对运动模糊视频超分辨率重建后视频边缘轮廓等细节信息不清晰，视频质量低的问题，本发明通过在深度反投影超分辨率模型上引入递归学习和多帧融合策略构建模糊视频超分辨率模型。该模型通过学习模糊低分辨率视频帧到清晰高分辨率视频帧的非线性映射，能够重建边缘轮廓清晰的超分辨率视频，提升了运动模糊视频超分辨率重建的质量，使得人们能够更好的获取视频信息，例如超分辨率重建医疗视频帮助医生清楚观察患者的病灶部位，提高疾病确诊和治愈的可能。
Description
技术领域
本发明涉及视频超分辨率处理领域，特别是一种基于深度学习的模糊视频超分辨率方法及系统。
背景技术
随着高分辨率硬件设备的迅速发展，视频分辨率的标准越来越高。但是，由于成像环境、设备工艺、存储限制、网络传输、电路集成度、功耗等因素，当前多数视频的分辨率未达到高分辨率设备的播放要求。因此，研究基于低分辨率视频重建相应高分辨视频的超分辨率算法成为亟待解决的问题。视频超分辨率技术是指通过单幅或多幅相同场景下的低分辨率视频帧重建对应高分辨率视频帧的过程。多帧超分辨率技术需要利用相邻帧之间的冗余信息来恢复当前视频帧，通常比单帧的超分辨拥有更多的图像细节。视频超分辨率算法通过低分辨率视频重建高分辨率视频，实现了视频分辨率的提升；但在重建视频分辨率时需要考虑许多因素的影响，例如通常我们所获得的低分辨率视频由于成像环境、传感器、网络传输等原因容易受到运动模糊、噪音、光学失真、空气干扰等污染。如果直接在模糊的视频基础上重建超分辨率视频，得到的高分辨率视频质量较低，视频细节信息特征过于平滑，难以从重建视频中获取有效信息。在视频超分辨率的研究基础上结合去噪算法，提出模糊视频的超分辨率方法，实现在视频超分辨率重建的同时去掉视频的部分噪音，能够有效提高视频质量，增强视频细节信息特征，便于从视频中获取有效信息。从而提升了模糊视频超分辨率重建的质量，使得人们能够更好的获取视频信息，例如帮助医生确诊断病情，从而提高疾病确诊和治愈的可能性。
单图像超分辨率方法忽略了帧间关系，无法利用同一视频场景相邻帧的有用信息，因此视频超分辨率的重建往往采用多帧超分辨模型。在多帧超分辨率上，早期的研究多集中在使用贝叶斯框架，从一系列的LR图像中重构一个HR图像。贝叶斯视频超分辨率方法采用了光流算法或分层块匹配方法来寻找运动场，以便能够处理真实世界中运动过程较为复杂的视频。Cheng等人提出了一种使用全连接层的patch-based视频超分辨率算法，使用5个连续的LR帧来重建一个中心HR帧。其需要对视频进行patchwise处理，其中网络的输入为5×5×5的大小，输出为HR图像重建的3×3个patch。并且使用patch与相邻帧进行块匹配，得到5×5个patch或相邻帧。VESPCN将亚像素卷积的效率与时空网络的性能和运动补偿相结合，得到了快速、准确的视频超分辨率算法。VESPCN研究了早期融合、慢融合和三维卷积对时间维的不同处理方法，同时建立了一个基于空间变压器的运动补偿方案，并结合时空模型，得到了一个非常有效的视频SR运动补偿方法。VSRNET(Video Super-ResolutionWith Convolutional Neural Networks)是一种利用CNN同时学习视频空间维度和时间维度的视频超分辨率算法。视频帧序列在运动补偿后作为CNN的输入，最后重建出高分辨率的视频帧。
现有技术存在以下缺陷：
现有视频超分辨率重建模型在运动模糊视频重建上，重建的视频内容较模糊，视频帧细节信息不清晰；列出的视频超分辨率重建模型都是前馈结构，在高质量视频的重建中，需要建立一个非常深的网络结构，不适合于高倍数(×8)视频的重建。
发明内容
本发明所要解决的技术问题是，针对现有技术不足，提供一种基于深度学习的模糊视频超分辨率方法，重建内容和细节清晰的视频。
为解决上述技术问题，本发明所采用的技术方案是：一种基于深度学习的模糊视频超分辨率方法，包括以下步骤：
1)对运动模糊视频帧进行预处理，得到运动补偿后的去模糊视频帧序列；
2)以运动补偿后的去模糊视频帧序列为输入，构建深度反投影视频超分辨率模型；
3)使用DIV2K数据集通过Ptorch训练出针对不同尺寸的超分辨率模型，将训练好的超分辨率模型参数提供给深度反投影视频超分辨率模型使用；
4)对新输入的运动模糊视频帧，经步骤1)预处理后通过步骤3)的深度反投影视频超分辨率模型重建视频帧序列。
步骤1)中，对运动模糊视频帧进行预处理包括：使用基于条件对抗网络的运动模糊网络去除低分辨率运动模糊视频帧的运动模糊；使用基于深度学习的光流估计方法获取去除了运动模糊的低分辨率运动模糊视频帧间的运动估计；根据运动模糊视频帧间的运动估计进行视频帧间的运动补偿。
步骤2)的具体实现过程包括：
a)对以某一运动模糊视频帧为中心的连续三帧运动补偿的图像，各使用一个卷积层提取低分辨率图像的初始特征；
b)利用一个卷积层融合步骤a)得到的所有初始特征；
c)利用1×1卷积处理融合后的初始特征，得到处理后的低分辨率特征图像；
d)将低分辨率特征图像输入到第一递归学习模块；所述第一递归学习模块包括上投影模块和下投影模块；
e)使用反卷积将输入的低分辨率视频帧Lt-1放大为然后用卷积将生成的高分辨率视频帧缩小，将缩小结果与Lt-1相减计算残差，最后将残差放大到与同一尺寸，加上放大的残差后得到该投影单元生成的高分辨率图像；
f)将所述高分辨率图像送入下投影模块，使用卷积将输入Ht缩小，然后用反卷积将缩小生成的放大，将结果与Ht相减计算残差，最后将残差缩小与同一尺寸，加上缩小的残差后得到该下投影单元生成的低分辨率图像；
g)执行一次与步骤e)、步骤f)相同的操作；
h)重复执行e)～g)4次；
i)重复执行步骤e)到h)n次，深度级联所有步骤e)产生的高分辨率特征图像，得到高分辨率特征图像集合；
j)使用一个卷积层通过高分辨率特征图像集合重建出超分辨率图像；
k)使用pytorch将步骤a)-j)构建为深度反投影视频超分辨率模型。
步骤3)的具体实现过程包括：
1)将DIV2K数据集处理成不同缩放尺度的低分辨率图像和高分辨率图像；
2)根据DIV2K数据集不同缩放尺度，将不同尺寸的低分辨率图像和对应的高分辨率图像输入到深度反投影视频超分辨率模型中进行训练，采用Pytorch深度学习框架分别训练出不同缩放尺度的单尺度超分辨率模型参数；
3)在使用不同尺度的超分辨率模型时，将训练好的对应尺度超分辨率模型参数进行加载，以重建运动模糊视频帧。
本发明还提供了一种基于深度学习的模糊视频超分辨率方法，其包括以下步骤：
预处理单元，用于对运动模糊视频帧进行预处理，得到运动补偿后的去模糊视频帧序列；
建模单元，用于以运动补偿后的去模糊视频帧序列为输入，构建深度反投影视频超分辨率模型；
训练单元，用于使用DIV2K数据集通过Ptorch训练出针对不同尺寸的超分辨率模型，将训练好的超分辨率模型参数提供给深度反投影视频超分辨率模型使用；
重建单元，用于对新输入的运动模糊视频帧，经预处理单元预处理后通过深度反投影视频超分辨率模型的深度反投影视频超分辨率模型重建视频帧序列。所述训练单元包括：
处理模块，用于将DIV2K数据集处理成不同缩放尺度的低分辨率图像和高分辨率图像；
参数确定单元，用于根据DIV2K数据集不同缩放尺度，将不同尺寸的低分辨率图像和对应的高分辨率图像输入到深度反投影视频超分辨率模型中进行训练，采用Pytorch深度学习框架分别训练出不同缩放尺度的单尺度超分辨率模型参数；
加载模块，用于在使用不同尺度的超分辨率模型时，将训练好的对应尺度超分辨率模型参数进行加载，以重建运动模糊视频帧。与现有技术相比，本发明所具有的有益效果为：本发明针对低分辨率视频重建后质量不高问题，提出了基于深度反投影网络改进的多帧图像超分辨率模型MLDBPN，在视频超分辨率重建质量上得到提升并且支持高倍数(×8)视频的重建。针对运动模糊视频超分辨率重建后视频边缘轮廓等细节信息不清晰，视频质量低的问题，本发明提出了一种基于深度反投影网络的模糊视频超分辨率方法，通过在视频帧处理上运用条件对抗网络进行去运动模糊，使用模糊视频超分辨率网络学习低分辨率视频帧到高分辨率视频帧的非线性映射，重建边缘轮廓清晰的超分辨率视频。本发明提升了运动模糊视频重建后的视频质量，使得人们能够更好的获取视频信息，例如帮助医生确诊断病情，从而提高疾病确诊和治愈的可能性。利用本发明，使用者可以从低分辨率的视频中重建相应高分辨率视频，并且在重建过程能够去除部分视频中的运动模糊。经过实验证明，通过模糊视频超分辨率网络，重建的视频边缘、轮廓等细节信息相对清晰可见，可以提升重建后视频的内容质量，有效的帮助使用者获取视频中的信息。
附图说明
图1为基于深度反投影网络的模糊视频超分辨率重建模型示意图；
图2为模糊视频超分辨率重建模型中多帧视频超分辨率模型示意图；
图3为多帧视频超分辨率模型中单帧超分辨率模型示意图；
图4为模糊视频超分辨率重建模型中上下投影模块内部结构。
具体实施方式
深度反投影超分辨率模型(DBPN)第一次将深度反投影网络应用到超分辨率领域，上下迭代的投影模块，能够有效提升超分辨率重建的质量和效率。DBPN使用一种反馈式的网络迭代的从低分辨率重建为高分辨率，从高分辨率下采样为低分辨率。能够充分的挖掘出低分辨率图像与高分辨率图像之间深层的映射关系。本发明基于该网络改进出的模糊视频超分辨方法能重建出边缘、轮廓等细节信息清晰的视频图像。本发明技术方案分为三步实施：第一步视频帧预处理包括去除运动模糊、运动估计和运动补偿；第二步构建深度反投影视频超分辨率模型；第三步封装训练好的超分辨率模型。视频帧的预处理步骤如下：
第一步：使用基于条件对抗网络的去运动模糊网络(DeblurGAN)，去除低分辨率(LR)视频帧的运动模糊；
第二步：使用基于深度学习的光流估计算法(FlowNet2)获取LR视频帧间的运动估计；
第三步：运用扭曲变形(warp)操作根据视频帧间的运动估计进行视频帧间的运动补偿。
DBPN中浅层的上投影模块重建的特征图往往展现图像的整体结构更多，而在深层次的上投影模块中重建的特征图中往往包含更多的图像细节特征。在DBPN中使用越多的上投影模块，会取得越好的超分辨率重建结果。因为越多的上投影模块会取得越多的图像特征，深层次上投影模块能探索到图像更丰富的细节特征。但是随着模块的叠加，网络层次增加，参数量叠加，超分辨率模型变得不容易训练与使用。因此在DBPN中引入递归学习并且改进为多帧超分辨率，构建改进的深度反投影视频超分辨率模型的步骤如下：
第一步：为重建某一高分辨率(HR)视频帧，将以该帧为中心的连续三帧运动补偿的图像，各使用一个卷积层提取LR图像的初始特征；
第二步：一个卷积层联合a)提取的所有初始特征；
第三步：1×1卷积处理上述初始特征，以减少输入特征的计算量；
第四步：将经步骤c)处理后的LR特征图像输入到第一个递归学习模块，递归学习模块是以上投影模块，下投影模块交替连接组成；
第五步：LR特征图进入上投影模块使用反卷积将输入的低分辨率视频帧(Lt-1)放大，然后用卷积将上一步放大后生成的高分辨率视频帧缩小，将结果与Lt-1相减计算残差(投影误差)，最后将残差放大到同一尺寸，加上放大的残差后得到该上投影单元生成的HR
第六步：上一步生成的HR特征图进入下投影模块使用卷积将输入Ht缩小，然后用反卷积将上一步缩小生成的放大，将结果与Ht相减计算残差(投影误差)，最后将残差缩小与同一尺寸，加上缩小的残差后得到该下投影单元生成的LR。
第七步：重复执行步骤e)和f)2次，既一个递归学习模块包含两个上投影模块，两个下投影模块
第八步：重复执行步骤e)到g)4次，既递归学习深度探索视频帧细节信息循环四次。
第九步：重复执行步骤d)n次，既包含n个递归学习模块，然后深度级联所有上采样模块重建的高分辨率特征图像；
第十步：使用一个卷积层重建超分辨率图像。
上述步骤中，重复次数是通过保证时间效率和重建质量的平衡实验所得。改进的深度反投影视频超分辨率模型训练的步骤如下：
第一步：将DIV2K数据集处理成不同缩放尺度(×2、×3、×4)的低分辨率图像和高分辨率图像；
第二步：根据数据集不同缩放尺度，将不同尺寸的低分辨率图像和对应的高分辨率图像输入到深度反投影视频超分辨率模型中进行训练，训练采用Pytorch深度学习框架分别训练×2、×3、×4单尺度超分辨率模型。
Claims (6)
1.一种基于深度学习的模糊视频超分辨率方法，其特征在于，包括以下步骤：
1)对运动模糊视频帧进行预处理，得到运动补偿后的去模糊视频帧序列；
2)以运动补偿后的去模糊视频帧序列为输入，构建深度反投影视频超分辨率模型；
3)使用DIV2K数据集通过Ptorch训练出针对不同尺寸的超分辨率模型，将训练好的超分辨率模型参数提供给深度反投影视频超分辨率模型使用；
4)对新输入的运动模糊视频帧，经步骤1)预处理后通过步骤3)的深度反投影视频超分辨率模型重建视频帧序列。
2.根据权利要求1所述的基于深度学习的模糊视频超分辨率方法，其特征在于，步骤1)中，对运动模糊视频帧进行预处理包括：使用基于条件对抗网络的运动模糊网络去除低分辨率运动模糊视频帧的运动模糊；使用基于深度学习的光流估计方法获取去除了运动模糊的低分辨率运动模糊视频帧间的运动估计；根据运动模糊视频帧间的运动估计进行视频帧间的运动补偿。
3.根据权利要求1所述的基于深度学习的模糊视频超分辨率方法，其特征在于，步骤2)的具体实现过程包括：
a)对以某一运动模糊视频帧为中心的连续三帧运动补偿的图像，各使用一个卷积层提取低分辨率图像的初始特征；
b)利用一个卷积层融合步骤a)得到的所有初始特征；
c)利用1×1卷积处理融合后的初始特征，得到处理后的低分辨率特征图像；
d)将低分辨率特征图像输入到第一递归学习模块；所述第一递归学习模块包括上投影模块和下投影模块；
e)使用反卷积将输入的低分辨率视频帧Lt-1放大为然后用卷积将生成的高分辨率视频帧缩小，将缩小结果与Lt-1相减计算残差，最后将残差放大到与同一尺寸，加上放大的残差后得到该投影单元生成的高分辨率图像；
f)将所述高分辨率图像送入下投影模块，使用卷积将输入Ht缩小，然后用反卷积将缩小生成的放大，将结果与Ht相减计算残差，最后将残差缩小与同一尺寸，加上缩小的残差后得到该下投影单元生成的低分辨率图像；
g)执行一次与步骤e)、步骤f)相同的操作；
h)重复执行e)～g)4次；
i)重复执行步骤e)到h)n次，深度级联所有步骤e)产生的高分辨率特征图像，得到高分辨率特征图像集合；
j)使用一个卷积层通过高分辨率特征图像集合重建出超分辨率图像；
k)使用pytorch将步骤a)-j)构建为深度反投影视频超分辨率模型。
4.根据权利要求1所述的基于深度学习的模糊视频超分辨率方法，其特征在于，步骤3)的具体实现过程包括：
1)将DIV2K数据集处理成不同缩放尺度的低分辨率图像和高分辨率图像；
2)根据DIV2K数据集不同缩放尺度，将不同尺寸的低分辨率图像和对应的高分辨率图像输入到深度反投影视频超分辨率模型中进行训练，采用Pytorch深度学习框架分别训练出不同缩放尺度的单尺度超分辨率模型参数；
3)在使用不同尺度的超分辨率模型时，将训练好的对应尺度超分辨率模型参数进行加载，以重建运动模糊视频帧。
5.一种基于深度学习的模糊视频超分辨率系统，其特征在于，包括以下步骤：
预处理单元，用于对运动模糊视频帧进行预处理，得到运动补偿后的去模糊视频帧序列；
建模单元，用于以运动补偿后的去模糊视频帧序列为输入，构建深度反投影视频超分辨率模型；
训练单元，用于使用DIV2K数据集通过Ptorch训练出针对不同尺寸的超分辨率模型，将训练好的超分辨率模型参数提供给深度反投影视频超分辨率模型使用；
重建单元，用于对新输入的运动模糊视频帧，经预处理单元预处理后通过深度反投影视频超分辨率模型的深度反投影视频超分辨率模型重建视频帧序列。
6.根据权利要求5所述的基于深度学习的模糊视频超分辨率系统，其特征在于，所述训练单元包括：
处理模块，用于将DIV2K数据集处理成不同缩放尺度的低分辨率图像和高分辨率图像；
参数确定单元，用于根据DIV2K数据集不同缩放尺度，将不同尺寸的低分辨率图像和对应的高分辨率图像输入到深度反投影视频超分辨率模型中进行训练，采用Pytorch深度学习框架分别训练出不同缩放尺度的单尺度超分辨率模型参数；
加载模块，用于在使用不同尺度的超分辨率模型时，将训练好的对应尺度超分辨率模型参数进行加载，以重建运动模糊视频帧。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910554229.2A CN110458756A (zh) | 2019-06-25 | 2019-06-25 | 基于深度学习的模糊视频超分辨率方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910554229.2A CN110458756A (zh) | 2019-06-25 | 2019-06-25 | 基于深度学习的模糊视频超分辨率方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110458756A true CN110458756A (zh) | 2019-11-15 |
Family
ID=68480814
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910554229.2A Pending CN110458756A (zh) | 2019-06-25 | 2019-06-25 | 基于深度学习的模糊视频超分辨率方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110458756A (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111047532A (zh) * | 2019-12-06 | 2020-04-21 | 广东启迪图卫科技股份有限公司 | 一种基于3d卷积神经网络的低照度视频增强方法 |
| CN111325098A (zh) * | 2020-01-21 | 2020-06-23 | 上海电力大学 | 一种基于e-fcnn的微小面部表情识别方法 |
| CN111476314A (zh) * | 2020-04-27 | 2020-07-31 | 中国科学院合肥物质科学研究院 | 一种融合光流算法与深度学习的模糊视频检测方法 |
| CN111598804A (zh) * | 2020-05-12 | 2020-08-28 | 西安电子科技大学 | 基于深度学习的图像多级去噪方法 |
| CN112184549A (zh) * | 2020-09-14 | 2021-01-05 | 阿坝师范学院 | 基于时空变换技术的超分辨图像重建方法 |
| CN112465730A (zh) * | 2020-12-18 | 2021-03-09 | 辽宁石油化工大学 | 一种运动视频去模糊的方法 |
| CN112508794A (zh) * | 2021-02-03 | 2021-03-16 | 中南大学 | 医疗图像超分辨率重建方法及系统 |
| CN113139896A (zh) * | 2020-01-17 | 2021-07-20 | 波音公司 | 基于超分辨重建的目标检测系统及方法 |
| CN113409190A (zh) * | 2021-05-14 | 2021-09-17 | 广东工业大学 | 一种基于多帧分组与反馈网络的视频超分辨率方法 |
| CN113920010A (zh) * | 2020-07-10 | 2022-01-11 | 华为技术有限公司 | 图像帧的超分辨率实现方法和装置 |
| CN114399440A (zh) * | 2022-01-13 | 2022-04-26 | 马上消费金融股份有限公司 | 图像处理方法、图像处理网络训练方法、装置及电子设备 |
| CN114419517A (zh) * | 2022-01-27 | 2022-04-29 | 腾讯科技（深圳）有限公司 | 视频帧处理方法、装置、计算机设备及存储介质 |
| CN114692765A (zh) * | 2022-03-31 | 2022-07-01 | 武汉大学 | 视频时空超分模型构建方法、装置、设备及可读存储介质 |
| CN114926335A (zh) * | 2022-05-20 | 2022-08-19 | 中国人民解放军国防科技大学 | 基于深度学习的视频超分辨率方法及系统、计算机设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107910061A (zh) * | 2017-12-01 | 2018-04-13 | 中南大学 | 一种医疗数据处理方法及系统 |
| CN109102462A (zh) * | 2018-08-01 | 2018-12-28 | 中国计量大学 | 一种基于深度学习的视频超分辨率重建方法 |
| CN109741260A (zh) * | 2018-12-29 | 2019-05-10 | 天津大学 | 一种基于深度反投影网络的高效超分辨率方法 |
| CN109903225A (zh) * | 2019-01-29 | 2019-06-18 | 中南大学 | 一种基于深度学习的医疗图像增强方法 |
-
2019
- 2019-06-25 CN CN201910554229.2A patent/CN110458756A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107910061A (zh) * | 2017-12-01 | 2018-04-13 | 中南大学 | 一种医疗数据处理方法及系统 |
| CN109102462A (zh) * | 2018-08-01 | 2018-12-28 | 中国计量大学 | 一种基于深度学习的视频超分辨率重建方法 |
| CN109741260A (zh) * | 2018-12-29 | 2019-05-10 | 天津大学 | 一种基于深度反投影网络的高效超分辨率方法 |
| CN109903225A (zh) * | 2019-01-29 | 2019-06-18 | 中南大学 | 一种基于深度学习的医疗图像增强方法 |
Non-Patent Citations (2)
| Title |
|---|
| OREST KUPYN 等: "DeblurGAN: Blind Motion Deblurring Using Conditional Adversarial Networks", 《2018 IEEE/CVF》 * |
| 刘村等: "基于卷积神经网络的视频图像超分辨率重建方法", 《计算机应用研究》 * |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111047532A (zh) * | 2019-12-06 | 2020-04-21 | 广东启迪图卫科技股份有限公司 | 一种基于3d卷积神经网络的低照度视频增强方法 |
| CN113139896A (zh) * | 2020-01-17 | 2021-07-20 | 波音公司 | 基于超分辨重建的目标检测系统及方法 |
| CN111325098A (zh) * | 2020-01-21 | 2020-06-23 | 上海电力大学 | 一种基于e-fcnn的微小面部表情识别方法 |
| CN111325098B (zh) * | 2020-01-21 | 2022-10-18 | 上海电力大学 | 一种基于e-fcnn的微小面部表情识别方法 |
| CN111476314A (zh) * | 2020-04-27 | 2020-07-31 | 中国科学院合肥物质科学研究院 | 一种融合光流算法与深度学习的模糊视频检测方法 |
| CN111476314B (zh) * | 2020-04-27 | 2023-03-07 | 中国科学院合肥物质科学研究院 | 一种融合光流算法与深度学习的模糊视频检测方法 |
| CN111598804B (zh) * | 2020-05-12 | 2022-03-22 | 西安电子科技大学 | 基于深度学习的图像多级去噪方法 |
| CN111598804A (zh) * | 2020-05-12 | 2020-08-28 | 西安电子科技大学 | 基于深度学习的图像多级去噪方法 |
| CN113920010A (zh) * | 2020-07-10 | 2022-01-11 | 华为技术有限公司 | 图像帧的超分辨率实现方法和装置 |
| WO2022007895A1 (zh) * | 2020-07-10 | 2022-01-13 | 华为技术有限公司 | 图像帧的超分辨率实现方法和装置 |
| CN112184549A (zh) * | 2020-09-14 | 2021-01-05 | 阿坝师范学院 | 基于时空变换技术的超分辨图像重建方法 |
| CN112465730A (zh) * | 2020-12-18 | 2021-03-09 | 辽宁石油化工大学 | 一种运动视频去模糊的方法 |
| CN112508794A (zh) * | 2021-02-03 | 2021-03-16 | 中南大学 | 医疗图像超分辨率重建方法及系统 |
| CN113409190B (zh) * | 2021-05-14 | 2022-05-20 | 广东工业大学 | 一种基于多帧分组与反馈网络的视频超分辨率方法 |
| CN113409190A (zh) * | 2021-05-14 | 2021-09-17 | 广东工业大学 | 一种基于多帧分组与反馈网络的视频超分辨率方法 |
| CN114399440A (zh) * | 2022-01-13 | 2022-04-26 | 马上消费金融股份有限公司 | 图像处理方法、图像处理网络训练方法、装置及电子设备 |
| CN114419517A (zh) * | 2022-01-27 | 2022-04-29 | 腾讯科技（深圳）有限公司 | 视频帧处理方法、装置、计算机设备及存储介质 |
| CN114419517B (zh) * | 2022-01-27 | 2024-09-27 | 腾讯科技（深圳）有限公司 | 视频帧处理方法、装置、计算机设备及存储介质 |
| CN114692765A (zh) * | 2022-03-31 | 2022-07-01 | 武汉大学 | 视频时空超分模型构建方法、装置、设备及可读存储介质 |
| CN114692765B (zh) * | 2022-03-31 | 2024-08-13 | 武汉大学 | 视频时空超分模型构建方法、装置、设备及可读存储介质 |
| CN114926335A (zh) * | 2022-05-20 | 2022-08-19 | 中国人民解放军国防科技大学 | 基于深度学习的视频超分辨率方法及系统、计算机设备 |
| CN114926335B (zh) * | 2022-05-20 | 2024-08-20 | 中国人民解放军国防科技大学 | 基于深度学习的视频超分辨率方法及系统、计算机设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110458756A (zh) | 基于深度学习的模糊视频超分辨率方法及系统 | |
| CN109671023B (zh) | 一种人脸图像超分辨率二次重建方法 | |
| CN109118431B (zh) | 一种基于多记忆及混合损失的视频超分辨率重建方法 | |
| CN108259994B (zh) | 一种提高视频空间分辨率的方法 | |
| CN110310227A (zh) | 一种基于高低频信息分解的图像超分辨率重建方法 | |
| CN110675321A (zh) | 一种基于渐进式的深度残差网络的超分辨率图像重建方法 | |
| CN110889895A (zh) | 一种融合单帧重建网络的人脸视频超分辨率重建方法 | |
| CN110634105A (zh) | 一种光流法和深度网络结合的视频高时空分辨率信号处理方法 | |
| CN110363704B (zh) | 融合形态及色彩的图像超分辨率重建模型构建及重建方法 | |
| CN109636721A (zh) | 基于对抗学习和注意力机制的视频超分辨率方法 | |
| CN112422870B (zh) | 一种基于知识蒸馏的深度学习视频插帧方法 | |
| CN104159119A (zh) | 一种视频图像实时共享播放的超分辨率重构方法和系统 | |
| CN112001843A (zh) | 一种基于深度学习的红外图像超分辨率重建方法 | |
| CN113469884A (zh) | 基于数据仿真的视频超分辨方法、系统、设备及存储介质 | |
| CN108989731A (zh) | 一种提高视频空间分辨率的方法 | |
| CN114757828A (zh) | 基于Transformer的视频时空超分辨率方法 | |
| CN106952226A (zh) | 一种f‑msa超分辨率重建方法 | |
| CN116468605A (zh) | 基于时空分层掩膜注意力融合的视频超分辨率重建方法 | |
| CN109087247A (zh) | 一种对立体图像进行超分的方法 | |
| CN117078516B (zh) | 基于残差混合注意力的矿井图像超分辨率重建方法 | |
| Qiu et al. | Cardiac Magnetic Resonance Images Superresolution via Multichannel Residual Attention Networks | |
| CN114898110B (zh) | 一种基于全分辨率表示网络的医学图像分割方法 | |
| CN116363014A (zh) | 一种级联自适应光学图像盲复原方法 | |
| CN113538231B (zh) | 一种基于像素分布估计的单张图像超分辨重建系统及方法 | |
| Yao et al. | MTKDSR: Multi-teacher knowledge distillation for super resolution image reconstruction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191115 |
|
| RJ01 | Rejection of invention patent application after publication |