CN108989731B - 一种提高视频空间分辨率的方法 - Google Patents
一种提高视频空间分辨率的方法 Download PDFInfo
- Publication number
- CN108989731B CN108989731B CN201810904777.9A CN201810904777A CN108989731B CN 108989731 B CN108989731 B CN 108989731B CN 201810904777 A CN201810904777 A CN 201810904777A CN 108989731 B CN108989731 B CN 108989731B
- Authority
- CN
- China
- Prior art keywords
- local
- frame
- video
- reconstructed
- content
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 238000012545 processing Methods 0.000 claims abstract description 7
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 18
- 238000005070 sampling Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 3
- 238000000844 transformation Methods 0.000 claims description 3
- 230000003321 amplification Effects 0.000 claims description 2
- 238000000605 extraction Methods 0.000 claims description 2
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 abstract description 5
- 230000000694 effects Effects 0.000 description 12
- 238000013528 artificial neural network Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 6
- 239000012634 fragment Substances 0.000 description 6
- 238000011160 research Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000012952 Resampling Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Image Analysis (AREA)
Abstract
本发明属于视频编辑技术领域，具体为一种提高视频空间分辨率的方法。本发明步骤包括：局部帧及局部特征的提取：将多帧相邻视频帧输入到局部网络NETL中，利用帧间的局部信息学习出局部重构帧SRt Local及该帧的特征Ft Local；重构当前帧：将学到的局部帧和相邻的前一帧SRt‑1重构后的视频帧输入到内容网络NETC中，重构当前帧。本发明不仅充分利用多个相邻低分辨率视频帧之间的关联性，还结合前一帧超分重构后的视频帧来恢复当前视频帧的高频内容。实验结果表明，本方法可较好地保持重构视频的时间连贯性，恢复出丰富的视频细节纹理，提升视频的清晰度视觉质量，同时还达到实时处理的速度，具有较高的应用价值。
Description
技术领域
本发明属于视频编辑技术领域，具体涉及一种视频超分方法，更具体地涉及提高视频空间分辨率的方法。
背景技术
传统的视频超分技术基本是作为传统的图像超分技术的研究分支。它是一门具有较高科学研究价值及较为广泛应用领域的现代视频处理技术。
视频分辨率是视频质量的重要指标,分辨率越高,细节越精细,质量越佳，视频提供的信息越丰富。因此HR视频在各个领域有着重要的应用价值及研究前景。但由于视频在采集、存储、传输过程中的限制或干扰，导致其存在不同程度的质量退化。通常获取HR视频最直接的方法是使用HR相机，但由于成本问题，实际情况下许多应用并没有条件使用HR相机。而视频超分技术采用基于信号处理的方法提高视频分辨率，是一种有效提高视频分辨率、改善视频性能的途径，并且该方法成本低，因此对高效高质量的视频超分技术的研究显得更加重要。
视频超分不是简单的扩大视频尺寸，它产生了新的包含更有价值信息的视频。目前，这类视频超分技术在生物医学、航空研究、军事应用、视频监控、视频格式转换、视频增强和复原(如老旧电影的翻制)、显微成像、虚拟现实等领域都表现出巨大的应用潜力。
本发明方法涉及视频超分技术，是在已有的低分辨率视频的基础上通过利用视频每帧内的局部信息及相邻帧间的关联信息，重构出内容更丰富、细节更清晰的视频帧，生成分辨率更高的视频序列。视频超分技术的主要思想是采用一定的算法，从LR的视频序列重构出HR视频序列，从而使获得的视频明显减少模糊、噪声等瑕疵而具有更丰富的高频细节及纹理信息而表现出更好的视觉质量，这类视频超分技术是计算机视频处理领域的一个基本问题。
视频超分可以通过基于插值的算法、基于实例方法和基于神经网络的方法来实现。早期的超分方法是基于插值的，如双三次插值和兰索斯重采样，由于超分是一种不适定问题，每个像素从低分辨率视频到高分辨率视频的映射上有许多解，并且这类方法仅使用低分辨率视频的信息，因此很难模拟真实视频的视觉复杂性，对于纹理复杂、平滑着色的视频，插值法很可能生成不真实的效果。不能很好地重构出高分辨率视频。
因此超分需要很强的先验来约束解空间，最近大多数较好的方法多采用基于实例的策略来学习强大的先验知识。该方法通过找到多个LR碎片与HR碎片间的对应关系，为每个LR碎片在LR视频帧中找到与该碎片最相似的几个碎片，并计算出使重构代价最小的权值参数，最后使用多个LR片和权值参数来生成高分辨率片形成高分辨率视频。该方法的不足是会损失视频中的高频内容，此外由于存在重叠片的计算会导致计算量的增大。
近年来，随着CNN在计算机视觉领域的应用，出现了许多基于CNN的图像超分方法。这些方法实现了这一技术突破性的发展，其中以SRCNN[1]及VDSR[3]方法最具代表性。通过对视频每一帧采用这些方法可以简单地将图像超分扩展到视频超分领域。
C.Dong等人在2015年提出来基于卷积神经网络的图像超分方法(SRCNN)，通过学习LR和HR图像间的映射关系来重建HR图像。映射表现为一个CNN，将低分辨率图像作为输入，将高分辨率图像作为输出。该方法利用了神经网络的优越性，将图像超分问题建模为神经网络结构，通过优化目标函数训练合适的神经网络得到简单有效的增强图像分辨率的模型。
神经网络容易对大量训练集数据学习得到，此外一旦训练好超分的模型后，对高分辨率图像的重构就是简单的前馈过程，因此计算复杂度也得到大幅度降低。C.Dong等人又对SRCNN方法进行了改进，提出了FSRCNN[2]方法，改进了神经网络的结构实现更快的超分效果。Kim J等人2016年通过加深神经网络结构在图像分辨率上取得了更好的效果，同时利用残差学习提高网络效率加快网络的训练速度。
在以上基于CNN的图像超分技术的基础之上，Kappeler A在2016年等人提出了基于CNN的视频超分技术VSRnet[4]，该技术不仅对视频每一帧使用图像超分方法进行重构，还结合了视频相邻帧间相关性，利用了更多的信息来重构视频，得到更好的视频超分效果。但这种方法需要对输入的视频进行上采样预处理，增加了超分过程的计算复杂度，CaballeroJ等人2016年又提出了一种新的视频超分网络结构VESPCN[5]，将视频上采样的预处理操作融入神经网络的结构，加快了视频超分的过程。随着神经网络在超分领域实现的越来越好的效果，更多的学者通过继续改进神经网络的结构、对视频相邻间信息的融合方式，在超分结果的质量及速度方面不断得到突破。传统视频超分方法仅利用低分辨率视频中的信息，对视频每一帧进行超分。
然而传统的视频超分方法仅利用了低分辨率视频的信息来重构视频帧，其效果往往局限于低分辨率视频中的信息，不足以提供丰富的信息来恢复出真实的高分辨率视频中的纹理细节等较为复杂的内容。此外传统的视频超分方法为了利用相邻帧之间的相关性，常常要采用光流法对相邻帧的运动信息进行估计并补偿，这极大程度上增加了视频超分的时间复杂度。
发明内容
为了改进现有技术得到更好的超分效果，本发明的目的在于提供一种提高视频空间分辨率的方法，以提升低分辨率视频的质量，达到实时超分效果。
本发明提供的提高视频空间分辨率的方法，具体步骤如下：
(1)局部帧及局部特征的提取
将当前帧(LRt)与其前后相邻的帧级联起来(LRt-1，LRt+1)输入到局部网络NETL中，利用帧间的局部信息学习出局部重构帧SRt Local及该帧的特征Ft Local：
其中，WL为局部网络中的参数，Ft Local表示局部网络在当前时间t生成的特征，SRt Local表示局部网络在当前时间t得到的超分后的帧；
(2)重构当前帧
将步骤(1)学到的局部帧SRt Local、局部帧的特征Ft Local、相邻的前一重构后的视频帧SRt-1及前一帧的内容特征Ft-1输入到内容网络NETC中，重构当前帧SRt并生成当前帧的内容特征Ft：
其中，Wc为内容网络中的参数。
本发明步骤(1)中，局部网络NETL对视频每一帧利用该帧及其前后相邻2帧的信息，初步恢复出每一帧中的内容；局部网络NETL由5个卷积层、8个残差块以及1个去卷积层构成；局部网络的具体结构及学习流程为：
首先，将相邻的3帧视频(LRt-1，LRt，LRt+1)级联起来一同输入到局部网络NETL中，依次经过1个大小为3*3的卷积层、8个残差块，得到中间特征ft；其中，残差块采用论文[6]中的结构，由两个卷积层及一个跳跃连接构成；
ft＝Res8(Res8(...Res8(Conv(LRt-1，LRt，LRt+1))...)) (3)
然后，将中间特征分两路处理，分别得到局部网络的两个输出，局部超分帧SRt Local和局部特征Ft Local，具体步骤为：为得到局部超分帧SRt Local，将中间特征经过一个大小为3*3的卷积层及一个大小为8*8的去卷积层得到局部超分帧的残差图，再将该残差图与双三次插值上采样后的当前帧相加，得到局部超分帧SRt Local；其中去卷积层采用步幅为4，来实现视频帧的空间分辨率的放大；
为得到局部特征Ft Local，将中间特征通过两个大小为3*3的卷积层估计出当前帧的局部特征Ft Local，
本发明步骤(2)中，内容网络NETC基于步骤(1)输出的局部超分帧SRt Local和局部特征Ft Local，再结合前一帧的重构结果SRt-1及其内容特征Ft-1来重构当前帧SRt及当前帧的内容特征Ft；内容网络NETC包括5个卷积层、4个残差块以及2个空间到深度的变换，其中残差块采用论文[6]中的结构；具体学习流程为：
首先，将局部网络输出的局部超分帧SRt Local和前一帧的重构结果SRt-1输入内容网络中，分别经过两个空间到深度的变换得到其对应特征；将生成的两个特征级联起来，经过一个大小为3*3的卷积层和两个残差块，生成中间特征f1；
然后，将f1与局部网络生成的局部特征Ft Local及前一帧的内容特征Ft-1级联起来，经过一个卷积层和两个残差块生成特征f2；
最后，将f2再分两路处理，分别生成当前重构后的帧SRt及当前帧的内容特征Ft；具体步骤为：首先为生成重构后的当前帧SRt，将上一步的输出经过一个3*3的卷积层和一个大小为8*8步幅为4的去卷积层生成重构的当前帧的残差图，将该残差图与双三次插值上采样得到的当前帧相加，得到当前帧的重构结果SRt；
SRt＝deconv(Conv(f2))+Bicubic(LRt) (8)
将上一步的输出经过两个3*3的卷积层生成当前帧的内容特征Ft；
Ft＝Conv(Conv(f2)) (9)
其中，内容网络生成重构结果SRt及内容特征Ft将作为额外信息输入到下一帧的内容网络中，指导下一帧的超分过程。
本发明方法不仅利用局部网络从低分辨率的输入视频中估计每一帧内的细节信息得到初步的超分后的视频帧，还使用内容网络将相邻前一超分后的视频帧与局部网络提取的特征及重构的视频帧来增强当前视频帧的效果，有效提升了重构视频的质量。本发明主要针对效果及速度两方面对现有的视频超分方法进行改进，端到端地实现了视频超分过程及高质量的视频重构效果。实验结果表明，本方法可较好地保持重构视频的时间连贯性，恢复出丰富的视频细节纹理，提升视频的清晰度视觉质量，同时还达到实时处理的速度，具有较高的应用价值。
附图说明
图1为本发明的流程图。
图2为局部网络的结构图。
图3为内容网络的结构图。
图4利用本方法对视频超分的效果对比图。
具体实施方式
对于一个低分辨率视频序列，采用图1所介绍的方法。
对第i帧视频LRi的超分，具体方法是：
(1)首先，将当前帧LRi与其前后各n帧图像(LRi-n:i+n)一同输入到局部网络中。
具体过程如图2所示，首先将输入的2n+1帧视频经过1个卷积层、8个残差块，得到中间特征；其中残差块采用论文[6]中的结构，由两个卷积层及一个跳跃连接组成；局部网络中采用的卷积层大小为3*3，步幅为1；去卷积层的大小为8*8，步幅为4；
将残差块输出的中间特征分两路处理，其中一路经过一个卷积层及一个去卷积层初步得到当前帧的局部帧SRt Local，另一路则将中间特征通过两个卷积层来估计当前帧的局部特征Ft Local；
(2)其次，如图3所示，将上一步学到的局部帧SRt Local及相邻的前一重构帧SRt-1分别经过两个空间到深度的变换得到其对应特征；将生成的两个特征级联起来，经过一个大小为3*3的卷积层和两个残差块，生成中间特征；再将其与局部网络生成的局部特征Ft Local及前一帧的内容特征Ft-1级联起来，经过一个卷积层和两个残差块；
(3)最后将上一步的输出再分两路处理，分别生成当前重构后的帧SRt及当前帧的内容特征Ft：首先为生成重构后的当前帧SRt，将上一步的输出经过一个3*3的卷积层和一个大小为8*8步幅为4的去卷积层生成重构的当前帧的残差图，将该残差图与Bicubic上采样得到的当前帧相加，得到当前帧的重构结果SRt；将上一步的输出经过两个3*3的卷积层生成当前帧的内容特征Ft；其中内容网络生成重构结果SRt及内容特征Ft将作为额外信息输入到下一帧的内容网络中，指导下一帧的超分过程。
图4为本方法的一个实验例子。如该图所示，(a)图是输入的低分辨率视频，(b)是使用本发明方法重构出来的高分辨率图像，(c)是真实的高分辨率图像。可以看出，本发明方法可以有效地恢复出原始高分辨率视频中的纹理及边缘等细节信息，生成具有较高视觉质量的高分辨率视频。
参考文献：
[1]C.Dong,C.C.Loy,K.He,and X.Tang.Image super-resolution using deepconvolutional networks.IEEE Transactions on Pattern Analysis and MachineIntelligence(TPAMI),38(2):295–307,2015.(SRCNN)
[2]C.Dong,C.C.Loy,and X.Tang.Accelerating the super-resolutionconvolutional neural network.In European Conference on Computer Vision(ECCV),pages 391–407.Springer International Publishing,2016.(FSRCNN)
[3]Kim J,Lee J K,Lee K M.Accurate Image Super-Resolution Using VeryDeep Convolutional Networks[C]//IEEE Conference on Computer Vision andPattern Recognition.IEEE Computer Society,2016:1646-1654.(VDSR)
[4]Kappeler A,Yoo S,Dai Q,et al.Video Super-Resolution WithConvolutional Neural Networks[J].IEEE Transactions on Computational Imaging,2016,2(2):109-122.(VSRnet)
[5]Caballero J,Ledig C,Aitken A,et al.Real-Time Video Super-Resolution with Spatio-Temporal Networks and Motion Compensation[J].2016.(VESPCN)
[6]Lim,B.；Son,S.；Kim,H.；Nah,S.；and Lee,K.M.2017.Enhanced deepresidual networks for single image superresolution.In IEEE Conference onComputer Vision and Pattern Recognition Workshops(CVPR’2017),1132–1140.。
Claims (1)
1.一种提高视频分辨率的方法，其特征在于，具体步骤如下：
(1)局部帧及局部特征的提取
将多个相邻的视频帧(LRt-1，LRt，LRt+1)输入到局部网络NETL中，利用帧间的局部信息学习出局部重构帧SRt Local及该帧的局部特征Ft Local：
其中，WL为局部网络中的参数，局部特征Ft Local表示局部网络在当前时间t生成的特征，局部重构帧SRt Local表示局部网络在当前时间t得到的超分后的帧；
(2)重构当前帧
将步骤(1)学到的局部重构帧SRt Local及该帧的局部特征Ft Local和相邻的前一重构后的视频帧SRt-1及前一帧的内容特征Ft-1输入到内容网络NETC中，重构当前帧SRt并生成当前帧的内容特征Ft：
其中，Wc为内容网络中的参数；
步骤(1)中，局部网络NETL对视频每一帧利用该帧及其前后相邻2帧的信息，初步恢复出每一帧中的内容；局部网络NETL由4个卷积层、8个残差块以及1个去卷积层构成；具体流程为：
首先，将相邻的3帧视频(LRt-1，LRt，LRt+1)级联起来一同输入到局部网络NETL中，依次经过1个大小为3*3的卷积层、8个残差块，得到中间特征ft；其中，残差块由两个卷积层及一个跳跃连接构成；
ft＝Re s8(Re s8(...Re s8(Conv(LRt-1，LRt，LRt+1))...))
然后，将中间特征ft分两路处理，分别得到局部网络的两个输出，局部重构帧SRt Local和局部特征Ft Local，具体步骤为：为得到局部重构帧SRt Local，将中间特征经过一个大小为3*3的卷积层及一个大小为8*8的去卷积层得到局部超分帧的残差图，再将该残差图与双三次插值上采样后的当前帧相加，得到局部重构帧SRt Local；其中去卷积层采用步幅为4，来实现视频帧的空间分辨率的放大；
为得到局部特征Ft Local，将中间特征通过两个大小为3*3的卷积层估计出当前帧的局部特征Ft Local；
步骤(2)中，内容网络NETC基于步骤(1)输出的局部重构帧SRt Local和局部特征Ft Local，再结合前一帧的重构结果SRt-1及其内容特征Ft-1来重构当前帧SRt及当前帧的内容特征Ft；内容网络NETC包括5个卷积层、4个残差块以及2个空间到深度的变换，其中残差块由两个卷积层及一个跳跃连接构成；具体学习流程为：
首先，将局部网络输出的局部重构帧SRt Local和前一帧的重构结果SRt-1输入内容网络中，分别经过两个空间到深度的变换得到其对应特征；将生成的两个特征级联起来，经过一个大小为3*3的卷积层和两个残差块，生成中间特征f1；
然后，将其与局部网络生成的局部特征Ft Local及前一帧的内容特征Ft-1级联起来，经过一个卷积层和两个残差块，生成特征f2；
最后，将上一步的输出再分两路处理，分别生成当前重构后的帧SRt及当前帧的内容特征Ft；具体步骤为：首先为生成重构后的当前帧SRt，将上一步的输出经过一个3*3的卷积层和一个大小为8*8步幅为4的去卷积层生成重构的当前帧的残差图，将该残差图与双三次插值上采样得到的当前帧相加，得到当前帧的重构结果SRt；
SRt＝deconv(Conv(f2))+Bicubic(LRt)
将上一步的输出经过两个3*3的卷积层生成当前帧的内容特征Ft；其中内容网络生成重构结果SRt及内容特征Ft将作为额外信息输入到下一帧的内容网络中，指导下一帧的超分过程；
Ft＝Conv(Conv(f2))。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810904777.9A CN108989731B (zh) | 2018-08-09 | 2018-08-09 | 一种提高视频空间分辨率的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810904777.9A CN108989731B (zh) | 2018-08-09 | 2018-08-09 | 一种提高视频空间分辨率的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108989731A CN108989731A (zh) | 2018-12-11 |
| CN108989731B true CN108989731B (zh) | 2020-07-07 |
Family
ID=64556209
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810904777.9A Active CN108989731B (zh) | 2018-08-09 | 2018-08-09 | 一种提高视频空间分辨率的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108989731B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110246160B (zh) * | 2019-06-20 | 2022-12-06 | 腾讯科技（深圳）有限公司 | 视频目标的检测方法、装置、设备及介质 |
| CN111667406B (zh) * | 2020-04-24 | 2023-05-30 | 东北大学 | 一种基于时域相关性的视频图像超分辨率重建方法 |
| CN111882486B (zh) * | 2020-06-21 | 2023-03-10 | 南开大学 | 一种基于低秩先验信息的混合分辨率多视点视频超分辨方法 |
| CN112422870B (zh) * | 2020-11-12 | 2021-09-17 | 复旦大学 | 一种基于知识蒸馏的深度学习视频插帧方法 |
| CN113507607B (zh) * | 2021-06-11 | 2023-05-26 | 电子科技大学 | 一种无需运动补偿的压缩视频多帧质量增强方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101639937A (zh) * | 2009-09-03 | 2010-02-03 | 复旦大学 | 一种基于人工神经网络的超分辨率方法 |
| CN102236889A (zh) * | 2010-05-18 | 2011-11-09 | 王洪剑 | 一种基于多帧运动估计和融合的超分辨率重构方法 |
| CN106097250A (zh) * | 2016-06-22 | 2016-11-09 | 江南大学 | 一种基于鉴别典型相关的超分辨率稀疏重构方法 |
| WO2017075768A1 (zh) * | 2015-11-04 | 2017-05-11 | 北京大学深圳研究生院 | 一种基于字典匹配的图像超分辨率重建方法及装置 |
| CN107481188A (zh) * | 2017-06-23 | 2017-12-15 | 珠海经济特区远宏科技有限公司 | 一种图像超分辨率重构方法 |
-
2018
- 2018-08-09 CN CN201810904777.9A patent/CN108989731B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101639937A (zh) * | 2009-09-03 | 2010-02-03 | 复旦大学 | 一种基于人工神经网络的超分辨率方法 |
| CN102236889A (zh) * | 2010-05-18 | 2011-11-09 | 王洪剑 | 一种基于多帧运动估计和融合的超分辨率重构方法 |
| WO2017075768A1 (zh) * | 2015-11-04 | 2017-05-11 | 北京大学深圳研究生院 | 一种基于字典匹配的图像超分辨率重建方法及装置 |
| CN106097250A (zh) * | 2016-06-22 | 2016-11-09 | 江南大学 | 一种基于鉴别典型相关的超分辨率稀疏重构方法 |
| CN107481188A (zh) * | 2017-06-23 | 2017-12-15 | 珠海经济特区远宏科技有限公司 | 一种图像超分辨率重构方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108989731A (zh) | 2018-12-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108989731B (zh) | 一种提高视频空间分辨率的方法 | |
| CN109035146B (zh) | 一种基于深度学习的低质量图像超分方法 | |
| CN108259994B (zh) | 一种提高视频空间分辨率的方法 | |
| Wang et al. | Esrgan: Enhanced super-resolution generative adversarial networks | |
| CN109345449B (zh) | 一种基于融合网络的图像超分辨率及去非均匀模糊方法 | |
| CN107507134B (zh) | 基于卷积神经网络的超分辨率方法 | |
| CN111028150B (zh) | 一种快速时空残差注意力视频超分辨率重建方法 | |
| CN110136062B (zh) | 一种联合语义分割的超分辨率重建方法 | |
| CN111008938B (zh) | 一种基于内容和连续性引导的实时多帧比特增强方法 | |
| CN112288632B (zh) | 基于精简esrgan的单图像超分辨率方法及系统 | |
| CN112164011A (zh) | 基于自适应残差与递归交叉注意力的运动图像去模糊方法 | |
| CN114494050A (zh) | 一种基于事件相机的自监督视频去模糊和图像插帧方法 | |
| CN113506224A (zh) | 基于多尺度生成对抗网络的图像修复方法 | |
| Yao et al. | Bidirectional translation between uhd-hdr and hd-sdr videos | |
| Wang et al. | Underwater image super-resolution and enhancement via progressive frequency-interleaved network | |
| CN109087247B (zh) | 一种对立体图像进行超分的方法 | |
| CN109272450B (zh) | 一种基于卷积神经网络的图像超分方法 | |
| Liu et al. | Facial image inpainting using multi-level generative network | |
| CN116895037A (zh) | 基于边缘信息和多尺度交叉融合网络的帧插入方法及系统 | |
| CN112215140A (zh) | 一种基于时空对抗的3维信号处理方法 | |
| Wang | Single image super-resolution with u-net generative adversarial networks | |
| CN112348745B (zh) | 一种基于残差卷积网络的视频超分辨率重构方法 | |
| Cai et al. | Real-time super-resolution for real-world images on mobile devices | |
| Zhong et al. | High-quality face image super-resolution based on generative adversarial networks | |
| CN113538505A (zh) | 一种基于深度学习的单张图片的运动估计系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |