CN110418139A - 一种基于esrgan的视频超分辨修复技术 - Google Patents

一种基于esrgan的视频超分辨修复技术 Download PDF

Info

Publication number
CN110418139A
CN110418139A CN201910707218.3A CN201910707218A CN110418139A CN 110418139 A CN110418139 A CN 110418139A CN 201910707218 A CN201910707218 A CN 201910707218A CN 110418139 A CN110418139 A CN 110418139A
Authority
CN
China
Prior art keywords
frame
video
repaired
key frame
esrgan
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910707218.3A
Other languages
English (en)
Other versions
CN110418139B (zh
Inventor
彭玉翔
黄国恒
倪浩敏
赵志舜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN201910707218.3A priority Critical patent/CN110418139B/zh
Publication of CN110418139A publication Critical patent/CN110418139A/zh
Application granted granted Critical
Publication of CN110418139B publication Critical patent/CN110418139B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种基于ESRGAN的视频超分辨修复技术、装置、设备及存储介质，该方法的步骤包括：获取待修复视频；提取待修复视频中的关键帧，对关键帧的图像进行修复；对待修复视频中的视频帧进行分组，生成帧分组；帧分组中包含有关键帧；对帧分组中修复后的关键帧进行采样，生成样本块；通过样本块对帧分组中的待修复帧进行修复。本方法相对降低了视频修复过程的数据处理量，进而提高了视频修复的整体效率。此外，本申请还提供一种视频修复装置、设备及存储介质，有益效果同上所述。

Description

一种基于ESRGAN的视频超分辨修复技术
技术领域
本申请涉及视频修复领域，特别是涉及一种基于ESRGAN的视频超分辨修复技术、装置、设备及存储介质。
背景技术
当前视频修复技术主要采用的是超分辨率技术(Super-Resolution)，它是指从观测到的低分辨率图像重建出相应的高分辨率图像，在视频监控、医学影像和卫星图像等领域都有重要的应用价值。
对于视频修复，在本质上是对视频中的每一帧的画面进行超分辨的修复，以此到达对视频整体修复的目的，增强分辨率的效果。但是，当前的应用场景下，视频往往是长时间录制生成的，因此视频中所包含的视频帧的数量相对庞大，这就导致对每一帧视频帧进行超分辨处理，数据处理量较为庞大，并且对于视频修复的整体效率相对较低。
由此可见，提供一种基于ESRGAN的视频超分辨修复技术，以相对降低视频修复过程的数据处理量，并提高视频修复的整体效率，是本领域技术人员需要解决的问题。
发明内容
本申请的目的是提供一种基于ESRGAN的视频超分辨修复技术、装置、设备及存储介质，以相对降低视频修复过程的数据处理量，并提高视频修复的整体效率。
为解决上述技术问题，本申请提供一种基于ESRGAN的视频超分辨修复技术，包括：
获取待修复视频；
提取待修复视频中的关键帧，通过ESRGAN对关键帧的图像进行修复；
对待修复视频中的视频帧进行分组，生成帧分组；帧分组中包含有关键帧；
对帧分组中修复后的关键帧进行采样，生成样本块；
通过样本块对帧分组中的待修复帧进行修复。
优选的，ESRGAN基于VGG19网络构建。
优选的，对帧分组中修复后的关键帧进行采样，生成样本块，包括：
利用SURF算法分别对待修复帧以及关键帧进行特征点的提取；
将待修复帧的特征点与关键帧的特征点进行匹配，生成待修复帧与关键帧的图像重合区域；
提取关键帧在图像重合区域处的第一样本块，以及关键帧在图像重合区域外的第二样本块。
优选的，通过样本块对帧分组中的待修复帧进行修复，包括：
将第一样本块填充至待修复帧的图像重合区域；
利用FMM算法对第二样本块进行纹理合成处理，并填充至待修复帧在图像重合区域以外的图像区域。
优选的，提取待修复视频中的关键帧，包括：
通过将待修复视频输入至光流神经网络的方式提取待修复视频中的关键帧。
此外，本申请还提供一种视频修复装置，包括：
视频获取模块，用于获取待修复视频；
关键帧修复模块，用于提取待修复视频中的关键帧，通过ESRGAN对关键帧的图像进行修复；
视频帧分组模块，用于对待修复视频中的视频帧进行分组，生成帧分组；帧分组中包含有关键帧；
关键帧采样模块，用于对帧分组中修复后的关键帧进行采样，生成样本块；
样本修复模块，用于通过样本块对帧分组中的待修复帧进行修复。
此外，本申请还提供一种视频修复设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行计算机程序时实现如上述的基于ESRGAN的视频超分辨修复技术的步骤。
此外，本申请还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述的基于ESRGAN的视频超分辨修复技术的步骤。
本申请所提供的基于ESRGAN的视频超分辨修复技术，首先获取待修复视频，进而提取待修复视频中的关键帧，并对关键帧的图像进行修复，进而对待修复视频中的视频帧进行分组，各帧分组中均包含有关键帧，在获得到帧分组后，对帧分组中修复后的关键帧进行采样，生成样本块，并基于样本块对帧分组中的待修复帧进行修复。由于本方法考虑到在视频中，关键帧与相邻的视频帧之间的差异往往较小，因此通过对修复后关键帧的采样内容去修复与该关键帧相邻的视频帧，即在视频帧中直接使用关键帧的修复内容，进而在对关键帧以外的视频帧进行修复时无需进行过多的数据处理量，相对降低了视频修复过程的数据处理量，进而提高了视频修复的整体效率。此外，本申请还提供一种视频修复装置、设备及存储介质，有益效果同上所述。
附图说明
为了更清楚地说明本申请实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种基于ESRGAN的视频超分辨修复技术的流程图；
图2为本申请实施例提供的一种基于ESRGAN的视频超分辨修复技术的流程图；
图3为本申请实施例提供的一种视频修复装置的结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本申请保护范围。
对于视频修复，在本质上是对视频中的每一帧的画面进行超分辨的修复，以此到达对视频整体修复的目的，增强分辨率的效果。但是，当前的应用场景下，视频往往是长时间录制生成的，因此视频中所包含的视频帧的数量相对庞大，这就导致对每一帧视频帧进行超分辨处理，数据处理量较为庞大，并且对于视频修复的整体效率相对较低。
为此，本申请的核心是提供一种基于ESRGAN的视频超分辨修复技术，以相对降低视频修复过程的数据处理量，并提高视频修复的整体效率。此外，本申请还提供一种视频修复装置、设备及存储介质。
为了使本技术领域的人员更好地理解本申请方案，下面结合附图和具体实施方式对本申请作进一步的详细说明。
图1为本申请实施例提供的一种基于ESRGAN的视频超分辨修复技术的流程图。请参考图1，基于ESRGAN的视频超分辨修复技术的具体步骤包括：
步骤S10：获取待修复视频。
需要说明的是，本步骤中获取的待修复视频可以具体是监控视频、医学影像视频以及卫星遥感视频等，应根据实际的视频修复的具体场景而定。此外，待修复视频的帧分辨率往往较低，无法达到人类的认知水平，也就是说，用户无法根据待修复视频获悉视频中的具体内容。
步骤S11：提取待修复视频中的关键帧，通过ESRGAN对关键帧的图像进行修复。
本步骤中在待修复视频中提取的关键帧，指的是待修复视频中的角色或者物体运动或变化中的关键动作所处的那一帧，也就是待修复视频的各视频帧中特征最丰富以及鲜明的视频帧。由于待修复视频的整体播放时长，以及待修复视频中内容变化的丰富性根据实际情况有所不同，因此不同待修复视频中所包含的关键帧数量也可能有所不同，可以理解的是，当待修复视频播放内容的整体场景画面变化较小时，其所包含的关键帧数量也相对较少；当待修复视频播放内容的整体场景画面变化较大时，则往往包含多个关键动作，因此其所包含的关键帧数量相对较多。
提取待修复视频中关键帧的方式，通常是采用基于将两帧图像进行差分的方式，得到图像的平均像素强度，可以用此来衡量两帧图像的变化大小。因此，基于帧间差分的平均强度，当视频中的某一帧与相邻的几帧或者十几帧画面内容未产生大的变化时，我们便认为这一系列帧可以组成一组相似帧，对该组进行平均差分强度排序，中间值对应的视频帧即为关键帧。
在获取到待修复视频中的关键帧后，对关键帧进行修复，并以修复后的关键帧替换原有的关键帧。
需要说明的是，ESRGAN，即Enhanced Super-Resolution GenerativeAdversarial Networks(增强的超分辨率生成对抗性网络)，相比于超分辨率生成对抗网络(SRGAN)生成的图像的细节往往伴随着伪影。ESRGAN通过修改网络结构和感知损失，将重点关注在了中间层的误差，而不是输出结果的逐像素误差。避免了生成的高分辨率图象缺少纹理细节信息的问题，进一步提高了视觉质量。
ESRGAN的网络结构分为生成器和判断其两个部分。生成器采用了RRDB(密集残存块)作为基本单位，该结构含有一个“残差再残差”结构，使得在不同层级都能使用到残差，有效的保证了我们梯度信息能够有效的传递而增强生成对抗网络的鲁棒性。同时使用残差缩放和更小的初始化来促进训练更深的网络，有助于提高感知质量，进一步改善修复的纹理。
当我们将关键帧当作一个随机噪声输入到生成器中时，通过多个密集残存块对关键帧提取特征，最后通过subpixel模块进行上采样，让图像在最后的网络层才增加分辨率，提升分辨率的同时也降低了计算资源的消耗。
步骤S12：对待修复视频中的视频帧进行分组，生成帧分组。
帧分组中包含有关键帧。
在对待修复视频中的关键帧进行修复后，进一步对包含有修复后关键帧的待修复视频数据进行视频帧分组，生成多个均包含有关键帧的帧分组。需要强调的是，每一个帧分组中应至少包含一个关键帧，并且在帧分组中包含一个关键帧的情况下，该关键帧应处于帧分组中视频帧的中间位置，以此能够相对提高帧分组中关键帧与相邻视频帧之间的关联程度，进一步提高根据帧分组中关键帧对待修复帧进行修复时的准确性以及可靠性。
步骤S13：对帧分组中修复后的关键帧进行采样，生成样本块。
步骤S14：通过样本块对帧分组中的待修复帧进行修复。
需要说明的是，由于关键帧与其相邻的待修复帧之间内容变化程度往往较小，因此待修复帧能够直接沿用修复后的关键帧中的内容，通过对帧分组中修复后的关键帧进行采样，生成样本块，进而根据样本块对帧分组中的待修复帧进行修复。
本申请所提供的基于ESRGAN的视频超分辨修复技术，首先获取待修复视频，进而提取待修复视频中的关键帧，并对关键帧的图像进行修复，进而对待修复视频中的视频帧进行分组，各帧分组中均包含有关键帧，在获得到帧分组后，对帧分组中修复后的关键帧进行采样，生成样本块，并基于样本块对帧分组中的待修复帧进行修复。由于本方法考虑到在视频中，关键帧与相邻的视频帧之间的差异往往较小，因此通过对修复后关键帧的采样内容去修复与该关键帧相邻的视频帧，即在视频帧中直接使用关键帧的修复内容，进而在对关键帧以外的视频帧进行修复时无需进行过多的数据处理量，相对降低了视频修复过程的数据处理量，进而提高了视频修复的整体效率。
更进一步的，作为一种优选的实施方式，ESRGAN基于VGG19网络构建。
为了更好的训练出生成器，该判别器可以进一步是基于相对判别器(Relativistic Discriminator)的改进网络，采用了相对论平均GAN来增强ESRGAN。网络中的主体是VGG19，而对于损失函数采用了感知损失，它由内容损失和对抗损失两个组成，其中，内容损失由判别器生成，是关于VGG19的层卷积出来的特征的函数。相比于SRGAN，定义出的不同的损失函数，使得判别器不再是用来判断生成的图象是否是fake图象，而是判断真实图像相对于fake图象更加真实的概率，这样子的设置有助于引导生成器修复更详细的纹理，学习更清晰的边缘和更细致的纹理。因此，采用了这种结构的生成器适合于对抗训练中生成的数据和实际数据的渐变，而在ESRGAN中，只有生成的部分生效。从结构中也可以看出，ESRGAN对感知域损失也进行了修改，使用激活前的特征，这样可以为亮度一致性和纹理修复提供更加好的监督。依靠这样的网络结构，ESRGAN可以生成很好的视觉质量以继逼真自然地纹理。同时，图中可以看出采用的是多层的残差连接，使得在每一层中的特征提取更加准确，进而进一步提高视频修复的准确性。
图2为本申请实施例提供的一种基于ESRGAN的视频超分辨修复技术的流程图。请参考图2，基于ESRGAN的视频超分辨修复技术的具体步骤包括：
步骤S20：获取待修复视频。
步骤S21：提取待修复视频中的关键帧，对关键帧的图像进行修复。
步骤S22：对待修复视频中的视频帧进行分组，生成帧分组。
帧分组中包含有关键帧。
步骤S23：利用SURF算法分别对待修复帧以及关键帧进行特征点的提取。
需要说明的是，SURF算法是一个稳健的图像识别和描述算法，能够对图像中的特征信息进行提取，步骤利用SURF算法分别对待修复帧以及关键帧进行特征点的提取，能够相对确保对待修复帧以及关键帧各自特征点进行提取的准确性，以此确保后续计算待修复帧与关键帧之间图像重合区域的准确性。
步骤S24：将待修复帧的特征点与关键帧的特征点进行匹配，生成待修复帧与关键帧的图像重合区域。
可以理解的是，本步骤中，当待修复帧与关键帧在相同区域处的特征点匹配时，则认为该区域是待修复帧与关键帧之间的图像重合区域，图像重合区域表征的是待修复帧与关键帧之间内容一致的图像区域。
步骤S25：提取关键帧在图像重合区域处的第一样本块，以及关键帧在图像重合区域外的第二样本块。
步骤S26：将第一样本块填充至待修复帧的图像重合区域。
需要说明的是，由于关键帧与待修复帧在其二者的图像重合区域中的图像内容是一致的，因此在关键帧的图像重合区域处提取的第一样本块能够直接填充至待修复帧的图像重合区域处，以此完成对待修复帧的图像重合区域处的修复，相对提高了对于待修复帧的图像重合区域处的修复效率。
步骤S27：利用FMM算法对第二样本块进行纹理合成处理，并填充至待修复帧在图像重合区域以外的图像区域。
对于待修复帧的图像重合区域以外发生变化的图像内容进行修复时，利用FMM算法对关键帧在图像重合区域外的图像内容进行纹理合成处理，以此对关键帧重合区域以外的图像内容进行适应性转化，并将转化后的图像内容填充至待修复帧在图像重合区域以外的图像区域。
采用FMM算法时，具体是利用第二样本块中同时包含纹理和结构信息，在关键帧中的已知区域复制像素点(这些像素点包含了已有的纹理和结构信息)填充到目标区域发生变化的区域，区域之间的结构信息则通过改变像素点的填充顺序获得。以目标区域边界轮廓上像素点为中心的一定大小的邻域与像素点构成相应的目标块，计算目标区域边界轮廓上所有目标块的优先级，优先级高的目标块中的像素优先选择填充，最后达到修复待修复帧图像重合区域以外处图像内容的目的。本实施例基于FMM算法进一步提高了对于待修复视频的修复效率。
在上述实施例的基础上，作为一种优选的实施方式，提取待修复视频中的关键帧，包括：
通过将待修复视频输入至光流神经网络的方式提取待修复视频中的关键帧。
本实施方式，采用基于光流法的关键帧提取技术，将待修复视频放入光流神经网络中，可以获得待修复视频中物体的运动光流，基于此，可以根据物体的运动光流情况，对于视频帧进行划分，将光流基本不变的划分为一组，选择其中第一帧作为关键帧，以此能够更加准确的找出关键帧，为后续根据关键帧图像中的样本块修复相邻待修复帧做好充分的预处理，进一步提高视频修复的整体准确性以及可靠性。
图3为本申请实施例提供的一种视频修复装置的结构图。本申请实施例提供的视频修复装置，包括：
视频获取模块10，用于获取待修复视频；
关键帧修复模块11，用于提取待修复视频中的关键帧，对关键帧的图像进行修复；
视频帧分组模块12，用于对待修复视频中的视频帧进行分组，生成帧分组；帧分组中包含有关键帧；
关键帧采样模块13，用于对帧分组中修复后的关键帧进行采样，生成样本块；
样本修复模块14，用于通过样本块对帧分组中的待修复帧进行修复。
本申请所提供的视频修复装置，首先获取待修复视频，进而提取待修复视频中的关键帧，并对关键帧的图像进行修复，进而对待修复视频中的视频帧进行分组，各帧分组中均包含有关键帧，在获得到帧分组后，对帧分组中修复后的关键帧进行采样，生成样本块，并基于样本块对帧分组中的待修复帧进行修复。由于本装置考虑到在视频中，关键帧与相邻的视频帧之间的差异往往较小，因此通过对修复后关键帧的采样内容去修复与该关键帧相邻的视频帧，即在视频帧中直接使用关键帧的修复内容，进而在对关键帧以外的视频帧进行修复时无需进行过多的数据处理量，相对降低了视频修复过程的数据处理量，进而提高了视频修复的整体效率。
此外，本申请还提供一种视频修复设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上述的基于ESRGAN的视频超分辨修复技术的步骤。
本申请所提供的视频修复设备，首先获取待修复视频，进而提取待修复视频中的关键帧，并对关键帧的图像进行修复，进而对待修复视频中的视频帧进行分组，各帧分组中均包含有关键帧，在获得到帧分组后，对帧分组中修复后的关键帧进行采样，生成样本块，并基于样本块对帧分组中的待修复帧进行修复。由于本设备考虑到在视频中，关键帧与相邻的视频帧之间的差异往往较小，因此通过对修复后关键帧的采样内容去修复与该关键帧相邻的视频帧，即在视频帧中直接使用关键帧的修复内容，进而在对关键帧以外的视频帧进行修复时无需进行过多的数据处理量，相对降低了视频修复过程的数据处理量，进而提高了视频修复的整体效率。
此外，本申请还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述的基于ESRGAN的视频超分辨修复技术的步骤。
本申请所提供的计算机可读存储介质，首先获取待修复视频，进而提取待修复视频中的关键帧，并对关键帧的图像进行修复，进而对待修复视频中的视频帧进行分组，各帧分组中均包含有关键帧，在获得到帧分组后，对帧分组中修复后的关键帧进行采样，生成样本块，并基于样本块对帧分组中的待修复帧进行修复。由于本计算机可读存储介质考虑到在视频中，关键帧与相邻的视频帧之间的差异往往较小，因此通过对修复后关键帧的采样内容去修复与该关键帧相邻的视频帧，即在视频帧中直接使用关键帧的修复内容，进而在对关键帧以外的视频帧进行修复时无需进行过多的数据处理量，相对降低了视频修复过程的数据处理量，进而提高了视频修复的整体效率。
以上对本申请所提供的一种基于ESRGAN的视频超分辨修复技术、装置、设备及存储介质进行了详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (8)

1.一种基于ESRGAN的视频超分辨修复技术，其特征在于，包括：
获取待修复视频；
提取所述待修复视频中的关键帧，通过ESRGAN对所述关键帧的图像进行修复；
对所述待修复视频中的视频帧进行分组，生成帧分组；所述帧分组中包含有所述关键帧；
对所述帧分组中修复后的关键帧进行采样，生成样本块；
通过所述样本块对所述帧分组中的待修复帧进行修复。
2.根据权利要求1所述的基于ESRGAN的视频超分辨修复技术，其特征在于，所述ESRGAN基于VGG19网络构建。
3.根据权利要求1所述的基于ESRGAN的视频超分辨修复技术，其特征在于，所述对所述帧分组中修复后的关键帧进行采样，生成样本块，包括：
利用SURF算法分别对所述待修复帧以及所述关键帧进行特征点的提取；
将所述待修复帧的特征点与所述关键帧的特征点进行匹配，生成所述待修复帧与所述关键帧的图像重合区域；
提取所述关键帧在所述图像重合区域处的第一样本块，以及所述关键帧在所述图像重合区域外的第二样本块。
4.根据权利要求3所述的基于ESRGAN的视频超分辨修复技术，其特征在于，所述通过所述样本块对所述帧分组中的待修复帧进行修复，包括：
将所述第一样本块填充至所述待修复帧的所述图像重合区域；
利用FMM算法对所述第二样本块进行纹理合成处理，并填充至所述待修复帧在所述图像重合区域以外的图像区域。
5.根据权利要求1至4任意一项所述的基于ESRGAN的视频超分辨修复技术，其特征在于，所述提取所述待修复视频中的关键帧，包括：
通过将所述待修复视频输入至光流神经网络的方式提取所述待修复视频中的关键帧。
6.一种视频修复装置，其特征在于，包括：
视频获取模块，用于获取待修复视频；
关键帧修复模块，用于提取所述待修复视频中的关键帧，通过ESRGAN对所述关键帧的图像进行修复；
视频帧分组模块，用于对所述待修复视频中的视频帧进行分组，生成帧分组；所述帧分组中包含有所述关键帧；
关键帧采样模块，用于对所述帧分组中修复后的关键帧进行采样，生成样本块；
样本修复模块，用于通过所述样本块对所述帧分组中的待修复帧进行修复。
7.一种视频修复设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至5任一项所述的基于ESRGAN的视频超分辨修复技术的步骤。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的基于ESRGAN的视频超分辨修复技术的步骤。
CN201910707218.3A 2019-08-01 2019-08-01 一种视频超分辨修复方法、装置、设备及存储介质 Active CN110418139B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910707218.3A CN110418139B (zh) 2019-08-01 2019-08-01 一种视频超分辨修复方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910707218.3A CN110418139B (zh) 2019-08-01 2019-08-01 一种视频超分辨修复方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN110418139A true CN110418139A (zh) 2019-11-05
CN110418139B CN110418139B (zh) 2021-08-13

Family

ID=68365148

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910707218.3A Active CN110418139B (zh) 2019-08-01 2019-08-01 一种视频超分辨修复方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN110418139B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110856048A (zh) * 2019-11-21 2020-02-28 北京达佳互联信息技术有限公司 视频修复方法、装置、设备及存储介质
CN111063376A (zh) * 2019-12-13 2020-04-24 厦门市美亚柏科信息股份有限公司 一种mp4修复中音视频同步的方法、终端设备和存储介质
WO2022227886A1 (zh) * 2021-04-27 2022-11-03 北京有竹居网络技术有限公司 超分修复网络模型生成方法、图像超分修复方法及装置
CN116051380A (zh) * 2023-01-13 2023-05-02 深圳大学 一种视频超分辨率处理方法及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106600536A (zh) * 2016-12-14 2017-04-26 同观科技（深圳）有限公司 一种视频图像超分辨率重建方法及装置
US20170193635A1 (en) * 2014-05-28 2017-07-06 Peking University Shenzhen Graduate School Method and apparatus for rapidly reconstructing super-resolution image
CN107274347A (zh) * 2017-07-11 2017-10-20 福建帝视信息科技有限公司 一种基于深度残差网络的视频超分辨率重建方法
CN109118431A (zh) * 2018-09-05 2019-01-01 武汉大学 一种基于多记忆及混合损失的视频超分辨率重建方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170193635A1 (en) * 2014-05-28 2017-07-06 Peking University Shenzhen Graduate School Method and apparatus for rapidly reconstructing super-resolution image
CN106600536A (zh) * 2016-12-14 2017-04-26 同观科技（深圳）有限公司 一种视频图像超分辨率重建方法及装置
CN107274347A (zh) * 2017-07-11 2017-10-20 福建帝视信息科技有限公司 一种基于深度残差网络的视频超分辨率重建方法
CN109118431A (zh) * 2018-09-05 2019-01-01 武汉大学 一种基于多记忆及混合损失的视频超分辨率重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
何小海等: "视频超分辨率重建技术综述", 《信息与电子工程》 *
陈诚: "应用空时相关性的单视频超分辨率重建技术研究", 《中国优秀硕士学位论文全文数据库（电子期刊）》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110856048A (zh) * 2019-11-21 2020-02-28 北京达佳互联信息技术有限公司 视频修复方法、装置、设备及存储介质
CN110856048B (zh) * 2019-11-21 2021-10-08 北京达佳互联信息技术有限公司 视频修复方法、装置、设备及存储介质
CN111063376A (zh) * 2019-12-13 2020-04-24 厦门市美亚柏科信息股份有限公司 一种mp4修复中音视频同步的方法、终端设备和存储介质
CN111063376B (zh) * 2019-12-13 2021-05-14 厦门市美亚柏科信息股份有限公司 一种mp4修复中音视频同步的方法、终端设备和存储介质
WO2022227886A1 (zh) * 2021-04-27 2022-11-03 北京有竹居网络技术有限公司 超分修复网络模型生成方法、图像超分修复方法及装置
CN116051380A (zh) * 2023-01-13 2023-05-02 深圳大学 一种视频超分辨率处理方法及电子设备
CN116051380B (zh) * 2023-01-13 2023-08-22 深圳大学 一种视频超分辨率处理方法及电子设备

Also Published As

Publication number Publication date
CN110418139B (zh) 2021-08-13

Similar Documents

Publication Publication Date Title
CN110418139A (zh) 一种基于esrgan的视频超分辨修复技术
Yue et al. Combining local and global measures for DIBR-synthesized image quality evaluation
Guarnera et al. Preliminary forensics analysis of deepfake images
CN109584178A (zh) 图像修复方法、装置和存储介质
Chen et al. Instance segmentation in the dark
CN110852964A (zh) 一种基于深度学习的图像比特增强方法
CN116503703A (zh) 一种基于分流注意力Transformer的红外光和可见光图像融合系统
Yuan et al. Single image dehazing via NIN-DehazeNet
Yeh et al. Visual-attention-based pixel dimming technique for OLED displays of mobile devices
Hou et al. A perceptual quality metric for video frame interpolation
Liu et al. Enhanced image no‐reference quality assessment based on colour space distribution
Li et al. Image super-resolution reconstruction based on multi-scale dual-attention
Wang et al. Prior‐guided multiscale network for single‐image dehazing
Xu et al. Artistic color virtual reality implementation based on similarity image restoration
CN116664401A (zh) 一种用于电力设备红外图像重建能力的提升方法及系统
CN116523985A (zh) 一种结构和纹理特征引导的双编码器图像修复方法
CN116980549A (zh) 视频帧处理方法、装置、计算机设备和存储介质
Fan et al. Image quality evaluation of Sanda sports video based on BP neural network perception
Xu et al. Going Deeper into Recognizing Actions in Dark Environments: A Comprehensive Benchmark Study
CN113628121A (zh) 数据处理、训练多媒体数据的方法和装置
Liang et al. Spatiotemporal Super‐Resolution Reconstruction Based on Robust Optical Flow and Zernike Moment for Video Sequences
Li et al. Delving Deeper Into Image Dehazing: A Survey
Wang et al. Near-infrared fusion for deep lightness enhancement
CN104700364A (zh) 应用于播放器中的视频图像增强方法
CN111127587A (zh) 一种基于对抗生成网络的无参考图像质量地图生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant