CN113938575A - 一种视频超分辨率重构方法、装置、终端设备及存储介质 - Google Patents

一种视频超分辨率重构方法、装置、终端设备及存储介质 Download PDF

Info

Publication number
CN113938575A
CN113938575A CN202110836733.9A CN202110836733A CN113938575A CN 113938575 A CN113938575 A CN 113938575A CN 202110836733 A CN202110836733 A CN 202110836733A CN 113938575 A CN113938575 A CN 113938575A
Authority
CN
China
Prior art keywords
image
frame
image group
convolution
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110836733.9A
Other languages
English (en)
Other versions
CN113938575B (zh
Inventor
刘婵梓
周飞
卢梓涛
周清峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Dongguan University of Technology
Original Assignee
Shenzhen University
Dongguan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University, Dongguan University of Technology filed Critical Shenzhen University
Priority to CN202110836733.9A priority Critical patent/CN113938575B/zh
Publication of CN113938575A publication Critical patent/CN113938575A/zh
Application granted granted Critical
Publication of CN113938575B publication Critical patent/CN113938575B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及视频处理领域，具体是涉及一种视频超分辨率重构方法、装置、终端设备及存储介质。对获取到的原视频中的原图像组应用帧间对齐去噪算法做图像帧间对齐去噪处理，得到所述原图像组所对应的帧间对齐去噪图像组；对所述帧间对齐去噪图像组应用特征融合算法做特征提取处理，得到所述原图像组所对应的特征图像；对所述特征图像应用超分辨率重构算法做图像重构处理，得到所述原图像组所对应的目标图像。本发明的去噪算法具有很强的鲁棒性，算法鲁棒性越强的算法得到的图像质量越好，只有鲁棒性强的算法得到的图像才能适应于对噪声很敏感的超分辨率重构算法，从而使得超分辨率重构算法输出高质量的高分辨率图像，进而得到高质量的视频图像。

Description

一种视频超分辨率重构方法、装置、终端设备及存储介质
技术领域
本发明涉及视频处理领域，具体是涉及一种视频超分辨率重构方法、装置、终端设备及存储介质。
背景技术
随着硬件设备的不断改进，视频的质量越来越高，人们对视频质量的要求也越来越高。利用超分辨率重构获得更加清晰的视频是提高视频质量一个很有效的手段。超分辨率重构可以应用于医学领域，也可以应用于监控安全方面等众多领域，非常具有研究意义。
现有的视频处理技术是针对每一帧图像进行单独的处理，即使图像中含有噪声，也难以对噪声进行很好的处理，导致最终输出的视频中图像的噪声被放大，进而降低图像的质量。
综上所述，现有技术因对噪声不具有鲁棒性而降低图像的质量。
因此，现有技术还有待改进和提高。
发明内容
为解决上述技术问题，本发明提供了一种视频超分辨率重构方法、装置、终端设备及存储介质，解决了现有技术因对噪声不具有鲁棒性而降低图像的质量的问题。
为实现上述目的，本发明采用了以下技术方案：
第一方面，本发明提供一种视频超分辨率重构方法，其中，包括：
对获取到的原视频中的原图像组应用帧间对齐去噪算法做图像帧间对齐去噪处理，得到所述原图像组所对应的帧间对齐去噪图像组；
对所述帧间对齐去噪图像组应用特征融合算法做特征提取处理，得到所述原图像组所对应的特征图像；
对所述特征图像应用超分辨率重构算法做图像重构处理，得到所述原图像组所对应的目标图像。
在一种实现方式中，所述对获取到的原视频中的原图像组应用帧间对齐去噪算法做图像帧间对齐去噪处理，得到所述原图像组所对应的帧间对齐去噪图像组，包括：
获取原视频中的由连续帧图像组成的原图像组；
将所述原图像组中的其中一帧图像作为参考帧图像；
依据所述参考帧图像所对应的参考像素值以及所述参考像素值所对应的参考位置，修改相邻帧图像中与所述参考位置所对应位置处的像素值，得到所述相邻帧图像所对应的去噪对齐后图像，所述相邻帧图像为位于所述参考帧图像前后的图像；
将所述原图像组中的其它帧图像作为下一个所述参考帧图像，直至得到由所述原图像组中的所有帧图像所对应的去噪对齐后图像构成的去噪对齐后图像组。
在一种实现方式中，所述依据所述参考帧图像所对应的参考像素值以及所述参考像素值所对应的参考位置，修改相邻帧图像中与所述参考位置所对应位置处的像素值，得到所述相邻帧图像所对应的去噪对齐后图像，所述相邻帧图像为位于所述参考帧图像前后的图像，包括：
依据所述参考帧图像中的所述参考像素值，得到所述相邻帧图像中与所述参考像素值所匹配的匹配像素值；
将所述相邻帧图像中与所述参考位置所对应位置处的像素值修改为所述匹配像素值，得到所述相邻帧图像所对应的去噪对齐后图像。
在一种实现方式中，所述依据所述参考帧图像中的所述参考像素值，得到所述相邻帧图像中与所述参考像素值所匹配的匹配像素值，包括：
将所述参考帧图像和所述相邻帧图像以相同的方式进行分块；
依据所述参考帧图像中的参考块所对应的参考像素值，得到所述相邻帧图像中与所述参考像素值所匹配的匹配块，所述匹配块的像素值与所述参考像素值所对应；
依据所述匹配块的像素值，得到所述相邻帧图像中与所述参考像素值所匹配的匹配像素值。
在一种实现方式中，所述将所述相邻帧图像中与所述参考位置所对应位置处的像素值修改为所述匹配像素值，得到所述相邻帧图像所对应的去噪对齐后图像，包括：
将所述相邻帧图像中与所述参考块所对应的块的像素值修改为所述匹配块的像素值。
在一种实现方式中，所述对所述帧间对齐去噪图像组应用特征融合算法做特征提取处理，得到所述原图像组所对应的特征图像，包括：
对所述帧间对齐去噪图像组中各帧去噪对齐后图像进行卷积计算，得到各帧所述去噪对齐后图像所对应的第一卷积图像；
将各个所述第一卷积图像进行组合，得到各个第一卷积图像组；
对各个所述第一卷积图像组再分别进行卷积计算，得到各个所述第一卷积图像组所对应的第二卷积图像；
依据所述第一卷积图像和所述第二卷积图像，得到所述原图像组所对应的特征图像。
在一种实现方式中，所述依据所述第一卷积图像和所述第二卷积图像，得到所述原图像组所对应的特征图像，包括：
将各个所述第一卷积图像和各个所述第二卷积图像进行组合，得到第二卷积图像组；
对各个所述第二卷积图像组再分别进行卷积计算，得到各个所述第二卷积图像组所对应的第三卷积图像；
依据所述第三卷积图像，得到所述原图像组所对应的特征图像。
第二方面，本发明实施例还提供一种视频超分辨率重构方法的装置，其中，所述装置包括如下组成部分：
图像对齐去噪模块，用于对获取到的原视频中的原图像组应用帧间对齐去噪算法做图像帧间对齐去噪处理，得到所述原图像组所对应的帧间对齐去噪图像组；
特征融合模块，用于对所述帧间对齐去噪图像组应用特征融合算法做特征提取处理，得到所述原图像组所对应的特征图像；
图像重构模块，用于对所述特征图像应用超分辨率重构算法做图像重构处理，得到所述原图像组所对应的目标图像。
第三方面，本发明实施例还提供一种终端设备，其中，所述终端设备包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的视频超分辨率重构程序，所述处理器执行所述视频超分辨率重构程序时，实现上述所述的视频超分辨率重构方法的步骤。
第四方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有视频超分辨率重构程序，所述视频超分辨率重构程序被处理器执行时，实现上述所述的视频超分辨率重构方法的步骤。
有益效果：超分辨率重构算法对噪声很敏感，一旦图像中含有噪声，则其输出的图像质量很差，严重影响图像的质量。本发明在去噪算法中采用图像组而非单个图像，通过图像组中的各个图像的相互作用，达到去除图像中的噪声，本发明的去噪算法具有很强的鲁棒性，算法鲁棒性越强得到的图像质量越好，只有鲁棒性强的算法得到的图像才能适应于对噪声很敏感的超分辨率重构算法，从而使得超分辨率重构算法输出高质量的高分辨率图像，进而得到高质量的视频图像。
另外，经过本发明的方法得到的去噪图像，由于该算法具有很强的鲁棒性，使得特征融合算法对图像组中的各个去噪图像进行特征融合而得到的特征图像才能更好的反映视频图像的特征，进而使得后续的超分辨率重构算法输出高质量的视频图像。特征融合算法作为超分辨率重构算法的必要前序步骤，本发明采用鲁棒性强的帧间对齐算法对特征融合算法需要处理的图像进行去噪，从而间接提高了超分辨率重构算法输出的视频图像的质量，进而得到清晰度较高的视频图像，以满足用户需求。
附图说明
图1为本发明的整体流程图；
图2为本发明的提取特征图像的流程图；
图3为本发明的卷积示意图；
图4A为提高分辨率之前带有噪声的图像；
图4B为本发明提高分辨率之后的图像。
具体实施方式
以下结合实施例和说明书附图，对本发明中的技术方案进行清楚、完整地描述。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
经研究发现，随着硬件设备的不断改进，视频的质量越来越高，人们对视频质量的要求也越来越高。利用超分辨率重构获得更加清晰的视频是提高视频质量一个很有效的手段。超分辨率重构可以应用于医学领域，也可以应用于监控安全方面等众多领域，非常具有研究意义。现有的视频处理技术是针对每一帧图像进行单独的处理，即使图像中含有噪声，也难以对噪声进行很好的处理，导致最终输出的视频中图像的噪声被放大，进而降低图像的质量。现有技术因对噪声不具有鲁棒性而降低图像的质量。
为解决上述技术问题，本发明提供了一种视频超分辨率重构方法、装置、终端设备及存储介质，解决了现有技术因对噪声不具有鲁棒性而降低图像的质量的问题。具体实施时，对获取到的原视频中的原图像组应用帧间对齐去噪算法做图像帧间对齐去噪处理，得到所述原图像组所对应的帧间对齐去噪图像组；对所述帧间对齐去噪图像组应用特征融合算法做特征提取处理，得到所述原图像组所对应的特征图像；对所述特征图像应用超分辨率重构算法做图像重构处理，得到所述原图像组所对应的目标图像。本发明在去噪算法中采用图像组而非单个图像，通过图像组中的各个图像的相互作用，达到去除图像中的噪声，本发明的去噪算法具有很强的鲁棒性，算法的鲁棒性越强得到的图像质量越好，只有鲁棒性强的算法所得图像才能适应于对噪声很敏感的超分辨率重构算法，从而使得超分辨率重构算法输出高质量的图像，进而得到高质量的视频图像。
举例说明，通过一段视频获取一组原图像组，这一组原图像组中包含有五帧图像，将五帧图像输入到去噪算法中，由于是五帧图像同时进行去噪，而非单个图像单独进行去噪，经五帧图像相互作用区别出各个图像中所含有的像素值不同于其他图像中的像素值，进而在各个图像中去除该像素值，从而得到具有鲁棒性的五帧图像各自对应的去噪图像，再将去噪图像输入到特征融合算法中，得到融合了五帧图像特征的特征图像，最后将特征图像输入到超分辨率重构算法，以提高图像的分辨率。
示例性方法
本实施例的一种视频超分辨率重构方法可应用于终端设备中，所述终端设备可为具有视频播放功能的终端产品，比如电视机、手机等。在本实施例中，如图1中所示，所述视频超分辨率重构方法具体包括如下步骤：
S100，对获取到的原视频中的原图像组应用帧间对齐去噪算法做图像帧间对齐去噪处理，得到所述原图像组所对应的帧间对齐去噪图像组。
原图像组中包含有连续的多帧图像，所以对连续的多帧图像同时进行去噪，利用它们之间的相互影响，能够很好地去除噪声。本实施例中，帧间对齐去噪算法指的值在将图像进行帧间对齐的同时还能去除图像中的噪声。以两帧图像为例，其中一帧图像的像素值用3x3块所对应的值表示,在另一帧图像中有像素值也有3x3块，当两帧图像中的3x3块所对应的值很接近或者甚至相等，此时便可以将另一帧图像的像素值设置为其中一帧图像3x3块所对应的值，以此实现上述两帧图像之间的帧间对齐。本实施例中的3x3块也可以变为5x5块。
步骤S100包括如下的步骤S101、S102、S103、S104
S101，获取原视频中的由连续帧图像组成的原图像组。
S102，将所述原图像组中的其中一帧图像作为参考帧图像。
S103，依据所述参考帧图像所对应的参考像素值以及所述参考像素值所对应的参考位置，修改相邻帧图像中与所述参考位置所对应位置处的像素值，得到所述相邻帧图像所对应的去噪对齐后图像，所述相邻帧图像为位于所述参考帧图像前后的图像。
S104，将所述原图像组中的其它帧图像作为下一个所述参考帧图像，直至得到由所述原图像组中的所有帧图像所对应的去噪对齐后图像构成的去噪对齐后图像组。
一段视频中由很多帧图像组成，从这段视频中选择连续的帧图像组成原图像组，比如一段视频中含有十帧图像，可以选择第四帧图像、第五帧图像、第六帧图像、第七帧图像、第八帧图像组成原图像组。在选择好原图像组的基础上再将原图像组中任意一帧图像作为参考帧图像，本实施例选择位于中间的那一帧图像作为参考帧图像，这是因为中间的那一帧图像更能反映整个原图像组的特征。选择好参考帧图像之后，开始修改相邻帧图像的像素值，本实施例中修改相邻帧图像的像素值具体包括：将所述参考帧图像和所述相邻帧图像以相同的方式进行分块；依据所述参考帧图像中的参考块所对应的参考像素值；得到所述相邻帧图像中与所述参考像素值所匹配的匹配块，所述匹配块的像素值与所述参考像素值所对应；依据所述匹配块的像素值，得到所述相邻帧图像中与所述参考像素值所匹配的匹配像素值；将所述相邻帧图像中与所述参考块所对应的块的像素值修改为所述匹配块的像素值，此时完成修改相邻帧图像的像素值的操作。
本实施例中，参考帧图像分成多少块，相邻帧图像也分成多少块，由于参考帧图像和相邻帧图像的尺寸相同，所以参考帧图像上的各个块尺寸与相邻帧图像上的各个块的尺寸相同。之所以分块，是为了方便标记位置。
本实施例中依据所述参考帧图像所对应的参考像素值以及所述参考像素值所对应的参考位置，修改相邻帧图像中与所述参考位置所对应位置处的像素值。比如参考帧图像中的第一个块的像素值为五，相邻帧图像中的第三个块的像素值与五很接近，像素值为五点五，则相邻帧图像中的第三个块就是参考帧图像中的第一个块所对应的匹配块，那么相邻帧图像中的第三个块的像素值与参考帧图像中的第一个块的像素值接近，即相邻帧图像中的第三个块的像素值就是与参考帧图像的第一个像素值所匹配的匹配像素值，就可以把相邻帧图像中的第三个块的像素值进行加权求和之后作为相邻帧图像中的第一个块的像素值。
S101、S102、S103是以其中一帧图像作为参考帧图像，对其它帧图像进行去噪的，步骤S104的目的是为了将所有帧图像都作为参考帧图像重复对图像进行去噪，从而提高整体原图像组的去噪效果，由S101、S102、S103、 S104构成的整个步骤S100其实质类似于均值去噪，即利用加权求和的方式消减图像中的噪声，以达到去噪的目的。
举例说明，获取由五帧图像构成的视频段，并且将这五帧图像作为一组原图像组，原图像组的第三帧图像为参考帧图像，原图像组的第一二四五帧图像为第三帧图像的相邻帧图像。假如五帧图像都划分成十块，第四帧图像的第三块的像素值与第三帧图像的第四块的像素值最近似，得到的第四帧图像的第三块的权重就最高，相应的每一块都得到相应的权重值，越相似则权重值越高，权重值总和为1，最后将所有权重值与其对应的像素块相乘再相加，作为第四帧图像的第四块的像素值，对于第五帧图像也进行同样的操作。之后再将五帧图像中的其他帧图像作为参考帧，再重复上述步骤，直至所有帧图像都作为过参考帧图像，这样的做法在做到运动估计与运动补偿的同时，进行了一个类似加权求和滤波的操作。这样获取的整个原图像组的每一帧图像都是帧间对齐且去噪之后的图像，而且该去噪算法对噪声具有鲁棒性。
步骤S100是基于非局部滤波算法进行去噪的，具体原理如下：
整个步骤S100是采用非局部滤波(Non-local Spatio-temporal)这一算法的，非局部滤波的原理如下：
Figure RE-GDA0003422068780000081
Figure RE-GDA0003422068780000082
Figure RE-GDA0003422068780000083
xi表示参考帧图像上第i块图像，yj表示相邻帧图像中所有与xi像素值相似的块，zi表示运动补偿之后输出的相邻帧图像的第i块图像，即非局部滤波算法输出的去噪图像。函数f(xi,yj)为xi与yj之间的位置函数。g(yj)为yj的表征，H(x)为f(xi,yj)的归一化，||xi-yj||2代表xi与yj之间的相似性。h是一个在训练中固定的可调节参数，
Figure RE-GDA0003422068780000084
为相邻帧图像中的第j块。
公式(1)(2)(3)通过一种非局部操作来捕获依赖关系对参考帧和相邻帧进行像素级的非局部操作，以实现信息对齐。它不仅能实现运动估计和补偿，而且自然具有对噪声具有鲁棒性的能力。
S200，对所述帧间对齐去噪图像组应用特征融合算法做特征提取处理，得到所述原图像组所对应的特征图像。
特征融合算法(Inter-Frame Feature Fusion Module)用于将相似图像中具有的特征进行提取而输出一副特征图。
如图2所示，步骤S200包括如下的步骤S201、S202、S203、S204、S205、 S206：
S201，对所述帧间对齐去噪图像组中各帧去噪对齐后图像进行卷积计算，得到各帧所述去噪对齐后图像所对应的第一卷积图像。
本实施例首先对步骤S100输出的图像进行7*7卷积层的计算，将7*7 卷积层输出的图像再进行步骤S201的3*3卷积层的计算。
S202，将各个所述第一卷积图像进行组合，得到各个第一卷积图像组。
举例说明，有五个第一卷积图像，可以将五个第一卷积图像进行两两组合、任意三个组合在一起、任意四个组合在一起，本实施例是任意三个组合在一起，五个第一卷积图像就组合出三个第一卷积图像组。
S203，对各个所述第一卷积图像组再分别进行卷积计算，得到各个所述第一卷积图像组所对应的第二卷积图像。
对步骤S202组合出来的三个第一卷积图像组再分别进行卷积计算，得到三个第一卷积图像组各自所对应的第二卷积图像。
S204，将各个所述第一卷积图像和各个所述第二卷积图像进行组合，得到第二卷积图像组。
将任意一个第一卷积图像和任意一个第二卷积图像进行组合，得到第一卷积图像和第二卷积图像形成的堆栈组合。
S205，对各个所述第二卷积图像组再分别进行卷积计算，得到各个所述第二卷积图像组所对应的第三卷积图像。
第二卷积图像组中有五个堆栈，五个堆栈再分别进行卷积计算，得到五个卷积结果，只取其中一个卷积结果。
S206，依据所述第三卷积图像，得到所述原图像组所对应的特征图像。
步骤S205只取其中一个卷积结果，再重复进行上述步骤，直至得到达到设定条件的特征图像，这个特征图像就是原图像组所对应的特征图像。
举例说明，以一段视频中包含五帧图像为例说明S200的具体过程：
步骤S100得到五帧去燥之后的图像，将这五帧图像分别进行7*7卷积层，之后再依次进行S101中的3*3的卷积、S202的组合之后的第一卷积图像组、S203的卷积计算、S204组合之后的第二卷积图像组、S205的卷积计算以及S206的卷积计算，最后得到一帧特征图像。
下面以一段视频中包含五帧图像为例说明S200的原理：
为了有效地利用连续帧间的时空信息和融合，我们提出了一个帧间特征融合块(IFFFB)。It-2 It-1 It It+1 It+2为S100输出的五帧去噪之后的图像，先对它们进行7x7的卷积计算，在进行如图3所示的一系列计算，以第t帧为例，首先采用3x3卷积层，可描述为：
F1 t＝conv_1(F0 t) (5)
其中，t表示时间维度的索引，Conv_1代表第一层卷积，图3中的F0 t代表输入的特征(S100输出的图像经过7x7的卷积计算的结果)，F1 t代表提取后的特征图，它包含了每个输入特征的信息。
之后特征图堆叠在一起，本实施例以特征图{F1 t-1，F1 t，F1 t+1}堆叠在一起为例：
Figure RE-GDA0003422068780000101
其中，C(·)代表堆叠，前后帧具有最接近参考框架的信息。也就是说，这个堆叠的深度特征图包含了大量最相似的时间相关信息。
F2 t会经过第二个卷积层：
Figure RE-GDA0003422068780000111
公式(7)目的是减少维度，得到具有更强的表征能力。
把特征图{F3 t，F1 t}堆叠起来：
Figure RE-GDA0003422068780000112
特征图F4 t包含了两种信息：当前帧的空间信息和不同帧之间在时间维度上的信息。
最后，我们通过最后3x3卷积层，确保输入和输出尺寸相同：
Figure RE-GDA0003422068780000113
F5包含了Qt-2、Qt-1、Qt、Qt+1、Qt+2，选取其中的Qt特征图再进行下一轮的卷积计算，直到得到达到设定条件的特征图像。
S300，对所述特征图像应用超分辨率重构算法做图像重构处理，得到所述原图像组所对应的目标图像。
步骤S100和S200是以中间帧图像作为参考帧图像所得到的一帧特征图像，再以其他帧图像为参考帧图像，就可以获取五帧特征图，五帧特征图分别输入到超分辨率重构算法就得到了五帧提高分辨率之后的图像，进而得到原图像组中的五帧图像所对应的提高分辨率之后的图像，从而得到截取的含有五帧图像的视频段提高分辨率之后的视频。
举例说明，图4A是带有噪声的图像，图4B是经过本发明的去噪、特征融合和超分辨率重构算法得到的清晰图像。
综上，超分辨率重构算法对噪声很敏感，一旦图像中含有噪声，则其输出的图像质量很差，严重影响图像的质量。本发明在帧间对齐去噪算法中采用图像组而非单个图像，通过图像组中的各个图像的相互作用，达到去除图像中的噪声，本发明的去噪算法具有很强的鲁棒性，算法鲁棒性越强的算法得到的图像质量越好，只有鲁棒性强的算法得到的图像才能适应于对噪声很敏感的超分辨率重构算法，从而使得超分辨率重构算法输出高质量的高分辨率图像，进而得到高质量的视频图像。经过本发明的方法得到的去噪图像，由于该算法得到的图像具有很强的鲁棒性，使得特征融合算法对图像组中的各个去噪图像进行特征融合而得到的特征图像才能更好的反映视频图像的特征，进而使得后续的超分辨率重构算法输出高质量的视频图像。特征融合算法作为超分辨率重构算法的必要前序步骤，本发明采用鲁棒性强的帧间对齐算法对特征融合算法需要处理的图像进行去噪，从而间接提高了超分辨率重构算法输出的视频图像的质量，进而得到清晰度较高的视频图像，以满足用户需求。
本发明使用基于非局部时空模块与帧间特征融合模块的视频超分辨率重构方法，实现了对噪声具有鲁棒性的超分效果。在带噪视频的超分上的测试，本发明比现有的超分方法对噪声的适应性更强，视觉效果更好，且客观实验数据优胜于现有的超分辨率重构方法。
本发明的算法是以非局部时空模块与帧间特征融合模块为基础的。使用非局部时空模块在实现运动估计与运动补偿的同时，利用其self-attention 的机制实现对噪声的鲁棒性。使用帧间特征融合模块实现对帧内与帧间特征的深度融合。然后通过任意一个可替换的单帧超分辨率重构算法实现分辨率的提升。最终的结果显示使用本发明的方案能做到输入带噪的视频帧，输出清晰无噪声的超分结果。
示例性装置
本实施例还提供一种视频超分辨率重构方法的装置，所述装置包括如下组成部分：
图像对齐去噪模块，用于对获取到的原视频中的原图像组应用帧间对齐去噪算法做图像帧间对齐去噪处理，得到所述原图像组所对应的帧间对齐去噪图像组；
特征融合模块，用于对所述帧间对齐去噪图像组应用特征融合算法做特征提取处理，得到所述原图像组所对应的特征图像；
图像重构模块，用于对所述特征图像应用超分辨率重构算法做图像重构处理，得到所述原图像组所对应的目标图像。
基于上述实施例，本发明还提供了一种终端设备，所述终端设备包括所述终端设备包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的视频超分辨率重构程序，所述处理器执行所述视频超分辨率重构程序时，实现上述所述的视频超分辨率重构方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/ 或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM (DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM (ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus) 直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
综上，本发明公开了一种视频超分辨率重构方法、装置、终端设备及存储介质，所述方法包括：对获取到的原视频中的原图像组应用帧间对齐去噪算法做图像帧间对齐去噪处理，得到所述原图像组所对应的帧间对齐去噪图像组；对所述帧间对齐去噪图像组应用特征融合算法做特征提取处理，得到所述原图像组所对应的特征图像；对所述特征图像应用超分辨率重构算法做图像重构处理，得到所述原图像组所对应的目标图像。本发明采用鲁棒性强的帧间对齐算法对特征融合算法需要处理的图像进行去噪，从而间接提高了超分辨率重构算法输出的视频图像的质量，进而得到清晰度较高的视频图像，以满足用户需求。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种视频超分辨率重构方法，其特征在于，包括：
对获取到的原视频中的原图像组应用帧间对齐去噪算法做图像帧间对齐去噪处理，得到所述原图像组所对应的帧间对齐去噪图像组；
对所述帧间对齐去噪图像组应用特征融合算法做特征提取处理，得到所述原图像组所对应的特征图像；
对所述特征图像应用超分辨率重构算法做图像重构处理，得到所述原图像组所对应的目标图像。
2.如权利要求1所述的视频超分辨率重构方法，其特征在于，所述对获取到的原视频中的原图像组应用帧间对齐去噪算法做图像帧间对齐去噪处理，得到所述原图像组所对应的帧间对齐去噪图像组，包括：
获取原视频中的由连续帧图像组成的原图像组；
将所述原图像组中的其中一帧图像作为参考帧图像；
依据所述参考帧图像所对应的参考像素值以及所述参考像素值所对应的参考位置，修改相邻帧图像中与所述参考位置所对应位置处的像素值，得到所述相邻帧图像所对应的去噪对齐后图像，所述相邻帧图像为位于所述参考帧图像前后的图像；
将所述原图像组中的其它帧图像作为下一个所述参考帧图像，直至得到由所述原图像组中的所有帧图像所对应的去噪对齐后图像构成的去噪对齐后图像组。
3.如权利要求2所述的视频超分辨率重构方法，其特征在于，所述依据所述参考帧图像所对应的参考像素值以及所述参考像素值所对应的参考位置，修改相邻帧图像中与所述参考位置所对应位置处的像素值，得到所述相邻帧图像所对应的去噪对齐后图像，所述相邻帧图像为位于所述参考帧图像前后的图像，包括：
依据所述参考帧图像中的所述参考像素值，得到所述相邻帧图像中与所述参考像素值所匹配的匹配像素值；
将所述相邻帧图像中与所述参考位置所对应位置处的像素值修改为所述匹配像素值，得到所述相邻帧图像所对应的去噪对齐后图像。
4.如权利要求3所述的视频超分辨率重构方法，其特征在于，所述依据所述参考帧图像中的所述参考像素值，得到所述相邻帧图像中与所述参考像素值所匹配的匹配像素值，包括：
将所述参考帧图像和所述相邻帧图像以相同的方式进行分块；
依据所述参考帧图像中的参考块所对应的参考像素值，得到所述相邻帧图像中与所述参考像素值所匹配的匹配块，所述匹配块的像素值与所述参考像素值所对应；
依据所述匹配块的像素值，得到所述相邻帧图像中与所述参考像素值所匹配的匹配像素值。
5.如权利要求4所述的视频超分辨率重构方法，其特征在于，所述将所述相邻帧图像中与所述参考位置所对应位置处的像素值修改为所述匹配像素值，得到所述相邻帧图像所对应的去噪对齐后图像，包括：
将所述相邻帧图像中与所述参考块所对应的块的像素值修改为所述匹配块的像素值。
6.如权利要求1所述的视频超分辨率重构方法，其特征在于，所述对所述帧间对齐去噪图像组应用特征融合算法做特征提取处理，得到所述原图像组所对应的特征图像，包括：
对所述帧间对齐去噪图像组中各帧去噪对齐后图像进行卷积计算，得到各帧所述去噪对齐后图像所对应的第一卷积图像；
将各个所述第一卷积图像进行组合，得到各个第一卷积图像组；
对各个所述第一卷积图像组再分别进行卷积计算，得到各个所述第一卷积图像组所对应的第二卷积图像；
依据所述第一卷积图像和所述第二卷积图像，得到所述原图像组所对应的特征图像。
7.如权利要求6所述的视频超分辨率重构方法，其特征在于，所述依据所述第一卷积图像和所述第二卷积图像，得到所述原图像组所对应的特征图像，包括：
将各个所述第一卷积图像和各个所述第二卷积图像进行组合，得到第二卷积图像组；
对各个所述第二卷积图像组再分别进行卷积计算，得到各个所述第二卷积图像组所对应的第三卷积图像；
依据所述第三卷积图像，得到所述原图像组所对应的特征图像。
8.一种视频超分辨率重构方法的装置，其特征在于，所述装置包括如下组成部分：
图像对齐去噪模块，用于对获取到的原视频中的原图像组应用帧间对齐去噪算法做图像帧间对齐去噪处理，得到所述原图像组所对应的帧间对齐去噪图像组；
特征融合模块，用于对所述帧间对齐去噪图像组应用特征融合算法做特征提取处理，得到所述原图像组所对应的特征图像；
图像重构模块，用于对所述特征图像应用超分辨率重构算法做图像重构处理，得到所述原图像组所对应的目标图像。
9.一种终端设备，其特征在于，所述终端设备包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的视频超分辨率重构程序，所述处理器执行所述视频超分辨率重构程序时，实现如权利要求1-7任一项所述的视频超分辨率重构方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有视频超分辨率重构程序，所述视频超分辨率重构程序被处理器执行时，实现如权利要求1-7任一项所述的视频超分辨率重构方法的步骤。
CN202110836733.9A 2021-07-23 2021-07-23 一种视频超分辨率重构方法、装置、终端设备及存储介质 Active CN113938575B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110836733.9A CN113938575B (zh) 2021-07-23 2021-07-23 一种视频超分辨率重构方法、装置、终端设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110836733.9A CN113938575B (zh) 2021-07-23 2021-07-23 一种视频超分辨率重构方法、装置、终端设备及存储介质

Publications (2)

Publication Number Publication Date
CN113938575A true CN113938575A (zh) 2022-01-14
CN113938575B CN113938575B (zh) 2023-06-13

Family

ID=79274508

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110836733.9A Active CN113938575B (zh) 2021-07-23 2021-07-23 一种视频超分辨率重构方法、装置、终端设备及存储介质

Country Status (1)

Country Link
CN (1) CN113938575B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100165206A1 (en) * 2008-12-30 2010-07-01 Intel Corporation Method and apparatus for noise reduction in video
US20130235272A1 (en) * 2012-03-12 2013-09-12 Kabushiki Kaisha Toshiba Image processing apparatus and image processing method
WO2013131929A1 (en) * 2012-03-05 2013-09-12 Thomson Licensing Method and apparatus for performing super-resolution
US20150262336A1 (en) * 2014-03-11 2015-09-17 Adobe Systems Incorporated Video Denoising Using Optical Flow
US20160358314A1 (en) * 2015-06-03 2016-12-08 Zhengping Ji Method and apparatus of multi-frame super resolution robust to local and global motion
WO2017101489A1 (zh) * 2015-12-14 2017-06-22 乐视控股（北京）有限公司 图像滤波方法及装置
WO2018026586A1 (en) * 2016-08-03 2018-02-08 Microsoft Technology Licensing, Llc Combining images aligned to reference frame
WO2018113696A1 (en) * 2016-12-22 2018-06-28 Mediatek Inc. Non-local adaptive loop filter combining multiple denoising technologies and grouping image patches in parallel
CN111047516A (zh) * 2020-03-12 2020-04-21 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备和存储介质
CN112700392A (zh) * 2020-12-01 2021-04-23 华南理工大学 一种视频超分辨率处理方法、设备及存储介质
CN112767247A (zh) * 2021-01-13 2021-05-07 京东方科技集团股份有限公司 图像超分辨率重建方法、模型蒸馏方法、装置及存储介质
CN112991203A (zh) * 2021-03-08 2021-06-18 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100165206A1 (en) * 2008-12-30 2010-07-01 Intel Corporation Method and apparatus for noise reduction in video
WO2013131929A1 (en) * 2012-03-05 2013-09-12 Thomson Licensing Method and apparatus for performing super-resolution
US20130235272A1 (en) * 2012-03-12 2013-09-12 Kabushiki Kaisha Toshiba Image processing apparatus and image processing method
US20150262336A1 (en) * 2014-03-11 2015-09-17 Adobe Systems Incorporated Video Denoising Using Optical Flow
US20160358314A1 (en) * 2015-06-03 2016-12-08 Zhengping Ji Method and apparatus of multi-frame super resolution robust to local and global motion
WO2017101489A1 (zh) * 2015-12-14 2017-06-22 乐视控股（北京）有限公司 图像滤波方法及装置
WO2018026586A1 (en) * 2016-08-03 2018-02-08 Microsoft Technology Licensing, Llc Combining images aligned to reference frame
WO2018113696A1 (en) * 2016-12-22 2018-06-28 Mediatek Inc. Non-local adaptive loop filter combining multiple denoising technologies and grouping image patches in parallel
CN111047516A (zh) * 2020-03-12 2020-04-21 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备和存储介质
CN112700392A (zh) * 2020-12-01 2021-04-23 华南理工大学 一种视频超分辨率处理方法、设备及存储介质
CN112767247A (zh) * 2021-01-13 2021-05-07 京东方科技集团股份有限公司 图像超分辨率重建方法、模型蒸馏方法、装置及存储介质
CN112991203A (zh) * 2021-03-08 2021-06-18 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
刘婵梓: "基于稀疏表示与压缩感知的高效信号处理技术及其应用", 博士论文 *
周清锋: "A Novel Speckle Noise Reduction Algorithm for Old Movies Recovery", 2018 11TH INTERNATIONAL CONGRESS ON IMAGE AND SIGNAL PROCESSING, BIOMEDICAL ENGINEERING AND INFORMATICS (CISP-BMEI) *
毕国堂;唐权华;陈立伟;: "基于视频流体模型的图像超分辨率重建", 计算机工程, no. 04 *
薛俊韬;倪晨阳;杨斯雪;: "特征聚类的局部敏感稀疏图像修复", 红外与激光工程, no. 11 *

Also Published As

Publication number Publication date
CN113938575B (zh) 2023-06-13

Similar Documents

Publication Publication Date Title
Zhang et al. DMCNN: Dual-domain multi-scale convolutional neural network for compression artifacts removal
EP3816928A1 (en) Image super-resolution reconstruction method, image super-resolution reconstruction apparatus, and computer-readable storage medium
CN110782399B (zh) 一种基于多任务cnn的图像去模糊方法
Dong et al. Compression artifacts reduction by a deep convolutional network
WO2021233006A1 (zh) 图像处理模型的训练方法、图像处理方法、装置及设备
WO2022166245A1 (zh) 一种视频帧的超分辨率重构方法
US20190294931A1 (en) Systems and Methods for Generative Ensemble Networks
CN108537754B (zh) 基于形变引导图的人脸图像复原系统
CN112164011B (zh) 基于自适应残差与递归交叉注意力的运动图像去模糊方法
CN111091503A (zh) 基于深度学习的图像去失焦模糊方法
Zheng et al. Wavelet based nonlocal-means super-resolution for video sequences
Ni et al. Color image demosaicing using progressive collaborative representation
CN115409716B (zh) 视频处理方法、装置、存储介质及设备
Rothe et al. Efficient regression priors for reducing image compression artifacts
CN112218094A (zh) 一种基于dct系数预测的jpeg图像去压缩效应方法
Umer et al. Deep super-resolution network for single image super-resolution with realistic degradations
CN117333398A (zh) 一种基于自监督的多尺度图像去噪方法及装置
US20220122225A1 (en) Image quality improvement method and image processing apparatus using the same
Barzigar et al. A video super-resolution framework using SCoBeP
RU2583725C1 (ru) Способ и система для обработки изображения
CN113938575B (zh) 一种视频超分辨率重构方法、装置、终端设备及存储介质
Özkan et al. Steered-Mixture-of-Experts Regression for Image Denoising with Multi-Model Inference
Amaranageswarao et al. Deep dilated and densely connected parallel convolutional groups for compression artifacts reduction
Miyata Inter-channel relation based vectorial total variation for color image recovery
WO2022133874A1 (zh) 图像处理方法及设备、计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant