CN116797452A - 一种视频的超分辨率方法及装置 - Google Patents

一种视频的超分辨率方法及装置 Download PDF

Info

Publication number
CN116797452A
CN116797452A CN202210265124.7A CN202210265124A CN116797452A CN 116797452 A CN116797452 A CN 116797452A CN 202210265124 A CN202210265124 A CN 202210265124A CN 116797452 A CN116797452 A CN 116797452A
Authority
CN
China
Prior art keywords
image
image block
image frame
feature
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210265124.7A
Other languages
English (en)
Inventor
董航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
Original Assignee
Beijing ByteDance Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd filed Critical Beijing ByteDance Network Technology Co Ltd
Priority to CN202210265124.7A priority Critical patent/CN116797452A/zh
Priority to PCT/CN2023/082228 priority patent/WO2023174416A1/zh
Publication of CN116797452A publication Critical patent/CN116797452A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0102—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving the resampling of the incoming video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20216—Image averaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)

Abstract

本发明实施例提供了一种视频的超分辨率方法及装置，涉及图像处理技术领域。该方法包括：分别将待超分视频的第t个图像帧和第t个图像帧的邻域图像帧分解为N个图像块；生成N个图像块序列，图像块序列中的各个图像块分别位于不同图像帧的相同位置；计算各个图像块序列的运动参数；图像块序列的运动参数包括该图像块序列中各个相邻图像帧的图像块之间的运动参数；根据各个图像块序列的运动参数确定各个图像块序列对应的超分网络模型；采用对应的超分网络模型对各个图像块序列中的第t个图像帧的图像块进行超分，获取第t个图像帧的各个超分图像块；根据第t个图像帧的各个超分图像块生成第t个图像帧的超分图像帧。本发明实施例用于视频超分。

Description

一种视频的超分辨率方法及装置
技术领域
本发明涉及图像处理技术领域，尤其涉及一种视频的超分辨率方法及装置。
背景技术
视频的超分辨率技术又称为视频超分技术，是一种由低分辨率视频恢复出高分辨率视频的技术。由于视频超分辨率业务目前已成为视频画质增强中的重点业务，因此视频超分技术是当前图像处理领域的研究热点之一。
近年来，随着深度学习技术的发展，基于深度学习神经网络的视频超分网络模型实现了许多突破，包括更好的超分效果以及更好的实时性。目前，主流的滑动窗口型视频超分网络模型均是利用视频的大多数图像帧都处于运动之中，在对视频中的每一个图像帧进行超分时，其邻域图像帧都可以提供大量的时域信息以供视频超分网络模型对当前图像帧进行超分。然而，在一些视频中部分区域始终为静止的物体或背景，在对这类视频进行超分时，由于静止的物体或背景带来的时域冗余信息，采用邻域图像帧作为输入常常无法获取较为理想的视频超分效果，甚至超分效果不及基于单个图像帧进行超分的超分效果。综上，当视频中存在时域冗余信息时，如何提升视频的超分效果是一个亟待解决的问题。
发明内容
有鉴于此，本发明提供了一种视频的超分辨率方法及装置，用于提升视频的超分辨率效果。
为了实现上述目的，本发明实施例提供技术方案如下：
第一方面，本发明的实施例提供了一种视频的超分辨率方法，包括：
分别将待超分视频的第t个图像帧和所述第t个图像帧的邻域图像帧分解为N个图像块；t、N均为正整数；
根据分解所述第t个图像帧和所述邻域图像帧得到的图像块，生成N个图像块序列，所述图像块序列中的各个图像块分别位于不同图像帧的相同位置；
计算各个图像块序列的运动参数；任一图像块序列的运动参数用于表征该图像块序列中各个相邻图像帧的图像块之间的光流；
根据各个图像块序列的运动参数确定各个图像块序列对应的超分网络模型；
采用各个图像块序列对应的超分网络模型对各个图像块序列中的所述第t个图像帧的图像块进行超分，获取所述第t个图像帧的各个超分图像块；
根据所述第t个图像帧的各个超分图像块生成所述第t个图像帧的超分图像帧。
作为本发明实施例一种可选的实施方式，所述计算各个图像块序列的运动参数，包括：
针对每一个图像块序列，计算所述图像块序列中各个相邻图像帧的图像块之间的光流；
针对每一对相邻图像帧的图像块之间的光流，计算各个像素点对应的光流的绝对值的平均值，获取所述相邻图像帧的图像块之间的运动参数；
根据所述图像块序列中各个相邻图像帧的图像块之间的运动参数，获取所述图像块序列的运动参数。
作为本发明实施例一种可选的实施方式，所述第t个图像帧的邻域图像帧，包括：
第t-2个图像帧、第t-1个图像帧、第t+1个图像帧以及第t+2个图像帧。
作为本发明实施例一种可选的实施方式，所述根据各个图像块序列的运动参数确定各个图像块序列对应的超分网络模型，包括：
针对每一个图像块序列，确定所述图像块序列的第一运动参数和第二运动参数是否均小于预设阈值；所述第一运动参数为所述第t个图像帧的图像块与所述第t-1个图像帧的图像块之间的运动参数，所述第二运动参数为所述第t个图像帧的图像块与所述第t+1个图像帧的图像块之间的运动参数；
若所述第一运动参数和所述第二运动参数均小于所述预设阈值，则确定所述图像块序列对应的超分网络模型为第一超分网络模型；
若所述第一运动参数和/或所述第二运动参数大于或等于所述预设阈值，则确定所述图像块序列的第三运动参数和第四运动参数是否均小于预设阈值；所述第三运动参数为所述第t-2个图像帧的图像块与所述第t-1个图像帧的图像块之间的运动参数，所述第四运动参数为所述第t+1个图像帧的图像块与所述第t+2个图像帧的图像块之间的运动参数；
若所述第三运动参数和所述第四运动参数均小于所述预设阈值，则确定所述图像块序列对应的超分网络模型为第二超分网络模型；
若所述第三运动参数和/或所述第四运动参数大于或等于所述预设阈值，则确定所述图像块序列对应的超分网络模型为第三超分网络模型。
作为本发明实施例一种可选的实施方式，所述第一超分网络模型为单帧超分网络模型；
所述第二超分网络模型用于基于所述第t-1个图像帧的图像块、所述第t个图像帧的图像块以及所述第t+1个图像帧的图像块，对所述第t个图像帧的图像块进行超分；
所述第三超分网络模型用于基于图像块序列中的所有图像块对所述第t个图像帧的图像块进行超分。
作为本发明实施例一种可选的实施方式，通过所述第一超分网络模型对所述第t个图像帧的图像块进行超分，包括：
通过级联可形变卷积PCD对齐模块对所述第t个图像帧的图像块进行处理获取第一特征；
通过特征融合模块对所述第一特征进行处理，获取第二特征，所述第二特征为将五个所述第一特征在通道维度上拼接得到的特征；
通过重建模块对所述第二特征进行重建，获取第一图像块；
通过上采样模块对所述第一图像块进行上采样，获取所述第t个图像帧的图像块对应的超分图像块。
作为本发明实施例一种可选的实施方式，通过所述第二超分网络模型对所述第t个图像帧的图像块进行超分，包括：
对通过PCD对齐模块对所述第t-1个图像帧的图像块、所述第t个图像帧的图像块以及所述第t+1个图像帧的图像块进行处理，获取第三特征；所述第三特征为将第四特征、第五特征以及第六特征在通道维度上拼接得到的特征，所述第四特征为通过所述PCD对齐模块对所述第t-1个图像帧的图像块和所述第t个图像帧的图像块进行处理得到的特征，所述第五特征为通过所述PCD对齐模块对所述第t个图像帧的图像块进行处理得到的特征，所述第六特征为通过所述PCD对齐模块对所述第t个图像帧的图像块和所述第t+1个图像帧的图像块进行处理得到的特征；
通过特征融合模块对所述第三特征进行处理，获取第七特征，所述第七特征为所第四特征、所述第三特征以及所述第五特征在通道维度上拼接得到的特征；
通过重建模块对所述第七特征进行重建，获取第二图像块；
通过上采样模块对所述第二图像块进行上采样，获取所述第t个图像帧的图像块对应的超分图像块。
作为本发明实施例一种可选的实施方式，通过所述第三超分网络模型对图像块序列中的所述第t个图像帧的图像块进行超分，包括：
对通过PCD对齐模块对图像块序列中的全部图像块进行处理，获取第八特征；所述第八特征为将第九特征、第十特征、第十一特征、第十二特征以及第十三特征在通道维度上拼接得到的特征，所述第九特征为通过所述PCD对齐模块对所述第t-2个图像帧的图像块和所述第t-1个图像帧的图像块进行处理得到的特征，所述第十特征为通过所述PCD对齐模块对所述第t-1个图像帧的图像块和所述第t个图像帧的图像块进行处理得到的特征，所述第十一特征为通过所述PCD对齐模块对所述第t个图像帧的图像块进行处理得到的特征，所述第十二特征为通过所述PCD对齐模块对所述第t个图像帧的图像块和所述第t+1个图像帧的图像块进行处理得到的特征，所述第十三特征为通过所述PCD对齐模块对所述第t+1个图像帧的图像块和所述第t+2个图像帧的图像块进行处理得到的特征；
通过特征融合模块对所述第八特征进行处理，获取第十四特征；
通过重建模块对所述第十四特征进行重建，获取第三图像块；
通过上采样模块对所述第三图像块进行上采样，获取图像块序列中的所述第t个图像帧的图像块对应的超分图像块。
作为本发明实施例一种可选的实施方式，分解所述第t个图像帧和所述邻域图像帧得到的图像块中相邻图像块具有重叠区域；
所述根据所述第t个图像帧的各个超分图像块生成所述第t个图像帧的超分图像帧，包括：
拼接所述第t个图像帧的各个超分图像块，生成拼接图像；
将所述拼接图像中各个超分图像块的重叠区域的各个像素点的像素值设置为各个超分图像块中对应的像素点的像素值的平均值，生成所述第t个图像帧的超分图像帧。
第二方面，本发明的实施例提供了一种视频的超分辨率装置，包括：
图像分解模块，用于分别将待超分视频的第t个图像帧和所述第t个图像帧的邻域图像帧分解为N个图像块；t、N均为正整数序列生成模块，用于根据分解所述第t个图像帧和所述邻域图像帧得到的图像块，生成N个图像块序列，所述图像块序列中的各个图像块分别位于不同图像帧的相同位置；
参数计算模块，用于计算各个图像块序列的运动参数；任一图像块序列的运动参数用于表征该图像块序列中各个相邻图像帧的图像块之间的光流；
模型确定模块，用于根据各个图像块序列的运动参数确定各个图像块序列对应的超分网络模型；
图像超分模块，用于采用各个图像块序列对应的超分网络模型对各个图像块序列中的所述第t个图像帧的图像块进行超分，获取所述第t个图像帧的各个超分图像块；
图像生成模块，根据所述第t个图像帧的各个超分图像块生成所述第t个图像帧的超分图像帧。
作为本发明实施例一种可选的实施方式，所述参数计算模块，具体用于针对每一个图像块序列，计算所述图像块序列中各个相邻图像帧的图像块之间的光流；针对每一对相邻图像帧的图像块之间的光流，计算各个像素点对应的光流的绝对值的平均值，获取所述相邻图像帧的图像块之间的运动参数；根据所述图像块序列中各个相邻图像帧的图像块之间的运动参数，获取所述图像块序列的运动参数。
作为本发明实施例一种可选的实施方式，所述第t个图像帧的邻域图像帧，包括：
所述待超分视频的第t-2个图像帧、第t-1个图像帧、第t+1个图像帧以及第t+2个图像帧。
作为本发明实施例一种可选的实施方式，所述模型确定模块，具体用于针对每一个图像块序列，确定所述图像块序列的第一运动参数和第二运动参数是否均小于预设阈值；所述第一运动参数为所述第t个图像帧的图像块与所述第t-1个图像帧的图像块之间的运动参数，所述第二运动参数为所述第t个图像帧的图像块与所述第t+1个图像帧的图像块之间的运动参数；若所述第一运动参数和所述第二运动参数均小于所述预设阈值，则确定所述图像块序列对应的超分网络模型为第一超分网络模型；若所述第一运动参数和/或所述第二运动参数大于或等于所述预设阈值，则确定所述图像块序列的第三运动参数和第四运动参数是否均小于预设阈值；所述第三运动参数为所述第t-2个图像帧的图像块与所述第t-1个图像帧的图像块之间的运动参数，所述第四运动参数为所述第t+1个图像帧的图像块与所述第t+2个图像帧的图像块之间的运动参数；若所述第三运动参数和所述第四运动参数均小于所述预设阈值，则确定所述图像块序列对应的超分网络模型为第二超分网络模型；若所述第三运动参数和/或所述第四运动参数大于或等于所述预设阈值，则确定所述图像块序列对应的超分网络模型为第三超分网络模型。
作为本发明实施例一种可选的实施方式，
所述第一超分网络模型为单帧超分网络模型；
所述第二超分网络模型用于基于所述第t-1个图像帧的图像块、所述第t个图像帧的图像块以及所述第t+1个图像帧的图像块，对所述第t个图像帧的图像块进行超分；
所述第三超分网络模型用于基于图像块序列中的所有图像块对所述第t个图像帧的图像块进行超分。
作为本发明实施例一种可选的实施方式，所述图像超分模块，具体用于通过级联可形变卷积PCD对齐模块对所述第t个图像帧的图像块进行处理获取第一特征；通过特征融合模块对所述第一特征进行处理，获取第二特征，所述第二特征为将五个所述第一特征在通道维度上拼接得到的特征；通过重建模块对所述第二特征进行重建，获取第一图像块；通过上采样模块对所述第一图像块进行上采样，获取所述第t个图像帧的图像块对应的超分图像块。
作为本发明实施例一种可选的实施方式，所述图像超分模块，具体用于对通过PCD对齐模块对所述第t-1个图像帧的图像块、所述第t个图像帧的图像块以及所述第t+1个图像帧的图像块进行处理，获取第三特征；所述第三特征为将第四特征、第五特征以及第六特征在通道维度上拼接得到的特征，所述第四特征为通过所述PCD对齐模块对所述第t-1个图像帧的图像块和所述第t个图像帧的图像块进行处理得到的特征，所述第五特征为通过所述PCD对齐模块对所述第t个图像帧的图像块进行处理得到的特征，所述第六特征为通过所述PCD对齐模块对所述第t个图像帧的图像块和所述第t+1个图像帧的图像块进行处理得到的特征；通过特征融合模块对所述第三特征进行处理，获取第七特征，所述第七特征为所第四特征、所述第三特征以及所述第五特征在通道维度上拼接得到的特征；通过重建模块对所述第七特征进行重建，获取第二图像块；通过上采样模块对所述第二图像块进行上采样，获取所述第t个图像帧的图像块对应的超分图像块。
作为本发明实施例一种可选的实施方式，所述图像超分模块，具体用于对通过PCD对齐模块对图像块序列中的全部图像块进行处理，获取第八特征；所述第八特征为将第九特征、第十特征、第十一特征、第十二特征以及第十三特征在通道维度上拼接得到的特征，所述第九特征为通过所述PCD对齐模块对所述第t-2个图像帧的图像块和所述第t-1个图像帧的图像块进行处理得到的特征，所述第十特征为通过所述PCD对齐模块对所述第t-1个图像帧的图像块和所述第t个图像帧的图像块进行处理得到的特征，所述第十一特征为通过所述PCD对齐模块对所述第t个图像帧的图像块进行处理得到的特征，所述第十二特征为通过所述PCD对齐模块对所述第t个图像帧的图像块和所述第t+1个图像帧的图像块进行处理得到的特征，所述第十三特征为通过所述PCD对齐模块对所述第t+1个图像帧的图像块和所述第t+2个图像帧的图像块进行处理得到的特征；通过特征融合模块对所述第八特征进行处理，获取第十四特征；通过重建模块对所述第十四特征进行重建，获取第三图像块；通过上采样模块对所述第三图像块进行上采样，获取图像块序列中的所述第t个图像帧的图像块对应的超分图像块。
作为本发明实施例一种可选的实施方式，分解所述第t个图像帧和所述邻域图像帧得到的图像块中相邻图像块具有重叠区域；
所述图像生成模块，具体用于拼接所述第t个图像帧的各个超分图像块，生成拼接图像；将所述拼接图像中各个超分图像块的重叠区域的各个像素点的像素值设置为各个超分图像块中对应的像素点的像素值的平均值，生成所述第t个图像帧的超分图像帧。
第三方面，本发明实施例提供了一种电子设备，包括：存储器和处理器，所述存储器用于存储计算机程序；所述处理器用于在调用计算机程序时，使得所述电子设备实现第一方面或第一方面任一种可选的实施方式所述的视频的超分辨率方法。
第四方面，本发明实施例提供一种计算机可读存储介质，当所述计算机程序被计算设备执行时，使得所述计算设备实现第一方面或第一方面任一种可选的实施方式所述的视频的超分辨率方法。
第五方面，本发明实施例提供一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机实现第一方面或第一方面任一种可选的实施方式所述的视频的超分辨率方法。
本发明实施例提供的视频的超分辨率方法在对第t个图像帧图像进行超分时，首先分别将待超分视频的第t个图像帧和所述第t个图像帧的邻域图像帧分解为N个图像块，并根据分解所述第t个图像帧和所述邻域图像帧得到的图像块，生成N个图像块序列，然后计算各个图像块序列的运动参数，以及根据各个图像块序列的运动参数确定各个图像块序列对应的超分网络模型，再采用各个图像块序列对应的超分网络模型对各个图像块序列中的所述第t个图像帧的图像块进行超分，获取所述第t个图像帧的各个超分图像块，以及根据所述第t个图像帧的各个超分图像块生成所述第t个图像帧的超分图像帧。由于本发明实施例提供的视频的超分辨率方法在对第t个图像帧图像进行超分时，可以根据各个图像块序列的运动参数确定各个图像块序列对应的超分网络模型，并针对不同情况适应性的采用不同的超分网络模型进行超分，因此本发明实施例提供的视频的超分辨率方法可以提升视频的超分辨率效果。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的视频的超分辨率方法的步骤流程图；
图2为本发明实施例提供的图像帧分解得到的图像块的示意图；
图3为本发明实施例提供的图像块序列的示意图；
图4为本发明实施例提供的图像块方式的示意图；
图5为本发明实施例提供的实现超分辨率方法的模型的示意图；
图6为本发明实施例提供的自适应超分模块的示意图；
图7为本发明实施例提供的第一超分网络模型的示意图；
图8为本发明实施例提供的第二超分网络模型的示意图；
图9为本发明实施例提供的第三超分网络模型的示意图；
图10为本发明实施例提供的视频的超分辨率装置的示意图；
图11为本发明实施例提供的电子设备的硬件结构示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面将对本发明的方案进行进一步描述。需要说明的是，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但本发明还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本发明的一部分实施例，而不是全部的实施例。
需要说明的是，为了便于清楚描述本发明实施例的技术方案，在本发明的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分，本领域技术人员可以理解“第一”、“第二”等字样并不是在对数量和执行次序进行限定。例如：第一特征图像集合和第二特征图像集合仅仅是为了区分不同的特征图像集合，而不是在对特征图像集合的顺序等进行限定。
在本发明实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本发明实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。此外，在本发明实施例的描述中，除非另有说明，“多个”的含义是指两个或两个以上。
本发明实施例提供了一种视频的超分辨率方法，参照图1所示的步骤流程图，本发明实施例提供的视频的超分辨率方法包括如下步骤S11至S16：
S11、分别将待超分视频的第t个图像帧和所述第t个图像帧的邻域图像帧分解为N个图像块。
其中，t、N均为正整数。
可选的，将任一图像帧分解为N个图像块的实现方式可以为：通过尺寸为一个图像块的尺寸的采样窗口，从该图像帧的第一像素点开始以预设步长滑动对该图像帧的各个位置进行采样，并将采样窗口的每一个采样区域作为一个图像块，从而将该图像帧分解为N个图像块。
示例性的，参照图2所示，待超分视频的第t个图像帧包括1024*512个像素点，当采样窗口的尺寸为72*72、步长为64时，可以将待超分视频的第t个图像帧分解为16*8个图像块，每一个图像块包括72*72个像素点，且相邻图像块之间具有重叠区域，重叠区域的宽度为8个像素点。
S12、根据分解所述第t个图像帧和所述邻域图像帧得到的图像块，生成N个图像块序列。
其中，所述图像块序列中的各个图像块分别位于不同图像帧的相同位置。
示例性的，参照图3所示，所述第t个图像帧33的邻域图像帧包括：第t-2个图像帧31、第t-1个图像帧32、第t+1个图像帧34以及第t+2个图像帧35为例示出。每一个图像库序列中包括5个图像块，该5个图像块分别为第t-2个图像帧31、第t-1个图像帧32、第t个图像帧33、第t+1个图像帧34以及第t+2个图像帧35的图像块，且位于同一图像块系列中的各个图像块在各自所属的图像帧中的位置相同。
S13、计算各个图像块序列的运动参数。
其中，任一图像块序列的运动参数用于表征该图像块序列中各个相邻图像帧的图像块之间的光流。
示例性的，图像块序列包括：第t-2个图像帧的图像块/>第t-1个图像帧的图像块/>第t个图像帧的图像块/>第t+1个图像帧的图像块/>以及第t+2个图像帧的图像块/>则图像块序列/>的运动参数用于表征图像块/>与图像块/>之间的光流、图像块/>与图像块/>之间的光流、图像块/>与图像块/>之间的光流以及图像块/>与图像块/>之间的光流。
作为本发明实施例一种可选的实施方式，所述计算各个图像块序列的运动参数，包括针对每一个图像块序列执行如下步骤a至步骤c：
步骤a、计算所述图像块序列中各个相邻图像帧的图像块之间的光流。
承上所述，图像块序列包括：第t-2个图像帧的图像块/>第t-1个图像帧的图像块/>第t个图像帧的图像块/>第t+1个图像帧的图像块/>以及第t+2个图像帧的图像块/>则计算图像块/>与图像块/>之间的光流、图像块/>与图像块/>之间的光流、图像块/>与图像块/>之间的光流以及图像块/>与图像块/>之间的光流。
示例性的，可以基于稠密逆搜索(Dense Inverse Search，DIS)光流算法计算所述图像块序列中各个相邻图像帧的图像块之间的光流。
步骤b、针对每一对相邻图像帧的图像块之间的光流，计算各个像素点对应的光流的绝对值的平均值，获取所述相邻图像帧的图像块之间的运动参数。
将图像块序列中相邻图像帧的图像块之间的运动参数表示为：光流算法表示为f(…)、对各个像素点对应的光流求平均值求表示为mean(…)、求绝对值表示为|…|，则有：
例如：图像块与图像块/>之间的运动参数为：
再例如：图像块与图像块/>之间的运动参数为：
S14、根据各个图像块序列的运动参数确定各个图像块序列对应的超分网络模型。
作为本发明实施例一种可选的实施方式，当所述第t个图像帧的邻域图像帧，包括：第t-2个图像帧、第t-1个图像帧、第t+1个图像帧以及第t+2个图像帧时，上述步骤S14(根据各个图像块序列的运动参数确定各个图像块序列对应的超分网络模型)包括针对每一个图像块序列执行如下步骤1至步骤5：
步骤1、确定所述图像块序列的第一运动参数和第二运动参数是否均小于预设阈值。
其中，所述第一运动参数为所述第t个图像帧的图像块与所述第t-1个图像帧的图像块之间的运动参数，所述第二运动参数为所述第t个图像帧的图像块与所述第t+1个图像帧的图像块之间的运动参数。
设：第t个图像帧的图像块与所述第t-1个图像帧的图像块/>之间的运动参数为/>第t+1个图像帧的图像块/>与所述第t个图像帧的图像块/>之间的运动参数为/>预设阈值为γ，则上述步骤1为分别判断/>和/>是否小于γ。
在上述步骤1中，若所述第一运动参数和所述第二运动参数均小于所述预设阈值，则执行如下步骤2。
步骤2、确定所述图像块序列对应的超分网络模型为第一超分网络模型。
作为本发明实施例一种可选的实施方式，所述第一超分网络模型为单帧超分网络模型。
在上述步骤1中，若所述第一运动参数和/或所述第二运动参数大于或等于所述预设阈值，则执行如下步骤3。
步骤3、确定所述图像块序列的第三运动参数和第四运动参数是否均小于预设阈值。
其中，所述第三运动参数为所述第t-2个图像帧的图像块与所述第t-1个图像帧的图像块之间的运动参数，所述第四运动参数为所述第t+1个图像帧的图像块与所述第t+2个图像帧的图像块之间的运动参数。
设：第t-2个图像帧的图像块与所述第t-1个图像帧的图像块/>之间的运动参数为/>第t+1个图像帧的图像块/>与所述第t+2个图像帧的图像块/>之间的运动参数为/>预设阈值为γ，则上述步骤3为分别判断/>和/>是否小于γ。
在上述步骤3中，若所述第三运动参数和所述第四运动参数均小于所述预设阈值，则执行如下步骤4。
步骤4、确定所述图像块序列对应的超分网络模型为第二超分网络模型。
作为本发明实施例一种可选的实施方式，所述第二超分网络模型用于基于所述第t-1个图像帧的图像块、所述第t个图像帧的图像块以及所述第t+1个图像帧的图像块，对所述第t个图像帧的图像块进行超分。
在上述步骤3中，若所述第三运动参数和/或所述第四运动参数大于或等于所述预设阈值，则执行如下步骤5。
步骤5、确定所述图像块序列对应的超分网络模型为第三超分网络模型。
作为本发明实施例一种可选的实施方式，所述第三超分网络模型用于基于图像块序列中的所有图像块对所述第t个图像帧的图像块进行超分。
设：第t个图像帧的图像块与所述第t-1个图像帧的图像块/>之间的运动参数为/>第t+1个图像帧的图像块/>与所述第t个图像帧的图像块/>之间的运动参数为/>第t-2个图像帧的图像块/>与所述第t-1个图像帧的图像块/>之间的运动参数为/>第t+1个图像帧的图像块/>与所述第t+2个图像帧的图像块/>之间的运动参数为/>预设阈值为γ。第一超分网络模型为/>第二超分网络模型为/>第三超分网络模型为/>则上述步骤1至5可以表示如下：
S15、采用各个图像块序列对应的超分网络模型对各个图像块序列中的所述第t个图像帧的图像块进行超分，获取所述第t个图像帧的各个超分图像块。
具体的，由于根据每一个图像块序列均可以获取一个所述第t个图像帧的超分图像块，且共包括N个图像块序列，因此共可以获取N个所述第t个图像帧的超分图像块。
S16、根据所述第t个图像帧的各个超分图像块生成所述第t个图像帧的超分图像帧。
作为本发明实施例一种可选的实施方式，当分解所述第t个图像帧和所述邻域图像帧得到的图像块中相邻图像块不具有重叠区域的情况下，上述步骤S16(根据所述第t个图像帧的各个超分图像块生成所述第t个图像帧的超分图像帧)包括：
将所述第t个图像帧的各个超分图像块拼接为所述第t个图像帧的超分图像帧。
作为本发明实施例一种可选的实施方式，当分解所述第t个图像帧和所述邻域图像帧得到的图像块中相邻图像块具有重叠区域的情况下，上述步骤S16(根据所述第t个图像帧的各个超分图像块生成所述第t个图像帧的超分图像帧)包括：
拼接所述第t个图像帧的各个超分图像块，生成拼接图像；
将所述拼接图像中各个超分图像块的重叠区域的各个像素点的像素值设置为各个超分图像块中对应的像素点的像素值的平均值，生成所述第t个图像帧的超分图像帧。
示例性的，参照图4所示，图4中的超分图像块41的起始像素列为第P列，超分图像块41的终止像素列为第P+m列，超分图像块42的起始像素列为第P+n列，超分图像块42的终止像素列为第P+m+n列，对超分图像块41和超分图像块42进行拼接时，超分图像块41的区域411会与超分图像块42的区域421重叠，则因此重叠区域400的任一像素点的像素值为区域411与区域421中对应该像素点的像素值的平均值。例如：对于重叠区域400中的像素点(x1，y1)的像素值，为区域411中像素点(x1，y1)的像素值与区域412中像素点(x1，y1)的像素值的平均值。
参照图5所示，图5为用于实现上述视频超分方法的视频超分网络的结构示意图。用于实现上述视频超分方法的视频超分网络包括：图像分解模块51、序列生成模块52、冗余信息检测模块53、自适应超分模块54以及图像拼接模块55。
其中，图像分解模块51用于将第t-2个图像帧It-2分解为N个图像块将第t-1个图像帧It-1分解为N个图像块/>将第t个图像帧It分解为N个图像块将第t+1个图像帧It+1分解为N个图像块/>降第t个图像帧It+2分解为N个图像块/>/>
序列生成模块52用于根据 生成N个图像块序列/>
冗余信息监测模块53用于计算各个图像块序列的运动参数，并根据各个图像块序列/>的运动参数确定各个图像块序列的超分网络模型
自适应超分模块54包括各个图像块序列对应的超分网络模型，用于采用各个图像块序列对应的超分网络模型对各个图像块序列中的所述第t个图像帧的图像块进行超分，获取所述第t个图像帧的各个超分图像块
图像拼接模块55用于根据所述第t个图像帧的各个超分图像块生成所述第t个图像帧的超分图像帧Ot。
本发明实施例提供的视频的超分辨率方法在对第t个图像帧图像进行超分时，首先分别将待超分视频的第t个图像帧和所述第t个图像帧的邻域图像帧分解为N个图像块，并根据分解所述第t个图像帧和所述邻域图像帧得到的图像块，生成N个图像块序列，然后计算各个图像块序列的运动参数，以及根据各个图像块序列的运动参数确定各个图像块序列对应的超分网络模型，再根据各个图像块序列的运动参数确定各个图像块序列对应的超分网络模型，采用各个图像块序列对应的超分网络模型对各个图像块序列中的所述第t个图像帧的图像块进行超分，获取所述第t个图像帧的各个超分图像块，以及根据所述第t个图像帧的各个超分图像块生成所述第t个图像帧的超分图像帧。由于本发明实施例提供的视频的超分辨率方法在对第t个图像帧图像进行超分时，可以根据各个图像块序列的运动参数确定各个图像块序列对应的超分网络模型，并针对不同情况适应性的采用不同的超分网络模型进行超分，因此本发明实施例提供的视频的超分辨率方法可以提升视频的超分辨率效果。
示例性的，参照图6所示，图5所示自适超分模块54中包括第一超分网络模型541、第二超分网络模型542以及第三超分网络模型543。其中，第一超分网络模型541在对所述第t个图像帧的图像块进行超分时会使用第t个图像帧的图像块第二超分网络模型542在对所述第t个图像帧的图像块进行超分时会使用第t-1个图像帧的图像块、所述第t个图像帧的图像块以及所述第t+1个图像帧的图像块/>第三超分网络模型543在对所述第t个图像帧的图像块进行超分时会使用图像块序列中的所有图像块/>
作为本发明实施例一种可选的实施方式，参照图7所示的第一超分网络模型的模型结构示意图所示，通过第一超分网络模型对所述第t个图像帧的图像块进行超分的实现方式包括如下步骤I至步骤IV：
步骤I、通过级联可形变卷积(PyramidCascading and DeformableConvolutions)PCD对齐模块71对所述第t个图像帧的图像块进行处理获取第一特征T1。
参照图7所示，PCD对齐模块71的输入为两个图像块，而上述步骤I中PCD对齐模块的输入仅包括一个图像块(第t个图像帧的图像块)，因此可以将第t个图像帧的图像块复制一份，并与原图像块共同作为PCD对齐模块的输入。
步骤II、通过特征融合模块72对所述第一特征进行处理，获取第二特征T2。
其中，所述第二特征为将五个所述第一特征在通道维度上拼接得到的特征。
即，设第一特征的张量为C*H*W，则第二特征的张量为5*C*H*W。其中，C为第一特征的通道数、H为第一特征的长度、W为第一特征的宽度。
示例性的，参照图7所示，特征融合模块72可以包括时间注意力单元721、特征复制单元722、特征融合单元723以及空间注意力单元724。其中，特征复制单元722用于将第一特征复制4次，并与原第一特征进行拼接。
步骤III、通过重建模块73对所述第二特征T2进行重建，获取第一图像块B1。
步骤IV、通过上采样模块74对所述第一图像块B1进行上采样，获取所述第t个图像帧的图像块对应的超分图像块
作为本发明实施例一种可选的实施方式，参照图8所示的第二超分网络模型的模型结构示意图所示，通过第二超分网络模型对所述第t个图像帧的图像块进行超分的实现方式包括如下步骤i至步骤iv：
步骤i、对通过PCD对齐模块81对所述第t-1个图像帧的图像块所述第t个图像帧的图像块/>以及所述第t+1个图像帧的图像块/>进行处理，获取第三特征T3。
其中，所述第三特征T3为将第四特征T4、第五特征T5以及第六特征T6在通道维度上拼接得到的特征，所述第四特征T4为通过所述PCD对齐模块对所述第t-1个图像帧的图像块和所述第t个图像帧的图像块/>进行处理得到的特征，所述第五特征T5为通过所述PCD对齐模块对所述第t个图像帧的图像块/>进行处理得到的特征，所述第六特征为通过所述PCD对齐模块对所述第t个图像帧的图像块/>和所述第t+1个图像帧的图像块进行处理得到的特征。
参照图8所示，PCD对齐模块81包括第一PCD对齐单元811、第二PCD对齐单元812、第三PCD对齐单元813以及拼接单元814。其中，第一PCD对齐单元811用于对所述第t-1个图像帧的图像块和所述第t个图像帧的图像块/>进行处理，获取第四特征T4；第二PCD对齐单元812用于对第t个图像帧的图像块/>进行处理，获取第五特征T5；第三PCD对齐单元813用于对所述第t个图像帧的图像块/>和所述第t+1个图像帧的图像块/>进行处理，获取第五特征T6；拼接单元814用于拼接第四特征T4、第五特征T5以及第六特征T6，获取第三特征T3。
步骤ii、通过特征融合模块82对所述第三特征T3进行处理，获取第七特征T7。
其中，所述第七特征T7为所第四特征T4、所述第三特征T3以及所述第五特征T5在通道维度上拼接得到的特征。
示例性的，参照图8所示，特征融合模块82可以包括时间注意力单元821、特征复制单元822、特征融合单元823以及空间注意力单元824。其中特征复制单元822用于将所述第三特征T3中的所第四特征T4和第五特征T5复制一次，并与第三特征T3进行拼接。
步骤iii、通过重建模块83对所述第七特征T7进行重建，获取第二图像块B2。
步骤iv、通过上采样模块84对所述第二图像块B2进行上采样，获取所述第t个图像帧的图像块对应的超分图像块
作为本发明实施例一种可选的实施方式，参照图9所示的第三超分网络模型的模型结构示意图所示，通过第三超分网络模型对图像块序列中的所述第t个图像帧的图像块进行超分包括如下步骤①至步骤④：
步骤①、对通过PCD对齐模块91对图像块序列中的全部图像块进行处理，获取第八特征T8。
其中，所述第八特征T8为将第九特征T9、第十特征T10、第十一特征T11、第十二特征T12以及第十三特征T13在通道维度上拼接得到的特征，所述第九特征T9为通过所述PCD对齐模块对所述第t-2个图像帧的图像块和所述第t-1个图像帧的图像块/>进行处理得到的特征，所述第十特征为通过所述PCD对齐模块对所述第t-1个图像帧的图像块和所述第t个图像帧的图像块/>进行处理得到的特征，所述第十一特征为通过所述PCD对齐模块对所述第t个图像帧的图像块/>进行处理得到的特征，所述第十二特征为通过所述PCD对齐模块对所述第t个图像帧的图像块/>和所述第t+1个图像帧的图像块进行处理得到的特征，所述第十三特征为通过所述PCD对齐模块对所述第t+1个图像帧的图像块/>和所述第t+2个图像帧的图像块/>进行处理得到的特征。
示例性的，参照图9所示，PCD对齐模块91包括第一PCD对齐单元911、第二PCD对齐单元912、第三PCD对齐单元913，第四PCD对齐单元914、第五PCD对齐单元915以及拼接单元916。第一PCD对齐单元911用于对所述第t-2个图像帧的图像块和所述第t-1个图像帧的图像块/>进行处理，获取第九特征T9；第二PCD对齐单元912用于对所述第t-1个图像帧的图像块/>和所述第t个图像帧的图像块/>进行处理，获取第十特征T10；第三PCD对齐单元913用于对第t个图像帧的图像块/>进行处理，获取第十一特征T11；第四PCD对齐单元915用于对所述第t个图像帧的图像块/>和所述第件1个图像帧的图像块/>进行处理，获取第十二特征T12；第五PCD对齐单元915用于对所述第t+1个图像帧的图像块和所述第t+2个图像帧的图像块/>进行处理，获取第十三特征T13；拼接单元916用于拼接第九特征T9、第十特征T10、第十一特征T11、第十二特征T12以及第十三特征T13，获取第八特征T8。/>
步骤②、通过特征融合模块92对所述第八特征T8进行处理，获取第十四特征T14。
示例性的，参照图9所示，特征融合模块92可以包括时间注意力单元921、特征融合单元922以及空间注意力单元923。
步骤③、通过重建模块93对所述第十四特征T14进行重建，获取第三图像块B3。
步骤④、通过上采样模块94对所述第三图像块B3进行上采样，获取图像块序列中的所述第t个图像帧的图像块对应的超分图像块
基于同一发明构思，作为对上述方法的实现，本发明实施例还提供了一种视频的超分辨率装置，该装置实施例与前述方法实施例对应，为便于阅读，本装置实施例不再对前述方法实施例中的细节内容进行逐一赘述，但应当明确，本实施例中的视频的超分辨率装置能够对应实现前述方法实施例中的全部内容。
本发明实施例提供了一种视频的超分辨率装置，图10为该视频的超分辨率装置的结构示意图，如图10所示，该视频的超分辨率装置100包括：
图像分解模块101，用于分别将待超分视频的第t个图像帧和所述第t个图像帧的邻域图像帧分解为N个图像块；t、N均为正整数；
序列生成模块102，用于根据分解所述第t个图像帧和所述邻域图像帧得到的图像块，生成N个图像块序列，所述图像块序列中的各个图像块分别位于不同图像帧的相同位置；
参数计算模块103，用于计算各个图像块序列的运动参数；任一图像块序列的运动参数用于表征该图像块序列中各个相邻图像帧的图像块之间的光流；
模型确定模块104，用于根据各个图像块序列的运动参数确定各个图像块序列对应的超分网络模型；
图像超分模块105，用于采用各个图像块序列对应的超分网络模型对各个图像块序列中的所述第t个图像帧的图像块进行超分，获取所述第t个图像帧的各个超分图像块；
图像生成模块106，根据所述第t个图像帧的各个超分图像块生成所述第t个图像帧的超分图像帧。
作为本发明实施例一种可选的实施方式，所述参数计算模块103，具体用于针对每一个图像块序列，计算所述图像块序列中各个相邻图像帧的图像块之间的光流；针对每一对相邻图像帧的图像块之间的光流，计算各个像素点对应的光流的绝对值的平均值，获取所述相邻图像帧的图像块之间的运动参数；根据所述图像块序列中各个相邻图像帧的图像块之间的运动参数，获取所述图像块序列的运动参数。
作为本发明实施例一种可选的实施方式，所述第t个图像帧的邻域图像帧，包括：
所述待超分视频的第t-2个图像帧、第t-1个图像帧、第t+1个图像帧以及第t+2个图像帧。
作为本发明实施例一种可选的实施方式，所述模型确定模块104，具体用于针对每一个图像块序列，确定所述图像块序列的第一运动参数和第二运动参数是否均小于预设阈值；所述第一运动参数为所述第t个图像帧的图像块与所述第t-1个图像帧的图像块之间的运动参数，所述第二运动参数为所述第t个图像帧的图像块与所述第t+1个图像帧的图像块之间的运动参数；若所述第一运动参数和所述第二运动参数均小于所述预设阈值，则确定所述图像块序列对应的超分网络模型为第一超分网络模型；若所述第一运动参数和/或所述第二运动参数大于或等于所述预设阈值，则确定所述图像块序列的第三运动参数和第四运动参数是否均小于预设阈值；所述第三运动参数为所述第t-2个图像帧的图像块与所述第t-1个图像帧的图像块之间的运动参数，所述第四运动参数为所述第t+1个图像帧的图像块与所述第t+2个图像帧的图像块之间的运动参数；若所述第三运动参数和所述第四运动参数均小于所述预设阈值，则确定所述图像块序列对应的超分网络模型为第二超分网络模型；若所述第三运动参数和/或所述第四运动参数大于或等于所述预设阈值，则确定所述图像块序列对应的超分网络模型为第三超分网络模型。
作为本发明实施例一种可选的实施方式，
所述第一超分网络模型为单帧超分网络模型；
所述第二超分网络模型用于基于所述第t-1个图像帧的图像块、所述第t个图像帧的图像块以及所述第t+1个图像帧的图像块，对所述第t个图像帧的图像块进行超分；
所述第三超分网络模型用于基于图像块序列中的所有图像块对所述第t个图像帧的图像块进行超分。
作为本发明实施例一种可选的实施方式，所述图像超分模块105，具体用于通过级联可形变卷积PCD对齐模块对所述第t个图像帧的图像块进行处理获取第一特征；通过特征融合模块对所述第一特征进行处理，获取第二特征，所述第二特征为将五个所述第一特征在通道维度上拼接得到的特征；通过重建模块对所述第二特征进行重建，获取第一图像块；通过上采样模块对所述第一图像块进行上采样，获取所述第t个图像帧的图像块对应的超分图像块。
作为本发明实施例一种可选的实施方式，所述图像超分模块105，具体用于对通过PCD对齐模块对所述第t-1个图像帧的图像块、所述第t个图像帧的图像块以及所述第t+1个图像帧的图像块进行处理，获取第三特征；所述第三特征为将第四特征、第五特征以及第六特征在通道维度上拼接得到的特征，所述第四特征为通过所述PCD对齐模块对所述第t-1个图像帧的图像块和所述第t个图像帧的图像块进行处理得到的特征，所述第五特征为通过所述PCD对齐模块对所述第t个图像帧的图像块进行处理得到的特征，所述第六特征为通过所述PCD对齐模块对所述第t个图像帧的图像块和所述第t+1个图像帧的图像块进行处理得到的特征；通过特征融合模块对所述第三特征进行处理，获取第七特征，所述第七特征为所第四特征、所述第三特征以及所述第五特征在通道维度上拼接得到的特征；通过重建模块对所述第七特征进行重建，获取第二图像块；通过上采样模块对所述第二图像块进行上采样，获取所述第t个图像帧的图像块对应的超分图像块。
作为本发明实施例一种可选的实施方式，所述图像超分模块105，具体用于对通过PCD对齐模块对图像块序列中的全部图像块进行处理，获取第八特征；所述第八特征为将第九特征、第十特征、第十一特征、第十二特征以及第十三特征在通道维度上拼接得到的特征，所述第九特征为通过所述PCD对齐模块对所述第t-2个图像帧的图像块和所述第t-1个图像帧的图像块进行处理得到的特征，所述第十特征为通过所述PCD对齐模块对所述第t-1个图像帧的图像块和所述第t个图像帧的图像块进行处理得到的特征，所述第十一特征为通过所述PCD对齐模块对所述第t个图像帧的图像块进行处理得到的特征，所述第十二特征为通过所述PCD对齐模块对所述第t个图像帧的图像块和所述第t+1个图像帧的图像块进行处理得到的特征，所述第十三特征为通过所述PCD对齐模块对所述第t+1个图像帧的图像块和所述第t+2个图像帧的图像块进行处理得到的特征；通过特征融合模块对所述第八特征进行处理，获取第十四特征；通过重建模块对所述第十四特征进行重建，获取第三图像块；通过上采样模块对所述第三图像块进行上采样，获取图像块序列中的所述第t个图像帧的图像块对应的超分图像块。
作为本发明实施例一种可选的实施方式，分解所述第t个图像帧和所述邻域图像帧得到的图像块中相邻图像块具有重叠区域；
所述图像生成模块106，具体用于拼接所述第t个图像帧的各个超分图像块，生成拼接图像；将所述拼接图像中各个超分图像块的重叠区域的各个像素点的像素值设置为各个超分图像块中对应的像素点的像素值的平均值，生成所述第t个图像帧的超分图像帧。
本实施例提供的视频的超分辨率装置可以执行上述方法实施例提供的视频的超分辨率方法，其实现原理与技术效果类似，此处不再赘述。
基于同一发明构思，本发明实施例还提供了一种电子设备。图11为本发明实施例提供的电子设备的结构示意图，如图11所示，本实施例提供的电子设备包括：存储器111和处理器112，所述存储器111用于存储计算机程序；所述处理器112用于在调用计算机程序时执行上述实施例提供的视频的超分辨率方法。
基于同一发明构思，本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，当计算机程序被处理器执行时，使得所述计算设备实现上述实施例提供的视频的超分辨率方法。
基于同一发明构思，本发明实施例还提供了一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算设备实现上述实施例提供的视频的超分辨率方法。
本领域技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。
处理器可以是中央处理单元(CentralProcessingUnit，CPU)，还可以是其他通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、现成可编程门阵列(Field-ProgrammableGateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flashRAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动存储介质。存储介质可以由任何方法或技术来实现信息存储，信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。根据本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitorymedia)，如调制的数据信号和载波。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (13)

1.一种视频的超分辨率方法，其特征在于，包括：
分别将待超分视频的第t个图像帧和所述第t个图像帧的邻域图像帧分解为N个图像块；t、N均为正整数；
根据分解所述第t个图像帧和所述邻域图像帧得到的图像块，生成N个图像块序列，所述图像块序列中的各个图像块分别位于不同图像帧的相同位置；
计算各个图像块序列的运动参数；任一图像块序列的运动参数用于表征该图像块序列中各个相邻图像帧的图像块之间的光流；
根据各个图像块序列的运动参数确定各个图像块序列对应的超分网络模型；
采用各个图像块序列对应的超分网络模型对各个图像块序列中的所述第t个图像帧的图像块进行超分，获取所述第t个图像帧的各个超分图像块；
根据所述第t个图像帧的各个超分图像块生成所述第t个图像帧的超分图像帧。
2.根据权利要求1所述的方法，其特征在于，所述计算各个图像块序列的运动参数，包括：
针对每一个图像块序列，计算所述图像块序列中各个相邻图像帧的图像块之间的光流；
针对每一对相邻图像帧的图像块之间的光流，计算各个像素点对应的光流的绝对值的平均值，获取所述相邻图像帧的图像块之间的运动参数；
根据所述图像块序列中各个相邻图像帧的图像块之间的运动参数，获取所述图像块序列的运动参数。
3.根据权利要求1所述的方法，其特征在于，所述第t个图像帧的邻域图像帧，包括：
第t-2个图像帧、第t-1个图像帧、第t+1个图像帧以及第t+2个图像帧。
4.根据权利要求3所述的方法，其特征在于，所述根据各个图像块序列的运动参数确定各个图像块序列对应的超分网络模型，包括：
针对每一个图像块序列，确定所述图像块序列的第一运动参数和第二运动参数是否均小于预设阈值；所述第一运动参数为所述第t个图像帧的图像块与所述第t-1个图像帧的图像块之间的运动参数，所述第二运动参数为所述第t个图像帧的图像块与所述第t+1个图像帧的图像块之间的运动参数；
若所述第一运动参数和所述第二运动参数均小于所述预设阈值，则确定所述图像块序列对应的超分网络模型为第一超分网络模型；
若所述第一运动参数和/或所述第二运动参数大于或等于所述预设阈值，则确定所述图像块序列的第三运动参数和第四运动参数是否均小于预设阈值；所述第三运动参数为所述第t-2个图像帧的图像块与所述第t-1个图像帧的图像块之间的运动参数，所述第四运动参数为所述第t+1个图像帧的图像块与所述第t+2个图像帧的图像块之间的运动参数；
若所述第三运动参数和所述第四运动参数均小于所述预设阈值，则确定所述图像块序列对应的超分网络模型为第二超分网络模型；
若所述第三运动参数和/或所述第四运动参数大于或等于所述预设阈值，则确定所述图像块序列对应的超分网络模型为第三超分网络模型。
5.根据权利要求4所述的方法，其特征在于，
所述第一超分网络模型为单帧超分网络模型；
所述第二超分网络模型用于基于所述第t-1个图像帧的图像块、所述第t个图像帧的图像块以及所述第t+1个图像帧的图像块，对所述第t个图像帧的图像块进行超分；
所述第三超分网络模型用于基于图像块序列中的所有图像块对所述第t个图像帧的图像块进行超分。
6.根据权利要求5所述的方法，其特征在于，通过所述第一超分网络模型对所述第t个图像帧的图像块进行超分，包括：
通过级联可形变卷积PCD对齐模块对所述第t个图像帧的图像块进行处理获取第一特征；
通过特征融合模块对所述第一特征进行处理，获取第二特征，所述第二特征为将五个所述第一特征在通道维度上拼接得到的特征；
通过重建模块对所述第二特征进行重建，获取第一图像块；
通过上采样模块对所述第一图像块进行上采样，获取所述第t个图像帧的图像块对应的超分图像块。
7.根据权利要求5所述的方法，其特征在于，通过所述第二超分网络模型对所述第t个图像帧的图像块进行超分，包括：
对通过PCD对齐模块对所述第t-1个图像帧的图像块、所述第t个图像帧的图像块以及所述第t+1个图像帧的图像块进行处理，获取第三特征；所述第三特征为将第四特征、第五特征以及第六特征在通道维度上拼接得到的特征，所述第四特征为通过所述PCD对齐模块对所述第t-1个图像帧的图像块和所述第t个图像帧的图像块进行处理得到的特征，所述第五特征为通过所述PCD对齐模块对所述第t个图像帧的图像块进行处理得到的特征，所述第六特征为通过所述PCD对齐模块对所述第t个图像帧的图像块和所述第t+1个图像帧的图像块进行处理得到的特征；
通过特征融合模块对所述第三特征进行处理，获取第七特征，所述第七特征为所第四特征、所述第三特征以及所述第五特征在通道维度上拼接得到的特征；
通过重建模块对所述第七特征进行重建，获取第二图像块；
通过上采样模块对所述第二图像块进行上采样，获取所述第t个图像帧的图像块对应的超分图像块。
8.根据权利要求5所述的方法，其特征在于，通过所述第三超分网络模型对图像块序列中的所述第t个图像帧的图像块进行超分，包括：
对通过PCD对齐模块对像块序列中的全部图像块进行处理，获取第八特征；所述第八特征为将第九特征、第十特征、第十一特征、第十二特征以及第十三特征在通道维度上拼接得到的特征，所述第九特征为通过所述PCD对齐模块对所述第t-2个图像帧的图像块和所述第t-1个图像帧的图像块进行处理得到的特征，所述第十特征为通过所述PCD对齐模块对所述第t-1个图像帧的图像块和所述第t个图像帧的图像块进行处理得到的特征，所述第十一特征为通过所述PCD对齐模块对所述第t个图像帧的图像块进行处理得到的特征，所述第十二特征为通过所述PCD对齐模块对所述第t个图像帧的图像块和所述第t+1个图像帧的图像块进行处理得到的特征，所述第十三特征为通过所述PCD对齐模块对所述第t+1个图像帧的图像块和所述第t+2个图像帧的图像块进行处理得到的特征；
通过特征融合模块对所述第八特征进行处理，获取第十四特征；
通过重建模块对所述第十四特征进行重建，获取第三图像块；
通过上采样模块对所述第三图像块进行上采样，获取图像块序列中的所述第t个图像帧的图像块对应的超分图像块。
9.根据权利要求1-8任一项所述的方法，其特征在于，分解所述第t个图像帧和所述邻域图像帧得到的图像块中相邻图像块具有重叠区域；
所述根据所述第t个图像帧的各个超分图像块生成所述第t个图像帧的超分图像帧，包括：
拼接所述第t个图像帧的各个超分图像块，生成拼接图像；
将所述拼接图像中各个超分图像块的重叠区域的各个像素点的像素值设置为各个超分图像块中对应的像素点的像素值的平均值，生成所述第t个图像帧的超分图像帧。
10.一种视频的超分辨率装置，其特征在于，包括：
图像分解模块，用于分别将待超分视频的第t个图像帧和所述第t个图像帧的邻域图像帧分解为N个图像块；t、N均为正整数；
序列生成模块，用于根据分解所述第t个图像帧和所述邻域图像帧得到的图像块，生成N个图像块序列，所述图像块序列中的各个图像块分别位于不同图像帧的相同位置；
参数计算模块，用于计算各个图像块序列的运动参数；任一图像块序列的运动参数用于表征该图像块序列中各个相邻图像帧的图像块之间的光流；
模型确定模块，用于根据各个图像块序列的运动参数确定各个图像块序列对应的超分网络模型；
图像超分模块，用于采用各个图像块序列对应的超分网络模型对各个图像块序列中的所述第t个图像帧的图像块进行超分，获取所述第t个图像帧的各个超分图像块；
图像生成模块，根据所述第t个图像帧的各个超分图像块生成所述第t个图像帧的超分图像帧。
11.一种电子设备，其特征在于，包括：存储器和处理器，所述存储器用于存储计算机程序；所述处理器用于在执行所述计算机程序时，使得所述电子设备实现权利要求1-9任一项所述的视频的超分辨率方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，当所述计算机程序被计算设备执行时，使得所述计算设备实现权利要求1-9任一项所述的视频的超分辨率方法。
13.一种计算机程序产品，其特征在于，当所述计算机程序产品在计算机上运行时，使得所述计算机实现如权利要求1-9任一项所述的视频的超分辨率方法。
CN202210265124.7A 2022-03-17 2022-03-17 一种视频的超分辨率方法及装置 Pending CN116797452A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210265124.7A CN116797452A (zh) 2022-03-17 2022-03-17 一种视频的超分辨率方法及装置
PCT/CN2023/082228 WO2023174416A1 (zh) 2022-03-17 2023-03-17 视频的超分辨率方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210265124.7A CN116797452A (zh) 2022-03-17 2022-03-17 一种视频的超分辨率方法及装置

Publications (1)

Publication Number Publication Date
CN116797452A true CN116797452A (zh) 2023-09-22

Family

ID=88022419

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210265124.7A Pending CN116797452A (zh) 2022-03-17 2022-03-17 一种视频的超分辨率方法及装置

Country Status (2)

Country Link
CN (1) CN116797452A (zh)
WO (1) WO2023174416A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8374444B2 (en) * 2008-08-06 2013-02-12 Sony Corporation Method and apparatus for providing higher resolution images in an embedded device
CN103632359B (zh) * 2013-12-13 2016-03-30 清华大学深圳研究生院 一种视频超分辨率处理方法
CN111489292B (zh) * 2020-03-04 2023-04-07 北京集朗半导体科技有限公司 视频流的超分辨率重建方法及装置
CN113592709B (zh) * 2021-02-19 2023-07-25 腾讯科技（深圳）有限公司 图像超分处理方法、装置、设备及存储介质
CN112950471A (zh) * 2021-02-26 2021-06-11 杭州朗和科技有限公司 视频超分处理方法、装置、超分辨率重建模型、介质

Also Published As

Publication number Publication date
WO2023174416A1 (zh) 2023-09-21

Similar Documents

Publication Publication Date Title
CN111587447B (zh) 帧循环视频超分辨率
US20220261965A1 (en) Training method of image processing model, image processing method, apparatus, and device
US10311547B2 (en) Image upscaling system, training method thereof, and image upscaling method
US20140133780A1 (en) Nonlocality based super resolution reconstruction method and device
Li et al. Example based single-frame image super-resolution by support vector regression
CN111932480A (zh) 去模糊视频恢复方法、装置、终端设备以及存储介质
US9823623B2 (en) Conversion of complex holograms to phase holograms
Li et al. Marlow: A joint multiplanar autoregressive and low-rank approach for image completion
CN107578375B (zh) 图像处理方法及装置
Esmaeilzehi et al. Ultralight-weight three-prior convolutional neural network for single image super resolution
JP5717548B2 (ja) 超解像補助情報生成装置、符号化装置、復号装置、及びこれらのプログラム
CN116797452A (zh) 一种视频的超分辨率方法及装置
Li Example-based learning using heuristic orthogonal matching pursuit teaching mechanism with auxiliary coefficient representation for the problem of de-fencing and its affiliated applications
Haris et al. An efficient super resolution based on image dimensionality reduction using accumulative intensity gradient
Xu et al. Joint learning of super-resolution and perceptual image enhancement for single image
WO2023174355A1 (zh) 视频的超分辨率方法及装置
Zhang et al. Learning via decision trees approach for video super-resolution
Gong et al. Multi-layer strategy and reconstruction model with low rank and local rank regularizations for single image super-resolution
Hu et al. Real time super resolution reconstruction for video stream based on GPU
Kiran et al. Hybrid Domain Feature-Based Image Super-resolution Using Fusion of APVT and DWT
WO2023072176A1 (zh) 一种视频的超分辨率方法及装置
KR102454335B1 (ko) 자기지도학습 기반 저화질 영상 데이터의 고해상도 복원 방법
Lei et al. GPU based fast algorithm for tanner graph based image interpolation
JP2017220200A (ja) 超解像装置及びプログラム
Hu et al. Blurred image restoration conditional generative adversarial network based on hybrid channel and spatial attention

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination