CN114612841A - 视频处理方法、装置、计算机设备及介质 - Google Patents

Abstract

本公开关于一种视频处理方法、装置、计算机设备及介质，属于视频技术领域。本公开实施例中，针对视频中的第i帧，利用第i‑1帧图像的图像特征信息与第一差异信息，将第i‑1帧图像的特征信息转换至第i帧图像，得到第一转换信息，利用第i+1帧图像的图像特征信息与第二差异信息，将第i+1帧图像的特征信息转换至第i帧图像，得到第二转化信息，在确定第i帧图像的超分辨信息时，不仅参考了前一帧图像转换至当前帧图像的转换信息，还参考了后一帧图像转换至当前帧的转换信息，增加了所参考的信息量，能够精确地获取当前帧图像的超分辨信息，提高了超分辨重建的精确性，进而能够精确地获取超分辨视频，提高了视频处理的精确性。

Description

视频处理方法、装置、计算机设备及介质

技术领域

本公开涉及视频技术领域，尤其涉及一种视频处理方法、装置、计算机设备及介质。

背景技术

在视频技术领域中，超分辨重建技术有着广泛的应用范围和研究意义，且随着深度学习的发展，基于卷积神经网络的超分辨重建技术获得了较快的发展。其中，超分辨重建技术是利用低分辨率图像来重建出相应时刻像素密度更高、细节更完整的高分辨率图像。

目前，基于卷积神经网络的视频超分辨技术通常是：利用二维卷积、三维卷积或其他类型的卷积来构建卷积神经网络，基于卷积神经网络来提取视频所包括的多帧图像的超分辨信息，以获取重建高分辨率图像所需的细节特征，从而将视频所包括的多帧低分辨率图像转换为多帧高分辨率图像。

然而，目前所采用的超分辨重建技术，仍然难以精确地获取图像的超分辨信息，降低了超分辨重建的精确性，降低了视频处理的精确性。

发明内容

本公开提供一种视频处理方法、装置、计算机设备及介质，能够精确地获取当前帧图像的超分辨信息，提高了超分辨重建的精确性，提高了视频处理的精确性。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种视频处理方法，该方法包括：

针对视频中的第i帧图像，获取第i-1帧图像的图像特征信息、第一差异信息以及第i+1帧图像的图像特征信息、第二差异信息，该i为大于1的正整数，该图像特征信息表示对应图像的细节特征，该第一差异信息表示对应图像与该图像的后一帧图像在该细节特征上的差异，该第二差异信息表示对应图像与该图像的前一帧图像在该细节特征上的差异；

基于该第i-1帧图像的图像特征信息与第一差异信息，确定第一转换信息，基于该第i+1帧图像的图像特征信息与第二差异信息，确定第二转换信息，该第一转换信息表示该第i-1帧图像转换至该第i帧图像时所需的参数，该第二转换信息表示该第i+1帧图像转换至该第i帧图像时所需的参数；

基于该第i帧图像的图像特征信息、该第一转换信息以及该第二转换信息，确定该第i帧图像的超分辨信息；

基于该视频中多帧图像的超分辨信息，获取超分辨视频。

本公开实施例中，针对视频中的第i帧，通过获取第i-1帧图像的图像特征信息、第一差异信息以及第i+1帧图像的图像特征信息、第二差异信息，进而利用第i-1帧图像的图像特征信息与第一差异信息，将第i-1帧图像的特征信息转换至第i帧图像，得到第一转换信息，利用第i+1帧图像的图像特征信息与第二差异信息，将第i+1帧图像的特征信息转换至第i帧图像，得到第二转化信息，进而利用第i帧图像的图像特征信息、第一转换信息以及第二转换信息，来获取第i帧图像的超分辨信息，如此，在确定第i帧图像的超分辨信息时，不仅参考了前一帧图像转换至当前帧图像的转换信息，还参考了后一帧图像转换至当前帧的转换信息，增加了所参考的信息量，能够精确地获取当前帧图像的超分辨信息，提高了超分辨重建的精确性，进而基于该视频中的多帧图像，能够精确地获取超分辨视频，提高了视频处理的精确性。

在一些实施例中，该第i-1帧图像的图像特征信息与第一差异信息的获取过程包括：

将该第i-1帧图像与该第i-1帧图像的相邻帧图像输入特征提取网络，通过该特征提取网络，基于该第i-1帧图像与该第i-1帧图像的相邻帧图像提取该第i-1帧图像的隐层特征，该特征提取网络基于至少一帧样本图像、该至少一帧样本图像的相邻帧图像以及该至少一帧样本图像的隐层特征训练得到；

基于该第i-1帧图像的隐层特征，确定该第i-1帧图像的图像特征信息，基于该第i-1帧图像、该第i帧图像以及该第i-1帧图像的隐层特征，确定该第i-1帧图像的第一差异信息。

本公开实施例中，针对第i-1帧图像，通过特征提取网络来提取该第i-1帧图像的隐层特征，也即是提取到了该第i-1帧图像的细节特征，进而利用该第i-1帧图像的隐层特征，来确定该第i-1帧图像的图像特征信息和第一差异信息，提高了确定图像特征信息和第一差异信息的精确性。

在一些实施例中，在该i为大于2的正整数的情况下，该方法还包括：

将该第i-1帧图像、该第i-1帧图像的相邻帧图像以及第i-2帧图像的隐层特征输入该特征提取网络，通过该特征提取网络，基于该第i-1帧图像、该第i-1帧图像的相邻帧图像以及该第i-2帧图像的隐层特征提取该第i-1帧图像的隐层特征，该特征提取网络基于至少一帧样本图像、该至少一帧样本图像的相邻帧图像、该至少一帧样本图像的前一帧图像的隐层特征以及该至少一帧样本图像的隐层特征训练得到。

本公开实施例中，在确定第i-1帧图像的隐层特征时，还参考了第i-2帧图像的隐层特征，如此，参考了前一帧图像的隐层特征，来确定当前帧图像的隐层特征，增加了所参考的信息量，能够精确地获取到当前帧图像的隐层特征，提高了获取隐层特征的精确性。

在一些实施例中，基于该第i-1帧图像的隐层特征，确定该第i-1帧图像的图像特征信息，基于该第i-1帧图像、该第i帧图像以及该第i-1帧图像的隐层特征，确定该第i-1帧图像的第一差异信息包括：

将该第i-1帧图像的隐层特征输入第一特征提取子网络，通过该第一特征提取子网络，基于该第i-1帧图像的隐层特征提取该第i-1帧图像的图像特征信息，该第一特征提取子网络基于至少一帧样本图像的隐层特征以及该至少一帧样本图像的图像特征信息训练得到；

将该第i-1帧图像、该第i帧图像以及该第i-1帧图像的隐层特征输入第二特征提取子网络，通过该第二特征提取子网络，基于该第i-1帧图像、该第i帧图像以及该第i-1帧图像的隐层特征提取该第i-1帧图像的第一差异信息，该第二特征提取子网络基于至少一帧样本图像、该至少一帧样本图像的后一帧图像、该至少一帧样本图像的隐层特征以及该至少一帧样本图像的第一差异信息训练得到。

本公开实施例中，针对第i-1帧图像，通过第一特征提取子网络，能够快速提取到该第i-1帧图像的图像特征信息，提高了获取图像特征信息的精确性，且，通过第二特征提取子网络，能够快速提取到该第i-1帧图像的第一差异信息，提高了获取第一差异信息的精确性。

在一些实施例中，该第i+1帧图像的图像特征信息与第二差异信息的获取过程包括：

将该第i+1帧图像与该第i+1帧图像的相邻帧图像输入特征提取网络，通过该特征提取网络，基于该第i+1帧图像与该第i+1帧图像的相邻帧图像提取该第i+1帧图像的隐层特征，该特征提取网络基于至少一帧样本图像、该至少一帧样本图像的相邻帧图像以及该至少一帧样本图像的隐层特征训练得到；

基于该第i+1帧图像的隐层特征，确定该第i+1帧图像的图像特征信息，基于该第i+1帧图像、该第i帧图像以及该第i+1帧图像的隐层特征，确定该第i+1帧图像的第二差异信息。

本公开实施例中，针对第i+1帧图像，通过特征提取网络来提取该第i+1帧图像的隐层特征，也即是提取到了该第i+1帧图像的细节特征，进而利用该第i+1帧图像的隐层特征，来确定该第i+1帧图像的图像特征信息和第二差异信息，提高了确定图像特征信息和第二差异信息的精确性。

在一些实施例中，该方法还包括：

将该第i+1帧图像、该第i+1帧图像的相邻帧图像以及该第i帧图像的隐层特征输入该特征提取网络，通过该特征提取网络，基于该第i+1帧图像、该第i+1帧图像的相邻帧图像以及该第i帧图像的隐层特征提取该第i+1帧图像的隐层特征，该特征提取网络基于至少一帧样本图像、该至少一帧样本图像的相邻帧图像、该至少一帧样本图像的前一帧图像的隐层特征以及该至少一帧样本图像的隐层特征训练得到。

本公开实施例中，在确定第i+1帧图像的隐层特征时，还参考了第i帧图像的隐层特征，如此，参考了前一帧图像的隐层特征，来确定当前帧图像的隐层特征，增加了所参考的信息量，能够精确地获取到当前帧图像的隐层特征，提高了获取隐层特征的精确性。

在一些实施例中，基于该第i+1帧图像的隐层特征，确定该第i+1帧图像的图像特征信息，基于该第i+1帧图像、该第i帧图像以及该第i+1帧图像的隐层特征，确定该第i+1帧图像的第二差异信息包括：

将该第i+1帧图像的隐层特征输入第一特征提取子网络，通过该第一特征提取子网络，基于该第i+1帧图像的隐层特征提取该第i+1帧图像的图像特征信息，该第一特征提取子网络基于至少一帧样本图像的隐层特征以及该至少一帧样本图像的图像特征信息训练得到；

将该第i+1帧图像、该第i帧图像以及该第i+1帧图像的隐层特征输入第三特征提取子网络，通过该第三特征提取子网络，基于该第i+1帧图像、该第i帧图像以及该第i+1帧图像的隐层特征提取该第i+1帧图像的第二差异信息，该第三特征提取子网络基于至少一帧样本图像、该至少一帧样本图像的前一帧图像、该至少一帧样本图像的隐层特征以及该至少一帧样本图像的第二差异信息训练得到。

本公开实施例中，针对第i+1帧图像，通过第一特征提取子网络，能够快速提取到该第i+1帧图像的图像特征信息，提高了获取图像特征信息的精确性，且，通过第三特征提取子网络，能够快速提取到该第i+1帧图像的第二差异信息，提高了获取第二差异信息的精确性。

在一些实施例中，该特征提取网络基于多个残差模块构成，其中，一个残差模块包括第一二维卷积层、与该第一二维卷积层相连的激活函数以及与该激活函数相连的第二二维卷积层，该激活函数用于指示对应图像、该图像的相邻帧图像与该图像的隐层特征之间的函数映射关系。

本公开实施例中，通过设置残差模块，能够避免在隐层加深时出现梯度消失的问题。

在一些实施例中，该第i-1帧图像的图像特征信息与第一差异信息的获取过程包括：

基于该第i-1帧图像与该第i帧图像，确定该第i-1帧图像的光流特征信息与第一光流信息，该光流特征信息表示对应图像的光流特征，该第一光流信息表示对应图像与该图像的后一帧图像之间的像素移动情况；

分别对该第i-1帧图像的光流特征信息与第一光流信息进行插值处理，将插值处理后的该光流特征信息与该第一光流信息，确定为该第i-1帧图像的图像特征信息与第一差异信息。

本公开实施例中，针对第i-1帧图像，通过提取该第i-1帧图像的光流特征信息，再对该光流特征信息进行插值处理，能够快速确定出该第i-1帧图像的细节特征，也即是确定出了该第i-1帧图像的图像特征信息，且，通过提取该第i-1帧图像的第一光流信息，能够快速确定出第i-1帧图像与第i帧图像之间的像素移动情况，再对该第一光流信息进行插值处理，能够快速确定出第i-1帧图像与第i帧图像在细节特征上的差异，也即确定出了该第i-1帧图像的第一差异信息，提高了确定图像特征信息与第一差异信息的效率和精确性。

在一些实施例中，该第i+1帧图像的图像特征信息与第二差异信息的获取过程包括：

基于该第i+1帧图像与该第i帧图像，确定该第i+1帧图像的光流特征信息与第二光流信息，该光流特征信息表示对应图像的光流特征，该第二光流信息表示对应图像与该图像的前一帧图像之间的像素移动情况；

分别对该第i+1帧图像的光流特征信息与第二光流信息进行插值处理，将插值处理后的该光流特征信息与该第二光流信息，确定为该第i+1帧图像的图像特征信息与第二差异信息。

本公开实施例中，针对第i+1帧图像，通过提取该第i+1帧图像的光流特征信息，再对该光流特征信息进行插值处理，能够快速确定出该第i+1帧图像的细节特征，也即是确定出了该第i+1帧图像的图像特征信息，且，通过提取该第i+1帧图像的第一光流信息，能够快速确定出第i+1帧图像与第i帧图像之间的像素移动情况，再对该第一光流信息进行插值处理，能够快速确定出第i+1帧图像与第i帧图像在细节特征上的差异，也即确定出了该第i+1帧图像的第二差异信息，提高了确定图像特征信息与第二差异信息的效率和精确性。

在一些实施例中，基于该第i-1帧图像的图像特征信息与第一差异信息，确定第一转换信息，基于该第i+1帧图像的图像特征信息与第二差异信息，确定第二转换信息包括：

确定该第i-1帧图像的图像特征信息与该第i-1帧图像的第一差异信息之间的差值，作为该第一转换信息；

确定该第i+1帧图像的图像特征信息与该第i+1帧图像的第二差异信息之间的差值，作为该第二转换信息。

本公开实施例中，通过取差值的方式，能够快速将第i-1帧图像的特征信息转换至第i帧图像，将第i+1帧图像的特征信息转换至第i帧图像，以便后续利用前一帧图像转换至当前帧图像的转换信息和后一帧图像转换至当前帧的转换信息，来确定当前帧图像的超分辨信息，提高了超分辨重建的精确性。

在一些实施例中，基于该第i帧图像的图像特征信息、该第一转换信息以及该第二转换信息，确定该第i帧图像的超分辨信息包括：

将该第i帧图像的图像特征信息、该第一转换信息以及该第二转换信息输入时序卷积网络，通过该时序卷积网络，基于该第i帧图像的图像特征信息、该第一转换信息以及该第二转换信息进行卷积处理，得到该第i帧图像的超分辨信息，该时序卷积网络基于至少一帧样本图像的图像特征信息、第一转换信息、第二转换信息以及该至少一帧样本图像的超分辨信息训练得到。

本公开实施例中，针对第i帧图像，通过时序卷积网络，对该第i帧图像的图像特征信息、该第一转换信息以及该第二转换信息进行卷积处理，能够快速获得该第i帧图像的超分辨信息，提高了获取超分辨信息的效率。

在一些实施例中，基于该视频中多帧图像的超分辨信息，获取超分辨视频包括：

基于该视频中多帧图像的超分辨信息，进行亚像素重排处理，得到该多帧图像的亚像素重排结果；

对该多帧图像进行上采样处理，得到该多帧图像的上采样结果；

基于该多帧图像的亚像素重排结果与该多帧图像的上采样结果，生成该超分辨视频。

本公开实施例中，利用图像的亚像素重排结果与图像的上采样结果，能够快速生成对应的超分辨图像，进而利用多帧图像对应的超分辨图像能够快速获得该超分辨视频，提高了获取超分辨视频的效率。

在一些实施例中，该图像特征信息、该第一差异信息、该第二差异信息均为残差图的形式，该图像特征信息对应的残差图用于表示对应图像中的亚像素的分布情况；该第一差异信息对应的残差图用于表示该图像与该图像的后一帧图像之间的亚像素的差异情况；该第二差异信息对应的残差图用于表示该图像与该图像的前一帧图像之间的亚像素的差异情况。

根据本公开实施例的第二方面，提供一种视频处理装置，该装置包括：

信息获取单元，被配置为执行针对视频中的第i帧图像，获取第i-1帧图像的图像特征信息、第一差异信息以及第i+1帧图像的图像特征信息、第二差异信息，该i为大于1的正整数，该图像特征信息表示对应图像的细节特征，该第一差异信息表示对应图像与该图像的后一帧图像在该细节特征上的差异，该第二差异信息表示对应图像与该图像的前一帧图像在该细节特征上的差异；

转换信息确定单元，被配置为执行基于该第i-1帧图像的图像特征信息与第一差异信息，确定第一转换信息，基于该第i+1帧图像的图像特征信息与第二差异信息，确定第二转换信息，该第一转换信息表示该第i-1帧图像转换至该第i帧图像时所需的参数，该第二转换信息表示该第i+1帧图像转换至该第i帧图像时所需的参数；

超分辨信息确定单元，被配置为执行基于该第i帧图像的图像特征信息、该第一转换信息以及该第二转换信息，确定该第i帧图像的超分辨信息；

视频获取单元，被配置为执行基于该视频中多帧图像的超分辨信息，获取超分辨视频。

在一些实施例中，该信息获取单元，包括：

特征提取子单元，被配置为执行将该第i-1帧图像与该第i-1帧图像的相邻帧图像输入特征提取网络，通过该特征提取网络，基于该第i-1帧图像与该第i-1帧图像的相邻帧图像提取该第i-1帧图像的隐层特征，该特征提取网络基于至少一帧样本图像、该至少一帧样本图像的相邻帧图像以及该至少一帧样本图像的隐层特征训练得到；

确定子单元，被配置为执行基于该第i-1帧图像的隐层特征，确定该第i-1帧图像的图像特征信息，基于该第i-1帧图像、该第i帧图像以及该第i-1帧图像的隐层特征，确定该第i-1帧图像的第一差异信息。

在一些实施例中，在该i为大于2的正整数的情况下，该特征提取子单元，还被配置为执行：

将该第i-1帧图像、该第i-1帧图像的相邻帧图像以及第i-2帧图像的隐层特征输入该特征提取网络，通过该特征提取网络，基于该第i-1帧图像、该第i-1帧图像的相邻帧图像以及该第i-2帧图像的隐层特征提取该第i-1帧图像的隐层特征，该特征提取网络基于至少一帧样本图像、该至少一帧样本图像的相邻帧图像、该至少一帧样本图像的前一帧图像的隐层特征以及该至少一帧样本图像的隐层特征训练得到。

在一些实施例中，该确定子单元，被配置为执行：

将该第i-1帧图像的隐层特征输入第一特征提取子网络，通过该第一特征提取子网络，基于该第i-1帧图像的隐层特征提取该第i-1帧图像的图像特征信息，该第一特征提取子网络基于至少一帧样本图像的隐层特征以及该至少一帧样本图像的图像特征信息训练得到；

将该第i-1帧图像、该第i帧图像以及该第i-1帧图像的隐层特征输入第二特征提取子网络，通过该第二特征提取子网络，基于该第i-1帧图像、该第i帧图像以及该第i-1帧图像的隐层特征提取该第i-1帧图像的第一差异信息，该第二特征提取子网络基于至少一帧样本图像、该至少一帧样本图像的后一帧图像、该至少一帧样本图像的隐层特征以及该至少一帧样本图像的第一差异信息训练得到。

在一些实施例中，该信息获取单元，包括：

特征提取子单元，被配置为执行将该第i+1帧图像与该第i+1帧图像的相邻帧图像输入特征提取网络，通过该特征提取网络，基于该第i+1帧图像与该第i+1帧图像的相邻帧图像提取该第i+1帧图像的隐层特征，该特征提取网络基于至少一帧样本图像、该至少一帧样本图像的相邻帧图像以及该至少一帧样本图像的隐层特征训练得到；

确定子单元，被配置为执行基于该第i+1帧图像的隐层特征，确定该第i+1帧图像的图像特征信息，基于该第i+1帧图像、该第i帧图像以及该第i+1帧图像的隐层特征，确定该第i+1帧图像的第二差异信息。

在一些实施例中，该特征提取子单元，还被配置为执行：

将该第i+1帧图像、该第i+1帧图像的相邻帧图像以及该第i帧图像的隐层特征输入该特征提取网络，通过该特征提取网络，基于该第i+1帧图像、该第i+1帧图像的相邻帧图像以及该第i帧图像的隐层特征提取该第i+1帧图像的隐层特征，该特征提取网络基于至少一帧样本图像、该至少一帧样本图像的相邻帧图像、该至少一帧样本图像的前一帧图像的隐层特征以及该至少一帧样本图像的隐层特征训练得到。

在一些实施例中，该确定子单元，被配置为执行：

将该第i+1帧图像的隐层特征输入第一特征提取子网络，通过该第一特征提取子网络，基于该第i+1帧图像的隐层特征提取该第i+1帧图像的图像特征信息，该第一特征提取子网络基于至少一帧样本图像的隐层特征以及该至少一帧样本图像的图像特征信息训练得到；

将该第i+1帧图像、该第i帧图像以及该第i+1帧图像的隐层特征输入第三特征提取子网络，通过该第三特征提取子网络，基于该第i+1帧图像、该第i帧图像以及该第i+1帧图像的隐层特征提取该第i+1帧图像的第二差异信息，该第三特征提取子网络基于至少一帧样本图像、该至少一帧样本图像的前一帧图像、该至少一帧样本图像的隐层特征以及该至少一帧样本图像的第二差异信息训练得到。

在一些实施例中，该特征提取网络基于多个残差模块构成，其中，一个残差模块包括第一二维卷积层、与该第一二维卷积层相连的激活函数以及与该激活函数相连的第二二维卷积层，该激活函数用于指示对应图像、该图像的相邻帧图像与该图像的隐层特征之间的函数映射关系。

在一些实施例中，该信息获取单元，包括：

确定子单元，被配置为执行基于该第i-1帧图像与该第i帧图像，确定该第i-1帧图像的光流特征信息与第一光流信息，该光流特征信息表示对应图像的光流特征，该第一光流信息表示对应图像与该图像的后一帧图像之间的像素移动情况；

处理子单元，被配置为执行分别对该第i-1帧图像的光流特征信息与第一光流信息进行插值处理，将插值处理后的该光流特征信息与该第一光流信息，确定为该第i-1帧图像的图像特征信息与第一差异信息。

在一些实施例中，该信息获取单元，包括：

确定子单元，被配置为执行基于该第i+1帧图像与该第i帧图像，确定该第i+1帧图像的光流特征信息与第二光流信息，该光流特征信息表示对应图像的光流特征，该第二光流信息表示对应图像与该图像的前一帧图像之间的像素移动情况；

处理子单元，被配置为执行分别对该第i+1帧图像的光流特征信息与第二光流信息进行插值处理，将插值处理后的该光流特征信息与该第二光流信息，确定为该第i+1帧图像的图像特征信息与第二差异信息。

在一些实施例中，该转换信息确定单元，被配置为执行：

确定该第i-1帧图像的图像特征信息与该第i-1帧图像的第一差异信息之间的差值，作为该第一转换信息；

确定该第i+1帧图像的图像特征信息与该第i+1帧图像的第二差异信息之间的差值，作为该第二转换信息。

在一些实施例中，该超分辨信息确定单元，被配置为执行：

将该第i帧图像的图像特征信息、该第一转换信息以及该第二转换信息输入时序卷积网络，通过该时序卷积网络，基于该第i帧图像的图像特征信息、该第一转换信息以及该第二转换信息进行卷积处理，得到该第i帧图像的超分辨信息，该时序卷积网络基于至少一帧样本图像的图像特征信息、第一转换信息、第二转换信息以及该至少一帧样本图像的超分辨信息训练得到。

在一些实施例中，该视频获取单元，被配置为执行：

基于该视频中多帧图像的超分辨信息，进行亚像素重排处理，得到该多帧图像的亚像素重排结果；

对该多帧图像进行上采样处理，得到该多帧图像的上采样结果；

基于该多帧图像的亚像素重排结果与该多帧图像的上采样结果，生成该超分辨视频。

在一些实施例中，该图像特征信息、该第一差异信息、该第二差异信息均为残差图的形式，该图像特征信息对应的残差图用于表示对应图像中的亚像素的分布情况；该第一差异信息对应的残差图用于表示该图像与该图像的后一帧图像之间的亚像素的差异情况；该第二差异信息对应的残差图用于表示该图像与该图像的前一帧图像之间的亚像素的差异情况。

根据本公开实施例的第三方面，提供一种计算机设备，该计算机设备包括：

一个或多个处理器；

用于存储该处理器可执行程序代码的存储器；

其中，该处理器被配置为执行该程序代码，以实现上述的视频处理方法。

根据本公开实施例的第四方面，提供一种计算机可读存储介质，该计算机可读存储介质包括：当该计算机可读存储介质中的程序代码由计算机设备的处理器执行时，使得计算机设备能够执行上述的视频处理方法。

根据本公开实施例的第五方面，提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述的视频处理方法。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是根据一示例性实施例示出的一种视频处理方法的实施环境示意图；

图2是根据一示例性实施例示出的一种视频处理方法的流程图；

图3是根据一示例性实施例示出的一种视频处理方法的流程图；

图4是根据一示例性实施例示出的一种超分辨模型的结构示意图；

图5是根据一示例性实施例示出的一种残差模块的结构示意图；

图6是根据一示例性实施例示出的一种超分辨测试结果的示意图；

图7是根据一示例性实施例示出的一种视频处理装置的框图；

图8是根据一示例性实施例示出的一种终端的框图；

图9是根据一示例性实施例示出的一种服务器的框图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

需要说明的是，本公开实施例所涉及的信息(包括但不限于用户设备信息、用户个人信息等)、数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)以及信号，均为经用户授权或者经过各方充分授权的，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。例如，本公开实施例所涉及的图像特征信息、第一差异信息或第二差异信息都是在充分授权的情况下获取的。在一些实施例中，本公开实施例中提供有权限询问页面，该权限询问页面用于询问是否授予上述信息的获取权限，在该权限询问页面中，显示同意授权控件和拒绝授权控件，在检测到对该同意授权控件的触发操作的情况下，利用本公开实施例所提供的视频处理方法来获取上述信息，从而实现对视频的超分辨重建。

本公开实施例所提供的视频处理方法可应用于视频的超分辨重建场景下，例如，监控视频的超分辨重建、医学视频的超分辨重建、拍摄视频的超分辨重建等等。其中，超分辨重建是利用低分辨率图像来重建出相应时刻像素密度更高、细节更完整的高分辨率图像，相应地，针对视频的超分辨重建也即是利用低分辨率视频来重建出相应时刻像素密度更高、细节更完整的高分辨率视频。应理解地，一幅高分辨率图像能够提供更加丰富的信息，相较于低分辨率图像更易进一步挖掘和利用其中的信息。

图1是根据一示例性实施例示出的一种视频处理方法的实施环境示意图，参见图1，该实施环境中包括：终端101和服务器102。

终端101可以为智能手机、智能手表、台式电脑、手提电脑、虚拟现实终端、增强现实终端、无线终端和膝上型便携计算机等设备中的至少一种。终端101具有通信功能，可以接入有线网络或无线网络。终端101可以泛指多个终端中的一个，本实施例仅以终端101来举例说明。本领域技术人员可以知晓，上述终端的数量可以更多或更少。

服务器102可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式文件系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。可选地，上述服务器102的数量可以更多或更少，本公开实施例对此不加以限定。当然，服务器102还可以包括其他功能服务器，以便提供更全面且多样化的服务。

在一些实施例中，本公开实施例所提供的视频处理方法由终端101执行，例如，在终端101检测到针对视频的超分辨重建操作后，利用本公开实施例所提供的视频处理方法，来获得该视频的超分辨视频。在另一些实施例中，本公开实施例所提供的视频处理方法由服务器102执行，例如，在服务器102接收到针对视频的超分辨重建请求后，利用本公开实施例所提供的视频处理方法，来获得该视频的超分辨视频。在一些实施例中，服务器102与终端101通过有线或无线通信方式进行直接或间接的连接，本公开实施例对此不作限定。相应地，在一些实施例中，若终端101检测到针对视频的超分辨重建操作，向服务器102发送针对视频的超分辨重建请求，以请求服务器102利用本公开实施例所提供的视频处理方法，来获得该视频的超分辨视频。本公开实施例后续以计算机设备来指代该终端101或该服务器102。

图2是根据一示例性实施例示出的一种视频处理方法的流程图，如图2所示，该方法由计算机设备执行，该计算机设备可提供为上述图1所示出的终端或服务器，示意性地，该方法包括以下步骤：

在步骤201中，计算机设备针对视频中的第i帧图像，获取第i-1帧图像的图像特征信息、第一差异信息以及第i+1帧图像的图像特征信息、第二差异信息，该i为大于1的正整数，该图像特征信息表示对应图像的细节特征，该第一差异信息表示对应图像与该图像的后一帧图像在该细节特征上的差异，该第二差异信息表示对应图像与该图像的前一帧图像在该细节特征上的差异。

在步骤202中，计算机设备基于该第i-1帧图像的图像特征信息与第一差异信息，确定第一转换信息，基于该第i+1帧图像的图像特征信息与第二差异信息，确定第二转换信息，该第一转换信息表示该第i-1帧图像转换至该第i帧图像时所需的参数，该第二转换信息表示该第i+1帧图像转换至该第i帧图像时所需的参数。

在步骤203中，计算机设备基于该第i帧图像的图像特征信息、该第一转换信息以及该第二转换信息，确定该第i帧图像的超分辨信息。

在步骤204中，计算机设备基于该视频中多帧图像的超分辨信息，获取超分辨视频。

本公开实施例提供的技术方案，针对视频中的第i帧，通过获取第i-1帧图像的图像特征信息、第一差异信息以及第i+1帧图像的图像特征信息、第二差异信息，进而利用第i-1帧图像的图像特征信息与第一差异信息，将第i-1帧图像的特征信息转换至第i帧图像，得到第一转换信息，利用第i+1帧图像的图像特征信息与第二差异信息，将第i+1帧图像的特征信息转换至第i帧图像，得到第二转化信息，进而利用第i帧图像的图像特征信息、第一转换信息以及第二转换信息，来获取第i帧图像的超分辨信息，如此，在确定第i帧图像的超分辨信息时，不仅参考了前一帧图像转换至当前帧图像的转换信息，还参考了后一帧图像转换至当前帧的转换信息，增加了所参考的信息量，能够精确地获取当前帧图像的超分辨信息，提高了超分辨重建的精确性，进而基于该视频中的多帧图像，能够精确地获取超分辨视频，提高了视频处理的精确性。

在一些实施例中，该第i-1帧图像的图像特征信息与第一差异信息的获取过程包括：

将该第i-1帧图像与该第i-1帧图像的相邻帧图像输入特征提取网络，通过该特征提取网络，基于该第i-1帧图像与该第i-1帧图像的相邻帧图像提取该第i-1帧图像的隐层特征，该特征提取网络基于至少一帧样本图像、该至少一帧样本图像的相邻帧图像以及该至少一帧样本图像的隐层特征训练得到；

基于该第i-1帧图像的隐层特征，确定该第i-1帧图像的图像特征信息，基于该第i-1帧图像、该第i帧图像以及该第i-1帧图像的隐层特征，确定该第i-1帧图像的第一差异信息。

在一些实施例中，在该i为大于2的正整数的情况下，该方法还包括：

将该第i-1帧图像、该第i-1帧图像的相邻帧图像以及第i-2帧图像的隐层特征输入该特征提取网络，通过该特征提取网络，基于该第i-1帧图像、该第i-1帧图像的相邻帧图像以及该第i-2帧图像的隐层特征提取该第i-1帧图像的隐层特征，该特征提取网络基于至少一帧样本图像、该至少一帧样本图像的相邻帧图像、该至少一帧样本图像的前一帧图像的隐层特征以及该至少一帧样本图像的隐层特征训练得到。

在一些实施例中，基于该第i-1帧图像的隐层特征，确定该第i-1帧图像的图像特征信息，基于该第i-1帧图像、该第i帧图像以及该第i-1帧图像的隐层特征，确定该第i-1帧图像的第一差异信息包括：

将该第i-1帧图像的隐层特征输入第一特征提取子网络，通过该第一特征提取子网络，基于该第i-1帧图像的隐层特征提取该第i-1帧图像的图像特征信息，该第一特征提取子网络基于至少一帧样本图像的隐层特征以及该至少一帧样本图像的图像特征信息训练得到；

将该第i-1帧图像、该第i帧图像以及该第i-1帧图像的隐层特征输入第二特征提取子网络，通过该第二特征提取子网络，基于该第i-1帧图像、该第i帧图像以及该第i-1帧图像的隐层特征提取该第i-1帧图像的第一差异信息，该第二特征提取子网络基于至少一帧样本图像、该至少一帧样本图像的后一帧图像、该至少一帧样本图像的隐层特征以及该至少一帧样本图像的第一差异信息训练得到。

在一些实施例中，该第i+1帧图像的图像特征信息与第二差异信息的获取过程包括：

将该第i+1帧图像与该第i+1帧图像的相邻帧图像输入特征提取网络，通过该特征提取网络，基于该第i+1帧图像与该第i+1帧图像的相邻帧图像提取该第i+1帧图像的隐层特征，该特征提取网络基于至少一帧样本图像、该至少一帧样本图像的相邻帧图像以及该至少一帧样本图像的隐层特征训练得到；

基于该第i+1帧图像的隐层特征，确定该第i+1帧图像的图像特征信息，基于该第i+1帧图像、该第i帧图像以及该第i+1帧图像的隐层特征，确定该第i+1帧图像的第二差异信息。

在一些实施例中，该方法还包括：

将该第i+1帧图像、该第i+1帧图像的相邻帧图像以及该第i帧图像的隐层特征输入该特征提取网络，通过该特征提取网络，基于该第i+1帧图像、该第i+1帧图像的相邻帧图像以及该第i帧图像的隐层特征提取该第i+1帧图像的隐层特征，该特征提取网络基于至少一帧样本图像、该至少一帧样本图像的相邻帧图像、该至少一帧样本图像的前一帧图像的隐层特征以及该至少一帧样本图像的隐层特征训练得到。

在一些实施例中，基于该第i+1帧图像的隐层特征，确定该第i+1帧图像的图像特征信息，基于该第i+1帧图像、该第i帧图像以及该第i+1帧图像的隐层特征，确定该第i+1帧图像的第二差异信息包括：

将该第i+1帧图像的隐层特征输入第一特征提取子网络，通过该第一特征提取子网络，基于该第i+1帧图像的隐层特征提取该第i+1帧图像的图像特征信息，该第一特征提取子网络基于至少一帧样本图像的隐层特征以及该至少一帧样本图像的图像特征信息训练得到；

将该第i+1帧图像、该第i帧图像以及该第i+1帧图像的隐层特征输入第三特征提取子网络，通过该第三特征提取子网络，基于该第i+1帧图像、该第i帧图像以及该第i+1帧图像的隐层特征提取该第i+1帧图像的第二差异信息，该第三特征提取子网络基于至少一帧样本图像、该至少一帧样本图像的前一帧图像、该至少一帧样本图像的隐层特征以及该至少一帧样本图像的第二差异信息训练得到。

在一些实施例中，该特征提取网络基于多个残差模块构成，其中，一个残差模块包括第一二维卷积层、与该第一二维卷积层相连的激活函数以及与该激活函数相连的第二二维卷积层，该激活函数用于指示对应图像、该图像的相邻帧图像与该图像的隐层特征之间的函数映射关系。

在一些实施例中，该第i-1帧图像的图像特征信息与第一差异信息的获取过程包括：

基于该第i-1帧图像与该第i帧图像，确定该第i-1帧图像的光流特征信息与第一光流信息，该光流特征信息表示对应图像的光流特征，该第一光流信息表示对应图像与该图像的后一帧图像之间的像素移动情况；

分别对该第i-1帧图像的光流特征信息与第一光流信息进行插值处理，将插值处理后的该光流特征信息与该第一光流信息，确定为该第i-1帧图像的图像特征信息与第一差异信息。

在一些实施例中，该第i+1帧图像的图像特征信息与第二差异信息的获取过程包括：

基于该第i+1帧图像与该第i帧图像，确定该第i+1帧图像的光流特征信息与第二光流信息，该光流特征信息表示对应图像的光流特征，该第二光流信息表示对应图像与该图像的前一帧图像之间的像素移动情况；

分别对该第i+1帧图像的光流特征信息与第二光流信息进行插值处理，将插值处理后的该光流特征信息与该第二光流信息，确定为该第i+1帧图像的图像特征信息与第二差异信息。

在一些实施例中，基于该第i-1帧图像的图像特征信息与第一差异信息，确定第一转换信息，基于该第i+1帧图像的图像特征信息与第二差异信息，确定第二转换信息包括：

确定该第i-1帧图像的图像特征信息与该第i-1帧图像的第一差异信息之间的差值，作为该第一转换信息；

确定该第i+1帧图像的图像特征信息与该第i+1帧图像的第二差异信息之间的差值，作为该第二转换信息。

在一些实施例中，基于该第i帧图像的图像特征信息、该第一转换信息以及该第二转换信息，确定该第i帧图像的超分辨信息包括：

将该第i帧图像的图像特征信息、该第一转换信息以及该第二转换信息输入时序卷积网络，通过该时序卷积网络，基于该第i帧图像的图像特征信息、该第一转换信息以及该第二转换信息进行卷积处理，得到该第i帧图像的超分辨信息，该时序卷积网络基于至少一帧样本图像的图像特征信息、第一转换信息、第二转换信息以及该至少一帧样本图像的超分辨信息训练得到。

在一些实施例中，基于该视频中多帧图像的超分辨信息，获取超分辨视频包括：

基于该视频中多帧图像的超分辨信息，进行亚像素重排处理，得到该多帧图像的亚像素重排结果；

对该多帧图像进行上采样处理，得到该多帧图像的上采样结果；

基于该多帧图像的亚像素重排结果与该多帧图像的上采样结果，生成该超分辨视频。

在一些实施例中，该图像特征信息、该第一差异信息、该第二差异信息均为残差图的形式，该图像特征信息对应的残差图用于表示对应图像中的亚像素的分布情况；该第一差异信息对应的残差图用于表示该图像与该图像的后一帧图像之间的亚像素的差异情况；该第二差异信息对应的残差图用于表示该图像与该图像的前一帧图像之间的亚像素的差异情况。

上述图2所示仅为本公开的基本流程，下面基于一种具体实施方式，来对本公开提供的方案进行进一步阐述，图3是根据一示例性实施例示出的一种视频处理方法的流程图，参见图3，该方法包括：

在步骤301中，计算机设备针对视频中的第i帧图像，获取第i-1帧图像的图像特征信息与第一差异信息，该i为大于1的正整数，该图像特征信息表示对应图像的细节特征，该第一差异信息表示对应图像与该图像的后一帧图像在该细节特征上的差异。

其中，计算机设备可提供为终端或服务器，计算机设备提供有对视频进行超分辨重建的功能。本公开实施例中，视频是指待进行视频处理的视频，也即是待进行超分辨重建的视频。其中，超分辨重建是利用低分辨率图像来重建出相应时刻像素密度更高、细节更完整的高分辨率图像，相应地，针对视频的超分辨重建也即是利用低分辨率视频来重建出相应时刻像素密度更高、细节更完整的高分辨率视频。在一些实施例中，视频为终端本地所存储的视频，或者，视频为服务器所存储的视频，或者，视频为服务器所关联的视频库所存储的视频等等，本公开实施例对此不加以限定。

第i帧图像是指视频中待进行超分辨重建的图像，第i帧图像表示该视频中的任一帧图像，相应地，第i-1帧图像也即是该任一帧图像的前一帧图像。第i-1帧图像的图像特征信息表示第i-1帧图像的细节特征，第i-1帧图像的第一差异信息表示第i-1帧图像与第i帧图像在该细节特征上的差异。其中，该细节特征用于表征对应图像中的纹理细节信息。在一些实施例中，该细节特征为特征向量的形式。需要说明的是，细节特征是重建高分辨率图像所需的信息，可理解地，图像特征信息以及第一差异信息均为预测得到的高分辨率信息。

在一些实施例中，图像特征信息为残差图的形式，该图像特征信息对应的残差图用于表示对应图像中的亚像素的分布情况。例如，图像特征信息为空间残差图的形式，用于表示图像中的亚像素在空间维度上的分布情况。在一些实施例中，第一差异信息为残差图的形式，该第一差异信息对应的残差图用于表示该图像与该图像的后一帧图像之间的亚像素的差异情况。例如，第一差异信息为时序残差图的形式，用于表示该图像与该图像的后一帧图像之间的亚像素在时序维度上的分布差异。其中，亚像素是指两个像素之间的细节信息。如此，通过采用残差图的形式，将向量形式的细节特征转化为图画形式的细节特征，以便利用细节特征在时序上的残差图，进行后续超分辨重建的过程。

在一些实施例中，计算机设备将该第i-1帧图像与该第i-1帧图像的相邻帧图像输入特征提取网络，通过该特征提取网络，基于该第i-1帧图像与该第i-1帧图像的相邻帧图像提取该第i-1帧图像的隐层特征，基于该第i-1帧图像的隐层特征，确定该第i-1帧图像的图像特征信息，基于该第i-1帧图像、该第i帧图像以及该第i-1帧图像的隐层特征，确定该第i-1帧图像的第一差异信息。

其中，第i-1帧图像的相邻帧图像也即是该第i-1帧图像的前一帧图像与后一帧图像。当然，针对该视频的第一帧图像，该第一帧图像的相邻帧图像也即是该第一帧图像的后一帧图像，针对该视频的最后一帧图像，该最后一帧图像的相邻帧图像也即是该最后一帧图像的前一帧图像。示例地，以该i为大于2的正整数为例，计算机设备将第i-1帧图像、第i-2帧图像与第i帧图像输入特征提取网络，以便后续利用该特征提取网络来提取第i-1帧图像的隐层特征。在一些实施例中，计算机设备将第i-1帧图像、第i-2帧图像与第i帧图像输入特征提取网络，通过特征提取网络的特征提取层，分别提取第i-1帧图像、第i-2帧图像与第i帧图像的图像特征，并在图像的颜色维度上对该第i-1帧图像、第i-2帧图像与第i帧图像的图像特征进行拼接，得到拼接后的图像特征，将拼接后的图像特征输入该特征提取网络的隐藏层，通过该特征提取网络的隐藏层，对该拼接后的图像特征进行卷积处理，得到该第i-1帧图像的隐层特征。需要说明的是，图像特征为三维特征，如高、宽、颜色通道这三个维度的特征。

在该实施例中，针对第i-1帧图像，通过特征提取网络来提取该第i-1帧图像的隐层特征，也即是提取到了该第i-1帧图像的细节特征，进而利用该第i-1帧图像的隐层特征，来确定该第i-1帧图像的图像特征信息和第一差异信息，提高了确定图像特征信息和第一差异信息的精确性。

在一些实施例中，上述特征提取网络基于至少一帧样本图像、该至少一帧样本图像的相邻帧图像以及该至少一帧样本图像的隐层特征训练得到。相应地，特征提取网络的训练过程为：计算机设备基于至少一帧样本图像、该至少一帧样本图像的相邻帧图像以及该至少一帧样本图像的隐层特征，进行模型训练，得到该特征提取网络。具体地，在一些实施例中，服务器在模型训练的第m次迭代过程中，将该至少一帧样本图像以及该至少一帧样本图像的相邻帧图像输入第m-1次迭代过程所确定的特征提取网络，得到该第m次迭代过程所提取的隐层特征，其中，m为大于1的正整数；基于该第m次迭代过程所提取的隐层特征和该至少一帧样本图像的隐层特征，对该第m-1次迭代过程所确定的特征提取网络的模型参数进行调整，基于调整后的该模型参数进行第m+1次迭代过程，重复上述训练的迭代过程，直至训练满足目标条件。

在一些实施例中，训练满足的目标条件为模型的训练迭代次数达到目标次数，该目标次数为预先设定的训练迭代次数，如1000次；或者，训练满足的目标条件为损失值满足目标阈值条件，如损失值小于0.00001。本公开实施例对目标条件的设置不加以限定。

如此，通过迭代训练的方式，将模型参数较优的网络模型获取为特征提取网络，以获取到提取能力较优的特征提取网络，从而提升了特征提取网络的提取精准性。

针对上述计算机设备利用特征提取网络来提取隐层特征的过程，在一些实施例中，在该i为大于2的正整数的情况下，计算机设备将该第i-1帧图像、该第i-1帧图像的相邻帧图像以及第i-2帧图像的隐层特征输入该特征提取网络，通过该特征提取网络，基于该第i-1帧图像、该第i-1帧图像的相邻帧图像以及该第i-2帧图像的隐层特征提取该第i-1帧图像的隐层特征。在该实施例中，特征提取网络基于至少一帧样本图像、该至少一帧样本图像的相邻帧图像、该至少一帧样本图像的前一帧图像的隐层特征以及该至少一帧样本图像的隐层特征训练得到。其中，该特征提取网络的模型训练过程与上述特征提取网络的模型训练过程类似，不再赘述。

在该实施例中，在确定第i-1帧图像的隐层特征时，还参考了第i-2帧图像的隐层特征，如此，参考了前一帧图像的隐层特征，来确定当前帧图像的隐层特征，增加了所参考的信息量，能够精确地获取到当前帧图像的隐层特征，提高了获取隐层特征的精确性。

针对上述计算机设备基于隐层特征来确定第i-1帧图像的图像特征信息的过程，在一些实施例中，计算机设备将该第i-1帧图像的隐层特征输入第一特征提取子网络，通过该第一特征提取子网络，基于该第i-1帧图像的隐层特征提取该第i-1帧图像的图像特征信息。在该实施例中，针对第i-1帧图像，通过第一特征提取子网络，能够快速提取到该第i-1帧图像的图像特征信息，提高了获取图像特征信息的精确性。

在一些实施例中，该第一特征提取子网络基于至少一帧样本图像的隐层特征以及该至少一帧样本图像的图像特征信息训练得到。相应地，第一特征提取子网络的训练过程为：计算机设备基于至少一帧样本图像的隐层特征以及该至少一帧样本图像的图像特征信息，进行模型训练，得到该第一特征提取子网络。具体地，在一些实施例中，服务器在模型训练的第m次迭代过程中，将该至少一帧样本图像的隐层特征输入第m-1次迭代过程所确定的第一特征提取子网络，得到该第m次迭代过程所提取的图像特征信息；基于该第m次迭代过程所提取的图像特征信息和该至少一帧样本图像的图像特征信息，对该第m-1次迭代过程所确定的第一特征提取子网络的模型参数进行调整，基于调整后的该模型参数进行第m+1次迭代过程，重复上述训练的迭代过程，直至训练满足目标条件。如此，通过迭代训练的方式，将模型参数较优的网络模型获取为第一特征提取子网络，以获取到提取能力较优的第一特征提取子网络，从而提升了第一特征提取子网络的提取精准性。

针对上述计算机设备基于隐层特征来确定第i-1帧图像的第一差异信息的过程，在一些实施例中，计算机设备将该第i-1帧图像、该第i帧图像以及该第i-1帧图像的隐层特征输入第二特征提取子网络，通过该第二特征提取子网络，基于该第i-1帧图像、该第i帧图像以及该第i-1帧图像的隐层特征提取该第i-1帧图像的第一差异信息。在该实施例中，通过第二特征提取子网络，能够快速提取到该第i-1帧图像的第一差异信息，提高了获取第一差异信息的精确性。

在一些实施例中，该第二特征提取子网络基于至少一帧样本图像、该至少一帧样本图像的后一帧图像、该至少一帧样本图像的隐层特征以及该至少一帧样本图像的第一差异信息训练得到。相应地，第二特征提取子网络的训练过程为：计算机设备基于至少一帧样本图像、该至少一帧样本图像的后一帧图像、该至少一帧样本图像的隐层特征以及该至少一帧样本图像的第一差异信息，进行模型训练，得到该第二特征提取子网络。具体地，在一些实施例中，服务器在模型训练的第m次迭代过程中，将该至少一帧样本图像、该至少一帧样本图像的后一帧图像以及该至少一帧样本图像的隐层特征输入第m-1次迭代过程所确定的第二特征提取子网络，得到该第m次迭代过程所提取的第一差异信息；基于该第m次迭代过程所提取的第一差异信息和该至少一帧样本图像的第一差异信息，对该第m-1次迭代过程所确定的第二特征提取子网络的模型参数进行调整，基于调整后的该模型参数进行第m+1次迭代过程，重复上述训练的迭代过程，直至训练满足目标条件。如此，通过迭代训练的方式，将模型参数较优的网络模型获取为第二特征提取子网络，以获取到提取能力较优的第二特征提取子网络，从而提升了第二特征提取子网络的提取精准性。

在上述实施例中，提供了一种基于隐层特征，来获取第i-1帧图像的图像特征信息与第一差异信息的方式。在另一些实施例中，计算机设备还能够基于光流特征，来获取第i-1帧图像的图像特征信息与第一差异信息，相应过程为：基于该第i-1帧图像与该第i帧图像，确定该第i-1帧图像的光流特征信息与第一光流信息；分别对该第i-1帧图像的光流特征信息与第一光流信息进行插值处理，将插值处理后的该光流特征信息与该第一光流信息，确定为该第i-1帧图像的图像特征信息与第一差异信息。

其中，该光流特征信息表示对应图像的光流特征。该第一光流信息表示对应图像与该图像的后一帧图像之间的像素移动情况，相应地，第i-1帧图像的第一光流信息表示第i-1帧图像与第i帧图像之间的像素移动情况。需要说明的是，光流特征是基于低分辨率图像所提取得到的特征，可理解地，光流特征信息以及第一光流信息均为所提取到的低分辨率信息。进而，通过插值处理所得到的光流特征信息与第一光流信息也即是高分辨率信息。

针对上述提取光流特征的过程，在一些实施例中，计算机设备利用光流预估算法，来提取该第i-1帧图像的光流特征信息与第一光流信息。在一些实施例中，光流预估算法为稀疏光流预估算法、稠密光流预估算法、深度学习光流预估算法中的任一项。针对上述插值处理的过程，在一些实施例中，计算机设备利用插值算法，来对该第i-1帧图像的光流特征信息与第一光流信息进行插值处理。在一些实施例中，插值算法为最邻近元算法、双线性插值算法、三次内插法算法中的任一项。

在该实施例中，针对第i-1帧图像，通过提取该第i-1帧图像的光流特征信息，再对该光流特征信息进行插值处理，能够快速确定出该第i-1帧图像的细节特征，也即是确定出了该第i-1帧图像的图像特征信息，且，通过提取该第i-1帧图像的第一光流信息，能够快速确定出第i-1帧图像与第i帧图像之间的像素移动情况，再对该第一光流信息进行插值处理，能够快速确定出第i-1帧图像与第i帧图像在细节特征上的差异，也即确定出了该第i-1帧图像的第一差异信息，提高了确定图像特征信息与第一差异信息的效率和精确性。

在步骤302中，计算机设备获取第i+1帧图像的图像特征信息与第二差异信息，该第二差异信息表示对应图像与该图像的前一帧图像在该细节特征上的差异。

第i帧图像表示该视频中的任一帧图像，相应地，第i+1帧图像也即是该任一帧图像的后一帧图像。第i+1帧图像的图像特征信息表示第i+1帧图像的细节特征，第i+1帧图像的第二差异信息表示第i+1帧图像与第i帧图像在该细节特征上的差异。在一些实施例中，第二差异信息为残差图的形式，该第二差异信息对应的残差图用于表示该图像与该图像的前一帧图像之间的亚像素的差异情况。例如，第二差异信息为时序残差图的形式，用于表示该图像与该图像的前一帧图像之间的亚像素在时序维度上的分布差异。

在一些实施例中，计算机设备将该第i+1帧图像与该第i+1帧图像的相邻帧图像输入特征提取网络，通过该特征提取网络，基于该第i+1帧图像与该第i+1帧图像的相邻帧图像提取该第i+1帧图像的隐层特征，基于该第i+1帧图像的隐层特征，确定该第i+1帧图像的图像特征信息，基于该第i+1帧图像、该第i帧图像以及该第i+1帧图像的隐层特征，确定该第i+1帧图像的第二差异信息。

其中，第i+1帧图像的相邻帧图像也即是该第i+1帧图像的前一帧图像与后一帧图像中的至少一项。示例地，计算机设备将第i+1帧图像、第i帧图像与第i+2帧图像输入特征提取网络，以便后续利用该特征提取网络来提取第i+1帧图像的隐层特征。

在一些实施例中，计算机设备将第i+1帧图像、第i帧图像与第i+2帧图像输入特征提取网络，通过特征提取网络的特征提取层，分别提取第i+1帧图像、第i帧图像与第i+2帧图像的图像特征，并在图像的颜色维度上对该第i+1帧图像、第i帧图像与第i+2帧图像的图像特征进行拼接，得到拼接后的图像特征，将拼接后的图像特征输入该特征提取网络的隐藏层，通过该特征提取网络的隐藏层，对该拼接后的图像特征进行卷积处理，得到该第i+1帧图像的隐层特征。

在该实施例中，针对第i+1帧图像，通过特征提取网络来提取该第i+1帧图像的隐层特征，也即是提取到了该第i+1帧图像的细节特征，进而利用该第i+1帧图像的隐层特征，来确定该第i+1帧图像的图像特征信息和第二差异信息，提高了确定图像特征信息和第二差异信息的精确性。

在一些实施例中，上述特征提取网络基于至少一帧样本图像、该至少一帧样本图像的相邻帧图像以及该至少一帧样本图像的隐层特征训练得到。其中，特征提取网络的模型训练过程参见步骤301中针对特征提取网络的模型训练过程，不再赘述。

针对上述计算机设备利用特征提取网络来提取隐层特征的过程，在一些实施例中，计算机设备将该第i+1帧图像、该第i+1帧图像的相邻帧图像以及该第i帧图像的隐层特征输入该特征提取网络，通过该特征提取网络，基于该第i+1帧图像、该第i+1帧图像的相邻帧图像以及该第i帧图像的隐层特征提取该第i+1帧图像的隐层特征。在该实施例中，特征提取网络基于至少一帧样本图像、该至少一帧样本图像的相邻帧图像、该至少一帧样本图像的前一帧图像的隐层特征以及该至少一帧样本图像的隐层特征训练得到。其中，该特征提取网络的模型训练过程与步骤301中特征提取网络的模型训练过程类似，不再赘述。

在该实施例中，在确定第i+1帧图像的隐层特征时，还参考了第i帧图像的隐层特征，如此，参考了前一帧图像的隐层特征，来确定当前帧图像的隐层特征，增加了所参考的信息量，能够精确地获取到当前帧图像的隐层特征，提高了获取隐层特征的精确性。

针对上述计算机设备基于隐层特征来确定第i+1帧图像的图像特征信息的过程，在一些实施例中，计算机设备将该第i+1帧图像的隐层特征输入第一特征提取子网络，通过该第一特征提取子网络，基于该第i+1帧图像的隐层特征提取该第i+1帧图像的图像特征信息。在该实施例中，针对第i+1帧图像，通过第一特征提取子网络，能够快速提取到该第i+1帧图像的图像特征信息，提高了获取图像特征信息的精确性。

在一些实施例中，该第一特征提取子网络基于至少一帧样本图像的隐层特征以及该至少一帧样本图像的图像特征信息训练得到。其中，第一特征提取子网络的模型训练过程参见步骤301中所示出的第一特征提取子网络的模型训练过程，不再赘述。

针对上述计算机设备基于隐层特征来确定第i+1帧图像的第二差异信息的过程，在一些实施例中，计算机设备将该第i+1帧图像、该第i帧图像以及该第i+1帧图像的隐层特征输入第三特征提取子网络，通过该第三特征提取子网络，基于该第i+1帧图像、该第i帧图像以及该第i+1帧图像的隐层特征提取该第i+1帧图像的第二差异信息。在该实施例中，通过第三特征提取子网络，能够快速提取到该第i+1帧图像的第二差异信息，提高了获取第二差异信息的精确性。

在一些实施例中，该第三特征提取子网络基于至少一帧样本图像、该至少一帧样本图像的前一帧图像、该至少一帧样本图像的隐层特征以及该至少一帧样本图像的第二差异信息训练得到。相应地，第三特征提取子网络的训练过程为：计算机设备基于至少一帧样本图像、该至少一帧样本图像的前一帧图像、该至少一帧样本图像的隐层特征以及该至少一帧样本图像的第二差异信息，进行模型训练，得到该第三特征提取子网络。具体地，在一些实施例中，服务器在模型训练的第m次迭代过程中，将该至少一帧样本图像、该至少一帧样本图像的前一帧图像以及该至少一帧样本图像的隐层特征输入第m-1次迭代过程所确定的第三特征提取子网络，得到该第m次迭代过程所提取的第二差异信息；基于该第m次迭代过程所提取的第二差异信息和该至少一帧样本图像的第二差异信息，对该第m-1次迭代过程所确定的第三特征提取子网络的模型参数进行调整，基于调整后的该模型参数进行第m+1次迭代过程，重复上述训练的迭代过程，直至训练满足目标条件。如此，通过迭代训练的方式，将模型参数较优的网络模型获取为第三特征提取子网络，以获取到提取能力较优的第三特征提取子网络，从而提升了第三特征提取子网络的提取精准性。

针对步骤301与步骤302中利用隐层特征来获取图像特征信息、第一差异信息以及第二差异信息这一过程，本公开实施例还提供了一种超分辨模型，该超分辨模型提供有上述特征提取网络、第一特征提取子网络、第二特征提取子网络以及第三特征提取子网络。示例地，图4是根据一示例性实施例示出的一种超分辨模型的结构示意图，参见图4，图4中以第It帧图像为当前帧图像、第It-1帧图像为前一帧图像、第It+1帧图像为后一帧图像为例，在获取第It帧图像所对应的上述信息时，将第It帧图像、第It-1帧图像与第It+1帧图像输入如图4所示出的超分辨模型，首先，通过该超分辨模型中的特征提取网络，提取第It帧图像的隐层特征，其中，特征提取网络可以是图4所示出的“Ht网络”。进而，在一些实施例中，将该特征提取网络所输出的隐层特征输入下一时刻的特征提取网络，也即是输入图4所示出的“Ht+1网络”，以便“Ht+1网络”利用第It帧图像的隐层特征来确定第It+1帧图像的隐层特征；在另一些实施例中，将该特征提取网络所输出的隐层特征输入第一特征提取子网络，通过该第一特征提取子网络来提取第It帧图像的图像特征信息，将该特征提取网络所输出的隐层特征输入第二特征提取子网络，通过该第二特征提取子网络来提取第It帧图像的第一差异信息，将该特征提取网络所输出的隐层特征输入第三特征提取子网络，通过该第三特征提取子网络来提取第It帧图像的第二差异信息，其中，第一特征提取子网络可以是图4所示出的“网络”401，相应地，利用第一特征提取子网络所预测得到的图像特征信息为图4所示出的St；第二特征提取子网络可以是图4所示出的“网络”402，相应地，利用第二特征提取子网络所预测得到的第一差异信息为图4所示出的Ft；第三特征提取子网络可以是图4所示出的“网络”403，相应地，利用第三特征提取子网络所预测得到的第二差异信息为图4所示出的Pt。

针对上述步骤301与步骤302中所示出的特征提取网络，在一些实施例中，该特征提取网络基于多个残差模块构成，进一步地，该特征提取网络中的隐藏层为多个残差模块级连的架构。其中，一个残差模块包括第一二维卷积层、与该第一二维卷积层相连的激活函数以及与该激活函数相连的第二二维卷积层，该激活函数用于指示对应图像、该图像的相邻帧图像与该图像的隐层特征之间的函数映射关系。在一些实施例中，第一二维卷积层与第二二维卷积层均采用3*3的卷积核。

示例地，图5是根据一示例性实施例示出的一种残差模块的结构示意图，参见图5，第一二维卷积层为图5所示出的“2D卷积层”501，激活函数为图5所示出的“ReLU”502，第二二维卷积层为图5所示出的“2D卷积层”503，可以发现，在一个残差模块中，将特征输入第一二维卷积层之后，通过该第一二维卷积层进行卷积处理，输出卷积处理后的特征，将该第一二维卷积层输出的特征作为该激活函数的输入，通过该激活函数所指示的函数映射关系，对所输入的特征进行运算，输出该激活函数的运算结果，将该激活函数的输出作为该第二二维卷积层的输入，通过该第二二维卷积层对该激活函数所输出的运算结果进行卷积处理，输出二次卷积处理后的特征，再将该二次卷积处理后的特征以及该残差模块的输入特征输入下一个残差模块。本公开实施例中，通过设置残差模块，能够起到梯度回传的效果，从而避免在隐层加深时出现梯度消失的问题。

在上述实施例中，提供了一种基于隐层特征，来获取第i+1帧图像的图像特征信息与第二差异信息的方式。在另一些实施例中，计算机设备还能够基于光流特征，来获取第i+1帧图像的图像特征信息与第二差异信息，相应过程为：基于该第i+1帧图像与该第i帧图像，确定该第i+1帧图像的光流特征信息与第二光流信息；分别对该第i+1帧图像的光流特征信息与第二光流信息进行插值处理，将插值处理后的该光流特征信息与该第二光流信息，确定为该第i+1帧图像的图像特征信息与第二差异信息。

其中，该第二光流信息表示对应图像与该图像的前一帧图像之间的像素移动情况，相应地，第i+1帧图像的第二光流信息表示第i+1帧图像与第i帧图像之间的像素移动情况。

针对上述提取光流特征的过程，在一些实施例中，计算机设备利用光流预估算法，来提取该第i+1帧图像的光流特征信息与第二光流信息。针对上述插值处理的过程，在一些实施例中，计算机设备利用插值算法，来对该第i+1帧图像的光流特征信息与第二光流信息进行插值处理。

在该实施例中，针对第i+1帧图像，通过提取该第i+1帧图像的光流特征信息，再对该光流特征信息进行插值处理，能够快速确定出该第i+1帧图像的细节特征，也即是确定出了该第i+1帧图像的图像特征信息，且，通过提取该第i+1帧图像的第一光流信息，能够快速确定出第i+1帧图像与第i帧图像之间的像素移动情况，再对该第一光流信息进行插值处理，能够快速确定出第i+1帧图像与第i帧图像在细节特征上的差异，也即确定出了该第i+1帧图像的第二差异信息，提高了确定图像特征信息与第二差异信息的效率和精确性。

在步骤303中，计算机设备基于该第i-1帧图像的图像特征信息与第一差异信息，确定第一转换信息，该第一转换信息表示该第i-1帧图像转换至该第i帧图像时所需的参数。

其中，第一转换信息表示在时间维度上将第i-1帧图像转换至该第i帧图像时所需的参数，进一步地，也即是将在第i-1帧图像所在时刻所预测的信息转换至该第i帧图像所在时刻所需的参数。应理解地，针对视频的任一帧图像来说，该图像的前一帧图像也即是处于前一时刻的图像，该图像的后一帧图像也即是处于后一时刻的图像。

在一些实施例中，计算机设备确定该第i-1帧图像的图像特征信息与该第i-1帧图像的第一差异信息之间的差值，作为该第一转换信息。

示例地，参见图4，针对图4所示出的t-1时刻，该t-1时刻对应的图像也即是上述第i-1帧图像，利用第t-1时刻所预测得到的图像特征信息(即图4中的St-1)与第一差异信息(即图4中的Ft-1)作差，能够将第t-1时刻所预测的信息转换至t时刻，所得到的第一转换信息也即是图4所示出的

在步骤304中，计算机设备基于该第i+1帧图像的图像特征信息与第二差异信息，确定第二转换信息，该第二转换信息表示该第i+1帧图像转换至该第i帧图像时所需的参数。

其中，第二转换信息表示在时间维度上将第i+1帧图像转换至该第i帧图像时所需的参数，进一步地，也即是将在第i+1帧图像所在时刻所预测的信息转换至该第i帧图像所在时刻所需的参数。

在一些实施例中，计算机设备确定该第i+1帧图像的图像特征信息与该第i+1帧图像的第二差异信息之间的差值，作为该第二转换信息。

示例地，参见图4，针对图4所示出的t+1时刻，该t+1时刻对应的图像也即是上述第i+1帧图像，利用第t+1时刻所预测得到的图像特征信息(即图4中的St+1)与第二差异信息(即图4中的Pt+1)作差，能够将第t+1时刻所预测的信息转换至t时刻，所得到的第二转换信息也即是图4所示出的

在上述步骤303至步骤304中，通过取差值的方式，能够快速将第i-1帧图像的特征信息转换至第i帧图像，将第i+1帧图像的特征信息转换至第i帧图像，以便后续利用前一帧图像转换至当前帧图像的转换信息和后一帧图像转换至当前帧的转换信息，来确定当前帧图像的超分辨信息，提高了超分辨重建的精确性。

在步骤305中，计算机设备基于该第i帧图像的图像特征信息、该第一转换信息以及该第二转换信息，确定该第i帧图像的超分辨信息。

在一些实施例中，计算机设备将该第i帧图像的图像特征信息、该第一转换信息以及该第二转换信息输入时序卷积网络，通过该时序卷积网络，基于该第i帧图像的图像特征信息、该第一转换信息以及该第二转换信息进行卷积处理，得到该第i帧图像的超分辨信息，在该实施例中，针对第i帧图像，通过时序卷积网络，对该第i帧图像的图像特征信息、该第一转换信息以及该第二转换信息进行卷积处理，能够快速获得该第i帧图像的超分辨信息，提高了获取超分辨信息的效率。

示例地，参见图4，针对图4所示出的t时刻，该t时刻对应的图像也即是上述第i帧图像，将t时刻所预测得到的第i帧图像的图像特征信息(即St)、该第一转换信息(即

)以及该第二转换信息(即

)进行拼接，得到拼接后的特征，将拼接后的特征输入图4所示出的时序卷积网络，通过该时序卷积网络对该第i帧图像的图像特征信息、该第一转换信息以及该第二转换信息进行卷积处理，以得到该第i帧图像的超分辨信息。在一些实施例中，时序卷积网络为多个残差模块级连的结构。

在一些实施例中，该时序卷积网络基于至少一帧样本图像的图像特征信息、第一转换信息、第二转换信息以及该至少一帧样本图像的超分辨信息训练得到。相应地，时序卷积网络的训练过程为：计算机设备基于至少一帧样本图像的图像特征信息、第一转换信息、第二转换信息以及该至少一帧样本图像的超分辨信息，进行模型训练，得到该时序卷积网络。具体地，在一些实施例中，服务器在模型训练的第m次迭代过程中，将该至少一帧样本图像的图像特征信息、第一转换信息与第二转换信息输入第m-1次迭代过程所确定的时序卷积网络，得到该第m次迭代过程所提取的超分辨信息；基于该第m次迭代过程所提取的超分辨信息和该至少一帧样本图像的超分辨信息，对该第m-1次迭代过程所确定的时序卷积网络的模型参数进行调整，基于调整后的该模型参数进行第m+1次迭代过程，重复上述训练的迭代过程，直至训练满足目标条件。如此，通过迭代训练的方式，将模型参数较优的网络模型获取为时序卷积网络，以获取到提取能力较优的时序卷积网络，从而提升了时序卷积网络的提取精准性。

在步骤306中，计算机设备基于该视频中多帧图像的超分辨信息，获取超分辨视频。

在一些实施例中，计算机设备基于该视频中多帧图像的超分辨信息，进行亚像素重排处理，得到该多帧图像的亚像素重排结果，对该多帧图像进行上采样处理，得到该多帧图像的上采样结果，基于该多帧图像的亚像素重排结果与该多帧图像的上采样结果，生成该超分辨视频。

针对上述上采样处理的过程，在一些实施例中，计算机设备基于线性插值的上采样方式，来执行上述上采样处理，或者，计算机设备基于深度学习的上采样方式(如反卷积)，来执行上述上采样处理。本公开实施例对上采样处理的内容不作限定。

在一些实施例中，计算机设备将该多帧图像的亚像素重排结果与该多帧图像的上采样结果，输入加法器，通过该加法器，分别对该多帧图像的亚像素重排结果与该多帧图像的上采样结果进行加和，得到该多帧图像的所对应的超分辨图像，按照该多帧图像的时间次序，对该多帧图像的所对应的超分辨图像进行组合，得到该超分辨视频。

在该实施例中，利用图像的亚像素重排结果与图像的上采样结果，能够快速生成对应的超分辨图像，进而利用多帧图像对应的超分辨图像能够快速获得该超分辨视频，提高了获取超分辨视频的效率。

如此，利用所预测的细节特征在时序上的差异，将过去时刻和未来时刻的特征信息转换到当前时刻，利用所转换的信息对当前时刻的结果进行进一步优化，相比较相关技术中直接利用卷积神经网络输出单一的预测结果，本公开实施例所提供的方案能够利用未来时刻和过去时刻的高分辨率预测结果进行进一步优化，提供了一种高分辨下的时序往返优化方案，能够更充分的利用过去时刻和未来时刻的特征信息，进而能够获得效果更好的超分辨结果，在超分辨结果上产生了更为丰富的细节和准确的结构。

本公开实施例提供的技术方案，针对视频中的第i帧，通过获取第i-1帧图像的图像特征信息、第一差异信息以及第i+1帧图像的图像特征信息、第二差异信息，进而利用第i-1帧图像的图像特征信息与第一差异信息，将第i-1帧图像的特征信息转换至第i帧图像，得到第一转换信息，利用第i+1帧图像的图像特征信息与第二差异信息，将第i+1帧图像的特征信息转换至第i帧图像，得到第二转化信息，进而利用第i帧图像的图像特征信息、第一转换信息以及第二转换信息，来获取第i帧图像的超分辨信息，如此，在确定第i帧图像的超分辨信息时，不仅参考了前一帧图像转换至当前帧图像的转换信息，还参考了后一帧图像转换至当前帧的转换信息，增加了所参考的信息量，能够精确地获取当前帧图像的超分辨信息，提高了超分辨重建的精确性，进而基于该视频中的多帧图像，能够精确地获取超分辨视频，提高了视频处理的精确性。

本公开实施例中，还利用Vid4数据集和UDM10数据集进行了超分辨重建的试验，其中，Vid4测试集和UDM10测试集均为视频超分辨测试集。在本次试验中，分别在N＝0和N＝1的条件下，进行了针对视频的超分辨重建，其中，N＝0表示不采用时序往返的优化方法，而直接采用相关技术中单向的循环卷积网络进行超分辨重建；N＝1表示采用本公开实施例所示出的时序往返优化方法，利用前一帧图像的转换信息和后一帧图像的转换信息来获取当前帧图像的超分辨信息。参见表1，在本次试验中，采用PSNR(峰值信噪比)作为测试指标，在N＝0的条件下，利用Vid4数据集所重建的高分辨率图像的信噪比为28.04db，利用UDM10数据集所重建的高分辨率图像的信噪比为39.68db，在N＝1的条件下，利用Vid4数据集所重建的高分辨率图像的信噪比为28.21db，利用UDM10数据集所重建的高分辨率图像的信噪比为39.80db，如此，所重建的高分辨率图像所能表达的层次更加丰富，所包含的色彩也更加丰富。另外，针对本公开实施例所示出的光流法和时序往返方法，同样利用上述Vid4数据集和UDM10数据集进行了超分辨重建的试验，显然，基于光流法进行超分辨重建所得到的图像以及基于时序往返方法进行超分辨重建所得的图像，均比基于相关技术进行超分辨重建所得的图像的信噪比高。

表1

示例地，图6是根据一示例性实施例示出的一种超分辨测试结果的示意图，参见图6，图6所示出的第一列图像，是利用传统的上采样插值算法所得的高分辨率图像，图6所示出的第二列图像，是利用相关技术中的卷积神经网络进行超分辨重建所得到的图像，图6所示出的第三列图像，是利用本公开实施例所提供的单步长时序往返优化方法所得的图像，图6所示出的第四列图像是真实图像，可以发现，图6所示出的第二列图像中的纹理细节不是足够的清晰，且数字也是模糊的，而图6所示出的第三列图像的分辨率明显得到了提升，接近第四列的真实图像。

图7是根据一示例性实施例示出的一种视频处理装置的框图。参见图7，该装置包括信息获取单元701，转换信息确定单元702、超分辨信息确定单元703和视频获取单元704。

信息获取单元701，被配置为执行针对视频中的第i帧图像，获取第i-1帧图像的图像特征信息、第一差异信息以及第i+1帧图像的图像特征信息、第二差异信息，该i为大于1的正整数，该图像特征信息表示对应图像的细节特征，该第一差异信息表示对应图像与该图像的后一帧图像在该细节特征上的差异，该第二差异信息表示对应图像与该图像的前一帧图像在该细节特征上的差异；

转换信息确定单元702，被配置为执行基于该第i-1帧图像的图像特征信息与第一差异信息，确定第一转换信息，基于该第i+1帧图像的图像特征信息与第二差异信息，确定第二转换信息，该第一转换信息表示该第i-1帧图像转换至该第i帧图像时所需的参数，该第二转换信息表示该第i+1帧图像转换至该第i帧图像时所需的参数；

超分辨信息确定单元703，被配置为执行基于该第i帧图像的图像特征信息、该第一转换信息以及该第二转换信息，确定该第i帧图像的超分辨信息；

视频获取单元704，被配置为执行基于该视频中多帧图像的超分辨信息，获取超分辨视频。

本公开实施例提供的技术方案，针对视频中的第i帧，通过获取第i-1帧图像的图像特征信息、第一差异信息以及第i+1帧图像的图像特征信息、第二差异信息，进而利用第i-1帧图像的图像特征信息与第一差异信息，将第i-1帧图像的特征信息转换至第i帧图像，得到第一转换信息，利用第i+1帧图像的图像特征信息与第二差异信息，将第i+1帧图像的特征信息转换至第i帧图像，得到第二转化信息，进而利用第i帧图像的图像特征信息、第一转换信息以及第二转换信息，来获取第i帧图像的超分辨信息，如此，在确定第i帧图像的超分辨信息时，不仅参考了前一帧图像转换至当前帧图像的转换信息，还参考了后一帧图像转换至当前帧的转换信息，增加了所参考的信息量，能够精确地获取当前帧图像的超分辨信息，提高了超分辨重建的精确性，进而基于该视频中的多帧图像，能够精确地获取超分辨视频，提高了视频处理的精确性。

在一些实施例中，该信息获取单元701，包括：

特征提取子单元，被配置为执行将该第i-1帧图像与该第i-1帧图像的相邻帧图像输入特征提取网络，通过该特征提取网络，基于该第i-1帧图像与该第i-1帧图像的相邻帧图像提取该第i-1帧图像的隐层特征，该特征提取网络基于至少一帧样本图像、该至少一帧样本图像的相邻帧图像以及该至少一帧样本图像的隐层特征训练得到；

确定子单元，被配置为执行基于该第i-1帧图像的隐层特征，确定该第i-1帧图像的图像特征信息，基于该第i-1帧图像、该第i帧图像以及该第i-1帧图像的隐层特征，确定该第i-1帧图像的第一差异信息。

在一些实施例中，在该i为大于2的正整数的情况下，该特征提取子单元，还被配置为执行：

将该第i-1帧图像、该第i-1帧图像的相邻帧图像以及第i-2帧图像的隐层特征输入该特征提取网络，通过该特征提取网络，基于该第i-1帧图像、该第i-1帧图像的相邻帧图像以及该第i-2帧图像的隐层特征提取该第i-1帧图像的隐层特征，该特征提取网络基于至少一帧样本图像、该至少一帧样本图像的相邻帧图像、该至少一帧样本图像的前一帧图像的隐层特征以及该至少一帧样本图像的隐层特征训练得到。

在一些实施例中，该确定子单元，被配置为执行：

将该第i-1帧图像的隐层特征输入第一特征提取子网络，通过该第一特征提取子网络，基于该第i-1帧图像的隐层特征提取该第i-1帧图像的图像特征信息，该第一特征提取子网络基于至少一帧样本图像的隐层特征以及该至少一帧样本图像的图像特征信息训练得到；

将该第i-1帧图像、该第i帧图像以及该第i-1帧图像的隐层特征输入第二特征提取子网络，通过该第二特征提取子网络，基于该第i-1帧图像、该第i帧图像以及该第i-1帧图像的隐层特征提取该第i-1帧图像的第一差异信息，该第二特征提取子网络基于至少一帧样本图像、该至少一帧样本图像的后一帧图像、该至少一帧样本图像的隐层特征以及该至少一帧样本图像的第一差异信息训练得到。

在一些实施例中，该信息获取单元701，包括：

特征提取子单元，被配置为执行将该第i+1帧图像与该第i+1帧图像的相邻帧图像输入特征提取网络，通过该特征提取网络，基于该第i+1帧图像与该第i+1帧图像的相邻帧图像提取该第i+1帧图像的隐层特征，该特征提取网络基于至少一帧样本图像、该至少一帧样本图像的相邻帧图像以及该至少一帧样本图像的隐层特征训练得到；

确定子单元，被配置为执行基于该第i+1帧图像的隐层特征，确定该第i+1帧图像的图像特征信息，基于该第i+1帧图像、该第i帧图像以及该第i+1帧图像的隐层特征，确定该第i+1帧图像的第二差异信息。

在一些实施例中，该特征提取子单元，还被配置为执行：

将该第i+1帧图像、该第i+1帧图像的相邻帧图像以及该第i帧图像的隐层特征输入该特征提取网络，通过该特征提取网络，基于该第i+1帧图像、该第i+1帧图像的相邻帧图像以及该第i帧图像的隐层特征提取该第i+1帧图像的隐层特征，该特征提取网络基于至少一帧样本图像、该至少一帧样本图像的相邻帧图像、该至少一帧样本图像的前一帧图像的隐层特征以及该至少一帧样本图像的隐层特征训练得到。

在一些实施例中，该确定子单元，被配置为执行：

将该第i+1帧图像的隐层特征输入第一特征提取子网络，通过该第一特征提取子网络，基于该第i+1帧图像的隐层特征提取该第i+1帧图像的图像特征信息，该第一特征提取子网络基于至少一帧样本图像的隐层特征以及该至少一帧样本图像的图像特征信息训练得到；

将该第i+1帧图像、该第i帧图像以及该第i+1帧图像的隐层特征输入第三特征提取子网络，通过该第三特征提取子网络，基于该第i+1帧图像、该第i帧图像以及该第i+1帧图像的隐层特征提取该第i+1帧图像的第二差异信息，该第三特征提取子网络基于至少一帧样本图像、该至少一帧样本图像的前一帧图像、该至少一帧样本图像的隐层特征以及该至少一帧样本图像的第二差异信息训练得到。

在一些实施例中，该特征提取网络基于多个残差模块构成，其中，一个残差模块包括第一二维卷积层、与该第一二维卷积层相连的激活函数以及与该激活函数相连的第二二维卷积层，该激活函数用于指示对应图像、该图像的相邻帧图像与该图像的隐层特征之间的函数映射关系。

在一些实施例中，该信息获取单元701，包括：

确定子单元，被配置为执行基于该第i-1帧图像与该第i帧图像，确定该第i-1帧图像的光流特征信息与第一光流信息，该光流特征信息表示对应图像的光流特征，该第一光流信息表示对应图像与该图像的后一帧图像之间的像素移动情况；

处理子单元，被配置为执行分别对该第i-1帧图像的光流特征信息与第一光流信息进行插值处理，将插值处理后的该光流特征信息与该第一光流信息，确定为该第i-1帧图像的图像特征信息与第一差异信息。

在一些实施例中，该信息获取单元701，包括：

确定子单元，被配置为执行基于该第i+1帧图像与该第i帧图像，确定该第i+1帧图像的光流特征信息与第二光流信息，该光流特征信息表示对应图像的光流特征，该第二光流信息表示对应图像与该图像的前一帧图像之间的像素移动情况；

处理子单元，被配置为执行分别对该第i+1帧图像的光流特征信息与第二光流信息进行插值处理，将插值处理后的该光流特征信息与该第二光流信息，确定为该第i+1帧图像的图像特征信息与第二差异信息。

在一些实施例中，该转换信息确定单元702，被配置为执行：

确定该第i-1帧图像的图像特征信息与该第i-1帧图像的第一差异信息之间的差值，作为该第一转换信息；

确定该第i+1帧图像的图像特征信息与该第i+1帧图像的第二差异信息之间的差值，作为该第二转换信息。

在一些实施例中，该超分辨信息确定单元703，被配置为执行：

将该第i帧图像的图像特征信息、该第一转换信息以及该第二转换信息输入时序卷积网络，通过该时序卷积网络，基于该第i帧图像的图像特征信息、该第一转换信息以及该第二转换信息进行卷积处理，得到该第i帧图像的超分辨信息，该时序卷积网络基于至少一帧样本图像的图像特征信息、第一转换信息、第二转换信息以及该至少一帧样本图像的超分辨信息训练得到。

在一些实施例中，该视频获取单元704，被配置为执行：

基于该视频中多帧图像的超分辨信息，进行亚像素重排处理，得到该多帧图像的亚像素重排结果；

对该多帧图像进行上采样处理，得到该多帧图像的上采样结果；

基于该多帧图像的亚像素重排结果与该多帧图像的上采样结果，生成该超分辨视频。

在一些实施例中，该图像特征信息、该第一差异信息、该第二差异信息均为残差图的形式，该图像特征信息对应的残差图用于表示对应图像中的亚像素的分布情况；该第一差异信息对应的残差图用于表示该图像与该图像的后一帧图像之间的亚像素的差异情况；该第二差异信息对应的残差图用于表示该图像与该图像的前一帧图像之间的亚像素的差异情况。

需要说明的是：上述实施例提供的视频处理装置在视频处理时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的视频处理装置与视频处理方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

本公开实施例所提到的计算机设备可提供为一种终端。图8示出了本公开一个示例性实施例提供的终端800的结构框图。该终端800可以是：智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端800还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。

通常，终端800包括有：处理器801和存储器802。

处理器801可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器801可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器801也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central Processing Unit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器801可以集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器801还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器802可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器802还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器802中的非暂态的计算机可读存储介质用于存储至少一个程序代码，该至少一个程序代码用于被处理器801所执行以实现本公开中方法实施例提供的视频处理方法中终端执行的过程。

在一些实施例中，终端800还可选包括有：外围设备接口803和至少一个外围设备。处理器801、存储器802和外围设备接口803之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口803相连。具体地，外围设备包括：射频电路804、显示屏805、摄像头组件806、音频电路807、定位组件808和电源809中的至少一种。

外围设备接口803可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器801和存储器802。在一些实施例中，处理器801、存储器802和外围设备接口803被集成在同一芯片或电路板上；在一些其他实施例中，处理器801、存储器802和外围设备接口803中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。

射频电路804用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路804通过电磁信号与通信网络以及其他通信设备进行通信。射频电路804将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路804包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路804可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路804还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本公开对此不加以限定。

显示屏805用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏805是触摸显示屏时，显示屏805还具有采集在显示屏805的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器801进行处理。此时，显示屏805还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏805可以为一个，设置在终端800的前面板；在另一些实施例中，显示屏805可以为至少两个，分别设置在终端800的不同表面或呈折叠设计；在另一些实施例中，显示屏805可以是柔性显示屏，设置在终端800的弯曲表面上或折叠面上。甚至，显示屏805还可以设置成非矩形的不规则图形，也即异形屏。显示屏805可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode，有机发光二极管)等材质制备。

摄像头组件806用于采集图像或视频。可选地，摄像头组件806包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件806还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。

音频电路807可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器801进行处理，或者输入至射频电路804以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端800的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器801或射频电路804的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路807还可以包括耳机插孔。

定位组件808用于定位终端800的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。

电源809用于为终端800中的各个组件进行供电。电源809可以是交流电、直流电、一次性电池或可充电电池。当电源809包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。

在一些实施例中，终端800还包括有一个或多个传感器810。该一个或多个传感器810包括但不限于：加速度传感器811、陀螺仪传感器812、压力传感器813、指纹传感器814、光学传感器815以及接近传感器816。

加速度传感器811可以检测以终端800建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器811可以用于检测重力加速度在三个坐标轴上的分量。处理器801可以根据加速度传感器811采集的重力加速度信号，控制显示屏805以横向视图或纵向视图进行用户界面的显示。加速度传感器811还可以用于游戏或者用户的运动数据的采集。

陀螺仪传感器812可以检测终端800的机体方向及转动角度，陀螺仪传感器812可以与加速度传感器811协同采集用户对终端800的3D动作。处理器801根据陀螺仪传感器812采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。

压力传感器813可以设置在终端800的侧边框和/或显示屏805的下层。当压力传感器813设置在终端800的侧边框时，可以检测用户对终端800的握持信号，由处理器801根据压力传感器813采集的握持信号进行左右手识别或快捷操作。当压力传感器813设置在显示屏805的下层时，由处理器801根据用户对显示屏805的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。

指纹传感器814用于采集用户的指纹，由处理器801根据指纹传感器814采集到的指纹识别用户的身份，或者，由指纹传感器814根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器801授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器814可以被设置在终端800的正面、背面或侧面。当终端800上设置有物理按键或厂商Logo时，指纹传感器814可以与物理按键或厂商Logo集成在一起。

光学传感器815用于采集环境光强度。在一个实施例中，处理器801可以根据光学传感器815采集的环境光强度，控制显示屏805的显示亮度。具体地，当环境光强度较高时，调高显示屏805的显示亮度；当环境光强度较低时，调低显示屏805的显示亮度。在另一个实施例中，处理器801还可以根据光学传感器815采集的环境光强度，动态调整摄像头组件806的拍摄参数。

接近传感器816，也称距离传感器，通常设置在终端800的前面板。接近传感器816用于采集用户与终端800的正面之间的距离。在一个实施例中，当接近传感器816检测到用户与终端800的正面之间的距离逐渐变小时，由处理器801控制显示屏805从亮屏状态切换为息屏状态；当接近传感器816检测到用户与终端800的正面之间的距离逐渐变大时，由处理器801控制显示屏805从息屏状态切换为亮屏状态。

本领域技术人员可以理解，图8中示出的结构并不构成对终端800的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

本公开实施例所提到的计算机设备可提供为一种服务器。图9是根据一示例性实施例示出的一种服务器的框图，该服务器900可因配置或性能不同而产生比较大的差异，可以包括一个或多个处理器(Central Processing Units，CPU)901和一个或多个的存储器902，其中，该一个或多个存储器902中存储有至少一条程序代码，该至少一条程序代码由该一个或多个处理器901加载并执行以实现上述各个方法实施例提供的视频处理方法中服务器执行的过程。当然，该服务器900还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器900还可以包括其他用于实现设备功能的部件，在此不做赘述。

在示例性实施例中，还提供了一种包括程序代码的计算机可读存储介质，例如包括程序代码的存储器802或存储器902，上述程序代码可由终端800的处理器801或服务器900的处理器901执行以完成上述视频处理方法。在一些实施例中，计算机可读存储介质可以是ROM(Read-Only Memory，只读内存)、RAM(Random Access Memory，随机存取存储器)、CD-ROM(Compact-Disc Read-Only Memory，只读光盘)、磁带、软盘和光数据存储设备等。

在示例性实施例中，还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述的视频处理方法。

在一些实施例中，本公开实施例所涉及的计算机程序可被部署在一个计算机设备上执行，或者在位于一个地点的多个计算机设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算机设备上执行，分布在多个地点且通过通信网络互连的多个计算机设备可以组成区块链系统。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种视频处理方法，其特征在于，所述方法包括：

针对视频中的第i帧图像，获取第i-1帧图像的图像特征信息、第一差异信息以及第i+1帧图像的图像特征信息、第二差异信息，所述i为大于1的正整数，所述图像特征信息表示对应图像的细节特征，所述第一差异信息表示对应图像与所述图像的后一帧图像在所述细节特征上的差异，所述第二差异信息表示对应图像与所述图像的前一帧图像在所述细节特征上的差异；

基于所述第i-1帧图像的图像特征信息与第一差异信息，确定第一转换信息，基于所述第i+1帧图像的图像特征信息与第二差异信息，确定第二转换信息，所述第一转换信息表示所述第i-1帧图像转换至所述第i帧图像时所需的参数，所述第二转换信息表示所述第i+1帧图像转换至所述第i帧图像时所需的参数；

基于所述第i帧图像的图像特征信息、所述第一转换信息以及所述第二转换信息，确定所述第i帧图像的超分辨信息；

基于所述视频中多帧图像的超分辨信息，获取超分辨视频。

2.根据权利要求1所述的视频处理方法，其特征在于，所述第i-1帧图像的图像特征信息与第一差异信息的获取过程包括：

将所述第i-1帧图像与所述第i-1帧图像的相邻帧图像输入特征提取网络，通过所述特征提取网络，基于所述第i-1帧图像与所述第i-1帧图像的相邻帧图像提取所述第i-1帧图像的隐层特征，所述特征提取网络基于至少一帧样本图像、所述至少一帧样本图像的相邻帧图像以及所述至少一帧样本图像的隐层特征训练得到；

基于所述第i-1帧图像的隐层特征，确定所述第i-1帧图像的图像特征信息，基于所述第i-1帧图像、所述第i帧图像以及所述第i-1帧图像的隐层特征，确定所述第i-1帧图像的第一差异信息。

3.根据权利要求2所述的视频处理方法，其特征在于，在所述i为大于2的正整数的情况下，所述方法还包括：

将所述第i-1帧图像、所述第i-1帧图像的相邻帧图像以及第i-2帧图像的隐层特征输入所述特征提取网络，通过所述特征提取网络，基于所述第i-1帧图像、所述第i-1帧图像的相邻帧图像以及所述第i-2帧图像的隐层特征提取所述第i-1帧图像的隐层特征，所述特征提取网络基于至少一帧样本图像、所述至少一帧样本图像的相邻帧图像、所述至少一帧样本图像的前一帧图像的隐层特征以及所述至少一帧样本图像的隐层特征训练得到。

4.根据权利要求2所述的视频处理方法，其特征在于，所述基于所述第i-1帧图像的隐层特征，确定所述第i-1帧图像的图像特征信息，基于所述第i-1帧图像、所述第i帧图像以及所述第i-1帧图像的隐层特征，确定所述第i-1帧图像的第一差异信息包括：

将所述第i-1帧图像的隐层特征输入第一特征提取子网络，通过所述第一特征提取子网络，基于所述第i-1帧图像的隐层特征提取所述第i-1帧图像的图像特征信息，所述第一特征提取子网络基于至少一帧样本图像的隐层特征以及所述至少一帧样本图像的图像特征信息训练得到；

将所述第i-1帧图像、所述第i帧图像以及所述第i-1帧图像的隐层特征输入第二特征提取子网络，通过所述第二特征提取子网络，基于所述第i-1帧图像、所述第i帧图像以及所述第i-1帧图像的隐层特征提取所述第i-1帧图像的第一差异信息，所述第二特征提取子网络基于至少一帧样本图像、所述至少一帧样本图像的后一帧图像、所述至少一帧样本图像的隐层特征以及所述至少一帧样本图像的第一差异信息训练得到。

5.根据权利要求1所述的视频处理方法，其特征在于，所述第i+1帧图像的图像特征信息与第二差异信息的获取过程包括：

将所述第i+1帧图像与所述第i+1帧图像的相邻帧图像输入特征提取网络，通过所述特征提取网络，基于所述第i+1帧图像与所述第i+1帧图像的相邻帧图像提取所述第i+1帧图像的隐层特征，所述特征提取网络基于至少一帧样本图像、所述至少一帧样本图像的相邻帧图像以及所述至少一帧样本图像的隐层特征训练得到；

基于所述第i+1帧图像的隐层特征，确定所述第i+1帧图像的图像特征信息，基于所述第i+1帧图像、所述第i帧图像以及所述第i+1帧图像的隐层特征，确定所述第i+1帧图像的第二差异信息。

6.根据权利要求5所述的视频处理方法，其特征在于，所述方法还包括：

将所述第i+1帧图像、所述第i+1帧图像的相邻帧图像以及所述第i帧图像的隐层特征输入所述特征提取网络，通过所述特征提取网络，基于所述第i+1帧图像、所述第i+1帧图像的相邻帧图像以及所述第i帧图像的隐层特征提取所述第i+1帧图像的隐层特征，所述特征提取网络基于至少一帧样本图像、所述至少一帧样本图像的相邻帧图像、所述至少一帧样本图像的前一帧图像的隐层特征以及所述至少一帧样本图像的隐层特征训练得到。

7.一种视频处理装置，其特征在于，所述装置包括：

信息获取单元，被配置为执行针对视频中的第i帧图像，获取第i-1帧图像的图像特征信息、第一差异信息以及第i+1帧图像的图像特征信息、第二差异信息，所述i为大于1的正整数，所述图像特征信息表示对应图像的细节特征，所述第一差异信息表示对应图像与所述图像的后一帧图像在所述细节特征上的差异，所述第二差异信息表示对应图像与所述图像的前一帧图像在所述细节特征上的差异；

转换信息确定单元，被配置为执行基于所述第i-1帧图像的图像特征信息与第一差异信息，确定第一转换信息，基于所述第i+1帧图像的图像特征信息与第二差异信息，确定第二转换信息，所述第一转换信息表示所述第i-1帧图像转换至所述第i帧图像时所需的参数，所述第二转换信息表示所述第i+1帧图像转换至所述第i帧图像时所需的参数；

超分辨信息确定单元，被配置为执行基于所述第i帧图像的图像特征信息、所述第一转换信息以及所述第二转换信息，确定所述第i帧图像的超分辨信息；

视频获取单元，被配置为执行基于所述视频中多帧图像的超分辨信息，获取超分辨视频。

8.一种计算机设备，其特征在于，所述计算机设备包括：

一个或多个处理器；

用于存储所述处理器可执行程序代码的存储器；

其中，所述处理器被配置为执行所述程序代码，以实现如权利要求1至6中任一项所述的视频处理方法。

9.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的程序代码由计算机设备的处理器执行时，使得计算机设备能够执行如权利要求1至6中任一项所述的视频处理方法。

10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的视频处理方法。

Images