CN113411521A - 视频处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开关于一种视频处理方法、装置、电子设备和存储介质。该视频处理方法包括：获取低分辨率视频；通过质量分级模型，对所述低分辨率视频标注质量标签；根据所述低分辨率视频的质量标签，利用与所述质量标签对应的超分辨模型，对所述低分辨率视频进行超分辨处理。由此，能够依据视频质量选择适合的超分辨模型来进行超分辨处理，从而能够对低分辨率视频进行适当的超分辨处理。

Description

视频处理方法、装置、电子设备及存储介质

技术领域

本公开涉及视频技术领域，尤其涉及进行超分辨处理的视频处理方法及装置。

背景技术

现实中，用户不可避免地会获取到低分辨率视频，这些视频由于拍摄问题、网络传输以及视频经过多次编解码等原因，会带有不同程度的噪声、压缩伪影，导致大幅降低视频的观赏性。为了解决这样的问题，视频超分辨技术被广泛应用，该技术能够将低分辨率视频通过模型处理，得到高分辨率视频，在提升视频分辨率的同时，能够有效改善视频画质，增加视频细节，增强视频纹理内容，从而提升视频的观赏性，进而有利于视频的推广和分发。

随着深度学习技术的发展，基于深度学习的视频超分辨技术已经完全取代了传统的超分辨方法而成为主流方法，并具有重要的应用价值和意义。

然而，基于深度学习的超分辨方法是使用GT(Ground Truth：基准真值)高分辨率图像进行某种或多种退化而生成LR(Low Resolution：低分辨率)图像，从而获取图像训练数据对。然后，通过损失函数对模型所输出的SR(Super Resolution：超分辨)图像和GT图像进行约束求解，从而进行模型训练。通过训练好的模型，能够将输入的低分辨率图像处理成高分辨率图像。对于视频的超分辨方法，可以采用如上所述的图像超分辨模型，在应用时，将视频解码得到视频帧，通过逐帧超分辨处理，得到每帧高分辨率图像，然后利用视频编码，将处理后的视频帧封装成视频，如图9所示。

这样的超分辨方法，无论想要进行超分辨处理的低分辨率视频的质量如何，都使用单一的超分辨模型来进行超分辨处理。因此，存在超分辨模型无法适当的对低分辨率视频进行超分辨处理的情况。

发明内容

本公开提供一种视频处理方法、装置、电子设备及存储介质，以至少解决上述现有技术中存在的问题。

根据本公开实施例的第一方面，提供一种视频处理方法，包括：获取低分辨率视频；通过质量分级模型，对所述低分辨率视频标注质量标签；根据所述低分辨率视频的质量标签，利用与所述质量标签对应的超分辨模型，对所述低分辨率视频进行超分辨处理。

可选地，所述质量标签包括低退化和高退化，在所述低分辨率视频被标注为低退化时，利用与所述低退化对应的低退化超分辨模型，对所述低分辨率视频进行超分辨处理，在所述低分辨率视频被标注为高退化时，利用与所述高退化对应的高退化超分辨模型，对所述低分辨率视频进行超分辨处理。

可选地，所述低退化超分辨模型通过使用高分辨率样本视频及低分辨率样本视频，对卷积神经网络进行训练而得到，所述低分辨率样本视频为对所述高分辨率样本视频进行低退化处理而得。

可选地，所述低退化处理包括单次编码处理和单次下采样处理，其中，所述编码处理的质量/码率控制设置值为[14,23]中的一个值。

可选地，所述高退化超分辨模型通过使用高分辨率样本视频及低分辨率样本视频，对卷积神经网络进行训练而得到，所述低分辨率样本视频为对所述高分辨率样本视频进行高退化处理而得。

可选地，所述高退化处理包括单次、双次编码处理之一和单次、双次下采样处理之一，其中，所述编码处理的质量/码率控制设置值为[24,36]中的一个值。

可选地，所述质量分级模型是通过如下步骤进行训练而得到的：获取高分辨率样本视频；对所述高分辨率样本视频进行退化处理而得到低分辨率样本视频；基于所述高分辨率样本视频和所述低分辨率样本视频，利用所述低退化超分辨模型和所述高退化超分辨模型，获取所述低分辨率样本视频的样本质量标签；将所述低分辨率样本视频输入到所述质量分级模型中，由所述质量分级模型确定所述低分辨率样本视频的预测质量标签；基于所述预测质量标签和所述样本质量标签之间的差异，调整所述质量分级模型的参数，对所述质量分级模型进行训练。

可选地，所述退化处理包括单次、双次编码处理之一和单次、双次下采样处理之一，其中，所述编码处理的质量/码率控制设置值为[14,36]中的一个值。

可选地，基于所述高分辨率样本视频和所述低分辨率样本视频，利用所述低退化超分辨模型和所述高退化超分辨模型，获取所述低分辨率样本视频的样本质量标签的步骤包括：对所述低分辨率样本视频抽取标注用多帧图像，并对所述高分辨率样本视频也抽取对应的多帧图像；基于所述标注用多帧图像和所述多帧图像，利用所述低退化超分辨模型和所述高退化超分辨模型，获取所述低分辨率样本视频的样本质量标签。

可选地，基于所述标注用多帧图像和所述多帧图像，利用所述低退化超分辨模型和所述高退化超分辨模型，获取所述低分辨率样本视频的样本质量标签的步骤包括：针对所述标注用多帧图像的任一帧图像，分别将其输入到所述低退化超分辨模型和所述高退化超分辨模型，从而得到所述任一帧图像的低退化超分辨图像和高退化超分辨图像；将所述任一帧图像的低退化超分辨图像和高退化超分辨图像分别与所述多帧图像中的对应的图像进行图像质量评估，将图像质量评估分数较大一方的图像所对应的超分辨模型的类型作为所述任一帧图像的标签；将所述标注用多帧图像中出现次数最多的所述标签作为所述低分辨率样本视频的样本质量标签。

可选地，所述图像质量评估利用峰值信噪比来进行。

根据本公开实施例的第二方面，提供一种视频处理装置，包括：获取单元，被配置为：获取低分辨率视频；质量标注单元，被配置为：通过质量分级模型，对所述低分辨率视频标注质量标签；超分辨处理单元，被配置为：根据所述低分辨率视频的质量标签，利用与所述质量标签对应的超分辨模型，对所述低分辨率视频进行超分辨处理。

可选地，所述质量标签包括低退化和高退化，所述超分辨处理单元被配置为：在所述低分辨率视频被标注为低退化时，利用与所述低退化对应的低退化超分辨模型，对所述低分辨率视频进行超分辨处理，在所述低分辨率视频被标注为高退化时，利用与所述高退化对应的高退化超分辨模型，对所述低分辨率视频进行超分辨处理。

可选地，所述超分辨处理单元被配置为：通过使用高分辨率样本视频及低分辨率样本视频，对卷积神经网络进行训练而得到所述低退化超分辨模型，所述低分辨率样本视频为对所述高分辨率样本视频进行低退化处理而得。

可选地，所述低退化处理包括单次编码处理和单次下采样处理，其中，所述编码处理的质量/码率控制设置值为[14,23]中的一个值。

可选地，所述超分辨处理单元被配置为：通过使用高分辨率样本视频及低分辨率样本视频，对卷积神经网络进行训练而得到所述高退化超分辨模型，所述低分辨率样本视频为对所述高分辨率样本视频进行高退化处理而得。

可选地，所述高退化处理包括单次、双次编码处理之一和单次、双次下采样处理之一，其中，所述编码处理的质量/码率控制设置值为[24,36]中的一个值。

可选地，所述质量标注单元被配置为：通过如下步骤进行训练而得到所述质量分级模型，获取高分辨率样本视频；对所述高分辨率样本视频进行退化处理而得到低分辨率样本视频；基于所述高分辨率样本视频和所述低分辨率样本视频，利用所述低退化超分辨模型和所述高退化超分辨模型，获取所述低分辨率样本视频的样本质量标签；将所述低分辨率样本视频输入到所述质量分级模型中，由所述质量分级模型确定所述低分辨率样本视频的预测质量标签；基于所述预测质量标签和所述样本质量标签之间的差异，调整所述质量分级模型的参数，对所述质量分级模型进行训练。

可选地，所述退化处理包括单次、双次编码处理之一和单次、双次下采样处理之一，其中，所述编码处理的质量/码率控制设置值为[14,36]中的一个值。

可选地，基于所述高分辨率样本视频和所述低分辨率样本视频，利用所述低退化超分辨模型和所述高退化超分辨模型，获取所述低分辨率样本视频的样本质量标签的步骤包括：对所述低分辨率样本视频抽取标注用多帧图像，并对所述高分辨率样本视频也抽取对应的多帧图像；基于所述标注用多帧图像和所述多帧图像，利用所述低退化超分辨模型和所述高退化超分辨模型，获取所述低分辨率样本视频的样本质量标签。

可选地，基于所述标注用多帧图像和所述多帧图像，利用所述低退化超分辨模型和所述高退化超分辨模型，获取所述低分辨率样本视频的样本质量标签的步骤包括：针对所述标注用多帧图像的任一帧图像，分别将其输入到所述低退化超分辨模型和所述高退化超分辨模型，从而得到所述任一帧图像的低退化超分辨图像和高退化超分辨图像；将所述任一帧图像的低退化超分辨图像和高退化超分辨图像分别与所述多帧图像中的对应的图像进行图像质量评估，将图像质量评估分数较大一方的图像所对应的超分辨模型的类型作为所述任一帧图像的标签；将所述标注用多帧图像中出现次数最多的所述标签作为所述低分辨率样本视频的样本质量标签。

可选地，所述图像质量评估利用峰值信噪比来进行。

根据本公开实施例的第三方面，提供一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现上述的视频处理方法。

根据本公开实施例的第四方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令被电子设备的处理器执行时，使得电子设备执行上述的视频处理方法。

根据本公开实施例的第五方面，提供一种计算机程序产品，包括计算机指令，其特征在于，所述计算机指令被处理器执行时实现上述的视频处理方法。

本公开的实施例提供的技术方案至少带来以下有益效果：

根据本公开的视频处理方法、装置、电子设备及存储介质，能够依据视频质量选择适合的超分辨模型来进行超分辨处理，从而能够对低分辨率视频进行适当的超分辨处理。此外，通过将低分辨率视频质量分为两种，并针对这两种质量分别使用对应的超分辨模型来进行超分辨处理，从而能够保证质量较低的低分辨率视频可以通过去噪声、去块效应强的超分辨模型来进行超分辨处理，有效去除噪声和压缩伪影，同时，保证质量较高的低分辨率视频可以通过去噪声、去块效应弱的超分辨模型来进行超分辨处理，可以在超分辨处理后保留更多的纹理细节，避免出现超分辨处理后的视频过度平稳的情况。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是示出根据本公开的示例性实施例的视频处理方法的实施场景示意图。

图2是示出根据本公开的示例性实施例的视频处理方法的流程图。

图3是示出根据本公开的示例性实施例的超分辨模型的结构的示意图。

图4是示出根据本公开的示例性实施例的质量分级模型的训练方法的流程图。

图5是示出根据本公开的示例性实施例的基于标注用多帧图像和对应的多帧图像，利用低退化超分辨模型和高退化超分辨模型获取低分辨率样本视频的样本质量标签的方法的示意图。

图6是示出根据本公开的示例性实施例的超分辨处理的流程图。

图7是示出根据本公开的示例性实施例的视频处理装置的框图。

图8是示出根据本公开的示例性实施例的电子设备的框图。

图9是现有的超分辨处理的大致流程图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在此需要说明的是，在本公开中出现的“若干项之中的至少一项”均表示包含“该若干项中的任意一项”、“该若干项中的任意多项的组合”、“该若干项的全体”这三类并列的情况。例如“包括A和B之中的至少一个”即包括如下三种并列的情况：(1)包括A；(2)包括B；(3)包括A和B。又例如“执行步骤一和步骤二之中的至少一个”，即表示如下三种并列的情况：(1)执行步骤一；(2)执行步骤二；(3)执行步骤一和步骤二。

目前，现有的超分辨模型虽然在训练过程中考虑了一种或多种退化方式来进行训练，但是仍然存在超分辨模型无法适当的对低分辨率视频进行超分辨处理的情况。

为此，本公开提供了一种视频处理方法、装置、电子设备及存储介质，通过质量分级模型对低分辨率视频的质量类别进行划分，然后根据该低分辨率视频的质量类别来选取适合的超分辨模型，从而对该低分辨率视频进行超分辨处理。由此，能够对低分辨率视频进行适当的超分辨处理。

图1是示出根据本公开的示例性实施例的视频处理方法的实施场景示意图。如图1所示，该实施场景包括服务器100、用户终端110和用户终端120。其中，用户终端并不限于图中所示的数量和种类，包括并不限于智能手机、个人计算机、平板电脑等电子设备，还可以包括其他任何需要进行视频处理的电子设备。服务器100可以是单个服务器，也可以是若干个服务器组成的服务器集群，还可以是云计算平台或虚拟化中心。

根据本公开的示例性实施例，服务器100可以用于执行视频处理方法以及该视频处理方法中使用的质量分级模型和超分辨模型的训练。服务器100在执行视频处理方法之前，需要先将视频处理方法中使用的质量分级模型和超分辨模型训练好，然后利用训练好的质量分级模型和超分辨模型来进行超分辨处理。服务器100进行超分辨处理的视频可以是预先存储在服务器中的视频，也可以是来自用户终端110、120等的视频文件。

根据本公开的示例性实施例，用户终端110、120可以用于执行视频处理方法，也可以用于向服务器100提供视频文件而由服务器100执行视频处理方法。在用户终端110、120执行视频处理方法时，可以调用服务器100中的质量分级模型和超分辨模型进行在线处理并返回处理结果，也可以从服务器100将质量分级模型和超分辨模型下载到本地之后进行本地处理，本公开不对此进行限制。服务器100、用户终端110、120通过执行本公开的示例性实施例的视频处理方法而实现视频处理装置。通过使用质量分级模型对低分辨率视频的质量类别进行划分而使用相应的超分辨模型进行超分辨处理，从而能够针对低分辨率视频进行适当的超分辨处理。

接下来，参照图2～图7对根据本公开的示例性实施例的视频处理方法和装置进行详细说明。

图2是示出根据本公开的示例性实施例的视频处理方法的流程图。

如图2所示，在步骤S210，获取低分辨率视频。这里，低分辨率视频为需要进行超分辨处理的分辨率较低的视频。可以通过图1中的用户终端110、120来获取低分辨率视频，也可以通过低分辨率的拍摄装置来获取低分辨率视频，本公开不对此进行限制。根据本公开的实施例，例如可以将分辨率为540p以下的视频分类为低分辨率视频，并且可根据需要调整低分辨率视频的标准。

在步骤S220，通过质量分级模型，对低分辨率视频标注质量标签。这里，质量分级模型可以通过各种方式判定低分辨率视频的质量，从而对低分辨率视频标注质量标签。并且，可以使用各种能够对低分辨率视频标注质量标签的质量分级模型。例如，可通过基于深度学习的ResNet50(残差网络)来实现所述质量分级模型。将在稍后的说明中对质量分级模型进行详细说明。应理解，还可以通过相关技术中的能够实现分类标注的其他神经网络来实现所述质量分级模型，例如：ResNet34、ResNet50、ResNet_101、ResNet_152等。

根据本公开的示例性实施例，质量分级模型所标注的质量标签可以包括低退化和高退化。即，通过质量分级模型可以判别低分辨率视频是低退化的低分辨率视频还是高退化的低分辨率视频。这里，低退化是指低分辨率视频的退化程度较低，此时，低分辨率视频的块效应较小、噪声干扰少。高退化是指低分辨率视频的退化程度较高，此时，低分辨率视频的噪声较多、块效应严重。

然后，在步骤S230，根据低分辨率视频的质量标签，利用与质量标签对应的超分辨模型，对低分辨率视频进行超分辨处理。这里，超分辨模型可以包括相关技术的各种超分辨模型。并且，可以通过相关技术的各种超分辨方法来对低分辨率视频进行超分辨处理。例如，可以先将低分辨率视频解码成视频帧，然后通过与质量标签对应的超分辨模型对解码所得到的每一视频帧进行超分辨处理，最后将进行了超分辨处理的视频帧进行编码而成为视频。

由此，根据图2所示的本公开的示例性实施例的视频处理方法能够对低分辨率视频进行适当的超分辨处理。

根据本公开的示例性实施例，在质量标签包括低退化和高退化的情况下，与低退化对应的超分辨模型为低退化超分辨模型，与高退化对应的超分辨模型为高退化超分辨模型。因此，在低分辨率视频被标注为低退化时，可以利用与低退化对应的低退化超分辨模型，对该低分辨率视频进行超分辨处理，在低分辨率视频被标注为高退化时，可以利用与高退化对应的高退化超分辨模型，对该低分辨率视频进行超分辨处理。这里，低退化超分辨模型为能够对低退化的低分辨率视频进行良好的超分辨处理的模型，高退化超分辨模型为能够对高退化的低分辨率视频进行良好的超分辨处理的模型。在本公开中，可以使用相关技术的各种低退化超分辨模型和高退化超分辨模型。由此，能够保证质量较高的低分辨率视频可以在超分辨处理后保留更多的纹理细节，避免视频过度平滑，同时对于质量较低的低分辨率视频，能够保证噪声和压缩伪影的有效去除。

根据本公开的示例性实施例，低退化超分辨模型通过使用高分辨率样本视频及低分辨率样本视频，对卷积神经网络进行训练而得到。这里，低分辨率样本视频为对高分辨率样本视频进行低退化处理而得到，高分辨率样本视频例如可以指的是分辨率为1080p以上的视频，并且可根据需要调整高分辨率样本视频的标准，低退化处理可以为使高分辨率样本视频低退化的任何处理。作为一个示例，低退化处理可以是使高分辨率样本视频的质量退化，且退化后的视频的块效应较小、噪声干扰少的处理。另外，高分辨率样本视频和低分辨率样本视频为用于进行低退化超分辨模型的训练的训练样本。

根据本公开的示例性实施例，低退化处理可以包括单次编码处理和单次下采样处理。其中，编码处理的质量/码率控制设置值(即，crf值)可以为[14,23]中的一个值。即，质量/码率控制设置值选自14至23中的任一值。这里的[14,23]的数值范围仅为一例，可以根据实际需要的退化程度来设定。通过进行质量/码率控制设置值为[14,23]的单次编码处理和单次下采样处理，能够使高分辨率样本视频低退化。具体地，作为一个示例，低退化处理的过程可以为首先将高分辨率样本视频解码成视频帧，然后对每一个视频帧进行下采样处理，最后对下采样处理后的视频帧进行质量/码率控制设置值为[14,23]中的一个值的编码处理，从而编码成低分辨率样本视频。对于低退化处理的过程，并不限于此。

对于低退化超分辨模型的结构，可以为如图3所示的结构，具体情况将在后面进行详细说明。

根据本公开的示例性实施例，高退化超分辨模型通过使用高分辨率样本视频及低分辨率样本视频，对卷积神经网络进行训练而得到。这里，低分辨率样本视频为对高分辨率样本视频进行高退化处理而得到。高退化处理可以为使高分辨率样本视频高退化的任何处理。作为一个示例，高退化处理可以是使高分辨率样本视频的质量退化，且退化后的视频的噪声较多、块效应严重的处理。另外，同样地，这里的高分辨率样本视频和低分辨率样本视频为用于进行高退化超分辨模型的训练的训练样本。

根据本公开的示例性实施例，高退化处理可以包括单次、双次编码处理之一和单次、双次下采样处理之一。其中，编码处理的质量/码率控制设置值(即，crf值)可以为[24,36]中的一个值。即，质量/码率控制设置值选自24至36中的任一值。这里的[24,36]的数值范围仅为一例，可以根据实际需要的退化程度来设定。通过进行质量/码率控制设置值为[24,36]中的一个值的单次、双次编码处理之一和单次、双次下采样处理之一，能够使高分辨率样本视频高退化。可以以任何可能的组合来进行高退化处理中的单次、双次编码处理和单次、双次下采样处理。具体地，作为一个示例，高退化处理的过程可以为首先将高分辨率样本视频解码成视频帧，然后对每一个视频帧进行下采样处理，最后对下采样处理后的视频帧进行质量/码率控制设置值为[24,36]中的一个值的编码处理，从而经过一次下采样处理和一次编码处理而编码成低分辨率样本视频。作为另一个示例，高退化处理的过程可以为首先将高分辨率样本视频解码成视频帧，然后对每一个视频帧进行下采样处理，并对下采样处理后的视频帧进行质量/码率控制设置值为[24,36]中的一个值的编码成为视频，接下来将该视频再次解码成视频帧，对每一个视频帧再次进行下采样处理，并对该下采样处理后的视频帧再次进行质量/码率控制设置值为[24,36]中的一个值的编码处理，从而经过两次下采样处理和两次编码处理而编码成低分辨率样本视频。此外，作为另一个示例，高退化处理的过程可以为首先将高分辨率样本视频解码成视频帧，然后对每一个视频帧进行两次下采样处理，并对两次下采样处理后的视频帧进行质量/码率控制设置值为[24,36]中的一个值的编码处理，从而经过两次下采样处理和一次编码处理而编码成低分辨率样本视频。对于高退化处理的过程，并不限于此。

此外，对于高退化超分辨模型的结构，也可以为如图3所示的结构。下面统一对低退化超分辨模型和高退化超分辨模型进行说明。这里，将高退化超分辨模型和低退化超分辨模型统一称为超分辨模型，并将高退化处理和低退化处理统一称为退化处理，从而进行说明。图3是示出根据本公开的示例性实施例的超分辨模型的结构的示意图。其中，超分辨模型包括多重残差单元和上采样单元。多重残差单元中包括多个卷积层。该超分辨模型的训练方法可以为各种方法。作为一个示例，超分辨模型的训练方法可以大致为：首先，将对高分辨率样本视频进行退化处理而得到的低分辨率样本视频(训练样本)输入到超分辨模型而得到高分辨率预测视频。具体地，可以先将低分辨率样本视频解码成视频帧，然后将每一个视频帧输入到超分辨模型中依次经过多重残差单元和上采样单元而进行超分辨处理，最后将超分辨处理后的视频帧进行编码而成为高分辨率预测视频。这里，所进行的编码只要能够将视频帧编码成视频即可，没有特别限制。然后，使用例如L1损失函数来约束高分辨率预测视频与高分辨率样本视频之间的距离，利用梯度反传方法优化超分辨模型的参数，如此直到超分辨模型收敛而进行有监督的训练。

根据本公开的示例性实施例，对低分辨率视频标注质量标签的质量分级模型可以通过如下步骤进行训练而得到。图4是示出根据本公开的示例性实施例的质量分级模型的训练方法的流程图。如图4所示，在步骤S410，获取高分辨率样本视频。这里，高分辨率样本视频为用于进行质量分级模型的训练的样本。

在步骤S420，对高分辨率样本视频进行退化处理而得到低分辨率样本视频。这里，可以通过各种退化处理来对高分辨率样本视频进行退化。根据本公开的示例性实施例，退化处理可以包括单次、双次编码处理之一和单次、双次下采样处理之一。其中，编码处理的质量/码率控制设置值(即，crf值)可以为[14,36]中的一个值。即，质量/码率控制设置值选自14至36中的任一值。这里的[14,36]的数值范围仅为一例，可以根据实际需要的退化程度来设定。通过进行质量/码率控制设置值为[14,36]中的一个值的单次、双次编码处理之一和单次、双次下采样处理之一，可以使高分辨率样本视频退化。同样地，如上所述，也可以以任何可能的组合来进行退化处理中的单次、双次编码处理和单次、双次下采样处理，此处不再赘述。此外，低分辨率样本视频也为用于进行质量分级模型的训练的训练样本。

其后，可以基于高分辨率样本视频和低分辨率样本视频，利用前述的低退化超分辨模型和高退化超分辨模型来获取低分辨率样本视频的样本质量标签。这里，获取的低分辨率样本视频的样本质量标签为用于进行质量分级模型的训练的训练样本，表示低分辨率样本视频的质量等级。可以通过各种方法来基于高分辨率样本视频和低分辨率样本视频，利用低退化超分辨模型和高退化超分辨模型获取低分辨率样本视频的样本质量标签。

根据本公开的示例性实施例，基于高分辨率样本视频和低分辨率样本视频，利用低退化超分辨模型和高退化超分辨模型，获取低分辨率样本视频的样本质量标签的步骤可以包括：步骤S430，对低分辨率样本视频抽取标注用多帧图像，并对所述高分辨率样本视频也抽取对应的多帧图像。这里，可以随机地抽取预定数量的标注用多帧图像和对应的多帧图像。也可以抽取低分辨率样本视频中的预定数量的关键帧作为标注用多帧图像，并抽取高分辨率样本视频中的对应的多帧图像。标注用多帧图像为用于对低分辨率样本视频标注质量标签的多帧图像。对应的多帧图像为分别与标注用多帧图像对应的图像。例如，在对低分辨率样本视频抽取第一帧、第三帧、第五帧图像作为标注用多帧图像的情况下，从高分辨率样本视频抽取的对应的多帧图像为第一帧、第三帧、第五帧图像。然后，基于标注用多帧图像和对应的多帧图像，利用低退化超分辨模型和高退化超分辨模型，获取低分辨率样本视频的样本质量标签。可以通过各种方法来基于标注用多帧图像和对应的多帧图像，利用低退化超分辨模型和高退化超分辨模型获取低分辨率样本视频的样本质量标签。作为一个示例，具体地，可以包括：步骤S440，针对标注用多帧图像的任一帧图像，分别将其输入到低退化超分辨模型和高退化超分辨模型，从而得到该任一帧图像的低退化超分辨图像和高退化超分辨图像。然后，在步骤S450，将该任一帧图像的低退化超分辨图像和高退化超分辨图像分别与多帧图像中的对应的图像进行图像质量评估，将图像质量评估分数较大一方的图像所对应的超分辨模型的类型作为该任一帧图像的标签。假设该任一帧图像P的低退化超分辨图像为Pl，高退化超分辨图像为Ph，对应的多帧图像中与该任一帧图像P对应的图像为J，则将低退化超分辨图像Pl相对于图像J进行图像质量评估而得到评估分数x，将高退化超分辨图像Ph相对于图像J进行图像质量评估而得到评估分数y，若x大于y，则低退化超分辨图像Pl所对应的超分辨模型的类型即低退化为该任一帧图像P的标签。由此，对标注用多帧图像分别确定标签。最后，在步骤S460，将标注用多帧图像中出现次数最多的标签作为低分辨率样本视频的样本质量标签。图5是示出根据本公开的示例性实施例的基于标注用多帧图像和对应的多帧图像，利用低退化超分辨模型和高退化超分辨模型获取低分辨率样本视频的样本质量标签的方法的示意图。如图5所示，将标注用多帧图像依次分别输入到低退化超分辨模型和高退化超分辨模型，得到各帧图像的低退化超分辨图像和高退化超分辨图像，然后，将各帧图像的低退化超分辨图像和高退化超分辨图像分别与对应的多帧图像中的对应的图像进行比较而评估各帧图像的低退化超分辨图像和高退化超分辨图像的质量，并将图像质量评估分数较大的一方所对应的超分辨模型的类型作为标注用多帧图像中的对应的图像的标签。由此，依次得到标注用多帧图像中的每一帧图像的标签。在得到标注用多帧图像的标签后，可以通过加权投票的方法例如将标注用多帧图像中出现次数最多的标签作为低分辨率样本视频的样本质量标签。这里，实施例中的加权投票的加权值为1。可以理解，也可以根据各个图像在视频中的重要程度等来设置各自的加权值，从而确定低分辨率样本视频的样本质量标签。根据本公开的示例性实施例，图像质量评估可以利用峰值信噪比来进行，但本公开并不限于此。可以通过相关技术中的各种能够评估图像质量的参数来进行图像质量评估。

例如，假设从视频提取出了20帧图像作为标注用多帧图像，此时对高分辨率样本视频也抽取对应的20帧图像作为对应的多帧图像。然后，将视频中抽取出的20帧图像中的1帧图像分别输入低退化超分辨模型和高退化超分辨模型，由此得到该1帧图像的低退化超分辨图像和高退化超分辨图像。然后，分别将该1帧图像的低退化超分辨图像和高退化超分辨图像相对于高分辨率样本视频中抽取出的20帧图像中的与该1帧图像对应的图像进行图像质量评估例如计算峰值信噪比，并将评估分数例如峰值信噪比值较大的一方(低退化超分辨图像或高退化超分辨图像)所对应的超分辨模型的种类(低退化或高退化)作为该1帧图像的标签。以此类推，可以确定视频中抽取出的该1帧图像以外的其他图像的标签。然后，如上所述，通过加权投票的方法例如将视频中抽取出的20帧图像中出现次数最多的标签作为视频的样本质量标签。

然后，在得到了用于进行质量分级模型的训练的训练样本(即，低分辨率样本视频的样本质量标签)之后，可以执行步骤S470，将步骤S420中得到的低分辨率样本视频输入到质量分级模型中，由质量分级模型来预测低分辨率样本视频的预测质量标签。然后，在步骤S480，基于步骤S470中得到的低分辨率样本视频的预测质量标签和步骤S460中得到的低分辨率样本视频的样本质量标签之间的差异，调整质量分级模型的参数，对质量分级模型进行训练。作为一个示例，可以在质量分级模型使用ResNet50这一基本网络，并使用交叉熵损失函数进行分类约束，利用梯度反传方法来优化质量分级模型的参数，如此直到质量分级模型收敛而进行有监督的训练。可以理解，本公开并不限于此，也可以通过其他网络或损失函数来进行训练。

图4示出了本公开的示例性实施例的质量分级模型的训练方法的流程图。但是本公开的质量分级模型不限于通过该训练方法来得到，例如也可以不将步骤S460及以后的步骤包括在质量分级模型的训练方法中，而是到步骤S450为止。并且，也可以不将步骤S430及以前的步骤包括在质量分级模型的训练方法中，而是从步骤S440开始。如此训练得到的质量分级模型可以被应用于图6所示的超分辨处理中。

图6是示出根据本公开的示例性实施例的超分辨处理的流程图。如图6所示，对于输入的低分辨率视频(LR VIDEO)，首先抽取出多个关键帧(Key Frame)而输入到质量分级模型中，从而得到多个关键帧的标签(label)，然后根据多个关键帧中出现次数最多的标签，将低分辨率视频输入到对应的超分辨模型中，从而对低分辨率视频进行适当的超分辨处理得到高分辨率视频(HR VIDEO)。

根据本公开的视频处理方法，能够依据视频质量选择适合的超分辨模型来进行超分辨处理，从而能够对低分辨率视频进行适当的超分辨处理。此外，通过将低分辨率视频质量分为两种，并针对这两种质量分别使用对应的超分辨模型来进行超分辨处理，从而能够保证质量较低的低分辨率视频可以通过去噪声、去块效应强的超分辨模型来进行超分辨处理，有效去除噪声和压缩伪影，同时，保证质量较高的低分辨率视频可以通过去噪声、去块效应弱的超分辨模型来进行超分辨处理，可以在超分辨处理后保留更多的纹理细节，避免出现超分辨处理后的视频过度平稳的情况。

图7是示出根据本公开的示例性实施例的视频处理装置的框图。如图7所示，视频处理装置700包括：获取单元710、质量标注单元720和超分辨处理单元730。

其中，获取单元710被配置为：获取低分辨率视频。

质量标注单元720被配置为：通过质量分级模型，对低分辨率视频标注质量标签。

根据本公开的示例性实施例，质量分级模型所标注的质量标签可以包括低退化和高退化。

超分辨处理单元730被配置为：根据低分辨率视频的质量标签，利用与质量标签对应的超分辨模型，对低分辨率视频进行超分辨处理。

根据本公开的示例性实施例，质量标签可以包括低退化和高退化，超分辨处理单元730可以被配置为：在低分辨率视频被标注为低退化时，利用与低退化对应的低退化超分辨模型，对该低分辨率视频进行超分辨处理，在低分辨率视频被标注为高退化时，利用与高退化对应的高退化超分辨模型，对该低分辨率视频进行超分辨处理。

根据本公开的示例性实施例，超分辨处理单元730可以被配置为：通过使用高分辨率样本视频及低分辨率样本视频，对卷积神经网络进行训练而得到低退化超分辨模型，低分辨率样本视频为对高分辨率样本视频进行低退化处理而得。其中，低退化处理可以包括单次编码处理和单次下采样处理，其中，编码处理的质量/码率控制设置值可以为[14,23]中的一个值。

根据本公开的示例性实施例，超分辨处理单元730可以被配置为：通过使用高分辨率样本视频及低分辨率样本视频，对卷积神经网络进行训练而得到高退化超分辨模型，低分辨率样本视频为对高分辨率样本视频进行高退化处理而得。其中，高退化处理可以包括单次、双次编码处理之一和单次、双次下采样处理之一，其中，编码处理的质量/码率控制设置值可以为[24,36]中的一个值。

根据本公开的示例性实施例，质量标注单元720可以被配置为：通过如下步骤进行训练而得到质量分级模型，即，获取高分辨率样本视频；对高分辨率样本视频进行退化处理而得到低分辨率样本视频；基于高分辨率样本视频和低分辨率样本视频，利用低退化超分辨模型和高退化超分辨模型，获取低分辨率样本视频的样本质量标签；将低分辨率样本视频输入到质量分级模型中，由质量分级模型确定低分辨率样本视频的预测质量标签；基于预测质量标签和样本质量标签之间的差异，调整质量分级模型的参数，对质量分级模型进行训练。其中，退化处理可以包括单次、双次编码处理之一和单次、双次下采样处理之一，其中，编码处理的质量/码率控制设置值可以为[14,36]中的一个值。

进一步地，根据本公开的示例性实施例，基于高分辨率样本视频和低分辨率样本视频，利用低退化超分辨模型和高退化超分辨模型，获取低分辨率样本视频的样本质量标签的步骤包括：对低分辨率样本视频抽取标注用多帧图像，并对高分辨率样本视频也抽取对应的多帧图像；基于标注用多帧图像和多帧图像，利用低退化超分辨模型和高退化超分辨模型，获取低分辨率样本视频的样本质量标签。

进一步地，根据本公开的示例性实施例，基于标注用多帧图像和多帧图像，利用低退化超分辨模型和高退化超分辨模型，获取低分辨率样本视频的样本质量标签的步骤包括：针对标注用多帧图像的任一帧图像，分别将其输入到低退化超分辨模型和高退化超分辨模型，从而得到任一帧图像的低退化超分辨图像和高退化超分辨图像；将任一帧图像的低退化超分辨图像和高退化超分辨图像分别与多帧图像中的对应的图像进行图像质量评估，将图像质量评估分数较大一方的图像所对应的超分辨模型的类型作为任一帧图像的标签；将标注用多帧图像中出现次数最多的标签作为低分辨率样本视频的样本质量标签。

根据本公开的示例性实施例，图像质量评估可以利用峰值信噪比来进行。

应该理解，根据本公开的示例性实施例的视频处理装置可执行参照上述图2～图6描述的方法，为了避免重复，在此不再赘述。

根据本公开的视频处理装置，能够依据视频质量选择适合的超分辨模型来进行超分辨处理，从而能够对低分辨率视频进行适当的超分辨处理。此外，通过将低分辨率视频质量分为两种，并针对这两种质量分别使用对应的超分辨模型来进行超分辨处理，从而能够保证质量较低的低分辨率视频可以通过去噪声、去块效应强的超分辨模型来进行超分辨处理，有效去除噪声和压缩伪影，同时，保证质量较高的低分辨率视频可以通过去噪声、去块效应弱的超分辨模型来进行超分辨处理，可以在超分辨处理后保留更多的纹理细节，避免出现超分辨处理后的视频过度平稳的情况。

图8是示出根据本公开的示例性实施例的电子设备的框图。该电子设备800包括至少一个存储器810和至少一个处理器820，所述至少一个存储器中存储有计算机可执行指令集合，当计算机可执行指令集合被至少一个处理器执行时，执行根据本公开的示例性实施例的视频处理方法。

作为示例，电子设备800可以是PC计算机、平板装置、个人数字助理、智能手机、或其他能够执行上述指令集合的装置。这里，电子设备800并非必须是单个的电子设备，还可以是任何能够单独或联合执行上述指令(或指令集)的装置或电路的集合体。电子设备800还可以是集成控制系统或系统管理器的一部分，或者可被配置为与本地或远程(例如，经由无线传输)以接口互联的便携式电子设备。

在电子设备800中，处理器820可包括中央处理器(CPU)、图形处理器(GPU)、可编程逻辑装置、专用处理器系统、微控制器或微处理器。作为示例而非限制，处理器820还可包括模拟处理器、数字处理器、微处理器、多核处理器、处理器阵列、网络处理器等。

处理器820可运行存储在存储器中的指令或代码，其中，存储器810还可以存储数据。指令和数据还可经由网络接口装置而通过网络被发送和接收，其中，网络接口装置可采用任何已知的传输协议。

存储器810可与处理器820集成为一体，例如，将RAM或闪存布置在集成电路微处理器等之内。此外，存储器810可包括独立的装置，诸如，外部盘驱动、存储阵列或任何数据库系统可使用的其他存储装置。存储器810和处理器820可在操作上进行耦合，或者可例如通过I/O端口、网络连接等互相通信，使得处理器820能够读取存储在存储器810中的文件。

此外，电子设备800还可包括视频显示器(诸如，液晶显示器)和用户交互接口(诸如，键盘、鼠标、触摸输入装置等)。电子设备的所有组件可经由总线和/或网络而彼此连接。

根据本公开的示例性实施例，还可提供一种计算机可读存储介质，其中，当计算机可读存储介质中的指令被至少一个处理器运行时，促使至少一个处理器执行本公开的示例性实施例的视频处理方法。这里的计算机可读存储介质的示例包括：只读存储器(ROM)、随机存取可编程只读存储器(PROM)、电可擦除可编程只读存储器(EEPROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、非易失性存储器、CD-ROM、CD-R、CD+R、CD-RW、CD+RW、DVD-ROM、DVD-R、DVD+R、DVD-RW、DVD+RW、DVD-RAM、BD-ROM、BD-R、BD-R LTH、BD-RE、蓝光或光盘存储器、硬盘驱动器(HDD)、固态硬盘(SSD)、卡式存储器(诸如，多媒体卡、安全数字(SD)卡或极速数字(XD)卡)、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘以及任何其他装置，所述任何其他装置被配置为以非暂时性方式存储计算机程序以及任何相关联的数据、数据文件和数据结构并将所述计算机程序以及任何相关联的数据、数据文件和数据结构提供给处理器或计算机使得处理器或计算机能执行所述计算机程序。上述计算机可读存储介质中的计算机程序可在诸如客户端、主机、代理装置、服务器等计算机设备中部署的环境中运行，此外，在一个示例中，计算机程序以及任何相关联的数据、数据文件和数据结构分布在联网的计算机系统上，使得计算机程序以及任何相关联的数据、数据文件和数据结构通过一个或多个处理器或计算机以分布式方式存储、访问和执行。

根据本公开的示例性实施例，提供了一种计算机程序产品，包括计算机指令，计算机指令被处理器执行时实现本公开的示例性实施例的视频处理方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种视频处理方法，其特征在于，包括：

获取低分辨率视频；

通过质量分级模型，对所述低分辨率视频标注质量标签；

根据所述低分辨率视频的质量标签，利用与所述质量标签对应的超分辨模型，对所述低分辨率视频进行超分辨处理。

2.根据权利要求1所述的视频处理方法，其特征在于，

所述质量标签包括低退化和高退化，

在所述低分辨率视频被标注为低退化时，利用与所述低退化对应的低退化超分辨模型，对所述低分辨率视频进行超分辨处理，

在所述低分辨率视频被标注为高退化时，利用与所述高退化对应的高退化超分辨模型，对所述低分辨率视频进行超分辨处理。

3.根据权利要求2所述的视频处理方法，其特征在于，

所述低退化超分辨模型通过使用高分辨率样本视频及低分辨率样本视频，对卷积神经网络进行训练而得到，所述低分辨率样本视频为对所述高分辨率样本视频进行低退化处理而得。

4.根据权利要求2所述的视频处理方法，其特征在于，

所述高退化超分辨模型通过使用高分辨率样本视频及低分辨率样本视频，对卷积神经网络进行训练而得到，所述低分辨率样本视频为对所述高分辨率样本视频进行高退化处理而得。

5.根据权利要求2所述的视频处理方法，其特征在于，

所述质量分级模型是通过如下步骤进行训练而得到的：

获取高分辨率样本视频；

对所述高分辨率样本视频进行退化处理而得到低分辨率样本视频；

基于所述高分辨率样本视频和所述低分辨率样本视频，利用所述低退化超分辨模型和所述高退化超分辨模型，获取所述低分辨率样本视频的样本质量标签；

将所述低分辨率样本视频输入到所述质量分级模型中，由所述质量分级模型确定所述低分辨率样本视频的预测质量标签；

基于所述预测质量标签和所述样本质量标签之间的差异，调整所述质量分级模型的参数，对所述质量分级模型进行训练。

6.根据权利要求5所述的视频处理方法，其特征在于，基于所述高分辨率样本视频和所述低分辨率样本视频，利用所述低退化超分辨模型和所述高退化超分辨模型，获取所述低分辨率样本视频的样本质量标签的步骤包括：

对所述低分辨率样本视频抽取标注用多帧图像，并对所述高分辨率样本视频也抽取对应的多帧图像；

基于所述标注用多帧图像和所述多帧图像，利用所述低退化超分辨模型和所述高退化超分辨模型，获取所述低分辨率样本视频的样本质量标签。

7.根据权利要求6所述的视频处理方法，其特征在于，基于所述标注用多帧图像和所述多帧图像，利用所述低退化超分辨模型和所述高退化超分辨模型，获取所述低分辨率样本视频的样本质量标签的步骤包括：

针对所述标注用多帧图像的任一帧图像，分别将其输入到所述低退化超分辨模型和所述高退化超分辨模型，从而得到所述任一帧图像的低退化超分辨图像和高退化超分辨图像；

将所述任一帧图像的低退化超分辨图像和高退化超分辨图像分别与所述多帧图像中的对应的图像进行图像质量评估，将图像质量评估分数较大一方的图像所对应的超分辨模型的类型作为所述任一帧图像的标签；

将所述标注用多帧图像中出现次数最多的所述标签作为所述低分辨率样本视频的样本质量标签。

8.一种视频处理装置，其特征在于，包括：

获取单元，被配置为：获取低分辨率视频；

质量标注单元，被配置为：通过质量分级模型，对所述低分辨率视频标注质量标签；

超分辨处理单元，被配置为：根据所述低分辨率视频的质量标签，利用与所述质量标签对应的超分辨模型，对所述低分辨率视频进行超分辨处理。

9.一种电子设备，其特征在于，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如权利要求1至7中任一项所述的视频处理方法。

10.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令被电子设备的处理器执行时，使得电子设备执行如权利要求1至7中任一项所述的视频处理方法。

Images