CN111031346A - 一种增强视频画质的方法和装置 - Google Patents

Abstract

本发明公开了一种增强视频画质的方法和装置，属于视频处理技术领域。所述方法包括：确定待处理视频的目标视频帧图像的图像内容类别；对所述目标视频帧图像进行画质评估，生成画质评估结果；根据所述图像内容类别和所述画质评估结果，对所述待处理视频进行画质增强处理。采用本发明，可以保证不同画面内容的视频帧图像得到相适应的画质增强，从而使得画质增强的效果更加突出。

Description

一种增强视频画质的方法和装置

技术领域

本发明涉及视频处理技术领域，特别涉及一种增强视频画质的方法和装置。

背景技术

随着计算机技术的不断发展，为了满足观众对视频画质日趋增高的需求，视频画质增强已逐渐成为当下视频领域中的热门话题。视频提供方或视频维护方在向用户提供视频前，往往需要对视频帧图像执行画质增强处理，以优化视频内容、改善图像质量、丰富视频信息量。

在现有的视频画质增强处理中，视频提供方或视频维护方可以在获取到视频文件后，对视频文件进行画质增强处理。具体而言，画质增强可包含图像去噪、图像去伪影、色彩增强、图像超分辨率在内的多种处理，视频提供方或视频维护方可以人工选择一种或多种画质增强工具，通过画质增强工具对视频文件依次执行多种画质增强处理，从而可以将画质增强后的视频文件提供给用户。

在实现本发明的过程中，发明人发现现有技术至少存在以下问题：

上述对视频文件进行画质增强的过程中，往往是对不同视频文件中的各视频帧图像进行相同无差别的处理，即对不同画面内容的各视频帧图像使用相同的画质增强策略，这种处理方式无法针对不同画面内容采用最优的画质增强处理，故而画质增强的效果具有局限性。

发明内容

为了解决现有技术的问题，本发明实施例提供了一种增强视频画质的方法和装置。所述技术方案如下：

第一方面，提供了一种增强视频画质的方法，所述方法包括：

确定待处理视频的目标视频帧图像的图像内容类别；

对所述目标视频帧图像进行画质评估，生成画质评估结果；

根据所述图像内容类别和所述画质评估结果，对所述待处理视频进行画质增强处理。

第二方面，提供了一种增强视频画质的装置，所述装置包括：

分类模块，用于确定待处理视频的目标视频帧图像的图像内容类别；

评估模块，用于对所述目标视频帧图像进行画质评估，生成画质评估结果；

增强模块，用于根据所述图像内容类别和所述画质评估结果，对所述待处理视频进行画质增强处理。

第三方面，提供了一种网络设备，所述网络设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如第一方面所述的增强视频画质的方法。

第四方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如第一方面所述的增强视频画质的方法。

本发明实施例提供的技术方案带来的有益效果是：

本发明实施例中，确定待处理视频的目标视频帧图像的图像内容类别；对目标视频帧图像进行画质评估，生成画质评估结果；根据图像内容类别和画质评估结果，对待处理视频进行画质增强处理。这样，将视频帧图像按照画面内容进行分类，并对视频帧图像的画质进行评估，然后对于每类视频帧图像，参考画质评估结果针对性地进行画质增强处理，以保证不同画面内容的视频帧图像得到相适应的画质增强，从而使得画质增强的效果更加突出。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种增强视频画质的方法流程图；

图2是本发明实施例提供的一种增强视频画质的原理示意图；

图3是本发明实施例提供的一种增强视频画质的原理示意图；

图4是本发明实施例提供的一种增强视频画质的原理示意图；

图5是本发明实施例提供的一种增强视频画质的装置结构示意图；

图6是本发明实施例提供的一种网络设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

本发明实施例提供了一种增强视频画质的方法，所述方法适用于任意具备视频帧图像处理功能的网络设备，具体可以是视频提供方或视频维护方的后台服务器。网络设备在获取到任意视频后，可以对其中的视频帧图像进行不同种类的画质增强处理，以对外提供具备更高画质的视频数据。此处具体的画质增强处理可以由网络设备依据视频帧图像的图像内容来决定，包括但不仅限于以下几种画质增强处理：图像去噪、图像去伪影、色彩增强、图像超分辨率。在对一张视频帧图像进行画质增强处理时，网络设备可以按需要对视频帧图像进行一种或多种画质增强处理，且对于同一视频内的不同视频帧图像，网络设备可以采用相同或不同的画质增强处理。进一步的，针对同一种画质增强处理，网络设备可以支持多种执行量级的画质增强处理。

下面将结合具体实施方式，对图1所示的处理流程进行详细的说明，原理可参考图2所示，内容可以如下：

步骤101，确定待处理视频的目标视频帧图像的图像内容类别。

其中，在不同处理流程下，目标视频帧图像可以是待处理视频中不同的视频帧图像，具体可见后续说明。

在实施中，网络设备在获取到某一视频的视频文件后，可以先根据预设标准判断是否需要对该视频进行画质增强处理。如果需要，网络设备则可以从该视频(可称为待处理视频)的所有视频帧图像中选取目标视频帧图像，然后对目标视频帧图像进行内容识别，从而确定目标视频帧图像的图像内容类别。此处的图像内容类别可以是网络设备根据视频帧图像的画面内容占比而确定的，如可分为风景、人像、动物、车辆等多种。此外，本实施例中的图像内容类别，应依据画质增强处理的差异而进行划分，即对不同图像内容类别下的图像数据进行的画质增强处理应具备一定的差异。从反面来讲，若两个图像内容类别下的图像数据适合采用相同的画质增强处理，则该两个图像内容类别应合为同一图像内容类别。例如，若存在“男人”和“女人”两个图像内容类别，在其它画质因素一致的情况下，应对两个图像内容类别下的图像数据采用相同的画质增强处理，故而，可以将“男人”和“女人”两个图像内容类别合并为“人物”这一图像内容类别。

值得一提的是，如果目标帧图像经识别后被确定为同时属于多种图像内容类别，网络设备则可以根据待处理视频中目标视频帧图像相邻的多个视频帧图像的图像内容类别，对目标视频帧图像进行进一步的内容分类。这样，由于视频中相邻的视频帧图像有很大概率内容相似，使得内容相似的视频帧图像被划分为同一类别，并且后续采用相同的画质增强处理，避免了因画质增强处理不同而导致相邻视频帧图像的画面差异过大的问题，从而可以提高视频画质增强的效果。

可选的，可以利用基于深度学习算法建立的图像分类模型实现对视频帧图像的画面分类，其中模型训练的方式可以为：通过预设的训练素材集中标记有类别信息的图像数据，对基于深度学习算法建立的图像分类模型进行训练；而步骤101的处理可以如下：将待处理视频的目标视频帧图像输入训练完成的图像分类模型，得到目标视频帧图像的图像内容类别。

在实施中，网络设备可以预先采集大量的不同图像内容类别的图像数据，并标记出每份图像数据的类别信息，进而可以将所有图像数据汇总生成训练素材集。之后，网络设备可以基于深度学习算法(如利用卷积神经网络)建立图像分类模型，再通过上述训练素材集中标记有类别信息的图像数据，对该图像分类模型进行训练。这样，在训练完成后，网络设备可以使用上述图像分类模型对目标视频帧图像进行分类处理，也即可以将待处理视频的目标视频帧图像输入训练完成的图像分类模型，得到目标视频帧图像的图像内容类别。此外，在对图像分类模型训练完成后，网络设备还可以对图像分类模型进行参数调整，具体可以是将不同图像内容类别的图像数据输入图像分类模型，然后根据图像分类模型输出的分类结果和图像数据的正确类别间的误差，调整图像分类模型的模型参数，以增强图像分类模型对图像分类的精确性。这样，利用深度学习技术实现图像的分类处理，可以提高图像分类的便捷性和准确性。

步骤102，对目标视频帧图像进行画质评估，生成画质评估结果。

在实施中，网络设备在选取了目标视频帧图像之后，可以对目标视频帧图像进行画质评估处理，以从多个维度评估目标视频帧图像的画面质量。画质评估处理的类型可以根据网络设备所支持的画质增强处理的增强类型来确定，如可以包括图像噪声评估、图像伪影评估、图像色彩评估、图像分辨率评估等。之后，网络设备可以汇总生成多维度的画质评估结果，该画质评估结果可以具体用于指示各类画质增强处理的增强类型，例如画质评估结果可以是：“需要图像去噪处理；需要色彩增强处理；不需要图像去伪影处理”。

可选的，对于不同图像内容类别的视频帧图像，可以针对性地分别进行画质评估处理，相应的，步骤102的处理可以如下：利用图像内容类别对应的画质评估工具，对目标视频帧图像进行画质评估，生成画质评估结果。

在实施中，网络设备上可以设置有不同图像内容类别对应的不同画质评估工具，每个画质评估工具可以专用于对一个图像内容类别下的视频帧图像进行画质评估。这样，在确定了目标视频帧图像的图像内容类别后，网络设备可以利用该图像内容类别对应的画质评估工具，对目标视频帧图像进行画质评估，从而生成画质评估结果。可以理解，对不同图像内容类别的视频帧图像分开进行针对性的画质评估，可以提高画质评估的准确性。值得一提的是，画质评估处理是从图像噪声评估、图像伪影评估、图像色彩评估、图像分辨率评估等多维度评估视频帧图像的画质，相应的，在进行画质评估处理时可以采用具备所有维度评估能力的一个画质评估工具，也可以分别采用多个对应不同维度的画质评估工具，如图像噪声评估工具、图像伪影评估工具等。上述内容的相关流程可参考图3所示。

可选的，上述画质评估工具可以是基于深度学习算法建立的画质评估模型，即步骤102的处理具体可以为：将目标视频帧图像输入图像内容类别对应的画质评估模型，得到画质评估结果。

而其中画质评估模型的训练方式可以如下：获取目标图像内容类别下的多张优质图像；对每张优质图像分别进行不同降质类型的降质处理，得到标记有降质类型信息的降质图像；通过所有降质图像对基于深度学习算法建立的画质评估模型进行训练，生成目标图像内容类别对应的画质评估模型。

其中，目标图像内容类别可以是任一图像内容类别，优质图像可以是画质高于预设标准、存在一定的降质空间，如清晰度为高清以上、噪声占比小于10％或图像伪影占画面10％以下的图像。

在实施中，网络设备可以预先采集大量的优质图像生成优质素材库，之后网络设备可以从优质素材库中抽取多张优质图像，并对抽取到的每张优质图像分别进行不同降质类型的降质处理，最后得到标记有降质类型信息的降质图像。此处，降质处理可以和画质增强处理对应，若画质增强处理为图像去噪处理，降质处理则为图像增噪处理；若画质增强处理为色彩增强处理，降质处理则为色彩弱化处理。接下来，网络设备可以基于深度学习算法(如利用卷积神经网络)建立画质评估模型，再通过上述标记有降质类型信息的降质图像，对该画质评估模型进行训练。这样，在训练完成后，网络设备则可以使用上述画质评估模型对目标视频帧图像进行画质评估处理。需要补充的是，如果上述画质评估模型具备所有维度的画质评估能力，则在训练时可以将多种降质类型下的降质图像统一作为画质评估模型的训练素材；而如果上述画质评估模型仅具备单一维度的画质评估能力，则在训练时仅将单一降质类型下的降质图像作为画质评估模型的训练素材，并且按照上述训练过程，针对各个维度训练生成一个对应的画质评估模型。

此外，在对画质评估模型训练完成后，网络设备还可以对画质评估模型进行参数调整，具体可以是将降质图像输入画质评估模型，然后根据画质评估模型输出的画质评估结果和降质图像对应的降质类型，调整画质评估模型的模型参数，以增强画质评估模型进行画质评估时的精确性。

以上述画质评估模型的训练过程为基础，还可以针对不同图像内容类别分别生成多个专用于评估单一图像内容类别的画质评估模型。在训练过程中，网络设备需要抽取同一图形内容类别的多张优质图像，再执行后续处理，从而可以生成该图形内容类别对应的画质评估模型。

进一步的，画质评估模型还可以具体评估出在进行画质增强处理时所需的执行量级，图像的原画质越好，执行量级越轻，画质增强的效果越弱。据此，在训练过程中，网络设备在对优质图像进行降质处理时，对于同一降质类型需要执行不同执行量级的降质处理，最后得到标记有降质类型信息以及执行量级信息的降质图像。接下来，网络设备可以通过标记有降质类型信息以及执行量级信息的降质图像，对画质评估模型进行训练，从而可以训练得到能够评估出图像所需画质增强处理的执行量级的画质评估模型。

步骤103，根据图像内容类别和画质评估结果，对待处理视频进行画质增强处理。

在实施中，网络设备在确定了目标视频帧图像的图像内容类别和画质评估结果后，可以以该图像内容类别和画质评估结果为参考，对待处理视频的部分视频帧图像进行画质增强处理。具体来说，网络设备可以针对不同图像内容类别和画质评估结果，对待处理视频的视频帧图像执行不同的画质增强处理。更进一步的，网络设备上可以存在不同图像内容类别和画质评估结果对应的多个画质增强工具，在执行画质增强处理时，网络设备可以根据目标视频帧图像的图像内容类别和画质评估结果，挑选对应的画质增强工具，然后利用这些画质增强工具对待处理视频进行画质增强处理。

值得一提的是，网络设备可以根据目标视频帧图像的选取规则，决定执行画质增强处理的视频帧图像范围，具体内容可以参考后续说明。同时，网络设备还可以根据目标视频帧图像的图像内容类别，来决定是否执行画质增强处理。例如，对于主播类视频，当图像内容类别为风景或物体等与视频的主要内容关联性较差的类别时，则可以不进行画质增强处理，或选择执行量级更轻的画质增强处理，从而可以在保证视频的主要画面质量的同时，减少画质增强所消耗的设备资源。

可选的，对于目标视频帧图像的不同选取规则，执行画质增强处理的视频帧图像范围也不同，如下给出了几种情况：

其一，如果目标视频帧图像为待处理视频的任一帧图像，则对目标视频帧图像进行画质增强处理。

在实施中，网络设备可以针对待处理视频中的每一帧图像均完整的执行步骤101至103的处理，那么目标视频帧图像可以是待处理视频中的任一帧图像。故而，网络设备可以根据目标视频帧图像的图像内容类别和画质评估结果，直接对目标视频帧图像进行画质增强处理。这样，对视频进行逐帧内容分类、画质评估、画质增强的处理，可以有效保证每个视频帧图像得到针对性的、有效的画质增强处理，从而可以提高画质增强的效果。进一步的，网络设备可以仅对视频特定段(如视频高潮段)内的每一帧图像进行处理，该视频高潮段可以是人工预先标记的，也可以是网络设备预先自行检测的，具体检测方式可以采用现有技术中已公开的内容，本实施例不再赘述。

其二，如果从待处理视频的所有视频帧图像中按照预设间隔选取目标视频帧图像，则对目标视频帧图像及目标视频帧图像对应的间隔帧图像进行画质增强处理。

在实施中，网络设备可以在待处理视频的所有视频帧图像中，按照预设间隔选取目标视频帧图像，如每隔5个视频帧图像选取一个目标视频帧图像，即第1个、第6个、第11个…第5n+1个(n为自然数)视频帧图像为目标视频帧图像。相应的，两个目标视频帧图像之间的所有视频帧图像即为间隔帧图像，此处可以定义间隔帧图像与前一目标视频帧图像对应，即第5n+2个至第5n+5个视频帧图像为第5n+1个目标视频帧图像对应的间隔帧图像。之后，网络设备可以根据目标视频帧图像的图像内容分类和画质评估结果，对目标视频帧图像以及目标视频帧图像对应的间隔帧图像进行画质增强处理。这样，由于视频中相邻的视频帧图像内容基本相似，故而既可以一定程度上保证对视频帧图像执行的画质增强处理的针对性和有效性，也可以大幅减少对视频帧图像进行画面分类及画质评估的处理，从而可以节省大量设备处理资源。

其三，如果选取待处理视频的关键帧图像作为目标视频帧图像，则对待处理视频的关键帧图像进行画质增强处理。

在实施中，基于现有的视频压缩编码技术，视频帧可以包含I帧、B帧和P帧，其中，I帧为自带图像全部画面内容的关键帧，P帧记录的是与前一帧的差别；B帧记录的是前一帧及后一帧的差别。相对来说，关键帧图像的画面内容将会影响其它非关键帧图像的画面内容，故而，在设备处理资源不足的情况下，可以仅选择对关键帧图像进行画面分类、画质评估和画质增强，从而可以最大程度保证视频整体的画质增强效果。因此，网络设备可以选择待处理视频的关键帧图像作为目标视频帧图像，并在执行画质增强处理时，仅对待处理视频的关键帧图像进行画质增强处理。

在另一场景下，上述关键帧图像也可以是人工定义或者设备自行检测的，符合预设标准的视频帧图像，如可以定义存在人脸的视频帧图像即为关键帧图像，或者特定时间戳对应的视频帧图像即为关键帧图像等。

可选的，网络设备可以对图像所需的画质增强处理的增强类型和执行量级进行评估，进而利用对应的画质增强工具来进行画质增强处理。相应的，步骤103的处理可以如下：利用图像内容类别、增强类型和执行量级对应的画质增强工具，对待处理视频进行画质增强处理。

在实施中，网络设备上可以设置有针对不同图像内容类别的图像进行画质增强的画质增强工具。一个画质增强工具可以用于单一增强类型的处理，同一增强类型下可以存在多个不同执行量级对应的画质增强工具，每个画质增强工具用于执行一种执行量级的画质增强处理。基于上述设置，网络设备在对目标视频帧图像进行画质评估时，可以得到包含有所需的多种画质增强处理的增强类型和执行量级的画质评估结果，进而可以利用目标视频帧图像的图像内容类别，以及上述增强类型和执行量级，对待处理视频进行画质增强处理。上述内容的相关流程可参考图4所示。

可选的，基于上述存在执行量级的情况，网络设备可以选择对视频中的关键帧图像和非关键帧图像进行不同执行量级对应的画质增强处理，相应的，若选取待处理视频的关键帧图像作为目标视频帧图像，对待处理视频的画质增强处理则具体可以如下：利用图像内容类别、增强类型和执行量级对应的画质增强工具，对关键帧图像进行画质增强处理；利用图像内容类别、增强类型和执行量级的轻量级对应的画质增强工具，对关键帧图像关联的非关键帧图像进行画质增强处理。

在实施中，网络设备若选取待处理视频的关键帧图像作为目标视频帧图像，则在获取了关键帧图像的图像内容类别和画质评估结果后，可以先确定所有满足其图像内容类别和画质评估结果中增强类型的画质增强工具，然后从中选取画质评估结果中的执行量级对应的画质增强工具(可称为工具A)，以及该执行量级的轻量级对应的画质增强工具(可称为工具B)，进而可以使用工具A对关键帧图像进行画质增强处理，使用工具B对关键帧图像关联的非关键帧图像进行画质增强处理。可以理解，画质增强处理的量级越重，则消耗的设备资源越多，故而对关键帧图像进行重量级的画质增强处理，可以保证画质增强的效果，提高视频的画面质量，而对非关键帧图像进行较轻量级的画质增强处理，对视频整体的画面质量影响不大，可以一定程度上节省设备资源。

可选的，上述画质增强工具可以是基于深度学习算法建立的画质增强模型，即步骤103的处理具体可以为：利用图像内容类别、增强类型和执行量级对应的所有画质增强模型，对待处理视频进行画质增强处理。

而其中画质增强模型的训练方式可以如下：获取目标图像内容类别下的多张优质图像；对每张优质图像分别进行目标画质增强处理对应的不同执行量级的降质处理，得到不同执行量级的降质图像；通过目标执行量级的目标降质图像和目标降质图像对应的优质图像，对基于深度学习算法建立的画质增强模型进行训练，生成目标图像内容类别、目标画质增强处理和目标执行量级对应的画质增强模型。

其中，目标画质增强处理可以是网络设备支持的任一增强类型的画质增强处理，目标图像内容类别可以是任一图像内容类别，目标执行量级可以是任一执行量级。

在实施中，网络设备可以预先采集大量的优质图像，并按照图像内容类别对优质图像进行分类，生成不同图像内容类别对应的优质素材库。之后，以目标图像内容类别为例，网络设备可以从目标图像内容类别对应的优质素材库中抽取多张优质图像，并对抽取到的每张优质图像分别进行目标画质增强处理对应的降质处理，得到降质图像。接下来，网络设备可以基于深度学习算法(如利用卷积神经网络)建立画质增强模型，再通过上述降质图像和优质图像，对该画质增强模型进行训练。这样，在训练完成后，网络设备则可以使用上述画质增强模型对目标图像类别的视频帧图像进行目标画质增强处理。

此外，在对画质增强模型训练完成后，网络设备还可以对画质增强模型进行参数调整，具体可以是将降质图像输入画质增强模型，然后根据画质增强模型输出的增强图像和原先的优质图像，调整画质增强模型的模型参数，以提高画质增强模型的画质增强效果。

以上述画质增强模型的训练过程为基础，网络设备还可以针对同一增强类型的画质增强处理，训练出不同执行量级对应的画质增强模型，每个画质增强模型专用于执行单一图像内容类型、单一增强类型和单一执行量级的画质增强处理，其中，执行量级越轻，对应的模型复杂程度越低，画质增强效果越弱，执行画质增强处理所消耗的设备资源越少。据此，在训练过程中，网络设备在对优质图像进行目标画质增强处理对应的降质处理时，可以进行不同执行量级的降质处理，从而得到不同执行量级的降质图像。接下来，网络设备可以选取单一执行量级(如目标执行量级)的目标降质图像和目标降质图像对应的优质图像，作为训练素材对画质增强模型进行训练，从而可以训练得到目标图像内容类别、目标画质增强处理和目标执行量级对应的画质增强模型。

本发明实施例中，确定待处理视频的目标视频帧图像的图像内容类别；对目标视频帧图像进行画质评估，生成画质评估结果；根据图像内容类别和画质评估结果，对待处理视频进行画质增强处理。这样，将视频帧图像按照画面内容进行分类，并对视频帧图像的画质进行评估，然后对于每类视频帧图像，参考画质评估结果针对性地进行画质增强处理，以保证不同画面内容的视频帧图像得到相适应的画质增强，从而使得画质增强的效果更加突出。

基于相同的技术构思，本发明实施例还提供了一种增强视频画质的装置，如图5所示，所述装置包括：

分类模块501，用于确定待处理视频的目标视频帧图像的图像内容类别；

评估模块502，用于对所述目标视频帧图像进行画质评估，生成画质评估结果；

增强模块503，用于根据所述图像内容类别和所述画质评估结果，对所述待处理视频进行画质增强处理。

可选的，所述评估模块502，具体用于：

利用所述图像内容类别对应的画质评估工具，对所述目标视频帧图像进行画质评估，生成画质评估结果。

可选的，所述画质评估结果包括多种画质增强处理的增强类型和执行量级；

所述增强模块503，具体用于：

利用所述图像内容类别、所述增强类型和所述执行量级对应的画质增强工具，对所述待处理视频进行画质增强处理。

图6是本发明实施例提供的网络设备的结构示意图。该网络设备600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器622(例如，一个或一个以上处理器)和存储器632，一个或一个以上存储应用程序642或数据644的存储介质630(例如一个或一个以上海量存储设备)。其中，存储器632和存储介质630可以是短暂存储或持久存储。存储在存储介质630的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对网络设备600中的一系列指令操作。更进一步地，中央处理器622可以设置为与存储介质630通信，在网络设备600上执行存储介质630中的一系列指令操作。

网络设备600还可以包括一个或一个以上电源629，一个或一个以上有线或无线网络接口650，一个或一个以上输入输出接口658，一个或一个以上键盘656，和/或，一个或一个以上操作系统641，例如Windows Server，Mac OS X，Unix，Linux，FreeBSD等等。

网络设备600可以包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行上述增强视频画质的指令。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (15)

1.一种增强视频画质的方法，其特征在于，所述方法包括：

确定待处理视频的目标视频帧图像的图像内容类别；

对所述目标视频帧图像进行画质评估，生成画质评估结果；

根据所述图像内容类别和所述画质评估结果，对所述待处理视频进行画质增强处理。

2.根据权利要求1所述的方法，其特征在于，所述目标视频帧图像为所述待处理视频的任一帧图像；

所述对所述待处理视频进行画质增强处理，包括：

对所述目标视频帧图像进行画质增强处理。

3.根据权利要求1所述的方法，其特征在于，所述确定待处理视频的目标视频帧图像的图像内容类别之前，还包括：

从所述待处理视频的所有视频帧图像中按照预设间隔选取目标视频帧图像；

所述对所述待处理视频进行画质增强处理，包括：

对所述目标视频帧图像及所述目标视频帧图像对应的间隔帧图像进行画质增强处理。

4.根据权利要求1所述的方法，其特征在于，所述确定待处理视频的目标视频帧图像的图像内容类别之前，还包括：

选取所述待处理视频的关键帧图像作为目标视频帧图像；

所述对所述待处理视频进行画质增强处理，包括：

对所述待处理视频的关键帧图像进行画质增强处理。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

通过预设的训练素材集中标记有类别信息的图像数据，对基于深度学习算法建立的图像分类模型进行训练；

所述确定待处理视频的目标视频帧图像的图像内容类别，包括：

将所述待处理视频的目标视频帧图像输入训练完成的所述图像分类模型，得到所述目标视频帧图像的图像内容类别。

6.根据权利要求1所述的方法，其特征在于，所述对所述目标视频帧图像进行画质评估，生成画质评估结果，包括：

利用所述图像内容类别对应的画质评估工具，对所述目标视频帧图像进行画质评估，生成画质评估结果。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

获取目标图像内容类别下的多张优质图像；

对每张所述优质图像分别进行不同降质类型的降质处理，得到标记有降质类型信息的降质图像；

通过所有所述降质图像对基于深度学习算法建立的画质评估模型进行训练，生成所述目标图像内容类别对应的画质评估模型；

所述利用所述图像内容类别对应的画质评估工具，对所述目标视频帧图像进行画质评估，生成画质评估结果，包括：

将所述目标视频帧图像输入所述图像内容类别对应的画质评估模型，得到画质评估结果。

8.根据权利要求1所述的方法，其特征在于，所述画质评估结果包括多种画质增强处理的增强类型和执行量级；

所述根据所述图像内容类别和所述画质评估结果，对所述待处理视频进行画质增强处理，包括：

利用所述图像内容类别、所述增强类型和所述执行量级对应的画质增强工具，对所述待处理视频进行画质增强处理。

9.根据权利要求8所述的方法，其特征在于，所述确定待处理视频的目标视频帧图像的图像内容类别之前，还包括：

选取所述待处理视频的关键帧图像作为目标视频帧图像；

所述利用所述图像内容类别、所述增强类型和所述执行量级对应的画质增强工具，对所述待处理视频进行画质增强处理，包括：

利用所述图像内容类别、所述增强类型和所述执行量级对应的画质增强工具，对所述关键帧图像进行画质增强处理；

利用所述图像内容类别、所述增强类型和所述执行量级的轻量级对应的画质增强工具，对所述关键帧图像关联的非关键帧图像进行画质增强处理。

10.根据权利要求8所述的方法，其特征在于，所述方法还包括：

获取目标图像内容类别下的多张优质图像；

对每张所述优质图像分别进行目标画质增强处理对应的不同执行量级的降质处理，得到不同执行量级的降质图像；

通过目标执行量级的目标降质图像和所述目标降质图像对应的优质图像，对基于深度学习算法建立的画质增强模型进行训练，生成所述目标图像内容类别、所述目标画质增强处理和所述目标执行量级对应的画质增强模型；

所述利用所述图像内容类别、所述增强类型和所述执行量级对应的画质增强工具，对所述待处理视频进行画质增强处理，包括：

利用所述图像内容类别、所述增强类型和所述执行量级对应的所有画质增强模型，对所述待处理视频进行画质增强处理。

11.一种增强视频画质的装置，其特征在于，所述装置包括：

分类模块，用于确定待处理视频的目标视频帧图像的图像内容类别；

评估模块，用于对所述目标视频帧图像进行画质评估，生成画质评估结果；

增强模块，用于根据所述图像内容类别和所述画质评估结果，对所述待处理视频进行画质增强处理。

12.根据权利要求11所述的装置，其特征在于，所述评估模块，具体用于：

利用所述图像内容类别对应的画质评估工具，对所述目标视频帧图像进行画质评估，生成画质评估结果。

13.根据权利要求11所述的装置，其特征在于，所述画质评估结果包括多种画质增强处理的增强类型和执行量级；

所述增强模块，具体用于：

利用所述图像内容类别、所述增强类型和所述执行量级对应的画质增强工具，对所述待处理视频进行画质增强处理。

14.一种网络设备，其特征在于，所述网络设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至10任一所述的增强视频画质的方法。

15.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至10任一所述的增强视频画质的方法。

Images