CN111182295B - 一种视频数据处理方法、装置、设备以及可读存储介质 - Google Patents

Abstract

本申请实施例公开了一种视频数据处理方法、装置、设备以及可读存储介质，本申请属于计算机技术领域，方法包括：获取视频的图像帧内容信息，根据图像帧内容信息在视频中抽取候选代表性图片；获取视频的默认代表性图片；对候选代表性图片与默认代表性图片分别对应的图像质量进行评估，得到质量评估结果；获取候选代表性图片与默认代表性图片分别对应的图片优先级，根据图片优先级与质量评估结果，在候选代表性图片与默认代表性图片中，选择视频的代表性图片。采用本申请，可以提高生成视频代表性图片的效率，提高视频代表性图片的质量。

Description

一种视频数据处理方法、装置、设备以及可读存储介质

技术领域

本申请涉及计算机技术领域，尤其涉及一种视频数据处理方法、装置、设备以及可读存储介质。

背景技术

随着计算机技术的进步，视频技术也发展逐渐成熟起来。关于视频录播的程序与应用也越来越多，对于视频推荐来说，视频的封面图对于整个界面的观感、体验以及用户是否点击播放这个视频有着很大的影响。

在现有技术中，对于视频的封面图，大多由人工进行选择确定，人工选择的方式只能确保视频封面图通过了安全审核规范、封面图中无违规信息，若想对视频封面图进行优化，也需要人工进行二次选择，这将消耗大量的人力成本与时间成本，而且人工选择的方式，只能覆盖到人工重点关注的部分内容上，，无法挖掘出视频中更多优秀的信息，这使得视频封面图的质量不高。

申请内容

本申请实施例提供一种视频数据处理方法、装置、设备以及可读存储介质，可以提高生成视频代表性图片的效率，提高视频代表性图片的质量。

本申请实施例一方面提供了一种视频数据处理方法，包括：

获取视频的图像帧内容信息，根据上述图像帧内容信息在上述视频中抽取候选代表性图片；

获取上述视频的默认代表性图片；

对上述候选代表性图片与上述默认代表性图片分别对应的图像质量进行评估，得到质量评估结果；

获取上述候选代表性图片与上述默认代表性图片分别对应的图片优先级，根据上述图片优先级与上述质量评估结果，在上述候选代表性图片与上述默认代表性图片中，选择上述视频的代表性图片。

本申请实施例一方面提供了一种视频数据处理装置，包括：

抽取模块，用于获取视频的图像帧内容信息，根据上述图像帧内容信息在上述视频中抽取候选代表性图片；

获取模块，用于获取上述视频的默认代表性图片；

图像质量评估模块，用于对上述候选代表性图片与上述默认代表性图片分别对应的图像质量进行评估，得到质量评估结果；

代表性图片选择模块，用于获取上述候选代表性图片与上述默认代表性图片分别对应的图片优先级，根据上述图片优先级与上述质量评估结果，在上述候选代表性图片与上述默认代表性图片中，选择上述视频的代表性图片。

在一个实施例中，上述抽取模块，包括：

第一获取单元，用于获取上述视频的视频帧；

上述第一获取单元，还用于获取对象集合；

匹配对象单元，用于将上述视频帧中的对象信息与上述对象集合中的默认对象信息进行进行匹配；

第一确定单元，用于将匹配率大于匹配阈值的视频帧确定为上述候选代表性图片。

在一个实施例中，上述抽取模块，包括：

第二获取单元，用于获取上述视频的目标视频帧；

第二确定单元，用于根据上述目标视频帧中的场景信息确定上述目标视频帧对应的第一场景类别；

上述第二获取单元，还用于获取上述视频中上述目标视频帧的上一视频帧；

上述第二确定单元，还用于根据上述上一视频帧中的场景信息确定上述上一视频帧对应的第二场景类别；

上述第二确定单元，还用于若上述第一场景类别与上述第二场景类别不相同，则将上述目标视频帧和上述上一视频帧确定为上述候选代表性图片。

在一个实施例中，上述图像质量评估模块，包括：

输入单元，用于将上述候选代表性图片输入质量评估模型；上述质量评估模型包括清晰度信息对应的第一模型参数和美观度信息对应的第二模型参数；

第三确定单元，用于根据上述第一模型参数确定上述候选代表性图片与上述默认代表性图片分别对应的清晰度评估分值；

上述第三确定单元，还用于根据上述第二模型参数确定上述候选代表性图片与上述默认代表性图片分别对应的美观度评估分数；

融合单元，用于融合上述清晰度评估分数与上述美观度评估分数，生成上述候选代表性图片与上述默认代表性图片分别对应的图像质量分值。

将上述图像质量分值确定为上述质量评估结果。

在一个实施例中，上述融合单元，包括：

输出子单元，用于融合上述清晰度评估分数与上述美观度评估分数，通过上述分类层输出上述候选代表性图片与上述默认代表性图片分别对应的原始评估分数；

归一化子单元，用于将上述原始评估分数输入上述归一化层，通过上述归一化层将上述原始评估分数转换为处于归一化数值范围内的数值，将上述归一化层所输出的数值确定为上述候选代表性图片与上述默认代表性图片分别对应的图像质量分值。

在一个实施例中，上述代表性图片选择模块，包括：

第一运算单元，用于获取上述候选代表性图片的第一图片优先级，将上述第一图片优先级与上述候选代表性图片对应的图像质量分值进行与运算，得到上述候选代表性图片的第一评估分值；

上述第一运算单元，还用于获取上述默认代表性图片的第二图片优先级，将上述第二图片优先级与上述默认代表性图片对应的图像质量分值进行与运算，得到上述默认代表性图片的第二评估分值；

第一确定代表性图片单元，用于将上述第一评估分值与上述第二评估分值中的最大值确定为最大评估分值，将上述最大评估分值对应的图片确定为上述视频的代表性图片。

在一个实施例中，上述代表性图片选择模块，包括：

第一获取优先级单元，用于若上述默认代表性图片为用户选择图片，则获取上述默认代表性图片的第三图片优先级；上述用户选择图片由用户终端响应图片选择操作所得到的；

第二运算单元，用于将上述第二评估分值与上述第三图片优先级进行与运算，得到上述默认代表性图片的目标评估分值；

第二确定代表性图片单元，用于将上述第一评估分值与上述目标评估分值中的最大值确定为最大评估分值，将上述最大评估分值对应的图片确定为上述视频的代表性图片。

在一个实施例中，上述代表性图片选择模块，包括：

获取类别单元，用于获取上述视频的视频类别标签；上述视频标签用于表征上述视频的类别；

第四确定单元，用于将上述默认代表性图片与上述候选代表性图片均确定为待检测图片，将上述第一评估分值和上述第二评估分值均确定为待更新评估分值；

识别标签单元，用于识别上述待检测图片对应的图片类别标签；

匹配标签单元，用于将上述图片类别标签与上述视频类别标签进行匹配，将匹配率大于或等于标签阈值的图片类别标签确定为相似类别标签，将上述相似类别标签对应的待检测图片确定为关联代表性图片；

第二获取优先级单元，用于获取上述视频类别标签相关联的第四图片优先级，将上述第四图片优先级与上述关联代表性图片的待更新评估分值进行与运算，得到上述关联代表性图片的关联评估分值；

第三确定代表性图片单元，用于将非关联代表性图片对应的待更新评估分值以及上述关联评估分值中的最大值确定为最大评估分值，将上述最大评估分值对应的图片确定为上述视频的代表性图片；上述非关联代表性图片为上述待检测图片中除了上述关联代表性图片之外的图片。

在一个实施例中，上述代表性图片选择模块，包括：

确定候选集单元，用于将上述候选代表性图片与上述默认代表性图片确定为待过滤代表性图片集；

过滤单元，用于对上述待过滤代表性图片集进行过滤处理，得到过滤代表性图片集；

第四确定代表性图片单元，用于将上述过滤代表性图片集中所包含的上述第一评估分值与上述第二评估分值中的最大值确定为最大评估分值，将上述最大评估分值对应的图片确定为上述视频的代表性代表性图片。

在一个实施例中，上述过滤单元，包括：

第一识别子单元，用于在上述待过滤代表性图片集中识别包含蒙层数据的图片、包含敏感数据的图片、包含跳转标识数据的图片以及包含异常结构数据的图片；

删除子单元，用于将上述包含蒙层数据的图片、上述包含敏感数据的图片、上述包含跳转标识数据的图片以及上述包含异常结构数据的图片，从上述待过滤代表性图片集中删除，得到上述过滤代表性图片集。

在一个实施例中，上述代表性图片选择模块，包括：

获取参数单元，用于获取上述候选代表性图片与上述默认代表性图片分别对应的图像异常参数；

更新单元，用于根据上述图像异常参数，对上述第一评估分值与上述第二评估分值分别进行更新，将更新后的第一评估分值确定为第一更新评估分值，将更新后的第二评估分值确定为第二更新评估分值；

第五确定代表性图片单元，用于将上述第一更新评估分值与上述第二更新评估分值中的最大值确定为最大评估分值，将上述最大评估分值对应的图片确定为上述目标视频的代表性图片。

在一个实施例中，上述更新单元，包括：

第二识别子单元，用于在上述候选代表性图片与上述默认代表性图片中识别包含上述异常色彩参数的图片、包含上述异常分辨率参数的图片以及包含上述异常拼接像素的图片；

确定异常图片子单元，用于将上述包含上述异常色彩参数的图片、上述包含上述异常分辨率参数的图片以及上述包含上述异常拼接像素的图片均确定为异常图片；

获取权重子单元，用于获取异常更新权重；

运算子单元，用于若上述异常图片为上述候选代表性图片，则将上述异常图片对应的第一评估分值与上述异常更新权重进行减运算，得到上述第一更新评估分值；

上述运算子单元，还用于若上述异常图片为上述默认代表性图片，则将上述异常图片对应的第二评估分值与上述异常更新权重进行减运算，得到上述第二更新评估分值。

本申请实施例通过获取视频的图像帧内容信息，根据上述图像帧内容信息在上述视频中抽取候选代表性图片；获取上述视频的默认代表性图片；对上述候选代表性图片与上述默认代表性图片分别对应的图像质量进行评估，得到质量评估结果；获取上述候选代表性图片与上述默认代表性图片分别对应的图片优先级，根据上述图片优先级与上述质量评估结果，在上述候选代表性图片与上述默认代表性图片中，选择上述视频的代表性图片。上述可知，通过图像帧内容信息而对视频进行择优抽帧抽取候选代表性的方式，可以提高候选代表性图片的质量，通过对上述候选代表性图片与默认代表性图片的图像质量进行评估，得到的质量评估结果可以用于表征该候选代表性图片与默认代表性图片的图像质量水平，再根据上述候选代表性图片与默认代表性图片分别对应的图片优先级与该质量评估结果，可以确定出视频最终的代表性图片，可以看出，确定出的代表性图片具备高图像质量，且在确定视频的代表性图片的流程中，无需人工进行参与，可以自动选取出视频的代表性图片并输出，这样可以提高生成视频代表性图片的效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种网络架构图；

图2是本申请实施例提供的一种视频数据处理方法的场景示意图；

图3是本申请实施例提供的一种视频数据处理方法的流程示意图；

图4是本申请实施例提供的一种视频数据处理方法的流程示意图；

图5a是本申请实施例提供的一种对图片进行过滤处理的场景示意图；

图5b是本申请实施例提供的一种对图片进行减分处理的场景示意图；

图6a是本申请实施例提供的一种训练质量评估模型的流程示意图；

图6b是本申请实施例提供的一种基于质量评估模型的图片处理场景示意图；

图6c和图6d是本申请实施例提供的一种实验对比图；

图7是本申请实施例提供的一种视频数据处理装置的结构示意图；

图8是本申请实施例提供的一种计算机设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参见图1，是本申请实施例提供的一种网络架构图。如图1所示，该网络架构可以包括业务服务器和用户终端集群，上述用户终端集群可以包括多个用户终端，如图1所示，用户终端集群具体可以包括用户终端100a、用户终端100b、用户终端100c、…、用户终端100n。

如图1所示，用户终端100a、用户终端100b、用户终端100c、…、用户终端100n可以分别与上述业务服务器进行网络连接，以便于每个用户终端可以通过该网络连接与业务服务器进行数据交互。

如图1所示，该用户终端集群中的每个用户终端均可以集成安装有目标应用，当该目标应用运行于各用户终端中时，可以分别与上述图1所示的业务服务器之间进行数据交互。其中，该目标应用可以包括具有显示文字、图像、音频以及视频等数据信息功能的应用。

本申请实施例可以在图1所示的多个用户终端中选择一个用户终端作为目标用户终端，该目标用户终端可以包括：智能手机、平板电脑、桌上型电脑等携带显示和播放数据信息功能的智能终端。例如，本申请实施例可以将图1所示的用户终端100a作为该目标用户终端，该目标用户终端中可以集成有上述目标应用，此时，该目标用户终端可以通过该目标应用对应的业务数据平台与业务服务器之间实现数据交互。用户可以访问用户终端100a上的目标应用，在该目标应用中上传视频，并选择一张视频帧用作该视频的默认代表性图片，用户终端100a在获取到该视频与该默认代表性图片后，可以在该视频的视频帧中确定出候选代表性图片，用户终端100a再在该候选代表性图片与该默认代表性图片中，确定出该视频的最终的视频代表性图片。其中，若用户上传视频后并未选择视频的默认代表性图片，则用户终端100a可以抽取出该视频的平均帧，在该平均帧中选择一个视频帧作为该视频的默认代表性图片。

可选的，用户终端100a在获取到该视频后与视频的默认代表性图片后，用户终端100a可以将该视频与该默认代表性图片一并发送至业务服务器，业务服务器可以抽取出该视频的候选代表性图片，在该候选代表性图片与该默认代表性图片中，确定出该视频的最终的视频代表性图片，业务服务器再将该视频代表性图片返回至用户终端100a。其中，该默认代表性图片可以为用户选择，也可以为用户终端100a以抽取平均帧的方式确定的。其中，若用户终端100a发送了视频，但并未发送默认代表性图片至业务服务器，则可以由业务服务器对视频进行平均抽帧，抽取出该视频的平均帧，再在该平均帧中选择一个视频帧作为该视频的默认代表性图片。

请一并参见图2，是本申请实施例提供的一种视频数据处理方法的场景示意图。以用户终端100a发送视频与默认代表性图片至业务服务器为例，其中，该默认代表性图片为用户选择确定，其中，该用户为该视频的生产对象。如图2所示，生产对象A可以为播报体育赛事的媒体工作者(也就是视频的创作者)，视频20a可以为篮球比赛的比赛过程，生产对象A可以通过自己的主观评判，先在视频20a的视频帧中，选择一个视频帧作为视频20a的默认代表性图片。如图2所示，视频帧200a为生产对象A选择的视频的默认代表性图片，用户终端1可以将视频20a与视频帧200a一并发送至业务服务器。业务服务器可以将视频帧200a作为该目标视频20a的默认代表性图片，业务服务器可以根据视频20a的图像帧内容信息，对视频20a进行择优抽帧，业务服务器可以将通过择优抽帧所抽取出来的抽帧图作为候选代表性图片，其中，该图像帧内容信息可以包括对象信息，如，视频20a的视频帧中包含篮球这一对象信息，则业务服务器可以将包含篮球的视频帧抽取出来；其中，该图像帧内容信息也可以包括场景信息，如，视频20a的视频帧中包含比分结果这一关键场景，则业务服务器可以将包含比分结果的视频帧抽取出来。如图2所示，视频帧200b、视频帧200c以及视频帧200d是业务服务器根据视频20a的图像帧内容信息所抽取出来的，业务服务器可以将视频帧200b、视频帧200c以及视频帧200d确定为候选代表性图片，可以看出，视频帧200b中包含了比分结果这一场景信息与观众这一对象信息，视频帧200c中包含了篮球这一对象信息，视频帧200d中包含了篮球队员扣篮这一场景信息。业务服务器可以将视频帧200a、视频帧200b、视频帧200c以及视频帧200d一并输入质量评估模型中，在质量评估模型中可以确定视频帧200a、视频帧200b、视频帧200c以及视频帧200d分别对应的清晰度评估分值与美观度评估分值，根据该清晰度评估分值与美观度评估分值，业务服务器可以确定出视频帧200a、视频帧200b、视频帧200c以及视频帧200d分别对应的图像质量分值，后续，业务服务器可以获取到默认代表性图所对应的图片优先级，业务服务器可以将视频帧200a的图像质量分值与该默认代表性图片对应的图片优先级进行相乘，可以得到视频200a的评估分值；业务服务器可以获取到候选代表性图片所对应的图片优先级，业务服务器可以将视频帧200b的图像质量分值与该候选代表性图片所对应的图片优先级进行相乘，可以得到视频帧200b的评估分值，同理，业务服务器可以得到视频帧200c与视频帧200d分别对应的评估分值。业务服务器可以在视频帧200a、视频帧200b、视频帧200c以及视频帧200d分别对应的评估分值中找到最大评估分值，如，视频帧200d的评估分值为其中的最大值，则，业务服务器可以将视频帧200d确定为视频20a的最终的代表性图片，用户B(观看视频的用户，可以为消费者)可以通过用户终端2观看到视频20a的代表性图片(即视频帧200d)。

请参见图3，是本申请实施例提供的一种视频数据处理方法的流程示意图。如图3所示，该方法的流程可以包括：

步骤S101，获取视频的图像帧内容信息，根据上述图像帧内容信息在上述视频中抽取候选代表性图片。

本申请中，这里的代表性图片可以指用于作为视频封面的图片，该代表性图片可以是视频中的一个视频帧，该视频帧呈现的内容与视频主题贴切，且该视频帧的图像质量较高。该图像帧内容信息可以为视频的视频帧中所包含的内容信息，该图像帧内容信息可以包括对象信息，也可以包括场景信息。其中，这里的对象信息可以包括视频中出现的人物、建筑物(如房屋、飞船、星球)、景物(如河流、草木、道路设施)以及物品(如荧光棒、篮球、手机)等信息，场景信息可以包括视频中出现的人物所处的环境信息(如客厅、教室、沙滩、运动场、观众席等)、视频中出现的人物所发生的动作行为(如起跳、劈叉、扣篮、站立张嘴欢呼等)、视频中出现的具有比赛比分的画面等。

当该图像帧内容信息为对象信息时，业务服务器可以获取对象集合，该对象集合中包括预设的默认对象信息，该对象信息集合可以包括人物、建筑物、景物以及物品等，其中，该对象集合中包括的默认对象信息的数量与种类，可以是通过识别大量的样本数据集(即大量的样本视频帧)中包含的对象信息的数量和种类来确定的，业务服务器可以获取到视频的视频帧，业务服务器可以将该视频的每一个视频帧中的对象信息与该对象集合中的默认对象信息进行匹配，如果匹配率达到了匹配阈值，则业务服务器可以将该匹配率达到匹配阈值的视频帧确定为候选代表性图片，如上述图2所对应实施例中的视频帧200c，视频帧200c中包含篮球这一物品，也就是篮球为该视频帧200c的对象信息，而对象集合的默认度对象信息中包含球类这一物品信息，通过将篮球与球类进行匹配，可以看出，篮球是属于球类的，篮球与球类的匹配率达到0.95，匹配阈值为0.9，匹配率0.95大于了匹配阈值0.9，则业务服务器可以将视频帧200c抽取出来，将视频帧200c作为候选代表性图片。

当该图像帧内容信息为场景信息时，业务服务器可以获取到视频的目标视频帧，该目标视频帧可以为视频的任一视频帧，业务服务器可以根据该目标视频帧中的场景信息确定该目标视频帧所对应的场景类别，业务服务器也可以获取到该目标视频帧的上一视频帧，根据这里的上一视频帧中的场景信息确定出该上一视频帧的场景类别，业务服务器通过将目标视频帧的场景类别与该上一视频帧的场景类别进行匹配，若匹配结果为不相同，则证明该目标视频帧与上一视频帧存在场景切换，则业务服务器可以将该目标视频帧与该上一视频帧确定为候选代表性图片。如上述图2所对应实施例中的视频帧200b与视频帧200d所示，视频帧200b可以为该目标视频帧，视频帧200d可以为视频帧200b的上一视频帧，视频帧200d的场景信息为得分时发生的动作扣篮，则可以确定视频帧200d的场景类别为得分手段，视频帧200b的场景信息为比分结果，则可以确定视频帧200b的场景类别为比赛比分，业务服务器可以将“得分手段”这一场景类别与“比赛比分”这一场景类别进行匹配，得到的匹配结果为不相同，则业务服务器可以将视频帧200b与视频帧200d抽取出来，将视频帧200b与视频帧200d确定为候选代表性图片。

可选的，业务服务器可以根据特定的场景信息从视频中抽取出候选代表性图片，该特定的场景信息与该视频的类别相关联。如，该视频的类别为比赛类，则该特定的场景信息可以为比赛比分，即，业务服务器可以抽取出包含比赛比分的视频帧，如，目标视频帧中包含比赛比分，该目标视频的上一视频帧也包含比赛比分，即使该目标视频与该上一视频帧不存在场景的切换，但目标视频帧与该上一视频帧都包含了“比赛比分”这一特定的场景信息，则业务服务器可以将该目标视频帧与该上一视频帧一并提取出来，作为目标视频的候选代表性图片。

步骤S102，获取上述视频的默认代表性图片。

本申请中，该默认代表性图片可以由视频的创作者所选择确定，也可以由用户终端通过抽取视频的平均帧所确定，上述的用户终端可以为该视频的创作者所对应的终端。该用户终端可以将该视频与携带的该默认代表性图片发送至业务服务器。

步骤S103，对上述候选代表性图片与上述默认代表性图片分别对应的图像质量进行评估，得到质量评估结果。

本申请中，这里的图像质量可以为基于图片清晰度信息与图片美观度信息的综合质量。其中，图片清晰度信息可以包括图片的分辨率，高分辨率对应的图片清晰度也高，图片美观度信息可以包括构图比例(如，图片中对象所处的位置是否在图片中心)、色彩对比(如，图片中红色占比过多，则该图片的美观度较低)以及文字内容占比信息(若图片中文字内容占比过多，则该图片的美观度会较低)。对于图片的图像质量，可以由质量评估模型来进行评估，业务服务器可以将上述视频的上述候选代表性图片与上述默认代表性图片一并输入质量评估模型中，其中，该质量评估模型可以包括该清晰度信息对应的第一模型参数与该美观度信息对应的第二模型参数，根据该第一模型参数，可以确定该候选代表性图片与该默认代表性图片分别对应的清晰度评估分值；根据该第二模型参数，可以确定该候选代表性图片与该默认代表性图片分别对应的美观度评估分值，融合该清晰度评估分值与该美观度评估分值，通过该质量评估模型的分类层输出该候选代表性图片与该默认代表性图片分别对应的原始评估分数，业务服务器可以将该原始评估分数输入至该质量评估模型的归一化层，通过该归一化层可以将该原始评估分数转换为归一化数值范围内的数值(如，该候选代表性图片的原始评估分数为90，该归一化数值范围为[0,1]，则通过归一化层转换后，该候选代表性图片的评估分值为0.9)。业务服务器可以将该归一化层所输出的该数值确定该候选代表性图片与该默认代表性图片分别对应的图像质量分值，并将该候选代表性图片的图像质量分值确定为该候选代表性图片的质量评估结果，将该默认代表性图片的图像质量分值确定为该默认代表性图片的质量评估结果。

可选的，可以对该质量评估模型进行训练，以使得该质量评估模型具备输入一张图片到该质量评估模型中即可输出该图片的图像质量分值的能力。该训练过程可以为获取图片集，该图片集中包括多张图片，将该图片集中的每张图片分别人工标注分数，该人工标注分数过程主要通过人工对图片的主观评判所确定分数，将该具有标注分数的图片集输入到样本质量评估模型中，可以输出该图片集中图片所对应的评估分数，基于该评估分数与上述标注分数之间的差异可以确定样本质量评估模型的损失函数值，通过该损失函数值不断调整该样本质量评估模型，直到该损失函数值满足收敛条件。该样本质量评估模型的损失函数可以如公式(1)所示：

其中，CDF_p(k)为人工标注分数(即真实分数)，为由模型输出的评估分数(即预测分数)，/>为该损失函数的损失函数值，也可以用于表征真实分数与预测分数之间的差异度，当该差异度满足收敛条件时，对于样本质量评估模型来说，即是当输入图片到样本质量评估模型中时，希望输出的评估分数与标注分数足够接近。

步骤S104,获取上述候选代表性图片与上述默认代表性图片分别对应的图片优先级，根据上述图片优先级与上述质量评估结果，在上述候选代表性图片与上述默认代表性图片中，选择上述视频的代表性图片。

本申请中，该候选代表性图片与该默认代表性图片都对应有不同的图片优先级，其中，该图片优先级可以指影响图像的最终质量评估结果的影响权重，该影响权重可以对质量评估模型输出的评估分值带来影响，不同的影响权重带来的影响程度不同，可以理解为，该图片优先级越大，也就是影响权重越大，则该图片优先级带来的影响程度越大。对于候选代表性图片与默认代表性图片最终的质量评估分数，除了上述通过美观度信息与清晰度信息所确定的图像质量分值外，同时该候选代表性图片与该默认代表性图片的图片优先级也会对质量评估分数产生影响。业务服务器可以获取该候选代表性图片的第一图片优先级，将该第一图片优先级与该候选代表性图片所对应的质量评估结果(即图像质量分值)进行与运算处理，通过与运算处理后可以得到该候选代表性图片的第一评估分值；业务服务器可以获取该默认代表性图片的第二图片优先级，将该第二图片优先级与该默认代表性图片对应的质量评估结果(即图像质量分值)进行与运算处理，通过与运算处理后可以得到该默认代表性图片的第二评估分值。业务服务器可以在该第一评估分值与该第二评估分值中确定出最大评估分值，将该最大评估分值对应的图片确定为该视频的最终的代表性图片。

其中，出于对视频类别的考虑，该默认代表性图片的第二图片优先级会高于该候选代表性图片的第一图片优先级。如，该视频为游戏类别，那么视频作者会精心编辑带有文案的封面图来提炼游戏视频的核心看点，作者编辑选择的封面图即为默认代表性图片，则出于保护作者的这一封面图的考虑，默认代表性图片的图片优先级会高于候选代表性图片的图片优先级。

上述可知，通过图像帧内容信息而对视频进行择优抽帧抽取候选代表性的方式，可以提高候选代表性图片的质量，通过对上述候选代表性图片与默认代表性图片的图像质量进行评估，得到的质量评估结果可以用于表征该候选代表性图片与默认代表性图片的图像质量水平，再根据上述候选代表性图片与默认代表性图片分别对应的图片优先级与该质量评估结果，可以确定出视频最终的代表性图片，可以看出，确定出的代表性图片具备高图像质量，且在确定视频的代表性图片的流程中，无需人工进行参与，可以自动选取出视频的代表性图片并输出，这样可以提高生成视频代表性图片的效率。

进一步地，请参见图4，是本申请实施例提供的一种视频数据处理方法的流程示意图。如图4所示，业务服务器获取到视频与该视频的默认代表性图片，业务服务器可以获取到该视频的图像帧内容信息，根据该图像帧内容信息在该视频中抽取出候选代表性图片，其中，该图像帧内容信息可以为该视频的视频帧中所包含的内容信息，该内容信息具体可以包括对象信息(人物、建筑物、景物以及物品等)，也可以包括场景信息。当该图像帧内容信息为对象信息时，业务服务器可以将该视频的视频帧中的对象信息与对象集合中的默认对象信息进行匹配，将匹配率大于匹配阈值的视频帧确定为该候选代表性图片；当该图像帧内容信息为场景信息时，业务服务器可以识别该视频的视频帧的场景信息所对应的场景类别，根据场景类别来确定候选代表性图片。其中，业务服务器从视频中抽取出候选代表性图片的具体实现方式可以参见上述图3所对应实施例中步骤S101的描述，在此不再进行赘述。

进一步地，业务服务器可以获取到到该视频的默认代表性图片，业务服务器可以将该默认代表性图片与上述候选代表性图片在打分层4001中确定出该该默认代表性图片与该候选代表性图片分别对应的评估分数，业务服务器可以将该默认代表性图片与该候选代表性图片输入打分层4001中的质量评估模型，根据该质量评估模型的清晰度信息所对应的第一模型参数，可以确定出候选代表性图片与该默认代表性图片分别对应的清晰度评估分数，根据该质量评估模型的美观度信息所对应的第二模型参数，可以确定出该候选代表性图片与该默认代表性图片分别对应的美观度评估分数，将该清晰度评估分数与该美观度评估分数进行融合，可以得到一个综合考虑了清晰度与美观度的数值，将该数值输入至该质量评估模型的分类层中，通过该分类层可以输出该候选代表性图片与该默认代表性图片分别对应的原始评估分数，业务服务器可以将该原始评估分数输入至该质量评估模型的归一化层，通过该归一化层对该原始评估分数进行归一化，通过该归一化层可以输出该候选代表性图片与该默认代表性图片分别对应的图像质量分值，即质量评估结果。其中，业务服务器通过质量评估模型确定该候选代表性图片与该默认代表性图片的图像质量分值的具体实现方式可以参见上述图3所对应实施例中步骤S103的描述，在此不再进行赘述。

进一步地，业务服务器可以获取到该候选代表性图片与该默认代表性图片分别对应的图片优先级，该图片优先级可以包括该候选代表性图片对应的第一图片优先级与该默认代表性图片对应的第二图片优先级。根据该图片优先级与该图像质量分值，可以确定出该候选代表性图片对应的第一评估分值与该默认代表性图片对应的第二评估分值，其中，根据第一图片优先级确定出第一评估分值与根据第二图片优先级确定出第二评估分值的具体实现方式可以参见上述图3所对应实施例中步骤S104中的描述，在此不再进行赘述。

可选的，业务服务器可以将该默认代表性图片与该候选代表性图片在过滤层4002中进行过滤，以删除掉不适合用于作为视频封面的图片。当该默认代表性图片与该候选代表性图片中存在需要过滤的数据时，则业务服务器可以对该默认代表性图片与该候选代表性图片中进行过滤处理，业务服务器进而在过滤后的默认代表性图片与候选代表性图片中确定出视频的代表性图片(即封面图片)。该过滤过程具体可以为，业务服务器可以将候选代表性图片与该默认代表性图片确定为待过滤代表性图片集，业务服务器在该待过滤代表性图片集中识别包含蒙层数据的图片(如，含有马赛克的图片)、包含敏感数据的图片(如，含有广告特征的图片)、包含跳转标识数据的图片(如，含有二维码的图片)以及包含异常结构数据的图片(如，尺寸差异过大的图片与密恐图片等)，业务服务器可以将该包含蒙层数据的图片、该包含敏感数据的图片、该包含跳转标识数据的图片以及该包含异常结构数据的图片从该待过滤代表性图片集中删除，得到过滤代表性图片集，业务服务器可以在该过滤代表性图片集中所包含的该第一评估分值与该第二评估分值中确定出最大评估分值，将该最大评估分值对应的图片确定为该视频的代表性图片。

可选的，业务服务器可以在减分层4003中，根据图像异常参数对上述第一评估分值与上述第二评估分值以减分的方式进行更新。当该候选代表性图片与该默认代表性图片中具有图像异常参数时，则业务服务器可以根据图像异常参数对该第一评估分值与该第二评估分值进行更新，在更新后的评估分值中确定出最大评估分值，将该最大评估分值所对应的图片确定为该目标视频的封面的图片。具体更新的过程可以为：业务服务器可以获取该候选代表性图片与该默认代表性图片分别对应的图像异常参数，这里的图像异常参数可以包括异常色彩参数、异常分辨率参数以及异常拼接像素，业务服务器可以在该候选代表性图片与该默认代表性图片中识别包含该异常色彩参数的图片(如，纯色占比过高的图片与存在黑白边的图片)、包含该异常分辨率参数的图片(如，存在毛玻璃的图片)以及包含该异常拼接像素的图片(如，存在动静拼接的图片)，业务服务器可以将该包含该异常色彩参数的图片、该包含该异常分辨率参数的图片以及该包含该异常拼接像素的图片均确定为异常图片，业务服务器可以获取到该异常色彩参数所对应的第一异常更新权重，获取到该异常分辨率参数的第二异常更新权重，获取到该异常拼接像素的第三异常更新权重，业务服务器可以将包含该异常色彩参数的图片对应的评估分值与该第一异常更新权重进行减运算(如，该包含该异常色彩参数的图片为候选代表性图片，其所对应的评估分值为第一评估分值，则将该第一评估分值减去该第一异常更新权重)，减运算后可以得到包含该异常色彩参数的图片对应的新的评估分值；业务服务器可以将包含该异常分辨率参数的图片对应的评估分值与该第二异常更新权重进行减运算(如，该包含该异常分辨率参数的图片为默认代表性图片，其所对应的评估分值为第二评估分值，则将该第二评估分值减去该第二异常更新权重)，减运算后可以得到包含该异常分辨率参数的图片对应的新的评估分值；业务服务器可以将包含该异常拼接像素的图片对应的评估分值与该第三异常更新权重进行与运算(如，该包含该异常拼接像素的图片为候选代表性图片，其所对应的评估分值为第一评估分值，则将该第一评估分值减去该第三异常更新权重)，减运算后可以得到该包含该异常拼接像素的图片对应的新的评估分值。后续，业务服务器可以从该默认代表性图片新的评估分值与该候选代表性图片新的评估分值中确定出最大评估分值，将该最大评估分值所对应的图片确定为该视频的代表性图片。其中，这里的第一异常更新权重、第二异常更新权重与第三异常更新权重可以指对图片的评估分值带来影响的参数，可以理解为，权重越大，带来的影响程度越大，第一异常更新权重、第二异常更新权重与第三异常更新权重可以为相同的权重值也可以为不同的权重值。

可选的，业务服务器可以在标签加分层4004中通过视频的视频类别标签对该第一评估分值与该第二评估分值以加分的方式进行更新，业务服务器进而可以从该更新后的评估分值中确定出最大评估分值，将该最大评估分值对应的图片确定为该目标视频的代表性图片。具体过程可以为，业务服务器获取视频的视频类别标签，该视频类别标签用于表征该目标视频的类别，如，该视频类别标签可以包括游戏类、动类漫、比赛类、美食类、旅游类、球类等。业务服务器可以将该默认代表性图片与该候选代表性图片确定为待检测图片，将该第一评估分值与该第二评估分值均确定为待更新评估分值，业务服务器可以将该待检测图片输入神经网络模型中，在该神经网络模型中，可以根据该待检测图片的图片内容识别出图片类别，进而确定出该待检测图片的图片类别标签，业务服务器可以将该图片类别标签与该视频类别标签进行匹配，将匹配率大于或等于标签阈值的图片类别标签确定为相似类别标签，将该相似类别标签对应的待检测图片确定为关联代表性图片(即，该待检测图片中包含的内容与目标视频的内容相关联)，如，业务服务器获取到的该视频的视频类别标签为“美食类”，视频的一张候选代表性图片包含紫米饭团这一食物，业务服务器可以识别出这张候选代表性图片的图片类别标签为主食，业务服务器可以将“主食”这一图片类别标签与上述视频类别标签“美食类”进行匹配，因“主食”属于“美食类”，所以通过匹配得到的匹配率较高，匹配率为0.85，而标签阈值为0.75，则匹配率远大于了标签阈值，则业务服务器可以将“主食”这一图片类别标签确定为相似类别标签，将这张候选代表性图片确定为关联代表性图片。后续，业务服务器可以获取该视频类别标签相关联的第四图片优先级，业务服务器可以将第四图片优先级与该关联代表性图片的待更新评估分值进行与运算，通过与运算后可以得到该关联代表性图片的关联评估分值，业务服务器可以在非关联代表性图片对应的待更新评估分值与该关联评估分值中确定出最大评估分值，将该最大评估分值对应的图片确定为该视频最终的代表性图片。其中，该非关联代表性图片为该待检测图片中除了该关联代表性图片之外的图片，该第四图片优先级为大于1的值。

可选的，在最终所得到的候选封面图片队列(包含了通过过滤、减分、标签加分步骤后的图片)中，若该默认代表性图片为该视频的视频作者所选择确定的，则业务服务器会在特殊加分层4005中对该默认代表性图片对应的第二评估分值进行特殊加分，提高该默认代表性图片的评估分值，以充分尊重视频作者的诉求。当该默认代表性图片为用户选择图片(即，该默认代表性图片是由视频作者在用户终端上进行图片选择后，用户终端响应该视频作者的图片选择操作所得到的)时，业务服务器可以获取到该默认代表性图片的第三图片优先级，业务服务器可以将该第三图片优先级与上述默认代表性图片对应的第二评估分值进行与运算，通过与运算后可以得到该默认代表性图片的目标评估分值，业务服务器可以在候选代表性图片对应的第一评估分值与该默认代表性图片对应的目标评估分值中确定出最大评估分值，将该最大评估分值对应的图片确定为该目标视频的代表性图片。其中，该第三图片优先级是出于尊重视频作者诉求的考虑所设置的，该第三图片优先级为大于1的值，当该默认代表性图片为视频作者所选择时，在可能的情况下，该默认代表性图片的评估分值会低于候选代表性图片的评估分值，则最终确定的封面图片是候选代表性图片而不是作者选择的该默认代表性图片，若加上该第三图片优先级，会提高该默认代表性图片的评估分数，可以最大程度的保护视频作者的诉求。若通过第三图片优先级后，该默认代表性图片的评估分数仍低于候选代表性图片的评估分数，则证明默认代表性图片并不适合作为该目标视频的封面图，候选代表性图片更适合作为目标视频的封面图。

其中，打分层4001可以与过滤层4002、减分层4003、标签加分层4004以及特殊加分层4005任意组合，以打分层4001、过滤层4002、减分层4003、标签加分层4004以及特殊加分层4005全部组合为例，在通过过滤、减分、标签加分以及特殊加分后的候选代表性图片与默认代表性图片中，业务服务器可以在候选代表性图片与默认代表性图片分别对应的评估分值中确定出最大评估分值，将该最大评估分值所对应的图片确定为该目标视频的代表性图片(封面图片)，并输出该最终选择的封面图片。

进一步地，请参见图5a，是本申请实施例提供的一种对图片进行过滤处理的场景示意图。如图5a所示，图片5001、图片5002、图片5003、图片5004以及图片5005可以为目标视频的候选代表性图片，图片5006可以为视频的默认代表性图片，业务服务器可以将该图片5001、图片5002、图片5003、图片5004、图片5005以及图片5006一并在过滤层中进行过滤，在过滤层中，可以识别到图片5001包含了蒙层50a这一蒙层数据，可以识别到图片5002包含了广告语50b这一敏感数据，可以识别到图片5003包含二维码50c这一标识跳转数据，可以识别到图片5004的图片尺寸过大，则业务服务器可以将图片5001、图片5002、图片5003以及图片5004都删除，删除后余下的图片为图片5005与图片5006，业务服务器可以在图片5005与图片5006中选出视频的代表性图片。

进一步地，请参见图5b，是本申请实施例提供的一种对图片进行减分处理的场景示意图。如图5b所示，图片501的评估分数为8分、图片502的评估分数为7分、图片503的评估分数为6分以及图片504的评估分数为9分，业务服务器可以将图片501、图片502、图片503以及图片504一并在减分层进行减分处理，在减分层中，业务服务器可以识别到图片502存在纯色占比过高，可以识别到图片502存在黑白边与毛玻璃，可以识别到图片503存在动静拼接，其中，纯色占比过高与黑白边属于图像异常参数中的异常色彩参数，毛玻璃属于图像异常参数中的异常分辨率参数，动静拼接属于图像异常参数中的异常拼接像素，则业务服务器可以从数据库中获取到异常色彩参数的更新权重为2、获取到异常分辨率参数的更新权重为3以及获取到异常拼接像素的更新权重为3，则业务服务器可以对存在纯色占比过高的图片501的评估分数减去异常色彩参数的更新权重2(即8-2)，得到图片501新的评估分数为6分，业务服务器可以对存在黑白边与毛玻璃的图片502的评估分数减去异常色彩参数的更新权重2与异常分辨率参数的更新权重3(即7-2-3)，得到图片502新的评估分数为2分，业务服务器可以对存在动静拼接的图片503减去异常拼接像素的更新权重3(即6-3)，得到图片503新的评估分数为3分，在减分后的图片501、图片502、图片503以及图片504中，可以确定图片504的评估分数9分为最大，则业务服务器可以将图片504确定为视频的视频代表性图片。

进一步地，请参见图6a，是本申请实施例提供的一种训练质量评估模型的流程示意图。如图6a所示，用户A(可以为媒体工作人员或技术人员)可以先对样本图片60a进行人工主观评分，如图6a所示，用户A对样本图片60a的评分为7分；样本图片60a输入样本质量评估模型600中，通过样本质量评估模型600可以输出对该样本图片60a的评估分数为8分，计算该人工评分与样本质量评估模型输出的评估分数之间的差异度。误差函数计算器可以根据上述图3所对应实施例中的公式(1)计算生成差异度损失值，通过该差异度损失值去调整样本质量评估模型600，调整后采用上述方法再次生成评估分数并输出，再计算差异度损失值，不断循环，直至当差异度损失值小于目标阈值，或者差异度损失值收敛，或者循环的次数达到目标次数时，此时样本质量评估模型训练完毕，后续可以将样本质量评估模型确定为质量评估模型。

进一步地，为便于理解，请参见图6b，是本申请实施例提供的一种基于质量评估模型的图片处理场景示意图。如图6b所示，图片60b为全文字内容，且文字模糊不清、清晰度过低，使得人们对图片60b并没有观看的欲望，则人工评判分数为1分，将图片60b输入质量评估模型600中，通过质量评估模型输出的评估分数为0.9分，该评估分数0.9与人工评判分数1差异度很小；图片60c的图片内容为一位女士正在唱歌，图片60c的内容清晰(对象为女士，场景为唱歌)，且清晰度也较高，人们对图片60c并不会抗拒，反而会觉得该图片直接明了的说明了内容，图片60c比较清晰也比较美观，人工评判分数为7分，将图片60c输入至质量评估模型600中，通过质量评估模型600输出的评估分数为6.5分，该评估分数6.5与人工评分7的差异度很小。可以看出，该质量评估模型通过训练后，可以具备输入一张图片而输出该图片对应的质量评估分数的能力，质量评估分数越高，则说明该图片的清晰度与美观度程度较高，更能提高用户的观感和体验。

为便于理解，以下以两张实验对比图来表明该视频数据处理方法所带来的有益效果。请参见图6c和图6d，是本申请实施例提供的一种实验对比图。如图6c与图6d所示，实验组为使用本视频数据处理方法，通过质量评估模型进行打分选图的图片组，对照组为未使用本视频数据处理方法的图片组，从图6c与图6d可以看出，用户在实验组的平均阅读时长大于了用户在对照组的平均阅读时长，可以证明通过该视频数据处理方法，可以提高视频封面图的质量，进而可以为用户带来更好的用户体验与观感，这会使得用户更愿意观看并阅读该视频封面图，质量优秀的视频封面图，也会使用户更愿意点击该视频封面并播放该视频封面对应的视频，进而增加用户的消费时长。

请参见图7，是本申请实施例提供的一种视频数据处理装置的结构示意图。如图7所示，该视频数据处理装置1可以包括：抽取模块11、获取模块12、图像质量评估模块13以及代表性图片选择模块14。

抽取模块11，用于获取视频的图像帧内容信息，根据上述图像帧内容信息在上述视频中抽取候选代表性图片；

获取模块12，用于获取上述视频的默认代表性图片；

图像质量评估模块13，用于对上述候选代表性图片与上述默认代表性图片分别对应的图像质量进行评估，得到质量评估结果；

代表性图片选择模块14，用于获取上述候选代表性图片与上述默认代表性图片分别对应的图片优先级，根据上述图片优先级与上述质量评估结果，在上述候选代表性图片与上述默认代表性图片中，选择上述视频的代表性图片。

其中，抽取模块11、获取模块12、图像质量评估模块13以及代表性图片选择模块14的具体实现方式可以参见上述图3所对应实施例中的步骤S101，在此不再进行赘述。

请参见图7，抽取模块11可以包括：第一获取单元111、匹配对象单元112以及第一确定单元113。

第一获取单元111，用于获取上述视频的视频帧；

上述第一获取单元111，还用于获取对象集合；

匹配对象单元112，用于将上述视频帧中的对象信息与上述对象集合中的默认对象信息进行进行匹配；

第一确定单元113，用于将匹配率大于匹配阈值的视频帧确定为上述候选代表性图片。

其中，第一获取单元111、匹配对象单元112以及第一确定单元113的具体实现方式可以参见上述图3所对应实施例中的步骤S101，在此不再进行赘述。

请参见图7，抽取模块11可以包括：第二获取单元114以及第二确定单元115。

第二获取单元114，用于获取上述视频的目标视频帧；

第二确定单元115，用于根据上述目标视频帧中的场景信息确定上述目标视频帧对应的第一场景类别；

上述第二获取单元114，还用于获取上述视频中上述目标视频帧的上一视频帧；

上述第二确定单元115，还用于根据上述上一视频帧中的场景信息确定上述上一视频帧对应的第二场景类别；

上述第二确定单元115，还用于若上述第一场景类别与上述第二场景类别不相同，则将上述目标视频帧和上述上一视频帧确定为上述候选代表性图片。

其中，第二获取单元114以及第二确定单元115的具体实现方式可以参见上述图3所对应实施例中的步骤S101，在此不再进行赘述。

请参见图7，图像质量评估模块13可以包括：输入单元131、第三确定单元132、融合单元133以及评估结果确定单元134。

输入单元131，用于将上述候选代表性图片输入质量评估模型；上述质量评估模型包括清晰度信息对应的第一模型参数和美观度信息对应的第二模型参数；

第三确定单元132，用于根据上述第一模型参数确定上述候选代表性图片与上述默认代表性图片分别对应的清晰度评估分值；

上述第三确定单元132，还用于根据上述第二模型参数确定上述候选代表性图片与上述默认代表性图片分别对应的美观度评估分数；

融合单元133，用于融合上述清晰度评估分数与上述美观度评估分数，生成上述候选代表性图片与上述默认代表性图片分别对应的图像质量分值；

评估结果确定单元134，用于将上述图像质量分值确定为上述质量评估结果。

其中，输入单元131、第三确定单元132、融合单元133以及评估结果确定单元134的具体实现方式可以参见上述图3所对应实施例中的步骤S103，在此不再进行赘述。

请参见图7，融合单元133可以包括：输出子单元1331以及归一化子单元1332。

输出子单元1331，用于融合上述清晰度评估分数与上述美观度评估分数，通过上述分类层输出上述候选代表性图片与上述默认代表性图片分别对应的原始评估分数；

归一化子单元1332，用于将上述原始评估分数输入上述归一化层，通过上述归一化层将上述原始评估分数转换为处于归一化数值范围内的数值，将上述归一化层所输出的数值确定为上述候选代表性图片与上述默认代表性图片分别对应的图像质量分值。

其中，输出子单元1331以及归一化子单元1332的具体实现方式可以参见上述图3所对应实施例中的步骤S103，在此不再进行赘述。

请参见图7，代表性图片选择模块14可以包括：第一运算单元141以及第一确定代表性图片单元142。

第一运算单元141，用于获取上述候选代表性图片的第一图片优先级，将上述第一图片优先级与上述候选代表性图片对应的图像质量分值进行与运算，得到上述候选代表性图片的第一评估分值；

上述第一运算单元141，还用于获取上述默认代表性图片的第二图片优先级，将上述第二图片优先级与上述默认代表性图片对应的图像质量分值进行与运算，得到上述默认代表性图片的第二评估分值；

第一确定代表性图片单元142，用于将上述第一评估分值与上述第二评估分值中的最大值确定为最大评估分值，将上述最大评估分值对应的图片确定为上述目标视频的代表性图片。

其中，第一运算单元141以及第一确定代表性图片单元142的具体实现方式可以参见上述图3所对应实施例中的步骤S104，在此不再进行赘述。

请参见图7，代表性图片选择模块14可以包括：第一获取优先级单元143、第二运算单元144以及第二确定代表性图片单元145。

第一获取优先级单元143，用于若上述默认代表性图片为用户选择图片，则获取上述默认代表性图片的第三图片优先级；上述用户选择图片由用户终端响应图片选择操作所得到的；

第二运算单元144，用于将上述第二评估分值与上述第三图片优先级进行与运算，得到上述默认代表性图片的目标评估分值；

第二确定代表性图片单元145，用于将上述第一评估分值与上述目标评估分值中的最大值确定为最大评估分值，将上述最大评估分值对应的图片确定为上述目标视频的代表性图片。

其中，第一获取优先级单元143、第二运算单元144以及第二确定代表性图片单元145的具体实现方式可以参见上述图3所对应实施例中的步骤S104，在此不再进行赘述。

请参见图7，代表性图片选择模块14可以包括：获取类别单元146、第四确定单元147、识别标签单元148、匹配标签单元149、第二获取优先级单元1401以及第三确定代表性图片单元1402。

获取类别单元146，用于获取上述视频的视频类别标签；上述视频标签用于表征上述视频的类别；

第四确定单元147，用于将上述默认代表性图片与上述候选代表性图片均确定为待检测图片，将上述第一评估分值和上述第二评估分值均确定为待更新评估分值；

识别标签单元148，用于识别上述待检测图片对应的图片类别标签；

匹配标签单元149，用于将上述图片类别标签与上述视频类别标签进行匹配，将匹配率大于或等于标签阈值的图片类别标签确定为相似类别标签，将上述相似类别标签对应的待检测图片确定为关联代表性图片；

第二获取优先级单元1401，用于获取上述视频类别标签相关联的第四图片优先级，将上述第四图片优先级与上述关联代表性图片的待更新评估分值进行与运算，得到上述关联代表性图片的关联评估分值；

第三确定代表性图片单元1402，用于将非关联代表性图片对应的待更新评估分值以及上述关联评估分值中的最大值确定为最大评估分值，将上述最大评估分值对应的图片确定为上述视频的代表性图片；上述非关联代表性图片为上述待检测图片中除了上述关联代表性图片之外的图片。

其中，获取类别单元146、第四确定单元147、识别标签单元148、匹配标签单元149、第二获取优先级单元1401以及第三确定代表性图片单元1402的具体实现方式可以参见上述图3所对应实施例中的步骤S104，在此不再进行赘述。

请参见图7，代表性图片选择模块14可以包括：确定候选集单元1403、过滤单元1404以及第四确定代表性图片单元1405。

确定候选集单元1403，用于将上述候选代表性图片与上述默认代表性图片确定为待过滤代表性图片集；

过滤单元1404，用于对上述待过滤代表性图片集进行过滤处理，得到过滤代表性图片集；

第四确定代表性图片单元1405，用于将上述过滤代表性图片集中所包含的上述第一评估分值与上述第二评估分值中的最大值确定为最大评估分值，将上述最大评估分值对应的图片确定为上述目标视频的代表性图片。

其中，确定候选集单元1403、过滤单元1404以及第四确定代表性图片单元1405的具体实现方式可以参见上述图3所对应实施例中的步骤S104，在此不再进行赘述。

请参见图7，过滤单元1404可以包括：第一识别子单元14041以及删除子单元14042。

第一识别子单元14041，用于在上述待过滤代表性图片集中识别包含蒙层数据的图片、包含敏感数据的图片、包含跳转标识数据的图片以及包含异常结构数据的图片；

删除子单元14042，用于将上述包含蒙层数据的图片、上述包含敏感数据的图片、上述包含跳转标识数据的图片以及上述包含异常结构数据的图片，从上述待过滤代表性图片集中删除，得到上述过滤代表性图片集。

其中，第一识别子单元14041以及删除子单元14042的具体实现方式可以参见上述图3所对应实施例中的步骤S104，在此不再进行赘述。

请参见图7，代表性图片选择模块14可以包括：获取参数单元1406、更新单元1407以及第五确定代表性图片单元1408。

获取参数单元1406，用于获取上述候选代表性图片与上述默认代表性图片分别对应的图像异常参数；

更新单元1407，用于根据上述图像异常参数，对上述第一评估分值与上述第二评估分值分别进行更新，将更新后的第一评估分值确定为第一更新评估分值，将更新后的第二评估分值确定为第二更新评估分值；

第五确定代表性图片单元1408，用于将上述第一更新评估分值与上述第二更新评估分值中的最大值确定为最大评估分值，将上述最大评估分值对应的图片确定为上述目标视频的代表性图片。

其中，获取参数单元1406、更新单元1407以及第五确定代表性图片单元1408的具体实现方式可以参见上述图3所对应实施例中的步骤S104，在此不再进行赘述。

请参见图7，更新单元1406可以包括：第二识别子单元14071、确定异常图片子单元14072、获取权重子单元14073以及运算子单元14074。

第二识别子单元14071，用于在上述候选代表性图片与上述默认代表性图片中识别包含上述异常色彩参数的图片、包含上述异常分辨率参数的图片以及包含上述异常拼接像素的图片；

确定异常图片子单元14072，用于将上述包含上述异常色彩参数的图片、上述包含上述异常分辨率参数的图片以及上述包含上述异常拼接像素的图片均确定为异常图片；

获取权重子单元14073，用于获取异常更新权重；

运算子单元14074，用于若上述异常图片为上述候选代表性图片，则将上述异常图片对应的第一评估分值与上述异常更新权重进行减运算，得到上述第一更新评估分值；

上述运算子单元14074，还用于若上述异常图片为上述默认代表性图片，则将上述异常图片对应的第二评估分值与上述异常更新权重进行减运算，得到上述第二更新评估分值。

其中，第二识别子单元14071、确定异常图片子单元14072、获取权重子单元14073以及运算子单元14074的具体实现方式可以参见上述图3所对应实施例中的步骤S104，在此不再进行赘述。

本申请实施例通过获取视频的图像帧内容信息，根据上述图像帧内容信息在上述视频中抽取候选代表性图片；获取上述视频的默认代表性图片；对上述候选代表性图片与上述默认代表性图片分别对应的图像质量进行评估，得到质量评估结果；获取上述候选代表性图片与上述默认代表性图片分别对应的图片优先级，根据上述图片优先级与上述质量评估结果，在上述候选代表性图片与上述默认代表性图片中，选择上述视频的代表性图片。上述可知，通过图像帧内容信息而对视频进行择优抽帧抽取候选代表性的方式，可以提高候选代表性图片的质量，通过对上述候选代表性图片与默认代表性图片的图像质量进行评估，得到的质量评估结果可以用于表征该候选代表性图片与默认代表性图片的图像质量水平，再根据上述候选代表性图片与默认代表性图片分别对应的图片优先级与该质量评估结果，可以确定出视频最终的代表性图片，可以看出，确定出的代表性图片具备高图像质量，且在确定视频的代表性图片的流程中，无需人工进行参与，可以自动选取出视频的代表性图片并输出，这样可以提高生成视频代表性图片的效率。

进一步地，请参见图8，是本申请实施例提供的一种计算机设备的结构示意图。如图8所示，上述图7所对应实施例中的装置1可以应用于上述计算机设备1000，上述计算机设备1000可以包括：处理器1001，网络接口1004和存储器1005，此外，上述计算机设备1000还包括：用户接口1003，和至少一个通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。其中，用户接口1003可以包括显示屏(Display)、键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图8所示，作为一种计算机可读存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。

在图8所示的计算机设备1000中，网络接口1004可提供网络通讯功能；而用户接口1003主要用于为用户提供输入的接口；而处理器1001可以用于调用存储器1005中存储的设备控制应用程序，以实现：

获取视频的图像帧内容信息，根据上述图像帧内容信息在上述视频中抽取候选代表性图片；

获取上述视频的默认代表性图片；

对上述候选代表性图片与上述默认代表性图片分别对应的图像质量进行评估，得到质量评估结果；

获取上述候选代表性图片与上述默认代表性图片分别对应的图片优先级，根据上述图片优先级与上述质量评估结果，在上述候选代表性图片与上述默认代表性图片中，选择上述视频的代表性图片。

应当理解，本申请实施例中所描述的计算机设备1000可执行前文图3和图6d所对应实施例中对该视频数据处理方法的描述，也可执行前文图7所对应实施例中对该视频数据处理装置1的描述，在此不再赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。

此外，这里需要指出的是：本申请实施例还提供了一种计算机可读存储介质，且上述计算机可读存储介质中存储有前文提及的数据处理的计算机设备1000所执行的计算机程序，且上述计算机程序包括程序指令，当上述处理器执行上述程序指令时，能够执行前文图3到图6d所对应实施例中对上述数据处理方法的描述，因此，这里将不再进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。对于本申请所涉及的计算机可读存储介质实施例中未披露的技术细节，请参照本申请方法实施例的描述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，上述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，上述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。

以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。

Claims (15)

1.一种视频数据处理方法，其特征在于，包括：

获取视频的图像帧内容信息，根据所述图像帧内容信息在所述视频中抽取候选代表性图片；所述图像帧内容信息包括对象信息与场景信息；

获取所述视频的默认代表性图片；

对所述候选代表性图片与所述默认代表性图片分别对应的图像质量进行评估，得到质量评估结果；所述图像质量是指基于图片清晰度信息与图片美观度信息的综合质量，所述质量评估结果是通过将所述候选代表性图片与所述默认代表性图片分别对应的清晰度评估分值，以及所述候选代表性图片与所述默认代表性图片分别对应的美观度评估分值进行融合后所确定的；所述候选代表性图片与所述默认代表性图片分别对应的清晰度评估分值，是在质量评估模型中通过所述质量评估模型包含的所述图片清晰度信息所对应的第一模型参数所确定的；所述候选代表性图片与所述默认代表性图片分别对应的美观度评估分值，是在所述质量评估模型中通过所述质量评估模型包含的所述图片美观度信息所对应的第二模型参数所确定的；

获取所述候选代表性图片与所述默认代表性图片分别对应的图片优先级，根据所述图片优先级与所述质量评估结果，在所述候选代表性图片与所述默认代表性图片中，选择所述视频的代表性图片。

2.根据权利要求1所述的方法，其特征在于，所述图像帧内容信息包括对象信息；

所述根据所述图像帧内容信息在所述视频中抽取候选代表性图片，包括：

获取所述视频的视频帧；

获取对象集合；

将所述视频帧中的对象信息与所述对象集合中的默认对象信息进行匹配；

将匹配率大于匹配阈值的视频帧确定为所述候选代表性图片。

3.根据权利要求1所述的方法，其特征在于，所述图像帧内容信息包括场景信息；

所述根据所述图像帧内容信息在所述视频中抽取候选代表性图片，包括：

获取所述视频的目标视频帧；

根据所述目标视频帧中的场景信息确定所述目标视频帧对应的第一场景类别；

获取所述视频中所述目标视频帧的上一视频帧；

根据所述上一视频帧中的场景信息确定所述上一视频帧对应的第二场景类别；

若所述第一场景类别与所述第二场景类别不相同，则将所述目标视频帧和所述上一视频帧确定为所述候选代表性图片。

4.根据权利要求1所述的方法，其特征在于，所述对所述候选代表性图片与所述默认代表性图片分别对应的图像质量进行评估，得到质量评估结果，包括：

将所述候选代表性图片输入质量评估模型；所述质量评估模型包括清晰度信息对应的第一模型参数和美观度信息对应的第二模型参数；

根据所述第一模型参数确定所述候选代表性图片与所述默认代表性图片分别对应的清晰度评估分值；

根据所述第二模型参数确定所述候选代表性图片与所述默认代表性图片分别对应的美观度评估分数；

融合所述清晰度评估分数与所述美观度评估分数，生成所述候选代表性图片与所述默认代表性图片分别对应的图像质量分值；

将所述图像质量分值确定为所述质量评估结果。

5.根据权利要求4所述的方法，其特征在于，所述质量评估模型包括分类层和归一化层；

所述融合所述清晰度评估分数与所述美观度评估分数，生成所述候选代表性图片与所述默认代表性图片分别对应的图像质量分值，包括：

融合所述清晰度评估分数与所述美观度评估分数，通过所述分类层输出所述候选代表性图片与所述默认代表性图片分别对应的原始评估分数；

将所述原始评估分数输入所述归一化层，通过所述归一化层将所述原始评估分数转换为处于归一化数值范围内的数值，将所述归一化层所输出的数值确定为所述候选代表性图片与所述默认代表性图片分别对应的图像质量分值。

6.根据权利要求1所述的方法，其特征在于，所述获取所述候选代表性图片与所述默认代表性图片分别对应的图片优先级，根据所述图片优先级与所述质量评估结果，在所述候选代表性图片与所述默认代表性图片中，选择所述视频的代表性图片，包括：

获取所述候选代表性图片的第一图片优先级，根据所述第一图片优先级与所述候选代表性图片的质量评估结果，确定所述候选代表性图片的第一评估分值；

获取所述默认代表性图片的第二图片优先级，根据所述第二图片优先级与所述默认代表性图片的质量评估结果，确定所述默认代表性图片的第二评估分值；

将所述第一评估分值与所述第二评估分值中的最大值确定为最大评估分值，将所述最大评估分值对应的图片确定为所述视频的代表性图片。

7.根据权利要求6所述的方法，其特征在于，所述将所述第一评估分值与所述第二评估分值中的最大值确定为最大评估分值，将所述最大评估分值对应的图片确定为所述视频的代表性图片，包括：

若所述默认代表性图片为用户选择图片，则获取所述默认代表性图片的第三图片优先级；所述用户选择图片由用户终端响应图片选择操作所得到的；

将所述第二评估分值与所述第三图片优先级进行与运算，得到所述默认代表性图片的目标评估分值；

将所述第一评估分值与所述目标评估分值中的最大值确定为最大评估分值，将所述最大评估分值对应的图片确定为所述视频的代表性图片。

8.根据权利要求6所述的方法，其特征在于，所述将所述第一评估分值与所述第二评估分值中的最大值确定为最大评估分值，将所述最大评估分值对应的图片确定为所述视频的代表性图片，包括：

获取所述视频的视频类别标签；所述视频类别标签用于表征所述视频的类别；

将所述默认代表性图片与所述候选代表性图片均确定为待检测图片，将所述第一评估分值和所述第二评估分值均确定为待更新评估分值；

识别所述待检测图片对应的图片类别标签；

将所述图片类别标签与所述视频类别标签进行匹配，将匹配率大于或等于标签阈值的图片类别标签确定为相似类别标签，将所述相似类别标签对应的待检测图片确定为关联代表性图片；

获取所述视频类别标签相关联的第四图片优先级，将所述第四图片优先级与所述关联代表性图片的待更新评估分值进行与运算，得到所述关联代表性图片的关联评估分值；

将非关联代表性图片对应的待更新评估分值以及所述关联评估分值中的最大值确定为最大评估分值，将所述最大评估分值对应的图片确定为所述视频的代表性图片；所述非关联代表性图片为所述待检测图片中除了所述关联代表性图片之外的图片。

9.根据权利要求6所述的方法，其特征在于，所述将所述第一评估分值与所述第二评估分值中的最大值确定为最大评估分值，将所述最大评估分值对应的图片确定为所述视频的代表性图片，包括：

将所述候选代表性图片与所述默认代表性图片确定为待过滤代表性图片集；

对所述待过滤代表性图片集进行过滤处理，得到过滤代表性图片集；

将所述过滤代表性图片集中所包含的所述第一评估分值与所述第二评估分值中的最大值确定为最大评估分值，将所述最大评估分值对应的图片确定为所述视频的代表性图片。

10.根据权利要求9所述的方法，其特征在于，所述对所述待过滤代表性图片集进行过滤处理，得到过滤代表性图片集，包括：

在所述待过滤代表性图片集中识别包含蒙层数据的图片、包含敏感数据的图片、包含跳转标识数据的图片以及包含异常结构数据的图片；

将所述包含蒙层数据的图片、所述包含敏感数据的图片、所述包含跳转标识数据的图片以及所述包含异常结构数据的图片，从所述待过滤代表性图片集中删除，得到所述过滤代表性图片集。

11.根据权利要求6所述的方法，其特征在于，所述将所述第一评估分值与所述第二评估分值中的最大值确定为最大评估分值，将所述最大评估分值对应的图片确定为所述视频的代表性图片，包括：

获取所述候选代表性图片与所述默认代表性图片分别对应的图像异常参数；

根据所述图像异常参数，对所述第一评估分值与所述第二评估分值分别进行更新，将更新后的第一评估分值确定为第一更新评估分值，将更新后的第二评估分值确定为第二更新评估分值；

将所述第一更新评估分值与所述第二更新评估分值中的最大值确定为最大评估分值，将所述最大评估分值对应的图片确定为所述视频的代表性图片。

12.根据权利要求11所述的方法，其特征在于，所述图像异常参数包括异常色彩参数、异常分辨率参数以及异常拼接像素；

所述根据所述图像异常参数，对所述第一评估分值与所述第二评估分值分别进行更新，将更新后的第一评估分值确定为第一更新评估分值，将更新后的第二评估分值确定为第二更新评估分值，包括：

在所述候选代表性图片与所述默认代表性图片中识别包含所述异常色彩参数的图片、包含所述异常分辨率参数的图片以及包含所述异常拼接像素的图片；

将所述包含所述异常色彩参数的图片、所述包含所述异常分辨率参数的图片以及所述包含所述异常拼接像素的图片均确定为异常图片；

获取异常更新权重；

若所述异常图片为所述候选代表性图片，则将所述异常图片对应的第一评估分值与所述异常更新权重进行减运算，得到所述第一更新评估分值；

若所述异常图片为所述默认代表性图片，则将所述异常图片对应的第二评估分值与所述异常更新权重进行减运算，得到所述第二更新评估分值。

13.一种视频数据处理装置，其特征在于，包括：

抽取模块，用于获取视频的图像帧内容信息，根据所述图像帧内容信息在所述视频中抽取候选代表性图片；所述图像帧内容信息包括对象信息与场景信息；

获取模块，用于获取所述视频的默认代表性图片；

图像质量评估模块，用于对所述候选代表性图片与所述默认代表性图片分别对应的图像质量进行评估，得到质量评估结果；所述图像质量是指基于图片清晰度信息与图片美观度信息的综合质量，所述质量评估结果是通过将所述候选代表性图片与所述默认代表性图片分别对应的清晰度评估分值，以及所述候选代表性图片与所述默认代表性图片分别对应的美观度评估分值进行融合后所确定的；所述候选代表性图片与所述默认代表性图片分别对应的清晰度评估分值，是在质量评估模型中通过所述质量评估模型包含的所述图片清晰度信息所对应的第一模型参数所确定的；所述候选代表性图片与所述默认代表性图片分别对应的美观度评估分值，是在所述质量评估模型中通过所述质量评估模型包含的所述图片美观度信息所对应的第二模型参数所确定的；

代表性图片选择模块，用于获取所述候选代表性图片与所述默认代表性图片分别对应的图片优先级，根据所述图片优先级与所述质量评估结果，在所述候选代表性图片与所述默认代表性图片中，选择所述视频的代表性图片。

14.一种计算机设备，其特征在于，包括：处理器和存储器；

所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至12中任一项所述方法的步骤。

15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时，执行如权利要求1至12中任一项所述的方法。