CN110019951B - 一种生成视频缩略图的方法及设备 - Google Patents

Abstract

一种生成视频缩略图的方法及设备，该方法包括服务器获取多个视频的视频帧集合，所述视频帧集合包括多个过滤后的视频帧，根据所述多个视频的视频帧集合，识别出预设类型的对象，并确定所述预设类型的对象的代表性水平值，根据所述预设类型的对象的代表性水平值，确定代表对象，根据所述过滤后的多个视频帧以及所述代表对象的代表性水平值，确定各视频帧的视频代表度，根据所述各视频帧的视频代表度和生成视频缩略图所需视频帧的数量，生成视频缩略图。通过分析视频内容，选取出有代表性的代表对象，并统计代表对象的代表性水平值，通过确定各视频帧的视频代表度，来得到视频缩略图，可以解决从多张视频帧中选择出代表视频内容的缩略图的问题。

Description

一种生成视频缩略图的方法及设备

技术领域

本申请涉及视频技术领域，尤其涉及一种生成视频缩略图的方法及设备。

背景技术

视频缩略图是一种为对动态视频内容的预览，常常出现在各种场景之中，例如电影、电视剧、电视节目或广告视频的起始画面，目的是让用户更快地理解视频的内容、吸引用户对视频的兴趣。在传统的制作视频缩略图方案中，视频缩略图可以是事先设定好的图片，例如电视节目的宣传照片，展示的视频缩略图与用户正在观看的节目时间段中的实际节目信息无关，这将导致用户无法通过视频缩略图得到其想观看的视频内容。

目前，视频缩略图生成方法主要有下述几种方式：一种是通过预先设定的宣传类型图片方式制作视频缩略图，另一种是由人工选定的。它们有着非常明显的缺陷：输出视频信息不准确和人工工作量巨大。还有一种是自动生成视频缩略图的方法，其可以是基于一些事先定义的规则来实现，例如取第一帧图片或者随机取一帧图片来作为缩略图。然而这种基于简单的规则从视频中取出的图片可能导致缩略图中包含一些广告，不清晰图像，黑屏或者不雅图像等不适合出现的内容。这些缩略图都不能体现出视频的实际内容，所以对用户来说没有参考价值。因此，需要一种新的方法来生成合理的、可以代表视频内容的视频缩略图。

发明内容

本申请提供一种生成视频缩略图的方法及设备，以实现生成可以代表视频内容的视频缩略图。

第一方面，本申请的实施例提供一种生成视频缩略图的方法，包括：服务器获取多个视频的视频帧集合，所述视频帧集合包括多个过滤后的视频帧，所述服务器根据所述多个视频的视频帧集合，识别出预设类型的对象，并确定所述预设类型的对象的代表性水平值，所述服务器根据所述预设类型的对象的代表性水平值，确定代表对象，所述服务器根据所述过滤后的多个视频帧以及所述代表对象的代表性水平值，确定各视频帧的视频代表度，所述服务器根据所述各视频帧的视频代表度和生成视频缩略图所需视频帧的数量，生成视频缩略图。

服务器通过对视频内容的分析，选取有代表性的代表对象，再统计视频帧中各代表对象的代表性水平值，从而确定出各视频帧的视频代表度，由于视频缩略图是根据视频代表度生成的，使得生成的视频缩略图可以代表视频内容，从而使得用户可以根据视频缩略图选择自己感兴趣的视频。

一种可能的设计中，所述服务器根据所述过滤后的多个视频帧以及所述代表对象的代表性水平值，确定各视频帧的视频代表度，包括：所述服务器根据所述过滤后的多个视频帧以及所述代表对象的代表性水平值，确定出各视频帧的代表特征的值，所述代表特征包括所述视频帧包含的代表对象的数量、视频帧包含的代表对象的代表性水平值之和、视频帧的质量特征，所述服务器根据所述各视频帧的代表特征的值计算各视频帧具有代表度的概率值，所述服务器将所述各视频帧具有代表度的概率值确定为所述各视频帧的视频代表度。

服务器确定的各视频帧的视频代表度，视频代表度可以用于表示该视频帧代表视频内容的概率，通过视频代表度从而实现选择可以代表视频内容的视频帧。

一种可能的设计中，所述服务器根据所述多个视频的视频帧集合，识别出预设类型的对象，并确定所述预设类型的对象的代表性水平值，包括：所述服务器对所述多个视频的视频帧集合中的视频帧进行对象识别，识别出预设类型的对象，根据从各视频帧集合中识别出的所述预设类型的对象，统计所述预设类型的对象在各视频的视频帧集合中出现的次数、包含所述预设类型的对象的视频的数量，所述服务器根据所述预设类型的对象在各视频的视频帧集合中出现的次数、所述各视频帧集合中包含的视频帧的数量、视频的数量以及包含所述预设类型的对象的视频的数量，确定所述预设类型的对象的代表性水平值。

服务器通过确定的预设类型的对象的代表性水平值，可以得到具有代表性的代表对象。

一种可能的设计中，所述服务器根据所述预设类型的对象的代表性水平值，确定代表对象，包括：所述服务器根据所述预设类型的对象的代表性水平值，将代表性水平值大于第一阈值的预设类型的对象确定为代表对象。

一种可能的设计中，所述服务器根据所述各视频帧的视频代表度和生成视频缩略图所需视频帧的数量，生成视频缩略图，包括：所述生成视频缩略图所需视频帧的数量为1时，所述服务器将视频代表度最高的视频帧进行处理，生成所述视频缩略图。

服务器在所需视频帧的数量为1的情况下，将视频代表度最高的视频帧进行处理生成的视频缩略图可以更好的展示视频内容，从而更好的使得用户可以根据视频缩略图选择自己感兴趣的视频。

一种可能的设计中，所述根据所述各视频帧的视频代表度和生成视频缩略图所需视频帧的数量，生成视频缩略图，包括：所述生成视频缩略图所需视频帧的数量大于1时，所述服务器将视频代表度最高的视频帧加入视频帧子集中。若所述视频帧子集中的视频帧的数量与所述生成视频缩略图所需视频帧的数量相同，则所述服务器将所述视频帧子集中的视频帧进行处理，生成所述视频缩略图，若所述视频帧子集中的视频帧的数量与所述生成视频缩略图所需视频帧的数量不同，则所述服务器计算除所述视频代表度最高的视频帧之外的各视频帧的代表度增益；将代表度增益最大的视频帧加入所述视频帧子集，直到所述视频帧子集中的视频帧的数量与所述生成视频缩略图所需视频帧的数量相同为止时，所述服务器将所述视频帧子集中的视频帧进行处理，生成所述视频缩略图。

服务器在所需视频帧的数量大于1的情况下，将代表度增益最大的视频帧加入到视频帧子集中，直到视频帧子集中的视频帧的数量与生成视频缩略图所需视频帧的数量相同时，服务器才会将视频帧子集中的视频帧进行处理生成视频缩略图，此时的视频缩略图可更好展示视频内容，从而更好的使得用户可以根据视频缩略图选择子集感兴趣的视频。一种可能的设计中，所述服务器计算除所述视频代表度最高的视频帧之外的视频帧的代表度增益，包括：所述服务器确定所述视频帧子集中包含的代表对象的总数量、除所述视频代表度最高的视频帧之外的各视频帧包含的代表对象的数量，根据所述视频帧子集中包含的代表对象的总数量、除所述视频代表度最高的视频帧之外的各视频帧的视频代表度以及除所述视频代表度最高的视频帧之外的各视频帧包含的代表对象的数量，计算除所述视频代表度最高的视频帧之外的各视频帧的代表度增益。

服务器计算的除视频代表度最高的视频帧之外的各视频帧的代表度增益可以进一步得到代表性较高的视频帧，从而是的生成的视频缩略图更好的代表视频内容。

第二方面，本申请的实施例提供一种生成视频缩略图的设备，包括：存储器和处理器；其中所述存储器，存储程序指令；所述处理器在调用所述存储器中存储的程序指令时，可以执行上述第一方面及其第一方面中任一项所述的方法。

第三方面，本申请的实施例提供一种计算机可读存储介质，包括计算机可读指令，当计算机读取并执行所述计算机可读指令时，使得计算机可以执行如上述第一方面及其第一方面任意一项所述的方法。

第四方面，本申请的实施例提供一种计算机程序产品，当所述计算机程序产品被计算机读取并执行时，使得计算机可以执行如上述第一方面及其第一方面任意一项所述的方法。

附图说明

图1为本申请的实施例提供的一种系统架构的示意图；

图2为本申请的实施例提供的一种生成视频缩略图的方法的流程示意图；

图3为本申请的实施例提供的一种代表性水平值的示意图；

图4为本申请的实施例提供的一种视频帧的示意图；

图5为本申请的实施例提供的一种代表对象的代表性水平值之后的示意图；

图6为本申请的实施例提供的一种视频缩略图的示意图；

图7为本申请的实施例提供的一种确定代表度增益的流程示意图；

图8为本申请的实施例提供的一种缩略图模板的示意图；

图9为本申请的实施例提供的一种生成视频帧集合的流程示意图；

图10为本申请的实施例提供的一种视频帧对象识别的流程示意图；

图11为本申请的实施例提供的一种视频帧特征的示意图；

图12为本申请的实施例提供的一种视频代表度过滤的示意图；

图13为本申请的实施例提供的一种视频帧的示意图；

图14为本申请的实施例提供的一种视频缩略图的示意图；

图15为本申请的实施例提供的一种视频帧的示意图；

图16为本申请的实施例提供的一种视频缩略图的示意图；

图17为本申请的实施例提供的一种生成视频缩略图的设备的流程示意图。

具体实施方式

图1示出了本申请实施例提供的一种适用于生成视频缩略图的服务器的系统架构，如图1所示，该服务器包括：存储器101和处理器102。该存储器101中存储有视频资源库和备选对象数据库，视频资源库用于存储待采集的视频，该备选对象数据库用于存储对采集的视频帧进行识别得到的备选对象。该处理器102包括视频帧采集模块1021、视频帧过滤模块1022、视频帧对象识别模块1023、计算模块1024和视频帧处理模块1025，其中，视频帧采集模块1021负责从存储器101中存储的视频数据库中的视频中采集晶体视频帧：每隔一端时间采集1帧视频帧。且采集通常只需要采集关键帧(I帧)，因为非关键帧内的内容大部分在关键帧内都存在，且非关键帧有拖影等情况，不适合作为缩略图。

视频帧采集模块1021输出的是一组静态的视频帧，它们将进入一个视频帧过滤模块1022进行一个初步的过滤，以用来过滤掉明显不适合作为缩略图的视频帧，主要包含如下三方面：画面内有不良内容的；画面质量低，或包括大面积的黑色或蓝色等；画面包括广告等内容。

经过初步过滤以后剩下的视频帧将会进入视频帧对象识别模块1023。此模块包含了以下两个功能，其中之一为识别备选视频帧中用户指定类型的对象及各自的特征，例如用户指定类型可以为人物、物体、场景等，并把各对象特征存入备选对象数据库。另一功能是基于备选对象数据库中包含的特征来识别不同备选视频帧中相同的对象。其中，识别的对象类型可以有以下几种类别：人物识别：通过人脸来识别人物，以及年龄、性别等特征。物体识别：如识别视频帧中有汽车、宠物等。场景识别：如识别视频帧的场景是街道、咖啡厅、游乐场等。

以人物识别为例，人物识别主要通过人脸来识别，一般是先进行人脸检测，得到面部特征，然后提出特征。现有的人脸识别技术都可以应用于人物识别中，在此不做限制。每个人脸都对应一个特征表示，如果两个人脸的特征表示相似度高于阈值，则这两个人脸可以判断为同一个人，对同一人赋予1个唯一ID。

计算模块可以包括视频代表度计算模块、对象代表性水平值计算模块、代表度增益计算模块，分别可以计算本申请的实施例中的视频帧的代表度、对象代表性水平值、代表度增益等。视频帧处理模块用于将选出的视频帧进行处理后生成视频缩略图。

在本申请的实施例中，对象用于表示从视频帧中识别出的目标事物，例如可以是人物、动物、汽车、街道、店铺等视频帧中存在的事物。代表对象用于表示代表性水平值大于第一阈值的对象，该代表对象的代表性水平值越高，其所在的视频帧可以代表视频内容的可能性越大。

在本申请的实施例中，对象的代表性水平值可以用于表示对象具有代表性的程度，一般出现次数越多的对象，其代表性水平值越高，也就说明该对象具有更高的代表性，其所在的视频帧可以代表视频内容的程度也会越高。

在本申请的实施例中，视频帧的视频代表度可以用于表示视频帧可以代表视频内容的概率，视频帧的视频代表度越高，其代表视频内容成为视频缩略图的概率越高。

在本申请的实施例中，视频帧的代表度增益用于表示与视频帧代表度最高的视频帧组合后代表视频内容的可能性，视频帧的代表度增益越高，其与视频帧代表度最高的视频帧组合后代表视频内容的可能性越大。

基于上述描述，图2示例性的示出了本申请的实施例提供的一种生成视频缩略图的流程，如图2所示，该流程具体包括：

步骤201，服务器获取多个视频的视频帧集合。该视频帧集合中包括多个过滤后的视频帧，上述视频帧采集模块可以针对视频进行采集，得到多个视频帧，并通过视频帧过滤模块进行过滤，得到多个过滤后的视频帧，这些过滤后的视频帧就可以组成视频帧集合，每个视频对应一个视频帧集合，也可以称为备选视频帧集。

步骤202，所述服务器根据所述多个视频的视频帧集合，识别出预设类型的对象，并确定所述预设类型的对象的代表性水平值。

服务器可以通过视频帧对象识别模块对多个视频的视频帧集合中的视频帧进行识别，识别出预设类型的对象，比如预设类型为人物和动物时，通过视频帧对象识别模块识别各视频帧的人物和动物。其中在进行识别预设类型的对象时，还可以得到预设类型的对象在视频帧中的位置。不同的视频帧可以通过视频帧身份标识(identity，ID)来区分，不同的对象可以通过对象ID来区分位置信息可以用视频帧中的坐标位置来表示。具体可以如表1所示。

表1

这里得到的对象在视频帧中的位置信息可以作为视频帧的代表特征之一。

为了考虑不同对象在当前视频中的代表性，服务器可以根据从各视频帧集合中识别出的预设类型的对象，统计预设类型的对象在各视频的视频帧集合中出现的次数、包含预设类型的对象的视频的数量，然后根据预设类型的对象在各视频的视频帧结合中出现的次数、各视频帧集合中包含的视频帧的数量、视频的数量以及包含预设类型的对象的视频的数量，来确定预设类型的对象的代表性水平值。其中，视频的数量和各视频帧集合中包含的视频帧的数量，在视频帧采集时可以获得。该代表性水平值用于表示预设类型的对象具有代表性的程度，一般出现次数越多的对象，其代表性水平值越高，也就表示该对象具有更高的代表性，其所在的视频帧代表视频内容的程度也会越高。

服务器在确定预设类型的对象的代表性水平值时，可以通过词频逆向文件频率(term frequency–inverse document frequency，TFIDF)算法来得到预设类型的对象的代表性水平值。其主要思想是一个对象在本视频中出现频率高，而在其它视频中出现频率低，则该对象在当前视频中的代表性较高。每个对象的TFIDF计算公式：TFIDF＝词频(termfrequency，TF)*逆向文件频率(inverse document frequency，IDF)，其中：

TF＝预设类型的对象在视频中出现的次数/当前视频的视频帧集合中视频帧的数量；IDF＝log(视频的数量/(包含预设类型的对象的视频的个数+1))。具体的可以如图3所示，每个对象对应的TFIDF值就是其在当前视频中的代表性水平值。

举例来说，在一个有100部动画片的视频资源库中包含20部的猫和老鼠中的汤姆和杰瑞。其中一部猫和老鼠的动画片中经过采样和过滤之后得到的一张视频帧，如图4所示的视频帧。视频帧对象识别模块识别出当前视频帧中包含了5个对象：汤姆，杰瑞，高尔夫球，高尔夫球杆和红旗，在图4中，汤姆，杰瑞，高尔夫球，高尔夫球杆和红旗分别用不同的虚线圈出。综合整个视频资源中各视频收集到的对象数据，可计算出这幅视频帧中5个对象的代表性水平值，如表2所示。

表2

步骤203，所述服务器根据所述预设类型的对象的代表性水平值，确定代表对象。

在得到预设类型的对象的代表性水平值之后，服务器可以将代表性水平值大于第一阈值的预设类型的对象确定为代表对象。该第一阈值可以依据经验进行设定。例如，可以将位于代表性水平值前10的预设类型的对象确定为代表对象。

步骤204，所述服务器根据所述过滤后的多个视频帧以及所述代表对象的代表性水平值，确定各视频帧的视频代表度。

服务器在确定各视频帧的视频代表度时，具体可以为：服务器根据过滤后的多个视频帧以及代表对象的代表性水平值，确定出各视频帧的代表特征的值，然后根据各视频帧的代表特征的值计算各视频帧具有代表度的概率值，最后将各视频帧具有代表度的概率值确定为各视频帧的视频代表度。其中，该代表特征包括视频帧包含的代表对象的数量、视频帧包含的代表对象的代表性水平值之和、视频帧的质量特征。对每个视频帧计算具有代表度的概率值，概率值高的视频帧其代表视频内容的可能性更高。

举例来说，视频帧包含的代表对象个数可从视频帧对象识别模块获得，视频帧包含的代表对象的代表性水平值之和可由各视频帧包含的代表对象以及各对象的代表性水平值计算而得到，如图5所示。而视频帧的质量特征可以包括画面覆盖率、画面位置和集中度等特征，其中关于这几种特征的描述可以如表3所示。

表3

通过计算可以得到图4所示的视频帧的代表特征的值，其中：视频帧包含代表对象个数：5；代表对象的代表性水平值之和：2.8；代表对象的画面覆盖率：0.56(汤姆)、0.07(杰瑞)、0.13(高尔夫球杆)、0.03(高尔夫球)、0.01(红旗)；代表对象的画面位置：1.95(汤姆)、2.35(杰瑞)、2.85(高尔夫球杆)、2.30(高尔夫球)、2.82(红旗)；代表对象的集中度：3.15。

在得到上述视频帧的代表特征的值之后，可以通过如下方法得到视频帧的视频代表度：

搜集标注数据，一条标注数据是一个视频帧是否有代表性的标识(如果有代表度则为1；如果没有则为0)。基于视频帧的各个代表特征，以及标注数据，得到如表9所示格式的训练数据，对训练数据用分类方法(如逻辑回归、支持向量机(support vector machine，SVM)、卷积神经网络(convolutional neural network，CNN)算法等)建模，得到一个分类模型。以逻辑回归算法为例的模型：

视频帧具有代表度的概率值＝1/(1+exp^(-w0-w1*x1-w2*x2-w3*x3-…-wN*xN))，其中，wN为第N个代表特征的权重值，xN为第N个代表特征的值。

对每个待确定代表度的视频帧，得到其各个代表特征的值后，用上述步骤中的分类模型，计算出具有代表度的概率值，作为该视频帧的视频代表度。

步骤205，所述服务器根据所述各视频帧的视频代表度和生成视频缩略图所需视频帧的数量，生成视频缩略图。

生成视频缩略图所需视频帧的数量可以为1，也可以大于1。其中，生成视频缩略图所需视频帧的数量为1时，服务器可以将视频代表度最高的视频帧进行处理，从而生成视频缩略图。

在所需生成视频缩略图的视频帧数量为1时，可以直接输出视频代表度最高的那个备选视频帧，并按要求对其做缩小，对比度增强得处理，最后生成视频缩略图。具体可以如图6所示。

服务器将视频代表度最高的视频帧加入视频帧子集中。

此时，若视频帧子集中的视频帧的数量与生成视频缩略图所需视频帧的数量相同，则服务器将视频帧子集中的视频帧进行处理，生成视频缩略图。例如，生成视频缩略图所需视频帧的数量为2，而视频帧子集中的视频帧的数量也为2，就可以将视频帧子集中的2个视频帧进行处理后生成视频缩略图。

若视频帧子集中的视频帧的数量与生成视频缩略图所需视频帧的数量不同，则服务器计算除视频代表度最高的视频帧之外的各视频帧的代表度增益，将代表度增益最大的视频帧加入视频帧子集，直到视频帧子集中的视频帧的数量与生成视频缩略图所需视频帧的数量相同为止时，服务器才将视频帧子集中的视频帧进行处理，从而生成视频缩略图。例如，生成视频缩略图所需视频帧的数量为2，而视频帧子集中的视频帧的数量为1，也就是说该视频帧子集中只包含有视频代表度最高的视频帧，因此，需要计算除了该视频代表度最高的视频帧之外的各视频帧，然后选择将代表度增益最大的视频帧加入到该视频帧子集中。此时视频帧子集中的视频帧的数量为2，与生成视频缩略图所需视频帧的数量相同。

也可以说如果所需生成视频缩略图的视频帧数量为1，则可以直接输出视频代表度最高的那个视频帧。若所需生成视频缩略图的视频帧数量大于1，则除了视频代表度最高的那个视频帧外，还需计算其他的视频帧的代表度增益。

在计算代表度增益时，服务器可以先确定视频帧子集中包含的代表对象的总数量、除视频代表度最高的视频帧之外的各视频帧包含的代表对象的数量，然后根据视频帧子集中包含的代表对象的总数量、除视频代表度最高的视频帧之外的各视频帧的视频代表度以及除视频代表度最高的视频帧之外的各视频帧包含的代表对象的数量，计算除视频代表度最高的视频帧之外的各视频帧的代表度增益。

有些情况下生成一幅视频缩略图需要多幅视频帧，根据所需生成视频缩略图的视频帧的数量，用代表度增益方法，从备选视频帧中选择所需数量的最优的视频帧子集。比如，尽可能选择视频代表度高的视频帧，而且这些视频帧尽可能互补(也就是包含的代表对象尽可能不同)。其中，代表对象集合可以记为O，视频帧集合可以记为F。具体流程可以如图7所示的流程，具体包括：

步骤701，选择视频代表度最高的视频帧，加入视频帧子集S。

步骤702，更新视频帧子集S中包含的代表对象集合P。

步骤703，视频帧子集S中视频帧的数量是否与所需视频帧的数量相同，若是，则转入步骤705，若否，则转入步骤704。

步骤704，对F-S的每个视频帧计算代表度增益，将代表度增益最大的一个视频帧加入视频帧子集S，并转入步骤702。

步骤705，输出视频帧子集S。

其中，视频帧的代表度增益可以由以下公式得到：

视频帧的代表度增益＝视频代表度*(视频帧的代表对象数-视频帧包含P中的代表对象数)/视频帧的代表对象数。

例如O＝{1,2,3,4,5}，生成视频缩略图所需视频帧数量为3，视频代表度最高的视频帧为帧(frame)2，S＝{frame2}，S包含的代表对象集合P＝{1,4}。

对于F-S的其它视频帧计算代表度增益可以得到如表5所示的结果。

表5

视频帧	包含的代表对象	视频帧的视频代表度	代表度增益
				frame1	1,3,4	0.75	0.75*(3-2)/3＝0.25
frame3	3	0.6	0.6*1/1＝0.6
				frame4	2,5	0.7	0.7*1/1＝0.7

因此将frame4加到S，S＝{frame2，frame4}，S包含的代表对象集合P＝{1,2,4,5}，继续计算F-S的其它视频帧的代表度增益如表6所示。

表6

视频帧	包含的代表对象	视频帧的视频代表度	代表度增益
				frame1	1,3,4	0.75	0.75*(3-4)/3＝0.25
frame3	3	0.6	0.6*1/1＝0.6

因此将frame3加到S，S＝{frame2，frame4，frame3}，S的帧数为3，因此视频帧子集最终包含的视频帧为frame2/3/4。

通过上述步骤得到视频帧子集后，视频帧组合模块将这些视频帧按要求进行组合，最后得到视频缩略图。组合的方法包含但不限于以下两种：动态的缩略图，比如GIF格式的缩略图，轮播每个缩略图。或者是基于模板，把多个视频帧拼成1个。例如模块的样式可以如图8所示。图8所示模板仅是示例作用，对此不做限制。

为了更好的解释生成视频缩略图的流程，下面将以具体的场景来描述生成视频缩略图的流程。

服务器在视频网站上获取一个包含100部卡通片的视频资源包，其中包含各种流行的卡通片，且各个视频长短不一。下面将具体描述一部时长为3分59秒的名称为小黄人大眼萌的卡通短片中生成视频缩略图的过程。

首先服务器通过视频帧采集模块对这部视频进行采集视频帧，每秒从视频中提取一个视频帧(I帧)，从而获取一个包含239个视频帧的备选视频帧集A1。

通过视频帧过滤模块对备选视频帧集A1中的视频帧进行过滤，采集到的备选视频帧A1中不包含不良内容或者广告内容的视频帧，所有视频帧通过视频帧过滤模块后，只有一些黑屏的视频帧被过滤掉。通过视频帧过滤模块后得到的视频帧的数量为210幅，这些过滤后的备选视频帧集可以记为A2，具体流程可以如图9所示，本申请实施例仅是示例作用，对此不做限制。

备选视频帧集A2中的视频帧通过视频帧对象识别模块，以识别各视频帧中含有的对象及其特征表示，并与备选对象特征库中的特征进行比对，确认对象ID。上述对象可以包含人物、物体以及场景等类型。在视频帧对象识别模块中，如图10所示的流程。

步骤1001，获取视频帧ID。首先读取所处理视频帧的ID，在视频帧ID后，将视频帧ID填入步骤1008数据输出中表格的视频帧ID一栏，如表7所示。

步骤1002，对象检测。检测处理的视频帧中的对象，也就是识别视频帧中的对象。

步骤1003，对象定位。对检测出的对象进行定位，获取对象所在矩形的对角坐标，填入步骤1008数据输出中表格的对象所在位置一栏，如表7所示。

步骤1004，对象特征提取。可以通过CNN算法提取检测出的对象的特征。

步骤1005，判断是否与备选对象匹配。具体为根据检测出的对象的特征，判断检测出的对象是否与备选对象数据库中的备选对象匹配，例如可以判断根据检测出的对象的特征判断与备选对象的相似度，若相似度大于设定相似度阈值，则说明该对象与备选对象匹配，可以转入步骤1007，若相似度小于等于设定相似度阈值，则说明该对象与该备选对象不匹配，可以转入步骤1006。当与多个备选对象相似度大于相似度阈值时，可以选取相似度最大的备选对象。

步骤1006，赋予新的对象ID。如果在备选数据库中找不到与检测出的对象匹配的备选对象，则赋予该检测出的对象一个新的对象ID，并将该对象ID存入备选对象数据库中，以及将该对象ID填入步骤1008数据输出中表格的对象ID一栏，如表7所示。

步骤1007，提取匹配对象ID。提取备选对象数据库中与检测出的对象匹配的对象ID，并填入步骤1008数据输出中表格的对象ID一栏，如表7所示。

步骤1008，数据输出。备选视频帧集A2中的210幅视频帧在通过视频帧对象识别模块后共捕捉到37个对象。各视频帧所含对象及其位置信息可以如表7所示。

表7

视频帧ID	对象ID	对象在视频帧中的位置
			1	1,2,3	对象1：[(120,105),(300,345)]，对象2：…
2	1,3	…
			3	3,4	…
…	…	…
			210	1,2,3,10,13,23,34	…

视频帧对象识别模块输出的表格中的前两列(视频帧ID和对象ID)可以作为计算模块中对象代表性水平计算模块的输入数据，将用来计算对象的代表性水平值。同时，需要注意的是，整个卡通视频资源池中其他99个视频的信息也需要作为这个模块的输入。输入所包含的信息格式和当前视频输入的信息格式一样，都是各视频帧中包含的对象ID信息。通过对象代表性水平计算模块对每个对象ID的TFIDF计算，可以得到当前视频中各个对象的代表性水平值，如表8所示。

表8

通过以上视频帧对象识别模块和对象代表性水平计算模块两个模块得到的表7和表8中的数据作为计算模块中视频代表度计算模块的输入，用来计算A2中各视频帧的视频代表度。其中，结合表7和表8中的数据可以得到视频帧ID、视频帧包含代表对象的数量、代表对象的代表性水平值之和、对象在画面中覆盖率、对象在画面中的位置、对象在画面中的集中度。如图11所示，视频帧对象识别模块和对象代表性水平计算模块的输出的数据在视频代表度计算模块中被结合，并用来计算各个视频帧中所包含的代表对象个数，代表对象的代表性水平值之和，对象在视频帧画面中的覆盖率、位置和集中度。各视频帧的这些参数将作为一个有监督学习的机器学习模型的输入特征向量。此机器学习模型输出的标注数据是一个视频帧是否有代表性的标识(如果有代表度则为1；如果没有则为0)。具体得到的数据可以如表9所示。

表9

在本申请的实施例中，可以使用逻辑回归的模型：视频帧是否有代表度的概率值＝1/(1+exp^(-w0-w1*x1-w2*x2-w3*x3-…-wN*xN))。在训练好这个模型后，对每个待确定代表度的视频帧，得到其各个代表特征的值后，用此分类模型，计算出有视频代表度的概率值，作为该视频帧的代表度，如表10所示。

表10

视频帧ID	视频代表度
		1	0.6
2	0.4
		3	0.52
…	…

在得到A2中各视频帧的视频代表度之后，服务器通过一个代表度阈值过滤器可以把视频代表度过低(此例中设定为0.45)的视频帧从A2中去除，过滤后留下的视频帧集合被记为A3，如图12所示。

经过视频代表度阈值过滤之后，A3集合中保留了30个备选视频帧。若生成缩略图所要求的视频帧数量为1，则A3中视频代表度最高(0.81)的视频帧，如图13所示，视频帧ID为98直接被选中，并输入视频帧处理模块进行压缩和提升对比度，最后的生成的视频缩略图可以如图14所示。

除了选取视频代表度最高的一幅视频帧外，A3中还有其余29幅视频帧备选集。设总体的代表对象集合记为O；A3中视频帧集合记为F；已选上组成视频缩略图的视频帧集合记为S；S中包含的对象集合为P。此时S＝{Frame_ID98}；P＝{1,2,6,7,8,13,14,15,24,25}；F-S为A3中除了Frame_ID98外的29幅备选视频帧。通过如下公式：

视频帧的代表度增益＝视频代表度*(视频帧的代表对象数-视频帧包含P中的代表对象数)/视频帧的代表对象数，得出F-S集合中代表度增益最大的视频帧，如图15所示，并把其加入S集合中。

由于S集合中视频帧数量已达到了生成缩略图所要求的2幅视频帧的数量，则S集合中的视频帧将被输入视频帧处理模块。视频帧处理模块通过预设定规则的压缩和拼接输出最终的视频缩略图，如图16所示。

上述实施例通过分析视频内容，选取出有代表性的代表对象，并统计代表对象的代表性水平值，通过确定各视频帧的视频代表度，来得到视频缩略图，可以解决从多张视频帧中选择出代表视频内容的缩略图的问题。

需要说明的是，如果用户没有指定生成视频缩略图所需的视频帧的数量，则还可以根据下述方法来得到合适的生成视频缩略图的视频帧的数量。

备选视频帧集合A2通过视频代表度阈值过滤模块后生成最后的备选视频帧集合A3(A2与A3生成过程在上述实施例中描述，不再赘述)。首先提取A3中视频代表度最高的一幅视频帧，若其代表度大于设定的阈值，则直接由这幅视频帧生成最后的视频缩略图。若A3中所有视频帧的视频代表度都小于这个设定的阈值，则将A3中代表度最大的视频帧放入S集合，对A3-S集合中的各视频帧进行代表度增益计算(计算方法见上述实施例中代表度增益的计算方法)，把代表度增益最大的一幅视频帧放入S集合。此时判断S中视频帧的总视频代表度是否大于设定的阈值，若S中视频帧的总视频代表度大于阈值则由S中的视频帧来生成视频缩略图。若这个S中视频帧的总视频代表度小于阈值，则判断S集合中视频帧的数量，如果S集合中视频帧的数量达到了所设的生成视频缩略图的最大视频帧数，则依然直接用S集合中的视频帧来生成视频缩略图。若未达到最大的视频帧数，则继续对A3-S集合中的视频帧计算视频帧增益，直到S集合中的视频帧的总视频代表度达到规定的阈值或者视频帧的数量达到最大视频帧数。

基于相同的技术构思，图17所示为本申请提供的生成视频缩略图的设备的结构示意图。该生成视频缩略图的设备1700可以为服务器。该生成视频缩略图的设备1700可用于执行上述实施例所描述的方法，以及执行上述实施例中任一生成视频缩略图的方法。该应用程序管理的设备1700包括至少一个处理器1701，至少一个通信接口1704，可选地，还包括存储器1703。

处理器1701可以是一个通用中央处理器(CPU)，微处理器，特定应用集成电路(application-specific integrated circuit，ASIC)，或一个或多个用于控制本申请中程序执行的集成电路。

存储器1703可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory，EEPROM)、只读光盘(compactdisc read-only memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器1703可以是独立存在，通过总线与处理器1701相连接。存储器1703也可以和处理器1701集成在一起。

其中，所述存储器1703用于存储执行本申请的应用程序代码，并由处理器1701来控制执行。所述处理器1701用于执行所述存储器1703中存储的应用程序代码。

在具体实现中，作为一种实施例，处理器1701可以包括一个或多个CPU，例如图17中的CPU0和CPU1。

在具体实现中，作为一种实施例，该生成视频缩略图的设备1700可以包括多个处理器，例如图17中的处理器1701和处理器1708。这些处理器中的每一个可以是一个单核(single-CPU)处理器，也可以是一个多核(multi-CPU)处理器。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。

示例性的，图17所示的生成视频缩略图的设备1700的存储器中存储了一个或多个软件模块。生成视频缩略图的设备1700可以通过处理器1701以及存储器1703中的程序代码来实现软件模块，作为示例，该处理器1701可以实现本申请任一实施例中服务器执行的流程。

本申请还可以根据上述方法示例对生成视频缩略图的设备进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

比如，该生成视频缩略图的设备可以包括处理单元和通信单元，该处理单元和通信单元可以执行上述任一实施例中第一边缘计算平台或第二边缘计算平台所述执行的操作。

前述实施例中的生成视频缩略图的方法中的各种变化方式和具体实例同样适用于本实施例的生成视频缩略图的设备，通过前述对生成视频缩略图的方法的详细描述，本领域技术人员可以清楚的知道本实施例中生成视频缩略图的设备的实施方法，所以为了说明书的简洁，在此不再详述。

本申请还提供了一种计算机存储介质，用于储存为上述图17所示的生成视频缩略图的设备所用的计算机软件指令，其包含用于执行上述方法实施例所设计的程序代码。

本申请还提供了计算机程序产品。该计算机程序产品包括计算机软件指令，该计算机软件指令可通过处理器进行加载来实现上述方法实施例中的方法。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (13)

1.一种生成视频缩略图的方法，其特征在于，包括：

服务器获取多个视频的视频帧集合，所述视频帧集合包括多个过滤后的视频帧；

所述服务器根据所述多个视频的视频帧集合，识别出预设类型的对象，并确定所述预设类型的对象的代表性水平值；

所述服务器根据所述预设类型的对象的代表性水平值，确定代表对象；

所述服务器根据所述过滤后的多个视频帧以及所述代表对象的代表性水平值，确定出各视频帧的代表特征的值；所述代表特征包括视频帧包含的代表对象的数量、视频帧包含的代表对象的代表性水平值之和、视频帧的质量特征；

所述服务器根据所述各视频帧的代表特征的值计算各视频帧具有代表度的概率值；

所述服务器将所述各视频帧具有代表度的概率值确定为所述各视频帧的视频代表度；

所述服务器根据所述各视频帧的视频代表度和生成视频缩略图所需视频帧的数量，生成视频缩略图。

2.根据权利要求1所述的方法，其特征在于，所述服务器根据所述多个视频的视频帧集合，识别出预设类型的对象，并确定所述预设类型的对象的代表性水平值，包括：

所述服务器对所述多个视频的视频帧集合中的视频帧进行对象识别，识别出预设类型的对象；

所述服务器根据从各视频帧集合中识别出的所述预设类型的对象，统计所述预设类型的对象在各视频的视频帧集合中出现的次数、包含所述预设类型的对象的视频的数量；

所述服务器根据所述预设类型的对象在各视频的视频帧集合中出现的次数、所述各视频帧集合中包含的视频帧的数量、视频的数量以及包含所述预设类型的对象的视频的数量，确定所述预设类型的对象的代表性水平值。

3.根据权利要求1所述的方法，其特征在于，所述服务器根据所述预设类型的对象的代表性水平值，确定代表对象，包括：

所述服务器根据所述预设类型的对象的代表性水平值，将代表性水平值大于第一阈值的预设类型的对象确定为代表对象。

4.根据权利要求1所述的方法，其特征在于，所述服务器根据所述各视频帧的视频代表度和生成视频缩略图所需视频帧的数量，生成视频缩略图，包括：

所述生成视频缩略图所需视频帧的数量为1时，所述服务器将视频代表度最高的视频帧进行处理，生成所述视频缩略图。

5.根据权利要求1所述的方法，其特征在于，所述服务器根据所述各视频帧的视频代表度和生成视频缩略图所需视频帧的数量，生成视频缩略图，包括：

所述生成视频缩略图所需视频帧的数量大于1时，所述服务器将视频代表度最高的视频帧加入视频帧子集中；

若所述视频帧子集中的视频帧的数量与所述生成视频缩略图所需视频帧的数量相同，则所述服务器将所述视频帧子集中的视频帧进行处理，生成所述视频缩略图；

若所述视频帧子集中的视频帧的数量与所述生成视频缩略图所需视频帧的数量不同，则所述服务器计算除所述视频代表度最高的视频帧之外的各视频帧的代表度增益；将代表度增益最大的视频帧加入所述视频帧子集，直到所述视频帧子集中的视频帧的数量与所述生成视频缩略图所需视频帧的数量相同为止时，所述服务器将所述视频帧子集中的视频帧进行处理，生成所述视频缩略图。

6.根据权利要求5所述的方法，其特征在于，所述服务器计算除所述视频代表度最高的视频帧之外的各视频帧的代表度增益，包括：

所述服务器确定所述视频帧子集中包含的代表对象的总数量、除所述视频代表度最高的视频帧之外的各视频帧包含的代表对象的数量；

所述服务器根据所述视频帧子集中包含的代表对象的总数量、除所述视频代表度最高的视频帧之外的各视频帧的视频代表度以及除所述视频代表度最高的视频帧之外的各视频帧包含的代表对象的数量，计算除所述视频代表度最高的视频帧之外的各视频帧的代表度增益。

7.一种生成视频缩略图的设备，其特征在于，包括：存储器和处理器；

所述存储器，用于存储程序指令；

所述处理器，用于调用所述存储器中存储的程序指令，执行如下操作：

获取多个视频的视频帧集合，所述视频帧集合包括多个过滤后的视频帧；

根据所述多个视频的视频帧集合，识别出预设类型的对象，并确定所述预设类型的对象的代表性水平值；

根据所述预设类型的对象的代表性水平值，确定代表对象；

根据所述过滤后的多个视频帧以及所述代表对象的代表性水平值，确定出各视频帧的代表特征的值；所述代表特征包括所述视频帧包含的代表对象的数量、视频帧包含的代表对象的代表性水平值之和、视频帧的质量特征；

根据所述各视频帧的代表特征的值计算各视频帧具有代表度的概率值；

将所述各视频帧具有代表度的概率值确定为所述各视频帧的视频代表度；

根据所述各视频帧的视频代表度和生成视频缩略图所需视频帧的数量，生成视频缩略图。

8.根据权利要求7所述的设备，其特征在于，所述处理器根据所述多个视频的视频帧集合，识别出预设类型的对象，并确定所述预设类型的对象的代表性水平值时，具体调用程序指令执行：

对所述多个视频的视频帧集合中的视频帧进行对象识别，识别出预设类型的对象；

根据从各视频帧集合中识别出的所述预设类型的对象，统计所述预设类型的对象在各视频的视频帧集合中出现的次数、包含所述预设类型的对象的视频的数量；

根据所述预设类型的对象在各视频的视频帧集合中出现的次数、所述各视频帧集合中包含的视频帧的数量、视频的数量以及包含所述预设类型的对象的视频的数量，确定所述预设类型的对象的代表性水平值。

9.根据权利要求7所述的设备，其特征在于，所述处理器根据所述预设类型的对象的代表性水平值，确定代表对象时，具体调用程序指令执行：

根据所述预设类型的对象的代表性水平值，将代表性水平值大于第一阈值的预设类型的对象确定为代表对象。

10.根据权利要求7所述的设备，其特征在于，所述处理器根据所述各视频帧的视频代表度和生成视频缩略图所需视频帧的数量，生成视频缩略图时，具体调用程序指令执行：

所述生成视频缩略图所需视频帧的数量为1时，将视频代表度最高的视频帧进行处理，生成所述视频缩略图。

11.根据权利要求7所述的设备，其特征在于，所述处理器根据所述各视频帧的视频代表度和生成视频缩略图所需视频帧的数量，生成视频缩略图时，具体调用程序指令执行：

所述生成视频缩略图所需视频帧的数量不为1时，将视频代表度最高的视频帧加入视频帧子集中；

若所述视频帧子集中的视频帧的数量与所述生成视频缩略图所需视频帧的数量相同，则将所述视频帧子集中的视频帧进行处理，生成所述视频帧缩略图；

若所述视频帧子集中的视频帧的数量与所述生成视频缩略图所需视频帧的数量不同，则计算除所述视频代表度最高的视频帧之外的各视频帧的代表度增益；将代表度增益最大的视频帧加入所述视频帧子集，直到所述视频帧子集中的视频帧的数量与所述生成视频缩略图所需视频帧的数量相同为止时，将所述视频帧子集中的视频帧进行处理，生成所述视频缩略图。

12.根据权利要求11所述的设备，其特征在于，所述处理器计算除所述视频代表度最高的视频帧之外的各视频帧的代表度增益时，具体调用程序指令执行：

确定所述视频帧子集中包含的代表对象的总数量、除所述视频代表度最高的视频帧之外的各视频帧包含的代表对象的数量；

根据所述视频帧子集中包含的代表对象的总数量、除所述视频代表度最高的视频帧之外的各视频帧的视频代表度以及除所述视频代表度最高的视频帧之外的各视频帧包含的代表对象的数量，计算除所述视频代表度最高的视频帧之外的各视频帧的代表度增益。

13.一种计算机可读存储介质，其特征在于，包括计算机可读指令，当计算机读取并执行所述计算机可读指令时，使得计算机执行如权利要求1至6任意一项所述的方法。

Images